可观测性
AgentOps 是一个帮助您监控和分析智能体行为与性能的平台。 TaskWeaver 已与 AgentOps 集成,因此您可以使用 TaskWeaver 生成代码,并通过 AgentOps 观察从规划到代码执行的所有事件。
快速开始
TaskWeaver与AgentOps的集成文档请见此处。
要开始使用,您需要从AgentOps获取一个API密钥,方法是注册一个免费账户。然后您需要创建一个新项目,并从项目设置中生成API密钥。
获取API密钥后,以下步骤将帮助您快速入门。
-
在您的项目中安装 `agentops` 包。
pip install agentops -
在你的项目中导入
agentops包。import agentops -
使用您的API密钥初始化
agentops客户端。agentops.init(api_key="your_api_key")注意您也可以在此设置标签以便在AgentOps仪表板中追踪会话。默认情况下,所有TaskWeaver的AgentOps会话都会添加"taskweaver"标签。
-
导入TaskWeaver处理程序
TaskWeaverEventHandler并将其设置为TaskWeaver项目的事件处理器。from agentops.providers.taskweaver import TaskWeaverEventHandler
handler = TaskWeaverEventHandler()note有两种设置处理程序的方式:
- 使用
session.event_handler.register()方法设置处理器。 - 在每次调用
session.send_message函数时,通过event_handler参数设置处理器。
warning如果在事件记录的消息中遇到"卡顿"现象,是因为处理程序被设置了多个实例。
- 使用
-
现在你可以运行你的TaskWeaver项目,并在AgentOps仪表板中观察事件。当客户端初始化时,它将自动开始跟踪事件,并在AgentOps仪表板中提供会话链接。
info
需要注意的是,LLM调用和其他事件会被统一追踪到AgentOps的不同模块中。默认情况下,当AgentOps客户端初始化时,所有LLM调用都会被追踪。但其他事件只有在代码中同时使用TaskWeaverEventHandler处理器时才会被追踪。
因此,当TaskWeaver在终端模式下使用时,事件可观测性仅限于LLM调用。