跳至主要内容

可观测性

AgentOps 是一个帮助您监控和分析智能体行为与性能的平台。 TaskWeaver 已与 AgentOps 集成,因此您可以使用 TaskWeaver 生成代码,并通过 AgentOps 观察从规划到代码执行的所有事件。

快速开始

TaskWeaver与AgentOps的集成文档请见此处

要开始使用,您需要从AgentOps获取一个API密钥,方法是注册一个免费账户。然后您需要创建一个新项目,并从项目设置中生成API密钥。

获取API密钥后,以下步骤将帮助您快速入门。

  1. 在您的项目中安装 `agentops` 包。

    pip install agentops
  2. 在你的项目中导入agentops包。

    import agentops
  3. 使用您的API密钥初始化agentops客户端。

    agentops.init(api_key="your_api_key")
    注意

    您也可以在此设置标签以便在AgentOps仪表板中追踪会话。默认情况下,所有TaskWeaver的AgentOps会话都会添加"taskweaver"标签。

  4. 导入TaskWeaver处理程序TaskWeaverEventHandler并将其设置为TaskWeaver项目的事件处理器。

    from agentops.providers.taskweaver import TaskWeaverEventHandler
    handler = TaskWeaverEventHandler()
    note

    有两种设置处理程序的方式:

    • 使用session.event_handler.register()方法设置处理器。
    • 在每次调用session.send_message函数时,通过event_handler参数设置处理器。
    warning

    如果在事件记录的消息中遇到"卡顿"现象,是因为处理程序被设置了多个实例。

  5. 现在你可以运行你的TaskWeaver项目,并在AgentOps仪表板中观察事件。当客户端初始化时,它将自动开始跟踪事件,并在AgentOps仪表板中提供会话链接。

info

需要注意的是,LLM调用和其他事件会被统一追踪到AgentOps的不同模块中。默认情况下,当AgentOps客户端初始化时,所有LLM调用都会被追踪。但其他事件只有在代码中同时使用TaskWeaverEventHandler处理器时才会被追踪。

因此,当TaskWeaver在终端模式下使用时,事件可观测性仅限于LLM调用。