​
Langtrace 概述

Langtrace 是一个开源的外部工具，可帮助您为大型语言模型（LLMs）、LLM框架和向量数据库设置可观测性和评估。 虽然 Langtrace 并未直接内置到 CrewAI 中，但可以与 CrewAI 一起使用，以深入了解 CrewAI 代理的成本、延迟和性能。 此集成允许您记录超参数、监控性能回归，并建立一个持续改进代理的流程。

​
安装说明

1

注册Langtrace

通过访问https://langtrace.ai/signup注册。

2

创建一个项目

将项目类型设置为CrewAI并生成一个API密钥。

3

在你的CrewAI项目中安装Langtrace

使用以下命令：

pip install langtrace-python-sdk
4

导入Langtrace

在脚本的开头，在任何CrewAI导入之前，导入并初始化Langtrace：

from langtrace_python_sdk import langtrace
langtrace.init(api_key='<LANGTRACE_API_KEY>')

# Now import CrewAI modules
from crewai import Agent, Task, Crew

​
功能及其在CrewAI中的应用

  1. LLM Token 和成本跟踪

    • 监控每个CrewAI代理交互的token使用情况和相关成本。

  2. 执行步骤的跟踪图

    • 可视化您的CrewAI任务的执行流程，包括延迟和日志。
    • 有助于识别您的代理工作流程中的瓶颈。

  3. 手动注释的数据集整理

    • 从您的CrewAI任务输出中创建数据集，用于未来的训练或评估。

  4. 提示版本控制和管理

    • 跟踪在您的CrewAI代理中使用的不同版本的提示。
    • 对于A/B测试和优化代理性能非常有用。

  5. 提示游乐场与模型比较

    • 在部署之前，测试和比较不同提示和模型为您的CrewAI代理。

  6. 测试与评估

    • 为您的CrewAI代理和任务设置自动化测试。

这个页面有帮助吗？

Agent Monitoring with AgentOpsAgent Monitoring with OpenLIT