🔍 OpenLIT

OpenLIT 是一个基于 OpenTelemetry 的 LLM 应用程序可观测性工具,并且只需一行代码即可为 Chroma 提供 OpenTelemetry 自动检测功能,帮助您确保应用程序无缝监控,提供关键洞察以提升性能、操作和可靠性。

有关如何使用 OpenLIT 的更多信息,请参阅 OpenLIT 文档

OpenLIT 连接横幅

入门指南#

第一步:安装 OpenLIT#

打开您的命令行或终端并运行:

Command Line

第二步:在您的应用程序中初始化 OpenLIT#

将 OpenLIT 集成到 LLM 应用程序中非常简单。只需 两行代码 即可开始监控您的 LLM 应用程序:

python

要将遥测数据转发到 HTTP OTLP 端点,例如 OpenTelemetry Collector,请使用所需的端点设置 otlp_endpoint 参数。或者,您可以通过设置 OTEL_EXPORTER_OTLP_ENDPOINT 环境变量来配置端点,如 OpenTelemetry 文档中所推荐。

💡 信息:如果您没有提供 otlp_endpoint 函数参数或设置 OTEL_EXPORTER_OTLP_ENDPOINT 环境变量,OpenLIT 将直接将跟踪信息发送到您的控制台,这在开发过程中非常有用。 要向需要身份验证的 OpenTelemetry 后端发送遥测数据,请使用所需的值设置 otlp_headers 参数。或者,您可以通过设置 OTEL_EXPORTER_OTLP_HEADERS 环境变量来配置端点,如 OpenTelemetry 文档中所推荐。

第三步:可视化和优化!#

现在 OpenLIT 正在收集 LLM 可观测性数据,下一步是可视化和分析这些数据,以深入了解您的 LLM 应用程序的性能、行为,并识别改进领域。

要开始在 OpenLIT UI 中探索您的 LLM 应用程序的性能数据,请参阅 快速入门指南

如果您想集成并将指标和跟踪发送到您现有的可观测性工具,如 Prometheus+Jaeger、Grafana 等,请参阅 OpenLIT 连接官方文档 获取详细说明。

支持#

对于任何集成问题或疑问,您可以通过 Slack电子邮件 联系 OpenLIT 团队。