OpenLIT 是一个基于 OpenTelemetry 的 LLM 应用程序可观测性工具,并且只需一行代码即可为 Chroma 提供 OpenTelemetry 自动检测功能,帮助您确保应用程序无缝监控,提供关键洞察以提升性能、操作和可靠性。
有关如何使用 OpenLIT 的更多信息,请参阅 OpenLIT 文档。

入门指南#
第一步:安装 OpenLIT#
打开您的命令行或终端并运行:
第二步:在您的应用程序中初始化 OpenLIT#
将 OpenLIT 集成到 LLM 应用程序中非常简单。只需 两行代码 即可开始监控您的 LLM 应用程序:
要将遥测数据转发到 HTTP OTLP 端点,例如 OpenTelemetry Collector,请使用所需的端点设置 otlp_endpoint 参数。或者,您可以通过设置 OTEL_EXPORTER_OTLP_ENDPOINT 环境变量来配置端点,如 OpenTelemetry 文档中所推荐。
💡 信息:如果您没有提供
otlp_endpoint函数参数或设置OTEL_EXPORTER_OTLP_ENDPOINT环境变量,OpenLIT 将直接将跟踪信息发送到您的控制台,这在开发过程中非常有用。 要向需要身份验证的 OpenTelemetry 后端发送遥测数据,请使用所需的值设置otlp_headers参数。或者,您可以通过设置OTEL_EXPORTER_OTLP_HEADERS环境变量来配置端点,如 OpenTelemetry 文档中所推荐。
第三步:可视化和优化!#

现在 OpenLIT 正在收集 LLM 可观测性数据,下一步是可视化和分析这些数据,以深入了解您的 LLM 应用程序的性能、行为,并识别改进领域。
要开始在 OpenLIT UI 中探索您的 LLM 应用程序的性能数据,请参阅 快速入门指南。
如果您想集成并将指标和跟踪发送到您现有的可观测性工具,如 Prometheus+Jaeger、Grafana 等,请参阅 OpenLIT 连接官方文档 获取详细说明。