OpenTelemetry (OTLP)

TensorZero网关可以将追踪数据导出到兼容OpenTelemetry的外部可观测性系统。

通过OpenTelemetry导出追踪数据，您可以在外部可观测性平台（如Jaeger、Datadog或Grafana）中监控TensorZero网关。 这种集成使您能够将网关活动与基础设施的其他部分关联起来，从而提供更深入的洞察力并实现跨系统的统一监控。

设置

1. 在tensorzero.toml配置文件的[gateway]部分启用export.otlp.traces.enabled参数：

[gateway]
# ...
export.otlp.traces.enabled = true
# ...

2. 在网关容器中设置OTEL_EXPORTER_OTLP_TRACES_ENDPOINT环境变量，指向您的OpenTelemetry服务端点。

services:
  gateway:
    image: tensorzero/gateway
    environment:
      OTEL_EXPORTER_OTLP_TRACES_ENDPOINT: http://jaeger:4317
    # ...

  jaeger:
    image: jaegertracing/jaeger
    ports:
      - "4317:4317"
    # ...

追踪记录

配置完成后，TensorZero Gateway将开始向您的OpenTelemetry兼容服务发送追踪数据。

网关处理的每个HTTP请求都会生成追踪记录（辅助端点除外）。对于推理请求，这些追踪记录还包含代表函数、变体、模型及模型供应商处理过程的跨度信息。