API参考：动态评估

动态评估专注于评估可能包含多次TensorZero推理调用、任意应用逻辑等复杂工作流。

您可以通过TensorZero客户端或网关的HTTP API，使用TensorZero Gateway初始化和运行动态评估。与静态评估不同，动态评估不是在TensorZero配置文件中定义的。

查看动态评估教程获取逐步操作指南。

端点与方法

启动动态评估运行

• 网关端点： POST /dynamic_evaluation_run
• 客户端方法： dynamic_evaluation_run
• Parameters:
  • variants: 一个对象（字典），将函数名称映射到变体名称
  • project_name (字符串, 可选): 指定运行关联的项目名称
  • display_name (string, 可选): 运行任务的显示名称(人类可读)
  • tags (字典, 可选): 用于标记运行推理的键值对字典
• Returns:
  • run_id (UUID): 运行的ID

在动态评估运行中启动一个回合

• 网关端点： POST /dynamic_evaluation_run/{run_id}/episode
• 客户端方法： dynamic_evaluation_run_episode
• Parameters:
  • run_id (UUID): 由dynamic_evaluation_run方法生成的运行ID
  • task_name (字符串, 可选): 与当前任务关联的任务名称
  • tags (字典, 可选): 用于标记该事件推理的键值对字典
• Returns:
  • episode_id (UUID): 该训练回合的唯一标识符

在动态评估运行期间进行推理和反馈调用

在初始化运行(run)和情节(episode)后，您可以像平常一样进行推理和反馈API调用。通过提供由dynamic_evaluation_run_episode方法生成的特殊episode_id参数，TensorZero网关会将推理和反馈与评估运行关联起来，处理变体固定等操作。