Gentrace 插件

Gentrace 是一款评估与可观测性产品，旨在帮助提升AI功能的质量、安全性和合规性。

Gentrace通过为Rivet用户提供使用Gentrace评估其Rivet图表的无缝方式，对Rivet进行了补充。

该插件添加了直接从Rivet图表与Gentrace交互的用户界面。

文档​

Gentrace的文档可公开查阅此处。

入门指南​

在Rivet中安装Gentrace插件后，如果您还没有创建Gentrace API密钥，则需要创建一个。

然后，在Gentrace插件选项卡中提供该API密钥。

使用​

该插件在Rivet图表视图中暴露了两个按钮，它们会显示在"Run"按钮旁边。

关联Gentrace流水线​

"Change Gentrace Pipeline"（更改Gentrace流水线）按钮用于将Gentrace流水线与Rivet图关联起来。

Gentrace流水线(pipeline)可捕获生成式工作流中的分析数据、测试用例、评估器及评估结果。了解更多关于Gentrace流水线的信息。

运行Gentrace测试​

"运行Gentrace测试"按钮通过Rivet图拉取并运行关联Gentrace流水线中定义的测试用例。

为了使这一点更加具体，假设您为一个Gentrace流水线定义了100个示例测试用例。每个测试用例具有以下模式。

type EmailTestCase = {
  query: string;
  sender: string;
  receiver: string;
};

该插件将拉取所有测试用例，并为每个用例调用一次Rivet图。在每次调用期间，测试用例中的每个键值对都会映射到具有匹配ID的Graph Input Rivet节点上。

使用上述TestCase模式，需要三个Graph Input Rivet节点才能正确运行图形。

查看测试结果​

一旦Gentrace插件通过Rivet图运行完所有测试用例，插件将显示一个带有结果链接的提示通知。

链接的报告展示了该Rivet图表在Gentrace提供的评估基准中的表现情况。

理解Gentrace评估​

要了解更多关于Gentrace评估结果的信息，请阅读Gentrace评估的核心概念和快速入门页面。

联系我们​

如有任何问题或功能需求，请联系support@gentrace.ai。