Rivet - 入门指南

要开始使用Trivet，请在Rivet应用程序顶部选择Trivet Tests选项卡。

测试套件​

最初，您不会有任何测试套件。Rivet按测试套件进行组织 - 每个测试套件都有一个要测试的图和单个验证器图。

要添加新的测试套件，如果您当前没有测试套件，请点击"新建测试套件"按钮；或者在左侧的测试套件列表中右键点击并选择New Test Suite。

测试图表​

测试图是您想要测试的图。它可以包含任意数量的Graph Input节点和Graph Output节点。Rivet会向图中传入各种输入，并使用验证图将输出与预期输出进行比较。

使用顶部的下拉菜单选择测试图表：

每个测试用例都需要将每个输入传递给图形。您可能会发现为实际目标测试图形创建一个单独的"测试"图形很有用。这将允许您为输入传递任何默认值，并允许您添加任何额外的节点来测试您的图形，并从您关心的图形中提取输出。

验证器图表​

与使用内置验证不同，Trivet通过Rivet图表来对您的测试图执行验证。这为您提供了如何验证图表的终极灵活性。使用顶部的下拉菜单选择验证器图表：

验证器图是一种特殊构建的Rivet图，需满足以下要求：

• 它必须有一个名为input的Graph Input节点，类型为Object。
• 它必须有一个名为output的Graph Input节点，类型为Object。
• 它必须有一个名为expectedOutput的Graph Input节点，类型为Object。
• 它必须包含任意数量的Graph Output节点，这些节点必须是String或Boolean类型。这些是图形执行的"验证"。

有关创建和制作验证器图的更多信息，请参阅Trivet - Validator Graphs指南。

测试用例​

每个测试套件都包含若干测试用例。这些是您的图表应该验证的输入和预期输出集合。

要创建测试用例，请点击"新建测试用例"按钮。

点击任意测试用例以选中它，并在右侧打开测试用例编辑器。

测试用例编辑器​

测试用例编辑器包含两个可编辑的JSON块：测试用例的输入和测试用例的预期输出。在创建新测试用例时，输入和预期输出将自动填充每个属性的属性和类型。

• 输入会作为参数传递到您的测试图中。测试图的每个输入都必须传递。
• 预期输出会传递到您的验证图中作为expectedOutputs输入。测试图中的每个输出都必须被传递。如果在验证过程中某些输出未被使用，您只需传递虚拟值即可。

当测试用例运行后，会出现第三个只读区块，用于显示测试图的输出结果。您可以通过此区块来检查通过或未通过验证的输出内容。

运行测试​

当选中测试套件时，点击Run Test Suite按钮可以运行测试套件中的所有测试用例。

您可以右键单击单个测试用例并选择Run Test Case来仅运行该测试用例。

多次迭代​

由于LLMs本质上具有随机性，对同一个测试用例运行多次迭代是很有用的。右键点击测试用例时，可以选择Run With Iteration Count...来设置运行该测试用例的迭代次数。

所有迭代的结果将显示在测试用例编辑器中的"测试结果输出"块中。它包括已运行的测试中有多少通过了。

教程​

查看Trivet教程获取首次使用Trivet的逐步指南。