选项

您可以在脚本元数据中指定一个偏好词汇列表（choices）。这将增加模型生成指定词汇的概率。

• 每个单词都应匹配目标模型的单个token！
• 对于某些模型，GenAIScript没有token编码器，因此无法计算选项的logit偏差

script({
    choices: ["OK", "ERR"],
})
...

ERR

自定义权重

您可以通过为每个选项提供权重来调整其被选中的概率。 默认权重是5。

script({
    choices: ["OK", { token: "ERR", weight: 10 }],
})

预编码令牌

对于GenAIScript没有分词编码器的模型，您可以提供预编码的分词。

script({
    choices: [{ token: 12345, weight: 10 }],
})

Logit 偏差

在内部，GenAIScript 会对单词进行分词并为每个分词构建 logit_bias。

• 选项: OK, ERR
• logit bias: {"5175":5,"5392":5}

Logprobs

您可以启用logprobs来可视化模型生成标记的置信度。

错误 。