logprobs是一种模式,其中LLMs会返回每个标记的概率。topLogProbs还会返回替代标记列表及其对数概率。这对于调试和理解模型行为非常有用。
Logprobs
您可以通过以下方式启用logprobs:
npx genaiscript run ... --logprobs
script({ logprobs: true, ...})
彩色输出
当启用logprobs时,cli会根据每个标记的概率对输出进行着色。
蓝色表示高概率,红色表示低概率。
这是一个在使用gpt-4o运行诗歌提示时logprobs的实际示例。
在
这个
耳语
的
树
,
这个
夜晚
轻柔地
发言
,
位置
这个
月亮
浅色
我们
平均值
通过
这个
阴影
它
寻求
.
星标
tw
inkle
上方
,
喜欢
梦想
远
离开
,
绘画
这个
夜晚
使用
这个
黎明
的
温和
摇摆
.
最高概率日志
您可以通过以下方式启用top-logprobs:
- 在运行命令中使用
top-logprobs 标志。它也会启用 logprobs。
npx genaiscript run ... --top-logprobs 4
- 在
script元数据中添加topLogprobs标志
script({ topLogProbs: 4, ...})
彩色输出
当启用top-logprobs时,控制台窗口会使用备选标记的熵进行着色。
在
这个
耳语
的
树
,
这个
夜晚
轻柔地
发言
,
位置
这个
月亮
浅色
我们
平均值
通过
这个
阴影
它
寻求
.
星标
tw
inkle
上方
,
喜欢
梦想
远
离开
,
绘画
这个
夜晚
使用
这个
黎明
的
温和的
摇摆
.
替代令牌
跟踪记录包含基于logprobs的彩色输出替代标记的渲染结果。