跳至内容

LogProbs

logprobs是一种模式,其中LLMs会返回每个标记的概率。topLogProbs还会返回替代标记列表及其对数概率。这对于调试和理解模型行为非常有用。

Logprobs

您可以通过以下方式启用logprobs:

  • 在运行命令中使用 logprobs 标志
终端窗口
npx genaiscript run ... --logprobs
  • script元数据中添加logprobs标志
script({ logprobs: true, ...})

彩色输出

当启用logprobs时,cli会根据每个标记的概率对输出进行着色。 蓝色表示高概率,红色表示低概率。

这是一个在使用gpt-4o运行诗歌提示时logprobs的实际示例。


 这个 耳语 ,  这个  夜晚 轻柔地 发言 ,   
位置  这个 月亮 浅色 我们 平均值 通过  这个 阴影 寻求 .   
星标  tw inkle 上方 , 喜欢 梦想  远 离开 ,   
绘画  这个  夜晚 使用  这个 黎明 温和 摇摆 .

最高概率日志

您可以通过以下方式启用top-logprobs

  • 在运行命令中使用 top-logprobs 标志。它也会启用 logprobs
终端窗口
npx genaiscript run ... --top-logprobs 4
  • script元数据中添加topLogprobs标志
script({ topLogProbs: 4, ...})

彩色输出

当启用top-logprobs时,控制台窗口会使用备选标记的进行着色。


 这个 耳语 ,  这个  夜晚 轻柔地 发言 ,   
位置  这个 月亮 浅色 我们 平均值 通过  这个 阴影 寻求 .   
星标  tw inkle 上方 , 喜欢 梦想  远 离开 ,   
绘画  这个  夜晚 使用  这个 黎明 温和的 摇摆 .

替代令牌

跟踪记录包含基于logprobs的彩色输出替代标记的渲染结果。


输入
B
上午
这个
低语
暮光
whisper
静默
静默
进行中
这个
黎明
叶子
,
其中
这个
a
其中
密钥
breeze
展开
轻柔地
执行
叹气
唱歌
,
,\
,

星标
A
月亮
月亮
这个
星标
月亮
收藏数
silver
light
绘制
舞蹈
轻柔地
我们
aves
eps
avers
通过
梦想
silver
这个
阴影
阴影
温和
天空
阴影
搜索
保留
连续天数
.
,
;

星标
A
梦想
推特
喜欢
舞蹈
inkle
墨水
irl
喜欢
上方
轻柔地
输入
,
喜欢
喜欢
输入
a
梦想
眼睛
密钥
输入
正在执行
设置
离开
尚未
,
;

Guid
输入
绘画
这个
静默
夜晚的
天空
夜晚
暗度
使用
输入
天空
a
这个
他们的
辉光
浅色
颜色
温和
第一
早期
sway
灰色
ray
.
.
.
<|end|>