跳至内容

模型别名

您可以在项目中定义模型别名,为模型赋予友好名称,并抽象化特定的模型版本/标签。

因此,与其硬编码模型类型,

script({
model: "openai:gpt-4o",
})

你可以使用/定义一个别名,比如large

script({
model: "large",
})

模型别名可以通过环境变量(通过.env文件)、配置文件、cliscript函数来定义。

这个.env文件为ollama:llama3.2:1b模型定义了一个llama32别名。

.env
GENAISCRIPT_MODEL_LLAMA32="ollama:llama3.2:1b"

然后您可以在脚本中使用llama32别名。

script({
model: "llama32",
})

定义别名

以下配置按优先级顺序支持(最后一项生效):

genaiscript.config.json
{
"modelAliases": {
"llama32": "ollama:llama3.2:1b"
}
}
  • 环境变量,其键的模式为GENAISCRIPT_MODEL_ALIAS=...
  • cli 使用 --model-alias 标志
终端窗口
genaiscript run --model-alias llama32=ollama:llama3.2:1b
  • script函数中
script({
model: "llama32",
modelAliases: {
llama32: "ollama:llama3.2:1b",
},
})

别名的别名

模型别名可以引用另一个别名,只要不形成循环引用。

genaiscript.config.json
{
"modelAliases": {
"llama32": "ollama:llama3.2:1b",
"llama": "llama32"
}
}

内置别名

默认情况下,GenAIScript支持以下模型别名,以及不同LLM提供商中的各种候选模型。

  • large: gpt-4o like 模型
  • small: gpt-4o-mini 模型或类似模型。一个更小、更便宜、更快的模型
  • vision: gpt-4o-mini. 一个可以分析图像的模型
  • reasoning: o1o1-preview.
  • reasoning_small: o1-mini.

还设置了以下别名,以便您可以覆盖GenAIScript自身使用的LLM模型。

  • agent: large. Agent LLM使用的模型。
  • memory: small. 代理使用的短期记忆模型。

给定提供者的默认别名可以使用cli中的provider选项加载。

终端窗口
genaiscript run --provider anthropic