设置#

安装#

使用pip安装此工具：

pip install llm

或者使用 pipx:

pipx install llm

或者使用 uv (更多提示如下):

uv tool install llm

或者使用 Homebrew（参见警告说明）：

brew install llm

升级到最新版本#

如果您使用pip安装：

pip install -U llm

对于 pipx:

pipx upgrade llm

对于 uv：

uv tool upgrade llm

对于Homebrew：

brew upgrade llm

如果最新版本尚未在Homebrew上提供，您可以这样升级：

llm install -U llm

使用uvx#

如果你已经安装了uv，你也可以使用uvx命令来尝试LLM，而无需先安装它，如下所示：

export OPENAI_API_KEY='sx-...'
uvx llm 'fun facts about skunks'

这将使用临时虚拟环境安装并运行LLM。

你可以使用--with选项来添加额外的插件。例如，使用Anthropic的模型：

export ANTHROPIC_API_KEY='...'
uvx --with llm-anthropic llm -m claude-3.5-haiku 'fun facts about skunks'

所有常用的LLM命令都可以与uvx llm一起使用。以下是如何在不使用环境变量的情况下设置您的OpenAI密钥的示例：

uvx llm keys set openai
# Paste key here

关于Homebrew和PyTorch的说明#

为Homebrew打包的LLM版本目前使用Python 3.12。PyTorch项目尚未为该版本的Python发布稳定的PyTorch版本。

这意味着依赖于PyTorch的LLM插件，例如llm-sentence-transformers，可能无法与Homebrew版本的LLM顺利安装。

你可以通过在安装llm-sentence-transformers之前手动安装PyTorch来解决这个问题：

llm install llm-python
llm python -m pip install \
  --pre torch torchvision \
  --index-url https://download.pytorch.org/whl/nightly/cpu
llm install llm-sentence-transformers

这应该会产生该插件的有效安装。

安装插件#

Plugins 可以用于添加对其他语言模型的支持，包括可以在您自己的设备上运行的模型。

例如，llm-gpt4all 插件增加了对17种新模型的支持，这些模型可以安装在您自己的机器上。您可以像这样安装它：

llm install llm-gpt4all

API密钥管理#

许多LLM模型需要一个API密钥。这些API密钥可以通过几种不同的机制提供给这个工具。

您可以从他们网站上的API密钥页面获取OpenAI语言模型的API密钥。

保存和使用存储的密钥#

存储API密钥的最简单方法是使用llm keys set命令：

llm keys set openai

您将被提示输入密钥，如下所示：

% llm keys set openai
Enter key:

一旦存储，此密钥将自动用于后续调用API：

llm "Five ludicrous names for a pet lobster"

您可以使用此命令列出已设置的键的名称：

llm keys

以这种方式存储的密钥存在于一个名为keys.json的文件中。该文件位于运行以下命令时显示的路径中：

llm keys path

在macOS上，这将是~/Library/Application Support/io.datasette.llm/keys.json。在Linux上，可能是~/.config/io.datasette.llm/keys.json。

使用–key选项传递密钥#

可以直接使用--key选项传递密钥，如下所示：

llm "Five names for pet weasels" --key sk-my-key-goes-here

你也可以传递存储在keys.json文件中的键的别名。例如，如果你想维护一个个人API密钥，你可以这样添加：

llm keys set personal

然后像这样使用它来提示：

llm "Five friendly names for a pet skunk" --key personal

环境变量中的键#

键也可以通过环境变量设置。这些设置因模型而异。

对于OpenAI模型，密钥将从OPENAI_API_KEY环境变量中读取。

如果没有将--key选项传递给命令，并且在keys.json中没有配置密钥，则将使用环境变量。

要使用环境变量代替keys.json密钥，请像这样运行提示：

llm 'my prompt' --key $OPENAI_API_KEY

配置#

你可以通过多种不同的方式配置LLM。

设置自定义默认模型#

在调用llm时，如果没有使用-m/--model选项，默认使用的模型是gpt-4o-mini——这是OpenAI模型中速度最快且成本最低的模型。

你可以使用llm models default命令来设置不同的默认模型。对于GPT-4o（速度较慢且更昂贵，但功能更强大），请运行以下命令：

llm models default gpt-4o

你可以通过运行以下命令查看当前模型：

llm models default

可以将模型支持的任何别名传递给此命令。

设置自定义目录位置#

此工具在您计算机上的一个目录中存储各种文件 - 提示模板、存储的密钥、偏好设置、日志数据库。

在macOS上，这是~/Library/Application Support/io.datasette.llm/。

在Linux上，它可能类似于~/.config/io.datasette.llm/。

您可以通过设置LLM_USER_PATH环境变量来为此目录设置自定义位置：

export LLM_USER_PATH=/path/to/my/custom/directory

开启和关闭SQLite日志#

默认情况下，LLM 会将您进行的每个提示和响应记录到 SQLite 数据库中 - 有关更多详细信息，请参阅 Logging to SQLite。

你可以通过运行以下命令默认关闭此行为：

llm logs off

或者再次打开它：

llm logs on

运行 llm logs status 查看设置的当前状态。