安装插件#

插件必须安装在与LLM本身相同的虚拟环境中。

您可以在插件目录中找到要安装的插件名称

使用llm install命令(pip install的轻量级封装)在正确的环境中安装插件:

llm install llm-gpt4all

插件可以通过llm uninstall来卸载:

llm uninstall llm-gpt4all -y

-y 标志跳过确认询问。

你可以通过运行以下命令查看由插件添加的额外模型:

llm models

或者添加 --options 以包含每个模型可用选项的详细信息:

llm models --options

要对新安装的模型运行提示,请将其名称作为-m/--model选项传递:

llm -m orca-mini-3b-gguf2-q4_0 'What is the capital of France?'

列出已安装的插件#

运行 llm plugins 以列出已安装的插件:

llm plugins
[
  {
    "name": "llm-anthropic",
    "hooks": [
      "register_models"
    ],
    "version": "0.11"
  },
  {
    "name": "llm-gguf",
    "hooks": [
      "register_commands",
      "register_models"
    ],
    "version": "0.1a0"
  },
  {
    "name": "llm-clip",
    "hooks": [
      "register_commands",
      "register_embedding_models"
    ],
    "version": "0.1"
  },
  {
    "name": "llm-cmd",
    "hooks": [
      "register_commands"
    ],
    "version": "0.2a0"
  },
  {
    "name": "llm-gemini",
    "hooks": [
      "register_embedding_models",
      "register_models"
    ],
    "version": "0.3"
  }
]

运行部分插件#

默认情况下,LLM将加载与LLM本身安装在同一虚拟环境中的所有插件。

您可以使用LLM_LOAD_PLUGINS环境变量来控制加载的插件集。

将其设置为空字符串以禁用所有插件:

LLM_LOAD_PLUGINS='' llm ...

或者加载仅这些插件的逗号分隔的插件名称列表:

LLM_LOAD_PLUGINS='llm-gpt4all,llm-cluster' llm ...

你可以使用llm plugins命令来检查它是否正常工作:

LLM_LOAD_PLUGINS='' llm plugins