安装插件#
插件必须安装在与LLM本身相同的虚拟环境中。
您可以在插件目录中找到要安装的插件名称
使用llm install命令(pip install的轻量级封装)在正确的环境中安装插件:
llm install llm-gpt4all
插件可以通过llm uninstall来卸载:
llm uninstall llm-gpt4all -y
-y 标志跳过确认询问。
你可以通过运行以下命令查看由插件添加的额外模型:
llm models
或者添加 --options 以包含每个模型可用选项的详细信息:
llm models --options
要对新安装的模型运行提示,请将其名称作为-m/--model选项传递:
llm -m orca-mini-3b-gguf2-q4_0 'What is the capital of France?'
列出已安装的插件#
运行 llm plugins 以列出已安装的插件:
llm plugins
[
{
"name": "llm-anthropic",
"hooks": [
"register_models"
],
"version": "0.11"
},
{
"name": "llm-gguf",
"hooks": [
"register_commands",
"register_models"
],
"version": "0.1a0"
},
{
"name": "llm-clip",
"hooks": [
"register_commands",
"register_embedding_models"
],
"version": "0.1"
},
{
"name": "llm-cmd",
"hooks": [
"register_commands"
],
"version": "0.2a0"
},
{
"name": "llm-gemini",
"hooks": [
"register_embedding_models",
"register_models"
],
"version": "0.3"
}
]
运行部分插件#
默认情况下,LLM将加载与LLM本身安装在同一虚拟环境中的所有插件。
您可以使用LLM_LOAD_PLUGINS环境变量来控制加载的插件集。
将其设置为空字符串以禁用所有插件:
LLM_LOAD_PLUGINS='' llm ...
或者加载仅这些插件的逗号分隔的插件名称列表:
LLM_LOAD_PLUGINS='llm-gpt4all,llm-cluster' llm ...
你可以使用llm plugins命令来检查它是否正常工作:
LLM_LOAD_PLUGINS='' llm plugins