插件目录

以下是可用于LLM的插件。这里是如何安装它们。

本地模型

这些插件都可以帮助您直接在您自己的计算机上运行LLMs：

• llm-gguf 使用 llama.cpp 来运行以 GGUF 格式发布的模型。

• llm-mlx (仅限Mac) 使用苹果的MLX框架，提供对大量本地模型的极高性能访问。

• llm-ollama 增加了对使用 Ollama 运行的本地模型的支持。

• llm-llamafile 增加了对使用 llamafile 在本地运行的本地模型的支持。

• llm-mlc 可以运行由 MLC 项目 发布的本地模型，包括可以利用 Apple Silicon M1/M2 设备上的 GPU 的模型。

• llm-gpt4all 增加了对GPT4All项目发布的各种模型的支持，这些模型经过优化，可以在您自己的机器上本地运行。这些模型包括Vicuna、Orca、Falcon和MPT的版本 - 这里是完整的模型列表。

• llm-mpt30b 添加了对 MPT-30B 本地模型的支持。

远程API

这些插件可以通过它们的API与远程托管的模型进行交互：

• llm-mistral 增加了对 Mistral AI 的语言和嵌入模型的支持。

• llm-gemini 添加了对 Google 的 Gemini 模型的支持。

• llm-anthropic 支持 Anthropic 的 Claude 3 系列、3.5 Sonnet 及更高版本。

• llm-command-r 支持 Cohere 的 Command R 和 Command R Plus API 模型。

• llm-reka 支持通过他们的API使用Reka系列模型。

• llm-perplexity 由 Alexandru Geana 支持 Perplexity Labs API 模型，包括 llama-3-sonar-large-32k-online 可以在线搜索内容，以及 llama-3-70b-instruct。

• llm-groq 由 Moritz Angermann 提供，可以访问由 Groq 托管的快速模型。

• llm-grok 由 Benedikt Hiepler 提供，使用 xAI API Grok 访问 Grok 模型。

• llm-anyscale-endpoints 支持托管在 Anyscale Endpoints 平台上的模型，包括 Llama 2 70B。

• llm-replicate 增加了对托管在 Replicate 上的远程模型的支持，包括来自 Meta AI 的 Llama 2。

• llm-fireworks 支持由 Fireworks AI 托管的模型。

• llm-openrouter 提供对托管在 OpenRouter 上的模型的访问。

• llm-cohere 由 Alistair Shepherd 提供，支持 cohere-generate 和 cohere-summarize API 模型，由 Cohere 提供支持。

• llm-bedrock 通过 Amazon Bedrock 增加了对 Amazon Nova 的支持。

• llm-bedrock-anthropic 由 Sean Blakey 添加了通过 Amazon Bedrock 支持 Anthropic 的 Claude 和 Claude Instant。

• llm-bedrock-meta 由 Fabian Labat 添加了对 Meta 的 Llama 2 和 Llama 3 通过 Amazon Bedrock 的支持。

• llm-together 增加了对 Together AI 广泛托管的开源模型家族的支持。

• llm-deepseek 增加了对 DeepSeek 的 DeepSeek-Chat 和 DeepSeek-Coder 模型的支持。

• llm-lambda-labs 提供对由 Lambda Labs 托管的模型的访问，包括 Nous Hermes 3 系列。

• llm-venice 提供对由注重隐私的Venice AI托管的未经审查模型的访问，包括Llama 3.1 405B。

如果API模型主机提供了与OpenAI兼容的API，你也可以配置LLM与其通信，而无需额外的插件。

嵌入模型

Embedding models 是可以用于生成和存储文本嵌入向量的模型。

• llm-sentence-transformers 增加了对使用 sentence-transformers 库的嵌入支持，该库提供了对 a wide range 嵌入模型的访问。

• llm-clip 提供了 CLIP 模型，该模型可用于将图像和文本嵌入到相同的向量空间中，从而实现对图像的文本搜索。有关此插件的更多信息，请参见 使用 llm-clip 构建图像搜索引擎。

• llm-embed-jina 提供 Jina AI 的 8K 文本嵌入模型。

• llm-embed-onnx 提供了七种嵌入模型，可以使用 ONNX 模型框架执行。

额外命令

• llm-cmd 接受一个用于生成 shell 命令的提示，运行该提示并将结果填充到你的 shell 中，以便你可以查看、编辑，然后按 执行或按 ctrl+c 取消。

• llm-cmd-comp 为您的 shell 提供了一个键绑定，将启动聊天以构建命令。准备就绪后，按下 ，它将直接返回到您的 shell 命令行，以便您可以运行它。

• llm-python 添加了一个 llm python 命令，用于在与 LLM 相同的虚拟环境中运行 Python 解释器。这对于调试非常有用，并且如果您使用 Homebrew 或 pipx 安装了 LLM，它还提供了一种方便的方式来与 LLM Python API 进行交互。

• llm-cluster 添加了一个 llm cluster 命令，用于计算一组嵌入的聚类。计算出的聚类可以传递给大型语言模型以生成摘要描述。

• llm-jq 允许你输入JSON数据和一个描述jq程序的提示，然后根据生成的程序对JSON执行操作。

只是为了好玩

• llm-markov 添加了一个简单的模型，该模型使用马尔可夫链生成输出。此示例用于教程编写插件以支持新模型。