More | Continue

📄️ SambaNova 云

SambaNova云是一个用于运行大型AI模型的云平台，具有世界纪录的Llama 3.1 70B/405B性能。您可以按照此博客文章中的说明来配置您的设置。

📄️ 询问 Sage

要获取Ask Sage API密钥，请登录Ask Sage平台（如果您没有账户，可以在这里创建一个）并按照Ask Sage文档中的说明操作：Ask Sage API Key

📄️ Cloudflare Workers AI

Cloudflare Workers AI 可以用于 Continue 中的聊天和标签自动补全。要设置 Cloudflare Workers AI，请将以下内容添加到您的 config.json 文件中：

📄️ DeepInfra

DeepInfra 以非常低的成本提供开源模型的推理服务。要开始使用 DeepInfra，请在此处获取您的 API 密钥。然后，在此处找到您想要使用的模型并复制模型的名称。然后可以配置 Continue 以使用 DeepInfra LLM 类，如此处的示例所示：

📄️ Flowise

Flowise 是一个低代码/无代码的拖放工具，旨在让人们更容易可视化和构建 LLM 应用程序。然后可以配置 Continue 使用 Flowise LLM 类，如此处的示例：

📄️ 免费试用

"免费试用"提供商让新用户快速体验最佳体验，通过安全代理服务器继续使用我们的API密钥。为了防止滥用，我们将要求您使用GitHub登录，您可以在下面阅读更多相关信息。

📄️ Groq

Groq 为开源语言模型提供最快的推理速度，包括整个 Llama 3.1 系列。

Hugging Face Inference Endpoints 是在任何云上设置开源语言模型实例的简便方法。在此注册账户并添加账单，访问 Inference Endpoints，点击“New endpoint”，填写表单（例如选择像 WizardCoder-Python-34B-V1.0 这样的模型），然后通过点击“Create Endpoint”部署您的模型。将 ~/.continue/config.json 更改为如下所示：

📄️ IPEX-LLM

IPEX-LLM 是一个 PyTorch 库，用于在 Intel CPU 和 GPU（例如，带有 iGPU 的本地 PC，以及 Arc A 系列、Flex 和 Max 等独立 GPU）上以极低延迟运行 LLM。

📄️ Kindo

Kindo 提供对组织 AI 操作的集中控制，确保数据保护并遵守内部政策，同时支持各种商业和开源模型。要开始使用，请在此处注册，在 API 密钥页面上创建您的 API 密钥，并从插件选项卡中的支持模型列表中选择一个模型。

📄️ LlamaCpp

运行llama.cpp服务器二进制文件以启动API服务器。如果在远程服务器上运行，请确保将主机设置为0.0.0.0：

📄️ Llamafile

llamafile 是一个可以运行开源 LLM 的自包含二进制文件。你可以在 config.json 中配置此提供者，如下所示：

📄️ LM Studio

LM Studio 是一个适用于 Mac、Windows 和 Linux 的应用程序，它使得在本地运行开源模型变得容易，并且拥有一个出色的用户界面。要开始使用 LM Studio，请从网站下载，使用用户界面下载模型，然后启动本地推理服务器。然后可以配置 Continue 以使用 LMStudio LLM 类：

📄️ Msty

Msty 是一个适用于 Windows、Mac 和 Linux 的应用程序，使得运行在线和本地的开源模型变得非常容易，包括 Llama-2、DeepSeek Coder 等。无需摆弄终端、运行命令或任何操作。只需从网站下载应用程序，点击一个按钮，您就可以开始运行了。然后可以配置 Continue 以使用 Msty LLM 类：