如何自托管模型

您可以在您的AWS、GCP、Azure、Lambda或其他云上部署模型，使用：

自托管开源模型

在许多情况下，Continue 会有一个内置的提供者，或者你使用的 API 将与 OpenAI 兼容，在这种情况下，你可以使用 "openai" 提供者，并将 "baseUrl" 更改为指向服务器。

然而，如果这些情况都不适用，您将需要连接一个新的LLM对象。

认证

基本认证可以通过使用apiKey字段与任何提供者完成：

config.json
{
  "models": [
    {
      "title": "Ollama",
      "provider": "ollama",
      "model": "llama2-7b",
      "apiKey": "xxx"
    }
  ]
}

这转换为头部 "Authorization": "Bearer xxx"。

如果您需要发送自定义头信息进行身份验证，您可以使用requestOptions.headers属性，如下例所示，使用Ollama：

config.json
{
  "models": [
    {
      "title": "Ollama",
      "provider": "ollama",
      "model": "llama2-7b",
      "requestOptions": {
        "headers": {
          "X-Auth-Token": "xxx"
        }
      }
    }
  ]
}

同样，如果您的模型需要证书进行身份验证，您可以使用requestOptions.clientCertificate属性，如下例所示：

config.json
{
  "models": [
    {
      "title": "Ollama",
      "provider": "ollama",
      "model": "llama2-7b",
      "requestOptions": {
        "clientCertificate": {
          "cert": "C:\tempollama.pem",
          "key": "C:\tempollama.key",
          "passphrase": "c0nt!nu3"
        }
      }
    }
  ]
}

自托管开源模型​

认证​

自托管开源模型

认证