Skip to main content

Amazon Bedrock

Amazon Bedrock 是 AWS 上的一项完全托管服务，通过单一 API 提供对各种 AI 公司的基础模型的访问。

聊天模型​

我们建议配置Claude 3.5 Sonnet作为您的聊天模型。

config.json
{
  "models": [
    {
      "title": "Claude 3.5 Sonnet",
      "provider": "bedrock",
      "model": "anthropic.claude-3-5-sonnet-20240620-v1:0",
      "region": "us-east-1",
      "profile": "bedrock"
    }
  ]
}

如果您在从AWS连接新的Claude 3.5 Sonnet 2模型时遇到以下错误 - 400 不支持使用按需吞吐量调用模型ID anthropic.claude-3-5-sonnet-20241022-v2:0。请使用包含此模型的推理配置文件的ID或ARN重试您的请求。

您可以使用以下config.json修复此问题

config.json
{
  "models": [
    {
      "title": "Claude 3.5 Sonnet",
      "provider": "bedrock",
      "model": "us.anthropic.claude-3-5-sonnet-20241022-v2:0",
      "region": "us-east-1",
      "profile": "bedrock"
    }
  ]
}

自动完成模型​

Bedrock 目前不提供任何自动完成模型。

Click here 查看自动完成模型提供者的列表。

嵌入模型​

我们建议将amazon.titan-embed-text-v2:0配置为您的嵌入模型。

~/.continue/config.json
{
  "embeddingsProvider": {
    "title": "Embeddings Model",
    "provider": "bedrock",
    "model": "amazon.titan-embed-text-v2:0",
    "region": "us-west-2"
  }
}

重排序模型​

我们建议配置cohere.rerank-v3-5:0作为您的重排序模型，您也可以使用amazon.rerank-v1:0。

~/.continue/config.json
{
  "reranker": {
    "name": "bedrock",
    "params": {
      "model": "cohere.rerank-v3-5:0",
      "region": "us-west-2"
    }
  }
}

认证​

认证将通过配置文件中（例如“bedrock”）的临时或长期凭证在~/.aws/credentials中进行。

[bedrock]
aws_access_key_id = abcdefg
aws_secret_access_key = hijklmno
aws_session_token = pqrstuvwxyz # Optional: means short term creds.

自定义导入模型​

要使用自定义导入的模型设置Bedrock，请将以下内容添加到您的config.json文件中：

config.json
{
  "models": [
    {
      "title": "AWS Bedrock deepseek-coder-6.7b-instruct",
      "provider": "bedrockimport",
      "model": "deepseek-coder-6.7b-instruct",
      "modelArn": "arn:aws:bedrock:us-west-2:XXXXX:imported-model/XXXXXX",
      "region": "us-west-2",
      "profile": "bedrock"
    }
  ]
}

认证将通过配置文件中（例如“bedrock”）的临时或长期凭证在~/.aws/credentials中进行。

[bedrock]
aws_access_key_id = abcdefg
aws_secret_access_key = hijklmno
aws_session_token = pqrstuvwxyz # Optional: means short term creds.