​
将CrewAI连接到LLMs

CrewAI 使用 LiteLLM 连接到各种语言模型（LLMs）。这种集成提供了广泛的多样性，允许您通过一个简单、统一的接口使用来自众多提供商的模型。

默认情况下，CrewAI 使用 gpt-4o-mini 模型。这是由 OPENAI_MODEL_NAME 环境变量决定的，如果未设置，则默认为“gpt-4o-mini”。 您可以按照本指南中的说明轻松配置您的代理以使用不同的模型或提供商。

​
支持的提供商

LiteLLM 支持多种提供商，包括但不限于：

  • OpenAI
  • Anthropic
  • 谷歌 (Vertex AI, Gemini)
  • Azure OpenAI
  • AWS (Bedrock, SageMaker)
  • Cohere
  • Hugging Face
  • Ollama
  • Mistral AI
  • 复制
  • Together AI
  • AI21
  • Cloudflare Workers AI
  • DeepInfra
  • Groq
  • SambaNova
  • NVIDIA NIMs
  • 还有更多！

有关支持的提供程序的完整和最新列表，请参阅LiteLLM提供程序文档。

​
更改LLM

要为您的CrewAI代理使用不同的LLM，您有几种选择：

初始化代理时，将模型名称作为字符串传递：

​
配置选项

在为您的代理配置LLM时，您可以访问多种参数：

参数类型描述
modelstr要使用的模型名称（例如，“gpt-4”，“claude-2”）
temperaturefloat控制输出的随机性（0.0 到 1.0）
max_tokensint生成的最大令牌数
top_pfloat控制输出的多样性（0.0 到 1.0）
frequency_penaltyfloat根据新词在文本中的出现频率对其进行惩罚
presence_penaltyfloat根据新标记在文本中的出现情况进行惩罚
stopstr, List[str]停止生成的序列
base_urlstrAPI端点的基本URL
api_keystr用于身份验证的API密钥

有关参数及其描述的完整列表，请参阅LLM类文档。

​
连接到OpenAI兼容的LLMs

您可以使用环境变量或在LLM类上设置特定属性来连接到OpenAI兼容的LLMs：

​
使用本地模型与Ollama

对于像Ollama提供的本地模型：

1

下载并安装Ollama

2

拉取所需的模型

例如，运行 ollama pull llama3.2 以下载模型。

3

配置您的代理

​
更改基础API URL

您可以通过设置base_url参数来更改任何LLM提供商的基础API URL：

Code
llm = LLM(
    model="custom-model-name",
    base_url="https://api.your-provider.com/v1",
    api_key="your-api-key"
)
agent = Agent(llm=llm, ...)

这在处理与OpenAI兼容的API或需要为所选提供商指定不同端点时特别有用。

​
结论

通过利用LiteLLM，CrewAI提供了与大量LLM的无缝集成。这种灵活性使您能够根据特定需求选择最合适的模型，无论您是优先考虑性能、成本效益还是本地部署。请记得查阅LiteLLM文档以获取有关支持模型和配置选项的最新信息。

这个页面有帮助吗？

Create Your Own Manager AgentCustomize Agents