LLMs - CrewAI

CrewAI通过LiteLLM与多个LLM提供商集成，使您能够灵活选择适合特定用例的模型。本指南将帮助您了解如何在CrewAI项目中配置和使用不同的LLM提供商。

什么是LLMs？

大型语言模型（LLMs）是CrewAI代理背后的核心智能。它们使代理能够理解上下文、做出决策并生成类似人类的响应。以下是您需要了解的内容：

LLM 基础

大型语言模型是在大量文本数据上训练的人工智能系统。它们为您的CrewAI代理提供智能支持，使其能够理解和生成类似人类的文本。

上下文窗口

上下文窗口决定了LLM一次可以处理多少文本。较大的窗口（例如，128K tokens）允许更多的上下文，但可能更昂贵且更慢。

温度

温度（0.0 到 1.0）控制响应的随机性。较低的值（例如 0.2）会产生更集中、确定性的输出，而较高的值（例如 0.8）会增加创造力和变异性。

供应商选择

每个LLM提供商（例如，OpenAI、Anthropic、Google）提供不同能力的模型，具有不同的定价和功能。根据您对准确性、速度和成本的需求进行选择。

可用模型及其功能

以下是支持的模型及其功能的详细分解，您可以在lmarena.ai和artificialanalysis.ai上比较性能：

模型	上下文窗口	最适合
GPT-4	8,192 tokens	高精度任务，复杂推理
GPT-4 Turbo	128,000 tokens	长文本内容，文档分析
GPT-4o & GPT-4o-mini	128,000 tokens	经济高效的大规模上下文处理

1个token ≈ 4个英文字符。例如，8,192个token ≈ 32,768个字符或大约6,000个单词。

设置您的LLM

在CrewAI中有三种配置LLMs的方法。选择最适合您工作流程的方法：

最简单的入门方法。在您的环境中设置这些变量：

# Required: Your API key for authentication
OPENAI_API_KEY=<your-api-key>

# Optional: Default model selection
OPENAI_MODEL_NAME=gpt-4o-mini  # Default if not set

# Optional: Organization ID (if applicable)
OPENAI_ORGANIZATION_ID=<your-org-id>

切勿将API密钥提交到版本控制中。使用环境文件（.env）或系统的秘密管理。

高级功能和优化

学习如何充分利用您的LLM配置：

CrewAI 包含智能上下文管理功能：

from crewai import LLM

# CrewAI automatically handles:
# 1. Token counting and tracking
# 2. Content summarization when needed
# 3. Task splitting for large contexts

llm = LLM(
    model="gpt-4",
    max_tokens=4000,  # Limit response length
)

上下文管理的最佳实践：

选择具有适当上下文窗口的模型
尽可能预处理长输入
对大文档使用分块处理
监控令牌使用情况以优化成本

令牌使用优化

为您的任务选择合适的上下文窗口：

小任务（最多4K tokens）：标准模型
中等任务（4K-32K之间）：增强模型
大型任务（超过32K）：大型上下文模型

# Configure model with appropriate settings
llm = LLM(
    model="openai/gpt-4-turbo-preview",
    temperature=0.7,    # Adjust based on task
    max_tokens=4096,    # Set based on output needs
    timeout=300        # Longer timeout for complex tasks
)

降低温度（0.1到0.3）以获得事实性回答
对于创意任务，较高的温度（0.7 到 0.9）

最佳实践

监控令牌使用情况
实施速率限制
尽可能使用缓存
设置适当的max_tokens限制

请记住定期监控您的令牌使用情况，并根据需要调整配置以优化成本和性能。

提供者配置示例

Code
# Required
OPENAI_API_KEY=sk-...

# Optional
OPENAI_API_BASE=<custom-base-url>
OPENAI_ORGANIZATION=<your-org-id>

示例用法：

Code
from crewai import LLM

llm = LLM(
    model="gpt-4",
    temperature=0.8,
    max_tokens=150,
    top_p=0.9,
    frequency_penalty=0.1,
    presence_penalty=0.1,
    stop=["END"],
    seed=42
)

Code
# Option 1. Gemini accessed with an API key.
# https://ai.google.dev/gemini-api/docs/api-key
GEMINI_API_KEY=<your-api-key>

# Option 2. Vertex AI IAM credentials for Gemini, Anthropic, and anything in the Model Garden.
# https://cloud.google.com/vertex-ai/generative-ai/docs/overview

示例用法：

Code
llm = LLM(
    model="gemini/gemini-1.5-pro-latest",
    temperature=0.7
)

Code
# Required
AZURE_API_KEY=<your-api-key>
AZURE_API_BASE=<your-resource-url>
AZURE_API_VERSION=<api-version>

# Optional
AZURE_AD_TOKEN=<your-azure-ad-token>
AZURE_API_TYPE=<your-azure-api-type>

示例用法：

Code
llm = LLM(
    model="azure/gpt-4",
    api_version="2023-05-15"
)

Code
AWS_ACCESS_KEY_ID=<your-access-key>
AWS_SECRET_ACCESS_KEY=<your-secret-key>
AWS_DEFAULT_REGION=<your-region>

示例用法：

Code
llm = LLM(
    model="bedrock/anthropic.claude-3-sonnet-20240229-v1:0"
)

Code
# Required
WATSONX_URL=<your-url>
WATSONX_APIKEY=<your-apikey>
WATSONX_PROJECT_ID=<your-project-id>

# Optional
WATSONX_TOKEN=<your-token>
WATSONX_DEPLOYMENT_SPACE_ID=<your-space-id>

示例用法：

Code
llm = LLM(
    model="watsonx/meta-llama/llama-3-1-70b-instruct",
    base_url="https://api.watsonx.ai/v1"
)

Code
# Required
CEREBRAS_API_KEY=<your-api-key>

示例用法：

Code
llm = LLM(
    model="cerebras/llama3.1-70b",
    temperature=0.7,
    max_tokens=8192
)

Cerebras 特点：

快速推理速度
竞争性定价
速度和质量的良好平衡
支持长上下文窗口

常见问题及解决方案

大多数认证问题可以通过检查API密钥格式和环境变量名称来解决。

# OpenAI
OPENAI_API_KEY=sk-...

# Anthropic
ANTHROPIC_API_KEY=sk-ant-...

获取帮助

如果您需要帮助，以下资源可供使用：

LiteLLM 文档

LiteLLM 集成的全面文档和常见问题的故障排除。

GitHub 问题

报告错误、请求功能或浏览现有问题以寻找解决方案。

社区论坛

与其他CrewAI用户联系，分享经验，并从社区获得帮助。

API密钥安全的最佳实践：

使用环境变量或安全保险库
永远不要将密钥提交到版本控制
定期轮换密钥
为开发和生产使用不同的密钥
监控关键使用情况以发现异常模式

开始使用

核心概念

操作指南

工具

遥测

大型语言模型

什么是LLMs？

LLM 基础

上下文窗口

温度

供应商选择

可用模型及其功能

设置您的LLM

高级功能和优化

提供者配置示例

常见问题及解决方案

获取帮助

LiteLLM 文档

GitHub 问题

社区论坛

开始使用

核心概念

操作指南

工具

遥测

​什么是LLMs？

LLM 基础

上下文窗口

温度

供应商选择

​可用模型及其功能

​设置您的LLM

​高级功能和优化

​提供者配置示例

​常见问题及解决方案

​获取帮助

LiteLLM 文档

GitHub 问题

社区论坛

什么是LLMs？

可用模型及其功能

设置您的LLM

高级功能和优化

提供者配置示例

常见问题及解决方案

获取帮助