Heroku LLM 托管推理

llama-index-llms-heroku 软件包包含用于在 Heroku 托管推理平台上构建应用程序模型的 LlamaIndex 集成。该集成使您能够轻松连接并使用部署在 Heroku 基础设施上的 AI 模型。

安装

%pip install llama-index-llms-heroku

设置

1. 创建一个 Heroku 应用

首先，在 Heroku 中创建一个应用：

heroku create $APP_NAME

2. 创建并附加AI模型

创建并附加一个聊天模型到您的应用：

heroku ai:models:create -a $APP_NAME claude-3-5-haiku

3. 导出配置变量

导出所需的配置变量：

export INFERENCE_KEY=$(heroku config:get INFERENCE_KEY -a $APP_NAME)
export INFERENCE_MODEL_ID=$(heroku config:get INFERENCE_MODEL_ID -a $APP_NAME)
export INFERENCE_URL=$(heroku config:get INFERENCE_URL -a $APP_NAME)

使用方法

基本用法

from llama_index.llms.heroku import Heroku
from llama_index.core.llms import ChatMessage, MessageRole

# Initialize the Heroku LLM
llm = Heroku()

# Create chat messages
messages = [
    ChatMessage(
        role=MessageRole.SYSTEM, content="You are a helpful assistant."
    ),
    ChatMessage(
        role=MessageRole.USER,
        content="What are the most popular house pets in North America?",
    ),
]

# Get response
response = llm.chat(messages)
print(response)

使用环境变量

该集成自动从环境变量中读取：

import os

# Set environment variables
os.environ["INFERENCE_KEY"] = "your-inference-key"
os.environ["INFERENCE_URL"] = "https://us.inference.heroku.com"
os.environ["INFERENCE_MODEL_ID"] = "claude-3-5-haiku"

# Initialize without parameters
llm = Heroku()

使用参数

您也可以直接传递参数：

import os

llm = Heroku(
    model=os.getenv("INFERENCE_MODEL_ID", "claude-3-5-haiku"),
    api_key=os.getenv("INFERENCE_KEY", "your-inference-key"),
    inference_url=os.getenv(
        "INFERENCE_URL", "https://us.inference.heroku.com"
    ),
    max_tokens=1024,
)

可用模型

有关可用模型的完整列表，请参阅Heroku托管推理文档。

错误处理

该集成包含针对常见问题的适当错误处理：

缺少API密钥
无效的推理URL
缺少模型配置

附加信息

有关 Heroku 托管推理的更多信息，请访问官方文档。