📄️ OpenAI
LiteLLM支持OpenAI聊天和嵌入调用。
📄️ OpenAI（文本补全）
LiteLLM 支持 OpenAI 的文本补全模型
📄️ 兼容OpenAI的端点
要调用位于openai代理后面的模型，请进行以下两处更改：
📄️ Azure OpenAI
API Keys, Params
📄️ Azure AI Studio
LiteLLM 支持 Azure AI Studio 上的所有模型
📄️ VertexAI [Anthropic, Gemini, Model Garden]
vertex_ai/ 路由
📄️ Gemini - Google AI Studio
前提条件
📄️ Anthropic
LiteLLM支持所有Anthropic模型。
📄️ AWS Sagemaker
LiteLLM 支持所有 Sagemaker Huggingface Jumpstart 模型
📄️ AWS Bedrock
所有 Bedrock 模型（Anthropic、Meta、Mistral、Amazon 等）均受支持
📄️ LiteLLM 代理（LLM 网关）
LiteLLM 提供了一个自托管的代理服务器（AI 网关），用于以 OpenAI 格式调用所有 LLM
📄️ Mistral AI API
https://docs.mistral.ai/api/
📄️ Codestral API [Mistral AI]
Codestral 在选定的代码补全插件中可用，但也可以直接查询。查看文档获取更多详情。
📄️ Cohere
API 密钥
📄️ Anyscale
https://app.endpoints.anyscale.com/
📄️ Huggingface
LiteLLM 支持以下类型的 Hugging Face 模型：
📄️ 🆕 Databricks
LiteLLM 支持 Databricks 上的所有模型
📄️ IBM watsonx.ai
LiteLLM 支持所有 IBM watsonx.ai 基础模型和嵌入模型。
📄️ Predibase
LiteLLM 支持所有 Predibase 上的模型
📄️ Nvidia NIM
https://docs.api.nvidia.com/nim/reference/
📄️ Cerebras
https://inference-docs.cerebras.ai/api-reference/chat-completions
📄️ 火山引擎 (Volcengine)
https://www.volcengine.com/docs/82379/1263482
📄️ Triton推理服务器
LiteLLM支持Triton推理服务器上的嵌入模型
📄️ Ollama
LiteLLM支持来自Ollama的所有模型
📄️ Perplexity AI (pplx-api)
https://www.perplexity.ai
📄️ FriendliAI
https://suite.friendli.ai/
📄️ Groq
https://groq.com/
📄️ 🆕 Github
https://github.com/marketplace/models
📄️ Deepseek
https://deepseek.com/
📄️ Fireworks AI
https://fireworks.ai/
📄️ Clarifai
Clarifai 支持 Anthropic、OpenAI、Mistral、Llama 和 Gemini LLMs。
📄️ VLLM
LiteLLM 支持 VLLM 上的所有模型。
📄️ Xinference [Xorbits Inference]
https://inference.readthedocs.io/en/latest/index.html
📄️ Cloudflare Workers AI
https://developers.cloudflare.com/workers-ai/models/text-generation/
📄️ DeepInfra
https://deepinfra.com/
📄️ AI21
LiteLLM支持以下AI21模型：
📄️ NLP Cloud
LiteLLM 支持 NLP Cloud 上的所有 LLM。
📄️ Replicate
LiteLLM 支持 Replicate 上的所有模型
📄️ Together AI
LiteLLM支持Together AI上的所有模型。
📄️ Voyage AI
https://docs.voyageai.com/embeddings/
📄️ Aleph Alpha
LiteLLM支持所有来自Aleph Alpha的模型。
📄️ Baseten
LiteLLM 支持 Baseten 上的任何 Text-Gen-Interface 模型。
📄️ OpenRouter
LiteLLM支持来自OpenRouter的所有文本/聊天/视觉模型。
📄️ PaLM API - Google
警告：PaLM API 已被 Google 停用 PaLM API 计划于 2024 年 10 月停用。请升级至 Gemini API 或 Vertex AI API
📄️ Sambanova
https://community.sambanova.ai/t/create-chat-completion-api/
📄️ 自定义API服务器 (自定义格式)
通过LiteLLM调用您自定义的torch-serve / 内部LLM API
📄️ Petals
Petals//github.com/bigscience-workshop/petals
