跳到主要内容

非OpenAI模型

AutoGen 允许你通过提供 OpenAI 兼容 API 或自定义模型客户端类的代理服务器使用非 OpenAI 模型。

这种灵活性的好处包括访问数百种模型，为代理分配专门的模型（例如，微调的编码模型），能够完全在您的环境中运行AutoGen，在一个系统中同时使用OpenAI和非OpenAI模型，以及降低推理成本。

OpenAI兼容的API代理服务器​

任何提供与OpenAI的API兼容的API的代理服务器都可以与AutoGen一起使用。

这些代理服务器可以是基于云的，也可以在您的环境中本地运行。

Cloud or Local Proxy Servers

基于云的代理服务器​

通过使用基于云的代理服务器，您无需使用硬件和软件即可运行模型。

这些提供商可以托管开源/权重模型，例如 Hugging Face 和 Mistral AI，或者是他们自己的闭源模型。

当基于云的代理服务器提供与OpenAI兼容的API时，在AutoGen中使用它们非常简单。与使用OpenAI模型时相同的方式完成LLM配置，主要区别通常在于身份验证，这通常通过API密钥处理。

使用具有OpenAI兼容API的基于云的代理服务器提供商的示例如下：

本地运行的代理服务器​

越来越多的LLM代理服务器可供本地使用。这些可以是开源的（例如，LiteLLM、Ollama、vLLM）或闭源的（例如，LM Studio），通常用于在您的环境中运行全栈。

类似于基于云的代理服务器，只要这些代理服务器提供与OpenAI兼容的API，在AutoGen中运行它们就很简单。

下面提供了使用具有OpenAI兼容API的本地运行的代理服务器的示例：

tip

如果您计划使用Function Calling，请注意并非所有基于云和本地的代理服务器都支持其OpenAI兼容API的Function Calling，因此请检查其文档。

配置非OpenAI模型​

无论您选择基于云还是本地运行的代理服务器，配置方法与使用OpenAI的模型相同，更多信息请参阅LLM Configuration。

您可以使用模型配置过滤 将特定模型分配给代理。

自定义模型客户端类​

对于更高级的用户，您可以创建自己的自定义模型客户端类，使您能够定义和加载自己的模型。

参见AutoGen与自定义模型：使用户能够使用自己的推理机制 博客文章和此笔记本以获取创建自定义模型客户端类的指南。