使用您自己的数据的Azure聊天完成模型（预览）

Sep 11, 2023
Open in Github

此示例展示了如何将Azure OpenAI服务模型与您自己的数据一起使用。该功能目前处于预览阶段。

Azure OpenAI 在您的数据上使您能够运行支持的聊天模型，如 GPT-3.5-Turbo 和 GPT-4，而无需训练或微调模型。在您的数据上运行模型使您能够以更高的准确性和速度进行聊天和分析数据。Azure OpenAI 在您的数据上的一个关键优势是其能够定制对话 AI 的内容。由于模型可以访问并引用特定来源以支持其响应，答案不仅基于其预训练的知识，还基于指定数据源中的最新信息。这种基础数据还有助于模型避免基于过时或错误的信息生成响应。

Azure OpenAI 结合 Azure AI Search（前身为 Azure Cognitive Search）提供了一个可定制的、预构建的知识检索解决方案，可以从中构建对话式 AI 应用。要查看知识检索和语义搜索的其他方法，请查看 向量数据库 的示例。

先决条件

开始之前，我们将介绍一些先决条件。

要正确访问Azure OpenAI服务，我们需要在Azure门户上创建适当的资源（您可以在Microsoft文档中查看如何执行此操作的详细指南）

要将您自己的数据与Azure OpenAI模型一起使用，您将需要：

  1. Azure OpenAI 访问权限和部署了聊天模型的资源（例如，GPT-3 或 GPT-4）
  2. Azure AI 搜索（原名 Azure 认知搜索）资源
  3. Azure Blob 存储资源
  4. 您的文档将用作数据（请参阅数据源选项）

有关如何将文档上传到blob存储并使用Azure AI Studio创建索引的完整演练，请参阅此快速入门。

设置

首先，我们安装必要的依赖项。

! pip install "openai>=1.0.0,<2.0.0"
! pip install python-dotenv

在这个例子中，我们将使用dotenv来加载我们的环境变量。为了连接到Azure OpenAI和搜索索引，以下变量应该以KEY=VALUE的格式添加到.env文件中：

  • AZURE_OPENAI_ENDPOINT - Azure OpenAI 的端点。这可以在 Azure 门户中你的 Azure OpenAI 资源的“密钥和端点”下找到。
  • AZURE_OPENAI_API_KEY - Azure OpenAI API 密钥。这可以在 Azure 门户中你的 Azure OpenAI 资源的“密钥和终结点”下找到。如果使用 Azure Active Directory 身份验证（请参阅下面的 使用 Microsoft Active Directory 进行身份验证），请省略此项。
  • SEARCH_ENDPOINT - AI搜索端点。此URL可以在Azure门户中搜索资源的“概览”页面上找到。
  • SEARCH_KEY - AI Search API 密钥。在 Azure 门户中，可以在你的搜索资源的“密钥”下找到。
  • SEARCH_INDEX_NAME - 使用您自己的数据创建的索引的名称。
import os
import openai
import dotenv

dotenv.load_dotenv()

认证

Azure OpenAI 服务支持多种认证机制，包括 API 密钥和 Azure Active Directory 令牌凭证。

use_azure_active_directory = False  # Set this flag to True if you are using Azure Active Directory

使用API密钥进行身份验证

要设置OpenAI SDK以使用Azure API密钥，我们需要将api_key设置为与您的终端点关联的密钥（您可以在Azure门户中的"资源管理"下的"密钥和终端点"中找到此密钥）。您还可以在这里找到您的资源的终端点。

if not use_azure_active_directory:
    endpoint = os.environ["AZURE_OPENAI_ENDPOINT"]
    api_key = os.environ["AZURE_OPENAI_API_KEY"]
    # set the deployment name for the model we want to use
    deployment = "<deployment-id-of-the-model-to-use>"

    client = openai.AzureOpenAI(
        base_url=f"{endpoint}/openai/deployments/{deployment}/extensions",
        api_key=api_key,
        api_version="2023-09-01-preview"
    )

使用 Azure Active Directory 进行身份验证

现在让我们看看如何通过Azure Active Directory进行身份验证。我们将从安装azure-identity库开始。这个库将提供我们进行身份验证所需的令牌凭证，并通过get_bearer_token_provider辅助函数帮助我们构建令牌凭证提供者。建议使用get_bearer_token_provider而不是向AzureOpenAI提供静态令牌，因为这个API会自动为您缓存和刷新令牌。

有关如何使用 Azure OpenAI 设置 Azure Active Directory 身份验证的更多信息，请参阅文档。

! pip install "azure-identity>=1.15.0"
from azure.identity import DefaultAzureCredential, get_bearer_token_provider

if use_azure_active_directory:
    endpoint = os.environ["AZURE_OPENAI_ENDPOINT"]
    api_key = os.environ["AZURE_OPENAI_API_KEY"]
    # set the deployment name for the model we want to use
    deployment = "<deployment-id-of-the-model-to-use>"

    client = openai.AzureOpenAI(
        base_url=f"{endpoint}/openai/deployments/{deployment}/extensions",
        azure_ad_token_provider=get_bearer_token_provider(DefaultAzureCredential(), "https://cognitiveservices.azure.com/.default"),
        api_version="2023-09-01-preview"
    )

注意：如果未提供以下参数，AzureOpenAI 会从相应的环境变量中推断出这些参数：

  • api_key 来自 AZURE_OPENAI_API_KEY
  • azure_ad_token 来自 AZURE_OPENAI_AD_TOKEN
  • api_version 来自 OPENAI_API_VERSION
  • azure_endpoint 来自 AZURE_OPENAI_ENDPOINT

在这个例子中，我们希望我们的模型基于Azure AI服务文档数据来生成响应。按照之前分享的快速入门，我们已经将markdown文件添加到我们的搜索索引中，该文件对应Azure AI服务和机器学习文档页面。现在，模型已经准备好回答有关Azure AI服务和机器学习的问题。

现在我们可以在您自己的数据上使用Azure进行聊天完成。在dataSources中提供我们的搜索端点、密钥和索引名称，任何向模型提出的问题都将基于我们自己的数据。响应中将提供一个额外的属性context，以显示模型参考的数据来回答问题。

completion = client.chat.completions.create(
    messages=[{"role": "user", "content": "What are the differences between Azure Machine Learning and Azure AI services?"}],
    model=deployment,
    extra_body={
        "dataSources": [
            {
                "type": "AzureCognitiveSearch",
                "parameters": {
                    "endpoint": os.environ["SEARCH_ENDPOINT"],
                    "key": os.environ["SEARCH_KEY"],
                    "indexName": os.environ["SEARCH_INDEX_NAME"],
                }
            }
        ]
    }
)
print(f"{completion.choices[0].message.role}: {completion.choices[0].message.content}")

# `context` is in the model_extra for Azure
print(f"\nContext: {completion.choices[0].message.model_extra['context']['messages'][0]['content']}")

如果您希望从模型流式传输响应，您可以传递stream=True关键字参数：

response = client.chat.completions.create(
    messages=[{"role": "user", "content": "What are the differences between Azure Machine Learning and Azure AI services?"}],
    model=deployment,
    extra_body={
        "dataSources": [
            {
                "type": "AzureCognitiveSearch",
                "parameters": {
                    "endpoint": os.environ["SEARCH_ENDPOINT"],
                    "key": os.environ["SEARCH_KEY"],
                    "indexName": os.environ["SEARCH_INDEX_NAME"],
                }
            }
        ]
    },
    stream=True,
)

for chunk in response:
    delta = chunk.choices[0].delta

    if delta.role:
        print("\n"+ delta.role + ": ", end="", flush=True)
    if delta.content:
        print(delta.content, end="", flush=True)
    if delta.model_extra.get("context"):
        print(f"Context: {delta.model_extra['context']}", end="", flush=True)