开放模型LLM

介绍

Open Model LLM 工具支持在 Azure ML Prompt Flow 中使用各种开放模型和基础模型，例如 Falcon 和 Llama 2，用于自然语言处理。

这是在 Visual Studio Code 的提示流扩展中的实际效果。在这个例子中，该工具被用来调用 LlaMa-2 聊天端点并询问“什么是 CI？”。

此提示流工具支持两种不同的LLM API类型：

• 聊天: 如上例所示。聊天API类型便于与基于文本的输入和响应进行交互式对话。

• 完成: 完成API类型用于根据提供的提示输入生成单一响应文本完成。

快速概览：如何使用Open Model LLM工具？

1. 从AzureML模型目录中选择一个模型并部署它。

2. 连接到模型部署。

3. 配置开放模型LLM工具设置。

4. 使用guidance准备提示。

5. 运行流程。

先决条件：模型部署

1. 从Azure Machine Learning 模型目录中选择与您的场景匹配的模型。

2. 使用“部署”按钮将模型部署到AzureML在线推理端点。 2.1. 使用按需付费的部署选项之一。

更详细的说明可以在这里找到 将基础模型部署到端点进行推理。

先决条件：连接到模型

为了让提示流使用您部署的模型，您需要连接到它。有几种连接方式。

1. 端点连接

一旦与AzureML或Azure AI Studio工作区关联，Open Model LLM工具就可以使用该工作区上的端点。

1. 使用AzureML或Azure AI Studio工作区：如果您在基于网页的浏览器工作区中使用提示流，该工作区上可用的在线端点将自动显示。

2. 使用 VScode 或 Code First：如果您在 VScode 或其中一个 Code First 产品中使用 prompt flow，您需要连接到工作区。Open Model LLM 工具使用 azure.identity DefaultAzureCredential 客户端进行授权。一种方法是通过设置环境凭证值。

2. 自定义连接

Open Model LLM 工具使用 CustomConnection。Prompt flow 支持两种类型的连接：

1. 工作区连接 - 这些是作为机密存储在Azure机器学习工作区上的连接。虽然这些连接可以在许多地方使用，但它们通常在Studio UI中创建和维护。

2. 本地连接 - 这些是存储在您机器上的本地连接。这些连接在Studio UX中不可用，但可以与VScode扩展一起使用。

关于如何创建工作区或本地自定义连接的说明可以在这里找到。

需要设置的键是：

1. endpoint_url

   • 此值可以在之前创建的推理端点找到。

2. endpoint_api_key

   • 确保将其设置为秘密值。

   • 此值可以在之前创建的推理端点找到。

3. model_family

   • 支持的值：LLAMA, DOLLY, GPT2, 或 FALCON

   • 此值取决于您所针对的部署类型。

运行工具：输入

Open Model LLM 工具有许多参数，其中一些是必需的。请参阅下表以获取详细信息，您可以将这些与上面的屏幕截图进行匹配以获得视觉清晰度。

名称	类型	描述	是否必需
api	string	这是API模式，将取决于所使用的模型和选择的场景。支持的值：(Completion | Chat)	是
endpoint_name	string	已部署支持模型的在线推理端点的名称。优先于连接。	否
temperature	float	生成文本的随机性。默认值为1。	否
max_new_tokens	integer	在完成中生成的最大令牌数。默认值为500。	No
top_p	float	使用生成令牌中最高选择项的概率。默认值为1。	No
model_kwargs	dictionary	此输入用于提供特定于所用模型的配置。例如，Llama-02 模型可能使用 {“temperature”:0.4}。默认值：{}	否
deployment_name	string	目标在线推理端点的部署名称。如果未传递值，则将使用推理负载均衡器流量设置。	No
prompt	string	语言模型将用于生成其响应的文本提示。	是

输出

API	返回类型	描述
完成	字符串	一个预测完成的文本
聊天	字符串	对话中一个回复的文本

部署到在线端点

当部署包含Open Model LLM工具的流程到在线端点时，有一个额外的步骤来设置权限。在通过网页部署期间，可以选择系统分配和用户分配的身份类型。无论哪种方式，使用Azure门户（或类似功能），将“读取者”作业功能角色添加到托管端点的Azure机器学习工作区或Ai Studio项目中的身份上。可能需要刷新提示流部署。