使用大型语言模型

大语言模型(LLMs)是强大的人工智能模型，能够理解和生成类人文本，这使得它们在聊天机器人、内容生成、代码补全等应用中不可或缺。

在本指南中，您将学习如何在GPUStack中部署和与LLMs交互。

先决条件

在开始之前，请确保您已具备以下条件：

• 一台配备一块或多块GPU的Linux机器，总显存至少为30GB。我们将使用仅支持Linux的vLLM后端。
• 访问Hugging Face或ModelScope以下载模型文件。
• GPUStack 已安装并运行。如果没有，请参考快速入门指南。

步骤1：部署大型语言模型

从目录部署

目录中的大语言模型都标有LLM类别。当您从目录中选择一个大语言模型时，只要您有足够的GPU资源且后端与您的设置兼容（例如vLLM后端需要amd64 Linux工作节点），默认配置就能正常工作。

这里，我们以部署DeepSeek R1为例。

1. 在GPUStack UI中导航至Models页面。
2. 点击Deploy Model按钮。
3. 在下拉菜单中，选择 Catalog 作为模型的来源。
4. 在目录列表页面，使用左上角的搜索栏搜索模型关键词 DeepSeek。
5. 查看模型描述、最大上下文长度和支持的尺寸。

使用llama-box进行部署

1. 从目录中选择 Deepseek R1。
2. 在Size中选择7B。
3. 点击Save按钮部署模型。

部署完成后，您可以在Models页面监控模型状态，等待其开始运行。

使用vLLM进行部署

1. 从目录中选择Deepseek R1。
2. 由于模型名称是访问ID且不能与之前创建的重复，将默认模型名称更改为deepseek-r1-vllm。
3. 选择 vLLM 后端。
4. 在Size中选择7B。
5. 点击Save按钮部署模型。

部署完成后，您可以在Models页面监控模型状态，等待其开始运行。

步骤2：使用LLMs进行文本生成

1. 在GPUStack用户界面中导航至Playground > Chat页面。
2. 确认已从右上角的Model下拉菜单中选择部署的模型。
3. 为文本生成提供一个提示语。例如：

2, 4, 6, 8, > What is the next number?

4. 根据您的需求调整右侧的Parameters参数。
5. 点击Submit按钮生成文本。

生成的思维链和结果将在用户界面中显示。

按照以下步骤，您可以在GPUStack中利用大语言模型进行AI驱动的文本生成和自然语言处理任务。尝试不同的提示词和设置，充分探索大语言模型的全部能力！