WebUI 演示

使用LMDeploy启动LLM模型的gradio服务并在WebUI上与模型交互非常简单。

pip install lmdeploy[serve]
lmdeploy serve gradio {model_path}

只需要一行命令，将{model_path}替换为来自huggingface hub的模型ID，例如internlm/internlm2_5-7b-chat，或者模型的本地路径。

有关命令的详细参数，请转到 lmdeploy serve gradio -h 获取帮助。

创建一个huggingface演示

如果您想在huggingface上为您的模型创建一个在线演示项目，请按照以下步骤操作。

第一步：创建空间

首先，注册一个Hugging Face账户。成功注册后，点击右上角的个人资料图片，选择“New Space”来创建一个。按照Hugging Face的指南选择必要的配置，你将拥有一个空白的演示空间。

步骤2：开发演示的入口点 app.py

将您空间中的app.py内容替换为以下代码：

from lmdeploy.serve.gradio.turbomind_coupled import run_local
from lmdeploy.messages import TurbomindEngineConfig

backend_config = TurbomindEngineConfig(max_batch_size=8)
model_path = 'internlm/internlm2_5-7b-chat'
run_local(model_path, backend_config=backend_config, server_name="huggingface-space")

创建一个requirements.txt文件，内容如下：

lmdeploy

常见问题解答

• ZeroGPU兼容性问题。ZeroGPU不适用于LMDeploy的turbomind引擎。请使用标准GPU。或者，您可以在上述代码中将后端配置更改为PyTorchEngineConfig以使用ZeroGPU。

• Gradio版本问题，目前不支持4.0.0以上的版本。你可以在app.py中修改，例如：

  import os
  os.system("pip uninstall -y gradio")
  os.system("pip install gradio==3.43.0")