ModelScope 大语言模型

在本笔记本中，我们将展示如何在LlamaIndex中使用ModelScope LLM模型。请查看ModelScope网站。

如果您在 Colab 上打开这个笔记本，您需要安装 LlamaIndex 🦙 和 modelscope。

!pip install llama-index-llms-modelscope

基本用法

import sys
from llama_index.llms.modelscope import ModelScopeLLM

llm = ModelScopeLLM(model_name="qwen/Qwen3-8B", model_revision="master")

rsp = llm.complete("Hello, who are you?")
print(rsp)

使用消息请求

from llama_index.core.base.llms.types import MessageRole, ChatMessage

messages = [
    ChatMessage(
        role=MessageRole.SYSTEM, content="You are a helpful assistant."
    ),
    ChatMessage(role=MessageRole.USER, content="How to make cake?"),
]
resp = llm.chat(messages)
print(resp)