GPTQModel

要创建一个新的4位或8位GPTQ量化模型，你可以利用ModelCloud.AI的GPTQModel。

量化将模型的精度从BF16/FP16（16位）降低到INT4（4位）或INT8（8位），这显著减少了模型的总内存占用，同时提高了推理性能。

兼容的GPTQModel量化模型可以利用Marlin和Machete vLLM自定义内核，在Ampere（A100+）和Hopper（H100+）Nvidia GPU上实现每秒批量交易数tps和令牌延迟性能的最大化。这两个内核由vLLM和NeuralMagic（现属Redhat）进行了高度优化，可为量化GPTQ模型提供世界级的推理性能。

GPTQModel是全球少数支持Dynamic逐模块量化的工具包之一，它允许对llm模型中的不同层和/或模块使用自定义量化参数进行进一步优化。Dynamic量化已完全集成到vLLM中，并得到ModelCloud.AI团队的技术支持。有关此功能及其他高级特性的更多详情，请参阅GPTQModel readme。

安装¶

您可以通过安装GPTQModel或从Huggingface上的5000多个模型中选择一个来量化自己的模型。

pip install -U gptqmodel --no-build-isolation -v

量化模型¶

安装完GPTQModel后，您就可以开始量化模型了。更多详情请参阅GPTQModel readme。

以下是如何量化meta-llama/Llama-3.2-1B-Instruct的示例：

from datasets import load_dataset
from gptqmodel import GPTQModel, QuantizeConfig

model_id = "meta-llama/Llama-3.2-1B-Instruct"
quant_path = "Llama-3.2-1B-Instruct-gptqmodel-4bit"

calibration_dataset = load_dataset(
    "allenai/c4",
    data_files="en/c4-train.00001-of-01024.json.gz",
    split="train"
  ).select(range(1024))["text"]

quant_config = QuantizeConfig(bits=4, group_size=128)

model = GPTQModel.load(model_id, quant_config)

# increase `batch_size` to match gpu/vram specs to speed up quantization
model.quantize(calibration_dataset, batch_size=2)

model.save(quant_path)

使用vLLM运行量化模型¶

要使用vLLM运行GPTQModel量化模型，您可以使用DeepSeek-R1-Distill-Qwen-7B-gptqmodel-4bit-vortex-v2并执行以下命令：

python examples/offline_inference/llm_engine_example.py \
    --model ModelCloud/DeepSeek-R1-Distill-Qwen-7B-gptqmodel-4bit-vortex-v2

在vLLM的Python API中使用GPTQModel¶

GPTQModel量化模型也直接通过LLM入口点支持：

from vllm import LLM, SamplingParams

# Sample prompts.
prompts = [
    "Hello, my name is",
    "The president of the United States is",
    "The capital of France is",
    "The future of AI is",
]

# Create a sampling params object.
sampling_params = SamplingParams(temperature=0.6, top_p=0.9)

# Create an LLM.
llm = LLM(model="ModelCloud/DeepSeek-R1-Distill-Qwen-7B-gptqmodel-4bit-vortex-v2")

# Generate texts from the prompts. The output is a list of RequestOutput objects
# that contain the prompt, generated text, and other information.
outputs = llm.generate(prompts, sampling_params)

# Print the outputs.
print("-"*50)
for output in outputs:
    prompt = output.prompt
    generated_text = output.outputs[0].text
    print(f"Prompt: {prompt!r}\nGenerated text: {generated_text!r}")
    print("-"*50)