minicpmv2.5

MiniCPM-Llama3-V 2.5

准备模型和代码

从 Hugging Face 下载 MiniCPM-Llama3-V-2_5 PyTorch 模型到 "MiniCPM-Llama3-V-2_5" 文件夹中。

构建 llama.cpp

文档修改时间：20250206

如果在使用过程中存在差异，请参考官方构建文档

克隆 llama.cpp 仓库：

git clone https://github.com/ggml-org/llama.cpp
cd llama.cpp

使用 CMake 构建 llama.cpp：

cmake -B build
cmake --build build --config Release

MiniCPM-Llama3-V 2.5 使用方法

将 PyTorch 模型转换为 gguf 文件（您也可以直接下载我们已经转换好的 gguf 格式文件）

python ./tools/mtmd/minicpmv-surgery.py -m ../MiniCPM-Llama3-V-2_5
python ./tools/mtmd/minicpmv-convert-image-encoder-to-gguf.py -m ../MiniCPM-Llama3-V-2_5 --minicpmv-projector ../MiniCPM-Llama3-V-2_5/minicpmv.projector --output-dir ../MiniCPM-Llama3-V-2_5/ --image-mean 0.5 0.5 0.5 --image-std 0.5 0.5 0.5 --minicpmv_version 2
python ./convert_hf_to_gguf.py ../MiniCPM-Llama3-V-2_5/model

# 量化为 int4 版本
./build/bin/llama-quantize ../MiniCPM-Llama3-V-2_5/model/model-8B-F16.gguf ../MiniCPM-Llama3-V-2_5/model/ggml-model-Q4_K_M.gguf Q4_K_M

在 Linux 或 Mac 系统上进行推理

# 单轮对话模式运行
./build/bin/llama-mtmd-cli -m ../MiniCPM-Llama3-V-2_5/model/model-8B-F16.gguf --mmproj ../MiniCPM-Llama3-V-2_5/mmproj-model-f16.gguf -c 4096 --temp 0.7 --top-p 0.8 --top-k 100 --repeat-penalty 1.05 --image xx.jpg -p "What is in the image?"

# 连续对话模式运行
./build/bin/llama-mtmd-cli -m ../MiniCPM-Llama3-V-2_5/model/ggml-model-Q4_K_M.gguf --mmproj ../MiniCPM-Llama3-V-2_5/mmproj-model-f16.gguf

注意： 在使用时请确保图像文件路径正确，将 xx.jpg 替换为实际的图像文件名。量化版本（Q4_K_M）可以显著减少内存使用，但可能会略微影响模型性能。