跳到主要内容

快速安装

本页面将指导您快速安装和设置 LLAMA.CPP。

系统要求​

  • 操作系统: Linux, macOS, Windows
  • 内存: 至少 4GB RAM（建议 8GB 或更多）
  • 存储: 至少 1GB 可用空间
  • 编译器: GCC 或 Clang（如果从源码构建）

安装方式​

方式 1: 使用包管理器 (推荐)​

macOS (Homebrew)​

brew install llama.cpp

Linux (从预编译二进制文件)​

# 下载最新版本
wget https://github.com/ggml-org/llama.cpp/releases/latest/download/llama.cpp-linux-x64.tar.gz

# 解压
tar -xzf llama.cpp-linux-x64.tar.gz

# 移动到系统路径
sudo mv llama.cpp-linux-x64/* /usr/local/bin/

方式 2: 从源码构建​

# 克隆仓库
git clone https://github.com/ggml-org/llama.cpp.git
cd llama.cpp

# 构建
make

# 或者使用 CMake
mkdir build && cd build
cmake ..
make -j4

方式 3: 使用 Docker​

# 运行预构建的 Docker 容器
docker run -it --rm ghcr.io/ggml-org/llama.cpp:latest

# 或者构建自己的镜像
git clone https://github.com/ggml-org/llama.cpp.git
cd llama.cpp
docker build -t llama.cpp .

验证安装​

运行以下命令验证安装是否成功：

llama-cli --help

如果看到帮助信息，说明安装成功！

下一步​

安装完成后，您可以：

  1. 获取模型文件 - 下载或转换模型
  2. 运行第一个推理 - 尝试运行一个简单的对话
  3. 探索工具 - 了解各种命令行工具

常见问题​

Q: 编译时出现错误怎么办？​

A: 请确保您的系统安装了必要的开发工具：

# Ubuntu/Debian
sudo apt update && sudo apt install build-essential

# CentOS/RHEL
sudo yum groupinstall "Development Tools"

# macOS
xcode-select --install

Q: 如何启用 GPU 支持？​

A: 请参考 GPU 支持文档 了解如何为不同的 GPU 类型启用硬件加速。