跳到主要内容

Linux

安装

要安装 Ollama,请运行以下命令:

curl -fsSL https://ollama.com/install.sh | sh

手动安装

注意: 如果您正在从旧版本升级,应首先使用 sudo rm -rf /usr/lib/ollama 删除旧的库文件。

下载并解压安装包:

curl -L https://ollama.com/download/ollama-linux-amd64.tgz -o ollama-linux-amd64.tgz
sudo tar -C /usr -xzf ollama-linux-amd64.tgz

启动 Ollama:

ollama serve

在另一个终端中,验证 Ollama 是否正常运行:

ollama -v

AMD 显卡安装

如果您使用的是 AMD 显卡,还需要下载并解压额外的 ROCm 软件包:

curl -L https://ollama.com/download/ollama-linux-amd64-rocm.tgz -o ollama-linux-amd64-rocm.tgz
sudo tar -C /usr -xzf ollama-linux-amd64-rocm.tgz

ARM64 架构安装

下载并解压 ARM64 专用软件包:

curl -L https://ollama.com/download/ollama-linux-arm64.tgz -o ollama-linux-arm64.tgz
sudo tar -C /usr -xzf ollama-linux-arm64.tgz

将 Ollama 添加为启动服务(推荐)

为 Ollama 创建用户和用户组:

sudo useradd -r -s /bin/false -U -m -d /usr/share/ollama ollama
sudo usermod -a -G ollama $(whoami)

/etc/systemd/system/ollama.service 中创建服务文件:

[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/usr/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=$PATH"

[Install]
WantedBy=multi-user.target

然后启动服务:

sudo systemctl daemon-reload
sudo systemctl enable ollama

安装 CUDA 驱动程序(可选)

下载并安装 CUDA。

通过运行以下命令验证驱动程序是否已安装,该命令应显示您显卡的详细信息:

nvidia-smi

安装 AMD ROCm 驱动程序(可选)

下载并安装 ROCm v6。

启动 Ollama

启动 Ollama 并验证其是否正在运行:

sudo systemctl start ollama
sudo systemctl status ollama

注意: 虽然 AMD 已将 amdgpu 驱动程序贡献给官方 Linux 内核源代码,但该版本较旧,可能不支持所有 ROCm 功能。我们建议您从 https://www.amd.com/en/support/linux-drivers 安装最新驱动程序,以获得对 Radeon 显卡的最佳支持。

自定义配置

要自定义 Ollama 的安装,您可以通过运行以下命令编辑 systemd 服务文件或环境变量:

sudo systemctl edit ollama

或者,在 /etc/systemd/system/ollama.service.d/override.conf 中手动创建覆盖文件:

[Service]
Environment="OLLAMA_DEBUG=1"

更新

通过再次运行安装脚本来更新 Ollama:

curl -fsSL https://ollama.com/install.sh | sh

或通过重新下载 Ollama:

curl -L https://ollama.com/download/ollama-linux-amd64.tgz -o ollama-linux-amd64.tgz
sudo tar -C /usr -xzf ollama-linux-amd64.tgz

安装特定版本

使用 OLLAMA_VERSION 环境变量与安装脚本一起安装特定版本的 Ollama,包括预发布版本。您可以在发布页面中找到版本号。

例如:

curl -fsSL https://ollama.com/install.sh | OLLAMA_VERSION=0.5.7 sh

查看日志

要查看作为启动服务运行的 Ollama 的日志,请运行:

journalctl -e -u ollama

卸载

删除 ollama 服务:

sudo systemctl stop ollama
sudo systemctl disable ollama
sudo rm /etc/systemd/system/ollama.service

从 bin 目录(/usr/local/bin/usr/bin/bin)中删除 ollama 二进制文件:

sudo rm $(which ollama)

删除下载的模型以及 Ollama 服务用户和用户组:

sudo rm -r /usr/share/ollama
sudo userdel ollama
sudo groupdel ollama

删除已安装的库文件:

sudo rm -rf /usr/local/lib/ollama
优云智算