跳到主要内容

Ollama Windows 版本

欢迎使用 Ollama Windows 版本。

不再需要 WSL!

Ollama 现在作为原生 Windows 应用程序运行,支持 NVIDIA 和 AMD Radeon GPU。安装 Ollama Windows 版本后,Ollama 将在后台运行,ollama 命令行工具可在 cmdpowershell 或您喜欢的终端应用程序中使用。像往常一样,Ollama API 将在 http://localhost:11434 上提供服务。

系统要求

  • Windows 10 22H2 或更新版本,家庭版或专业版
  • 如果您有 NVIDIA 显卡,需要 NVIDIA 452.39 或更新版本的驱动程序
  • 如果您有 Radeon 显卡,需要 AMD Radeon 驱动程序 https://www.amd.com/en/support

Ollama 使用 Unicode 字符来显示进度指示,在 Windows 10 的一些较旧终端字体中可能会显示为未知方块。如果您看到这种情况,请尝试更改终端字体设置。

文件系统要求

Ollama 安装不需要管理员权限,默认安装在您的家目录中。二进制安装至少需要 4GB 空间。安装 Ollama 后,您还需要额外的空间来存储大型语言模型,这些模型可能有数十到数百 GB 的大小。如果您的家目录没有足够的空间,您可以更改二进制文件的安装位置和模型的存储位置。

更改安装位置

要将 Ollama 应用程序安装到家目录以外的位置,请使用以下标志启动安装程序:

OllamaSetup.exe /DIR="d:\some\location"

更改模型存储位置

要更改 Ollama 存储下载模型的位置(而不是使用您的家目录),请在您的用户账户中设置环境变量 OLLAMA_MODELS

  1. 启动设置应用程序(Windows 11)或控制面板(Windows 10),搜索"环境变量"。

  2. 点击"编辑账户的环境变量"。

  3. 为您的用户账户编辑或创建一个新的 OLLAMA_MODELS 变量,指定您希望存储模型的位置。

  4. 点击确定/应用以保存。

如果 Ollama 已经在运行,请退出托盘应用程序并从开始菜单重新启动它,或者在保存环境变量后启动一个新的终端。

API 访问

以下是从 powershell 访问 API 的快速示例:

(Invoke-WebRequest -method POST -Body '{"model":"llama3.2", "prompt":"Why is the sky blue?", "stream": false}' -uri http://localhost:11434/api/generate ).Content | ConvertFrom-json

故障排除

Windows 上的 Ollama 将文件存储在几个不同的位置。您可以通过按 <Ctrl>+R 并输入以下内容在资源管理器窗口中查看它们:

  • explorer %LOCALAPPDATA%\Ollama 包含日志和下载的更新
    • app.log 包含来自 GUI 应用程序的最新日志
    • server.log 包含最新的服务器日志
    • upgrade.log 包含升级的日志输出
  • explorer %LOCALAPPDATA%\Programs\Ollama 包含二进制文件(安装程序将此添加到您的用户 PATH 中)
  • explorer %HOMEPATH%\.ollama 包含模型和配置文件

卸载

Ollama Windows 安装程序注册了一个卸载程序应用程序。在 Windows 设置的"添加或删除程序"中,您可以卸载 Ollama。

注意: 如果您已经更改了 OLLAMA_MODELS 位置,安装程序将不会删除您下载的模型

独立命令行工具

在 Windows 上安装 Ollama 的最简单方法是使用 OllamaSetup.exe 安装程序。它在您的账户中安装,无需管理员权限。我们定期更新 Ollama 以支持最新的模型,此安装程序将帮助您保持最新状态。

如果您想将 Ollama 作为服务安装或集成,可以使用独立的 ollama-windows-amd64.zip 压缩文件,其中仅包含 Ollama 命令行工具和 Nvidia 的 GPU 库依赖项。如果您有 AMD GPU,还需要下载并将额外的 ROCm 包 ollama-windows-amd64-rocm.zip 解压到同一目录中。这允许将 Ollama 嵌入到现有应用程序中,或使用 NSSM 等工具通过 ollama serve 将其作为系统服务运行。

注意: 如果您从旧版本升级,应该先删除旧目录。

优云智算