Skip to content

Ollama 本地部署指南 ​

Ollama 是一个轻量级的大语言模型运行工具,支持在本地快速部署和运行各种开源大模型。本指南将详细介绍如何在本地环境中安装、配置和使用 Ollama。

概述 ​

什么是 Ollama? ​

Ollama 是一个开源的大语言模型运行框架,具有以下特点:

  • 简单易用:一行命令即可运行模型
  • 跨平台:支持 Linux、macOS 和 Windows
  • 模型丰富:支持 Llama 2、Mistral、Qwen 等多种开源模型
  • GPU 加速:支持 NVIDIA GPU 和 Apple Metal 加速
  • API 接口:提供 RESTful API 和 Python SDK

适用场景 ​

  • 本地开发和测试大语言模型
  • 构建私有化 AI 应用
  • 学习和研究大模型技术
  • 快速原型开发

环境要求 ​

硬件要求 ​

最低配置 ​

  • CPU: 4核心以上
  • 内存: 8GB(运行 7B 模型)
  • 存储: 10GB 可用空间
  • GPU: 可选(NVIDIA GPU 或 Apple M系列芯片)

推荐配置 ​

  • CPU: 8核心以上
  • 内存: 16GB(运行 13B 模型)或 32GB(运行 70B 模型)
  • 存储: 50GB SSD
  • GPU: NVIDIA RTX 3060 或更高(12GB+ 显存)

模型内存需求参考 ​

模型大小最小内存推荐内存GPU 显存
7B8GB16GB6GB
13B16GB32GB12GB
34B32GB64GB24GB
70B64GB128GB48GB

软件要求 ​

Linux ​

  • Ubuntu 18.04+ / Debian 10+ / CentOS 7+
  • 内核版本 3.10+

macOS ​

  • macOS 11.0 (Big Sur) 或更高版本
  • 支持 Apple Silicon (M1/M2/M3) 和 Intel 芯片

Windows ​

  • Windows 10 64位或更高版本
  • WSL2(Windows Subsystem for Linux)

安装步骤 ​

Linux 安装 ​

方法一:官方安装脚本(推荐) ​

bash
curl -fsSL https://ollama.com/install.sh | sh

安装脚本会自动:

  • 检测系统架构
  • 下载最新版本的 Ollama
  • 安装到 /usr/local/bin/ollama
  • 配置系统服务

方法二:手动安装 ​

bash
cd /tmp

curl -L https://ollama.com/download/ollama-linux-amd64 -o ollama

chmod +x ollama

sudo mv ollama /usr/local/bin/

sudo useradd -r -s /bin/false ollama

sudo mkdir -p /usr/share/ollama
sudo chown ollama:ollama /usr/share/ollama

配置系统服务 ​

创建 systemd 服务文件:

bash
sudo tee /etc/systemd/system/ollama.service <<EOF
[Unit]
Description=Ollama Service
After=network.target

[Service]
Type=simple
User=ollama
Group=ollama
ExecStart=/usr/local/bin/ollama serve
Restart=always
RestartSec=3
Environment="PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin"

[Install]
WantedBy=multi-user.target
EOF

启动服务:

bash
sudo systemctl daemon-reload
sudo systemctl enable ollama
sudo systemctl start ollama

sudo systemctl status ollama

macOS 安装 ​

方法一:官方安装包(推荐) ​

  1. 访问 Ollama 官网
  2. 下载 macOS 安装包
  3. 双击安装包,拖动 Ollama 到 Applications 文件夹
  4. 打开 Ollama 应用

方法二:Homebrew 安装 ​

bash
brew install ollama

启动服务 ​

bash
ollama serve

Windows 安装 ​

方法一:官方安装包(推荐) ​

  1. 访问 Ollama 官网
  2. 下载 Windows 安装包
  3. 运行安装程序
  4. 按照向导完成安装

方法二:WSL2 安装 ​

在 WSL2 Ubuntu 环境中安装:

bash
curl -fsSL https://ollama.com/install.sh | sh

Docker 安装 ​

使用 Docker 运行 ​

bash
docker run -d \
  --name ollama \
  --gpus=all \
  -v ollama:/root/.ollama \
  -p 11434:11434 \
  ollama/ollama:latest

CPU 模式运行 ​

bash
docker run -d \
  --name ollama \
  -v ollama:/root/.ollama \
  -p 11434:11434 \
  ollama/ollama:latest

基础使用 ​

模型管理 ​

查看可用模型 ​

访问 Ollama 模型库 查看所有可用模型。

拉取模型 ​

bash
ollama pull llama2

ollama pull mistral

ollama pull qwen:7b

ollama pull llama2:13b

查看已安装模型 ​

bash
ollama list

输出示例:

text
NAME            ID              SIZE    MODIFIED
llama2:latest   78e26419b446    3.8 GB  2 hours ago
mistral:latest  61e88e884502    4.1 GB  1 day ago
qwen:7b         d58df6722e4c    4.3 GB  3 days ago

删除模型 ​

bash
ollama rm llama2

查看模型信息 ​

bash
ollama show llama2

运行模型 ​

交互式对话 ​

bash
ollama run llama2

进入交互模式后,可以直接输入问题与模型对话:

text
>>> 你好,请介绍一下自己
你好!我是由Meta开发的Llama 2大语言模型。我是一个AI助手,可以帮助你回答问题、
写作、编程等各种任务。有什么我可以帮助你的吗?

>>> 请用Python写一个快速排序算法
当然!这是一个Python实现的快速排序算法:

def quicksort(arr):
    if len(arr) <= 1:
        return arr
    
    pivot = arr[len(arr) // 2]
    left = [x for x in arr if x < pivot]
    middle = [x for x in arr if x == pivot]
    right = [x for x in arr if x > pivot]
    
    return quicksort(left) + middle + quicksort(right)

# 使用示例
arr = [3, 6, 8, 10, 1, 2, 1]
print(quicksort(arr))  # 输出: [1, 1, 2, 3, 6, 8, 10]

单次问答 ​

bash
ollama run llama2 "请用一句话介绍Python"

从文件读取输入 ​

bash
ollama run llama2 < input.txt

管道输入 ​

bash
echo "请解释什么是机器学习" | ollama run llama2

模型参数设置 ​

设置温度参数 ​

bash
ollama run llama2 --temperature 0.7

设置最大生成长度 ​

bash
ollama run llama2 --num-predict 512

设置 Top-K 采样 ​

bash
ollama run llama2 --top-k 40

设置 Top-P 采样 ​

bash
ollama run llama2 --top-p 0.9

API 使用 ​

RESTful API ​

Ollama 默认在 http://localhost:11434 提供 API 服务。

生成文本 ​

bash
curl http://localhost:11434/api/generate -d '{
  "model": "llama2",
  "prompt": "为什么天空是蓝色的?"
}'

聊天对话 ​

bash
curl http://localhost:11434/api/chat -d '{
  "model": "llama2",
  "messages": [
    {
      "role": "user",
      "content": "你好,请介绍一下自己"
    }
  ]
}'

流式响应 ​

bash
curl http://localhost:11434/api/generate -d '{
  "model": "llama2",
  "prompt": "写一首关于春天的诗",
  "stream": true
}'

获取模型列表 ​

bash
curl http://localhost:11434/api/tags

Python SDK ​

安装 SDK ​

bash
pip install ollama

基础使用 ​

python
import ollama

response = ollama.chat(model='llama2', messages=[
  {
    'role': 'user',
    'content': '为什么天空是蓝色的?',
  },
])
print(response['message']['content'])

流式响应 ​

python
import ollama

stream = ollama.chat(
    model='llama2',
    messages=[{'role': 'user', 'content': '写一首诗'}],
    stream=True,
)

for chunk in stream:
  print(chunk['message']['content'], end='', flush=True)

自定义参数 ​

python
import ollama

response = ollama.generate(
    model='llama2',
    prompt='解释量子计算',
    options={
        'temperature': 0.7,
        'top_p': 0.9,
        'num_predict': 256,
    }
)
print(response['response'])

高级配置 ​

GPU 加速配置 ​

NVIDIA GPU ​

确保已安装 NVIDIA 驱动和 CUDA:

bash
nvidia-smi

Ollama 会自动检测并使用 GPU。

Apple Metal (macOS) ​

Apple Silicon Mac 会自动使用 Metal 加速。

验证 GPU 使用 ​

bash
ollama run llama2 --verbose

查看输出中的 GPU 信息。

环境变量配置 ​

设置模型存储路径 ​

bash
export OLLAMA_MODELS=/path/to/models

设置监听地址 ​

bash
export OLLAMA_HOST=0.0.0.0:11434

设置并发请求数 ​

bash
export OLLAMA_NUM_PARALLEL=4

设置最大队列长度 ​

bash
export OLLAMA_MAX_QUEUE=512

自定义模型 ​

创建 Modelfile ​

创建一个 Modelfile:

dockerfile
FROM llama2

# 设置参数
PARAMETER temperature 0.7
PARAMETER top_p 0.9
PARAMETER num_predict 512

# 设置系统提示
SYSTEM You are a helpful AI assistant specialized in Python programming.

# 设置模板
TEMPLATE """
{{ .System }}
User: {{ .Prompt }}
Assistant:
"""

创建自定义模型 ​

bash
ollama create mymodel -f ./Modelfile

运行自定义模型 ​

bash
ollama run mymodel

模型量化 ​

Ollama 支持多种量化格式:

bash
# 4-bit 量化
ollama pull llama2:7b-q4_0

# 5-bit 量化
ollama pull llama2:7b-q5_0

# 8-bit 量化
ollama pull llama2:7b-q8_0

性能优化 ​

内存优化 ​

使用量化模型 ​

bash
ollama pull llama2:7b-q4_0

4-bit 量化模型内存占用约为原模型的 1/4。

调整上下文长度 ​

bash
ollama run llama2 --num-ctx 2048

较小的上下文长度可以减少内存占用。

推理速度优化 ​

批处理请求 ​

python
import ollama
import concurrent.futures

prompts = [
    "解释机器学习",
    "什么是深度学习",
    "介绍自然语言处理",
]

with concurrent.futures.ThreadPoolExecutor() as executor:
    futures = [
        executor.submit(ollama.generate, model='llama2', prompt=prompt)
        for prompt in prompts
    ]
    
    for future in concurrent.futures.as_completed(futures):
        print(future.result()['response'])

使用 GPU ​

确保模型在 GPU 上运行:

bash
export CUDA_VISIBLE_DEVICES=0
ollama run llama2

常见问题 ​

1. 模型下载失败 ​

问题:模型下载速度慢或失败

解决方案:

bash
# 使用代理
export HTTP_PROXY=http://proxy.example.com:8080
export HTTPS_PROXY=http://proxy.example.com:8080

# 或使用镜像站
export OLLAMA_MIRRORS=https://mirror.example.com

2. GPU 识别问题 ​

问题:Ollama 无法识别 GPU

解决方案:

bash
# 检查 NVIDIA 驱动
nvidia-smi

# 检查 CUDA
nvcc --version

# 设置 GPU
export CUDA_VISIBLE_DEVICES=0

3. 内存不足 ​

问题:运行模型时内存不足

解决方案:

  • 使用量化模型(如 llama2:7b-q4_0)
  • 减少上下文长度
  • 关闭其他占用内存的程序
  • 增加系统交换空间

4. 服务无法启动 ​

问题:Ollama 服务无法启动

解决方案:

bash
# 检查端口占用
lsof -i :11434

# 检查日志
journalctl -u ollama -f

# 重启服务
sudo systemctl restart ollama

5. API 调用超时 ​

问题:API 请求超时

解决方案:

bash
# 增加超时时间
curl --max-time 300 http://localhost:11434/api/generate -d '{
  "model": "llama2",
  "prompt": "长文本生成任务"
}'

最佳实践 ​

1. 模型选择 ​

  • 开发测试:使用 7B 模型,速度快、资源占用少
  • 生产环境:根据需求选择 13B 或更大模型
  • 资源受限:使用量化模型(q4_0 或 q5_0)

2. 资源管理 ​

  • 监控 GPU 和内存使用情况
  • 合理设置并发请求数
  • 定期清理不使用的模型

3. 安全建议 ​

  • 不要将 Ollama 服务暴露到公网
  • 使用防火墙限制访问
  • 定期更新到最新版本

4. 性能监控 ​

bash
# 监控 GPU 使用
watch -n 1 nvidia-smi

# 监控内存使用
watch -n 1 free -h

# 查看 Ollama 日志
journalctl -u ollama -f

参考资料 ​

官方资源 ​

相关教程 ​

社区资源 ​


提示

Ollama 更新频繁,建议定期更新到最新版本以获得更好的性能和新功能。

信息

本指南基于 Ollama 最新版本编写,如遇到版本差异,请参考官方文档。