外观
Ollama 本地部署指南
Ollama 是一个轻量级的大语言模型运行工具,支持在本地快速部署和运行各种开源大模型。本指南将详细介绍如何在本地环境中安装、配置和使用 Ollama。
概述
什么是 Ollama?
Ollama 是一个开源的大语言模型运行框架,具有以下特点:
- 简单易用:一行命令即可运行模型
- 跨平台:支持 Linux、macOS 和 Windows
- 模型丰富:支持 Llama 2、Mistral、Qwen 等多种开源模型
- GPU 加速:支持 NVIDIA GPU 和 Apple Metal 加速
- API 接口:提供 RESTful API 和 Python SDK
适用场景
- 本地开发和测试大语言模型
- 构建私有化 AI 应用
- 学习和研究大模型技术
- 快速原型开发
环境要求
硬件要求
最低配置
- CPU: 4核心以上
- 内存: 8GB(运行 7B 模型)
- 存储: 10GB 可用空间
- GPU: 可选(NVIDIA GPU 或 Apple M系列芯片)
推荐配置
- CPU: 8核心以上
- 内存: 16GB(运行 13B 模型)或 32GB(运行 70B 模型)
- 存储: 50GB SSD
- GPU: NVIDIA RTX 3060 或更高(12GB+ 显存)
模型内存需求参考
| 模型大小 | 最小内存 | 推荐内存 | GPU 显存 |
|---|---|---|---|
| 7B | 8GB | 16GB | 6GB |
| 13B | 16GB | 32GB | 12GB |
| 34B | 32GB | 64GB | 24GB |
| 70B | 64GB | 128GB | 48GB |
软件要求
Linux
- Ubuntu 18.04+ / Debian 10+ / CentOS 7+
- 内核版本 3.10+
macOS
- macOS 11.0 (Big Sur) 或更高版本
- 支持 Apple Silicon (M1/M2/M3) 和 Intel 芯片
Windows
- Windows 10 64位或更高版本
- WSL2(Windows Subsystem for Linux)
安装步骤
Linux 安装
方法一:官方安装脚本(推荐)
bash
curl -fsSL https://ollama.com/install.sh | sh安装脚本会自动:
- 检测系统架构
- 下载最新版本的 Ollama
- 安装到
/usr/local/bin/ollama - 配置系统服务
方法二:手动安装
bash
cd /tmp
curl -L https://ollama.com/download/ollama-linux-amd64 -o ollama
chmod +x ollama
sudo mv ollama /usr/local/bin/
sudo useradd -r -s /bin/false ollama
sudo mkdir -p /usr/share/ollama
sudo chown ollama:ollama /usr/share/ollama配置系统服务
创建 systemd 服务文件:
bash
sudo tee /etc/systemd/system/ollama.service <<EOF
[Unit]
Description=Ollama Service
After=network.target
[Service]
Type=simple
User=ollama
Group=ollama
ExecStart=/usr/local/bin/ollama serve
Restart=always
RestartSec=3
Environment="PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin"
[Install]
WantedBy=multi-user.target
EOF启动服务:
bash
sudo systemctl daemon-reload
sudo systemctl enable ollama
sudo systemctl start ollama
sudo systemctl status ollamamacOS 安装
方法一:官方安装包(推荐)
- 访问 Ollama 官网
- 下载 macOS 安装包
- 双击安装包,拖动 Ollama 到 Applications 文件夹
- 打开 Ollama 应用
方法二:Homebrew 安装
bash
brew install ollama启动服务
bash
ollama serveWindows 安装
方法一:官方安装包(推荐)
- 访问 Ollama 官网
- 下载 Windows 安装包
- 运行安装程序
- 按照向导完成安装
方法二:WSL2 安装
在 WSL2 Ubuntu 环境中安装:
bash
curl -fsSL https://ollama.com/install.sh | shDocker 安装
使用 Docker 运行
bash
docker run -d \
--name ollama \
--gpus=all \
-v ollama:/root/.ollama \
-p 11434:11434 \
ollama/ollama:latestCPU 模式运行
bash
docker run -d \
--name ollama \
-v ollama:/root/.ollama \
-p 11434:11434 \
ollama/ollama:latest基础使用
模型管理
查看可用模型
访问 Ollama 模型库 查看所有可用模型。
拉取模型
bash
ollama pull llama2
ollama pull mistral
ollama pull qwen:7b
ollama pull llama2:13b查看已安装模型
bash
ollama list输出示例:
text
NAME ID SIZE MODIFIED
llama2:latest 78e26419b446 3.8 GB 2 hours ago
mistral:latest 61e88e884502 4.1 GB 1 day ago
qwen:7b d58df6722e4c 4.3 GB 3 days ago删除模型
bash
ollama rm llama2查看模型信息
bash
ollama show llama2运行模型
交互式对话
bash
ollama run llama2进入交互模式后,可以直接输入问题与模型对话:
text
>>> 你好,请介绍一下自己
你好!我是由Meta开发的Llama 2大语言模型。我是一个AI助手,可以帮助你回答问题、
写作、编程等各种任务。有什么我可以帮助你的吗?
>>> 请用Python写一个快速排序算法
当然!这是一个Python实现的快速排序算法:
def quicksort(arr):
if len(arr) <= 1:
return arr
pivot = arr[len(arr) // 2]
left = [x for x in arr if x < pivot]
middle = [x for x in arr if x == pivot]
right = [x for x in arr if x > pivot]
return quicksort(left) + middle + quicksort(right)
# 使用示例
arr = [3, 6, 8, 10, 1, 2, 1]
print(quicksort(arr)) # 输出: [1, 1, 2, 3, 6, 8, 10]单次问答
bash
ollama run llama2 "请用一句话介绍Python"从文件读取输入
bash
ollama run llama2 < input.txt管道输入
bash
echo "请解释什么是机器学习" | ollama run llama2模型参数设置
设置温度参数
bash
ollama run llama2 --temperature 0.7设置最大生成长度
bash
ollama run llama2 --num-predict 512设置 Top-K 采样
bash
ollama run llama2 --top-k 40设置 Top-P 采样
bash
ollama run llama2 --top-p 0.9API 使用
RESTful API
Ollama 默认在 http://localhost:11434 提供 API 服务。
生成文本
bash
curl http://localhost:11434/api/generate -d '{
"model": "llama2",
"prompt": "为什么天空是蓝色的?"
}'聊天对话
bash
curl http://localhost:11434/api/chat -d '{
"model": "llama2",
"messages": [
{
"role": "user",
"content": "你好,请介绍一下自己"
}
]
}'流式响应
bash
curl http://localhost:11434/api/generate -d '{
"model": "llama2",
"prompt": "写一首关于春天的诗",
"stream": true
}'获取模型列表
bash
curl http://localhost:11434/api/tagsPython SDK
安装 SDK
bash
pip install ollama基础使用
python
import ollama
response = ollama.chat(model='llama2', messages=[
{
'role': 'user',
'content': '为什么天空是蓝色的?',
},
])
print(response['message']['content'])流式响应
python
import ollama
stream = ollama.chat(
model='llama2',
messages=[{'role': 'user', 'content': '写一首诗'}],
stream=True,
)
for chunk in stream:
print(chunk['message']['content'], end='', flush=True)自定义参数
python
import ollama
response = ollama.generate(
model='llama2',
prompt='解释量子计算',
options={
'temperature': 0.7,
'top_p': 0.9,
'num_predict': 256,
}
)
print(response['response'])高级配置
GPU 加速配置
NVIDIA GPU
确保已安装 NVIDIA 驱动和 CUDA:
bash
nvidia-smiOllama 会自动检测并使用 GPU。
Apple Metal (macOS)
Apple Silicon Mac 会自动使用 Metal 加速。
验证 GPU 使用
bash
ollama run llama2 --verbose查看输出中的 GPU 信息。
环境变量配置
设置模型存储路径
bash
export OLLAMA_MODELS=/path/to/models设置监听地址
bash
export OLLAMA_HOST=0.0.0.0:11434设置并发请求数
bash
export OLLAMA_NUM_PARALLEL=4设置最大队列长度
bash
export OLLAMA_MAX_QUEUE=512自定义模型
创建 Modelfile
创建一个 Modelfile:
dockerfile
FROM llama2
# 设置参数
PARAMETER temperature 0.7
PARAMETER top_p 0.9
PARAMETER num_predict 512
# 设置系统提示
SYSTEM You are a helpful AI assistant specialized in Python programming.
# 设置模板
TEMPLATE """
{{ .System }}
User: {{ .Prompt }}
Assistant:
"""创建自定义模型
bash
ollama create mymodel -f ./Modelfile运行自定义模型
bash
ollama run mymodel模型量化
Ollama 支持多种量化格式:
bash
# 4-bit 量化
ollama pull llama2:7b-q4_0
# 5-bit 量化
ollama pull llama2:7b-q5_0
# 8-bit 量化
ollama pull llama2:7b-q8_0性能优化
内存优化
使用量化模型
bash
ollama pull llama2:7b-q4_04-bit 量化模型内存占用约为原模型的 1/4。
调整上下文长度
bash
ollama run llama2 --num-ctx 2048较小的上下文长度可以减少内存占用。
推理速度优化
批处理请求
python
import ollama
import concurrent.futures
prompts = [
"解释机器学习",
"什么是深度学习",
"介绍自然语言处理",
]
with concurrent.futures.ThreadPoolExecutor() as executor:
futures = [
executor.submit(ollama.generate, model='llama2', prompt=prompt)
for prompt in prompts
]
for future in concurrent.futures.as_completed(futures):
print(future.result()['response'])使用 GPU
确保模型在 GPU 上运行:
bash
export CUDA_VISIBLE_DEVICES=0
ollama run llama2常见问题
1. 模型下载失败
问题:模型下载速度慢或失败
解决方案:
bash
# 使用代理
export HTTP_PROXY=http://proxy.example.com:8080
export HTTPS_PROXY=http://proxy.example.com:8080
# 或使用镜像站
export OLLAMA_MIRRORS=https://mirror.example.com2. GPU 识别问题
问题:Ollama 无法识别 GPU
解决方案:
bash
# 检查 NVIDIA 驱动
nvidia-smi
# 检查 CUDA
nvcc --version
# 设置 GPU
export CUDA_VISIBLE_DEVICES=03. 内存不足
问题:运行模型时内存不足
解决方案:
- 使用量化模型(如
llama2:7b-q4_0) - 减少上下文长度
- 关闭其他占用内存的程序
- 增加系统交换空间
4. 服务无法启动
问题:Ollama 服务无法启动
解决方案:
bash
# 检查端口占用
lsof -i :11434
# 检查日志
journalctl -u ollama -f
# 重启服务
sudo systemctl restart ollama5. API 调用超时
问题:API 请求超时
解决方案:
bash
# 增加超时时间
curl --max-time 300 http://localhost:11434/api/generate -d '{
"model": "llama2",
"prompt": "长文本生成任务"
}'最佳实践
1. 模型选择
- 开发测试:使用 7B 模型,速度快、资源占用少
- 生产环境:根据需求选择 13B 或更大模型
- 资源受限:使用量化模型(q4_0 或 q5_0)
2. 资源管理
- 监控 GPU 和内存使用情况
- 合理设置并发请求数
- 定期清理不使用的模型
3. 安全建议
- 不要将 Ollama 服务暴露到公网
- 使用防火墙限制访问
- 定期更新到最新版本
4. 性能监控
bash
# 监控 GPU 使用
watch -n 1 nvidia-smi
# 监控内存使用
watch -n 1 free -h
# 查看 Ollama 日志
journalctl -u ollama -f参考资料
官方资源
相关教程
社区资源
提示
Ollama 更新频繁,建议定期更新到最新版本以获得更好的性能和新功能。
信息
本指南基于 Ollama 最新版本编写,如遇到版本差异,请参考官方文档。
