github

Ollama本地部署大模型完全指南

📅 2026/7/31 👁️ 1 阅读 ✏️ 2026/7/31 更新

Ollama本地部署大模型完全指南

随着开源大模型质量不断提升，越来越多的开发者和企业选择在本地部署大模型。Ollama 以其极简的使用方式和强大的功能，成为本地大模型部署的事实标准。本文将带你从零开始，全面掌握 Ollama 的使用方法。

为什么选择 Ollama

在众多本地推理工具中，Ollama 脱颖而出的原因在于：

  • 极简体验：一行命令即可下载并运行模型

  • 模型管理：像 Docker 管理容器一样管理模型

  • REST API：内置兼容 OpenAI 的 API 服务

  • 跨平台：支持 macOS、Linux、Windows

  • Modelfile：可自定义模型参数和系统提示词

    • 安装 Ollama

    Linux 安装

    bash
    # 一键安装脚本
curl -fsSL https://ollama.com/install.sh | sh

# 验证安装
ollama --version

    macOS / Windows

    从 ollama.com 下载对应平台的安装包，双击安装即可。

    Docker 部署（推荐生产环境）

    bash
    docker run -d \
  --name ollama \
  -p 11434:11434 \
  -v ollama_data:/root/.ollama \
  ollama/ollama

# 如果需要 GPU 支持（NVIDIA）
docker run -d --gpus=all \
  --name ollama-gpu \
  -p 11434:11434 \
  -v ollama_data:/root/.ollama \
  ollama/ollama

    模型管理

    下载和运行模型

    bash
    # 下载并运行 Llama 3.2 (3B 参数，适合大多数设备)
ollama run llama3.2

# 运行 Qwen2.5 (中文能力强)
ollama run qwen2.5

# 运行 DeepSeek-R1 (推理能力强)
ollama run deepseek-r1

# 指定参数规模的模型
ollama run qwen2.5:7b
ollama run qwen2.5:14b
ollama run qwen2.5:32b

    模型管理命令

    bash
    # 查看已下载的模型
ollama list

# 查看运行中的模型
ollama ps

# 删除模型
ollama rm llama3.2

# 查看模型信息
ollama show qwen2.5

    自定义模型：Modelfile

    Ollama 使用 Modelfile 来自定义模型，类似于 Dockerfile：

    dockerfile
    # 基于基础模型
FROM qwen2.5:7b

# 设置系统提示词
SYSTEM """
你是一个专业的Python编程助手。
请用简洁、准确的中文回答编程问题。
所有代码示例都应包含类型注解和文档字符串。
"""

# 调整生成参数
PARAMETER temperature 0.3
PARAMETER top_p 0.9
PARAMETER num_ctx 8192
PARAMETER stop "<|im_end|>"

# 添加消息模板
TEMPLATE """{{ if .System }}<|im_start|>system
{{ .System }}<|im_end|>
{{ end }}<|im_start|>user
{{ .Prompt }}<|im_end|>
<|im_start|>assistant
"""

    bash
    # 构建自定义模型
ollama create my-python-assistant -f Modelfile

# 运行自定义模型
ollama run my-python-assistant

    REST API 使用

    Ollama 内置了 REST API，默认运行在 http://localhost:11434：

    生成文本（Generate）

    bash
    curl http://localhost:11434/api/generate -d '{
  "model": "qwen2.5",
  "prompt": "用Python实现一个二分查找算法",
  "stream": false
}'

    对话接口（Chat）

    bash
    curl http://localhost:11434/api/chat -d '{
  "model": "qwen2.5",
  "messages": [
    {"role": "system", "content": "你是一个编程助手"},
    {"role": "user", "content": "解释什么是装饰器"}
  ],
  "stream": false
}'

    Python 调用

    python
    import requests

response = requests.post(
    "http://localhost:11434/api/chat",
    json={
        "model": "qwen2.5",
        "messages": [
            {"role": "user", "content": "用Python写一个快速排序"}
        ],
        "stream": False,
    },
)
data = response.json()
print(data["message"]["content"])

    OpenAI 兼容 API

    Ollama 也提供 OpenAI 兼容接口，方便现有应用无缝迁移：

    python
    from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:11434/v1",
    api_key="ollama",  # 任意值即可
)

response = client.chat.completions.create(
    model="qwen2.5",
    messages=[{"role": "user", "content": "你好，请自我介绍"}],
)
print(response.choices[0].message.content)

    与 LangChain 集成

    python
    from langchain_community.llms import Ollama
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.output_parsers import StrOutputParser

# 初始化本地模型
llm = Ollama(model="qwen2.5", base_url="http://localhost:11434")

# 构建处理链
prompt = ChatPromptTemplate.from_messages([
    ("system", "你是一个技术写作助手，请用Markdown格式输出。"),
    ("user", "{input}"),
])
chain = prompt | llm | StrOutputParser()

# 流式输出
for chunk in chain.stream({"input": "写一篇关于Docker入门的教程大纲"}):
    print(chunk, end="", flush=True)

    多模态模型支持

    Ollama 也支持视觉模型，可以处理图片输入：

    bash
    # 运行视觉模型
ollama run llava

    python
    import base64
import requests

# 读取图片并编码
with open("screenshot.png", "rb") as f:
    image_base64 = base64.b64encode(f.read()).decode()

response = requests.post(
    "http://localhost:11434/api/chat",
    json={
        "model": "llava",
        "messages": [{
            "role": "user",
            "content": "描述这张图片的内容",
            "images": [image_base64],
        }],
        "stream": False,
    },
)
print(response.json()["message"]["content"])

    性能优化建议

    1. 选择合适的量化级别

    bash
    # 4-bit 量化（最省内存，速度最快）
ollama run qwen2.5:7b-q4_K_M

# 8-bit 量化（质量更好，内存占用稍高）
ollama run qwen2.5:7b-q8_0

# FP16（最佳质量，需要较多显存）
ollama run qwen2.5:7b-fp16

    2. 调整并发和上下文

    bash
    # 设置环境变量
OLLAMA_MAX_LOADED_MODELS=2      # 同时加载的模型数
OLLAMA_NUM_PARALLEL=4           # 并发请求数
OLLAMA_MAX_VRAM=16              # 最大显存使用(GB)

# 启动时指定
OLLAMA_NUM_PARALLEL=4 ollama serve

    3. GPU 加速配置

    bash
    # 查看 GPU 使用情况
ollama ps

# 输出示例：
# NAME       ID           SIZE     PROCESSOR    PERCENTAGE
# qwen2.5:7b abc123...    5.2 GB   100% GPU     100%

    常见问题排查

    内存不足

    bash
    # 检查系统内存
free -h

# 使用更小的模型或更低量化
ollama run qwen2.5:1.5b    # 1.5B 参数模型
ollama run qwen2.5:0.5b    # 0.5B 参数模型

    模型下载慢

    bash
    # 配置代理
export HTTPS_PROXY=http://your-proxy:port
ollama pull qwen2.5

    总结

    Ollama 让本地大模型部署变得前所未有的简单。通过本文的指南，你应该已经掌握了从安装、模型管理、API调用到与主流框架集成的完整流程。对于个人开发者来说，一台带GPU的笔记本电脑配合Ollama，就足以搭建一个功能完整的本地AI助手。而对于企业团队，通过Docker部署Ollama加上反向代理和负载均衡，也能构建出满足内部需求的私有化AI服务。开源的力量就在于此——你拥有对自己数据的完全控制权。

    💬 评论区 (0)

    0/500

    暂无评论，快来抢沙发吧！