跳至主要內容

Ollama 本地部署

2026/2/3AI工具开源工具OllamaLocal LLM命令行大约 1 分钟...

Ollama 是目前最流行的本地大模型运行工具，它极大地简化了开源模型的下载、运行和管理过程。

🚀 安装

macOS / Linux / Windows

访问官网下载安装包：ollama.com

或者使用命令行（macOS/Linux）：

curl -fsSL https://ollama.com/install.sh | sh

📦 常用命令

1. 运行模型

# 运行 Llama 3 (8B)
ollama run llama3

# 运行 DeepSeek Coder (6.7B)
ollama run deepseek-coder:6.7b

# 运行 Mistral
ollama run mistral

首次运行会自动下载模型权重。

2. 模型管理

# 列出已下载模型
ollama list

# 删除模型
ollama rm llama3

# 更新模型
ollama pull llama3

3. API 服务

Ollama 默认在后台运行 API 服务，端口 11434。

  • API 地址：http://localhost:11434
  • 兼容性：支持 OpenAI API 格式（需配置 v1 路径）

🛠️ 定制模型 (Modelfile)

你可以通过 Modelfile 创建自定义模型配置。

示例：创建一个专业的 Python 编程助手

# 1. 创建名为 "Modelfile" 的文件
FROM deepseek-coder:6.7b

# 设置系统提示词
SYSTEM """
你是高级 Python 工程师。
你的代码必须符合 PEP 8 规范。
优先使用 Python 3.10+ 特性。
"""

# 设置参数
PARAMETER temperature 0.2
PARAMETER num_ctx 4096

构建并运行：

ollama create python-expert -f Modelfile
ollama run python-expert

💻 编程集成

VSCode + Continue

  1. 安装 Continue 插件
  2. 打开配置 config.json
  3. 添加 Ollama 模型：
{
  "models": [
    {
      "title": "Ollama DeepSeek",
      "provider": "ollama",
      "model": "deepseek-coder:6.7b"
    }
  ]
}

终端集成

使用 ollama run 直接在终端进行快速问答或代码生成。

ollama run deepseek-coder "写一个 Python 脚本，递归列出当前目录下的所有 .md 文件"

🔗 相关资源