用 Ollama 配 Continue 在本地跑起一个私有 AI 编程助手

用 Ollama 在本地把开源大模型跑起来，再让 VS Code / Cursor 里的 Continue 插件指向这个本地服务，你就能得到一个「代码不出本机」的私有 AI 编程助手。本文按安装、配置、跑通、排错四步走一遍。

Ollama 配 Continue 本地助手架构图

你不想把公司代码传到云端大模型，又想要一个能补全、能问答的编程助手。最省事的方案就是本地大模型：用 Ollama 在本机加载一个开源模型，再接上 Continue 这类编辑器插件。整个过程中，你的源码只在本机和本地服务之间流转，不经过第三方服务器。今天这篇文章，编程狮就把这套组合从零配通。

一、前置环境与适用范围

开始前先确认两件小事：你的电脑有至少 8GB 内存（跑 7B 级别模型更顺），并且能正常联网下载一次模型权重。

⚠️ 注意：本地模型再方便，也不是万能。小参数模型在复杂架构设计、跨文件推理上会明显弱于云端大模型。把它定位成「日常补全 + 私有代码不出网」的助手更现实。

想知道本地推理工具怎么接进 AI 工作流，可以先看 OpenClaw 的 Ollama 提供商参考，理解「模型服务」和「编辑器插件」是怎么分工的。

二、安装并启动 Ollama 本地模型

第一步是把 Ollama 装好并拉取一个模型。以常见的 7B 级别模型为例：

# 安装后首次拉取模型（以 qwen2.5:7b 为例，实际按你机器选更小的也行）
ollama pull qwen2.5:7b
# 启动一次交互，确认服务能跑起来
ollama run qwen2.5:7b

上面这段做了什么：第一行把模型权重下载到本机；第二行启动一个本地对话，验证 Ollama 服务正常。执行后你应该看到模型开始逐字回复，说明本地大模型已经就绪。更系统的技能用法可看 AI 编程技能教程。

Ollama 默认在 http://localhost:11434 提供接口，Continue 后面就指向这个地址。

Ollama 配 Continue 本地助手链路图

三、在编辑器里配置 Continue 插件

第二步是装 Continue 插件，并把它指向本地 Ollama，而不是默认的云端模型。

{
  "models": [
    {
      "title": "本地 qwen",
      "provider": "ollama",
      "model": "qwen2.5:7b",
      "apiBase": "http://localhost:11434"
    }
  ]
}

这是 Continue 配置里「模型」一节的最小示例：把 provider 设为 ollama，apiBase 指向本机端口。配置完成后，插件的补全和对话就会走本地服务。想了解其它 AI 编程助手形态，可以看 CodeGeeX 教程，对照不同工具的接入方式。

四、跑通第一个私有助手对话

第三步，在编辑器里随便选中一段代码，让 Continue 解释或补全，确认它真的在调用本地模型。

环节	预期现象	若异常
Ollama 已运行	`ollama run` 能进对话	服务没起，先启动 Ollama
Continue 指向本地	补全来自本机模型	仍走云端，检查 apiBase
首次响应	稍慢但能出结果	卡住，看模型是否加载完

一个常见失败分支：Continue 报「model not found」。原因通常是配置里的 model 名和 ollama pull 下来的名字不一致——Ollama 对标签大小写敏感，必须用 ollama list 看到的准确名字。

五、常见偏差处理

把三个最常卡住的点列出来：

现象：插件一直连不上。原因：Ollama 没在后台运行，或端口被改。解决：确认 localhost:11434 可达，必要时重启 Ollama。
现象：回复很慢甚至超时。原因：模型偏大、内存不足开始交换。解决：换更小的模型（如 3B 级别），或关掉其它占内存的程序。
现象：代码被发到云端。原因：配置里还留着云端 provider 且被设为默认。解决：把本地模型设为默认，并移除不必要的云端条目。

验证最直接：断网后让 Continue 做一次补全，如果仍能出结果，说明链路确实走的是本地大模型，而不是悄悄回了云端。预期结果（未在本机执行）是断网可用、且 ollama list 中模型状态正常。

让它真正融入日常编码

配通之后，别只用来「问一句答一句」。把 Continue 的侧边栏常开，写代码时遇到不熟的 API，选中那一行让它解释；要补一个函数，把注释写好让它生成实现。因为模型在本地，这些操作没有网络往返，也不用担心代码片段被传到云端。

另一个实用做法是给本地模型准备一份项目专用的提示词：在 Continue 的 config 里加上你的代码规范、目录结构说明，让它补全时更贴近你的风格。小参数模型记不住太长的上下文，提示词越聚焦，输出越稳。

如果哪天觉得本地模型答得太泛，可以先从简单任务起步——比如单文件内的变量重命名建议、错误栈解释——这些它通常比云端大模型更「快且够用」。熟悉了它的脾气，再逐步交给它更复杂的重构。

还有个容易被忽略的点：本地模型第一次加载会比较慢，因为权重要从磁盘读进内存。之后如果切换模型，旧的会释放、新的再加载。别在补到一半时频繁切换，否则每次切换都要等加载。把常用模型常驻，体验才顺。

总结

用 Ollama 配 Continue 跑私有 AI 编程助手，核心是「本地起模型服务 + 插件指向本机端口」：先 ollama pull 拉模型并 run 验证，再在 Continue 里把 provider 设为 ollama、apiBase 指向 localhost:11434，最后用断网补全验证链路真的没有出网。

要点带走：

Ollama 默认在 11434 端口提供本地接口；
Continue 的 model 名必须和 ollama list 完全一致；
断网仍能补全，才算真正私有。

下一步可以看看怎么给本地模型接上检索增强，让它在你的私有代码库上做问答，而不只是补全。

延伸学习

想把这块知识系统补齐，可以按这个顺序来：

先过一遍 TRAE AI 开发实战课程，在真实项目里理解 AI 编程工作流；
想看安装细节，翻 Ollama 常见坑；
想了解同类助手，Cursor AI 编程入门课程推荐可作为延伸阅读。

常见问题

Q：这样配真的不会把代码发到云端吗？

A：只要 Continue 里把本地 Ollama 设为默认 provider，且删掉不必要的云端条目，补全和对话就只走本机 11434 端口。你可以用「断网后仍能补全」来验证链路没有出网。

Q：模型名填错会有什么后果？

A：Continue 会报 model not found 或一直连不上。Ollama 对标签名大小写敏感，必须用 ollama list 里显示的准确名字，和配置里的 model 字段一一对应。

Q：本地模型太慢怎么办？

A：最常见原因是模型偏大导致内存交换。换更小的模型（如 3B 级别）、关闭占用内存的程序，通常能明显改善响应速度。若仍慢，说明当前硬件不适合该规模模型。