01. 本地大模型跑通 (Ollama)

课时信息

📅 时间：课后 / 选修 🎯 目标：在本地运行大模型，实现零成本、零隐私泄露的编程环境

1. 为什么要跑本地模型？

虽然 Claude 和 GPT-4 很强，但本地模型有不可替代的优势：

• 隐私：代码不出公司/学校，绝密项目必备。
• 免费：跑一天也不花一分钱 Token 费。
• 无限试错：写死循环调用 API 也不心疼。
• 离线可用：飞机上、高铁上也能写代码。

2. 主角登场：Ollama

Ollama 是目前最流行的本地大模型运行工具，把它想象成 "AI 模型的 Docker"。

安装步骤

Mac / Linux (一键安装)

curl -fsSL https://ollama.com/install.sh | sh

Windows

前往 Ollama 官网 下载 exe 安装包。

验证安装

打开终端输入：

ollama --version

---

3. 拉取模型：Qwen 2.5 Coder

我们选择阿里的 Qwen 2.5 Coder，这是目前 14B 以下参数量最强的编程模型，非常适合普通笔记本运行。

下载模型 (7B 版本)

适合 8GB ~ 16GB 内存的电脑：

ollama pull qwen2.5-coder:7b

运行对话

ollama run qwen2.5-coder:7b

进入对话界面后，试着问它："用 Python 写一个贪吃蛇游戏"。

显存不够？

如果你的电脑配置较低 (8GB 以下)，可以尝试更小的版本：

ollama run qwen2.5-coder:1.5b

虽然聪明程度下降，但在树莓派上都能跑！

---

4. 实战：让 Cline 连接本地大脑

光在终端对话没意思，我们要把它接入 VSCode，让它帮我们写代码。

1. 配置 Cline 插件:

   • API Provider: 选择 Ollama。
   • Base URL: http://localhost:11434
   • Model ID: 手动输入 qwen2.5-coder:7b。

2. 测试任务: 打开一个代码文件，选中一段代码，点击 Add to Context，然后问 Cline：

   "这段代码有 Bug 吗？"

   此时，你的代码没有发送给 OpenAI，也没有发送给阿里，一切都在你的笔记本 CPU/GPU 上完成。

---

5. 作业：本地模型跑通 ✅

任务描述：

1. 成功安装 Ollama。
2. 成功运行 ollama run qwen2.5-coder:7b。
3. 与模型进行一次对话。
4. 截图证明：包含终端命令和对话内容。