使用 Ollama 和 Gemma 在 Obsidian 中的本地 RAG

Obsidian 本地 RAG 助手：Ollama、Gemma 4 与 Infio Copilot

利用 Obsidian、Ollama 和 Infio Copilot 插件，你可以构建一个 RAG 系统，它能索引 Markdown 笔记并完全离线回答相关问题——无需云端服务。它使用 bge-micro-v2 模型生成嵌入向量，并调用本地大模型如 gemma4:e2b 进行生成。索引 70 MB 知识库只需 1–2 分钟，在 RTX 3060 Ti（8 GB 显存）上响应生成仅需 15 秒以上。

系统将用于文本向量化嵌入的模型与用于响应生成的 LLM 分离。这种设计优化了速度：紧凑的 bge-micro-v2 负责嵌入，更强大的 gemma4:e2b 负责回答。

为什么 Obsidian 标准搜索不够用

基础关键词搜索无法捕捉语义相关的片段。这个 RAG 设置通过向量搜索解决问题：文本被拆分成块、转换为嵌入向量，并存储在本地索引中。你的查询也会被向量化，提取最相关的块作为 LLM 的上下文。

以往方法的痛点：

• Ollama 中的 Qwen 模型在 8 GB 显存上运行缓慢，因内存交换。
• Smart Connections：搜索快，但聊天需付费。
• 原始 Copilot：通过 Ollama 嵌入索引极慢（最长一小时）。

安装 Ollama 和模型

Ollama 在本地运行大模型。下载并测试：

ollama pull gemma4:e2b
ollama run gemma4:e2b

gemma4:e2b 在实际使用中速度是 qwen3:8b 的两倍。qwen3.5:9b 和 qwen3.5:4b 是显存较低的备选，但质量略有折衷。

在 8 GB 显存 GPU 上，模型能完全加载。没有 GPU 或硬件较弱时，速度会大幅下降。

BRAT 和安装 Infio Copilot

Infio Copilot 是 Copilot 的分支，内置 bge-micro-v2 嵌入。通过 BRAT 安装：

• 在 Obsidian：设置 → 社区插件 → 浏览 → 安装 BRAT。
• 在 BRAT：添加 Beta 插件 → Infio Copilot 仓库。
• 在 Infio 设置：Ollama 提供者，http://localhost:11434，模型 gemma4:e2b。

索引：自动分块 + bge-micro-v2，几分钟内构建向量索引。

性能对比

| 组件 | Smart Connections | Copilot | Infio Copilot |

|-----------------|-----------------------|---------------|-------------------|

| 嵌入模型 | bge-micro-v2 (内置) | Ollama | bge-micro-v2 (内置) |

| 索引 70 MB | 1–2 分钟 | 最长 1 小时 | 1–2 分钟 |

| 聊天 | 付费 | 免费、慢 | 免费、快 |

| LLM | 云端 | Ollama | Ollama |

Infio 是最佳平衡：快速向量化 + 本地生成。

实际操作：查询与响应

示例：针对笔记提问，会提取相关块 + gemma4:e2b 合成答案。稳定性不错——偶尔需新建聊天。没有微调分块选项，但默认效果很好。

开发者福利：

• 跨聊天/笔记的语义搜索（架构、代码、研究）。
• 完全数据隐私。
• 设置后免费。

局限性：

• 依赖显存（8 GB 起步顺畅）。
• LLM 输出不一致。
• 初始设置耗时。

关键要点

• 嵌入与 LLM 分离：bge-micro-v2 负责向量，gemma4:e2b 负责生成。
• 仅内置嵌入才能快速索引。
• 8 GB 显存下，gemma4:e2b 响应速度可用（15+ 秒）。
• 适合个人知识库，非生产环境。
• Infio Copilot 需 BRAT。

— Editorial Team