Lokales RAG in Obsidian mit Ollama und Gemma

Lokaler RAG-Assistent in Obsidian: Ollama, Gemma 4 und Infio Copilot

Mit Obsidian, Ollama und dem Infio-Copilot-Plugin bauen Sie ein RAG-System auf, das Markdown-Notizen indiziert und Fragen dazu vollständig offline beantwortet – keine Cloud nötig. Es nutzt das bge-micro-v2-Modell für Embeddings und lokale LLMs wie gemma4:e2b für die Generierung. Die Indizierung einer 70-MB-Wissensbasis dauert nur 1–2 Minuten, Antworten entstehen in 15+ Sekunden auf einer RTX 3060 Ti mit 8 GB VRAM.

Das System trennt das Embedding-Modell für die Vektorisierung von der LLM für die Antwortgenerierung. So wird die Geschwindigkeit optimiert: kompaktes bge-micro-v2 für Embeddings, leistungsstarkes gemma4:e2b für Antworten.

Warum die Standard-Suche in Obsidian nicht reicht

Die einfache Stichwortsuche übersieht semantisch verwandte Textabschnitte. Dieses RAG-Setup behebt das mit Vektorsuche: Texte werden in Chunks zerlegt, in Embeddings umgewandelt und in einem lokalen Index gespeichert. Ihre Anfrage wird ebenfalls vektorisiert und holt die relevantesten Chunks als Kontext für die LLM.

Probleme früherer Ansätze:

• Qwen-Modelle in Ollama sind auf 8 GB VRAM träge wegen RAM-Swapping.
• Smart Connections: schnelle Suche, aber Chat kostenpflichtig.
• Original Copilot: quälend langsame Indizierung via Ollama-Embeddings (bis zu einer Stunde).

Ollama und Modelle installieren

Ollama läuft LLMs lokal. Herunterladen und testen:

ollama pull gemma4:e2b
ollama run gemma4:e2b

gemma4:e2b ist im Praxis-Einsatz doppelt so schnell wie qwen3:8b. qwen3.5:9b und qwen3.5:4b sind Alternativen für weniger VRAM, mit leichten Qualitätsverlusten.

Auf einer GPU mit 8 GB passt das Modell komplett rein. Ohne GPU oder auf schwächerer Hardware sinkt die Geschwindigkeit dramatisch.

BRAT und Infio Copilot installieren

Infio Copilot ist eine Copilot-Gabel mit integrierten bge-micro-v2-Embeddings. Über BRAT installieren:

• In Obsidian: Einstellungen → Community-Plugins → Durchsuchen → BRAT installieren.
• In BRAT: Beta-Plugin hinzufügen → Infio-Copilot-Repository.
• In Infio-Einstellungen: Ollama-Provider, http://localhost:11434, Modell gemma4:e2b.

Indizierung: automatisches Chunking mit bge-micro-v2, Vektorindex in Minuten gebaut.

Leistungsvergleich

| Komponente | Smart Connections | Copilot | Infio Copilot |

|-----------------|-----------------------|---------------|-------------------|

| Embeddings | bge-micro-v2 (integriert) | Ollama | bge-micro-v2 (integriert) |

| Indizierung 70 MB | 1–2 Min | bis 1 Std | 1–2 Min |

| Chat | kostenpflichtig | kostenlos, langsam | kostenlos, schnell |

| LLM | Cloud | Ollama | Ollama |

Infio ist der Sweet Spot: schnelle Vektorisierung + lokale Generierung.

Praxisbeispiel: Anfragen und Antworten

Beispiel: Eine Frage zu Ihren Notizen holt relevante Chunks + eine synthetisierte Antwort von gemma4:e2b. Stabilität ist solide – bei Bedarf neuen Chat starten. Keine feinabstimmbaren Chunking-Optionen, aber Standardeinstellungen funktionieren gut.

Vorteile für Entwickler:

• Semantische Suche über Chats/Notizen (Architektur, Code, Forschung).
• Volle Datenschutz-Kontrolle.
• Kostenlos nach Einrichtung.

Einschränkungen:

• VRAM-Abhängigkeit (mind. 8 GB für flüssigen Betrieb).
• LLM-Inkonsistenzen.
• Einrichtungszeit anfangs.

Wichtige Erkenntnisse

• Embeddings und LLM getrennt: bge-micro-v2 für Vektoren, gemma4:e2b für Generierung.
• Schnelle Indizierung nur mit integrierten Embeddings.
• Auf 8 GB VRAM liefert gemma4:e2b brauchbare Geschwindigkeit (15+ Sek./Antwort).
• Ideal für persönliche Wissensbasen, nicht für Produktion.
• BRAT für Infio Copilot erforderlich.

— Editorial Team