Lokální RAG asistent v Obsidianu: Ollama, Gemma 4 a Infio Copilot
S pomocí Obsidianu, Ollamy a pluginu Infio Copilot můžete sestavit RAG systém, který indexuje markdown poznámky a odpovídá na otázky bez cloudových služeb. Embeddings jsou vytvářeny modelem bge-micro-v2, generace — lokálními LLM jako gemma4:e2b. Indexace databáze o velikosti 70 MB trvá 1–2 minuty, odpovědi se generují za 15+ sekund na RTX 3060 Ti s 8 GB VRAM.
Systém odděluje embedding model pro vektorizaci textu a LLM pro generaci. To umožňuje optimalizovat rychlost: embeddings — kompaktní bge-micro-v2, odpovědi — výkonnější gemma4:e2b.
Proč standardní vyhledávání v Obsidianu nestačí
Běžné vyhledávání podle klíčových slov nenajde sémanticky blízké fragmenty. RAG řešení to řeší pomocí vektorového vyhledávání: text je rozdělen na části (kousky), převeden na embeddings a uložen v lokálním indexu. Dotaz je také vektorizován a systém najde nejrelevantnější fragmenty pro kontext LLM.
Problémy předchozích přístupů:
- Qwen modely v Ollamě jsou pomalé na 8 GB VRAM kvůli swapování do RAM.
- Smart Connections: rychlé vyhledávání, ale chat je placený.
- Původní Copilot: pomalá indexace přes Ollama embeddings (až hodinu).
Instalace Ollamy a modelů
Ollama spouští LLM lokálně. Stažení a test:
ollama pull gemma4:e2b
ollama run gemma4:e2bgemma4:e2b je v praxi 2krát rychlejší než qwen3:8b. qwen3.5:9b a qwen3.5:4b jsou alternativy pro menší VRAM, ale s nižší kvalitou.
Na GPU s 8 GB se model vejde celý. Bez GPU nebo na slabém hardwaru rychlost kriticky klesá.
BRAT a instalace Infio Copilot
Infio Copilot je fork Copilotu s vestavěnými bge-micro-v2 embeddings. Instalace přes BRAT:
- V Obsidianu: Nastavení → Komunitní pluginy → Procházet → nainstalovat BRAT.
- V BRAT: Přidat beta plugin → repozitář Infio Copilot.
- V nastavení Infio: poskytovatel Ollama, http://localhost:11434, model gemma4:e2b.
Indexace: automatické rozdělení na části bge-micro-v2, vektorový index je postaven za minuty.
Porovnání výkonu
| Komponent | Smart Connections | Copilot | Infio Copilot |
|-----------|-------------------|---------|---------------|
| Embeddings | bge-micro-v2 (vestavěno) | Ollama | bge-micro-v2 (vestavěno) |
| Indexace 70 MB | 1–2 min | až 1 h | 1–2 min |
| Chat | placený | bezplatný, pomalý | bezplatný, rychlý |
| LLM | cloud | Ollama | Ollama |
Infio je optimální: rychlá vektorizace + lokální generace.
Praxe: dotazy a odpovědi
Příklad: otázka na databázi poznámek vrátí relevantní části + syntetizovanou odpověď od gemma4:e2b. Stabilita je střední — někdy je třeba nový chat. Není možnost jemného nastavení kouskování, ale výchozí nastavení funguje.
Výhody pro vývojáře:
- Sémantické vyhledávání v chaty/poznámkách (architektura, kód, výzkum).
- Úplné soukromí dat.
- Bezplatné po instalaci.
Omezení:
- Závislost na VRAM (minimum 8 GB pro komfort).
- Nestabilita LLM.
- Čas na počáteční nastavení.
Co je důležité
- Embeddings a LLM jsou různé modely: bge-micro-v2 pro vektory, gemma4:e2b pro generaci.
- Indexace je rychlá pouze s vestavěnými embeddings.
- Na 8 GB VRAM gemma4:e2b poskytuje přijatelnou rychlost (15+ sekund/odpověď).
- Systém je vhodný pro osobní databázi znalostí, ale ne pro production.
- BRAT je povinný pro Infio Copilot.
— Editorial Team
Zatím žádné komentáře.