Lokalny RAG w Obsidian z Ollama i Gemma

Lokalny asystent RAG w Obsidian: Ollama, Gemma 4 i Infio Copilot

Za pomocą Obsidian, Ollama i wtyczki Infio Copilot można zbudować system RAG, który indeksuje notatki w formacie markdown i odpowiada na pytania dotyczące nich bez chmury. Embeddings są tworzone przez model bge-micro-v2, generacja — przez lokalne LLM, takie jak gemma4:e2b. Indeksacja bazy o wielkości 70 MB zajmuje 1–2 minuty, odpowiedzi są generowane w ponad 15 sekund na RTX 3060 Ti z 8 GB VRAM.

System dzieli model embeddingów dla wektoryzacji tekstu i LLM dla generacji. Pozwala to zoptymalizować prędkość: embeddings — kompaktowy bge-micro-v2, odpowiedzi — bardziej wydajny gemma4:e2b.

Dlaczego standardowe wyszukiwanie w Obsidian jest niewystarczające

Standardowe wyszukiwanie po kluczowych słowach nie znajduje semantycznie bliskich fragmentów. Rozwiązanie RAG rozwiązuje to poprzez wyszukiwanie wektorowe: tekst jest dzielony na chunki, przekształcany w embeddings, zapisywany w lokalnym indeksie. Zapytanie też jest wektoryzowane, i system znajduje top-relewantne fragmenty dla kontekstu LLM.

Problemy poprzednich podejść:

• Modele Qwen w Ollama są wolne na 8 GB VRAM z powodu swapowania do RAM.
• Smart Connections: szybkie wyszukiwanie, ale czat płatny.
• Oryginalny Copilot: wolna indeksacja przez Ollama-embeddings (do godziny).

Instalacja Ollama i modeli

Ollama uruchamia LLM lokalnie. Pobieranie i test:

ollama pull gemma4:e2b
ollama run gemma4:e2b

gemma4:e2b jest 2 razy szybszy niż qwen3:8b w praktyce. qwen3.5:9b i qwen3.5:4b — alternatywy dla mniejszego VRAM, ale z utratą jakości.

Na GPU z 8 GB model mieści się całkowicie. Bez GPU lub na słabym sprzęcie prędkość spada krytycznie.

BRAT i instalacja Infio Copilot

Infio Copilot — fork Copilot z wbudowanymi embeddings bge-micro-v2. Instalacja przez BRAT:

• W Obsidian: Ustawienia → Wtyczki społeczności → Przeglądaj → zainstaluj BRAT.
• W BRAT: Dodaj wtyczkę beta → repozytorium Infio Copilot.
• W ustawieniach Infio: dostawca Ollama, http://localhost:11434, model gemma4:e2b.

Indeksacja: automatyczne dzielenie na chunki bge-micro-v2, indeks wektorowy buduje się w ciągu minut.

Porównanie wydajności

| Komponent | Smart Connections | Copilot | Infio Copilot |

|-----------|-------------------|---------|---------------|

| Embeddings | bge-micro-v2 (wbudowane) | Ollama | bge-micro-v2 (wbudowane) |

| Indeksacja 70 MB | 1–2 min | do 1 h | 1–2 min |

| Czat | płatny | darmowy, wolny | darmowy, szybki |

| LLM | chmura | Ollama | Ollama |

Infio optymalny: szybka wektoryzacja + lokalna generacja.

Praktyka: zapytania i odpowiedzi

Przykład: pytanie dotyczące bazy notatek zwraca relewantne chunki + zsyntetyzowaną odpowiedź od gemma4:e2b. Stabilność średnia — czasami wymagany nowy czat. Nie ma subtelnej konfiguracji chunkingu, ale domyślne ustawienia działają.

Zalety dla programisty:

• Semantyczne wyszukiwanie po czatach/notatkach (architektura, kod, badania).
• Pełna prywatność danych.
• Darmowe po instalacji.

Ograniczenia:

• Zależność od VRAM (minimum 8 GB dla komfortu).
• Niestabilność LLM.
• Czas na początkową konfigurację.

Co ważne

• Embeddings i LLM — różne modele: bge-micro-v2 dla wektorów, gemma4:e2b dla generacji.
• Indeksacja szybka tylko z wbudowanymi embeddings.
• Na 8 GB VRAM gemma4:e2b daje akceptowalną prędkość (15+ sek/odpowiedź).
• System odpowiedni dla osobistej bazy wiedzy, ale nie dla produkcji.
• BRAT obowiązkowy dla Infio Copilot.

— Editorial Team