RAG local dans Obsidian avec Ollama et Gemma

# Assistant RAG local dans Obsidian : Ollama, Gemma 4 et Infio Copilot

Avec Obsidian, Ollama et le plugin Infio Copilot, vous pouvez créer un système RAG qui indexe vos notes Markdown et répond à vos questions entièrement hors ligne, sans cloud. Il utilise le modèle bge-micro-v2 pour les embeddings et des LLM locaux comme gemma4:e2b pour la génération. L'indexation d'une base de connaissances de 70 Mo prend seulement 1 à 2 minutes, avec des réponses générées en 15 secondes ou plus sur une RTX 3060 Ti avec 8 Go de VRAM.

Le système sépare le modèle d'embeddings pour la vectorisation du texte du LLM pour la génération des réponses. Cela optimise la vitesse : bge-micro-v2 compact pour les embeddings, et gemma4:e2b plus puissant pour les réponses.

Pourquoi la recherche standard d'Obsidian est insuffisante

La recherche par mots-clés basique rate les extraits sémantiquement liés. Ce système RAG corrige cela avec une recherche vectorielle : le texte est découpé en chunks, converti en embeddings et stocké dans un index local. Votre requête est aussi vectorisée, récupérant les chunks les plus pertinents comme contexte pour le LLM.

Problèmes des approches précédentes :

• Les modèles Qwen dans Ollama sont lents sur 8 Go de VRAM à cause du swapping RAM.
• Smart Connections : recherche rapide, mais chat payant.
• Copilot original : indexation extrêmement lente via embeddings Ollama (jusqu'à une heure).

Installation d'Ollama et des modèles

Ollama exécute des LLM localement. Téléchargez et testez :

ollama pull gemma4:e2b
ollama run gemma4:e2b

gemma4:e2b est deux fois plus rapide que qwen3:8b en usage réel. qwen3.5:9b et qwen3.5:4b sont des alternatives pour moins de VRAM, mais avec des compromis sur la qualité.

Sur un GPU avec 8 Go, le modèle tient entièrement. Sans GPU ou sur du matériel faible, la vitesse chute drastiquement.

BRAT et installation d'Infio Copilot

Infio Copilot est une fourche de Copilot avec embeddings bge-micro-v2 intégrés. Installez via BRAT :

• Dans Obsidian : Paramètres → Extensions communautaires → Parcourir → installer BRAT.
• Dans BRAT : Ajouter extension bêta → dépôt Infio Copilot.
• Dans les paramètres Infio : fournisseur Ollama, http://localhost:11434, modèle gemma4:e2b.

Indexation : découpage automatique en chunks avec bge-micro-v2, index vectoriel construit en quelques minutes.

Comparaison des performances

| Composant | Smart Connections | Copilot | Infio Copilot |

|-----------------|-----------------------|---------------|-------------------|

| Embeddings | bge-micro-v2 (intégré) | Ollama | bge-micro-v2 (intégré) |

| Indexation 70 Mo | 1–2 min | jusqu'à 1 h | 1–2 min |

| Chat | payant | gratuit, lent | gratuit, rapide |

| LLM | cloud | Ollama | Ollama |

Infio est le bon équilibre : vectorisation rapide + génération locale.

En pratique : requêtes et réponses

Exemple : une question sur vos notes récupère des chunks pertinents + une réponse synthétisée par gemma4:e2b. La stabilité est correcte — relancez un nouveau chat si besoin. Pas d'options de découpage fine, mais les réglages par défaut marchent bien.

Avantages pour les développeurs :

• Recherche sémantique sur chats/notes (architecture, code, recherche).
• Confidentialité totale des données.
• Gratuit une fois configuré.

Limites :

• Dépendance VRAM (8 Go minimum pour fluidité).
• Inconsistance du LLM.
• Temps de configuration initial.

Points clés

• Embeddings et LLM séparés : bge-micro-v2 pour les vecteurs, gemma4:e2b pour la génération.
• Indexation rapide seulement avec embeddings intégrés.
• Sur 8 Go VRAM, gemma4:e2b offre une vitesse utilisable (15+ s/réponse).
• Idéal pour bases de connaissances personnelles, pas en production.
• BRAT requis pour Infio Copilot.

— Editorial Team