RAG local en Obsidian con Ollama y Gemma

# Asistente RAG Local en Obsidian: Ollama, Gemma 4 e Infio Copilot

Con Obsidian, Ollama y el plugin Infio Copilot, puedes crear un sistema RAG que indexa notas en markdown y responde preguntas sobre ellas completamente offline, sin necesidad de la nube. Utiliza el modelo bge-micro-v2 para embeddings y LLMs locales como gemma4:e2b para generar respuestas. Indexar una base de conocimiento de 70 MB toma solo 1-2 minutos, con respuestas generadas en 15+ segundos en una RTX 3060 Ti con 8 GB de VRAM.

El sistema separa el modelo de embeddings para vectorizar el texto del LLM para generar respuestas. Esto optimiza la velocidad: bge-micro-v2 compacto para embeddings y gemma4:e2b más potente para las respuestas.

Por qué la búsqueda estándar de Obsidian se queda corta

La búsqueda básica por palabras clave pasa por alto fragmentos semánticamente relacionados. Esta configuración RAG lo soluciona con búsqueda vectorial: el texto se divide en trozos, se convierte en embeddings y se almacena en un índice local. Tu consulta también se vectoriza, extrayendo los trozos más relevantes como contexto para el LLM.

Problemas de enfoques anteriores:

• Modelos Qwen en Ollama son lentos en 8 GB de VRAM por intercambio de RAM.
• Smart Connections: búsqueda rápida, pero chat de pago.
• Copilot original: indexación dolorosamente lenta vía embeddings de Ollama (hasta una hora).

Instalando Ollama y modelos

Ollama ejecuta LLMs localmente. Descarga y prueba:

ollama pull gemma4:e2b
ollama run gemma4:e2b

gemma4:e2b es el doble de rápido que qwen3:8b en uso real. qwen3.5:9b y qwen3.5:4b son alternativas para menos VRAM, pero con algo de pérdida de calidad.

En una GPU con 8 GB, el modelo cabe completo. Sin GPU o en hardware débil, las velocidades caen drásticamente.

BRAT e instalando Infio Copilot

Infio Copilot es un fork de Copilot con embeddings bge-micro-v2 integrados. Instala vía BRAT:

• En Obsidian: Ajustes → Plugins de la comunidad → Examinar → instalar BRAT.
• En BRAT: Añadir plugin beta → repositorio de Infio Copilot.
• En ajustes de Infio: proveedor Ollama, http://localhost:11434, modelo gemma4:e2b.

Indexación: troceado automático con bge-micro-v2, índice vectorial construido en minutos.

Comparación de rendimiento

| Componente | Smart Connections | Copilot | Infio Copilot |

|-----------------|-----------------------|---------------|-------------------|

| Embeddings | bge-micro-v2 (integrado) | Ollama | bge-micro-v2 (integrado) |

| Indexar 70 MB | 1-2 min | hasta 1 h | 1-2 min |

| Chat | de pago | gratis, lento| gratis, rápido |

| LLM | nube | Ollama | Ollama |

Infio es el punto dulce: vectorización rápida + generación local.

En la práctica: consultas y respuestas

Ejemplo: una pregunta sobre tus notas extrae trozos relevantes + una respuesta sintetizada de gemma4:e2b. La estabilidad es decente, a veces inicia un nuevo chat. Sin opciones de troceado afinado, pero los valores por defecto funcionan bien.

Ventajas para desarrolladores:

• Búsqueda semántica en chats/notas (arquitectura, código, investigación).
• Privacidad total de datos.
• Gratis una vez configurado.

Limitaciones:

• Dependencia de VRAM (mínimo 8 GB para fluidez).
• Inconsistencia del LLM.
• Tiempo de configuración inicial.

Lecciones clave

• Embeddings y LLM separados: bge-micro-v2 para vectores, gemma4:e2b para generación.
• Indexación rápida solo con embeddings integrados.
• Con 8 GB de VRAM, gemma4:e2b ofrece velocidad usable (15+ seg/respuesta).
• Ideal para bases de conocimiento personales, no para producción.
• BRAT requerido para Infio Copilot.

— Editorial Team