Obsidian에서 Ollama와 Gemma를 사용한 로컬 RAG

Obsidian에서 로컬 RAG 어시스턴트 구축: Ollama, Gemma 4, Infio Copilot

Obsidian, Ollama, Infio Copilot 플러그인을 사용하면 마크다운 노트를 인덱싱하고 이에 대한 질문을 완전히 오프라인으로 답변하는 RAG 시스템을 구축할 수 있습니다. 클라우드 없이 가능하죠. bge-micro-v2 모델로 임베딩하고, gemma4:e2b 같은 로컬 LLM으로 응답 생성합니다. 70MB 지식 베이스를 인덱싱하는 데 1~2분만 걸리며, RTX 3060 Ti (8GB VRAM)에서 응답 생성은 15초 이상 소요됩니다.

시스템은 텍스트 벡터화용 임베딩 모델과 응답 생성용 LLM을 분리합니다. 속도 최적화: 임베딩은 가벼운 bge-micro-v2, 답변은 강력한 gemma4:e2b.

Obsidian 기본 검색의 한계

기본 키워드 검색은 의미적으로 관련된 조각을 놓칩니다. 이 RAG 설정은 벡터 검색으로 이를 해결: 텍스트를 청크로 나누고 임베딩으로 변환해 로컬 인덱스에 저장. 쿼리도 벡터화되어 가장 관련성 높은 청크를 LLM 컨텍스트로 제공합니다.

이전 접근 방식의 문제점:

• Ollama의 Qwen 모델은 8GB VRAM에서 RAM 스와핑으로 느림.
• Smart Connections: 검색 빠름, 하지만 채팅은 유료.
• 원본 Copilot: Ollama 임베딩으로 인덱싱이 고통스러울 정도로 느림 (최대 1시간).

Ollama와 모델 설치

Ollama는 LLM을 로컬에서 실행합니다. 다운로드 후 테스트:

ollama pull gemma4:e2b
ollama run gemma4:e2b

gemma4:e2b는 실제 사용에서 qwen3:8b보다 2배 빠름. VRAM 적은 경우 qwen3.5:9b나 qwen3.5:4b 대안, 품질 약간 손실.

8GB GPU에서 모델 완벽 로드. GPU 없거나 약한 하드웨어에서는 속도 급감.

BRAT와 Infio Copilot 설치

Infio Copilot은 bge-micro-v2 임베딩 내장한 Copilot 포크. BRAT로 설치:

• Obsidian: 설정 → 커뮤니티 플러그인 → 탐색 → BRAT 설치.
• BRAT: 베타 플러그인 추가 → Infio Copilot 저장소.
• Infio 설정: Ollama 제공자, http://localhost:11434, 모델 gemma4:e2b.

인덱싱: bge-micro-v2로 자동 청킹, 몇 분 만에 벡터 인덱스 생성.

성능 비교

| 구성 요소 | Smart Connections | Copilot | Infio Copilot |

|-----------------|-----------------------|---------------|-------------------|

| 임베딩 | bge-micro-v2 (내장) | Ollama | bge-micro-v2 (내장) |

| 70MB 인덱싱 | 1~2분 | 최대 1시간 | 1~2분 |

| 채팅 | 유료 | 무료, 느림 | 무료, 빠름 |

| LLM | 클라우드 | Ollama | Ollama |

Infio가 최적: 빠른 벡터화 + 로컬 생성.

실습: 쿼리와 응답

예: 노트 질문 시 관련 청크 추출 + gemma4:e2b 합성 답변. 안정성 양호—가끔 새 채팅 시작. 세밀 청킹 옵션 없지만 기본값 충분.

개발자 이점:

• 채팅/노트 간 의미 검색 (아키텍처, 코드, 연구).
• 완전 데이터 프라이버시.
• 설정 후 무료.

한계:

• VRAM 의존 (순조로운 사용 8GB 최소).
• LLM 불일치.
• 초기 설정 시간.

주요 요약

• 임베딩과 LLM 분리: 벡터는 bge-micro-v2, 생성은 gemma4:e2b.
• 내장 임베딩으로만 빠른 인덱싱.
• 8GB VRAM에서 gemma4:e2b 실용 속도 (응답 15초+).
• 개인 지식 베이스에 이상적, 프로덕션 아님.
• Infio Copilot은 BRAT 필수.

— Editorial Team