Manticore Search 25.0: 하이브리드 검색 및 KNN

Manticore Search 25.0.0: 하이브리드 검색과 RT 테이블의 주요 업데이트

Manticore Search 25.0.0은 전체 텍스트와 벡터 쿼리를 하나의 호출로 결합한 완전한 하이브리드 검색을 도입합니다. 패키징이 간소화되었으며, KNN 사전 필터링 추가, RT 테이블 병렬 서빙, 준비된 문장 지원, S3 호환 스토리지 백업 기능이 포함되었습니다. 이러한 변경 사항은 고부하 시나리오에서 검색 시스템의 배포와 운영을 최적화합니다.

업그레이드 요구 사항

업그레이드 전에 다음 비호환성을 확인하세요:

• 임베딩을 위한 새로운 API_URL 및 API_TIMEOUT 매개변수가 포함된 MCL 13.0.0이 필요합니다.
• 24.0.0부터의 복제 프로토콜 변경으로 인해 복제 클러스터를 일관되게 업그레이드하세요.
• 빅그램 토큰화 변경(23.0.0 이후)으로 인해 인덱스가 이전 버전과 호환되지 않습니다.
• KNN 사전 필터링 변경으로 검색 시 필터와 일치하는 이웃이 우선순위를 갖습니다.

단순화된 패키징

manticore 패키지가 이제 deb/rpm에서 모놀리식으로 제공됩니다: 데몬, 도구, 컨버터, ICU 데이터, Jieba, 언어 팩(de, en, ru)을 포함합니다. 업그레이드 방법: 기존 manticore* 패키지를 제거하고 새 패키지를 설치하세요—데이터는 보존됩니다. yum 기반 시스템에서는 설정 파일이 자동으로 백업됩니다. 이는 종속성 충돌을 없애고 DevOps 프로세스를 단순화합니다.

하이브리드 검색

하이브리드 검색은 SQL이나 JSON에서 MATCH()와 KNN()를 결합합니다. 예제 SQL 쿼리:

SELECT * FROM table
WHERE MATCH('query') 
  AND KNN('vector_column', query_embedding, 10) > 0.8;

어휘적 정밀도를 갖춘 시맨틱 검색에 이상적입니다: 제품 카테고리, 멀티테넌시, RBAC 필터. 단일 쿼리로 지연 시간을 줄입니다.

KNN 사전 필터링

속성 필터가 벡터 검색 중에 적용되어 이후 단계가 아닙니다. "가장 가까운 벡터 이웃 + category=electronics" 같은 쿼리에서 관련성이 향상되며, 무관한 후보가 조기에 필터링됩니다. 전자상거래, 추천 시스템, ACL이 포함된 기업 검색에 적합합니다.

RT 테이블 최적화

병렬 N-ary 청크 병합으로 무거운 쓰기 부하에서 OPTIMIZE가 가속화됩니다. 순차 병합 대신 동시 작업으로 컴팩션 다운타임을 줄입니다. RT 테이블이 이제 쿼리 성능 저하 없이 높은 삽입 트래픽을 처리할 수 있습니다.

준비된 문장

바이너리 프로토콜의 prepare/execute를 통해 MySQL 호환 준비된 문장을 지원합니다. 연결 풀, ORM(SQLAlchemy, Hibernate), 프레임워크와 원활하게 연동됩니다. 클라이언트 코드를 수정하지 않고 MySQL/PostgreSQL에서 마이그레이션을 단순화합니다.

PREPARE stmt FROM 'SELECT * FROM idx WHERE MATCH(?)';
EXECUTE stmt USING 'search query';
DEALLOCATE PREPARE stmt;

S3 백업

백업/복원이 AWS S3, MinIO, Wasabi, Cloudflare R2를 지원합니다. 로컬 디스크가 일시적이지만 객체 스토리지가 영속적인 Kubernetes/Docker 환경에 완벽합니다. 명령어: backup --storage s3://bucket/path.

자동 임베딩

MCL 13.0.0에 API_URL 및 API_TIMEOUT이 추가되었습니다. GGUF(양자화된), T5-encoder, 속도 제한 적용 HF, RT 테이블 임베딩 복제를 지원합니다. 외부 서비스 없이 로컬 또는 클라우드 파이프라인에서 즉석 임베딩 생성을 가능하게 합니다.

버그 수정

이 릴리스에는 36개의 수정이 포함되었습니다:

• max_query_time 타임아웃 중 잘못된 MATCH 트리거가 발생하지 않습니다.
• 중복 doc ID에서 복제가 더 이상 행을 잃지 않습니다.
• 자동 임베딩 안정성 개선: UTF-8 처리, RT 잠금.
• LEFT JOIN이 이제 올바른 MySQL NULL(문자열 'NULL' 아님)을 반환합니다.
• RT 청크 저장의 레이스 컨디션 수정.
• 멀티 테이블 쿼리에서 퍼지 검색이 올바르게 작동합니다.

중요 사항:

• 하이브리드 검색은 시맨틱 애플리케이션의 코드 복잡성을 30–50% 줄입니다.
• KNN 사전 필터링은 필터링 워크로드에서 정밀도를 높입니다.
• 모놀리식 패키지는 CI/CD 파이프라인을 간소화합니다.
• S3 백업은 클라우드에서 RPO/RTO <1h를 실현합니다.
• 준비된 문장은 MySQL 생태계 통합을 가속화합니다.

상세 변경 로그는 저장소에서 확인하세요. 버전 25.0.0은 Manticore를 대규모 하이브리드 검색에 프로덕션 레디 상태로 만듭니다.

— Editorial Team