Manticore Search 25.0: hybridní vyhledávání a KNN

# Manticore Search 25.0.0: klíčové aktualizace pro hybridní vyhledávání a RT-tabulek

V Manticore Search 25.0.0 je implementováno plnohodnotné hybridní vyhledávání, které kombinuje fulltextové a vektorové dotazy v jediném volání. Zjednodušeno balení, přidána předběžná filtrace KNN, paralelní obsluha RT-tabulek, podpora prepared statements a zálohy do S3-kompatibilních úložišť. Tyto změny optimalizují nasazení a provoz vyhledávacích systémů pro high-load scénáře.

Požadavky na upgrade

Před aktualizací zohledněte nekompatibility:

• Nutný MCL 13.0.0 s novými parametry API_URL a API_TIMEOUT pro embeddingy.
• Replikační klastry upgradovat současně kvůli protokolu replikace od 24.0.0.
• Změny tokenizace bigramů (od 23.0.0) činí indexy nekompatibilními s legacy verzemi.
• Předběžná filtrace KNN mění pořadí výsledků: nyní priorita sousedům splňujícím filtr v fázi vyhledávání.

Zjednodušené balení

Balíček manticore je nyní monolitní pro deb/rpm: obsahuje daemon, nástroje, konvertor, ICU data, Jieba, jazykové balíčky (de, en, ru). Upgrade: odstraňte staré balíčky manticore*, nainstalujte nový – data se zachovají. V systémech yum se konfig automaticky zálohuje. To eliminuje konflikty závislostí a zjednodušuje devops procesy.

Hybridní vyhledávání

Hybridní vyhledávání kombinuje MATCH() a KNN() v SQL nebo JSON. Příklad SQL dotazu:

SELECT * FROM table
WHERE MATCH('query') 
  AND KNN('vector_column', query_embedding, 10) > 0.8;

Vhodné pro sémantické vyhledávání s lexikální přesností: kategorie zboží, multitenancy, RBAC filtry. Snižuje latenci díky jedinému dotazu.

Předběžná filtrace KNN

Filtry atributů se aplikují během vektorového vyhledávání, ne dodatečně. Pro dotazy „nejbližší sousedé podle vektoru + kategorie=electronics“ roste relevace, kandidáti se odstraňují brzy. Užitečné v e-commerce, doporučeních, enterprise vyhledávání s ACL.

Optimalizace RT-tabulek

Paralelní N-ární merge chunků zrychlují OPTIMIZE při zatížení zápisem. Místo sekvenčního slučování – souběžné úlohy, které zkracují downtime kompaktrace. RT-tabulek jsou nyní odolné vůči high-insert provozu bez degradace query výkonu.

Prepared statements

Podpora MySQL-kompatibilních prepared statements: prepare/execute v binary protokolu. Kompatibilní s connection pools, ORM (SQLAlchemy, Hibernate), frameworky. Zjednodušuje migraci z MySQL/PostgreSQL bez refaktoringu klientského kódu.

PREPARE stmt FROM 'SELECT * FROM idx WHERE MATCH(?)';
EXECUTE stmt USING 'search query';
DEALLOCATE PREPARE stmt;

Zálohy do S3

Backup/restore podporují AWS S3, MinIO, Wasabi, Cloudflare R2. Ideální pro Kubernetes/Docker: lokální disk ephemeral, objektové úložiště – persistent. Příkaz: backup --storage s3://bucket/path.

Automatické embeddingy

MCL 13.0.0 přidává API_URL, API_TIMEOUT. Podpora GGUF (kvantizované), T5-encoder, HF s rate-limit, replikace embeddingů v RT. Pro lokální/oblažné pipeline: generujte embeddingy on-the-fly bez externích služeb.

Opravy chyb

Vydání obsahuje 36 oprav:

• Žádné falešné spuštění MATCH při timeoutu max_query_time.
• Replikace neztrácí řádky při duplicitním doc ID.
• Stabilita auto-embeddingů: UTF-8, RT-locks.
• LEFT JOIN vrací MySQL NULL (ne řetězec 'NULL').
• Race condition při ukládání RT-chunků odstraněna.
• Fuzzy search v multi-table dotazech.

Důležité:

• Hybridní vyhledávání snižuje složitost kódu o 30–50 % pro sémantické aplikace.
• Předfiltrace KNN zvyšuje přesnost ve filtrovaných zatíženích.
• Monolitický balíček zjednodušuje CI/CD pipeline.
• S3 zálohy zajišťují RPO/RTO <1 h v cloudu.
• Prepared statements urychlují integraci s MySQL ekosystémem.

Podrobný changelog je dostupný v repozitáři. Verze 25.0.0 činí Manticore production-ready pro hybridní vyhledávání ve velkém měřítku.

— Editorial Team