Manticore Search 25.0: Hybrid-Suche und KNN

Manticore Search 25.0.0: Wichtige Neuerungen für Hybrid-Suche und RT-Tabellen

Manticore Search 25.0.0 führt eine vollständige Hybrid-Suche ein, die Volltext- und Vektorsuchen in einem einzigen Aufruf kombiniert. Die Verpackung wurde vereinfacht, KNN-Vorfilterung hinzugefügt, parallele Bereitstellung für RT-Tabellen, Unterstützung für Prepared Statements und Backups zu S3-kompatiblen Speichern. Diese Änderungen optimieren die Bereitstellung und den Betrieb von Suchsystemen in Szenarien mit hoher Last.

Upgrade-Anforderungen

Bevor Sie upgraden, beachten Sie diese Inkompatibilitäten:

• MCL 13.0.0 ist erforderlich, mit neuen Parametern API_URL und API_TIMEOUT für Embeddings.
• Führen Sie das Upgrade von Replikations-Clustern einheitlich durch aufgrund von Änderungen im Replikationsprotokoll seit 24.0.0.
• Änderungen bei der Bigrams-Tokenisierung (seit 23.0.0) machen Indizes inkompatibel mit Legacy-Versionen.
• KNN-Vorfilterung ändert die Reihenfolge der Ergebnisse: Nachbarn, die dem Filter entsprechen, haben nun Priorität bei der Suche.

Vereinfachte Verpackung

Das manticore-Paket ist nun monolithisch für deb/rpm: Es enthält den Daemon, Tools, Converter, ICU-Daten, Jieba und Sprachpakete (de, en, ru). Zum Upgrade: Alte manticore*-Pakete entfernen und das neue installieren – die Daten bleiben erhalten. In yum-basierten Systemen wird die Konfig automatisch gesichert. Das beseitigt Abhängigkeitskonflikte und vereinfacht DevOps-Prozesse.

Hybrid-Suche

Die Hybrid-Suche kombiniert MATCH() und KNN() in SQL oder JSON. Beispiel-SQL-Abfrage:

SELECT * FROM table
WHERE MATCH('query') 
  AND KNN('vector_column', query_embedding, 10) > 0.8;

Perfekt für semantische Suche mit lexikalischer Präzision: Produktkategorien, Multi-Tenancy, RBAC-Filter. Sie reduziert die Latenz durch eine einzige Abfrage.

KNN-Vorfilterung

Attributfilter werden während der Vektorsuche angewendet, nicht danach. Bei Abfragen wie „nächste Vektornachbarn + Kategorie=Elektronik“ verbessert sich die Relevanz, da irrelevante Kandidaten früh gefiltert werden. Ideal für E-Commerce, Empfehlungen und Enterprise-Suche mit ACL.

Optimierung von RT-Tabellen

Parallele N-ary-Chunk-Merges beschleunigen OPTIMIZE unter hoher Schreiblast. Statt sequentieller Merges reduzieren parallele Aufgaben die Kompaktierungs-Downtime. RT-Tabellen können nun hohe Insert-Traffic-Raten bewältigen, ohne die Abfrageleistung zu beeinträchtigen.

Prepared Statements

Unterstützung für MySQL-kompatible Prepared Statements über prepare/execute im Binary-Protokoll. Funktioniert nahtlos mit Connection Pools, ORMs (SQLAlchemy, Hibernate) und Frameworks. Vereinfacht die Migration von MySQL/PostgreSQL ohne Anpassung des Client-Codes.

PREPARE stmt FROM 'SELECT * FROM idx WHERE MATCH(?)';
EXECUTE stmt USING 'search query';
DEALLOCATE PREPARE stmt;

S3-Backups

Backup/Restore unterstützt nun AWS S3, MinIO, Wasabi und Cloudflare R2. Perfekt für Kubernetes/Docker-Setups, wo lokale Festplatten flüchtig sind, aber Object Storage persistent. Befehl: backup --storage s3://bucket/path.

Automatische Embeddings

MCL 13.0.0 fügt API_URL und API_TIMEOUT hinzu. Unterstützt GGUF (quantisiert), T5-encoder, HF mit Rate Limiting und Embedding-Replikation in RT-Tabellen. Ermöglicht On-the-Fly-Embedding-Generierung für lokale oder Cloud-Pipelines ohne externe Dienste.

Bugfixes

Die Version enthält 36 Korrekturen:

• Keine falschen MATCH-Auslöser bei max_query_time-Timeouts.
• Replikation verliert keine Zeilen mehr bei duplizierten Doc-IDs.
• Verbesserte Stabilität für Auto-Embeddings: UTF-8-Behandlung, RT-Locks.
• LEFT JOIN liefert nun korrektes MySQL NULL (nicht den String 'NULL').
• Race Condition beim Speichern von RT-Chunks behoben.
• Fuzzy-Suche funktioniert korrekt in Multi-Table-Abfragen.

Wichtig:

• Hybrid-Suche reduziert die Code-Komplexität um 30–50 % bei semantischen Anwendungen.
• KNN-Vorfilterung verbessert die Präzision in gefilterten Workloads.
• Monolithisches Paket vereinfacht CI/CD-Pipelines.
• S3-Backups erreichen RPO/RTO <1 h in der Cloud.
• Prepared Statements beschleunigen die Integration ins MySQL-Ökosystem.

Detailliertes Changelog im Repository verfügbar. Version 25.0.0 macht Manticore produktionsreif für skalierbare Hybrid-Suche.

— Editorial Team