Manticore Search 25.0: búsqueda híbrida y KNN

# Manticore Search 25.0.0: Actualizaciones clave para búsqueda híbrida y tablas RT

Manticore Search 25.0.0 introduce la búsqueda híbrida completa, combinando consultas de texto completo y vectores en una sola llamada. Se ha simplificado el empaquetado, se ha añadido prefiltrado KNN, servicio paralelo para tablas RT, soporte para sentencias preparadas y copias de seguridad en almacenamiento compatible con S3. Estos cambios optimizan el despliegue y la operación de sistemas de búsqueda en escenarios de alta carga.

Requisitos de actualización

Antes de actualizar, ten en cuenta estas incompatibilidades:

• Se requiere MCL 13.0.0, con nuevos parámetros API_URL y API_TIMEOUT para embeddings.
• Actualiza clústeres de replicación de forma consistente debido a cambios en el protocolo de replicación desde 24.0.0.
• Los cambios en la tokenización de bigramas (desde 23.0.0) hacen que los índices sean incompatibles con versiones antiguas.
• Los cambios en el prefiltrado KNN alteran el orden de resultados: los vecinos que coincidan con el filtro ahora tienen prioridad durante la búsqueda.

Empaquetado simplificado

El paquete manticore ahora es monolítico para deb/rpm: incluye el daemon, herramientas, convertidor, datos ICU, Jieba y paquetes de idiomas (de, en, ru). Para actualizar: elimina los paquetes manticore* antiguos e instala el nuevo; los datos se preservan. En sistemas basados en yum, la configuración se respalda automáticamente. Esto elimina conflictos de dependencias y simplifica procesos DevOps.

Búsqueda híbrida

La búsqueda híbrida combina MATCH() y KNN() en SQL o JSON. Ejemplo de consulta SQL:

SELECT * FROM table
WHERE MATCH('query') 
  AND KNN('vector_column', query_embedding, 10) > 0.8;

Perfecta para búsqueda semántica con precisión léxica: categorías de productos, multiinquilino, filtros RBAC. Reduce la latencia mediante una sola consulta.

Prefiltrado KNN

Los filtros de atributos se aplican durante la búsqueda vectorial, no después. Para consultas como "vecinos vectoriales más cercanos + categoría=electrónicos", la relevancia mejora al filtrar candidatos irrelevantes desde temprano. Ideal para comercio electrónico, recomendaciones y búsqueda empresarial con ACL.

Optimización de tablas RT

Fusiones paralelas de chunks N-arios aceleran OPTIMIZE bajo cargas de escritura intensas. En lugar de fusión secuencial, tareas concurrentes reducen el tiempo de inactividad por compactación. Las tablas RT ahora pueden manejar tráfico de inserciones alto sin degradar el rendimiento de consultas.

Sentencias preparadas

Soporte para sentencias preparadas compatibles con MySQL mediante prepare/execute en el protocolo binario. Funciona sin problemas con pools de conexiones, ORMs (SQLAlchemy, Hibernate) y frameworks. Simplifica la migración desde MySQL/PostgreSQL sin refactorizar código cliente.

PREPARE stmt FROM 'SELECT * FROM idx WHERE MATCH(?)';
EXECUTE stmt USING 'search query';
DEALLOCATE PREPARE stmt;

Copias de seguridad en S3

Backup/restore ahora soporta AWS S3, MinIO, Wasabi y Cloudflare R2. Perfecto para entornos Kubernetes/Docker donde los discos locales son efímeros pero el almacenamiento de objetos es persistente. Comando: backup --storage s3://bucket/path.

Embeddings automáticos

MCL 13.0.0 añade API_URL y API_TIMEOUT. Soporta GGUF (cuantizado), T5-encoder, HF con limitación de tasa, y replicación de embeddings en tablas RT. Permite generación de embeddings sobre la marcha para pipelines locales o en la nube sin servicios externos.

Correcciones de errores

La versión incluye 36 correcciones:

• No hay activaciones falsas de MATCH durante timeouts de max_query_time.
• La replicación ya no pierde filas con IDs de documentos duplicados.
• Mayor estabilidad para auto-embeddings: manejo UTF-8, bloqueos RT.
• LEFT JOIN ahora devuelve el NULL adecuado de MySQL (no la cadena 'NULL').
• Condición de carrera en guardado de chunks RT corregida.
• Búsqueda difusa funciona correctamente en consultas multi-tabla.

Lo importante:

• La búsqueda híbrida reduce la complejidad del código en 30–50% para aplicaciones semánticas.
• El prefiltrado KNN mejora la precisión en cargas de trabajo filtradas.
• El paquete monolítico agiliza pipelines CI/CD.
• Las copias de seguridad en S3 ofrecen RPO/RTO <1h en la nube.
• Las sentencias preparadas aceleran la integración con el ecosistema MySQL.

Changelog detallado disponible en el repositorio. La versión 25.0.0 hace que Manticore esté listo para producción en búsqueda híbrida a escala.

— Editorial Team