Ajuste fino de Mistral 7B en ruso para diálogos

Ajuste fino de Mistral 7B para ruso: De LoRA a ajuste completo para resumen de diálogos

Mistral 7B tiene un rendimiento deficiente en ruso: errores en declinaciones, ignorar instrucciones y pérdida de significado en diálogos largos. El equipo de AiGenda decidió ajustar el modelo para automatizar actas de reuniones. La tarea incluye reconocimiento de voz, identificación de hablantes, detección de temas y resumen usando un LLM con hasta 7B parámetros y un contexto de 8192 tokens.

La arquitectura está diseñada para escalabilidad, seguridad y tolerancia a fallos. El backend dirige solicitudes a través de RabbitMQ al servicio de ML. El Controlador ML gestiona modelos e interactúa con una base de datos vectorial para incrustaciones. Los datos están aislados, con almacenamiento S3 y grabación de reuniones mediante la API de OpenStack.

Arquitectura del Sistema de ML

Canal de procesamiento: interfaz → Backend → RabbitMQ → ML → respuesta. El Controlador ML distribuye tareas entre Whisper (voz), pyannote/ResNet34 (hablantes), incrustaciones para temas y Mistral para texto.

Componentes clave:

• Cola RabbitMQ: Procesamiento por lotes, reduciendo latencia.
• Controlador ML: Enrutamiento, adición/reemplazo de modelos.
• Base de datos vectorial: Incrustaciones de hablantes y texto.
• Controlador de Reuniones: Recursos dinámicos para grabación.
• Monitoreo: Grafana, Sentry.

Esto garantiza flexibilidad y seguridad sin acceso directo a los modelos.

Fracaso de LoRA y cambio a ajuste fino completo

LoRA suavizó errores pero no corrigió la lógica débil de oraciones debido a la escasez de datos en ruso en el modelo base. Cambiamos a ajuste fino completo.

Compilamos un conjunto de datos de 5.35 mil millones de tokens: textos, diálogos, instrucciones, traducciones automáticas. Entrenamiento en transformers (Hugging Face) con optimizaciones:

• Precisión mixta, bfloat16.
• Muestreador sin relleno (10x más rápido).
• Flash Attention 2 (ahorro de VRAM).
• ZeRO-2 con descarga a CPU.

Dos Nvidia RTX A6000 (48 GB) se ajustaron al presupuesto. Registros en wandb.ai.

Evaluación del modelo de lenguaje en MERA

Probado en Ubuntu 20.04, RTX 4090, 16 núcleos Ice Lake, 32 GB RAM. El modelo ajustado superó a Mistral 7B base, GigaChat y MTS Chat en:

• LCS.
• PARus.
• SimpleAR.
• RuHumanEval.
• ruHH.

En la práctica: reducción de errores en diálogos, extracción de información dentro de 8192 tokens con pocas alucinaciones.

Conclusiones clave:

• El ajuste fino completo es crucial para idiomas con datos limitados en modelos preentrenados.
• Las optimizaciones (Flash Attention, ZeRO-2) permiten entrenar modelos de 7B en hardware de consumo.
• MERA es un punto de referencia confiable para ruso.
• Un contexto de 8192 tokens es suficiente para diálogos de reuniones.
• La integración con la arquitectura garantiza preparación para producción.

Ajuste fino específico de tareas y Whisper

LoRA final en un conjunto de datos de diálogos (resumen, elementos de acción, temas). Anotaciones: manual + API GPT-4. BertScore F1 = 0.93 para resumen.

Whisper ajustado en 50%+ ruso: conferencias, entrevistas, lecciones. Etiquetado pseudo + verificaciones de diccionario (ej., "ETMO" → "ITMO"). Reducción de WER en audio ruidoso de reuniones.

Desarrollo futuro

Planes: contexto hasta 128k tokens, nuevas arquitecturas. Recopilación de comentarios para iteraciones.

— Editorial Team