Diario TAPe, Día 6: Embebidos Sintéticos y Abandonando los Transformers
TAPe divide las imágenes en características estables y estructuradas con relaciones predefinidas. Esto genera una representación vectorial compacta utilizada para aprendizaje auto-supervisado y clasificación en 80 clases de COCO.
Dos Tareas Principales de Entrenamiento
El modelo se entrena simultáneamente en dos tareas:
- Generación de Embebidos: En datos sintéticos TAPe generados mediante reglas internas. A diferencia de los modelos generativos a nivel de píxeles, que fracasan al producir contornos realistas de objetos, este enfoque sintético resuelve el problema de escasez de datos.
- Clasificación: Reconocer parches (uno o varios) como una de las 80 clases de COCO.
Los datos sintéticos se crean sin etiquetado manual, preservando las dependencias estructurales.
Conjunto de Datos COCO Compacto para Convergencia Rápida
El entrenamiento utiliza 5K imágenes de validación de COCO: 3.5K para entrenamiento y 1.5K para validación. El conjunto de validación es más desafiante que el conjunto completo de entrenamiento (más de 100K imágenes) y garantiza cobertura completa de todas las clases.
TAPe logra convergencia rápida gracias a su estructura extraída. A diferencia de YOLO, que requiere preentrenamiento en ImageNet y más de 100K imágenes de COCO, TAPe funciona al revés: comienza pequeño y escala hacia arriba.
Resultados: 82% de Reconstrucción y 74% de Clasificación
- Reconstrucción de Parches: Precisión condicional del 82% —suficiente para tareas posteriores.
- Clasificación: Exactitud top-1 del 74% en las 80 clases de COCO, cercana al estado del arte (79%).
Esto es solo el primer intento —el potencial de optimización sigue siendo alto.
Problemas de los Transformers en la Arquitectura TAPe
La arquitectura actual usa transformers estándar para interacciones entre parches —una configuración temporal para pruebas. Principales desventajas:
- Distorsión de Datos: La atención (con tres matrices de pesos QKV) impone dependencias interactivas artificiales, alterando la estructura inherente de TAPe.
- Convergencia Lenta: El entrenamiento completo en COCO toma mucho tiempo.
- Dependencia del Descenso de Gradientes: Requerido por los transformers, lo que complica la optimización (alternativas como RL no son ideales).
Los transformers son útiles para pruebas de escala, pero no adecuados para el diseño final de TAPe.
Avanzando hacia Mecanismos Optimizados para TAPe
En TAPe, las dependencias entre parches están predefinidas —la atención es redundante. Próximos pasos:
- Reemplazar los transformers por operaciones nativas de TAPe para preservar la estructura de los datos.
- Optimizar sin gradientes, como se hizo en entradas anteriores del diario.
- Escalar a COCO completo manteniendo eficiencia (115K parámetros frente a 2M+ en YOLO).
Lo Que Importa
- Precisión del 74% en validación de COCO (5K imágenes) sin preentrenamiento en ImageNet.
- Los datos sintéticos TAPe eliminan la necesidad de anotación a nivel de píxeles.
- El 82% de reconstrucción confirma la calidad de los embebidos.
- Abandonar los transformers: centrarse en las estructuras de TAPe para evitar distorsiones.
- Eficiencia: convergencia rápida en conjuntos pequeños, bajo costo computacional.
— Editorial Team
Aún no hay comentarios.