Embeddings TAPe : 74 % sur COCO sans transformers

TAPe Diary, Jour 6 : Des embeddings synthétiques et l'abandon des Transformers

TAPe découpe les images en caractéristiques stables et structurées avec des relations prédéfinies. Cela produit une représentation vectorielle compacte utilisée pour l'apprentissage auto-supervisé et la classification sur 80 classes COCO.

Deux tâches d'entraînement fondamentales

Le modèle s'entraîne simultanément sur deux tâches :

• Génération d'embeddings : sur des données TAPe synthétiques générées via des règles internes. Contrairement aux modèles génératifs au niveau des pixels, qui échouent à produire des contours d'objets réalistes, cette approche synthétique résout le problème de la rareté des données.
• Classification : reconnaître des patches (un ou plusieurs) comme l'une des 80 classes COCO.

Les données synthétiques sont créées sans étiquetage manuel, tout en préservant les dépendances structurelles.

Jeu de données COCO compact pour une convergence rapide

L'entraînement utilise 5 000 images de validation COCO : 3 500 pour l'entraînement, 1 500 pour la validation. L'ensemble de validation est plus exigeant que l'ensemble complet d'entraînement (100 000+ images) et garantit une couverture complète des classes.

TAPe atteint une convergence rapide grâce à sa structure extraite. À l’inverse de YOLO, qui nécessite un pré-entraînement sur ImageNet et plus de 100 000 images COCO, TAPe fonctionne à l’envers — en commençant petit et en montant progressivement.

Résultats : 82 % de reconstruction et 74 % de classification

• Reconstruction de patchs : 82 % de précision conditionnelle — suffisant pour les tâches ultérieures.
• Classification : 74 % de précision top-1 sur les 80 classes COCO, proche du meilleur résultat actuel (79 %).

C’est seulement le premier essai — le potentiel d’optimisation reste élevé.

Problèmes des Transformers dans l’architecture TAPe

L’architecture actuelle utilise des Transformers standards pour les interactions entre patches — une configuration temporaire pour les expérimentations. Principaux inconvénients :

• Distorsion des données : l’attention (avec trois matrices de poids QKV) impose des dépendances interactives artificielles, perturbant la structure intrinsèque de TAPe.
• Convergence lente : l’entraînement complet sur COCO prend beaucoup de temps.
• Dépendance au descente de gradient : nécessaire pour les Transformers, ce qui complique l’optimisation (les alternatives RL ne sont pas idéales).

Les Transformers sont utiles pour tester l’échelle, mais pas adaptés à la conception finale de TAPe.

Vers des mécanismes optimisés pour TAPe

Dans TAPe, les dépendances entre patches sont prédéfinies — l’attention devient redondante. Étapes suivantes :

• Remplacer les Transformers par des opérations natives TAPe pour préserver la structure des données.
• Optimiser sans gradients, comme dans les entrées précédentes du journal.
• Étendre à COCO complet tout en maintenant l’efficacité (115 K paramètres contre 2 M+ dans YOLO).

Ce qui compte vraiment

• 74 % de précision sur 5 000 images COCO validation sans pré-entraînement sur ImageNet.
• Les données TAPe synthétiques éliminent la nécessité d’étiquetage au niveau pixel.
• 82 % de reconstruction confirme la qualité des embeddings.
• Supprimer les Transformers : se concentrer sur les structures TAPe pour éviter toute distorsion.
• Efficacité : convergence rapide sur petits jeux de données, faible coût informatique.

— Editorial Team