TAPe sans transformers : associations de patches

TAPe sans Transformers : Associations locales et segmentation précoce sur COCO

Les algorithmes TAPe génèrent des éléments structurés à partir d'images, remplaçant les pixels bruts par des représentations vectorielles compactes. Ces données possèdent naturellement stabilité et connectivité, éliminant la nécessité de mécanismes d'attention globale présents dans les transformers. En conséquence, le nombre de paramètres d'embedding est réduit de plusieurs ordres de grandeur par rapport à des alternatives comme YOLO ou ViT.

Passer aux associations locales entre patches permet de regrouper des zones de tailles arbitraires pour isoler des objets. Des expériences menées sur COCO montrent des groupes cohérents de patches appartenant à un même objet — sans entraînement explicite en segmentation.

Associations locales : mécanisme et propriétés

Chaque patch TAPe est associé à un contexte local restreint. Ces liens proviennent de deux sources :

• Similarité d'embeddings : les patches aux caractéristiques similaires (ex. texture de peau) se regroupent durant l'apprentissage initial.
• Appartenance à un objet : pendant l'entraînement à la détection, les patches appartenant au même objet (ex. "personne") sont reliés en clusters.

La localité est renforcée par le contexte : étendre les associations au-delà des limites naturelles (ex. visage vers cou) perturbe la structure. Cela garantit une robustesse aux modifications de patches sans perdre en cohérence.

Un contrôle granulaire des associations (ajustement fin des connexions) résout les problèmes lors de la modification des patches pour des tâches ultérieures.

Visualisation des associations avec un exemple visage

Sur une image COCO, le patch central (jaune) sur le visage d'une personne est lié aux patches oranges dans son voisinage immédiat. Tous appartiennent à une région sémantiquement unifiée — le visage.

Regrouper ces associations dessine naturellement le contour du visage. Les frontières sont définies par des patches contrastants : les vêtements agissent comme une limite naturelle, séparant la peau du fond.

Déplacer le patch central conserve le cluster associatif avec très peu de changement, grâce aux liens asymétriques de TAPe. Lorsqu'on sort de la zone initiale, les clusters se chevauchent — mais le contour de l'objet reste stable. Cela marque une étape précoce de segmentation, sans entraînement dédié.

Points clés

• Le nombre de paramètres d'embedding a diminué de plusieurs ordres de grandeur après avoir abandonné les transformers, grâce à la structure de données intégrée dans TAPe.
• Les associations locales entre patches forment des clusters d'objets sur COCO via similarité et appartenance — pas besoin d'attention globale.
• Déplacer le patch central donne un contour d'objet stable, nous rapprochant d'une segmentation "gratuite".
• Le modèle fonctionne à 120 FPS ; les inexactitudes actuelles sont corrigées par un entraînement prolongé (démonstration : 1 minute).
• L'objectif reste la détection d'objets ; la segmentation émerge comme un effet secondaire, conduisant à de bons résultats finaux.

Limites et perspectives futures

Le modèle actuel est une démonstration prototype : une couverture complète des objets par les patches n'est pas encore atteinte dans la version présentée. Certains patches isolés peuvent diverger en raison d'un entraînement court (1 minute). Les améliorations prévues incluent :

• Un entraînement complet pour minimiser les artefacts.
• Une extension des associations pour couvrir entièrement les objets.
• Une intégration dans les pipelines de détection COCO.
• La transition vers la segmentation comme prochaine étape.

La vitesse de traitement reste à 120 FPS — essentielle pour les applications en temps réel. Les avancées TAPe+ML tendent vers une détection d'objets end-to-end sans descente de gradient ni architectures lourdes.

— Editorial Team