TAPe sur COCO : 98 % de précision avec boîtes englobantes

TAPe atteint 98 % de précision en détection d'objets sur COCO avec seulement 2 % de données annotées

L'expérience clé a utilisé des pyramides inversées : concentrer l'attention sur le patch central TAPe tout en élargissant progressivement l'échelle vers les bords de l'image. Cette approche a permis d'atteindre une précision de 98 %.

Paramètres testés :

• Nombre de prototypes par classe (optimal : 2).
• Équilibre entre patches arrière-plan et objets (deux fois plus de patches arrière-plan pour une meilleure discrimination).

Trop d'arrière-plan entraîne un surapprentissage ; trop peu fait manquer des objets.

Équilibre entre prototypes et arrière-plan dans le modèle

Pour chaque classe, deux prototypes sont optimaux — ils offrent une diversité sans surapprentissage. Plus de prototypes floutent les clusters d'encodage.

Équilibre arrière-plan/objet :

| Ratio | Précision | Fausses positives |

|-------|----------|------------------|

| 1:1 | 92 % | Élevées |

| 2:1 (arrière-plan) | 98 % | Faibles |

| 4:1 (arrière-plan) | 95 % | Surapprentissage sur l'arrière-plan |

Cela a du sens : l'arrière-plan est moins variable, donc il faut plus d'exemples pour une identification fiable.

Des centroïdes aux boîtes englobantes

Les détections précédentes se concentraient sur les centroïdes (précision moyenne : 72 %). Aujourd'hui, le modèle génère des boîtes englobantes autour des objets. Les résultats visuels sont prometteurs, avec une évaluation quantitative en cours.

Expériences sur les "vues" (balayage) :

• Les coins + le centre de l'image suffisent pour la détection sans classification.
• Classes texturées (zèbre, piano, bateau) atteignent 93–94 % de réussite grâce à des indices texture riches.
• Classes faibles : fourchettes (petite taille), personnes (forte variabilité de pose/vue).

La variabilité est traitée via une augmentation fondée sur la logique TAPe.

Intégration de TAPe aux embeddings

Les patches TAPe agissent comme des tokens de taille fixe naturels, contrairement aux méthodes basées sur les pixels. Une image devient une séquence de patches avec des relations structurelles prédéfinies.

Cela simplifie des tâches comme iBOT : l'attention fonctionne sans mécanismes globaux ni descente de gradient sur les données brutes.

L'entraînement classique des embeddings repose sur deux étapes :

• Séparation spatiale (divergence des vecteurs).
• Convergence au sein d'une même classe.

TAPe remplace ces deux phases par un seul processus d'entraînement sur des objets structurés. Cela permet d'exprimer directement les opérations TAPe dans l'espace d'embedding pour des tâches hybrides.

Points clés

• 98 % de précision sur 2 % du jeu de données COCO sans classification — grâce aux pyramides inversées et à un ratio arrière-plan/objet équilibré.
• Boîtes englobantes au lieu de centroïdes : la précision moyenne est passée de 72 % à jusqu'à 94 % sur les classes texturées.
• Deux prototypes par classe + ratio arrière-plan/objet de 2:1 = configuration optimale.
• Les fausses positives ont été réduites à 30 pour 1 500 images.
• Les patches TAPe comme tokens simplifient l'attention sans gradients globaux.

Dans l'ensemble, le cadre expérimental confirme l'efficacité de TAPe dans les scénarios de vision par ordinateur à ressources limitées.

— Editorial Team