TAPe-Embeddings: 74 % auf COCO ohne Transformers

TAPe-Tagebuch, Tag 6: Synthetische Embeddings und Wegfall von Transformers

TAPe zerlegt Bilder in stabile, strukturierte Merkmale mit vordefinierten Beziehungen. Das ergibt eine kompakte Vektorrepräsentation, die für selbstüberwachtes Lernen und die Klassifikation in 80 COCO-Klassen genutzt wird.

Zwei zentrale Trainingsaufgaben

Das Modell trainiert gleichzeitig auf zwei Aufgaben:

• Embedding-Generierung: Auf synthetischen TAPe-Daten, die über interne Regeln generiert werden. Im Gegensatz zu pixelbasierten Generativmodellen, die realistische Objektränder oft versagen, löst dieser Ansatz das Problem der Datenknappheit.
• Klassifikation: Erkennen von Patchen (einzelne oder mehrere) als eine der 80 COCO-Klassen.

Synthetische Daten entstehen ohne manuelle Annotation und bewahren dabei die strukturellen Abhängigkeiten.

Kompakte COCO-Datenmenge für schnelle Konvergenz

Der Trainingssatz umfasst 5.000 Validierungs-Bilder aus COCO: 3.500 für das Training, 1.500 für die Validierung. Der Val-Set ist anspruchsvoller als der gesamte Trainingsset (100.000+ Bilder) und garantiert vollständige Klassenabdeckung.

TAPe erreicht dank extrahierter Struktur eine schnelle Konvergenz. Anders als YOLO, das ImageNet-Vortraining und über 100.000 COCO-Bilder benötigt, arbeitet TAPe umgekehrt – klein beginnend und schrittweise skalierend.

Ergebnisse: 82 % Rekonstruktion und 74 % Klassifikation

• Patch-Rekonstruktion: 82 % bedingte Genauigkeit – ausreichend für nachgeschaltete Aufgaben.
• Klassifikation: 74 % Top-1-Accuracy über alle 80 COCO-Klassen, nahe am State-of-the-Art (79 %).

Dies ist erst der erste Durchlauf – Optimierungspotenzial bleibt hoch.

Probleme mit Transformers in der TAPe-Architektur

Die aktuelle Architektur nutzt Standard-Transformers für die Interaktion zwischen Patchen – eine temporäre Lösung für Experimente. Wichtige Nachteile:

• Datenverzerrung: Die Aufmerksamkeit (mit drei Gewichtsmatrizen QKV) erzeugt künstliche Interaktionsabhängigkeiten und stört die inhärente Struktur von TAPe.
• Langsame Konvergenz: Die vollständige COCO-Trainingsdauer ist erheblich.
• Abhängigkeit vom Gradientenabstieg: Notwendig für Transformer, was die Optimierung erschwert (RL-Alternativen sind weniger geeignet).

Transformers sind nützlich für Skalierungstests, aber nicht für die endgültige TAPe-Design-Phase.

Hin zum TAPe-optimierten Mechanismus

Bei TAPe sind Patch-Abhängigkeiten vordefiniert – Aufmerksamkeit ist überflüssig. Nächste Schritte:

• Ersetzen von Transformers durch native TAPe-Operationen, um die Datenstruktur zu bewahren.
• Optimierung ohne Gradienten, wie in früheren Tagebucheinträgen.
• Skalierung auf das volle COCO-Dataset bei gleichzeitiger Effizienz (115.000 Parameter gegenüber 2 Mio. + bei YOLO).

Was zählt

• 74 % Genauigkeit auf 5.000 COCO-Validierungsbildern ohne ImageNet-Vortraining.
• Synthetische TAPe-Daten ersetzen pixelbasierte Annotation.
• 82 % Rekonstruktion bestätigt die Qualität der Embeddings.
• Wegfall von Transformers: Fokus auf TAPe-Strukturen zur Vermeidung von Verzerrungen.
• Effizienz: Schnelle Konvergenz auf kleinen Datensätzen, geringer Rechenaufwand.

— Editorial Team