TAPe ohne Transformer: Patch-Assoziationen

TAPe ohne Transformer: Lokale Patch-Assoziationen und frühe Segmentierung auf COCO

TAPe-Algorithmen erzeugen strukturierte Elemente aus Bildern und ersetzen rohe Pixel durch kompakte Vektorrepräsentationen. Diese Daten besitzen inhärente Stabilität und Zusammengehörigkeit, wodurch globale Aufmerksamkeitsmechanismen wie bei Transformers entfallen. Dadurch reduzieren sich die Embedding-Parameter um Größenordnungen im Vergleich zu Alternativen wie YOLO oder ViT.

Der Wechsel zu lokalen Patch-Assoziationen ermöglicht die Gruppierung beliebiger Größe zur Objektisolierung. Experimente auf COCO zeigen kohärente Cluster von Patches, die einem einzelnen Objekt zugehörig sind – ohne explizite Segmentierungstraining.

Lokale Assoziationen: Mechanismus und Eigenschaften

Jeder TAPe-Patch ist mit einem begrenzten lokalen Kontext verbunden. Diese Assoziationen entstehen aus zwei Quellen:

• Embedding-Ähnlichkeit: Patches mit ähnlichen Merkmalen (z. B. Hauttextur) gruppieren sich bereits während der initialen Trainingsphase.
• Objektzugehörigkeit: Während des Detektionstrainings werden Patches innerhalb desselben Objekts (z. B. "Person") zu Clustern verknüpft.

Die Lokalität wird durch den Kontext gewährleistet: Erweitert man Assoziationen über natürliche Grenzen hinaus (z. B. Gesicht auf Hals), stört dies die Struktur. Dies sorgt für Robustheit gegenüber Patch-Änderungen, ohne die Kohärenz zu opfern.

Eine fein abgestimmte Kontrolle über Assoziationen (Feinabstimmung der Verbindungen) löst Probleme, wenn Patches für nachgelagerte Aufgaben modifiziert werden.

Visualisierung von Assoziationen am Beispiel eines Gesichts

Auf einem COCO-Bild assoziiert der zentrale Patch (gelb) auf einem Gesicht mit orangefarbenen Patches in seiner lokalen Umgebung. Alle gehören zu einem semantisch einheitlichen Bereich – dem Gesicht.

Das Clustering dieser Assoziationen zeichnet nahtlos die Gesichtsform nach. Die Grenzen werden durch kontrastierende Patches definiert: Bekleidung fungiert als natürliche Objektkante und trennt Haut vom Hintergrund.

Verschiebt man den zentralen Patch, bleibt der assoziative Cluster mit minimalen Änderungen erhalten, dank asymmetrischer TAPe-Verbindungen. Sobald man außerhalb des ursprünglichen Bereichs liegt, überlappen sich die Cluster – doch die Objektkontur bleibt stabil. Dies markiert einen frühen Schritt der Segmentierung ohne spezielles Training.

Wichtige Erkenntnisse

• Die Embedding-Parameter verringerten sich um Größenordnungen, nachdem Transformer aufgegeben wurden, dank der eingebauten Datenstruktur von TAPe.
• Lokale Patch-Assoziationen bilden auf COCO Objektcluster mithilfe von Ähnlichkeit und Zugehörigkeit – globale Aufmerksamkeit ist nicht erforderlich.
• Die Verschiebung des zentralen Patches führt zu stabilen Objektkonturen und bringt uns näher an eine "kostenlose" Segmentierung.
• Das Modell läuft mit 120 FPS; aktuelle Ungenauigkeiten werden durch erweitertes Training behoben (Demo: 1 Minute).
• Der Fokus liegt weiterhin auf Objekterkennung; Segmentierung ergibt sich als Nebeneffekt und führt zu starken Ergebnissen.

Einschränkungen und zukünftige Entwicklungen

Das aktuelle Modell ist ein Prototyp: In der Demo ist noch keine vollständige Objektabdeckung durch Patches erreicht. Isolierte Patches können aufgrund kurzer Trainingsdauer (1 Minute) abweichen. Verbesserungen beinhalten:

• Vollständiges Training zur Minimierung von Artefakten.
• Erweiterung der Assoziationen, um ganze Objekte abzudecken.
• Integration in COCO-Detektions-Pipelines.
• Übergang zur Segmentierung als nächster Schritt.

Die Verarbeitungsgeschwindigkeit bleibt bei 120 FPS – entscheidend für Echtzeitanwendungen. TAPe+ML nähert sich einer end-to-end-Objekterkennung ohne Gradientenabstieg oder schwerfällige Architekturen.

— Editorial Team