TAPe bez transformatorów: asocjacje patchy

TAPe bez transformatorów: lokalne asocjacje pasków i pierwsze znamiona segmentacji na COCO

Alorytmy TAPe generują strukturalne elementy z obrazu, zastępując surowe piksele skompaktowymi reprezentacjami wektorowymi. Te dane charakteryzują się wbudowaną stabilnością i spójnością, co eliminuje potrzebę globalnego attention w transformatorach. W rezultacie liczba parametrów do embeddowania zmniejszyła się o kilka rzędów wielkości w porównaniu do rozwiązań typu YOLO czy ViT.

Przejście do lokalnych asocjacji pasków pozwoliło tworzyć grupy dowolnego rozmiaru do wyodrębniania obiektów. Eksperymenty na zbiorze COCO pokazują powstawanie spójnych grup pasków przypisanych do jednego obiektu, bez jawnej nauki segmentacji.

Lokalne asocjacje: mechanizm i cechy

Każdy pasek TAPe jest powiązany z ograniczonym środowiskiem lokalnym. Asocjacje powstają z dwóch źródeł:

• Podobieństwo w embeddowaniach: paski o podobnych cechach (np. tekstura skóry) grupowane są już na etapie początkowego uczenia.
• Przynależność do obiektu: podczas treningu do detekcji paski wewnątrz jednego obiektu (np. "człowiek") łączą się w klastery.

Lokalność wynika z kontekstu: gdy asocjacje rozszerzają się poza naturalne granice (np. przejście od twarzy do szyi), struktura ulega zakłóceniu. Zapewnia to odporność na zmiany pasków bez utraty spójności.

Cienka kontrola asocjacji (precyzyjne dopasowanie połączeń) rozwiązuje problemy przy modyfikacjach pasków dla zadań downstreamowych.

Wizualizacja asocjacji na przykładzie twarzy

Na zdjęciu z COCO centralny pasek (żółty) na twarzy człowieka jest powiązany z pomarańczowymi paszkami w obszarze lokalnym. Wszystkie one odpowiadają jednemu semantycznie związanemu regionowi — twarzy.

Klasteryzacja takich asocjacji naturalnie wyznacza kontur twarzy. Granice są określone przez kontrastowe paski: ubranie działa jako naturalna granica obiektu "człowiek", oddzielając skórę od tła.

Przesunięcie centralnego paska zachowuje asocjacyjny klaster z minimalnymi zmianami dzięki niestandardowym połączeniom TAPe. Przy wyjściu poza pierwotny obszar klastery się przecinają, ale kontur obiektu pozostaje stabilny — to początek segmentacji bez dedykowanego uczenia.

Co ważne

• Liczba parametrów embeddowania zmniejszyła się o kilka rzędów wielkości po rezygnacji z transformatorów dzięki wbudowanej strukturze danych TAPe.
• Lokalne asocjacje pasków tworzą klastery obiektów na COCO, wykorzystując podobieństwo i przynależność bez globalnego attention.
• Przesunięcie centralnego paska daje stabilne kontury obiektów, zbliżając się do "bezpłatnej" segmentacji.
• Model osiąga 120 FPS; aktualne niedoskonałości są usuwane przez dłuższy trening (demo — 1 minuta).
• Skupienie na detekcji obiektów; segmentacja jako efekt uboczny prowadzi do końcowych wyników.

Ograniczenia i kierunki rozwoju

Obecna wersja modelu to prototyp: pełne pokrycie obiektu paszkami jeszcze nie zostało zrealizowane w demo. Niektóre paski mogą się odchylać z powodu krótkiego treningu (1 minuta). Ulepszenia obejmują:

• Pełny trening do minimalizacji artefaktów.
• Rozszerzenie asocjacji do pełnego obiektu.
• Integracja do potoku detekcji na COCO.
• Przejście do segmentacji jako kolejnego kroku.

Prędkość przetwarzania — 120 klatek na sekundę — się utrzymuje, co jest kluczowe dla aplikacji czasu rzeczywistego. TAPe+ML rozwija się w kierunku end-to-end detekcji obiektów bez gradientu i ciężkich architektur.

— Editorial Team