TAPe w detekcji obiektów na COCO: 98% dokładności przy 2% danych z boxami
Podejście TAPe osiągnął 98% dokładności przy 2% próbkach COCO (ok. 2400 obrazów). Liczba fałszywych sygnałów zmniejszyła się do 30 przypadków na 1500 obrazów. Przejście od centroidów do bounding box’ów poprawiło precyzję wizualną detekcji.
TAPe (Teoria Aktywnej Percepcji) przekształca obraz w strukturalne paski z określonymi relacjami, zastępując surowe piksele skompaktowymi wektorami. Pozwala to efektywnie stosować metody ML: klasteryzację, klasyfikację i detekcję bez ciężkiego samodzielnie nadzorowanego wstępnego uczenia.
Optymalizacja zbierania danych TAPe
Kluczowy eksperyment – wykorzystanie odwróconych piramid: skupienie na centralnym pasku TAPe z rozszerzeniem skali ku krawędziom. To podniosło dokładność do 98%.
Testowane parametry:
- Liczba prototypów na klasę (optymalnie – 2).
- Równowaga między tłem a obiektami (tło powinno być 2 razy więcej dla lepszej dyskryminacji).
Zbyt dużo tła prowadzi do przeuczenia na tle, za mało – do pominięcia obiektów.
Równowaga prototypów i tła w modelu
Dla każdej klasy optymalnie 2 prototypy: zapewniają one różnorodność bez przeuczenia. Więcej prototypów rozmywa klastery wektorów embeddowania.
Równowaga tło/obiekty:
| Stosunek | Dokładność | Fałszywe sygnały |
|----------|------------|------------------|
| 1:1 | 92% | Wysokie |
| 2:1 (tło) | 98% | Niskie |
| 4:1 (tło) | 95% | Przeuczenie na tle |
Logiczne: tło jest mniej zróżnicowane i wymaga więcej przykładów do wiarygodnej identyfikacji.
Przejście od centroidów do bounding box’ów
Wcześniej detekcja skupiała się na centroidach (średnia dokładność 72%). Teraz model tworzy prostokąty wokół obiektów. Wyniki wizualne są obiecujące, ocena ilościowa trwa.
Eksperymenty z "patrzeniem" (skanowaniem):
- Tylko rogi + środek obrazu wystarcza do detekcji bez klasyfikacji.
- Klasy tekstury (zebra, fortepian, łódź) – sukces 93–94% dzięki bogatej teksturze.
- Słabe klasy: widelce (mały rozmiar), ludzie (duża zmienność pozycji i kątów widzenia).
Zmienność rozwiązana przez augmentację według logiki TAPe.
Integracja TAPe z embeddowaniem
Paski TAPe to naturalne tokeny stałego rozmiaru, w przeciwieństwie do podejść opartych na pikselach. Obraz = sekwencja pasków z zadaną strukturą relacji.
Uproszcza to zadania typu iBOT: uwaga działa bez mechanizmów globalnych i spadku gradientowego na surowych danych.
Tradycyjne uczenie embeddowań w dwóch etapach:
- Rozdzielenie przestrzeni (dywergencja wektorów).
- Zbieżność dla jednej klasy.
TAPe zastępuje oba etapy jednym treningiem na obiektach strukturalnych. Pozwala wyrazić operacje TAPe w przestrzeni embeddowań dla zadań hybrydowych.
Co ważne
- 98% dokładności przy 2% COCO bez klasyfikacji – dzięki odwróconym piramidom i równowadze tło/obiekty.
- Boxy zamiast centroidów: średnia dokładność 72%, do 94% u klas tekstury.
- 2 prototypy na klasę + stosunek tło:obiekt 2:1 – optymalna konfiguracja.
- Fałszywe sygnały zmniejszone do 30 na 1500 obrazów.
- Paski TAPe jako tokeny upraszczają uwagę bez globalnych gradientów.
Całkowity zakres eksperymentów potwierdza skuteczność TAPe w scenariuszach ograniczonych zasobami w computer vision.
— Editorial Team
Brak komentarzy.