TAPe-dziennik, dzień 6: dane syntetyczne do embeddowań i rezygnacja z transformatorów
Podejście TAPe osiągnął 74% dokładności klasyfikacji na 5 tys. obrazach walidacyjnych COCO przy użyciu wyłącznie danych syntetycznych. Embeddingi są generowane na podstawie zadania podobnego do iBOT bez bezpośredniego wykorzystania surowych pikseli. Rekonstrukcja fragmentów osiągnęła 82%, co pozwala skutecznie rozwiązywać zadania wizji komputerowej.
TAPe dzieli obraz na stabilne cechy z zadanymi zależnościami. Pozwala to na kompaktowe reprezentacje wektorowe, na których budowane są zadania self-supervised oraz klasyfikacja według 80 klas COCO.
Dwie kluczowe zadania uczenia
Model jest uczony równocześnie na dwóch zadaniach:
- Generowanie embeddingów: na syntetycznych danych TAPe generowanych zgodnie z wewnętrznymi zasadami. Syntetyka rozwiązuje problem niewystarczającej ilości danych, w przeciwieństwie do modeli generatywnych opartych na pikselach, które nie tworzą realistycznych obrazów z konturami obiektów.
- Klasyfikacja: rozpoznawanie fragmentów (jednego lub kilku) jako jednej z 80 klas COCO.
Dane syntetyczne są generowane bez ręcznej etykietowania, zachowując strukturę zależności.
Kompaktowy zestaw danych COCO dla szybkiej zbieżności
Uczenie prowadzone jest na 5 tys. obrazach walidacyjnych COCO: 3,5 tys. do treningu, 1,5 tys. do walidacji. Część walidacyjna jest trudniejsza niż treningowa (100+ tys. obrazów) i zapewnia pełne pokrycie klas.
TAPe umożliwia zbieżność nawet przy małych ilościach danych dzięki wyekstrahowanej strukturze. W przeciwieństwie do YOLO, która wymaga ImageNet do backbonea i ponad 100 tys. obrazów COCO, TAPe działa w odwrotnej kolejności: od małego zbioru danych do dużego.
Wyniki: 82% rekonstrukcji i 74% klasyfikacji
- Rekonstrukcja fragmentów: 82% dokładności warunkowej – wystarczający poziom dla zadań downstream.
- Klasyfikacja: 74% accuracy top-1 na 80 klasach COCO, blisko SOTA (79%).
To pierwszy przebieg; potencjał poprawy jest wysoki dzięki optymalizacji.
Problemy transformatorów w architekturze TAPe
Obecna architektura używa standardowych transformatorów do połączeń między fragmentami – tymczasowe rozwiązanie do eksperymentów. Główne wady:
- Zniekształcanie danych: attention (trzy macierze wag QKV) narzuca interaktywne zależności, niszcząc istniejące już w TAPe.
- Wolna zbieżność: na pełnym COCO wymaga znacznie więcej czasu.
- Spadek gradientów: konieczny dla transformatorów, utrudnia proces (RL jako alternatywa nie jest optymalna).
Transformatory są odpowiednie do testowania skalowania, ale nie do końcowej architektury TAPe.
Przejście do mechanizmów dopasowanych do TAPe
W TAPe zależności fragmentów są z góry określone, więc attention jest nadmiarowy. Kolejne kroki:
- Zastąpienie transformatorów natywnymi operacjami TAPe w celu zachowania struktury danych.
- Optymalizacja bez gradientów, jak w poprzednich dniach dziennika.
- Skalowanie na cały zestaw COCO z zachowaniem efektywności (115k parametrów vs 2M+ u YOLO).
Co jest ważne
- 74% dokładności na 5k obrazach COCO val bez wstępnego trenowania na ImageNet.
- Dane syntetyczne TAPe eliminują potrzebę etykietowania pikselowego.
- Rekonstrukcja 82% potwierdza jakość embeddingów.
- Rezygnacja z transformatorów: skupienie się na strukturach TAPe, aby uniknąć zniekształceń.
- Efektywność: zbieżność na małych zbiorach danych, niskie koszty obliczeniowe.
— Editorial Team
Brak komentarzy.