TAPe na COCO: 98% přesnosti s boxy

TAPe v detekci objektů na COCO: 98 % přesnosti na 2 % dat s boxy

Přístup TAPe dosáhl 98 % přesnosti na 2 % výběru COCO (asi 2400 obrázků). Počet falešných pozitivních detekcí byl snížen na 30 na 1500 obrázků. Přechod od centroidů k bounding boxům zlepšil vizuální přesnost detekce.

TAPe (Teorie aktivního vnímání) převádí obrázek na strukturované patche s předem definovanými vztahy, nahrazuje surové pixely kompaktními vektory. To umožňuje efektivní použití ML metod: shlukování, klasifikaci a detekci bez náročného samo-školícího předtrénování.

Optimalizace sběru TAPe-dat

Klíčový experiment — použití inverzních pyramid: zaměření na centrální TAPe-patch s rozšířením měřítka ke okrajům. To zvýšilo přesnost na 98 %.

Testovali jsme parametry:

• Počet prototypů na třídu (optimálně 2).
• Vyváženost pozadí a objektů (dvojnásobně více pozadí pro lepší diskriminaci).

Přebytek pozadí vede ke přeučení na pozadí, nedostatek ke ztrátě objektů.

Vyváženost prototypů a pozadí v modelu

Pro každou třídu je optimálně 2 prototypy: zajišťují rozmanitost bez přeučení. Více prototypů rozmazává shluky embeddování.

Vyváženost pozadí/objekty:

| Poměr | Přesnost | Falešné pozitivní |

|--------|----------|-------------------|

| 1:1 | 92 % | Vysoké |

| 2:1 (pozadí) | 98 % | Nízké |

| 4:1 (pozadí) | 95 % | Přeučení na pozadí |

Logicky: pozadí je méně variabilní, vyžaduje více příkladů pro spolehlivou identifikaci.

Přechod od centroidů k bounding boxům

Dřív se detekce zaměřovala na centroidy (průměrná přesnost 72 %). Nyní model vytváří obdélníky kolem objektů. Vizuální výsledky jsou nadějné, kvantitativní hodnocení pokračuje.

Experimenty s "pohledy" (skenováním):

• Pouze rohy + střed obrázku stačí pro detekci bez klasifikace.
• Texturové třídy (zebra, pianino, loď) – úspěch 93–94 % díky bohaté textuře.
• Slabé třídy: vidličky (malý rozměr), lidé (velká variabilita postojů/pohledů).

Variabilitu řešíme augmentací podle TAPe logiky.

Integrace TAPe s embeddováním

TAPe-patchy jsou přirozené tokeny pevné velikosti, na rozdíl od pixel-based přístupů. Obrázek = posloupnost patchů s předem danou strukturou vztahů.

To zjednodušuje úlohy jako iBOT: attention funguje bez globalních mechanismů a gradientního sestupu na surových datech.

Tradiční učení embeddování ve dvou krocích:

• Rozdělení prostoru (divergence vektorů).
• Konvergence pro jednu třídu.

TAPe nahrazuje oba kroky jediným tréninkem na strukturovaných objektech. Umožňuje vyjádřit TAPe operace v embeddovacím prostoru pro hybridní úlohy.

Co je důležité

• 98 % přesnosti na 2 % COCO bez klasifikace – díky inverzním pyramidám a vyváženosti pozadí/objektů.
• Bounding boxy místo centroidů: průměrná přesnost 72 %, až 94 % u texturových tříd.
• 2 prototypy na třídu + poměr pozadí:objekt 2:1 – optimální konfigurace.
• Falešné pozitivní sníženy na 30 na 1500 obrázků.
• TAPe-patchy jako tokeny zjednodušují attention bez globalních gradientů.

Celkový objem experimentů potvrzuje efektivitu TAPe pro scénáře s omezenými zdroji v počítačovém zraku.

— Editorial Team