TAPe bez transformátorů: asociace patchů

TAPe bez transformátorů: lokální asociace patchů a první kroky směrem ke segmentaci na COCO

Algoritmy TAPe generují strukturované prvky z obrázku, nahrazují surové pixely kompaktními vektorovými reprezentacemi. Tyto údaje mají vestavěnou stabilitu a spojitost, což eliminuje potřebu globálního attentionu u transformátorů. Výsledkem je snížení počtu parametrů pro embeddování o řád ve srovnání s analogickými modely jako YOLO nebo ViT.

Přechod k lokálním asociacím patchů umožnil tvořit skupiny libovolné velikosti pro izolaci objektů. Experimenty na COCO ukazují tvorbu koherentních skupin patchů příslušných jednomu objektu bez explicitního trénování segmentace.

Lokální asociace: mechanismus a vlastnosti

Každý patch TAPe je asociován s omezeným lokálním okolím. Asociace vznikají ze dvou zdrojů:

• Podobnost podle embedování: patchy s podobnými znaky (např. textura kůže) se seskupují během primárního trénování.
• Příslušnost k objektu: během trénování detekce jsou patchy uvnitř jednoho objektu (např. "člověk") propojeny do shluku.

Lokalita je určena kontextem: při rozšíření asociací mimo přirozenou hranici (např. přechod od obličeje ke krku) se struktura poruší. To zajišťuje odolnost vůči změnám patchů bez ztráty koherence.

Jemné řízení asociací (přesná úprava vazeb) řeší problémy při úpravách patchů pro downstream úlohy.

Vizuální demonstrace asociací na příkladu obličeje

Na obrázku z COCO je centrální patch (žlutý) na obličeji člověka asociován s oranžovými patchy v lokální oblasti. Všechny odpovídají semanticky jednotnému regionu – obličeji.

Klasterizace těchto asociací přirozeně zakresluje kontury obličeje. Hrany jsou definovány kontrastními patchy: oblečení funguje jako přirozená hranice objektu "člověk", odděluje kůži od pozadí.

Posunutí centrálního patchu zachovává asociativní klaster s minimálními změnami díky asymetrickým vazbám TAPe. Při opuštění původní zóny se klustery překrývají, ale kontur objektu zůstává stabilní – to je základ segmentace bez dedicated trénování.

Důležité body

• Po odstranění transformátorů byl počet parametrů embedování snížen o řád díky vestavěné struktuře dat TAPe.
• Lokální asociace patchů na COCO tvoří objektové shluky pomocí podobnosti a příslušnosti bez globálního attentionu.
• Posunutí centrálního patchu vytváří stabilní kontury objektů, přibližuje tzv. "bezplatnou" segmentaci.
• Model dosahuje 120 FPS; současné nedostatky jsou odstraňovány prodlouženým trénováním (demo – 1 minuta).
• Zaměření je na detekci objektů; segmentace jako vedlejší produkt vede ke konečným výsledkům.

Omezení a směry vývoje

Současný model ukazuje prototyp: plné pokrytí objektu patchy je stále nerealizované v demo. Samostatné patchy mohou odchylkovat kvůli krátkému trénování (1 minuta). Zlepšení zahrnují:

• Kompletní trénování pro minimalizaci artefaktů.
• Rozšíření asociací až na celý objekt.
• Integrace do pipeline detekce na COCO.
• Přechod k segmentaci jako dalšího kroku.

Rychlost zpracování – 120 snímků za sekundu – se zachovává, což je kritické pro aplikace v reálném čase. TAPe+ML se posouvá k end-to-end detekci objektů bez gradientního sestupu a těžkých architektur.

— Editorial Team