TAPe embeddingy: 74 % na COCO bez transformerů

TAPe-deník, den 6: syntetická data pro embedování a odstranění transformátorů

Přístup TAPe dosáhl přesnosti klasifikace 74 % na 5 tisících validacních obrázcích COCO použitím zcela syntetických dat. Embedování je vytvářeno na základě úlohy podobné iBOT bez použití surových pixelů. Rekonstrukce patchů dosáhla 82 %, což umožňuje efektivní řešení úloh počítačového vidění.

TAPe rozděluje obrázek na stabilní znaky s předem definovanými vztahy. To vytváří kompaktní vektorové reprezentace, na kterých jsou postaveny úlohy self-supervised a klasifikace do 80 tříd COCO.

Dvě klíčové úlohy učení

Model se učí paralelně na dvou úlohách:

• Vytváření embedování: na syntetických TAPe-datech generovaných podle interních pravidel. Syntetika řeší problém nedostatku dat, na rozdíl od pixelových generativních modelů, které nevytvářejí realistické obrázky s objekty.
• Klasifikace: rozpoznání patchů (jednoho nebo více) jako jedné z 80 tříd COCO.

Syntetická data jsou generována bez ručního označování, přičemž se zachovává struktura závislostí.

Kompaktní dataset COCO pro rychlou konvergenci

Učení probíhá na 5 tisících validacních obrázcích COCO: 3,5 tisíc pro trénink a 1,5 tisíc pro validaci. Validacní část je složitější než tréninková (100+ tisíc obrázků) a zajišťuje kompletní pokrytí tříd.

TAPe umožňuje rychlou konvergenci i na malých datech díky extrahované struktuře. Na rozdíl od YOLO, které vyžaduje ImageNet pro backbone a 100 tisíc+ obrázků COCO, TAPe pracuje opačně: od malého datasetu k většímu.

Výsledky: 82 % rekonstrukce a 74 % klasifikace

• Rekonstrukce patchů: 82 % přesnost podmíněné rekonstrukce – dostatečná úroveň pro downstream úlohy.
• Klasifikace: 74 % top-1 přesnost na 80 třídách COCO, blízko SOTA (79 %).

Jde o první iteraci; potenciál ke zlepšení je velký díky optimalizaci.

Problémy transformátorů v TAPe-architektuře

Současná architektura používá standardní transformátory pro vztahy mezi patchy – dočasné řešení pro experimenty. Hlavní nevýhody:

• Zkrácení dat: attention (tři vážené matice QKV) nucuje interaktivní závislosti, což ničí předem existující struktury v TAPe.
• Pomalá konvergence: na plném COCO vyžaduje významný čas.
• Gradientní sestup: nutný pro transformátory, což zkomplikovává proces (RL jako alternativa není optimální).

Transformátory jsou vhodné pro ověření škály, ale ne pro konečnou TAPe-architekturu.

Přechod k TAPe-přizpůsobeným mechanismům

V TAPe jsou vztahy mezi patchy již zavedeny, attention je proto nadbytečný. Další kroky:

• Nahrazení transformátorů nativními TAPe-operacemi pro zachování struktury dat.
• Optimalizace bez gradientů, stejně jako v předchozích dnech deníku.
• Škálování na plný COCO s zachováním efektivity (115 tisíc parametrů vs 2 miliony+ u YOLO).

Co je důležité

• 74 % přesnost na 5 tisících COCO val bez předtrénování na ImageNet.
• Syntetická TAPe-data eliminují potřebu pixelového označování.
• Rekonstrukce 82 % potvrzuje kvalitu embedování.
• Odstranění transformátorů: zaměření na struktury TAPe pro zabránění zkreslení.
• Efektivita: konvergence na malých datech, nízké výpočetní nároky.

— Editorial Team