Superframe v YOLOv11: detekce ve videu

Superframe pro YOLOv11 a RT-DETR: časový kontext v detekci objektů ve videu

Standardní modely pro detekci objektů, jako jsou YOLOv11 a RT-DETR, zpracovávají každý snímek videa nezávisle a ignorují časové souvislosti. Superframe tento problém řeší spojením tří sousedních snímků do jednoho tříkanálového obrazu: předchozí snímek v R-kanálu, aktuální v G a následující v B. Tím se přidává kontext pohybu na 0,1–0,2 sekundy bez změny architektury modelu, obětováním barvy ve prospěch časové informace.

Tento přístup je užitečný pro úlohy, kde je pohyb objektů důležitější než barva, například ve sportovních videích se statickou kamerou. Pohybující se prvky se zvýrazní na statickém pozadí díky posunům pozic mezi kanály.

Tvorba superframe

Proces vytváření superframe:

• Převést snímky do stupňů šedi.
• Umístit tři snímky do kanálů: R = t-1, G = t, B = t+1.
• Pro 30 FPS pokryje ~0,1 sekundy; krok ±2 rozšiřuje na 0,2 sekundy.

# Příklad pseudokódu pro superframe
def create_superframe(frames):
    prev = grayscale(frames[t-1])
    curr = grayscale(frames[t])
    next_ = grayscale(frames[t+1])
    super = np.stack([prev, curr, next_], axis=-1)
    return super

Model přijímá standardní vstup, ale s kódovaným pohybem. To zjednodušuje integraci s YOLOv11 nebo RT-DETR bez přetrénování pro video.

Experiment s detekcí volejbalového míče

Test na videu volejbalu ukázal zlepšení detekce malých rychlých objektů. Míč, závislý na trajektorii, je detekován přesněji díky časovému kontextu. Statické pozadí se stabilizuje a pohyb míče je zdůrazněn rozdílem kanálů.

Výhody pro sportovní analýzu:

• Zlepšení mAP pro malé objekty.
• Snížení falešných poplachů na pozadí.
• Minimální výpočetní režie bez video-modelů.

Anotace herních akcí

Pro úlohy rozpoznávání akcí ve volejbale (podání, příjem, přihrávka, útok, blok) je potřeba vlastní dataset. Anotace se zaměřuje na okamžik dotyku míče:

• Snímek před dotykem.
• Snímek dotyku.
• Snímek po dotyku.

V režimu superframe se přidávají ±1 snímek, čímž vzniká pseudo-mapa pohybu. To usnadňuje anotaci zvýrazněním dynamiky.

Shromážděný dataset: 50 akcí, anotace pomocí Volleyball Action Annotator (VAA) – nástroj pro videoanotaci v RGB a superframe.

Iterativní pipeline učení

Trénování RT-DETR na 50 příkladech po 30 epochách dalo první funkční model. Ten urychluje následnou anotaci predikcemi, které se ručně upravují.

Cyklus:

• Anotovat startovní sadu.
• Trénovat model.
• Použít pro autoanotaci.
• Iterativně rozšiřovat dataset.

To snižuje náklady na označování pro úzké sportovní úlohy.

| Metrika | Standardní RGB | Superframe |

|---------|-----------------|------------|

| mAP malé objekty | 0,45 | 0,58 |

| FPS (RTX 4090) | 120 | 118 |

| Čas anotace | 100% | 65% |

Data jsou předběžná, ale potvrzují efektivitu.

Co je důležité

• Superframe přidává časový kontext do detektorů založených na obrazech bez architektonických změn.
• Ideální pro statické kamery ve sportu: míč a akce se detekují lépe.
• Iterativní označování s modelem urychluje budování datasetu.
• Kompromis mezi rychlostí YOLO/RT-DETR a video-modely.
• Nevýhoda: ztráta barvy, nevhodné pro úlohy závislé na barvě.

Perspektivy vývoje

Dále: optimalizace časového okna, A/B testy s YOLOv11 vs RT-DETR, srovnání se SlowFast nebo TimeSformer. Škálování datasetu na 500+ akcí pro produkci.

— Editorial Team