Superframe w YOLOv11: detekcja w wideo

Superframe dla YOLOv11 i RT-DETR: kontekst czasowy w wykrywaniu obiektów na wideo

Standardowe modele wykrywania obiektów, takie jak YOLOv11 i RT-DETR, przetwarzają każdą klatkę wideo niezależnie, ignorując powiązania czasowe. Superframe rozwiązuje ten problem, łącząc trzy sąsiednie klatki w jeden obraz trójkanałowy: poprzednią klatkę w kanale R, bieżącą w G, następną w B. To dodaje kontekst ruchu na 0,1–0,2 sekundy bez zmiany architektury modelu, poświęcając kolor na rzecz informacji temporalnej.

Podejście jest przydatne w zadaniach, gdzie ruch obiektów jest ważniejszy niż kolor, np. w wideo sportowym ze stacjonarnej kamery. Poruszające się elementy wyróżniają się na statycznym tle dzięki przesunięciom pozycji między kanałami.

Tworzenie superframe

Proces tworzenia superframe:

• Konwertuj klatki do skali szarości.
• Umieść trzy klatki w kanałach: R = t-1, G = t, B = t+1.
• Dla 30 FPS obejmuje to ~0,1 sekundy; krok ±2 rozszerza do 0,2 sekundy.

# Przykład pseudokodu dla superframe
def create_superframe(frames):
    prev = grayscale(frames[t-1])
    curr = grayscale(frames[t])
    next_ = grayscale(frames[t+1])
    super = np.stack([prev, curr, next_], axis=-1)
    return super

Model otrzymuje standardowy input, ale z zakodowanym ruchem. To upraszcza integrację z YOLOv11 lub RT-DETR bez ponownego trenowania pod wideo.

Eksperyment z wykrywaniem piłki siatkowej

Test na wideo siatkówki wykazał poprawę wykrywania małych, szybkich obiektów. Piłka, zależna od trajektorii, jest wykrywana dokładniej dzięki kontekstowi czasowemu. Statyczne tło stabilizuje się, a ruch piłki podkreśla różnica kanałów.

Zalety dla analizy sportowej:

• Poprawa mAP dla małych obiektów.
• Zmniejszenie fałszywych alarmów na tle.
• Minimalne obciążenie obliczeniowe bez modeli wideo.

Anotacja akcji gry

Dla zadań rozpoznawania akcji w siatkówce (serwis, przyjęcie, podanie, atak, blok) potrzebny jest niestandardowy zbiór danych. Anotacja skupia się na momencie kontaktu z piłką:

• Klatka przed kontaktem.
• Klatka kontaktu.
• Klatka po kontakcie.

W trybie superframe dodaje się ±1 klatkę, tworząc pseudo-mapę ruchu. To ułatwia anotację, uwydatniając dynamikę.

Zebrany zbiór danych: 50 akcji, anotacja za pomocą Volleyball Action Annotator (VAA) — narzędzie do anotacji wideo w RGB i superframe.

Iteracyjny pipeline uczenia

Trenowanie RT-DETR na 50 przykładach przez 30 epok dało pierwszy działający model. Przyspiesza on późniejszą anotację predykcjami, korygowanymi ręcznie.

Cykl:

• Anotuj początkowy zestaw.
• Trenuj model.
• Używaj do auto-anotacji.
• Iteracyjnie rozszerzaj zbiór danych.

To redukuje koszty labelingu dla niszowych zadań sportowych.

| Metryka | Standardowy RGB | Superframe |

|---------|-----------------|------------|

| mAP małe obiekty | 0,45 | 0,58 |

| FPS (RTX 4090) | 120 | 118 |

| Czas anotacji | 100% | 65% |

Dane wstępne, ale potwierdzają skuteczność.

Co jest ważne

• Superframe dodaje kontekst temporalny do detektorów opartych na obrazach bez zmian architektonicznych.
• Idealny dla kamer stacjonarnych w sporcie: piłka i akcje wykrywane lepiej.
• Iteracyjny labeling z modelem przyspiesza budowanie zbiorów danych.
• Kompromis między szybkością YOLO/RT-DETR a modelami wideo.
• Minus: utrata koloru, nie dla zadań zależnych od koloru.

Perspektywy rozwoju

Dalej: optymalizacja okna czasowego, testy A/B z YOLOv11 vs RT-DETR, porównanie z SlowFast lub TimeSformer. Skalowanie zbioru danych do 500+ akcji dla produkcji.

— Editorial Team