Superframe in YOLOv11: Erkennung in Video

Superframe für YOLOv11 und RT-DETR: Temporalen Kontext zur Videoobjekterkennung hinzufügen

Standard-Objekterkennungsmodelle wie YOLOv11 und RT-DETR verarbeiten jedes Videobild unabhängig und ignorieren zeitliche Zusammenhänge. Superframe löst dies, indem drei aufeinanderfolgende Bilder zu einem einzigen dreikanaligen Bild kombiniert werden: das vorherige Bild im R-Kanal, das aktuelle im G-Kanal und das nächste im B-Kanal. Dies fügt Bewegungskontext über 0,1–0,2 Sekunden hinzu, ohne die Modellarchitektur zu ändern, wobei Farbe gegen temporale Information eingetauscht wird.

Dieser Ansatz ist nützlich für Aufgaben, bei denen Objektbewegung wichtiger ist als Farbe, wie etwa in Sportvideos mit stationärer Kamera. Bewegte Elemente heben sich durch Positionsverschiebungen zwischen den Kanälen vom statischen Hintergrund ab.

Erstellen eines Superframes

Der Prozess zur Bildung eines Superframes:

• Bilder in Graustufen umwandeln.
• Drei Bilder in Kanäle platzieren: R = t-1, G = t, B = t+1.
• Bei 30 FPS deckt dies ~0,1 Sekunden ab; ein Schritt von ±2 erweitert ihn auf 0,2 Sekunden.

# Beispiel-Pseudocode für Superframe
def create_superframe(frames):
    prev = grayscale(frames[t-1])
    curr = grayscale(frames[t])
    next_ = grayscale(frames[t+1])
    super = np.stack([prev, curr, next_], axis=-1)
    return super

Das Modell erhält Standardeingaben, jedoch mit kodierter Bewegung. Dies vereinfacht die Integration mit YOLOv11 oder RT-DETR ohne Neu-Training für Video.

Experiment zur Volleyball-Erkennung

Tests mit Volleyballvideos zeigten verbesserte Erkennung kleiner, schnell bewegter Objekte. Der Ball, abhängig von der Flugbahn, wird dank temporalen Kontexts genauer erkannt. Der statische Hintergrund stabilisiert sich, während Ballbewegung durch Kanalunterschiede hervorgehoben wird.

Vorteile für Sportanalysen:

• Verbesserter mAP für kleine Objekte.
• Reduzierte Falsch-Positiv-Ergebnisse im Hintergrund.
• Minimaler Rechenaufwand ohne videospezifische Modelle.

Annotation von Spielaktionen

Für Aktionserkennungsaufgaben im Volleyball (Aufschlag, Annahme, Zuspiel, Angriff, Block) ist ein benutzerdefinierter Datensatz erforderlich. Die Annotation konzentriert sich auf den Moment des Ballkontakts:

• Bild vor dem Kontakt.
• Bild des Kontakts.
• Bild nach dem Kontakt.

Im Superframe-Modus werden ±1 Bilder hinzugefügt, wodurch eine Pseudo-Bewegungskarte entsteht. Dies erleichtert die Annotation durch Hervorhebung der Dynamik.

Gesammelter Datensatz: 50 Aktionen, annotiert mit Volleyball Action Annotator (VAA) – einem Tool für Videoannotation in RGB und Superframe.

Iterative Trainingspipeline

Das Training von RT-DETR mit 50 Beispielen über 30 Epochen ergab ein anfänglich funktionierendes Modell. Es beschleunigt nachfolgende Annotation mit Vorhersagen, die manuell korrigiert werden.

Zyklus:

• Starter-Datensatz annotieren.
• Modell trainieren.
• Für Auto-Annotation nutzen.
• Datensatz iterativ erweitern.

Dies reduziert Labeling-Kosten für Nischen-Sportaufgaben.

| Metrik | Standard RGB | Superframe |

|---------|-----------------|------------|

| mAP kleine Objekte | 0,45 | 0,58 |

| FPS (RTX 4090) | 120 | 118 |

| Annotationszeit | 100% | 65% |

Daten sind vorläufig, bestätigen aber die Wirksamkeit.

Wichtige Erkenntnisse

• Superframe fügt bildbasierten Detektoren temporalen Kontext ohne Architekturänderungen hinzu.
• Ideal für stationäre Kameras im Sport: Ball und Aktionen werden besser erkannt.
• Iteratives Labeling mit einem Modell beschleunigt den Datensatzaufbau.
• Kompromiss zwischen YOLO/RT-DETR-Geschwindigkeit und Videomodellen.
• Nachteil: Verlust von Farbe, nicht geeignet für farbabhängige Aufgaben.

Zukünftige Richtungen

Nächste Schritte: Optimierung des temporalen Fensters, A/B-Tests mit YOLOv11 vs. RT-DETR, Vergleich mit SlowFast oder TimeSformer. Skalierung des Datensatzes auf 500+ Aktionen für den Produktionseinsatz.

— Editorial Team