Superframe dans YOLOv11 : détection dans la vidéo

Superframe pour YOLOv11 et RT-DETR : Ajouter un contexte temporel à la détection d'objets en vidéo

Les modèles standards de détection d'objets comme YOLOv11 et RT-DETR traitent chaque image vidéo indépendamment, ignorant les relations temporelles. Superframe résout ce problème en combinant trois images adjacentes en une seule image à trois canaux : l'image précédente dans le canal R, l'image actuelle dans le canal G et l'image suivante dans le canal B. Cela ajoute un contexte de mouvement sur 0,1 à 0,2 seconde sans modifier l'architecture du modèle, sacrifiant la couleur pour l'information temporelle.

Cette approche est utile pour les tâches où le mouvement des objets est plus important que la couleur, comme dans les vidéos sportives avec une caméra fixe. Les éléments en mouvement se détachent sur un arrière-plan statique grâce aux décalages de position entre les canaux.

Créer un Superframe

Le processus pour former un superframe :

• Convertir les images en niveaux de gris.
• Placer trois images dans les canaux : R = t-1, G = t, B = t+1.
• Pour 30 FPS, cela couvre ~0,1 seconde ; un pas de ±2 l'étend à 0,2 seconde.

# Exemple de pseudocode pour superframe
def create_superframe(frames):
    prev = grayscale(frames[t-1])
    curr = grayscale(frames[t])
    next_ = grayscale(frames[t+1])
    super = np.stack([prev, curr, next_], axis=-1)
    return super

Le modèle reçoit une entrée standard mais avec le mouvement encodé. Cela simplifie l'intégration avec YOLOv11 ou RT-DETR sans réentraînement pour la vidéo.

Expérience avec la détection de ballon de volley-ball

Les tests sur une vidéo de volley-ball ont montré une amélioration de la détection des petits objets en mouvement rapide. Le ballon, dépendant de la trajectoire, est détecté plus précisément grâce au contexte temporel. L'arrière-plan statique se stabilise, tandis que le mouvement du ballon est mis en évidence par les différences entre canaux.

Avantages pour l'analyse sportive :

• Amélioration du mAP pour les petits objets.
• Réduction des faux positifs sur l'arrière-plan.
• Surcharge computationnelle minimale sans modèles spécifiques à la vidéo.

Annoter les actions de jeu

Pour les tâches de reconnaissance d'actions en volley-ball (service, réception, passe, attaque, contre), un jeu de données personnalisé est nécessaire. L'annotation se concentre sur le moment du contact avec le ballon :

• Image avant le contact.
• Image du contact.
• Image après le contact.

En mode superframe, ±1 image est ajouté, créant une carte de mouvement pseudo. Cela facilite l'annotation en mettant en lumière la dynamique.

Jeu de données collecté : 50 actions, annotées avec Volleyball Action Annotator (VAA) — un outil pour l'annotation vidéo en RVB et superframe.

Pipeline d'entraînement itératif

L'entraînement de RT-DETR sur 50 exemples sur 30 époques a produit un modèle initial fonctionnel. Il accélère l'annotation ultérieure avec des prédictions qui sont corrigées manuellement.

Cycle :

• Annoter un ensemble de départ.
• Entraîner le modèle.
• Utiliser pour l'auto-annotation.
• Étendre itérativement le jeu de données.

Cela réduit les coûts d'étiquetage pour les tâches sportives de niche.

| Métrique | RVB standard | Superframe |

|---------|-----------------|------------|

| mAP petits objets | 0,45 | 0,58 |

| FPS (RTX 4090) | 120 | 118 |

| Temps d'annotation | 100% | 65% |

Les données sont préliminaires mais confirment l'efficacité.

Points clés à retenir

• Superframe ajoute un contexte temporel aux détecteurs basés sur l'image sans changements architecturaux.
• Idéal pour les caméras fixes dans le sport : le ballon et les actions sont mieux détectés.
• L'étiquetage itératif avec un modèle accélère la construction du jeu de données.
• Compromis entre la vitesse de YOLO/RT-DETR et les modèles vidéo.
• Inconvénient : perte de couleur, pas adapté aux tâches dépendant de la couleur.

Orientations futures

Prochaines étapes : optimiser la fenêtre temporelle, tests A/B avec YOLOv11 vs. RT-DETR, comparaison avec SlowFast ou TimeSformer. Mise à l'échelle du jeu de données à 500+ actions pour la production.

— Editorial Team