Superframe en YOLOv11: detección en vídeo

Superframe para YOLOv11 y RT-DETR: Añadiendo contexto temporal a la detección de objetos en video

Los modelos estándar de detección de objetos como YOLOv11 y RT-DETR procesan cada fotograma de video de forma independiente, ignorando las relaciones temporales. Superframe aborda esto combinando tres fotogramas adyacentes en una sola imagen de tres canales: el fotograma anterior en el canal R, el actual en el G y el siguiente en el B. Esto añade contexto de movimiento durante 0,1–0,2 segundos sin alterar la arquitectura del modelo, sacrificando el color por información temporal.

Este enfoque es útil para tareas donde el movimiento del objeto es más importante que el color, como en videos deportivos con cámara fija. Los elementos en movimiento se destacan contra un fondo estático debido a los desplazamientos de posición entre canales.

Creación de un Superframe

El proceso para formar un superframe:

• Convertir los fotogramas a escala de grises.
• Colocar tres fotogramas en canales: R = t-1, G = t, B = t+1.
• Para 30 FPS, esto cubre ~0,1 segundos; un paso de ±2 lo extiende a 0,2 segundos.

# Ejemplo de pseudocódigo para superframe
def create_superframe(frames):
    prev = grayscale(frames[t-1])
    curr = grayscale(frames[t])
    next_ = grayscale(frames[t+1])
    super = np.stack([prev, curr, next_], axis=-1)
    return super

El modelo recibe entrada estándar pero con movimiento codificado. Esto simplifica la integración con YOLOv11 o RT-DETR sin necesidad de reentrenamiento para video.

Experimento con detección de balón de voleibol

Las pruebas en video de voleibol mostraron una mejora en la detección de objetos pequeños y de movimiento rápido. El balón, dependiendo de la trayectoria, se detecta con mayor precisión gracias al contexto temporal. El fondo estático se estabiliza, mientras que el movimiento del balón se resalta por las diferencias entre canales.

Beneficios para el análisis deportivo:

• Mejora del mAP para objetos pequeños.
• Reducción de falsos positivos en el fondo.
• Sobrecarga computacional mínima sin modelos específicos para video.

Anotación de acciones de juego

Para tareas de reconocimiento de acciones en voleibol (saque, recepción, pase, ataque, bloqueo), se necesita un conjunto de datos personalizado. La anotación se centra en el momento del contacto con el balón:

• Fotograma antes del contacto.
• Fotograma del contacto.
• Fotograma después del contacto.

En modo superframe, se añaden fotogramas ±1, creando un mapa de movimiento pseudo. Esto facilita la anotación al resaltar la dinámica.

Conjunto de datos recopilado: 50 acciones, anotadas usando Volleyball Action Annotator (VAA)—una herramienta para anotación de video en RGB y superframe.

Pipeline de entrenamiento iterativo

Entrenar RT-DETR con 50 ejemplos durante 30 épocas produjo un modelo inicial funcional. Acelera la anotación posterior con predicciones que se corrigen manualmente.

Ciclo:

• Anotar un conjunto inicial.
• Entrenar el modelo.
• Usar para autoanotación.
• Expandir el conjunto de datos iterativamente.

Esto reduce los costes de etiquetado para tareas deportivas de nicho.

| Métrica | RGB estándar | Superframe |

|---------|-----------------|------------|

| mAP objetos pequeños | 0,45 | 0,58 |

| FPS (RTX 4090) | 120 | 118 |

| Tiempo de anotación | 100% | 65% |

Los datos son preliminares pero confirman la efectividad.

Conclusiones clave

• Superframe añade contexto temporal a detectores basados en imagen sin cambios arquitectónicos.
• Ideal para cámaras fijas en deportes: el balón y las acciones se detectan mejor.
• El etiquetado iterativo con un modelo acelera la construcción de conjuntos de datos.
• Compromiso entre la velocidad de YOLO/RT-DETR y los modelos de video.
• Desventaja: pérdida de color, no apto para tareas dependientes del color.

Direcciones futuras

Próximos pasos: optimizar la ventana temporal, pruebas A/B con YOLOv11 vs. RT-DETR, comparación con SlowFast o TimeSformer. Escalar el conjunto de datos a 500+ acciones para producción.

— Editorial Team