YOLOv11 中的 Superframe：视频检测

Superframe技术：为YOLOv11和RT-DETR视频目标检测添加时序上下文

像YOLOv11和RT-DETR这样的标准目标检测模型通常独立处理视频的每一帧，忽略了帧与帧之间的时序关系。Superframe技术通过将相邻三帧图像组合成一张三通道图像来解决这个问题：前一帧放在R通道，当前帧放在G通道，后一帧放在B通道。这种方法在不改变模型架构的情况下，为检测添加了0.1-0.2秒的运动上下文信息，用色彩信息换取了时序信息。

这种技术特别适用于物体运动比颜色更重要的场景，比如固定摄像机拍摄的体育视频。由于通道间的位置偏移，运动物体在静态背景中会显得格外突出。

创建Superframe

构建Superframe的过程如下：

• 将帧转换为灰度图像
• 将三帧图像分配到不同通道：R = t-1帧，G = t帧，B = t+1帧
• 对于30FPS的视频，这覆盖约0.1秒；使用±2帧的步长可扩展到0.2秒

# Superframe创建示例代码
def create_superframe(frames):
    prev = grayscale(frames[t-1])
    curr = grayscale(frames[t])
    next_ = grayscale(frames[t+1])
    super = np.stack([prev, curr, next_], axis=-1)
    return super

模型接收的是标准输入，但其中编码了运动信息。这使得Superframe可以轻松集成到YOLOv11或RT-DETR中，无需为视频任务重新训练模型。

排球检测实验

在排球视频上的测试显示，这种方法能更好地检测小而快速移动的物体。得益于时序上下文信息，依赖轨迹的排球检测准确率更高。静态背景保持稳定，而球的运动通过通道差异被突出显示。

对体育分析的好处：

• 小物体检测的mAP提高
• 背景误报减少
• 无需视频专用模型，计算开销极小

标注比赛动作

对于排球中的动作识别任务（发球、接球、传球、进攻、拦网），需要定制数据集。标注重点放在球接触的时刻：

• 接触前一帧
• 接触时刻帧
• 接触后一帧

在Superframe模式下，添加±1帧，创建伪运动图。这通过突出动态变化来简化标注过程。

收集的数据集：50个动作，使用Volleyball Action Annotator（VAA）工具进行标注——这是一个支持RGB和Superframe模式的视频标注工具。

迭代训练流程

在50个样本上训练RT-DETR模型30个周期，得到了一个初步可用的模型。该模型通过预测结果加速后续标注，预测结果需要人工修正。

循环流程：

• 标注初始数据集
• 训练模型
• 用于自动标注
• 迭代扩展数据集

这降低了小众体育任务的标注成本。

| 指标 | 标准RGB | Superframe |

|---------|-----------------|------------|

| 小物体mAP | 0.45 | 0.58 |

| FPS（RTX 4090） | 120 | 118 |

| 标注时间 | 100% | 65% |

数据是初步的，但证实了有效性。

关键要点

• Superframe为基于图像的检测器添加时序上下文，无需架构更改
• 非常适合体育比赛中的固定摄像机：能更好地检测球和动作
• 使用模型进行迭代标注可加速数据集构建
• 在YOLO/RT-DETR速度和视频模型之间的折中方案
• 缺点：失去色彩信息，不适用于依赖颜色的任务

未来方向

下一步：优化时序窗口，对YOLOv11和RT-DETR进行A/B测试，与SlowFast或TimeSformer进行比较。将数据集扩展到500+个动作以用于生产环境。

— Editorial Team