YOLOv11과 RT-DETR를 위한 슈퍼프레임: 비디오 객체 감지에 시간적 맥락 추가하기
YOLOv11과 RT-DETR 같은 표준 객체 감지 모델은 각 비디오 프레임을 독립적으로 처리하여 시간적 관계를 무시합니다. 슈퍼프레임은 이 문제를 해결하기 위해 인접한 세 프레임을 단일 3채널 이미지로 결합합니다: 이전 프레임을 R-채널에, 현재 프레임을 G-채널에, 다음 프레임을 B-채널에 배치합니다. 이는 모델 아키텍처를 변경하지 않고 0.1~0.2초 동안의 움직임 맥락을 추가하며, 색상 정보를 시간 정보로 대체합니다.
이 접근법은 색상보다 객체 움직임이 더 중요한 작업, 예를 들어 고정 카메라로 촬영된 스포츠 비디오에 유용합니다. 움직이는 요소는 채널 간 위치 변화로 인해 정적 배경과 대비되어 두드러집니다.
슈퍼프레임 생성하기
슈퍼프레임을 형성하는 과정:
- 프레임을 그레이스케일로 변환합니다.
- 세 프레임을 채널에 배치: R = t-1, G = t, B = t+1.
- 30 FPS의 경우 약 0.1초를 커버하며, ±2 단계로 확장하면 0.2초까지 커버합니다.
# 슈퍼프레임 예시 의사 코드
def create_superframe(frames):
prev = grayscale(frames[t-1])
curr = grayscale(frames[t])
next_ = grayscale(frames[t+1])
super = np.stack([prev, curr, next_], axis=-1)
return super모델은 인코딩된 움직임이 포함된 표준 입력을 받습니다. 이는 YOLOv11이나 RT-DETR과의 통합을 단순화하며, 비디오용 재학습 없이도 가능합니다.
배구 공 감지 실험
배구 비디오 테스트에서 작고 빠르게 움직이는 객체 감지가 개선되었습니다. 궤적에 의존하는 공은 시간적 맥락 덕분에 더 정확하게 감지됩니다. 정적 배경은 안정화되고, 공의 움직임은 채널 차이로 강조됩니다.
스포츠 분석을 위한 이점:
- 작은 객체에 대한 mAP 향상.
- 배경에 대한 오탐지 감소.
- 비디오 특화 모델 없이 최소한의 계산 오버헤드.
게임 액션 주석 달기
배구의 액션 인식 작업(서브, 리시브, 패스, 공격, 블로킹)을 위해 맞춤형 데이터셋이 필요합니다. 주석은 공 접촉 순간에 초점을 맞춥니다:
- 접촉 전 프레임.
- 접촉 프레임.
- 접촉 후 프레임.
슈퍼프레임 모드에서는 ±1 프레임이 추가되어 유사 움직임 맵을 생성합니다. 이는 동적 요소를 강조하여 주석 작업을 용이하게 합니다.
수집된 데이터셋: 50개 액션, Volleyball Action Annotator(VAA)를 사용하여 RGB와 슈퍼프레임에서 비디오 주석 처리.
반복적 학습 파이프라인
50개 예제로 RT-DETR을 30 에폭 동안 학습시켜 초기 작동 모델을 얻었습니다. 이는 수동으로 수정되는 예측을 통해 후속 주석 작업을 가속화합니다.
사이클:
- 시작 세트 주석 처리.
- 모델 학습.
- 자동 주석에 사용.
- 반복적으로 데이터셋 확장.
이것은 틈새 스포츠 작업에 대한 라벨링 비용을 줄입니다.
| 지표 | 표준 RGB | 슈퍼프레임 |
|---------|-----------------|------------|
| 작은 객체 mAP | 0.45 | 0.58 |
| FPS (RTX 4090) | 120 | 118 |
| 주석 시간 | 100% | 65% |
데이터는 예비적이지만 효과성을 확인합니다.
핵심 요약
- 슈퍼프레임은 아키텍처 변경 없이 이미지 기반 감지기에 시간적 맥락을 추가합니다.
- 스포츠에서 고정 카메라에 이상적: 공과 액션 감지가 개선됩니다.
- 모델을 통한 반복적 라벨링으로 데이터셋 구축 속도 향상.
- YOLO/RT-DETR 속도와 비디오 모델 간의 절충.
- 단점: 색상 손실, 색상 의존 작업에는 부적합.
향후 방향
다음 단계: 시간적 창 최적화, YOLOv11 대 RT-DETR A/B 테스트, SlowFast나 TimeSformer와 비교. 데이터셋을 500+ 액션으로 확장하여 프로덕션 준비.
— Editorial Team
아직 댓글이 없습니다.