COCO에서 TAPe: 박스를 사용한 98% 정확도

TAPe, COCO 데이터셋 2% 라벨링으로 98% 객체 탐지 정확도 달성

TAPe 접근법은 COCO 데이터셋의 단 2%만(약 2,400장의 이미지)을 사용해 98%의 정확도를 달성했다. 오류 양성률은 1,500장당 30건으로 감소했으며, 중심점에서 경계 박스로 전환하는 것만으로 시각적 탐지 정밀도가 크게 향상됐다.

TAPe(주동 인지 이론)는 원시 픽셀 대신 구조화된 패치와 명확한 관계를 갖는 이미지를 변환한다. 이를 통해 클러스터링, 분류, 탐지 등 머신러닝 기법을 무거운 자기지도 학습 전처리 없이 효율적으로 적용할 수 있다.

TAPe 데이터 수집 최적화

핵심 실험에서는 역방향 피라미드를 활용: 중심부의 TAPe 패치에 집중하면서 이미지 가장자리로 갈수록 스케일을 확장했다. 이로 인해 정확도가 98%까지 상승했다.

검토된 파라미터:

• 클래스당 프로토타입 수 (최적: 2개)
• 배경과 객체 패치의 균형 (객체보다 배경 패치를 두 배 이상 설정하면 구분력 향상)

배경 패치가 지나치게 많으면 배경에 과적합되며, 너무 적으면 객체를 놓칠 수 있다.

모델 내 프로토타입과 배경 균형

각 클래스에 대해 두 개의 프로토타입이 최적이다. 다양성을 제공하면서도 과적합을 막는다. 더 많은 프로토타입은 임베딩 클러스터를 흐리게 만든다.

배경 대 객체 비율:

| 비율 | 정확도 | 오류 양성률 |

|------|--------|-------------|

| 1:1 | 92% | 높음 |

| 2:1 (배경 우선) | 98% | 낮음 |

| 4:1 (배경 우선) | 95% | 배경 과적합 |

이유는 명확하다: 배경은 변동성이 작아 신뢰할 수 있는 식별을 위해 더 많은 예시가 필요하다.

중심점에서 경계 박스로 전환

이전 탐지 방식은 중심점(평균 정확도: 72%)에 초점을 맞췄다. 현재는 객체 주위에 경계 박스를 생성한다. 시각적 결과는 매우 긍정적이며, 정량적 평가는 계속 진행 중이다.

"뷰" 실험(스캔):

• 이미지의 모서리와 중심만으로 분류 없이 탐지 가능.
• 질감이 풍부한 클래스(점박이, 피아노, 보트)는 93~94% 성공률 달성.
• 약한 클래스: 포크(작은 크기), 사람(자세/시점 변화 큼).

변동성 문제는 TAPe 논리를 기반으로 한 증강 기법으로 해결된다.

TAPe와 임베딩 통합

TAPe 패치는 픽셀 기반 방법과 달리 자연스럽고 고정된 크기의 토큰처럼 작동한다. 이미지는 사전 정의된 구조적 관계를 가진 패치 시퀀스로 변환된다.

이는 iBOT 같은 작업을 단순화한다: 글로벌 메커니즘 없이도 어텐션 작동 가능하며, 원시 데이터에 대한 기울기 하강이 필요 없다.

전통적인 임베딩 학습은 두 단계로 나뉜다:

• 공간적 분리 (벡터 간 분산)
• 동일 클래스 내 수렴

TAPe는 이 두 단계를 하나의 구조적 객체 학습 과정으로 대체한다. 이를 통해 TAPe 연산을 직접 임베딩 공간에서 표현할 수 있어 하이브리드 작업이 가능해졌다.

핵심 요약

• 역방향 피라미드와 배경-객체 비율 조절 덕분에, 분류 없이 COCO의 2% 데이터로 98% 정확도 달성.
• 중심점 대신 경계 박스 사용: 질감 강한 클래스에서 평균 정확도가 72%에서 최대 94%로 상승.
• 클래스당 2개의 프로토타입 + 2:1 배경-객체 비율 = 최적 구성.
• 오류 양성률은 1,500장당 30건으로 감소.
• TAPe 패치를 토큰으로 활용하면 글로벌 기울기 없이 어텐션 처리 가능.

종합적으로 실험 범위는 자원 제약 환경에서 TAPe의 효과성을 입증했다.

— Editorial Team