TAPe 임베딩: 트랜스포머 없이 COCO에서 74%

TAPe 일기, 6일차: 합성 임베딩과 트랜스포머의 포기

TAPe는 이미지를 안정적이고 구조화된 특징으로 분해하며, 미리 정의된 관계를 갖습니다. 이로 인해 자기지도 학습과 80개 클래스의 COCO 분류에 사용할 수 있는 컴팩트한 벡터 표현을 생성합니다.

두 가지 핵심 학습 작업

모델은 동시에 두 가지 작업을 수행합니다:

• 임베딩 생성: 내부 규칙을 통해 생성된 합성 TAPe 데이터를 기반으로 합니다. 픽셀 수준의 생성 모델은 현실적인 객체 윤곽을 생성하지 못하는 반면, 이 합성 접근법은 데이터 부족 문제를 해결합니다.
• 분류: 패치(단일 또는 다수)를 80개의 COCO 클래스 중 하나로 식별합니다.

합성 데이터는 수동 라벨링 없이 생성되며, 구조적 의존성을 유지합니다.

빠른 수렴을 위한 컴팩트한 COCO 데이터셋

학습에는 5,000장의 COCO 검증 이미지를 사용합니다: 3,500장은 학습용, 1,500장은 검증용입니다. 검증 세트는 전체 학습 세트(10만 장 이상)보다 더 도전적이며, 모든 클래스를 완전히 커버합니다.

TAPe는 추출된 구조 덕분에 빠른 수렴을 달성합니다. YOLO와 달리 ImageNet 사전 학습이나 10만 장 이상의 COCO 이미지가 필요하지 않으며, 작게 시작해 점차 확장하는 방식으로 동작합니다.

결과: 82% 재구성률, 74% 분류 정확도

• 패치 재구성: 82% 조건부 정확도 — 하위 작업에 충분합니다.
• 분류: 80개의 COCO 클래스에서 74%의 상위 1 정확도, 최상위 성능(SOTA)의 79%에 근접합니다.

이것은 첫 번째 시도에 불과하며, 최적화 가능성은 여전히 매우 큽니다.

TAPe 아키텍처에서의 트랜스포머 문제

현재 아키텍처는 패치 간 상호작용에 표준 트랜스포머를 사용하고 있습니다. 이는 실험용 일시적인 설정일 뿐입니다. 주요 단점은 다음과 같습니다:

• 데이터 왜곡: 어텐션(세 개의 가중치 행렬 QKV 포함)은 인위적인 상호작용 의존성을 강제하여 TAPe의 본질적인 구조를 해칩니다.
• 느린 수렴: 전체 COCO 학습에 시간이 많이 소요됩니다.
• 경사하강법 의존성: 트랜스포머는 경사하강법을 반드시 요구하며, 최적화를 복잡하게 만듭니다(강화학습 대안은 적절하지 않습니다).

트랜스포머는 스케일 테스트에는 유용하지만, 최종 TAPe 설계에는 부적합합니다.

TAPe 최적화 메커니즘으로의 전환

TAPe에서는 패치 간 의존성이 미리 정의되어 있으므로, 어텐션은 불필요합니다. 다음 단계는 다음과 같습니다:

• 트랜스포머를 원본 TAPe 연산으로 대체하여 데이터 구조를 보존합니다.
• 과거 일기에서처럼 기울기 없이 최적화합니다.
• 효율성을 유지하면서 전체 COCO로 확장합니다(115K 파라미터 대비 YOLO의 200만 이상).

무엇이 중요한가?

• ImageNet 사전 학습 없이 5,000장의 COCO 검증 데이터에서 74% 정확도 달성.
• 합성 TAPe 데이터로 픽셀 수준의 라벨링 필요 없음.
• 82% 재구성률은 임베딩 품질을 확인합니다.
• 트랜스포머 제거: 왜곡을 피하기 위해 TAPe 구조에 집중.
• 효율성: 작은 데이터셋에서도 빠른 수렴, 낮은 컴퓨팅 비용.

— Editorial Team