트랜스포머 없이 TAPe: 패치 연관성

트랜스포머 없이 TAPe: COCO에서의 지역 패치 연관성과 조기 세그멘테이션

TAPe 알고리즘은 이미지에서 구조적 요소를 생성하며, 원시 픽셀 대신 컴팩트한 벡터 표현을 사용합니다. 이러한 데이터는 본질적으로 안정성과 연결성을 지니고 있어 트랜스포머의 전역 주의 메커니즘이 필요하지 않습니다. 결과적으로 YOLO나 ViT와 같은 대안에 비해 임베딩 파라미터가 수배 이상 감소합니다.

지역 패치 연관성으로 전환하면 객체 격리에 적합한 임의 크기의 그룹화가 가능합니다. COCO에서의 실험 결과, 단일 객체에 속하는 패치들의 일관된 클러스터가 나타났으며, 명시적인 세그멘테이션 학습 없이도 가능했습니다.

지역 연관성: 메커니즘과 특성

각 TAPe 패치는 제한된 지역적 맥락과 연결됩니다. 이 연관성은 두 가지 원천에서 발생합니다:

• 임베딩 유사성: 유사한 특징(예: 피부 질감)을 가진 패치는 초기 학습 과정에서 자연스럽게 그룹화됩니다.
• 객체 소속성: 탐지 학습 중에는 동일한 객체(예: "사람") 내의 패치들이 클러스터로 연결됩니다.

지역성은 맥락에 의해 강제됩니다. 예를 들어 얼굴에서 목으로의 연관성 확장은 구조를 해칩니다. 이는 패치 변경에 대해 강건성을 유지하면서도 일관성을 희생하지 않도록 합니다.

연관성에 대한 미세 조절(연결 고도화)은 하류 작업에서 패치를 수정할 때 발생하는 문제를 해결합니다.

얼굴 예시를 통한 연관성 시각화

COCO 이미지에서 사람 얼굴 중심의 패치(노란색)는 자신의 지역 영역 내 오렌지색 패치들과 연관됩니다. 이 모든 패치들은 의미적으로 통합된 영역—즉 얼굴—에 속합니다.

이 연관성을 군집화하면 자연스럽게 얼굴 윤곽이 드러납니다. 경계는 대비되는 패치들에 의해 정의되며, 옷은 피부와 배경을 분리하는 자연스러운 객체 경계 역할을 합니다.

중앙 패치를 이동해도 비대칭적인 TAPe 링크 덕분에 연관 클러스터는 최소한의 변화로 유지됩니다. 원래 영역을 벗어날 경우 클러스터가 겹치지만, 객체 윤곽은 안정적으로 유지됩니다. 이는 별도의 학습 없이도 조기 세그멘테이션 단계에 도달했음을 의미합니다.

핵심 요약

• 트랜스포머를 포기함으로써 TAPe의 내재된 데이터 구조 덕분에 임베딩 파라미터가 수배 이상 감소했습니다.
• 지역 패치 연관성은 유사성과 소속성 기반으로 COCO에서 객체 클러스터를 형성하며, 전역 주의가 필요 없습니다.
• 중심 패치를 이동해도 안정적인 객체 윤곽이 유지되어 '무료' 세그멘테이션에 한 발짝 다가갔습니다.
• 모델은 120 FPS로 실행되며, 현재 불완전한 부분은 확장된 학습을 통해 개선 중입니다(데모: 1분).
• 객체 탐지에 집중하고 있지만, 세그멘테이션이 부산물처럼 자연스럽게 나타나 강력한 최종 결과를 얻었습니다.

한계점 및 미래 방향성

현재 모델은 프로토타입 단계입니다: 데모에서는 패치가 전체 객체를 완전히 커버하지 못하고 있습니다. 짧은 학습 시간(1분)으로 인해 고립된 패치가 왜곡될 수 있습니다. 향후 개선 방향은 다음과 같습니다:

• 아티팩트를 최소화하기 위한 완전한 학습
• 전체 객체를 커버하도록 연관성 확장
• COCO 탐지 파이프라인에 통합
• 다음 단계로 세그멘테이션 전환

처리 속도는 여전히 120 FPS를 유지하며, 실시간 응용에 매우 중요합니다. TAPe+ML은 기울기 하강법이나 무거운 아키텍처 없이도 엔드투엔드 객체 탐지에 접근하고 있습니다.

— Editorial Team