TRIBE v2는 비디오에서 뇌 반응을 예측합니다

TRIBE v2: 비디오와 오디오로부터 뇌 BOLD 신호 예측

Meta FAIR의 Brain & AI 팀에서 개발한 TRIBE v2 모델은 시각 및 청각 자극에 대한 뇌의 혈동학적 반응 지도를 생성합니다. 입력은 비디오로, 모델은 이미지, 사운드, 텍스트를 추출해 V-JEPA 2, Wav2Vec-BERT, Llama 3.2를 통해 처리한 뒤 트랜스포머가 전체 대뇌피질의 ~20,000 정점 해상도로 BOLD 신호를 예측합니다. 이를 통해 살아 있는 피험자를 스캔하지 않고 in silico로 신경과학 실험을 시뮬레이션할 수 있습니다.

다중모달 모델 아키텍처

TRIBE v2는 세 가지 모달리티를 통합합니다:

• 비디오: V-JEPA 2가 시공간 특징을 추출합니다.
• 오디오: Wav2Vec-BERT가 음향 패턴을 인코딩합니다.
• 텍스트: Llama 3.2가 자막이나 대본을 처리합니다.

결합된 임베딩은 복셀 단위 fMRI 예측으로 매핑하는 트랜스포머를 통과합니다. 모델은 새로운 피험자에 대한 파인튜닝이 필요 없으며 이전에 보지 못한 개인에게도 일반화됩니다.

훈련 데이터와 스케일링

TRIBE의 첫 번째 버전은 Friends 시리즈(6시즌)와 영화를 시청한 4명의 피험자 데이터로 훈련되었으며, 대뇌피질을 1000개 영역으로 나누었습니다. TRIBE v2는 700명 이상의 자원봉사자로부터 500시간 이상의 fMRI 데이터를 사용합니다. 이로 인해 해상도가 20k 정점으로 증가하고 예측 정확도가 향상되었습니다.

주요 개선 사항:

• 데이터셋 규모: 수 시간에서 수백 시간의 기록으로 확대.
• 해상도: 1k에서 20k 대뇌피질 정점으로.
• 일반화: 재훈련 없이 새로운 피험자에 적용 가능.
• 다중모달리티: 현실적인 자극을 위한 비디오 + 오디오 + 텍스트.

신경과학과 BCI에서의 응용

이 모델은 시각 인식 검증부터 뇌-컴퓨터 인터페이스(BCI) 개발까지 자극 테스트를 가속화합니다. 임상에서는 신경 장애 환자의 대뇌피질 활성화 편차를 분석합니다. 연구자들은 고가의 장비 없이 가설 검증 도구를 얻습니다.

TRIBE v2는 사고나 감정이 아닌 혈동학(BOLD)에 초점을 맞춰 예측이 재현 가능하고 실제 fMRI와 비교할 수 있습니다.

주요 요점

• TRIBE v2는 실제 스캔 없이 비디오로부터 복셀 수준 BOLD 신호를 예측합니다.
• 700명 이상 피험자의 500시간 이상 fMRI로 훈련, 20k 정점 해상도.
• 다중모달: V-JEPA 2(비디오), Wav2Vec-BERT(오디오), Llama 3.2(텍스트).
• 연구자용 비상업 라이선스로 제공.
• 파인튜닝 없이 새로운 사람에게 일반화.

— Editorial Team