TRIBE v2 prédit les réactions cérébrales à partir de la vidéo

TRIBE v2 : Prédiction des signaux BOLD cérébraux à partir de vidéo et audio

Le modèle TRIBE v2 de l'équipe Brain & IA chez Meta FAIR génère des cartes de la réponse hémodynamique du cerveau aux stimuli visuels et auditifs. L'entrée est une vidéo : le modèle extrait des images, du son et du texte, les traite via V-JEPA 2, Wav2Vec-BERT et Llama 3.2, puis un transformer prédit les signaux BOLD sur l'ensemble du cortex à une résolution d'environ 20 000 sommets. Cela permet de simuler des expériences en neurosciences in silico, en évitant de scanner des sujets vivants.

Architecture du modèle multimodal

TRIBE v2 intègre trois modalités :

• Vidéo : V-JEPA 2 extrait des caractéristiques spatio-temporelles.
• Audio : Wav2Vec-BERT encode les motifs acoustiques.
• Texte : Llama 3.2 traite les sous-titres ou les transcriptions.

Les embeddings combinés passent par un transformer qui les mappe vers des prédictions fMRI au niveau des voxels. Le modèle ne nécessite pas de fine-tuning pour de nouveaux sujets et généralise à des individus auparavant non vus.

Données d'entraînement et mise à l'échelle

La première version de TRIBE a été entraînée sur 4 sujets regardant la série Friends (6 saisons) et des films, avec le cortex divisé en 1000 régions. TRIBE v2 utilise >500 heures de fMRI de >700 volontaires. Cela a permis d'augmenter la résolution à 20k sommets et la précision des prédictions.

Améliorations clés :

• Échelle du dataset : de quelques heures à des centaines d'heures d'enregistrements.
• Résolution : de 1k à 20k sommets corticaux.
• Généralisation : fonctionne sur de nouveaux sujets sans réentraînement.
• Multimodalité : vidéo + audio + texte pour des stimuli réalistes.

Applications en neurosciences et BCI

Le modèle accélère les tests de stimuli : de la vérification de la perception visuelle au développement d'interfaces cerveau-ordinateur (BCI). En pratique clinique, il analyse les déviations dans l'activation corticale chez les patients atteints de troubles neurologiques. Les chercheurs disposent d'un outil pour tester des hypothèses sans équipement coûteux.

TRIBE v2 se concentre sur l'hémodynamique (BOLD), et non sur les pensées ou émotions, rendant ses prédictions reproductibles et comparables à une vraie fMRI.

Points clés

• TRIBE v2 prédit les signaux BOLD au niveau des voxels à partir de vidéo sans scanner réel.
• Entraîné sur 500+ heures de fMRI de 700+ sujets, résolution 20k sommets.
• Multimodal : V-JEPA 2 (vidéo), Wav2Vec-BERT (audio), Llama 3.2 (texte).
• Disponible sous licence non commerciale pour les chercheurs.
• Généralise à de nouvelles personnes sans fine-tuning.

— Editorial Team