TRIBE v2 prognostiziert Gehirnreaktionen aus Video

TRIBE v2: Vorhersage von Gehirn-BOLD-Signalen aus Video und Audio

Das TRIBE-v2-Modell aus dem Brain-&-AI-Team bei Meta FAIR erzeugt Karten der hämodynamischen Reaktion des Gehirns auf visuelle und auditive Reize. Der Input ist Video: Das Modell extrahiert Bilder, Sound und Text, verarbeitet sie über V-JEPA 2, Wav2Vec-BERT und Llama 3.2, dann prognostiziert ein Transformer BOLD-Signale über die gesamte Rinde bei ~20.000 Vertices Auflösung. Dies ermöglicht die Simulation von Neurowissenschaftsexperimenten in silico, ohne lebende Probanden zu scannen.

Multimodale Modellarchitektur

TRIBE v2 integriert drei Modalitäten:

• Video: V-JEPA 2 extrahiert raum-zeitliche Merkmale.
• Audio: Wav2Vec-BERT codiert akustische Muster.
• Text: Llama 3.2 verarbeitet Untertitel oder Transkripte.

Die kombinierten Embeddings durchlaufen einen Transformer, der sie auf voxelweise fMRT-Vorhersagen abbildet. Das Modell erfordert keine Feinabstimmung für neue Probanden und generalisiert auf zuvor ungesehene Personen.

Trainingsdaten und Skalierung

Die erste Version von TRIBE wurde auf 4 Probanden trainiert, die die Serie Friends (6 Staffeln) und Filme anschauten, wobei die Rinde in 1000 Regionen unterteilt war. TRIBE v2 nutzt >500 Stunden fMRT von >700 Freiwilligen. Dies erhöhte die Auflösung auf 20k Vertices und die Vorhersagegenauigkeit.

Wichtige Verbesserungen:

• Datensatzskala: von Stunden zu Hunderten von Stunden Aufzeichnungen.
• Auflösung: von 1k zu 20k kortikalen Vertices.
• Generalisierung: funktioniert bei neuen Probanden ohne Retraining.
• Multimodalität: Video + Audio + Text für realistische Reize.

Anwendungen in der Neurowissenschaft und BCI

Das Modell beschleunigt das Testen von Reizen: von der Überprüfung visueller Wahrnehmung bis zur Entwicklung von Brain-Computer-Interfaces (BCI). In der klinischen Praxis analysiert es Abweichungen in der kortikalen Aktivierung bei neurologischen Erkrankungen. Forscher erhalten ein Tool zum Testen von Hypothesen ohne teure Ausrüstung.

TRIBE v2 konzentriert sich auf Hämodynamik (BOLD), nicht auf Gedanken oder Emotionen, was seine Vorhersagen reproduzierbar und mit realer fMRT vergleichbar macht.

Wichtige Erkenntnisse

• TRIBE v2 prognostiziert voxelweise BOLD-Signale aus Video ohne echtes Scannen.
• Auf 500+ Stunden fMRT von 700+ Probanden trainiert, 20k Vertices Auflösung.
• Multimodal: V-JEPA 2 (Video), Wav2Vec-BERT (Audio), Llama 3.2 (Text).
• Verfügbar unter nicht-kommerzieller Lizenz für Forscher.
• Generalisiert auf neue Personen ohne Feinabstimmung.

— Editorial Team