# TRIBE v2: przewidywanie sygnałów BOLD mózgu na podstawie wideo i audio
Model TRIBE v2 od zespołu Brain & AI w Meta FAIR generuje mapy hemodynamicznej reakcji mózgu na bodźce wizualne i słuchowe. Na wejściu podaje się wideo: model wyciąga obrazy, dźwięk i tekst, przetwarza je za pomocą V-JEPA 2, Wav2Vec-BERT i Llama 3.2, a następnie transformator przewiduje sygnały BOLD w całej korze z rozdzielczością ~20 000 wierzchołków. Pozwala to symulować eksperymenty neurobiologiczne in silico, unikając skanowania żywych podmiotów.
Architektura modelu multimodalnego
TRIBE v2 integruje trzy modalności:
- Wideo: V-JEPA 2 wyciąga cechy przestrzenno-czasowe.
- Audio: Wav2Vec-BERT koduje wzorce akustyczne.
- Tekst: Llama 3.2 przetwarza napisy lub transkrypcje.
Połączone osadzenia przechodzą przez transformator, który mapuje je na predykcje fMRI na poziomie wokseli. Model nie wymaga strojenia (fine-tuning) dla nowych podmiotów i uogólnia się na wcześniej nie widzianych osobników.
Dane treningowe i skalowanie
Pierwsza wersja TRIBE trenowana była na 4 podmiotach oglądających serial „Przyjaciele” (6 sezonów) i filmy, z korą podzieloną na 1000 regionów. TRIBE v2 wykorzystuje >500 godzin fMRI od >700 ochotników. Zwiększyło to rozdzielczość do 20 tys. wierzchołków i dokładność predykcji.
Kluczowe ulepszenia:
- Skala zbioru danych: z godzin do setek godzin nagrań.
- Rozdzielczość: z 1 tys. do 20 tys. korowych wierzchołków.
- Uogólnienie: działa na nowych podmiotach bez dalszego uczenia.
- Multimodalność: wideo + audio + tekst dla realistycznych bodźców.
Zastosowania w neuronaukach i BCI
Model przyspiesza testowanie bodźców: od weryfikacji percepcji wizualnej po rozwój interfejsów mózg-komputer (BCI). W praktyce klinicznej — analiza odchyleń w aktywacji kory przy zaburzeniach neurologicznych. Badacze zyskują narzędzie do testowania hipotez bez drogiego sprzętu.
TRIBE v2 skupia się na hemodynamice (BOLD), a nie na myślach czy emocjach, co czyni jej predykcje powtarzalnymi i porównywalnymi z rzeczywistymi fMRI.
Co ważne
- TRIBE v2 przewiduje sygnały BOLD na poziomie wokseli na podstawie wideo bez rzeczywistego skanowania.
- Wytrenowana na 500+ godzinach fMRI od 700+ podmiotów, rozdzielczość 20 tys. wierzchołków.
- Multimodalna: V-JEPA 2 (wideo), Wav2Vec-BERT (audio), Llama 3.2 (tekst).
- Dostępna na licencji niekomercyjnej dla badaczy.
- Uogólnia się na nowych ludzi bez fine-tuning.
— Editorial Team
Brak komentarzy.