# TRIBE v2: Předpovídání BOLD signálů mozku z videa a audia
Model TRIBE v2 od týmu Brain & AI v Meta FAIR generuje mapy hemodynamické reakce mozku na vizuální a audiální podněty. Na vstup se podává video: model extrahuje snímky, zvuk a text, zpracovává je přes V-JEPA 2, Wav2Vec-BERT a Llama 3.2, poté transformer předpovídá BOLD signály po celé kortikální kůře s rozlišením ~20 000 vrcholů. To umožňuje simulovat neurovědecké experimenty in silico, bez skenování živých subjektů.
Architektura multimodálního modelu
TRIBE v2 integruje tři modality:
- Video: V-JEPA 2 extrahuje prostorovo-časové rysy.
- Audio: Wav2Vec-BERT kóduje akustické vzorce.
- Text: Llama 3.2 zpracovává titulky nebo transkripty.
Spojené embeddingy procházejí transformerem, který je mapuje na voxel-wise předpovědi fMRI. Model nevyžaduje fine-tuning pro nové subjekty a generalizuje na dříve neviděné jedince.
Tréninková data a škálování
První verze TRIBE byla trénována na 4 subjektech, kteří sledovali seriál „Přátelé“ (6 sezón) a filmy, s kůrou rozdělenou na 1000 regionů. TRIBE v2 využívá >500 hodin fMRI od >700 dobrovolníků. To zvýšilo rozlišení na 20k vrcholů a přesnost předpovědí.
Klíčová vylepšení:
- Měřítko datasetu: od hodin k stovek hodin nahrávek.
- Rozlišení: od 1k do 20k kortikálních vrcholů.
- Generalizace: funguje na nových subjektech bez dodatečného tréninku.
- Multimodalita: video + audio + text pro realistické podněty.
Aplikace v neurovědě a BCI
Model urychluje testování podnětů: od ověření vizuálního vnímání po vývoj rozhraní mozek-počítač (BCI). V klinické praxi — analýza odchylek v aktivaci kůry při neurologických poruchách. Výzkumníci získávají nástroj pro testování hypotéz bez drahého vybavení.
TRIBE v2 se zaměřuje na hemodynamiku (BOLD), ne na myšlenky nebo emoce, což činí její předpovědi reprodukovatelnými a srovnatelnými s reálnými fMRI.
Co je důležité
- TRIBE v2 předpovídá voxel-level BOLD signály z videa bez skutečného skenování.
- Trénována na 500+ hodinách fMRI od 700+ subjektů, rozlišení 20k vrcholů.
- Multimodální: V-JEPA 2 (video), Wav2Vec-BERT (audio), Llama 3.2 (text).
- Dostupná pod nekomerční licencí pro výzkumníky.
- Generalizuje na nové lidi bez fine-tuningu.
— Editorial Team
Zatím žádné komentáře.