TRIBE v2 predice reacciones cerebrales a partir de video

TRIBE v2: Predicción de señales BOLD cerebrales a partir de vídeo y audio

El modelo TRIBE v2 del equipo de Cerebro e IA en Meta FAIR genera mapas de la respuesta hemodinámica del cerebro a estímulos visuales y auditivos. La entrada es vídeo: el modelo extrae imágenes, sonido y texto, los procesa mediante V-JEPA 2, Wav2Vec-BERT y Llama 3.2, y luego un transformer predice señales BOLD en todo el córtex con una resolución de ~20.000 vértices. Esto permite simular experimentos de neurociencia in silico, evitando escanear sujetos vivos.

Arquitectura del modelo multimodal

TRIBE v2 integra tres modalidades:

• Vídeo: V-JEPA 2 extrae características espacio-temporales.
• Audio: Wav2Vec-BERT codifica patrones acústicos.
• Texto: Llama 3.2 procesa subtítulos o transcripciones.

Las representaciones combinadas pasan por un transformer que las mapea a predicciones de fMRI a nivel de vóxeles. El modelo no requiere ajuste fino para nuevos sujetos y se generaliza a individuos no vistos previamente.

Datos de entrenamiento y escalado

La primera versión de TRIBE se entrenó con 4 sujetos viendo la serie Friends (6 temporadas) y películas, con el córtex dividido en 1000 regiones. TRIBE v2 utiliza >500 horas de fMRI de >700 voluntarios. Esto aumentó la resolución a 20k vértices y la precisión de las predicciones.

Mejoras clave:

• Escala del conjunto de datos: de horas a cientos de horas de grabaciones.
• Resolución: de 1k a 20k vértices corticales.
• Generalización: funciona en nuevos sujetos sin reentrenamiento.
• Multimodalidad: vídeo + audio + texto para estímulos realistas.

Aplicaciones en neurociencia e ICI

El modelo acelera las pruebas de estímulos: desde verificar la percepción visual hasta desarrollar interfaces cerebro-computadora (ICI). En la práctica clínica, analiza desviaciones en la activación cortical en trastornos neurológicos. Los investigadores obtienen una herramienta para probar hipótesis sin equipo costoso.

TRIBE v2 se centra en hemodinámica (BOLD), no en pensamientos o emociones, lo que hace sus predicciones reproducibles y comparables con fMRI real.

Lecciones clave

• TRIBE v2 predice señales BOLD a nivel de vóxeles a partir de vídeo sin escaneo real.
• Entrenado con 500+ horas de fMRI de 700+ sujetos, resolución de 20k vértices.
• Multimodal: V-JEPA 2 (vídeo), Wav2Vec-BERT (audio), Llama 3.2 (texto).
• Disponible bajo licencia no comercial para investigadores.
• Se generaliza a nuevas personas sin ajuste fino.

— Editorial Team