TRIBE v2 从视频预测大脑反应

TRIBE v2：从视频和音频预测大脑 BOLD 信号

Meta FAIR 脑与 AI 团队的 TRIBE v2 模型生成大脑对视觉和听觉刺激的血流动力学反应图。输入是视频：模型提取图像、声音和文本，通过 V-JEPA 2、Wav2Vec-BERT 和 Llama 3.2 处理它们，然后一个 transformer 预测整个皮层约 20,000 个顶点的 BOLD 信号。这使得可以在计算机中模拟神经科学研究实验，避免扫描活体受试者。

多模态模型架构

TRIBE v2 整合了三种模态：

• 视频：V-JEPA 2 提取时空特征。
• 音频：Wav2Vec-BERT 编码声学模式。
• 文本：Llama 3.2 处理字幕或转录文本。

组合后的嵌入通过一个 transformer 映射到体素级 fMRI 预测。该模型无需针对新受试者进行微调，即可泛化到之前未见过的个体。

训练数据与扩展

TRIBE 的第一个版本在 4 名观看电视剧 Friends（6 季）和电影的受试者上训练，皮层分为 1000 个区域。TRIBE v2 使用了来自 >700 名志愿者的 >500 小时 fMRI 数据。这将分辨率提升到 20k 顶点，并提高了预测准确性。

关键改进：

• 数据集规模：从数小时到数百小时的记录。
• 分辨率：从 1k 到 20k 皮层顶点。
• 泛化能力：无需重新训练即可适用于新受试者。
• 多模态：视频 + 音频 + 文本，用于真实刺激。

神经科学与脑机接口 (BCI) 的应用

该模型加速了刺激测试：从验证视觉感知到开发脑机接口 (BCI)。在临床实践中，它分析神经障碍中皮层激活的偏差。研究人员获得了一种无需昂贵设备即可进行假设检验的工具。

TRIBE v2 专注于血流动力学 (BOLD)，而非思想或情绪，这使得其预测可重复且可与真实 fMRI 比较。

关键要点

• TRIBE v2 从视频预测体素级 BOLD 信号，无需真实扫描。
• 在 700+ 名受试者的 500+ 小时 fMRI 上训练，20k 顶点分辨率。
• 多模态：V-JEPA 2（视频）、Wav2Vec-BERT（音频）、Llama 3.2（文本）。
• 以非商业许可提供给研究人员使用。
• 无需微调即可泛化到新个体。

— Editorial Team