面向科学与医学的脑活动建模开源项目
数字大脑计划 (Digital Brain Project) 旨在开发神经编码模型。在过去的几年里，该实验室的核心研究方向之一是神经解码，即通过脑部记录（无论是通过颅内电极的侵入式记录，还是通过功能性磁共振成像或磁共振脑电图的非侵入式记录）来预测心理表征。通过将此类模型的输入和输出进行反转，便可以实现其互补操作：神经编码。具体而言，这包括预测人类大脑对给定刺激应该做出怎样的反应。换句话说，其目标是构建大脑的数字孪生。最近，由 Stéphane d’Ascoli（Brain AI 团队）提出的 TRIBE v2 模型在功能性磁共振成像（fMRI）数据上取得了非常令人鼓舞 wine 的成果。然而，最适合训练此类模型的数据与认知神经科学中现有的传统数据集有着很大的不同。事实上，要训练这样一个模型，收集大量参与者进行一两个小时认知任务的数据，其信息量远不如从少数个体中获取几十甚至上百个小时的数据。
基于这一视角，数字大脑计划旨在发起一项大规模的国际倡议，资助少数顶尖的研究团队，负责在极长的时间跨度内记录少数大脑的数据。通过紧密合作，我们将开发并评估全新的模型架构，以逐步提高神经编码的准确性。这一努力的潜在影响是巨大的。此类模型将使进行模拟认知科学实验成为可能，并能将昂贵的人类大脑记录留给最具前景的研究结果。它们还将通过对必须通过侵入式电极传递到大脑的信息提供精确理解，从而在脑机接口领域实现重大突破。此外，在健康大脑上训练的模型可以进一步应用于病理学研究，为包括癫痫、神经系统炎症、脑卒中及其他神经系统疾病在内的众多领域开辟个性化精准医学的新途径。
儿童的大脑是如何开始处理语言的?
为了回答这一问题，我们记录了 46 名法语母语参与者（年龄在 2 至 46 岁之间）在聆听《小王子》时的大脑活动，这些参与者均因癫痫接受临床随访。借助 7400 多个颅内电极，我们分析了大脑在不同发育年龄阶段如何表征语音和词汇特征。
我们的研究结果表明，2 至 5 岁的儿童在听觉皮层中就已经展现出清晰的语言表征。然而，尽管语音处理随着年龄增长保持稳定，但词汇表征会显著增强，并逐步扩展到额叶皮层和前颞叶皮层等高级区域。
最后，通过将这一轨迹与人工智能进行对比，我们发现语言模型（wav2vec 2.0 和 Llama 3.1）的训练会自发地与人类大脑数据产生对齐。值得注意的是，Llama 3.1 所学习到的表征反映了在年长参与者中观察到的、但在极年幼儿童中尚不存在的高级语言成熟度，从而突显了人工智能作为模拟人类认知发育强有力工具的巨大潜力。
解密语言：从单个神经元到大型网络
在医院里，我们通过与接受重症癫痫随访的患者合作，探索人类语言的前沿。为了精确定位他们癫痫发作的源头，这些患者在脑部深处临时植入了立体脑电图（SEEG）电极。在我们的研究框架下，我们使用的是这些传感器的高级“微型-宏型（micro-macro）”版本。通过“宏型”触点可以追踪全脑大型语言网络的通信，而发丝般粗细的“微型”导线则让我们能够以高分辨率倾听单个神经元的电活动。
当患者同意参与我们的研究，进行阅读、聆听或说话时，我们便会记录这些丰富的多尺度电生理数据，以推进“语言解码”——即把微观的电信号翻译成特定的声音、音节和单词。为了破解这一复杂的密码，我们将这些庞大的数据集输入到先进的机器学习算法中。我们的最终目标是在这一前所未有的细节水平上训练人工智能，从而构建一个微观尺度的脑部基础模型（foundation model），精确揭示人类思想和语言的基本构建块是如何在心智中进行物理编排的。
从数分钟到数天：利用自然主义预训练实现颅内言语解码的大规模扩展
传统的言语解码研究通常依赖于保持静止的参与者，进行短暂且受到严格控制的实验。尽管这种方法能提供干净的数据，但信息量却非常有限。在这项研究中，我们采用了一种完全不同的方法：利用患者因癫痫监测住院一周期间，全天24小时持续记录的海量大脑活动和环境音频数据。
通过使用比标准实验多出约100倍的数据量，我们利用这些包含真实互动、电视和背景噪音的连续记录来预训练一个计算模型。当在受控的有声读物任务上进行评估时，结果非常明确：在单周自然主义数据上进行预训练的模型，其表现显著优于仅在传统实验中训练的模型。此外，模型性能随着数据量的增加而持续提升，且没有表现出任何饱和的迹象。
尽管仍需要微调（fine-tuning）阶段来缩小嘈杂的医院环境与干净的实验音频信号之间的差距，但这种方法开辟了接触前所未有规模资源的途径。尽管存在诸如神经反应在日与日之间的变异性等挑战，这些结果表明，来自持续临床监测的数据可以显著加速对言语处理的理解，并推动用于恢复沟通的鲁棒脑机接口的发展。
从思维到行动：为非侵入式脑机接口绘制语言的分层生成图谱
一个思维是如何变成一个句子的？借助于非侵入式磁共振脑电图（MEG），我们的实验室对正在打字输入句子的健康志愿者进行了追踪，以绘制出从抽象意义直到精确运动执行的神经级联过程图谱。
我们发现，语言的生成具有严格的分层性：大脑同时处理多个语言层级（上下文、单词、音节、字母），其中全局语义激活远远早于单个按键动作的执行。
基于这种机制上的理解，我们开发了一套基于深度学习的处理管线，能够直接从非侵入式 MEG 信号中解码出键入的字符。这是首次在无需外科手术的情况下实现字符级“大脑到文本（brain-to-text）”解码的演示，为安全且易于获取的沟通恢复技术开辟了道路。
