成果快讯

本研究让多模态大语言模型(LLM)充当"语义特征提取器"，研究者则围绕目标概念设计问题，例如"Is there any face that can be easily recognized in the image?"，由模型输出"Yes"/"No"，将一系列复杂的自然图像转化为一组结构化、可解释的二元语义特征。随后，将这些特征作为预测变量，与fMRI活动进行GLM建模，从而得到不同语义概念对应的大脑皮层激活图。

为检验该方法能否能够真正捕捉语义信息，研究首先选取了两个经典类别：面孔(face)与建筑(building)。结果显示，LLM提取的面孔特征能够对应梭状面孔区(FFA)的显著激活，而建筑相关特征则对应海马旁场景区(PPA)的激活；二者直接对比后呈现出显著差异的皮层分布。这一结果与经典视觉神经科学研究高度一致，也为后续扩展分析提供了重要的方法学验证。

在此基础上，研究进一步将分析拓展至自然刺激数据中的80个语义标签。结果表明，不同语义概念并非仅由少数特定脑区进行表征，而是在枕颞、颞叶、顶叶等多个皮层区域形成广泛而具有选择性的激活模式。例如，与运动相关的动态语义类别在颞枕交界区表现出区别于静态类别的激活特征；与此同时，早期视觉皮层、梭状回、上颞沟等区域也对多种语义类别表现出稳定的参与。

研究进一步比较了不同语义所对应的全脑激活模式之间的相似性。通过计算任意两个语义标签脑激活图之间的皮尔逊相关并结合层次聚类，在完全数据驱动的条件下将80个标签划分为5个功能簇。呈现出具有现实情境意义的组织方式，例如食品与餐具、交通、室内物体、运动等类别分别形成相对集中的功能群。食品与室内场景之间还表现出较强的跨簇联系，提示大脑中的语义组织可能不仅反映"类别"，也反映不同概念在真实情境中的共现与功能关联。进一步的阈值敏感性分析显示，这一核心网络结构在不同相关阈值下总体保持稳定。

大脑语义相似性空间：激活聚类与聚类功能关系。a. 相似性矩阵；b. r = 0.55 时的语义相似性空间；c. 五个聚类各自的全脑平均激活图（右半球）

本研究展示了多模态大语言模型在神经科学实验中作为人工代理的巨大潜力。其最大的优势在于事后灵活性，即研究者无需在数据采集前预设类别，可在实验结束后随时通过设计提示词重新提问并解码全新的语义维度，为超大规模脑影像数据的统一整合与分析提供了新的方法学工具。