2024年3月15日，王穗苹教授团队在《Human Brain Mapping》（SCI，5年IF 4.7）在线发表题为：Perceptual uncertainty explains activation differences between audiovisual congruent speech and McGurk stimuli （https://doi.org/10.1002/hbm.26653），揭示了视听整合错觉McGurk效应和视听一致言语的感知涉及共同的感知不确定性加工通路。董晨杰特聘副研究员为文章第一作者，王穗苹教授为文章通讯作者，实验室为第一完成单位。
图1：（A）McGurk错觉相比于视听一致信号，在双侧额下回、双侧前辅助运动区、脑岛诱发更强的激活。（B）McGurk错觉与视听一致信号的神经活动差异，可被信号的感知不确定性所解释。
面对面的交流依赖于声学语音信号与相应面部发音动作的整合。McGurk错觉是一种经典的视听整合指标，在该错觉中，当听觉音节/ba/与面部发声运动/ga/同时呈现时，通常引发音节“da”的知觉。近年来，有研究者指出McGurk错觉与自然的视听一致语音识别过程存在本质的不同。相反，贝叶斯理论框架认为， McGurk错觉和真实的视听一致语音感知都源于对噪声感官信号的概率推断。根据贝叶斯理论，McGurk刺激中的跨模态冲突可能仅仅增加了观察者的感知不确定性。
本研究采用视听音节分类任务考察了这一问题，我们向参与者（20名男性和24名女性）呈现视听一致、McGurk、视听不一致的刺激，以及单模态刺激，采用功能磁共振技术测量其大脑血样信号，通过香农信息熵量化视听刺激的感知不确定性。在行为层面，参与者对McGurk刺激的反应熵（及感知不确定性）比对一致的视听刺激的反应熵更高。在神经层面，McGurk刺激引发了广泛的神经的激活，从下额回（IFG）延伸到前辅助运动区（pre-SMA）和岛叶，这些区域通常参与认知控制过程。重要的是，与贝叶斯理论一致，这些脑区的血氧活动变化可完全被信号的反应信息熵（即知觉不确定性）所解释。本研究结果表明，McGurk错觉和视听一致语音的感知依赖于共同的神经机制，从而支持McGurk错觉作为自然视听语音感知的有效测量指标。