新闻动态

新闻资讯

董晨杰带队参加第24届国际多模态研究论坛并作学术分享

2026年6月24日至27日,第24届国际多感觉研究论坛(International Multisensory Research Forum, IMRF)在意大利热那亚举行。该论坛每年举办一次,旨在深化对神经系统如何整合多感觉信息以塑造感知与行动的理解。论坛汇聚了心理学、认知科学、神经科学、工程学等多学科领域的研究学者,共同展示与探讨该领域的最新前沿成果。“儿童青少年阅读与发展”教育部哲学社会科学实验室(以下简称“实验室”)成员董晨杰特聘副研究员和博士生李淦棠受邀参加本次论坛。

在本次论坛中,董晨杰以海报形式展示了两项研究成果。第一项研究题为“Domain-specific functional plasticity in the visual communicative system of deaf individuals”,围绕听觉缺失如何重塑交流系统的科学问题,比较了听障群体和普通群体在面部身份识别、情绪表达、语音感知及全局运动等一系列单感觉和视听多感觉心理任务中的表现差异,揭示了听障人士跨领域视觉功能的系统特征,深化了对跨模态可塑性的理解。第二项研究题为“Divergent paths in audiovisual speech integration: comparing the McGurk illusion in humans and the AV-HuBERT model”,以经典McGurk错觉为测试范式,比较了人类被试与视听语音模型AV-HuBERT对说话者的匹配和冲突视听语音刺激的感知反应,发现当前模型虽能捕捉部分说话者差异,但其跨模态语音感知机制仍不同于人类。

李淦棠以海报形式分享了题为“How the human brain decodes semantic information from multiple modalities”的研究。该研究采用自然主义实验范式与voxelwise encoding model分析方法,分别解码不同感觉模态条件下的语义神经表征,提出语义表征从模态特异到模态独立的层级皮层结构模型。

论坛期间,团队成员参加多场学术报告,及时跟进领域内前沿研究动态与创新方法,并与Uta Noppeney教授(荷兰唐德斯脑、认知与行为研究所)、Michael S. Beauchamp教授(宾夕法尼亚大学)、Kaisa Tiippana教授(芬兰赫尔辛基大学)等国际知名学者围绕高质量公开数据库建设及科研项目合作等议题展开了深入交流。此次参会有效拓展了团队成员在多模态信息加工与认知发展领域的学术视野,为进一步深化儿童青少年阅读与发展相关研究积累了前沿思路与方法资源。

1783655117717292.jpg