请升级浏览器版本

你正在使用旧版本浏览器。请升级浏览器以获得更好的体验。

位置: 网站首页 > 新闻公告 > 正文

人工智能与语言认知神经科学重点实验室2024年成果汇编

发布时间:2024-12-31 栏目类别:新闻公告

2024年,西安外国语大学智语实验室秉持科技创新驱动的发展理念,不断深耕“语言+AI”跨学科研究领域,取得了丰硕的研究成果:发表重要学术论文11篇(SCI/SSCI检索10篇,CSSCI检索1篇),获批省部级以上科研项目5项(国家级1项),7名研究生参加学术会议并进行口头报告,8名研究生获得国家级、省级或校级重要奖项,6名研究生获批校级研究生科研实践项目。 

一. 论文发表

实验室成员在语言认知神经科学、脑机接口与神经调控、语言计算科学等领域的学术期刊发表SCI/SSCI检索以及CSSCI检索学术论文11篇(其中,SCI/SSCI检索一区文章2篇,二区文章3篇,三区文章2篇,四区文章3篇;CSSCI检索文章1篇)。

1.  Applied Acoustics: 李扬博士提出基于噪声分解的语音增强方法

20245月,智语实验室李扬团队在Applied Acoustics期刊上发表了题为 “A speech enhancement model based on noise component decomposition: Inspired by human cognitive behavior” 的研究论文。

团队提出一种基于噪声分解的语音增强方法,首次将噪声频谱分解为规则成分和随机成分,并设计语音指纹分割网络提取嘈杂语音中的语音指纹区域;结合噪声重建与频谱减法生成辅助样本,通过参数共享的语音增强网络交替训练,有效提升语音特征提取能力。实验结果表明,该方法在公开数据集上优于现有算法,且消融实验验证了其有效性。

阅读链接:

https://doi.org/10.1016/j.apacoust.2024.109997

2. Cerebral Cortex:蔡浩博士研究生通过荟萃分析发现言语障碍患者的脑活动和结构异常

20243月,蔡浩博士研究生在Cerebral Cortex期刊上发表了题为Functional and structural abnormalities of the speech disorders: A multimodal activation likelihood estimation meta-analysis 的研究论文。

智语实验室蔡浩博士研究生联合西安宝石花长庆医院团队整合了70项研究的结果,比较了1843名言语障碍患者(构音障碍、发声障碍、口吃及失语症)与1950名健康对照者的大脑活动、功能连接、灰质和白质的分数各向异性。研究发现,不同类型的言语障碍患者在大脑活动异常的模式上存在特异性。同时,四种障碍在运动和听觉皮层出现类似的活动减少和结构变化的情况,并且默认模式网络与额顶网络之间的连接更强。这些发现有助于加深对言语障碍神经基础的理解,并可能有助于临床诊断和干预。

阅读连接:

https://doi.org/10.1093/cercor/bhae075

3. Neural Networks: 李扬博士联合西安电子科技大学楼顺天教授提出基于声纹分割的双区域语音增强方法

202412月,智语实验室李扬联合西安电子科技大学电子工程学院张伟涛/楼顺天教授在Neural Networks期刊上发表了题为“A dual-region speech enhancement method based on voiceprint segmentation”的研究论文。

该研究提出了一种基于声纹区域分割的双区域语音增强方法,旨在解决现有深度学习模型在处理噪声语音时所面临的映射关系复杂性问题。研究者首先训练了一个声纹区域分割模型,将噪声语音分为语音能量集中和不集中两个区域;然后为每个区域分别构建了专门的语音增强模型,以分别处理这些区域中的噪声与语音信号,从而简化了语音增强任务的复杂性。最终,通过合并两部分的结果,实现了清晰语音的完整恢复。实验结果表明,该方法在多个数据集上优于现有技术,具有更强的鲁棒性。

阅读链接:

https://doi.org/10.1016/j.neunet.2024.106683

4.Acta Psychologica: 燕浩教授团队使用fNIRS技术首次揭示了交替传译心理需求的神经机制

20245月,燕浩团队通过功能性近红外光谱脑成像(fNIRS)技术,并结合NASA-TLX的六个维度,深入揭示了交替传译任务中的心理需求及其对翻译质量的影响机制。相关研究成果以“Assessing mental demand in consecutive interpreting: Insights from an fNIRS study”为题发表于Acta Psychologica

该研究招募了20名中国口译专业的研究生,结合NASA-TLX问卷评估心理工作负荷(MWL)的六个维度(心理需求、身体需求、时间需求等),并实时监测大脑激活情况。研究发现,心理需求是影响翻译质量的核心因素,同时左额下回(IFG)、颞中回(MTG)和颞下回(ITG)脑区激活在心理需求与翻译质量之间起到了中介作用。该研究不仅为翻译学和认知神经科学提供了新的视角,也为优化译员培训方法提供了重要理论依据。 

阅读链接:

https://doi.org/10.1016/j.actpsy.2024.104132 

5. Neuroscience: 董洁博士联合华南师范大学梅磊磊教授确定了一种与L2书面语理解相关的有效神经功能预测因子

d2c2bc10265e59c71b3d48285b4b248

20244月,智语实验室董洁联合华南师范大学梅磊磊教授在Neuroscience期刊上发表了题为Greater pattern similarity between mother tongue and second language in the right ATL facilitates understanding of written language的研究论文。

以往研究主要关注了大脑在处理视觉和听觉语义信息时的脑功能区域。然而,关于母语和二语理解中语义表征是否具有模态特异性,以及语义表征如何受到二语熟练程度影响尚不清楚。基于这些问题,本研究旨在探讨不同模态下,个体对母语和二语理解的语义表征机制,以及这一机制如何受到二语熟练程度的影响。本研究以功能磁共振成像(fMRI)技术为研究手段,以24名西班牙语-英语双语青少年(16-17岁,其中19名为女生)为研究对象,他们参与了为期三个月的英语浸入式课外活动。系统地计算了双语者在不同输入模态词汇(书面语与口语)和学习阶段(训练前与训练后)下,母语(西班牙语)与二语(英语)之间的神经模式相似性。同时,研究还分析了行为表现与跨语言神经模式相似性之间的关系。数据分析结果发现,随着二语熟练度的提高,在左侧额下回三角部,母语与二语口语之间的跨语言模式相似性有所增加;而在右侧前颞叶,母语与二语书面语之间的跨语言模式相似性则有所增加。此外,脑行为相关分析表明,右侧前颞叶母语与二语书面语之间的跨语言模式相似性增加,显著与二语书面语理解能力相关。本研究为评估二语书面语理解能力提供了有效的神经功能指标。 

阅读链接:

https://doi.org/10.1016/j.neuroscience.2024.02.030 

6. Language, Cognition and Neuroscience: 张艺博士研究生利用fNIRS超扫描技术发现评价口译质量的神经生理学新指标

134980a0765a4e699c3b1c116d8bf3b

20241105日,张艺博士研究生研究揭示了口译交际中额颞区域的人际神经同步,为口译质量评估提供了新的神经生理学指标。相关成果以“Interpersonal neural synchronization in frontal-temporal regions as new neurophysiological index of interpretation quality: An fNIRS hyperscanning study”为题,发表于Language, Cognition and Neuroscience期刊。

口译的终极目标是使交流者双方达到相互理解。但已有的口译质量标准仅从译员出发,评估其译语的词汇、语法等语言特征,忽视了交流者作为译语接受者的重要地位。本研究团队采用基于功能性近红外光谱脑成像(fNIRS)的超扫描技术,探究了20对在中英语境下通过口译进行交流的对话者的神经活动。结果发现,交流过程中,额颞区域存在显著的人际神经同步(INS),且左侧颞中回(MTG)的INS与交流质量正相关。口译评分可以正向预测左侧颞中回的INS,而心理负荷则与左侧额下回的INS呈负相关,这表明语义理解区域的INS反映了口译质量。进一步分析表明,口译训练时间与左侧背外侧前额叶皮层(DLPFC)的INS正相关,表明在心理化区域的INS可反映更高级的口译质量。

阅读链接:

https://doi.org/10.1080/23273798.2024.2423635

7. Cognitive, Affective, & Behavioral Neuroscience:刘馨怡博士研究生发现睡眠剥夺会影响语言(尤其是句法)相关脑网络的连接状态

2024125日,刘馨怡博士研究生在Cognitive, Affective, & Behavioral Neuroscience期刊上发表了题为Effects of sleep deprivation on language-related brain functional connectivity: Differences by gender and age” 的研究论文。

智语实验室刘馨怡博士研究生联合西京医院利用静息态功能磁共振成像(rs-fMRI)技术,对OpenNEURO数据库中86名健康被试在正常睡眠和睡眠剥夺(SD)条件下的MRI数据进行了功能连接分析。研究重点探讨了语言的四个层面(语音、字形、语义和句法)在功能连接中的性别和年龄差异。结果显示,SD会显著影响语言相关脑网络的连接状态,特别是与句法相关的脑网络。此外,SD对语言相关脑网络的影响在不同性别和年龄组之间存在差异。具体而言,在正常睡眠和SD条件下,颞叶相关皮质的功能连接表现出性别差异,而顶叶相关皮质的功能连接则体现出年龄差异。这项研究强调,SD引起的功能连接变化可能是导致语言相关脑功能存在性别和年龄差异的重要潜在机制。

阅读连接:

https://link.springer.com/article/10.3758/s13415-024-01161-4

8. 心理发展与教育:梁渊博士发现幼儿的数量敏锐度水平影响他们在数轴估计任务中的表现和策略使用

4ac95b117807477aca4c36de6d27145

20246月,梁渊博士在《心理发展与教育》期刊上发表了题为《幼儿数量敏锐度的个体差异及其对数轴估计表现与策略使用的影响》的文章。

该研究以“自动关注数量信息(SFON)”倾向为指标考查45岁幼儿的数量敏锐度,探讨不同数量敏锐度水平的幼儿在三种形式的数轴估计(非符号面积、数字-位置(NP)和位置-数字(PN))任务上的表现及策略使用情况。结果发现:(1)4岁幼儿敏锐度可分为次高、中、低三个水平,5岁幼儿敏锐度可分为高、中两个水平,幼儿捕捉数量信息的敏锐度水平从4岁到5岁明显提升,由依赖参考提示逐渐转变为独立自发感知;(2)幼儿数轴估计表现受情境的影响,在非符号数轴估计任务上的表现显著优于在符号NPPN任务上的表现;(3)数量敏锐度在一定程度上影响数轴估计表现及策略使用。本研究结果揭示了幼儿心理数量表征的内部机制,证实了数量认知的四步发展模型,为鉴别、预测和筛选出低敏锐度的数学风险幼儿提供参考依据。

阅读链接:

https://doi.org/10.16187/j.cnki.issn1001-4918.2024.06.01 

9. Neuroscience Letters:智语实验室与西京医院神经外科合作首次揭示语义透明度对中文词素语义感知的影响

微信截图_20241226171144

20242月西安外国语大学与西京医院联合团队共同完成一项重要研究。 相关研究成果以Semantic transparency modulates the semantic perception of morphemes: Evidence from RSA of BOLD signals为题发表于Neuroscience Letters

在语言认知中,词素的语义感知机制一直是研究热点,但词的语义透明度对词素潜在语义激活的影响尚无定论。传统研究方法的局限性阻碍了对这一问题的深入理解,而本研究采用新方法带来了新发现。

因传统单变量分析将语义透明度作离散类别致研究结果不一,此次采用多元表征相似性分析(RSA)把其视为连续变量。以 26 名成人为被试,144 个中文双字词为实验材料,经 fMRI 与启动范式等研究发现,行为结果中任务难度与语义透明度无关;RSA 显示所有词及透明词组中语义 RDM 与大脑部分区域显著相关,不透明组无显著影响,单变量分析则未发现不透明与透明组的显著激活差异。研究表明 RSA 更适研究相关神经机制,语义透明度对中文词素语义感知有关键作用。

阅读链接

https://doi.org/10.1016/j.neulet.2024.137649 

10. World Journal of Clinical Cases: 董洁博士联合川北医科大学附属医院发现足部反射疗法帮助感音神经性听力丧失患者听力恢复的证据

20243月,智语实验室董洁联合四川北方医科大学附属医院团队在World Journal of Clinical Cases期刊上发表了题为 Effect of foot reflexology on an infant with sensorineural hearing loss: A case report的研究论文。

该研究提出了一种基于足部反射疗法的听力恢复方法,旨在探索传统疗法之外的有效治疗途径。研究者通过对一名患有感音神经性听力丧失的婴儿进行临床实验,结合足部反射疗法对其进行治疗。在为期六个月的治疗过程中,使用足部反射疗法的婴儿听力阈值显著恢复至低于30分贝的正常水平。实验结果表明,足部反射疗法作为一种辅助治疗手段,能够显著促进听力恢复,为感音神经性听力丧失的治疗提供了新的方向。该研究为临床治疗提供了有力的支持,并推动了足部反射疗法在听力障碍领域的应用。

阅读链接:

https://doi.org/10.12998/wjcc.v12.i8.1437

11. World Journal of Psychiatry:李芋均博士研究生及其团队揭示了新生儿和婴儿感音神经性听力损失脑网络

20241019日,智语实验室研究团队在World Journal of Psychiatry上发表了题为Brain networks in newborns and infants with and without sensorineural hearing loss: A functional near-infrared spectroscopy study的研究论文。

研究旨在探讨感音神经性听力损失(SNHL)对4个月大婴儿早期大脑发育和连接性的影响。研究包括65名婴儿,分为三组:28名健康新生儿,224个月大的SNHL参与者,以及15名年龄匹配的健康参与者。使用功能近红外光谱(fNIRS)和图论来测量和比较各组间的静息态功能连接性,并评估大脑网络属性。研究结论指出,4个月大的SNHL婴儿具有独特的大脑网络模式,与年龄匹配的对照组相比,具有高效的长距离信息传输但局部通信效果较差。 

阅读链接:

https://pmc.ncbi.nlm.nih.gov/articles/PMC11514573/

二.研究项目

研究团队在言语想象脑机接口和语言脑科学领域取得突破,成功获批了国家自然科学基金、教育部人文社科基金、陕西省自然科学基金、陕西省社会科学基金项目5项。

三.会议成果

2024年,7名研究生受邀分别在第七届中国心理语言学国际研讨会和2024年江苏省研究生语言发展与障碍学术创新论坛中进行了口头报告,分享了实验室在语言脑科学、心理语言学、语言发展及言语障碍等领域的创新研究。

四.人才培养

实验室3名研究生率队参加了第十届中国“互联网+”大学生创新创业大赛,获得陕西赛区省级铜奖2项和西安外国语大学校级金奖1项;1名研究生在2024年第七届普译奖英语写作大赛中获得了国家级三等奖;2名研究生获得国家奖学金;4名研究生获得了西安外国语大学研究生学院一等奖奖学金;1名研究生通过了全国翻译专业资格考试(CATTI),获得了笔译2级证书。

此外,实验室6名研究生还在学术项目上取得了显著进展,成功申报并获批了6个校级一般项目,涵盖了文体特征加工、二语习得研究、自然语言处理等领域。

 

上一条:【活动预告】CCF西安“终南问道”系列活动——心悟神解、机深智远:脑启发的人工智能与可视化 下一条:智语实验室举办首届语言智能科学与技术创新发展研讨会

关闭