【研究背景】
在日常面对面交流中，交际者常常通过言语和手势相结合来传递信息，而口译过程中的不同步现象可能会影响交际者之间的理解和认知。因此，本研究通过使用功能性近红外光谱成像技术（functional near-infrared spectroscopy, fNIRS），探讨了口语与手势不同步对跨语言交际中神经耦合的影响，特别关注了人们在跨语言交际中相互理解话语的能力以及对他人思维状态（如信念、欲望和目标）的理解能力。研究设计了两种口译情境：交替传译（consecutive interpreting, CI）和同声传译（simultaneous interpreting, SI），并通过功能性近红外光谱成像数据的小波相干分析计算了交际者之间的神经耦合。同时，针对口译过程中的时间滞后效应，还运用了时滞神经耦合分析方法来表示双方的时间偏移。
【研究方法】
1. 被试
本研究从西安外国语大学招募了60名学生。其中20名口译专业的二年级研究生担任口译员，平均年龄为23.8岁。另外40名非口译专业的本科生作为交际者分为两组，分别使用英文和中文，两组在年龄和大学英语专业四级考试成绩方面没有显著差异。一名口译员和两名相同性别的交际者为一组实验对象，在实验前彼此不认识。所有被试均为汉语母语者，英语为第二语言，右利手，视力和听力正常或矫正至正常。本实验经西安外国语大学人工智能与语言认知神经科学重点实验室伦理委员会批准。
2. 实验设计
在实验中，为了构建一个真实的口译情境，两名交际者（A和C）坐在桌子的对面，而口译员（B）则坐在他们中间，形成一个等边三角形。三名被试分别佩戴光极帽同时收集fNIRS信号。交际者在实验过程中佩戴耳机，轮流播放雨声，防止提前听到交流内容。每位被试面前放置了一台笔记本电脑，用于显示实验说明和材料。被试被允许面对面互动，并被鼓励通过面部表情和肢体语言表达交际意图。（见图1）
图1 实验过程展示
实验分为三个阶段，在两天内完成。第一天完成实验的第一个阶段：在CI的情景下进行跨语言交流。第二天完成实验的后两个阶段：在SI的情景下进行跨语言交流和在复述中进行母语交流（mother-tongue communication under the retelling of Chinese materials, CC）。在第一天实验的第一个阶段之前，被试被要求静坐闭目，聆听雨声5分钟。第二天实验的第一个阶段之前，被试同样被要求静坐闭目5分钟，但不接受任何声音。整个实验过程中的对话和口译都被录音记录。
CI情景下的实验步骤：实验包含两个部分，每个部分包含五轮交谈。在第一轮交谈中，A大声朗读屏幕上的颜色均匀变化的中文段落给口译员听。然后，口译员为C进行了中文到英文的逆向口译。接着，交际者的角色互换，口译员为A进行了英文到中文的正向口译。随后开始第二轮交谈。SI情景下的实验步骤：实验包含两个部分，每个部分包含八轮交谈。实验过程中只有两名交际者。在每轮交谈中，A大声朗读显示在屏幕上的颜色不断变化的中文段落。C同时听取耳机中口译员准备的英文口译。接着角色互换，重复实验步骤。CC情景下的实验步骤：类似于SI会话，但是口译员仅需用中文复述。
每个情景所使用的材料都是从相同教材水平中选择的，难度相等，且不包含技术性、特定文化或模糊的词汇。实验结束，对被试的理解度和口译表现进行评估。对于两者的评估涉及多个组成部分。首先，理解度由交际者的回答与交谈内容相关的判断题得出。交际者需要回答三个判断题，每题得分两分，因此三种交流模式的总分为6分。此外，CI情景下的口译表现由五名专业口译教师进行评估。评估分为中译英和英译中两个方向，基于内容、结构和语义的准确传达三个类别，每个类别包含七个标准。每个标准的评分范围从0到10，总分是三个类别得分的加权和，分别使用权重为2、1和1。
3. fNIRS数据采集和分析
实验使用了ETG-7100近红外光脑成像系统进行fNIRS数据的采集。数据采集过程中使用了两种波长（695和830 nm）的近红外光，采样率为10 Hz。研究中仅使用了氧合血红蛋白（oxygenated hemoglobin, HbO）浓度变化来估计神经耦合，因为HbO的变化对大脑区域血流变化具有最高的敏感性。实验中使用了两个光极板，一组3x5的光极板放置在左侧额叶、颞叶和顶叶，覆盖了大脑语言区域；另一组2x2的光极板放置在右颞顶叶交界处。在每组实验开始前，使用磁性数字化仪（PATRIOT; Polhemus, Vermont USA）进行精确定位。
fNIRS数据分析主要包括6个步骤。首先，去除每个任务数据的前后30秒，以排除fNIRS系统不稳定时的数据，使用Matlab工具包NIRS-KIT对数据进行预处理。其次，利用小波相干性（Wavelet Transform Coherence, WTC）方法测量通道间神经同步（Channel-wise Interpersonal Neural Synchrony, INS）。通过Morlet小波创建WTC，计算两个参与者的预处理fNIRS数据之间的WTC。通过计算所有可能通道组合，获得2-D相干矩阵。关注任务期间的平均相干性，将相干值转换为Fisher’s z值。计算三种交流模式和休息状态下的平均相干性，并计算INS增加值。接着，使用置换检验方法选择感兴趣的频率范围。进行1000次置换采样并选择高于置换样本第一百分位数的原始样本F值，以确定感兴趣的频率范围。另外，为了观察INS增加的领先-滞后模式，我们通过将C的时间序列相对于A向前或向后移动1 - 26秒(步长= 1秒)来计算相干值。这涉及到将C的fNIRS时间序列与A相比延迟- 26至+26秒，并使用延迟的时间序列计算交流者的INS增加。随后，计算感兴趣频率段内的INS增加，并对CI和SI之间所有通道对在所有时间滞后上进行配对t检验。结果进行Bonferroni多重比较校正。通过进行1000次置换检验来确认结果的可靠性。最后，将每一轮对话划分为两个时期，并分别分析反向口译得分与第一个时期内的INS增加之间的关系，以及正向口译得分与第二个时期内的INS增加之间的关系。
【实验结果】
1.感兴趣的频率范围
本研究使用了1000个打乱样本来展示感兴趣的频率范围，并计算了20个频带作为感兴趣的频率，最终将这些频带合并成两个单独的频率带：31.5–50.0 s (0.020–0.032 Hz) 和 12.5–19.8 s (0.050–0.080 Hz)。研究发现这些频带包含了对话交际的一半和完整的听觉理解或言语产出时间段，表明在这些频率范围内的神经同步增加与任务相关。（见图2）
图2 感兴趣的频率的结果
2.延时口译对交际者神经同步的影响
在频率范围为0.020–0.032 Hz，且C的脑活动滞后于A 15–23秒时，CI情景下的INS增加明显低于SI情景下，且在17秒时达到峰值。具体在A的左颞顶交界处（left temporoparietal junction area, lTPJ）和C的右侧颞顶交界处（right TPJ, rTPJ）。（见图3A和C）
在频率范围为0.050–0.080 Hz，且从A的脑活动滞后3秒到C的脑活动滞后2秒时，CI情景下的INS增加明显高于SI情景下，且在时间对齐时达到峰值。具体在A的额下回（inferior frontal gyrus, IFG）和C的IFG处，（见图3B和D）
对比CC情景和SI情景，在频率范围为0.050–0.080 Hz时未发现显著差异。
图3 对比CI和SI情景之间的神经同步，并进行t检验
3.交际者INS增加与口译分数的关系
在第一阶段，INS平均增加量与反向口译得分呈显著正相关。第二阶段TPJ处的INS平均增加量与正向口译得分呈显著正相关。然而，在第一或第二阶段，左侧IFG处的INS增加量与口译得分之间没有显著相关性。（见图4）
图4 TPJ的INS增加与口译分数之间的关系（A为反向口译，B为正向口译）
4.理解度和口译成绩的结果
交际者和交际情景的交互作用显著。在CC情景下，C的回答时间显著少于SI情景和CI情景。此外，在SI和CI情景下，A和C之间存在显著差异，A的回答速度均比C快。然而，在内容准确性得分方面未发现显著结果。（见图5A）
在CI情景下，20名口译者在内容、结构和语义的准确传达三个维度的口译评分均达到了较高水平。此外，逆向口译和正向口译在结构得分、传递信息得分和总分方面有显著差异，但在内容得分方面没有显著差异。（见图5B）
图5 (A)三种情景下交际者的平均时间; (B)CI情景下，口译者在三个维度上的平均口译得分
【研究结论】
fNIRS结果表明，口语-手势不同步导致双侧TPJ区域的时滞神经耦合减少，这与口译员的技能水平密切相关，而左侧IFG区域的时间对齐神经耦合增加。这些研究结果表明，口语-手势不同步对每位交谈者对他人心智状态的预测能力产生了负面影响。一名熟练的口译员可以增强交谈者的心智推理能力。同时，在交流过程中，视觉工作记忆的负担会持续增加以进行补偿。该研究揭示了言语-手势的同步与整合在理解和推测他人心理状态方面的关键作用。
【文献信息】
原文：The effect of speech–gesture asynchrony on the neural coupling of interlocutors in interpreter-mediated communication
作者：Xu Duan, Yi Zhang, Yuan Liang, Yingying Huang, Jie Zhang, Hao Yan
期刊：Social cognitive and affective neuroscience
发表时间：2023
DOI: https://doi.org/10.1093/scan/nsad027
