近日，今年世俱杯赛程时间表/医学院附属精神卫生中心陈安涛课题组的最新研究成果“Temporal dynamics analysis reveals that concurrent working memory load eliminates the Stroop effect through disrupting stimulus-response mapping”在elife杂志在线发表。该研究从时间动态分析角度发现，言语工作记忆负荷占用分心物加工晚期的刺激-反应映射资源，是导致Stroop效应消失的主要原因，这些发现为理解大脑如何解决冲突加工提供了新视角。有效处理干扰刺激与目标刺激之间的冲突对于顺利执行目标导向的行为至关重要。Stroop颜色-词任务是评估这类认知冲突的典型范式，其操作表现（反应时和/或正确率）在干扰刺激与目标刺激不一致时，较之二者一致时显著下降，这一现象即著名的Stroop干扰效应或Stroop冲突。已有研究发现言语工作记忆负荷可显著减少甚至消除Stroop冲突。根据多重资源负荷理论，认知系统存在有限且领域特异的资源分配机制，当个体需要维持先前呈现的言语工作记忆表征时，用于处理同类型干扰刺激的认知资源将被占用，从而减少干扰刺激造成的冲突。然而，Stroop冲突涉及多个加工过程，如刺激处理、刺激-反应映射和反应输出，已有研究尚未阐明言语工作记忆负荷影响Stroop冲突的具体机制。现有的关于工作记忆与Stroop冲突加工的研究表明，语义工作记忆负荷下Stroop效应消失的现象可能通过两种机制加以解释。一是早期调节，即工作记忆内容的维持与干扰刺激的低级视觉编码之间存在神经资源的竞争，从而阻碍冲突的早期形成。二是晚期调节，即相关和无关刺激的早期处理不受影响，工作记忆负荷主要影响更高级的语义编码与反应映射，以及随后的反应输出阶段。因此，本研究运用高时间分辨率的脑电技术，结合双任务范式（Sternberg工作记忆任务与Stroop任务），对该现象背后的神经机制进行探究。本研究同时收集了被试的行为和脑电数据，综合运用能够反映特定功能意义的事件相关电位 (event-related potential) 分析和时频 (time-frequency) 分析、探究在时间进程上如何对不同的大脑认知加工活动进行动态解码的多元模式分析 (multivariate pattern analysis) 以及能够表征神经响应水平相似程度的表征相似性分析 (representational similarity analyses) 等技术，深入探讨了言语工作记忆负荷消除Stroop效应的动态神经机制。图 时频分析结果研究结果表明，言语工作记忆负荷通过占用分心刺激加工晚期的刺激-反应映射资源，削弱了错误反应的映射，从而抑制反应输出，导致了Stroop冲突的消失。总的来说，本研究从时间动态的视角扩展了现有的工作记忆负荷理论。研究结果为理解冲突加工提供了新的视角，表明个体在早期阶段无法抑制对无关刺激的感知加工，但在加工晚期能够进行调节。重要的是，本研究发现工作记忆是实现这一调节的平台，在冲突加工晚期的刺激-反应映射阶段中存在关键作用，揭示了认知控制两个核心成分之间的密切关系。该论文的第一作者是上海体育大学今年世俱杯赛程时间表硕士研究生李亚芬，陈安涛教授为通讯作者。本研究得到国家自然科学基金项目（32371105）的资助。原文链接：https://elifesciences.org/articles/100918

2025年4月4日，今年世俱杯赛程时间表联合百度、美的与华东师范大学的最新研究成果“Towards Speaker-Unknown Emotion Recognition in Conversation Via Progressive Contrastive Deep Supervision”在IEEE Transactions on Affective Computing期刊在线发表（Early Access）。近年来，对话中的情感识别（ERC）因其在实际对话应用中感知用户情感的能力而受到越来越多的关注。大多数研究利用基于黄金标准说话者标签的说话者信息，以处理交替发言的不同说话者。本工作挑战了现有范式，即利用可用的说话者标签，提出了一种更现实的场景，即在推理过程中未知每个话语的说话者身份。本研究提出了渐进对比深度监督（PCDS），将说话者日志和情感识别整合到一个统一的框架中。为了促进联合任务学习，通过对比深度监督逐步注入说话者和情感偏差，任务无关的对比作为中间过渡。为了获得显式的说话者依赖关系，提出了说话者对比和聚类模块（SCC），即使在没有说话者标签或说话者数量未知的情况下，也能赋予网络将说话者分组的能力。图1：PCDS架构示意图研究动机对话中的情感识别（ERC）在实际对话应用中具有重要价值，但现有的研究大多依赖于已知的说话者标签，这在实际应用中难以满足。为了解决这一问题，本研究提出了一种在说话者身份未知的情况下进行情感识别的新方法。这一研究动机源于实际应用场景的需求，即在无法事先知道说话者身份的情况下，如何有效地进行情感识别，从而提升对话系统的性能和用户体验。研究贡献本研究提出了渐进对比深度监督（PCDS）框架，将说话者日志和情感识别任务整合到一个统一的框架中。通过在不同层次上逐步应用深度监督，PCDS不仅能够有效地建模说话者和情感的表示，还能调和两者之间的内在冲突。此外，引入了一个多模态说话者日志模块（SCC），能够在没有说话者标签的情况下进行说话者聚类，显式地建模说话者依赖关系。实验结果表明，PCDS在IEMOCAP和MELD两个多模态对话数据集上均取得了最先进的性能。图 2：四种监督框架示意图（LCE 表示交叉熵损失，LC 表示对比损失，PCDS 对中间层应用了相应的基于任务的对比损失。）研究创新本研究的创新点在于提出了一种渐进对比深度监督的方法，通过在不同层次上逐步注入任务偏向和任务无关的对比损失，有效地增强了网络的特征表示能力。此外，本研究设计了一个多模态说话者日志模块（SCC），结合音频查询融合和交叉注意力机制，实现了未知说话者的聚类。这一创新不仅解决了说话者未知带来的挑战，还为多模态情感识别提供了新的思路和技术手段。图3：用于说话人聚类的说话人对比和聚类模块（SCC），以及用于说话人信息建模的说话人感知编码器结    论本文提出了一种渐进对比深度监督（PCDS）框架，成功地解决了在说话者身份未知情况下进行情感识别的挑战。通过逐步在不同层次上应用深度监督，PCDS有效地调和了说话者和情感识别之间的内在冲突，并通过多模态说话者日志模块（SCC）实现了未知说话者的聚类。实验结果表明，PCDS在两个多模态对话数据集上均取得了最先进的性能。希望这一研究能够为未来的对话情感识别技术发展提供新的思路和方法。本研究也是系列工作的集大成，从最初的LGCCT门控语音情感识别技术（https://doi.org/10.3390/e24071010）开始，逐步探索了时空转移下的情感语音技术（https://doi.org/10.34133/icomputing.0073），再到细粒度语音情感识别（https://doi.org/10.1109/ICASSP48485.2024.10446974），最终演进到本研究。通过本系列的研究，逐步完善了在不同情境下的情感识别方法，为解决说话者未知情况下的多模态情感识别问题提供了坚实的基础，便于未来在行为实验中使用本技术展开进一步心理学与AI的交叉研究工作。刘峰助理研究员与周爱民教授为本文共同通讯作者，第一作者沈思源是刘峰助理研究员情感计算团队的早期成员，百度和今年世俱杯赛程时间表为共同第一单位。本项目得到了上海市科学技术委员会（批准号：22511105901）、国家自然科学基金委员会（批准号：32471151）、国家重点研发计划“主动健康和人口老龄化科技应对”重点专项（批准号：2024YFC3606802）以及北京大学行为与心理健康北京市重点实验室的支持。论文链接：https://ieeexplore.ieee.org/document/10949847/引用信息：S. Shen, F. Liu, H. Wang and A. Zhou, \\\"Towards Speaker-Unknown Emotion Recognition in Conversation Via Progressive Contrastive Deep Supervision,\\\" in IEEE Transactions on Affective Computing, doi: 10.1109/TAFFC.2025.3558222.

2025年3月31日，今年世俱杯赛程时间表和上海交通大学医学院附属精神卫生中心张洳源课题组的最新研究成果“A neural geometry approach comprehensively explains apparently conflicting models of visual perceptual learning”在Nature Human Behaviour杂志在线发表。近些年来，人工智能的热点问题是如何训练一个机器视觉系统帮助医生检测医学影像图片的病灶，而训练这样一个机器视觉系统一般需要大量的数据和标签，其效果会随着训练量的增大逐渐提高。这个机器视觉学习的过程也对应了人脑的知觉训练的过程。例如，一个年轻的影像科医生刚参加工作，会因为缺乏经验而不能检测出影像图片的异常。然而，随着长年累月工作经验的积累，该医生的视觉敏感度显著提高，能快速检查出哪怕很微小的病灶特征。大量的研究表明，人的知觉敏感度可以通过训练逐渐提高，这一过程在认知科学领域被称为知觉学习。可是训练如何提高人脑的信息加工，其背后的神经机制目前并不清楚。当医生的大脑看到一张影像图片时，大脑中多个脑区的许多神经元会发生复杂的活动，而医生判断一张图片是否有病灶依赖于神经元群体对图片的编码。前人研究发现知觉学习能显著提高人脑神经元对视觉刺激的编码，但是知觉学习如何改变单个神经元的活动特性，从而促进群体神经元的编码一直存在争议。前人研究提出了两种看似对立的假说，“调谐改变”假说认为学习直接改变了单个神经元的调谐曲线从而导致群体编码提高，而“相关改变”假说则认为学习改变神经元之间的反应相关从而促进了群体编码。但是目前到底哪种假说成立，以及是否还存在其他可能机制尚不清楚。在前期的研究中，张洳源课题组首先通过计算神经科学理论推导，证明了单个神经元的调谐偏好和神经元之间的相关都影响了群体编码，同时也提出神经元整体的反应方差是前人忽视的第三个影响因素(PLoS Compt Biol, 2021; J Neurosci, 2023)。基于这些发现构建了量化整合各个因素作用的计算框架。为了解决生理实验昂贵费时的难点，创新地引入了深度卷积神经网络来模拟灵长类视觉系统的知觉学习过程，通过对神经网络模型行为和神经表征的分析，解释了一系列经典的实验现象。对于神经网络中人工神经元的量化分析也表明，知觉学习提高神经元编码依靠的既不是调谐曲线也不是反应相关，而是系统地减少了神经元的反应方差(流形收缩理论)。这一结论挑战了前人的经典理论，为知觉学习的神经机制提供了新的理论解释。基于神经网络建模的结果，张洳源课题组和北京大学方方教授、李晟教授和浙江大学贾珂研究员合作利用磁共振技术在人脑的知觉学习数据上验证了这一猜想。同时，张洳源课题组还和纽卡斯尔大学的Alex Thiele教授、匹茨堡大学的Xing Chen教授和伊朗科学研究院Mehdi Sanayei教授共同开展了猕猴知觉学习的电生理实验。这些实验结果表明群体神经元表征流形收缩是深度卷积神经网络、人脑和猕猴三者一致的知觉学习机制。这项研究充分体现了AI for Neuroscience的思想，表明人工神经网络和灵长类生物视觉系统的学习机制存在紧密的内在联系。该论文的第一作者是张洳源课题组的访问本科生程宇昂(现为布朗大学脑与认知科学系博士生)，张洳源副研究员为通讯作者，今年世俱杯赛程时间表和上海交通大学医学院附属精神卫生中心国家精神健康研究中心脑健康研究院为共同第一单位。其中磁共振研究得到了北京大学方方教授、李晟教授和浙江大学贾珂研究员的支持，猕猴电生理的研究得到纽卡斯尔大学Alex Thiele教授、匹茨堡大学Xing Chen教授和伊朗科学研究院Mehdi Sanayei教授的支持。布朗大学Takeo Watanabe教授也做出了重要贡献。本项目得到了科技创新2030脑科学与类脑研究重大项目(2022ZD0204802)和国家自然科学基金(32441102、32100901、T2421004 、31930053和3230085) 等项目的支持。