近日,第十届开放环境下情感行为分析国际挑战赛(简称10th ABAW)最终成绩正式公布。云知声携手中国科学技术大学於俊副教授团队表现亮眼,在情绪模仿强度估计赛道(Emotional Mimicry Intensity Estimation,EMI)和动作单元检测赛道(Action Unit Detection,AU)中斩获冠军,在表情识别赛道(Expression Recognition,EXPR)中荣获季军,交出两冠一季的优异答卷。依托赛事技术成果,联合团队三篇创新论文也在CVPR2026Workshop正式发表,彰显国内团队在情感计算与多模态理解领域的强劲实力。
CVPR是计算机视觉领域全球知名会议,ABAW作为其核心专题赛事,聚焦开放环境人类情感行为分析,是情感计算领域极具影响力的国际竞赛。本届赛事设置表情识别、动作单元检测、情绪模仿强度估计等六大挑战性任务,吸引了全球各地高校、科研机构与科技企业同台竞技。人类情感行为分析依托视觉、语音、文本等多模态信息解读情绪与行为,是自然人机交互的核心方向,在智能助手、数字人、心理健康评估等领域拥有广阔应用前景。
多模态技术创新突破,攻克真实场景难点
针对开放环境下信号噪声、模态缺失、长时序依赖等行业痛点,联合团队针对不同赛道场景定制创新算法框架,实现技术突破。在情绪模仿强度估计(EMI)赛道,团队提出TAEMI框架,打破传统融合模式,将文本作为稳定语义锚点,通过文本锚定双交叉注意力机制完成视觉、语音信号对齐融合,搭配可学习缺失模态标记与模态随机丢弃策略,大幅提升模型在信号受损、模态缺失场景下的稳定性,该方案在Hume-Vidmimic2数据集上性能远超现有基线。
动作单元检测(AU)赛道方面,团队搭建层次粒度对齐与状态空间建模框架。该框架采用DINOv2、WavLM两大基础模型提取音视频特征,借助层次粒度对齐模块关联局部面部动作与全局语义,并引入Vision-Mamba架构实现线性复杂度的超长时序建模,结合语音引导状态空间机制,深度融合音视频线索,有效解决人脸姿态多变、长时序建模困难等问题。
补齐识别短板,完善技术体系布局
在表情识别(EXPR)赛道,团队聚焦视觉遮挡、模态缺失与样本类别不均衡三大难题,研发双分支Transformer框架。该框架通过双分支结构分别处理视觉、语音特征,利用交叉注意力实现跨模态交互;创新安全注意力机制,保障视觉信号缺失时模型可依托语音正常推理。同时,团队采用焦点损失函数缓解数据长尾问题,并结合滑动窗口软投票策略优化长视频预测效果,有效提升复杂场景下表情识别的准确率与鲁棒性,最终斩获该赛道季军。
长期以来,云知声与中国科大围绕多模态人工智能、情感计算开展深度产学研合作,持续推动技术落地。此次在ABAW赛事取得多项佳绩,既是双方技术积累的集中体现,也为开放环境情感行为分析提供了全新思路。(咸宁新闻网)
新华社北京3月5日电 国务院总理李强5日在政府工作报告中介绍今年政府工作任务时提出,切实保障和改善民生,加强和创新社会治理。坚持以人民为中心的发展思想,履行好保基本、兜底线职责,采取更多惠民生、暖民心举措,扎实推进 3月5日上午,北京人民大会堂,十四届全国人大二次会议开幕。首位盲人全国人大代表王永澄,拿到一份特别的政府工作报告—— 雪白的8K纸,环形装订,上面有序排列着凹凸的盲文…… 王永澄代表一边认真聆听报告,一边用双手仔细摩挲 南方财经全媒体记者卓皙雯 马嘉璐 广州报道3月5日,十四届全国人大二次会议开幕。2024年政府工作报告提到:要健全数据基础制度,大力推动数据开发开放和流通使用;适度超前建设数字基础设施 据海关统计,2024年前2个月,我国货物贸易(下同)进出口总值6.61万亿元人民币,同比(下同)增长8.7%。其中,出口3.75万亿元,增长10.3%;进口2.86万亿元,增长6.7%;贸易顺差8908.7亿元,扩大23.6%。按美元 21世纪经济报道记者张梓桐 北京报道21世纪经济报道记者注意到,今年《政府工作报告》(以下简称《报告》)提到对2024年经济增长目标设定在5%左右,强调今年我国发展面临的环境仍是战略机遇 21世纪经济报道记者 缴翼飞 北京报道加快发展新质生产力写入今年的政府工作报告,并被列为2024年十大工作任务的首位。当前为何要加快发展新质生产力?如何发展新质生产力?今年两会期间,21 。本文链接:CVPR2026 10th ABAW赛事收官,云知声联合中国科大斩获两冠一季http://www.sushuapos.com/show-1-63762-0.html
声明:本网站为非营利性网站,本网页内容由互联网博主自发贡献,不代表本站观点,本站不承担任何法律责任。天上不会到馅饼,请大家谨防诈骗!若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。
上一篇: 《政声直达》2026年7月8日
下一篇: “河北净菜”热销京城