近日,第十届开放环境下情感行为分析国际挑战赛(简称10th ABAW)最终成绩正式公布。云知声携手中国科学技术大学於俊副教授团队表现亮眼,在情绪模仿强度估计赛道(Emotional Mimicry Intensity Estimation,EMI)和动作单元检测赛道(Action Unit Detection,AU)中斩获冠军,在表情识别赛道(Expression Recognition,EXPR)中荣获季军,交出两冠一季的优异答卷。依托赛事技术成果,联合团队三篇创新论文也在CVPR2026Workshop正式发表,彰显国内团队在情感计算与多模态理解领域的强劲实力。
CVPR是计算机视觉领域全球知名会议,ABAW作为其核心专题赛事,聚焦开放环境人类情感行为分析,是情感计算领域极具影响力的国际竞赛。本届赛事设置表情识别、动作单元检测、情绪模仿强度估计等六大挑战性任务,吸引了全球各地高校、科研机构与科技企业同台竞技。人类情感行为分析依托视觉、语音、文本等多模态信息解读情绪与行为,是自然人机交互的核心方向,在智能助手、数字人、心理健康评估等领域拥有广阔应用前景。
多模态技术创新突破,攻克真实场景难点
针对开放环境下信号噪声、模态缺失、长时序依赖等行业痛点,联合团队针对不同赛道场景定制创新算法框架,实现技术突破。在情绪模仿强度估计(EMI)赛道,团队提出TAEMI框架,打破传统融合模式,将文本作为稳定语义锚点,通过文本锚定双交叉注意力机制完成视觉、语音信号对齐融合,搭配可学习缺失模态标记与模态随机丢弃策略,大幅提升模型在信号受损、模态缺失场景下的稳定性,该方案在Hume-Vidmimic2数据集上性能远超现有基线。
动作单元检测(AU)赛道方面,团队搭建层次粒度对齐与状态空间建模框架。该框架采用DINOv2、WavLM两大基础模型提取音视频特征,借助层次粒度对齐模块关联局部面部动作与全局语义,并引入Vision-Mamba架构实现线性复杂度的超长时序建模,结合语音引导状态空间机制,深度融合音视频线索,有效解决人脸姿态多变、长时序建模困难等问题。
补齐识别短板,完善技术体系布局
在表情识别(EXPR)赛道,团队聚焦视觉遮挡、模态缺失与样本类别不均衡三大难题,研发双分支Transformer框架。该框架通过双分支结构分别处理视觉、语音特征,利用交叉注意力实现跨模态交互;创新安全注意力机制,保障视觉信号缺失时模型可依托语音正常推理。同时,团队采用焦点损失函数缓解数据长尾问题,并结合滑动窗口软投票策略优化长视频预测效果,有效提升复杂场景下表情识别的准确率与鲁棒性,最终斩获该赛道季军。
长期以来,云知声与中国科大围绕多模态人工智能、情感计算开展深度产学研合作,持续推动技术落地。此次在ABAW赛事取得多项佳绩,既是双方技术积累的集中体现,也为开放环境情感行为分析提供了全新思路。(咸宁新闻网)
29日,法国农民驾驶拖拉机封锁了巴黎南部的高速公路由于对 *** 农业政策不满,法国农民响应工会号召,从28日起从外省向巴黎进发,准备“无限期”包围巴黎(法新社)本报驻法国特派记者 尚凯元 本报特约记者 董 铭。 “我 新快报讯 因债务问题,万科再次陷入风波中。新快报记者从万科方面获悉,针对投资者关注万科能否到期偿付3月11日到期的美元债,万科方面回应称,美元债VNKRLE 5.35 03/11/24(XS1917548247)所有资金已经到位,偿债工作在有序铺排 在今年的政府工作报告中,为系统解决强国建设、民族复兴进程中一些重大项目建设的资金问题,从今年开始拟连续几年发行超长期特别国债,专项用于国家重大战略实施和重点领域安全能力建设,今年先发行1万亿元。 适度加力 促进 2024年3月5日,北京玻色量子科技有限公司(以下简称“玻色量子”)与深圳华大生命科学研究院(以下简称“华大研究院”)达成战略合作。此次签约,恰逢十四届全国人大二次会议,李强总理作政府工作报告时提出:在未来 几乎所有成功的品牌,都有一句超级广告语。比如,高奢珠宝品牌戴尔比斯的“钻石恒久远,一颗永留传”;中国饮料龙头农夫山泉的“农夫山泉,有点甜”;凉茶领导者王老吉的“怕上火喝王老吉”;法国白兰地酒人头马XO 在当下这个充满变革与创新的时代,“新质生产力”正成为推动社会进步的重要力量。新质生产力以其高科技、高效能、高质量的特性,正在逐渐替代传统的经济增长方式和生产力发展路径,引领着各行各业走向更加 。本文链接:CVPR2026 10th ABAW赛事收官,云知声联合中国科大斩获两冠一季http://www.sushuapos.com/show-1-63762-0.html
声明:本网站为非营利性网站,本网页内容由互联网博主自发贡献,不代表本站观点,本站不承担任何法律责任。天上不会到馅饼,请大家谨防诈骗!若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。
上一篇: 《政声直达》2026年7月8日
下一篇: “河北净菜”热销京城