近日,第十届开放环境下情感行为分析国际挑战赛(简称10th ABAW)最终成绩正式公布。云知声携手中国科学技术大学於俊副教授团队表现亮眼,在情绪模仿强度估计赛道(Emotional Mimicry Intensity Estimation,EMI)和动作单元检测赛道(Action Unit Detection,AU)中斩获冠军,在表情识别赛道(Expression Recognition,EXPR)中荣获季军,交出两冠一季的优异答卷。依托赛事技术成果,联合团队三篇创新论文也在CVPR2026Workshop正式发表,彰显国内团队在情感计算与多模态理解领域的强劲实力。
CVPR是计算机视觉领域全球知名会议,ABAW作为其核心专题赛事,聚焦开放环境人类情感行为分析,是情感计算领域极具影响力的国际竞赛。本届赛事设置表情识别、动作单元检测、情绪模仿强度估计等六大挑战性任务,吸引了全球各地高校、科研机构与科技企业同台竞技。人类情感行为分析依托视觉、语音、文本等多模态信息解读情绪与行为,是自然人机交互的核心方向,在智能助手、数字人、心理健康评估等领域拥有广阔应用前景。
多模态技术创新突破,攻克真实场景难点
针对开放环境下信号噪声、模态缺失、长时序依赖等行业痛点,联合团队针对不同赛道场景定制创新算法框架,实现技术突破。在情绪模仿强度估计(EMI)赛道,团队提出TAEMI框架,打破传统融合模式,将文本作为稳定语义锚点,通过文本锚定双交叉注意力机制完成视觉、语音信号对齐融合,搭配可学习缺失模态标记与模态随机丢弃策略,大幅提升模型在信号受损、模态缺失场景下的稳定性,该方案在Hume-Vidmimic2数据集上性能远超现有基线。
动作单元检测(AU)赛道方面,团队搭建层次粒度对齐与状态空间建模框架。该框架采用DINOv2、WavLM两大基础模型提取音视频特征,借助层次粒度对齐模块关联局部面部动作与全局语义,并引入Vision-Mamba架构实现线性复杂度的超长时序建模,结合语音引导状态空间机制,深度融合音视频线索,有效解决人脸姿态多变、长时序建模困难等问题。
补齐识别短板,完善技术体系布局
在表情识别(EXPR)赛道,团队聚焦视觉遮挡、模态缺失与样本类别不均衡三大难题,研发双分支Transformer框架。该框架通过双分支结构分别处理视觉、语音特征,利用交叉注意力实现跨模态交互;创新安全注意力机制,保障视觉信号缺失时模型可依托语音正常推理。同时,团队采用焦点损失函数缓解数据长尾问题,并结合滑动窗口软投票策略优化长视频预测效果,有效提升复杂场景下表情识别的准确率与鲁棒性,最终斩获该赛道季军。
长期以来,云知声与中国科大围绕多模态人工智能、情感计算开展深度产学研合作,持续推动技术落地。此次在ABAW赛事取得多项佳绩,既是双方技术积累的集中体现,也为开放环境情感行为分析提供了全新思路。(咸宁新闻网)
新快报讯 3月1日0时起,珠江流域将进入为期4个月的禁渔期,届时珠海市珠海大桥、泥湾门大桥、鸡啼门大桥、南门大桥为界向珠江一侧,昌盛桥为界向前山河一侧水域,除娱乐性垂钓外,在规定的禁渔区和禁渔期内,禁止所有捕捞作业。 据新华社电 5日提请审议的政府工作报告提出,坚持以人民为中心的发展思想,履行好保基本、兜底线职责,采取更多惠民生、暖民心举措,扎实推进共同富裕,促进社会和谐稳定,不断增强人民群众的获得感、幸福感、安全感。 今年的政 南方财经全媒体见习记者林鹏 实习生 陈聪 张梦琦 广州报道南粤春来早,植树正当时。眼下正是植树造林的黄金时节,广东各地掀起了春季植树的热潮。据统计,今年以来截至2月底,全省乡村绿化 21世纪经济报道记者张梓桐 北京报道21世纪经济报道记者注意到,今年《政府工作报告》(以下简称《报告》)提到对2024年经济增长目标设定在5%左右,强调今年我国发展面临的环境仍是战略机遇 南方财经全媒体记者 翁榕涛 广州报道广东基金业协会提供的最新数据显示,截至2024年1月末,广东省(不含深圳)共有私募基金管理人1674家,较上月减少5家,注销8家,新登记3家);管理基金数量12617 南方财经全媒体记者田静 实习生田静雯 澳门报道3月4日,2024年全国两会正式拉开帷幕。澳区全国人大代表、澳门街坊会联合总会会长吴小丽持续关注社会民生及粤澳两地融合发展问题。“随 。本文链接:CVPR2026 10th ABAW赛事收官,云知声联合中国科大斩获两冠一季http://www.sushuapos.com/show-1-63762-0.html
声明:本网站为非营利性网站,本网页内容由互联网博主自发贡献,不代表本站观点,本站不承担任何法律责任。天上不会到馅饼,请大家谨防诈骗!若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。
上一篇: 《政声直达》2026年7月8日
下一篇: “河北净菜”热销京城