近日， IEEE/CVF计算机视觉国际顶级会议——CVPR 2024公布第六届开放环境下情感行为分析国际挑战赛（The 6th Workshop and Competition on Affective Behavior Analysis in-the-wild，简称ABAW6）成绩。由中国科学技术大学信息学院自动化系於俊老师带队的中国科学技术大学与云知声共同组队，一举夺得人脸情绪识别（Expression Recognition, EXPR）、复合情绪识别（Compound Expression Recognition, CE）、情绪模仿强度估计（Emotional Mimicry Intensity Estimation, EMI）三个赛道季军。以此竞赛为基础，联合团队将最新的研究成果整理成多篇学术论文，并在 CVPR workshop 上发表和分享。
CVPR会议是由IEEE主办的计算机视觉和模式识别领域的国际学术盛会，其汇集了全球该领域内最前沿的研究成果和技术进展，是全球计算机视觉领域的三大顶级会议之一。
ABAW赛事是专注于开放环境下（in-the-wild）的情感行为分析的国际赛事，其致力于推动计算机视觉技术在开放环境下对人类情感行为的分析能力，进而增强人机交互系统在多样化场景中的应用性和适应性，至今已成功举办六届,成为全球范围内学术翘楚与业界巨头的汇聚之地，吸引了包括南加州大学、中国科学技术大学、南洋理工大学、莱斯特大学、清华大学、天翼云、俄罗斯科学院、加拿大蒙特利尔计算机研究所、美国普渡大学等在内的诸多研究团队和行业专家参与其中。在最新一届的赛事中，中国科大-云知声联合团队从众多实力强劲的参赛队伍中脱颖而出，充分展现其在情感行为分析赛道的领先实力。
人类情感行为分析旨在通过多种模态信息（视觉、听觉、文本等模态）来捕获人类有关表情和情绪的状态，从而分析人类内心的潜在目的或心理状况。该领域致力于自动识别、理解和解释人类情感表达和行为，以及将其应用于情感识别、人机交互、心理健康等领域。
人类情感行为分析是一门跨学科领域，它综合运用视觉、听觉、文本等多种模态信息来捕捉和解析人类表情和情绪状态，以此实现对人类情感表达和行为的自动检测、深入理解与精确解释，进而推动情感识别、人机交互、心理健康监测等一系列应用的发展。
ABAW6涵盖了面部表情分析相关的多个挑战项目，包括AU、EXPR和VA三个传统挑战赛道，此外，今年ABAW6还新增了混合情绪识别（CE）和情绪模仿强度估计（EMI）两个全新赛道——CE赛道提供56个无任何标注的视频，要求参赛者利用已有的数据资源和预训练模型预测其中的7种混合情绪；而EMI赛道则要求参赛者分析模仿者的视频，以推断原始“源”视频中所表达的情感强度。五个赛道各有千秋，拥有各自独特应用价值的同时，也带来不同的挑战。
针对EXPR赛道数据集规模有限的挑战，研究团队采用了半监督学习技术。该技术通过为未标记的面部数据生成表情类别伪标签，扩充了训练数据集，从而提升了模型的泛化能力和识别精度。同时，研究团队针对数据集中的类别不平衡问题和半监督学习中可能存在的数据偏差，引入了去偏反馈学习策略，有效提升了模型的稳健性和准确性。为了进一步弥补仅从静态图像获取特征的局限性，研究团队还引入了时间编码器（Temporal Encoder）。该组件能够学习和捕捉相邻表情图像特征之间的时间关系，从而增强了模型对面部表情随时间变化的动态理解能力。
针对CE赛道人类情绪表达变得复杂的挑战，需要同时考虑局部和全局的面部表情来做出判断，研究团队提出了一种基于集成学习的解决方案，采用卷积网络、视觉Transformer和多尺度局部注意网络分别训练三个表情分类模型，并通过后期融合技术将它们的输出合并，以综合考量局部和全局表情特征，从而显著提升了在RAF-DB数据集上的识别准确度。此外，方法还展示了在C-EXPR-DB数据集上部分区域实现零样本学习的能力，为复合表情识别的进一步研究和应用提供了新的方法和视角。
针对EMI赛道数据集中情感表达的复杂性和多样性的挑战，研究团队基于ResNet18和面部动作单元（AUs）提取了丰富的双通道视觉特征用于视频模态，以及基于Wav2Vec2.0提取了有效的单通道音频特征用于音频模态。这使我们能够获得视听模态下综合的情感特征。此外，通过后期融合策略，我们对视觉和声学模型的预测进行了平均，从而更准确地估计了视听情感模仿强度。
作为这些成果的延续与总结，研究团队将这些研究成果整理成四篇学术论文，并于国际顶级（CVPR）会议上发表。
继2023年发布山海大模型以来，云知声持续推动AGI技术在智慧物联、智慧医疗等领域全面应用。基于山海大模型，云知声持续拓展智能体(Agent)、检索增强生成(RAG)及多模态融合能力，积极探索更广泛的应用场景，并先后入选北京市通用人工智能十大模型伙伴及大模型十大应用案例，成为大模型领域的佼佼者。这次技术评测，是云知声多模态能力拓展的重要阶段性成果。
展望未来，中国科大-云知声联合团队将继续秉持技术创新的精神，积极推动情感行为分析技术的研发与升级，打造更加真实、生动且富有情感温度的人机智能对话世界。（咸宁新闻网）
近日，法大大与企业绿色发展研究院联合发布了《2023年签约减碳与低碳办公白皮书》，该白皮书基于《低碳办公评价》标准倡导的创新减碳技术应用方向，深入剖析企业低碳办公场景及签约减碳价值。为践行“双碳 近日，贾跃亭炮轰丁磊和高合汽车，指责其盗窃知识产权，给FF带来巨额经济损失，严重破坏了行业的创新源动力，扭曲了行业的价值观。贾跃亭表示，这种行为是行业的耻辱，呼吁法院判令丁磊和高合汽车赔偿巨额商业损失，并停止侵权行为。 阴和俊 科技部部长 2023年全国研发经费投入超过3.3万亿元，在量子技术、集成电路、人工智能、生物医药、新能源等领域取得一批重大原创成果，把对青年科技人才的培养作为一项长期的战略性工作……在5日举行的十四 南财智库研究员 梁施婷为期40天的春运于3月5日结束。据交通运输部消息，2024年春运期间全社会跨区域人员流动量预计超84亿人次。其中，铁路客运量预计完成4.8亿人次。另据统计，广铁集团累 南方财经全媒体记者梁施婷 北京报道在全球高科技争夺战中，集成电路相关技术和产业已成为“兵家必争之地”，中国摆脱高端芯片进口依赖愈发紧迫。锚定集成电路产业发展面临的人才紧缺 新华社北京3月7日电 中共中央政治局委员、外交部长王毅7日在两会记者会上就中美关系阐明中方原则立场。（直播 | 十四届全国人大二次会议举行外交主题记者会） 王毅表示，中美关系关乎两国人民福祉，关乎人类和世界前途。无 。本文链接：中国科大-云知声联合团队斩获CVPR2024三项季军http://www.sushuapos.com/show-1-17840-0.html
声明：本网站为非营利性网站，本网页内容由互联网博主自发贡献，不代表本站观点，本站不承担任何法律责任。天上不会到馅饼，请大家谨防诈骗！若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。