近日，中国科学院软件研究所提出一种以泛化前门准则为基础的干预多模态表示学习方法（IMML），可提升多模态模型在模态不平衡场景下的性能。
在多模态任务中，不同模态对预测结果的贡献往往不平衡，可划分为主模态和辅助模态。现有方法普遍在训练过程中增强辅助模态，以缓解模态贡献不平衡的问题。而此类方法缺乏因果解释，且判别性知识挖掘能力有限。
针对上述问题，研究团队从结构因果模型角度建模多模态表示学习，提出在考虑辅助模态，并捕捉到主模态中判别性知识与真实标签间的因果关系。基于此，团队设计了β—泛化前门校正模块，通过构造非配对模态组合、随机控制不同模态的比例贡献，削弱辅助模态中潜在的噪声干扰。
IMML包含模态判别性知识探索模块，通过构建模态判别性知识网络，为特征维度分配权重，以挖掘对任务真正有用的判别性知识。
团队进一步在多模态数据集上评估IMML的性能。实验结果表明，引入IMML后，在多个评估设置下基准多模态学习方法的性能得到提升。上述结果验证了IMML在提升多模态表征判别能力与噪声鲁棒性方面的有效性。
相关论文被IEEE Transactions on Multimedia录用。
论文链接
方法架构图
港理工大学吴波与中国空间技术研究院北京卫星环境工程研究所研究员董杰等合作，研究认为火星表面发现的沉积矿床或来 本报北京11月14日讯（记者 高毅哲）今天，教育部、人力资源社会保障部召开2025届全国普通高校毕业生就业创业工作会议，以习近平新时代中国特色社会主义思想为指导，深入贯彻党的二十届三中全会精 在第十五届中国航展期间，首次实装参展的中国海军和首批舰载机女飞行学员——韩梦和王梦迪，成为关注的焦点。两位“00后”舰载机女飞行学员主要负责在室内场馆的人民海军展厅进行招飞政策宣讲、 新华网北京11月14日电 今日，教育部举办新闻发布会， 教育部职业教育与成人教育司司长彭斌柏介绍了我国职业教育改革发展的总体情况。彭斌柏介绍，党的十八大以来，在以习近平同志为核心的党中央坚强 近年来，学前教育得到快速发展，但仍是国民教育体系的薄弱环节，需要通过立法，贯彻落实党中央、国务院决策部署，破解突出问题，为学前教育高质量发展提供法治保障。在此背景下，《中华人民共和国学前教育 中国教育报-中国教育新闻网讯（记者 周洪松 通讯员 焦洛 王志超 范胜利）为提高师生消防安全意识，普及消防安全知识，日前，河北省石家庄市平山县通过新媒体平台为广大师生上了一堂别开生面的“消防安 。本文链接：研究提出干预多模态表示学习方法http://www.sushuapos.com/show-12-4138-0.html
声明：本网站为非营利性网站，本网页内容由互联网博主自发贡献，不代表本站观点，本站不承担任何法律责任。天上不会到馅饼，请大家谨防诈骗！若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。