近日，中国科学院软件研究所提出一种以泛化前门准则为基础的干预多模态表示学习方法（IMML），可提升多模态模型在模态不平衡场景下的性能。
在多模态任务中，不同模态对预测结果的贡献往往不平衡，可划分为主模态和辅助模态。现有方法普遍在训练过程中增强辅助模态，以缓解模态贡献不平衡的问题。而此类方法缺乏因果解释，且判别性知识挖掘能力有限。
针对上述问题，研究团队从结构因果模型角度建模多模态表示学习，提出在考虑辅助模态，并捕捉到主模态中判别性知识与真实标签间的因果关系。基于此，团队设计了β—泛化前门校正模块，通过构造非配对模态组合、随机控制不同模态的比例贡献，削弱辅助模态中潜在的噪声干扰。
IMML包含模态判别性知识探索模块，通过构建模态判别性知识网络，为特征维度分配权重，以挖掘对任务真正有用的判别性知识。
团队进一步在多模态数据集上评估IMML的性能。实验结果表明，引入IMML后，在多个评估设置下基准多模态学习方法的性能得到提升。上述结果验证了IMML在提升多模态表征判别能力与噪声鲁棒性方面的有效性。
相关论文被IEEE Transactions on Multimedia录用。
论文链接
方法架构图
近日，郑州大学物理学院、中原之光实验室宋继中教授团队在钙钛矿量子点闪烁体研究方向取得重要进展，实现了兼具亮和快的钙 约翰·霍普克罗夫特 ■约翰·霍普克罗夫特 编者按 作为中国高等教育界的老朋友，早在2011年，图灵奖得主约 11月6日，教育部党组书记、部长怀进鹏调研中国石油大学（北京）、中央财经大学，了解学校服务国家战略、培养拔尖创新人才、科学研究、学科建设、国际交流合作等情况。他强调，高校要瞄准国家重大战略发展需求，提升人才自主 中国教育报-中国教育新闻网讯（记者 刘玉）记者近日获悉，辽宁在全省14个市共设计了46条精品研学路线，并由鲁迅美术学院全国高校黄大年式教师团队设计制作了14张研学路线图，以此进一步丰富中小学研学 中国教育报-中国教育新闻网青岛11月11日讯（记者 刘淼）记者从今天举行的青岛市基础教育扩优提质新闻发布会上获悉，青岛市教育系统近年来加快构建学位充足、布局合理、资源优质的基础教育公共服务 编者按：博士研究生教育是国民教育的最高层次，是国家创新体系的关键支撑。近日，中共中央办公厅、国务院办公厅印发《关于加快推动博士研究生教育高质量发展的意见》，对持续深化博士研究生教育综合 。本文链接：研究提出干预多模态表示学习方法http://www.sushuapos.com/show-12-4138-0.html
声明：本网站为非营利性网站，本网页内容由互联网博主自发贡献，不代表本站观点，本站不承担任何法律责任。天上不会到馅饼，请大家谨防诈骗！若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。