近日，中国科学院软件研究所科研团队提出了小批量数据采样策略，可消除由不可观测变量语义引起的虚假关联对表征学习的干扰，来提升自监督学习模型分布外泛化能力。
自监督学习的分布外泛化能力是指模型在面对与训练数据分布不同的测试数据时，仍能够保持良好性能。简单来说，模型需要在“未见过”的数据分布上表现得和在训练数据上一样好。但是，有研究发现，自监督学习模型在训练过程中受到与学习任务无关的不可观测变量的语义干扰，从而削弱分布外泛化能力。
该研究基于因果效应估计等手段，提出小批量数据采样策略，来消除不可观测变量语义干扰的混杂影响。这一策略通过学习隐变量模型，来估计在给定“锚点”样本的条件下，不可观测语义变量的后验概率分布，将其记为平衡分数。进而，该策略将具有相同或相近平衡分数的样本对划分为同一个小批量数据集，确保每个小批量数据集内的不可观测语义变量与“锚点”样本在条件上是独立的，从而帮助模型避免学习到虚假关联，提升模型的分布外泛化能力。
进一步，该研究在基准数据集上进行了广泛实验。所有实验均仅替换批次生成机制，无需调整模型架构或超参数。实验显示，这一采样策略使当前主流自监督学习方法在各类评估任务上至少提高2％的表现。具体而言，在ImageNet 100和ImageNet的分类任务中，Top 1和Top 5准确率均超越自监督方法SOTA；在半监督场景下的分类任务中，Top 1和Top 5准确率分别提升超3％和2％；目标检测与实例分割迁移学习任务中，各项平均精度均获得稳定增益；对于Omniglot、miniImageNet和CIFAR FS等少样本转移学习任务，性能提升超5％。实验表明，这一采样策略可以弱化虚假关联、强化因果学习，并能够提升分布外泛化能力。
相关研究成果被CCF-A类人工智能顶级学术会议International Conference on Machine Learning（ICML-25）接收。
论文链接
在中国海洋大学建校100周年之际，习近平总书记给中国海洋大学全体师生回信，向全校师生员工、广大校友致以祝贺，强调“加强原创性、引领性海洋科技攻关，努力培养更多胸怀蓝色梦想、堪当时代重任的优秀海洋人才”。 当地时间11月1日，教育部副部长陈杰在巴西福塔莱萨出席二十国集团（G20）教育部长会议和2024年全球教育会议期间，会见英国教育部国务大臣雅基·史密斯。双方就尽快重启中英教育部长级磋商机制达成一致，并同意在此基础上探 新华网北京11月14日电 今日，教育部举办新闻发布会， 教育部职业教育与成人教育司司长彭斌柏介绍了我国职业教育改革发展的总体情况。彭斌柏介绍，党的十八大以来，在以习近平同志为核心的党中央坚强 新华社利马/西安11月13日电 “天涯若比邻”——这句唐朝诗人王勃的千古名句，既是8年前秘鲁国家考古人类学历史博物馆“华夏瑰宝展”的主题，也是多年来中国和秘鲁传统友好、民心相亲的生动写照 学龄前时期是儿童身心发展的重要阶段，学前教育是国民教育体系的重要组成部分。习近平总书记强调：“要加强对基础教育的支持力度，办好学前教育。”为实现“幼有所育”，规范和促进学前教育发展，满足 中国教育报-中国教育新闻网讯（记者 梁丹）11月6日，北京电子科技职业学院召开“三全育人”工作大会。学校师生，参与协同育人的企业、科研院所、政府机构代表齐聚北电科，共同探讨职业院校“三全育人 。本文链接：软件所提出小批量数据采样策略http://www.sushuapos.com/show-12-1181-0.html
声明：本网站为非营利性网站，本网页内容由互联网博主自发贡献，不代表本站观点，本站不承担任何法律责任。天上不会到馅饼，请大家谨防诈骗！若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。