近日，中国科学院软件研究所天基综合信息系统全国重点实验室研究团队的一项研究成果，聚焦元学习的学习机制与任务采样，有助于模型泛化与迁移性能的提升，被被人工智能领域顶级国际会议IJCAI接收。
元学习旨在从有限的数据中构建多样化的训练任务来学习一般知识，然后迁移到新的任务中。传统观点认为，训练任务越多样，模型的泛化能力越好。然而，研究团队通过结构因果模型实验发现，在元学习机制下的任务最佳分类器不仅是利用因果因子进行决策，同时还会受到非因果因子的干预，即元学习中特定任务的因果因子和标签之间有虚假相关性，这些任务混杂因子会引起任务负迁移，从而影响泛化性能。
基于上述发现，研究团队提出了一种元学习因果表示学习器MetaCRL，用来消除任务混杂因子。MetaCRL由两个模块组成：解耦模块和因果模块。解耦模块首先通过学习语义矩阵获得整个生成因子，然后使用分组函数获取与每个任务相关的生成因子子集，旨在获得所有与任务相关的生成因子以及与单个任务相关的特定任务生成因子；因果模块则负责确保生成因子的真实因果关系，即基于因果不变性定理以及同一模型可以在不同分布中学习因果相关性，一方面是对表现出分布变化的多个训练数据集强制执行不变性，另一方面是通过简单的双层优化来保证解耦模块获得的语义矩阵和分组函数得到的生成因子具有真实因果关系。
MetaCRL能应用于各种元学习框架，通过交替优化MetaCRL与元学习模型，使元学习基于真实因果因子学习各种任务的通用知识，从而消除任务混杂因子。研究团队进一步在各种下游任务上进行了分类、回归、预测等广泛实验。结果表明，引入MetaCRL的各种元学习基线方法都获得了稳定的性能提升。此外，在多个基准数据集的知识迁移实验中进一步证明了MetaCRL消除任务混杂的有效性。
该论文共同第一作者为硕士生王婧瑶、副研究员任懿，通讯作者为特别研究助理强文文。
相关论文信息：https://arxiv.org/abs/2312.05771
代码地址：https://github.com/WangJingyao07/MetaCRL
近日，全国教育信创与密码行业产教融合共同体成立大会及新疆职业院校产教融合人才培养论坛于在乌鲁木齐举办。 航天 ·生产中的模型由“安全系统”团队管理。开发中的前沿模型有“准备”团队，该团队会在模型发布之前识别和量化风险 人工智能初创企业OpenAI的董事会将有权否决公司CEO推出新版本模型的决定。 当地时间12月18日，OpenAI在官方网站发布了 当地时间12月17日，美国国家航天航空局（NASA）发表声明称，受不利的天气情况影响，美国国家航天航空局和太空探索技术公司（Spa 12月19日，湖北省医工交叉创新大会暨首届医疗器械科技成果展示交易会上，湖北金融赋能医工交叉创新发展计划发布。据悉，截至 ·“这项研究似乎说明，长期生活在食品不安全的状况中所带来的危害是没那么容易逆转的。研究也表明，对于那些因 。本文链接：科学家找到提升元学习泛化性能新方法http://www.sushuapos.com/show-11-10089-0.html
声明：本网站为非营利性网站，本网页内容由互联网博主自发贡献，不代表本站观点，本站不承担任何法律责任。天上不会到馅饼，请大家谨防诈骗！若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。
上一篇： 新研究揭示太平洋俯冲板片与上地幔变形特征