如何让模型算法仅利用“少量、低质量的有标注样本”，就能实现或接近“大量、高质量、有标注数据的样本”所能达到的结果，是小样本学习领域的关键问题。为此，之江实验室前沿基础研究中心博士后邵帅为小样本计算研究提出了新思路。
他的思路是，通过利用已有基础模型资源的优势潜力，实现下游任务中小样本测试数据的精准分类。近日，该成果以《面向开放世界小样本学习的基础模型联合协作方法》（Collaborative Consortium of Foundation Models for Open-World Few-Shot Learning）为题，在计算机视觉领域国际顶级会议AAAI上发表。
邵帅认为，直接使用冻结参数的基础模型能够为计算研究节约大量时间和资源。他将那些已经训练好的基础模型比作“一本编纂好的百科全书”，将使用基础模型技术解决小样本学习问题的过程比作“查阅百科全书中与小样本学习相关的部分”。只是，是“从第一页开始慢慢找”还是“通过目录或全文检索”，不同检索方式带来的计算效率天差地别。
为此，邵帅等人提出了基于多种基础模型的协作方法（CO3），探索利用CLIP、GPT-3、DINO 和DALL-E四种基础模型开启智能计算。
基础模型协作方法流程图。图源：论文
在具体操作过程中，他们设计了四类模块分别用于模型间整合衔接。邵帅介绍说，首先将小样本数据输入标签校正块（LC-Block），通过设计原型结构，来对数据进行降噪。随后将校正数据送入数据增强块（DA-Block），增强模型在数据上的泛化性能，以获得更丰富的训练数据。接着，将清理后的原始数据和扩充数据输入特征提取块（FE-Block），得到数据的文本和图像特征。最后将这些特征与特别设计的TeFu-Adapter相融合调优，进一步减轻噪声标签对模型的影响，增强该方法的鲁棒性。
目前，该方法已在多个数据集上进行了大量实验，证明了CO3的可行性，甚至在数据质量越低、可用标签样本越少的情况下表征能力越优秀。如在噪声比例从0.0到1.0的区间范围内，每类只有一个可用标签样本的情况下，CO3在数据表达的准确性上能稳定达到62%以上，兼顾了性能与成本效率的平衡。
“如何弥合小样本学习技术与现实应用的缝隙，是我们下一阶段要攻克的难题。”邵帅表示，在之江实验室智能算力基础设施的支持下，未来他将进一步提高小样本学习算法的泛化能力，探索回应真实世界的需求场景，不断突破智能计算的极限。
注：相关文章发表于The Thirty-Eighth AAAI Conference on Artificial Intelligence (AAAI-24)，为会议发表论文
国际脑科学计划-细胞普查联盟（BICCN）近日发表了迄今为止最全面详细的小鼠完整大脑细胞类型的特性描述和分类，对大脑的结构 ·生产中的模型由“安全系统”团队管理。开发中的前沿模型有“准备”团队，该团队会在模型发布之前识别和量化风险 12月13至14日，在教育部、陕西省人民政府的支持下，由教育部学校规划建设发展中心主办，陕西省教育厅、西安建筑科技大学、绿 ■本报记者 冯丽妃 日本当地时间1月1日16时10分，日本西海岸石川县能登半岛发生7.6级地震，震源深度30公里。 截至 ? 夏培肃 （1923.7.28—2014.8.27），四川江津人 （今重庆江津），著名计算机专家和教育家，我国计算机研究的先驱和计算机事业 关于发布2023年度江西省社会科技奖备案目录的通知 各有关单位： 社会力量设奖是我省科学技术奖励工作的组成部分。为杜绝 。本文链接：新思路！学者使用基础模型化解小样本学习问题http://www.sushuapos.com/show-11-10410-0.html
声明：本网站为非营利性网站，本网页内容由互联网博主自发贡献，不代表本站观点，本站不承担任何法律责任。天上不会到馅饼，请大家谨防诈骗！若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。
上一篇： 我国年轻人肥胖相关癌症发病率急剧上升