近日，中国科学院软件研究所天基综合信息系统全国重点实验室研究团队提出了一种新颖的提示学习方法BayesPrompt，该方法通过探索以去偏方式近似下游任务的完整训练域，为预训练语言模型提供去歧义指导。相关论文被机器学习领域顶级学术会议ICLR 2024接收。
研究人员认为，学习范式长期存在的问题之一是下游域的训练样本中仅包含有限且离散的语义信息，无法较好地支持传统可训练提示获得足够监督，使得生成的提示对预训练语言模型的指导变得微乎其微。这个问题导致了预训练语言模型在下游域，尤其在少样本场景下性能的下降。
为此，研究团队从分布视角重新审视了预训练语言模型下游推理的原理，认为训练样本的有限会使得可训练提示只学习到目标域的有偏分布，而有偏分布仅包含部分信息且与目标域的实际分布不一致，这会引起协变量偏移问题，从而导致预训练语言模型产生知识歧义。
此次新提出的BayesPrompt旨在进行去偏域抽象，利用已知分布来近似下游域的去偏真实分布，再从近似分布中均匀采样代表性特征以生成对预训练语言模型（PLMs）的提示。研究团队通过进一步的理论验证，证明了与基准方法相比，BayesPrompt在预训练语言模型的下游推理上获得了更紧致的分类误差上界。此外，在少样本数据集设置下的实验结果进一步证明了BayesPrompt的有效性。
相关论文信息：https://arxiv.org/abs/2401.14166
代码地址：https://github.com/FF2127/bayesprompt
科技日报北京12月18日电 （记者刘霞）据美国趣味科学网站17日报道，美国科学家近日利用水下扬声器与一头名叫吐温的座头鲸 按照三秦英才引进计划和三秦英才特殊支持计划《实施办法》和2023年省级人才计划评审工作安排，经申报推荐、形式审查 美国哈佛大学校长克洛迪娜·盖伊当地时间1月2日发表声明，宣布辞去哈佛大学校长一职。 盖伊在声明中说，她 科技日报讯 （记者张梦然）日本大阪都立大学科学家设计了一种高效、无创、无痛的方法，从尿液样本中重新编程犬类干细胞，使 据江苏省扬州市职业大学网站消息，扬州市职业大学教学督导室2023年12月28日发布《2023-2024学年第一学期教师及学生座谈 据哈尔滨工业大学机电工程学院消息，中国共产党党员，哈尔滨工业大学液压传动与控制专业的创始人、机电学院教授刘庆和同 。本文链接：科学家在大模型少样本域适应方面取得进展http://www.sushuapos.com/show-11-10092-0.html
声明：本网站为非营利性网站，本网页内容由互联网博主自发贡献，不代表本站观点，本站不承担任何法律责任。天上不会到馅饼，请大家谨防诈骗！若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。
上一篇： 机器翻译有“偏见”，如何检测发现？