随着人工智能大模型的不断发展,如何让其在“难”的问题上深入思考,而不是对所有问题“想个不停”?记者5月29日从中国科学院自动化研究所获悉,该所联合鹏城实验室提出了一种高效推理策略AutoThink,可让大模型实现自主切换思考模式,避免“过度思考”。
“当前,越来越多的大模型开始具备‘深度思考能力’。”中国科学院自动化研究所研究员张启超说,模型在回答问题之前要先生成一整段包含反复自我反思、自我验证的推理过程,然后再给出答案。
张启超表示,这一思考模式显著提升了大模型解决复杂问题的能力,但同时也带来了“过度思考”的问题,即在处理简单任务时也会生成冗余的思考过程。
“比如使用者对大模型提问‘2+3等于几’,大模型可能会从自然数定义讲起,列出加法交换律,甚至反复确认,最后才输出答案是5。”张启超说,这种不必要的“过度思考”现象在推理模型中广泛存在。
针对这一问题,AutoThink可赋予推理模型根据题目难度自主切换思考模式的能力,即通过所设计的提示词和多阶段强化学习,引导其自主决定是否进行深度思考。
张启超介绍,AutoThink提供了一种简单而有效的推理新范式——通过省略号提示配合三阶段强化学习,引导大模型不再“逢题必深思熟虑”,而是根据问题难度自主决定“是否思考”“思考多少”。在多个数学数据集上,AutoThink实现了准确率与效率平衡,既提升性能又节省算力,展示出较强的适应性和实用性。
据悉,AutoThink已集成于一站式智能科研平台ScienceOne,并将用于训练ScienceOne的基座大模型S1-Base。研发团队表示,让大模型“更聪明地思考、更简洁地表达”,是未来科学基础大模型演进的重要方向。
随着人工智能大模型的不断发展,如何让其在“难”的问题上深入思考,而不是对所有问题“想个不停”?记者5月29日从中国科学院自动化研究所获悉,该所联合鹏城实验室提出了一种高效推理策略AutoThink,可让大模型实现自主切换思考模式,避免“过度思考”。
“当前,越来越多的大模型开始具备‘深度思考能力’。”中国科学院自动化研究所研究员张启超说,模型在回答问题之前要先生成一整段包含反复自我反思、自我验证的推理过程,然后再给出答案。
张启超表示,这一思考模式显著提升了大模型解决复杂问题的能力,但同时也带来了“过度思考”的问题,即在处理简单任务时也会生成冗余的思考过程。
“比如使用者对大模型提问‘2+3等于几’,大模型可能会从自然数定义讲起,列出加法交换律,甚至反复确认,最后才输出答案是5。”张启超说,这种不必要的“过度思考”现象在推理模型中广泛存在。
针对这一问题,AutoThink可赋予推理模型根据题目难度自主切换思考模式的能力,即通过所设计的提示词和多阶段强化学习,引导其自主决定是否进行深度思考。
张启超介绍,AutoThink提供了一种简单而有效的推理新范式——通过省略号提示配合三阶段强化学习,引导大模型不再“逢题必深思熟虑”,而是根据问题难度自主决定“是否思考”“思考多少”。在多个数学数据集上,AutoThink实现了准确率与效率平衡,既提升性能又节省算力,展示出较强的适应性和实用性。
据悉,AutoThink已集成于一站式智能科研平台ScienceOne,并将用于训练ScienceOne的基座大模型S1-Base。研发团队表示,让大模型“更聪明地思考、更简洁地表达”,是未来科学基础大模型演进的重要方向。
记者3月20日从中国科学院地质与地球物理研究所获悉,该所科研人员在东北黑土区开展了大范围的野外调查和样品采集工作,通过分析采集的黑土样品发现,黑土物质最初都是由风力搬运而来。相关研究成 记者3月20日从中国科学技术大学获悉,该校郭光灿院士团队在量子态分辨研究中取得重要进展:他们在最小资源消耗的量子态分辨问题中首次提出了全局最优自适应策略,并发展了自适应集体测量实验技术, “AI热潮”有人欢喜又有人忧:新兴市场遭资金外流! 财联社3月20日讯(编辑 黄君芝)巴西亿万富翁、巴西金融公司Banco BTG Pactual SA创始人Andre Esteves表示,人工智能(AI)股票持续上涨导致发展中国家资本市场资金 3月22日消息,根据huawei旗舰机型迭代策略,今年上半年将发布影像旗舰huaweiP70系列。然而,这两天一张流出的图片声称huaweiP70将于3月23日开始预售,并附有各个版本的具体售价。但据媒体报道,huawei相关 习近平总书记在中共中央政治局第三次集体学习时强调,要加强科研学风作风建设,引导科技人员摒弃浮夸、祛除浮躁,坐住坐稳“冷板凳”。甘坐“冷板凳”是一种平心静气从事科学研究、追寻科学真理的 3月24日是第29个世界防治结核病日,我国的宣传主题是“你我共同努力,终结结核流行”。在北京大学社会化媒体研究中心21日举办的“技术升级,加速我国终结结核流行进程”主题沙龙上,中国疾控中心结 。本文链接:我国科学家提出高效推理策略 可避免大模型“过度思考”http://www.sushuapos.com/show-2-12508-0.html
声明:本网站为非营利性网站,本网页内容由互联网博主自发贡献,不代表本站观点,本站不承担任何法律责任。天上不会到馅饼,请大家谨防诈骗!若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。
上一篇: 面对AI“抗命”,人类该怎么办
下一篇: 农机“上云” 三夏跑出“加速度”