近日，中国科学院合肥物质科学研究院等在大语言模型强化学习与推理可靠性方面取得两项成果，从因果信息论角度严格证明过程奖励模型（PRM）相比于结果奖励模型（ORM）的优势，并提出大模型强化评测基准体系——棱镜基准OPG-D3。两项成果从类脑信息处理与认知控制的角度，为理解模型推理行为的可靠性提供了新的理论框架和评测范式。
在基于结果奖励的强化学习下，模型会天然地偏好学习训练数据中的表面统计相关性，而非真正的因果推理链。这一现象与人类认知中的“启发式捷径”相似——大脑在面对复杂问题时，也倾向于调用低能耗的联想记忆而非费力的逻辑推演。受此启发，团队将过程奖励模型类比为前额叶皮层对推理步骤的在线监控机制。通过逐步骤的稀疏奖励信号，过程奖励模型能够像认知控制一样，对每一步推理施加约束，抑制“走捷径”倾向，引导模型逐步构建更稳健的因果链条。研究证实，单纯扩大同质数据规模无法从根本上消除这一脆弱性，唯有对推理过程施加结构化监督，才能实现从“答案匹配”到“因果掌握”的质变。
团队剖析了当前强化学习评测基准的固有局限，提出了OPG指标——衡量模型在训练集上训练与直接在测试集上训练的性能差异。实验显示，在主流基准上，强化学习模型的OPG近乎为零，表明当前训练—测试划分可能低估了模型的泛化失败风险。以难度测试、泛化测试和反事实扰动测试为核心的基准框架OPG-D3，能够针对性衡量当前模型在跨分布、规则突变等场景下性能表现、陌生情境下的泛化能力。该成果为构建面向真实世界“认知压力”的下一代世界模型评测基准，提供了可操作的设计原则和诊断工具。
两项研究共同构成了大模型训练推理和评测创新体系——模型推理的可靠性不仅取决于数据量和参数规模，更依赖于学习目标与认知控制结构的匹配程度。团队将强化学习中的结果—过程矛盾上升为计算理论层面的一般性问题，并提出因果信息论边界的棱镜基准OPG-D3，为后续世界模型评测提供了可验证、可比较的理论参照系。
相关成果被国际自然语言处理领域顶级会议ACL 2026接收发表。
论文链接：1、2
结果奖励诱导捷径与过程监督纠正机制示意图
当前大语言模型强化学习评测基准局限性示意图
中新社柏林11月9日电 维也纳消息：当地时间8日，沙特阿卜杜勒阿齐兹亲王国际水奖(Prince Sultan Bin Abdulaziz Internation 为落实元首共识、深化教育交流合作，11月9日，中意大学校长对话会在北京大学举行。教育部部长怀进鹏出席对话会并致辞。他表示，中方坚持教育开放发展，愿同包括意大利在内的世界各国扩大学术交流和教育合作规模，积极参与 在内蒙古包头市第三十五中学的操场上，学生正在练习跑步体测项目，操场上的AI体育设备自动识别并记录运动数据。体育课上，通过AI体育设备，教师参考学生练习成绩，提高课堂效率，开展个性化教学。包头市 家庭是孩子的第一个课堂，家长是孩子的第一任教师。家长的言传身教，对孩子人格形成、习惯养成、价值观确立等各方面有着持久而深刻的影响。新近出台的《学前教育法》是明晰了学前教育阶段家长的 党的十八大以来，天津市委、市政府深入学习贯彻习近平总书记关于教育的重要论述，全面落实党中央、国务院决策部署和全国教育大会精神，坚守为党育人、为国育才的初心使命，教育强市建设取得积极进展 中国教育报-中国教育新闻网讯（记者 任朝霞 通讯员 袁圆）“我们创作的作品名称叫《古韵新景》，是由笔挂、笔山、镇纸、砚台组成的文房四宝。”10月27日，2024年世界职业院校技能大赛总决赛争夺赛高 。本文链接：大语言模型强化学习与推理可靠性研究获进展http://www.sushuapos.com/show-12-4455-0.html
声明：本网站为非营利性网站，本网页内容由互联网博主自发贡献，不代表本站观点，本站不承担任何法律责任。天上不会到馅饼，请大家谨防诈骗！若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。
上一篇： 研究人员提出面向多模态推荐的解耦与蒸馏动态集成框架
下一篇： 超低阈值二维半导体激光器研究取得进展