近日，中国科学院合肥物质科学研究院等在大语言模型强化学习与推理可靠性方面取得两项成果，从因果信息论角度严格证明过程奖励模型（PRM）相比于结果奖励模型（ORM）的优势，并提出大模型强化评测基准体系——棱镜基准OPG-D3。两项成果从类脑信息处理与认知控制的角度，为理解模型推理行为的可靠性提供了新的理论框架和评测范式。
在基于结果奖励的强化学习下，模型会天然地偏好学习训练数据中的表面统计相关性，而非真正的因果推理链。这一现象与人类认知中的“启发式捷径”相似——大脑在面对复杂问题时，也倾向于调用低能耗的联想记忆而非费力的逻辑推演。受此启发，团队将过程奖励模型类比为前额叶皮层对推理步骤的在线监控机制。通过逐步骤的稀疏奖励信号，过程奖励模型能够像认知控制一样，对每一步推理施加约束，抑制“走捷径”倾向，引导模型逐步构建更稳健的因果链条。研究证实，单纯扩大同质数据规模无法从根本上消除这一脆弱性，唯有对推理过程施加结构化监督，才能实现从“答案匹配”到“因果掌握”的质变。
团队剖析了当前强化学习评测基准的固有局限，提出了OPG指标——衡量模型在训练集上训练与直接在测试集上训练的性能差异。实验显示，在主流基准上，强化学习模型的OPG近乎为零，表明当前训练—测试划分可能低估了模型的泛化失败风险。以难度测试、泛化测试和反事实扰动测试为核心的基准框架OPG-D3，能够针对性衡量当前模型在跨分布、规则突变等场景下性能表现、陌生情境下的泛化能力。该成果为构建面向真实世界“认知压力”的下一代世界模型评测基准，提供了可操作的设计原则和诊断工具。
两项研究共同构成了大模型训练推理和评测创新体系——模型推理的可靠性不仅取决于数据量和参数规模，更依赖于学习目标与认知控制结构的匹配程度。团队将强化学习中的结果—过程矛盾上升为计算理论层面的一般性问题，并提出因果信息论边界的棱镜基准OPG-D3，为后续世界模型评测提供了可验证、可比较的理论参照系。
相关成果被国际自然语言处理领域顶级会议ACL 2026接收发表。
论文链接：1、2
结果奖励诱导捷径与过程监督纠正机制示意图
当前大语言模型强化学习评测基准局限性示意图
11月7日，东南大学交通学院官网教师栏目更新信息显示，毛国强已任东南大学首席教授、智能驾驶与智慧交通研究中心主任、 中新社香港11月11日电在香港特区政府教育局推动下，应用科学大学联盟11日正式成立。联盟创会成员为4所专上院校，香港都 近日，教育部公布第二批国家市域产教联合体名单，分别是江苏太仓、浙江宁波、浙江义乌、广西南宁、四川宜宾、新疆昌吉等6个市（县）。 教育部为何新布局建设这6家市域产教联合体？联合体如何走 中国教育报-中国教育新闻网讯（通讯员 闫瑾 记者 陈欣然）随着我国步入老龄化社会，中老年人群的抑郁问题已成为重要的公共卫生挑战。南开大学祁艳玲教授团队的一项最新研究发现，适度使用社交媒体可 中国教育报-中国教育新闻网讯（记者 方梦宇）记者日前从中国科学技术大学获悉，该校与合肥国家实验室相关研究人员合作，利用激光冷原子方法制备成基于自旋的薛定谔猫态，其寿命达到分钟量级，有助于提升 中国教育报-中国教育新闻网讯（记者 冯丽）近日，2024年世界职业院校技能大赛争夺赛（高职组）短视频创作与运营赛项在陕西职业技术学院落幕。来自全国31个省市的61支参赛队经过激烈角逐，苏州工艺美术职 。本文链接：大语言模型强化学习与推理可靠性研究获进展http://www.sushuapos.com/show-12-4455-0.html
声明：本网站为非营利性网站，本网页内容由互联网博主自发贡献，不代表本站观点，本站不承担任何法律责任。天上不会到馅饼，请大家谨防诈骗！若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。
上一篇： 研究人员提出面向多模态推荐的解耦与蒸馏动态集成框架
下一篇： 超低阈值二维半导体激光器研究取得进展