OpenAI最新模型o3展现强大推理能力

2024-12-26 15:23:35 来源：科技日报

观看：143

12月20日，美国开放人工智能研究中心（OpenAI）介绍了其最新的人工智能（AI）推理模型——o3及其轻量版o3-mini。该公司宣称，o3具备更先进、近似人类的推理能力，在代码编写、数学竞赛和掌握人类博士级别的科学知识等方面，均超越了其“前辈”o1。

不过，英国《新科学家》网站在12月22日的报道中指出，尽管o3“实现了令人瞩目的性能飞跃”，但仍未达到业内翘首以盼的通用AI（AGI）水平。

多方面表现出色

OpenAI公司透露，在解决更复杂的多步骤问题时，o3模型会花更多时间计算答案，然后再给出回应。这一推理能力的提升，使o3在多项测试中表现出色。

大型语言模型热衷于在各种数学基准测试上疯狂“刷分”，o3也不例外。在2024年美国数学邀请赛中，o3模型的准确率高达96.7%，仅答错了一个问题。而在OpenAI研究人员认为最严格的基准测试之一——Frontier Math中，o3也解决了25.2%的问题。尽管这一得分看似不高，但此前其他大型语言模型曾在此“集体翻车”，正确率均未超过2%。

Frontier Math测试难度极大，曾被华裔数学家、菲尔兹奖得主陶哲轩评价为“可能会难住AI好几年”。然而，o3只需思考几分钟便能解答其中一道题目，而人类数学家则要花费数小时到数天。

在对科学知识的掌握方面，o3的表现也超出一般博士水平。在GPQA Diamond（衡量模型在博士级科学问题上的表现，涵盖化学、物理和生物学方面的专业知识）基准测试中，o3的准确率达到87.7%，超过了人类博士的70%，也比之前o1表现高近10%。

此外，o3的编码能力也比之前的o1系列更胜一筹。在 SWE-bench Verified（衡量AI模型解决现实世界软件问题的能力）基准上，o3的准确率约为71.7%，比o1高20%以上。在Codeforces编码竞赛平台中，o3的得分为2727，相当于榜单上第175名人类编程员的水平，而o1得分仅为1891。

在展示了o3取得的这些傲人成绩后，OpenAI首席执行官奥尔特曼强调，o3的出现标志着AI进入了下一个发展阶段，这些模型可处理需要大量推理的复杂任务。

与人类智能仍有差异

《新科学家》网站还报道，在被视为AGI重要衡量标准的抽象与推理语料库-AGI（ARC-AGI）大赛中，o3模型也创下新纪录：在低算力配置下，它以75.7%的得分登上公共排行榜前列。只因确定此项大奖得主的测试具有更严格的算力限制，在该算力限制下，o3的挑战以失败告终。

不过，在超出官方算力限制172倍的高算力下，o3采用“蛮力”取得了87.5%的成绩，达到了代表人类水平的85%门槛。

对于o3的表现，谷歌前工程师、ARC-AGI主要创建者弗朗索瓦·肖莱在博客中写道，这是AI能力的一次惊人且重要的跃升。但o3尚未实现AGI，因为其仍然无法解决ARC-AGI比赛中一些非常简单的问题，这表明其与人类智能存在根本差异。

AGI是一个假想中的未来系统，它能够模仿人类思维、决策，拥有自我意识，并能自主行动。然而，AGI目前主要活跃在科幻作品中，尚未走进现实。

升级迭代并非易事

o3不仅是OpenAI公司的最新力作，也是AI巨头竞逐大型语言模型的生动写照。

两年前，OpenAI发布了ChatGPT，由此拉开了AI军备竞赛的序幕。从GPT-3.5到更准确、更具创造性的GPT-4，再到o1，直至o3，OpenAI在不断精进自家产品。

其他顶级AI开发商也在利用日益先进的技术，推动自家产品迭代升级。此前不久，谷歌推出了其旗舰模型“双子座”（Gemini）的新版本，据称其速度是上一代的两倍，并且能够“思考、记忆、规划，甚至替代用户采取行动”。元宇宙平台公司计划明年推出Llama 4。

然而，迭代之路并非坦途。包括OpenAI和谷歌在内的几家领军企业，正面临新模型开发耗资巨大但回报递减的困境。OpenAI的GPT-5模型开发工作进展缓慢。据悉，仅6个月的训练，单计算成本就高达约5亿美元，而性能仅比该公司现有产品略胜一筹。