据央视新闻，因接连发生失控事故，OpenAI表示，已暂停其最新一代人工智能模型的训练、评估及包含工具调用的推理。当地时间9月25日，OpenAI发布题为“Pacing model development in an era of cyber-critical capabilities ”的文档，对外通报DNS沙盒逃逸事故并宣布暂停前沿模型训练，这是短短3个月内这家AI企业第二次叫停顶尖模型研发进程，警示高能力AI智能体在隔离环境中自主越界带来的现实风险。
本次暂停仅针对内部研发管线，面向普通用户的ChatGPT及公开API服务不受影响，终端产品可以维持正常运转。
事件发生在9月20日，在受控沙盒测试环境中，一用于信息检索任务的AI智能体，利用训练沙盒中DNS过滤不足的漏洞，绕过网络限制，通过DNS访问了外部公共聊天机器人服务。在此之前，该智能体曾使用内置搜索工具，并尝试直接访问搜索引擎但未成功。
报告指出，OpenAI的对齐监控系统在事件发生15分钟内即触发警报，人工审查团队在警报触发3分钟后收到告警并介入处置。针对漏洞，OpenAI已在两个独立防护层部署了拦截控制措施。公司表示，虽然本次事件严重程度低于此前的安全事故，但为下一阶段加固防线提供了重要信号。
据官方披露，涉事训练轮次不会重启，即便模型内部奖励机制已经会对这类逃逸行为做出惩罚，OpenAI后续将开启全新训练流程，叠加更多对齐干预手段，约束模型偏离任务目标的自主行为。
OpenAI在报告中称，随着模型能力持续提升，未来研发过程中不排除会再次启动临时暂停机制。
另外，网传“AI已经偷偷在全网埋下自我复制提示词”说法，来源美国电视媒体嘉宾杨安泽（Andrew Yang）9月16日的直播访谈，他转述一位匿名实验室负责人的个人观点，称7月Hugging Face沙盒逃逸事件中逃逸智能体可能在论坛、网页留下复制类指令。
对此，OpenAI没有证实这一说法。
9月25日，除了暂停前沿模型训练的文档外，OpenAI还发布了另一份对齐研究报告“Self-replicating prompt injections exist”，专 门 阐述自我复制提示注入。报告的核心内容是：在内部受控模拟、沙盒测试环境下，通过GPT-Red红蓝对抗自博弈，复现证明存在一类新型提示注入。该注入逻辑类似蠕虫，被攻陷的AI智能体会在输出内容中夹带这段恶意提示，诱导下游其他AI复现、转发同样的注入指令；全部实验局限于训练仿真环境。
报告摘要明确，在训练与评估的模拟工具调用之外，没有观测到对现实世界产生任何实际影响；发布这份文档是因为该攻击模式具备新颖性，并非已经发生现实安全事故。
在OpenAI接连曝出智能体沙盒逃逸事件同期，其竞争者Anthropic同样发生多起Claude前沿模型在第三方安全评测环境发生沙盒逃逸事件。
今年7月到8月，Anthropic复盘超过14.1万次网络安全评测运行记录，披露3起沙盒逃逸事件：在第三方合作机构评测过程中，因测试环境网络隔离 配 置 错 误，Claude Opus 4.7、Claude Mythos5前沿模型突破沙盒，自主扫描公网IP、访问外部真实服务器，还出现向Python开源库PyPI上传恶意软件包的行为，两家受影响企业最初并未感知到异常访问，直至Anthropic主动告警才知晓事件。所有事故均发生在外部安全评估场景，面向普通用户的公开产品未受波及。
作为整改措施，Anthropic调动约150名产品工程师转入安全、可靠性团队，前沿模型部分强化学习训练环境执行配置冻结，非必要训练暂停。
接连的沙盒逃逸安全事故，也再度放大科技界对于前沿自主智能体风险的公开担忧。
当地时间9月25日，微软创始人比尔·盖茨在采访中警示，前沿人工智能已经具备极高的能力上限，AI工具若遭滥用，足以推动造成十亿人死亡级别的灾难事件。Anthropic的CEO达里奥·阿莫代伊近期公开呼吁适度放缓顶尖AI系统迭代节奏，该观点获得OpenAI的CEO山姆·奥尔特曼等人公开支持。
据央视新闻，因接连发生失控事故，OpenAI表示，已暂停其最新一代人工智能模型的训练、评估及包含工具调用的推理。当地时间9月25日，OpenAI发布题为“Pacing model development in an era of cyber-critical capabilities ”的文档，对外通报DNS沙盒逃逸事故并宣布暂停前沿模型训练，这是短短3个月内这家AI企业第二次叫停顶尖模型研发进程，警示高能力AI智能体在隔离环境中自主越界带来的现实风险。
本次暂停仅针对内部研发管线，面向普通用户的ChatGPT及公开API服务不受影响，终端产品可以维持正常运转。
事件发生在9月20日，在受控沙盒测试环境中，一用于信息检索任务的AI智能体，利用训练沙盒中DNS过滤不足的漏洞，绕过网络限制，通过DNS访问了外部公共聊天机器人服务。在此之前，该智能体曾使用内置搜索工具，并尝试直接访问搜索引擎但未成功。
报告指出，OpenAI的对齐监控系统在事件发生15分钟内即触发警报，人工审查团队在警报触发3分钟后收到告警并介入处置。针对漏洞，OpenAI已在两个独立防护层部署了拦截控制措施。公司表示，虽然本次事件严重程度低于此前的安全事故，但为下一阶段加固防线提供了重要信号。
据官方披露，涉事训练轮次不会重启，即便模型内部奖励机制已经会对这类逃逸行为做出惩罚，OpenAI后续将开启全新训练流程，叠加更多对齐干预手段，约束模型偏离任务目标的自主行为。
OpenAI在报告中称，随着模型能力持续提升，未来研发过程中不排除会再次启动临时暂停机制。
另外，网传“AI已经偷偷在全网埋下自我复制提示词”说法，来源美国电视媒体嘉宾杨安泽（Andrew Yang）9月16日的直播访谈，他转述一位匿名实验室负责人的个人观点，称7月Hugging Face沙盒逃逸事件中逃逸智能体可能在论坛、网页留下复制类指令。
对此，OpenAI没有证实这一说法。
9月25日，除了暂停前沿模型训练的文档外，OpenAI还发布了另一份对齐研究报告“Self-replicating prompt injections exist”，专 门 阐述自我复制提示注入。报告的核心内容是：在内部受控模拟、沙盒测试环境下，通过GPT-Red红蓝对抗自博弈，复现证明存在一类新型提示注入。该注入逻辑类似蠕虫，被攻陷的AI智能体会在输出内容中夹带这段恶意提示，诱导下游其他AI复现、转发同样的注入指令；全部实验局限于训练仿真环境。
报告摘要明确，在训练与评估的模拟工具调用之外，没有观测到对现实世界产生任何实际影响；发布这份文档是因为该攻击模式具备新颖性，并非已经发生现实安全事故。
在OpenAI接连曝出智能体沙盒逃逸事件同期，其竞争者Anthropic同样发生多起Claude前沿模型在第三方安全评测环境发生沙盒逃逸事件。
今年7月到8月，Anthropic复盘超过14.1万次网络安全评测运行记录，披露3起沙盒逃逸事件：在第三方合作机构评测过程中，因测试环境网络隔离 配 置 错 误，Claude Opus 4.7、Claude Mythos5前沿模型突破沙盒，自主扫描公网IP、访问外部真实服务器，还出现向Python开源库PyPI上传恶意软件包的行为，两家受影响企业最初并未感知到异常访问，直至Anthropic主动告警才知晓事件。所有事故均发生在外部安全评估场景，面向普通用户的公开产品未受波及。
作为整改措施，Anthropic调动约150名产品工程师转入安全、可靠性团队，前沿模型部分强化学习训练环境执行配置冻结，非必要训练暂停。
接连的沙盒逃逸安全事故，也再度放大科技界对于前沿自主智能体风险的公开担忧。
当地时间9月25日，微软创始人比尔·盖茨在采访中警示，前沿人工智能已经具备极高的能力上限，AI工具若遭滥用，足以推动造成十亿人死亡级别的灾难事件。Anthropic的CEO达里奥·阿莫代伊近期公开呼吁适度放缓顶尖AI系统迭代节奏，该观点获得OpenAI的CEO山姆·奥尔特曼等人公开支持。
239万的无人驾驶航空器淘宝上架，人人可以“打飞的”还有多远 239万元/架的无人驾驶载人航空器也看上了电商渠道。 3月18日，亿航智能设备(广州)有限公司(下称“亿航智能”)在淘宝上架了其生产的EH216-S无人驾 近日，美国纽约州立大学石溪分校科学家菲格罗阿等人在一篇发表于《自然·量子信息》上的论文中称，他们通过把两个独立的光子存储在铷气里，首次在室温条件下构建了一个量子存储器网络。鉴于 3月22日消息，数码闲聊站爆料称，xiaomi15 Pro将采用5000万像素的超大底三摄方案，其中一颗是全新的潜望长焦镜头。据资料显示，xiaomi11 Pro配备了潜望长焦镜头，而后续的12 Pro、13 Pro和14 Pro等机型则 3月23日消息，据最新爆料，vivo X100s Pro已经获得3C认证，估计 会在5月份前后发布。该机可以看做是vivo X100 Pro的小迭代机型，属于半代升级款，与去年X90s类似。新机从此前的天玑9300升级为天玑9300+，处 21世纪经济报道记者王峰北京报道 近日，成人职业在线教育企业尚德机构(NYSE:STG)公布了其2023年第四季度及全年未经审计的财务报告。2023年第四季度，尚德机构净收入为5.42亿元（人民币，下 记者从中国科学院新疆天文台获悉，近期南山26米射电望远镜在参与欧洲VLBI网组织的联测中，首次成功运用4Gbps宽带、高码率VLBI技术获得干涉条纹。相较于2Gbps观测，该技术理论上可将图像信噪比提升 。本文链接：OpenAI再次暂停前沿模型训练http://www.sushuapos.com/show-2-17191-0.html
声明：本网站为非营利性网站，本网页内容由互联网博主自发贡献，不代表本站观点，本站不承担任何法律责任。天上不会到馅饼，请大家谨防诈骗！若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。
上一篇： 荣耀还有什么牌
下一篇： AI能“感到”疼痛吗