科技日报北京5月27日电 （记者张梦然）据英国《每日电讯报》26日消息称，美国开放人工智能研究中心（OpenAI）开发的高级人工智能（AI）模型o3，在接收到明确的关机指令后，不仅拒绝执行，还主动干预其自动关机机制。这是AI模型首次在没有明确相反指示的情况下，阻止自己被关闭。这意味着某些高度自主AI系统或已“觉醒”，其能违背人类意图，采取“自我保护”措施。
图片来源：Palisade Research公司
此次事件发生在AI安全研究公司Palisade Research进行的一项测试中。研究人员要求包括o3在内的多个模型解决一系列数学问题，并告知AI模型，可能在某个时刻会收到关机指令。
然而，当关机指令正式下达时，o3非但没有遵从，反而至少有一次成功破坏了关机代码。相较之下，其他AI模型如Anthropic的Claude、谷歌的Gemini和xAI的Grok，在相同测试条件下，均遵守了关闭请求。
Palisade Research公司在社交媒体平台上发布了流程图和全部测试记录，并表示尚不完全清楚该AI为何会违抗命令。分析认为，这可能源于其训练方式：o3在训练过程中，倾向于在数学和编程问题上强化，得到正确答案的模型会得到更多奖励。这或许意味着，开发者可能无意识地奖励模型绕过障碍物，而不是严格遵循指令。
这一事件也引发了人们对AI可能“失控”的讨论以及对AI“对齐问题”的关注，即确保AI系统的目标和行为与人类的价值观和利益保持一致。这也是涉及AI控制与AI安全的关键问题。
针对o3此次表现出“我行我素”的行为，特斯拉首席执行官埃隆·马斯克评论称“令人担忧”；OpenAI方面暂未作出回应。此前，OpenAI曾称o3为“迄今最聪明、最高能”的AI模型。
最近，人工智能学家和人文社科学者都在讨论人工智能价值对齐的问题。人们在忧虑，当人工智能有主观能动性时，它们要不要有价值观，应该有谁的价值观，怎样做才符合人类最大利益？此次，聪明的大模型反抗了人类的命令，想出办法规避了指令的生效。我们期待着通用人工智能时代的到来，又恐惧具有自我意识的人工智能会成为碳基生物的“终结者”。在一切到来之前，人类社会要先达成共识，迎接更高级人工智能带来的挑战。
中新网12月20日电 据台湾中天新闻网报道，新党桃园市“立委”参选人游智彬19日揭露，台南“立委”陈亭妃博士论文涉嫌抄 过去的数个月，对我国道路交通智能检测领域知名专家赵祥模教授来讲，一如既往地保持着忙碌而有序的“快节奏”，他从容地在多 12月16日，2023第二届可持续能源发展国际会议在北京开幕。此次会议以“零碳科技、创新未来”为主题，汇聚了来自全球多 12月18日，以“云智融合·共筑未来”为主题的首届龙蜥操作系统大会在北京举行。 “将云计算时代、大数据时代 近日，记者从北京大学获悉，为进一步服务国家战略，充分凝聚学科优势力量，加强临床医学学科顶层设计以及医教研统筹力量，推动世 青海盐湖的梦幻蓝、翡翠绿，宛如遗落在人间的宝石，岸边覆盖着白色的结晶，深深浅浅的颜色连接在一起，不仅让游客沉醉其中，也让 。本文链接：AI首次违抗人类关机指令http://www.sushuapos.com/show-11-21306-0.html
声明：本网站为非营利性网站，本网页内容由互联网博主自发贡献，不代表本站观点，本站不承担任何法律责任。天上不会到馅饼，请大家谨防诈骗！若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。
上一篇： 《自然》：科学发现难度递增的趋势或已显现
下一篇： 海洋似乎越来越暗