奥尔特曼领衔成立新安全委员会，OpenAI安全文化警报解除了吗
OpenAI正雄心勃勃筹划着下一代人工智能(AI)软件，但原安全团队的解散与核心成员的集体“跳船”，也给这家AI“当红炸子鸡”企业拉响了安全警报。
当地时间28日，OpenAI首席执行官奥尔特曼(Sam Altman)领衔成立了该公司全新的安全委员会，监督系统的后续开发，原安全团队离开带来的隐忧和安全文化警报就此解除了吗？
莱克指责OpenAI
“宫斗”表象平息，分歧并未弥合？
去年7月，OpenAI组建“超级对齐”团队，其职能是确保这家公司研发的AI系统符合人类利益和价值观。然而，不到一年，该团队两位负责人本月相继出走，多位骨干成员主动辞职或被解雇，OpenAI也在本月中旬将这一团队彻底解散。
去年11月，奥尔特曼在所谓“高层内斗”中被董事会闪电解雇，又在短短数日后重返原职。而这场激烈变动的起因，被认为正是OpenAI内部对于AI安全性的巨大分歧。
OpenAI联合创始人兼首席科学家苏茨克维尔(Ilya Sutskever)是“超级对齐”团队的负责人之一，也被视为奥尔特曼被解雇事件的发起人之一。相比奥尔特曼对AI领域技术进步的乐观态度，苏茨克维尔要谨慎得多，他认为，通用人工智能(AGI)的发展可能“会出现雪崩”，从而给人类社会带来不可控的毁灭性风险。因此，第一批AGI的底层信念将极其重要，“必须为其正确地编写程序”。
这场“高层内斗”后，奥尔特曼领导OpenAI照常推进技术转化与成果发布。今年2月，OpenAI推出了支持将文本转化为视频的模型“Sora”，并在5月发布了新旗舰模型GPT-4o，它比去年11月发布的GPT-4 Turbo快两倍，在视觉和音频理解上也更先进。
苏茨克维尔在5月14日宣布离职时也一团和气地表示，OpenAI将在现任领导层的带领下，“打造出既安全又有益的AGI”。
但“超级对齐”团队的另一位负责人莱克 (Jan Leike)则没有这么客气。他在社交媒体平台上披露离职原因时称，他与OpenAI高层在什么是“核心优先事项”上存在分歧，并已到了不可弥合的临界点。
“我认为我们应该花更多精力在准备下一代模型上，注重安全、监控、准备、对抗性的稳健、(超级)对齐、保密、社会影响等相关问题。这些问题非常难以解决，我忧虑的是，我们并没有在达成这些目标的轨道上。”莱克称，“过去几个月，我们的团队遭遇到阻力，有时为了算力而挣扎，要完成这些关键研究越来越难。”
莱克写道：“OpenAI必须成为一家安全优先的AGI公司。”几天后，莱克宣布加入OpenAI的竞争对手Anthropic，领导一个新的“超级对齐”团队。
Anthropic首席执行官阿莫迪(Dario Amodei)也出身于OpenAI。据报道，由于无法认同后者越来越商业化的发展方向，他带领多位前OpenAI员工创办了现公司。
除了上述两位重量级人物，同样出走OpenAI的还有“超级对齐”团队成员桑德斯(William Saunders)、科科泰洛(Daniel Kokotajlo)，负责对外沟通和社区建设的基尔帕特里克(Logan Kilpatrick)，以及AI政策研究员克鲁格(Gretchen Krueger)和奥基夫(Cullen O’Keefe)等人。此外，超级对齐团队成员阿申布伦纳(Leopold Aschenbrenner)和伊兹迈洛夫(Pavel Izmailov)则因泄露信息给媒体记者而在4月份被解雇。
科科泰洛称，他对OpenAI在发布能力越来越强的AI时是否“负责任”失去信心。克鲁格也呼吁该公司提高其责任感和透明度，以及“谨慎使用自己的技术”。
安全文化和闪亮的产品
当地时间28日，OpenAI成立了新的安全与保障委员会，负责监督与公司项目和运营相关的关键安全决策。但OpenAI并未选择外部观察员参与监督，这一委员会由公司内部人员组成，包括奥尔特曼以及多位OpenAI董事会成员等。
OpenAI表示，该委员会将与OpenAI董事会全体成员分享其调查结果和建议，以供审查，届时将“以符合安全和保障的方式”公布任何被采纳建议的最新情况。
“OpenAI最近已经开始训练下一个前沿模型，我们预计由此产生的系统将使我们在通往AGI的道路上达到更高的能力水平。”OpenAI写道。
去年11月，奥尔特曼在接受采访时表示，他的大部分时间都在研究“如何打造超级智能”，但该公司负责全球事务的副总裁马坎居(Anna Makanju)以及发言人布尔乔亚(Liz Bourgeois)之后都否认，该公司的“使命”并非开发超级智能，而是通用人工智能(AGI)。相比具有人类水平的AGI，超级智能是指超越人类智力水平的AI系统。
OpenAI在官网和创始公告中明确指出，公司的使命是确保AI技术的发展是“安全且广泛受益”的。这意味着，一方面，AI技术必须是安全的；另一方面，AI技术带来的好处应该惠及所有人，而不仅仅是特定群体。
在美国硅谷从事AI方向创业、也曾在多家科技企业负责AI相关产品开发的Iris此前对第一财经记者表示，OpenAI的企业发展进程不可避免地带来了这场“安全文化”之争。
Iris表示，最早期的OpenAI作为非营利组织成立，特别是在模型研发阶段，更多以技术创新为基础。“这一时期的OpenAI非常强调安全性，因此，苏茨克维尔这样技术背景出身的创始人话语权非常大。”她称，但随着技术的发展，当到产品市场匹配阶段，OpenAI更多开始考虑如何让这些技术惠及更多人。
Iris认为，这一阶段，“公司的发展将完全依赖于产品和业务的商业化，这意味着需要将产品更有效地推向市场”。
而这或许也是为什么莱克在其离职声明中写道：“在过去的几年里，安全文化和流程已经被闪亮的产品所取代。”
21世纪经济报道见习记者 顾婷婷 杭州报道如何让沉睡在实验室里的专利真正应用到车间，真正面向市场，转化为真正的新质生产力？3月19日，由国家知识产权局组织的高校和科研机构存量专利盘活 3月21日记者从中国科学技术大学获悉，该校物理学院张斗国教授课题组，提出并实现了一种基于矢量光场调控原理的动量空间偏振滤波器件。科研人员将该滤波器件安装于传统无标记光学显微镜的出射端， 再打一局游戏就睡，再刷几个视频就睡，终于放下手机，关灯睡觉了……结果翻来覆去睡不着，半夜醒来再也睡不着，为什么明明睡着了，睡眠质量却不高？3月21日是世界睡眠日，最新发布的《2024中国 3月25日消息，去年huawei在Mate 60系列上首发了玄武机身架构，采用一体化金属机身，搭配上超耐用锦纤材质，使整机的抗挤压能力提高10倍，使用更放心。“玄武”是极其坚固的代表，huawei还在问界M9上采用了“ “人工智能作为数字新基建重点建设方向，前景广阔，大有作为。今年的政府工作报告更首次提出开展‘人工智能+’行动，无疑将为人工智能技术在国内各行各业的广泛应用开启新篇章。”3月22 在近日开幕的中国国际核工业展览会上，中国核学会理事会党委书记、理事长王寿君表示，中国内地现有在运核电机组55台、居全球第三；在建核电机组26台，保持全球第一。这些成绩的取得，离不开智能化技术 。本文链接：奥尔特曼领衔成立新安全委员会，OpenAI安全文化警报解除了吗http://www.sushuapos.com/show-2-6519-0.html
声明：本网站为非营利性网站，本网页内容由互联网博主自发贡献，不代表本站观点，本站不承担任何法律责任。天上不会到馅饼，请大家谨防诈骗！若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。