奥尔特曼领衔成立新安全委员会，OpenAI安全文化警报解除了吗
OpenAI正雄心勃勃筹划着下一代人工智能(AI)软件，但原安全团队的解散与核心成员的集体“跳船”，也给这家AI“当红炸子鸡”企业拉响了安全警报。
当地时间28日，OpenAI首席执行官奥尔特曼(Sam Altman)领衔成立了该公司全新的安全委员会，监督系统的后续开发，原安全团队离开带来的隐忧和安全文化警报就此解除了吗？
莱克指责OpenAI
“宫斗”表象平息，分歧并未弥合？
去年7月，OpenAI组建“超级对齐”团队，其职能是确保这家公司研发的AI系统符合人类利益和价值观。然而，不到一年，该团队两位负责人本月相继出走，多位骨干成员主动辞职或被解雇，OpenAI也在本月中旬将这一团队彻底解散。
去年11月，奥尔特曼在所谓“高层内斗”中被董事会闪电解雇，又在短短数日后重返原职。而这场激烈变动的起因，被认为正是OpenAI内部对于AI安全性的巨大分歧。
OpenAI联合创始人兼首席科学家苏茨克维尔(Ilya Sutskever)是“超级对齐”团队的负责人之一，也被视为奥尔特曼被解雇事件的发起人之一。相比奥尔特曼对AI领域技术进步的乐观态度，苏茨克维尔要谨慎得多，他认为，通用人工智能(AGI)的发展可能“会出现雪崩”，从而给人类社会带来不可控的毁灭性风险。因此，第一批AGI的底层信念将极其重要，“必须为其正确地编写程序”。
这场“高层内斗”后，奥尔特曼领导OpenAI照常推进技术转化与成果发布。今年2月，OpenAI推出了支持将文本转化为视频的模型“Sora”，并在5月发布了新旗舰模型GPT-4o，它比去年11月发布的GPT-4 Turbo快两倍，在视觉和音频理解上也更先进。
苏茨克维尔在5月14日宣布离职时也一团和气地表示，OpenAI将在现任领导层的带领下，“打造出既安全又有益的AGI”。
但“超级对齐”团队的另一位负责人莱克 (Jan Leike)则没有这么客气。他在社交媒体平台上披露离职原因时称，他与OpenAI高层在什么是“核心优先事项”上存在分歧，并已到了不可弥合的临界点。
“我认为我们应该花更多精力在准备下一代模型上，注重安全、监控、准备、对抗性的稳健、(超级)对齐、保密、社会影响等相关问题。这些问题非常难以解决，我忧虑的是，我们并没有在达成这些目标的轨道上。”莱克称，“过去几个月，我们的团队遭遇到阻力，有时为了算力而挣扎，要完成这些关键研究越来越难。”
莱克写道：“OpenAI必须成为一家安全优先的AGI公司。”几天后，莱克宣布加入OpenAI的竞争对手Anthropic，领导一个新的“超级对齐”团队。
Anthropic首席执行官阿莫迪(Dario Amodei)也出身于OpenAI。据报道，由于无法认同后者越来越商业化的发展方向，他带领多位前OpenAI员工创办了现公司。
除了上述两位重量级人物，同样出走OpenAI的还有“超级对齐”团队成员桑德斯(William Saunders)、科科泰洛(Daniel Kokotajlo)，负责对外沟通和社区建设的基尔帕特里克(Logan Kilpatrick)，以及AI政策研究员克鲁格(Gretchen Krueger)和奥基夫(Cullen O’Keefe)等人。此外，超级对齐团队成员阿申布伦纳(Leopold Aschenbrenner)和伊兹迈洛夫(Pavel Izmailov)则因泄露信息给媒体记者而在4月份被解雇。
科科泰洛称，他对OpenAI在发布能力越来越强的AI时是否“负责任”失去信心。克鲁格也呼吁该公司提高其责任感和透明度，以及“谨慎使用自己的技术”。
安全文化和闪亮的产品
当地时间28日，OpenAI成立了新的安全与保障委员会，负责监督与公司项目和运营相关的关键安全决策。但OpenAI并未选择外部观察员参与监督，这一委员会由公司内部人员组成，包括奥尔特曼以及多位OpenAI董事会成员等。
OpenAI表示，该委员会将与OpenAI董事会全体成员分享其调查结果和建议，以供审查，届时将“以符合安全和保障的方式”公布任何被采纳建议的最新情况。
“OpenAI最近已经开始训练下一个前沿模型，我们预计由此产生的系统将使我们在通往AGI的道路上达到更高的能力水平。”OpenAI写道。
去年11月，奥尔特曼在接受采访时表示，他的大部分时间都在研究“如何打造超级智能”，但该公司负责全球事务的副总裁马坎居(Anna Makanju)以及发言人布尔乔亚(Liz Bourgeois)之后都否认，该公司的“使命”并非开发超级智能，而是通用人工智能(AGI)。相比具有人类水平的AGI，超级智能是指超越人类智力水平的AI系统。
OpenAI在官网和创始公告中明确指出，公司的使命是确保AI技术的发展是“安全且广泛受益”的。这意味着，一方面，AI技术必须是安全的；另一方面，AI技术带来的好处应该惠及所有人，而不仅仅是特定群体。
在美国硅谷从事AI方向创业、也曾在多家科技企业负责AI相关产品开发的Iris此前对第一财经记者表示，OpenAI的企业发展进程不可避免地带来了这场“安全文化”之争。
Iris表示，最早期的OpenAI作为非营利组织成立，特别是在模型研发阶段，更多以技术创新为基础。“这一时期的OpenAI非常强调安全性，因此，苏茨克维尔这样技术背景出身的创始人话语权非常大。”她称，但随着技术的发展，当到产品市场匹配阶段，OpenAI更多开始考虑如何让这些技术惠及更多人。
Iris认为，这一阶段，“公司的发展将完全依赖于产品和业务的商业化，这意味着需要将产品更有效地推向市场”。
而这或许也是为什么莱克在其离职声明中写道：“在过去的几年里，安全文化和流程已经被闪亮的产品所取代。”
未来的足球场，人工智能（AI）当“大脑”？《自然·通讯》19日发表一项来自谷歌深度思维的最新成果，研究团队报告了一个名为“TacticAI”的系统，能在足球比赛中预测角球结果并提供实际且准确的战 记者日前获悉，位于四川成都未来科技城应用性科创区的民航科技创新示范区（B区）航站楼项目，近日取得施工许可证。这也意味着全国首个模拟验证机场开工。该民航科技创新示范区相关负责人表示，预计模 记者3月19日从天津大学获悉，该校环境学院刘庆岭教授团队与吉林大学于吉红院士团队以及天津工业大学梅东海教授团队合作，证明了无有机模板剂合成的具有OFF和ERI拓扑共生结构的Cu-T催化剂具有优 南方财经全媒体记者马嘉璐 广州报道如何划分一般数据、重要数据、核心数据终于有了国标版“参考答案”。3月21日，国家标准GB/T 43697-2024《数据安全技术 数据分类分级规则》（以下简 从手机到手表再到电动汽车，锂离子充电电池为众多设备提供动力。但随着消费者丢弃电子产品的增加，越来越多的锂可能会进入环境。研究人员在美国化学会2024年春季会议上展示的一项研究成果，描述了 “AI钢铁侠”黄仁勋，又进化了英伟达 作 者丨倪雨晴 2024年，英伟达一年一度的GTC大会已然成为AI界春晚，现场座无虚席，全球AI爱好者翘首以待黄仁勋的独家SOLO。 北京时间3月19日凌晨，GTC终于拉开大幕。英伟达创 。本文链接：奥尔特曼领衔成立新安全委员会，OpenAI安全文化警报解除了吗http://www.sushuapos.com/show-2-6519-0.html
声明：本网站为非营利性网站，本网页内容由互联网博主自发贡献，不代表本站观点，本站不承担任何法律责任。天上不会到馅饼，请大家谨防诈骗！若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。