OpenAI核心安全团队解散，还签了封口协议！负责人怒斥走错路：不再安全第一
随着首席科学家伊尔亚的离开，OpenAI核心安全团队“超级对齐”被曝解散。同时，一份“封口协议”又把OpenAI推上风口浪尖。
5月14日，OpenAI联合创始人、首席科学家伊尔亚・苏茨克维(Ilya Sutskever)宣布离职，几小时后，超级对齐团队负责人杨・莱克(Jan Leike)也宣布离职。
据外媒报道，随着两位领导的离开，超级对齐团队已被解散，将纳入其他研究工作当中。消息人士透露，注重AI系统安全的员工已经对公司CEO山姆・奥特曼(Sam Altman)的领导失去信心。
同时，OpenAI也被曝出让员工在离职时签署带有“不贬损承诺”的离职协议，如果拒绝签署就得放弃公司股权。
5月19日，奥特曼发文承认这一条款并道歉称已在修改，“如果任何签署过这些旧协议的前员工对此感到担心，可以联系我，我们也会解决这个问题。”
奥特曼回应称：“我们从未收回任何人的既得权益，如果人们不签署协议(或不同意不贬损协议)，我们也不会这样做。既得权益就是既得权益。”
他表示，文件中有一项关于潜在股权取消的条款，“尽管我们从未收回任何东西，但这绝不应该是我们在任何文件或通信中提及的内容。这件事情是我的错，也是我为管理OpenAI而感到的少数尴尬之一；我不知道发生了这种事，但我应该知道。大约在过去一个月的时间里，该团队已开始修复标准离职文书……对此我深感抱歉。”
“封口协议”之外，安全相关人员的相继离开，引发人们的更大担忧。OpenAI的超级对齐团队主要任务是对研发的AI进行评估并监督，防止AI走向失控局面。
莱克在宣布离职后，也在X(推特)发帖怒斥OpenAI及领导层“重视光鲜的产品，安全文化和流程不再受到重视”。
他强调：“OpenAI必须成为一家安全第一的AGI(通用人工智能)公司……辞去这份工作是我做过最困难的事之一，因为我们迫切需要弄清楚如何引导和控制比我们聪明得多的人工智能系统。然而，我与OpenAI领导层在公司的核心优先事项上存在分歧已有一段时间，直到我们最终达到了临界点。”
莱克还表示：“我相信我们应该投入更多的精力来为下一代模型做好准备，关注安全性，监控，做好准备，让AI具有对抗性的鲁棒性、(超级)对齐，关注保密性、社会影响等相关主题。这些问题很难做对，我很担心我们没有朝着正确的方向前进。”
马斯克也在莱克的推文下回复称：“安全问题在OpenAl并不是重中之重。”
彼时，OpenAI总裁格雷戈里・布罗克曼(Greg Brockman)曾发布与奥特曼共同署名的回应表示，“一直在为安全部署功能日益强大的系统奠定基础”，此后将根据部署过程中吸取的教训，不断改进模型行为和滥用监控，“未来将比过去更加艰难。我们需要不断提升安全工作，以适应每种新模式的风险。”
文中提到：“我们还不确定何时会达到发布的安全标准，如果这会推迟发布时间表也没关系……我们将继续针对不同的时间范围进行安全研究。我们还将继续与政府和许多利益相关者就安全问题展开合作。”
回应中也坦言：“目前还没有行之有效的策略指导如何走向AGI，我们认为经验理解可以帮助指引前进的方向。我们相信我们既能实现巨大的优势，又能努力降低严重的风险。我们非常认真地对待我们在这里所扮演的角色，并仔细权衡对行动的反馈。”
此前的2023年底，奥特曼曾被OpenAI董事会解雇。据外媒报道称，导火索是几名研究人员致信警告称一项强大的AI(人工智能)发现可能威胁到人类。不过在700多名员工威胁辞职以及微软公司等多方压力下，奥特曼很快便重返OpenAI担任CEO，并组建了新董事会。
据消息人士透露，OpenAI首席技术官米拉・穆拉蒂(Mira Murati)曾告诉员工，一封关于Q*(发音为Q-Star)AI取得突破的信件促使董事会采取了解雇行动。
OpenAI在Q*上取得的进展，让部分公司内部人士相信，这可能是他们找到“超级智能(即AGI)”的突破。OpenAI将AGI定义为“比人类更聪明的AI系统”。
本文链接：OpenAI核心安全团队解散 负责人怒斥走错路：不再安全第一http://www.sushuapos.com/show-2-6214-0.html
声明：本网站为非营利性网站，本网页内容由互联网博主自发贡献，不代表本站观点，本站不承担任何法律责任。天上不会到馅饼，请大家谨防诈骗！若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。