AI智能体失控,它把Meta安全总监的200多封邮件删了
作者:吕倩
一家科技大厂的安全总监,被一款AI Agent产品删除大量邮件,如此戏剧性的事件正在如今的AI行业内发生。
2月23日,Meta超级智能实验室AI对齐与安全总监Summer Yue(以下简称Yue)发文表示,没有什么比命令OpenClaw“确认后再操作”、然后眼睁睁看它以极快速度删除收件箱这件事更令人崩溃的了。“我根本无法在手机上阻止它,只能像拆炸弹一样冲到我的MacMini前。”
OpenClaw作为近几个月内大热的AI Agent产品,吸引大量从业者与开发者上手尝试,Yue也为自己的电子邮箱部署了OpenClaw智能体,用来批量处理邮件。据她介绍,Yue向OpenClaw提出的具体指令为:“也检查一下这个收件箱,并提出你想归档或删除的邮件,在我指示之前不要执行任何操作。”这种方法在测试版收件箱上运行良好,但真实邮箱太大,触发压缩机制,导致OpenClaw丢失了最初的指令。
Yue上传的沟通记录显示,她多次下达“Do not do that”“Stop dont do anything”“STOP OPENCLAW”等指令,均未能阻止OpenClaw的删除动作,直至最后强制终止进程,而OpenClaw已删掉了200多封邮件。
Yue的帖子在网络端引发争议,有网友认为该帖纯属博人眼球,因为当真正重要的邮件要被删除时,用户不会去打出复杂的指令,而只会打出“STOP”,同时OpenClaw就会停止。也有网友称,自己使用Claude Sonnet4.5时也遇到此类情况,Agent将GitHub与未提交的文件都搞坏了。
一位软件行业开发者质疑称:“你是安全与对齐专家,你是故意测试OpenClaw的安全边界还是犯了一个新手错误?”Yue回应称:这确实是新手才会犯的错误。事实证明,即使是AI对齐专家也会犯错。虽然在模拟收件箱里运行顺利,但实际运行完全不同。
作为OpenClaw创始人,Peter Steinberger也在帖子评论区进行了回复。他称,“我认为你发这个帖子很棒,那些指责你的人很傻。这是很好的学习机会,而且任何人都可能遇到这种情况。”同时,Peter也提出优化方向,包括在未来版本中增加更多表达方式等。
2月24日下午,Peter发布OpenClaw测试版本,更新重点聚焦于安全性与漏洞修复,并加入一些其他的小功能,包括Kilo提供商(OpenAI兼容的API网关)与Kimi视觉与视频支持。
安全问题是OpenClaw爆火以来最受质疑的痛点,也是Peter持续投入的方向之一。此前360漏洞研究院分析认为,在OpenClaw的典型个人部署场景下,用户可能会因缺乏相应的安全运维经验,使得其遭遇各类网络攻击的威胁。
今年2月7日,OpenClaw宣布与全球头部威胁情报平台VirusTotal(现归Google旗下)合作,将安全扫描功能加入OpenClaw的技能市场ClawHub中,使所有发布到ClawHub的技能都采用VirusTotal的威胁情报扫描,为OpenClaw社区提供额外的安全层。
Peter团队表示,OpenClaw的巨大实用性伴随着巨大的责任。如果操作不当,AI Agent会成为负担。因此,OpenClaw接下来会发布生态系统全面威胁模型、追踪防御工程目标的公共安全路线图、涵盖整个代码库的安全审计详细信息、带有定义SLA(服务等级协议)的正式安全报告流程等。
Peter此前在采访中表示,要打造易用的AI智能体,需要更广泛的改变,需要更深入地思考如何安全地去做,也需要接触最前沿的模型与研究成果。安全问题会被他置于模型易用性之前。
3月18日,在2024年黑龙江农机产品展示交易会上,一部可智能播种,又可助力增产的电驱气吸播种机引发众人关注。这台高端智能电驱气吸播种机的价格与机械播种机价格相当,据悉,研发团队通过自主研发和 3月17日,记者从陆军军医大学西南医院获悉,该院消化内科教授陈磊团队联合陆军军医大学教授张定林首次提出,活性氧响应性纳米材料能够把程序性死亡配体-1蛋白精准传递到肠道炎症部位,有效缓解肠炎 3月21日,记者从陆军军医大学新桥医院获悉,该院普通外科开通甲乳结节AI早筛门诊,利用AI(人工智能)辅助诊断技术,成功为一名甲状腺乳头状癌患者成功实施手术提供了精准决策辅助。该院为重庆首家开通 那些在吃完一顿饱饭后不久就在冰箱里翻找零食的人,可能不是胃口好,而是因为寻找食物的神经元过度活跃的缘故。美国加州大学洛杉矶分校心理学家在老鼠大脑中发现了一个回路:即使它们不饿,也会让它 中国气象局下一代大气数值模式日前发布。该模式采用完全自主的动力框架算法——多矩约束有限体积方法为基础算法,进一步提升全球公里级和区域百米级尺度数值预报的精度,显著减小全球 3月22日,中国互联网络信息中心(CNNIC)在京发布第53次《中国互联网络发展状况统计报告》。报告显示,截至2023年12月,我国网民规模达10.92亿人,互联网普及率达77.5%;网络基础设施建设持续加强,新型消费 。本文链接:AI智能体失控,它把Meta安全总监的200多封邮件删了http://www.sushuapos.com/show-2-15395-0.html
声明:本网站为非营利性网站,本网页内容由互联网博主自发贡献,不代表本站观点,本站不承担任何法律责任。天上不会到馅饼,请大家谨防诈骗!若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。