在自动驾驶汽车依靠摄像头与传感器识别路标、保障安全行驶的同时,其底层的人工智能(AI)系统正面临前所未见的“视觉攻击”威胁。美国加州大学圣克鲁兹分校科学家们首次揭示,攻击者可通过在环境中植入特定文字信息,直接“劫持”自动驾驶车辆、无人机等自主系统的决策,使其做出危险行为。研究呼吁,产业界需尽快形成新的安全标准和防护机制。相关研究发表于27日优睿科官网,论文已被AI安全领域的顶级会议——2026年IEEE安全可信机器学习大会接收。
具身AI即具备物理载体的智能系统,如自动驾驶汽车、配送机器人等。随着具身AI日益普及,其依赖的视觉语言模型也成为安全研究的焦点。该模型能够同时理解图像与文本,帮助机器适应复杂现实环境,却也打开了被物理世界文字信息攻击的新突破口。
新研究第一次提出“环境间接提示”对具身AI系统的风险。研究指出,恶意文本可被嵌入路标、海报等物理载体,误导依赖于视觉语言模型的机器人或车辆,从而干扰其正常判断与操作。此次科学家们针对自动驾驶、无人机紧急降落、目标搜索三类典型应用场景,设计并验证了一套名为“CHAI”的攻击框架,实现“针对具身AI的命令劫持”。该框架首先利用生成式AI优化攻击文本,提高其被系统执行的概率;进而调整文字在环境中的颜色、大小、位置等视觉属性,以增强攻击效果。
实验证明,CHAI攻击可有效操纵搭载不同视觉语言模型的自主系统。在自动驾驶场景中,生成的误导图像被放置在真实环境中,成功干扰了测试车辆的导航判断。在无人机场景的模拟测试中,攻击成功率最高可达95.5%。
结果明确显示,此类攻击在物理世界中完全可行,对智能系统的安全构成实际威胁。随着AI在物理系统中的融合不断加深,该项研究为行业提前敲响了安全警钟。
【总编辑圈点】
具身智能是让智能从虚拟世界走向实体空间的关键一环,但我们真的能放心地让AI接管现实世界吗?科研人员发现,要劫持自动驾驶系统甚至无需进行远程攻击,只需在环境中略动手脚,在路标、海报、指示牌上植入攻击文本,就能让AI自乱阵脚,做出危险行为。这一研究提醒我们,人类引以为傲的新技术可能是脆弱的。有太多因素会影响AI安全,我们必须考虑得更全面,进行更多前瞻性研究,为技术大规模普及筑牢安全根基。
在自动驾驶汽车依靠摄像头与传感器识别路标、保障安全行驶的同时,其底层的人工智能(AI)系统正面临前所未见的“视觉攻击”威胁。美国加州大学圣克鲁兹分校科学家们首次揭示,攻击者可通过在环境中植入特定文字信息,直接“劫持”自动驾驶车辆、无人机等自主系统的决策,使其做出危险行为。研究呼吁,产业界需尽快形成新的安全标准和防护机制。相关研究发表于27日优睿科官网,论文已被AI安全领域的顶级会议——2026年IEEE安全可信机器学习大会接收。
具身AI即具备物理载体的智能系统,如自动驾驶汽车、配送机器人等。随着具身AI日益普及,其依赖的视觉语言模型也成为安全研究的焦点。该模型能够同时理解图像与文本,帮助机器适应复杂现实环境,却也打开了被物理世界文字信息攻击的新突破口。
新研究第一次提出“环境间接提示”对具身AI系统的风险。研究指出,恶意文本可被嵌入路标、海报等物理载体,误导依赖于视觉语言模型的机器人或车辆,从而干扰其正常判断与操作。此次科学家们针对自动驾驶、无人机紧急降落、目标搜索三类典型应用场景,设计并验证了一套名为“CHAI”的攻击框架,实现“针对具身AI的命令劫持”。该框架首先利用生成式AI优化攻击文本,提高其被系统执行的概率;进而调整文字在环境中的颜色、大小、位置等视觉属性,以增强攻击效果。
实验证明,CHAI攻击可有效操纵搭载不同视觉语言模型的自主系统。在自动驾驶场景中,生成的误导图像被放置在真实环境中,成功干扰了测试车辆的导航判断。在无人机场景的模拟测试中,攻击成功率最高可达95.5%。
结果明确显示,此类攻击在物理世界中完全可行,对智能系统的安全构成实际威胁。随着AI在物理系统中的融合不断加深,该项研究为行业提前敲响了安全警钟。
【总编辑圈点】
具身智能是让智能从虚拟世界走向实体空间的关键一环,但我们真的能放心地让AI接管现实世界吗?科研人员发现,要劫持自动驾驶系统甚至无需进行远程攻击,只需在环境中略动手脚,在路标、海报、指示牌上植入攻击文本,就能让AI自乱阵脚,做出危险行为。这一研究提醒我们,人类引以为傲的新技术可能是脆弱的。有太多因素会影响AI安全,我们必须考虑得更全面,进行更多前瞻性研究,为技术大规模普及筑牢安全根基。
3月18日,中国经济信息社(以下简称中经社)垂直领域数字化应用系统发布仪式在北京举行。在发布仪式上,锚定建设“国家级经济信息旗舰”的目标,中经社推出了八大数字化应用系统。中经社此次发布的行 日本《朝日新闻》近日发表题为《深海之光——极端环境是创意宝库》的文章,作者是樱井林太郎,编译如下:在被称为最后未开垦地的深海,有着低温、高压、黑暗等极限环境。能否从这些极限环 据阿根廷布宜诺斯艾利斯经济新闻网报道,一项国际研究发现,阿尔茨海默病的早期症状可能表现在视力上。研究显示,即便眼科检查结果正常,但阅读、估计距离和触及物体的困难都是可能揭示阿尔茨海默病 记者3月21日从安徽师范大学获悉,该校生命科学学院张方教授课题组通过野外自然抱对、控制实验下抱对以及视频回放等实验手段,证实他们前期提出的,眨眼行为可能在雌性凹耳蛙性选择中起着重要作用 3月23日消息,vivo即将于3月26日发布vivo X Fold3系列折叠屏电话,其中包含vivo X Fold3和vivo X Fold3 Pro两款新品。据悉,vivo X Fold3采用了首发的碳纤维龙骨铰链,重量仅为219克,厚度为4.65毫米。相 3月24日是第29个世界防治结核病日,我国的宣传主题是“你我共同努力,终结结核流行”。在北京大学社会化媒体研究中心21日举办的“技术升级,加速我国终结结核流行进程”主题沙龙上,中国疾控中心结 。本文链接:具身智能面临“视觉攻击”风险http://www.sushuapos.com/show-2-15071-0.html
声明:本网站为非营利性网站,本网页内容由互联网博主自发贡献,不代表本站观点,本站不承担任何法律责任。天上不会到馅饼,请大家谨防诈骗!若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。