近日，2025全球数字经济大会数字安全主论坛暨2025北京网络安全大会在京召开。会上，灵御(PandaGuard)大模型安全攻防评估平台正式发布，该平台创新性地采用多智能体系统建模方法对越狱攻击进行系统性评估。该框架在现有研究基础上实现了重要突破，为构建安全可控的人工智能生态提供了重要保障。
北京前瞻人工智能安全与治理研究院院长、人工智能安全与超级对齐北京市重点实验室主任、中国科学院自动化研究所人工智能伦理与治理中心主任曾毅介绍，灵御平台通过将大语言模型越狱安全概念化为多智能体系统来解决这些挑战。在这个系统中，攻击者、防御者、目标模型和安全判断器相互作用。框架抽象并模块化了每个组件，支持即插即用的实验，包含19种攻击算法、12种防御机制和多种判断策略，对49个开源和闭源大语言模型安全性进行了系统化评估。
“灵御平台的这种设计促进了可控的、可重现的评估，并使得能够对模型安全中的跨组件权衡进行深度分析。”曾毅表示，平台实践证明，世界上提出的所有安全护栏没有一个可以防护住所有的攻击算法，也没有一个攻击算法可以突破所有的安全护栏，“在人工智能安全防护领域还有很长的路要走。”
研究发现，不同时间发布的人工智能大模型并没有随着模型能力的提升而同时获得模型的安全性，近期发布的国内外能力更强大的人工智能模型安全性并没有展现出显著的优势，“一些较新的模型在某些安全指标上可能不如早期版本，这揭示了一个重要事实，即安全性能的提升需要专门的优化投入，而不是模型能力提高的自然副产品。”曾毅说。
曾毅表示：“现在国内外没有一个绝对安全的人工智能大模型，但通过类似灵御平台这样的AI安全护栏加固，每一个大模型都可以做到更安全。”
目前，灵御人工智能安全攻防平台的核心框架已开源开放，研究团队发布了完整的代码、配置和评估结果，以支持大语言模型安全领域的透明和可重现研究。
“安全与治理是人工智能的核心能力，将加速人工智能稳健发展与应用。我们的前沿研究表明，如果把安全与模型能力比作鱼与熊掌，实则可以兼得。没有安全治理框架的人工智能不仅是没有‘刹车’，更是没有‘方向盘’。”曾毅说。
“数据、模型和训练都是我们自己做的，我们将开放数据和模型，供每一位开发者免费使用。”12月15日，北京中科闻歌科技股份有 日前，高等教育数字化与课程思政建设研讨会暨中国高校财经慕课联盟首届“同课异构”教学竞赛颁奖典礼在对外经济贸易大学 图为在上海科技创新成果展上拍摄的科学刊物展台。新华社记者 方喆摄 一直以来，学者们向学术期刊投稿面临着激烈竞 12月17日，上海交通大学中银科技金融学院第一届科技成果转化大赛进行决赛。 中国银行上海市分行行长、党委书记张守川，上海 科技日报北京12月29日电 （记者张佳欣）向人体运送药物的主要挑战是能不断将药物准确送达病灶位置，同时确保它们留在病灶 关于发布“2023年度华夏建设科学技术奖”授奖项目的公示 华夏奖字〔2023〕第4号 各有关单位： 2023年度华夏建设科学技术 。本文链接：灵御人工智能大模型安全攻防评估平台发布http://www.sushuapos.com/show-11-21811-0.html
声明：本网站为非营利性网站，本网页内容由互联网博主自发贡献，不代表本站观点，本站不承担任何法律责任。天上不会到馅饼，请大家谨防诈骗！若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。
上一篇： 《中国菊科植物彩色图鉴》（上下卷）出版
下一篇： 第七届下一代数据驱动网络国际学术会议举办