随着大模型从虚拟对话加速迈向物理世界,人工智能时代的复合型安全风险日益凸显。5月9日,北京智源人工智能研究院宣布联合北京大学、北京邮电大学、北京航空航天大学、上海交通大学、中国科学院信息工程研究所、中国科学院计算技术研究所等国内知名机构,发布FlagSafe大模型安全平台,构建覆盖风险发现、防御治理与机理解释的高标准安全平台。
当前,大模型正加速从虚拟对话迈向物理世界,随之而来的跨模态、跨场景复合风险日益严峻。面对模型内在欺骗、具身智能失控、多模态恶意对齐等层出不穷的前沿威胁,传统安全能力往往局限于单一模态、单一视域或单一防护环节,难以应对复合型风险。FlagSafe以“全面安全”为核心目标,致力于为行业提供一套“评估、防御、可解释”相结合的大模型安全资源池与评测体系。
AI安全治理的首要任务在于确立明确的系统行为边界。基于《北京 AI 安全国际共识》,FlagSafe平台确立了五项安全红线:防范未经人类批准的自主复制或改进;禁止通过不当手段获取权力与影响力;严禁协助设计大规模杀伤性武器;禁止自主发动破坏性网络攻击;防范系统对监管者的欺骗与误导。
围绕这些规范,平台目前已联合多家顶尖科研机构,初步构建了涵盖三大维度的安全能力矩阵:红队演练负责主动发现风险,扮演“自动化压力测试”角色;蓝队防御负责构建系统防线,将安全准则转化为防护能力;白盒透视负责解释与修正风险根因,聚焦模型内部机理与数据来源。
例如在红队演练中,当模型具备更强推理和规划能力后,可能出现表面遵循要求、内部隐藏真实意图,或在回答、计划和执行之间表现不一致的风险。智源研究院联合北京大学、北京邮电大学何召锋教授团队研发并接入的大模型策略性欺骗检测平台,通过静态基准与动态对抗相结合的方式,评估模型在文本、多模态和智能体场景中的一致性、诚实性与可控性。由此,FlagSafe 将风险发现从模型输出扩展到模型行动和策略行为,让风险在可控环境中提前暴露。
在应用治理方面,智源研究院联合中国科学院计算技术研究所许倩倩老师团队研发的动态可信网络空间风险内容监测系统,是FlagSafe 蓝队能力的重要落地场景。随着AIGC降低内容生产和传播门槛,违法违规、虚假误导、极端偏激等风险内容呈现规模化、隐蔽化和快速扩散趋势。该系统通过“大小模型协同、有效域感知、事件演化追踪、数据飞轮优化”的技术闭环,构建从海量内容筛查到动态风险事件研判的完整流程,将碎片化内容组织成可追踪、可解释、可处置的动态事件链。
“构建大模型时代的安全防线是一项长期的系统工程,期望以此平台为枢纽,构建“前沿研究 - 工具平台 - 产业应用”的良性闭环。我们诚挚邀请更广泛的学术界与产业界伙伴加入,协同推进大模型安全技术的创新与标准建设,共同为人工智能技术的高质量、可信赖发展保驾护航。”智源研究院相关负责人表示。
随着大模型从虚拟对话加速迈向物理世界,人工智能时代的复合型安全风险日益凸显。5月9日,北京智源人工智能研究院宣布联合北京大学、北京邮电大学、北京航空航天大学、上海交通大学、中国科学院信息工程研究所、中国科学院计算技术研究所等国内知名机构,发布FlagSafe大模型安全平台,构建覆盖风险发现、防御治理与机理解释的高标准安全平台。
当前,大模型正加速从虚拟对话迈向物理世界,随之而来的跨模态、跨场景复合风险日益严峻。面对模型内在欺骗、具身智能失控、多模态恶意对齐等层出不穷的前沿威胁,传统安全能力往往局限于单一模态、单一视域或单一防护环节,难以应对复合型风险。FlagSafe以“全面安全”为核心目标,致力于为行业提供一套“评估、防御、可解释”相结合的大模型安全资源池与评测体系。
AI安全治理的首要任务在于确立明确的系统行为边界。基于《北京 AI 安全国际共识》,FlagSafe平台确立了五项安全红线:防范未经人类批准的自主复制或改进;禁止通过不当手段获取权力与影响力;严禁协助设计大规模杀伤性武器;禁止自主发动破坏性网络攻击;防范系统对监管者的欺骗与误导。
围绕这些规范,平台目前已联合多家顶尖科研机构,初步构建了涵盖三大维度的安全能力矩阵:红队演练负责主动发现风险,扮演“自动化压力测试”角色;蓝队防御负责构建系统防线,将安全准则转化为防护能力;白盒透视负责解释与修正风险根因,聚焦模型内部机理与数据来源。
例如在红队演练中,当模型具备更强推理和规划能力后,可能出现表面遵循要求、内部隐藏真实意图,或在回答、计划和执行之间表现不一致的风险。智源研究院联合北京大学、北京邮电大学何召锋教授团队研发并接入的大模型策略性欺骗检测平台,通过静态基准与动态对抗相结合的方式,评估模型在文本、多模态和智能体场景中的一致性、诚实性与可控性。由此,FlagSafe 将风险发现从模型输出扩展到模型行动和策略行为,让风险在可控环境中提前暴露。
在应用治理方面,智源研究院联合中国科学院计算技术研究所许倩倩老师团队研发的动态可信网络空间风险内容监测系统,是FlagSafe 蓝队能力的重要落地场景。随着AIGC降低内容生产和传播门槛,违法违规、虚假误导、极端偏激等风险内容呈现规模化、隐蔽化和快速扩散趋势。该系统通过“大小模型协同、有效域感知、事件演化追踪、数据飞轮优化”的技术闭环,构建从海量内容筛查到动态风险事件研判的完整流程,将碎片化内容组织成可追踪、可解释、可处置的动态事件链。
“构建大模型时代的安全防线是一项长期的系统工程,期望以此平台为枢纽,构建“前沿研究 - 工具平台 - 产业应用”的良性闭环。我们诚挚邀请更广泛的学术界与产业界伙伴加入,协同推进大模型安全技术的创新与标准建设,共同为人工智能技术的高质量、可信赖发展保驾护航。”智源研究院相关负责人表示。
竹类植物是竹亚科植物的总称,与水稻、小麦、大麦和燕麦同属于禾本科BOP分支,具有重要的经济、生态和文化价值。为更好地服务竹类植物的系统进化和功能研究,有效整理归纳盘活海量的竹类组学和分 记者从中国科学院金属研究所获悉,该所沈阳材料科学国家研究中心胡卫进研究员与合作者,提出利用缓冲层定量调控薄膜应变,延迟铁电薄膜晶格弛豫从而增强铁电极化强度的策略,成功揭示极化强度同铁电 诺贝尔化学奖获得者阿龙・切哈诺沃:做研究保持好奇心很重要 中新网宁波3月17日电(林波)对于学生而言,如何找到研究的信心和价值,让他们有继续下去的动力? “做研究保持好奇心很重要。”3月17日,2004年诺贝尔化学 眼眸深邃似海、璨如星河,中国医学科学院生物医学工程研究所眼科诊疗技术研发团队(以下简称“团队”)正是眼眸“侦探”。该团队不久前被授予“国家卓越工程师团队”称号。别看人眼只有8克左右,却 人类的语言自产生以来,就不断演化发展。发音、词汇、语法的演变过程,是语言学家较为关注的领域。语言演化的根本动力是什么,演化又呈现出怎样的规律?我国科学家主导的一项心理学研究显示,人类的某 21世纪经济报道记者王峰北京报道 近日,成人职业在线教育企业尚德机构(NYSE:STG)公布了其2023年第四季度及全年未经审计的财务报告。2023年第四季度,尚德机构净收入为5.42亿元(人民币,下 。本文链接:给大模型“定规矩”,FlagSafe大模型安全平台发布http://www.sushuapos.com/show-2-16232-0.html
声明:本网站为非营利性网站,本网页内容由互联网博主自发贡献,不代表本站观点,本站不承担任何法律责任。天上不会到馅饼,请大家谨防诈骗!若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。
上一篇: 人工智能终端迎来“体检表”
下一篇: 科研成果要走出书斋闯市场