中新经纬2月18日电 (孙庆阳)“人工智能的安全与可用性面临全链条、多维度交织的复杂风险挑战，需通过国际合作、技术创新和标准制定来应对。”近日，中国信息通信研究院人工智能研究所高级业务主管呼娜英在巴黎人工智能(AI)行动峰会后接受中新经纬专访时表示，未来五到十年，人工智能技术将持续深化，增强语言大模型能力是重点方向。同时，多模态模型有望加速突破，提升图文理解和跨模态交互能力。
呼娜英 受访者供图
网络和框架是AI系统安全的根基
在最近的巴黎人工智能(AI)行动峰会上，AI安全性和可用性成为了全球AI产业人士的共同关注焦点。呼娜英指出，当前AI在安全性和可用性方面面临的是全链条、多维度相互交织的复杂风险挑战。随着人工智能模型复杂度和规模的不断提升，其训练、部署、应用等关键环节中面临的数据安全、网络安全、框架安全、模型算法安全以及应用平台安全问题日益突出。
在基础设施方面，网络安全和框架安全关乎整个AI系统的稳定运行根基。以DeepSeek为例，R1模型在刚刚上线提供服务后，便遭到大规模DDoS(分布式阻断服务)攻击，导致服务中断，用户无法正常访问。在数据方面，训练数据被“投毒”(通过恶意注入虚假或误导性的数据来污染模型的训练数据集)，以及训练使用敏感行业数据、个人隐私数据等，一旦数据被“投毒”，训练出的模型将产生偏差，做出错误决策，而敏感数据的不当使用则可能引发严重的法律风险和社会信任危机。
在模型算法层面，以大模型为代表的生成式模型面临严峻的越狱攻击、提示词注入攻击等威胁，模型容易在用户恶意操作下输出违法有害或侵害权益的信息。
此外，模型的“幻觉”(模型生成的不真实、编造或与上下文不一致的内容)问题突出，也成为了制约人工智能产业化落地的重要因素。在应用层面，人工智能技术容易被滥用和误用，比如利用图像生成技术伪造虚假新闻图片误导公众，或在自动化决策系统中因算法偏见导致对特定群体的不公平对待，这些行为严重扰乱了正常的社会秩序与市场环境。
如何显著提升AI系统安全性？
呼娜英强调，全球均在探索风险管理的可行路径，针对人工智能风险开展有效的“识别、评估、应对”方案一定程度上成为共识。其中，最重要的一环是对于安全问题的检测技术和防护手段。在检测方面，一是形成对于开源框架、源代码以及网络等软硬件基础设施的漏洞挖掘技术，精准定位潜在隐患。特别是开源框架、代码中存在的未被发现的漏洞，极易被利用实施大规模的攻击和勒索。如去年年初，人工智能开源框架Ray被发现存在漏洞，并被攻击人员利用攻击数百个集群。
二是形成数据“投毒”检测技术，用于守护训练数据的纯净性，防范通过训练的方式，在模型中埋入后门。
三是建立大模型等模型算法漏洞自动化测试技术，扫描算法中的薄弱环节，快速生成测试报告。
四是基于现有的自动化渗透技术能力，形成面向人脸识别、智能体等人工智能典型应用的自动化渗透技术产品，模拟黑客攻击，全方位探测应用平台的安全漏洞，充分发掘人工智能各方面的安全风险。
呼娜英还指出，在防护层面，需要探索软硬件基础设施的漏洞自动化修复技术，自动修复受损代码，降低安全风险。此外，还可以探索实践模型漏洞自动化微调和加固技术，对模型进行自动化优化，增强其抵御攻击的能力，保障人工智能系统稳定、安全地运行。
中国智慧引领未来AI治理新格局
呼娜英认为，推动人工智能安全治理合作依然是势不可挡的，也是确有必要的。人工智能的开发、部署和使用具有全球化特征，人工智能技术的应用与影响并非局限于某一地区或国家，而是深刻影响全球社会、经济和政治秩序。为人类共同未来建立务实可行的国际对话与合作机制，需要多方努力。未来，国际社会应在联合国框架下凝聚各方共识，依托国际标准化组织深化技术标准协同，务实推进人工智能安全治理工作。
一直以来，中国在全球人工智能治理领域积极作为并推动加强国际合作。例如，中国信通院积极参与国际标准制定，发起《人工智能安全承诺》促进行业自律，下一步将依托工业和信息化部人工智能技术标准委员会，持续完善国内标准体系，推动安全测试、风险评估、可信要求等技术规范转化为国际共识，促进技术标准和指引的深入实践与应用。
呼娜英预测，未来五到十年内，人工智能技术将持续深化演进。一方面，增强语言大模型能力仍是技术升级的重点方向之一，推理或将获得更多关注和资源投入。另一方面，多模态模型有望加速突破，从以语言大模型为骨干的多模态模型，向原生多模态模型演变，提升图文理解和跨模态交互能力。
呼娜英认为，在安全与可用性方面，以下趋势值得关注：在风险识别方面，随着人工智能技术日益融入经济社会发展各领域全过程，其安全风险面不断扩大，对人工智能安全风险识别方法论的研究将不断完善，从而催生更加敏捷、精准的安全风险识别机制。在风险应对方面，对算法模型毒性、鲁棒性、公平性等方面的评测技术工具研究将不断加强，将人工智能基础设施、算法模型、上层应用以及产业链等方面作为评估重点，并在机制方案上动态迭代、技术能力上持续提升，从而有效防范和应对治理风险。(中新经纬APP)
中新经纬版权所有，未经授权，不得转载或以其他方式使用。
责任编辑：张芷菡
中新经纬2月19日电 据《华尔街日报》中文网19日报道，欧洲监管机构将对苹果公司(Apple Inc., AAPL)处以超过5亿美元的罚款，理由是这家科技巨头不公平的阻碍了其他音乐流媒体竞争对手。 《华尔街日报》中文网援引 区域协调发展，关乎统筹一域和全局、前沿和后方、发展和安全。2014年，京津冀协同发展上升为国家战略。十年来，在习近平总书记亲自谋划、亲自部署、亲自推动下，京津冀协同发展不断迈上新台阶。2024 中国经济导报 中国发展网讯 2月20日，龙年春节热闹欢乐的氛围还未散去，甘肃成县就以开局就是决战的干劲、起步就是冲刺的拼劲的崭新面貌召开2024年工作务虚会，聚焦县域经济高质量发展，围绕“2023年怎么看，2 追加补贴 美国打响全球半导体“军备竞赛” 当地时间2月21日，美国芯片巨头英特尔在加州圣荷西举办首次晶圆代工活动。美国商务部长吉娜・雷蒙多在活动上表示，如果美国想在半导体领域“引领世界”，就要进一步加 “药械同追”试点项目助力医疗产品追溯标准化 近日，全国首个GS1“药械同追”试点项目顺利通过中国物品编码中心的验收。该项目是以国际通用的GS1编码标准为基础建设的“药械同追”平台系统，可同时满足我国药品追 多家钛白粉企业再度宣布涨价 2月22日，钛白粉企业金浦钛业发布公告宣布涨价，金浦钛业表示，自2月22日起，公司锐钛型钛白粉销售价格上调800元/吨，对国际各类客户上调110美元/吨；金红石型钛白粉销售价格上调600元/吨，对国 。本文链接：专访呼娜英：AI安全“隐形战场”上，如何破解全链条风险？http://www.sushuapos.com/show-5-46596-0.html
声明：本网站为非营利性网站，本网页内容由互联网博主自发贡献，不代表本站观点，本站不承担任何法律责任。天上不会到馅饼，请大家谨防诈骗！若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。