中新经纬2月18日电 (孙庆阳)“人工智能的安全与可用性面临全链条、多维度交织的复杂风险挑战，需通过国际合作、技术创新和标准制定来应对。”近日，中国信息通信研究院人工智能研究所高级业务主管呼娜英在巴黎人工智能(AI)行动峰会后接受中新经纬专访时表示，未来五到十年，人工智能技术将持续深化，增强语言大模型能力是重点方向。同时，多模态模型有望加速突破，提升图文理解和跨模态交互能力。
呼娜英 受访者供图
网络和框架是AI系统安全的根基
在最近的巴黎人工智能(AI)行动峰会上，AI安全性和可用性成为了全球AI产业人士的共同关注焦点。呼娜英指出，当前AI在安全性和可用性方面面临的是全链条、多维度相互交织的复杂风险挑战。随着人工智能模型复杂度和规模的不断提升，其训练、部署、应用等关键环节中面临的数据安全、网络安全、框架安全、模型算法安全以及应用平台安全问题日益突出。
在基础设施方面，网络安全和框架安全关乎整个AI系统的稳定运行根基。以DeepSeek为例，R1模型在刚刚上线提供服务后，便遭到大规模DDoS(分布式阻断服务)攻击，导致服务中断，用户无法正常访问。在数据方面，训练数据被“投毒”(通过恶意注入虚假或误导性的数据来污染模型的训练数据集)，以及训练使用敏感行业数据、个人隐私数据等，一旦数据被“投毒”，训练出的模型将产生偏差，做出错误决策，而敏感数据的不当使用则可能引发严重的法律风险和社会信任危机。
在模型算法层面，以大模型为代表的生成式模型面临严峻的越狱攻击、提示词注入攻击等威胁，模型容易在用户恶意操作下输出违法有害或侵害权益的信息。
此外，模型的“幻觉”(模型生成的不真实、编造或与上下文不一致的内容)问题突出，也成为了制约人工智能产业化落地的重要因素。在应用层面，人工智能技术容易被滥用和误用，比如利用图像生成技术伪造虚假新闻图片误导公众，或在自动化决策系统中因算法偏见导致对特定群体的不公平对待，这些行为严重扰乱了正常的社会秩序与市场环境。
如何显著提升AI系统安全性？
呼娜英强调，全球均在探索风险管理的可行路径，针对人工智能风险开展有效的“识别、评估、应对”方案一定程度上成为共识。其中，最重要的一环是对于安全问题的检测技术和防护手段。在检测方面，一是形成对于开源框架、源代码以及网络等软硬件基础设施的漏洞挖掘技术，精准定位潜在隐患。特别是开源框架、代码中存在的未被发现的漏洞，极易被利用实施大规模的攻击和勒索。如去年年初，人工智能开源框架Ray被发现存在漏洞，并被攻击人员利用攻击数百个集群。
二是形成数据“投毒”检测技术，用于守护训练数据的纯净性，防范通过训练的方式，在模型中埋入后门。
三是建立大模型等模型算法漏洞自动化测试技术，扫描算法中的薄弱环节，快速生成测试报告。
四是基于现有的自动化渗透技术能力，形成面向人脸识别、智能体等人工智能典型应用的自动化渗透技术产品，模拟黑客攻击，全方位探测应用平台的安全漏洞，充分发掘人工智能各方面的安全风险。
呼娜英还指出，在防护层面，需要探索软硬件基础设施的漏洞自动化修复技术，自动修复受损代码，降低安全风险。此外，还可以探索实践模型漏洞自动化微调和加固技术，对模型进行自动化优化，增强其抵御攻击的能力，保障人工智能系统稳定、安全地运行。
中国智慧引领未来AI治理新格局
呼娜英认为，推动人工智能安全治理合作依然是势不可挡的，也是确有必要的。人工智能的开发、部署和使用具有全球化特征，人工智能技术的应用与影响并非局限于某一地区或国家，而是深刻影响全球社会、经济和政治秩序。为人类共同未来建立务实可行的国际对话与合作机制，需要多方努力。未来，国际社会应在联合国框架下凝聚各方共识，依托国际标准化组织深化技术标准协同，务实推进人工智能安全治理工作。
一直以来，中国在全球人工智能治理领域积极作为并推动加强国际合作。例如，中国信通院积极参与国际标准制定，发起《人工智能安全承诺》促进行业自律，下一步将依托工业和信息化部人工智能技术标准委员会，持续完善国内标准体系，推动安全测试、风险评估、可信要求等技术规范转化为国际共识，促进技术标准和指引的深入实践与应用。
呼娜英预测，未来五到十年内，人工智能技术将持续深化演进。一方面，增强语言大模型能力仍是技术升级的重点方向之一，推理或将获得更多关注和资源投入。另一方面，多模态模型有望加速突破，从以语言大模型为骨干的多模态模型，向原生多模态模型演变，提升图文理解和跨模态交互能力。
呼娜英认为，在安全与可用性方面，以下趋势值得关注：在风险识别方面，随着人工智能技术日益融入经济社会发展各领域全过程，其安全风险面不断扩大，对人工智能安全风险识别方法论的研究将不断完善，从而催生更加敏捷、精准的安全风险识别机制。在风险应对方面，对算法模型毒性、鲁棒性、公平性等方面的评测技术工具研究将不断加强，将人工智能基础设施、算法模型、上层应用以及产业链等方面作为评估重点，并在机制方案上动态迭代、技术能力上持续提升，从而有效防范和应对治理风险。(中新经纬APP)
中新经纬版权所有，未经授权，不得转载或以其他方式使用。
责任编辑：张芷菡
英伟达的新挑战者？孙正义计划筹集千亿美元成立AI芯片公司 孙正义计划筹资千亿美元，搭建属于软银的AI(人工智能)芯片巨头，对行业领导者英伟达发起挑战。 当地时间2月17日，据外媒报道，软银集团的创始人孙正义计划 中新经纬2月18日电 “自然资源部”微信号18日消息，自然资源部公开通报2023年度国土变更调查专项督察发现的弄虚作假和调查不认真把关不严典型问题。 据介绍，年度国土变更调查结果中的耕地数据是耕地保护和粮食安 2023年能源投资保持快速增长(新数据 新看点) 新能源完成投资额同比增长超34% 本报北京2月22日电 (记者丁怡婷)记者近日从国家能源局获悉：2023年，我国能源投资保持快速增长，据监测，全国在建和年内拟开工能源重点 “十四五”前三年江西省单位工业增加值能耗预计下降约8% 中新网南昌2月22日电 (朱莹)22日，江西贯彻实施《江西省人民代表大会关于全力打造国家生态文明建设高地的决定》(以下简称《决定》)座谈会在南昌召开。记 2023年北京高精尖产业新设市场主体占比提升至66.1% 中新网北京2月22日电 (记者 吕少威)京津冀协同发展十年来，北京科技、商务、文化、信息等高精尖产业新设市场主体占比由2013年的40.7%上升至2023年的66.1%。 中新经纬2月22日电 据国家市场监督管理总局网站消息，自新国标发布实施后，婴幼儿配方乳粉(以下称婴配乳粉)产品配方按新国标注册攻坚工作进展顺利，截至目前，共计1127个配方通过注册。 市场监管总局表示，婴幼儿配方食 。本文链接：专访呼娜英：AI安全“隐形战场”上，如何破解全链条风险？http://www.sushuapos.com/show-5-46596-0.html
声明：本网站为非营利性网站，本网页内容由互联网博主自发贡献，不代表本站观点，本站不承担任何法律责任。天上不会到馅饼，请大家谨防诈骗！若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。