中新经纬2月18日电 (孙庆阳)“人工智能的安全与可用性面临全链条、多维度交织的复杂风险挑战，需通过国际合作、技术创新和标准制定来应对。”近日，中国信息通信研究院人工智能研究所高级业务主管呼娜英在巴黎人工智能(AI)行动峰会后接受中新经纬专访时表示，未来五到十年，人工智能技术将持续深化，增强语言大模型能力是重点方向。同时，多模态模型有望加速突破，提升图文理解和跨模态交互能力。
呼娜英 受访者供图
网络和框架是AI系统安全的根基
在最近的巴黎人工智能(AI)行动峰会上，AI安全性和可用性成为了全球AI产业人士的共同关注焦点。呼娜英指出，当前AI在安全性和可用性方面面临的是全链条、多维度相互交织的复杂风险挑战。随着人工智能模型复杂度和规模的不断提升，其训练、部署、应用等关键环节中面临的数据安全、网络安全、框架安全、模型算法安全以及应用平台安全问题日益突出。
在基础设施方面，网络安全和框架安全关乎整个AI系统的稳定运行根基。以DeepSeek为例，R1模型在刚刚上线提供服务后，便遭到大规模DDoS(分布式阻断服务)攻击，导致服务中断，用户无法正常访问。在数据方面，训练数据被“投毒”(通过恶意注入虚假或误导性的数据来污染模型的训练数据集)，以及训练使用敏感行业数据、个人隐私数据等，一旦数据被“投毒”，训练出的模型将产生偏差，做出错误决策，而敏感数据的不当使用则可能引发严重的法律风险和社会信任危机。
在模型算法层面，以大模型为代表的生成式模型面临严峻的越狱攻击、提示词注入攻击等威胁，模型容易在用户恶意操作下输出违法有害或侵害权益的信息。
此外，模型的“幻觉”(模型生成的不真实、编造或与上下文不一致的内容)问题突出，也成为了制约人工智能产业化落地的重要因素。在应用层面，人工智能技术容易被滥用和误用，比如利用图像生成技术伪造虚假新闻图片误导公众，或在自动化决策系统中因算法偏见导致对特定群体的不公平对待，这些行为严重扰乱了正常的社会秩序与市场环境。
如何显著提升AI系统安全性？
呼娜英强调，全球均在探索风险管理的可行路径，针对人工智能风险开展有效的“识别、评估、应对”方案一定程度上成为共识。其中，最重要的一环是对于安全问题的检测技术和防护手段。在检测方面，一是形成对于开源框架、源代码以及网络等软硬件基础设施的漏洞挖掘技术，精准定位潜在隐患。特别是开源框架、代码中存在的未被发现的漏洞，极易被利用实施大规模的攻击和勒索。如去年年初，人工智能开源框架Ray被发现存在漏洞，并被攻击人员利用攻击数百个集群。
二是形成数据“投毒”检测技术，用于守护训练数据的纯净性，防范通过训练的方式，在模型中埋入后门。
三是建立大模型等模型算法漏洞自动化测试技术，扫描算法中的薄弱环节，快速生成测试报告。
四是基于现有的自动化渗透技术能力，形成面向人脸识别、智能体等人工智能典型应用的自动化渗透技术产品，模拟黑客攻击，全方位探测应用平台的安全漏洞，充分发掘人工智能各方面的安全风险。
呼娜英还指出，在防护层面，需要探索软硬件基础设施的漏洞自动化修复技术，自动修复受损代码，降低安全风险。此外，还可以探索实践模型漏洞自动化微调和加固技术，对模型进行自动化优化，增强其抵御攻击的能力，保障人工智能系统稳定、安全地运行。
中国智慧引领未来AI治理新格局
呼娜英认为，推动人工智能安全治理合作依然是势不可挡的，也是确有必要的。人工智能的开发、部署和使用具有全球化特征，人工智能技术的应用与影响并非局限于某一地区或国家，而是深刻影响全球社会、经济和政治秩序。为人类共同未来建立务实可行的国际对话与合作机制，需要多方努力。未来，国际社会应在联合国框架下凝聚各方共识，依托国际标准化组织深化技术标准协同，务实推进人工智能安全治理工作。
一直以来，中国在全球人工智能治理领域积极作为并推动加强国际合作。例如，中国信通院积极参与国际标准制定，发起《人工智能安全承诺》促进行业自律，下一步将依托工业和信息化部人工智能技术标准委员会，持续完善国内标准体系，推动安全测试、风险评估、可信要求等技术规范转化为国际共识，促进技术标准和指引的深入实践与应用。
呼娜英预测，未来五到十年内，人工智能技术将持续深化演进。一方面，增强语言大模型能力仍是技术升级的重点方向之一，推理或将获得更多关注和资源投入。另一方面，多模态模型有望加速突破，从以语言大模型为骨干的多模态模型，向原生多模态模型演变，提升图文理解和跨模态交互能力。
呼娜英认为，在安全与可用性方面，以下趋势值得关注：在风险识别方面，随着人工智能技术日益融入经济社会发展各领域全过程，其安全风险面不断扩大，对人工智能安全风险识别方法论的研究将不断完善，从而催生更加敏捷、精准的安全风险识别机制。在风险应对方面，对算法模型毒性、鲁棒性、公平性等方面的评测技术工具研究将不断加强，将人工智能基础设施、算法模型、上层应用以及产业链等方面作为评估重点，并在机制方案上动态迭代、技术能力上持续提升，从而有效防范和应对治理风险。(中新经纬APP)
中新经纬版权所有，未经授权，不得转载或以其他方式使用。
责任编辑：张芷菡
佐力药业新药获批 华东医药能否打赢大单品保卫战？ 每经记者 陈星 每经编辑 文多 华东医药(SZ000963，股价35.18元，市值617.21亿元)和佐力药业(SZ300181，股价10.70元，市值75.05亿元)的专利纷争或再升级。 1月7 中新经纬2月19日电 据《华尔街日报》中文网19日报道，欧洲监管机构将对苹果公司(Apple Inc., AAPL)处以超过5亿美元的罚款，理由是这家科技巨头不公平的阻碍了其他音乐流媒体竞争对手。 《华尔街日报》中文网援引 作者：秦天宝（武汉大学环境法研究所所长）2023年11月，中央全面深化改革委员会第三次会议审议通过了《关于全面推进美丽中国建设的意见》《关于加强生态环境分区管控的指导意见》等重要文件。习近平 美国总统选战日渐升温之际，美国前总统特朗普日前出现在宾夕法尼亚州费城鞋展，化身“带货达人”，推介其本人同名品牌运动鞋，迅速冲上“热搜”。特朗普品牌运动鞋专卖网站页面截图特朗普在费城会议中心 中国发展网讯 龙年首场强降雪来袭，2月20日上午，雄安分中心涞源养护队第一时间启动抗冰除雪保畅预案，在集中降雪前，提前进行一次有针对性、低剂量的融雪剂撒布工作，避免路面发生结冰现象，同时突出对重点路 最高检：对未成年人实施网络暴力依法从重处罚 中新网2月23日电 据最高人民检察院微博消息，2月23日，最高人民检察院法律政策研究室主任高景峰在访谈时介绍，对网络暴力违法犯罪，应当体现从严惩治精神，依法严肃追究，切实 。本文链接：专访呼娜英：AI安全“隐形战场”上，如何破解全链条风险？http://www.sushuapos.com/show-5-46596-0.html
声明：本网站为非营利性网站，本网页内容由互联网博主自发贡献，不代表本站观点，本站不承担任何法律责任。天上不会到馅饼，请大家谨防诈骗！若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。