中新经纬2月18日电 (孙庆阳)“人工智能的安全与可用性面临全链条、多维度交织的复杂风险挑战，需通过国际合作、技术创新和标准制定来应对。”近日，中国信息通信研究院人工智能研究所高级业务主管呼娜英在巴黎人工智能(AI)行动峰会后接受中新经纬专访时表示，未来五到十年，人工智能技术将持续深化，增强语言大模型能力是重点方向。同时，多模态模型有望加速突破，提升图文理解和跨模态交互能力。
呼娜英 受访者供图
网络和框架是AI系统安全的根基
在最近的巴黎人工智能(AI)行动峰会上，AI安全性和可用性成为了全球AI产业人士的共同关注焦点。呼娜英指出，当前AI在安全性和可用性方面面临的是全链条、多维度相互交织的复杂风险挑战。随着人工智能模型复杂度和规模的不断提升，其训练、部署、应用等关键环节中面临的数据安全、网络安全、框架安全、模型算法安全以及应用平台安全问题日益突出。
在基础设施方面，网络安全和框架安全关乎整个AI系统的稳定运行根基。以DeepSeek为例，R1模型在刚刚上线提供服务后，便遭到大规模DDoS(分布式阻断服务)攻击，导致服务中断，用户无法正常访问。在数据方面，训练数据被“投毒”(通过恶意注入虚假或误导性的数据来污染模型的训练数据集)，以及训练使用敏感行业数据、个人隐私数据等，一旦数据被“投毒”，训练出的模型将产生偏差，做出错误决策，而敏感数据的不当使用则可能引发严重的法律风险和社会信任危机。
在模型算法层面，以大模型为代表的生成式模型面临严峻的越狱攻击、提示词注入攻击等威胁，模型容易在用户恶意操作下输出违法有害或侵害权益的信息。
此外，模型的“幻觉”(模型生成的不真实、编造或与上下文不一致的内容)问题突出，也成为了制约人工智能产业化落地的重要因素。在应用层面，人工智能技术容易被滥用和误用，比如利用图像生成技术伪造虚假新闻图片误导公众，或在自动化决策系统中因算法偏见导致对特定群体的不公平对待，这些行为严重扰乱了正常的社会秩序与市场环境。
如何显著提升AI系统安全性？
呼娜英强调，全球均在探索风险管理的可行路径，针对人工智能风险开展有效的“识别、评估、应对”方案一定程度上成为共识。其中，最重要的一环是对于安全问题的检测技术和防护手段。在检测方面，一是形成对于开源框架、源代码以及网络等软硬件基础设施的漏洞挖掘技术，精准定位潜在隐患。特别是开源框架、代码中存在的未被发现的漏洞，极易被利用实施大规模的攻击和勒索。如去年年初，人工智能开源框架Ray被发现存在漏洞，并被攻击人员利用攻击数百个集群。
二是形成数据“投毒”检测技术，用于守护训练数据的纯净性，防范通过训练的方式，在模型中埋入后门。
三是建立大模型等模型算法漏洞自动化测试技术，扫描算法中的薄弱环节，快速生成测试报告。
四是基于现有的自动化渗透技术能力，形成面向人脸识别、智能体等人工智能典型应用的自动化渗透技术产品，模拟黑客攻击，全方位探测应用平台的安全漏洞，充分发掘人工智能各方面的安全风险。
呼娜英还指出，在防护层面，需要探索软硬件基础设施的漏洞自动化修复技术，自动修复受损代码，降低安全风险。此外，还可以探索实践模型漏洞自动化微调和加固技术，对模型进行自动化优化，增强其抵御攻击的能力，保障人工智能系统稳定、安全地运行。
中国智慧引领未来AI治理新格局
呼娜英认为，推动人工智能安全治理合作依然是势不可挡的，也是确有必要的。人工智能的开发、部署和使用具有全球化特征，人工智能技术的应用与影响并非局限于某一地区或国家，而是深刻影响全球社会、经济和政治秩序。为人类共同未来建立务实可行的国际对话与合作机制，需要多方努力。未来，国际社会应在联合国框架下凝聚各方共识，依托国际标准化组织深化技术标准协同，务实推进人工智能安全治理工作。
一直以来，中国在全球人工智能治理领域积极作为并推动加强国际合作。例如，中国信通院积极参与国际标准制定，发起《人工智能安全承诺》促进行业自律，下一步将依托工业和信息化部人工智能技术标准委员会，持续完善国内标准体系，推动安全测试、风险评估、可信要求等技术规范转化为国际共识，促进技术标准和指引的深入实践与应用。
呼娜英预测，未来五到十年内，人工智能技术将持续深化演进。一方面，增强语言大模型能力仍是技术升级的重点方向之一，推理或将获得更多关注和资源投入。另一方面，多模态模型有望加速突破，从以语言大模型为骨干的多模态模型，向原生多模态模型演变，提升图文理解和跨模态交互能力。
呼娜英认为，在安全与可用性方面，以下趋势值得关注：在风险识别方面，随着人工智能技术日益融入经济社会发展各领域全过程，其安全风险面不断扩大，对人工智能安全风险识别方法论的研究将不断完善，从而催生更加敏捷、精准的安全风险识别机制。在风险应对方面，对算法模型毒性、鲁棒性、公平性等方面的评测技术工具研究将不断加强，将人工智能基础设施、算法模型、上层应用以及产业链等方面作为评估重点，并在机制方案上动态迭代、技术能力上持续提升，从而有效防范和应对治理风险。(中新经纬APP)
中新经纬版权所有，未经授权，不得转载或以其他方式使用。
责任编辑：张芷菡
最长春节假期收官：中外游客“双向奔赴”，出境游创4年峰值 澎湃新闻记者 唐莹莹 史上最长春节假期正式收官。多家在线旅游平台发布的报告显示，8-9天的假期让春节期间的出游时间和出游距离双双拉长。 春节前 中新经纬2月19日电 据《华尔街日报》中文网19日报道，欧洲监管机构将对苹果公司(Apple Inc., AAPL)处以超过5亿美元的罚款，理由是这家科技巨头不公平的阻碍了其他音乐流媒体竞争对手。 《华尔街日报》中文网援引 春节档缘何爆发“撤档潮” 2024年春节档以80亿总票房打破多个纪录，迎来开门红。而8部影片有4部官宣“退档”，也为这个春节档带来了“史上罕见”的标签。一时全网哗然，#我也退出了春节档#、#撤档元年#等成热门话题 国家移民管理局：春节假期1351.7万人次出入境 同比增长2.8倍 中新网2月18日电 据国家移民管理局微信公众号消息，2024年春节假期全国边检机关共保障1351.7万人次中外人员出入境，日均169万人次，较2023年春节同期增长2 新华社济南2月22日电（记者陈国峰、张钟仁）连日来，山东多地迎来大风降温和雨雪天气。21日，受降雪影响，济南西站部分列车降速运行，出现晚点情况。售票大厅内，记者看到“晚点停运车次退票”窗口前排起长龙。国 mRNA巨头莫德纳上季度净利暴跌85%，流感+新冠组合疫苗最快明年上市 新冠疫苗依然在影响mRNA巨头公司莫德纳的业绩，但该公司正在寻找其他增长点。 当地时间2月22日，美国疫苗公司莫德纳(Moderna，MRNA)公布2023年第 。本文链接：专访呼娜英：AI安全“隐形战场”上，如何破解全链条风险？http://www.sushuapos.com/show-5-46596-0.html
声明：本网站为非营利性网站，本网页内容由互联网博主自发贡献，不代表本站观点，本站不承担任何法律责任。天上不会到馅饼，请大家谨防诈骗！若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。