21世纪经济报道记者李览青 上海报道
如果说2023年的世界人工智能大会（WAIC）是“百模大战”，今年WAIC的关键词是“应用至上”。纵观今年论坛热点话题，无论是具身智能还是AI Agent（智能体），都指向以大模型为代表的AI技术在不同场景下的垂直应用。
“去年年中我们接触的很多企业，对自己的定位都是基础大模型或通用大模型企业，到去年年底定位改为行业大模型企业，到今年我们发现，有一些企业的战略定位已经精准落到场景大模型企业上了。”中国信通院华东分院人工智能事业部主任常永波向记者坦言，“现在或许可以被称为‘黎明前的昏暗’。”他提到，应用价值与应用安全就像大模型创新发展的双指针，当前人工智能技术已进入模型迭代的快周期，但现象级的、有极高落地应用价值的产品还没有出现，企业在纷纷探索落地深度应用场景的同时，也会不约而同地高度重视应用场景需求下对安全的行业要求。
但一个摆在行业面前的问题是，AI大模型的安全能力还没有跟上技术迭代的脚步。在WAIC开幕式上，上海人工智能实验室主任、首席科学家周伯文坦言：“当前AI技术正呈指数级增长，但安全治理没有跟上。在大模型研发过程中，往往还是性能优先，总体上模型安全能力远远落后于性能。”
在人工智能真正带来应用变革前，一场关于安全治理的行动亟待展开。
应用时代，更需警惕“跛脚AI”
站在2024年的下半场回顾大模型的发展路径，从2017年Transformer模型发布到2022年基于GPT-3.5的ChatGPT横空出世，相关模型迭代依然是以年为单位的，而2023年以来，几乎每个月甚至每周都有新的模型变革诞生，通用大模型已经具备了跨模态的理解和生成能力。
以Meta爆火的Llama系列模型为例，从2023年7月到2024年3月的半年时间内，其训练数据规模从2万亿tokens增加到15万亿，Llama 3的数据量远超Llama1和Llama 2的总和，其中代码比Llama 2多4倍。此外，为了提高 Llama 3 模型的推理效率，Meta AI还采用了分组查询注意力 (GQA)机制，进一步强化了模型在语言、知识、编程、数学等方面的能力。
与此同时，大模型在不同场景领域的专业化应用深度也在拓展。一方面，专用化的行业大模型正在深入金融、政务、医疗等特定行业，通过精细化优化满足行业的特殊需求，以更精简的参数规模、更低的成本优势与企业内部数据深度融合，从而应用于实际业务场景。
另一方面，包括AI Agent与具身智能在内的大模型应用正加速落地，在今年的WAIC展览中共有25款人形机器人参展，被称为“人形机器人天团”，而蚂蚁也带来了基于百灵大模型的智能体应用体验。
“目前AI性能呈指数级增长，与此形成对比的是，AI安全维度典型的技术，如红队测试、安全标识、安全护栏与评估测量等，呈现零散化、碎片化，且后置性的特性。”周伯文坦言，AI模型在安全与性能之间的失衡，将导致AI的发展是“跛脚”的，其背后是全球在安全投入上的巨大差异。
安全与性能始终在天平的两端。
在人工智能技术诞生之初，模型“幻觉”问题与算法“黑盒”问题也随之诞生，前者意味着生成内容或许不可信，后者意味着出现风险后或许难以归责。
在大模型迈向商业应用的阶段，这些风险被放大，同时也会产生新的安全隐患。“过去大家也发现模型会出现幻觉问题，导致模型输出的内容存在风险，但在工业应用的过程中，这种不稳定性变成了不可靠。”蚂蚁集团安全实验室首席科学家王维强提到，特别是当下大模型在各个端上的落地离不开Agent的应用，而复杂的Agent体系下进一步扩大了人工智能的风险敞口。他指出，随着大模型能力的不断增强，在安全性、可靠性、可控性等方面受到前所未有的挑战，如研发过程中引发信息泄露、价值对齐、机器幻觉等问题，以及落地过程中面临的数据、模型、算法及其运行的软硬件环境安全风险等等。
“不少企业是在原有的传统数据安全、信息安全、系统安全等经验基础上，进行能力迁移，应用于大模型安全。”清华大学长聘副教授、博士生导师李琦指出，大模型安全应用是一个新兴领域，研究和应用尚处于起步阶段。随着新的大模型安全实践的不断深入，技术也会持续升级，应当为大模型安全构建实践范式，打造高价值参考体系。
大模型安全治理“箭在弦上”
人工智能革新带来的种种风险，无论是监管、学界还是产业界都意识到安全治理已“箭在弦上”。
2019年，中国新一代人工智能治理专业委员会发布《新一代人工智能治理原则——发展负责任的人工智能》，推动人工智能安全可控可靠。此后《数据安全法》、《个人信息保护法》、《关于加强金融科技伦理治理的意见》、《互联网信息服务深度合成管理规定》、《生成式人工智能管理暂行办法》、《科技伦理审查办法（试行）》、《生成式人工智能服务安全基本要求》等一系列文件出台，各项合规与安全要求已涉及AI产品、服务的全生命周期，我国AI合规与治理框架已初现雏形。
产学研联动层面，涉及可解释性、鲁棒性、公平性、隐私保护等四个维度在内的“可信AI”被广泛认可。伴随着大模型带来的风险敞口扩大，围绕“可信AI”的治理也走向升级。
在WAIC期间，《大模型安全实践（2024）》白皮书（以下简称“白皮书”）正式公布，这也是国内首份“大模型安全实践”研究报告，该白皮书由清华大学、中关村实验室、蚂蚁集团等机构联合撰写。白皮书首次系统化提出安全实践总体框架，从安全性、可靠性、可控性等三个维度提供技术实施方案。“这三个维度是我们对大模型时代‘可信AI2.0’的升级。”作为白皮书的主要撰写人员之一，王维强分别对上述三个维度作出解释：安全性意味着确保模型在所有阶段都受到保护；可靠性要求大模型在各种情境下都能持续提供准确、一致、真实的结果，从而保障决策支持系统的可靠；可控性则关乎模型在提供结果和决策时能否让人类了解、介入，根据人类需要进行调试和操作。通过这三个维度，可提升大模型的鲁棒性、可解释性、公平性、真实性、价值对齐、隐私保护等方向的能力。
白皮书指出，需要构建集大模型安全人才培养、大模型安全生态培育、大模型安全企业自律、大模型安全测试验证、大模型安全政府监管“五维一体”的治理框架。在记者的采访中，被谈及最多的治理突破点是企业自律与测试验证。
“就目前来看，让大模型完全不犯错是几乎不可能的，但让它犯错的几率变小，减弱错误的危害性，这是可以做的。”常永波表示，如今国内头部厂商已高度重视安全治理，除了中国信通院在开展标准和测评研究外，蚂蚁、商汤等都构建了自己的安全和治理体系，但随着大模型落地的门槛降低，部分中小型企业在模型治理、安全管理层面的能力较弱，这既需要监管的引导，也需要行业搭建起安全测评的指标体系。
蚂蚁集团安全内容智能负责人赵智源向记者坦言，基础大模型的技术迭代周期非常快，特别是在前期研发阶段由于配置上的变更，每次更新可能都会产生一些新的不确定性。“以深度伪造为例，它的攻和防是一个相对且不断精进的过程，你在进步，深度伪造也在进步，我们要做的就是跑在它的前面。”赵智源表示，对于企业来说，一方面在大模型投入应用之前，需要做好全面的评测，对评测出来的安全性问题做针对性防御，降低其发布应用后可能产生的风险；另一方面，技术发展一般都会先于安全技术的演进，所以安全研究需要有一定的前瞻性，并实现与大模型应用技术的有机结合。
“我们很早就在探索基于安全知识来构建视觉领域生成内容风险抑制的技术，在多模态大模型发布后，我们又将其集成到多模态基座中，有效降低了风险内容的生成比例。”据赵智源介绍，蚂蚁集团已构建起面向产业级应用的大模型安全一体化解决方案“蚁天鉴”2.0版本，形成了包括大模型基础设施测评、大模型X光测评、应用安全测评、AIGC滥用检测、证件伪造检测、围栏防御等在内的完整的测评和防御技术链条，并运用于金融、政务、医疗等专业场景下的AI应用全流程。
“我们现在已把‘蚁天鉴’的整个测评能力做了开源，将来也会把蚂蚁的检测能力以及对风险的认知分享到平台上，它可以适配比较多的模型，希望蚂蚁提供的开放能力能够让整个大模型行业实现持续健康发展，做一个负责任的大模型。”王维强表示。
英国“我超爱科学”网站1月1日刊登题为《什么是“时空连续体”？》的文章，作者是斯蒂芬·伦茨，内容编译如下：“时空连续体”(space-time continuum)是源自于大多数人听说过却未必完全了解的 记者3月21日获悉，由中国科学院自动化研究所和中国科学院香港创新研究院联合研发的医疗领域AI多模态大模型——CARES Copilot 1.0日前在香港正式发布，现已面向香港神经外科医生开放使 记者从近日举办的新疆筹建融合算力中心研讨会上获悉，新疆将构建具备国家级算力水平的涵盖超算、智算的融合算力中心。到2024年底，建成超算算力（FP64）不低于200P Flops、智算算力（FP16）不低于400P F “截至2023年底，与2018年同期相比，京津冀治理区浅层地下水位平均回升2.59米，深层承压水水位平均回升7.06米。”3月22日世界水日到来之际，水利部水资源管理司副司长张鸿星21日接受科技日报记者采 造成女性更容易睡不好的原因是多方面的，包括更年期等生理周期等，而女性长期的失眠除了会导致内分泌进一步失调，还会诱发心脏病、高血压、糖尿病、免疫力低下、记忆下降、脱发、皮肤松弛等。北京 3月23日消息，京东与OPPO战略合作协议签约仪式举行，双方签订未来三年OPPO在京东全渠道实现销售额同比增长100%的目标。在签约仪式上，OPPO高级副CEO、首席产品官刘作虎表示，2024年线上突破是OPPO中国区 。本文链接：聚焦WAIC丨大模型落地考：快跑需警惕“跛脚”，安全治理“箭在弦上”http://www.sushuapos.com/show-2-7397-0.html
声明：本网站为非营利性网站，本网页内容由互联网博主自发贡献，不代表本站观点，本站不承担任何法律责任。天上不会到馅饼，请大家谨防诈骗！若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。