央视“3·15”晚会揭露的AI（人工智能）“投毒”黑产，撕开了生成式AI商业化进程中的灰色地带。当用户对AI的信任度不断提升，将其视为获取客观信息的重要渠道时，一些GEO（生成式引擎优化）服务商却通过系统性投喂虚假信息，让AI沦为商家的“营销傀儡”。
GEO是一种面向大模型的“内容优化”策略，本意在于提升品牌信息在AI回答中的呈现概率。但在利益驱动下，这一技术被异化为操纵信息分发的工具——通过批量制造、投放“高一致性内容”，影响大模型生成结果，甚至形成对用户的误导。
为何海量虚假信息能够突破AI的可信度防线？公众又该如何防范？围绕这些问题，科技日报记者采访了有关专家。
第一问：谁为GEO黑产提供了可乘之机？
“这本质上是一场‘AI对AI’的博弈，根源在于大模型的技术架构本身。”中国电子信息产业发展研究院（以下简称“赛迪研究院”）信息化与软件产业研究所副主任黄文鸿对记者表示。
在他看来，当前主流大模型本质上是“概率语言模型”，是从海量语料中学习语言模式与知识关联，而非像数据库那样存储大量经过验证的事实。尤其是在面对最新信息时，大模型往往依赖联网检索进行补充，这也为GEO黑产提供了可乘之机。
“攻击方通过在互联网，特别是AI大模型产品内设置的默认重点参考或抓取的信源平台上，批量投放高度一致的虚假内容，制造‘虚假共识’。”黄文鸿说，当AI通过检索抓取实时信息时，这类内容更容易被判定为“高权重信息”而被采纳。
更值得警惕的是，借助AI工具，攻击方可以批量生成“污染内容”“虚假内容”“有毒内容”，成本极低，而防御方进行事实核验时却需要逐条比对权威来源，攻防之间存在显著的不对称，仅靠模型自身能力，难以从根本上解决这一问题。
第二问：怎样形成行业级“免疫屏障”？
针对这一新型灰产，黄文鸿认为，首先要完善法律供给。
当前《生成式人工智能服务管理暂行办法》已对AI服务提供者的训练数据质量责任作出规定，但对GEO这类新型灰产的网络平台“投毒”行为，相关规制仍存在空白。因此，他建议将“针对AI系统的恶意信息投喂操纵行为”明确纳入《反不正当竞争法》规制范畴，打通从GEO服务商到委托商家的全链条追责路径。
同时，要压实平台主体责任。AI服务提供方应建立信源数据分级可信度评估机制，对检索来源实施黑白名单管理或者采纳权重升降级机制，从技术上提升“中毒”门槛；平台也应进行异常流量监测，对不规范或恶意矩阵账号进行监控和治理。
此外，还应推动行业协同治理。黄文鸿表示，建议由主管部门牵头，联合头部AI企业建立检索源安全共享与联防联控机制，形成行业级的“免疫屏障”。
第三问：公众怎么做才能辨明真假？
“最关键的是要建立‘AI不是百科全书’的认知。”黄文鸿强调，公众应将AI视为高效的信息整理工具，而非权威的事实裁判者。
具体来看，对于AI给出的关键信息，用户应养成“交叉验证”的习惯，尤其是涉及消费决策、健康医疗等领域的建议，务必通过政府官网、权威媒体、专业机构等多渠道进行核实。同时要警惕“过度一致性”，如果AI的回答对某个品牌或产品呈现高度一致的正面评价，且缺乏客观对比与风险提示，就需要提高警觉。
“用户还应关注AI平台的信息溯源能力，优先选择提供来源标注和引用链接的AI产品。”黄文鸿说，“归根结底，技术素养的提升，是公众在AI时代保护自身权益的基础。”
央视“3·15”晚会揭露的AI（人工智能）“投毒”黑产，撕开了生成式AI商业化进程中的灰色地带。当用户对AI的信任度不断提升，将其视为获取客观信息的重要渠道时，一些GEO（生成式引擎优化）服务商却通过系统性投喂虚假信息，让AI沦为商家的“营销傀儡”。
GEO是一种面向大模型的“内容优化”策略，本意在于提升品牌信息在AI回答中的呈现概率。但在利益驱动下，这一技术被异化为操纵信息分发的工具——通过批量制造、投放“高一致性内容”，影响大模型生成结果，甚至形成对用户的误导。
为何海量虚假信息能够突破AI的可信度防线？公众又该如何防范？围绕这些问题，科技日报记者采访了有关专家。
第一问：谁为GEO黑产提供了可乘之机？
“这本质上是一场‘AI对AI’的博弈，根源在于大模型的技术架构本身。”中国电子信息产业发展研究院（以下简称“赛迪研究院”）信息化与软件产业研究所副主任黄文鸿对记者表示。
在他看来，当前主流大模型本质上是“概率语言模型”，是从海量语料中学习语言模式与知识关联，而非像数据库那样存储大量经过验证的事实。尤其是在面对最新信息时，大模型往往依赖联网检索进行补充，这也为GEO黑产提供了可乘之机。
“攻击方通过在互联网，特别是AI大模型产品内设置的默认重点参考或抓取的信源平台上，批量投放高度一致的虚假内容，制造‘虚假共识’。”黄文鸿说，当AI通过检索抓取实时信息时，这类内容更容易被判定为“高权重信息”而被采纳。
更值得警惕的是，借助AI工具，攻击方可以批量生成“污染内容”“虚假内容”“有毒内容”，成本极低，而防御方进行事实核验时却需要逐条比对权威来源，攻防之间存在显著的不对称，仅靠模型自身能力，难以从根本上解决这一问题。
第二问：怎样形成行业级“免疫屏障”？
针对这一新型灰产，黄文鸿认为，首先要完善法律供给。
当前《生成式人工智能服务管理暂行办法》已对AI服务提供者的训练数据质量责任作出规定，但对GEO这类新型灰产的网络平台“投毒”行为，相关规制仍存在空白。因此，他建议将“针对AI系统的恶意信息投喂操纵行为”明确纳入《反不正当竞争法》规制范畴，打通从GEO服务商到委托商家的全链条追责路径。
同时，要压实平台主体责任。AI服务提供方应建立信源数据分级可信度评估机制，对检索来源实施黑白名单管理或者采纳权重升降级机制，从技术上提升“中毒”门槛；平台也应进行异常流量监测，对不规范或恶意矩阵账号进行监控和治理。
此外，还应推动行业协同治理。黄文鸿表示，建议由主管部门牵头，联合头部AI企业建立检索源安全共享与联防联控机制，形成行业级的“免疫屏障”。
第三问：公众怎么做才能辨明真假？
“最关键的是要建立‘AI不是百科全书’的认知。”黄文鸿强调，公众应将AI视为高效的信息整理工具，而非权威的事实裁判者。
具体来看，对于AI给出的关键信息，用户应养成“交叉验证”的习惯，尤其是涉及消费决策、健康医疗等领域的建议，务必通过政府官网、权威媒体、专业机构等多渠道进行核实。同时要警惕“过度一致性”，如果AI的回答对某个品牌或产品呈现高度一致的正面评价，且缺乏客观对比与风险提示，就需要提高警觉。
“用户还应关注AI平台的信息溯源能力，优先选择提供来源标注和引用链接的AI产品。”黄文鸿说，“归根结底，技术素养的提升，是公众在AI时代保护自身权益的基础。”
随着历史的车轮驶入2024年，大模型、AIGC等话题引发广泛热议，云计算与AI技术展现出了前所未有的深度融合趋势，就如同寒武纪的生物大爆发，激发着各行各业的创新浪潮。新质生产力时代到来，政企用云进 3月18日，在2024年黑龙江农机产品展示交易会上，一部可智能播种，又可助力增产的电驱气吸播种机引发众人关注。这台高端智能电驱气吸播种机的价格与机械播种机价格相当，据悉，研发团队通过自主研发和 据英国《金融时报》网站3月13日报道，科学家们已经在利用人工智能(AI)阐释人体所谓的“黑暗基因组”，并开发一种可能很强大的癌症检测、监测和治疗新方法。美国约翰斯·霍普金斯大学的研 肺癌是全球死亡率最高的恶性肿瘤。其中非小细胞肺癌（NSCLC）占比达到85%。表皮生长因子受体（EGFR）是NSCLC最常见的驱动突变基因。现在，一个国际科学家团队首次证明，EGFR的一个关键界面可能会成为更 记者3月19日从天津大学获悉，该校环境学院刘庆岭教授团队与吉林大学于吉红院士团队以及天津工业大学梅东海教授团队合作，证明了无有机模板剂合成的具有OFF和ERI拓扑共生结构的Cu-T催化剂具有优 中新经纬3月22日电 据《日本经济新闻》22日报道，夏普正在讨论缩小液晶显示器业务，夏普已将子公司显示器(SDP、位于市)停产纳入视野。显示器业务持续陷入苦战，成为夏普在2022财年(截至2023年3月)时隔5年陷入最终亏损 。本文链接：AI被“投毒”，如何避免上当受骗http://www.sushuapos.com/show-2-15678-0.html
声明：本网站为非营利性网站，本网页内容由互联网博主自发贡献，不代表本站观点，本站不承担任何法律责任。天上不会到馅饼，请大家谨防诈骗！若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。
上一篇： 马斯克就千亿美元索赔案放话：若告赢OpenAI，全部收益捐给慈善机构
下一篇： 春日奋进 向新而行·春耕里的新质生产力