近日，女演员温峥嵘自曝在网上刷到了假冒自己的直播间。此前就有人发现，她曾“出现”在多个直播间，同一时段，妆造不同，产品不同，但说着同样的话。这些直播间影像均非温峥嵘本人出镜，有的竟是AI合成的虚假直播。
AI技术的不断成熟和广泛应用，给人们的工作和生活带来诸多便利，但与此同时，某些个人或商家利用AI生成虚假视频误导公众。
专业人士认为，应进一步明确AI生成内容的标识义务，同时，技术平台和电商平台等传播类平台需承担识别、拦截以及对违规账号进行处罚的主体责任，公众也应提升对AI生成内容的认知能力和风险防范意识。
仿冒视频误导消费者
“真这么神奇吗？”“就这个痔疮凝胶，不用忌口，不用遭罪，是全网唯一没有差评的产品……”近日，《工人日报》记者在上海的赵女士展示的一段视频中看到，韩红、潘长江两位明星一问一答，正推销某痔疮产品，视频中还有其他女明星为该产品“站台”。
赵女士告诉记者，这是今年8月她在母亲手机里某短视频软件上拍摄的一段视频。她母亲看到“连大牌明星都在推荐这款产品”，便准备下单购买。赵女士及时阻止，“这视频一看就是AI生成的，说话时表情和嘴巴都不自然”。
作为一名AI短剧创作者，谭靖告诉记者，赵女士母亲看到的明星推销视频实际是利用数字人技术制作而成。“只要有一张明星的照片，就能让人物动起来，哪怕是张截图。这位明星只要在某场合说了一句话，声音也能被克隆。”
今年6月，北京市海淀区市场监管局查处了某公司利用AI技术冒用央视知名主持人名义和形象的虚假广告案。8月，有媒体披露，在某社交平台上，有博主利用AI技术仿冒奥运冠军全红婵的声音卖土鸡蛋，其中有的视频点赞量高达1.1万。奥运冠军孙颖莎和王楚钦也同样遭遇了类似仿冒。
以假乱真的画面和声音，加上名人效应，让一些制作虚假视频的营销博主收获了大量订单。记者在某短视频平台看到，赵女士母亲刷到的“明星推销痔疮产品”视频已下架，但显示该产品销量已近6000件。据报道，在“全红婵带货土鸡蛋”的视频评论区，大量粉丝误以为就是运动员本人“代言”，纷纷下单购买，该商品显示已售出4.7万件。
有消费者发现，随着“双十一”到来，购物平台上AI生成的商品展示增多，如各类玩偶挂件、衣服、家具，甚至包括试衣模特。还有的商家在商品详情页、直播间使用AI生成的虚假测评，编造使用体验，影响消费者理性判断。
垦丁律师事务所创始合伙人麻策律师表示，利用AI技术仿冒名人进行直播和营销带货，严重侵害了被仿冒名人的肖像权、名誉权和声音权等合法权益，违反了消费者权益保护法和广告法中关于禁止虚假宣传及不实广告的规定，损害了消费者的知情权和选择权，情节严重的可能构成诈骗罪，须承担刑事责任。
中国人民大学公共管理学院教授、首都发展与战略研究院研究员张友浪表示，虚假视频和商品展示等不仅导致信息失真与信任侵蚀，售后维权问题增多，还会带来平台生态劣化，合规经营者被不公平竞争挤压等问题。
识别AI虚假视频的难度增大
“AI工具日益普及、操作简便，使得非专业人士也能轻易生成虚假内容，是AI生成内容被滥用的首要原因。”北京邮电大学互联网治理与法律研究中心主任谢永江分析说。
10月17日晚，安徽铜陵一女子用AI技术生成了几张“流浪汉进家”的图片，发给在外聚餐的丈夫。逼真的画面让丈夫信以为真并报了警。民警到现场核实后，才确认是利用AI整蛊引起的闹剧。
在一家音乐培训机构做视频剪辑的时一，从去年起开始尝试用AI生成视频。近日她在网上发布了一条自己制作的短片：蓝色天空下，白色教学楼里传来学生的琅琅读书声，教室里，老师在黑板上写下作文题“我想去看看”……3分钟的视频里，风景、人物、日常用品都十分逼真。
“用AI技术生成图片，再将图片生成视频，最后剪辑加配音，一条视频就完成了。”时一告诉记者，她并非影视专业毕业，只是对生成式视频感兴趣，上述逼真的视频便是她用三四个软件制作而成。
“很多AI图片和视频达到了以假乱真的程度，除非有标识，否则很难辨别。”在一家头部短视频平台做技术维护的刘钰(化名)直言，随着大模型生成能力越来越强，识别AI虚假视频的难度越来越大。
“一些长视频还可以根据上下文背景区分，以人像为主的短视频加上特效后几乎与真人没区别，如果设备、码率、帧率等再有所改善，识别精度会进一步受限。”刘钰说，现阶段平台在AI视频识别上还主要靠人工和机器相结合，无法完全依赖技术识别。
张友浪分析认为，平台流量与带货转化的强激励，使得一些商家和个人利用AI技术实现“劣币逐利”，并迅速复制扩散；网络环境的匿名性、隐蔽性，使得滥用行为的取证难、追责成本高；很多人辨别深度伪造的媒介素养不足，平台的内容溯源机制不完善等，同样助长了AI生成内容应用乱象。
让AI生成内容“可见、可检、可追”
今年9月1日起，由国家互联网信息办公室等制定的《人工智能生成合成内容标识办法》开始施行，要求所有AI生成的文字、图片、视频等内容“亮明身份”，即添加标识以明确其来源和真实性。
时一告诉记者，导出AI生成视频时，一般软件会自带有AI水印，如果没带水印，在发布视频时需要选择平台提供的AI生成声明选项。
“但选不选，目前还是看自觉，有的人可能以为只要视频不涉及版权、肖像权等问题就可以不标注。”谭靖说，为了博眼球、赚流量，一些博主还会特意用AI技术去掉视频原本的“AI生成”水印，并在发布时选择不标注。
9月，有短视频平台发布关于加强治理AI内容滥用的公告称，平台已对违规视频和账号采取下架、清退等措施，并强调AI应用必须合规，任何误用、滥用行为将被严厉打击。
张友浪建议，不仅要对AI生成内容添加标识，而且要“可见、可检、可追”，可探索技术层面的隐性水印与溯源元数据、模型指纹等技术相结合，便于平台与相关部门监管核验。
在明确AI生成内容的标识责任上，张友浪认为，应实行“内容生产者为首责、平台把关、第三方可核验”的分层机制：上传者先自声明与嵌入水印；平台在分发前进行自动识别与抽检复核，对未标注或疑似不实的内容，要求强制补标或限流下架；行业协会与权利人可通过取证接口进行外部核验。此外，对商业营销、广告性质的内容，应按广告法规定的更高披露标准执行。
为进一步引导社会合法合理使用AI生成内容，谢永江建议强化平台责任，加强技术和管理措施，同时提高公众AI素养。此外，还要加强跨部门协作，进一步整治AI生成内容相关的违法行为。
本文链接：AI滥用“以假乱真”，你我如何不“入坑”？http://www.sushuapos.com/show-5-77753-0.html
声明：本网站为非营利性网站，本网页内容由互联网博主自发贡献，不代表本站观点，本站不承担任何法律责任。天上不会到馅饼，请大家谨防诈骗！若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。