科技日报北京7月25日电 （记者张梦然）《自然》24日正式发表的一篇研究论文指出了一个人工智能（AI）严重问题：用AI生成的数据集训练未来几代机器学习模型，可能会严重“污染”它们的输出，这被称为“模型崩溃”。研究显示，原始内容会在9次迭代以后，变成不相关的“胡言乱语”（演示中一个建筑文本最终变成了野兔的名字），这凸显出使用可靠数据训练AI模型的重要性。
生成式AI工具越来越受欢迎，如大语言模型等，这类工具主要用人类生成的输入进行训练。不过，随着这些AI模型在互联网不断壮大，计算机生成内容可能会以递归循环的形式被用于训练其他AI模型或其自身。
包括英国牛津大学在内的联合团队一直在进行相关研究，并在去年论文预印本中提出这一概念。在正式发表的论文中，他们用数学模型演示了AI可能会出现的“模型崩溃”。他们证明了一个AI会忽略训练数据中的某些输出（如不太常见的文本），导致其只用一部分数据集来自我训练。
团队分析了AI模型会如何处理主要由AI生成的数据集。他们发现，给模型输入AI生成的数据，会减弱今后几代模型的学习能力，最终导致了“模型崩溃”。他们测试的几乎所有递归训练语言模型，都容易出现问题。比如，一个用中世纪建筑文本作为原始输入的测试，到第9代的输出已经是一串野兔的名字。
团队指出，用前几代生成的数据集去训练AI，崩溃是一个不可避免的结局。他们认为，必须对数据进行严格过滤。与此同时，这也意味着依赖人类生成内容的AI模型，或许能训练出更高效的AI模型。
上海生物医药产业怎么做到产学研合力？12月14日，澎湃新闻记者从上海张江一场共话人才未来产学研合作的闭门会议获悉，前 中国科学院院士、中国科学技术大学教授郭光灿团队在基于冷原子的量子存储实验研究中取得重要进展：该团队教授史保森、丁 距离地球“只有”大约2200万光年的超新星SN 2023ixf发生了爆炸，也许它不是浩渺宇宙中最独特的星体，但其爆炸却对地球上的 过去的数个月，对我国道路交通智能检测领域知名专家赵祥模教授来讲，一如既往地保持着忙碌而有序的“快节奏”，他从容地在多 12月17日，由中国科学院大学马克思主义学院、中国科学院大学党史党建研究中心主办的“纪念毛泽东同志诞辰130周年学术研讨 12月16日至17日，由中国科学院高能物理研究所主办的南方先进光源指导委员会新能源与器件工作组研讨会在位于广东东莞的中 。本文链接：用AI生成数据训练AI或导致模型崩溃http://www.sushuapos.com/show-11-9087-0.html
声明：本网站为非营利性网站，本网页内容由互联网博主自发贡献，不代表本站观点，本站不承担任何法律责任。天上不会到馅饼，请大家谨防诈骗！若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。
上一篇： 韦布发现“超级胖子”行星