《自然》24日正式发表的一篇研究论文指出了一个人工智能（AI）严重问题：用AI生成的数据集训练未来几代机器学习模型，可能会严重“污染”它们的输出，这被称为“模型崩溃”。研究显示，原始内容会在9次迭代以后，变成不相关的“胡言乱语”（演示中一个建筑文本最终变成了野兔的名字），这凸显出使用可靠数据训练AI模型的重要性。
生成式AI工具越来越受欢迎，如大语言模型等，这类工具主要用人类生成的输入进行训练。不过，随着这些AI模型在互联网不断壮大，计算机生成内容可能会以递归循环的形式被用于训练其他AI模型或其自身。
包括英国牛津大学在内的联合团队一直在进行相关研究，并在去年论文预印本中提出这一概念。在正式发表的论文中，他们用数学模型演示了AI可能会出现的“模型崩溃”。他们证明了一个AI会忽略训练数据中的某些输出（如不太常见的文本），导致其只用一部分数据集来自我训练。
团队分析了AI模型会如何处理主要由AI生成的数据集。他们发现，给模型输入AI生成的数据，会减弱今后几代模型的学习能力，最终导致了“模型崩溃”。他们测试的几乎所有递归训练语言模型，都容易出现问题。比如，一个用中世纪建筑文本作为原始输入的测试，到第9代的输出已经是一串野兔的名字。
团队指出，用前几代生成的数据集去训练AI，崩溃是一个不可避免的结局。他们认为，必须对数据进行严格过滤。与此同时，这也意味着依赖人类生成内容的AI模型，或许能训练出更高效的AI模型。
总编辑圈点：
对AI来说，“模型崩溃”就像癌症一样，甚至分早期与晚期。在早期时，被“喂”了生成数据的AI会开始失去一些原始正确数据；但在晚期，被“喂”了生成数据的AI会“口吐狂言”——给出完全不符合现实，也和底层数据一点不相关的结果，就像本文中的例子一样。更可怕的是，“模型崩溃”的AI极其固执，错误几乎难以矫正。它会持续强化，最终把错误结果认为是正确的。这一问题值得所有关注生成式AI的人们警惕，因为它等于是在“毒化”AI对真实世界的认知。
《自然》24日正式发表的一篇研究论文指出了一个人工智能（AI）严重问题：用AI生成的数据集训练未来几代机器学习模型，可能会严重“污染”它们的输出，这被称为“模型崩溃”。研究显示，原始内容会在9次迭代以后，变成不相关的“胡言乱语”（演示中一个建筑文本最终变成了野兔的名字），这凸显出使用可靠数据训练AI模型的重要性。
生成式AI工具越来越受欢迎，如大语言模型等，这类工具主要用人类生成的输入进行训练。不过，随着这些AI模型在互联网不断壮大，计算机生成内容可能会以递归循环的形式被用于训练其他AI模型或其自身。
包括英国牛津大学在内的联合团队一直在进行相关研究，并在去年论文预印本中提出这一概念。在正式发表的论文中，他们用数学模型演示了AI可能会出现的“模型崩溃”。他们证明了一个AI会忽略训练数据中的某些输出（如不太常见的文本），导致其只用一部分数据集来自我训练。
团队分析了AI模型会如何处理主要由AI生成的数据集。他们发现，给模型输入AI生成的数据，会减弱今后几代模型的学习能力，最终导致了“模型崩溃”。他们测试的几乎所有递归训练语言模型，都容易出现问题。比如，一个用中世纪建筑文本作为原始输入的测试，到第9代的输出已经是一串野兔的名字。
团队指出，用前几代生成的数据集去训练AI，崩溃是一个不可避免的结局。他们认为，必须对数据进行严格过滤。与此同时，这也意味着依赖人类生成内容的AI模型，或许能训练出更高效的AI模型。
总编辑圈点：
对AI来说，“模型崩溃”就像癌症一样，甚至分早期与晚期。在早期时，被“喂”了生成数据的AI会开始失去一些原始正确数据；但在晚期，被“喂”了生成数据的AI会“口吐狂言”——给出完全不符合现实，也和底层数据一点不相关的结果，就像本文中的例子一样。更可怕的是，“模型崩溃”的AI极其固执，错误几乎难以矫正。它会持续强化，最终把错误结果认为是正确的。这一问题值得所有关注生成式AI的人们警惕，因为它等于是在“毒化”AI对真实世界的认知。
中国科学院深圳先进技术研究院15日发布消息称，该院科研团队研发了一种具有靶向送药功能的磁驱软体机器人，该机器人能够根据器官内部环境的特点选择合适的运动模式，实现靶向送药的同时还可以控制 记者19日从兰州大学获悉，天华肉羊通过国家畜禽遗传资源委员会审定鉴定，成为我国首个适应高寒气候的肉羊品种。该品种由兰州大学草地农业科技学院李发弟教授和乐祥鹏教授团队，联合甘肃省武威市天 马斯克用行动反击 开源自家顶级大模型 压力给到OpenAI 《科创板日报》3月18日讯(编辑 宋子乔) 似乎是为了表明自己始终坚持对AI模型开源，马斯克做出了与阿尔特曼全然不同的选择。3月17日，马斯克宣布开源Grok-1，这 21世纪经济报道记者 蔡姝越 上海报道舆论高度关注的游族网络（002174.SZ）投毒案，幕后主使许垚如何量刑有了最新进展。3月22日，上海市第一中级人民法院（以下简称上海一中院）宣判被告人许垚故 联合国机构3月20日发布的《全球电子垃圾监测》报告显示，2022年全球范围内共产生6200万吨电子垃圾，其中仅有不到四分之一被回收利用。报告显示，2022年全球电子垃圾的产生量相比2010年增长了82%。 记者从中国气象局了解到，3月24日、25日和26日三天，将可能出现地磁活动，其中3月25日可能发生中等以上地磁暴甚至大地磁暴，预计地磁活动将持续到26日。在此影响之下，空间站可能因大气拖拽造成轨道高 。本文链接：用AI生成数据训练AI或导致模型崩溃，原始内容9次迭代后成了“胡言乱语”http://www.sushuapos.com/show-2-7711-0.html
声明：本网站为非营利性网站，本网页内容由互联网博主自发贡献，不代表本站观点，本站不承担任何法律责任。天上不会到馅饼，请大家谨防诈骗！若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。
上一篇： 新研究证实禽流感会在哺乳动物间传播
下一篇： 极干旱沙漠10年来首开鲜花