《自然》7月24日发表的一篇论文指出，用人工智能（AI）生成的数据集训练未来几代机器学习模型可能会污染它们的输出，这个概念称为“模型崩溃”（model collapse）。该研究显示，原始内容会在数代内变成不相关的胡言乱语，显示出使用可靠数据训练AI模型的重要性。
生成式AI工具越来越受欢迎，如大语言模型（LLM）等，这类工具主要用人类生成的数据进行训练。不过，随着这些AI模型在互联网不断壮大，计算机生成内容可能会以递归循环的形式被用于训练其他AI模型或其自身。
英国牛津大学的Ilia Shumailov和同事用数学模型演示了AI模型可能会如何出现模型崩溃。研究人员证明了一个AI可能会忽略训练数据中的某些输出（如不太常见的文本），导致其只用一部分数据集进行自我训练。
Shumailov和同事还研究了AI模型会如何应对主要用人工智能生成的训练数据集。他们发现，给模型输入AI生成的数据会减弱今后几代模型的学习能力，最终导致模型崩溃。他们测试的几乎所有递归训练语言模型都容易出现重复短语。比如，一个用中世纪建筑文本作为原始输入的测试到第九代的输出已经是一串野兔的名字。
研究人员指出，对于使用前几代生成的训练数据集的AI模型来说，模型崩溃是一个不可避免的结局。为了让AI成功使用其自身输出进行训练，Shumailov和同事认为用AI生成数据训练一个模型并非不可能，但必须对数据进行严格过滤。与此同时，依赖人类生成内容的科技公司或许能比竞争对手训练出更高效的AI模型。
相关论文信息：https://doi.org/10.1038/s41586-024-07566-y
由复旦大学发布的MOSS大模型一度引发关注，它背后的团队现在在关注哪方面的技术突破？ 12月2日，中国软件领域规模最大、影 12月17日，记者从北京协和医院获悉，由该院儿科主编的《儿童风湿免疫病标准数据集》（以下简称数据集）正式发布。专家表示，作为 编者按 世界在变，变化中不断积蓄着突破的力量。局势纵横看似山重水复，历史规律昭示未来终将柳暗花明。2023年与我们挥 上海海事大学近日召开干部大会，宣读市委决定：初北平同志任上海海事大学党委副书记、校长。上海海事大学官网 图 2024年1 青海盐湖的梦幻蓝、翡翠绿，宛如遗落在人间的宝石，岸边覆盖着白色的结晶，深深浅浅的颜色连接在一起，不仅让游客沉醉其中，也让 文 | 《中国科学报》记者 张双虎 1月19日，“国家工程师奖”表彰大会在人民大会堂举行，81名个人被授予“国家卓越工程师” 。本文链接：用AI数据训练AI可能最终导致崩溃http://www.sushuapos.com/show-11-9176-0.html
声明：本网站为非营利性网站，本网页内容由互联网博主自发贡献，不代表本站观点，本站不承担任何法律责任。天上不会到馅饼，请大家谨防诈骗！若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。
上一篇： 发力新能源汽车、船舶，香港将推进氢能产业