得益于神经网络规模的扩大以及海量数据的训练，人工智能（AI）在过去10年间突飞猛进。“做大做强”的策略，在构建大型语言模型（LLM）上取得了显著成果，ChatGPT就是一个典型的例子。
然而，《自然》《麻省理工科技评论》等多家杂志网站指出，AI扩展正逼近极限。一方面，AI“吞噬”着越来越多的能源；另一方面，滋养无数模型成长的传统数据集，正被LLM开发人员过度开垦。
训练数据即将遭遇的瓶颈已悄然浮现。有研究机构预测，到2028年左右，用于训练AI模型的数据集典型规模将达到公共在线文本总估计量的规模。换句话说，AI可能会在大约4年内耗尽训练数据。与此同时，数据所有者（如报纸出版商）开始打击对其内容的滥用行为，进一步收紧了访问权限，这正在引发“数据共享”规模上的危机。为此，开发人员必须寻找变通之道。
数据集供需失衡
过去10年间，LLM的发展显示出了对数据的巨大需求。自2020年以来，用于训练LLM的“标记”（或单词）数量已增长100倍，从数百亿增加到数万亿。一个常见的数据集RedPajama，包含数万亿个单词。这些数据会被一些公司或研究人员抓取和清洗，成为训练LLM的定制数据集。
然而，可用互联网内容的增长速度出乎意料的缓慢。据估计，其年增长率不到10%，而AI训练数据集的大小每年增长超过一倍。预测显示，这两条曲线将在2028年左右交汇。
与此同时，内容供应商越来越多地加入软件代码或修改条款，阻止爬虫及AI抓取其数据。在这些内容中，被明确标记为限制爬虫访问的数量，从2023年的不足3%猛增到了2024年的20%至33%之间。
当前，围绕AI训练中数据使用的合法性，试图为数据提供商争取应有赔偿的多起诉讼正在进行。2023年12月，《纽约时报》向OpenAI及其合作伙伴微软提起了诉讼，指控其侵犯了版权；今年4月，纽约市Alden全球资本旗下的8家报纸联合发起了一起类似的诉讼。对此，OpenAI表示，《纽约时报》的诉讼“毫无根据”。
若法院最终站在内容提供商一方，支持其获得经济赔偿，那么对于AI开发人员，尤其是那些资金紧张的学者而言，获取所需数据无疑将变得更加艰难。
新方法有待印证
数据匮乏对AI的传统扩展策略构成了潜在挑战。
寻找更多数据的一个途径是收集非公开数据，如社交媒体消息或视频文字记录。然而，这种做法的合法性尚存争议。
一些公司选择使用自己的数据来训练AI模型，如Meta利用虚拟现实头显收集的音频和图像进行训练。但各公司政策不同，包括Zoom在内的一些公司则明确表示不会使用客户内容训练AI。
另一种选择可能是专注于快速增长的专业数据集，如天文学或基因组学数据，但其对训练LLM的可用性和实用性尚不清楚。
如果AI接受除文本之外的多种类型的数据训练，可能会为丰富数据的涌入打开闸门。Meta首席AI科学家勒丘恩强调，人类通过观察物体而“吸收”的数据远超用于训练LLM的数据量，机器人形态的AI系统或许能从中获取经验。
此外，制造数据也是解决之道。一些AI公司付费让人们生成训练内容，或使用AI生成的合成数据来训练AI。这已成为一个潜在的巨大数据源。然而，合成数据也存在问题，如递归循环可能巩固错误、放大误解，并降低学习质量。
小模型更专更精
另一种策略是摒弃模型“越大越好”的开发观念。一些开发者已在追求更高效、专注于单一任务的小型语言模型。这些模型需要更精细、更专业的数据以及更好的训练技术。
12月5日，OpenAI发布了新的OpenAI o1模型。尽管该公司未透露模型的规模或训练数据集大小，但o1采用了新方法：在强化学习上投入更多时间，让模型对每个回答进行更深入的思考。这标志着一种转变，即从依赖大规模数据集进行预训练，转向更注重训练和推理。
当前，LLM可能已饱览互联网大部分内容，或许无需更多数据即可变得更智能。美国斯坦福大学一项研究表明，模型从多次读取给定数据集中学到的内容，与从相同数量的唯一数据中学习到的内容一样丰富。
合成数据、专门数据集、多次读取和自我反思等因素的结合，或将共同推动AI的进一步飞跃。
得益于神经网络规模的扩大以及海量数据的训练，人工智能（AI）在过去10年间突飞猛进。“做大做强”的策略，在构建大型语言模型（LLM）上取得了显著成果，ChatGPT就是一个典型的例子。
然而，《自然》《麻省理工科技评论》等多家杂志网站指出，AI扩展正逼近极限。一方面，AI“吞噬”着越来越多的能源；另一方面，滋养无数模型成长的传统数据集，正被LLM开发人员过度开垦。
训练数据即将遭遇的瓶颈已悄然浮现。有研究机构预测，到2028年左右，用于训练AI模型的数据集典型规模将达到公共在线文本总估计量的规模。换句话说，AI可能会在大约4年内耗尽训练数据。与此同时，数据所有者（如报纸出版商）开始打击对其内容的滥用行为，进一步收紧了访问权限，这正在引发“数据共享”规模上的危机。为此，开发人员必须寻找变通之道。
数据集供需失衡
过去10年间，LLM的发展显示出了对数据的巨大需求。自2020年以来，用于训练LLM的“标记”（或单词）数量已增长100倍，从数百亿增加到数万亿。一个常见的数据集RedPajama，包含数万亿个单词。这些数据会被一些公司或研究人员抓取和清洗，成为训练LLM的定制数据集。
然而，可用互联网内容的增长速度出乎意料的缓慢。据估计，其年增长率不到10%，而AI训练数据集的大小每年增长超过一倍。预测显示，这两条曲线将在2028年左右交汇。
与此同时，内容供应商越来越多地加入软件代码或修改条款，阻止爬虫及AI抓取其数据。在这些内容中，被明确标记为限制爬虫访问的数量，从2023年的不足3%猛增到了2024年的20%至33%之间。
当前，围绕AI训练中数据使用的合法性，试图为数据提供商争取应有赔偿的多起诉讼正在进行。2023年12月，《纽约时报》向OpenAI及其合作伙伴微软提起了诉讼，指控其侵犯了版权；今年4月，纽约市Alden全球资本旗下的8家报纸联合发起了一起类似的诉讼。对此，OpenAI表示，《纽约时报》的诉讼“毫无根据”。
若法院最终站在内容提供商一方，支持其获得经济赔偿，那么对于AI开发人员，尤其是那些资金紧张的学者而言，获取所需数据无疑将变得更加艰难。
新方法有待印证
数据匮乏对AI的传统扩展策略构成了潜在挑战。
寻找更多数据的一个途径是收集非公开数据，如社交媒体消息或视频文字记录。然而，这种做法的合法性尚存争议。
一些公司选择使用自己的数据来训练AI模型，如Meta利用虚拟现实头显收集的音频和图像进行训练。但各公司政策不同，包括Zoom在内的一些公司则明确表示不会使用客户内容训练AI。
另一种选择可能是专注于快速增长的专业数据集，如天文学或基因组学数据，但其对训练LLM的可用性和实用性尚不清楚。
如果AI接受除文本之外的多种类型的数据训练，可能会为丰富数据的涌入打开闸门。Meta首席AI科学家勒丘恩强调，人类通过观察物体而“吸收”的数据远超用于训练LLM的数据量，机器人形态的AI系统或许能从中获取经验。
此外，制造数据也是解决之道。一些AI公司付费让人们生成训练内容，或使用AI生成的合成数据来训练AI。这已成为一个潜在的巨大数据源。然而，合成数据也存在问题，如递归循环可能巩固错误、放大误解，并降低学习质量。
小模型更专更精
另一种策略是摒弃模型“越大越好”的开发观念。一些开发者已在追求更高效、专注于单一任务的小型语言模型。这些模型需要更精细、更专业的数据以及更好的训练技术。
12月5日，OpenAI发布了新的OpenAI o1模型。尽管该公司未透露模型的规模或训练数据集大小，但o1采用了新方法：在强化学习上投入更多时间，让模型对每个回答进行更深入的思考。这标志着一种转变，即从依赖大规模数据集进行预训练，转向更注重训练和推理。
当前，LLM可能已饱览互联网大部分内容，或许无需更多数据即可变得更智能。美国斯坦福大学一项研究表明，模型从多次读取给定数据集中学到的内容，与从相同数量的唯一数据中学习到的内容一样丰富。
合成数据、专门数据集、多次读取和自我反思等因素的结合，或将共同推动AI的进一步飞跃。
3月18日，在2024年黑龙江农机产品展示交易会上，一部可智能播种，又可助力增产的电驱气吸播种机引发众人关注。这台高端智能电驱气吸播种机的价格与机械播种机价格相当，据悉，研发团队通过自主研发和 239万的无人驾驶航空器淘宝上架，人人可以“打飞的”还有多远 239万元/架的无人驾驶载人航空器也看上了电商渠道。 3月18日，亿航智能设备(广州)有限公司(下称“亿航智能”)在淘宝上架了其生产的EH216-S无人驾 据英国《泰晤士报》网站3月15日报道，2020年1月，英国帝国理工学院的亚当·汉普希尔与英国广播公司合作，对8万人进行了30分钟的测试，目的是揭示生活方式的改变会影响我们的大脑功能。三个月 据英国《自然》杂志网站19日报道，美国华盛顿大学科学家首次使用生成式人工智能（AI）工具，帮助他们制造全新抗体。研究团队表示，AI设计抗体或能更好靶向一些很难被攻击的药物标靶，但这些抗体距离临床 3月19日，记者从中国科学院海洋研究所了解到，该所研究团队在国际上首次发布了银鲳的高质量染色体水平参考基因组。相关研究论文近日在线发表于《自然》子刊《科学数据》。银鲳广泛分布于西北太 3月22日记者获悉，中国移动北京公司（北京移动）已于近日在北京亦庄高级别自动驾驶示范区永昌路段完成5G-A网络精品覆盖。这也是北京首条同时部署了5G-A网络和车网算力协同技术的车联网试验道路，为 。本文链接：AI发展：训练数据即将遭遇瓶颈http://www.sushuapos.com/show-2-9987-0.html
声明：本网站为非营利性网站，本网页内容由互联网博主自发贡献，不代表本站观点，本站不承担任何法律责任。天上不会到馅饼，请大家谨防诈骗！若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。