得益于神经网络规模的扩大以及海量数据的训练，人工智能（AI）在过去10年间突飞猛进。“做大做强”的策略，在构建大型语言模型（LLM）上取得了显著成果，ChatGPT就是一个典型的例子。
然而，《自然》《麻省理工科技评论》等多家杂志网站指出，AI扩展正逼近极限。一方面，AI“吞噬”着越来越多的能源；另一方面，滋养无数模型成长的传统数据集，正被LLM开发人员过度开垦。
训练数据即将遭遇的瓶颈已悄然浮现。有研究机构预测，到2028年左右，用于训练AI模型的数据集典型规模将达到公共在线文本总估计量的规模。换句话说，AI可能会在大约4年内耗尽训练数据。与此同时，数据所有者（如报纸出版商）开始打击对其内容的滥用行为，进一步收紧了访问权限，这正在引发“数据共享”规模上的危机。为此，开发人员必须寻找变通之道。
数据集供需失衡
过去10年间，LLM的发展显示出了对数据的巨大需求。自2020年以来，用于训练LLM的“标记”（或单词）数量已增长100倍，从数百亿增加到数万亿。一个常见的数据集RedPajama，包含数万亿个单词。这些数据会被一些公司或研究人员抓取和清洗，成为训练LLM的定制数据集。
然而，可用互联网内容的增长速度出乎意料的缓慢。据估计，其年增长率不到10%，而AI训练数据集的大小每年增长超过一倍。预测显示，这两条曲线将在2028年左右交汇。
与此同时，内容供应商越来越多地加入软件代码或修改条款，阻止爬虫及AI抓取其数据。在这些内容中，被明确标记为限制爬虫访问的数量，从2023年的不足3%猛增到了2024年的20%至33%之间。
当前，围绕AI训练中数据使用的合法性，试图为数据提供商争取应有赔偿的多起诉讼正在进行。2023年12月，《纽约时报》向OpenAI及其合作伙伴微软提起了诉讼，指控其侵犯了版权；今年4月，纽约市Alden全球资本旗下的8家报纸联合发起了一起类似的诉讼。对此，OpenAI表示，《纽约时报》的诉讼“毫无根据”。
若法院最终站在内容提供商一方，支持其获得经济赔偿，那么对于AI开发人员，尤其是那些资金紧张的学者而言，获取所需数据无疑将变得更加艰难。
新方法有待印证
数据匮乏对AI的传统扩展策略构成了潜在挑战。
寻找更多数据的一个途径是收集非公开数据，如社交媒体消息或视频文字记录。然而，这种做法的合法性尚存争议。
一些公司选择使用自己的数据来训练AI模型，如Meta利用虚拟现实头显收集的音频和图像进行训练。但各公司政策不同，包括Zoom在内的一些公司则明确表示不会使用客户内容训练AI。
另一种选择可能是专注于快速增长的专业数据集，如天文学或基因组学数据，但其对训练LLM的可用性和实用性尚不清楚。
如果AI接受除文本之外的多种类型的数据训练，可能会为丰富数据的涌入打开闸门。Meta首席AI科学家勒丘恩强调，人类通过观察物体而“吸收”的数据远超用于训练LLM的数据量，机器人形态的AI系统或许能从中获取经验。
此外，制造数据也是解决之道。一些AI公司付费让人们生成训练内容，或使用AI生成的合成数据来训练AI。这已成为一个潜在的巨大数据源。然而，合成数据也存在问题，如递归循环可能巩固错误、放大误解，并降低学习质量。
小模型更专更精
另一种策略是摒弃模型“越大越好”的开发观念。一些开发者已在追求更高效、专注于单一任务的小型语言模型。这些模型需要更精细、更专业的数据以及更好的训练技术。
12月5日，OpenAI发布了新的OpenAI o1模型。尽管该公司未透露模型的规模或训练数据集大小，但o1采用了新方法：在强化学习上投入更多时间，让模型对每个回答进行更深入的思考。这标志着一种转变，即从依赖大规模数据集进行预训练，转向更注重训练和推理。
当前，LLM可能已饱览互联网大部分内容，或许无需更多数据即可变得更智能。美国斯坦福大学一项研究表明，模型从多次读取给定数据集中学到的内容，与从相同数量的唯一数据中学习到的内容一样丰富。
合成数据、专门数据集、多次读取和自我反思等因素的结合，或将共同推动AI的进一步飞跃。
得益于神经网络规模的扩大以及海量数据的训练，人工智能（AI）在过去10年间突飞猛进。“做大做强”的策略，在构建大型语言模型（LLM）上取得了显著成果，ChatGPT就是一个典型的例子。
然而，《自然》《麻省理工科技评论》等多家杂志网站指出，AI扩展正逼近极限。一方面，AI“吞噬”着越来越多的能源；另一方面，滋养无数模型成长的传统数据集，正被LLM开发人员过度开垦。
训练数据即将遭遇的瓶颈已悄然浮现。有研究机构预测，到2028年左右，用于训练AI模型的数据集典型规模将达到公共在线文本总估计量的规模。换句话说，AI可能会在大约4年内耗尽训练数据。与此同时，数据所有者（如报纸出版商）开始打击对其内容的滥用行为，进一步收紧了访问权限，这正在引发“数据共享”规模上的危机。为此，开发人员必须寻找变通之道。
数据集供需失衡
过去10年间，LLM的发展显示出了对数据的巨大需求。自2020年以来，用于训练LLM的“标记”（或单词）数量已增长100倍，从数百亿增加到数万亿。一个常见的数据集RedPajama，包含数万亿个单词。这些数据会被一些公司或研究人员抓取和清洗，成为训练LLM的定制数据集。
然而，可用互联网内容的增长速度出乎意料的缓慢。据估计，其年增长率不到10%，而AI训练数据集的大小每年增长超过一倍。预测显示，这两条曲线将在2028年左右交汇。
与此同时，内容供应商越来越多地加入软件代码或修改条款，阻止爬虫及AI抓取其数据。在这些内容中，被明确标记为限制爬虫访问的数量，从2023年的不足3%猛增到了2024年的20%至33%之间。
当前，围绕AI训练中数据使用的合法性，试图为数据提供商争取应有赔偿的多起诉讼正在进行。2023年12月，《纽约时报》向OpenAI及其合作伙伴微软提起了诉讼，指控其侵犯了版权；今年4月，纽约市Alden全球资本旗下的8家报纸联合发起了一起类似的诉讼。对此，OpenAI表示，《纽约时报》的诉讼“毫无根据”。
若法院最终站在内容提供商一方，支持其获得经济赔偿，那么对于AI开发人员，尤其是那些资金紧张的学者而言，获取所需数据无疑将变得更加艰难。
新方法有待印证
数据匮乏对AI的传统扩展策略构成了潜在挑战。
寻找更多数据的一个途径是收集非公开数据，如社交媒体消息或视频文字记录。然而，这种做法的合法性尚存争议。
一些公司选择使用自己的数据来训练AI模型，如Meta利用虚拟现实头显收集的音频和图像进行训练。但各公司政策不同，包括Zoom在内的一些公司则明确表示不会使用客户内容训练AI。
另一种选择可能是专注于快速增长的专业数据集，如天文学或基因组学数据，但其对训练LLM的可用性和实用性尚不清楚。
如果AI接受除文本之外的多种类型的数据训练，可能会为丰富数据的涌入打开闸门。Meta首席AI科学家勒丘恩强调，人类通过观察物体而“吸收”的数据远超用于训练LLM的数据量，机器人形态的AI系统或许能从中获取经验。
此外，制造数据也是解决之道。一些AI公司付费让人们生成训练内容，或使用AI生成的合成数据来训练AI。这已成为一个潜在的巨大数据源。然而，合成数据也存在问题，如递归循环可能巩固错误、放大误解，并降低学习质量。
小模型更专更精
另一种策略是摒弃模型“越大越好”的开发观念。一些开发者已在追求更高效、专注于单一任务的小型语言模型。这些模型需要更精细、更专业的数据以及更好的训练技术。
12月5日，OpenAI发布了新的OpenAI o1模型。尽管该公司未透露模型的规模或训练数据集大小，但o1采用了新方法：在强化学习上投入更多时间，让模型对每个回答进行更深入的思考。这标志着一种转变，即从依赖大规模数据集进行预训练，转向更注重训练和推理。
当前，LLM可能已饱览互联网大部分内容，或许无需更多数据即可变得更智能。美国斯坦福大学一项研究表明，模型从多次读取给定数据集中学到的内容，与从相同数量的唯一数据中学习到的内容一样丰富。
合成数据、专门数据集、多次读取和自我反思等因素的结合，或将共同推动AI的进一步飞跃。
据法新社3月18日报道，周一，美国半导体巨头英伟达公司发布了其最新型号的电子芯片，这些芯片旨在支持人工智能（AI）革命，英伟达正努力巩固其作为人工智能领域关键供应商的地位。“我们需要更加强大的 记者3月20日从中国科学技术大学获悉，该校郭光灿院士团队在量子态分辨研究中取得重要进展：他们在最小资源消耗的量子态分辨问题中首次提出了全局最优自适应策略，并发展了自适应集体测量实验技术， 眼眸深邃似海、璨如星河，中国医学科学院生物医学工程研究所眼科诊疗技术研发团队（以下简称“团队”）正是眼眸“侦探”。该团队不久前被授予“国家卓越工程师团队”称号。别看人眼只有8克左右，却 3月22日消息，一加Ace 3V昨晚发布，起售价1999元，将于3月25日正式发售。现在这款新机已经来到我们评测室，下面为大家带来图赏。一加Ace 3V全球首发第三代骁龙7+移动平台，采用骁龙8 Gen3相同的4nm制程工 3月23日20时30分许，内蒙古自治区鄂尔多斯市，约200米的高楼、磐石造型博物馆、书籍外形图书馆等主要地标建筑纷纷关闭灯光，人们在静下来的城市里感受地球的呼吸与脉动。今年“地球一小时”中国 3月24日，记者从中国农业科学院获悉，该院蔬菜花卉研究所甘蓝类蔬菜遗传育种创新团队，开发了快速创制细胞质雄性不育系的新方法——“一步法”。相关研究日前发表在国际期刊《自然&midd 。本文链接：AI发展：训练数据即将遭遇瓶颈http://www.sushuapos.com/show-2-9987-0.html
声明：本网站为非营利性网站，本网页内容由互联网博主自发贡献，不代表本站观点，本站不承担任何法律责任。天上不会到馅饼，请大家谨防诈骗！若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。