中新网北京1月29日电 (记者 陈杭)记者29日从北京市科委、中关村管委会获悉，智源多模态大模型成果“Multimodal learning with next-token prediction for large multimodal models(通过预测下一个词元进行多模态学习的多模态大模型)”28日上线国际顶级学术期刊Nature，预计2月12日纸质版正式刊发，这是我国科研机构主导的大模型成果首次在Nature正刊发表。
2018年以来，GPT采用“预测下一个词元”的自回归路线，实现了语言大模型重大突破，开启了生成式人工智能浪潮。
而多模态模型主要依赖对比学习、扩散模型等专门路线，自回归路线是否可以作为通用路线统一多模态，一直是未解之谜。
智源这项成果表明，只采用自回归路线，就可以统一多模态学习，训练出优秀的原生多模态大模型，对于确立自回归成为生成式人工智能统一路线具有重大意义。
Nature编辑点评这项研究：智源提出的Emu3仅基于预测下一个词元，实现了大规模文本、图像和视频的统一学习，其在生成与感知任务上的性能可与使用专门路线相当，这一成果对构建可扩展、统一的多模态智能系统具有重要意义。
据介绍，智源Emu系列模型自2022年启动研发以来，围绕“原生多模态”这一核心技术主线持续迭代，每一个版本均在关键能力与方法论上实现突破。下一步，智源将继续围绕智能与物理世界的深层关联，推进面向下一代人工智能的科研创新。
（原标题：中国科研机构主导的大模型成果登《Nature》）
本文链接：中国科研机构主导的大模型成果登Naturehttp://www.sushuapos.com/show-11-31263-0.html
声明：本网站为非营利性网站，本网页内容由互联网博主自发贡献，不代表本站观点，本站不承担任何法律责任。天上不会到馅饼，请大家谨防诈骗！若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。
上一篇： 一位聋哑老人和他的植物科学画