近日，北京智源人工智能研究院的多模态大模型成果“通过预测下一个词元进行多模态学习的多模态大模型”上线国际顶级学术期刊《自然》，预计2月12日纸质版正式刊发，这是我国科研机构主导的大模型成果首次在《自然》正刊发表。
2018年以来，GPT采用“预测下一个词元（NTP）”的自回归路线，实现了语言大模型重大突破，开启了生成式人工智能浪潮。而多模态模型主要依赖对比学习、扩散模型等专门路线，自回归路线是否可以作为通用路线统一多模态？一直是未解之谜。
智源研究院提出的Emu3模型，基于“预测下一个词元”的全新多模态模型，将图像、文本和视频统一离散化到同一个表示空间中，并从零开始，在多模态序列混合数据上联合训练一个单一的Transformer。这一架构证明了仅凭“预测下一个词元”，就能够同时支持高水平的生成能力与理解能力，并且在同一统一架构下，自然地扩展到机器人操作以及多模态交错等生成任务。
实验显示，Emu3在生成与感知任务上的整体表现可与多种成熟的任务专用模型相媲美：在文生图任务中，其效果达到扩散模型水平；在视觉语言理解方面，可以与融合CLIP和大语言模型的主流方案比肩。此外，Emu3还具备视频生成能力。不同于以噪声为起点的扩散式视频生成模型，Emu3通过自回归方式逐词元（token）预测视频序列，实现基于因果的视频生成与延展，展现出对物理世界中环境、人类与动物行为的初步模拟能力。
这项成果表明，只采用自回归路线，就可以统一多模态学习，训练出优秀的原生多模态大模型，对于确立自回归成为生成式人工智能统一路线具有重大意义。值得一提的是，智源研究团队对相关研究的多项关键技术与模型进行了开源，以推动该方向的持续研究。
《自然》编辑点评这项研究：Emu3仅基于预测下一个词元，实现了大规模文本、图像和视频的统一学习，其在生成与感知任务上的性能可与使用专门路线相当，这一成果对构建可扩展、统一的多模态智能系统具有重要意义。
近日，北京智源人工智能研究院的多模态大模型成果“通过预测下一个词元进行多模态学习的多模态大模型”上线国际顶级学术期刊《自然》，预计2月12日纸质版正式刊发，这是我国科研机构主导的大模型成果首次在《自然》正刊发表。
2018年以来，GPT采用“预测下一个词元（NTP）”的自回归路线，实现了语言大模型重大突破，开启了生成式人工智能浪潮。而多模态模型主要依赖对比学习、扩散模型等专门路线，自回归路线是否可以作为通用路线统一多模态？一直是未解之谜。
智源研究院提出的Emu3模型，基于“预测下一个词元”的全新多模态模型，将图像、文本和视频统一离散化到同一个表示空间中，并从零开始，在多模态序列混合数据上联合训练一个单一的Transformer。这一架构证明了仅凭“预测下一个词元”，就能够同时支持高水平的生成能力与理解能力，并且在同一统一架构下，自然地扩展到机器人操作以及多模态交错等生成任务。
实验显示，Emu3在生成与感知任务上的整体表现可与多种成熟的任务专用模型相媲美：在文生图任务中，其效果达到扩散模型水平；在视觉语言理解方面，可以与融合CLIP和大语言模型的主流方案比肩。此外，Emu3还具备视频生成能力。不同于以噪声为起点的扩散式视频生成模型，Emu3通过自回归方式逐词元（token）预测视频序列，实现基于因果的视频生成与延展，展现出对物理世界中环境、人类与动物行为的初步模拟能力。
这项成果表明，只采用自回归路线，就可以统一多模态学习，训练出优秀的原生多模态大模型，对于确立自回归成为生成式人工智能统一路线具有重大意义。值得一提的是，智源研究团队对相关研究的多项关键技术与模型进行了开源，以推动该方向的持续研究。
《自然》编辑点评这项研究：Emu3仅基于预测下一个词元，实现了大规模文本、图像和视频的统一学习，其在生成与感知任务上的性能可与使用专门路线相当，这一成果对构建可扩展、统一的多模态智能系统具有重要意义。
3月17日，记者从海南大学获悉，该校化学化工学院副教授李萌婷与相关研究团队合作，合成了多功能复合金纳米花颗粒。该颗粒配合温和光热、光动力、药物控释联合疗法，可有效促进感染性组织再生修复。 记者从国家航天局获悉，3月20日8时31分，探月工程四期鹊桥二号中继星由长征八号遥三运载火箭在中国文昌航天发射场成功发射升空。科技日报记者 付毅飞 摄火箭飞行24分钟后，星箭分离，将鹊 据韩国建国大学研究人员发表在最新一期开放获取期刊《公共科学图书馆·综合》上的一项研究，与狗共度美好时光可减轻压力，同时可增强与放松和注意力相关的脑电波。动物辅助干预措施，如犬类 春，推也。从草从日，草春时生也。进入春日，人们时常能在大地回暖、万物复苏中见证旺盛的生命力。一起解锁空间站里的“春日关键词”，感受太空中的“春日力量”吧！春日关键词：温暖空间站内 四季如春 近日有消息称，huaweiMate60已经停产。作为huawei于2023年8月末发布的最新旗舰机型，huaweiMate60的停产意味着huawei新款旗舰或即将上市，接替Mate60。2023年8月29日，huaweiMate60 Pro、huaweiMate60等 回望一加去年的整体节奏，如果要用一个词来总结其数字系列和Ace系列的概况，那就是“卷”！从外观质感、内存性能到整机体验，与友商的相互竞争中，一加表现的都比较强势，搭配清晰的产品定位策略和稳扎稳打 。本文链接：我国大模型成果首次登上《自然》正刊http://www.sushuapos.com/show-2-15087-0.html
声明：本网站为非营利性网站，本网页内容由互联网博主自发贡献，不代表本站观点，本站不承担任何法律责任。天上不会到馅饼，请大家谨防诈骗！若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。
上一篇： 告别算法恐惧：听听这位“翻译官”怎么说
下一篇： 2025年度能源行业十大科技创新成果发布