近日，北京智源人工智能研究院的多模态大模型成果“通过预测下一个词元进行多模态学习的多模态大模型”上线国际顶级学术期刊《自然》，预计2月12日纸质版正式刊发，这是我国科研机构主导的大模型成果首次在《自然》正刊发表。
2018年以来，GPT采用“预测下一个词元（NTP）”的自回归路线，实现了语言大模型重大突破，开启了生成式人工智能浪潮。而多模态模型主要依赖对比学习、扩散模型等专门路线，自回归路线是否可以作为通用路线统一多模态？一直是未解之谜。
智源研究院提出的Emu3模型，基于“预测下一个词元”的全新多模态模型，将图像、文本和视频统一离散化到同一个表示空间中，并从零开始，在多模态序列混合数据上联合训练一个单一的Transformer。这一架构证明了仅凭“预测下一个词元”，就能够同时支持高水平的生成能力与理解能力，并且在同一统一架构下，自然地扩展到机器人操作以及多模态交错等生成任务。
实验显示，Emu3在生成与感知任务上的整体表现可与多种成熟的任务专用模型相媲美：在文生图任务中，其效果达到扩散模型水平；在视觉语言理解方面，可以与融合CLIP和大语言模型的主流方案比肩。此外，Emu3还具备视频生成能力。不同于以噪声为起点的扩散式视频生成模型，Emu3通过自回归方式逐词元（token）预测视频序列，实现基于因果的视频生成与延展，展现出对物理世界中环境、人类与动物行为的初步模拟能力。
这项成果表明，只采用自回归路线，就可以统一多模态学习，训练出优秀的原生多模态大模型，对于确立自回归成为生成式人工智能统一路线具有重大意义。值得一提的是，智源研究团队对相关研究的多项关键技术与模型进行了开源，以推动该方向的持续研究。
《自然》编辑点评这项研究：Emu3仅基于预测下一个词元，实现了大规模文本、图像和视频的统一学习，其在生成与感知任务上的性能可与使用专门路线相当，这一成果对构建可扩展、统一的多模态智能系统具有重要意义。
近日，北京智源人工智能研究院的多模态大模型成果“通过预测下一个词元进行多模态学习的多模态大模型”上线国际顶级学术期刊《自然》，预计2月12日纸质版正式刊发，这是我国科研机构主导的大模型成果首次在《自然》正刊发表。
2018年以来，GPT采用“预测下一个词元（NTP）”的自回归路线，实现了语言大模型重大突破，开启了生成式人工智能浪潮。而多模态模型主要依赖对比学习、扩散模型等专门路线，自回归路线是否可以作为通用路线统一多模态？一直是未解之谜。
智源研究院提出的Emu3模型，基于“预测下一个词元”的全新多模态模型，将图像、文本和视频统一离散化到同一个表示空间中，并从零开始，在多模态序列混合数据上联合训练一个单一的Transformer。这一架构证明了仅凭“预测下一个词元”，就能够同时支持高水平的生成能力与理解能力，并且在同一统一架构下，自然地扩展到机器人操作以及多模态交错等生成任务。
实验显示，Emu3在生成与感知任务上的整体表现可与多种成熟的任务专用模型相媲美：在文生图任务中，其效果达到扩散模型水平；在视觉语言理解方面，可以与融合CLIP和大语言模型的主流方案比肩。此外，Emu3还具备视频生成能力。不同于以噪声为起点的扩散式视频生成模型，Emu3通过自回归方式逐词元（token）预测视频序列，实现基于因果的视频生成与延展，展现出对物理世界中环境、人类与动物行为的初步模拟能力。
这项成果表明，只采用自回归路线，就可以统一多模态学习，训练出优秀的原生多模态大模型，对于确立自回归成为生成式人工智能统一路线具有重大意义。值得一提的是，智源研究团队对相关研究的多项关键技术与模型进行了开源，以推动该方向的持续研究。
《自然》编辑点评这项研究：Emu3仅基于预测下一个词元，实现了大规模文本、图像和视频的统一学习，其在生成与感知任务上的性能可与使用专门路线相当，这一成果对构建可扩展、统一的多模态智能系统具有重要意义。
3月18日，中国经济信息社（以下简称中经社）垂直领域数字化应用系统发布仪式在北京举行。在发布仪式上，锚定建设“国家级经济信息旗舰”的目标，中经社推出了八大数字化应用系统。中经社此次发布的行 据阿根廷布宜诺斯艾利斯经济新闻网2月19日报道，在人工智能(AI)迅速重新定义就业格局的今天，通常被称为“软”技能的人类技能成为最有韧性、最有价值的技能。这是阿尼什·拉曼和玛丽亚&mi 记者3月21日获悉，由中国科学院自动化研究所和中国科学院香港创新研究院联合研发的医疗领域AI多模态大模型——CARES Copilot 1.0日前在香港正式发布，现已面向香港神经外科医生开放使 3月19日，记者从中国科学院海洋研究所了解到，该所研究团队在国际上首次发布了银鲳的高质量染色体水平参考基因组。相关研究论文近日在线发表于《自然》子刊《科学数据》。银鲳广泛分布于西北太 “AI钢铁侠”黄仁勋，又进化了英伟达 作 者丨倪雨晴 2024年，英伟达一年一度的GTC大会已然成为AI界春晚，现场座无虚席，全球AI爱好者翘首以待黄仁勋的独家SOLO。 北京时间3月19日凌晨，GTC终于拉开大幕。英伟达创 全球首台无细胞蛋白质合成生物反应器、全球首台全高温超导托卡马克装置（洪荒70）、64比特超导量子计算机研发与产业化项目、深海可燃冰探采重载作业机器人系统研制、载人电动复合翼垂直起降飞行 。本文链接：我国大模型成果首次登上《自然》正刊http://www.sushuapos.com/show-2-15087-0.html
声明：本网站为非营利性网站，本网页内容由互联网博主自发贡献，不代表本站观点，本站不承担任何法律责任。天上不会到馅饼，请大家谨防诈骗！若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。
上一篇： 告别算法恐惧：听听这位“翻译官”怎么说
下一篇： 2025年度能源行业十大科技创新成果发布