21世纪经济报道记者孔海丽 北京报道
AIGC的3D赛道突然热闹了起来。
12月5日,谷歌DeepMind放出了新一代世界模型Genie 2,可以“一张图生成1分钟游戏3D世界”,网友惊呼“黑客帝国来了”。
就在两天之前,“AI教母”李飞飞的World Labs刚官宣了“空间智能”模型,支持“一张图生成一个3D世界”。
这是继Sora之后,对世界模型的又一次讨论热潮。从文本到图像,再到视频和可交互的3D世界,AIGC总体上有了重大飞跃。
对于产业端来说,创造性设计类工作和交互式体验工作流,都迎来了强大助力。世界模型可以为Agent训练、具身智能训练、复杂的动画制作、游戏制作、物理学建模等领域,提供无限多样、可操控的3D环境。
也有产业人士表示,世界模型的进展,意味着终极AGI(通用人工智能)又近了一步。
谷歌拓展通向AGI的广度
Genie 2是谷歌第二代世界模型,给定一张图像,就能生成一个通过键盘和鼠标输入的、可操作的3D环境。
图像中的角色,可以被键盘识别并响应智能操作。
同一个起始帧,可以生成不同的运动轨迹。
Genie 2前后记忆具有一致性,周围场景即便不可见时,也不会发生扭曲。
可贵的是,Genie 2可以根据画面实时生成新场景,最长可达一分钟。
这样的界面,和游戏有共通之处。
“游戏在人工智能研究领域发挥着关键作用。它们引人入胜的画质、独特的挑战组合和可衡量的进步,成为安全测试和推进AI功能的理想环境。”谷歌方面坦陈:“事实上,游戏对谷歌DeepMind一直很重要,也是谷歌训练Agent的重要途径。”
但是对具身智能的训练,行业是遇到了瓶颈的。
足够丰富和多样化的训练环境,才能促进具身智能的实际进步。21世纪经济报道记者从人形机器人产业人士处获知,当前,泛化能力是人形机器人的一大痛点。
Genie 2有望帮助具身智能解决训练瓶颈。
交互功能上,Genie 2可以对交互关系进行建模,例如爆破气球、打开门和射击炸药桶等。
这使得制作多样化交互场景简单了许多。利用Genie 2快速构建的各种交互式体验原型,研究人员能够快速用新环境来训练和测试具身智能AI。
例如,使用Imagen 3生成的不同图像提示Genie 2对纸飞机、龙、鹰或降落伞飞行之间的区别进行建模,并测试Genie控制不同对象时的能力。
也就是说,AI智能体可以在世界模型里,获得近乎无限的训练场景和交互体系。
虽然这项研究还处于早期阶段,但谷歌研究人员认为,Genie 2是解决安全训练具身智能结构性问题的有效路径,解锁具身智能的下一波能力,也能够实现迈向AGI所需的广度和通用性。
李飞飞兑现空间智能设想
World Labs是著名AI学者、华裔科学家李飞飞的第一个创业项目,成立于2024年1月,公司创立半年时,估值已超10亿美元。
这是一家空间智能公司,致力于构建能够感知、生成并与3D世界互动的大型世界模型,计划为用户生成可操控其中变量的虚拟3D空间,并允许人们“创建自己的3D世界”。World Labs指出,其软件将对包括艺术家、设计师、开发人员和工程师在内的各类从业者有所帮助。
12月3日,World Labs交出了1.0版本作业。
由单张图像可以生成3D世界,用户可以实质意义上“走进”任何图像,并在3D中探索。
该工具还配备了可操控的滑块,来调节模拟景深与模拟推拉变焦,支持调整摄像机的位置和视野、更改对象颜色,创建聚光灯特效、自动运行的动态效果等交互方式,丰富了视觉体验和更强的操控感。
与Genie 2一样,World Labs的空间智能模型也可以保证3D世界的一致性,场景更加持久,一旦生成便会一直存在;用户可以实时控制、实时移动场景,能够仔细观察场景中的细节。
世界模型遵循3D几何的基本物理规则,兼具真实感和深度感,有效提升了内容的操控性和一致性,改变了电影、游戏、模拟器以及物理世界其他数字呈现形式的制作方式。
英伟达高级研究科学家Jim Fan评价说:“GenAI正在创造越来越高维度的人类体验快照。Stable Diffusion是2D快照;Sora是2D+时间维度的快照;而World Labs是3D、完全沉浸式的快照。”
目前,Worldlabs对公众开放了候补名单申请,部分创作者已经可以将这个AI工具整合到现有的工作流程中。
在影视制作领域,AI的3D叙事能力将大大提高内容创作的效率和质量,降低制作成本。创作者可以更快速地生成虚拟场景和角色,通过AI生成的3D世界来构建更加丰富多样的故事背景,为观众带来全新的视觉体验。
例如,在拍摄前利用Worldlabs技术生成虚拟的拍摄场景,帮助导演和摄影师更好地规划镜头和场景布置,提高拍摄效率和准确性。
对于游戏行业,3D生成将为游戏开发带来更多可能性。开发者可以利用AI生成更加逼真、细腻的游戏场景和角色,提升游戏的沉浸感。
在教育领域,大模型生成的3D内容可以创建更加生动、直观的教学场景,增加科学、历史等学科的体验感。
李飞飞认为,“空间智能”是AI拼图的关键一环。她今年4月份在TED演讲中曾称:“视觉变成了洞察力;洞察力变成了理解力;理解力推动了行动。所有这些都产生了智能。”
Genie 2和Worldlabs所代表的空间智能领域,是AI技术发展的一个重要新方向。它突破了传统AI在二维平面上的局限,将AI的感知和理解能力拓展到了三维空间,更直观,也更趋近于交互本质。
3月20日对于我国抗衰老研究是个特殊的日子,经过近3年的不懈努力,八子补肾胶囊抗衰老取得又一重大突破。挑战人类生命极限是摆在全球科学家面前的重大课题,抗衰老研究已成为世界生命科学领域关注 记者19日从兰州大学获悉,天华肉羊通过国家畜禽遗传资源委员会审定鉴定,成为我国首个适应高寒气候的肉羊品种。该品种由兰州大学草地农业科技学院李发弟教授和乐祥鹏教授团队,联合甘肃省武威市天 美国《发现》杂志网站2月7日刊登题为《200万年前,我们的人类祖先开始从水里捞鱼》的文章,作者是科迪·科蒂尔,内容编译如下:捕鱼可能是一种占许多国家蛋白质消费极大比例的全球性行为,但捕 美国加州理工学院喷气推进实验室的一个机器人专家团队,与卡内基梅隆大学机器人研究所科学家合作,开发出一种蛇形机器人,用于调查土星第六大卫星土卫二的地形,以寻找生命的“蛛丝马迹”。相关研究 AI芯片巨头低调赚钱 骆轶琪 在过去一年半导体行业下行周期中,除了英伟达以GPU霸主身份实现业绩快速成长之外,另一些主营虽非GPU,但是立足于AI定制芯片市场的半导体巨头也低调实现了稳健的成长性。 据Gartne 3月23日消息,vivo即将于3月26日发布vivo X Fold3系列折叠屏电话,其中包含vivo X Fold3和vivo X Fold3 Pro两款新品。据悉,vivo X Fold3采用了首发的碳纤维龙骨铰链,重量仅为219克,厚度为4.65毫米。相 。本文链接:解锁AI的3D叙事 李飞飞、谷歌先行一步http://www.sushuapos.com/show-2-9614-0.html
声明:本网站为非营利性网站,本网页内容由互联网博主自发贡献,不代表本站观点,本站不承担任何法律责任。天上不会到馅饼,请大家谨防诈骗!若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。