“明明是同一个客厅场景,镜头一转,沙发就从靠窗位置移到了墙边;生成的厨房视频里,冰箱突然‘穿透’了橱柜”—— 这是当前 AIGC 视频工具的常见问题,行业称之为 “空间一致性不足”。这一问题不仅影响视频的真实感,更让 AI 视频难以应用于虚拟看房、产品演示等商业化场景。而群核科技在首届 TechDay 上发布并开源的空间生成模型 SpatialGen,正是用 3D 扩散模型技术,从根源上破解了这一行业痛点。
近日,群核科技在首届技术开放日(TechDay)上正式发布其空间大模型最新成果:新一代空间语言模型SpatialLM 1.5与空间生成模型SpatialGen。其中,SpatialGen依托群核科技海量室内3D场景数据与多视角扩散模型技术,可生成3D高斯(3DGS)场景和渲染漫游视频,并确保同一物体在不同镜头下始终保持准确的空间属性和物理关系,支持任意视角切换、路径漫游,光照、纹理、遮挡关系全程物理一致。
图说:SpatialGen的多视角一致性演示
要理解 SpatialGen 的突破,首先需要搞清楚 AI 视频 “穿帮” 的根源:当前多数文生视频、图生视频工具,都是基于 2D 图像或视频数据训练,缺乏对 3D 空间结构的理解。比如,AI 生成室内视频时,会将每个镜头视为独立的 2D 图像来处理,无法记住 “沙发在 3D 空间中的真实位置”,导致镜头切换时物体 “漂移”;生成物体交互场景时,也无法理解 “冰箱不能穿透橱柜” 的物理逻辑。
这背后的原因是当下多数视频生成模型是基于图像或视频数据训练,图像缺少人类感知空间时所依赖的深度线索,因此仅凭自然语言难以让 AI 建立精确的空间关系认知,因此会缺乏对 3D 空间结构和物理法则的理解和推演能力。
SpatialGen 依托群核积累的数亿 3D 空间数据集和自研渲染引擎,训练可以生成任意指定视角图片的扩散模型。其核心在于让 AI 对空间的认知严格符合真实物理规律,从底层解决 2D 感知到 3D 理解的映射偏差。并首次基于多视角扩散+3DGS重建技术,从源头解决空间一致性问题。
TechDay 现场的对比演示,直观展现了这种技术的优势:工作人员分别用其他AI视频生成模型和 SpatialGen 生成 “客厅漫游视频”。其他模型生成的视频,在镜头转换过程中,家具发生了明显不一致状况,而 SpatialGen 生成的视频中,无论镜头如何切换 —— 从正面拍沙发,从侧面拍餐桌,从俯瞰拍整个客厅 —— 沙发、餐桌的位置与尺寸始终保持一致。
SpatialGen 能实现这种突破,还得益于群核科技海量的 3D 场景数据和空间智能飞轮支撑。基于酷家乐这一全球最大的空间设计平台,群核科技构建了“空间编辑工具-空间合成数据-空间大模型”的空间智能飞轮,让工具沉淀数据,用数据加速模型训练,用模型提升工具体验,再在工具的广泛应用中沉淀更为丰富的场景数据。正如快手依托短视频生态推动可灵迭代一样,群核凭借酷家乐沉淀的海量室内物理数据,正在空间智能领域复现“工具—数据—模型”的技术增强回路。
据透露,群核还在研发一款基于3D技术的AI视频生成产品,并计划在今年内正式发布——这或许是全球首款深度融合3D能力的AI视频生成Agent。通过构建3D渲染与视频增强一体化的生成管线,有希望弥补当前AIGC视频生成中时空一致性不足的问题。
(本文来源:大象新闻。本网转发此文章,旨在为读者提供更多信息资讯,所涉内容不构成投资、消费建议。对文章事实有疑问,请与有关方核实或与本网联系。文章观点非本网观点,仅供读者参考。)
“明明是同一个客厅场景,镜头一转,沙发就从靠窗位置移到了墙边;生成的厨房视频里,冰箱突然‘穿透’了橱柜”—— 这是当前 AIGC 视频工具的常见问题,行业称之为 “空间一致性不足”。这一问题不仅影响视频的真实感,更让 AI 视频难以应用于虚拟看房、产品演示等商业化场景。而群核科技在首届 TechDay 上发布并开源的空间生成模型 SpatialGen,正是用 3D 扩散模型技术,从根源上破解了这一行业痛点。
近日,群核科技在首届技术开放日(TechDay)上正式发布其空间大模型最新成果:新一代空间语言模型SpatialLM 1.5与空间生成模型SpatialGen。其中,SpatialGen依托群核科技海量室内3D场景数据与多视角扩散模型技术,可生成3D高斯(3DGS)场景和渲染漫游视频,并确保同一物体在不同镜头下始终保持准确的空间属性和物理关系,支持任意视角切换、路径漫游,光照、纹理、遮挡关系全程物理一致。
图说:SpatialGen的多视角一致性演示
要理解 SpatialGen 的突破,首先需要搞清楚 AI 视频 “穿帮” 的根源:当前多数文生视频、图生视频工具,都是基于 2D 图像或视频数据训练,缺乏对 3D 空间结构的理解。比如,AI 生成室内视频时,会将每个镜头视为独立的 2D 图像来处理,无法记住 “沙发在 3D 空间中的真实位置”,导致镜头切换时物体 “漂移”;生成物体交互场景时,也无法理解 “冰箱不能穿透橱柜” 的物理逻辑。
这背后的原因是当下多数视频生成模型是基于图像或视频数据训练,图像缺少人类感知空间时所依赖的深度线索,因此仅凭自然语言难以让 AI 建立精确的空间关系认知,因此会缺乏对 3D 空间结构和物理法则的理解和推演能力。
SpatialGen 依托群核积累的数亿 3D 空间数据集和自研渲染引擎,训练可以生成任意指定视角图片的扩散模型。其核心在于让 AI 对空间的认知严格符合真实物理规律,从底层解决 2D 感知到 3D 理解的映射偏差。并首次基于多视角扩散+3DGS重建技术,从源头解决空间一致性问题。
TechDay 现场的对比演示,直观展现了这种技术的优势:工作人员分别用其他AI视频生成模型和 SpatialGen 生成 “客厅漫游视频”。其他模型生成的视频,在镜头转换过程中,家具发生了明显不一致状况,而 SpatialGen 生成的视频中,无论镜头如何切换 —— 从正面拍沙发,从侧面拍餐桌,从俯瞰拍整个客厅 —— 沙发、餐桌的位置与尺寸始终保持一致。
SpatialGen 能实现这种突破,还得益于群核科技海量的 3D 场景数据和空间智能飞轮支撑。基于酷家乐这一全球最大的空间设计平台,群核科技构建了“空间编辑工具-空间合成数据-空间大模型”的空间智能飞轮,让工具沉淀数据,用数据加速模型训练,用模型提升工具体验,再在工具的广泛应用中沉淀更为丰富的场景数据。正如快手依托短视频生态推动可灵迭代一样,群核凭借酷家乐沉淀的海量室内物理数据,正在空间智能领域复现“工具—数据—模型”的技术增强回路。
据透露,群核还在研发一款基于3D技术的AI视频生成产品,并计划在今年内正式发布——这或许是全球首款深度融合3D能力的AI视频生成Agent。通过构建3D渲染与视频增强一体化的生成管线,有希望弥补当前AIGC视频生成中时空一致性不足的问题。
(本文来源:大象新闻。本网转发此文章,旨在为读者提供更多信息资讯,所涉内容不构成投资、消费建议。对文章事实有疑问,请与有关方核实或与本网联系。文章观点非本网观点,仅供读者参考。)
《19层》以其独特的故事情节、精湛的演员表演和震撼人心的视听效果赢得了广大观众的喜爱。在播出后短短的几天内,就在各大热门视频网站上迅速登上了排行榜。最近关于《19层》第26集分集剧情介绍引起了 最近播出的《阿麦从军》非常火,近日大家一直很关注的一个话题就是《阿麦从军》第10集分集剧情介绍,大家都十分渴望了解更多相关信息。因此,小编今天特意为大家带来了一些关于《阿麦从军》第10集分集剧情 张灯结彩贺新年,响鼓鸣钟启巨篇!2月3日,由福建省文化和旅游厅主办,福建省艺术馆、福建省歌舞剧院承办,各设区市文化和旅游局(文化广电和旅游局)、平潭综合实验区旅游与文化体育局、福建省少 最近热播的《冬至》,在播出后立刻引起了轰动,不仅吸引了大量观众的目光,也俘获了不少粉丝的心。其中关于《冬至》原著小说无疑是最近大家最关注的,今天我们就一起来讨论讨论。 《冬至》原著小说《冬至》 最新播出的《不知剧情也无妨》收获了大家的一致好评,相信大家一定对最近《不知剧情也无妨》第13集分集剧情介绍感到一些小疑惑,以下内容是小编为广大观众们精心整理的分析。 《不知剧情也无妨》第13集 2月6日消息,据灯塔专业版,2024春节档新片预售总票房突破3亿!其中《飞驰人生2》《热辣滚烫》《第二十条》暂列春节档新片预售票房前三位,最近均破7000万元。此外,春节档影片还有《熊出没·逆转时 。本文链接:AI 视频总 “穿帮”?群核 SpatialGen 用 3D 扩散模型,让物体位置不 “漂移”http://www.sushuapos.com/show-7-23226-0.html
声明:本网站为非营利性网站,本网页内容由互联网博主自发贡献,不代表本站观点,本站不承担任何法律责任。天上不会到馅饼,请大家谨防诈骗!若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。