快讯科技财经汽车社会旅游娱乐时尚健康生活科学教育

热搜： 2026除甲醛人工智能重名创优品(0 跑出全国首机器狗首进国泰海通资香港愉景湾正规POS机

首页 > 科技

Sora三巨头首次解密幕后信息，CTO：最快年内开放

发布时间: 2024-03-26 17:06:44 来源：量子位

观看：416

“Sora是世界建模的第一步”

“Sora最快今年内开放公测。”

在一场访谈中，OpenAI CTO Mira Murati亲自透露了这一消息。

短短10分钟里，Sora技术细节、进展、规划等当下最热议的问题，都有了更进一步解答：

生成20秒的720P视频只需几分钟
计算资源远超ChatGPT和DALL·E
目前正在进行正在进行红队测试
未来版本有望支持视频声效

而且还向外界传递了一层重要信息：

加上前几天，Sora的三名研发主管——Tim Brooks、William Peebles和Aditya Ramesh，也参与了一场16分钟的播客访谈。

综合两场对话，关于Sora背后的秘密，也有了更多蛛丝马迹可以探寻。

Sora背后还有多少秘密？

关于Sora，人们最关心也最期待的，可能就是什么时候才能上手体验了。

对此，Mira表示Sora正在进行红队测试，以确保工具的安全性，并且不会产生偏见或其他有害问题。

对于具体的时间，Mira也立下了flag——今年年内让Sora与广大用户正式见面。

此外，两场对话中谈到的其他话题，可以分为技术细节、项目规划和未来展望三个部分。

揭开更多技术细节

技术方面，三人团队表示，Sora更像是介于Dall·E这类扩散模型和GPT之间。

训练数据是不方便说滴（doge），大致就是公开数据和OpenAI已获授权的数据。

不过他们专门cue了一个点：通常图像、视频模型都是在一个固定尺寸上进行训练，而Sora使用了不同时长、比例和清晰度的视频。

具体方法之前的技术报告已经有了说明，就是用“Patches”来统一不同的视觉数据表现形式。

然后可以根据输入视频的大小，训练模型认识不同数量的小块。通过这种方式，模型能够更加灵活学习各种数据，同时也能生成不同分辨率和尺寸的内容。

性能方面，Mira和三人组的说法则略有不同：

三人组透露，有一次给Sora布置好任务后，出去买了杯咖啡，结果回来之后视频还没做好。

而Mira这边的回答则是，Sora生成720P分辨率、长达20秒的视频内容，只需要几分钟就能完成。

当然，具体消耗的时间，还要取决于任务复杂程度等多种因素，不能简单一概而论。

不过Mira这边表示，在正式发布之前将继续努力优化算法，以降低所需的算力。

这些问题还需解决

而针对Sora存在的不足，他们的回答也很坦诚，表示其还存在无法完美处理手部的生成，渲染复杂的物理过程也存在一定难度等一系列问题。

除了这些bug型的缺陷之外，Sora不能给视频添加声音也算一个美中不足之处，对此三人组给出了这样的回应：

而Mira对此的回答则更像是给人们吃了一颗定心丸——未来版本有望支持视频声效，增强用户体验。

而除了这些产品本身的问题之外，为Sora生成的视频加入溯源信息，以防出现造假，也是OpenAI当下的一项重要任务。

同时，负责人和Mira都表示，团队始终在收集来自各界的用户反馈，三人组还举例说有用户希望能加入提示词以外，更精细、直接的控制方式，团队将此作为了重点考虑的一个方向。

Sora，未来可期

最后，针对Sora的未来，负责人给出了很高的预期，并表示其将不仅仅在视频创作方面发挥作用。

因此，负责人对Sora及未来可能在其基础上开发的其他AI模型充满了期待——通过学习视觉信息的方式理解这个世界，在未来能够更好地帮助人类。

对此有网友表示，这的确是个好消息，Sora的意义不仅在于其本身，而且还会对其他AI产生影响。

另一边，已经有人在期待Runway等前任王者对此的反应了。

不过，虽然团队自己说Sora在未来能够理解人类世界，但它到底能不能真的算世界模型，还存在不小的争议。

Sora是世界模型吗？

针对这个问题，正反双方各执一词，支持者的主要理由，是认为从Sora生成的视频中能看出其对物理世界的理解。

而反方则不认同Sora是世界模型，代表人物是图灵奖得主、Meta首席AI科学家LeCun。

近期，LeCun点赞了一篇澳大利亚学者的万字长文，文章的核心观点就是认为Sora不是世界模型。

其中最核心的原因，是Sora并没有物理引擎来运行前向时间模拟，而且训练过程是端到端完成的，数据中并没有物理规律信息。

即便是抛开训练和生成过程，单从表现上看，Sora的输出也出现了违反重力、碰撞动力学等物理规律的情况。

△Sora生成的“反重力玻璃杯”

所以，作者认为，将Sora称为世界模型是缺少充分依据的。

而人们比较关心的另一个问题，是Sora的训练过程，是否使用了虚幻引擎（Unreal Engine）5。

不过作者也没有给出确切结论，只表示这只是猜测，目前并没有确切的证据表明Sora确实使用了UE5进行训练。

而要想进一步揭开这些问题，或许要OpenAI再次自己出来公布，或者直接开源了。

One More Thing

虽然两场访谈的确透露出了不少干货，但针对人们同样广为关心的训练数据来源问题，无论是三人团队还是Mira，说法都十分模糊——

Sora的训练过程中使用的是公开可用和已获得授权的数据源。

但对于YouTube、Instagram和Facebook上的视频是否被用作训练数据，Mira则是顾左右而言他：

不过，这个说法的可信度先放下不谈，即便真的如Mira所说，也有网友并不认账：

参考链接：
[1]https://www.youtube.com/watch?v=Srh1lut4Q2A（第53分钟开始）
[2]https://www.youtube.com/watch?v=mAUpxN-EIgU
[3]https://artificialcognition.net/posts/video-generation-world-simulators/

随着历史的车轮驶入2024年，大模型、AIGC等话题引发广泛热议，云计算与AI技术展现出了前所未有的深度融合趋势，就如同寒武纪的生物大爆发，激发着各行各业的创新浪潮。新质生产力时代到来，政企用云进 3月17日，记者从陆军军医大学西南医院获悉，该院消化内科教授陈磊团队联合陆军军医大学教授张定林首次提出，活性氧响应性纳米材料能够把程序性死亡配体-1蛋白精准传递到肠道炎症部位，有效缓解肠炎据中国科学院武汉植物园消息，我国科研人员在大别山区开展植物多样性科学考察时，发现了天门冬科天门冬属新物种，并将其命名为大别山天门冬。相关研究成果日前发表在国际知名植物分类学期刊《植物记者3月21日从安徽师范大学获悉，该校生命科学学院张方教授课题组通过野外自然抱对、控制实验下抱对以及视频回放等实验手段，证实他们前期提出的，眨眼行为可能在雌性凹耳蛙性选择中起着重要作用一加Ace 3V刚发布，就被红米砍了一刀！随着昨天一加Ace 3V的发布，新一轮中端机的内卷终于拉开了序幕。而且这电话售价居然还不增反降，直接1999起步。先来回顾下它的配置，外观相比上一代有所变化，依旧是作为月之暗面的创始人，杨植麟常把他的AGI梦想形容为“登月计划”，长文本就是这个伟大计划的第一步。但现在，随着Kimi的爆火出圈，赛道瞬间变得拥挤，24小时内，阿里、360、百度紧急“出手”，纷。

本文链接：Sora三巨头首次解密幕后信息，CTO：最快年内开放http://www.sushuapos.com/show-2-4230-0.html

声明：本网站为非营利性网站，本网页内容由互联网博主自发贡献，不代表本站观点，本站不承担任何法律责任。天上不会到馅饼，请大家谨防诈骗！若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。

上一篇：通用图大模型HiGPT：一己之力建模任何图结构关系！来自港大数据智能实验室&百度

下一篇：一年暴涨900%，这个华人成为黄院士门下最大赢家