2月18日，昆仑万维开源中国首个面向AI短剧创作的视频生成模型SkyReels-V1、中国首个SOTA级别基于视频基座模型的表情动作可控算法SkyReels-A1。
1. SkyReels-V1：Human-Centric Video Foundation Model，中国首个面向AI短剧创作的开源视频生成模型
SkyReels-V1可实现影视级人物微表情表演生成，支持33种细腻人物表情与400+种自然动作组合，高度还原真人情感表达。正如以下视频所示，SkyReels-V1支持生成大笑、怒吼、惊讶、哭泣等微表情，展现出人物情感丰沛的表演细节。即使有大幅度肢体动作，SkyReels-V1生成的微表情也完美贴合人物肢体表演。
同时，SkyReels-V1为AI视频生成带来了电影级光影美学，基于好莱坞级的高质量影视数据训练，当前SkyReels生成的每一帧画面，在构图、演员站位、相机角度等都具备电影级的质感。无论是单人镜头表演细节，还是多人构图，当前已具备精准的表情控制和高质感画面。
更重要的是，SkyReels-V1不仅支持文生视频、还能支持图生视频，是开源视频生成模型中参数最大的支持图生视频的模型，在同等分辨率下各项指标实现开源SOTA。
图1丨SkyReels-V1文生视频指标对比（来源：昆仑万维SkyReels）
能够实现这样的SOTA级别，不仅依赖于昆仑万维SkyReels团队基于自研的高质量数据清洗和人工标注管线，构建了千万级的高质量电影&电视剧&纪录片数据。更依托团队自研「Human-Centric」的视频理解多模态大模型，大幅提升视频中人物相关的理解能力，尤其是自研人物智能解析系统。
综上所述，得益于扎实的数据工作和先进的人物智能解析系统，SkyReels-V1可以实现：
影视化表情识别体系：11种针对影视戏剧中的人物表情理解，如不屑、不耐烦、无助、厌恶等表情的理解；
人物空间位置感知：基于人体三维重建技术，实现对视频中多人的空间相对关系理解，助力模型生成影视级人物站位；
行为意图理解：构建超过400种行为语义单元，实现对人物行为的精准理解；
表演场景理解：实现人物-服装-场景-剧情的关联分析。
SkyReels-V1不仅是全球极少数开源的视频生成模型，还是围绕人物表演、开源视频生成模型中性能最强的。
在自研推理优化框架「SkyReels-Infer」的加持下，大幅提升推理效率，实现544p分辨率，推理基于单台4090只需80s，还支持分布式多卡并行，支持Context Parallel，CFG Parallel，和 VAE Parallel。此外，采取fp8 quantization以及parameter-level offload，满足低显存用户级显卡运行需求；支持flash attention、SageAttention，模型编译优化等，进一步优化延迟；基于开源diffuser库，提升易用性。
正如下图2所示，在同等RTX4090资源情况下对比(4卡)，SkyReels-Infer版本比HunyuanVideo官方版本端到端延迟减少58.3%(293.3s vs 464.3s)；SkyReels-Infer版本具备更鲁棒的部署策略，支持用户级别显卡1卡-8卡的推理部署。
图2丨推理生成544p视频，使用相同卡数的RTX 4090，SkyReels-Infer版本端到端延迟优于HunyuanVideo官方(xdit) 58.3%
在同等A800资源情况下对比，SkyReels-Infer版本比HunyuanVideo官方版本端到端延迟减少14.7%～28.2%（如图3所示），SkyReels-Infer版本具备更鲁棒的多卡部署策略。
图3丨推理生成544p视频，SkyReels-Infer版本具备更鲁棒的多卡部署策略，支持8卡部署
2.SkyReels-A1：首个SOTA级别的基于视频基座模型的表情动作可控算法
为了实现更加精准可控的人物视频生成，昆仑万维还开源了SOTA级别的基于视频基座模型的表情动作可控算法SkyReels-A1，对标Runway的Act-One，SkyReels-A1支持视频驱动的电影级表情捕捉，实现高保真微表情还原。能够基于任意人体比例（包括肖像、半身及全身构图）生成高度逼真的人物动态视频，其真实感源自对人物表情变化和情绪的精准模拟、皮肤肌理、身体动作跟随等多维度细节的深度还原。
SkyReels-A1不仅支持侧脸的表情控制生成、还能实现更加逼真的眉眼微表情生成和更大幅度的头部与自然身体动作。SkyReels-A1能够实现更大幅度的人物表情驱动。相比Runway的Act-One，SkyReels-A1可以迁移更复杂的表情动作，生成的人物面部神情可以配合肢体及画面内容实现更栩栩如生的表演。
3.以开源之姿，以破局之势，昆仑万维致力于推动全球AI短剧创作生态繁荣发展
昆仑万维一直坚持开源，推动技术平权。昆仑万维同时将SOTA级别的SkyReels-V1和SkyReels-A1进行开源，是AI短剧行业首例，也是昆仑万维SkyReels回馈行业迈出的一小步，更是促进AI短剧创作和视频生成行业枝繁叶茂的一大步。
我们相信在进行推理优化的升级和可控算法的开源后，它们将为用户带来低成本、可控性更强的AIGC能力。昆仑万维希望通过更多优秀视频生成模型的开源和极致的AI短剧产品能力，为用户带来低成本实现AI短剧创作的可能性、突破行业目前视频生成一致性差的问题，让大众通过自己的电脑生成精细且可控的人物表演。
此次开源的视频大模型，不仅是一次技术突破，有助于缩小全球内容产业的数字鸿沟，更是文化产业生产力的一次革命。未来，短剧与游戏、虚拟现实等领域的跨界发展，将会加速产业融合。AI短剧也有希望从“技术实验”迈向“主流创作”，成为全球文化输出的新载体。
“实现通用人工智能，让每个人更好地塑造和表达自我”是公司的使命，未来，昆仑万维及SkyReels还将开源更多视频生成模型和算法、通用模型，通过开源实现AGI平权，推动AI短剧生态的持续建设和繁荣，促进开源社区、开发生态以及AI行业的发展。（中国网）
新华社北京3月5日电 国务院总理李强5日在政府工作报告中介绍今年政府工作任务时提出，更好统筹发展和安全，有效防范化解重点领域风险。坚持以高质量发展促进高水平安全，以高水平安全保障高质量发展，标本兼治化解房地产、地 近日，贾跃亭炮轰丁磊和高合汽车，指责其盗窃知识产权，给FF带来巨额经济损失，严重破坏了行业的创新源动力，扭曲了行业的价值观。贾跃亭表示，这种行为是行业的耻辱，呼吁法院判令丁磊和高合汽车赔偿巨额商业损失，并停止侵权行为。 南方财经全媒体记者庞成、实习生范逸 北京报道3月5日上午，十四届全国人大二次会议在人民大会堂开幕。今年政府工作报告提出，今年发展主要预期目标：国内生产总值增长5%左右、城镇新增就 近日,德国VEVA(韦瓦)公司在深圳投资8800万人民币,宣布设立技术中心,此举在净水器行业掀起不小的波澜。这一重大决策不仅彰显了韦瓦在净水技术领域的领先地位,也预示着其在全球市场的进一步扩张。作为 【本期导读】 3月5日，十四届全国人大二次在北京开幕。中共中央总书记、国家主席、中央军委主席习近平当天在参加他所在的江苏代表团审议政府工作报告时强调，要牢牢把握高质量发展这个首要任务，因地制宜发展新质生 他说，关于食品卫生，每一件事情都备受关注，建立起溯源空间，一旦出现问题，才能第一时间发现食品卫生问题的源头，然后堵住漏洞；他说，关于老旧小区加装电梯和更新电梯的提案，实际上是要解决“一老一小”“最后一米”出现的安全问 。本文链接：昆仑万维开源中国首个面向AI短剧创作的视频生成模型SkyReels-V1，重塑AI短剧行业格局http://www.sushuapos.com/show-1-35724-0.html
声明：本网站为非营利性网站，本网页内容由互联网博主自发贡献，不代表本站观点，本站不承担任何法律责任。天上不会到馅饼，请大家谨防诈骗！若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。