腾讯混元联合清华和港科大推出DFA速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM
单击画面中的火箭,输入“发射”prompt,瞬间起飞!DFA速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

就连想要回收火箭,也只需要输入“Launch down”,再轻轻一点击:DFA速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

马斯克看了都要自我怀疑一下,这火箭发射这么简单,自家星舰成功进入太空怎么那么难(开个小玩笑)??DFA速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

以上效果来自一个新的图生视频模型Follow-Your-Click,由腾讯混元、清华大学和香港科技大学联合推出。DFA速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM
食用方法非常友好:DFA速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM
任意一张照片输入模型,只需要点击对应区域,加上少量简单的提示词,就可以让图片中原本静态的区域动起来,一键转换成视频。DFA速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM
就连《一人之下》的诸葛青和《唐伯虎点秋香》里的星爷也……DFA速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

相关研究论文已经挂上了arXiv,GitHub上也放出代码,首日就小有战绩,揽星280+。DFA速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

想动哪里点哪里,so easy
注意看这个楼梯上的动画小鼠形象,只需单击小鼠腹部,再输入“跳舞”,它就能瞬间扭动起来。DFA速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM
同时,画面的其他部分保持原有的静止状态。DFA速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

不只是人物、卡通形象可以控制,图片的其余部分,通过点击和输入简短提示词,也能动起来。DFA速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM
,时长00:08DFA速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM
进一步测试,是可以实际感知到Follow-Your-Click对画面动态部分的精准控制的。DFA速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM
同样是鸟图,点击小鸟,输入“动动脑袋”:DFA速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

输入“扇扇翅膀”:DFA速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

输入“跳个舞吧”:DFA速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

输入“不如摇摆”:DFA速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

总结,就是想要哪里动,就点哪里。DFA速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM
研究团队还将Follow-Your-Click和其他视频生成模型进行了同题对比,以下是实验效果:DFA速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM


一键点,万物动
此前图生视频模型的生成方法,一般都需要用提示词描述运动区域,并提供运动指令的详细描述。DFA速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM
从生成效果来看,过往技术在指定图像移动部分缺乏控制,往往是让整个场景动起来,而不是具体到图像上的某个区域。DFA速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

为了解决这些问题,腾讯混元大模型团队、清华和港科大联合项目提出了更实用和可控的图像到视频生成模型Follow-Your-Click。DFA速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM
实现方式上,Follow-Your-Click首先整合了图像语义分割工具Segment-Anything,将用户点击转换为二进制区域Mask,将其作为网络条件之一。DFA速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM
其次,为了更好地正确学习时间相关性,团队还引入了一种有效的首帧掩模策略。DFA速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM
这种方式对模型生成的视频质量有较大的性能提升,不论是在畸变还是首帧的重构效果上都有很大的帮助。DFA速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM
此外,为了实现简短提示词的文字驱动能力,研究团队构建了一个名为WebVid-Motion的数据集——利用大模型来过滤和注视视频标题,并强调人类情感、动作和常见物体的运动,通过数据集提升模型对动词的响应和识别能力。DFA速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM
联合研究团队还设计了一个运动增强模块,主要用途一方面是更好地适应数据集,一方面用来增强模型对运动相关词语的响,同时理解简短提示指令。DFA速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

在视频中,不同类型的物体可能表现出不同的运动速度。DFA速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM
以往的工作中,每秒帧数(FPS)主要作为全局的动作幅度控制参数,间接调整多个物体的运动速度。然而,它无法有效控制移动物体的速度。DFA速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM
举个DFA速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

,一个展示雕塑的视频可能具有很高的FPS,但是没有物体的运动速度。DFA速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM
为了实现对运动速度的准确学习,研究团队提出了一种基于光流的运动幅度控制,使用光流模长作为新的视频运动幅度控制参数。DFA速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

以上这些新提出的方法,加上各模块的组合,Follow-Your-Click大大提升了可控图生视频的效率和可控性,最终实现了用简单文本指令来实现图像局部动画。DFA速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM
One More Thing
小道消息!DFA速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM
Follow-Your-Click联合项目组中的腾讯混元大模型团队,正努力研究和探索多模态技术。DFA速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM
此前,该团队已经作为技术合作伙伴,支持了《人民日报》的原创视频《江山如此多娇》。DFA速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM
该说不说,2024年,一定是多模态卷到爆炸的一年……DFA速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM
项目主页:https://follow-your-click.github.io/DFA速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM
论文链接:https://arxiv.org/pdf/2403.08268.pdfDFA速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM
GitHub:https://github.com/mayuelala/FollowYourClickDFA速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM
21世纪经济报道记者孔海丽、实习生邓熙涵 北京报道“民以食为天,食与民同欢”,吃得健康、吃得安全是消费者长期以来的普遍共识。当代消费者已不止于填饱肚子,而是讲求“精耕细作”。消
随着量子技术的发展,利用量子特性突破传统测量技术极限的新一代精密测量技术——量子测量开始得到应用。记者从中国计量科学研究院获悉,由该院牵头编制的《量子测量术语》《量子精密
一加Ace 3V刚发布,就被红米砍了一刀!随着昨天一加Ace 3V的发布,新一轮中端机的内卷终于拉开了序幕。 而且这电话售价居然还不增反降,直接1999起步。 先来回顾下它的配置,外观相比上一代有所变化,依旧是
3月24日消息,据媒体报道,huawei电话供应链公司,已开始向huaweiP70系列高端旗舰电话批量供货。同时有产业链人士透露,huawei给出的P70系列出货目标指引相对乐观。据数码博主“数码闲聊站”爆料,huaweiP
3月25日消息,按照惯例,iPhone会在6月份的WWDC上发布iOS 18、watchOS 11、visionOS 2等全新系统。其中iOS 18比较受关注,被许多爆料者称为iOS史上最大升级。据名记Mark Gurman最新消息, iOS 18将支持
“啪嗒啪嗒......”一只机器狗在街上迈着规律的步伐,拉着牵引绳的盲人,在它的带领下越过沿路障碍,平稳地行走着,电子导盲犬能否取代传统导盲犬,解决视障人士一犬难求的困境?西工大团队在这方面开展
。
本文链接:腾讯混元最新图生视频模型!想动哪里点哪里,诸葛青睁眼原来长这样 | 开源http://www.sushuapos.com/show-2-3862-0.html
声明:本网站为非营利性网站,本网页内容由互联网博主自发贡献,不代表本站观点,本站不承担任何法律责任。天上不会到馅饼,请大家谨防诈骗!若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。
上一篇: 国产大模型创业一哥:秀商业化,布局Sora,“全线对标OpenAI”
下一篇: 开源版“Devin”AI程序员炸场:自己分析股票、做报表、建模型