设置
  • 日夜间
    随系统
    浅色
    深色
  • 主题色

吉娃娃or松饼难题被解决!IDEA研究院新模型打通文本视觉Prompt

发布时间: 来源: 量子位

连黑客帝国的子弹都能数清楚Zun速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

还记得黑客帝国经典的子弹时间吗?Zun速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

IDEA研究院最新检测模型T-Rex2,可以齐刷刷给全部识别出来~Zun速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

吉娃娃or松饼难题被解决!IDEA研究院新模型打通文本视觉Prompt

而面对难倒一众大模型「吉娃娃or松饼」的难题,它只需被投喂一张吉娃娃的照片,就能瞬间迎刃而解。Zun速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

吉娃娃or松饼难题被解决!IDEA研究院新模型打通文本视觉Prompt

此前,也是同样的团队,推出了基于视觉提示的检测模型T-Rex。Zun速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

如今,他们将视觉和文本提示融合,相互弥补各自的缺陷,实现了更强的目标检测能力。Zun速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

并且与多目标跟踪模型结合后,各种视频检测任务也不在话下。Zun速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

吉娃娃or松饼难题被解决!IDEA研究院新模型打通文本视觉Prompt

来看新研究到底说了什么。Zun速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

打通文本和视觉提示

在开集目标检测领域,尽管文本提示受到一定的青睐,但也存在一定的局限性。Zun速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

比如长尾数据短缺。稀有或者全新的物体类别的数据稀缺可能会削弱其学习效率。还有描述上的局限性,对于一些难以用语言描绘的对象,因受限于无法精确描述,也会削弱效果。Zun速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

而视觉提示提供了更直观且直接的对象表示方法,但在捕捉常见对象的概念时效果就会很差。Zun速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

T-Rex2通过对比学习在单个模型中整合两种提示,因此接受多种格式的输入,包括文本提示、视觉提示以及两者的组合。Zun速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

吉娃娃or松饼难题被解决!IDEA研究院新模型打通文本视觉Prompt

在不同场景中,它可以通过在两种提示方式之间切换来处理。Zun速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

因此,它大致有三种工作模式:Zun速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

文本提示模式、交互式视觉提示模式、通用视觉提示模式。Zun速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

吉娃娃or松饼难题被解决!IDEA研究院新模型打通文本视觉Prompt

以通用视觉提示模式为例,用户可以通过向模型提供任意数量的示例图片,来自定义特定对象的视觉嵌入,然后使用这个嵌入来检测任意图像中的对象。Zun速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

也就是不需要用户与模型直接互动,就能完成检测任务。Zun速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

最终在在四个学术基准测试集 COCO, LVIS, ODinW, 和Roboflow100 上取得了 Zero-Shot SOTA的性能。Zun速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

吉娃娃or松饼难题被解决!IDEA研究院新模型打通文本视觉Prompt

开箱即用诸多领域

无需重新训练或微调,T-Rex2即可检测模型在训练阶段从未见过的物体。Zun速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

该模型不仅可应用于包括计数在内的所有检测类任务,还为智能交互标注领域提供新的解决方案。Zun速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

吉娃娃or松饼难题被解决!IDEA研究院新模型打通文本视觉Prompt

除此之外,结合现有的多目标跟踪模型( 如ByteTrack ),T-Rex2还可用于视频检测任务。Zun速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

吉娃娃or松饼难题被解决!IDEA研究院新模型打通文本视觉Prompt

事实上,这种跨图检测能力,让目标检测技术在生产生活中可以真正开始广泛应用。Zun速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

比如工业生产流水线器件检测,交通航运领域的船舶、飞机检测,农业领域的农作物、果蔬检测,生物医学领域的细胞、组织检测,物流领域的货物检测,环境领域的野生动物监测等。Zun速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

现在,T-Rex2让通用物体检测又迈出了新的一步。Zun速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

试玩链接:Zun速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM
https://deepdataspace.com/playground/ivpZun速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM
T-Rex2 API:https://github.com/IDEA-Research/T-RexZun速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM
论文链接:Zun速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM
https://arxiv.org/abs/2403.14610Zun速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

— 完 —Zun速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

英国《自然》周刊网站3月12日刊登题为《OpenAI的文生视频工具Sora会如何改变科学——以及社会》的文章,作者为乔纳森·奥卡拉汉,内容编译如下:美国开放人工智能研究中心(OpenAI 记者3月17日从浙江大学获悉,该校医学院附属第二医院王良静教授团队、附属邵逸夫医院陈淑洁主任医师团队联合研究发现,一种肠道菌群产生的小分子代谢物吲哚丙酸,可以增强抗癌药物抗PD-1单抗对结 记者3月21日获悉,全球植物科学期刊《分子植物》刊载了中国科学家的最新研究,中国农业科学院作物科学研究所、国家南繁研究院与阿里达摩院(湖畔实验室)联合研发出全流程智慧育种平台,实现了育种数 作为月之暗面的创始人,杨植麟常把他的AGI梦想形容为“登月计划”,长文本就是这个伟大计划的第一步。但现在,随着Kimi的爆火出圈,赛道瞬间变得拥挤,24小时内,阿里、360、百度紧急“出手”,纷 今年3月23日是第64个世界气象日,主题是“气候行动最前线”。面对愈加频繁的极端天气和全球变暖等气候危机,减缓气候变化已刻不容缓。发展新能源是应对气候变化的重要举措之一,而气象服务对于新 3月25日6时左右将迎来水星东大距。这是水星今年第二次大距、首次东大距,也是公众尝试观测水星的好机会。届时,水星位于太阳东边,与太阳张角约为18.7度。以北京地区为例,在日落时,水星地平高度约为 。

本文链接:吉娃娃or松饼难题被解决!IDEA研究院新模型打通文本视觉Prompthttp://www.sushuapos.com/show-2-4433-0.html

声明:本网站为非营利性网站,本网页内容由互联网博主自发贡献,不代表本站观点,本站不承担任何法律责任。天上不会到馅饼,请大家谨防诈骗!若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。

上一篇: 一款手游有400+个AI角色!腾讯游戏新系统炸场GDC:训练成本大减90%

下一篇: GPT4单项仅7.1分,揭露大模型写代码三大短板,最新基准测试来了

热门资讯

推荐资讯

  • 日榜
  • 周榜
  • 月榜