CVPR‘24：与任务无关的多模态数据也能提升Transformer性能｜港中文&腾讯

发布时间: 来源：量子位

观看：242

跨模态增益挖掘Transformer潜力

Yiyuan 投稿
量子位 | 公众号 QbitAI

万万没想到，与任务无直接关联的多模态数据也能提升Transformer模型性能。

比如训练一个图像分类模型，除了标注好类别的图像数据集，增加视频、音频、点云等模态数据，也能显著提升模型在图像分类上的性能。

这样一来，在AI训练阶段就可以减少与特定任务直接相关的标注数据需求，可以节省大量成本，或在数据有限的任务上提供新解决思路。

这个神奇的发现来自港中文MMLab和腾讯AI Lab的合作研究，相关论文已被CVPR 2024接收，引起广泛关注。

从无关数据中学习有用知识

具体来说，团队提出了一种称为多模态通路（Multimodal Pathway）的新框架。

该框架允许Transformer模型在处理特定模态的数据时，同时利用其他模态中的无关数据进行训练，从而在不增加额外推理成本的前提下显著提升模型性能。

多模态通路的核心技术是跨模态重参数化 （Cross-Modal Re-parameterization）*。

这一技术的创新之处在于，它通过结构上的智能重组，使得模型能够在保持原有计算成本的同时，增加从其他模态学习的能力。

对于已经被广泛运用到多模态特征提取的Vision Transformer，团队关心的是这些神经网络中的主要线性层。

具体来说，这一技术在模型的每一个线性层中引入了辅助模态的权重，这些权重通过可学习的参数进行调节，从而在不增加推理时间的情况下，实现模态间的知识迁移。

如图所示，比如有不同模态的两个线性层FC和FC’，那么跨模态结构重参数化就是要通过构建一个运算完全等价的线性层来承载两个模态的运算，在这里直接将来自不同模态的两部分权重 （W和W’）做线性组合（W+λW’）来平衡两个模态的权重对于目标模态的贡献。

实验结果：跨模态增益挖掘Transformer潜力

在论文中，研究团队详细介绍了他们的实验设计和结果。

在图像识别、点云处理、视频理解和音频分析等多个任务上应用了多模态通路技术，观察到多模态通路能够在12种不同的模态相互帮助的关系中实现一致的性能提升。

例如，在ImageNet图像识别任务中，结合了点云数据的多模态通路Transformer模型，比传统的Transformer模型在识别准确率上提高了0.7%。

与MAE预训练方法的各种改进相比，该方法无需高昂的计算成本来预训练1600 Epoch，而是直接在下游任务中微调，就能显著地提升模型性能。这充分展示了多模态学习在处理大规模复杂数据集时的强大潜力。

研究人员还发现，跨模态知识迁移的效果不仅与模型参数规模有关，还可能与层次表示（Hierarchical Representation）能力密切相关。也就是越擅长学习层次化的抽象表示的模型，迁移效果就越好。

更值得注意的是，该方法有效地证明了即使毫不相关的多模态数据之间，仍能存在着明显的多模态增益效果，这充分说明我们现在对多模态学习的理解与认知还有很大的提升空间。

总的来说，这项研究不仅能够启发多模态学习在学术领域的发展，也为工业界提供了新的思路。通过利用现有的海量数据资源，即使这些数据与当前任务不直接相关，也能够为AI模型的训练带来积极的影响。

这种方法为数据资源有限或难以标注的领域提供了新的解决方案，特别是在自动驾驶、医疗影像分析、自然语言处理等技术要求极高的领域，多模态通路技术的应用前景广阔。

此外，这一研究还揭示了AI跨模态学习的新机制，推动了学界对于不同数据模态间交互和协同处理的深入理解。研究团队表示，未来他们将探索将多模态通路技术应用于卷积神经网络（CNN）和其他跨架构的AI系统，以进一步挖掘这一技术的潜力。

论文地址：https://arxiv.org/abs/2401.14405
项目网页：https://ailab-cvc.github.io/M2PT/
开源代码：https://github.com/AILab-CVC/M2PT
讲解视频：https://www.bilibili.com/video/BV1Sm41127eW/

患者只需吸入特制的“氙气”，3.5秒后一幅人体肺部磁共振3D影像就呈现出来。影像中，气体可抵达肺部的位置清晰可见，患者的肺部微结构、气体交换功能情况等一目了然。日前，中国科学院精密测量科学美国太平洋西北国家实验室的科学家设计了一种复合装饰材料，可以储存更多二氧化碳，提供了一种既符合建筑规范，又比标准复合饰面板便宜的“负碳”选择。研究人员于18日在美国化学会春季会议上公布记者3月20日从西安交通大学第二附属医院获悉，该院皮肤病院夏育民教授科研团队研究设计了一种靶向抗双链抗体的D型模拟肽（D-ALW多肽）纳米微粒，成功应用于MRL/lpr红斑狼疮小鼠模型的治疗，为目前红斑 3月25日消息，去年huawei在Mate 60系列上首发了玄武机身架构，采用一体化金属机身，搭配上超耐用锦纤材质，使整机的抗挤压能力提高10倍，使用更放心。“玄武”是极其坚固的代表，huawei还在问界M9上采用了“ 今年3月23日是第64个世界气象日，主题是“气候行动最前线”。面对愈加频繁的极端天气和全球变暖等气候危机，减缓气候变化已刻不容缓。发展新能源是应对气候变化的重要举措之一，而气象服务对于新 “人工智能作为数字新基建重点建设方向，前景广阔，大有作为。今年的政府工作报告更首次提出开展‘人工智能+’行动，无疑将为人工智能技术在国内各行各业的广泛应用开启新篇章。”3月22 。

本文链接：CVPR‘24：与任务无关的多模态数据也能提升Transformer性能｜港中文&腾讯http://www.sushuapos.com/show-2-5642-0.html

声明：本网站为非营利性网站，本网页内容由互联网博主自发贡献，不代表本站观点，本站不承担任何法律责任。天上不会到馅饼，请大家谨防诈骗！若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。

上一篇： AI人才争夺战，华尔街入局：豪掷百万美元年薪抢人

下一篇： AI教母李飞飞首次创业！成立“空间智能”公司，已完成种子轮

CVPR‘24：与任务无关的多模态数据也能提升Transformer性能｜港中文&腾讯

从无关数据中学习有用知识

实验结果：跨模态增益挖掘Transformer潜力

热门资讯

推荐资讯

科技最热文章

CVPR‘24：与任务无关的多模态数据也能提升Transformer性能｜港中文&#038;腾讯

从无关数据中学习有用知识

实验结果：跨模态增益挖掘Transformer潜力

热门资讯

推荐资讯

科技最热文章

CVPR‘24：与任务无关的多模态数据也能提升Transformer性能｜港中文&腾讯