近日，鹏城实验室网络智能研究部视觉智能研究所与中国科学院大学电子电气与通信工程学院共同合作，分别在GitHub和OpenI启智社区开源了物理传热启发的高效视觉表征模型vHeat。
vHeat与ViT核心算子计算复杂度对比。研究团队供图
研究团队认为，CNN和ViT的卷积算子与自注意力算子都是特征内部的像素传播过程，分别是一种信息传递的形式，从而联想到物理领域的热传导，因此提出了基于热传导的视觉表征模型vHeat。vHeat将图片特征块视为热源，通过预测热扩散率，以物理学热传导原理来提取图像特征。
相比基于Attention机制的视觉模型，vHeat同时兼顾了低计算复杂度、全局感受野、物理可解释性等特性，计算复杂度降低为1.5次方。
HCO与HCO Layer示意图。研究团队供图
研究团队根据热传导方程，将视觉语义的空间传播和物理热传导建立联系，根据傅里叶变换求得通解，并依据通解进行离散化和通道维度扩展，提出了一种1.5次方计算复杂度的视觉热传导算子（Heat Conduction Operator，HCO）。
此外，团队认为不同图像内容对应不同的热扩散率，提出了频率值编码（Frequency Value Embeddings，FVEs)来表示频率信息，并采用FVEs来预测热扩散率，使得HCO可进行非均匀、自适应的传导。
用FVEs预测热扩散率，形成非均匀、自适应的传导。研究团队供图
实验证明，vHeat在各种视觉任务中表现优秀。例如vHeat-T在ImageNet-1K上分类准确率达到82.2%，比Swin-T高0.9%，比Vim-S高1.7%。除性能优势之外，vHeat还拥有高推理速度、低GPU显存占用和低FLOPs等优点。在输入图像分辨率较高时，相比于Swin，base规模的vHeat模型达到3倍吞吐量，同时GPU显存占用为其1/4倍，FLOPs为其3/4倍。
vHeat这一创新性研究成果为视觉模型的发展提供了新的方向和思路。未来，研究团队将继续推进新型视觉模型研究，为模型在各行业、多领域的人工智能发展和应用贡献力量。
研究生教育是高等教育的最高层次，是衡量一个国家高等教育竞争力的关键标志，是拔尖创新人才自主培养的主渠道。在研究 随着人们生活节奏的加快和对便捷食品需求的增加，预制菜产业正呈现强劲的发展势头。2月13日，《中共中央、国务院关于做 12月18日23时59分，甘肃省临夏回族自治州积石山保安族东乡族撒拉族自治县发生6.2级地震，震源深度10公里。截至19日16时，此次 中新网伦敦1月2日电 (彭欣怡)当地1月2日，英国气象局发布数据指出，2023年是英国自1884年有气象记录以来第二热的一年，仅 关于重点研发计划项目重大事项调整的公示 根据《湖南省创新型省份建设专项资金管理办法》（湘财教〔2023〕3号）和《 河南省科学技术厅关于2024年度河南省国际科技合作项目拟立项项目的公示 根据《河南省科技计划项目管理办法（试行）》 。本文链接：学者开源物理传热启发的视觉表征模型vHeathttp://www.sushuapos.com/show-11-7236-0.html
声明：本网站为非营利性网站，本网页内容由互联网博主自发贡献，不代表本站观点，本站不承担任何法律责任。天上不会到馅饼，请大家谨防诈骗！若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。
下一篇： 外来入侵植物资源化利用研究获进展