近期，中国科学院合肥物质科学研究院团队将多模态融合方法应用于遥感图像全色锐化领域。
遥感图像全色锐化技术旨在融合低分辨率的多光谱图像与高分辨率的全色图像，生成兼具高空间分辨率和丰富光谱信息的遥感影像。文本引导的多模态学习方法在自然图像领域已取得进展，但由于缺乏全色锐化领域多模态数据集以及遥感场景的复杂性等问题，对准确提取语义信息提出了挑战。
研究团队提出了新的文本引导多模态融合框架TMMFNet。该框架基于多模态大语言模型，结合超分辨率模型、地理空间分割模型及思维链提示技术，为LRMS图像生成高质量的语义描述文本构建出面向全色锐化的多模态遥感数据集。此基础上，团队设计了文本增强模块与文本调制模块两个核心融合单元，将文本蕴含的高层语义信息注入融合网络，引导并优化视觉特征的融合过程。
在WorldView-II、GaoFen2和WorldView-III等公开卫星数据集上的实验结果显示，这一框架在峰值信噪比和结构相似性等评价指标上展现出优越性能。
相关研究成果发表在IEEE Transactions on Geoscience and Remote Sensing（IEEE TGRS）上。
论文链接
基于视觉—文本多模态融合的遥感图像全色锐化网络
多光谱影像语义描述生成方法
近日，复旦大学马余刚院士团队和纽约州立大学石溪分校贾江涌教授团队合作在RHIC-STAR国际合作组首次基于高能重离子碰撞方 本报北京11月14日讯（记者 高毅哲）今天，教育部、人力资源社会保障部召开2025届全国普通高校毕业生就业创业工作会议，以习近平新时代中国特色社会主义思想为指导，深入贯彻党的二十届三中全会精 新华网北京11月14日电 11月20日至22日，教育部将在天津举办2024年世界职业技术教育发展大会。在今日举办的新闻发布会上，教育部国际合作与交流司副司长陈大立表示，我国同183个建交国普遍开展了教 新华网北京11月14日电 今日，教育部举办新闻发布会， 教育部职业教育与成人教育司司长彭斌柏介绍了我国职业教育改革发展的总体情况。彭斌柏介绍，党的十八大以来，在以习近平同志为核心的党中央坚强 中国教育报-中国教育新闻网讯（记者 刘玉）日前，以“筑梦青春志在四方，规划启航职引未来”为主题的辽宁省第二届大学生职业规划大赛正式拉开序幕。大赛旨在加强高校生涯教育和就业指导，增强大学生职 中国教育报-中国教育新闻网讯（记者 陈朝和 通讯员 钟兴茂）11月7日至8日，来自教育部、中国教育学会、北京师范大学的专家学者和北京、上海、江苏等地小学知名校长、教师共600余人相聚四川德阳，参 。本文链接：研究提出基于视觉—文本多模态融合的遥感图像全色锐化方法http://www.sushuapos.com/show-12-2145-0.html
声明：本网站为非营利性网站，本网页内容由互联网博主自发贡献，不代表本站观点，本站不承担任何法律责任。天上不会到馅饼，请大家谨防诈骗！若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。
上一篇： 金属卤化物发光动力学研究取得进展