近期，中国科学院合肥物质科学研究院团队将多模态融合方法应用于遥感图像全色锐化领域。
遥感图像全色锐化技术旨在融合低分辨率的多光谱图像与高分辨率的全色图像，生成兼具高空间分辨率和丰富光谱信息的遥感影像。文本引导的多模态学习方法在自然图像领域已取得进展，但由于缺乏全色锐化领域多模态数据集以及遥感场景的复杂性等问题，对准确提取语义信息提出了挑战。
研究团队提出了新的文本引导多模态融合框架TMMFNet。该框架基于多模态大语言模型，结合超分辨率模型、地理空间分割模型及思维链提示技术，为LRMS图像生成高质量的语义描述文本构建出面向全色锐化的多模态遥感数据集。此基础上，团队设计了文本增强模块与文本调制模块两个核心融合单元，将文本蕴含的高层语义信息注入融合网络，引导并优化视觉特征的融合过程。
在WorldView-II、GaoFen2和WorldView-III等公开卫星数据集上的实验结果显示，这一框架在峰值信噪比和结构相似性等评价指标上展现出优越性能。
相关研究成果发表在IEEE Transactions on Geoscience and Remote Sensing（IEEE TGRS）上。
论文链接
基于视觉—文本多模态融合的遥感图像全色锐化网络
多光谱影像语义描述生成方法
11月7日，东南大学交通学院官网教师栏目更新信息显示，毛国强已任东南大学首席教授、智能驾驶与智慧交通研究中心主任、 近日，教育部办公厅印发《关于加强市域产教联合体建设的通知》（以下简称《通知》），提出进一步提高市域产教联合体建设水平，丰富建设内涵，确保建设质量。 在总体要求上，《通知》提出，以产业园区为基础，聚焦区域主导产业，坚 《中华人民共和国学前教育法》（以下简称学前教育法）第七章详细规定了各级政府及有关部门对学前教育在安全管理、收费管理、经费预算、督导问责、质量评估、信息公开等方面的监管责任，为解决实践 中国教育报-中国教育新闻网青岛11月11日讯（记者 刘淼）记者从今天举行的青岛市基础教育扩优提质新闻发布会上获悉，青岛市教育系统近年来加快构建学位充足、布局合理、资源优质的基础教育公共服务 对住宿在校的学生来说，特别是留守学生，最缺的就是陪伴。在湖北省襄阳市谷城县一所乡镇学校，为了让初中生在校能安心睡觉、吃饭和学习，校长每天都坚持陪餐、陪寝，和学生住在一栋宿舍楼，尽可能地陪在 11月6日，曲阜师范大学举办首期教育家精神思政大课，学校党委副书记、校长张洪海带领同学们走进“校长讲校长——跨越时空的对话”，通过问道、论道、就道、弘道四个环节，在教师博物馆为青年教师和 。本文链接：研究提出基于视觉—文本多模态融合的遥感图像全色锐化方法http://www.sushuapos.com/show-12-2145-0.html
声明：本网站为非营利性网站，本网页内容由互联网博主自发贡献，不代表本站观点，本站不承担任何法律责任。天上不会到馅饼，请大家谨防诈骗！若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。
上一篇： 金属卤化物发光动力学研究取得进展