近日，华南理工大学（以下简称华工）土木与交通学院2025届本科毕业生、2025级硕士研究生张鼎伦的研究成果发表于《专家系统与应用》（Expert Systems With Applications）。该成果提出面向领域知识增强的多模态图检索增强生成框架（DOKE-RAG），是其在导师、华工副教授陈太聪指导下完成的本科优秀毕业论文成果。
面向领域的知识增强多模态图检索增强生成框架。华轩供图针对《结构力学》等土木工程核心课程中概念关系复杂、公式图表密集、知识层次性强等特点，传统大语言模型在回答专业问题时易出现依据不充分、推理不清晰、术语不准确等问题。张鼎伦等将专家知识、知识图谱与大语言模型相结合，提出DOKE-RAG框架，旨在服务于结构力学等深度垂直领域的智能知识问答。
该框架可从复杂PDF文档、课程讲授音频、数学公式、工程图表及表格等异构资料中提取多模态知识，并将其整合为统一的结构化知识图谱。同时，论文提出Hi-LVEA层级式大语言模型验证实体对齐算法，将专家构建的核心知识图谱与大语言模型生成的扩展知识图谱进行对齐、验证与融合。实验表明，DOKE-RAG在结构分析领域专业问答任务中的表现优于现有RAG和Graph RAG方法。
在论文研究和插图绘制过程中，张鼎伦尝试将AI绘图方法用于科研图示表达，相关经验整理成方法论文章发表于AI开源学习社区Datawhale公众号，并受人民邮电出版社邀请，独立撰写《AI科研绘图Nano Banana极速实战指南》，该书目前已正式出版。
据悉，张鼎伦本科期间曾参与学科交叉类大学生创新创业训练项目，参与智能语音引导式结构设计分析软件开发，在多模态信息处理、智能问答系统和大语言模型方向积累了交叉研究基础。其本科毕业论文成果体现了华工土木与交通学院在传统土木工程优势学科基础上，面向人工智能、智能建造和工程知识服务等新兴方向推进交叉融合培养的阶段性成效。
相关论文信息：https://doi.org/10.1016/j.eswa.2026.133291
12月18日，2023年度国家自然科学基金管理工作会议在北京召开。会议回顾总结2023年科学基金资助与管理工作，介绍新时期 关于2023年第二批拟备案的省自然科学基金结题验收项目的公示 根据《河南省自然科学基金项目管理办法》（豫科〔2022 12月19日，山东先进制造业人力资源服务供需对接活动在济南举办，活动由山东省人力资源和社会保障厅、山东产业技术研究 近日，由南京应用数学中心林文伟教授和东南大学李铁香教授团队设计研发、基于GPU计算平台的FAME软件包以仿真插件的形 ·GLP-1类药物正在以令人兴奋和不安的方式重塑医学、流行文化，甚至全球股市。制药公司掀起一场“肥胖革命”，但 中新网1月1日电 据法新社最新消息，日本政府表示，强震发生后没有核电站出现异常的报告。 日本石川县能登地区1日下午 。本文链接：华工本科毕业生提出多模态图检索增强生成框架http://www.sushuapos.com/show-11-35677-0.html
声明：本网站为非营利性网站，本网页内容由互联网博主自发贡献，不代表本站观点，本站不承担任何法律责任。天上不会到馅饼，请大家谨防诈骗！若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。
上一篇： “智能编译优化系统”为国产芯片提速