近日，华南理工大学（以下简称华工）土木与交通学院2025届本科毕业生、2025级硕士研究生张鼎伦的研究成果发表于《专家系统与应用》（Expert Systems With Applications）。该成果提出面向领域知识增强的多模态图检索增强生成框架（DOKE-RAG），是其在导师、华工副教授陈太聪指导下完成的本科优秀毕业论文成果。
面向领域的知识增强多模态图检索增强生成框架。华轩供图针对《结构力学》等土木工程核心课程中概念关系复杂、公式图表密集、知识层次性强等特点，传统大语言模型在回答专业问题时易出现依据不充分、推理不清晰、术语不准确等问题。张鼎伦等将专家知识、知识图谱与大语言模型相结合，提出DOKE-RAG框架，旨在服务于结构力学等深度垂直领域的智能知识问答。
该框架可从复杂PDF文档、课程讲授音频、数学公式、工程图表及表格等异构资料中提取多模态知识，并将其整合为统一的结构化知识图谱。同时，论文提出Hi-LVEA层级式大语言模型验证实体对齐算法，将专家构建的核心知识图谱与大语言模型生成的扩展知识图谱进行对齐、验证与融合。实验表明，DOKE-RAG在结构分析领域专业问答任务中的表现优于现有RAG和Graph RAG方法。
在论文研究和插图绘制过程中，张鼎伦尝试将AI绘图方法用于科研图示表达，相关经验整理成方法论文章发表于AI开源学习社区Datawhale公众号，并受人民邮电出版社邀请，独立撰写《AI科研绘图Nano Banana极速实战指南》，该书目前已正式出版。
据悉，张鼎伦本科期间曾参与学科交叉类大学生创新创业训练项目，参与智能语音引导式结构设计分析软件开发，在多模态信息处理、智能问答系统和大语言模型方向积累了交叉研究基础。其本科毕业论文成果体现了华工土木与交通学院在传统土木工程优势学科基础上，面向人工智能、智能建造和工程知识服务等新兴方向推进交叉融合培养的阶段性成效。
相关论文信息：https://doi.org/10.1016/j.eswa.2026.133291
“太忙了。”这是清华大学人工智能（AI）国际治理研究院副院长梁正面对记者脱口而出的一句话。 去年11 欧洲空间局公布了“欧几里德”空间望远镜拍摄的首批彩色图像，有助于揭示暗物质和暗能量等宇宙奥秘。图为马头星云的 中新网北京12月19日电 (记者 孙自法)施普林格·自然旗下专业学术期刊《自然-医学》最新发表一篇论文称，研究人 科技日报北京12月19日电 （记者马爱平）19日，记者从中国农业科学院茶叶研究所获悉，该所茶叶质量与风险评估创新团队首创了 法国政府近日推出“2030国家生物多样性战略”，包括40项措施和200项行动，旨在保护和恢复生态系统、减少对生物多样性的 呼吸道合胞病毒在国内终于有了预防性药物。 2024年1月2日，阿斯利康与赛诺菲共同宣布，长效单克隆抗体尼塞韦单抗（商品名：乐 。本文链接：华工本科毕业生提出多模态图检索增强生成框架http://www.sushuapos.com/show-11-35677-0.html
声明：本网站为非营利性网站，本网页内容由互联网博主自发贡献，不代表本站观点，本站不承担任何法律责任。天上不会到馅饼，请大家谨防诈骗！若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。
上一篇： “智能编译优化系统”为国产芯片提速