当人工智能（AI）机器人为你诊断疾病，你是否信任它的判断？当用AI模型来预测蛋白质的复杂结构，你能否理解其预测逻辑？如今，AI已经融入生活的方方面面，一个问题显得愈发关键：如何让人们理解并信任AI输出的结果。
构建可解释性模型是解决这一难题的重要途径。正如中国科学院院士张钹所言，如果不能建立可解释的AI理论，就会无法解决人们对AI技术的困惑和误解，这也将限制AI技术的发展。
什么是可解释性模型？它如何帮助人们理解AI？构建可解释性模型有哪些技术路径？科技日报记者日前就上述问题采访了相关专家。
“看清”决策过程
“可解释性模型是指能够帮助人们理解其预测或决策过程的模型。可解释性意味着模型的运行逻辑和预测结果对人类是透明且易于理解的。”中国科学技术大学人工智能与数据科学学院教授王翔解释道。
王翔认为，可解释性模型应当具有四个重要特性。一是透明性，可解释性模型需要提供清晰的决策依据，让人们能“看清”模型根据输入数据做决定的全过程；二是一致性，可解释性模型的解释需要与人类已有知识一致，不与已知规律矛盾，例如医疗AI的诊断解释应与医学标准一致；三是语义性，可解释性模型的解释方式应易于理解，能通过自然语言或图示化形式呈现；四是因果性，可解释性模型能够明确说明驱动其预测的关键输入特征，用户能够通过调整输入数据，观察模型输出的变化，从而验证预测结果的可靠性和模型的局限性。
在AI影响力持续提升的今天，构建可解释性模型成了一项极为重要的任务。王翔认为，可解释性模型不仅能提升用户对AI系统的信任度，还有助于提升全社会对AI的接受程度，推动其在各领域广泛应用。
“可解释性模型还可以促进AI的公平性和伦理性，避免出现偏见或歧视。对于开发者来说，可解释性模型能提高AI的调试和优化能力，帮助开发者更好地理解和改进模型。可解释性模型也有助于提升AI安全性，能帮助监管机构和政策制定者更清楚了解AI技术，确保技术应用符合法律和伦理框架。”王翔补充说。
探索两种路径
事实上，并不是所有的模型都难以理解。王翔介绍，对于结构较为简单、透明的模型，例如线性回归或决策树等，人们往往能够直接理解输入与输出之间的关系。而对于复杂、高性能的神经网络模型来说，则需要借助相应的方法或工具来提高可解释性。
目前，提升模型可解释性的技术路径主要分为内在可解释性方法和事后可解释性方法。
内在可解释性方法是在模型设计阶段就融入可解释性需求，通过构建天然具备解释能力的模型，使其决策过程透明、直观。例如，深度学习模型中的注意力机制就是一种常见的内在可解释性技术，它通过显示模型关注的区域，帮助用户理解模型的行为。“透明性和实时性是内在可解释性方法的优势。这种方法特别适合对解释性要求高且需要快速响应的场景，如医疗诊断或金融决策。”王翔说。
事后可解释性方法则是在模型训练完成后，通过外部工具或算法分析模型的决策过程，无需修改模型本身。王翔介绍，事后可解释性方法的最大优势在于灵活性，它几乎适用于任何复杂的“黑箱”模型，但计算成本通常较高，尤其是单样本解释可能需要多次模型评估，不适合实时性要求高的场景。此外，事后可解释性方法仅能辅助分析模型行为，无法深入影响或改变模型本身的结构。
提升可解释性
在提升模型可解释性方面，学界正在积极进行探索。例如，王翔团队致力于建立可信赖的图基础模型。图基础模型是能够处理和分析各种复杂图数据的数学模型，它要处理的图数据可以是社交网络中的朋友关系、生物中蛋白质之间的相互作用、通信网络中的设备连接，甚至是人类大脑中的神经元连接等。传统的图神经网络通常通过聚合节点特征和拓扑结构信息进行学习，但实际图数据中往往包含冗余或噪声信息，这可能导致模型捕获与任务无关的特征。王翔团队提出了一种基于因果的内在可解释架构（DIR），有效剔除了干扰因素，保留了因果特征，大幅提升了模型的透明度和鲁棒性。
产业界的探索也取得了进展。例如，蚂蚁集团联合清华大学发布的AI安全检测平台“蚁鉴2.0”融入了可解释性检测工具。综合AI技术和专家知识，通过可视化、逻辑推理、因果推断等技术，“蚁鉴2.0”从完整性、准确性、稳定性等7个维度及20余项评估指标，对AI系统的解释质量进行量化分析，帮助用户更清晰验证与优化可解释方案。
商汤科技推出的自动驾驶大模型DriveMLM，则可以根据输入的信息给出自动驾驶每一步决策和操作时背后的逻辑和推理的原因，能够以自然语言解释自动驾驶的行为。也就是说，人们只需将图像、激光雷达信息、交通规则甚至是乘客需求“一股脑”丢给大模型，它就能给出驾驶方案，并解释为什么要这么开。商汤科技联合创始人王晓刚说，自动驾驶的挑战之一就是AI模型的可解释性不高，决策过程难以被人们理解，增强AI模型的可解释性能推动自动驾驶技术进一步发展和普及。
仍存技术难题
行业在构建可解释性模型上取得一定进展，但仍存在不少技术难点，需要研究人员进一步攻克。
首先，随着大模型性能、参数不断提升，其内部结构的复杂程度也在增加，这使得大模型内部决策机理变得越发难以理解，如何实现高度复杂模型的可解释性是重要问题。
其次，通常情况下，模型性能越强，可解释性就会越差，如何在模型的性能和可解释性之间找到合适平衡点，也是亟待解决的问题。王翔认为，未来，开发新的可解释性算法或将成为重要发展方向之一，新算法可以结合深度学习和逻辑推理等多种路径，实现模型高性能与解释性的更好平衡。
最后，目前没有统一标准来衡量模型的可解释性，如何准确评估并提升模型的解释性仍然是开放问题。“可以通过跨学科合作，结合认知科学、心理学等领域知识，共同定义和量化解释的标准，提高模型的可解释性。”王翔建议。
当人工智能（AI）机器人为你诊断疾病，你是否信任它的判断？当用AI模型来预测蛋白质的复杂结构，你能否理解其预测逻辑？如今，AI已经融入生活的方方面面，一个问题显得愈发关键：如何让人们理解并信任AI输出的结果。
构建可解释性模型是解决这一难题的重要途径。正如中国科学院院士张钹所言，如果不能建立可解释的AI理论，就会无法解决人们对AI技术的困惑和误解，这也将限制AI技术的发展。
什么是可解释性模型？它如何帮助人们理解AI？构建可解释性模型有哪些技术路径？科技日报记者日前就上述问题采访了相关专家。
“看清”决策过程
“可解释性模型是指能够帮助人们理解其预测或决策过程的模型。可解释性意味着模型的运行逻辑和预测结果对人类是透明且易于理解的。”中国科学技术大学人工智能与数据科学学院教授王翔解释道。
王翔认为，可解释性模型应当具有四个重要特性。一是透明性，可解释性模型需要提供清晰的决策依据，让人们能“看清”模型根据输入数据做决定的全过程；二是一致性，可解释性模型的解释需要与人类已有知识一致，不与已知规律矛盾，例如医疗AI的诊断解释应与医学标准一致；三是语义性，可解释性模型的解释方式应易于理解，能通过自然语言或图示化形式呈现；四是因果性，可解释性模型能够明确说明驱动其预测的关键输入特征，用户能够通过调整输入数据，观察模型输出的变化，从而验证预测结果的可靠性和模型的局限性。
在AI影响力持续提升的今天，构建可解释性模型成了一项极为重要的任务。王翔认为，可解释性模型不仅能提升用户对AI系统的信任度，还有助于提升全社会对AI的接受程度，推动其在各领域广泛应用。
“可解释性模型还可以促进AI的公平性和伦理性，避免出现偏见或歧视。对于开发者来说，可解释性模型能提高AI的调试和优化能力，帮助开发者更好地理解和改进模型。可解释性模型也有助于提升AI安全性，能帮助监管机构和政策制定者更清楚了解AI技术，确保技术应用符合法律和伦理框架。”王翔补充说。
探索两种路径
事实上，并不是所有的模型都难以理解。王翔介绍，对于结构较为简单、透明的模型，例如线性回归或决策树等，人们往往能够直接理解输入与输出之间的关系。而对于复杂、高性能的神经网络模型来说，则需要借助相应的方法或工具来提高可解释性。
目前，提升模型可解释性的技术路径主要分为内在可解释性方法和事后可解释性方法。
内在可解释性方法是在模型设计阶段就融入可解释性需求，通过构建天然具备解释能力的模型，使其决策过程透明、直观。例如，深度学习模型中的注意力机制就是一种常见的内在可解释性技术，它通过显示模型关注的区域，帮助用户理解模型的行为。“透明性和实时性是内在可解释性方法的优势。这种方法特别适合对解释性要求高且需要快速响应的场景，如医疗诊断或金融决策。”王翔说。
事后可解释性方法则是在模型训练完成后，通过外部工具或算法分析模型的决策过程，无需修改模型本身。王翔介绍，事后可解释性方法的最大优势在于灵活性，它几乎适用于任何复杂的“黑箱”模型，但计算成本通常较高，尤其是单样本解释可能需要多次模型评估，不适合实时性要求高的场景。此外，事后可解释性方法仅能辅助分析模型行为，无法深入影响或改变模型本身的结构。
提升可解释性
在提升模型可解释性方面，学界正在积极进行探索。例如，王翔团队致力于建立可信赖的图基础模型。图基础模型是能够处理和分析各种复杂图数据的数学模型，它要处理的图数据可以是社交网络中的朋友关系、生物中蛋白质之间的相互作用、通信网络中的设备连接，甚至是人类大脑中的神经元连接等。传统的图神经网络通常通过聚合节点特征和拓扑结构信息进行学习，但实际图数据中往往包含冗余或噪声信息，这可能导致模型捕获与任务无关的特征。王翔团队提出了一种基于因果的内在可解释架构（DIR），有效剔除了干扰因素，保留了因果特征，大幅提升了模型的透明度和鲁棒性。
产业界的探索也取得了进展。例如，蚂蚁集团联合清华大学发布的AI安全检测平台“蚁鉴2.0”融入了可解释性检测工具。综合AI技术和专家知识，通过可视化、逻辑推理、因果推断等技术，“蚁鉴2.0”从完整性、准确性、稳定性等7个维度及20余项评估指标，对AI系统的解释质量进行量化分析，帮助用户更清晰验证与优化可解释方案。
商汤科技推出的自动驾驶大模型DriveMLM，则可以根据输入的信息给出自动驾驶每一步决策和操作时背后的逻辑和推理的原因，能够以自然语言解释自动驾驶的行为。也就是说，人们只需将图像、激光雷达信息、交通规则甚至是乘客需求“一股脑”丢给大模型，它就能给出驾驶方案，并解释为什么要这么开。商汤科技联合创始人王晓刚说，自动驾驶的挑战之一就是AI模型的可解释性不高，决策过程难以被人们理解，增强AI模型的可解释性能推动自动驾驶技术进一步发展和普及。
仍存技术难题
行业在构建可解释性模型上取得一定进展，但仍存在不少技术难点，需要研究人员进一步攻克。
首先，随着大模型性能、参数不断提升，其内部结构的复杂程度也在增加，这使得大模型内部决策机理变得越发难以理解，如何实现高度复杂模型的可解释性是重要问题。
其次，通常情况下，模型性能越强，可解释性就会越差，如何在模型的性能和可解释性之间找到合适平衡点，也是亟待解决的问题。王翔认为，未来，开发新的可解释性算法或将成为重要发展方向之一，新算法可以结合深度学习和逻辑推理等多种路径，实现模型高性能与解释性的更好平衡。
最后，目前没有统一标准来衡量模型的可解释性，如何准确评估并提升模型的解释性仍然是开放问题。“可以通过跨学科合作，结合认知科学、心理学等领域知识，共同定义和量化解释的标准，提高模型的可解释性。”王翔建议。
近日，我国“主要作物丰产增效科技创新工程”重点专项“优质双季超级稻丰产增效技术研发与集成示范”项目，在湖南岳阳宣布启动。据了解，该项目主要聚焦优质双季超级稻丰产增效技术研发，着力探明双 21世纪经济报道记者雷晨 北京报道随着人工智能技术的飞速发展，Kimi概念股成为资本市场的新宠。3月21日，受Kimi智能助手技术突破的催化，相关概念股集体走高，市场对AI板块的热情再次被点燃 联合国机构3月20日发布的《全球电子垃圾监测》报告显示，2022年全球范围内共产生6200万吨电子垃圾，其中仅有不到四分之一被回收利用。报告显示，2022年全球电子垃圾的产生量相比2010年增长了82%。 AI芯片巨头低调赚钱 骆轶琪 在过去一年半导体行业下行周期中，除了英伟达以GPU霸主身份实现业绩快速成长之外，另一些主营虽非GPU，但是立足于AI定制芯片市场的半导体巨头也低调实现了稳健的成长性。 据Gartne 中新经纬3月22日电 据《日本经济新闻》22日报道，夏普正在讨论缩小液晶显示器业务，夏普已将子公司显示器(SDP、位于市)停产纳入视野。显示器业务持续陷入苦战，成为夏普在2022财年(截至2023年3月)时隔5年陷入最终亏损 3月22日，中国互联网络信息中心（CNNIC）在京发布第53次《中国互联网络发展状况统计报告》。报告显示，截至2023年12月，我国网民规模达10.92亿人，互联网普及率达77.5%；网络基础设施建设持续加强，新型消费 。本文链接：着力构建可解释性模型http://www.sushuapos.com/show-2-10022-0.html
声明：本网站为非营利性网站，本网页内容由互联网博主自发贡献，不代表本站观点，本站不承担任何法律责任。天上不会到馅饼，请大家谨防诈骗！若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。
上一篇： 有色金属行业首个大模型“坤安”面世
下一篇： 研究显示中国大米越来越好吃