当人工智能（AI）机器人为你诊断疾病，你是否信任它的判断？当用AI模型来预测蛋白质的复杂结构，你能否理解其预测逻辑？如今，AI已经融入生活的方方面面，一个问题显得愈发关键：如何让人们理解并信任AI输出的结果。
构建可解释性模型是解决这一难题的重要途径。正如中国科学院院士张钹所言，如果不能建立可解释的AI理论，就会无法解决人们对AI技术的困惑和误解，这也将限制AI技术的发展。
什么是可解释性模型？它如何帮助人们理解AI？构建可解释性模型有哪些技术路径？科技日报记者日前就上述问题采访了相关专家。
“看清”决策过程
“可解释性模型是指能够帮助人们理解其预测或决策过程的模型。可解释性意味着模型的运行逻辑和预测结果对人类是透明且易于理解的。”中国科学技术大学人工智能与数据科学学院教授王翔解释道。
王翔认为，可解释性模型应当具有四个重要特性。一是透明性，可解释性模型需要提供清晰的决策依据，让人们能“看清”模型根据输入数据做决定的全过程；二是一致性，可解释性模型的解释需要与人类已有知识一致，不与已知规律矛盾，例如医疗AI的诊断解释应与医学标准一致；三是语义性，可解释性模型的解释方式应易于理解，能通过自然语言或图示化形式呈现；四是因果性，可解释性模型能够明确说明驱动其预测的关键输入特征，用户能够通过调整输入数据，观察模型输出的变化，从而验证预测结果的可靠性和模型的局限性。
在AI影响力持续提升的今天，构建可解释性模型成了一项极为重要的任务。王翔认为，可解释性模型不仅能提升用户对AI系统的信任度，还有助于提升全社会对AI的接受程度，推动其在各领域广泛应用。
“可解释性模型还可以促进AI的公平性和伦理性，避免出现偏见或歧视。对于开发者来说，可解释性模型能提高AI的调试和优化能力，帮助开发者更好地理解和改进模型。可解释性模型也有助于提升AI安全性，能帮助监管机构和政策制定者更清楚了解AI技术，确保技术应用符合法律和伦理框架。”王翔补充说。
探索两种路径
事实上，并不是所有的模型都难以理解。王翔介绍，对于结构较为简单、透明的模型，例如线性回归或决策树等，人们往往能够直接理解输入与输出之间的关系。而对于复杂、高性能的神经网络模型来说，则需要借助相应的方法或工具来提高可解释性。
目前，提升模型可解释性的技术路径主要分为内在可解释性方法和事后可解释性方法。
内在可解释性方法是在模型设计阶段就融入可解释性需求，通过构建天然具备解释能力的模型，使其决策过程透明、直观。例如，深度学习模型中的注意力机制就是一种常见的内在可解释性技术，它通过显示模型关注的区域，帮助用户理解模型的行为。“透明性和实时性是内在可解释性方法的优势。这种方法特别适合对解释性要求高且需要快速响应的场景，如医疗诊断或金融决策。”王翔说。
事后可解释性方法则是在模型训练完成后，通过外部工具或算法分析模型的决策过程，无需修改模型本身。王翔介绍，事后可解释性方法的最大优势在于灵活性，它几乎适用于任何复杂的“黑箱”模型，但计算成本通常较高，尤其是单样本解释可能需要多次模型评估，不适合实时性要求高的场景。此外，事后可解释性方法仅能辅助分析模型行为，无法深入影响或改变模型本身的结构。
提升可解释性
在提升模型可解释性方面，学界正在积极进行探索。例如，王翔团队致力于建立可信赖的图基础模型。图基础模型是能够处理和分析各种复杂图数据的数学模型，它要处理的图数据可以是社交网络中的朋友关系、生物中蛋白质之间的相互作用、通信网络中的设备连接，甚至是人类大脑中的神经元连接等。传统的图神经网络通常通过聚合节点特征和拓扑结构信息进行学习，但实际图数据中往往包含冗余或噪声信息，这可能导致模型捕获与任务无关的特征。王翔团队提出了一种基于因果的内在可解释架构（DIR），有效剔除了干扰因素，保留了因果特征，大幅提升了模型的透明度和鲁棒性。
产业界的探索也取得了进展。例如，蚂蚁集团联合清华大学发布的AI安全检测平台“蚁鉴2.0”融入了可解释性检测工具。综合AI技术和专家知识，通过可视化、逻辑推理、因果推断等技术，“蚁鉴2.0”从完整性、准确性、稳定性等7个维度及20余项评估指标，对AI系统的解释质量进行量化分析，帮助用户更清晰验证与优化可解释方案。
商汤科技推出的自动驾驶大模型DriveMLM，则可以根据输入的信息给出自动驾驶每一步决策和操作时背后的逻辑和推理的原因，能够以自然语言解释自动驾驶的行为。也就是说，人们只需将图像、激光雷达信息、交通规则甚至是乘客需求“一股脑”丢给大模型，它就能给出驾驶方案，并解释为什么要这么开。商汤科技联合创始人王晓刚说，自动驾驶的挑战之一就是AI模型的可解释性不高，决策过程难以被人们理解，增强AI模型的可解释性能推动自动驾驶技术进一步发展和普及。
仍存技术难题
行业在构建可解释性模型上取得一定进展，但仍存在不少技术难点，需要研究人员进一步攻克。
首先，随着大模型性能、参数不断提升，其内部结构的复杂程度也在增加，这使得大模型内部决策机理变得越发难以理解，如何实现高度复杂模型的可解释性是重要问题。
其次，通常情况下，模型性能越强，可解释性就会越差，如何在模型的性能和可解释性之间找到合适平衡点，也是亟待解决的问题。王翔认为，未来，开发新的可解释性算法或将成为重要发展方向之一，新算法可以结合深度学习和逻辑推理等多种路径，实现模型高性能与解释性的更好平衡。
最后，目前没有统一标准来衡量模型的可解释性，如何准确评估并提升模型的解释性仍然是开放问题。“可以通过跨学科合作，结合认知科学、心理学等领域知识，共同定义和量化解释的标准，提高模型的可解释性。”王翔建议。
当人工智能（AI）机器人为你诊断疾病，你是否信任它的判断？当用AI模型来预测蛋白质的复杂结构，你能否理解其预测逻辑？如今，AI已经融入生活的方方面面，一个问题显得愈发关键：如何让人们理解并信任AI输出的结果。
构建可解释性模型是解决这一难题的重要途径。正如中国科学院院士张钹所言，如果不能建立可解释的AI理论，就会无法解决人们对AI技术的困惑和误解，这也将限制AI技术的发展。
什么是可解释性模型？它如何帮助人们理解AI？构建可解释性模型有哪些技术路径？科技日报记者日前就上述问题采访了相关专家。
“看清”决策过程
“可解释性模型是指能够帮助人们理解其预测或决策过程的模型。可解释性意味着模型的运行逻辑和预测结果对人类是透明且易于理解的。”中国科学技术大学人工智能与数据科学学院教授王翔解释道。
王翔认为，可解释性模型应当具有四个重要特性。一是透明性，可解释性模型需要提供清晰的决策依据，让人们能“看清”模型根据输入数据做决定的全过程；二是一致性，可解释性模型的解释需要与人类已有知识一致，不与已知规律矛盾，例如医疗AI的诊断解释应与医学标准一致；三是语义性，可解释性模型的解释方式应易于理解，能通过自然语言或图示化形式呈现；四是因果性，可解释性模型能够明确说明驱动其预测的关键输入特征，用户能够通过调整输入数据，观察模型输出的变化，从而验证预测结果的可靠性和模型的局限性。
在AI影响力持续提升的今天，构建可解释性模型成了一项极为重要的任务。王翔认为，可解释性模型不仅能提升用户对AI系统的信任度，还有助于提升全社会对AI的接受程度，推动其在各领域广泛应用。
“可解释性模型还可以促进AI的公平性和伦理性，避免出现偏见或歧视。对于开发者来说，可解释性模型能提高AI的调试和优化能力，帮助开发者更好地理解和改进模型。可解释性模型也有助于提升AI安全性，能帮助监管机构和政策制定者更清楚了解AI技术，确保技术应用符合法律和伦理框架。”王翔补充说。
探索两种路径
事实上，并不是所有的模型都难以理解。王翔介绍，对于结构较为简单、透明的模型，例如线性回归或决策树等，人们往往能够直接理解输入与输出之间的关系。而对于复杂、高性能的神经网络模型来说，则需要借助相应的方法或工具来提高可解释性。
目前，提升模型可解释性的技术路径主要分为内在可解释性方法和事后可解释性方法。
内在可解释性方法是在模型设计阶段就融入可解释性需求，通过构建天然具备解释能力的模型，使其决策过程透明、直观。例如，深度学习模型中的注意力机制就是一种常见的内在可解释性技术，它通过显示模型关注的区域，帮助用户理解模型的行为。“透明性和实时性是内在可解释性方法的优势。这种方法特别适合对解释性要求高且需要快速响应的场景，如医疗诊断或金融决策。”王翔说。
事后可解释性方法则是在模型训练完成后，通过外部工具或算法分析模型的决策过程，无需修改模型本身。王翔介绍，事后可解释性方法的最大优势在于灵活性，它几乎适用于任何复杂的“黑箱”模型，但计算成本通常较高，尤其是单样本解释可能需要多次模型评估，不适合实时性要求高的场景。此外，事后可解释性方法仅能辅助分析模型行为，无法深入影响或改变模型本身的结构。
提升可解释性
在提升模型可解释性方面，学界正在积极进行探索。例如，王翔团队致力于建立可信赖的图基础模型。图基础模型是能够处理和分析各种复杂图数据的数学模型，它要处理的图数据可以是社交网络中的朋友关系、生物中蛋白质之间的相互作用、通信网络中的设备连接，甚至是人类大脑中的神经元连接等。传统的图神经网络通常通过聚合节点特征和拓扑结构信息进行学习，但实际图数据中往往包含冗余或噪声信息，这可能导致模型捕获与任务无关的特征。王翔团队提出了一种基于因果的内在可解释架构（DIR），有效剔除了干扰因素，保留了因果特征，大幅提升了模型的透明度和鲁棒性。
产业界的探索也取得了进展。例如，蚂蚁集团联合清华大学发布的AI安全检测平台“蚁鉴2.0”融入了可解释性检测工具。综合AI技术和专家知识，通过可视化、逻辑推理、因果推断等技术，“蚁鉴2.0”从完整性、准确性、稳定性等7个维度及20余项评估指标，对AI系统的解释质量进行量化分析，帮助用户更清晰验证与优化可解释方案。
商汤科技推出的自动驾驶大模型DriveMLM，则可以根据输入的信息给出自动驾驶每一步决策和操作时背后的逻辑和推理的原因，能够以自然语言解释自动驾驶的行为。也就是说，人们只需将图像、激光雷达信息、交通规则甚至是乘客需求“一股脑”丢给大模型，它就能给出驾驶方案，并解释为什么要这么开。商汤科技联合创始人王晓刚说，自动驾驶的挑战之一就是AI模型的可解释性不高，决策过程难以被人们理解，增强AI模型的可解释性能推动自动驾驶技术进一步发展和普及。
仍存技术难题
行业在构建可解释性模型上取得一定进展，但仍存在不少技术难点，需要研究人员进一步攻克。
首先，随着大模型性能、参数不断提升，其内部结构的复杂程度也在增加，这使得大模型内部决策机理变得越发难以理解，如何实现高度复杂模型的可解释性是重要问题。
其次，通常情况下，模型性能越强，可解释性就会越差，如何在模型的性能和可解释性之间找到合适平衡点，也是亟待解决的问题。王翔认为，未来，开发新的可解释性算法或将成为重要发展方向之一，新算法可以结合深度学习和逻辑推理等多种路径，实现模型高性能与解释性的更好平衡。
最后，目前没有统一标准来衡量模型的可解释性，如何准确评估并提升模型的解释性仍然是开放问题。“可以通过跨学科合作，结合认知科学、心理学等领域知识，共同定义和量化解释的标准，提高模型的可解释性。”王翔建议。
本文链接：着力构建可解释性模型http://www.sushuapos.com/show-2-10022-0.html
声明：本网站为非营利性网站，本网页内容由互联网博主自发贡献，不代表本站观点，本站不承担任何法律责任。天上不会到馅饼，请大家谨防诈骗！若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。
上一篇： 有色金属行业首个大模型“坤安”面世
下一篇： 研究显示中国大米越来越好吃