什么是可解释性?

可解释性是指机器学习算法能被人类理解的程度。机器学习模型通常被称为“黑盒”，因为它们对知识的表示并不直观，因此通常很难理解它们是如何工作的。可解释性技术有助于揭示黑盒机器学习模型如何进行预测。

通过揭示各种特征对预测的贡献(或不贡献)，可解释性技术可以帮助您验证模型正在使用适当的预测证据，并发现模型中在训练期间不明显的偏差。一些机器学习模型，如线性回归、决策树和生成式可添加模型，本质上是可解释的。然而，可解释性往往是以牺牲能力和准确性为代价的。

可解释性和可解释性是密切相关的。可解释性更多地用于(经典)机器学习的背景下，而在深度神经网络的背景下，许多人使用“AI可解释性”。

应用可解释性

从业者寻求模型可解释性主要有三个原因:

• 调试:了解预测出错的位置或原因并运行“假设”场景可以提高模型的稳健性并消除偏差。
• 指南:黑盒模型可能违反公司技术最佳实践和个人偏好
• 规定:一些政府法规要求敏感应用(如金融、公共卫生和交通)具有可解释性

模型可解释性解决了这些问题，并在预测解释很重要或法规要求的情况下增加了对模型的信任。

可解释性通常应用于两个层面:

• 全球的方法:根据输入数据和预测输出，概述模型中最具影响力的变量
• 当地的方法:提供对单个预测结果的解释

图2说明了局部可解释性范围和全局可解释性范围之间的差异。您还可以将可解释性应用于数据中的组，并在组级别得出结论，例如为什么一组制造的产品被归类为故障。2022世界杯八强谁会赢？

局部可解释性的流行技术包括局部可解释性模型不可知解释(LIME)和Shapley值。对于全局可解释性，许多方法从特征排序(或重要性)和可视化的偏依赖图开始。您可以使用MATLAB应用这些技术^®．

在MATLAB中使用可解释性技术

使用机器学习的MATLAB，您可以应用技术来解释大多数流行的机器学习模型，这些模型可以非常准确，但本质上不是可解释的。

局部可解释模型不可知解释:这种方法涉及到用一个简单的可解释模型(如线性模型或决策树)来逼近感兴趣预测附近的复杂模型。然后您可以使用更简单的模型作为代理来解释原始(复杂)模型是如何工作的。图3说明了应用LIME的三个主要步骤。

部分依赖图(PDP)和个体条件期望图(ICE):
使用这些方法，您可以通过对所有可能的特征值的模型输出进行平均，从而检查一个或两个预测因子对整体预测的影响。图4显示了用MATLAB函数生成的偏依赖图plotPartialDependence．

严格地说，部分依赖图只是表明预测器值的某些范围与特定的预测可能性相关;这不足以在预测值和预测值之间建立因果关系。然而，如果像LIME这样的局部可解释性方法表明预测器显著影响了预测(在感兴趣的区域)，您可以解释为什么模型在该局部区域表现出某种方式。

沙普利值:该技术通过计算感兴趣的预测与平均值的偏差来解释每个预测因子对预测的贡献。这种方法在金融行业特别受欢迎，因为它的理论基础是博弈论，而且它满足了提供完整的监管要求

解释:所有特征的Shapley值之和对应于预测与平均值的总偏差。的MATLAB函数shapley计算感兴趣的查询点的Shapley值。

图5显示，在预测感兴趣样本附近的心律失常时，MFCC4对预测“异常”有很强的积极影响，而MFCC11和5则倾向于预测“正常”心脏。

评估所有特征的组合通常需要很长时间。因此，沙普利值通常是近似的应用蒙特卡罗模拟在实践中。

预测因子重要性的排列估计: MATLAB还支持随机森林的排列预测器重要性。该方法将预测因子值的变化对模型预测误差的影响作为预测因子重要性的指标。该函数对测试或训练数据上的预测器的值进行洗牌，并观察结果误差变化的大小。

选择可解释性的方法

图6概述了固有可解释的机器学习、各种(模型不可知的)可解释性方法，以及如何应用它们的指导。

不同的可解释性方法都有其局限性。最佳实践是在将这些算法应用于各种用例时了解这些限制。可解释性工具可以帮助你理解为什么机器学习模型会做出这样的预测。随着监管机构和专业机构继续致力于建立一个框架，为自动驾驶交通和医疗等敏感应用认证人工智能，这些方法可能会变得越来越重要。