什么是可解释性?

可解释性是指机器学习算法能被人类理解的程度。机器学习模型通常被称为“黑箱”，因为它们对知识的表示不是直观的，因此通常很难理解它们是如何工作的。可解释性技术有助于揭示黑盒机器学习模型如何进行预测。

通过揭示各种特征如何有助于(或不有助于)预测，可解释性技术可以帮助您验证模型为预测使用了适当的证据，并发现模型中在训练期间不明显的偏见。一些机器学习模型，如线性回归、决策树和生成加性模型本身是可解释的。然而，可解释性往往是以牺牲功能和准确性为代价的。

可解释性和可解释性是密切相关的。可解释性更多地用于(经典的)机器学习环境，而在深度神经网络环境中，很多人使用“AI可解释性”。

应用可解释性

实践者寻求模型可解释性主要有三个原因:

• 调试:了解预测出错的地方或原因，运行“假设”情景，可以提高模型的稳健性并消除偏差。
• 指南:黑箱模型可能违反公司技术最佳实践和个人偏好
• 规定:一些政府法规要求对金融、公共卫生和交通等敏感应用程序具有可解释性

模型可解释性解决了这些问题，并在对预测的解释很重要或法规要求的情况下增加了对模型的信任。

可解释性通常应用于两个级别:

• 全球的方法:根据输入数据和预测输出，概述模型中最有影响力的变量
• 当地的方法:提供单个预测结果的解释

图2说明了可解释性的局部范围和全局范围之间的区别。您还可以将可解释性应用到数据中的组，并在组级别上得出结论，例如，为什么一组制造的产品被归类为有缺陷的产品。2022世界杯八强谁会赢？

局部可解释性的流行技术包括局部可解释性模型不可知论解释(LIME)和Shapley值。对于全局可解释性，许多方法从特征排序(或重要性)和视觉部分依赖图开始。您可以使用MATLAB应用这些技术^®．

利用MATLAB中的可解释性技术

使用机器学习的MATLAB，您可以应用技术来解释大多数流行的机器学习模型，这些模型可以非常精确，但本质上是不可解释的。

局部可解释模型不可知解释:这种方法涉及用一个简单的可解释模型(如线性模型或决策树)近似于感兴趣的预测附近的复杂模型。然后您可以使用更简单的模型作为代理来解释原始(复杂)模型是如何工作的。图3说明了应用LIME的三个主要步骤。

部分依赖(PDP)和个体条件期望(ICE)图:
使用这些方法，通过将模型的输出在所有可能的特征值上取平均值，检查一个或两个预测器对整体预测的影响。图4显示了用MATLAB函数生成的偏相关图plotPartialDependence．

严格地说，偏依赖图只是表明预测器值的某些范围与特定的预测可能性相关;这不足以建立预测值和预测之间的因果关系。然而，如果像LIME这样的局部可解释性方法表明预测器显著地影响了预测(在感兴趣的区域)，那么您可以得出一个解释，为什么模型在该局部区域以某种方式表现。

沙普利值:这种技术通过计算兴趣预测与平均值的偏差来解释每个预测因子对预测的贡献。这种方法在金融行业中特别受欢迎，因为它的理论基础是博弈论，也因为它满足了提供完整的监管要求

解释:所有特征的Shapley值之和对应于预测与平均值的总偏差。的MATLAB函数shapley计算查询点的Shapley值。

图5显示，在预测感兴趣的样本附近的心律失常时，MFCC4对预测“异常”有很强的积极影响，而MFCC11和5则倾向于预测，即倾向于“正常”的心脏。

评估所有功能组合通常需要很长时间。因此，Shapley值通常通过应用来近似蒙特卡罗模拟在实践中。

基于排列的预测器重要性估计: MATLAB还支持随机森林的排列预测器重要性。该方法将预测器值的变化对模型预测误差的影响作为预测器重要性的指示。该函数对测试或训练数据上的预测器值进行洗牌，并观察由此产生的误差变化的幅度。

选择可解释性的方法

图6概述了固有可解释的机器学习、各种(模型无关的)可解释性方法，以及如何应用它们的指导。

不同的可解释性方法都有各自的局限性。最佳实践是在将这些算法适合于各种用例时注意到这些限制。可解释性工具帮助您理解机器学习模型为什么会做出这样的预测。随着监管机构和专业机构继续致力于建立一个为自动驾驶交通和医疗等敏感应用认证人工智能的框架，这些方法可能会变得越来越重要。