模型可解释性的定义，我认为比较合理的一个：可解释性是指模型能够使用人类可认知的说法进行解释和呈现。
是模型的什么性质使得模型可解释，有些将模型的可解释性等同于模型的可理解性，也就是我们可以掌握模型的工作原理。这些可理解的模型有时候被称作是透明的，无法理解的模型便被称为黑盒。我们接下来又会很自然地想到什么构成了透明度。一些人将可理解性指向算法本身，另一些人则理解为算法的复杂度。
可解释性的动机
人们需要模型可解释性是因为仅仅根据预测来判断模型是不足够的。我们训练模型以实现强大的预测能力，优化简单目标，例如准确性和AUC或它们的替代损失函数。但是这些简单的目标忽视了我们调用机器学习算法时更广阔的环境。
可信性：一些文章表明可解释性是可信性的前提。但是什么是可信性，可信性可以主观理解为一定程度上的舒适性。人们会对理解得很好的模型感到舒适，纵使可理解性并不是我们的主要需求。或者可以说，当训练数据和目标函数不同时，信任可能表示对模型在实际目标方面表现良好的信心。
因果关系：尽管仅对监督学习模型进行了训练（就其优化器所知）以建立关联，但我们仍可以使用它们来推断属性或生成关于现实世界的假设。例如，简单的回归模型可以揭示沙利度胺的使用与出生缺陷或吸烟与肺癌之间的强烈关联
可转移性：
信息性
可解释性模型的性质
现在，我们考虑为了实现或包含可解释性，模型应该具备什么性质。 这些性质大致分为两类。 第一个与透明度有关，即模型如何运作？ 第二种是事后解释，即模型还能告诉我什么？
透明度
非正式来说，透明度与非透明度或者黑盒子相反。从机械的角度来理解机器学习的可理解性：模型在做什么？我们下面考虑三种不同形式的透明度，(1)整个模型的透明度 (2)各个组件(参数、决策点)的透明度 (3)算法的透明度
可模拟性：从严格意义上来说，如果人类可以将输入数据与模型参数一起，并在合理的时间内完成产生预测所需的每一次计算，那么我们就可以称模型是透明的。可模拟性与算法的低复杂度相关，因为人们可以在线性模型中模拟20个参数，但却不能模拟数千个参数。可分解性：第二个不太严格的透明性概念是模型的每个部分（每个输入，参数和计算）都是可以直观解释的。例如，决策树中的每个节点可能对应于一个纯文本描述。类似地，线性模型的参数可能表示每个特征与标签之间的关联强度。算法透明度：透明性的最终概念可能适用于算法级别。例如，对于线性模型，我们了解误差表面的形状。 我们可以证明，即使对于以前看不见的数据集，训练也将收敛到一个独特的解决方案。另一方面，现代深度学习方法缺乏这种程度的算法透明性。 虽然神经网络的启发式优化程序具有强大的功能，但我们尚不了解它们的工作原理，并且目前无法保证它们会先验地解决新问题。
事后的可解释性(本人不是CV方向，大概说明一下概念)
事后解释是基于模型的独特可解释性概念，由不需要解释模型工作的确切过程的解释组成。 这些解释包括自然语言解释，学习的表示形式或模型的可视化以及示例解释（例如，此肿瘤被归类为恶性肿瘤，因为在模型上看起来与其他肿瘤非常相似）。 就我们可能认为人类可以解释的程度而言，正是这种可解释性适用。 就我们所知，人类做出决策的过程与我们解释决策的过程可能是截然不同的。 这种可解释性概念的一个优点是，我们可以事后解释不透明的模型，而不会牺牲预测的准确性。
文字说明：人类通常会口头上证明决策。 类似地，我们可能想象训练一个模型来生成预测，然后训练一个单独的模型（例如递归神经网络语言模型）来生成解释。可视化：生成事后解释的另一种常见方法是呈现可视化，提示模型学到了什么通过示例进行解释：这种通过示例进行的解释在人类有时通过类比来证明行为合理性方面具有先例。 例如，医生通常会参考案例研究。 同样，通过揭示网络认为相似的情况，可以传达有关数据模式的有用知识。
这篇文章中，将解释性的目的广泛理解为现实世界中我们关心的目标和设置和我们为模型构建的简化后的目标和环境的差距的缓和(In this paper we identified the broad purpose of interpretations as reconciling gaps between the realworld objectives and settings we care about and the simplified objectives and environments we construct for our machine learning models.)，感觉汉语翻译不出来，大家自行理解。
根据这种特征，存在许多解释的动机，但动机多种多样，有时会相互冲突。 声称具有可解释性的模型属性和事后技术类似地是多样且不一致的。 由于该术语并不代表一个整体的概念，因此研究人员不应就机器模型的绝对或相对可解释性做出公理的主张。
如果觉得《机器学习模型的可解释性》对你有帮助，请点赞、收藏，并留下你的观点哦！
