【 2020ResearchGate】On Interpretability of Artificial Neural Networks

On Interpretability of Artificial Neural Networks

Fenglei Fan, Student Member, IEEE, Jinjun Xiong and Ge Wang, Fellow, IEEE

---

摘要

深度学习在处理文本、图像、视频、图形等许多重要领域都取得了巨大的成功。然而，深层人工神经网络的黑箱性质已经成为它们在诸如诊断和治疗的关键应用中被公众接受和广泛流行的主要障碍。由于深度学习的巨大潜力，解释神经网络已经成为最关键的研究方向之一。在本文中，我们系统地回顾了最近在理解神经网络机制方面的研究，并阐明了可解释性研究的一些未来方向(这项工作仍在进行中)。

1. Introduction

• 深度学习已经成为许多重要领域的主流方法，针对常见的对象，如文本(J. Devlin et al. 2018)、图像(G. Wang, 2016)、视频(J. Oh et al., 2015) 和图形(T. N. Kipf and M. Welling, 2016)。然而，深度学习在某种意义上是黑箱模型:虽然深度学习在实践中表现很好，但很难解释其潜在机制和理解其行为。人们经常会问，深度学习是如何做出这样的预测的，为什么一些特性会比其他特性更受模型的青睐，为了提高模型的性能，需要做哪些改变等等。不幸的是，在回答这些问题时，只取得了非常有限的答案。缺乏可解释性已成为深度学习在广泛应用中的主要障碍。
• 尽管在促进深度学习的可解释性方面做出了努力，但全面的综述还没有。…（省略一部分）为了方便起见，我们在一个统一的框架内整理了145篇关于神经网络可解释性的论文，以了解模型，了解训练过程，构建可解释性模型，并将解释方法应用于医学领域。…
• 在我们开始调查之前，让我们先陈述三个关于可解释性的基本问题:可解释性意味着什么？为什么可解释性很难？以及如何做出好的解读方法？值得注意的是，第一个问题已经在Lipton (2016)中得到了很好的解决，为了完整起见，我们在此纳入了他们的陈述。第二个问题在Rudin (2019)和Lipton (2016)中有部分涉及，我们将这些评论纳入其中，并用自己的观点进行补充。此外，我们就第三个问题提出了自己的观点。
• A.可解释性是什么意思&