新技术有助于阐明受视觉数据训练的神经网络的内在运作

资源：

麻省理工学院

概要：

一种新技术有助于阐明在视觉数据上训练的神经网络的内在运作。

通过分析大量训练数据来学习执行计算任务的神经网络负责今天表现最好的人造智能系统，从语音识别系统到自动翻译，到自驾车。

但神经网络是黑盒子。即使他们的设计师对他们在做的事很少有任何想法 - 他们正在处理哪些数据元素以及如何处理。

两年前，麻省理工学院的计算机科学和人工智能实验室（CSAIL）的计算机视觉研究人员团队描述了一种用于窥视被训练来识别视觉场景的神经网络的黑盒子的方法。该方法提供了一些有趣的见解，但是它需要将数据发送给通过亚马逊的Mechanical Turk广泛服务的招聘人员。

在今年的计算机视觉和模式识别会议上，CSAIL研究人员将提供一个完全自动化的同一系统版本。前一篇论文报道了对一个训练有素的神经网络执行一项任务的分析，新文件报告了对执行20多个任务进行训练的四种类型的神经网络的分析，包括识别场景和对象，着色灰色图像，以及解决难题。一些新的网络是如此之大，以至于在旧的方法下分析它们中的任何一个成本都是高昂的。

研究人员还在网络上进行了几套实验，不仅揭示了几种计算机视觉和计算机摄影算法的性质，而且还提供了有关人类大脑组织的一些证据。

神经网络称呼的由来是因为它们与人类神经系统松散地相似，具有大量相当简单而密集的信息处理“节点”。像神经元一样，神经网络的节点从其邻居接收信息信号，然后“发射” - 发射自己的信号 - 或者不发送。和神经元一样，节点的射击响应的强度可以变化。

在新的论文和前一篇文章中，麻省理工学院的研究人员都对训练有素的神经网络进行计算机视觉任务，以便他们公开响应于不同输入图像而单个节点发射的强度。然后他们选择了10个输入图像，这些图像激发了每个节点的最强响应。

在较早的文章中，研究人员将图像发送给通过Mechanical Turk招募的工作人员，他们被要求确定图像的共同点。在新的论文中，他们使用了计算机系统。

David Bau说：“我们编目了1,100个视觉概念，例如绿色的绿色，漩涡纹理，木质材料，人脸，自行车车轮或雪山顶。”他是麻省理工学院电气工程与计算机科学研究生学位和论文的两位第一作者之一。 “我们吸取了其他人开发的几个数据集，并将它们合并成一个广泛而密集的数据集的视觉概念，它有许多很多标签，对于每个标签，我们知道哪个图像对应于该标签的像素”。

本文的其他作者是周磊周，是共同作者和研究生; 麻省理工学院电气工程与计算机科学教授Antonio Torralba; CSAIL主要研究科学家Aude Oliva; 和Aditya Khosla，他是Torralba集团成员的博士，现在是医疗计算公司PathAI的首席技术官。

研究人员还知道哪些图像的像素对应于给定网络节点的最强响应。今天的神经网络被组织成层。数据被馈送到最低层，它处理它们并将它们传递到下一层，等等。使用可视数据，输入图像被分成小块，每个块被馈送到单独的输入节点。

对于他们网络中的一个高层节点的强烈反应，研究人员可以追溯到产生它的触发模式，从而识别出响应的特定图像像素。因为他们的系统可能会频繁地识别出与给定节点引起强烈响应的精确像素簇相对应的标签，所以它可以极大地表征节点的行为。

研究人员将数据库中的视觉概念组织成一个层次结构。层次结构的每个层次结合了以下级别的概念，从颜色开始，向上依次是纹理，材料，零件，对象和场景。通常，神经网络的较低层将响应于更简单的视觉特性（例如颜色和纹理）来发射，并且较高的层将响应于更复杂的特性，进而触发。

但层次结构也允许研究人员量化网络训练对不同视觉特性执行不同任务的重点。例如，网络被训练为将大部分节点的黑白图像着色以识别纹理。另外一个网络，经过多个视频跟踪对象进行训练时，将其比较高的节点投入场景识别，而不是在训练时识别场景;在这种情况下，其许多节点实际上专门用于对象检测。

研究人员的实验之一可以想像揭示神经科学中棘手的问题。涉及人类受试者的研究涉及为了控制严重的神经系统疾病而植入大脑的电极，它似乎表明脑中的个体神经元响应特定的视觉刺激而起火。最初称为祖母神经元假说的这一假设比最近一代神经科学家更为人熟知，就像詹妮弗 - 安妮斯顿神经元假说一样，发现几个神经系统的患者似乎只对特定好莱坞名人的描述作出反应。

许多神经科学家对这种解释提出异议。他们认为，改变神经元的星座，而不是单个的神经元，在大脑中锚定感觉辨别。因此，所谓的珍妮弗·安妮斯顿神经元只是许多神经元之一，它们是响应詹妮弗·安妮斯顿（Jennifer Aniston）的图像而共同发射的。它可能是许多其他星座的一部分，用来响应尚未测试的刺激。

由于他们的新分析技术是完全自动化的，所以麻省理工学院的研究人员能够测试在训练识别视觉场景的神经网络中是否发生了类似的事情。除了识别调整到特定视觉概念的单个网络节点之外，他们还考虑了随机选择的节点组合。然而，节点的组合选择的视觉概念远远少于单个节点 - 大约减少了80％。

Bau说：“对我而言，这表明神经网络实际上正在试图得到一个祖母神经元。 “他们并不是试图把祖母的想法安放在这个地方，而是试图把它分配给一个神经元，这是这个结构的有趣的提示，但大多数人不相信会那么简单。”