CN115858808A - 深度神经网络中关键神经元层次关系的知识图谱表示方法 - Google Patents

Abstract

本发明提供一种深度神经网络中关键神经元层次关系的知识图谱表示方法，包括：计算深度神经网络高层卷积层中每个神经元的置信度；根据分类结果，推导出高层卷积层中每个神经元的重要程度；计算获得深度神经网络高层卷积层中各个神经元对当前图像的影响程度，根据高层卷积层中每个神经元对当前图像的影响程度，确定关键神经元，进行关键神经元的可视化；将获得的各个神经元视觉特征图分别标注为神经元的语义特征，并从网络中提取神经元的权重、所在层数信息，将神经元的权重、所在层数信息按照三元组的方式构建关系，并与视觉词典相匹配，生成语义词典；生成可视化知识图谱。本发明实现了深度神经网络的可解释性和用户可读性。

Description

深度神经网络中关键神经元层次关系的知识图谱表示方法

技术领域

本发明属深度神经网络可解释性技术领域，涉及一种深度神经网络中关键神经元层次关系的知识图谱表示方法。

背景技术

现有的深度神经网络可解释方法主要分为基于数据的方法和基于模型的方法。基于数据的可解释性主要基于数据分析和可视化技术，实现深度模型的可视化，直观展示得到模型结果的关键依据。塞尔瓦拉朱(Selvaraju)等人使用可视化方法，通过对卷积层的梯度生成热力图，对输入图像中的重要像素进行显示和标注，帮助我们理解深度学习的学习区域；欧拉(Olah)等人则使用特征可视化的方法，对神经元学习到的内容进行可视化。这些可视化方法让人们对神经网络的内在机理有了直接印象，但是这类方法无法深入了解模型内部结构，难以对模型决策逻辑进行直接解释。

基于模型的可解释性方法主要是通过构建可解释模型，使得模型本身具有可解释性，在输出结果的同时也输出得到该结果的原因。基于模型的可解释性分析方法主要分为代理模型和自动特征提取两种。代理模型方法是通过构建新的模型来模拟黑盒模型的输入和输出，然后通过该代理模型来理解原黑盒模型。比较典型的有里贝罗(Ribeiro)等人提出的基于模型无关的局部可解释性描述(Local Interpretable Model-AgnosticExplanations，LIME)的线性代理模型。自动特征提取则是通过对输入、输出以及模型内部元素的关系进行研究，进而分析解释其决策逻辑。具体有通过对各层、各神经元使用if-then规则进行自动特征提取的KT方法，使用采样进行自动特征提取的方法，以及通过连接权、偏导、输入变量的改变来判断输入变量重要程度的敏感性分析方法等。基于模型的可解释性方法普遍存在结构简单，功能有限等问题，而构建复杂的可解释神经网络又是一项非常艰巨的任务。

综上所述，基于数据的可解释性和基于模型的可解释性方法都难以实现对模型工作机理的直接理解，因此如何为深度神经网络提供人类可读的以及可理解的解释已成为当前研究的热点之一，它对于确保未来人类可以轻松理解和信任人工智能代理做出的决策具有重要意义。

发明内容

本发明的技术解决问题是：克服现有技术的不足，提供一种深度神经网络中关键神经元层次关系的知识图谱表示方法，深度挖掘深度神经网络中支撑可解释性的神经元的多种属性，以及神经元与神经元之间的关联关系，构建基于关键神经元的深度神经网络知识图谱，并以人们可以理解的方式表示出来，一定程度上实现深度神经网络的可解释性和用户可读性。

本发明所采用的技术方案是：一种深度神经网络中关键神经元层次关系的知识图谱表示方法，包括：

计算深度神经网络高层卷积层中每个神经元的置信度；

根据分类结果，推导出高层卷积层中每个神经元的重要程度；

计算获得深度神经网络高层卷积层中各个神经元对当前图像的影响程度，

根据高层卷积层中每个神经元对当前图像的影响程度，确定关键神经元，进行关键神经元的可视化；

将获得的各个神经元视觉特征图分别标注为神经元的语义特征，并从网络中提取神经元的权重、所在层数信息，将神经元的权重、所在层数信息按照三元组的方式构建关系，并与视觉词典相匹配，生成语义词典；

生成可视化知识图谱。

进一步的，所述深度神经网络高层卷积层中每个神经元的置信度A_l＝f(X₀⊙H_l)-f(X₀)；

其中，X₀为输入的原图，H_l为卷积层融合后的特征图，l表示第l个特征图，⊙表示哈达玛积，f()函数对应网络模型。

进一步的，采用反向传播和链式求导法则推导出高层卷积层中每个神经元的重要程度，包括：

用交叉熵损失作为损失函数C，根据如下公式计算出输出层的反向误差向量δ^L：

δ^L＝a^L-y

其中，L表示神经网络的输出层，

是输出层激活向量的第i个元素，n^L是输出层向量的维数，y_i是输出层向量每一维对应的样本标签，/>

表示输出层上每个神经元的误差，/>

表示输出层上每个神经元的输入值，a^L表示输出层激活向量，y表示输出层标签向量；

根据链式求导法则，计算第l层全连接层的反向传播误差向量δ^l：

δ^l＝(w^l+1)^Tδ^l+1⊙ReLU(z^l)′，

其中，z^l表示第l层的输入向量，w^l+1表示第l+1层的权重向量，(w^l+1)^T表示w^l+1的转置，ReLU()表示Relu激活函数；

计算全连接层到池化层的反向传播误差向量：

其中，F^-1()表示全连接的逆运算，

表示最后一个池化层的反向传播误差向量，

表示第一个全连接层的反向传播误差向量，/>

表示最后一个池化层和第一个全连接层之间的权重向量；

计算高层卷积层的反向传播误差向量δ^c：

δ^c＝upsamnple(δ^p)⊙ReLU(z^c)’，

其中，δ^p表示第p池化层的反向传播误差，upsample()表示上采样计算，z^c表示高层卷积层的输入向量。

进一步的，所述深度神经网络高层卷积层中各个神经元对当前图像的影响程度的计算公式如下：

向量NIS中的每一个分量(NIS)_k分别代表高层卷积层中第k个神经元对当前图像的影响程度。

进一步的，所述进行关键神经元的可视化，包括：

将关键神经元上采样到原图大小进行掩码处理，得到掩码图M：

其中，A表示上采样后的原始神经元特征图；(m，n)代表像素点的位置；θ₁为常数；

将掩码图与原图相乘，获得关键神经元在原图中关注到的特征，并用矩形框对获得的图进行裁剪，坐标计算公式如下：

其中，(x₁，y₁)为矩形框左上角的坐标，(x₂，y₂)为矩形框右上角的坐标；x_min，x_max分别表示掩码图中值为1的横坐标中的最小值和最大值；y_min，y_max分别表示M中值为1的纵坐标的最小值和最大值，h和w为矩形的高和宽，p为填充尺寸；

将裁剪后的图像上采样为原始图像的尺寸，得到神经元对应的视觉特征图。

进一步的，所述生成可视化图谱，包括：

将生成的语义词典以RDF数据的形式保存在CSV文件中，用Django语言和D3.js技术生成可视化知识图谱。

本发明与现有技术相比有益效果为：

(1)本发明针对深度神经网络中关键神经元的多维特性，以及不同层次神经元之间的关联关系，构建深度神经网络的知识图谱，借助知识图谱自带的语义特性和逻辑规则，以及层次清晰的可视化显示方式对多分类结果进行解释，从而生成更生动、用户更可理解的语义表达；

(2)本发明在确定重要神经元时，采用正向传播和反向推导相结合的方式，一方面根据正向传播获得各个神经元的置信度；另一方面根据输出结果，用反向传播和链式求导法则推导出神经元对输出结果的影响。然后将两者结合，确定关键神经元。

附图说明

图1为本发明方法流程图；

图2为原图、掩码图和神经元视觉特征图样例图；

图3为三元组样例图；

图4为语义词典样例图；

图5为关键神经元知识图谱样例图。

具体实施方式

结合附图对本发明进行说明。

如图1所示，为本发明方法流程图，深度神经网络中关键神经元层次关系的知识图谱表示方法，具体步骤如下：

(1)计算深度神经网络高层卷积层中每个神经元的置信度A_l；

A_l＝f(X₀⊙H_l)-f(X₀) (式1)

其中，X₀代表的是输入的原图，H_l为卷积层融合后的特征图，l表示第l个特征图，⊙表示哈达玛积(Hadamard)，f()函数对应着网络模型。结果是一个多维向量，向量中的每一个分量对应着该卷积层中每个神经元在前向传播中的重要性。

(2)根据最终的分类结果，用反向传播和链式求导法则推导出高层卷积层中每个神经元的重要程度，具体步骤如下：

(i)用交叉熵损失作为损失函数C，公式如下，其中L表示神经网络的输出层，

是输出层激活向量的第i个元素，n^L是输出层向量的维数，y_i是输出层向量每一维对应的样本标签，/>

表示输出层上每个神经元的误差，/>

表示输出层上每个神经元的输入值。

(ii)根据公式(2)计算出输出层的反向误差向量δ^L，其中a^L表示输出层激活向量，y表示输出层标签向量。

δ^L＝a^L-y (式3)

(iii)根据链式求导法则，计算第l全连接层的反向传播误差向量δ^l，其中z^l表示第l层的输入向量，w^l+1表示第l+1层的权重向量，(w^l+1)^T表示w^l+1的转置，ReLU()表示Relu激活函数。

δ^l＝(w^l+1)^Tδ^l+1⊙ReLU(z^l)′ (式4)

(iv)计算全连接层到池化层的反向传播误差向量，其中F^-1()表示全连接的逆运算，

表示最后一个池化层的反向传播误差向量，/>

表示第一个全连接层的反向传播误差向量，/>

表示最后一个池化层和第一个全连接层之间的权重向量。

(v)计算高层卷积层的反向传播误差向量δ^c，其中δ^p表示第p池化层的反向传播误差，upsample()表示上采样计算，z^c表示高层卷积层的输入向量

δ^c＝upsample(δ^p)⊙ReLU(z^c)’。

(3)将步骤(1)的结果与步骤(2)的结果进行点乘运算，得到一个向量NIS，该向量中的每一个分量分别代表高层卷积层中第k个神经元对当前图像的影响程度。

(4)根据步骤(3)中计算出的高层卷积层中每个神经元对图像的影响程度，确定关键神经元，然后进行关键神经元的可视化，具体步骤如下：

(i)将关键神经元上采样到原图大小，然后根据公式(7)进行掩码处理，得到掩码图M。

其中，A表示上采样后的原始神经元特征图，(m，n)代表像素点的位置，θ₁为常数。

(ii)将掩码图与原图相乘，以便获得该神经元在原图中关注到的特征。

(iii)用矩形框对(ii)获得的图进行裁剪，其中(x₁，y₁)为矩形框左上角的坐标，(x₂，y₂)为矩形框右上角的坐标，坐标计算公式如下。

其中，x_min，x_max分别表示掩码图中值为1的横坐标中的最小值和最大值，y_min，y_max分别表示M中值为1的纵坐标的最小值和最大值，h和w为矩形的高和宽，p为填充尺寸，

(iv)将裁剪后的图像上采样为原始图像的尺寸，得到神经元对应的视觉特征图。原图、掩码图和神经元对应的视觉特征图见附图2。

(5)将步骤(4)中获得的各个神经元视觉特征图分别标注为神经元的语义特征，并从网络中提取神经元的权重、所在层数等信息；然后将这些信息按照三元组的方式构建关系，并与视觉词典相匹配，生成语义词典，三元组样例见附图3，语义词典样例见附图4。

(6)将步骤(5)中生成的语义词典中的信息按照三元组方式构建关系，并以RDF数据的形式保存在CSV文件中，然后用Django语言和D3.js技术生成可视化知识图谱，生成的知识图谱样例见附图5。

本发明未详细说明部分属于本领域技术人员公知技术。

Claims (10)

1.一种深度神经网络中关键神经元层次关系的知识图谱表示方法，其特征在于，包括：

计算深度神经网络高层卷积层中每个神经元的置信度；

根据分类结果，推导出高层卷积层中每个神经元的重要程度；

计算获得深度神经网络高层卷积层中各个神经元对当前图像的影响程度；

根据高层卷积层中每个神经元对当前图像的影响程度，确定关键神经元，进行关键神经元的可视化；

将获得的各个神经元视觉特征图分别标注为神经元的语义特征，并从网络中提取神经元的权重、所在层数信息，将神经元的权重、所在层数信息按照三元组的方式构建关系，并与视觉词典相匹配，生成语义词典；

生成可视化知识图谱。

2.根据权利要求1所述的一种深度神经网络中关键神经元层次关系的知识图谱表示方法，其特征在于，所述深度神经网络高层卷积层中每个神经元的置信度A_l＝f(X₀⊙H_l)-f(X₀)；

其中，X₀为输入的原图，H_l为卷积层融合后的特征图，l表示第l个特征图，⊙表示哈达玛积，f()函数对应网络模型。

3.根据权利要求2所述的一种深度神经网络中关键神经元层次关系的知识图谱表示方法，其特征在于，采用反向传播和链式求导法则推导出高层卷积层中每个神经元的重要程度，包括：

用交叉熵损失作为损失函数C，计算出输出层的反向误差向量δ^L；

根据链式求导法则，计算第l层全连接层的反向传播误差向量δ^l；

计算全连接层到池化层的反向传播误差向量；

计算高层卷积层的反向传播误差向量δ^c。

4.根据权利要求3所述的一种深度神经网络中关键神经元层次关系的知识图谱表示方法，其特征在于，所述输出层的反向误差向量δ^L的计算公式如下：

δ^L＝a^L-y

其中，L表示神经网络的输出层，

是输出层激活向量的第i个元素，n^L是输出层向量的维数，y_i是输出层向量每一维对应的样本标签，/>

表示输出层上每个神经元的误差，/>

表示输出层上每个神经元的输入值，a^L表示输出层激活向量，y表示输出层标签向量。

5.根据权利要求4所述的一种深度神经网络中关键神经元层次关系的知识图谱表示方法，其特征在于，所述第l层全连接层的反向传播误差向量δ^l：

δ^l＝(w^l+1)^Tδ^l+1⊙ReLU(z^l)′，

其中，z^l表示第l层的输入向量，w^l+1表示第l+1层的权重向量，(w^l+1)^T表示w^l+1的转置，ReLU()表示Relu激活函数。

6.根据权利要求5所述的一种深度神经网络中关键神经元层次关系的知识图谱表示方法，其特征在于，所述计算全连接层到池化层的反向传播误差向量的公式如下：

其中，F^-1()表示全连接的逆运算，

表示最后一个池化层的反向传播误差向量，/>

表示第一个全连接层的反向传播误差向量，/>

表示最后一个池化层和第一个全连接层之间的权重向量。

7.根据权利要求6所述的一种深度神经网络中关键神经元层次关系的知识图谱表示方法，其特征在于，所述高层卷积层的反向传播误差向量δ^c：

δ^c＝upsample(δ^p)⊙ReLU(z^c)’，

其中，δ^p表示第p池化层的反向传播误差，upsample()表示上采样计算，z^c表示高层卷积层的输入向量。

8.根据权利要求7所述的一种深度神经网络中关键神经元层次关系的知识图谱表示方法，其特征在于，所述深度神经网络高层卷积层中各个神经元对当前图像的影响程度的计算公式如下：

向量NIS中的每一个分量(NIS)_k分别代表高层卷积层中第k个神经元对当前图像的影响程度。

9.根据权利要求8所述的一种深度神经网络中关键神经元层次关系的知识图谱表示方法，其特征在于，所述进行关键神经元的可视化，包括：

将关键神经元上采样到原图大小进行掩码处理，得到掩码图M：

其中，A表示上采样后的原始神经元特征图；(m，n)代表像素点的位置；θ₁为常数；

将掩码图与原图相乘，获得关键神经元在原图中关注到的特征，并用矩形框对获得的图进行裁剪，坐标计算公式如下：

其中，(x₁，y₁)为矩形框左上角的坐标，(x₂，y₂)为矩形框右上角的坐标；x_min，x_max分别表示掩码图中值为1的横坐标中的最小值和最大值；y_min，y_max分别表示M中值为1的纵坐标的最小值和最大值，h和w为矩形的高和宽，p为填充尺寸；

将裁剪后的图像上采样为原始图像的尺寸，得到神经元对应的视觉特征图。

10.根据权利要求9所述的一种深度神经网络中关键神经元层次关系的知识图谱表示方法，其特征在于，所述生成可视化图谱，包括：

将生成的语义词典以RDF数据的形式保存在CSV文件中，用Django语言和D3.js技术生成可视化知识图谱。

Images