CN109376859A

CN109376859A - 一种基于菱形卷积的神经网络剪枝方法

Info

Publication number: CN109376859A
Application number: CN201811128219.4A
Authority: CN
Inventors: 张萌; 刘文昭; 李国庆; 张倩茹; 杨洲
Original assignee: Southeast University
Current assignee: Southeast University
Priority date: 2018-09-27
Filing date: 2018-09-27
Publication date: 2019-02-22

Abstract

本发明公开了一种基于菱形卷积的神经网络剪枝方法，包括如下步骤：(1)卷积神经网络输入层及卷积层增加空白行列像素；(2)卷积操作采用奇数菱形卷积核取代方形卷积核，池化操作采用方形卷积核，前向计算神经网络输出；(3)采用反向传播算法训练含有菱形卷积核的卷积神经网络，求出每个神经元的梯度，得到新的权重。本发明提出了基于菱形卷积的神经网络，用菱形卷积核取代了传统的方形卷积核，采用一范数约束卷积窗口，保留了更有效的局部感受中心，保证了网络的稀疏性，进一步解决了神经网络参数复杂度过高的问题，加快了传播速度，同时菱形卷积核有正则化作用，防止了模型过拟合，整体训练速度加快，具有更高的准确率。

Description

一种基于菱形卷积的神经网络剪枝方法

技术领域

本发明涉及图像处理技术领域，尤其是一种基于菱形卷积的神经网络剪枝方法。

背景技术

卷积神经网络由人工神经网络发展而来，独特的权值共享的结构减小了网络的规模，更容易训练。由于图像平移、缩放和旋转的不变性，卷积神经网络广泛应用于图像识别领域，微软利用卷积神经网络做***文和中文的手写识别***，谷歌使用卷积神经网络来识别街景图片中的人脸和车牌，等等。

卷积神经网络的特点就是局部感知和权值共享。图片像素之间的关联是局部的，类似人眼是通过视神经分别去感知小图像块，不需要每一个神经元对整幅图片做感知，在大脑中综合判断，得到整幅图片的特征，因此每个卷积核有一个输出。同时，图像能够权值共享。位于图片底层的特征是普遍适用的，与位置无关，比如图像边沿，无论是位于图像上方还是在图像下方的局部区域边沿特征，都可以用类似的特征提取器。这样，一幅图像中局部区域的一个特征只需要一个卷积核就能提取。对于主要用于提取底层特征的前几层网络，权值共享进一步减少了参数的个数。

相比于全连接网络，卷积神经网络在充分保留图像特征的同时，减少了网络的参数数量，降低了网络规模，使得机器能自主对图像进行处理，比如图像分类，压缩，生成。但是普通的神经网络处理图像的速度仍然达不到要求，一般的神经网络参数数量巨大，一次前向传播要消耗巨大的计算资源，耗费较长的时间，因此不适于在移动端使用，尤其对于需要实时处理的应用。因此很多加速与压缩模型的方法被提出，比如剪枝神经网络、降低数值精度、分解卷积核、全局平均池化、优化激活函数代价函数、硬件加速等。其中网络剪枝已经被证明是一种减少网络复杂度和过度拟合的有效方法。常规神经网络通过训练来学习网络连接权重，然后会剪枝权重值较小的连接，得到剩余稀疏连接的网络。但是挑选剪枝的神经元需要花费大量的时间，卷积神经网络需要更加高效的剪枝算法。

发明内容

本发明所要解决的技术问题在于，提供一种基于菱形卷积的神经网络剪枝方法，改变了卷积核的形状，减少了网络参数。

为解决上述技术问题，本发明提供一种基于菱形卷积的神经网络剪枝方法，包括如下步骤：

(1)卷积神经网络输入层及卷积层增加空白行列像素，保证图像中心对称，避免下一步卷积损失有效信息；

(2)卷积操作采用奇数菱形卷积核取代方形卷积核，池化操作采用方形卷积核，前向计算神经网络输出；

(3)采用反向传播算法训练含有菱形卷积核的卷积神经网络，求出每个神经元的梯度，得到新的权重。

优选的，步骤(2)中，卷积核行列长度为奇数，奇数相对于偶数，有物理中心像素点，更容易确定位置对边沿、对线条更加敏感，可以有对称的外边距，更有效的提取边沿信息，卷积效果优于偶数卷积核。

优选的，步骤(2)中，局部区域以一范数约束中心点距离，邻域由方形变成菱形，保留了更有效的局部感受中心；菱形卷积核权值个数从中心行向两边行逐行递减两个，得到的输入窗口与卷积窗口形状类似于菱形。

优选的，步骤(3)中，含有菱形卷积核的卷积神经网络是对神经网络的一个剪枝，宽度为n的卷积核需要0.5*n*(n+1)个参数，相比方形卷积核参数减少了0.5*n*(n-1)，保证了网络的稀疏性，降低了模型复杂度，加快了传播速度，同时有正则化作用，防止了模型过拟合。

本发明的有益效果为：本发明提出了基于菱形卷积的神经网络，用菱形卷积核取代了传统的方形卷积核，采用一范数约束卷积窗口，保留了更有效的局部感受中心，进一步解决了神经网络参数复杂度过高的问题，实验用改进的LeNet5结构识别MNIST手写数字图片。

附图说明

图1为本发明的卷积操作示意图。

图2为本发明的菱形卷积核示意图。

图3为本发明的改进的LeNet5网络示意图。

图4为本发明的改进的LeNet5传播过程示意图。

具体实施方式

一种基于菱形卷积的神经网络剪枝方法，包括如下步骤：

本发明公开了一种基于菱形卷积的神经网络剪枝算法。卷积操作如图1所示，M个输入特征图I1，I2，…，Im分别经过K11到K1n，K21到K2n，Km1到Kmn个卷积核，叠加得到N个输出特征图O1,O2,…,On。现有的卷积神经网络实现采用方形卷积核在输入特征图上滑动，与方形输入窗进行乘积累加运算，得到下一层输出。在方形窗口中运算，相当于输入特征图以无穷范数作为规范约束局部感受域，即在二维平面内，宽和高两个方向上到局部中心点的距离均小于规范距离的节点，组成局部感受域，得到一个输出节点。宽度为n的卷积核需要n*n个参数。

菱形卷积核是一种异形卷积核，权值个数从中心行向两边行逐行递减两个，得到的输入窗口与卷积窗口形状类似于菱形，相当于输入特征图以一范数作为规范约束局部感受域，即在二维平面内，宽和高两个方向上到局部中心点的距离之和小于规范距离的节点，组成局部感受域，得到一个输出节点。对于中心行列长度n为的菱形卷积核，n为奇数时，每行每列的个数均为{1，3，…，n-2，n，n-2，…，3,1}，n为偶数时，每行的个数为{1，3，…，n-2，n，n-2，…，3,1}，每列的个数为{2，4，…，n-2，n，n-2，…，4,2}，形状类似菱形。相比于方形卷积核，菱形卷积核是对神经网络的一个剪枝，将局部感受域边界的权值设置为0，保证了网络的稀疏性。宽度为n的卷积核需要0.5*n*(n+1)个参数，相比方形卷积核参数减少了0.5*n*(n-1)。

菱形卷积核如图2所示，输入特征图由14*14扩展为16*16，使用n＝5的菱形卷积核，仅有13个权值，比方形卷积核少了一半，每个菱形窗口下的一组输入与一组权值进行卷积得到一个输出神经元，最终输出12*12的特征图。

卷积核大于1x1，意味着提取特征需要邻域信息。如果希望提取横向纹理，则横向邻域信息密度比纵向信息密度高。卷积核应该取扁平形状。如果希望提取纵向纹理，则纵向邻域信息密度比横向信息密度高。卷积核应该取细长形状。如果希望提取的纹理种类丰富，那横向邻域信息密度的期望约等于纵向信息密度。大部分情况下，卷积核用正方形而不是长方形，正是因为邻域信息密度的假设。

确定邻域的形状和大小对卷积的效果至关重要。如果按照距离中心点的平面距离确定邻域，即用“二范数”约束距离，邻域应该是圆形的，但是圆形邻域在实际运算中不便于取值到具体的点，计算复杂。因此通常情况下，为了便于计算，卷积核及计算窗口都是方形的，即用“无穷范数”计算距离。这样把圆形卷积核的点都包含进去，使得卷积理论具有完备性，但是这样带来的问题就是把距离中心点远近不同的点同等视之，存在一部分参数的冗余，增加了计算复杂度。如果对卷积神经网络进行剪枝，去掉距离局部中心点远一些的点，对网络的训练预测效果影响不大，而模型复杂度大大降低。

如果按照距离中心点的“一范数”距离约束局部区域，邻域变成菱形，中心点分布密度多于边沿点。在图片周围像素灰度值有骤变的地方，即图像边缘，蕴含着图片的底层特征。位于图像边沿的信息不一定是边缘信息。当卷积核滑过局部感受域时，边沿参数的减少会造成一部分权值的损失，但是对网络贡献更大的局部中心参数得以保留，大大加快了网络的速度。深度神经网络中，大卷积核抽象出的特征可以由多个小卷积核组合构成，比如5*5通过抽取多个3*3得到，那么位于中心的权值出现的频率更高,。本发明将菱形卷积应用于LeNet5结构，在原网络结构上稍加改进，设计卷积神经网络如图3所示，该网络识别MNIST字符集，参数减少，训练速度加快，准确率略微提高。

卷积神经网络输入层为手写图像灰度数据。MNIST手写数字字符库的图像均为28*28大小，对输入特征图在左右各两列及上下各两行增加空白像素，将输入层扩展为32*32，进行下一步卷积。第一层卷积采用n＝5的菱形卷积核，输出6幅28*28特征图，第二层池化采用2*2方形卷积核进行特征的二次提取，得到6幅14*14特征图，第三层扩展输入为16*16，采用n＝5的菱形卷积核，输出16幅12*12特征图，第四层池化采用2*2方形卷积核得到16幅6*6特征图，第四层与第五层全连接卷积，得到120个输出，第五层第六层全连接，得到84个输出，输出层由欧式径向基函数(Euclidean Radial Basis Function)单元组成。

输入层为了充分利用边界有效信息，通常采用全卷积，在边界增加空白行列。输入一幅图像进行直接卷积时，图像首行、首列、最后一行、最后一列在卷积窗口的边界，而卷积时这些行列在局部感受域的次数少于其它行列，对输出节点的贡献少，这样的卷积方式不能充分提取图像边界的有效信息。因此，输入行需要全卷积计算，在输入特征图上下左右增加空白的行列，将图像边界的行列放到中间，得到与输入大小相同的输出特征图，全面地提取了图像特征。

卷积层也会增加空白行列。卷积层使用菱形卷积核直接卷积时，菱形卷积窗口会去掉上一层交角处的权值，损失一部分像素，失去上一层传递的特征信息，因此需要增加行列数。宽度为奇数的卷积核上下左右增加相同的行数或列数，图像中心不发生改变，保持对称。

卷积神经网络奇数卷积核(卷积核宽和高都是奇数)卷积效果优于偶数卷积核，矩阵卷积会以卷积核模块的一个部分为基准进行滑动，奇数卷积核便于以模块中心为标准进行滑动。奇数相对于偶数，有物理中心像素点，更容易确定位置对边沿、对线条更加敏感，可以有对称的外边距，更有效的提取边沿信息。著名的卷积神经网络如LeNet5，AlexNet，VGGNet都用宽和高为奇数的卷积核。对于n*n的卷积核(n为奇数)，两侧增加相同行列数目需要在上下左右各增加0.5*(n-3)才不会有边沿丢失。

基于菱形卷积的神经网络训练仍然采用反向传播算法。前向运算每个神经元的输出值，反向得的每个神经元的误差项，求出每个神经元连接权重的梯度，即网络的损失函数对各层神经元加权输入的偏微分，然后根据梯度下降公式更新权重。权值的稀疏性降低模型复杂度，加快训练速度，同时菱形卷积核精简权值，有明显的正则化作用，防止了模型过拟合。

本发明所改进的LeNet5网络传播过程如图4所示，以f(x)函数为激活函数，输出10维向量，定义平方误差代价函数E，其中：k为维度，t_k、y_k代表网络第k维标签值及输出值。

令表示第l层第n个神经元的梯度，表示第l层第n个与(l-1)层第m个连接权值，如中O7F6表示输出层第七层与全连接层第六层，10*84是指输出层第七层有10个神经元，全连接层第六层有84个神经元，总共10*84个连接，C5，C3,C1表示卷积层第一层第三层第五层，P4，P2表示池化层第二层第四层，netl表示第l层神经元，如net6代表第六层神经元，为激活函数在第l层第n个神经元netl处的导数值，如表示全连接层第六层在84个神经元处的导数值，input表示输入层，X_n,m表示该层第n行第m列输入值，输出层的误差项为：

全连接6误差项如下：

卷积5误差项如下：

池化4误差项如下：

卷积3误差项如下：

池化2误差项如下：

卷积1误差项如下：

Wold表示旧的权值，Wnew表示新的权值，m，n为特征图当前行列数，M，N为特征图总行列数，i，j为卷积核行列数，W_i,j表示卷积核第i行，第j列权值，η为学习率，net_m,n表示第m行第n列神经元，表示该卷积层在第m+i行，第n+j列的误差项，X_m+i,n+j表示该卷积层在第m+i行，第n+j列的输入，卷积层权值更新如下(W_i,j∈C1,C3)：由于卷积核行列组成菱形(i＝1,2,…,5j：＝1,2,…,min{I,6-i}-1)

池化层权值更新式如下(W_i,j∈P2,P4):(i＝1,2 j＝1,2)

全连接层权值更新式如下:(W_i,j∈C5,F6,O7):

bold表示旧的偏置，bnew表示新的偏置，η为学习率，net表示神经元，当输入X＝1时，偏置就是权值，即(Wnew＝bnew ifX＝1)，偏置更新式如下：

实验利用TensorFlow搭建基于菱形卷积核的神经网络。使用5*5卷积核，每个卷积核有(5*5+1)/2＝13个权值，一个偏置，第一层卷积含有(13+1)*6＝84个可训练参数，84*(28*28)＝65854个连接，第三层含有(13+1)*16＝224个可训练参数，224*(14*14)＝43904个连接，池化采用平均池化，每幅特征图有权值和偏置两个参数，第二层池化层有(1+1)*6＝12个可训练参数，6*14*14*(2*2+1)＝5880个连接，第四层池化层有(1+1)*16＝32可训练参数，16*6*6*(2*2+1)＝2880个连接，第五层卷积为全连接层，有(6*6+1)*16*120＝71040个参数及连接，第六层全连接层有120*84＝10080个参数及连接。整个网络有81472个参数，199638个连接。每批训练50幅图像，权值更新20000轮需要2600秒，取10次试验的平均值，在测试集达到99.12％准确率。

另外，分别试验了在全连接层剪枝一半(drop_out＝0.5表示)和未剪枝(drop_out＝1表示)的方形的卷积核(CNN)和菱形卷积核(CNN_DF)神经网络结构的准确率，测试了5X5卷积核的同时还测试了3X3大小的卷积核的结果，如表1所示。当卷积核大小为5X5且drop_out＝1时，菱形的卷积核的结果要比方形的好0.03％。当卷积核大小为5X5且drop_out＝0.5时，菱形的卷积核的结果要比方形的差0.02％。当卷积核大小为3X3且drop_out＝1时，菱形的卷积核的结果要比方形的差0.06％，这要比5X5卷积核的情况差，可能是因为3X3的卷积核已经够小了，再裁剪成菱形，变得更小，提取的特征不够彻底。当卷积核大小为3X3且drop_out＝0.5时，菱形的卷积核的结果要比方形的差0.07％，与drop_out＝1的情况差不多。总之，把方形的卷积核变成菱形的，准确率下降很少，甚至在没有用drop_out的情况下，准确率会提升，同时加快训练速度。

表1模型准确率测试结果

分析不同卷积核的计算资源，如表2所示，以5*5的卷积核为例：

CNN5X5参数个数：

C2＝5*5*32+32＝832,C4＝5*5*64+64＝1664,C6＝7*7*64*1024+1024＝459776,C7＝1024*10+10＝10250，总参数个数为：C2+C4+C6+C7＝472522

CNN5X5_DF参数个数：

C2＝13*32+32＝448,C4＝13*64+64＝896,C6＝7*7*64*1024+1024＝459776,C7＝1024*10+10＝10250，总参数个数为：C2+C4+C6+C7＝471370

CNN5X5_DF参数个数为CNN5X5的99.76％，主要是卷积核部分参数变少，全连接层的参数非常多，并且不会减少，因此参数减少的不多。由于卷积神经网络是共享卷积的权值的，由于卷积核变小因此整个网络的连接数会减少很多，乘法减少很多。

CNN5X5乘法次数：

C2＝28*28*5*5*32＝627200,C4＝28*28*5*5*64＝1254400,C6＝7*7*64*1024＝458752,

C7＝1024*10＝10240，总参数个数为：C2+C4+C6+C7＝2350592

CNN5X5_DF乘法次数：

C2＝28*28*13*32+32＝326144,C4＝28*28*13*64+64＝652288,C6＝7*7*64*1024＝458752,

C7＝1024*10＝10240，总参数个数为：C2+C4+C6+C7＝1447424

菱形的卷积核比方形卷积核的参数少了近1半，因此卷积部分的连接数就会少近一半，在硬件实现时，可以减少很多的乘法运算，经过计算CNN5X5_DF的乘法次数只有CNN5X5乘法次数的61.6％，由于卷积核变小，卷积的数据减少，这也可以有效减少数据的带宽，因此菱形卷积核应用在硬件实现上有一定意义。

表2不同卷积核的计算资源

模型	参数个数	乘法次数
			CNN5X5	472522	2350592
CNN5X5_DF	471370	1447424

Claims

1.一种基于菱形卷积的神经网络剪枝方法，其特征在于，包括如下步骤：

(1)卷积神经网络输入层及卷积层增加空白行列像素；

2.如权利要求1所述的基于菱形卷积的神经网络剪枝方法，其特征在于，步骤(2)中，卷积核行列长度为奇数。

3.如权利要求1所述的基于菱形卷积的神经网络剪枝方法，其特征在于，步骤(2)中，局部区域以一范数约束中心点距离，邻域由方形变成菱形；菱形卷积核权值个数从中心行向两边行逐行递减两个，得到的输入窗口与卷积窗口形状类似于菱形。

4.如权利要求1所述的基于菱形卷积的神经网络剪枝方法，其特征在于，步骤(3)中，含有菱形卷积核的卷积神经网络是对神经网络的一个剪枝，宽度为n的卷积核需要0.5*n*(n+1)个参数，相比方形卷积核参数减少了0.5*n*(n-1)。