CN109376859A - 一种基于菱形卷积的神经网络剪枝方法 - Google Patents
一种基于菱形卷积的神经网络剪枝方法 Download PDFInfo
- Publication number
- CN109376859A CN109376859A CN201811128219.4A CN201811128219A CN109376859A CN 109376859 A CN109376859 A CN 109376859A CN 201811128219 A CN201811128219 A CN 201811128219A CN 109376859 A CN109376859 A CN 109376859A
- Authority
- CN
- China
- Prior art keywords
- convolution
- convolution kernel
- diamond shape
- neural networks
- rectangular
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于菱形卷积的神经网络剪枝方法,包括如下步骤:(1)卷积神经网络输入层及卷积层增加空白行列像素;(2)卷积操作采用奇数菱形卷积核取代方形卷积核,池化操作采用方形卷积核,前向计算神经网络输出;(3)采用反向传播算法训练含有菱形卷积核的卷积神经网络,求出每个神经元的梯度,得到新的权重。本发明提出了基于菱形卷积的神经网络,用菱形卷积核取代了传统的方形卷积核,采用一范数约束卷积窗口,保留了更有效的局部感受中心,保证了网络的稀疏性,进一步解决了神经网络参数复杂度过高的问题,加快了传播速度,同时菱形卷积核有正则化作用,防止了模型过拟合,整体训练速度加快,具有更高的准确率。
Description
技术领域
本发明涉及图像处理技术领域,尤其是一种基于菱形卷积的神经网络剪枝方法。
背景技术
卷积神经网络由人工神经网络发展而来,独特的权值共享的结构减小了网络的规模,更容易训练。由于图像平移、缩放和旋转的不变性,卷积神经网络广泛应用于图像识别领域,微软利用卷积神经网络做***文和中文的手写识别***,谷歌使用卷积神经网络来识别街景图片中的人脸和车牌,等等。
卷积神经网络的特点就是局部感知和权值共享。图片像素之间的关联是局部的,类似人眼是通过视神经分别去感知小图像块,不需要每一个神经元对整幅图片做感知,在大脑中综合判断,得到整幅图片的特征,因此每个卷积核有一个输出。同时,图像能够权值共享。位于图片底层的特征是普遍适用的,与位置无关,比如图像边沿,无论是位于图像上方还是在图像下方的局部区域边沿特征,都可以用类似的特征提取器。这样,一幅图像中局部区域的一个特征只需要一个卷积核就能提取。对于主要用于提取底层特征的前几层网络,权值共享进一步减少了参数的个数。
相比于全连接网络,卷积神经网络在充分保留图像特征的同时,减少了网络的参数数量,降低了网络规模,使得机器能自主对图像进行处理,比如图像分类,压缩,生成。但是普通的神经网络处理图像的速度仍然达不到要求,一般的神经网络参数数量巨大,一次前向传播要消耗巨大的计算资源,耗费较长的时间,因此不适于在移动端使用,尤其对于需要实时处理的应用。因此很多加速与压缩模型的方法被提出,比如剪枝神经网络、降低数值精度、分解卷积核、全局平均池化、优化激活函数代价函数、硬件加速等。其中网络剪枝已经被证明是一种减少网络复杂度和过度拟合的有效方法。常规神经网络通过训练来学习网络连接权重,然后会剪枝权重值较小的连接,得到剩余稀疏连接的网络。但是挑选剪枝的神经元需要花费大量的时间,卷积神经网络需要更加高效的剪枝算法。
发明内容
本发明所要解决的技术问题在于,提供一种基于菱形卷积的神经网络剪枝方法,改变了卷积核的形状,减少了网络参数。
为解决上述技术问题,本发明提供一种基于菱形卷积的神经网络剪枝方法,包括如下步骤:
(1)卷积神经网络输入层及卷积层增加空白行列像素,保证图像中心对称,避免下一步卷积损失有效信息;
(2)卷积操作采用奇数菱形卷积核取代方形卷积核,池化操作采用方形卷积核,前向计算神经网络输出;
(3)采用反向传播算法训练含有菱形卷积核的卷积神经网络,求出每个神经元的梯度,得到新的权重。
优选的,步骤(2)中,卷积核行列长度为奇数,奇数相对于偶数,有物理中心像素点,更容易确定位置对边沿、对线条更加敏感,可以有对称的外边距,更有效的提取边沿信息,卷积效果优于偶数卷积核。
优选的,步骤(2)中,局部区域以一范数约束中心点距离,邻域由方形变成菱形,保留了更有效的局部感受中心;菱形卷积核权值个数从中心行向两边行逐行递减两个,得到的输入窗口与卷积窗口形状类似于菱形。
优选的,步骤(3)中,含有菱形卷积核的卷积神经网络是对神经网络的一个剪枝,宽度为n的卷积核需要0.5*n*(n+1)个参数,相比方形卷积核参数减少了0.5*n*(n-1),保证了网络的稀疏性,降低了模型复杂度,加快了传播速度,同时有正则化作用,防止了模型过拟合。
本发明的有益效果为:本发明提出了基于菱形卷积的神经网络,用菱形卷积核取代了传统的方形卷积核,采用一范数约束卷积窗口,保留了更有效的局部感受中心,进一步解决了神经网络参数复杂度过高的问题,实验用改进的LeNet5结构识别MNIST手写数字图片。
附图说明
图1为本发明的卷积操作示意图。
图2为本发明的菱形卷积核示意图。
图3为本发明的改进的LeNet5网络示意图。
图4为本发明的改进的LeNet5传播过程示意图。
具体实施方式
一种基于菱形卷积的神经网络剪枝方法,包括如下步骤:
(1)卷积神经网络输入层及卷积层增加空白行列像素,保证图像中心对称,避免下一步卷积损失有效信息;
(2)卷积操作采用奇数菱形卷积核取代方形卷积核,池化操作采用方形卷积核,前向计算神经网络输出;
(3)采用反向传播算法训练含有菱形卷积核的卷积神经网络,求出每个神经元的梯度,得到新的权重。
本发明公开了一种基于菱形卷积的神经网络剪枝算法。卷积操作如图1所示,M个输入特征图I1,I2,…,Im分别经过K11到K1n,K21到K2n,Km1到Kmn个卷积核,叠加得到N个输出特征图O1,O2,…,On。现有的卷积神经网络实现采用方形卷积核在输入特征图上滑动,与方形输入窗进行乘积累加运算,得到下一层输出。在方形窗口中运算,相当于输入特征图以无穷范数作为规范约束局部感受域,即在二维平面内,宽和高两个方向上到局部中心点的距离均小于规范距离的节点,组成局部感受域,得到一个输出节点。宽度为n的卷积核需要n*n个参数。
菱形卷积核是一种异形卷积核,权值个数从中心行向两边行逐行递减两个,得到的输入窗口与卷积窗口形状类似于菱形,相当于输入特征图以一范数作为规范约束局部感受域,即在二维平面内,宽和高两个方向上到局部中心点的距离之和小于规范距离的节点,组成局部感受域,得到一个输出节点。对于中心行列长度n为的菱形卷积核,n为奇数时,每行每列的个数均为{1,3,…,n-2,n,n-2,…,3,1},n为偶数时,每行的个数为{1,3,…,n-2,n,n-2,…,3,1},每列的个数为{2,4,…,n-2,n,n-2,…,4,2},形状类似菱形。相比于方形卷积核,菱形卷积核是对神经网络的一个剪枝,将局部感受域边界的权值设置为0,保证了网络的稀疏性。宽度为n的卷积核需要0.5*n*(n+1)个参数,相比方形卷积核参数减少了0.5*n*(n-1)。
菱形卷积核如图2所示,输入特征图由14*14扩展为16*16,使用n=5的菱形卷积核,仅有13个权值,比方形卷积核少了一半,每个菱形窗口下的一组输入与一组权值进行卷积得到一个输出神经元,最终输出12*12的特征图。
卷积核大于1x1,意味着提取特征需要邻域信息。如果希望提取横向纹理,则横向邻域信息密度比纵向信息密度高。卷积核应该取扁平形状。如果希望提取纵向纹理,则纵向邻域信息密度比横向信息密度高。卷积核应该取细长形状。如果希望提取的纹理种类丰富,那横向邻域信息密度的期望约等于纵向信息密度。大部分情况下,卷积核用正方形而不是长方形,正是因为邻域信息密度的假设。
确定邻域的形状和大小对卷积的效果至关重要。如果按照距离中心点的平面距离确定邻域,即用“二范数”约束距离,邻域应该是圆形的,但是圆形邻域在实际运算中不便于取值到具体的点,计算复杂。因此通常情况下,为了便于计算,卷积核及计算窗口都是方形的,即用“无穷范数”计算距离。这样把圆形卷积核的点都包含进去,使得卷积理论具有完备性,但是这样带来的问题就是把距离中心点远近不同的点同等视之,存在一部分参数的冗余,增加了计算复杂度。如果对卷积神经网络进行剪枝,去掉距离局部中心点远一些的点,对网络的训练预测效果影响不大,而模型复杂度大大降低。
如果按照距离中心点的“一范数”距离约束局部区域,邻域变成菱形,中心点分布密度多于边沿点。在图片周围像素灰度值有骤变的地方,即图像边缘,蕴含着图片的底层特征。位于图像边沿的信息不一定是边缘信息。当卷积核滑过局部感受域时,边沿参数的减少会造成一部分权值的损失,但是对网络贡献更大的局部中心参数得以保留,大大加快了网络的速度。深度神经网络中,大卷积核抽象出的特征可以由多个小卷积核组合构成,比如5*5通过抽取多个3*3得到,那么位于中心的权值出现的频率更高,。本发明将菱形卷积应用于LeNet5结构,在原网络结构上稍加改进,设计卷积神经网络如图3所示,该网络识别MNIST字符集,参数减少,训练速度加快,准确率略微提高。
卷积神经网络输入层为手写图像灰度数据。MNIST手写数字字符库的图像均为28*28大小,对输入特征图在左右各两列及上下各两行增加空白像素,将输入层扩展为32*32,进行下一步卷积。第一层卷积采用n=5的菱形卷积核,输出6幅28*28特征图,第二层池化采用2*2方形卷积核进行特征的二次提取,得到6幅14*14特征图,第三层扩展输入为16*16,采用n=5的菱形卷积核,输出16幅12*12特征图,第四层池化采用2*2方形卷积核得到16幅6*6特征图,第四层与第五层全连接卷积,得到120个输出,第五层第六层全连接,得到84个输出,输出层由欧式径向基函数(Euclidean Radial Basis Function)单元组成。
输入层为了充分利用边界有效信息,通常采用全卷积,在边界增加空白行列。输入一幅图像进行直接卷积时,图像首行、首列、最后一行、最后一列在卷积窗口的边界,而卷积时这些行列在局部感受域的次数少于其它行列,对输出节点的贡献少,这样的卷积方式不能充分提取图像边界的有效信息。因此,输入行需要全卷积计算,在输入特征图上下左右增加空白的行列,将图像边界的行列放到中间,得到与输入大小相同的输出特征图,全面地提取了图像特征。
卷积层也会增加空白行列。卷积层使用菱形卷积核直接卷积时,菱形卷积窗口会去掉上一层交角处的权值,损失一部分像素,失去上一层传递的特征信息,因此需要增加行列数。宽度为奇数的卷积核上下左右增加相同的行数或列数,图像中心不发生改变,保持对称。
卷积神经网络奇数卷积核(卷积核宽和高都是奇数)卷积效果优于偶数卷积核,矩阵卷积会以卷积核模块的一个部分为基准进行滑动,奇数卷积核便于以模块中心为标准进行滑动。奇数相对于偶数,有物理中心像素点,更容易确定位置对边沿、对线条更加敏感,可以有对称的外边距,更有效的提取边沿信息。著名的卷积神经网络如LeNet5,AlexNet,VGGNet都用宽和高为奇数的卷积核。对于n*n的卷积核(n为奇数),两侧增加相同行列数目需要在上下左右各增加0.5*(n-3)才不会有边沿丢失。
基于菱形卷积的神经网络训练仍然采用反向传播算法。前向运算每个神经元的输出值,反向得的每个神经元的误差项,求出每个神经元连接权重的梯度,即网络的损失函数对各层神经元加权输入的偏微分,然后根据梯度下降公式更新权重。权值的稀疏性降低模型复杂度,加快训练速度,同时菱形卷积核精简权值,有明显的正则化作用,防止了模型过拟合。
本发明所改进的LeNet5网络传播过程如图4所示,以f(x)函数为激活函数,输出10维向量,定义平方误差代价函数E,其中:k为维度,tk、yk代表网络第k维标签值及输出值。
令 表示第l层第n个神经元的梯度,表示第l层第n个与(l-1)层第m个连接权值,如中O7F6表示输出层第七层与全连接层第六层,10*84是指输出层第七层有10个神经元,全连接层第六层有84个神经元,总共10*84个连接,C5,C3,C1表示卷积层第一层第三层第五层,P4,P2表示池化层第二层第四层,netl表示第l层神经元,如net6代表第六层神经元,为激活函数在第l层第n个神经元netl处的导数值,如表示全连接层第六层在84个神经元处的导数值,input表示输入层,Xn,m表示该层第n行第m列输入值,输出层的误差项为:
全连接6误差项如下:
卷积5误差项如下:
池化4误差项如下:
卷积3误差项如下:
池化2误差项如下:
卷积1误差项如下:
Wold表示旧的权值,Wnew表示新的权值,m,n为特征图当前行列数,M,N为特征图总行列数,i,j为卷积核行列数,Wi,j表示卷积核第i行,第j列权值,η为学习率,netm,n表示第m行第n列神经元,表示该卷积层在第m+i行,第n+j列的误差项,Xm+i,n+j表示该卷积层在第m+i行,第n+j列的输入,卷积层权值更新如下(Wi,j∈C1,C3):由于卷积核行列组成菱形(i=1,2,…,5j:=1,2,…,min{I,6-i}-1)
池化层权值更新式如下(Wi,j∈P2,P4):(i=1,2 j=1,2)
全连接层权值更新式如下:(Wi,j∈C5,F6,O7):
bold表示旧的偏置,bnew表示新的偏置,η为学习率,net表示神经元,当输入X=1时,偏置就是权值,即(Wnew=bnew ifX=1),偏置更新式如下:
实验利用TensorFlow搭建基于菱形卷积核的神经网络。使用5*5卷积核,每个卷积核有(5*5+1)/2=13个权值,一个偏置,第一层卷积含有(13+1)*6=84个可训练参数,84*(28*28)=65854个连接,第三层含有(13+1)*16=224个可训练参数,224*(14*14)=43904个连接,池化采用平均池化,每幅特征图有权值和偏置两个参数,第二层池化层有(1+1)*6=12个可训练参数,6*14*14*(2*2+1)=5880个连接,第四层池化层有(1+1)*16=32可训练参数,16*6*6*(2*2+1)=2880个连接,第五层卷积为全连接层,有(6*6+1)*16*120=71040个参数及连接,第六层全连接层有120*84=10080个参数及连接。整个网络有81472个参数,199638个连接。每批训练50幅图像,权值更新20000轮需要2600秒,取10次试验的平均值,在测试集达到99.12%准确率。
另外,分别试验了在全连接层剪枝一半(drop_out=0.5表示)和未剪枝(drop_out=1表示)的方形的卷积核(CNN)和菱形卷积核(CNN_DF)神经网络结构的准确率,测试了5X5卷积核的同时还测试了3X3大小的卷积核的结果,如表1所示。当卷积核大小为5X5且drop_out=1时,菱形的卷积核的结果要比方形的好0.03%。当卷积核大小为5X5且drop_out=0.5时,菱形的卷积核的结果要比方形的差0.02%。当卷积核大小为3X3且drop_out=1时,菱形的卷积核的结果要比方形的差0.06%,这要比5X5卷积核的情况差,可能是因为3X3的卷积核已经够小了,再裁剪成菱形,变得更小,提取的特征不够彻底。当卷积核大小为3X3且drop_out=0.5时,菱形的卷积核的结果要比方形的差0.07%,与drop_out=1的情况差不多。总之,把方形的卷积核变成菱形的,准确率下降很少,甚至在没有用drop_out的情况下,准确率会提升,同时加快训练速度。
表1模型准确率测试结果
分析不同卷积核的计算资源,如表2所示,以5*5的卷积核为例:
CNN5X5参数个数:
C2=5*5*32+32=832,C4=5*5*64+64=1664,C6=7*7*64*1024+1024=459776,C7=1024*10+10=10250,总参数个数为:C2+C4+C6+C7=472522
CNN5X5_DF参数个数:
C2=13*32+32=448,C4=13*64+64=896,C6=7*7*64*1024+1024=459776,C7=1024*10+10=10250,总参数个数为:C2+C4+C6+C7=471370
CNN5X5_DF参数个数为CNN5X5的99.76%,主要是卷积核部分参数变少,全连接层的参数非常多,并且不会减少,因此参数减少的不多。由于卷积神经网络是共享卷积的权值的,由于卷积核变小因此整个网络的连接数会减少很多,乘法减少很多。
CNN5X5乘法次数:
C2=28*28*5*5*32=627200,C4=28*28*5*5*64=1254400,C6=7*7*64*1024=458752,
C7=1024*10=10240,总参数个数为:C2+C4+C6+C7=2350592
CNN5X5_DF乘法次数:
C2=28*28*13*32+32=326144,C4=28*28*13*64+64=652288,C6=7*7*64*1024=458752,
C7=1024*10=10240,总参数个数为:C2+C4+C6+C7=1447424
菱形的卷积核比方形卷积核的参数少了近1半,因此卷积部分的连接数就会少近一半,在硬件实现时,可以减少很多的乘法运算,经过计算CNN5X5_DF的乘法次数只有CNN5X5乘法次数的61.6%,由于卷积核变小,卷积的数据减少,这也可以有效减少数据的带宽,因此菱形卷积核应用在硬件实现上有一定意义。
表2不同卷积核的计算资源
模型 | 参数个数 | 乘法次数 |
CNN5X5 | 472522 | 2350592 |
CNN5X5_DF | 471370 | 1447424 |
Claims (4)
1.一种基于菱形卷积的神经网络剪枝方法,其特征在于,包括如下步骤:
(1)卷积神经网络输入层及卷积层增加空白行列像素;
(2)卷积操作采用奇数菱形卷积核取代方形卷积核,池化操作采用方形卷积核,前向计算神经网络输出;
(3)采用反向传播算法训练含有菱形卷积核的卷积神经网络,求出每个神经元的梯度,得到新的权重。
2.如权利要求1所述的基于菱形卷积的神经网络剪枝方法,其特征在于,步骤(2)中,卷积核行列长度为奇数。
3.如权利要求1所述的基于菱形卷积的神经网络剪枝方法,其特征在于,步骤(2)中,局部区域以一范数约束中心点距离,邻域由方形变成菱形;菱形卷积核权值个数从中心行向两边行逐行递减两个,得到的输入窗口与卷积窗口形状类似于菱形。
4.如权利要求1所述的基于菱形卷积的神经网络剪枝方法,其特征在于,步骤(3)中,含有菱形卷积核的卷积神经网络是对神经网络的一个剪枝,宽度为n的卷积核需要0.5*n*(n+1)个参数,相比方形卷积核参数减少了0.5*n*(n-1)。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811128219.4A CN109376859A (zh) | 2018-09-27 | 2018-09-27 | 一种基于菱形卷积的神经网络剪枝方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811128219.4A CN109376859A (zh) | 2018-09-27 | 2018-09-27 | 一种基于菱形卷积的神经网络剪枝方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109376859A true CN109376859A (zh) | 2019-02-22 |
Family
ID=65402739
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811128219.4A Pending CN109376859A (zh) | 2018-09-27 | 2018-09-27 | 一种基于菱形卷积的神经网络剪枝方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109376859A (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110718211A (zh) * | 2019-09-26 | 2020-01-21 | 东南大学 | 一种基于混合压缩卷积神经网络的关键词识别*** |
CN111222629A (zh) * | 2019-12-31 | 2020-06-02 | 暗物智能科技(广州)有限公司 | 一种基于自适应批规范化的神经网络模型剪枝方法及*** |
CN111539463A (zh) * | 2020-04-15 | 2020-08-14 | 苏州万高电脑科技有限公司 | 通过模拟神经元树突分枝实现图像分类的方法、*** |
CN112734025A (zh) * | 2019-10-28 | 2021-04-30 | 复旦大学 | 基于固定基正则化的神经网络参数稀疏化方法 |
CN112785663A (zh) * | 2021-03-17 | 2021-05-11 | 西北工业大学 | 一种基于任意形状卷积核的图像分类网络压缩方法 |
CN113344182A (zh) * | 2021-06-01 | 2021-09-03 | 电子科技大学 | 一种基于深度学习的网络模型压缩方法 |
US11157769B2 (en) * | 2018-09-25 | 2021-10-26 | Realtek Semiconductor Corp. | Image processing circuit and associated image processing method |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104867169A (zh) * | 2015-05-18 | 2015-08-26 | 北京航空航天大学 | 一种基于gpu的红外传感器物理效应实时成像仿真方法 |
CN104915322A (zh) * | 2015-06-09 | 2015-09-16 | 中国人民解放军国防科学技术大学 | 一种卷积神经网络硬件加速方法及其axi总线ip核 |
CN105160400A (zh) * | 2015-09-08 | 2015-12-16 | 西安交通大学 | 基于l21范数的提升卷积神经网络泛化能力的方法 |
-
2018
- 2018-09-27 CN CN201811128219.4A patent/CN109376859A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104867169A (zh) * | 2015-05-18 | 2015-08-26 | 北京航空航天大学 | 一种基于gpu的红外传感器物理效应实时成像仿真方法 |
CN104915322A (zh) * | 2015-06-09 | 2015-09-16 | 中国人民解放军国防科学技术大学 | 一种卷积神经网络硬件加速方法及其axi总线ip核 |
CN105160400A (zh) * | 2015-09-08 | 2015-12-16 | 西安交通大学 | 基于l21范数的提升卷积神经网络泛化能力的方法 |
Non-Patent Citations (2)
Title |
---|
JIFENG DAI ET AL: "Deformable Convolutional Networks", 《HTTP://ARXIV.ORG/PDF/1703.06211V3》 * |
KAIZHOU LI ET AL: "Complex Convolution Kernel for Deep Networks", 《2016 8TH INTERNATIONAL CONFERENCE ON WIRELESS COMMUNICATIONS & SIGNAL PROCESSING (WCSP)》 * |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11157769B2 (en) * | 2018-09-25 | 2021-10-26 | Realtek Semiconductor Corp. | Image processing circuit and associated image processing method |
CN110718211A (zh) * | 2019-09-26 | 2020-01-21 | 东南大学 | 一种基于混合压缩卷积神经网络的关键词识别*** |
CN112734025A (zh) * | 2019-10-28 | 2021-04-30 | 复旦大学 | 基于固定基正则化的神经网络参数稀疏化方法 |
CN112734025B (zh) * | 2019-10-28 | 2023-07-21 | 复旦大学 | 基于固定基正则化的神经网络参数稀疏化方法 |
CN111222629A (zh) * | 2019-12-31 | 2020-06-02 | 暗物智能科技(广州)有限公司 | 一种基于自适应批规范化的神经网络模型剪枝方法及*** |
CN111539463A (zh) * | 2020-04-15 | 2020-08-14 | 苏州万高电脑科技有限公司 | 通过模拟神经元树突分枝实现图像分类的方法、*** |
CN111539463B (zh) * | 2020-04-15 | 2023-09-15 | 苏州万高电脑科技有限公司 | 通过模拟神经元树突分枝实现图像分类的方法、*** |
CN112785663A (zh) * | 2021-03-17 | 2021-05-11 | 西北工业大学 | 一种基于任意形状卷积核的图像分类网络压缩方法 |
CN112785663B (zh) * | 2021-03-17 | 2024-05-10 | 西北工业大学 | 一种基于任意形状卷积核的图像分类网络压缩方法 |
CN113344182A (zh) * | 2021-06-01 | 2021-09-03 | 电子科技大学 | 一种基于深度学习的网络模型压缩方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109376859A (zh) | 一种基于菱形卷积的神经网络剪枝方法 | |
CN107526785B (zh) | 文本分类方法及装置 | |
CN110059698B (zh) | 用于街景理解的基于边缘稠密重建的语义分割方法及*** | |
CN110992270A (zh) | 基于注意力的多尺度残差注意网络图像超分辨率重建方法 | |
CN111767979A (zh) | 神经网络的训练方法、图像处理方法、图像处理装置 | |
CN110909801B (zh) | 基于卷积神经网络的数据分类方法、***、介质及设备 | |
CN106408039A (zh) | 一种基于形变方法进行数据扩展的脱机手写汉字识别方法 | |
CN110287777B (zh) | 一种自然场景下的金丝猴躯体分割算法 | |
CN108062543A (zh) | 一种面部识别方法及装置 | |
CN108491849A (zh) | 基于三维稠密连接卷积神经网络的高光谱图像分类方法 | |
CN109919830A (zh) | 一种基于美学评价的带参考人眼图像修复方法 | |
CN110020639B (zh) | 视频特征提取方法及相关设备 | |
CN108960304B (zh) | 一种网络交易欺诈行为的深度学习检测方法 | |
CN107680077A (zh) | 一种基于多阶梯度特征的无参考图像质量评价方法 | |
CN107292267A (zh) | 照片造假卷积神经网络训练方法及人脸活体检测方法 | |
CN101520894A (zh) | 基于区域显著性的显著对象提取方法 | |
Yang et al. | Down image recognition based on deep convolutional neural network | |
CN113920516B (zh) | 一种基于孪生神经网络的书法字骨架匹配方法及*** | |
CN107301396A (zh) | 视频造假卷积神经网络训练方法及人脸活体检测方法 | |
CN110210278A (zh) | 一种视频目标检测方法、装置及存储介质 | |
CN113554084A (zh) | 基于剪枝和轻量卷积的车辆再辨识模型压缩方法及*** | |
CN106503743A (zh) | 一种数量多且维数高的图像局部特征点自适应聚类方法 | |
CN112149521A (zh) | 一种基于多任务卷积神经网络的掌纹roi提取与增强的方法 | |
CN112766283A (zh) | 一种基于多尺度卷积网络的两相流流型识别方法 | |
CN109522953A (zh) | 基于网络嵌入算法和cnn对图结构数据进行分类的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190222 |