CN112668630A - 一种基于模型剪枝的轻量化图像分类方法、***及设备 - Google Patents
一种基于模型剪枝的轻量化图像分类方法、***及设备 Download PDFInfo
- Publication number
- CN112668630A CN112668630A CN202011553183.1A CN202011553183A CN112668630A CN 112668630 A CN112668630 A CN 112668630A CN 202011553183 A CN202011553183 A CN 202011553183A CN 112668630 A CN112668630 A CN 112668630A
- Authority
- CN
- China
- Prior art keywords
- image classification
- classification model
- model
- pruning
- channel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013138 pruning Methods 0.000 title claims abstract description 56
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000011156 evaluation Methods 0.000 claims abstract description 40
- 238000004364 calculation method Methods 0.000 claims abstract description 13
- 238000013145 classification model Methods 0.000 claims description 74
- 238000012549 training Methods 0.000 claims description 28
- 230000006870 function Effects 0.000 claims description 27
- 238000013527 convolutional neural network Methods 0.000 claims description 25
- 238000000605 extraction Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 5
- 230000014759 maintenance of location Effects 0.000 claims 1
- 238000013528 artificial neural network Methods 0.000 abstract description 4
- 238000007906 compression Methods 0.000 abstract description 4
- 230000006835 compression Effects 0.000 abstract description 3
- 230000000694 effects Effects 0.000 abstract description 2
- 238000005457 optimization Methods 0.000 description 6
- 238000003062 neural network model Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于模型剪枝的轻量化图像分类方法、***及设备。该方法包括步骤：计算互信息评价通道的重要性；根据通道的重要性排序并分组；根据分组设置注意力正则化损失函数并优化模型；剪枝不重要的通道；再次优化模型，恢复模型的精度。本发明对深度神经网络的压缩效果明显，在降低大型深度网络模型的存储和计算消耗的同时，也减少了由于剪枝带来的精度损失，可以更好地应用于移动端设备进行图像分类。
Description
技术领域
本发明属于计算机视觉和深度学习技术领域，更具体地，涉及一种基于模型剪枝的轻量化图像分类方法、***及设备。
背景技术
近年来深度卷积神经网络以其良好的性能在计算机视觉等机器学习领域得到广泛应用。为了提升深度卷积神经网络在图像分类的性能，常采用极深的网络结构，即含有大量的卷积层级联而成，这导致深度神经网络模型中参数量巨大，需要消耗大量的计算和存储资源，这限制了其在智能移动终端等边缘设备的部署与应用。
为了解决这一问题，一个有效的解决方案是使用轻量化的神经网络模型，即对卷积层中不重要的特征通道进行剪枝，使得模型参数大量减少的同时仍然保持模型原有的性能。一种现有的方法提出基于信息熵裁剪卷积通道的方法，利用信息熵来排序卷积通道的重要性，进而删减掉不重要的卷积通道达到压缩的目的。但是，信息熵仅能度量特征通道提取特征所含的信息量，不能度量所提特征与分类任务之间的相关性。此外，这种方法虽然可以很好地压缩卷积神经网络，但是却不能很好地避免因为剪枝造成的精度损失。
发明内容
针对现有技术的至少一个缺陷或改进需求，本发明提供了一种基于模型剪枝的轻量化图像分类方法、***及设备，利用互信息进行深度神经网络模型的剪枝，使得剪枝后模型的图像分类性能更好。
为实现上述目的，按照本发明的第一方面，提供了一种基于模型剪枝的轻量化图像分类方法，包括步骤：
获取训练集，将所述训练集输入到卷积神经网络中，通过预先训练获得图像分类模型；
获取评价集，所述评价集中的评价样本被标记有样本标签，将所述评价集输入到所述图像分类模型，获取所述图像分类模型的每个卷积层的每个通道输出的提取特征，根据所述图像分类模型的每个卷积层的每个通道的提取特征与样本标签的互信息计算所述图像分类模型的每个卷积层的每个通道的重要性指标；
根据所述重要性指标对所述图像分类模型的卷积层的通道进行剪枝，利用剪枝后的所述图像分类模型进行图像分类。
优选的，所述根据所述重要性指标对所述图像分类模型的卷积层的通道进行剪枝包括步骤：
根据所述重要性指标和预设的剪枝比例，将所述图像分类模型的同一卷积层的通道分为保留组和冗余组；
对所述图像分类模型的每个卷积层的每个通道在输出时引入尺度因子，使得所述图像分类模型的每个卷积层的每个通道的提取特征乘以该通道对应的尺度因子后再输入到下一卷积层；
根据每个卷积层的通道分组以及尺度因子计算每个卷积层的注意力正则化函数，根据所述注意力正则化函数和预先训练所述图像分类模型的原损失函数构建新的总损失函数，利用所述总损失函数再次对所述图像分类模型的参数进行优化；
将所述图像分类模型的每个卷积层的属于冗余组的通道移除；
利用所述原损失函数对剪枝后的所述图像分类模型的参数再次进行优化。
优选的，所述重要性指标的计算包括步骤：
所述评价集的评价样本记为xi，xi∈S,i＝1,…,N，N表示所述评价集中评价样本的个数，所述图像分类模型的卷积层的个数记为L，所述图像分类模型的每个卷积层的通道数为Cl,l＝1,…,L,所述图像分类模型的第l层输出的提取特征记为Fl；
将特征Fl输入一个全局平均池化层，得到第l个卷积层Cl个通道输出的提取特征
重复N次，得到N个评价样本在第l个卷积层Cl个通道输出的提取特征集合
将所述评价集的评价样本的样本标签记为yi，样本标签集合记为Y，Y＝{y1,…,yN}；
计算
在集合
中出现的概率
表示
出现的次数，计算yi在Y中出现的概率
为两者的联合分布概率，则得到第l个卷积层第k个通道的重要性指标
的计算方法为：
优选的，所述分为保留组和冗余组包括步骤：
根据所述重要性指标从大到小，对所述图像分类模型的同一个卷积层中的通道进行排序，为第k个通道赋予顺序索引J(k)；
按照所述剪枝比例将所述图像分类模型的同一个卷积层的通道分为保留组和冗余组，保留组表示为GH＝{k|J(k)≤βCl}，冗余组表示为GL＝{k|J(k)>Cl}，其中β为所述剪枝比例。
优选的，所述注意力正则化函数为：
其中，
δ为预设的参数。
优选的，所述总损失函数为：
其中
为预先训练所述图像分类模型的交叉熵损失函数。
优选的，所述图像分类模型的输入为32*32位的图像。
优选的，将所述图像分类模型部署在移动终端上。
按照本发明的第二方面，提供了一种基于模型剪枝的轻量化图像分类***，包括：
预训练模块，用于获取训练集，将所述训练集输入到卷积神经网络中，通过预先训练获得图像分类模型；
互信息计算模块，用于获取评价集，所述评价集中的评价样本被标记有样本标签，将所述评价集输入到所述图像分类模型，获取所述图像分类模型的每个卷积层的每个通道输出的提取特征，根据所述图像分类模型的每个卷积层的每个通道的提取特征与样本标签的互信息计算所述图像分类模型的每个卷积层的每个通道的重要性指标；
剪枝模块，用于根据所述重要性指标对所述图像分类模型的卷积层的通道进行剪枝，利用剪枝后的所述图像分类模型进行图像分类。
按照本发明的第三方面，提供了一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述的方法的步骤。
总体而言，本发明与现有技术相比，具有有益效果：
(1)不同于基于信息熵的方法，本发明采用互信息来评价各卷积层通道的重要性，所保留的卷积层具有更好的特征表示能力，剪枝后的模型具有轻量化优点的同时，对图像分类的性能更好，可以更好地在智能移动终端等边缘设备部署与应用。
(2)本发明提出加入注意力正则化损失对模型进行优化，降低由于剪枝带来的图像分类精度损失，使得在大幅度压缩网络规模的同时，降低了网络的精度损失，进一步保证了模型对图像分类任务的预测性能。
附图说明
图1是本发明实施例的一种基于模型剪枝的轻量化图像分类方法的流程示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
术语解释：
卷积神经网络：卷积神经网络是一类包含卷积计算且具有深度结构的前馈神经网络，是深度学习的代表算法之一。
特征通道：通道的含义是每个卷积层中卷积核。
互信息：互信息是信息论里一种有用的信息度量，它可以看成是一个随机变量中包含的关于另一个随机变量的信息量，或者说是一个随机变量由于已知另一个随机变量而减少的不肯定性。
AlexNet：2012年，Alex等人提出的AlexNet网络在ImageNet大赛上以远超第二名的成绩夺冠，卷积神经网络乃至深度学习重新引起了广泛的关注。AlexNet具有更深的网络结构，并使用Relu替换之前的sigmoid的作为激活函数，并采用多GPU训练，可以学习到更丰富更高维的图像特征。
VGG16：VGG是Simonyan和Zisserman提出的卷积神经网络模型，该模型参加2014年的ImageNet图像分类与定位挑战赛，取得了优异成绩：在分类任务上排名第二，在定位任务上排名第一。VGG16为其中结构的一种，具有13个卷积层，3个全链接层。
ResNet：ResNet由微软研究院的何恺明等人提出，通过使用残差学习训练出的一种卷积神经网络。传统神经网络在参数传递的过程中存在梯度消失或者梯度***，导致无法训练很深的网络。而ResNet以跳跃连接的方式通过旁路将输入直接连接到后面的层，从而解决了这个问题。
全局平均池化：将特征图所有像素值相加求平局，得到一个数值，即用该数值表示对应特征图。
如图1所示，本发明实施例的一种基于模型剪枝的轻量化图像分类方法包括以下步骤：
(S1)预训练模型
获取训练集，将训练集输入到卷积神经网络中，通过预先训练获得图像分类模型。图像分类模型优选为一个32位的全精度模型。
(S2)计算互信息评价通道的重要性
通过步骤(S1)给定一个预训练好的图像分类模型，将评价集中的样本输入图像分类模型中，计算样本在不同卷积层每个通道提取的特征。对卷积神经网络中任意一层卷积层，分别计算不同通道提取特征与样本标签之间的互信息作为当前层各通道的重要性指标。对卷积神经网络的每一层，重复此步骤。
进一步地，各通道的重要性指标的具体步骤如下：
(S21)评价集中任意一个样本xi∈S,i＝1,…,N(N表示评价集中样本的个数)输入预训练好的图像分类模型，在卷积神经网络第l层的输出的特征为
其中W和H分别表示输出特征的宽和高，Cl,l＝1,…,L表示第l个卷积层的通道数,L表示卷积神经网络含有的卷积层的总个数。
(S22)将特征Fl输入一个全局平均池化层，可得到一个特征向量
表示第k个通道的特征，k＝1,...,Cl。重复以上步骤N次，计算所有样本在第l层的特征，得到第l个卷积层第k个通道的特征集合
特征向量对应的标签为Y＝{y1,…,yN}。图像分类模型在每一个通道输出的是一个矩阵，利用全局平均池化将这个矩阵转化为一个数值才能和标签的维度保持一致，才能继续计算互信息。
(S23)计算
与Y之间的互信息，求
在集合
中出现的概率
表示
出现的次数；同理求yi在Y中出现的概率
为两者的联合分布概率，则互信息的计算方法为：
得到第l个卷积层第k个通道的重要性指标
重复该步骤L次，逐层计算得到每一层每一个通道的重要性指标。
优选地，评价集的选取方法为从n分类的数据集中，在每一分类中随机选取m张图片，组成评价集S,mn＝N。以cifar10为例，在数据集的十个类别中各随机选取500张图片组成评价集。
根据计算得到的重要性指标可以对图像分类模型的卷积层的通道进行剪枝，利用剪枝后的图像分类模型进行图像分类。根据重要性指标进行剪枝的优选实现方法如步骤S3至S7所示。
(S3)根据通道的重要性排序并分组
根据步骤(S2)计算的重要性指标，对同一个卷积层中的通道按从大到小进行排序。根据预设的剪枝比例将通道分为两组。对卷积神经网络的每一层，重复此步骤。
进一步地，排序过程可表示为
即给k个通道赋予一个从大到小排列的顺序索引J(k)。
进一步地，按预设的剪枝比例将通道分为两组可表示为，保留组GH＝{k|J(k)≤βCl}和冗余组GL＝{k|J(k)>Cl}，其中β为剪枝比例。
(S4)根据分组设置注意力正则化损失函数并优化模型
对每一个通道在输出时引入一个尺度因子，使得每一个通道提取的特征乘以该尺度因子后再输入卷积神经网络的下一层。按照步骤(S3)给出的分组，设置注意力正则化函数，将该正则化函数加入到模型优化的总损失函数中，利用卷积神经网络模型优化算法对模型中的参数进行优化。
进一步地，尺度因子定义为
将其初始化为1，使得在模型优化开始前，该尺度因子不起任何作用。
进一步地，注意力正则化函数为
其中，
δ为预设的参数。优选地，δ＝0.15。
进一步地，总的损失函数
其中
为原优化任务的交叉熵损失函数，即得到预训练模型时所用的损失函数。
(S5)剪枝不重要的通道
将每一层属于冗余组的通道从模型中移除。
(S6)再次优化模型，恢复模型的精度
通过优化原任务的损失函数，微调保留通道中的参数，使模型因为剪枝而导致的模型性能下降得以恢复。
(S7)将测试集的样本输入步骤(S6)得到模型进行分类
测试样本输入模型会输出样本属于每一类的概率，最大概率对应的类别为测试样本的分类结果。
实例
本实例在标准数据集CIFAR-10上进行了实验。CIFAR-10是一个图像分类数据集，所有的图像都是大小为32×32的三通道彩色图像，包含60000张图片，其中训练集的为50000，验证集为10000。本实例在实验中所采用的深度神经网络是AlexNet、VGG16和残差网络ResNet。
为了清晰地看到压缩前和压缩后的变化，本实例先使用不同的卷积神经网络训练了全精度32位的模型。在压缩过程中，使用预训练好的32位模型作为量化模型的初始化。在预训练和剪枝过程中，数据预处理都使用了数据增强的方法，在原32*32的图像边界上填补0扩充为36*36的图像，再随机的裁剪为32*32的图像，然后随机左右翻转。
表1加入注意力正则化的优化结果
表2剪枝后的结果
表3使用信息熵剪枝的结果
表1是在不同的卷积神经网络上加入注意力正则化的优化结果，可以发现经过优化后的网络在测试集上的表现要优于未经过优化的网络。从表2可以看到，本发明实施例提出的剪枝方法能有效将深度神经网络模型进行剪枝，而模型的性能只有微弱的下降，表3为采用信息熵剪枝的方法，可以发现在剪枝后的精确度上不如本发明的方法。
本发明实施例的一种基于模型剪枝的轻量化图像分类***，包括：
预训练模块，用于获取训练集，将训练集输入到卷积神经网络中，通过预先训练获得图像分类模型；
互信息计算模块，用于获取评价集，评价集中的评价样本被标记有样本标签，将评价集输入到图像分类模型，获取图像分类模型的每个卷积层的每个通道输出的提取特征，根据所述图像分类模型的每个卷积层的每个通道的提取特征与样本标签的互信息计算所述图像分类模型的每个卷积层的每个通道的重要性指标；
剪枝模块，用于根据所述重要性指标对所述图像分类模型的卷积层的通道进行剪枝，利用剪枝后的所述图像分类模型进行图像分类。
***的实现原理、技术效果与上述方法类似，此处不再赘述。
本实施例还提供了一种电子设备，其包括至少一个处理器、以及至少一个存储器，其中，存储器中存储有计算机程序，当计算机程序被处理器执行时，使得处理器执行上述方法实施例中的步骤，此处不再赘述。本实施例中，处理器和存储器的类型不作具体限制，例如：处理器可以是微处理器、数字信息处理器、片上可编程逻辑***等；存储器可以是易失性存储器、非易失性存储器或者它们的组合等。
必须说明的是，上述任一实施例中，方法并不必然按照序号顺序依次执行，只要从执行逻辑中不能推定必然按某一顺序执行，则意味着可以以其他任何可能的顺序执行。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于模型剪枝的轻量化图像分类方法，其特征在于，包括步骤：
获取训练集，将所述训练集输入到卷积神经网络中，通过预先训练获得图像分类模型；
获取评价集，所述评价集中的评价样本被标记有样本标签，将所述评价集输入到所述图像分类模型，获取所述图像分类模型的每个卷积层的每个通道输出的提取特征，根据所述图像分类模型的每个卷积层的每个通道的提取特征与样本标签的互信息计算所述图像分类模型的每个卷积层的每个通道的重要性指标；
根据所述重要性指标对所述图像分类模型的卷积层的通道进行剪枝，利用剪枝后的所述图像分类模型进行图像分类。
2.如权利要求1所述的一种基于模型剪枝的轻量化图像分类方法，其特征在于，所述根据所述重要性指标对所述图像分类模型的卷积层的通道进行剪枝包括步骤：
根据所述重要性指标和预设的剪枝比例，将所述图像分类模型的同一卷积层的通道分为保留组和冗余组；
对所述图像分类模型的每个卷积层的每个通道在输出时引入尺度因子，使得所述图像分类模型的每个卷积层的每个通道的提取特征乘以该通道对应的尺度因子后再输入到下一卷积层；
根据每个卷积层的通道分组以及尺度因子计算每个卷积层的注意力正则化函数，根据所述注意力正则化函数和预先训练所述图像分类模型的原损失函数构建新的总损失函数，利用所述总损失函数再次对所述图像分类模型的参数进行优化；
将所述图像分类模型的每个卷积层的属于冗余组的通道移除；
利用所述原损失函数对剪枝后的所述图像分类模型的参数再次进行优化。
3.如权利要求1或2所述的一种基于模型剪枝的轻量化图像分类方法，其特征在于，所述重要性指标的计算包括步骤：
所述评价集的评价样本记为xi，xi∈S,i＝1,…,N，N表示所述评价集中评价样本的个数，所述图像分类模型的卷积层的个数记为L，所述图像分类模型的每个卷积层的通道数为Cl,l＝1,…,L,所述图像分类模型的第l层输出的提取特征记为Fl；
将特征Fl输入一个全局平均池化层，得到第l个卷积层Cl个通道输出的提取特征
重复N次，得到N个评价样本在第l个卷积层Cl个通道输出的提取特征集合
将所述评价集的评价样本的样本标签记为yi，样本标签集合记为Y，Y＝{y1,…,yN}；
计算
在集合
中出现的概率
表示
出现的次数，计算yi在Y中出现的概率
为两者的联合分布概率，则得到第l个卷积层第k个通道的重要性指标
的计算方法为：
4.如权利要求3所述的一种基于模型剪枝的轻量化图像分类方法，其特征在于，所述分为保留组和冗余组包括步骤：
根据所述重要性指标从大到小，对所述图像分类模型的同一个卷积层中的通道进行排序，为第k个通道赋予顺序索引J(k)；
按照所述剪枝比例将所述图像分类模型的同一个卷积层的通道分为保留组和冗余组，保留组表示为GH＝{k|J(k)≤βCl}，冗余组表示为GL＝{k|J(k)>βCl}，其中β为所述剪枝比例。
5.如权利要求4所述的一种基于模型剪枝的轻量化图像分类方法，其特征在于，所述注意力正则化函数为：
其中，
δ为预设的参数。
6.如权利要求5所述的一种基于模型剪枝的轻量化图像分类方法，其特征在于，所述总损失函数为：
其中
为预先训练所述图像分类模型的交叉熵损失函数。
7.如权利要求1所述的一种基于模型剪枝的轻量化图像分类方法，其特征在于，所述图像分类模型的输入为32*32位的图像。
8.如权利要求1所述的一种基于模型剪枝的轻量化图像分类方法，其特征在于，将所述图像分类模型部署在移动终端上。
9.一种基于模型剪枝的轻量化图像分类***，其特征在于，包括：
预训练模块，用于获取训练集，将所述训练集输入到卷积神经网络中，通过预先训练获得图像分类模型；
互信息计算模块，用于获取评价集，所述评价集中的评价样本被标记有样本标签，将所述评价集输入到所述图像分类模型，获取所述图像分类模型的每个卷积层的每个通道输出的提取特征，根据所述图像分类模型的每个卷积层的每个通道的提取特征与样本标签的互信息计算所述图像分类模型的每个卷积层的每个通道的重要性指标；
剪枝模块，用于根据所述重要性指标对所述图像分类模型的卷积层的通道进行剪枝，利用剪枝后的所述图像分类模型进行图像分类。
10.一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011553183.1A CN112668630B (zh) | 2020-12-24 | 2020-12-24 | 一种基于模型剪枝的轻量化图像分类方法、***及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011553183.1A CN112668630B (zh) | 2020-12-24 | 2020-12-24 | 一种基于模型剪枝的轻量化图像分类方法、***及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112668630A true CN112668630A (zh) | 2021-04-16 |
| CN112668630B CN112668630B (zh) | 2022-04-29 |
Family
ID=75408465
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011553183.1A Active CN112668630B (zh) | 2020-12-24 | 2020-12-24 | 一种基于模型剪枝的轻量化图像分类方法、***及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112668630B (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113255912A (zh) * | 2021-06-08 | 2021-08-13 | 深圳市商汤科技有限公司 | 神经网络的通道剪枝方法及装置、电子设备和存储介质 |
| CN113516163A (zh) * | 2021-04-26 | 2021-10-19 | 合肥市正茂科技有限公司 | 基于网络剪枝的车辆分类模型压缩方法、装置及存储介质 |
| CN115169556A (zh) * | 2022-07-25 | 2022-10-11 | 美的集团(上海)有限公司 | 模型剪枝方法及装置 |
| CN115618271A (zh) * | 2022-05-05 | 2023-01-17 | 腾讯科技（深圳）有限公司 | 对象类别识别方法、装置、设备及存储介质 |
| CN117035044A (zh) * | 2023-10-08 | 2023-11-10 | 安徽农业大学 | 基于输出激活映射的过滤器剪枝方法、图像分类***及边缘设备 |
| CN117152542A (zh) * | 2023-10-30 | 2023-12-01 | 武昌理工学院 | 一种基于轻量化网络的图像分类方法和*** |
| CN117217281A (zh) * | 2023-09-18 | 2023-12-12 | 华中科技大学 | 基于多视角特征的卷积神经网络轻量化剪枝方法及*** |
| CN117217281B (zh) * | 2023-09-18 | 2024-07-26 | 华中科技大学 | 基于多视角特征的卷积神经网络轻量化剪枝方法及*** |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109344893A (zh) * | 2018-09-25 | 2019-02-15 | 华中师范大学 | 一种基于移动终端的图像分类方法及*** |
| CN110147834A (zh) * | 2019-05-10 | 2019-08-20 | 上海理工大学 | 基于稀疏化双线性卷积神经网络的细粒度图像分类方法 |
| US20190294929A1 (en) * | 2018-03-20 | 2019-09-26 | The Regents Of The University Of Michigan | Automatic Filter Pruning Technique For Convolutional Neural Networks |
| CN110598731A (zh) * | 2019-07-31 | 2019-12-20 | 浙江大学 | 一种基于结构化剪枝的高效图像分类方法 |
| CN111062382A (zh) * | 2019-10-30 | 2020-04-24 | 北京交通大学 | 用于目标检测网络的通道剪枝方法 |
| US20200311798A1 (en) * | 2019-03-25 | 2020-10-01 | Board Of Trustees Of The University Of Illinois | Search engine use of neural network regressor for multi-modal item recommendations based on visual semantic embeddings |
-
2020
- 2020-12-24 CN CN202011553183.1A patent/CN112668630B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190294929A1 (en) * | 2018-03-20 | 2019-09-26 | The Regents Of The University Of Michigan | Automatic Filter Pruning Technique For Convolutional Neural Networks |
| CN109344893A (zh) * | 2018-09-25 | 2019-02-15 | 华中师范大学 | 一种基于移动终端的图像分类方法及*** |
| US20200311798A1 (en) * | 2019-03-25 | 2020-10-01 | Board Of Trustees Of The University Of Illinois | Search engine use of neural network regressor for multi-modal item recommendations based on visual semantic embeddings |
| CN110147834A (zh) * | 2019-05-10 | 2019-08-20 | 上海理工大学 | 基于稀疏化双线性卷积神经网络的细粒度图像分类方法 |
| CN110598731A (zh) * | 2019-07-31 | 2019-12-20 | 浙江大学 | 一种基于结构化剪枝的高效图像分类方法 |
| CN111062382A (zh) * | 2019-10-30 | 2020-04-24 | 北京交通大学 | 用于目标检测网络的通道剪枝方法 |
Non-Patent Citations (3)
| Title |
|---|
| BAOGUI QI: "A Network Pruning Method for Remote Sensing Image Scene Classification", 《 2019 IEEE INTERNATIONAL CONFERENCE ON SIGNAL, INFORMATION AND DATA PROCESSING (ICSIDP)》 * |
| 徐嘉荟: "基于模型剪枝的神经网络压缩技术研究", 《信息通信》 * |
| 靳丽蕾等: "一种用于卷积神经网络压缩的混合剪枝方法", 《小型微型计算机***》 * |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113516163A (zh) * | 2021-04-26 | 2021-10-19 | 合肥市正茂科技有限公司 | 基于网络剪枝的车辆分类模型压缩方法、装置及存储介质 |
| CN113516163B (zh) * | 2021-04-26 | 2024-03-12 | 合肥市正茂科技有限公司 | 基于网络剪枝的车辆分类模型压缩方法、装置及存储介质 |
| CN113255912A (zh) * | 2021-06-08 | 2021-08-13 | 深圳市商汤科技有限公司 | 神经网络的通道剪枝方法及装置、电子设备和存储介质 |
| CN113255912B (zh) * | 2021-06-08 | 2022-07-12 | 深圳市商汤科技有限公司 | 神经网络的通道剪枝方法及装置、电子设备和存储介质 |
| CN115618271A (zh) * | 2022-05-05 | 2023-01-17 | 腾讯科技（深圳）有限公司 | 对象类别识别方法、装置、设备及存储介质 |
| CN115618271B (zh) * | 2022-05-05 | 2023-11-17 | 腾讯科技（深圳）有限公司 | 对象类别识别方法、装置、设备及存储介质 |
| CN115169556A (zh) * | 2022-07-25 | 2022-10-11 | 美的集团(上海)有限公司 | 模型剪枝方法及装置 |
| CN115169556B (zh) * | 2022-07-25 | 2023-08-04 | 美的集团(上海)有限公司 | 模型剪枝方法及装置 |
| CN117217281A (zh) * | 2023-09-18 | 2023-12-12 | 华中科技大学 | 基于多视角特征的卷积神经网络轻量化剪枝方法及*** |
| CN117217281B (zh) * | 2023-09-18 | 2024-07-26 | 华中科技大学 | 基于多视角特征的卷积神经网络轻量化剪枝方法及*** |
| CN117035044B (zh) * | 2023-10-08 | 2024-01-12 | 安徽农业大学 | 基于输出激活映射的过滤器剪枝方法、图像分类***及边缘设备 |
| CN117035044A (zh) * | 2023-10-08 | 2023-11-10 | 安徽农业大学 | 基于输出激活映射的过滤器剪枝方法、图像分类***及边缘设备 |
| CN117152542A (zh) * | 2023-10-30 | 2023-12-01 | 武昌理工学院 | 一种基于轻量化网络的图像分类方法和*** |
| CN117152542B (zh) * | 2023-10-30 | 2024-01-30 | 武昌理工学院 | 一种基于轻量化网络的图像分类方法和*** |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112668630B (zh) | 2022-04-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112668630B (zh) | 一种基于模型剪枝的轻量化图像分类方法、***及设备 | |
| CN108764471B (zh) | 基于特征冗余分析的神经网络跨层剪枝方法 | |
| CN110334765B (zh) | 基于注意力机制多尺度深度学习的遥感影像分类方法 | |
| CN111626300B (zh) | 基于上下文感知的图像语义分割模型的图像分割方法及建模方法 | |
| CN111860495B (zh) | 一种层级化网络结构搜索方法、设备及可读存储介质 | |
| CN109840560B (zh) | 基于胶囊网络中融入聚类的图像分类方法 | |
| CN109272500B (zh) | 基于自适应卷积神经网络的织物分类方法 | |
| CN104850890B (zh) | 基于实例学习和Sadowsky分布的卷积神经网络参数调整方法 | |
| CN111611924B (zh) | 一种基于深度迁移学习模型的蘑菇识别方法 | |
| CN111860171B (zh) | 一种大规模遥感图像中不规则形状目标的检测方法及*** | |
| CN112308825B (zh) | 一种基于SqueezeNet的农作物叶片病害识别方法 | |
| CN112101364B (zh) | 基于参数重要性增量学习的语义分割方法 | |
| CN111723915A (zh) | 深度卷积神经网络的剪枝方法、计算机设备及应用方法 | |
| CN113159067A (zh) | 一种基于多粒度局部特征软关联聚合的细粒度图像辨识方法及装置 | |
| CN112862015A (zh) | 一种基于超图神经网络的论文分类方法及*** | |
| CN113269224A (zh) | 一种场景图像分类方法、***及存储介质 | |
| CN111931867B (zh) | 基于轻量级模型的新冠肺炎x射线图像分类方法及*** | |
| CN111627080A (zh) | 基于卷积神经与条件生成对抗性网络的灰度图像上色方法 | |
| CN108364073A (zh) | 一种多标记学习方法 | |
| Zhang et al. | A channel pruning algorithm based on depth-wise separable convolution unit | |
| CN110991247B (zh) | 一种基于深度学习与nca融合的电子元器件识别方法 | |
| CN111462090A (zh) | 一种多尺度图像目标检测方法 | |
| CN111310820A (zh) | 基于交叉验证深度cnn特征集成的地基气象云图分类方法 | |
| CN111783688B (zh) | 一种基于卷积神经网络的遥感图像场景分类方法 | |
| CN113327227A (zh) | 一种基于MobilenetV3的小麦头快速检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |