CN112396178A - 一种提高cnn网络压缩效率的方法 - Google Patents
一种提高cnn网络压缩效率的方法 Download PDFInfo
- Publication number
- CN112396178A CN112396178A CN202011258076.6A CN202011258076A CN112396178A CN 112396178 A CN112396178 A CN 112396178A CN 202011258076 A CN202011258076 A CN 202011258076A CN 112396178 A CN112396178 A CN 112396178A
- Authority
- CN
- China
- Prior art keywords
- cnn network
- cnn
- network
- weight
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000006835 compression Effects 0.000 title claims abstract description 53
- 238000007906 compression Methods 0.000 title claims abstract description 53
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000013138 pruning Methods 0.000 claims abstract description 36
- 238000013139 quantization Methods 0.000 claims abstract description 20
- 230000000694 effects Effects 0.000 claims abstract description 11
- 210000002569 neuron Anatomy 0.000 claims abstract description 10
- 238000013527 convolutional neural network Methods 0.000 claims description 123
- 230000035945 sensitivity Effects 0.000 claims description 33
- 238000012549 training Methods 0.000 claims description 15
- 239000011159 matrix material Substances 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 8
- 230000004913 activation Effects 0.000 claims description 7
- 238000013528 artificial neural network Methods 0.000 claims description 6
- 238000004422 calculation algorithm Methods 0.000 abstract description 6
- 238000010206 sensitivity analysis Methods 0.000 abstract description 6
- 238000012545 processing Methods 0.000 abstract description 5
- 230000008859 change Effects 0.000 abstract description 3
- 230000009467 reduction Effects 0.000 abstract description 2
- 238000001994 activation Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000011002 quantification Methods 0.000 description 3
- 235000020288 ristretto Nutrition 0.000 description 3
- 238000013459 approach Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本申请提供一种提高CNN网络压缩效率的方法。其通过融合灵敏度分析、剪枝算法、设置Dropout率减少神经元激活数量、动态定点量化和稀疏索引等多种方式，利用Caffe框架对CNN网络进行压缩，降低CNN网络的计算复杂度，综合提高CNN的网络压缩效率。通过本发明所获得的CNN网络具有通用化、网络改动小、精度损失小的优势，能够在保证压缩率的基础上，进一步的避免现有单一压缩方式处理效果的局限性，保证CNN网络的识别效果。
Description
技术领域
本申请涉及图像处理技术领域，具体而言涉及一种提高CNN网络压缩效率的方法。
背景技术
现有卷积神经网络(CNN)在计算机视觉、语音识别和医疗影像处理等领域取得了巨大的成就，但其过高的存储代价以及计算复杂度，严重制约了深度学习在嵌入式移动设备上的部署。因此，对于卷积神经网络的压缩效率研究就变得尤为重要。
现有的常见压缩方法有低秩近似、参数量化、剪枝与稀疏约束、二值网络等。其中：
剪枝算法约束可以修剪网络连接，以保持原有的准确性。其在初始训练阶段之后，可移除所有权重低于阈值的连接。这种修剪方式可以将密集、完全连接的层转换为稀疏层，而着重学习重要的连接，而同时删除不重要的连接。然后重新训练稀疏网络，就可以利用剩余的连接补偿已删除的连接。修剪和再训练的阶段可以迭代地重复，以进一步降低网络复杂性。
参数量化可通过分析权值的动态范围，找到一个好的不动点表示，对浮点进行到定点的量化。从而通过对网络部分的量化，在小数表示和分类精度之间找到一个很好的折衷。
以上的各压缩方法在实际的应用中，虽然实现了压缩，但往往也具有一定的弊端：其中，低秩近似方法在网络规模较大时，矩阵分解空间大，计算量大；剪枝与稀疏压缩方法对原始网络改动大,重新训练困难；参数量化方法需要专用的运算库计算,通用化能力不足；二值网络方法精度损失大。
发明内容
本申请针对现有技术的不足，提供一种提高CNN网络压缩效率的方法，本申请针对现有CNN网络压缩效率较低和计算复杂度较高的问题，通过融合多种压缩方法最终有效提高CNN的网络压缩效率。本申请具体采用如下技术方案。
首先，为实现上述目的，提出一种提高CNN网络压缩效率的方法，其步骤包括：第一步，分别计算不同输入对于整个CNN网络输出的灵敏度
对不同输入所分别对应的灵敏度取平均值，获得平均灵敏度为
其中，p表示不同输入所分别对应的编号；第二步，选择全部输入分别对于整个CNN网络的灵敏度的向量
中最小的分量值,删除与该最小分量值相对应的输入节点后，对应找出CNN网络各层的剪枝阈值,利用剪枝阈值确定裁剪权重，按照裁剪权重相应对CNN网络中各层执行剪枝步骤；第三步，按照CNN网络中各层的连接数计算更新Dropout率，按照Dropout率分别设置CNN网络中各神经元的激活状态，对所述CNN网络进行再训练；第四步，对所述CNN网络进行动态定点量化，将CNN网络从32位浮动权重调整至具有8位固定权重；第五步，使用8位稀疏索引分别表示第四步中权重的三维数据中的位置；第六步，使用Caffe框架对第一步至第五步预处理后的CNN网络进行压缩，使用训练数据集训练所述CNN网络。
可选的，如上任一所述的提高CNN网络压缩效率的方法，其中，所述第一步中，具体按照以下步骤计算不同输入对于整个CNN网络输出的灵敏度：根据CNN网络的结构和权值，建立矩阵S(p)＝O(p)'×W×Y(p)'×V，其中，其中W表示CNN网络的输出层的权值矩阵，V表示CNN网络的输入层的权值矩阵，
表示CNN网络中的各输入向量，
表示CNN网络中的隐节点的活动函数；根据矩阵S计算I个输入分别对于整个网络的灵敏度分别表示为
其中，
可选的，如上任一所述的提高CNN网络压缩效率的方法，其中，所述第三步中，按照CNN网络中各层的连接数计算更新Dropout率的步骤具体包括：计Li为CNN网络中第i层中的连接数，计原始CNN网络中的连接数为Lio，计Si表示CNN网络中第i层中的神经元的数量，计重新训练后的CNN网络的连接数为Lir，其中，Li与Si满足等式Li＝SiSi-1，则修剪参数后的Dropout率
其中Do表示训练前原始Dropout率，Dr表示重新训练期间的Dropout率。
可选的，如上任一所述的提高CNN网络压缩效率的方法，其中，所述第四步中，对所述CNN网络进行动态定点量化，将CNN网络从32位浮动权重调整至具有8位固定权重的具体步骤包括：步骤401，以所述CNN网络作为输入，分析其权值的动态范围，确定一个不动点表示，根据32位浮动权重四舍五入的最近值进行从浮点到定点的量化；步骤402，以正向路径向CNN网络输入训练图像，分析CNN网络所生成的激活层以确定有效量化的统计参数；步骤403,为定点数的整数部分分配足够位数，然后执行二进制搜索，找到卷积权重、完全连接权重和层输出的最佳位数；步骤404，依次迭代量化卷积层、完全连接层以及输出层中各网络的权重，对CNN网络进行训练，找到卷积层、完全连接层以及输出层的权重的最佳比特宽度，将CNN网络从32位浮动权重调整至具有8位固定权重。
可选的，如上任一所述的提高CNN网络压缩效率的方法，其中，所述第五步中，使用8位稀疏索引分别表示第四步中权重的三维数据中的位置时，对超出系数索引表示范围的权重由8位系数索引的最大值添零表示。
可选的，如上任一所述的提高CNN网络压缩效率的方法，其中，所述第五步中，使用8位稀疏索引分别表示第四步中权重的三维数据后CNN网络的压缩率CR＝100/(％W*(WBW+SIBW)/32)，其中，％W表示最终稀疏权重百分比，WBW为权重位宽度(8)，SIBW为稀疏索引位宽度(8)。
可选的，如上任一所述的提高CNN网络压缩效率的方法，其中，所述第一步中，输出向量ok对输入xi的灵敏度为
可选的，如上任一所述的提高CNN网络压缩效率的方法，其中，所述第一步中还将神经网络对灵敏度的计算修正为具有P个输入，通过分别计算每个输入的灵敏度后，对所有P个输入的灵敏度求其各对应分量的平均值作为判断标准，从CNN网络中删除灵敏度达不到平均值的相应连接。
可选的，如上任一所述的提高CNN网络压缩效率的方法，其中，所述第六步中具体使用VGG16-SSD模型训练数据集，进行训练和识别。
有益效果
本申请通过融合灵敏度分析、剪枝算法、设置Dropout率减少神经元激活数量、动态定点量化和稀疏索引等多种方式，利用Caffe框架对CNN网络进行压缩，降低CNN网络的计算复杂度，综合提高CNN的网络压缩效率。通过本发明所获得的CNN网络具有通用化、网络改动小、精度损失小的优势，能够在保证压缩率的基础上，进一步的避免现有单一压缩方式的局限性，保证CNN网络的识别效果。
本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。
附图说明
附图用来提供对本申请的进一步理解，并且构成说明书的一部分，并与本申请的实施例一起，用于解释本申请，并不构成对本申请的限制。在附图中：
图1是本申请的提高CNN网络压缩效率的方法的步骤流程示意图；
图2是本申请中进行动态定点量化的步骤流程图。
具体实施方式
为使本申请实施例的目的和技术方案更加清楚，下面将结合本申请实施例的附图，对本申请实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于所描述的本申请的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本申请所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。
图1为根据本申请的一种提高CNN网络压缩效率的方法，其步骤包括：
第一步，分别计算不同输入对于整个CNN网络输出的灵敏度
对不同输入所分别对应的灵敏度取平均值，获得平均灵敏度为
其中，p表示不同输入所分别对应的编号；
第二步，选择全部输入分别对于整个CNN网络的灵敏度的向量
中最小的分量值,删除与该最小分量值相对应的输入节点后，对应找出CNN网络各层的剪枝阈值,利用剪枝阈值确定裁剪权重，按照裁剪权重相应对CNN网络中各层执行剪枝步骤；
第三步，按照CNN网络中各层的连接数计算更新Dropout率，按照Dropout率分别设置CNN网络中各神经元的激活状态，对所述CNN网络进行再训练；
第四步，对所述CNN网络进行动态定点量化，将CNN网络从32位浮动权重调整至具有8位固定权重；
第五步，使用8位稀疏索引分别表示第四步中权重的三维数据中的位置；
第六步，使用Caffe框架对第一步至第五步预处理后的CNN网络进行压缩，使用训练数据集训练所述CNN网络。
由此，本发明能够通过融合灵敏度分析、剪枝算法、设置Dropout率减少神经元激活数量、动态定点量化和稀疏索引等多种方式，利用Caffe框架对CNN网络进行压缩，降低CNN网络的计算复杂度，综合提高CNN的网络压缩效率。本发明由此所获得的CNN网络着重解决了计算复杂度问题。需要注意的是在再训练的情况下使用剪枝网络可以避免CNN网络处理精度会受到显著影响。本发明通过融合多种压缩方法最终实现有效提高CNN的网络压缩效率的效果。
未来卷积神经网络的压缩方法还需要考虑更多方面，比如在通用化、网络改动小、精度损失小等综合性能突出的压缩方法上，以最大化提升性能。针对这一需求，本发明可以在具体实现时通过以下的步骤，针对图像识别和图像分类领域中，CNN压缩效果不理想的问题进行CNN网络的压缩:
1.首先进行灵敏度分析，定义输出ok对输入xi的灵敏度为
神经网络对灵敏度计算修正为P个输入，通过计算每个输入的灵敏度后，对所有P个输入的灵敏度求其各对应分量的平均值来作为判断标准。其中采用标准的反向传播算法计算所给出的灵敏度，根据实际的网络结构和权值，可得矩阵S(p)＝O(p)'×W×Y(p)'×V，其中W是输出层的权值矩阵，V是输入层的权值矩阵，
输出节点的活动函数是o＝f(net)，隐节点的活动函数是y＝f(net)，则可根据矩阵S计算I个输入对于整个网络的灵敏度，向量可表示为
最终可得平均灵敏度为
2.利用剪枝阈值对剪枝过程进行处理，根据阈值裁剪权重。选择向量s’中最小的分量值,删除相对应的输入节点，找出神经网络各层的剪枝阈值。它是一个寻找阈值的过程，在不降低性能的情况下，只改变层的修剪阈值。
修剪网络连接，以保持原有的准确性。在初始训练阶段之后，我们移除所有权重低于阈值的连接。此修剪将密集、完全连接的层转换为稀疏层。学习哪些连接是重要的，并删除不重要的连接。然后重新训练稀疏网络，以便剩余的连接可以补偿已删除的连接。修剪和再训练的阶段可以迭代地重复，以进一步降低网络复杂性。
3.采用Dropout对神经网络进行再训练，根据步骤2可知剪枝已经减少了模型容量，再培训的Dropout率应该更小。令Li为层i中的连接数，原始网络的连接数为Lio，重新训练后的网络的连接数是Lir，Si是层i中的神经元的数量。Dropout对神经元起作用，并且Li与Si呈二次方变化，根据等式Li＝SiSi-1，修剪参数后的Dropout率遵循等式
其中Do表示原始Dropout率，Dr表示再训练期间的Dropout率。
4.执行量化处理以进一步增加压缩率，量化处理如图2所示，其使用了“动态定点量化”的量化算法。已知Ristretto以一个经过训练的模型作为输入，Ristretto可以对量化网络进行微调，将浮点网络通过以下步骤压缩为定点。
首先分析权值的动态范围，确定一个好的不动点表示，进行从浮点到定点的量化，使用四舍五入的最近值。然后在正向路径上运行几千个图像，分析生成的层激活以生成所需的有效量化的统计参数。Ristretto在定点数的整数部分使用足够的位来避免层激活的饱和。接下来，Ristretto执行二进制搜索，以找到卷积权重、完全连接权重和层输出的最佳位数，在这个步骤中，某个网络部分被量化，而其余部分则保持浮点。此时，卷积层和完全连接层的权重以及层输出应该使用独立的比特宽度，迭代量化其中一个网络部分找到每个部分的最佳比特宽度。为了测试准确度，在小数表示和分类精度之间找到了一个很好的折衷之后，得到的不动点网络将被重新训练。其中，对于所有目标网络，量化从32位浮动权重应用到8位固定权重。
为了弥补量化带来的精度下降，对上述步骤所得到的定点网络还可进行微调，微调过程中的采样课采用随机舍入法。
根据步骤4可知增加稀疏索引对压缩率有一定的提升。CNN网络对低精度权重值具有非常高的。
5.容忍度，可以只存储非常少量的权重值，比如使用8位稀疏索引来表示原始权重三维数据中的位置而不用原来的32位，超出可由8位表示最大值(255)，则添加零。％W表示最终稀疏权重百分比，包括加上这些零。CR定义为压缩率，WBW为权重位宽度(8)，SIBW为稀疏索引位宽度(8)，压缩率计算：
CR＝100/(％W*(WBW+SIBW)/32)
6.使用Caffe框架对预处理后的CNN网络进行了压缩，使用VGG16-SSD模型训练自己的数据集做识别。
Caffe全称Convolutional Architecture for Fast Feature Embedding，是一个兼具表达性、速度和思维模块化的深度学习框架。虽然其内核是用C++编写的，但Caffe有Python和Matlab相关接口。Caffe支持多种类型的深度学习架构，面向图像分类和图像分割，还支持CNN、RCNN、LSTM和全连接神经网络设计。Caffe提供了一套完整的层类型，包括：卷积、池、内积、非线性(如校正线性和逻辑)、局部响应规范化、元素操作和损耗(如softmax和hinge)。可以通过Caffe框架对CNN网络进行压缩。
考虑到单一的压缩方法并不能达到最好的压缩效果，因此，本发明通过上述方式融合多种压缩方法应用到CNN网络，即使用Caffe框架对CNN网络进行压缩时，增加了灵敏度分析、剪枝、量化等方法，降低计算复杂度，从而有效提高CNN的网络压缩效率
由此，本申请通过使用Caffe框架对CNN网络进行压缩时，增加了灵敏度分析、剪枝、量化等方法，从而提高CNN的网络压缩效率。对于所提出的融合多种压缩技术来有效实现CNN压缩效率提高的综合方法，与Top5基线精度相比，性能下降了0.7～7％，可能由于学习时间短，不足10个时代。如果对足够长的时间，精度将达到基线。
经实验证明，在除挤压网外的所有网络中，％W在7.22～39.08之间，这意味着超过一半的权重被消除。对于挤压网来说，由于它是为了最小化冗余重量而开发的，所以它的压缩率不像其他压缩网那样高。最后，尽管增加了稀疏索引，但本发明压缩率CR是原始CNN网络的3到27倍。
以上仅为本申请的实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些均属于本申请的保护范围。
Claims (9)
1.一种提高CNN网络压缩效率的方法，其特征在于，步骤包括：
第一步，分别计算不同输入对于整个CNN网络输出的灵敏度
对不同输入所分别对应的灵敏度取平均值，获得平均灵敏度为
其中，p表示不同输入所分别对应的编号；
第二步，选择全部输入分别对于整个CNN网络的灵敏度的向量
中最小的分量值,删除与该最小分量值相对应的输入节点后，对应找出CNN网络各层的剪枝阈值,利用剪枝阈值确定裁剪权重，按照裁剪权重相应对CNN网络中各层执行剪枝步骤；
第三步，按照CNN网络中各层的连接数计算更新Dropout率，按照Dropout率分别设置CNN网络中各神经元的激活状态，对所述CNN网络进行再训练；
第四步，对所述CNN网络进行动态定点量化，将CNN网络从32位浮动权重调整至具有8位固定权重；
第五步，使用8位稀疏索引分别表示第四步中权重的三维数据中的位置；
第六步，使用Caffe框架对第一步至第五步预处理后的CNN网络进行压缩，使用训练数据集训练所述CNN网络。
2.如权利要求1所述的提高CNN网络压缩效率的方法，其特征在于，所述第一步中，具体按照以下步骤计算不同输入对于整个CNN网络输出的灵敏度：
根据CNN网络的结构和权值，建立矩阵S(p)＝O(p)'×W×Y(p)'×V，其中，其中W表示CNN网络的输出层的权值矩阵，V表示CNN网络的输入层的权值矩阵，
表示CNN网络中的各输入向量，
表示CNN网络中的隐节点的活动函数；
根据矩阵S计算I个输入分别对于整个CNN网络的灵敏度分别表示为
其中，
3.如权利要求2所述的所述的提高CNN网络压缩效率的方法，其特征在于，所述第三步中，按照CNN网络中各层的连接数计算更新Dropout率的步骤具体包括：
计Li为CNN网络中第i层中的连接数，计原始CNN网络中的连接数为Lio，计Si表示CNN网络中第i层中的神经元的数量，计重新训练后的CNN网络的连接数为Lir，其中，Li与Si满足等式Li＝SiSi-1，则修剪参数后的Dropout率
其中Do表示训练前原始Dropout率，Dr表示重新训练期间的Dropout率。
4.如权利要求1-3所述的所述的提高CNN网络压缩效率的方法，其特征在于，所述第四步中，对所述CNN网络进行动态定点量化，将CNN网络从32位浮动权重调整至具有8位固定权重的具体步骤包括：
步骤401，以所述CNN网络作为输入，分析其权值的动态范围，确定一个不动点表示，根据32位浮动权重四舍五入的最近值进行从浮点到定点的量化；
步骤402，以正向路径向CNN网络输入训练图像，分析CNN网络所生成的激活层以确定有效量化的统计参数；
步骤403,为定点数的整数部分分配足够位数，然后执行二进制搜索，找到卷积权重、完全连接权重和层输出的最佳位数；
步骤404，依次迭代量化卷积层、完全连接层以及输出层中各网络的权重，对CNN网络进行训练，找到卷积层、完全连接层以及输出层的权重的最佳比特宽度，将CNN网络从32位浮动权重调整至具有8位固定权重。
5.如权利要求1-4所述的提高CNN网络压缩效率的方法，其特征在于，所述第五步中，使用8位稀疏索引分别表示第四步中权重的三维数据中的位置时，对超出系数索引表示范围的权重由8位系数索引的最大值添零表示。
6.如权利要求1-5所述的提高CNN网络压缩效率的方法，其特征在于，所述第五步中，使用8位稀疏索引分别表示第四步中权重的三维数据后CNN网络的压缩率CR＝100/(％W*(WBW+SIBW)/32)，其中，％W表示最终稀疏权重百分比，WBW为权重位宽度(8)，SIBW为稀疏索引位宽度(8)。
7.如权利要求2所述的所述的提高CNN网络压缩效率的方法，其特征在于，所述第一步中，输出向量ok对输入xi的灵敏度为
8.如权利要求7所述的提高CNN网络压缩效率的方法，其特征在于，所述第一步中还将神经网络对灵敏度的计算修正为具有P个输入，通过分别计算每个输入的灵敏度后，对所有P个输入的灵敏度求其各对应分量的平均值作为判断标准，从CNN网络中删除灵敏度达不到平均值的相应连接。
9.如权利要求2所述的所述的提高CNN网络压缩效率的方法，其特征在于，所述第六步中具体使用VGG16-SSD模型训练数据集，进行训练和识别。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011258076.6A CN112396178B (zh) | 2020-11-12 | 一种提高cnn网络压缩效率的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011258076.6A CN112396178B (zh) | 2020-11-12 | 一种提高cnn网络压缩效率的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112396178A true CN112396178A (zh) | 2021-02-23 |
| CN112396178B CN112396178B (zh) | 2024-08-02 |
Family
ID=
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107679617A (zh) * | 2016-08-22 | 2018-02-09 | 北京深鉴科技有限公司 | 多次迭代的深度神经网络压缩方法 |
| US20180046894A1 (en) * | 2016-08-12 | 2018-02-15 | DeePhi Technology Co., Ltd. | Method for optimizing an artificial neural network (ann) |
| CN108009625A (zh) * | 2016-11-01 | 2018-05-08 | 北京深鉴科技有限公司 | 人工神经网络定点化后的微调方法和装置 |
| CN109688990A (zh) * | 2016-09-06 | 2019-04-26 | 新感知公司 | 用于向用户提供附属感觉信息的方法和*** |
| CN110210618A (zh) * | 2019-05-22 | 2019-09-06 | 东南大学 | 动态修剪深度神经网络权重和权重共享的压缩方法 |
| CN110276450A (zh) * | 2019-06-25 | 2019-09-24 | 交叉信息核心技术研究院(西安)有限公司 | 基于多粒度的深度神经网络结构化稀疏***和方法 |
| CN110443359A (zh) * | 2019-07-03 | 2019-11-12 | 中国石油大学(华东) | 基于自适应联合剪枝-量化的神经网络压缩算法 |
| CN110568445A (zh) * | 2019-08-30 | 2019-12-13 | 浙江大学 | 一种轻量化卷积神经网络的激光雷达与视觉融合感知方法 |
| CN110880038A (zh) * | 2019-11-29 | 2020-03-13 | 中国科学院自动化研究所 | 基于fpga的加速卷积计算的***、卷积神经网络 |
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180046894A1 (en) * | 2016-08-12 | 2018-02-15 | DeePhi Technology Co., Ltd. | Method for optimizing an artificial neural network (ann) |
| CN107679617A (zh) * | 2016-08-22 | 2018-02-09 | 北京深鉴科技有限公司 | 多次迭代的深度神经网络压缩方法 |
| CN109688990A (zh) * | 2016-09-06 | 2019-04-26 | 新感知公司 | 用于向用户提供附属感觉信息的方法和*** |
| CN108009625A (zh) * | 2016-11-01 | 2018-05-08 | 北京深鉴科技有限公司 | 人工神经网络定点化后的微调方法和装置 |
| CN110210618A (zh) * | 2019-05-22 | 2019-09-06 | 东南大学 | 动态修剪深度神经网络权重和权重共享的压缩方法 |
| CN110276450A (zh) * | 2019-06-25 | 2019-09-24 | 交叉信息核心技术研究院(西安)有限公司 | 基于多粒度的深度神经网络结构化稀疏***和方法 |
| CN110443359A (zh) * | 2019-07-03 | 2019-11-12 | 中国石油大学(华东) | 基于自适应联合剪枝-量化的神经网络压缩算法 |
| CN110568445A (zh) * | 2019-08-30 | 2019-12-13 | 浙江大学 | 一种轻量化卷积神经网络的激光雷达与视觉融合感知方法 |
| CN110880038A (zh) * | 2019-11-29 | 2020-03-13 | 中国科学院自动化研究所 | 基于fpga的加速卷积计算的***、卷积神经网络 |
Non-Patent Citations (1)
| Title |
|---|
| 葛道辉等: "轻量级神经网络架构综述", 《软件学报》, vol. 31, no. 09, 5 December 2019 (2019-12-05), pages 2627 - 2653 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Liang et al. | Pruning and quantization for deep neural network acceleration: A survey | |
| CN111079781B (zh) | 基于低秩与稀疏分解的轻量化卷积神经网络图像识别方法 | |
| US20210089922A1 (en) | Joint pruning and quantization scheme for deep neural networks | |
| EP3915056A1 (en) | Neural network activation compression with non-uniform mantissas | |
| Wang et al. | QGAN: Quantized generative adversarial networks | |
| CN113837940A (zh) | 基于密集残差网络的图像超分辨率重建方法及*** | |
| CN112633477A (zh) | 一种基于现场可编程阵列的量化神经网络加速方法 | |
| US20220237456A1 (en) | Design and Training of Binary Neurons and Binary Neural Networks with Error Correcting Codes | |
| CN114402596A (zh) | 神经网络模型压缩 | |
| CN114970853A (zh) | 一种跨范围量化的卷积神经网络压缩方法 | |
| Lee et al. | Retraining-based iterative weight quantization for deep neural networks | |
| Yu et al. | Kernel quantization for efficient network compression | |
| CN110378466B (zh) | 基于神经网络差分的量化方法及*** | |
| CN116956997A (zh) | 用于时序数据处理的lstm模型量化重训练方法、***及设备 | |
| CN112396178B (zh) | 一种提高cnn网络压缩效率的方法 | |
| CN112396178A (zh) | 一种提高cnn网络压缩效率的方法 | |
| Parajuli et al. | Generalized ternary connect: end-to-end learning and compression of multiplication-free deep neural networks | |
| Ji et al. | Towards efficient on-chip learning using equilibrium propagation | |
| CN116227563A (zh) | 一种基于数据量化的卷积神经网络压缩与加速方法 | |
| CN113177627B (zh) | 优化***、重新训练***及其方法及处理器和可读介质 | |
| CN114037051A (zh) | 一种基于决策边界的深度学习模型压缩方法 | |
| Chang et al. | Ternary weighted networks with equal quantization levels | |
| Chai et al. | Low precision neural networks using subband decomposition | |
| Awan et al. | A theoretical cnn compression framework for resource-restricted environments | |
| CN111368976B (zh) | 基于神经网络特征识别的数据压缩方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20220106 Address after: 2209-c1, No. 19, Erquan East Road, Huizhi enterprise center, Xishan District, Wuxi City, Jiangsu Province, 214000 Applicant after: Wuxi yuspace Intelligent Technology Co.,Ltd. Address before: Room 1101, block C, Kangyuan smart port, No. 50, Jiangdong Street, Jialing, Jianye District, Nanjing City, Jiangsu Province, 210000 Applicant before: Jiangsu Yu Space Technology Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20220916 Address after: Room 1101, block C, Kangyuan smart port, No. 50, Jiangdong Street, Jialing, Jianye District, Nanjing City, Jiangsu Province, 210000 Applicant after: Jiangsu Yu Space Technology Co.,Ltd. Address before: 2209-c1, No. 19, Erquan East Road, Huizhi enterprise center, Xishan District, Wuxi City, Jiangsu Province, 214000 Applicant before: Wuxi yuspace Intelligent Technology Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20230824 Address after: 2209-c1, No. 19, Erquan East Road, Huizhi enterprise center, Xishan District, Wuxi City, Jiangsu Province, 214000 Applicant after: Wuxi yuspace Intelligent Technology Co.,Ltd. Address before: Room 1101, block C, Kangyuan smart port, No. 50, Jiangdong Street, Jialing, Jianye District, Nanjing City, Jiangsu Province, 210000 Applicant before: Jiangsu Yu Space Technology Co.,Ltd. |
|
| GR01 | Patent grant |