CN109635936A

CN109635936A - 一种基于重训练的神经网络剪枝量化方法

Info

Publication number: CN109635936A
Application number: CN201811641867.XA
Authority: CN
Inventors: 杨常星; 钟宇清; 黄磊; 莫冬春; 宋蕴; 胡俊; 陈伟; 钟天浪
Original assignee: Hangzhou National Chip Science & Technology Co Ltd
Current assignee: Hangzhou National Chip Science & Technology Co Ltd
Priority date: 2018-12-29
Filing date: 2018-12-29
Publication date: 2019-04-16

Abstract

本发明涉及一种基于重训练的神经网络剪枝量化方法。本发明方法首先载入已训练好的神经网络模型，对训练好的神经网络模型中的权重和数据同时进行剪枝处理和量化处理，对权重更新以及迭代重训练，将完成重训练得到的神经网络模型进行测试集评估，依据评估结果判断是否保存该模型；同时根据设定的条件，判断是否重新进行下一轮重训练；最后依据神经网络模型压缩比评价指标，从保存的模型中输出最优的剪枝量化模型。本发明方法将剪枝量化技术加入到深度网络重训练中，对模型的权重和数据同时做剪枝量化处理，通过重训练，得到一种更适合于推断的权重分布，在保持原模型精度下，取得较好的网络压缩收益，提升神经网络模型在实际推断中的速度。

Description

一种基于重训练的神经网络剪枝量化方法

技术领域

本发明属于计算机技术领域，具体是深度学习技术领域，涉及一种基于重训练的神经网络剪枝量化方法。

背景技术

当前，深度神经网络在计算机视觉领域不断取得突破性进展，其技术已被推广到诸多相关领域，如语音识别、文本理解、翻译、游戏等，同样取得了杰出成果。但随着深度神经网络性能的提升，模型的参数量和计算量也越来越大，严重制约了模型的推断速度。对实时性要求高的终端设备，资源需求高的神经网络模型更是大大增加了部署难度。此外，训练好的神经网络往往耗费了巨大的资源，如果不能加以利用，也是一种浪费。

神经网络模型相比其它传统机器学习方法，具有更强的表征能力。在采用神经网络模型训练时，为了追求更高的模型性能，选取的网络结构复杂度往往会大于问题所需，导致训练好的神经网络模型具有很高的冗余性。因此，在保持模型精度的情况下，对深度网络模型进行压缩，受到越来越多的关注。

训练好的神经网络模型本身具有一定的稀疏度，即模型的权重包含一定的零值，且模型中存在较多接近于零的非零值。所以将这些小值通过剪枝量化并重训练“去除掉”，可以达到压缩模型的效果，从而提升推断过程。此外神经网络的层具有如下特点：低层网络主要提取丰富的纹理特征信息，高层网络主要提取语义信息。随着网络加深，这些数据的响应也是越来越稀疏的。图1展示了基于训练好的vgg16神经网络模型，第一层卷积conv1、第三层卷积conv2等部分层数据的响应，每层中小块的个数对应该层输出通道的个数。可以看出随着网络层结构的加深，数据稀疏性越来越明显。所以对模型的数据做剪枝量化处理，也会对模型权重的稀疏性带来收益。

针对神经网络模型的压缩问题，现有的解决方法有：

(1)对深度网络模型进行直接剪枝量化处理(不重训练)，该方法虽然处理简单，但是难以兼顾模型精度和压缩收益。实际中许多神经网络模型不允许或仅允许轻微的模型精度下降，导致直接剪枝方法很难取得好的压缩收益。而当前存在的重训练方法则仅对网络的权重做处理，未考虑对数据的处理同样会对模型压缩带来收益。实际上对模型权重和数据同时做剪枝量化处理，等同于对模型权重做了双重约束，通过重训练获得的模型更具稀疏性。

(2)重新设计新型的轻量级网络，如shufflenet，squeezenet，mobilenet_v1，mobilenet_v2等。在imagenet数据集上，针对分类任务，采用这些更小的模型获得相近甚至超过Alexnet的模型精度。但这种方法则需要具有一定的创新性想法。

(3)采用知识蒸馏的方法提炼小网络，虽然蒸馏的网络(student)相比原来的网络(teacher)小，但仍需要重新训练，耗费仍然较大。而且在保持原有模型精度不变的情况下，不一定成功蒸馏出小网络。

发明内容

本发明目的就是针对现存技术的不足，提供一种基于重训练的神经网络剪枝量化方法。

该方法具体步骤包括：

S1.载入已训练好的神经网络模型；

S2.对步骤S1中训练好的神经网络模型中的权重和数据同时进行剪枝处理和量化处理；

S3.在步骤S2基础上对权重更新以及迭代重训练，所述对权重更新是步骤S2中剪枝量化前的权重；即利用剪枝量化后的权重和数据，对剪枝量化前的权重更新以及迭代重训练；

S4.将步骤S3完成重训练得到的神经网络模型进行测试集评估，依据评估结果判断是否保存该模型；同时根据设定的条件，判断是否返回步骤S1重新进行下一轮重训练；

S5.依据神经网络模型压缩比评价指标，从步骤S4保存的模型中输出最优的剪枝量化模型。

进一步，步骤S2具体包括：

S21.根据实际需求，选择神经网络模型部分或全部的网络层做剪枝量化处理，所述的网络层包含网络权重和输入的数据；至少选取一层网络做剪枝量化处理，所述的网络层结构具体包括：卷积神经网络CNN，循环神经网络层RNN，深度神经网络DNN；

S22.根据选择的待处理网络层，制定剪枝量化策略，即分别设置权重的剪枝比例和量化比特数、数据的剪枝比例和量化比特数；

所述的剪枝量化策略为选取剪枝比例PR和量化比特数QB；

S23.进行剪枝量化处理：对各层的剪枝量化处理采用先做剪枝后做量化，或先量化后剪枝，或只做剪枝，或只做量化。

进一步，步骤S3具体包括：

S31.根据剪枝量化处理后的权重和数据计算前向传播损失Loss；

S32.根据Loss，结合链式法则得到梯度，利用梯度通过反向传播更新权重；至此为剪枝量化的一个周期过程；

S33.根据设定的内部迭代步数m，进行步骤S2～S3的迭代重训练。

进一步，步骤S4具体包括：

S41.将重训练得到的神经网络模型进行测试集评估，得到重训练剪枝量化模型精度；

S42.将重训练剪枝量化模型精度与设定阈值θ进行对比，若大于或等于θ，则保存该次重训练的模型，若小于θ，不保存；θ＝原始模型精度-允许模型精度的最大损失；

S43.判断模型重训练次数是否达到设定的外部迭代步数n，若达到，结束该重训练，否则返回步骤S1开始新一轮重训练。

进一步，步骤S5中的神经网络模型压缩比评价指标C＝1-P×Q,P为权重剪枝率，Q为权重量化率，W′为权重非零量，W为权重总量，b为量化比特数，B为模型比特数；压缩比评价指标值越大说明模型压缩率越高，将压缩比评价指标值最大的作为最优的剪枝量化模型输出。

本发明方法将剪枝量化技术，加入到深度网络重训练中，对模型的权重和数据同时做剪枝量化处理，其本质是对模型的权重做双重约束。通过对处理的模型重训练，得到一种更适合于推断的权重分布，从而保持模型精度的同时取得较好的网络压缩收益。提升神经网络模型在实际推断中的速度。

附图说明

图1是神经网络vgg16在不同网络层上提取的特征示例图；

图2是本发明方法流程图；

图3是神经网络常规的前向传播和反向传播的流程图；

图4是本发明中剪枝量化在前向传播和反向传播中一个实施例的流程图；

图5是本发明的一个实施例的结果图。

具体实施方法

下面结合附图，借助实施例详细描述本发明。但应注意到：除非另外特殊说明，否则在实施例中阐述涉及的相对设置、数字表达式、字母表达式和数值不限定本发明的范围，提供这写实施例仅为了让相关人员更便于理解本发明。对相关领域的技术人员公知的技术方法可能不做过多描述。但一定条件下，本发明所述技术、方法和***应当被视为说明书的一部分。

神经网络中基本的计算模块包含两部分:输入数据x，权重W^T,描述为：y＝W^Tx。

根据神经网络的具体结构不同，W^T和x会有不同的变型。若是卷积神经网络层，W^T、x可用四维形式表示；若是深度神经网络层，W^T、x可用二维形式表示；若是循环神经网络，也可用类似的多维形式表示。

此外，在线性输出y之后，还会进一步做其它的特征提取处理操作，如LRN，BN，Sigmoid,RELU及变体等。可用统一描述为：

目前的神经网络训练大多采用监督学习训练，所以根据预测z和标签l，计算前向损失Loss。然后借助链式法则求导进行反向传播更新。为了更好的解释，图3展示了上述前向传播和后向传播的基本过程。

本发明的基于重训练的神经网络剪枝量化方法及***不仅适用于稠密性的神经网络，而且对轻量级的网络依然有效。接下来，将以轻量级的网络mobilenet_v2为实施例，阐述本发明的具体实施。

首先，图2是根据本申请的发明适用于mobilenet_v2深度卷积神经网络的流程图。主要涉及两个迭代训练，内部迭代是对某种剪枝量化处理后的重训练，外部迭代是对不同的剪枝量化处理策略的重训练。

将已训练好的mobilenet_v2模型权重载入重训练***中。

选取部分或全部网络层用于剪枝量化处理，本实施例中选取所有的mobilenet_v2网络层，即对整个模型做剪枝量化处理。由于剪枝量化先后顺序不影响最终结果，本实施例采用了先量化后剪枝方式。

对mobilenet_v2模型权重和数据设定量化比特。原则上量化比特可选[2,T]中的任意整数。具体量化比特位可根据神经网络模型和实际需求选取，由于训练的mobilenet_v2是在32位浮点型数据类型上，此处量化比特统一设定为8bit。

根据已设定的量化比特对mobilenet_v2模型权重和数据量化。

设定mobilenet_v2模型的剪枝比例，这里提供三种方式：其一随机法，即随机初始化剪枝比例；其二一致法，即所有层的权重和数据的剪枝比例设定相同；其三侧重法，对权重和数据占整个模型越大，设定的剪枝比例越高。为了得到较好的剪枝策略，在外部迭代中会覆盖上述三种的选取剪枝比例的策略。

根据已设定的剪枝比例对mobilenet_v2模型权重和数据进行小值清零处理。

然后，对量化剪枝后的权重和数据，做其它相关处理，如BN、RELU等。

接下来，其它相关处理之后，计算模型的损失，由于该实施例是分类任务，采用交叉熵损失。并进行反向传播更新模型权重。在反向传播中，根据链式法则求导。其中对剪枝量化处理的偏导置为1，即剪枝量化操作无更新处理。实质只对剪枝量化处理前的权重进行更新。图4展示了本发明方法的前向传播和后向传播过程，需要注意的是为了突出本发明的特点，图中对部分操作做了省略描述。

模型反向更新后，根据设定的内部迭代步数重训练。需要注意的是，由于模型重训练相当于finetune训练。为防止模型发散，学习率相比初始训练要小，相应的迭代步数也不易过大。针对mobilenet_v2模型，重训练学习率设为1.0e-4，内部迭代步数5000.图5给出了基于重训练的神经网络剪枝量化方法及***的在mobilenet_v2上实施例的结果图，图中给出了第一层卷积conv1，第5层卷积conv5，第15层卷积conv15，重训练前后的权重分布。图中第一列对应未量化剪枝前的权重分布，第二、三、四列对应第0步、3000步、5000步剪枝量化及重训练的权重分布。

在达到迭代步数后，将重训练后的mobilenet_v2模型过测试集，评估精度。根据精度是否满足设定阈值，决定是否保存该次剪枝量化的重训练模型。这里按重训练模型精度不下降一个点为准则，若模型精度满足保存要求，则在保存模型的同时计算模型压缩率。

此外，在达到迭代步数时，还要判断是否所有的模型剪枝量化策略已迭代完。若没有，开始新一次的剪枝量化迭代。若完成，则从所保存的模型中挑选压缩比最大的模型作为最终的输出模型。

Claims

1.一种基于重训练的神经网络剪枝量化方法，其特征在于该方法具体步骤包括：

S1.载入已训练好的神经网络模型；

2.根据权利要求1所述的基于重训练的神经网络剪枝量化方法，其特征在于步骤S2具体包括：

所述的剪枝量化策略为选取剪枝比例PR和量化比特数QB；

3.根据权利要求1所述的基于重训练的神经网络剪枝量化方法，其特征在于步骤S3具体包括：

4.根据权利要求1所述的基于重训练的神经网络剪枝量化方法，其特征在于步骤S4具体包括：

5.根据权利要求1所述的基于重训练的神经网络剪枝量化方法，其特征在于步骤S5中，所述的神经网络模型压缩比评价指标C＝1-P×Q,P为权重剪枝率，Q为权重量化率，W′为权重非零量，W为权重总量，b为量化比特数，B为模型比特数；压缩比评价指标值越大说明模型压缩率越高，将压缩比评价指标值最大的作为最优的剪枝量化模型输出。

6.如权利要求2所述的一种基于重训练的神经网络剪枝量化方法，其特征在于：所述的剪枝处理，是将绝对值小于设定阈值τ的元素按设定的阈值进行置0处理，保留绝对值大于等于设定阈值τ的元素，τ＝f(N×PR),f(·)为排序挑选函数，N为当前层权重或数据的总个数；所述的量化处理，是指将浮点型的权重和数据量化成定点的数值。

7.根据权利要求2所述的基于重训练的神经网络剪枝量化方法，其特征在于所述的卷积神经网络CNN包括常规卷积、空洞卷积、反卷积、分组卷积、分离卷积。

8.根据权利要求2所述的基于重训练的神经网络剪枝量化方法，其特征在于所述的剪枝比例PR为清除权重和数据中小值所占的比例，其中PR∈[0,1)；所述的量化比特数QB是将网络权重和数据量化成的比特数，其中QB∈[2,T]，T为神经网络模型的训练时浮点类型；当PR＝0,QB∈(1,T)，只做量化处理；当PR∈(0,1),QB＝T，只做剪枝处理；当所述PR∈(0,1),QB∈[2,T)，剪枝和量化均用于处理。

9.根据权利要求4所述的基于重训练的神经网络剪枝量化方法，其特征在于所述原始模型精度是未剪枝量化的原始模型在测试集上获得的，与所述步骤S4的测试集是同一数据集。

10.根据权利要求1所述的基于重训练的神经网络剪枝量化方法，其特征在于所述的剪枝量化方法直接用于神经网络原始模型训练中，即在原始训练中对权重直接进行双重约束，最终获得的神经网络模型便是稀疏化的模型。