CN108985453A - 基于非对称三元权重量化的深度神经网络模型压缩方法 - Google Patents

Abstract

本发明公开了一种基于非对称三元权重量化的深度神经网络模型压缩方法，包括：在深度神经网络训练时，在每一次前向计算之前，将网络的每一层浮点权重量化为非对称的三元值，参数更新阶段使用原始的浮点型网络权重；对训练完成的深度神经网络进行压缩存储。去除深度神经网络的冗余参数，对网络模型进行压缩，有效地提升了量化方法在大数据集上的识别准确率。

Description

基于非对称三元权重量化的深度神经网络模型压缩方法

技术领域

本发明涉及卷积神经网络的压缩技术领域，具体地涉及一种基于非对称三元权重量化的深度神经网络模型压缩方法。

背景技术

近年来，随着深度学习算法的快速发展，深度神经网络在语音识别、图像分类和自然语言处理等一系列机器学习任务中取得了最先进的成果。然而，典型的深度神经网络通常具有数以百万计的参数，使其很难被部署到只有有限存储与计算资源的嵌入式设备当中，如何实现深度神经网络的模型压缩成为当前深度学习的重要研究方向。

目前，典型的模型压缩方法分为两种，其一是优化网络的结构从而减少网络的参数数目，ICLR2016最佳论文Deep Compression详细的介绍了此种方法，可以实现数十倍的模型压缩比，但是此种方法实现难度较大，步骤较为复杂。其二为通过降低网络精度来降低网络存储，比如目前较为常见的二值化网络(Binary Connect)和对称三值化网络(Ternaryweight networks),上述方法在较小的数据集上取得了不低于浮点型网络的准确率，但是在较大的数据集如ImageNet上的准确率损失较大。

目前最新的三元权重量化方法(Ternary weight networks)会将网络权重量化到{-α,0,+α}三元值当中，其采用的量化方法为：

在量化方法的选择当中，其认为经过训练之后，网络的正负权重满足相同的分布，极大的限制了三元权重网络的表达能力。

发明内容

针对上述存在的技术问题，本发明目的是：提供了一种基于非对称三元权重量化的深度神经网络模型压缩方法，去除深度神经网络的冗余参数，对网络模型进行压缩，有效地提升了量化方法在大数据集上的识别准确率。

本发明的技术方案是：

一种基于非对称三元权重量化的深度神经网络模型压缩方法，包括以下步骤：

S01：在深度神经网络训练时，在每一次前向计算之前，将网络的每一层浮点权重量化为非对称的三元值，参数更新阶段使用原始的浮点型网络权重；

S02：对训练完成的深度神经网络进行压缩存储。

优选的技术方案中，所述三元值为：

其中l代表对应的网络层，是量化过程中采用的阈值，为对应的缩放因子。

优选的技术方案中，通过L2范式最小来降低量化过程所带来的损失，公式如下：

对于任意给定的阈值缩放因子为：

其中并且表示中元素的个数；

阈值因子为：

优选的技术方案中，采用近似计算的方法获取阈值因子的近似值：

其中I^p＝{i|W_li≥0|i＝1,2…n}，Iⁿ＝{i|W_li<0|i＝1,2,…n}。

优选的技术方案中，采用2-bit编码的方式进行压缩存储，在压缩过程中，通过移位操作将16个三元值存储为一个32-bit定点整数。

本发明还公开了一种基于非对称三元权重量化的深度神经网络模型压缩装置，包括：

一非对称三元权重网络训练模块，在深度神经网络训练时，在每一次前向计算之前，将网络的每一层浮点权重量化为非对称的三元值，参数更新阶段使用原始的浮点型网络权重；

一非对称三元权重存储模块，对训练完成的深度神经网络进行压缩存储。

优选的技术方案中，所述三元值为：

其中l代表对应的网络层，是量化过程中采用的阈值，为对应的缩放因子。

优选的技术方案中，通过L2范式最小来降低量化过程所带来的损失，公式如下：

对于任意给定的阈值缩放因子为：

其中并且表示中元素的个数；

阈值因子为：

优选的技术方案中，采用近似计算的方法获取阈值因子的近似值：

其中I^p＝{i|W_li≥0|i＝1,2…n}，Iⁿ＝{i|W_li<0|i＝1,2,…n}。

优选的技术方案中，采用2-bit编码的方式进行压缩存储，在压缩过程中，通过移位操作将16个三元值存储为一个32-bit定点整数。

与现有技术相比，本发明的优点是：

1、针对正负权重进行不同的约束以提高三值化网络的表达能力，并通过L2约束获取正负阈值与对应缩放因子之间的关系，降低量化过程中带来的损失，有效地提升了量化方法在大数据集上的识别准确率。

2、去除深度神经网络的冗余参数，对网络模型进行压缩，降低深度神经网络模型存储，使其能够较容易的移植到嵌入式设备中执行。

附图说明

下面结合附图及实施例对本发明作进一步描述：

图1为本发明量化网络训练流程图；

图2为本发明权重编码方法示意图；

图3为VGG16量化网络在CIFAR-10数据集上准确率；

图4为AlexNet量化网络在ImageNet上准确率。

具体实施方式

以下结合具体实施例对上述方案做进一步说明。应理解，这些实施例是用于说明本发明而不限于限制本发明的范围。实施例中采用的实施条件可以根据具体厂家的条件做进一步调整，未注明的实施条件通常为常规实验中的条件。

实施例：

深度神经网络通常包含数以百万计的参数使得其很难被应用到只有有限资源的设备当中，但是通常网络的大部分参数都是冗余的，因此本本发明的主要目的就是去除冗余的参数，实现模型压缩。技术的实现主要分为三步：

(一)：非对称三元权重量化过程：

非对称三元权重量化方法在网络训练时将传统的浮点型网络权重量化三元值当中，量化方法采用阈值设置的方法，公式如下：

公式当中是量化过程中采用的阈值，任意的浮点数可根据其范围分配到不同的三元值中。为对应的缩放因子，用来减少量化过程带来的损失。在上面设置的阈值方法中，存在四个独立的参数因子。

本发明采用L2范式最小来降低量化过程所带来的损失，公式如下：

将公式(1)带入到(2)中，公式可以转换为：

其中并且表示中元素的个数。是互相独立的阈值因子，是一个与无关的独立常量值。

公式(3)求解可以转换为：

对于任意给定的阈值缩放因子可以计算为：

之后将带入到公式(4)中，阈值因子可以计算为：

上式中均为正值，由于公式(7)(8)没有精确的计算值，所以在实验过程中，假设网络权重W_l经过训练之后其正负值仍然满足基本动态分布，即可采用近似计算的方法获取阈值因子的近似值：

其中I^p＝{i|W_li≥0|i＝1,2…n}，Iⁿ＝{i|W_li<0|i＝1,2,…n}，最终结合公式(5)、(6)、(9)、(10)并代入公式(1)当中，即可从原有的浮点型权重当中量化得到对应的三元权重值，实现网络权重的离散化处理。

(二)非对称三元权重网络训练过程

非对称三元权重量化方法将网络的每一层浮点权重都约束到了三元值当中，极大的减少了参数的冗余情况，有效的防止可过拟合的发生，但是对于一个已经训练完成的网络直接采用该量化方法会对网络的准确率产生很大的影响，因此需要将量化方法添加到网络的训练过程中从而减少网络准确率损失。网络的训练方法与传统浮点型网络类似，训练流程如图(1)所示。

图(1)显示了非对称三元权重网络训练的两个关键点：其一是量化方法需要添加在每一次前向计算之前，网络的损失值是由量化后的权重计算得到的，主要目的是获取量化方法对最终结果的影响。其二是参数更新阶段使用的原始的浮点型网络权重而非量化后的三元权重，目的在于获取微小的梯度更新值使得网络始终朝着最优的方向更新。

(三)非对称三元权重存储方法

非对称三元权重网络经过训练之后，每一层网络权重都会量化到当中，其中l代表对应的网络层，但是三元权重仍然是浮点型的表示，为了实现模型存储的压缩，本技术采用了2-bit编码的方式进行压缩存储，具体的编码方式如图(2)所示。2-bit编码可以存储四种数值，本技术中采用了其中三种表示，在压缩过程中，可以通过移位操作将16个三元值存储为一个32-bit定点整数，理论上可以获得16倍左右的模型压缩比。

非对称三元权重网络(Asymmetric Ternary Networks ATNs)在CIFAR-10和ImageNet数据集上的训练过程如图(3)(4)所示，相比于传统的三元权重网络(TernaryWeight Networks TWNs)，本发明有效的提升了量化网络在CIFAR-10和ImageNet数据集上的识别准确率，具体的结果如表(1)(2)所示：

表(1)VGG网络在CIFAR-10数据集上准确率

表(2)AlexNet网络在ImageNet数据集上准确率

可以看出ATNs在CIFAR-10数据集上相比于TWNs提升了0.41％的识别准确率，同时比浮点型网络识别率还高了0.33％。在ImageNet数据集上，ATNs相比于TWNs提高了2.25％的准确率，相比于浮点型网络只降低了0.63％，有效地提升了量化方法在大数据集上的识别准确率。

上述实例只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人是能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡根据本发明精神实质所做的等效变换或修饰，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种基于非对称三元权重量化的深度神经网络模型压缩方法，其特征在于，包括以下步骤：

S01：在深度神经网络训练时，在每一次前向计算之前，将网络的每一层浮点权重量化为非对称的三元值，参数更新阶段使用原始的浮点型网络权重；

S02：对训练完成的深度神经网络进行压缩存储。

2.根据权利要求1所述的基于非对称三元权重量化的深度神经网络模型压缩方法，其特征在于，所述三元值为：

其中l代表对应的网络层，是量化过程中采用的阈值，为对应的缩放因子。

3.根据权利要求2所述的基于非对称三元权重量化的深度神经网络模型压缩方法，其特征在于，通过L2范式最小来降低量化过程所带来的损失，公式如下：

对于任意给定的阈值缩放因子为：

其中并且表示中元素的个数；

阈值因子为：

4.根据权利要求3所述的基于非对称三元权重量化的深度神经网络模型压缩方法，其特征在于，采用近似计算的方法获取阈值因子的近似值：

其中I^p＝{i|W_li≥0|i＝1,2…n}，Iⁿ＝{i|W_li<0|i＝1,2,…n}。

5.根据权利要求1所述的基于非对称三元权重量化的深度神经网络模型压缩方法，其特征在于，采用2-bit编码的方式进行压缩存储，在压缩过程中，通过移位操作将16个三元值存储为一个32-bit定点整数。

6.一种基于非对称三元权重量化的深度神经网络模型压缩装置，其特征在于，包括：

一非对称三元权重网络训练模块，在深度神经网络训练时，在每一次前向计算之前，将网络的每一层浮点权重量化为非对称的三元值，参数更新阶段使用原始的浮点型网络权重；

一非对称三元权重存储模块，对训练完成的深度神经网络进行压缩存储。

7.根据权利要求6所述的基于非对称三元权重量化的深度神经网络模型压缩装置，其特征在于，所述三元值为：

其中l代表对应的网络层，是量化过程中采用的阈值，为对应的缩放因子。

8.根据权利要求7所述的基于非对称三元权重量化的深度神经网络模型压缩装置，其特征在于，通过L2范式最小来降低量化过程所带来的损失，公式如下：

对于任意给定的阈值缩放因子为：

其中并且表示中元素的个数；

阈值因子为：

9.根据权利要求8所述的基于非对称三元权重量化的深度神经网络模型压缩装置，其特征在于，采用近似计算的方法获取阈值因子的近似值：

其中I^p＝{i|W_li≥0|i＝1,2…n}，Iⁿ＝{i|W_li<0|i＝1,2,…n}。

10.根据权利要求6所述的基于非对称三元权重量化的深度神经网络模型压缩装置，其特征在于，采用2-bit编码的方式进行压缩存储，在压缩过程中，通过移位操作将16个三元值存储为一个32-bit定点整数。