CN108805257A - 一种基于参数范数的神经网络量化方法 - Google Patents

Abstract

本发明提供一种基于参数范数的神经网络量化方法，该方法包括：对于给定的预训练神经网络参数模型，通过对所需量化层的参数的取值进行统计，划分量化中心；根据所选择的量化中心，计算每个相应量化层的参数的量化损失；将量化损失与神经网络训练参数模型的分类误差损失相加，作为总损失，并进行反向传播优化，同时量化中心也在优化时进行更新；待训练结束，根据量化中心对相应层进行量化操作，得到量化后的压缩模型。本发明提供的方法能够划分权重中心，并通过施加简单的量化损失，使用与传统方法相同的优化器，对神经网络模型进行量化，从而得到原始模型的压缩模型，减小网络存储体积与运算复杂性。

Description

一种基于参数范数的神经网络量化方法

技术领域

本发明涉及神经网络领域，尤其涉及一种基于参数范数的神经网络量化方法。

背景技术

早在上个世纪末，Yann LeCun等人已经使用神经网络成功识别了邮件上的手写邮编。近年来，不同的神经网络结构层出不穷，得到了远超于传统算法的良好效果，在计算机视觉、语音处理、推荐***等众多领域取得了巨大的突破，并且在互联网、智能设备、安防设备等行业中得到了广泛应用。

为了让神经网络达到较好的效果，在训练过程中基于大规模的标注数据集，对网络参数进行有监督的优化和学习。与此同时，为了更全面地对数据进行学习，对应的神经网络结构也在朝着大容量、高复杂度发展。但是，随着神经网络层数与参数数量的增加，运算时间和存储代价会大幅增长，导致现有神经网络的训练和部署需要依赖于大规模服务器集群。这对于移动互联网下的移动设备、穿戴设备，都是难以实现的方法。

针对神经网络的压缩问题，已有一些有效的算法被提出。其中较为著名的一种为量化方法，指的是将高精度浮点参数，量化为低精度表示，或者只保留少量的高精度量化中心。然而，这些算法大都基于传统的平均量化或者聚类量化算法，例如授权号为CN105184362B的发明专利通过K均值聚类获得量化码本。但这些方法并没有结合神经网络的特点进行优化，只是单独从数学、统计的角度进行量化。因此量化之后的结果往往相对于原始模型有较大的准确率下降，难以在实际的应用场景中使用。如何在神经网络的训练过程中结合量化操作，成为了一个新的研究方向。

发明内容

为解决上述问题，提供一种基于参数范数的神经网络量化算法，以实现神经网络训练与量化的结合，克服量化后准确率较低的问题。

本发明提供一种基于参数范数的神经网络量化方法，该方法包括：

对于给定的预训练神经网络参数模型，通过对所需量化层的参数的取值进行统计，划分量化中心；

根据所选择的量化中心，计算每个量化层的参数的量化损失；

将量化损失与预训练神经网络参数模型的损失相加，作为总损失，并进行反向传播优化；

判断是否达到训练要求，如果是则进入下一个步骤，如果否则对量化中心进行更新；

根据量化中心对相应的层进行量化操作，得到量化后的压缩模型。

通过自动划分量化中心，可以尽可能减小人工分析的负担，并且能够较好地适应不同网络参数。通过计算量化损失，可以得知目前网络参数与量化目标的差距，作为量化程度的评判和优化项目之一。通过量化损失与训练损失的结合，使神经网络在量化的同时能够保持较高的准确率。训练的同时，量化中心也会随着参数的变换不断更新，以降低训练过程中的误差。待量化训练结束后，通过得到的量化区域和中心，进行网络权重参数的量化，达到模型压缩的目的。

可选地，对量化中心的划分包括以下步骤：

对于一个神经网络训练模型，依次对所需量化的相应层l给定一个量化级数参数n_l，即量化中心数；

将l层的权重参数w_l进行统计，得到相应的最大值max(w_l)和最小值min(w_l)；

根据最大最小值，得到不同的量化中心和区域。

可选地，不同的量化中心和区域的具体公式如下：

l表示第l个网络权重参数层，d_l表示相邻量化中心或区域的间隔，表示不同量化区域的端点，表示第i个量化区域的范围，表示第i个量化中心的值，i为整数。

可选地，损失的计算包括以下步骤：

对于l层的参数w_l，根据其所在的量化区域和量化中心，进行参数范数损失计算。

可选地，是w_l中的第j个权重参数，通过对比范围，找到所在的量化区域，使以下公式成立；

计算的L₁损失或L₂损失：

求和后得到第l层的L₁损失或L₂损失：

m为该层的所有权重数目。

可选地，优化操作包括以下步骤：

从神经网络训练集中选取t个样本{x⁽¹⁾,x⁽²⁾,…,x^(t)}，用于网络的学习优化，其中x⁽ⁱ⁾所对应目标为y⁽ⁱ⁾；

计算神经网络的分类误差损失L_c，计算总量化损失L_q，以一定比例相加得到总损失L，公式为：

其中，θ为神经网络模型权重参数，f(x⁽ⁱ⁾；θ)为神经网络的输出，L_CE为交叉熵损失函数，α表示量化损失比例系数；

使用链式法则计算梯度：

依次更新权重参数：

θ＝θ-εg

其中ε为优化器的学习率。

可选地，量化中心更新包括以下步骤：

对于第l层的参数w_l，根据其所在的量化区域，进行参数的均值计算；

则优化训练一次后，第i个量化区域的均值为：

其中，为在第i个量化区域的权重参数，为第i个量化区域的权重参数数目，表示不同量化区域的端点，表示第i个量化中心的值，i为整数。

可选地，对第i个量化中心的更新采用如下公式：

β为量化中心更新率参数。

可选地，量化操作包括以下步骤：

根据每个层的参数的量化结果所在的量化区域和量化中心，依次对每个层的参数的量化结果进行量化操作。

可选地，量化操作的公式如下：

为第l层的参数的量化结果，表示第i个量化中心的值，是w_l中的第j个权重参数，表示不同量化区域的端点，表示第i个量化区域的范围。

本发明的优点在于：

通过加入网络基于参数范数的层量化损失，使得神经网络可以在量化的过程中对参数进行训练优化，降低量化带来的准确率损失。具体来说，包括：通过自动划分量化中心，可以尽可能减小人工分析的负担，并且能够较好地适应不同网络参数。通过计算量化损失，可以得知目前网络参数与量化目标的差距，作为量化程度的评判和优化项目之一。通过量化损失与训练损失的结合，使神经网络在量化的同时能够保持较高的准确率。训练的同时，量化中心也会随着参数的变换不断更新，以降低训练过程中的误差。待量化训练结束后，通过得到的量化区域和中心，进行网络权重参数的量化，达到模型压缩的目的。综上所述，通过本发明的方法能够在量化网络的同时减小准确率的降低。

附图说明

通过阅读下文具体实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出具体实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

附图1示出了根据本发明实施方式的中神经网络量化算法的示例性流程图；

附图2示出了根据本发明实施方式的中神经网络量化算法的网络结构图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施方式。虽然附图中显示了本公开的示例性实施方式，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

以下结合说明书附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明，并且在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

本发明实施例基于神经网络，提供一种基于参数范数的神经网络量化算法，本发明实施例提供的神经网络量化压缩的模型，如图1所示：通过自动划分量化中心，可以尽可能减小人工分析的负担，并且能够较好地适应不同网络参数。通过计算量化损失，可以得知目前网络参数与量化目标的差距，作为量化程度的评判和优化项目之一。通过量化损失与训练损失的结合，使神经网络在量化的同时能够保持较高的准确率。训练的同时，量化中心也会随着参数的变换不断更新，以降低训练过程中的误差。待量化训练结束后，通过得到的量化区域和中心，进行网络权重参数的量化，达到模型压缩的目的。

下面对本发明实施例中神经网络量化方法进行详细说明。

如图1所示，为本发明实施例中神经网络量化方法的示例性流程图，该方法包括以下步骤：

步骤S101：根据所输入的神经网络初始模型，依次对所需量化的层l给定一个量化级数参数n_l，即量化中心数。在本发明实施例中，所测试的网络模型为Alexnet，其结构如图2所示。将l层的权重参数w_l进行统计，得到相应的最大值max(w_l)和最小值min(w_l)。根据最大值和最小值，进行线性划分，得到不同的量化中心和量化区域

具体公式如下：

l表示第l个网络权重参数层，d_l表示相邻量化中心或区域的间隔，表示不同量化区域的端点，表示第i个量化区域的范围，表示第i个量化中心的值，i为整数。

步骤S102：对于l层的参数w_l，根据其所在的量化区域和量化中心，进行参数范数损失计算。是w_l中的第j个权重参数，通过对比范围，找到所在的量化区域i，计算的L₁损失或L₂损失，求和后得到第l层的L₁损失或L₂损失。分类误差的获得是通过网络输出与输入数据的标签通过交叉熵损失计算得来的。

具体公式如下：

计算的L₁损失或L₂损失：

求和后得到第l层的L₁损失或L₂损失：

m为该层的所有权重数目。

步骤S103：根据计算的分类误差损失和层量化损失，使用神经网络领域中的反向传播算法，对网络参数进行更新、优化。之后根据是否达到量化精度要求，是否达到预设训练次数等条件，判断继续训练或是完成训练，分别跳转到步骤S201和S104。如果没有达到训练要求，则跳转到步骤S201。如果达到训练要求，则跳转到步骤S104。

优化操作包括以下步骤：

从神经网络训练集中选取t个样本{x⁽¹⁾，x⁽²⁾，...，x^(t)}，用于网络的学习优化，其中x⁽ⁱ⁾所对应目标为y⁽ⁱ⁾；

计算神经网络的分类误差损失L_c，计算总量化损失L_q，以一定比例相加得到总损失L，公式为：

其中，θ为神经网络模型权重参数，f(x(i)；θ)为神经网络的输出，L_CE为交叉熵损失函数，α表示量化损失比例系数；

使用链式法则计算梯度：

依次更新权重参数：

θ＝θ-εg

其中ε为优化器的学习率。

步骤S104：量化结束，得到量化层的训练优化参数与多次更新的量化中心。根据参数其所在的量化区域和量化中心，依次进行量化操作，使参数量化值等于其参数值所在量化区域的量化中心值。

量化操作包括以下步骤：

q_l为第l层的参数w_l的量化结果，根据其所在的量化区域和量化中心，依次进行量化操作：

即参数量化值等于其参数值所在量化区域的量化中心值。

步骤S201：对于第l层的参数w_l，根据其所在的量化区域，进行参数的均值计算，得到每个量化区域在更新网络权重参数后的平均值结合更新前的量化中心值，对第i个量化中心进行更新。结束后跳转至流程S102。

量化中心更新包括以下步骤：

对于第l层的参数w_l，根据其所在的量化区域，进行参数的均值计算；

则优化训练一次后，第i个量化区域的均值为：

其中，为在第i个量化区域的权重参数，为第i个量化区域的权重参数数目，表示不同量化区域的端点，表示第i个量化中心的值，i为整数；

对第i个量化中心的更新采用如下公式：

β为量化中心更新率参数。

本发明通过加入网络基于参数范数的层量化损失，使得神经网络可以在量化的过程中对参数进行训练优化，降低量化带来的准确率损失。具体来说，包括：通过自动划分量化中心，可以尽可能减小人工分析的负担，并且能够较好地适应不同网络参数。通过计算量化损失，可以得知目前网络参数与量化目标的差距，作为量化程度的评判和优化项目之一。通过量化损失与训练损失的结合，使神经网络在量化的同时能够保持较高的准确率。训练的同时，量化中心也会随着参数的变换不断更新，以降低训练过程中的误差。待量化训练结束后，通过得到的量化区域和中心，进行网络权重参数的量化，达到模型压缩的目的。综上所述，通过本发明的方法能够在量化网络的同时减小准确率的降低。

综上，为本发明实施例中的步骤。从而，通过本发明实施例提供的方法能够使训练优化与参数量化相结合，并提高量化后网络的准确率。

本领域内的技术人员应明白，本发明的实施例可提供为方法、***、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种基于参数范数的神经网络量化方法，其特征在于，所述方法包括：

对于给定的预训练神经网络参数模型，通过对所需量化层的参数的取值进行统计，划分量化中心；

根据所选择的量化中心，计算每个量化层的参数的量化损失；

将所述量化损失与所述预训练神经网络参数模型的分类误差损失相加，作为总损失，并进行反向传播优化；

判断是否达到训练要求，如果是则进入下一个步骤，如果否则对量化中心进行更新；

根据量化中心对相应的层进行量化操作，得到量化后的压缩模型。

2.如权利要求1所述的神经网络量化方法，其特征在于，对所述划分量化中心包括以下步骤：

对于一个神经网络模型，依次对所需量化的每个相应层给定一个量化级数参数，即量化中心数；

将每个相应层的权重参数进行统计，得到所述权重参数的最大值和最小值；

根据所述最大值和最小值，得到不同的量化中心和区域。

3.如权利要求2所述的神经网络量化方法，其特征在于，所述不同的量化中心和区域，具体公式如下：

其中，l表示第l个网络权重参数层，w_l表示权重参数，max(w_l)表示最大值，min(w_l)表示最小值，d_l表示相邻量化中心或区域的间隔，表示不同量化区域的端点，表示第i个量化区域的范围，表示第i个量化中心的值，其中i为整数。

4.如权利要求1所述的神经网络量化方法，其特征在于，所述计算每个量化层的参数的量化损失包括以下步骤：

对于所需量化的层的参数，根据其所在的量化区域和量化中心，进行参数范数损失计算。

5.如权利要求3或4所述的神经网络量化方法，其特征在于，通过对比所述量化区域的范围，找到所在的量化区域，是w_l中的第j个权重参数，使以下公式成立：

计算的L₁损失或L₂损失：

求和后得到第l层的L₁损失或L₂损失：

其中m为该层的所有权重数目。

6.如权利要求1所述的神经网络量化方法，其特征在于，所述反向传播优化操作包括以下步骤：

从所述预训练神经网络参数模型的数据集选取多个样本；

计算所述预训练神经网络参数模型的分类误差损失，计算总量化损失，分类误差损失、总量化损失以一定比例相加得到总损失；

使用链式法则计算梯度；

依次更新权重参数。

7.如权利要求1或3所述的神经网络量化方法，其特征在于，所述量化中心更新包括以下步骤：

对于相应量化层的参数，根据其所在的量化区域，进行参数的均值计算；

优化训练一次后，得到第i个量化区域的均值为：

其中，为在第i个量化区域的权重参数，为第i个量化区域的权重参数数目。

8.如权利要求7所述的神经网络量化方法，其特征在于，

对第i个量化中心更新采用如下公式：

其中，表示第i个量化区域的均值，表示第i个量化中心的值，i为整数，β为量化中心更新率参数。

9.根据权利要求1所述的神经网络量化方法，其特征在于，所述量化操作包括以下步骤：

根据每个层的参数的量化结果所在的量化区域和量化中心，依次对每个层的参数的量化结果进行量化操作。

10.根据权利要求9所述的神经网络量化方法，其特征在于，所述量化操作的公式如下：

为第l层的参数的量化结果，表示第i个量化中心的值，是w_l中的第j个权重参数，表示不同量化区域的端点，表示第i个量化区域的范围。