CN109978135A - 基于量化的神经网络压缩方法及*** - Google Patents

Abstract

本发明公开了一种基于量化的神经网络压缩方法及***，其中，该方法包括：S1，利用强化学习策略网络对深度卷积神经网络中卷积通道间的相互作用进行挖掘，获取卷积通道间的相关性信息；S2，根据相关性信息对深度卷积神经网络的原始激活值进行修正和量化。该方法通过挖掘卷积中各通道间的相互作用，利用其相关性信息对深度卷积神经网络的激活值进行修正，从而复原由量化导致的信息损失，解决由于模型表达能力下降导致信息损失的问题。

Description

基于量化的神经网络压缩方法及***

技术领域

本发明涉及神经网络压缩技术领域，特别涉及一种基于量化的神经网络压缩方法及***。

背景技术

深度卷积神经网络在目标检测、跟踪、人脸识别等多种视觉应用中都取得了最先进的性能。然而，由于计算和存储成本巨大，运行深度神经网络来完成各种视觉任务需要有较大的储存设备(固态硬盘等)和运算能力较强的计算设备，如GPU(Graphics ProcessingUnit，图形处理器)等，使得深度卷积神经网络在便携式设备中的部署受到非常大的限制。此外，有研究已经证明，在训练完成后的深度卷积神经网络中，参数具有很高的冗余度，这不仅造成了无用的计算，还影响了模型的性能。因此，减少深度卷积神经网络中的参数，简化深度卷积神经网络中的结构不仅能使其被广泛部署到各类设备上，也能提升其在各种任务中的性能。

尽管许多研究人员都对怎样获得表现优异的轻型卷积神经网络进行了广泛的研究，但目前仍存在许多问题。主要有以下几个原因：其一，虽然神经网络参数和结构有较高的冗余性，但由于神经网络可解释性较差，准确找到冗余参数或结构并将其去除变得十分困难；其次，同一种深度卷积神经网络被运用在不同的任务或输入的数据分布不同时，往往有不同的压缩方法；最后，压缩后的深度神经网络往往不具有原始网络的结构化特征，这使得其在现有深度学习平台上实现时较为困难。

目前，主要的深度神经网络压缩方法可以分为四类：基于剪枝的方法、基于量化的方法、基于低秩展开的方法以及基于新型网络结构设计的方法。基于剪枝的方法主要是针对深度卷积神经网络中具有高冗余性的子结构，对其进行剪枝，从而在去除网络冗余的基础上不损害网络的表达能力。比如相关技术中对于绝对值较小的权重进行剪枝，并对无权重连接的神经元进行删除；相关技术中利用LASSO回归找到深度卷积神经网络中冗余的通道，从而结构化地对网络通道进行剪枝。基于量化的方法主要体现在对深度卷积神经网络计算过程中的中间变量进行量化，用低精度的运算取代原本高精度的运算，达到加快计算速度且减小储存空间的目的。相关技术中将原始深度卷积神经网络中的权重量化为1和-1，将卷积中原本的乘加运算简化为加法运算；相关技术中更进一步将深度神经网络中的激活值也量化为1和-1，从而卷积的运算变为和或运算，计算成本大大降低；相关技术中还对深度卷积神经网络权重进行了多量化，大大提高了量化后深度卷积神经网络的性能。基于低秩展开的方法将卷积中复杂的乘加浮点运算展开为若干简单的运算。相关技术中将浮点数卷积核展开为若干由1和-1表示的卷积核，在几乎不损害网络性能的前提下减少了计算成本和储存成本。相关技术中将不同权重进行分组量化，来逼近原始浮点深度卷积神经网络的性能。基于新型网络结构设计的方法通过人为观察的先验知识，对深度卷积神经网络中冗余度较高的结构进行去除或者缩减，以获得更紧致的网络结构。相关技术中通过使用更小尺寸卷积，减少输入通道的方式将冗余的通道进行去除以压缩模型；相关技术中将传统卷积分解为深度卷积和逐点卷积，两种卷积分别提取无关联的信息，从而去除卷积中的冗余信息。基于二值量化的深度卷积神经网络压缩技术能够显著地降低卷积的计算复杂度，所以该种方法近年来被研究者广泛研究，但仍存在如下问题：

下面总结主流的目标匹配方法存在的问题：

对于只二值化权重的深度卷积神经网络压缩方法，其中的卷积核由原始的浮点数变成了量化的1和-1，卷积中原始的乘加操作变成了加法操作。该种网络的储存成本变为了原始的1/32，计算成本变为了原来的1/2。虽然这种压缩方法大大的减少了网络所需要的储存空间，由于加法操作仍然是浮点数运算，所以该种压缩方法对于网络的加速仍然是受到了很大限制，对于例如自动驾驶等一些实时性要求较高的应用而言，只二值化权重的深度卷积神经网络仍然不适用。

对于二值化权重和激活值的深度卷积神经网络的压缩方法，不仅其中的卷积核由原始的浮点数变为了1和-1，在中间变量经过激活层后也会被量化到1和-1，从而卷积的输入也是二值化的值，这就使得卷积的乘加操作变为了非常快速的和或运算，储存成本变为原来的1/32，计算成本降低为原来的1/64。但由于激活值含有样本丰富的信息，只用1和-1表示激活值使得网络的表达能力受到了严重影响，从而该种深度卷积神经网络在各种任务上的性能有明显下降。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种基于量化的神经网络压缩方法，该方法可以解决由于模型表达能力下降导致信息损失的问题。

本发明的另一个目的在于提出一种基于量化的神经网络压缩***。

为达到上述目的，本发明一方面实施例提出了一种基于量化的神经网络压缩方法，包括：S1，利用强化学习策略网络对深度卷积神经网络中卷积通道间的相互作用进行挖掘，获取卷积通道间的相关性信息；S2，根据所述相关性信息对所述深度卷积神经网络的原始激活值进行修正和量化。

本发明实施例的基于量化的神经网络压缩方法，通过挖掘卷积中各通道间的相互作用，利用其相关性信息对激活值进行修正，从而复原由量化导致的信息损失，解决由于模型表达能力下降导致信息损失的问题。

另外，根据本发明上述实施例的基于量化的神经网络压缩方法还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，在步骤S1之前还包括：

根据所述深度卷积神经网络的结构、训练数据集和传统的深度量化卷积神经网络模型预训练所述深度卷积神经网络，搭建与所述深度卷积神经网络结构匹配的所述强化学习策略网络，随机初始化所述强化学习策略网络的网络参数，并将所述深度卷积神经网络的相关性置0。

进一步地，在本发明的一个实施例中，在步骤S2之后还包括：

根据相关卷积通道的特征图对被修正特征图上的像素进行调整，以修复所述深度卷积神经网络的原始激活值在量化过程中损失的信息。

进一步地，在本发明的一个实施例中，所述S1进一步包括：

将所述深度卷积神经网络当前状态下各卷积通道间是否相关以及相关性大小作为状态，由所述强化学习策略网络生成需要相关或去相关的卷积通道对和所述卷积通道对相应的相关性大小，以作为所述强化学习策略网络的动作，将所述深度卷积神经网络的损失函数的下降程度和相关卷积通道激活值的大小关系作为所述强化学习策略网络的奖励函数来对所述强化学习策略网络进行训练，以挖掘所述深度卷积神经网络中不同卷积通道的相关性信息。

进一步地，在本发明的一个实施例中，所述根据所述相关性信息对所述深度卷积神经网络的激活值进行修正和量化，公式为：

其中，s为所有被影响的卷积通道，t为所有影响的卷积通道，和分别为修正前后的第l卷积层第s通道的第i行第j列的激活值，为第l卷积层中第t通道的第i行第j列的像素值，为修正附加项，由下式决定：

其中，N₀为激活值值域的半宽度，U₀为手工设定的超参数，表示卷积通道间相关性对于深度卷积神经网络的激活值影响，[U₀N₀]表示不超过[U₀N₀]的最大整数将激活值值域等间距划分成后，p_k表示第k段的起点。

为达到上述目的，本发明另一方面实施例提出了一种基于量化的神经网络压缩***，包括：挖掘模块，用于利用强化学习策略网络对深度卷积神经网络中卷积通道间的相互作用进行挖掘，获取卷积通道间的相关性信息；修复模块，用于根据所述相关性信息对所述深度卷积神经网络的原始激活值进行修正和量化。

本发明实施例的基于量化的神经网络压缩***，通过挖掘卷积中各通道间的相互作用，利用其相关性信息对激活值进行修正，从而复原由量化导致的信息损失，解决由于模型表达能力下降导致信息损失的问题。

另外，根据本发明上述实施例的基于量化的神经网络压缩***还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，还包括：预训练模块，

所述预训练模块，用于根据所述深度卷积神经网络的结构、训练数据集和传统的深度量化卷积神经网络模型预训练所述深度卷积神经网络，搭建与所述深度卷积神经网络结构匹配的所述强化学习策略网络，随机初始化所述强化学习策略网络的网络参数，并将所述深度卷积神经网络的相关性置0。

进一步地，在本发明的一个实施例中，还包括：调整模块，

所述调整模块，用于根据相关卷积通道的特征图对被修正特征图上的像素进行调整，以修复所述深度卷积神经网络的原始激活值在量化过程中损失的信息。

进一步地，在本发明的一个实施例中，所述挖掘模块具体用于，

将所述深度卷积神经网络当前状态下各卷积通道间是否相关以及相关性大小作为状态，由所述强化学习策略网络生成需要相关或去相关的卷积通道对和所述卷积通道对相应的相关性大小，以作为所述强化学习策略网络的动作，将所述深度卷积神经网络的损失函数的下降程度和相关卷积通道激活值的大小关系作为所述强化学习策略网络的奖励函数来对所述强化学习策略网络进行训练，以挖掘所述深度卷积神经网络中不同卷积通道的相关性信息。

进一步地，在本发明的一个实施例中，所述根据所述相关性信息对所述深度卷积神经网络的激活值进行修正和量化，公式为：

其中，s为所有被影响的卷积通道，t为所有影响的卷积通道，和分别为修正前后的第l卷积层第s通道的第i行第j列的激活值，为第l卷积层中第t通道的第i行第j列的像素值，为修正附加项，由下式决定：

其中，N₀为激活值值域的半宽度，U₀为手工设定的超参数，表示卷积通道间相关性对于深度卷积神经网络的激活值影响，[U₀N₀]表示不超过[U₀N₀]的最大整数，将激活值值域等间距划分成后，p_k表示第k段的起点。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本发明一个实施例的基于量化的神经网络压缩方法流程图；

图2为根据本发明一个具体实施例的基于量化的神经网络压缩方法流程图；

图3为根据本发明一个实施例的训练图；

图4为根据本发明一个实施例的深度卷积神经网络的卷积通道的相关性表示图；

图5为根据本发明一个实施例的基于量化的神经网络压缩***结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

现有的研究中潜在的问题：将深度卷积神经网络权重和激活值都进行二值化虽然能显著提高运算速度，但性能受到了较大影响，因为网络的表达能力不足以表示激活值中的丰富信息。所以，寻找深度卷积神经网络中的辅助信息，在将激活值中丢失的信息进行复原的同时不增加明显的计算量，不失为一种理想的网络压缩方法。

下面参照附图描述根据本发明实施例提出的基于量化的神经网络压缩方法及***。

首先将参照附图描述根据本发明实施例提出的基于量化的神经网络压缩方法。

图1为根据本发明一个实施例的基于量化的神经网络压缩方法流程图。

如图1所示，该基于量化的神经网络压缩方法包括以下步骤：

在步骤S1中，利用强化学习策略网络对深度卷积神经网络中卷积通道间的相互作用进行挖掘，获取卷积通道间的相关性信息。

如图2所示，在基于传统权重和激活值都二值化的深度卷积神经网络计算的基础上，利用强化学习模型挖掘到的通道间相关性信息，对于原始激活值进行修正，从而使得由于量化而损失的样本信息得到修复。

进一步地，S1具体包括：将深度卷积神经网络当前状态下各卷积通道间是否相关以及相关性大小作为状态，由强化学习策略网络生成需要相关或去相关的卷积通道对和卷积通道对相应的相关性大小，以作为强化学习策略网络的动作，将深度卷积神经网络的损失函数的下降程度和相关卷积通道激活值的大小关系作为强化学习策略网络的奖励函数来对强化学习策略网络进行训练，以挖掘深度卷积神经网络中不同卷积通道的相关性信息，并且对于不同的样本分布具有较好的泛化性。

进一步地，在本发明的一个实施例中，在步骤S1之前还包括：

根据深度卷积神经网络的结构、训练数据集和传统的深度量化卷积神经网络模型预训练深度卷积神经网络，搭建与深度卷积神经网络结构匹配的强化学习策略网络，随机初始化强化学习策略网络的网络参数，并将深度卷积神经网络的相关性置0。

具体地，对于给定的深度卷积神经网络结构和训练数据集，利用传统的深度量化卷积神经网络模型进行训练。搭建与给定深度卷积神经网络结构相匹配的强化学习策略网络，随机初始化网络参数，并将深度卷积神经网络的相关性置0(相互独立状态)。

进一步地，在根据强化学习策略网络对深度卷积神经网络中卷积通道间的相互作用进行挖掘时，先要训练强化学习策略网络。

首先，定义强化学习策略网络的状态、动作、转移函数和奖励函数如下：

状态：用矩阵和表示。表示在深度卷积神经网络的第l个卷积层中各通道间是否相关，若中第i行第j列的元素为1，则表明该卷积层中第i通道的激活值影响第j通道的激活值；若两通道之间无影响，则该元素为0。表示在深度卷积神经网络的第l个卷积层中相关通道间的相关性大小，其中第t行第s列的元素表示第t通道影响第s通道时的相关性大小。

如图4所示，该元素的值通过线性变换转换为相关通道激活值值域的均匀划分段数图中的为考虑通道间相关性后被影响通道激活值的修正。划分段数越多，则表示相关性越强。该矩阵的元素取值为绝对值不小于3的奇数值，正数表示正相关，负数表示负相关。

动作：动作分为两方面。对于各通道间是否相关，强化学习代理人的动作可以是连接新的通道对，断开已有通道对，或者保持现有连接关系不变；对于通道间的相关性大小，强化学习代理人可以在状态空间规定的奇数中进行选择。

转移函数：转移函数分为两方面。对于各通道间是否相关，若当前的连接边的密度比某一手工设定的阈值高，则根据策略网络输出的连接性转移矩阵的值进行蒙特卡洛采样对未连接通道进行连接；同时根据进行蒙特卡洛采样对已连接的通道对进行去连接；若上述两个操作都未能成功，则保持连接关系不变。对于通道间的相关性大小，令为策略网络输出的相关性转移矩阵的第t行，第s列的元素，根据该值由如下公式确认相关性大小：

其中，K₀为手工设定的定义相关性矩阵空间大小的参数，[x]表示不超过x的最大整数。

奖励函数：奖励函数由两部分构成。第一部分是要求强化学习代理人在采取新的动作后获得的连接性和相关性关系要使得深度卷积神经网络的目标函数的值下降：

其中，C(s_τ)为深度卷积神经网络采用强化学***均激活值要低，这样可以使得信息丰富的通道影响不丰富的通道，达到修复由量化带来的信息损失的目的：

其中，为第l卷积层中第t通道的第i行第j列的像素值，s为所有被影响的通道，t为所有影响的通道，N为当第t通道的激活值平均值超过第s通道越多时强化学习代理人获得的奖励越大，反之亦然。

如图3所示，利用编码器-解码器-循环神经网络的结构，将深度卷积神经网络中各层的相关性作为状态输入，并对于每一层输出下一步应该相关或去相关的通道对以及其相关性大小。深度卷积神经网络根据强化学习策略网络输出的相关性信息对激活值进行修正，从而得出策略网络做出这一步动作所获得的奖励，根据奖励值对策略网络进行梯度更新。当策略网络收敛时，通道间相关性信息固定，即可被用于图2的深度卷积神经网络前传过程对于激活值的修改中。

在步骤S2中，根据相关性信息对深度卷积神经网络的原始激活值进行修正和量化。

进一步地，在本发明的一个实施例中，在步骤S2之后还包括：

根据相关卷积通道的特征图对被修正特征图上的像素进行调整，以修复深度卷积神经网络的原始激活值在量化过程中损失的信息。

进一步地，利用挖掘到的相关性对深度卷积神经网络前传过程中的激活值进行修正，根据相关通道的特征图对被修正特征图上的像素进行调整，使得激活值中由于量化而损失的信息通过其相关通道的影响得到修复，深度卷积神经网络的信息保存能力大大加强。

具体地，当深度卷积神经网络中通道间的连接和相关性被强化学习策略网络发掘到后，根据下式对深度卷积神经网络前传过程中的激活值进行修改后再量化，可有效复原由于上一卷积层量化丢失的信息，并使用交叉熵作为目标函数对深度卷积神经网络进行微调训练：

其中，s为所有被影响的卷积通道，t为所有影响的卷积通道，和分别为修正前后的第l卷积层第s通道的第i行第j列的激活值，为第l卷积层中第t通道的第i行第j列的像素值，，为修正附加项，由下式决定：

其中，N₀为激活值值域的半宽度，U₀为手工设定的超参数，表示通道间相关性对于深度卷积神经网络的激活值影响。将激活值值域等间距划分成后，p_k表示第k段的起点。

最后，迭代S1和S2中的步骤，直至网络收敛或达到最大迭代步数。

综上，对于深度卷积神经网络，将其通道间的相关状态以及相关性大小输入到强化学习的策略网络中，然后强化学习代理人通过对卷积通道相关性空间的探索，给出下一步应该相关或者去相关的通道对，以及其相关性大小作为强化学习代理人的动作，将深度卷积神经网络损失函数的下降程度和相关通道激活值的大小关系作为强化学习代理人的奖励函数来对该策略网络进行训练，能够有效的使策略网络挖掘到通道间的相关性，从而提升深度卷积神经网络的性能；将挖掘得到的相关性应用于深度卷积神经网络过程中对于相关通道激活值的修改，能够使由于量化导致的信息损失通过通道间相关性得到复原，从而提高量化神经网络的性能，实验结果证明，本发明实施例的方法很大程度上提高了性能。

根据本发明实施例提出的基于量化的神经网络压缩方法，通过挖掘卷积中各通道间的相互作用，利用其相关性信息对激活值进行修正，从而复原由量化导致的信息损失，解决由于模型表达能力下降导致信息损失的问题。

其次参照附图描述根据本发明实施例提出的基于量化的神经网络压缩***。

图5为根据本发明一个实施例的基于量化的神经网络压缩***结构示意图。

如图5所示，该基于量化的神经网络压缩***10包括：挖掘模块100和修复模块200。

其中，挖掘模块100用于利用强化学习策略网络对深度卷积神经网络中卷积通道间的相互作用进行挖掘，获取卷积通道间的相关性信息。

修复模块200用于根据相关性信息对深度卷积神经网络的原始激活值进行修正和量化。

该基于量化的神经网络压缩***10可以解决由于模型表达能力下降导致信息损失的问题。

进一步地，在本发明的一个实施例中，还包括：预训练模块，

预训练模块，用于根据深度卷积神经网络的结构、训练数据集和传统的深度量化卷积神经网络模型预训练深度卷积神经网络，搭建与深度卷积神经网络结构匹配的强化学习策略网络，随机初始化强化学习策略网络的网络参数，并将深度卷积神经网络的相关性置0。

进一步地，在本发明的一个实施例中，还包括：调整模块，

调整模块，用于根据相关卷积通道的特征图对被修正特征图上的像素进行调整，以修复深度卷积神经网络的原始激活值在量化过程中损失的信息。

进一步地，在本发明的一个实施例中，挖掘模块具体用于，

将深度卷积神经网络当前状态下各卷积通道间是否相关以及相关性大小作为状态，由强化学习策略网络生成需要相关或去相关的卷积通道对和卷积通道对相应的相关性大小，以作为强化学习策略网络的动作，将深度卷积神经网络的损失函数的下降程度和相关卷积通道激活值的大小关系作为强化学习策略网络的奖励函数来对强化学习策略网络进行训练，以挖掘深度卷积神经网络中不同卷积通道的相关性信息。

进一步地，在本发明的一个实施例中，根据相关性信息对深度卷积神经网络的激活值进行修正和量化，公式为：

其中，s为所有被影响的卷积通道，t为所有影响的卷积通道，和分别为修正前后的第l卷积层第s通道的第i行第j列的激活值，为第l卷积层中第t通道的第i行第j列的像素值，为修正附加项，由下式决定：

其中，N₀为激活值值域的半宽度，U₀为手工设定的超参数，表示卷积通道间相关性对于深度卷积神经网络的激活值影响，[U₀N₀]表示不超过[U₀N₀]的最大整数，将激活值值域等间距划分成后，p_k表示第k段的起点。

需要说明的是，前述对基于量化的神经网络压缩方法实施例的解释说明也适用于该实施例的***，此处不再赘述。

根据本发明实施例提出的基于量化的神经网络压缩***，通过挖掘卷积中各通道间的相互作用，利用其相关性信息对激活值进行修正，从而复原由量化导致的信息损失，解决由于模型表达能力下降导致信息损失的问题。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种基于量化的神经网络压缩方法，其特征在于，包括以下步骤：

S1，利用强化学习策略网络对深度卷积神经网络中卷积通道间的相互作用进行挖掘，获取卷积通道间的相关性信息；

S2，根据所述相关性信息对所述深度卷积神经网络的原始激活值进行修正和量化。

2.根据权利要求1所述的基于量化的神经网络压缩方法，其特征在于，在步骤S1之前还包括：

根据所述深度卷积神经网络的结构、训练数据集和传统的深度量化卷积神经网络模型预训练所述深度卷积神经网络，搭建与所述深度卷积神经网络结构匹配的所述强化学习策略网络，随机初始化所述强化学习策略网络的网络参数，并将所述深度卷积神经网络的相关性置0。

3.根据权利要求1所述的基于量化的神经网络压缩方法，其特征在于，在步骤S2之后还包括：

根据相关卷积通道的特征图对被修正特征图上的像素进行调整，以修复所述深度卷积神经网络的原始激活值在量化过程中损失的信息。

4.根据权利要求1所述的基于量化的神经网络压缩方法，其特征在于，所述S1进一步包括：

将所述深度卷积神经网络当前状态下各卷积通道间是否相关以及相关性大小作为状态，由所述强化学习策略网络生成需要相关或去相关的卷积通道对和所述卷积通道对相应的相关性大小，以作为所述强化学习策略网络的动作，将所述深度卷积神经网络的损失函数的下降程度和相关卷积通道激活值的大小关系作为所述强化学习策略网络的奖励函数来对所述强化学习策略网络进行训练，以挖掘所述深度卷积神经网络中不同卷积通道的相关性信息。

5.根据权利要求1所述的基于量化的神经网络压缩方法，其特征在于，所述根据所述相关性信息对所述深度卷积神经网络的激活值进行修正和量化，公式为：

其中，s为所有被影响的卷积通道，t为所有影响的卷积通道，和分别为修正前后的第l卷积层第s通道的第i行第j列的激活值，为第l卷积层中第t通道的第i行第j列的像素值，为修正附加项，由下式决定：

其中，N₀为激活值值域的半宽度，U₀为手工设定的超参数，表示卷积通道间相关性对于深度卷积神经网络的激活值影响，[U₀N₀]表示不超过[U₀N₀]的最大整数，将激活值值域等间距划分成后，p_k表示第k段的起点。

6.一种基于量化的神经网络压缩***，其特征在于，包括：

挖掘模块，用于利用强化学习策略网络对深度卷积神经网络中卷积通道间的相互作用进行挖掘，获取卷积通道间的相关性信息；

修复模块，用于根据所述相关性信息对所述深度卷积神经网络的原始激活值进行修正和量化。

7.根据权利要求6所述的基于量化的神经网络压缩***，其特征在于，还包括：预训练模块，

所述预训练模块，用于根据所述深度卷积神经网络的结构、训练数据集和传统的深度量化卷积神经网络模型预训练所述深度卷积神经网络，搭建与所述深度卷积神经网络结构匹配的所述强化学习策略网络，随机初始化所述强化学习策略网络的网络参数，并将所述深度卷积神经网络的相关性置0。

8.根据权利要求6所述的基于量化的神经网络压缩***，其特征在于，还包括：调整模块，

所述调整模块，用于根据相关卷积通道的特征图对被修正特征图上的像素进行调整，以修复所述深度卷积神经网络的原始激活值在量化过程中损失的信息。

9.根据权利要求6所述的基于量化的神经网络压缩***，其特征在于，所述挖掘模块具体用于，

将所述深度卷积神经网络当前状态下各卷积通道间是否相关以及相关性大小作为状态，由所述强化学习策略网络生成需要相关或去相关的卷积通道对和所述卷积通道对相应的相关性大小，以作为所述强化学习策略网络的动作，将所述深度卷积神经网络的损失函数的下降程度和相关卷积通道激活值的大小关系作为所述强化学习策略网络的奖励函数来对所述强化学习策略网络进行训练，以挖掘所述深度卷积神经网络中不同卷积通道的相关性信息。

10.根据权利要求6所述的基于量化的神经网络压缩***，其特征在于，所述根据所述相关性信息对所述深度卷积神经网络的激活值进行修正和量化，公式为：

其中，s为所有被影响的卷积通道，t为所有影响的卷积通道，和分别为修正前后的第l卷积层第s通道的第i行第j列的激活值，为第l卷积层中第t通道的第i行第j列的像素值，为修正附加项，由下式决定：

其中，N₀为激活值值域的半宽度，U₀为手工设定的超参数，表示卷积通道间相关性对于深度卷积神经网络的激活值影响，[U₀N₀]表示不超过[U₀N₀]的最大整数，将激活值值域等间距划分成后，p_k表示第k段的起点。