CN108510083A - 一种神经网络模型压缩方法以及装置 - Google Patents

Abstract

本发明提供了一种神经网络模型压缩方法以及装置，其中，该方法包括：将训练数据输入待压缩神经网络模型以及目标神经网络模型；基于待压缩神经网络模型对训练数据提取的特征向量和分类结果，对目标神经网络模型进行训练，得到压缩神经网络模型；其中，目标神经网络模型参数的数量少于待压缩神经网络模型参数的数量。本发明实施例基于待压缩神经网络模型对训练数据提取的特征向量和分类结果，引导目标神经网络模型进行训练，最终得到的压缩神经网络模型和待压缩神经网络模型对同一训练数据的分类结果是相同的，进而不会在模型压缩过程中造成精度的损失，能够在保证精度的前提下，对模型的尺寸进行压缩，满足对于精度和模型尺寸的双重需求。

Description

一种神经网络模型压缩方法以及装置

技术领域

本发明涉及机器学习技术领域，具体而言，涉及一种神经网络模型压缩方法以及装置。

背景技术

随着神经网络在图像、语音、文本等领域的迅猛发展，推动了一系列智能产品的落地。为了让神经网络更好学习训练数据的特征以提升模型效果，相应用于表示神经网络模型的参数迅速增长，神经网络的层数不断增加，导致深度神经网络模型存在着参数众多，模型训练和应用过程计算量大的不足；这导致基于神经网络的产品大多依靠服务器端运算能力的驱动，非常依赖良好的运行环境和网络环境，造成神经网络模型的应用范围受到限制，例如无法实现嵌入式应用。为了实现神经网络模型的嵌入式应用，需要将神经网络模型的体积压缩到一定范围以下。

当前的模型压缩方法一般包括如下几种：其一，剪枝，也即在训练完大模型后，去掉网络模型中权重很小的参数，然后继续对模型进行训练；其二，通过权值共享达到缩减参数数量的目的；其三，量化，一般而言，神经网络模型的参数都是用的32bit长度的浮点型数表示，实际上不需要保留那么高的精度，可以通过量化，比如用0～255表示原来32个bit所表示的精度，通过牺牲精度来降低每一个权值所需要占用的空间。其四，神经网络二值化，也即将网络模型的参数均使用二进制数表示，以达到减小模型体尺寸的目的。

但是上述几种方法都是直接在待压缩模型上直接进行模型压缩，且以牺牲模型的精度为前提进行模型压缩的，往往无法达到对精度的使用需求。

发明内容

有鉴于此，本发明实施例的目的在于提供一种神经网络模型压缩方法以及装置，能够在保证神经网络模型精度的情况下，对模型的尺寸进行压缩。

第一方面，本发明实施例提供了一种神经网络模型压缩方法，该方法包括：

将训练数据输入待压缩神经网络模型以及目标神经网络模型；

基于所述待压缩神经网络模型对所述训练数据提取的特征向量和分类结果，对目标神经网络模型进行训练，得到压缩神经网络模型；

其中，所述目标神经网络模型参数的数量少于所述待压缩神经网络模型参数的数量。

第二方面，本发明实施例还提供一种神经网络模型压缩装置，该装置包括：

输入模块，用于将训练数据输入待压缩神经网络模型以及目标神经网络模型；

训练模块，用于基于所述待压缩神经网络模型对所述训练数据提取的特征向量和分类结果，对目标神经网络模型进行训练，得到压缩神经网络模型；

其中，所述目标神经网络模型参数的数量少于所述待压缩神经网络模型参数的数量。

本申请实施例提供的神经网络模型压缩方法以及装置，在对待压缩神经网络模型进行压缩的时候，会预先架构一个参数的数量少于待压缩神经网络模型参数的数量的目标神经网络，然后将训练数据输入到待压缩神经网络模型以及目标神经网络模型中，基于待压缩神经网络模型对训练数据提取的特征向量和分类结果，引导目标神经网络模型进行训练，得到压缩神经网络模型，最终得到的压缩神经网络模型和待压缩神经网络模型对同一训练数据的分类结果应当是相同的，进而也不会在模型压缩过程中造成精度的损失，因而能够在保证精度的前提下，对模型的尺寸进行压缩，满足对于精度和模型尺寸的双重需求。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出本申请实施例一提供的神经网络模型压缩方法的流程图；

图2示出了本申请实施例二提供的一种基于待压缩神经网络模型对训练数据的分类结果，对目标神经网络模型进行训练的具体方法的流程图；

图3示出了本申请实施例二提供的一种模型压缩过程示意图；

图4示出了本申请实施例三提供的第一比对操作的流程图；

图5示出了本申请实施例四还提供的对第一特征向量以及第二特征向量进行相似度匹配，并根据相似度匹配的结果对目标神经网络进行本轮训的具体方法流程图；

图6示出了本申请实施例四提供的相似度确定操作的流程图；

图7示出了本申请实施例五提供的另外一种对第一特征向量以及第二特征向量进行相似度匹配，并根据相似度匹配的结果对目标神经网络进行本轮训的具体方法的流程图；

图8示出了本申请实施例五提供的相似度确定操作的流程图；

图9示出了本申请实施例六提供的神经网络模型压缩方法的流程图；

图10示出了本申请实施例七提供的神经网络模型压缩装置的结构示意图；

图11示出了本申请实施例八提供的一种计算机设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

为便于对本实施例进行理解，首先对本发明实施例所公开的一种神经网络模型压缩方法进行详细介绍，该方法可以用于对各种神经网络模型的尺寸的压缩。

参见图1所示，本申请实施例一提供的神经网络模型压缩方法，包括：

S101：将训练数据输入待压缩神经网络模型以及目标神经网络模型。

在具体实现的时候，待压缩神经网络模型是体积较大的神经网络模型，且已经通过训练数据进行训练的，由单个神经网络构成的或者多个神经网络组合构成的神经网络模型。相比于目标神经网络模型而言，其具有数量更多的参数。这里的参数可以包括神经网络的特征提取层的层数和/或每层特征提取层中涉及的参数。

因此，为了将待压缩神经网络模型进行压缩，需要将训练数据输入到待压缩神经网络模型中，使用待压缩网络模型对训练数据的特征进行学习，实现对待压缩神经网络模型的训练，得到完成训练的待压缩神经网络模型，且该完成训练的待压缩神经网络模型作为需要压缩的神经网络模型。

目标神经网络模型则是预先架构好的神经网络模型，其较之待压缩神经网络模型具有更少的参数，例如具有更少的特征提取层的层数，更简单的神经网络结构，特征提取层具有数量更少的参数。

此处，需要注意的是，若该待压缩神经网络模型是使用无监督的训练方法训练得到，则训练数据是无标签的；若该待压缩神经网络模型是使用有监督的训练方法得到，则训练数据是有标签的；若该待压缩神经网络模型是使用迁移学习训练方法得到，则训练数据既可以是有标签的，也可以是无标签的。

S102：基于待压缩神经网络模型对训练数据提取的特征向量和分类结果，对目标神经网络模型进行训练，得到压缩的神经网络模型；

在具体实现的时候，将训练数据输入待压缩神经网络模型以及目标神经网络模型，是要使用待压缩网络模型对训练数据的分类结果，引导目标神经网络模型的训练，并且在对目标神经网络模型进行训练的过程中，使之对训练数据的分类结果，尽量的与带压缩神经网络模型对训练数据的分类结果接近。

本申请实施例提供的神经网络模型压缩方法，在对待压缩神经网络模型进行压缩的时候，会预先架构一个参数的数量少于待压缩神经网络模型参数的数量的目标神经网络，然后将训练数据输入到待压缩神经网络模型以及目标神经网络模型中，基于待压缩神经网络模型对训练数据提取的特征向量和分类结果，引导目标神经网络模型进行训练，得到压缩神经网络模型，这个过程并非是在带压缩神经网络模型上进行操作，且最终得到的压缩神经网络模型和待压缩神经网络模型对同一训练数据的分类结果应当是相同的，进而也不会在模型压缩过程中造成精度的损失，因而能够在保证精度的前提下，对模型的尺寸进行压缩，满足对于精度和模型尺寸的双重需求。

具体地，待压缩网络模型一般包括：待压缩神经网络和待压缩分类器。目标神经网络模型一般包括：目标神经网络和目标分类器；训练得到的压缩神经网络模型包括：压缩神经网络和压缩分类器。

参见图2所示，本申请实施例二还提供一种基于待压缩神经网络模型对训练数据的分类结果，对目标神经网络模型进行训练的具体方法，包括：

S201：使用待压缩神经网络为输入的训练数据提取第一特征向量，并使用目标神经网络为输入的训练数据提取第二特征向量。

S202：对第一特征向量以及第二特征向量进行相似度匹配，并根据相似度匹配的结果对目标神经网络进行本轮训练；

S203：将第一特征向量输入至待压缩分类器，得到第一分类结果；

将第二特征向量输入至目标分类器，得到第二分类结果；

S204：根据第一分类结果和第二分类结果的比对结果，对目标神经网络以及目标分类器进行本轮训练；

S205：经过对目标神经网络以及目标分类器进行多轮训练，得到压缩神经网络模型。

在具体实现的时候，参见图3所示的模型压缩过程示意图中，为了方便对本申请实施例加以描述，在该实施例中引入两个功能模块，相似度匹配模块和比对模块。其中，相似度匹配模块用于将第一特征向量和第二特征向量进行相似度匹配；比对模块用于将第一分类结果和第二分类结果进行比对。

训练数据被输入至待压缩神经网络模型和目标神经网络模型。训练数据被输入至待压缩神经网络模型之后，会执行两个过程，首先，待压缩神经网络会对训练数据进行特征提取，得到训练数据的第一特征向量；然后将第一特征向量传输至待压缩分类器，待压缩分类器基于第一特征向量，对第一特征向量表征的训练数据进行分类，得到第一分类结果。

类似地，训练数据输入至目标神经网络模型之后，也会执行两个过程，首先，目标神经网络对训练数据进行特征提取，得到训练数据的第二特征向量；然后将第二特征向量传输至目标分类器，目标分类器基于第二特征向量，对第二特征向量表征的训练数据进行分类，得到第二分类结果。

对待压缩神经网络模型进行压缩的过程，实际上就是实现通过待压缩神经网络模型引导目标神经网络模型的训练，使得训练得到的压缩神经网络模型和待压缩神经网络模型对同一训练数据进行分类的结果一致，也即，待压缩神经网络和压缩神经网络对同一训练数据进行特征提取时，所得到的特征向量之间的相似度要尽可能的接近；同时，待压缩分类器和压缩分类器分别基于尽可能接近的特征向量，对其表征的训练数据进行分类时，分类的结果是一致的。因而，在对目标神经网络模型进行训练的时候，要对目标神经网络和目标分类器均进行训练。

在训练过程中，目标神经网络的参数会受到第一特征向量和第二特征向量的相似度匹配结果的影响，根据相似度匹配的结果，调整目标神经网络的参数。由于目标神经网络和待压缩神经网络中参数的不同，导致第一特征向量和第二特征向量很难达到一致。因而需要尽量使得目标神经网络对训练数据提取的第二特征向量尽量的向第一特征向量接近；同时，目标神经网络的参数还会受到目标分类器对第二特征向量表征的训练数据分类的第二分类结果的影响，要在第二分类结果和第一分类结果不一致时，调整目标神经网络的参数，使得目标分类器得到的第二分类结果与第一分类结果保持一致。

目标分类器的参数会受到第一分类结果和第二分类结果比对结果的影响，在第一分类结果和第二分类记过不一致时，调整目标分类器的参数，使得第二分类结果与第一分类结果一致。

进而，在将训练数据输入待压缩神经网络模型以及目标神经网络模型后，首先使用待压缩神经网络为数据的训练数据提取第一特征向量，并使用目标神经网络为输入的训练数据提取第二特征向量，然后将同一训练数据的第一特征向量和第二特征向量传输至相似度匹配模块，使用相似度匹配模块对第一特征向量和第二特征向量进行相似度匹配，并根据相似度匹配对目标神经网络进行本轮训练；同时，将第一特征向量输入至待压缩分类器，得到第一分类结果，并将第二特征向量输入至目标分类器，得到第二分类结果，然后将第一分类结果和第二分类结果传输至比对模块，使用比对模块对第一分类结果和第二分类结果进行比对，并根据比对的结果，对目标神经网络和目标分类器进行本轮训练。

经过对目标神经网络以及目标分类器进行多轮训练，得到压缩神经网络模型。

这里需要注意的是，本轮训练是指使用同一训练数据对目标神经网络模型进行训练，直至目标神经网络对训练数据进行特征提取得到的第二特征向量，以及进行分类得到的第二分类结果均满足预设的条件；多轮训练是指，使用多个训练数据对目标神经网络进行训练，每个训练数据对目标神经网络进行一轮训练。

具体地，本申请实施例三还提供一种根据第一分类结果和第二分类结果的比对结果，对目标神经网络以及目标分类器进行本轮训练的具体方法，包括：执行如下第一比对操作，直至目标神经网络模型的分类损失符合预设损失范围，完成对目标神经网络以及目标分类器的本轮训练。

参见图4所示，第一比对操作包括：

S401：比对第一分类结果和第二分类结果是否一致；如果是，则跳转至S402；如果否，则跳转至S403。

S402：完成对目标神经网络以及目标分类器的本轮训练；本流程结束。

S403：生成第一反馈信息，并基于第一反馈信息对目标神经网络和目标分类器进行参数调整；

S404：基于调整后的参数，使用目标神经网络以及目标分类器为训练数据确定新的第二分类结果，并再次执行S401。

在具体实现的时候，要保证对目标神经网络模型经过多轮训练后，得到的压缩神经网络模型的精度，即要保证压缩神经网络模型和待压缩神经网络模型对同一训练数据的分类结果是一致的。因此，要使用比对模块将第一分类结果和第二分类结果进行比对。当比对结果不一致时，生成第一反馈信息，基于第一反馈信息，对目标神经网络和目标分类器的参数进行调整，得到调整了参数后的目标神经网络和目标分类器；再使用调整了参数后的目标神经网络和目标分类器为训练数据确定新的第二分类结果，再基于第一分类结果和新的第二分类结果进行上述第一比对操作，重复上述过程，直至第一分类结果和第二分类结果一致。

另外，参见图5所示，本申请实施例四还提供一种对第一特征向量以及第二特征向量进行相似度匹配，并根据相似度匹配的结果对目标神经网络进行本轮训的具体方法，包括：

S501：分别对第一特征向量和第二特征向量进行聚类；

S502：根据对第一特征向量进行聚类的结果，生成第一邻接矩阵；根据对第二特征向量进行聚类的结果，生成第二邻接矩阵；

S504：根据第一邻接矩阵以及第二邻接矩阵之间的相似度，对目标网络的参数进行本轮训练。

在具体实现的时候，可以将第一特征向量看作是映射到高维空间中的点，根据点与点之间的距离，分别对这些点进行聚类，将距离在预设阈值以内的点划分到同一类中，然后根据聚类的结果，形成点到点之间距离的第一邻接矩阵。

在第一邻接矩阵中，如果两个点在聚类时属于同一类，则两者之间的距离为1；如果两个点在聚类时不属于同一类，则两点之间的距离为0。

例如，训练数据有5个，得到的第一特征向量分别为：1、2、3、4、5。其中，对第一特征向量进行聚类的结果为：{1,3}、{2}、{4,5}，则形成的邻接矩阵为：

根据对第二特征向量进行聚类的结果，形成第二邻接矩阵与上述类似，因此不再赘述。

本申请实施例五还提供一种根据第一邻接矩阵以及第二邻接矩阵之间的相似度，对目标网络的参数进行本轮训练的方法，该方法包括：执行如下相似度确定操作，直至第一邻接矩阵和第二邻接矩阵之间的相似度小于预设的第一相似度阈值，完成对目标神经网络的本轮训练；

参见图6所示，相似度确定操作包括：

S601：比对第一邻接矩阵以及第二邻接矩阵之间的相似度是否小于预设的第一相似度阈值。如果是，则执行S602；如果否，则实行S603。

此处，在具体实现的时候，在计算当前得到的第一邻接矩阵和第二邻接矩阵之间的相似度时，计算第一邻接矩阵的迹和第二邻接矩阵的迹，第一邻接矩阵的迹和第二邻接矩阵的迹之间的距离越近，则第一邻接矩阵和第二邻接矩阵之间的相似度越高。在对第一邻接矩阵的迹和第二邻接矩阵的迹之间的距离进行求解时，可以将第一邻接矩阵的迹与第二邻接矩阵的迹之间的差作为第一邻接矩阵和第二邻接矩阵之间的相似度，也即第一邻接矩阵的迹与第二邻接矩阵的迹之间的差的绝对值越大，第一邻接矩阵和第二邻接矩阵的相似度越低。

S602：完成对目标神经网络的本轮训练。本流程结束。

S603：生成第一反馈信息，并基于第一反馈信息对目标神经网络进行参数调整；

S604：基于调整后的参数，使用目标神经网络为训练数据提取新的第二特征向量；对新的第二特征向量进行聚类，生成新的第二邻接矩阵，并再次执行S601。

在具体实现的时候，由于第一邻接矩阵和第二邻接矩阵之间的相似度越高，则第一邻接矩阵表征的对第一特征向量进行分类的分类结果，和第二邻接矩阵表征的对第二特征向量进行分类的分类结果越相似，因此要根据第一邻接矩阵和第二邻接矩阵之间的相似度，对目标神经网络进行参数调整，使得目标神经网络在对训练数据进行特征提取得到的第二特征向量，越来越接近于使用待压缩神经网络对训练数据进行特征提取得到的第一特征向量。

另外，参见图7所示，本申请实施例五还提供另外一种对第一特征向量以及第二特征向量进行相似度匹配，并根据相似度匹配的结果对目标神经网络进行本轮训的具体方法，该方法包括：

S701：分别对第一特征向量和第二特征向量进行降低维度的操作，得到第一特征向量的第一降维特征向量，和第二特征向量的第二降维特征向量。

在具体实现的时候，对第一特征向量和第二特征向量进行降低维度的操作，可以通过对第一特征向量和第二特征向量进行重新编码获得，例如使用一个全连接层，对第一特征向量和第二特征向量再次进行一次特征捕捉，获得第一降维特征向量和第二降维特征向量。

S702：计算第一降维特征向量和第二降维特征向量的相似度。

此处，在计算第一降维特征向量和第二降维特征向量之间的相似度时，可以采用计算两个向量之间的差异，并将两则之间的差异作为相似度的结果。或者，可以直在第一降维特征向量和第二降维特征向量进行元素和元素之间的减法，将进行减法的结果作为相似度的结果；或者，还可以将第一降维特征向量和第二降维特征向量看作点，投射到对应的空间中，计算点分布之间的差异。例如，将第一降维特征向量和第二降维特征向量投射到对应的空间中，得到的点分别为：S(X₁，Y₁，Z₁)，M(X₂，Y₂，Z₂)将两个点之间的距离L＝(X₁-X₂)²+(Y₁-Y₂)²+(Z₁-Z₂)²作为两者的相似度；距离越小，相似度越大。

S703：根据第一降维特征向量和第二降维特征向量的相似度对目标网络的参数进行本轮训练。

此处，根据第一降维特征向量和第二降维特征向量的相似度对目标网络的参数进行本轮训练，实际上是要保证第一降维特征向量和第二降维特征向量之间的相似度在预设的第二相似度阈值以内。具体地

可以执行如下相似度确定操作，直至第一降维特征向量和第二降维特征向量的相似度小于预设的第二相似度阈值，完成对目标神经网络的本轮训练。

参见图8所示，相似度确定操作包括：

S801：对比将第一降维特征向量和第二降维特征向量之间的相似度是否小于预设的第二相似度阈值；如果是，则执行S302；如果否，则执行S803。

此处，第一降维特征向量和第二降维特征向量之间的相似度计算方法可以参见上述S702的描述，在此不再赘述。

S802：完成对目标神经网络的本轮训练。本流程结束。

S803：生成第二反馈信息，并基于第二反馈信息对目标神经网络进行参数调整。

S804：基于调整后的参数，使用目标神经网络为训练数据提取新的第二特征向量。对新的第二特征向量进行降低维度的操作，生成新的第二降维特征向量，并再次执行S801。

具体地，要保证第一特征向量和第二特征向量尽可能的接近，就要使得两者的相似度小于一定的阈值，也即使得第一降维特征向量和第二降维特征向量之间的相似度小于预设的第二相似度阈值。当两者之间的相似度不小于预设的第二相似度阈值时，即要相应生成第二反馈信息，并基于该第二反馈信息对目标神经网络进行参数的调整，使得目标神经网络在重新为训练数据提取第二特征向量时，能够向着增加第一降维特征向量和第二降维特征向量之间的相似度的方向变化。然后再使用调整了参数后的目标神经网络为训练数据提取新的第二特征向量，并再次对新的第二特征向量进行降低维度操作，生成新的第二降维特征向量，并再次执行该相似度计算操作，直至第一降维特征向量和第二降维特征向量之间的相似度小于预设的第二相似度阈值。

使用本申请实施例一得到的压缩神经网络模型，可以保证压缩神经网络模型的精度与待压缩神经网络模型的精度是一致的；对于无监督学习或者迁移学习训练方法得到的待压缩网络模型而言，如果待压缩神经网络模型对某训练数据的分类是错误的，在一定程度上也会导致压缩神经网络模型对该训练数据的分类是错误的。本申请实施例六还提供另外一种神经网络模型压缩方法，能够进一步提高压缩神经网络模型的精度。

参见图9所示，本申请实施例六提供的神经网络模型压缩方法，对第一特征向量以及第二特征向量进行相似度匹配之前，还包括：

S901：对第一特征向量进行噪声添加操作。

在具体实现的时候，对第一特征向量进行噪声添加，是为了增加训练得到的压缩神经网络模型的泛化能力。泛化能力是指指机器学习算法对新鲜样本的适应能力。在对第一特征向量进行噪声添加操作的时候，可以对第一特征向量进行多次程度不同程度噪声，或者多次不同种类噪声的添加。每一次噪声的添加都会生成一个添加了噪声的第一特征向量，每一个添加了噪声的第一特征向量，都会造成对原有第一特征向量一定程度的偏移，从而使得一个训练数据能够得到多种偏移的第一特征向量。同时，还会丰富第一特征向量的数据量，在第一特征向量数据量不变的情况下，减少输入的训练数据，能够让数据更好的拟合。另外，待压缩神经网络模型对于某些训练数据的分类不一定的非常准确的，因此，增加第一特征向量的变种，可能使得添加了噪声后的第一特征向量更加趋向于实际，实现对目标神经网络模型的训练进行更好的引导。

在对第一特征向量进行噪声添加的时候，一般采用构造与第一特征向量具有相同维度的噪声向量，采用第一特征向量和噪声向量对应位置数据相加的方式，将噪声添加至第一特征向量中。

在构造与第一特征向量具有相同维度的噪声向量时，可以直接构造，也可以间接构造。直接构造是指，直接生成具有和第一特征向量具有相同维度的噪声向量，例如，当第一特征向量的维度为1×1000时，构造的噪声向量也为1×1000维。间接构造是指，生成维度低于第一特征向量的噪声向量，然后采用对噪声向量填零的方式，生成维度与第一特征向量相同的噪声向量；例如，当第一特征向量的维度为1×1000时，构造的中间噪声向量为1×500；在该中间噪声向量的任意位置填0，最终形成维度为1×1000的噪声向量。

另外，由于可以对第一特征向量进行多次不同程度的噪声，或者多次不同种类噪声的添加，程度不同的噪声，可以采用改变噪声生成算法中参数的方式获得；或者采用间接构造噪声向量的方法，在不同位置填0的方法获得；不同种类的噪声，可以通过改变噪声生成算法的方式获得。

S902：将添加了噪声的第一特征向量和第二特征向量进行相似度匹配。

添加了噪声的第一特征向量和第二特征向量进行相似度匹配的方法，与未添加噪声的第一特征向量和第二特征向量进行相似度匹配的方法类似，具体可以参见上述表述，在此不再赘述。

另外，在该实施例中，由于对第一特征向量添加了噪声，使用待压缩分类器对添加了噪声后的第一特征向量进行分类时，可能会导致分类结果与原来的第一特征向量的分类结果不同，若不对其进行修正，会导致最终得到的压缩神经网络模型的精度受到影响。

因此，在本申请实施例中，在将添加了噪声的第一特征向量和第二特征向量进行相似度匹配，完成基于相似度匹配结果对目标神经网络的训练的同时，还要执行如下第二比对操作，直至第一分类结果和训练数据的标签一致，完成对待压缩神经网络以及待压缩分类器的本轮训练；

第二比对操作包括：

将第一分类结果和训练数据的标签进行比对；

针对比对结果不一致的情况，生成第散反馈信息，并基于第散反馈信息对待压缩神经网络和待压缩分类器进行参数调整；

基于调整后的参数，使用待压缩神经网络以及待压缩分类器为训练数据提取新的第一分类结果，并再次执行第二比对操作。

通过上述步骤可以实现对待压缩神经网络模型的微调，使待压缩神经网络模型以及训练得到的压缩神经网络模型能够具有更好的泛化能力，以及更高的精度。

基于同一发明构思，本发明实施例中还提供了与神经网络模型压缩方法对应的神经网络模型压缩装置，由于本发明实施例中的装置解决问题的原理与本发明实施例上述神经网络模型压缩方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。

参见图10所示，本发明实施例七提供的神经网络模型压缩装置，具体包括：

输入模块11，用于将训练数据输入待压缩神经网络模型以及目标神经网络模型；

第一训练模块12，用于基于待压缩神经网络模型对训练数据提取的特征向量和分类结果，对目标神经网络模型进行训练，得到压缩神经网络模型；

其中，目标神经网络模型参数的数量少于待压缩神经网络模型参数的数量。

本申请实施例提供的神经网络模型压缩装置，在对待压缩神经网络模型进行压缩的时候，会预先架构一个参数的数量少于待压缩神经网络模型参数的数量的目标神经网络，然后将训练数据输入到待压缩神经网络模型以及目标神经网络模型中，基于待压缩神经网络模型对训练数据提取的特征向量和分类结果，引导目标神经网络模型进行训练，得到压缩神经网络模型，这个过程并非是在带压缩神经网络模型上进行操作，且最终得到的压缩神经网络模型和待压缩神经网络模型对同一训练数据的分类结果应当是相同的，进而也不会在模型压缩过程中造成精度的损失，因而能够在保证精度的前提下，对模型的尺寸进行压缩，满足对于精度和模型尺寸的双重需求。

可选地，还包括：第二训练模块13，用于在将训练数据输入待压缩神经网络模型以及目标神经网络模型之前，将训练数据输入待压缩神经网络模型，对待压缩神经网络模型进行训练，得到完成训练的待压缩神经网络模型。

可选地，待压缩神经网络模型包括：待压缩神经网络和待压缩分类器；目标神经网络模型包括：目标神经网络和目标分类器；

第一训练模块12，具体用于：使用待压缩神经网络为输入的训练数据提取第一特征向量，并使用目标神经网络为输入的训练数据提取第二特征向量；

对第一特征向量以及第二特征向量进行相似度匹配，并根据相似度匹配的结果对目标神经网络进行本轮训练；以及

将第一特征向量输入至待压缩分类器，得到第一分类结果；

将第二特征向量输入至目标分类器，得到第二分类结果；

根据第一分类结果和第二分类结果的比对结果，对目标神经网络以及目标分类器进行本轮训练；

经过对目标神经网络以及目标分类器进行多轮训练，得到压缩神经网络模型。

可选地，第一训练模块12具体用于通过执行如下第一比对操作，直至目标神经网络模型的分类损失符合预设损失范围，完成对目标神经网络以及目标分类器的本轮训练；

第一比对操作包括：

将第一分类结果和第二分类结果进行比对；

针对比对结果不一致的情况，生成第一反馈信息，并基于第一反馈信息对目标神经网络和目标分类器进行参数调整；

基于调整后的参数，使用目标神经网络以及目标分类器为训练数据确定新的第二分类结果，并再次执行第一比对操作。

可选地，第一训练模块12还用于：对第一特征向量以及第二特征向量进行相似度匹配之前，对第一特征向量进行噪声添加操作；将添加了噪声的第一特征向量和第二特征向量进行相似度匹配。

可选地，第一训练模块12具体用于通过描述步骤对第一特征向量以及第二特征向量进行相似度匹配，并根据相似度匹配的结果对目标神经网络进行本轮训练：分别对第一特征向量和第二特征向量进行聚类；

根据对第一特征向量进行聚类的结果，生成第一邻接矩阵；

根据对第二特征向量进行聚类的结果，生成第二邻接矩阵；

根据第一邻接矩阵以及第二邻接矩阵之间的相似度，对目标网络的参数进行本轮训练。

可选地，第一训练模块12具体用于通过执行如下相似度确定操作，直至第一邻接矩阵和第二邻接矩阵之间的相似度小于预设的第一相似度阈值，完成对目标神经网络的本轮训练；

相似度确定操作包括：

计算当前得到的第一邻接矩阵和第二邻接矩阵之间的相似度；

针对相似度不小于预设的第一相似度阈值的情况，生成第一反馈信息，并基于第一反馈信息对目标神经网络进行参数调整；

基于调整后的参数，使用目标神经网络为训练数据提取新的第二特征向量；

对新的第二特征向量进行聚类，生成新的第二邻接矩阵，并再次执行相似度计算操作。

可选地，第一训练模块12具体用于通过下述步骤为第一特征向量以及第二特征向量进行相似度匹配，并根据相似度匹配的结果对目标神经网络进行本轮训练：

分别对第一特征向量和第二特征向量进行降低维度的操作，得到第一特征向量的第一降维特征向量，和第二特征向量的第二降维特征向量；

计算第一降维特征向量和第二降维特征向量的相似度；

根据第一降维特征向量和第二降维特征向量的相似度对目标网络的参数进行本轮训练。

可选地，第一训练模块12，具体用于执行如下相似度确定操作，直至第一降维特征向量和第二降维特征向量的相似度小于预设的第二相似度阈值，完成对目标神经网络的本轮训练；

相似度确定操作包括：

计算当前得到的第一降维特征向量和第二降维特征向量之间的相似度；

针对相似度不小于预设的第二相似度阈值的情况，生成第二反馈信息，并基于第二反馈信息对目标神经网络进行参数调整；

基于调整后的参数，使用目标神经网络为训练数据提取新的第二特征向量；

对新的第二特征向量进行降低维度的操作，生成新的第二降维特征向量，并再次执行相似度计算操作。

对应于图1中的神经网络模型压缩方法，本发明实施例八还提供了一种计算机设备，如图11所示，该设备包括存储器1000、处理器2000及存储在该存储器1000上并可在该处理器2000上运行的计算机程序，其中，上述处理器2000执行上述计算机程序时实现上述神经网络模型压缩方法的步骤。

具体地，上述存储器1000和处理器2000能够为通用的存储器和处理器，这里不做具体限定，当处理器2000运行存储器1000存储的计算机程序时，能够执行上述神经网络模型压缩方法，从而解决现有的模型压缩方法以牺牲模型的精度为前提进行模型压缩，无法达到对精度使用需求的问题，进而达到在保证神经网络模型精度的情况下，对模型的尺寸进行压缩的效果。

对应于图1中的神经网络模型压缩方法，本发明实施例九还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述神经网络模型压缩方法的步骤。

具体地，该存储介质能够为通用的存储介质，如移动磁盘、硬盘等，该存储介质上的计算机程序被运行时，能够执行上述神经网络模型压缩方法，从而解决现有的模型压缩方法以牺牲模型的精度为前提进行模型压缩，无法达到对精度使用需求的问题，进而达到在保证神经网络模型精度的情况下，对模型的尺寸进行压缩的效果。

本发明实施例所提供的神经网络模型压缩方法以及装置的计算机程序产品，包括存储了程序代码的计算机可读存储介质，程序代码包括的指令可用于执行前面方法实施例中的方法，具体实现可参见方法实施例，在此不再赘述。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种神经网络模型压缩方法，其特征在于，该方法包括：

将训练数据输入待压缩神经网络模型以及目标神经网络模型；

基于所述待压缩神经网络模型对所述训练数据提取的特征向量和分类结果，对目标神经网络模型进行训练，得到压缩神经网络模型；

其中，所述目标神经网络模型参数的数量少于所述待压缩神经网络模型参数的数量。

2.根据权利要求1所述的方法，其特征在于，在将训练数据输入待压缩神经网络模型以及目标神经网络模型之前，还包括：

将所述训练数据输入所述待压缩神经网络模型，对所述待压缩神经网络模型进行训练，得到完成训练的待压缩神经网络模型。

3.根据权利要求1所述的方法，其特征在于，所述待压缩神经网络模型包括：待压缩神经网络和待压缩分类器；所述目标神经网络模型包括：目标神经网络和目标分类器；

所述基于所述待压缩神经网络模型对所述训练数据提取的特征向量和分类结果，对目标神经网络模型进行训练，得到压缩神经网络模型，具体包括：

使用所述待压缩神经网络为输入的训练数据提取第一特征向量，并使用所述目标神经网络为输入的训练数据提取第二特征向量；

对所述第一特征向量以及第二特征向量进行相似度匹配，并根据相似度匹配的结果对所述目标神经网络进行本轮训练；以及

将所述第一特征向量输入至所述待压缩分类器，得到第一分类结果；

将所述第二特征向量输入至所述目标分类器，得到第二分类结果；

根据所述第一分类结果和所述第二分类结果的比对结果，对所述目标神经网络以及所述目标分类器进行本轮训练；

经过对所述目标神经网络以及所述目标分类器进行多轮训练，得到压缩神经网络模型。

4.根据权利要求3所述的方法，其特征在于，执行如下第一比对操作，直至所述目标神经网络模型的分类损失符合预设损失范围，完成对所述目标神经网络以及所述目标分类器的本轮训练；

所述第一比对操作包括：

将所述第一分类结果和所述第二分类结果进行比对；

针对比对结果不一致的情况，生成第一反馈信息，并基于所述第一反馈信息对所述目标神经网络和所述目标分类器进行参数调整；

基于调整后的参数，使用目标神经网络以及目标分类器为所述训练数据确定新的第二分类结果，并再次执行所述第一比对操作。

5.根据权利要求3所述的方法，其特征在于，所述对所述第一特征向量以及所述第二特征向量进行相似度匹配之前，还包括：

对所述第一特征向量进行噪声添加操作；

所述对所述第一特征向量以及所述第二特征向量进行相似度匹配，具体包括：

将添加了噪声的所述第一特征向量和所述第二特征向量进行相似度匹配。

6.根据权利要求3-5任意一项所述的方法，其特征在于，所述对所述第一特征向量以及第二特征向量进行相似度匹配，并根据相似度匹配的结果对所述目标神经网络进行本轮训练，具体包括：

分别对所述第一特征向量和所述第二特征向量进行聚类；

根据对所述第一特征向量进行聚类的结果，生成第一邻接矩阵；

根据对所述第二特征向量进行聚类的结果，生成第二邻接矩阵；

根据所述第一邻接矩阵以及第二邻接矩阵之间的相似度，对所述目标网络的参数进行本轮训练。

7.根据权利要求6所述的方法，其特征在于，执行如下相似度确定操作，直至第一邻接矩阵和第二邻接矩阵之间的相似度小于预设的第一相似度阈值，完成对所述目标神经网络的本轮训练；

所述相似度确定操作包括：

计算当前得到的第一邻接矩阵和第二邻接矩阵之间的相似度；

针对相似度不小于预设的第一相似度阈值的情况，生成第一反馈信息，并基于所述第一反馈信息对所述目标神经网络进行参数调整；

基于调整后的参数，使用目标神经网络为所述训练数据提取新的第二特征向量；

对新的第二特征向量进行聚类，生成新的第二邻接矩阵，并再次执行所述相似度计算操作。

8.根据权利要求3-5任意一项所述的方法，其特征在于，所述对所述第一特征向量以及第二特征向量进行相似度匹配，并根据相似度匹配的结果对所述目标神经网络进行本轮训练，具体包括：

分别对第一特征向量和第二特征向量进行降低维度的操作，得到第一特征向量的第一降维特征向量，和第二特征向量的第二降维特征向量；

计算所述第一降维特征向量和所述第二降维特征向量的相似度；

根据所述第一降维特征向量和所述第二降维特征向量的相似度对所述目标网络的参数进行本轮训练。

9.根据权利要求8所述的方法，其特征在于，执行如下相似度确定操作，直至第一降维特征向量和所述第二降维特征向量的相似度小于预设的第二相似度阈值，完成对所述目标神经网络的本轮训练；

所述相似度确定操作包括：

计算当前得到的第一降维特征向量和第二降维特征向量之间的相似度；

针对相似度不小于预设的第二相似度阈值的情况，生成第二反馈信息，并基于所述第二反馈信息对所述目标神经网络进行参数调整；

基于调整后的参数，使用目标神经网络为所述训练数据提取新的第二特征向量；

对新的第二特征向量进行降低维度的操作，生成新的第二降维特征向量，并再次执行所述相似度计算操作。

10.一种神经网络模型压缩装置，其特征在于，该装置包括：

输入模块，用于将训练数据输入待压缩神经网络模型以及目标神经网络模型；

训练模块，用于基于所述待压缩神经网络模型对所述训练数据提取的特征向量和分类结果，对目标神经网络模型进行训练，得到压缩神经网络模型；

其中，所述目标神经网络模型参数的数量少于所述待压缩神经网络模型参数的数量。