CN113011570A - 一种卷积神经网络模型的自适应高精度压缩方法及*** - Google Patents

一种卷积神经网络模型的自适应高精度压缩方法及*** Download PDF

Info

Publication number
CN113011570A
CN113011570A CN202110482445.8A CN202110482445A CN113011570A CN 113011570 A CN113011570 A CN 113011570A CN 202110482445 A CN202110482445 A CN 202110482445A CN 113011570 A CN113011570 A CN 113011570A
Authority
CN
China
Prior art keywords
neural network
model
pruning
optimal
grained
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110482445.8A
Other languages
English (en)
Other versions
CN113011570B (zh
Inventor
杨峰
宋永端
李�瑞
潘盛涛
李思雨
张祎文
张健
余正涛
王士淳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202110482445.8A priority Critical patent/CN113011570B/zh
Publication of CN113011570A publication Critical patent/CN113011570A/zh
Priority to US17/448,934 priority patent/US20220351043A1/en
Application granted granted Critical
Publication of CN113011570B publication Critical patent/CN113011570B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/086—Learning methods using evolutionary algorithms, e.g. genetic algorithms or genetic programming
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Physiology (AREA)
  • Neurology (AREA)
  • Feedback Control In General (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种卷积神经网络模型的自适应高精度压缩方法及***，属于人工智能、计算机视觉和图像处理领域。本发明方法首先使用差分进化算法对神经网络模型进行粗粒度剪枝，通过熵重要性判据和具有良好导向作用的目标函数在粗粒度空间中快速搜索得到接近最优的神经网络结构。然后在粗粒度搜索得到的最优个体的基础上构建细粒度搜索空间，通过差分进化算法神经网络模型进行细粒度剪枝，得到具有最优结构的网络模型。最后，使用多教师多步知识蒸馏网络恢复最优模型的性能，使其达到原始模型的精度。本发明能够完全自适应进行结构搜索剪枝和知识蒸馏，有效地压缩模型以及有效地减少计算量，并且保持剪枝模型的高精度。

Description

一种卷积神经网络模型的自适应高精度压缩方法及***
技术领域
本发明涉及人工智能、计算机视觉和图像处理领域，特别涉及一种卷积神经网络模型的自适应高精度压缩方法及***。
技术背景
随着人工智能技术的发展，基于深度学***台上的部署和推理，使大多数的网络模型的落地应用受到了极大的限制。
深度学习的模型压缩是多种技术的统称，主要有剪枝、量化、知识蒸馏等，其中模型剪枝和知识蒸馏是应用较为广泛的技术，但是目前的模型压缩都是依靠设置固定的阈值进行剪枝，或是依靠设计良好的网络模型进行知识蒸馏，这将导致在模型压缩过程中出现精度断崖式下降或是无法提升模型精度的情况，并且对于经验要求较高，不具有普适性。而且目前的模型压缩一般都是针对参数量的缩减，对于模型的运算速度和准确率考虑较少，在计算资源和内存资源都受限的嵌入式设备上部署困难。
因此，如何自适应进行模型压缩，并保持原有模型的精度，发明一种更具普适性、智能化的模型压缩方法，实现更高效的模型压缩，是目前模型压缩需要考虑并且亟待解决的问题。
发明内容
基于上述背景，本发明提供一种卷积神经网络模型的自适应高精度压缩方法及***，以改进现有方法在卷积神经网络模型压缩方面的不足。
为实现上述目的，本发明采用以下技术方案为一种自适应高精度神经网络压缩***，其包括：通道重要性计算模块、粗粒度剪枝模块、细粒度剪枝模块、多步蒸馏模块；
所述通道重要性计算模块的输入为原始最优神经网络参数，输出为原始最优神经网络各通道的重要性；所述粗粒度剪枝模块的输入分别为原始最优神经网络的网络参数和通道重要性计算模块的输出，粗粒度剪枝模块的输出为初步压缩的最优神经网络参数；所述细粒度剪枝模块的输入为通道重要性计算模块和粗粒度剪枝模块的输出，细粒度剪枝模块的输出为进一步压缩的最优神经网络参数；所述多步蒸馏模块的输入为细粒度剪枝模块的输出，多步蒸馏模块的输出为压缩完成的最优神经网络参数。
进一步的，所述通道重要性计算模块中的计算方法为：
选择熵作为通道的重要性评判标准。通过推理过程计算原始模型各层的各个输出通道的熵，通道熵的定义如式(1)所示；
Figure BDA0003049779200000021
pi表示通道中数值大小在[i,i+1]范围内的个数占该通道数值总个数的比例。
进一步的，所述粗粒度剪枝模块中的计算方法为：
S11:根据数据集以及先验知识设置对每层神经网络搜索空间的最大值和最小值；在设置的值范围内再进行4等分、或8等分、或16等分；
搜索空间的形式为coarse_space＝[c1,c2,..,ci,…,cn]，其中ci代表第i层的搜索范围，形式为ci＝[ci1,ci2,…,cij,…,cim]，cij代表第i层的第j个通道个数；
S12:设置目标函数如式(2)所示：
Figure BDA0003049779200000022
其中acc(N(C,Dtrain)，Dtest)表示通道结构为C的剪枝网络在训练数据集Dtrain上训练之后在测试数据集Dtest上测试的准确率；Mcur和Pcur分别代表通道结构为C的模型的计算量以及参数量，Morg和Morg分别代表原始模型的计算量和参数量；其中通道结构C的具体形式为[c1,c2,…,cn]，其中ci代表第i层的通道数；
α1，α2，α3分别代表误差率、参数量和计算量的偏好，这三个系数的和为1，如式(3)所示；
α1+α2+α3＝1 (3)
S13：变异个体通过最优三个个体的变化趋势以及最优个体产生，通过局部最优得到全局最优，变异个体产生如式(4)和式(5)所示；
Figure BDA0003049779200000023
Figure BDA0003049779200000024
mfmin，mfmid，mfmax代表当前种群中适应度值最低的三个个体，通过三者决定种群的变化趋势以及变异个体h的产生；s代表每层的通道变化尺度，根据等分数来设置，具体形式[s1,s2,…，si，…，sn]，si代表第i层的变化尺度；randn代表搜索空间内的随机值；
S14：根据S11到S13确定的粗粒度搜索空间、目标函数以及进化方式，进行自适应结构搜索剪枝。
进一步的，所述细粒度剪枝模块中的计算方法为：细粒度剪枝是将搜索空间的范围进一步缩小，并将搜索范围粒度都设置成和变异过程中的变化尺度都设置为1；
细粒度剪枝的搜索空间是选择粗粒度剪枝中最优的三个个体的通道结构重新构建，找到三个结构中每层通道数的最大值和最小值作为搜索范围；
选择粗粒度剪枝中最优的三个模型作为细粒度剪枝的初始父代，然后在细粒度剪枝搜索空间内进行自适应结构搜索，得到最优模型。
进一步的，所述多步蒸馏模块中的计算方法为：
S21：将细粒度剪枝的最优模型作为学生模型Ns，将除最优模型外的每一代产生的剪枝网络模型和原始模型作为教师模型，使用教师模型监督学生模型进行知识蒸馏网络训练；
S22：在知识蒸馏训练中，使用选定的教师模型依次分多步参与知识蒸馏训练，同一时刻网络中只存在一个教师模型，一个阶段训练完成之后，替换教师模型重新进行知识蒸馏网络训练；
知识蒸馏网络训练中，选定的教师模型依据既定次序参与训练，其中原始模型位于最后一个；排序依据即按照剪枝的目标函数(2)由大到小；
知识蒸馏训练的损失函数如公式(6)所示；
L＝λ·T2·Lsoft+(1-λ)Lhard (6)
其中λ为权重系数，T为温度，Lsoft为学生模型与教师模型之间的损失，Lhard学生模型与真实标签的损失。
一种采用神经网络压缩***的人脸表情识别方法，该模型压缩方法包括：
步骤1：获取样本图像，标注样本图像中的待识别人脸表情，将样本图像分为训练集和测试集；
步骤2：对样本图像进行放缩、旋转、裁剪、归一化操作，然后统一图像尺寸；
步骤3：建立人脸表情识别神经网络，该神经网络层数大于40层，采用VGG和Resnet结合的神经网络；
步骤4：采用步骤2获得的样本图像对步骤3建立的神经网络进行训练，得到原始神经网络；
步骤5：采用所述神经网络压缩***对步骤4得到的原始神经网络进行压缩；
步骤6：采用步骤5压缩完成的神经网络进行表情识别。
本发明的优势在于，首先通过设计具有良好导向的目标函数，使结构搜索剪枝产生的模型能够具有良好的压缩率以及加速效果，其次，通过粗细粒度的两阶段结构搜索剪枝，得到最优的模型结构，最后通过知识蒸馏方法恢复剪枝后网络模型精度，使用多个教师模型分多步监督学生模型进行知识蒸馏训练，避免了多教师模型同时参与训练时，蒸馏的‘知识’过于平滑的问题，同时保留了多个不同教师模型所带来的不同的网络结构‘知识’，使得学生模型可以学到各个教师模型的优点，进一步提升性能。
附图说明
图1为一种卷积神经网络模型的自适应高精度压缩***示意图。
图2为一种卷积神经网络模型的自适应高精度压缩方法流程图。
图3为自适应结构搜索剪枝流程图。
图4为人脸表情识别网络结构图。
图5为人脸表情识别原始模型某些层的通道熵。
图6为多教师多步知识蒸馏网络结构示意图。
图7为知识蒸馏网络结构示意图。
具体实施方式
为了更加详尽地介绍发明的优选实施例的特点和技术内容，以下将结合附图对本优选实施例的实现进行详细描述，优选实施例仅为了说明本发明，而不是为了限制本发明的保护范围。
本优选实施例提供的神经网络模型压缩方法，提供了一种全新的自适应高精度的模型压缩方式，目的是通过差分进化算法自动进行粗细粒度的结构搜索剪枝得到最优模型结构，并通过多教师的蒸馏方式提高剪枝模型的精度。首先通过粗粒度搜索剪枝快速得到接近最优的神经网络结构，然后通过细粒度结构搜索剪枝得到最优的神经网络结构，最后通过多教师知识蒸馏提高最优结构的精度。该方法能够压缩模型的参数量和计算量都有一定的缩减，同时保证精度不下降或是更高，而且该方法能够自动进行剪枝以及知识蒸馏，不需要过多的人为经验和其它规则约束。
下面将结合附图1-附图7，对本优选实施例提供的一种自适应高精度卷积神经网络模型压缩方法及***进行详细介绍。
实施例1：一种自适应高精度卷积神经网络模型压缩***
模型压缩***由重要性计算模块、粗粒度剪枝模块、细粒度剪枝模块和多步蒸馏模块构成，如图1所示。
重要性计算模块：在训练数据集上训练得到原始模型，并在重要性评估数据集上计算原始模型各层各个通道的重要性。
粗粒度剪枝模块：根据设计的差分进化剪枝算法，在粗粒度搜索空间中进行结构搜索剪枝，得到接近最优的模型结构。采用差分进化算法的快速收敛性质，在原有网络模型结构的基础上，进行粗粒度的结构搜索剪枝；通过设计良好导向的目标函数，使结构搜索产生的模型都具有较好的压缩率以及加快的计算速度等，同时将搜索空间进行粗粒度的限制能够加快搜索过程快速趋于最优模型结构，最后对差分进化算法的进化方式进行优化，提高其收敛速度；另外，为保证结构搜索剪枝能够得到最优的模型，并且保证较高的准确率，本发明采用粗细粒度两阶段结构搜索剪枝方式得到最优结构，最后通过多教师多步蒸馏方式提高最优结构的准确率；
细粒度剪枝模块：根据设计的差分进化剪枝算法，在粗粒度剪枝的基础上进行细粒度结构搜索，得到最优模型结构。
多步蒸馏模块：根据设计的多步多教师蒸馏方法，对剪枝得到的最优模型结构进行知识蒸馏，得到精度提高的压缩模型。
实施例2：一种采用自适应高精度卷积神经网络模型压缩的人脸表情识别方法；
建立人脸表情识别网络，并进行训练；如下是基本流程。
选取自然人脸表情数据集作为训练集和测试集。
将样本图像进行预处理，包括放缩、旋转、裁剪、归一化等操作，并将输入图像尺寸统一为224×224×3。
在Pytorch框架下搭建人脸表情识别网络。所设计的网络一共包括51层卷积层，5层最大池化层，3层全连接层，最后输出是7种表情类型。网络结构表如图4所示。
将预处理之后的训练数据输入到所设计的人脸表情识别网络中进行网络的训练，得到高精度的原始模型。
采用模型压缩***对原始神经网络进行压缩；如下是压缩方法。
参考图2，该方法具体包括以下步骤；
S201采用重要性计算模块计算原始模型各层各个通道的重要性。
在训练数据集上训练原始模型，得到高精度的原始模型。
计算原始模型各层各个通道的重要性，如图3所示，计算公式如式(1)所示。
Figure BDA0003049779200000051
S202采用粗粒度剪枝模块在粗粒度搜索空间中进行结构搜索剪枝。
对搜索空间进行限制，通过数据集和先验知识对搜索空间范围进行限制，并采用4/8/16等分的方式截取搜索空间范围内的等分数作为粗粒度的搜索空间。搜索空间的形式为coarse_space＝[c1，c2,..,ci,…,cn]，其中ci代表第i层的搜索范围，形式为ci＝[ci1，ci2，…,cij，…，cim]，cij代表第i层的第j个通道个数。
在结构搜索剪枝时，保证模型结构具有较高的准确率、压缩率以及计算加速是关键；在使用差分进化算法进行结构剪枝时，目标函数决定整个种群进化方向，所以需要从以上三个方面来考虑目标函数的设计；本发明的目标函数设计成最小化误差、参数量以及计算量之和，并且需要对这三个部分分别进行偏好设置，保证搜索剪枝产生的能够更偏向于某个方面，因为模型剪枝之后变化程度不一样。
参考图3进行粗粒度结构搜索剪枝。
在搜索空间内随机产生3个通道结构，并按重要性从高到低从原始模型剪枝得到3个模型，组成的族群作为初始父代。
对初始父代的个体成员进行训练，然后按照式(2)得到每个模型的适应度。
Figure BDA0003049779200000061
α1值最大，是为了保证搜索剪枝产生的模型具有较高的准确率，α2，α3设置在0.1-0.3之间。
通过式(3)和式(4)来生成变异个体h。
Figure BDA0003049779200000062
Figure BDA0003049779200000063
通过交叉操作产生交叉个体组成变异种群，通过式(2)得到交叉种群中个体的适应度。
通过选择操作在当前种群和交叉种群之间选择最优的3个个体作为新一代的父代。
按照图3中的流程进行多次迭代，获得接近最优结构的多个网络结构，迭代次数一般设置成3到5之间。
S203在粗粒度剪枝的基础上采用细粒度剪枝模块在细粒度搜索空间中进行结构搜索剪枝。
在粗粒度剪枝中选择目标函数值最小的3个神经网络结构，作为细粒度结构搜索剪枝的初始父代。
从最优的3个个体中获取每层通道的最大值和最小值，按照粒度为1构建细粒度剪枝的搜索空间。
将变异个体中的变化尺度s全部设置成1。
按照图3所示流程进行细粒度结构搜索剪枝，在目标函数式(2)的导向作用下得到最优的神经网络结构。
S204采用多步蒸馏模块对最优网络结构进行知识蒸馏。
首先选取教师模型并进行排序。通过选择每代适应度最小的模型作为教师模型，并依据适应度对其进行由大到小的排序。
由选取适应度最大的模型开始，将这些模型依次作为教师模型，分别单独与学生模型进行知识蒸馏网络训练，损失函数如式(5)。
L＝λ·T2·Lsoft+(1-λ)Lhard (5)
在选取的全部模型都参与完成知识蒸馏网络训练后，选取原始模型作为教师模型，监督学生模型进行最后的知识蒸馏训练，最终得到恢复精度的最优模型。
为了便于理解本申请实施例提供的结构搜索剪枝流程，下面结合附图3进行说明，如图3所示，一种自适应高精度卷积神经网络模型压缩方法及***，包括：
S301搜索空间初始化。
S302初始种群初始化。
S303计算初始种群的适应度。
S304判断是否完成设置的迭代次数，当完成迭代之后就能够，执行步骤S308进行最优模型的微调，否则执行S305生成变异个体继续进化。
S305通过变异产生新个体，并计算适应度。
S306通过交叉产生变交叉种群，并计算适应度。
S307通过选择在当前种群和交叉种群选择最优的3个个体作为新一代的父代。
S308选择最优个体进行微调。
采用模型压缩***对人脸表情识别网络进行压缩之后，模型的计算量和参数量都有了极大的下降，该实验结果如表1所示。
表1人脸表情识别模型压缩结果
Figure BDA0003049779200000081
从表中可以看出，通过自适应剪枝之后模型计算量以及存储量都有了非常大的下降，计算量减少了6.34倍，参数量减少了6.88倍，模型大小从原来的580M压缩为56M，最优模型结构通过知识蒸馏之后，压缩模型的准确率达到81.8，接近原始的模型精度。通过实验验证了本发明的所提出方法的有效性，本发明能够有效减少模型的参数量和计算量，从而实现模型在嵌入式平台的部署。
上述实施例为本发明较佳的实施方式，但本发明不受上述实施例的限制，其他任何熟悉本领域的技术人员在进行改动和变型而不脱离发明的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (6)

1.一种自适应高精度神经网络压缩***，其包括：通道重要性计算模块、粗粒度剪枝模块、细粒度剪枝模块、多步蒸馏模块；
所述通道重要性计算模块的输入为原始最优神经网络参数，输出为原始最优神经网络各通道的重要性；所述粗粒度剪枝模块的输入分别为原始最优神经网络的网络参数和通道重要性计算模块的输出，粗粒度剪枝模块的输出为初步压缩的最优神经网络参数；所述细粒度剪枝模块的输入为通道重要性计算模块和粗粒度剪枝模块的输出，细粒度剪枝模块的输出为进一步压缩的最优神经网络参数；所述多步蒸馏模块的输入为细粒度剪枝模块的输出，多步蒸馏模块的输出为压缩完成的最优神经网络参数。
2.如权利要求1所述的一种自适应高精度神经网络压缩***，其特征在于，所述通道重要性计算模块中的计算方法为：
选择熵作为通道的重要性评判标准。通过推理过程计算原始模型各层的各个输出通道的熵，通道熵的定义如式(1)所示；
Figure FDA0003049779190000011
pi表示通道中数值大小在[i,i+1]范围内的个数占该通道数值总个数的比例。
3.如权利要求1所述的一种自适应高精度神经网络压缩***，其特征在于，所述粗粒度剪枝模块中的计算方法为：
S11:根据数据集以及先验知识设置对每层神经网络搜索空间的最大值和最小值；在设置的值范围内再进行4等分、或8等分、或16等分；
搜索空间的形式为coarse_space＝[c1,c2,..,ci,…,cn]，其中ci代表第i层的搜索范围，形式为ci＝[ci1,ci2,…,cij,…,cim]，cij代表第i层的第j个通道个数；
S12:设置目标函数如式(2)所示：
Figure FDA0003049779190000012
其中acc(N(C,Dtrain)，Dtest)表示通道结构为C的剪枝网络在训练数据集Dtrain上训练之后在测试数据集Dtest上测试的准确率；Mcur和Pcur分别代表通道结构为C的模型的计算量以及参数量，Morg和Morg分别代表原始模型的计算量和参数量；其中通道结构C的具体形式为[c1,c2,…,cn]，其中ci代表第i层的通道数；
α1，α2，α3分别代表误差率、参数量和计算量的偏好，这三个系数的和为1，如式(3)所示；
α1+α2+α3＝1 (3)
S13：变异个体通过最优三个个体的变化趋势以及最优个体产生，通过局部最优得到全局最优，变异个体产生如式(4)和式(5)所示；
Figure FDA0003049779190000021
Figure FDA0003049779190000022
mfmin，mfmid，mfmax代表当前种群中适应度值最低的三个个体，通过三者决定种群的变化趋势以及变异个体h的产生；s代表每层的通道变化尺度，根据等分数来设置，具体形式[s1,s2,…,si,…,sn]，si代表第i层的变化尺度；randn代表搜索空间内的随机值；
S14：根据S11到S13确定的粗粒度搜索空间、目标函数以及进化方式，进行自适应结构搜索剪枝。
4.如权利要求1所述的一种自适应高精度神经网络压缩***，其特征在于，所述细粒度剪枝模块中的计算方法为：细粒度剪枝是将搜索空间的范围进一步缩小，并将搜索范围粒度都设置成和变异过程中的变化尺度都设置为1；
细粒度剪枝的搜索空间是选择粗粒度剪枝中最优的三个个体的通道结构重新构建，找到三个结构中每层通道数的最大值和最小值作为搜索范围；
选择粗粒度剪枝中最优的三个模型作为细粒度剪枝的初始父代，然后在细粒度剪枝搜索空间内进行自适应结构搜索，得到最优模型。
5.如权利要求1所述的一种自适应高精度神经网络压缩***，其特征在于，所述多步蒸馏模块中的计算方法为：
S21：将细粒度剪枝的最优模型作为学生模型Ns，将除最优模型外的每一代产生的剪枝网络模型和原始模型作为教师模型，使用教师模型监督学生模型进行知识蒸馏网络训练；
S22：在知识蒸馏训练中，使用选定的教师模型依次分多步参与知识蒸馏训练，同一时刻网络中只存在一个教师模型，一个阶段训练完成之后，替换教师模型重新进行知识蒸馏网络训练；
知识蒸馏网络训练中，选定的教师模型依据既定次序参与训练，其中原始模型位于最后一个；排序依据即按照剪枝的目标函数(2)由大到小；
知识蒸馏训练的损失函数如公式(6)所示；
L＝λ·T2·Lsoft+(1-λ)Lhard (6)
其中λ为权重系数，T为温度，Lsoft为学生模型与教师模型之间的损失，Lhard学生模型与真实标签的损失。
6.一种采用权利要求1所述的神经网络压缩***的人脸表情识别方法，该模型压缩方法包括：
步骤1：获取样本图像，标注样本图像中的待识别人脸表情，将样本图像分为训练集和测试集；
步骤2：对样本图像进行放缩、旋转、裁剪、归一化操作，然后统一图像尺寸；
步骤3：建立人脸表情识别神经网络，该神经网络层数大于40层，采用VGG和Resnet结合的神经网络；
步骤4：采用步骤2获得的样本图像对步骤3建立的神经网络进行训练，得到原始神经网络；
步骤5：采用所述神经网络压缩***对步骤4得到的原始神经网络进行压缩；
步骤6：采用步骤5压缩完成的神经网络进行表情识别。
CN202110482445.8A 2021-04-30 2021-04-30 一种采用神经网络压缩***的人脸表情识别方法 Active CN113011570B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110482445.8A CN113011570B (zh) 2021-04-30 2021-04-30 一种采用神经网络压缩***的人脸表情识别方法
US17/448,934 US20220351043A1 (en) 2021-04-30 2021-09-27 Adaptive high-precision compression method and system based on convolutional neural network model

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110482445.8A CN113011570B (zh) 2021-04-30 2021-04-30 一种采用神经网络压缩***的人脸表情识别方法

Publications (2)

Publication Number Publication Date
CN113011570A true CN113011570A (zh) 2021-06-22
CN113011570B CN113011570B (zh) 2023-04-07

Family

ID=76380526

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110482445.8A Active CN113011570B (zh) 2021-04-30 2021-04-30 一种采用神经网络压缩***的人脸表情识别方法

Country Status (2)

Country Link
US (1) US20220351043A1 (zh)
CN (1) CN113011570B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114091668A (zh) * 2021-11-22 2022-02-25 广东工业大学 基于可微决策器和知识蒸馏的神经网络剪枝方法及***
CN114742211A (zh) * 2022-06-10 2022-07-12 南京邮电大学 一种面向微控制器的卷积神经网络部署和优化方法
WO2023030513A1 (zh) * 2021-09-05 2023-03-09 汉熵通信有限公司 物联网***

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115965609B (zh) * 2023-01-03 2023-08-04 江南大学 利用知识蒸馏的陶瓷基板瑕疵智能检测方法
CN115965964B (zh) * 2023-01-29 2024-01-23 中国农业大学 一种鸡蛋新鲜度识别方法、***及设备
CN116416212B (zh) * 2023-02-03 2023-12-08 中国公路工程咨询集团有限公司 路面破损检测神经网络训练方法及路面破损检测神经网络
CN117131920B (zh) * 2023-10-26 2024-01-30 北京市智慧水务发展研究院 一种基于网络结构搜索的模型剪枝方法
CN117557857B (zh) * 2023-11-23 2024-06-04 哈尔滨工业大学 结合渐进式引导蒸馏和结构重构的检测网络轻量化方法
CN117440104B (zh) * 2023-12-21 2024-03-29 北京遥感设备研究所 一种基于目标显著性特征的数据压缩重建方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008009728A (ja) * 2006-06-29 2008-01-17 Ritsumeikan 表情認識方法及び表情認識装置
CN110097178A (zh) * 2019-05-15 2019-08-06 电科瑞达(成都)科技有限公司 一种基于熵注意的神经网络模型压缩与加速方法
CN110097187A (zh) * 2019-04-29 2019-08-06 河海大学 一种基于激活-熵权重剪枝的cnn模型压缩方法
CN110390674A (zh) * 2019-07-24 2019-10-29 腾讯医疗健康(深圳)有限公司 图像处理方法、装置、存储介质、设备以及***
CN111062382A (zh) * 2019-10-30 2020-04-24 北京交通大学 用于目标检测网络的通道剪枝方法
CN111126592A (zh) * 2018-10-30 2020-05-08 三星电子株式会社 输出预测结果、生成神经网络的方法及装置和存储介质
CN111275175A (zh) * 2020-02-20 2020-06-12 腾讯科技（深圳）有限公司 神经网络训练方法、装置、图像分类方法、设备和介质
CN111507383A (zh) * 2020-04-03 2020-08-07 厦门大学 一种基于进化算法的神经网络自动剪枝方法
US20200272905A1 (en) * 2019-02-26 2020-08-27 GE Precision Healthcare LLC Artificial neural network compression via iterative hybrid reinforcement learning approach
CN112052951A (zh) * 2020-08-31 2020-12-08 北京中科慧眼科技有限公司 一种剪枝神经网络方法、***、设备及可读存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008009728A (ja) * 2006-06-29 2008-01-17 Ritsumeikan 表情認識方法及び表情認識装置
CN111126592A (zh) * 2018-10-30 2020-05-08 三星电子株式会社 输出预测结果、生成神经网络的方法及装置和存储介质
US20200272905A1 (en) * 2019-02-26 2020-08-27 GE Precision Healthcare LLC Artificial neural network compression via iterative hybrid reinforcement learning approach
CN110097187A (zh) * 2019-04-29 2019-08-06 河海大学 一种基于激活-熵权重剪枝的cnn模型压缩方法
CN110097178A (zh) * 2019-05-15 2019-08-06 电科瑞达(成都)科技有限公司 一种基于熵注意的神经网络模型压缩与加速方法
CN110390674A (zh) * 2019-07-24 2019-10-29 腾讯医疗健康(深圳)有限公司 图像处理方法、装置、存储介质、设备以及***
CN111062382A (zh) * 2019-10-30 2020-04-24 北京交通大学 用于目标检测网络的通道剪枝方法
CN111275175A (zh) * 2020-02-20 2020-06-12 腾讯科技（深圳）有限公司 神经网络训练方法、装置、图像分类方法、设备和介质
CN111507383A (zh) * 2020-04-03 2020-08-07 厦门大学 一种基于进化算法的神经网络自动剪枝方法
CN112052951A (zh) * 2020-08-31 2020-12-08 北京中科慧眼科技有限公司 一种剪枝神经网络方法、***、设备及可读存储介质

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
SEYED IMAN MIRZADEH等: "Improved Knowledge Distillation via Teacher Assistant" *
吴昭阳: "基于演化神经网络的图像特征分离算法研究" *
尹文枫等: "卷积神经网络压缩与加速技术研究进展" *
李思雨: "面向人脸表情识别的深度神经网络模型压缩研究" *
汪洋: "深度神经网络模型压缩方法及应用研究" *
蒋霆: "基于卷积神经网络的模型压缩与加速方法研究" *
虎泽华: "基于遗传算法的卷积神经网络模型压缩技术研究" *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023030513A1 (zh) * 2021-09-05 2023-03-09 汉熵通信有限公司 物联网***
CN114091668A (zh) * 2021-11-22 2022-02-25 广东工业大学 基于可微决策器和知识蒸馏的神经网络剪枝方法及***
CN114742211A (zh) * 2022-06-10 2022-07-12 南京邮电大学 一种面向微控制器的卷积神经网络部署和优化方法
CN114742211B (zh) * 2022-06-10 2022-09-23 南京邮电大学 一种面向微控制器的卷积神经网络部署和优化方法

Also Published As

Publication number Publication date
US20220351043A1 (en) 2022-11-03
CN113011570B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
CN113011570B (zh) 一种采用神经网络压缩***的人脸表情识别方法
He et al. Asymptotic soft filter pruning for deep convolutional neural networks
CN110175628A (zh) 一种基于自动搜索与知识蒸馏的神经网络剪枝的压缩算法
CN111461322B (zh) 一种深度神经网络模型压缩方法
CN113065974B (zh) 一种基于动态网络表示学习的链路预测方法
CN112464004A (zh) 一种多视角深度生成图像聚类方法
CN113657421B (zh) 卷积神经网络压缩方法和装置、图像分类方法和装置
CN114118369B (zh) 一种基于群智能优化的图像分类卷积神经网络设计方法
CN111355633A (zh) 一种基于pso-delm算法的比赛场馆内手机上网流量预测方法
CN112733964A (zh) 一种强化学习自动感知权重分布的卷积神经网络量化方法
CN112906853A (zh) 模型自动优化的方法及装置、设备、存储介质
CN114169251A (zh) 一种超短期风电功率预测方法
CN116229323A (zh) 一种基于改进的深度残差网络的人体行为识别方法
CN116384576A (zh) 风速预测方法、装置、***及存储介质
Kawamura et al. A hybrid approach for optimal feature subset selection with evolutionary algorithms
Yang et al. Skeleton neural networks via low-rank guided filter pruning
CN112668543B (zh) 一种手模型感知的孤立词手语识别方法
CN117058235A (zh) 跨多种室内场景的视觉定位方法
Rong et al. Soft Taylor pruning for accelerating deep convolutional neural networks
Wang et al. Codinet: Path distribution modeling with consistency and diversity for dynamic routing
CN115794880A (zh) 一种面向近似查询处理的和积网络与残差神经网络混合模型
CN114239826A (zh) 神经网络剪枝方法、介质及电子设备
CN112529637B (zh) 基于情景感知的服务需求动态预测方法及***
Sarkar et al. An incremental pruning strategy for fast training of CNN models
CN114091668A (zh) 基于可微决策器和知识蒸馏的神经网络剪枝方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant