CN110097177A - 一种基于伪孪生网络的网络剪枝方法 - Google Patents
一种基于伪孪生网络的网络剪枝方法 Download PDFInfo
- Publication number
- CN110097177A CN110097177A CN201910400920.5A CN201910400920A CN110097177A CN 110097177 A CN110097177 A CN 110097177A CN 201910400920 A CN201910400920 A CN 201910400920A CN 110097177 A CN110097177 A CN 110097177A
- Authority
- CN
- China
- Prior art keywords
- network
- pseudo
- twin
- weight
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000013138 pruning Methods 0.000 title claims abstract description 29
- 238000012549 training Methods 0.000 claims abstract description 18
- 238000011478 gradient descent method Methods 0.000 claims description 4
- 238000013527 convolutional neural network Methods 0.000 abstract description 12
- 238000007906 compression Methods 0.000 abstract description 8
- 230000006835 compression Effects 0.000 abstract description 8
- 238000013528 artificial neural network Methods 0.000 abstract description 4
- 238000010276 construction Methods 0.000 abstract description 2
- 238000003062 neural network model Methods 0.000 abstract description 2
- 238000007429 general method Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000009966 trimming Methods 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000013139 quantization Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000013140 knowledge distillation Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 208000022306 Cerebral injury Diseases 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000004821 distillation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明属于神经网络模型压缩技术领域，具体为一种基于伪孪生网络的网络剪枝方法。本发明在传统的三值神经网络的基础上，提出了一种通用的裁剪大型卷积神经网络中冗余连接的方法，具体为：构造一个与被裁减网络N一样架构的三值网络Ternary‑N，用相同的图片进行每一步的训练，训练过程中采用知识蒸馏算法，训练完成后用Ternary‑N中的权值对N中相对应位置的权重进行裁剪，最后对N进行微调，微调后的网络连接数相比于原网络大大减少。
Description
技术领域
本发明属于神经网络模型压缩技术领域，涉及一种基于伪孪生网络的网络剪枝方法。
背景技术
在人工智能发展迅猛的背景下，神经网络已经成为实现人工智能的关键技术。在众多神经网络中，卷积神经网络因其在图像分类、目标检测中优秀的表现而成为人们研究的热点。但是，因为现代卷积神经网络占用过多内存资源和计算资源，影响了其在资源受限的实时硬件***中的部署。所以，如何压缩卷积神经网络的模型规模和减少其计算量成为了在受限的实时硬件***中的部署人工智能技术的关键。
实现卷积神经网络的压缩需要来自许多学科的联合解决方案，包括但不限于机器学习，优化，计算机体系结构，数据压缩，索引和硬件设计。本文主要的关注在网络结方面的模型压缩方法，回顾近年来科研工作者在这方面所提出的切实可行的方法，我们可以将这些方法分为四类：参数修剪和共享，低秩分解，转移/紧凑型卷积滤波器和知识蒸馏。
非结构化剪枝是压缩卷积神经网络的模型规模和减少其计算量的重要方法，其通过裁剪卷积神经网络中的权重和连接来达到压缩和加速卷积神经网络的目的。
参数共享是通过让网络模型的权重共享相同的一个参数集，以达到模型压缩的目的。其中一种重要的方法是网络量化，其通过减少表示每个权重所需的比特数来压缩原始网络。有工作将k均值标量量化应用于参数值。也有学者表明，参数的8位量化可以导致显着的加速，并且精度损失最小。也有工作在基于随机舍入的CNN训练中使用了16位固定点表示，这显着降低了内存使用和浮点运算，而且分类精度几乎没有损失。在每个权重的1位表示的极端情况下，即二进制权重神经网络，还有许多工作直接训练具有二进制权重的CNN，例如，BinaryConnect，BinaryNet和XNORNetwork。
网络修剪是通过删除网络中不重要的连接或参数来达到压缩的目的。网络修剪早期方法是基于权重值的大小进行裁剪。有学者提出最佳脑损伤和最佳脑外科医生方法，其用基于损失函数Hessian的裁剪法来减少连接数，实验表明这种修剪比基于重量的修剪(例如重量衰减方法)提供更高的准确性。网络修剪的最新趋势一是在预训练的CNN模型中修剪冗余的非信息量权重，二是基于无数据修剪方法来去除冗余神经元。但是现行的剪枝技术在剪枝率和精度保持方面仍具有较大的问题。
发明内容
本发明的目的是针对上述问题，提出一种基于伪孪生网络的网络剪枝方法。
本发明的技术方案是：
1)读取被剪枝网络的网络结构，然后构造一个与被剪枝32bit网络相同的，但是其网络权重都为三值,激活函数为32bit的网络，即该网络的权重参数W∈{-1,0,1}，这个三值网络被称为伪孪生网络。
2)以目标数据集作为网络的输入，以网络输出向量和目标的真实向量交叉熵作为损失函数，采用传统的随机梯度下降法对被剪枝网络参数进行更新。然后孪生网络采用知识蒸馏的方法进行训练。知识蒸馏中，设被剪枝网络的输出为T(i)，孪生网络的输出为S(i)。目标的真实分布为L(i).被剪枝网络网络的代价函数Lt：
孪生网络的代价函数Ls：
图示见附图1；
3)训练算法主要包括以下三个步骤，图示见附图2：
一、对图像进行简单的预处理，包括归一化和调整大小；
循环：
二、将训练图像输入被剪枝网络，用被剪枝网络输出Lt更新教师网络的权重。
三、将步骤b中的相同训练图像放入孪生网络中，以Ls更新孪生网络中的三元权重。
当Lt和Ls都小于0.01的时候循环结束，保存被剪枝网络和孪生网络的权值；
4)以孪生网络为模板，对被剪枝网络进行裁剪，具体做法为将被剪枝网络的卷积核的绝对值和孪生网络中的卷积核相乘得到一个新的卷积核，裁剪这个新的卷积核中权值为0的部分，并用裁剪后的新的卷积核替代被剪枝网络中的卷积核。图示见附图3；
5)对裁剪后的网络进行进一步训练以微调其中的参数。其微调方法分为两种：
一：保留原网络遗留下的参数，微调三值网络的参数。图示见附图4。
二、保留三值网络遗留下的参数，微调原网络的参数。图示见附图5。
微调后的被剪枝网络即为裁剪后的网络。
本发明的有益效果为，被剪枝网络的精度不会明显下降，且剪枝速度快。
附图说明
图1为教师和学生网络代价函数的计算；
图2为教师和学生网络的训练过程；
图3为以学生网络为模板对教师网络进行剪枝过程中一个示例；
图4为微调方式的一个示例；
图5为微调方式的另一个示例。
具体实施方式
以Le-Net网络和MNIST数据集为例：
MNIST数据集由手写数字图像组成，训练集有55000个样本，测试集有10000个样本，同时验证集有5000个样本，每一个样本都有它对应的标注信息，即label。所有数字图像都经过尺寸标准化，并集中在28x 28像素的固定尺寸图像中。在原始数据集中，图像的每个像素由0到255之间的值表示，其中0为黑色，255为白色，介于两者之间的任何内容都是不同的灰色阴影。
Le-Net是1986年提出的一种用于识别手写字符的卷积神经网络，拥有3层卷积层，两层池化层，和一层全连接层和输出层。用我们的方法对其进行裁剪后的结果如下：
表1和表2是微调方式一的结果，表3和表4是微调方式二的结果：
表1
| 网络层 | 参数量 | 剪枝率 |
| Conv1 | 150 | 0.413 |
| Conv2 | 2400 | 0.467 |
| Conv3 | 48000 | 0.528 |
| FC1 | 10080 | 0.401 |
| FC2 | 840 | 0.407 |
| Total | 61470 | 0.503 |
表2
| 模型名 | 错误率 |
| LeNet | 1.39％ |
| 三值值的LeNet | 1.97％ |
| 裁剪后的LeNet | 1.49％ |
以下是保持三值网络不变：
表3
| 网络层 | 参数量 | 剪枝率 |
| Conv1 | 150 | 0.405 |
| Conv2 | 2400 | 0.201 |
| Conv3 | 48000 | 0.413 |
| FC1 | 10080 | 0.436 |
| FC2 | 840 | 0.423 |
| Total | 61470 | 0.408 |
表4
| 模型名 | 错误率 |
| LeNet | 1.39％ |
| 三值的LeNet | 1.97％ |
| 裁剪后的LeNet | 1.37％ |
从表中可以看出，Le-Net被剪去了约40％的冗余连接，并且错误率还下降了。这证明了本发明方法的可行性。
以AlexNet网络和Cifar-10数据集为例：
Cifar-10数据集共有60000张彩色图像，这些图像是32*32，分为10个类，每类6000张图。这里面有50000张用于训练，构成了5个训练批，每一批10000张图；另外10000用于测试，单独构成一批。测试批的数据里，取自10类中的每一类，每一类随机取1000张。抽剩下的就随机排列组成了训练批。注意一个训练批中的各类图像并不一定数量相同，总的来看训练批，每一类都有5000张图。
AlexNet网络设计2012提出的一种用于图像识别的网络，拥有5层全卷积层和三层全连接层。用我们的方法对其进行裁剪后的结果如下：
表5和表6是微调方式一的结果，表7和表8是微调方式二的结果：
表5
表6
| Model | Error Rate |
| AlexNet | 0.232 |
| Ternary AlexNet | 0.253 |
| Pruned AlexNet | 0.181 |
表7
| Layer | Params | Compression Rate |
| Conv1 | 4800 | 40.4％ |
| Conv2 | 153600 | 39.4％ |
| Conv3 | 110592 | 40.5％ |
| Conv4 | 147456 | 41.2％ |
| Conv5 | 147456 | 40.0％ |
| Fc1 | 4718592 | 58.0％ |
| Fc2 | 16777216 | 62.6％ |
| Fc3 | 40960 | 51.2％ |
| Total | 22100672 | 62.0％ |
表8
从表中可以看出，AlexNet被剪去了约62％的冗余连接，并且错误率下降了3.4％，这也证明了我们的方法的可行性。
Claims (3)
1.一种基于伪孪生网络的网络剪枝方法，其特征在于，包括以下步骤：
S1、根据被剪枝的目标网络，构建一个伪孪生网络，所述伪孪生网络的网络权重为三值；
S2、读取训练样本，采用随机梯度下降法对目标网络进行训练，设目标网络的输出为T(i)，目标网络的代价函数是：
其中，n是类别数目，L(i)是目标的真实分布；
采用目标网络的输出T(i)对目标网络的权重进行更新；
采用相同的训练样本对伪孪生网络进行训练，设伪孪生网络的输出为S(i)，伪孪生网络的代价函数是：
采用Ls更新伪孪生网络中的三元权重；
训练过程在Lt和Ls都收敛的时候结束，并保存目标网络和伪孪生网络的权重；
S3、以伪孪生网络为模板，对目标网络进行裁剪：
将目标网络的卷积核的绝对值和伪孪生网络中的卷积核相乘得到一个新的卷积核，裁剪这个卷积核中权值为0的部分，并用这个裁剪后的新的卷积核替代目标网络中的卷积核。
2.根据权利要求1所述的一种基于伪孪生网络的网络剪枝方法，其特征在于，还包括：
S4、保留目标网络遗留下的参数，用随机梯度下降法调整伪孪生网络的参数。
3.根据权利要求1所述的一种基于伪孪生网络的网络剪枝方法，其特征在于，还包括：
S4、保留伪孪生网络遗留下的参数，用随机梯度下降法调整目标网络的参数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910400920.5A CN110097177B (zh) | 2019-05-15 | 2019-05-15 | 一种基于伪孪生网络的网络剪枝方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910400920.5A CN110097177B (zh) | 2019-05-15 | 2019-05-15 | 一种基于伪孪生网络的网络剪枝方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110097177A true CN110097177A (zh) | 2019-08-06 |
| CN110097177B CN110097177B (zh) | 2022-11-29 |
Family
ID=67448052
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910400920.5A Active CN110097177B (zh) | 2019-05-15 | 2019-05-15 | 一种基于伪孪生网络的网络剪枝方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110097177B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110909667A (zh) * | 2019-11-20 | 2020-03-24 | 北京化工大学 | 面向多角度sar目标识别网络的轻量化设计方法 |
| CN111008693A (zh) * | 2019-11-29 | 2020-04-14 | 深动科技（北京）有限公司 | 一种基于数据压缩的网络模型构建方法、***和介质 |
| CN111091144A (zh) * | 2019-11-27 | 2020-05-01 | 云南电网有限责任公司电力科学研究院 | 基于深度伪孪生网络的图像特征点匹配方法及装置 |
| CN111695699A (zh) * | 2020-06-12 | 2020-09-22 | 北京百度网讯科技有限公司 | 用于模型蒸馏的方法、装置、电子设备及可读存储介质 |
| CN112348167A (zh) * | 2020-10-20 | 2021-02-09 | 华东交通大学 | 一种基于知识蒸馏的矿石分选方法和计算机可读存储介质 |
| CN113724261A (zh) * | 2021-08-11 | 2021-11-30 | 电子科技大学 | 一种基于卷积神经网络的快速图像构图方法 |
| US12039430B2 (en) * | 2019-11-15 | 2024-07-16 | Samsung Electronics Co., Ltd. | Electronic device and method for inference binary and ternary neural networks |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170337472A1 (en) * | 2016-05-19 | 2017-11-23 | Nec Laboratories America, Inc. | Passive pruning of filters in a convolutional neural network |
| CN108334934A (zh) * | 2017-06-07 | 2018-07-27 | 北京深鉴智能科技有限公司 | 基于剪枝和蒸馏的卷积神经网络压缩方法 |
| CN109543559A (zh) * | 2018-10-31 | 2019-03-29 | 东南大学 | 基于孪生网络和动作选择机制的目标跟踪方法及*** |
-
2019
- 2019-05-15 CN CN201910400920.5A patent/CN110097177B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170337472A1 (en) * | 2016-05-19 | 2017-11-23 | Nec Laboratories America, Inc. | Passive pruning of filters in a convolutional neural network |
| CN108334934A (zh) * | 2017-06-07 | 2018-07-27 | 北京深鉴智能科技有限公司 | 基于剪枝和蒸馏的卷积神经网络压缩方法 |
| CN109543559A (zh) * | 2018-10-31 | 2019-03-29 | 东南大学 | 基于孪生网络和动作选择机制的目标跟踪方法及*** |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US12039430B2 (en) * | 2019-11-15 | 2024-07-16 | Samsung Electronics Co., Ltd. | Electronic device and method for inference binary and ternary neural networks |
| CN110909667A (zh) * | 2019-11-20 | 2020-03-24 | 北京化工大学 | 面向多角度sar目标识别网络的轻量化设计方法 |
| CN111091144A (zh) * | 2019-11-27 | 2020-05-01 | 云南电网有限责任公司电力科学研究院 | 基于深度伪孪生网络的图像特征点匹配方法及装置 |
| CN111008693A (zh) * | 2019-11-29 | 2020-04-14 | 深动科技（北京）有限公司 | 一种基于数据压缩的网络模型构建方法、***和介质 |
| CN111008693B (zh) * | 2019-11-29 | 2024-01-26 | 小米汽车科技有限公司 | 一种基于数据压缩的网络模型构建方法、***和介质 |
| CN111695699A (zh) * | 2020-06-12 | 2020-09-22 | 北京百度网讯科技有限公司 | 用于模型蒸馏的方法、装置、电子设备及可读存储介质 |
| CN111695699B (zh) * | 2020-06-12 | 2023-09-08 | 北京百度网讯科技有限公司 | 用于模型蒸馏的方法、装置、电子设备及可读存储介质 |
| CN112348167A (zh) * | 2020-10-20 | 2021-02-09 | 华东交通大学 | 一种基于知识蒸馏的矿石分选方法和计算机可读存储介质 |
| CN112348167B (zh) * | 2020-10-20 | 2022-10-11 | 华东交通大学 | 一种基于知识蒸馏的矿石分选方法和计算机可读存储介质 |
| CN113724261A (zh) * | 2021-08-11 | 2021-11-30 | 电子科技大学 | 一种基于卷积神经网络的快速图像构图方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110097177B (zh) | 2022-11-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110097177A (zh) | 一种基于伪孪生网络的网络剪枝方法 | |
| CN110766063B (zh) | 基于压缩激励和紧密连接卷积神经网络的图像分类方法 | |
| CN111242288B (zh) | 一种用于病变图像分割的多尺度并行深度神经网络模型构建方法 | |
| CN110070107A (zh) | 物体识别方法及装置 | |
| WO2021051987A1 (zh) | 神经网络模型训练的方法和装置 | |
| CN106383891A (zh) | 一种基于深度哈希的医学图像分布式检索方法 | |
| CN110135231A (zh) | 动物面部识别方法、装置、计算机设备和存储介质 | |
| JP2023523029A (ja) | 画像認識モデル生成方法、装置、コンピュータ機器及び記憶媒体 | |
| CN110929610A (zh) | 基于cnn模型和迁移学习的植物病害识别方法及*** | |
| CN110309853A (zh) | 基于变分自编码器的医学图像聚类方法 | |
| CN109271516A (zh) | 一种知识图谱中实体类型分类方法及*** | |
| Zhu et al. | Big data image classification based on distributed deep representation learning model | |
| Du et al. | Efficient network construction through structural plasticity | |
| CN116779091A (zh) | 一种多模态网络互联融合的胸部影像诊断报告自动生成方法 | |
| CN111914166A (zh) | 应用于社区矫正人员的矫正策略个性化推荐*** | |
| Qi et al. | Learning low resource consumption cnn through pruning and quantization | |
| CN114580517A (zh) | 一种图像识别模型的确定方法及装置 | |
| CN108875909A (zh) | 医学影像的分类方法及装置 | |
| CN116797850A (zh) | 基于知识蒸馏和一致性正则化的类增量图像分类方法 | |
| CN115620064A (zh) | 一种基于卷积神经网络的点云下采样分类方法及*** | |
| CN115063374A (zh) | 模型训练、人脸图像质量评分方法、电子设备及存储介质 | |
| CN116011550A (zh) | 一种模型剪枝方法、图像处理方法及相关装置 | |
| CN105184320A (zh) | 基于结构相似度的非负稀疏编码的图像分类方法 | |
| CN115455162A (zh) | 层次胶囊与多视图信息融合的答案句子选择方法与装置 | |
| CN116012903A (zh) | 一种人脸表情自动标注的方法及*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240607 Address after: Room 24, Floor 2, Unit 1, Building 1, No. 73, Section 2, Second Ring Road West, Qingyang District, Chengdu, 610000, Sichuan Patentee after: Aegis Defense Technology (Chengdu) Co.,Ltd. Country or region after: China Address before: 610041 floor 5, building 1, No. 21, Gaopeng Avenue, high tech Zone, Chengdu, Sichuan Patentee before: Electric Coreda (Chengdu) Technology Co.,Ltd. Country or region before: China |
|
| TR01 | Transfer of patent right |