CN110097177B - 一种基于伪孪生网络的网络剪枝方法 - Google Patents

一种基于伪孪生网络的网络剪枝方法 Download PDF

Info

Publication number
CN110097177B
CN110097177B CN201910400920.5A CN201910400920A CN110097177B CN 110097177 B CN110097177 B CN 110097177B CN 201910400920 A CN201910400920 A CN 201910400920A CN 110097177 B CN110097177 B CN 110097177B
Authority
CN
China
Prior art keywords
network
pseudo
twin
target
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910400920.5A
Other languages
English (en)
Other versions
CN110097177A (zh
Inventor
闵锐
蓝海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aegis Defense Technology Chengdu Co ltd
Original Assignee
Electric Coreda Chengdu Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Electric Coreda Chengdu Technology Co ltd filed Critical Electric Coreda Chengdu Technology Co ltd
Priority to CN201910400920.5A priority Critical patent/CN110097177B/zh
Publication of CN110097177A publication Critical patent/CN110097177A/zh
Application granted granted Critical
Publication of CN110097177B publication Critical patent/CN110097177B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于神经网络模型压缩技术领域，具体为一种基于伪孪生网络的网络剪枝方法。本发明在传统的三值神经网络的基础上，提出了一种通用的裁剪大型卷积神经网络中冗余连接的方法，具体为：构造一个与被裁减网络N一样架构的三值网络Ternary‑N，用相同的图片进行每一步的训练，训练过程中采用知识蒸馏算法，训练完成后用Ternary‑N中的权值对N中相对应位置的权重进行裁剪，最后对N进行微调，微调后的网络连接数相比于原网络大大减少。

Description

一种基于伪孪生网络的网络剪枝方法
技术领域
本发明属于神经网络模型压缩技术领域，涉及一种基于伪孪生网络的网络剪枝方法。
背景技术
在人工智能发展迅猛的背景下，神经网络已经成为实现人工智能的关键技术。在众多神经网络中，卷积神经网络因其在图像分类、目标检测中优秀的表现而成为人们研究的热点。但是，因为现代卷积神经网络占用过多内存资源和计算资源，影响了其在资源受限的实时硬件***中的部署。所以，如何压缩卷积神经网络的模型规模和减少其计算量成为了在受限的实时硬件***中的部署人工智能技术的关键。
实现卷积神经网络的压缩需要来自许多学科的联合解决方案，包括但不限于机器学习，优化，计算机体系结构，数据压缩，索引和硬件设计。本文主要的关注在网络结方面的模型压缩方法，回顾近年来科研工作者在这方面所提出的切实可行的方法，我们可以将这些方法分为四类：参数修剪和共享，低秩分解，转移/紧凑型卷积滤波器和知识蒸馏。
非结构化剪枝是压缩卷积神经网络的模型规模和减少其计算量的重要方法，其通过裁剪卷积神经网络中的权重和连接来达到压缩和加速卷积神经网络的目的。
参数共享是通过让网络模型的权重共享相同的一个参数集，以达到模型压缩的目的。其中一种重要的方法是网络量化，其通过减少表示每个权重所需的比特数来压缩原始网络。有工作将k均值标量量化应用于参数值。也有学者表明，参数的8位量化可以导致显着的加速，并且精度损失最小。也有工作在基于随机舍入的CNN训练中使用了16位固定点表示，这显着降低了内存使用和浮点运算，而且分类精度几乎没有损失。在每个权重的1位表示的极端情况下，即二进制权重神经网络，还有许多工作直接训练具有二进制权重的CNN，例如，BinaryConnect，BinaryNet和XNORNetwork。
网络修剪是通过删除网络中不重要的连接或参数来达到压缩的目的。网络修剪早期方法是基于权重值的大小进行裁剪。有学者提出最佳脑损伤和最佳脑外科医生方法，其用基于损失函数Hessian的裁剪法来减少连接数，实验表明这种修剪比基于重量的修剪(例如重量衰减方法)提供更高的准确性。网络修剪的最新趋势一是在预训练的CNN模型中修剪冗余的非信息量权重，二是基于无数据修剪方法来去除冗余神经元。但是现行的剪枝技术在剪枝率和精度保持方面仍具有较大的问题。
发明内容
本发明的目的是针对上述问题，提出一种基于伪孪生网络的网络剪枝方法。
本发明的技术方案是：
1)读取被剪枝网络的网络结构，然后构造一个与被剪枝32bit网络相同的，但是其网络权重都为三值,激活函数为32bit的网络，即该网络的权重参数W∈{-1,0,1}，这个三值网络被称为伪孪生网络。
2)以目标数据集作为网络的输入，以网络输出向量和目标的真实向量交叉熵作为损失函数，采用传统的随机梯度下降法对被剪枝网络参数进行更新。然后孪生网络采用知识蒸馏的方法进行训练。知识蒸馏中，设被剪枝网络的输出为T(i)，孪生网络的输出为S(i)。目标的真实分布为L(i).被剪枝网络网络的代价函数Lt：
Figure BDA0002059734250000021
孪生网络的代价函数Ls：
Figure BDA0002059734250000022
图示见附图1；
3)训练算法主要包括以下三个步骤，图示见附图2：
一、对图像进行简单的预处理，包括归一化和调整大小；
循环：
二、将训练图像输入被剪枝网络，用被剪枝网络输出Lt更新教师网络的权重。
三、将步骤b中的相同训练图像放入孪生网络中，以Ls更新孪生网络中的三元权重。
当Lt和Ls都小于0.01的时候循环结束，保存被剪枝网络和孪生网络的权值；
4)以孪生网络为模板，对被剪枝网络进行裁剪，具体做法为将被剪枝网络的卷积核的绝对值和孪生网络中的卷积核相乘得到一个新的卷积核，裁剪这个新的卷积核中权值为0的部分，并用裁剪后的新的卷积核替代被剪枝网络中的卷积核。图示见附图3；
5)对裁剪后的网络进行进一步训练以微调其中的参数。其微调方法分为两种：
一：保留原网络遗留下的参数，微调三值网络的参数。图示见附图4。
二、保留三值网络遗留下的参数，微调原网络的参数。图示见附图5。
微调后的被剪枝网络即为裁剪后的网络。
本发明的有益效果为，被剪枝网络的精度不会明显下降，且剪枝速度快。
附图说明
图1为教师和学生网络代价函数的计算；
图2为教师和学生网络的训练过程；
图3为以学生网络为模板对教师网络进行剪枝过程中一个示例；
图4为微调方式的一个示例；
图5为微调方式的另一个示例。
具体实施方式
以Le-Net网络和MNIST数据集为例：
MNIST数据集由手写数字图像组成，训练集有55000个样本，测试集有10000个样本，同时验证集有5000个样本，每一个样本都有它对应的标注信息，即label。所有数字图像都经过尺寸标准化，并集中在28x 28像素的固定尺寸图像中。在原始数据集中，图像的每个像素由0到255之间的值表示，其中0为黑色，255为白色，介于两者之间的任何内容都是不同的灰色阴影。
Le-Net是1986年提出的一种用于识别手写字符的卷积神经网络，拥有3层卷积层，两层池化层，和一层全连接层和输出层。用我们的方法对其进行裁剪后的结果如下：
表1和表2是微调方式一的结果，表3和表4是微调方式二的结果：
表1
网络层 参数量 剪枝率
Conv1 150 0.413
Conv2 2400 0.467
Conv3 48000 0.528
FC1 10080 0.401
FC2 840 0.407
Total 61470 0.503
表2
模型名 错误率
LeNet 1.39％
三值值的LeNet 1.97％
裁剪后的LeNet 1.49％
以下是保持三值网络不变：
表3
网络层 参数量 剪枝率
Conv1 150 0.405
Conv2 2400 0.201
Conv3 48000 0.413
FC1 10080 0.436
FC2 840 0.423
Total 61470 0.408
表4
模型名 错误率
LeNet 1.39％
三值的LeNet 1.97％
裁剪后的LeNet 1.37％
从表中可以看出，Le-Net被剪去了约40％的冗余连接，并且错误率还下降了。这证明了本发明方法的可行性。
以AlexNet网络和Cifar-10数据集为例：
Cifar-10数据集共有60000张彩色图像，这些图像是32*32，分为10个类，每类6000张图。这里面有50000张用于训练，构成了5个训练批，每一批10000张图；另外10000用于测试，单独构成一批。测试批的数据里，取自10类中的每一类，每一类随机取1000张。抽剩下的就随机排列组成了训练批。注意一个训练批中的各类图像并不一定数量相同，总的来看训练批，每一类都有5000张图。
AlexNet网络设计2012提出的一种用于图像识别的网络，拥有5层全卷积层和三层全连接层。用我们的方法对其进行裁剪后的结果如下：
表5和表6是微调方式一的结果，表7和表8是微调方式二的结果：
表5
Figure BDA0002059734250000051
Figure BDA0002059734250000061
表6
Model Error Rate
AlexNet 0.232
Ternary AlexNet 0.253
Pruned AlexNet 0.181
表7
Layer Params Compression Rate
Conv1 4800 40.4％
Conv2 153600 39.4％
Conv3 110592 40.5％
Conv4 147456 41.2％
Conv5 147456 40.0％
Fc1 4718592 58.0％
Fc2 16777216 62.6％
Fc3 40960 51.2％
Total 22100672 62.0％
表8
Figure BDA0002059734250000062
Figure BDA0002059734250000071
从表中可以看出，AlexNet被剪去了约62％的冗余连接，并且错误率下降了3.4％，这也证明了我们的方法的可行性。

Claims (3)

1.一种基于伪孪生网络的网络剪枝方法，其特征在于，包括以下步骤：
S1、根据被剪枝的目标网络，构建一个伪孪生网络，所述伪孪生网络的网络权重为三值；
S2、读取训练样本，采用随机梯度下降法对目标网络进行训练，设目标网络的输出为T(i)，目标网络的代价函数是：
Figure FDA0002059734240000011
其中，n是类别数目，L(i)是目标的真实分布；
采用目标网络的输出T(i)对目标网络的权重进行更新；
采用相同的训练样本对伪孪生网络进行训练，设伪孪生网络的输出为S(i)，伪孪生网络的代价函数是：
Figure FDA0002059734240000012
采用Ls更新伪孪生网络中的三元权重；
训练过程在Lt和Ls都收敛的时候结束，并保存目标网络和伪孪生网络的权重；
S3、以伪孪生网络为模板，对目标网络进行裁剪：
将目标网络的卷积核的绝对值和伪孪生网络中的卷积核相乘得到一个新的卷积核，裁剪这个卷积核中权值为0的部分，并用这个裁剪后的新的卷积核替代目标网络中的卷积核。
2.根据权利要求1所述的一种基于伪孪生网络的网络剪枝方法，其特征在于，还包括：
S4、保留目标网络遗留下的参数，用随机梯度下降法调整伪孪生网络的参数。
3.根据权利要求1所述的一种基于伪孪生网络的网络剪枝方法，其特征在于，还包括：
S4、保留伪孪生网络遗留下的参数，用随机梯度下降法调整目标网络的参数。
CN201910400920.5A 2019-05-15 2019-05-15 一种基于伪孪生网络的网络剪枝方法 Active CN110097177B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910400920.5A CN110097177B (zh) 2019-05-15 2019-05-15 一种基于伪孪生网络的网络剪枝方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910400920.5A CN110097177B (zh) 2019-05-15 2019-05-15 一种基于伪孪生网络的网络剪枝方法

Publications (2)

Publication Number Publication Date
CN110097177A CN110097177A (zh) 2019-08-06
CN110097177B true CN110097177B (zh) 2022-11-29

Family

ID=67448052

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910400920.5A Active CN110097177B (zh) 2019-05-15 2019-05-15 一种基于伪孪生网络的网络剪枝方法

Country Status (1)

Country Link
CN (1) CN110097177B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210150313A1 (en) * 2019-11-15 2021-05-20 Samsung Electronics Co., Ltd. Electronic device and method for inference binary and ternary neural networks

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110909667B (zh) * 2019-11-20 2022-05-10 北京化工大学 面向多角度sar目标识别网络的轻量化设计方法
CN111091144B (zh) * 2019-11-27 2023-06-27 云南电网有限责任公司电力科学研究院 基于深度伪孪生网络的图像特征点匹配方法及装置
CN111008693B (zh) * 2019-11-29 2024-01-26 小米汽车科技有限公司 一种基于数据压缩的网络模型构建方法、***和介质
CN111695699B (zh) * 2020-06-12 2023-09-08 北京百度网讯科技有限公司 用于模型蒸馏的方法、装置、电子设备及可读存储介质
CN112348167B (zh) * 2020-10-20 2022-10-11 华东交通大学 一种基于知识蒸馏的矿石分选方法和计算机可读存储介质
CN113724261A (zh) * 2021-08-11 2021-11-30 电子科技大学 一种基于卷积神经网络的快速图像构图方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108334934A (zh) * 2017-06-07 2018-07-27 北京深鉴智能科技有限公司 基于剪枝和蒸馏的卷积神经网络压缩方法
CN109543559A (zh) * 2018-10-31 2019-03-29 东南大学 基于孪生网络和动作选择机制的目标跟踪方法及***

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10740676B2 (en) * 2016-05-19 2020-08-11 Nec Corporation Passive pruning of filters in a convolutional neural network

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108334934A (zh) * 2017-06-07 2018-07-27 北京深鉴智能科技有限公司 基于剪枝和蒸馏的卷积神经网络压缩方法
CN109543559A (zh) * 2018-10-31 2019-03-29 东南大学 基于孪生网络和动作选择机制的目标跟踪方法及***

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210150313A1 (en) * 2019-11-15 2021-05-20 Samsung Electronics Co., Ltd. Electronic device and method for inference binary and ternary neural networks

Also Published As

Publication number Publication date
CN110097177A (zh) 2019-08-06

Similar Documents

Publication Publication Date Title
CN110097177B (zh) 一种基于伪孪生网络的网络剪枝方法
WO2021042828A1 (zh) 神经网络模型压缩的方法、装置、存储介质和芯片
CN111079781B (zh) 基于低秩与稀疏分解的轻量化卷积神经网络图像识别方法
CN113159173A (zh) 一种结合剪枝与知识蒸馏的卷积神经网络模型压缩方法
CN111695513B (zh) 一种基于深度残差网络的人脸表情识别方法
Yue et al. Face recognition based on histogram equalization and convolution neural network
CN112418397B (zh) 一种基于轻量级卷积神经网络的图像分类方法
CN111784699B (zh) 一种对三维点云数据进行目标分割方法、装置及终端设备
Singh et al. Acceleration of deep convolutional neural networks using adaptive filter pruning
CN115829027A (zh) 一种基于对比学习的联邦学习稀疏训练方法及***
CN112597919A (zh) 基于YOLOv3剪枝网络和嵌入式开发板的实时药盒检测方法
Fan et al. HFPQ: deep neural network compression by hardware-friendly pruning-quantization
Qi et al. Learning low resource consumption cnn through pruning and quantization
Doan Large-scale insect pest image classification
CN114742997A (zh) 一种面向图像分割的全卷积神经网络密度峰剪枝方法
CN114882278A (zh) 一种基于注意力机制和迁移学习的轮胎花纹分类方法和装置
CN110807497A (zh) 基于深度动态网络的手写体数据分类方法及***
CN117671271A (zh) 模型训练方法、图像分割方法、装置、设备和介质
CN112561054A (zh) 一种基于批量特征热图的神经网络滤波器剪枝方法
CN116957010A (zh) 一种用于卷积神经网络的模型推理方法和装置
CN116310335A (zh) 一种基于Vision Transformer的翼状胬肉病灶区域的分割方法
CN115620064A (zh) 一种基于卷积神经网络的点云下采样分类方法及***
CN115063374A (zh) 模型训练、人脸图像质量评分方法、电子设备及存储介质
CN114494284B (zh) 一种基于显式监督区域关系的场景解析模型及方法
CN115100694A (zh) 一种基于自监督神经网络的指纹快速检索方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20240607

Address after: Room 24, Floor 2, Unit 1, Building 1, No. 73, Section 2, Second Ring Road West, Qingyang District, Chengdu, 610000, Sichuan

Patentee after: Aegis Defense Technology (Chengdu) Co.,Ltd.

Country or region after: China

Address before: 610041 floor 5, building 1, No. 21, Gaopeng Avenue, high tech Zone, Chengdu, Sichuan

Patentee before: Electric Coreda (Chengdu) Technology Co.,Ltd.

Country or region before: China