CN111368976B - 基于神经网络特征识别的数据压缩方法 - Google Patents
基于神经网络特征识别的数据压缩方法 Download PDFInfo
- Publication number
- CN111368976B CN111368976B CN202010126059.0A CN202010126059A CN111368976B CN 111368976 B CN111368976 B CN 111368976B CN 202010126059 A CN202010126059 A CN 202010126059A CN 111368976 B CN111368976 B CN 111368976B
- Authority
- CN
- China
- Prior art keywords
- model
- data
- class
- feature
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 28
- 238000013144 data compression Methods 0.000 title claims abstract description 11
- 238000007906 compression Methods 0.000 claims abstract description 15
- 230000006835 compression Effects 0.000 claims abstract description 15
- 238000012549 training Methods 0.000 claims description 12
- 238000003062 neural network model Methods 0.000 claims description 7
- 238000013527 convolutional neural network Methods 0.000 claims description 5
- 238000013139 quantization Methods 0.000 claims description 4
- 125000004122 cyclic group Chemical group 0.000 claims 1
- 238000011156 evaluation Methods 0.000 claims 1
- 238000004364 calculation method Methods 0.000 abstract description 8
- 238000012360 testing method Methods 0.000 abstract description 3
- 238000012795 verification Methods 0.000 abstract description 2
- 238000012163 sequencing technique Methods 0.000 abstract 2
- 238000013138 pruning Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 3
- 238000000354 decomposition reaction Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000013140 knowledge distillation Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了基于神经网络特征识别的数据压缩方法。本发明方法首先对神经网络识别模型的特征数据进行约束，然后对模型进行重训练，模型经验证集测试，若测试结果满足要求，则固化模型参数，得到推断模型，该推断模型输出的特征数据的分布满足后续压缩需求。根据推断模型和库数据得到类特征数据。对类特征数据进行量化，然后对类内特征数据依次按特征相近度排序，依据排序结果进行差值存储，实现类内特征数据压缩。得到压缩后的特征比对库，结合推断模型，将其部署到实际的设备中。本发明方法部署到存储有限的离线端或移动端设备的模型，在保证模型的鲁棒识别性能基础上，既降低了库模型所需内存，又不额外增加解码计算量。
Description
技术领域
本发明属于计算机技术领域，尤其是神经网络识别技术领域，具体涉及一种基于神经网络特征识别的数据压缩方法。
背景技术
近年来，以神经网络为代表的深学习技术在诸多领域取得了很大突破，但在技术实际落地的过程中遇到很多挑战。如模型的参数量和计算量过大，而设备内存不足，难以实际部署；或受限于实际模型的推断延迟过长，无法满足现实中的实时性要求。尤其在离线端需要进行边缘计算任务时，受限于设备的存储能力和存储代价，模型所需的存储空间往往是受限的，所以降低模型所需的内存是十分必要的。
神经网络一般分为训练模式和推断模式，实际中部署需求的是推断模型。为了推断模型具有更强的鲁棒性，降低模型的过拟合风险，通常在训练模式下，在神经网络模型中加入约束条件。如dropout、正则化等策略，且这些策略是在模型的权重方面做约束。
针对基于神经网络特征识别的模型，在实际使用中，为了模型具有更鲁棒的识别性能，特征比对库中每个类会包含多个特征。只有当输入的待匹配特征与特征比对库中的特征满足一定的匹配个数，才会输出匹配成功的类。即在实际部署这类模型时，除了考虑神经网络模型的参数大小和计算内存，还要考虑额外的特征比对库数据存储空间。若特征比对库所需过大，将给模型部署带来较大的难度。解决办法：一方面，可以增大设备的内存空间，但会提升设备的成本；另一方面，很可能设备本身无法扩大其内存空间，这就要压缩模型的所需内存。
目前关于神经网络模型压缩的问题，提出了很多方法。包括：模型的剪枝处理(结构化剪枝和非结构化剪枝)，但合理的剪枝比例，需要搜索得到；神经网络知识蒸馏方法，需要重构模型并训练；基于张量分解的方法，不仅张量分解过程计算量大,而且分解后模型优化时难以获得全局最优解；此外还有直接设计轻量级的神经网络方法。这些方法都是在网络模型方面做处理。
针对数据库压缩的问题，虽然现有的压缩方法可以达到很高的压缩率，但压缩率越高的方法，其对应的压缩算法往往也越复杂，相应的解码过程也会很复杂。若采用这种复杂的压缩方法进行压缩，会为模型的比对任务带来额外的解码计算量。这些额外的计算量，会导致推断模型的延迟增长，严重的甚至导致模型无法实际部署。
发明内容
本发明的目的就是针对现有技术的不足，提供一种基于神经网络特征识别的数据压缩方法。本发明方法是在不增加额外的特征比对计算量的同时，压缩特征比对库的所需内存大小，提出的一种基于神经网络特征识别的数据压缩方法。
本发明方法具体是：
步骤(1).对神经网络识别模型的输出特征数据进行约束；
所述的神经网络为卷积神经网络(CNN)、循环神经网络(RNN)或深度神经网络(DNN)，至少选取一层的网络特征作为输出特征数据。
网络层结构的卷积神经网络(CNN)为传统的卷积、分组卷积或分离卷积的形式。
根据特征数据选择约束条件，如果要求特征数据符合正态分布，则采用L2范数约束，如果要求特征数据集符合稀疏分布，则采用L0范数或L1范数约束。L0、L1、L2表示向量的范数。
步骤(2).对输出特征数据约束后的神经网络模型，进行模型训练。具体是：
将对特征数据通过范数约束得到的约束值Lreg加到模型的总目标函数S中，模型其它约束值记为Lpre，则S＝Lpre+Lreg，将S输入训练数据，对模型进行重训练。重训练模型经验证集测试评估，当满足|A1-A2|＜0.01时，则将重训练模型进行参数固化，作为推断模型；A1为模型重训练之前的精度,A2为模型重训练之后的精度。
若Lreg影响过大或过小，即Lreg》Lpre或Lreg＜＜Lpre，则对Lreg施加权重因子α，使得α·Lreg与神经网络的目标函数值Loss同一量级，相应的S调整为S＝Lpre+α·Lreg。
步骤(3).将库数据输入到推断模型，输出类特征数据。
En表示第n类的类内特征，其包含M个类内数据；n∈[1,N]，N表示类的总个数，M表示每个类的类内数据个数。库数据的结构大小为N×M，将库数据输入到推断模型，得到结构大小相同的类特征数据。
步骤(4).对输出的类特征数据进行类内特征数据压缩。
将类特征数据统一做8bit量化处理，然后依次将类内特征En中对应的M个类内数据，按特征相近度从大到小排序。
特征相近度通过两个特征的差值中0的个数表示；0的个数越多，表示相近度越大，0的个数越少，相近度越低。
类内特征数据排序算法采用最小二叉树生成的prim算法或贪心算法。
将排序后的类内特征依次做差，并按特征的差值进行压缩存储。即存储每个类的特征数据时，只存储第一个类内特征数据的完整数据，后续存储的类内特征数据均是与前一个类内特征数据的差值。
步骤(5).依据压缩后的类特征数据，生成特征比对库；
将类内特征数据压缩后，按字典索引的方式存储，即类(关键字)—类内特征(值)，生成特征比对库。
本发明方法提出对特征比对库进行压缩，在训练过程中对特征数据进行约束，使得模型输出的特征满足一定的数据特性分布，从而便于对特征库进行压缩。本发明方法对部署到存储有限的离线端或移动端设备的模型，在保障模型的鲁棒识别性能基础上，既降低了特征比对库存储大小，又不额外增加由于复杂压缩方法带来的解码计算量。
附图说明
图1为本发明方法的流程图；
图2为实施例中的训练流程图；
图3为实施例中的特征比对库生成图。
具体实施方案
下面结合附图，借助实施例详细描述本发明。但应注意到：除非另外特殊说明，否则在实施例中阐述涉及的相对设置、数字表达式、字母表达式和数值不限定本发明的范围，提供这些实施例仅为了让相关人员更便于理解本发明。对相关领域的技术人员公知的技术方法可能不做过多描述。但一定条件下，本发明所述技术、方法和***应当被视为说明书的一部分。
为了阐述更为详细清楚，本发明以神经网络模型A为实施例，说明本发明的具体实施，如图1、2、3所示。
图2为根据适用神经网络模型A的训练流程图，主要描述模型的训练过程。
首先，模型中加入对模型的特征数据E的L2范数约束，即Lreg＝||E||2，模型本身的交叉熵损失以及其它约束记为Lpre，α作为超参来调节对特征数据E约束的强度，得到S＝Lpre+α·Lreg。模型载入预训练模型的参数值，并基于深度学习的反向传播BP机制，对模型进行重训练。
模型重训练后，将重训练模型经验证集测试评估。当满足|A1-A2|＜0.01时，则将重训练模型进行参数固化，得到推断模型；A1为模型重训练之前的精度,A2为模型重训练之后的精度。
图3为基于模型A生成特征比对库的流程图，主要描述了生成类特征数据，以及对类内特征数据压缩的过程。
在模型的推断模式下，将库数据输入到推断模型中，输出类特征数据F。在多目标的识别工作中，为了提高模型识别的鲁棒性，特征比对库中每类的特征往往有D个，而只有成功的匹配其中K个,1≤K≤D，待检测的目标才会被认为成功识别。
类特征数据F，是所有类的特征数据的集合。F的结构可描述为：{E1,…,En,…,EN}，其中E1代表类1的特征数据，相应的En代表类n的特征数据。同时，每个类均包含了M个类内数据，例如En的结构可描述为：{en1,…,enm,…,enM}，enm表示类n中第m个类内特征数据。
为了进一步的降低特征比对库的存储大小，会对特征数据F进行量化处理，这里对F统一做8bit量化。
接下来对类量化后的特征数据F进行压缩，其实质是对En的压缩。
依次将类内特征En中对应的M个类内数据，按特征相近度从大到小排序。这里的相近度是指两个特征数据相减后，0值个数的累加。公式描述为：count_zeros(eni-enj)，count_zeros是统计0的个数，其中0的个数越多，说明两个特征相近度越大，反之，则相近度越小。
这里采用生成最小二叉树的prim算法，对类内特征En进行排序。如对En中的M个特征数据排序后，得到一种结构{eaebeced…}，a,b,c,d满足1≤a,b,c,d≤M，且a,b,c,d互不相等。
对类内特征排序后，将类内特征采用差值方式进行存储。即每类的特征数据存储时只存储第一个特征数据的完整数据，后续存储的特征数据均是与前一个特征数据的差值。如上述排序后En：{eaebeced…}。存储时，按ea,(ea-eb),(eb-ec),(ec-ed),…进行压缩存储。
将类内特征数据压缩后，按字典索引的方式存储类特征数据，即类n(关键字)-压缩后的类内特征En(值)，生成特征比对库。
最后，得到特征比对库，并结合推断模型，可用于模型的实际部署。需要注意的是，由于生成特征比对库过程中，对类特征数据做了量化处理。实际使用推断模型进行推断时，输出的特征也要相应的8bit量化处理，再做特征比对计算。
Claims (5)
1.基于神经网络特征识别的数据压缩方法，其特征在于，该方法具体是：
步骤(1).对神经网络识别模型的输出特征数据进行约束；
至少选取一层的网络输出特征作为输出特征数据；根据特征数据选择约束条件，如果要求特征数据符合正态分布，则采用L2范数约束，如果要求特征数据集符合稀疏分布，则采用L0范数或L1范数约束；
步骤(2).对输出特征数据约束后的神经网络模型，进行模型训练；具体是：
将对特征数据通过范数约束得到的约束值Lreg加到模型的总目标函数S中，模型其它约束值记为Lpre，则S＝Lpre+Lreg，将S载入训练模型中，对模型进行重训练；重训练模型经验证集测试评估，当满足|A1-A2|＜0.01时，则将重训练模型进行参数固化，作为推断模型；A1为模型重训练之前的精度,A2为模型重训练之后的精度；
步骤(3).将库数据输入到推断模型，输出类特征数据；
En表示第n类的类内特征，其包含M个类内数据；n∈[1,N]，N表示类的总个数，M表示每个类的类内数据个数；库数据的结构大小为N×M，将库数据输入到推断模型，得到结构大小相同的类特征数据；
步骤(4).对输出的类特征数据进行类内特征数据压缩；
将类特征数据统一做量化处理，依次将类内特征En中对应的M个类内数据，按特征相近度从大到小排序；
特征相近度通过两个特征的差值中0的个数表示；0的个数越多，表示相近度越大，0的个数越少，相近度越低；
将排序后的类内特征依次做差，并按特征的差值进行压缩存储；即存储每个类的特征数据时，只存储第一个类内特征数据的完整数据，后续存储的类内特征数据均是与前一个类内特征数据的差值；
步骤(5).将类内特征数据压缩后，依据压缩后的类特征数据，按字典索引的方式存储，生成特征比对库。
2.如权利要求1所述的基于神经网络特征识别的数据压缩方法，其特征在于：所述的神经网络为卷积神经网络、循环神经网络或深度神经网络。
3.如权利要求1所述的基于神经网络特征识别的数据压缩方法，其特征在于，步骤(2)中若Lreg影响过大或过小，即Lreg＞＞Lpre或Lreg＜＜Lpre，则对Lreg施加权重因子α，使得α·Lreg与神经网络的目标函数值Loss同一量级，相应的S调整为S＝Lpre+α·Lreg。
4.如权利要求1所述的基于神经网络特征识别的数据压缩方法，其特征在于，步骤(4)中将类特征数据统一做量化处理采用8bit量化处理。
5.如权利要求1所述的基于神经网络特征识别的数据压缩方法，其特征在于，步骤(4)中类内特征数据排序算法采用最小二叉树生成的prim算法或贪心算法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010126059.0A CN111368976B (zh) | 2020-02-27 | 2020-02-27 | 基于神经网络特征识别的数据压缩方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010126059.0A CN111368976B (zh) | 2020-02-27 | 2020-02-27 | 基于神经网络特征识别的数据压缩方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111368976A CN111368976A (zh) | 2020-07-03 |
| CN111368976B true CN111368976B (zh) | 2022-09-02 |
Family
ID=71211537
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010126059.0A Active CN111368976B (zh) | 2020-02-27 | 2020-02-27 | 基于神经网络特征识别的数据压缩方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111368976B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104281616A (zh) * | 2013-07-10 | 2015-01-14 | 北京旋极信息技术股份有限公司 | 数据处理方法 |
| CN105160400A (zh) * | 2015-09-08 | 2015-12-16 | 西安交通大学 | 基于l21范数的提升卷积神经网络泛化能力的方法 |
| CN107967516A (zh) * | 2017-10-12 | 2018-04-27 | 中科视拓（北京）科技有限公司 | 一种基于迹范数约束的神经网络的加速与压缩方法 |
| CN109635936A (zh) * | 2018-12-29 | 2019-04-16 | 杭州国芯科技股份有限公司 | 一种基于重训练的神经网络剪枝量化方法 |
| CN109840530A (zh) * | 2017-11-24 | 2019-06-04 | 华为技术有限公司 | 训练多标签分类模型的方法和装置 |
| CN109949437A (zh) * | 2019-03-13 | 2019-06-28 | 东北大学 | 基于稀疏化的异构数据协同工业故障诊断方法 |
| EP3570221A1 (en) * | 2018-05-15 | 2019-11-20 | Hitachi, Ltd. | Neural networks for discovering latent factors from data |
| CN110807514A (zh) * | 2019-10-25 | 2020-02-18 | 中国科学院计算技术研究所 | 一种基于lo正则的神经网络剪枝方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10796135B2 (en) * | 2017-09-28 | 2020-10-06 | Nec Corporation | Long-tail large scale face recognition by non-linear feature level domain adaptation |
| US10936913B2 (en) * | 2018-03-20 | 2021-03-02 | The Regents Of The University Of Michigan | Automatic filter pruning technique for convolutional neural networks |
-
2020
- 2020-02-27 CN CN202010126059.0A patent/CN111368976B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104281616A (zh) * | 2013-07-10 | 2015-01-14 | 北京旋极信息技术股份有限公司 | 数据处理方法 |
| CN105160400A (zh) * | 2015-09-08 | 2015-12-16 | 西安交通大学 | 基于l21范数的提升卷积神经网络泛化能力的方法 |
| CN107967516A (zh) * | 2017-10-12 | 2018-04-27 | 中科视拓（北京）科技有限公司 | 一种基于迹范数约束的神经网络的加速与压缩方法 |
| CN109840530A (zh) * | 2017-11-24 | 2019-06-04 | 华为技术有限公司 | 训练多标签分类模型的方法和装置 |
| EP3570221A1 (en) * | 2018-05-15 | 2019-11-20 | Hitachi, Ltd. | Neural networks for discovering latent factors from data |
| CN109635936A (zh) * | 2018-12-29 | 2019-04-16 | 杭州国芯科技股份有限公司 | 一种基于重训练的神经网络剪枝量化方法 |
| CN109949437A (zh) * | 2019-03-13 | 2019-06-28 | 东北大学 | 基于稀疏化的异构数据协同工业故障诊断方法 |
| CN110807514A (zh) * | 2019-10-25 | 2020-02-18 | 中国科学院计算技术研究所 | 一种基于lo正则的神经网络剪枝方法 |
Non-Patent Citations (1)
| Title |
|---|
| "Model Compression and Acceleration for deep neural networks";Yu Cheng.et al;《IEEE》;20180110;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111368976A (zh) | 2020-07-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Liang et al. | Pruning and quantization for deep neural network acceleration: A survey | |
| Zhou et al. | Adaptive quantization for deep neural network | |
| US20210089922A1 (en) | Joint pruning and quantization scheme for deep neural networks | |
| US10984308B2 (en) | Compression method for deep neural networks with load balance | |
| CN112508085B (zh) | 基于感知神经网络的社交网络链路预测方法 | |
| CN114169330A (zh) | 融合时序卷积与Transformer编码器的中文命名实体识别方法 | |
| CN109445935B (zh) | 云计算环境下一种高性能大数据分析***自适应配置方法 | |
| CN110555510A (zh) | 压缩预先训练的深度神经网络模型的方法 | |
| CN114493755B (zh) | 一种融合时序信息的自注意力序列推荐方法 | |
| CN109871749B (zh) | 一种基于深度哈希的行人重识别方法和装置、计算机*** | |
| Chen et al. | A primal-dual method for training recurrent neural networks constrained by the echo-state property | |
| CN109918507B (zh) | 一种基于TextCNN改进的文本分类方法 | |
| CN110851654A (zh) | 基于张量化数据降维的工业设备故障检测分类方法 | |
| CN110929798A (zh) | 基于结构优化稀疏卷积神经网络的图像分类方法及介质 | |
| TW202006612A (zh) | 機器學習方法及機器學習裝置 | |
| US20230073669A1 (en) | Optimising a neural network | |
| CN116578699A (zh) | 基于Transformer的序列分类预测方法和*** | |
| CN113196385A (zh) | 音频信号处理 | |
| CN116593980B (zh) | 雷达目标识别模型训练方法、雷达目标识别方法及装置 | |
| CN110288002B (zh) | 一种基于稀疏正交神经网络的图像分类方法 | |
| CN111368976B (zh) | 基于神经网络特征识别的数据压缩方法 | |
| CN116631375A (zh) | 一种基于自监督语音表征的方言分类方法和*** | |
| Huang et al. | Flow of renyi information in deep neural networks | |
| Wu et al. | Mirex 2017 submission: Automatic audio chord recognition with miditrained deep feature and blstm-crf sequence decoding model | |
| CN114841344A (zh) | 一种应用于图像处理的量子神经网络剪枝方法及*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address | ||
| CP03 | Change of name, title or address |
Address after: 310012 5-6 / F, block a, East Software Park Innovation Building, 90 Wensan Road, Hangzhou City, Zhejiang Province Patentee after: Hangzhou Guoxin Microelectronics Co.,Ltd. Country or region after: China Address before: 310012 5-6 / F, block a, East Software Park Innovation Building, 90 Wensan Road, Hangzhou City, Zhejiang Province Patentee before: HANGZHOU NATIONALCHIP SCIENCE & TECHNOLOGY Co.,Ltd. Country or region before: China |