CN110288002A - 一种基于稀疏正交神经网络的图像分类方法 - Google Patents
一种基于稀疏正交神经网络的图像分类方法 Download PDFInfo
- Publication number
- CN110288002A CN110288002A CN201910454323.0A CN201910454323A CN110288002A CN 110288002 A CN110288002 A CN 110288002A CN 201910454323 A CN201910454323 A CN 201910454323A CN 110288002 A CN110288002 A CN 110288002A
- Authority
- CN
- China
- Prior art keywords
- sparse
- orthogonal
- neural network
- orth
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于稀疏正交神经网络的图像分类方法,将获取图像数据作为样本集X和与之对应的样本标签集Y;先将样本集X和标签集Y的训练集输入稀疏正交神经网络模型,初始化代理变量V,根据正交权重Worth和稀疏矩阵G获得稀疏正交权重Worth_es,再通过设定遍历次数计算图像样本预测值跟真实值之间的损失Loss,反向传播更新代理变量V后,直到输出最优的稀疏正交权重Worth_es,从而获得训练好的稀疏正交神经网络模型;再利用训练后的稀疏正交神经网络模型对测试集进行处理输出图像的分类结果。本发明引入了稀疏矩阵,从而构造出稀疏权重,再运用稀疏权重实现网络的剪枝,减少网络中的参数使用,从而进行了模型的压缩,减少了计算机内存的使用,降低了模型训练时计算机的计算量。
Description
技术领域
本发明属于图像处理技术领域,尤其涉及一种基于稀疏正交神经网络的图像分类方法。
背景技术
随着时代的发展,图像识别技术已经逐渐应用于越来越多的领域。深度学习中图像识别的准确率和可靠性也越来越高。一个最主要的因素就是它是由多层非线性变换组成,这些变换具有大量可学习的权重和参数。由于大量的参数,深度网络需要使用大量的计算机内存和计算量来进行训练,并且如果训练数据不充分的话可能会导致过拟合的问题。基于这个问题,很多研究者通过减少参数来实现模型的压缩。
传统的方法通过Dropout剪枝方法对神经网络进行剪枝,实现了网络参数的减少,但是因其随机对神经元进行剪枝,但是伤害了网络的训练效率,往往需要更多的训练次数来达到比较好的准确率。
Batch Normalization批归一化技术的提出能够有效的防止网络的梯度***和梯度消失的问题。但是其在小数据量上不能够发挥的很好。现有的神经网络对图像进行分类存在着以下一些问题:
1.深度神经网络往往需要很多的参数进行图像的识别,图像的训练和测试的代价过高。
2.深层的神经网络往往会带来梯度消失和梯度***的问题,并且现有的处理技术还存在一定的缺陷。
发明内容
本发明根据现有技术中存在的问题,提出了一种基于稀疏正交神经网络的图像分类方法,引入了稀疏矩阵,从而构造出稀疏权重,再运用稀疏权重实现网络的剪枝,减少网络中的参数使用,从而进行了模型的压缩,减少了计算机内存的使用,降低了模型训练时计算机的计算量。
本发明所采用的技术方案如下:
一种基于稀疏正交神经网络的图像分类方法,包括以下步骤:
步骤1,获取图像数据作为样本集X和与之对应的样本标签集Y;
步骤2,先将样本集X和标签集Y的训练集输入稀疏正交神经网络模型,初始化代理变量V,根据正交权重Worth和稀疏矩阵G获得稀疏正交权重Worth_es,再通过设定遍历次数计算图像样本预测值跟真实值之间的损失Loss,反向传播更新代理变量V后,直到输出最优的稀疏正交权重Worth_es,从而获得训练好的稀疏正交神经网络模型;
步骤3,再利用训练后的稀疏正交神经网络模型对测试集进行处理输出图像的分类结果。
进一步,所述初始化代理变量V的方法为:对V做一个中心化处理:其中,1d是一个全都是1的d维向量;
进一步,获得正交权重Worth的方法为:
先构建正交模型:
minptr((W-Vc)(W-Vc)T)
s.t.W=PVc and WWT=I
由正交模型得到P=DΛ-1/2DT;
得到正交的权重Worth为:Worth=PVc=DΛ-1/2DTVc;
其中,W为权重,I为单位矩阵,D为Vc VcT的特征向量矩阵,Λ为Vc VcT特征值矩阵;
进一步,所述稀疏矩阵G表示为:
其中,λ为正则化参数,wg为一组权重向量,wg,i为一组权重向量中的单个元素。
进一步,获得所述稀疏正交权重Worth_es的方法为:在正交模型中添加稀疏矩阵G,使得正交模型变的稀疏,表示如下:
minptr((WG-Vc)(WG-Vc)T)
s.t.WG=PVc and WG2WT=I
由于W=wg,iG-1
将正交的权重Worth代入上式,得到稀疏正交权重Worth_es表达式:
进一步,所述损失Loss的计算方法为:Loss=F(Ypredict,Y);其中,Ypredict为预测标签结果,Y为真实值。
进一步,所述反向传播更新代理变量V的方法为:
其中,L为损失Loss,V为代理变量。
进一步,所述步骤3的处理过程为:根据Ypredict=Worth_es TXtest,获得图像测试集的预测标签结果Ypredict,从而实现对对图像的分类。
本发明的有益效果:
1.有效防止了神经网络学习中的梯度***和梯度消失的问题,并且加速了网络的收敛。
2.运用稀疏权重实现网络的剪枝,减少网络中的参数使用,从而进行了模型的压缩,减少了计算机内存的使用,降低了模型训练时计算机的计算量。
附图说明
图1是本发明的整体流程框图;
图2是本发明稀疏正交神经网络模型的构造方法;
图3是本发明神经网络的稀疏效果图;
图4是本发明稀疏正交神经网络模型对图片分类效果与其他模型的分类效果的对比图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用于解释本发明,并不用于限定本发明。
如图1,本发明所设计的一种基于稀疏正交神经网络的图像分类方法,包括以下步骤:
步骤1,获取图像数据作为样本集,对于空间R,设有样本集X=[x1,x2,x3...xm]∈Rn*m其中,xm是图像样本,n样本的特征数,m是样本的数量;与样本集对应的是样本的标签集Y=[y1,y2,y3...ym]∈Rp*m,其中,ym是图像的标签,p是标签集Y的维度,m是标签集样本的数量。
步骤2,训练稀疏正交神经网络模型的方法为:
S1、初始化代理变量V,通过V的函数使网络中的权重正交W=φ(V),WWT=I。将V做一个中心化处理得到:其中1d是一个全都是1的d维向量。
S2、为了使得权重W和Vc之间的误差最小,先构建正交模型:
通过正交模型确定了P的值:
P=DΛ-1/2DT; (2)
最终我们更新权重W得到正交的权重Worth为
Worth=DΛ-1/2DTVc; (3)
其中,I为单位矩阵,D为特征值分解矩阵,Λ为特征值矩阵。
S3、选取L1-范数作为基础构建稀疏矩阵G,表示为:
其中λ为正则化参数,wg为一组权重向量,wg,i为一组权重向量中的单个元素。
S4、为了实现稀疏的结构,向正交模型添加一个矩阵G来使得模型变的稀疏:
实现正交的权重Worth的更新:
W=wg,iG-1; (5)
将正交的权重Worth代入上式,得到稀疏正交权重Worth_es表达式:
S5、输入此时的稀疏正交权重Worth_es,输入一组图像样本数据集,进行深度网络训练得到预测值Ypredict,根据预测值Ypredict和真实值Y计算得到损失值Loss:
Loss=F(Ypredict,Y); (7)
S6、根据损失值Loss进行反向传播,从而对此时的代理变量V进行更新,得到一个更新后的V
其中,L为损失Loss。
S7、设定遍历次数Epoch,将S6更新后的代理变量V再重复S2-S7,在完成所设定的遍历次数后输出最优的稀疏正交权重Worth_es,从而获得训练好的稀疏正交神经网络模型。
步骤3,将测试集Xtest=[x1,x2,x3...xm]∈Rn*m输入训练好的稀疏正交神经网络模型根据Ypredict=WTX用于现在的图像识别并且对图像进行分类,其中Ypredict是预测标签结果。其中Xtest是图像样本,n样本的特征数,m是样本的数量。
如图3,本发明的稀疏正交神经网络模型通过稀疏正交的方法,网络中的某些权重被抛弃(图中虚线)。
为了更清楚的说明本发明所带来的技术效果,如图4,通过不同的稀疏程度得到不同的参数使用量并与传统标准方法进行对比。结果表示本发明的方法在使用更少的参数情况下错误率更低,准确率更高。
以上实施例仅用于说明本发明的设计思想和特点,其目的在于使本领域内的技术人员能够了解本发明的内容并据以实施,本发明的保护范围不限于上述实施例。所以,凡依据本发明所揭示的原理、设计思路所作的等同变化或修饰,均在本发明的保护范围之内。
Claims (8)
1.一种基于稀疏正交神经网络的图像分类方法,其特征在于,包括以下步骤:
步骤1,获取图像数据作为样本集X和与之对应的样本标签集Y;
步骤2,先将样本集X和标签集Y的训练集输入稀疏正交神经网络模型,初始化代理变量V,根据正交权重Worth和稀疏矩阵G获得稀疏正交权重Worth_es,再通过设定遍历次数计算图像样本预测值跟真实值之间的损失Loss,反向传播更新代理变量V后,直到输出最优的稀疏正交权重Worth_es,从而获得训练好的稀疏正交神经网络模型;
步骤3,再利用训练后的稀疏正交神经网络模型对测试集进行处理输出图像的分类结果。
2.根据权利要求1所述的一种基于稀疏正交神经网络的图像分类方法,其特征在于,所述初始化代理变量V的方法为:对V做一个中心化处理:其中,1d是一个全都是1的d维向量。
3.根据权利要求1所述的一种基于稀疏正交神经网络的图像分类方法,其特征在于,获得正交权重Worth的方法为:先构建正交模型:
minptr((W-Vc)(W-Vc)T)
s.t.W=PVcandWWT=I
由正交模型得到P=DΛ-1/2DT;
得到正交的权重Worth为:Worth=PVc=DΛ-1/2DTVc;其中,W为权重,I为单位矩阵,D为VcVcT的特征向量矩阵,Λ为VcVcT特征值矩阵。
4.根据权利要求1所述的一种基于稀疏正交神经网络的图像分类方法,其特征在于,所述稀疏矩阵G表示为:
其中,λ为正则化参数,wg为一组权重向量,wg,i为一组权重向量中的单个元素。
5.根据权利要求1、3或4所述的一种基于稀疏正交神经网络的图像分类方法,其特征在于,获得所述稀疏正交权重Worth_es的方法为:在正交模型中添加稀疏矩阵G,使得正交模型变的稀疏,表示如下:
minptr((WG-Vc)(WG-Vc)T)
s.t.WG=PVcandWG2WT=I
由于W=wg,iG-1;将正交的权重Worth代入上式,得到稀疏正交权重Worth_es表达式:
6.根据权利要求1所述的一种基于稀疏正交神经网络的图像分类方法,其特征在于,所述损失Loss的计算方法为:Loss=F(Ypredict,Y);其中,Ypredict为预测标签结果,Y为真实值。
7.根据权利要求1所述的一种基于稀疏正交神经网络的图像分类方法,其特征在于,所述反向传播更新代理变量V的方法为:
其中,L为损失Loss,V为代理变量。
8.根据权利要求1所述的一种基于稀疏正交神经网络的图像分类方法,其特征在于,所述步骤3的处理过程为:根据Ypredict=Worth_es TXtest,获得图像测试集的预测标签结果Ypredict,从而实现对对图像的分类。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910454323.0A CN110288002B (zh) | 2019-05-29 | 2019-05-29 | 一种基于稀疏正交神经网络的图像分类方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910454323.0A CN110288002B (zh) | 2019-05-29 | 2019-05-29 | 一种基于稀疏正交神经网络的图像分类方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110288002A true CN110288002A (zh) | 2019-09-27 |
CN110288002B CN110288002B (zh) | 2023-04-18 |
Family
ID=68002821
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910454323.0A Active CN110288002B (zh) | 2019-05-29 | 2019-05-29 | 一种基于稀疏正交神经网络的图像分类方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110288002B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111382867A (zh) * | 2020-02-20 | 2020-07-07 | 华为技术有限公司 | 神经网络压缩的方法、数据处理的方法及相关装置 |
CN112465042A (zh) * | 2020-12-02 | 2021-03-09 | 中国联合网络通信集团有限公司 | 一种分类网络模型的生成方法及装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105095913A (zh) * | 2015-08-11 | 2015-11-25 | 湖北大学 | 基于近邻正则联合稀疏表示的遥感图像分类方法及*** |
CN105139028A (zh) * | 2015-08-13 | 2015-12-09 | 西安电子科技大学 | 基于分层稀疏滤波卷积神经网络的sar图像分类方法 |
CN108985161A (zh) * | 2018-06-08 | 2018-12-11 | 广东工业大学 | 一种基于拉普拉斯正则化的低秩稀疏表征图像特征学习方法 |
-
2019
- 2019-05-29 CN CN201910454323.0A patent/CN110288002B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105095913A (zh) * | 2015-08-11 | 2015-11-25 | 湖北大学 | 基于近邻正则联合稀疏表示的遥感图像分类方法及*** |
CN105139028A (zh) * | 2015-08-13 | 2015-12-09 | 西安电子科技大学 | 基于分层稀疏滤波卷积神经网络的sar图像分类方法 |
CN108985161A (zh) * | 2018-06-08 | 2018-12-11 | 广东工业大学 | 一种基于拉普拉斯正则化的低秩稀疏表征图像特征学习方法 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111382867A (zh) * | 2020-02-20 | 2020-07-07 | 华为技术有限公司 | 神经网络压缩的方法、数据处理的方法及相关装置 |
WO2021164737A1 (zh) * | 2020-02-20 | 2021-08-26 | 华为技术有限公司 | 神经网络压缩的方法、数据处理的方法及相关装置 |
CN111382867B (zh) * | 2020-02-20 | 2024-04-16 | 华为技术有限公司 | 神经网络压缩的方法、数据处理的方法及相关装置 |
CN112465042A (zh) * | 2020-12-02 | 2021-03-09 | 中国联合网络通信集团有限公司 | 一种分类网络模型的生成方法及装置 |
CN112465042B (zh) * | 2020-12-02 | 2023-10-24 | 中国联合网络通信集团有限公司 | 一种分类网络模型的生成方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN110288002B (zh) | 2023-04-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109492822B (zh) | 空气污染物浓度时空域关联预测方法 | |
Xie et al. | Variational autoencoder bidirectional long and short-term memory neural network soft-sensor model based on batch training strategy | |
Quattoni et al. | An efficient projection for l 1,∞ regularization | |
CN109242223B (zh) | 城市公共建筑火灾风险的量子支持向量机评估与预测方法 | |
CN108009594B (zh) | 一种基于变分组卷积的图像识别方法 | |
CN109636026A (zh) | 一种基于深度学习模型的晶圆良率预测方法 | |
CN108647839A (zh) | 基于代价敏感lstm循环神经网络的稳压器水位预测方法 | |
CN113486578B (zh) | 一种工业过程中设备剩余寿命的预测方法 | |
CN112052948B (zh) | 一种网络模型压缩方法、装置、存储介质和电子设备 | |
CN111126602A (zh) | 一种基于卷积核相似性剪枝的循环神经网络模型压缩方法 | |
CN109086802A (zh) | 一种基于八元数卷积神经网络的图像分类方法 | |
CN109063719A (zh) | 一种联合结构相似性和类信息的图像分类方法 | |
CN114490065A (zh) | 一种负载预测方法、装置及设备 | |
CN112232577A (zh) | 用于多芯智能表的电力负荷概率预测***与方法 | |
CN110288002A (zh) | 一种基于稀疏正交神经网络的图像分类方法 | |
CN111191823A (zh) | 一种基于深度学习的生产物流预测方法 | |
CN111401473A (zh) | 基于注意力机制卷积神经网络的红外目标分类方法 | |
CN110348287A (zh) | 一种基于字典和样本相似图的无监督特征选择方法和装置 | |
CN114548591A (zh) | 一种基于混合深度学习模型和Stacking的时序数据预测方法及*** | |
CN108694480A (zh) | 基于改进的长短时记忆网络的金融数据预测方法 | |
CN110991729A (zh) | 一种基于迁移学习和多头注意力机制的负荷预测方法 | |
CN113935413A (zh) | 一种基于卷积神经网的配网录波文件波形识别方法 | |
CN117454776A (zh) | 基于vmd优化下多层次分解与集成的空中交通流量预测方法 | |
CN115169660A (zh) | 基于多尺度时空特征融合神经网络的刀具磨损预测方法 | |
CN114492760A (zh) | 基于量子门控循环神经网络的预测方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right |
Effective date of registration: 20230627 Address after: 211400 No.1 Mintai Avenue, Yizheng Economic Development Zone, Yangzhou City, Jiangsu Province Patentee after: Jiangsu CAMCE Zhilian Technology Co.,Ltd. Address before: Zhenjiang City, Jiangsu Province, 212013 Jingkou District Road No. 301 Patentee before: JIANGSU University |
|
TR01 | Transfer of patent right |