CN107729992A - 一种基于反向传播的深度学习方法 - Google Patents
一种基于反向传播的深度学习方法 Download PDFInfo
- Publication number
- CN107729992A CN107729992A CN201711029714.5A CN201711029714A CN107729992A CN 107729992 A CN107729992 A CN 107729992A CN 201711029714 A CN201711029714 A CN 201711029714A CN 107729992 A CN107729992 A CN 107729992A
- Authority
- CN
- China
- Prior art keywords
- mrow
- deep learning
- network
- image
- learning method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于反向传播的深度学习方法,包括以下步骤:S1:准备训练集;S2:将所述训练集输入到卷积神经网络,得到网络输出;S3:计算所述网络输出和所述训练集中的真值之间的距离,得到交叉熵目标函数;S4:根据所述交叉熵目标函数判断步骤S2的所述网络输出的准确率是否提升,如果是,则执行步骤S5,如果否,则结束训练;S5:采用正弦指数学习速率来对所述卷积神经网络的权值进行更新,并将更新后的该权值输入到步骤S2的所述卷积神经网络中,然后重复步骤S2至S4。本发明提出的深度学习方法,能够大幅度加快分类网络的训练。
Description
技术领域
本发明涉及计算机视觉和图像处理领域,尤其涉及一种基于反向传播的深度学习方法。
背景技术
图像分类属于计算机视觉和图像处理领域,是计算机视觉领域的核心问题之一,有着各种各样实际应用,很多问题比如人脸定位、行人定位都可以归结为分类问题,所以图像分类是一个具有基础性质的图像处理问题,有着重要的学术和工业研究价值。图像超分辨的目标就是,就是已有固定的分类标签集合,然后对于输入的图像,从分类标签集合中找出一个分类标签,最后把分类标签分配给该输入图像。对于人来说,识别出一个像“猫”一样视觉概念是简单至极的,然而从计算机视觉算法的角度来看主要有以下挑战:1、视角变化:同一个物体,摄像机可以从多个角度来展现;2、大小变化:物体可视的大小通常是会变化的(不仅是在图片中,在真实世界中大小也是变化的);3、形变:很多东西的形状并非一成不变,会有很大变化;4、遮挡:目标物体可能被挡住,有时候只有物体的一小部分(可以小到几个像素)是可见的;5、光照条件:在像素层面上,光照的影响非常大;6、背景干扰:物体可能混入背景之中,使之难以被辨认;7、类内差异:一类物体的个体之间的外形差异很大,比如椅子,这一类物体有许多不同的对象,每个都有自己的外形。面对以上所有变化及其组合,好的图像分类模型能够在维持分类结论稳定的同时,保持对类间差异足够敏感。
目前主流的图像分类方法主要分为三大类:基于最近邻分类器KNN的方法、基于支持向量机的方法和基于深度学习的方法;其中基于KNN的方法,思路简单清晰,完全不需要训练,但是在模型部署的时候会非常耗时,需要和全部训练集中的图片比对一遍;基于支持向量机的方法的计算的复杂性取决于支持向量的数目,而不是样本空间的维数,在某种意义上避免了“维数灾难”;但是其对于核函数的高维映射解释力不强,且依赖于实验者的经验,对数据缺失敏感;基于深度学习的方法从训练集中学习大量先验知识,可以对数据进行自动特征的提取,从而不依赖于人工去选择特征,因此深度神经网络已经在计算机视觉、自然语言处理、语音识别等领域取得了突破性的效果;但是在使用过程中,所涉及的神经网络超参数较多,需要长时间的调试,训练速度一般都较慢,这在一定程度上影响了深度学习在图像分类方法中的广泛应用。
以上背景技术内容的公开仅用于辅助理解本发明的构思及技术方案,其并不必然属于本专利申请的现有技术,在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下,上述背景技术不应当用于评价本申请的新颖性和创造性。
发明内容
为解决上述技术问题,本发明提出了一种基于反向传播的深度学习方法,能够大幅度加快分类网络的训练。
为了达到上述目的,本发明采用以下技术方案:
本发明公开了一种基于反向传播的深度学习方法,包括以下步骤:
S1:准备训练集;
S2:将所述训练集输入到卷积神经网络,得到网络输出;
S3:计算所述网络输出和所述训练集中的真值之间的距离,得到交叉熵目标函数;
S4:根据所述交叉熵目标函数判断步骤S2的所述网络输出的准确率是否提升,如果是,则执行步骤S5,如果否,则结束训练;
S5:采用正弦指数学习速率来对所述卷积神经网络的权值进行更新,并将更新后的该权值输入到步骤S2的所述卷积神经网络中,然后重复步骤S2至S4。
优选地,步骤S1中包括:对自然图像公共数据集进行增强处理,得到增强后的数据集作为训练集。
优选地,步骤S1中的对自然图像公共数据集进行增强处理具体包括:旋转图像、剪切图像、缩放图像、对比度变换、改变图像尺寸、对图像加噪音。
优选地,其中对比度变换具体包括:在图像的HSV颜色空间,保持色调H不变,对每个像素的S和V分量进行指数运算,其中指数因子在0.25~4之间。
优选地,步骤S1中还包括采用图像差值方法将增强后的数据集统一到224×224的尺寸作为训练集。
优选地,步骤S2中的卷积神经网络中具体选择宽度残差网络作为学习的模型。
优选地,步骤S5中的正弦指数学习速率为:
式中,lr0表示初始的学习速率,t表示训练网络时的迭代次数,α为衰减系数,β为振荡系数,T表示训练集在网络中训练一次所需的迭代次数。
与现有技术相比,本发明的有益效果在于:本发明公开的基于反向传播的深度学习方法,采用正弦指数学习速率作为反向传播的参数来对卷积神经网络进行优化,能够大幅度地加速分类网络的训练,更快地使神经网络获取精确提取特征的能力;而且使用指数的方式,可以使学习速率不断地下降,利用正弦函数的方法,使得学习速率进行一定范围的震荡,从而可以更快速地训练深度学习分类网络。
在进一步的方案中,采用特定的正弦指数学习速率对模型的参数进行更新,使得深度学习模型可以以2~5倍的速度进行分类网络的训练。
附图说明
图1是本发明优选实施例的基于反向传播的深度学习方法的流程示意图;
图2是本发明优选实施例的正弦指数学习速率的示意图。
具体实施方式
下面对照附图并结合优选的实施方式对本发明作进一步说明。
如图1所示,本发明优选实施例的基于反向传播的深度学习方法,包括以下步骤:
S1:准备训练集;
在本实施例中,以自然图像公共数据集(如Image Net数据集)作为训练集,为了丰富图像训练集,更好的提取Image Net数据集的图像特征,并泛化模型(防止模型过拟合),对该数据集进行图像增强,得到更大的数据集。
图像增强的内容包括:1、旋转图像,随机旋转图像一定角度,改变图像内容的朝向;2、剪切图像,随机截取图像中一块区域;3、缩放变换,按照一定的比例缩放图像;4、对比度变换,在图像的HSV颜色空间,改变饱和度S和V的亮度分量,保持色调H不变,在具体的实施例中,对每个像素的S和V分量进行指数运算,指数因子在0.25~4之间,以增加光照变化;5、改变图像尺寸,以一定概率使用Opencv的双线性差值方法对原始图像的尺寸进行改变;6、对图像加噪音,在具体实施例中,对图像加的噪声为标准正态分布的高斯函数。
在具体的实施例中,使用Opencv的图像差值方法把所有增强后的数据统一到224×224的尺寸作为网络的输入的训练集。
S2:将预处理后的数据集作为训练集输入到卷积神经网络,得到网络输出;
在具体的实施例中,选择宽度残差网络作为学习的模型,并对模型的参数进行高斯分布的初始化。
S3:根据步骤S2的网络输出和步骤S1中的数据集中的真值(数据集中可以设置数据分类标签)计算交叉熵目标函数,该目标函数表示网络输出与数据集中的真值之间的距离;
S4:根据步骤S3的交叉熵目标函数判断步骤S2的网络输出的准确率是否提升,如果是,则执行步骤S5,如果否,则结束训练;
S5:结合正弦函数的振荡特性与指数函数的递减特性,采用正弦指数学习速率来对卷积神经网络的权值进行更新,并将更新后的该权值输入到步骤S2的卷积神经网络中,重复步骤S2至S4。
其中,如图2所示,该正弦指数学习速率为:
式中,lr0表示初始的学习速率,t表示训练网络时的迭代次数,α为衰减系数,β为振荡系数,T表示训练集的样本数/每次迭代的样本数,也即训练集在网络中训练一次所需的迭代次数。
本发明优选实施例的基于反向传播的深度学习方法,首先对图像公共数据集进行预处理,得到增强后的数据集,作为宽度残差网络的训练集;然后将训练模型的目标函数确定为交叉熵目标函数,优化方法会不断地使目标函数减小,从而让模型的识别能力不断增强;其中优化方法采用基于反向传播的优化方法,并使用正弦指数函数学习速率来进行模型的训练,训练包括不断地根据交叉熵求模型权值的梯度,并使用正弦指数函数学习速率作为反向传播的参数来不断地更新模型的参数。通过本发明优选实施例的基于反向传播的深度学习方法,能够快速地进行神经网络的训练,使深度学习模型可以以2~5倍的速度进行分类网络的训练。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明,不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说,在不脱离本发明构思的前提下,还可以做出若干等同替代或明显变型,而且性能或用途相同,都应当视为属于本发明的保护范围。
Claims (7)
1.一种基于反向传播的深度学习方法,其特征在于,包括以下步骤:
S1:准备训练集;
S2:将所述训练集输入到卷积神经网络,得到网络输出;
S3:计算所述网络输出和所述训练集中的真值之间的距离,得到交叉熵目标函数;
S4:根据所述交叉熵目标函数判断步骤S2的所述网络输出的准确率是否提升,如果是,则执行步骤S5,如果否,则结束训练;
S5:采用正弦指数学习速率来对所述卷积神经网络的权值进行更新,并将更新后的该权值输入到步骤S2的所述卷积神经网络中,然后重复步骤S2至S4。
2.根据权利要求1所述的深度学习方法,其特征在于,步骤S1中包括:对自然图像公共数据集进行增强处理,得到增强后的数据集作为训练集。
3.根据权利要求2所述的深度学习方法,其特征在于,步骤S1中的对自然图像公共数据集进行增强处理具体包括:旋转图像、剪切图像、缩放图像、对比度变换、改变图像尺寸、对图像加噪音。
4.根据权利要求3所述的深度学习方法,其特征在于,其中对比度变换具体包括:在图像的HSV颜色空间,保持色调H不变,对每个像素的S和V分量进行指数运算,其中指数因子在0.25~4之间。
5.根据权利要求2所述的深度学习方法,其特征在于,步骤S1中还包括采用图像差值方法将增强后的数据集统一到224×224的尺寸作为训练集。
6.根据权利要求1所述的深度学习方法,其特征在于,步骤S2中的卷积神经网络中具体选择宽度残差网络作为学习的模型。
7.根据权利要求1至6任一项所述的深度学习方法,其特征在于,步骤S5中的正弦指数学习速率为:
<mrow>
<mi>E</mi>
<mi>S</mi>
<mi>L</mi>
<mo>=</mo>
<msub>
<mi>lr</mi>
<mn>0</mn>
</msub>
<mo>*</mo>
<msup>
<mi>e</mi>
<mrow>
<mo>-</mo>
<mfrac>
<mrow>
<mi>&alpha;</mi>
<mi>t</mi>
</mrow>
<mi>T</mi>
</mfrac>
</mrow>
</msup>
<mo>*</mo>
<mrow>
<mo>(</mo>
<mi>s</mi>
<mi>i</mi>
<mi>n</mi>
<mo>(</mo>
<mrow>
<mi>&beta;</mi>
<mo>*</mo>
<mfrac>
<mi>t</mi>
<mrow>
<mi>b</mi>
<mo>*</mo>
<mn>2</mn>
<mi>&pi;</mi>
</mrow>
</mfrac>
</mrow>
<mo>)</mo>
<mo>+</mo>
<msup>
<mi>e</mi>
<mrow>
<mo>-</mo>
<mfrac>
<mrow>
<mi>&alpha;</mi>
<mi>t</mi>
</mrow>
<mi>T</mi>
</mfrac>
</mrow>
</msup>
<mo>+</mo>
<mn>0.5</mn>
<mo>)</mo>
</mrow>
</mrow>
式中,lr0表示初始的学习速率,t表示训练网络时的迭代次数,α为衰减系数,β为振荡系数,T表示训练集在网络中训练一次所需的迭代次数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711029714.5A CN107729992B (zh) | 2017-10-27 | 2017-10-27 | 一种基于反向传播的深度学习方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711029714.5A CN107729992B (zh) | 2017-10-27 | 2017-10-27 | 一种基于反向传播的深度学习方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107729992A true CN107729992A (zh) | 2018-02-23 |
CN107729992B CN107729992B (zh) | 2020-12-29 |
Family
ID=61203084
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711029714.5A Active CN107729992B (zh) | 2017-10-27 | 2017-10-27 | 一种基于反向传播的深度学习方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107729992B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110110780A (zh) * | 2019-04-30 | 2019-08-09 | 南开大学 | 一种基于对抗神经网络和海量噪声数据的图片分类方法 |
CN111985605A (zh) * | 2019-05-21 | 2020-11-24 | 富士通株式会社 | 信息处理装置、控制方法和存储信息处理程序的存储介质 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104850845A (zh) * | 2015-05-30 | 2015-08-19 | 大连理工大学 | 一种基于非对称卷积神经网络的交通标志识别方法 |
CN105184312A (zh) * | 2015-08-24 | 2015-12-23 | 中国科学院自动化研究所 | 一种基于深度学习的文字检测方法及装置 |
CN105631479A (zh) * | 2015-12-30 | 2016-06-01 | 中国科学院自动化研究所 | 基于非平衡学习的深度卷积网络图像标注方法及装置 |
CN106127230A (zh) * | 2016-06-16 | 2016-11-16 | 上海海事大学 | 基于人类视觉感知的图像识别方法 |
CN106296692A (zh) * | 2016-08-11 | 2017-01-04 | 深圳市未来媒体技术研究院 | 基于对抗网络的图像显著性检测方法 |
CN106789214A (zh) * | 2016-12-12 | 2017-05-31 | 广东工业大学 | 一种基于正余双弦算法的网络态势感知方法及装置 |
CN106909924A (zh) * | 2017-02-18 | 2017-06-30 | 北京工业大学 | 一种基于深度显著性的遥感影像快速检索方法 |
CN107180430A (zh) * | 2017-05-16 | 2017-09-19 | 华中科技大学 | 一种适用于语义分割的深度学习网络构建方法及*** |
CN107273517A (zh) * | 2017-06-21 | 2017-10-20 | 复旦大学 | 基于图嵌入学习的图文跨模态检索方法 |
-
2017
- 2017-10-27 CN CN201711029714.5A patent/CN107729992B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104850845A (zh) * | 2015-05-30 | 2015-08-19 | 大连理工大学 | 一种基于非对称卷积神经网络的交通标志识别方法 |
CN105184312A (zh) * | 2015-08-24 | 2015-12-23 | 中国科学院自动化研究所 | 一种基于深度学习的文字检测方法及装置 |
CN105631479A (zh) * | 2015-12-30 | 2016-06-01 | 中国科学院自动化研究所 | 基于非平衡学习的深度卷积网络图像标注方法及装置 |
CN106127230A (zh) * | 2016-06-16 | 2016-11-16 | 上海海事大学 | 基于人类视觉感知的图像识别方法 |
CN106296692A (zh) * | 2016-08-11 | 2017-01-04 | 深圳市未来媒体技术研究院 | 基于对抗网络的图像显著性检测方法 |
CN106789214A (zh) * | 2016-12-12 | 2017-05-31 | 广东工业大学 | 一种基于正余双弦算法的网络态势感知方法及装置 |
CN106909924A (zh) * | 2017-02-18 | 2017-06-30 | 北京工业大学 | 一种基于深度显著性的遥感影像快速检索方法 |
CN107180430A (zh) * | 2017-05-16 | 2017-09-19 | 华中科技大学 | 一种适用于语义分割的深度学习网络构建方法及*** |
CN107273517A (zh) * | 2017-06-21 | 2017-10-20 | 复旦大学 | 基于图嵌入学习的图文跨模态检索方法 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110110780A (zh) * | 2019-04-30 | 2019-08-09 | 南开大学 | 一种基于对抗神经网络和海量噪声数据的图片分类方法 |
CN111985605A (zh) * | 2019-05-21 | 2020-11-24 | 富士通株式会社 | 信息处理装置、控制方法和存储信息处理程序的存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN107729992B (zh) | 2020-12-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107644415B (zh) | 一种文本图像质量评估方法及设备 | |
CN108388927A (zh) | 基于深度卷积孪生网络的小样本极化sar地物分类方法 | |
CN104899298B (zh) | 一种基于大规模语料特征学习的微博情感分析方法 | |
CN105894045B (zh) | 一种基于空间金字塔池化的深度网络模型的车型识别方法 | |
CN107945153A (zh) | 一种基于深度学习的路面裂缝检测方法 | |
CN107833183A (zh) | 一种基于多任务深度神经网络的卫星图像同时超分辨和着色的方法 | |
CN110516539A (zh) | 基于对抗网络的遥感影像建筑物提取方法、***、存储介质及设备 | |
CN108537192A (zh) | 一种基于全卷积网络的遥感影像地表覆盖分类方法 | |
CN107862668A (zh) | 一种基于gnn的文物图像复原方法 | |
CN107330364A (zh) | 一种基于cGAN网络的人群计数方法及*** | |
CN110414377A (zh) | 一种基于尺度注意力网络的遥感图像场景分类方法 | |
CN106682696A (zh) | 基于在线示例分类器精化的多示例检测网络及其训练方法 | |
CN107749052A (zh) | 基于深度学习神经网络的图像去雾方法及*** | |
CN105046277A (zh) | 特征显著性在图像质量评价中的鲁棒机理研究方法 | |
CN108090403A (zh) | 一种基于3d卷积神经网络的人脸动态识别方法及*** | |
CN114092389A (zh) | 一种基于小样本学习的玻璃面板表面缺陷检测方法 | |
CN107609638A (zh) | 一种基于线性解码器和插值采样优化卷积神经网络的方法 | |
CN108229589A (zh) | 一种基于迁移学习的地基云图分类方法 | |
CN109785298A (zh) | 一种多角度物体检测方法和*** | |
CN103761526B (zh) | 一种基于特征位置优选整合的城区检测方法 | |
CN109711401A (zh) | 一种基于Faster Rcnn的自然场景图像中的文本检测方法 | |
CN104298974A (zh) | 一种基于深度视频序列的人体行为识别方法 | |
CN105469111A (zh) | 基于改进的mfa和迁移学习的小样本集的物体分类方法 | |
CN106023098A (zh) | 基于张量结构多字典学习与稀疏编码的图像修补方法 | |
CN106529604B (zh) | 一种自适应的图像标签鲁棒预测方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |