CN111582299B - 针对图像深度学习模型识别的自适应正则化优化处理方法 - Google Patents

针对图像深度学习模型识别的自适应正则化优化处理方法 Download PDF

Info

Publication number
CN111582299B
CN111582299B CN202010191674.XA CN202010191674A CN111582299B CN 111582299 B CN111582299 B CN 111582299B CN 202010191674 A CN202010191674 A CN 202010191674A CN 111582299 B CN111582299 B CN 111582299B
Authority
CN
China
Prior art keywords
model
deep learning
learning model
gaussian
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010191674.XA
Other languages
English (en)
Other versions
CN111582299A (zh
Inventor
罗兆经
谢钟乐
姚畅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Mingzhihui Technology Co ltd
Original Assignee
Hangzhou Mingzhihui Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Mingzhihui Technology Co ltd filed Critical Hangzhou Mingzhihui Technology Co ltd
Priority to CN202010191674.XA priority Critical patent/CN111582299B/zh
Publication of CN111582299A publication Critical patent/CN111582299A/zh
Application granted granted Critical
Publication of CN111582299B publication Critical patent/CN111582299B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/29—Graphical models, e.g. Bayesian networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种针对图像深度学习模型识别的自适应正则化优化处理方法。建立深度学习模型，提取出深度学习模型每一层的模型参数；首先计算混合高斯中高斯模型对于深度学习模型的每一层模型参数的责任函数；再采用以下公式处理获得自适应的正则项；依次重复步骤迭代处理直到收敛为止；将正则项输入到深度学习模型中，然后在模型参数基础上减去正则项。本发明不同层的模型参数学习到最佳的正则项，从而有效地解决过拟合的问题，提高图像识别准确率，运用了延迟更新的方法来快速更新正则项，可广泛用于图像识别领域的深度学习模型。

Description

针对图像深度学习模型识别的自适应正则化优化处理方法
技术领域
本发明涉及了一种图像识别优化处理方法，尤其是涉及了一种针对图像深度学习模型识别的自适应正则化优化处理方法，尤其是对于图像识别领域的层数非常多的深度学习模型非常有效。
背景技术
深度学习技术在近些年发展的非常迅猛，尤其是在图像识别领域。给定一幅图片，深度学习模型现在可以非常准确地给出这个图像展示的物体的类别，比如猫，狗，鸟，汽车等等。这个应用对于自动驾驶和人脸识别等都是十分适用的。现阶段图像识别的深度学习模型准确率越来越高，同时它们的层数也变得越来越多。举一个著名的图像识别比赛，ILSVRC作为例子。从2012年到2015年，每年赢得比赛的深度学习模型的层数从8层上升到152层。
但是，当模型层数变得越来越多，过拟合问题就变得越来越突出。过拟合是指在训练数据有限的情况下，模型在训练图像上表现得非常好，但在新的测试图像上表现不好的现象。过拟合现象在层数很多的模型中非常常见，而且也极大地影响着模型的性能。
幸运的是，过拟合问题能由正则化方法很好的解决。正则化方法的基本思路是在优化目标函数中加一个惩罚项(正则项)以此来惩罚太过于复杂的模型。传统的正则化方法包括L1正则化方法[可参考Williams PM.Bayesian regularization and pruning usinga Laplace prior.Neural computation.1995 Jan；7(1):117-43.]以及L2正则化方法[可参考Wang Y,Sun X,Liu L.A variable step size LMS adaptive filtering algorithmbased on L2 norm.In2016 IEEE International Conference on Signal Processing,Communications and Computing(ICSPCC)2016 Aug 5(pp.1-6).IEEE.]。但是这些方法都是非常实验性的。比如说，对于一个有多层的深度学习模型，数据科学家需要对模型的每一层试验得出一个固定的最好的正则项参数β，这个过程是十分耗时和辛苦的。特别是当深度学习模型的层数上升到几百几千层的时候，这种手动试验得到每层合适的正则项参数就会显得非常不现实。
发明内容
为了解决背景技术中存在的问题，本发明提出了一种针对图像深度学习模型识别的自适应正则化优化处理方法，采用自适应的正则化方法来给模型的每一层学习最佳的正则项参数。
本发明采用的技术方案是：
1)对于需识别的图像，建立深度学习模型，提取出深度学习模型每一层的模型参数；在这里，为了方便叙述，以一层的模型参数作为例子，其它层的模型参数方法一样。
2)方法采用与混合高斯结合，对于深度学习模型每一层的模型参数w，首先计算混合高斯中第k个高斯模型对于该层第m个模型参数wm的责任函数rk(wm)，混合高斯模型用来计算正则项，并实时迭代更新其中的混合参数，如下：
Figure BDA0002416141140000021
Figure BDA0002416141140000022
其中，pk(wm)是深度学习模型的第m层的模型参数wm在第k个高斯模型的概率密度函数，πk是第k个高斯模型的混合参数，必须满足
Figure BDA0002416141140000023
的条件，πj表示第j个高斯模型的混合参数，pj(wm)表示该层第m个的模型参数wm在第j个高斯模型的概率密度函数，j表示遍历所有的高斯模型的序数，K表示混合高斯中的高斯模型总数；
3)再采用以下公式处理获得自适应的正则项，并实时迭代更新其中的精度参数：
Figure BDA0002416141140000024
其中，λk是第k个高斯模型的精度参数，其中精度参数λk对应于L2正则项中的正则项参数β；
4)依次重复以上步骤2)～3)迭代处理直到收敛为止，每一层均获得自身的正则项βw，直至模型参数、高斯精度参数和混合参数均收敛稳定；
5)当计算出正则项之后，将不同层的正则项输入到深度学习模型各自对应的层中，然后在每一层的模型参数基础上减去该层的正则项，由此用自适应的正则项训练获得了一个能更好地进行图像识别的深度学习模型。
对于图像识别领域的深度学习模型，一般层数都很深。本发明以L2正则化方式，对于每一层的模型参数w计算正则项βw并减去正则项βw，其中β是正则项参数，控制正则化强度；并且采用自适应的正则化方法来学习每一层最优的正则化强度获得最终正则项βw。由此，本发明为每一层的模型参数新构建了正则项，能防止过拟合，提高图像识别准确率。
本发明能自适应地为每一层模型学习到最佳的正则项，从而有效地解决图片识别领域深度学习模型的过拟合问题，运用了延迟更新的方法来快速地更新层数很多的图像识别领域深度学习模型每层的正则项。
本发明方法对不同的图像识别领域的深度学习模型均通用。
所述的第k个高斯模型的精度λk采用以下公式更新：
Figure BDA0002416141140000031
其中，a和b是预设的第一、第二超参数；
第k个高斯模型的混合参数πk采用以下公式更新：
Figure BDA0002416141140000032
其中，αk是第k个高斯模型的预设的模型超参数，αj表示第j个高斯模型的预设的模型超参数，j表示遍历所有的高斯模型的序数。
所述的深度学习模型为卷积神经网络。
所述步骤4)中，迭代处理时，每重复一次步骤2)～3)作为一步，实际操作时不是每一次都计算步骤2)，而是每隔步Im步才进行一步，Im是预设的模型超参数，一般设为50。
由于计算责任函数rk(wm)，更新高斯精度λk和混合参数πk是比较费时的，本发明也采用了一种延迟更新的方法。这种更新方法不会每步都计算责任函数rk(wm)以及更新高斯精度λk和混合参数πk，而是每隔步Im步才做一次，以此来减少总的计算时间。
所述的深度学习模型中的总层数大于10层以上，直到上千层的深度学习模型都是适用的。
本发明的有益效果是：
本发明可广泛用于图像识别领域的深度学习模型，为不同层的模型参数学习到最佳的正则项，从而有效地解决过拟合的问题，提高图像识别准确率；并且运用了延迟更新的方法来快速的更新层数很多的深度学习模型的正则项。
附图说明
图1是本发明方法逻辑框架示意图。
表1是在ResNet模型不同层上学到的混合高斯参数
表2是不同正则化方法准确率的结果对比图。
具体实施方式
下面结合附图和实施例对本发明作进一步说明。
本发明的实施例如下：
如图1所示，右边是一个多层的深度学习模型，输入不同图像之后，模型会预测这个图像是猫还是轿车还是其他类别。自适应的正则化方法在左边。这个方法会依次地计算每层的责任函数，计算每层的正则项并传给深度学习模型去更新每层的模型参数，然后更新每层的混合高斯参数π，λ。
1)对于上述待识别的图像，建立深度学习模型，提取出深度学习模型每一层的模型参数；在这里，为了方便叙述，以一层的模型参数作为例子，其它层的模型参数方法一样。
2)方法采用与混合高斯结合，对于某一层的模型参数w，首先计算混合高斯中第k个高斯模型对于该层的第m个的模型参数wm的责任函数rk(wm)，并实时迭代更新其中的混合参数，如下：
Figure BDA0002416141140000041
Figure BDA0002416141140000042
3)再采用以下公式处理获得该层的自适应正则项，并实时迭代更新其中的精度参数：
Figure BDA0002416141140000043
4)依次重复以上步骤2)～3)迭代处理直到收敛为止，学到该层的正则项βw，直至模型参数、高斯精度参数和混合参数均收敛稳定；
5)当计算出正则项之后，将每一层的正则项输入到深度学习模型中的对应层中，然后在每一层的模型参数基础上减去正则项，由此用自适应的正则项训练获得了一个能更好地进行图像识别的深度学习模型。
为了证实本自适应正则化方法在深度学习模型应用中的有效性，使用残差卷积神经网络模型(ResNet)来进行验证。这个模型一共有20层。在这个实验中，使用的数据集是CIFAR-10图像分类数据集。这个数据集有60000张图像(50000张训练图像和10000张测试图像)，一共分成十个类别。每张图像有32×32个像素点。
本实施例所用的参数如下：K＝4。对于某一层，假设M为该层的模型参数数量，b＝0.001M，a＝1+10^(-2)b，α＝M^(0.5)。
本实施例的实验结果如下表。
表1在ResNet模型不同层上学到的混合高斯参数
Figure BDA0002416141140000051
表2不同正则化方法在CIFAR-10数据集上的准确率
正则化方法 ResNet
无正则化 0.901
L2正则化 0.909
自适应正则化 0.921
表1展示了自适应正则化方法在几个有代表性的层中学到的混合高斯参数。从这个表可以看出来，的正则化方法能自动地给不同层学到两个高斯，并且不同层的混合高斯参数是不一样的。这个结果印证了的想法：的自适应正则化方法能够自适应的给每层学到不同的混合高斯参数，从而给每层产生不同的最佳的正则项。
表2展示了不同正则化方法的准确率。从这个表中可见无正则化方法的结果是最差的，有了L2正则化也并无差异影响，而自适应正则化则显著提升了。这个说明了本发明自适应的正则化方法比传统的L2正则化方法要好，正则化的方法能够自适应地给每层学到最佳的正则项，从而给每层最佳的正则化强度，显著提高了准确率。
因此，本发明自适应正则化方法处理对于深度学习模型具有显著的技术效果。

Claims (4)

1.一种针对图像深度学习模型识别的自适应正则化优化处理方法，其特征在于：
1)对于需识别的图像，建立深度学习模型，提取出深度学习模型每一层的模型参数；
2)对于深度学习模型每一层的模型参数w，首先计算混合高斯中第k个高斯模型对于深度学习模型的第m层的模型参数wm的责任函数rk(wm)，并实时迭代更新其中的混合参数，如下：
Figure FDA0003727863860000011
Figure FDA0003727863860000012
其中，pk(wm)是深度学习模型的第m层的模型参数wm在第k个高斯模型的概率密度函数，πk是第k个高斯模型的混合参数，πj表示第j个高斯模型的混合参数，pj(wm)表示深度学习模型的第m层的模模型参数wm在第j个高斯模型的概率密度函数，j表示遍历所有的高斯模型的序数，K表示混合高斯中的高斯模型总数；
3)再采用以下公式处理获得自适应的正则项，并实时迭代更新其中的精度参数：
Figure FDA0003727863860000013
其中，λk是第k个高斯模型的精度参数；
4)依次重复以上步骤2)～3)迭代处理直到收敛为止，每一层均获得自身的正则项βw；
5)将不同层的正则项输入到深度学习模型各自对应的层中，然后在每一层的模型参数基础上减去该层的正则项，由此用自适应的正则项训练获得了一个能更好地进行图像识别的深度学习模型；
所述的第k个高斯模型的精度λk采用以下公式更新：
Figure FDA0003727863860000014
其中，a和b是预设的第一、第二超参数；
第k个高斯模型的混合参数πk采用以下公式更新：
Figure FDA0003727863860000021
其中，αk是第k个高斯模型的预设的模型超参数，αj表示第j个高斯模型的预设的模型超参数，j表示遍历所有的高斯模型的序数。
2.根据权利要求1所述的一种针对图像深度学习模型识别的自适应正则化优化处理方法，其特征在于：所述的深度学习模型为卷积神经网络。
3.根据权利要求1所述的一种针对图像深度学习模型识别的自适应正则化优化处理方法，其特征在于：所述步骤4)中，迭代处理时，每重复一次步骤2)～3)作为一步，每隔步Im步才进行一步，Im是预设的模型超参数。
4.根据权利要求1所述的一种针对图像深度学习模型识别的自适应正则化优化处理方法，其特征在于：所述的深度学习模型中的总层数大于10层以上，直到上千层的深度学习模型都是适用的。
CN202010191674.XA 2020-03-18 2020-03-18 针对图像深度学习模型识别的自适应正则化优化处理方法 Active CN111582299B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010191674.XA CN111582299B (zh) 2020-03-18 2020-03-18 针对图像深度学习模型识别的自适应正则化优化处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010191674.XA CN111582299B (zh) 2020-03-18 2020-03-18 针对图像深度学习模型识别的自适应正则化优化处理方法

Publications (2)

Publication Number Publication Date
CN111582299A CN111582299A (zh) 2020-08-25
CN111582299B true CN111582299B (zh) 2022-11-01

Family

ID=72124826

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010191674.XA Active CN111582299B (zh) 2020-03-18 2020-03-18 针对图像深度学习模型识别的自适应正则化优化处理方法

Country Status (1)

Country Link
CN (1) CN111582299B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112150459B (zh) * 2020-10-16 2023-07-21 哈尔滨工程大学 一种基于机器学习的多参数Tikhonov正则化方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106790248A (zh) * 2017-01-23 2017-05-31 中南大学 一种基于双自适应正则化在线极限学习机的网络入侵检测方法
CN109871855A (zh) * 2019-02-26 2019-06-11 中南大学 一种自适应的深度多核学习方法
CN110610211A (zh) * 2019-09-18 2019-12-24 王斌 一种自适应正则项系数的模型参数估计方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103959291B (zh) * 2011-04-20 2018-05-11 诺沃—诺迪斯克有限公司 基于具有自适应选择的核和正则化参数的正则化网络的葡萄糖预测器
US11164076B2 (en) * 2016-10-20 2021-11-02 Uber Technologies, Inc. Intelligent regularization of neural network architectures

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106790248A (zh) * 2017-01-23 2017-05-31 中南大学 一种基于双自适应正则化在线极限学习机的网络入侵检测方法
CN109871855A (zh) * 2019-02-26 2019-06-11 中南大学 一种自适应的深度多核学习方法
CN110610211A (zh) * 2019-09-18 2019-12-24 王斌 一种自适应正则项系数的模型参数估计方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于知识成熟度的动态正则化神经网络优化方法;邓青等;《电子测量与仪器学报》;20180215(第02期);全文 *
融合高斯混合模型和深度学习的目标跟踪;欧丰林等;《吉林师范大学学报(自然科学版)》;20200204(第01期);全文 *

Also Published As

Publication number Publication date
CN111582299A (zh) 2020-08-25

Similar Documents

Publication Publication Date Title
CN109492556B (zh) 面向小样本残差学习的合成孔径雷达目标识别方法
CN109685115B (zh) 一种双线性特征融合的细粒度概念模型及学习方法
US20190228268A1 (en) Method and system for cell image segmentation using multi-stage convolutional neural networks
Kumar et al. Image based tomato leaf disease detection
CN107886123B (zh) 一种基于辅助判决更新学习的合成孔径雷达目标识别方法
Shetty Application of convolutional neural network for image classification on Pascal VOC challenge 2012 dataset
CN107729999A (zh) 考虑矩阵相关性的深度神经网络压缩方法
CN108549718B (zh) 一种通用主题嵌入模型联合训练方法
CN112418261B (zh) 一种基于先验原型注意力机制的人体图像多属性分类方法
CN113281999A (zh) 一种基于强化学习和迁移学习的无人机自主飞行训练方法
CN113112451A (zh) 基于图像处理的绿色叶片病害特征优化及病害识别方法
CN109190666B (zh) 基于改进的深度神经网络的花卉图像分类方法
Chen et al. Application of improved convolutional neural network in image classification
CN111582299B (zh) 针对图像深度学习模型识别的自适应正则化优化处理方法
CN111353534B (zh) 一种基于自适应分数阶梯度的图数据类别预测方法
CN110766138A (zh) 基于脑发育机制的自适应神经网络模型的构建方法及***
CN116592883A (zh) 一种基于注意力和循环ppo实现的导航决策方法
CN115048870A (zh) 基于残差网络和注意力机制的目标轨迹识别方法
Li et al. Incremental learning of single-stage detectors with mining memory neurons
CN110188621A (zh) 一种基于ssf-il-cnn的三维人脸表情识别方法
CN117590173A (zh) 一种基于卷积神经网络的电缆局部放电模式识别方法
Zheng et al. Fruit tree disease recognition based on convolutional neural networks
CN111461229A (zh) 一种基于目标传递和线搜索的深层神经网络优化及图像分类方法
CN115906959A (zh) 基于de-bp算法的神经网络模型的参数训练方法
CN114859719A (zh) 一种基于图神经网络的强化学习集群蜂拥控制方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant