CN108171329A - 深度学习神经网络训练方法、层数调整装置和机器人*** - Google Patents
深度学习神经网络训练方法、层数调整装置和机器人*** Download PDFInfo
- Publication number
- CN108171329A CN108171329A CN201711330260.5A CN201711330260A CN108171329A CN 108171329 A CN108171329 A CN 108171329A CN 201711330260 A CN201711330260 A CN 201711330260A CN 108171329 A CN108171329 A CN 108171329A
- Authority
- CN
- China
- Prior art keywords
- neural network
- deep learning
- learning neural
- training
- input data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 189
- 238000012549 training Methods 0.000 title claims abstract description 184
- 238000013135 deep learning Methods 0.000 title claims abstract description 167
- 238000000034 method Methods 0.000 title claims abstract description 38
- 241001269238 Data Species 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 11
- 210000005036 nerve Anatomy 0.000 claims description 5
- 230000003466 anti-cipated effect Effects 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims 1
- 230000008569 process Effects 0.000 abstract description 7
- 239000010410 layer Substances 0.000 description 150
- 210000004218 nerve net Anatomy 0.000 description 8
- 230000001815 facial effect Effects 0.000 description 7
- 238000012360 testing method Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 230000019771 cognition Effects 0.000 description 5
- 230000001537 neural effect Effects 0.000 description 5
- 230000004069 differentiation Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000003780 insertion Methods 0.000 description 2
- 230000037431 insertion Effects 0.000 description 2
- 239000011229 interlayer Substances 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 230000008667 sleep stage Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种深度学习神经网络训练方法、层数调整装置和机器人***。该方法包括：获取训练输入数据；将训练输入数据输入当前深度学习神经网络进行训练得到训练结果信息，当前深度学习神经网络包括输入层、隐层、分类器和输出层；若训练结果信息不符合预设条件，则调整当前深度学习神经网络中隐层的层数以更新当前深度学习神经网络，并返回将训练输入数据输入当前深度学习神经网络进行训练，得到训练结果信息的步骤；否则将当前深度学习神经网络作为训练后的深度学习神经网络。如此，通过在训练过程中根据训练结果信息进行隐层层数的调整，直至训练结果信息符合预设条件，可确保深度学习神经网络的训练成功，训练成功率高。
Description
技术领域
本发明涉及机器学习技术领域，特别是涉及一种深度学习神经网络训练方法、层数调整装置和机器人***。
背景技术
神经网络是一种进行分布式并行信息处理的算法数学模型，常用于智能机器识别，深度学习神经网络可采用样本数据进行深度学习。其中，深度学习包括有监督学习和无监督学习。
传统技术中，通常是采用样本数据输入固定层数的深度学习神经网络进行无监督学习、采用带有标签的样本数据输入固定层数的深度学习进行有监督学习得到输出标签，以完成对深度学习神经网络的训练，并在训练后采用测试数据测试通过。例如，输出标签为身份证号码，可以采用头像作为样本数据、输入头像得到该人的身份证号码，或者采用语音作为样本数据、输入语音得到该人的身份证号码。
然而，在有监督学习的过程中，如果深度学习神经网络的层数过少，使得顶层概念过于具体、与输出标签判别无关甚至矛盾的细节，从而使得顶层概念与输出标签不能充分拟合，那会导致样本数据输入后很多得不到正确的输出标签，深度学习神经网络训练失败；而如果深度学习神经网络的层数过多，会使得顶层概念过于抽象、缺少判别的细节，而在有监督学习过程中加入刚好能区分输出标签的“噪音”细节，从而使得顶层概念与输出标签过于拟合，那会导致样本数据输入后都得到正确的输出标签、但测试数据输入后很多得不到正确的输出标签，从而导致了深度学习神经网络训练失败。
发明内容
基于此，有必要针对传统的深度学习神经网络训练成功率低的问题，提供一种可提高训练深度学习神经网络的成功率的深度学习神经网络训练方法、层数调整装置和机器人***。
一种深度学习神经网络训练方法，包括：
获取训练输入数据；
将所述训练输入数据输入当前深度学习神经网络进行训练，得到训练结果信息，所述当前深度学习神经网络包括输入层、隐层、分类器和输出层；
若所述训练结果信息不符合预设条件，则调整所述当前深度学习神经网络中隐层的层数以更新当前深度学习神经网络，并返回所述将所述训练输入数据输入当前深度学习神经网络进行训练，得到训练结果信息的步骤；
若所述训练结果信息符合所述预设条件，则将所述当前深度学习神经网络作为训练后的深度学习神经网络。
一种层数调整装置，包括：
数据获取模块，用于获取训练输入数据；
网络训练模块，用于将所述训练输入数据输入当前深度学习神经网络进行训练，得到训练结果信息，所述当前深度学习神经网络包括输入层、隐层、分类器和输出层；
层数调整模块，用于在所述训练结果信息不符合预设条件时，调整所述当前深度学习神经网络中隐层的层数以更新当前深度学习神经网络，并返回所述网络训练模块重新将所述训练输入数据输入当前深度学习神经网络进行训练，得到训练结果信息；
训练结束模块，用于在所述训练结果信息符合所述预设条件时，将所述当前深度学习神经网络作为训练后的深度学习神经网络。
上述深度学习神经网络训练方法和层数调整装置，将训练输入数据输入当前深度学习神经网络进行训练得到训练结果信息，若训练结果信息不符合训练成功的预设条件，则调整当前深度学习神经网络中隐层的层数以更新当前深度学习神经网络，并返回重新将训练输入数据输入更新后的当前深度学习神经网络进行训练，以重复分析是否符合预设条件；若训练结果信息符合预设条件，表示训练成功，将当前深度学习神经网络作为训练后的深度学习神经网络。如此，通过在训练过程中根据训练结果信息进行隐层层数的调整，直至训练结果信息符合预设条件，可确保深度学习神经网络的训练成功。相比于传统的训练深度学习神经网络方式，本申请深度学习神经网络训练方法和层数调整装置的训练成功率高。
一种介质，存储有计算机程序，存储的计算机程序被处理器执行时实现上述深度学习神经网络训练方法的步骤。
一种机器人***，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述深度学习神经网络训练方法的步骤。
上述介质和机器人***，由于实现了上述深度学习神经网络训练方法，同理可确保深度学习神经网络的训练成功，训练成功率高。
附图说明
图1为一实施例中深度学习神经网络训练方法的流程图；
图2为另一实施例中深度学习神经网络训练方法的流程图；
图3为含多个隐层的深度学习神经网络的模型图；
图4为深度学习的核心思路示意图；
图5为一实施例中具有一个输入层、一个分类器、一个隐层和一个输出层的深度学习神经网络的模型图；
图6为一实施例中层数调整装置的结构图。
具体实施方式
对深度学习神经网络进行有监督学习过程中，如果层数过多，那么会使得顶层概念过于抽象、缺少判别的细节，而在有监督学习过程中加入了刚好能区分输出标签的“噪音”细节，从而使得顶层概念与输出标签过于拟合，在训练中为了拟合而在顶层概念中加入了非区别性特征的噪音，必然导致在后面的测试中会加大错误率。例如输出标签包括“白色男人”、“白色女人”、“黑色男人”、“黑色女人”，而顶层概念抽象到了“男人”、“女人”特征，忽略了“黑色”、“白色”特征，此时所有的样本数据都能拟合到“男人”、“女人”这2个标签上，因为深度学习采用的是自下而上的无监督学习和自顶向下的有监督学习，在自下而上的无监督学习中，“白色男人”、“黑色男人”这几类样本数据，显然都能与“男人”顶层概念对应，“白色女人”、“黑色女人”这几类样本数据，显然都能与“女人”顶层概念对应；在自顶向下的有监督学习中，“白色男人”、“黑色男人”这几类，显然都能与“男人”顶层概念对应，“白色女人”、“黑色女人”这几类，显然都能与“女人”顶层概念对应；通过有监督学习，深度学习神经网络会自动调整网络权值，最终会使得“男人+噪音1”顶层概念对应“黑色男人”，“男人+噪音2”顶层概念对应“白色男人”，“女人+噪音3”顶层概念对应“黑色女人”，“女人+噪音4”顶层概念对应“白色女人”。由于在有监督学习过程中进行了反复拟合，从而对训练数据而言是达到了充分拟合的效果。但在应用时，输入“白色男人”测试数据时，得到的顶层概念“男人+噪音2”，但因为噪音2并不是区分白色男人与黑色男人的区别性特征，此时通过分类器对应到的输出标签可能是“白色男人”，也可能是“黑色男人”，甚至会由于噪音2的干扰得到的输出标签可能是“白色女人”或“黑色女人”，从而就会使得测试时错误率加大，训练失败。
如果层数过少，那么会使得顶层概念过于具体、与输出标签判别无关甚至矛盾的细节，从而使得顶层概念与输出标签不能拟合，也就是说无法使得顶层概念与输出标签一一对应起来。例如输出标签包括“男人”、“女人”，而顶层概念的特征除了包括区别男女的必要特征外，还包括头发特征、肤色特征。因为深度学习采用的是自下而上的无监督学习和自顶向下的有监督学习，在自顶向下的有监督学习中，如果刚开始有很多“短发男人”、“黑色男人”、“白色女人”、“长发女人”的训练样本，那么就会使得顶层概念中形成“短发男人”、“黑色男人”、“白色女人”、“长发女人”的概念，其中“短发男人”、“黑色男人”通过分类器对应“男人”输出标签，“白色女人”、“长发女人”通过分类器对应“女人”输出标签，但如果后来又有大量“长发男人”、“黑色女人”的训练样本，就会使得顶层概念调整为“长发男人”、“黑色男人”、“黑色女人”、“长发女人”的概念，但调整之后显然又无法拟合“短发男人”、“白色女人”那些样本数据，从而导致深度学习神经网络随着样本数据的变化不变的调整网络权值，却始终无法充分拟合，训练失败。
本申请提供一种深度学习神经网络训练方法、层数调整装置、介质和机器人***。参考图1，在一个实施例中，深度学习神经网络训练方法包括如下步骤：
S110：获取训练输入数据。
训练输入数据是用于深度学习神经网络进行训练的样本数据。例如，训练输入数据可以是人脸图像，也可以是语音。具体地，训练输入数据可以是通过采集获取，例如，通过摄像头采集获取人脸图像，或通过语音接收器采集获取语音；训练输入数据也可以是从数据库查找获取，例如，预先在数据库内存储人脸图像或语音，从数据库中搜索人脸图像或语音即可得到训练输入数据。
S130：将训练输入数据输入当前深度学习神经网络进行训练，得到训练结果信息。
当前深度学习神经网络是已经创建好的深度学习神经网络，包括输入层、隐层、分类器和输出层。其中，分类器包括罗杰斯特回归分类器、SVM(Support Vector Machine支持向量机)分类器中的任一种。具体地，第一次执行步骤S130时，对应的当前深度学习神经网络为预先创建存储的深度学习神经网络。
S150：若训练结果信息不符合预设条件，则调整当前深度学习神经网络中隐层的层数以更新当前深度学习神经网络，并返回步骤S130。
预设条件是表示训练成功的条件，可以根据实际需求设置。可以通过对训练结果信息进行分析判断训练结果信息是否符合预设条件。训练结果信息不符合预设条件，表示还未训练成功，当前深度学习神经网络的顶层概念与输出标签不能拟合，此时，通过调整隐层的层数以更新当前深度学习神经网络，来增加顶层概念与输出标签拟合的程度。调整隐层的层数可以是增加新的隐层，也可以是减少隐层。
具体地，返回步骤S130，即重新将训练输入数据输入更新后的当前深度学习神经网络进行训练，得到更新后的当前深度学习神经网络对应训练得到的训练结果信息。例如，增加隐层后，重新将训练数据输入增加隐层后的当前深度学习神经网络，得到对应训练结果信息。
S170：若训练结果信息符合预设条件，则将当前深度学习神经网络作为训练后的深度学习神经网络。
训练结果信息符合预设条件，表示训练成功，当前深度学习神经网络能达到顶层概念与标签拟合；此时，结束训练，将当前深度学习神经网络作为训练后的深度学习神经网络。具体地，若符合预设条件的训练结果信息为更新后的当前深度学习神经网络对应的训练结果信息，则将对应更新后的当前深度学习神经网络作为训练后的深度学习神经网络。
上述深度学习神经网络训练方法，将训练输入数据输入当前深度学习神经网络进行训练得到训练结果信息，若训练结果信息不符合训练成功的预设条件，则调整当前深度学习神经网络中隐层的层数以更新当前深度学习神经网络，并返回重新将训练输入数据输入更新后的当前深度学习神经网络进行训练，以重复分析是否符合预设条件；若训练结果信息符合预设条件，表示训练成功，将当前深度学习神经网络作为训练后的深度学习神经网络。如此，通过在训练过程中根据训练结果信息进行隐层层数的调整，直至训练结果信息符合预设条件，可确保深度学习神经网络的训练成功。相比于传统的训练深度学习神经网络方式，本申请深度学习神经网络训练方法的训练成功率高。
在一个实施例中，训练输入数据包括无标签输入数据、带标签输入数据和各带标签输入数据对应的预期标签。
无标签输入数据是没有携带标签的数据，带标签输入数据是携带有标签的数据。每一个带标签输入数据对应一个预期标签，带标签输入数据和预期标签可预先对应存储。其中，标签和预期标签是一种标识信息，例如，无标签输入数据为单一的人脸图像，带标签输入数据为携带有身份证号码的人脸图像，预期标签为携带有身份证号码的人脸图像所对应的用户的真实身份证号码。
请参考图2，步骤S130包括步骤S131至步骤S135。
S131：将无标签输入数据作为当前深度学习神经网络的输入数据，对当前深度学习神经网络进行无监督学习，得到参数初始神经网络。
其中，无标签输入数据的数量可以有多个；依次将各无标签输入数据输入当前深度学习神经网络，对应完成一轮无监督学习，则一轮无监督学习对应的无监督学习的次数等于无标签输入数据的数量。可以理解，也可以是从所有的无标签输入数据中选取预设数量的无标签输入数据输入当前深度学习神经网络以完成一轮无监督学习，其他未被选取的不使用；此时，一轮无监督学习对应的无监督学习的次数小于无标签输入数据的数量，具体为等于预设数量。
S133：将带标签输入数据及带标签输入数据对应的预期标签分别作为参数初始神经网络的输入数据与预期输出，对参数初始神经网络进行有监督学习，得到输出的对应带标签输入数据的实际标签。
其中，带标签输入数据的数量可以有多个；依次将各带标签输入数据及带标签输入数据对应的预期标签作为参数初始神经网络的输入数据和预期输出，对应完成一轮有监督学习，则一轮有监督学习对应的有监督学习的次数等于带标签输入数据的数量。可以理解，也可以是从所有的带标签输入数据中选取预设数量的带标签输入数据输入参数初始神经网络以完成一轮有监督学习，其他未被选取的不使用；此时，一轮有监督学习对应的有监督学习的次数小于带标签输入数据的数量，具体为等于预设数量。
S135：统计有监督学习的次数得到训练总次数，统计带标签输入数据的数量得到样本总数，将训练总次数、样本总数和各带标签输入数据对应的实际标签作为训练结果信息。
样本总数是获取的带标签输入数据的总的数量；训练总次数是统计有监督学习的次数得到，其中，每采用一个带标签输入数据和对应的预期标签，对应进行一次有监督学习。若进行一轮有监督学习需要使用所有的带标签输入数据，则完成一轮有监督学习，对应有监督学习的次数等于样本总数，即训练总次数等于样本总数；完成两轮有监督学习，对应有监督学习的次数等于样本总数的2倍，即训练总次数等于样本总数的2倍，依此类推。可以理解，若进行一轮有监督学习使用所有带标签输入数据的部分带标签输入数据，则完成一轮有监督学习，对应有监督学习的次数小于样本总数，即训练总次数小于样本总数，依此类推。
无监督学习和有监督学习是深度学习的学习方式。通过将无标签输入数据输入当前深度学习神经网络进行无监督学习得到参数初始神经网络的基础上，再根据带标签输入数据及带标签输入数据对应的预期标签对参数初始神经网络进行有监督学习，结合无监督学习和有监督学习进行训练，更接近全局最优，训练效果好。
参考图3和图4，把学习结构看作一个网络，深度学习的核心思路如下：
第一步：采用自下而上的无监督学习
1、逐层构建单层神经元。
2、每层采用wake-sleep算法进行调优。每次仅调整一层，逐层调整。
这个过程可以看作是一个feature learning的过程，是和传统神经网络区别最大的部分。
wake-sleep算法包括:
1、wake阶段：认知过程，通过下层的输入特征(Input)和向上的认知(Encoder)权重产生每一层的抽象表示(Code)，再通过当前的生成权重(Decoder)产生一个重建信息(Reconstruction)，计算输入特征和重建信息残差，使用梯度下降修改层间的下行生成权重。也就是“如果现实跟我想象的不一样，改变我的生成权重使得我想象的东西变得与现实一样”。
2、sleep阶段：生成过程，通过上层概念和向下的生成权重，生成下层的状态，再利用认知权重产生一个抽象景象。利用初始上层概念和新建抽象景象的残差，利用梯度下降修改层间向上的认知权重。也就是“如果梦中的景象不是我脑中的相应概念，改变我的认知权重使得这种景象在我看来就是这个概念”。
具体的，先用无标定数据训练第一层，训练时先学习第一层的参数(这一层可以看作是得到一个使得输出数据和输入数据差别最小的三层神经网络的隐层)，由于模型capacity的限制以及稀疏性约束，使得得到的模型能够学习到数据本身的结构，从而得到比输入数据更具有表示能力的特征；在学习得到第n-1层后，将n-1层的输出数据作为第n层的输入数据，训练第n层，由此分别得到各层的参数。
第二步：自顶向下的有监督学习
这一步是在第一步学习获得各层参数进的基础上，在最顶的编码层添加一个分类器，而后通过带标签输入数据的有监督学习，利用梯度下降法去微调整个网络参数。
深度学习的第一步实质上是一个网络参数初始化过程。区别于传统神经网络初值随机初始化，深度学习神经网络是通过在无监督学习输入数据的结构上得到的，因而这个初值更接近全局最优，从而能够取得更好的效果。
具体地，本实施例中，预设条件包括：训练总次数小于或等于样本总数的预设倍数，且所有带标签输入数据的预期标签与实际标签的残差的平均值小于或等于预设残差阈值。
预设条件为表示训练成功的条件。若训练总次数小于或等于样本总数的预设倍数，且所有带标签输入数据的预期标签与实际标签的残差的平均值小于或等于预设残差阈值，则训练结果信息符合预设条件，此时顶层概念与输出标签充分拟合且不过分拟合；否则，不符合预设条件，表示顶层概念与输出标签没有成功拟合。通过根据训练总次数、样本总数及预期标签与实际标签的残差的平均值判断是否符合预设条件，可以准确分析是否成功拟合。可以理解，在其他实施例中，预设条件还可以是其他。
其中，预设倍数可以根据实际需要预先设置；具体地，预设倍数可以大于1，也可以大于零小于1。例如，每进行一轮有监督学***均值通过分别计算各带标签输入数据的预期标签与所对应的实际标签的残差得到多个残差、再计算多个残差的平均值得到。具体地，选取各带标签输入数据的预期标签与对应带标签输入数据最后一次输入参数初始神经网络得到的实际标签计算残差。例如，带标签输入数据A的预期标签为z0，第一次输入带标签输入数据A输出的实际标签为z1，最后一次输入带标签输入数据A输出的实际标签为z2，则带标签输入数据对应的残差为z0与z2的残差。
在一个实施例中，参考图2，步骤S130之前还包括步骤S120。
S120：创建具有一个输入层、一个分类器、一个隐层和一个输出层且依次自顶向下排列的深度学习神经网络得到当前深度学习神经网络。
通过创建具有一个隐层的深度学习神经网络作为初始的神经网络，以最少层数的隐层为基础，以便后续增加隐层。例如，参考图5，为在步骤S130之前创建的深度学习神经网络。步骤S120可以是在步骤S110之前，也可以是在步骤S110之后。本实施例中，步骤S120在步骤S110之后执行。
具体地，本实施例中，步骤S150中，调整当前深度学习神经网络中隐层的层数以更新当前深度学习神经网络，是在当前深度学习神经网络中***一个隐层，得到新的当前深度学习神经网络。如此，步骤S150每执行一次，当前深度学习神经网络中隐层的层数就会增加一层。例如最初隐层只有1层；步骤S150执行1次后，隐层变成2层；步骤S150执行2次后，隐层变成3层；如此类推。通过逐步增加隐层的层数，并通过预设条件的分析判断检查拟合的情况，使得能够逐渐达到刚好充分拟合的状态，而不会因为盲目地增加层数导致过拟合。
具体地，调整当前深度学习神经网络中隐层的层数以更新当前深度学习神经网络，包括：创建新***的隐层，将深度学习神经网络中最后一个隐层的输出与新***的隐层的输入通过编解码网络相连，将新***的隐层的输出作为分类器的输入，以更新当前深度学习神经网络。
本实施例通过最初只设定一层隐层，通过对隐层进行无监督学习，然后加上分类器自顶向下进行有监督学习，如果训练结果信息符合预设条件，则成功拟合，完成有监督训练，若不符合预设条件，则拟合失败，切断分类器前一隐层与分类器之间的连接，并在分类器前一隐层与分类器层之间***一个新的隐层，并将分类器前一隐层连接到新的隐层、将新的隐层连接到分类器层，然后对重复无监督学习和有监督学习，直至成功拟合。如此，能达到充分拟合时分类器的前一隐层概念就是足以与输出标签进行充分拟合的概念，能刚好达到充分拟合而不过分拟合。
具体地，本实施例中，新***的隐层的节点数小于或等于新***的隐层所连接的隐层的节点数。新***的隐层所连接的隐层即为更新之前连接分类器的最后一个隐层。通过让新***的隐层的节点数小于或等于最后一个隐层的节点数，而不是大于最后一个隐层的节点数，这样可以使得输入分类器的顶层概念更为抽象，忽略掉无法与输出标签进行映射的特征，抽象出能与输出标签能充分对应的特征。
可以理解，在其他实施例中，步骤S120也可以是先建立一个多个隐层的当前深度学习神经网络。若训练结果信息不符合预设条件，则步骤S150中减少一个隐层后返回步骤S130。
在一个实施例中，继续参考图2，步骤S170之后，还包括S180：将训练后的深度学习神经网络输出。训练后的深度学习神经网络为成功拟合的深度学习神经网络，输出训练后的深度学习神经网络可用于机器自学习。
参考图6，在一个实施例中，提供了一种层数调整装置，包括数据获取模块110、网络训练模块130、层数调整模块150和训练结束模块170。
数据获取模块110用于获取训练输入数据。
网络训练模块130用于将训练输入数据输入当前深度学习神经网络进行训练，得到训练结果信息，当前深度学习神经网络包括输入层、隐层、分类器和输出层。
层数调整模块150用于在训练结果信息不符合预设条件时，调整当前深度学习神经网络中隐层的层数以更新当前深度学习神经网络，并返回网络训练模块130重新将训练输入数据输入当前深度学习神经网络进行训练，得到训练结果信息。
预设条件是表示训练成功的条件。具体地，网络训练模块130重新将训练输入数据输入更新后的当前深度学习神经网络进行训练，得到更新后的当前深度学习神经网络对应训练得到的训练结果信息。
训练结束模块170用于在训练结果信息符合预设条件时，将当前深度学习神经网络作为训练后的深度学习神经网络。
上述层数调整装置，将训练输入数据输入当前深度学习神经网络进行训练得到训练结果信息，若训练结果信息不符合训练成功的预设条件，则调整当前深度学习神经网络中隐层的层数以更新当前深度学习神经网络，并返回重新将训练输入数据输入更新后的当前深度学习神经网络进行训练，以重复分析是否符合预设条件；若训练结果信息符合预设条件，表示训练成功，将当前深度学习神经网络作为训练后的深度学习神经网络。如此，通过在训练过程中根据训练结果信息进行隐层层数的调整，直至训练结果信息符合预设条件，可确保深度学习神经网络的训练成功。相比于传统的训练深度学习神经网络方式，本申请层数调整装置对深度学习神经网络的训练成功率高。
在一个实施例中，训练输入数据包括无标签输入数据、带标签输入数据和各带标签输入数据对应的预期标签。网络训练模块130包括无监督学习单元(图未示)、有监督学习单元(图未示)和信息统计单元(图未示)。无监督学习单元将无标签输入数据作为当前深度学习神经网络的输入数据，对当前深度学习神经网络进行无监督学习，得到参数初始神经网络。有监督学习单元将带标签输入数据及带标签输入数据对应的预期标签分别作为参数初始神经网络的输入数据与预期输出，对参数初始神经网络进行有监督学习，得到输出的对应带标签输入数据的实际标签。信息统计单元统计有监督学习的次数得到训练总次数，统计带标签输入数据的数量得到样本总数，将训练总次数、样本总数和各带标签输入数据对应的实际标签作为训练结果信息。
通过将无标签输入数据输入当前深度学习神经网络进行无监督学习得到参数初始神经网络的基础上，再根据带标签输入数据及带标签输入数据对应的预期标签对参数初始神经网络进行有监督学习，结合无监督学习和有监督学习进行训练，更接近全局最优，训练效果好。
具体地，本实施例中，预设条件包括：训练总次数小于或等于样本总数的预设倍数，且所有带标签输入数据的预期标签与实际标签的残差的平均值小于或等于预设残差阈值。通过根据训练总次数、样本总数及预期标签与实际标签的残差的平均值判断是否符合预设条件，可以准确分析是否成功拟合。可以理解，在其他实施例中，预设条件还可以是其他。
其中，预设倍数可以根据实际需要预先设置；具体地，预设倍数可以大于1，也可以大于零小于1。平均值通过分别计算各带标签输入数据的预期标签与所对应的实际标签的残差得到多个残差、再计算多个残差的平均值得到。具体地，选取各带标签输入数据的预期标签与对应带标签输入数据最后一次输入参数初始神经网络得到的实际标签计算残差。
在一个实施例中，上述层数调整装置还包括网络创建模块(图未示)，用于创建具有一个输出层、一个分类器、一个隐层、一个输入层且依次自顶向下排列的深度学习神经网络得到当前深度学习神经网络。通过创建具有一个隐层的深度学习神经网络作为初始的神经网络，以最少层数的隐层为基础，以便后续增加隐层。具体地，网络创建模块在网络训练模块130执行相应功能之前创建得到当前深度学习神经网络。
具体地，本实施例中，层数调整模块150调整当前深度学习神经网络中隐层的层数以更新当前深度学习神经网络，是在当前深度学习神经网络中***一个隐层，得到新的当前深度学习神经网络。通过逐步增加隐层的层数，并通过预设条件的分析判断检查拟合的情况，使得能够逐渐达到刚好充分拟合的状态，而不会因为盲目地增加层数导致过拟合。
具体地，层数调整模块150创建新***的隐层，将深度学习神经网络中最后一个隐层的输出与新***的隐层的输入通过编解码网络相连，将新***的隐层的输出作为分类器的输入，以更新当前深度学习神经网络。
本实施例中，新***的隐层的节点数小于或等于新***的隐层所连接的隐层的节点数。新***的隐层所连接的隐层即为更新之前连接分类器的最后一个隐层。通过让新***的隐层的节点数小于或等于最后一个隐层的节点数，而不是大于最后一个隐层的节点数，这样可以使得输入分类器的顶层概念更为抽象，忽略掉无法与输出标签进行映射的特征，抽象出能与输出标签能充分对应的特征。
可以理解，在其他实施例中，网络创建模块也可以是先建立一个多个隐层的当前深度学习神经网络。层数调整模块150在训练结果信息不符合预设条件时，减少一个隐层。
在一个实施例中，上述层数调整装置还包括网络输出模块(图未示)，用于将训练后的深度学习神经网络输出。训练后的深度学习神经网络为成功拟合的深度学习神经网络，输出训练后的深度学习神经网络可用于机器自学习。
在一个实施例中，提供一种介质，存储有计算机程序，存储的计算机程序被处理器执行时实现上述深度学习神经网络训练方法的步骤。具体地，介质可以为计算机可读存储介质。
在一个实施例中，提供一种机器人***，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述深度学习神经网络训练方法的步骤。
上述介质和机器人***，由于实现了上述深度学习神经网络训练方法，同理可确保深度学习神经网络的训练成功，训练成功率高。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种深度学习神经网络训练方法，其特征在于，包括：
获取训练输入数据；
将所述训练输入数据输入当前深度学习神经网络进行训练，得到训练结果信息，所述当前深度学习神经网络包括输入层、隐层、分类器和输出层；
若所述训练结果信息不符合预设条件，则调整所述当前深度学习神经网络中隐层的层数以更新当前深度学习神经网络，并返回所述将所述训练输入数据输入当前深度学习神经网络进行训练，得到训练结果信息的步骤；
若所述训练结果信息符合所述预设条件，则将所述当前深度学习神经网络作为训练后的深度学习神经网络。
2.根据权利要求1所述的深度学习神经网络训练方法，其特征在于，所述训练输入数据包括无标签输入数据、带标签输入数据和各带标签输入数据对应的预期标签，所述将所述训练输入数据输入当前深度学习神经网络进行训练，得到训练结果信息，包括：
将所述无标签输入数据作为当前深度学习神经网络的输入数据，对所述当前深度学习神经网络进行无监督学习，得到参数初始神经网络；
将所述带标签输入数据及所述带标签输入数据对应的预期标签分别作为所述参数初始神经网络的输入数据与预期输出，对所述参数初始神经网络进行有监督学习，得到输出的对应带标签输入数据的实际标签；
统计有监督学习的次数得到训练总次数，统计所述带标签输入数据的数量得到样本总数，将所述训练总次数、所述样本总数和各带标签输入数据对应的实际标签作为所述训练结果信息。
3.根据权利要求2所述的深度学***均值小于或等于预设残差阈值。
4.根据权利要求1-3任一项所述的深度学习神经网络训练方法，其特征在于，所述将所述训练输入数据输入当前深度学习神经网络进行训练，得到训练结果信息之前，还包括：
创建具有一个输出层、一个分类器、一个隐层、一个输入层且依次自顶向下排列的深度学习神经网络得到所述当前深度学习神经网络。
5.根据权利要求4所述的深度学习神经网络训练方法，其特征在于，所述调整所述当前深度学习神经网络中隐层的层数以更新当前深度学习神经网络，包括：
创建新***的隐层，将所述深度学习神经网络中最后一个隐层的输出与新***的隐层的输入通过编解码网络相连，将新***的隐层的输出作为所述分类器的输入，以更新当前深度学习神经网络。
6.根据权利要求5所述的深度学习神经网络训练方法，其特征在于，新***的隐层的节点数小于或等于新***的隐层所连接的隐层的节点数。
7.一种层数调整装置，其特征在于，包括：
数据获取模块，用于获取训练输入数据；
网络训练模块，用于将所述训练输入数据输入当前深度学习神经网络进行训练，得到训练结果信息，所述当前深度学习神经网络包括输入层、隐层、分类器和输出层；
层数调整模块，用于在所述训练结果信息不符合预设条件时，调整所述当前深度学习神经网络中隐层的层数以更新当前深度学习神经网络，并返回所述网络训练模块重新将所述训练输入数据输入当前深度学习神经网络进行训练，得到训练结果信息；
训练结束模块，用于在所述训练结果信息符合所述预设条件时，将所述当前深度学习神经网络作为训练后的深度学习神经网络。
8.根据权利要求7所述的层数调整装置，其特征在于，还包括网络创建模块，用于创建具有一个输出层、一个分类器、一个隐层、一个输入层且依次自顶向下排列的深度学习神经网络得到所述当前深度学习神经网络。
9.一种介质，存储有计算机程序，其特征在于，存储的计算机程序被处理器执行时实现如权利要求1-6中任一项所述方法的步骤。
10.一种机器人***，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-6任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711330260.5A CN108171329A (zh) | 2017-12-13 | 2017-12-13 | 深度学习神经网络训练方法、层数调整装置和机器人*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711330260.5A CN108171329A (zh) | 2017-12-13 | 2017-12-13 | 深度学习神经网络训练方法、层数调整装置和机器人*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108171329A true CN108171329A (zh) | 2018-06-15 |
Family
ID=62525851
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711330260.5A Pending CN108171329A (zh) | 2017-12-13 | 2017-12-13 | 深度学习神经网络训练方法、层数调整装置和机器人*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108171329A (zh) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108922521A (zh) * | 2018-08-15 | 2018-11-30 | 合肥讯飞数码科技有限公司 | 一种语音关键词检索方法、装置、设备及存储介质 |
| CN108985456A (zh) * | 2018-07-25 | 2018-12-11 | 大国创新智能科技(东莞)有限公司 | 层数增减深度学习神经网络训练方法、***、介质和设备 |
| CN108985463A (zh) * | 2018-07-15 | 2018-12-11 | 大国创新智能科技(东莞)有限公司 | 基于知识库和深度学习的人工智能作战方法和机器人*** |
| CN109242089A (zh) * | 2018-07-27 | 2019-01-18 | 大国创新智能科技(东莞)有限公司 | 递进监督深度学习神经网络训练方法、***、介质和设备 |
| CN109291052A (zh) * | 2018-10-26 | 2019-02-01 | 山东师范大学 | 一种基于深度强化学习的按摩机械手训练方法 |
| CN109784490A (zh) * | 2019-02-02 | 2019-05-21 | 北京地平线机器人技术研发有限公司 | 神经网络的训练方法、装置和电子设备 |
| CN110263949A (zh) * | 2019-06-21 | 2019-09-20 | 安徽智寰科技有限公司 | 融合机器机理与人工智能算法***的数据处理方法及*** |
| CN110532318A (zh) * | 2019-09-02 | 2019-12-03 | 安徽三马信息科技有限公司 | 一种基于多隐层神经网络的注塑机运行工况数据分析*** |
| CN111060221A (zh) * | 2019-12-31 | 2020-04-24 | 云领电气智能科技(苏州)有限公司 | 基于循环神经网络的变压器过热故障预警方法 |
| CN111246056A (zh) * | 2018-11-29 | 2020-06-05 | 佳能株式会社 | 信息处理设备及其控制方法、摄像设备和存储介质 |
| CN112133426A (zh) * | 2020-09-11 | 2020-12-25 | 上海朔茂网络科技有限公司 | 一种基于深度学习的呼吸***疾病辅助诊断方法 |
| CN112734308A (zh) * | 2021-03-10 | 2021-04-30 | 张怡然 | 基于神经网络的数据协同***及方法 |
| CN112819152A (zh) * | 2020-08-14 | 2021-05-18 | 腾讯科技（深圳）有限公司 | 一种神经网络训练方法及装置 |
| WO2021120719A1 (zh) * | 2019-12-19 | 2021-06-24 | 华为技术有限公司 | 神经网络模型更新方法、图像处理方法及装置 |
| TWI746038B (zh) * | 2020-07-02 | 2021-11-11 | 阿證科技股份有限公司 | 類神經網路人工智慧決策核心系統 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103945533A (zh) * | 2014-05-15 | 2014-07-23 | 济南嘉科电子技术有限公司 | 基于大数据的无线实时位置定位方法 |
| US20140310218A1 (en) * | 2013-04-11 | 2014-10-16 | Nec Laboratories America, Inc. | High-Order Semi-RBMs and Deep Gated Neural Networks for Feature Interaction Identification and Non-Linear Semantic Indexing |
| CN105787557A (zh) * | 2016-02-23 | 2016-07-20 | 北京工业大学 | 一种计算机智能识别的深层神经网络结构设计方法 |
-
2017
- 2017-12-13 CN CN201711330260.5A patent/CN108171329A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140310218A1 (en) * | 2013-04-11 | 2014-10-16 | Nec Laboratories America, Inc. | High-Order Semi-RBMs and Deep Gated Neural Networks for Feature Interaction Identification and Non-Linear Semantic Indexing |
| CN103945533A (zh) * | 2014-05-15 | 2014-07-23 | 济南嘉科电子技术有限公司 | 基于大数据的无线实时位置定位方法 |
| CN105787557A (zh) * | 2016-02-23 | 2016-07-20 | 北京工业大学 | 一种计算机智能识别的深层神经网络结构设计方法 |
Non-Patent Citations (2)
| Title |
|---|
| 奚雪峰等: "面向自然语言处理的深度学习研究", 《自动化学报》 * |
| 杨铁军: "《产业专利分析报告 第33册 智能识别》", 30 June 2015, 知识产权出版社 * |
Cited By (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108985463A (zh) * | 2018-07-15 | 2018-12-11 | 大国创新智能科技(东莞)有限公司 | 基于知识库和深度学习的人工智能作战方法和机器人*** |
| CN108985463B (zh) * | 2018-07-15 | 2021-10-26 | 大国创新智能科技(东莞)有限公司 | 基于知识库和深度学习的人工智能作战方法和作战*** |
| CN108985456A (zh) * | 2018-07-25 | 2018-12-11 | 大国创新智能科技(东莞)有限公司 | 层数增减深度学习神经网络训练方法、***、介质和设备 |
| CN108985456B (zh) * | 2018-07-25 | 2021-06-22 | 大国创新智能科技(东莞)有限公司 | 层数增减深度学习神经网络训练方法、***、介质和设备 |
| CN109242089B (zh) * | 2018-07-27 | 2021-03-19 | 大国创新智能科技(东莞)有限公司 | 递进监督深度学习神经网络训练方法、***、介质和设备 |
| CN109242089A (zh) * | 2018-07-27 | 2019-01-18 | 大国创新智能科技(东莞)有限公司 | 递进监督深度学习神经网络训练方法、***、介质和设备 |
| CN108922521A (zh) * | 2018-08-15 | 2018-11-30 | 合肥讯飞数码科技有限公司 | 一种语音关键词检索方法、装置、设备及存储介质 |
| CN109291052A (zh) * | 2018-10-26 | 2019-02-01 | 山东师范大学 | 一种基于深度强化学习的按摩机械手训练方法 |
| CN109291052B (zh) * | 2018-10-26 | 2021-11-09 | 山东师范大学 | 一种基于深度强化学习的按摩机械手训练方法 |
| US11165952B2 (en) | 2018-11-29 | 2021-11-02 | Canon Kabushiki Kaisha | Information processing apparatus, image capturing apparatus, method for controlling information processing apparatus, and non-transitory storage medium |
| CN111246056A (zh) * | 2018-11-29 | 2020-06-05 | 佳能株式会社 | 信息处理设备及其控制方法、摄像设备和存储介质 |
| CN111246056B (zh) * | 2018-11-29 | 2022-05-17 | 佳能株式会社 | 信息处理设备及其控制方法、摄像设备和存储介质 |
| US11645537B2 (en) | 2019-02-02 | 2023-05-09 | Beijing Horizon Robotics Technology Research And Development Co., Ltd. | Neural network training method, neural network training apparatus and electronic device |
| CN109784490A (zh) * | 2019-02-02 | 2019-05-21 | 北京地平线机器人技术研发有限公司 | 神经网络的训练方法、装置和电子设备 |
| CN109784490B (zh) * | 2019-02-02 | 2020-07-03 | 北京地平线机器人技术研发有限公司 | 神经网络的训练方法、装置和电子设备 |
| CN110263949A (zh) * | 2019-06-21 | 2019-09-20 | 安徽智寰科技有限公司 | 融合机器机理与人工智能算法***的数据处理方法及*** |
| CN110532318A (zh) * | 2019-09-02 | 2019-12-03 | 安徽三马信息科技有限公司 | 一种基于多隐层神经网络的注塑机运行工况数据分析*** |
| WO2021120719A1 (zh) * | 2019-12-19 | 2021-06-24 | 华为技术有限公司 | 神经网络模型更新方法、图像处理方法及装置 |
| CN111060221A (zh) * | 2019-12-31 | 2020-04-24 | 云领电气智能科技(苏州)有限公司 | 基于循环神经网络的变压器过热故障预警方法 |
| TWI746038B (zh) * | 2020-07-02 | 2021-11-11 | 阿證科技股份有限公司 | 類神經網路人工智慧決策核心系統 |
| CN112819152A (zh) * | 2020-08-14 | 2021-05-18 | 腾讯科技（深圳）有限公司 | 一种神经网络训练方法及装置 |
| CN112819152B (zh) * | 2020-08-14 | 2024-03-01 | 腾讯科技（深圳）有限公司 | 一种神经网络训练方法及装置 |
| CN112133426A (zh) * | 2020-09-11 | 2020-12-25 | 上海朔茂网络科技有限公司 | 一种基于深度学习的呼吸***疾病辅助诊断方法 |
| CN112734308A (zh) * | 2021-03-10 | 2021-04-30 | 张怡然 | 基于神经网络的数据协同***及方法 |
| CN112734308B (zh) * | 2021-03-10 | 2023-06-27 | 张怡然 | 基于神经网络的数据协同***及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108171329A (zh) | 深度学习神经网络训练方法、层数调整装置和机器人*** | |
| CN111199550B (zh) | 图像分割网络的训练方法、分割方法、装置和存储介质 | |
| US10922866B2 (en) | Multi-dimensional puppet with photorealistic movement | |
| CN111754596B (zh) | 编辑模型生成、人脸图像编辑方法、装置、设备及介质 | |
| CN108182389A (zh) | 基于大数据与深度学习的用户数据处理方法、机器人*** | |
| CN111914644A (zh) | 一种基于双模态协同的弱监督时序动作定位方法及*** | |
| CN110147732A (zh) | 指静脉识别方法、装置、计算机设备及存储介质 | |
| CN108846314A (zh) | 一种基于深度学习的食材辨识***和食材辨识方法 | |
| CN109948647A (zh) | 一种基于深度残差网络的心电图分类方法及*** | |
| CN110148318A (zh) | 一种数字助教***、信息交互方法和信息处理方法 | |
| CN106068514A (zh) | 用于在不受约束的媒体中识别面孔的***和方法 | |
| CN108108807A (zh) | 学习型图像处理方法、***及服务器 | |
| CN116994709B (zh) | 一种个性化的饮食与运动推荐方法、***及电子设备 | |
| CN113961705A (zh) | 一种文本分类方法及服务器 | |
| CN113591988B (zh) | 知识认知结构分析方法、***、计算机设备、介质、终端 | |
| CN110503155A (zh) | 一种信息分类的方法及相关装置、服务器 | |
| CN112418302A (zh) | 一种任务预测方法及装置 | |
| CN113705596A (zh) | 图像识别方法、装置、计算机设备和存储介质 | |
| CN109242089B (zh) | 递进监督深度学习神经网络训练方法、***、介质和设备 | |
| CN114511023A (zh) | 分类模型训练方法以及分类方法 | |
| KR102251704B1 (ko) | 관계형 질의를 이용한 객체 검출방법 및 그 장치 | |
| CN108009636A (zh) | 深度学习神经网络进化方法、装置、介质和计算机设备 | |
| CN117216223A (zh) | 对话文本的生成方法和装置、存储介质及电子设备 | |
| WO2021006779A1 (en) | Network status classification | |
| CN113360772B (zh) | 一种可解释性推荐模型训练方法与装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180615 |
|
| RJ01 | Rejection of invention patent application after publication |