CN109086886A - 一种基于极限学习机的卷积神经网络学习算法 - Google Patents

一种基于极限学习机的卷积神经网络学习算法 Download PDF

Info

Publication number
CN109086886A
CN109086886A CN201810874817.XA CN201810874817A CN109086886A CN 109086886 A CN109086886 A CN 109086886A CN 201810874817 A CN201810874817 A CN 201810874817A CN 109086886 A CN109086886 A CN 109086886A
Authority
CN
China
Prior art keywords
training
feature
input
filter
algorithm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810874817.XA
Other languages
English (en)
Inventor
马宏宾
费庆
李楠楠
克莱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gongji (beijing) Intelligent Technology Co Ltd
Original Assignee
Gongji (beijing) Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gongji (beijing) Intelligent Technology Co Ltd filed Critical Gongji (beijing) Intelligent Technology Co Ltd
Priority to CN201810874817.XA priority Critical patent/CN109086886A/zh
Publication of CN109086886A publication Critical patent/CN109086886A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于极限学习机的卷积神经网络学习算法，本算法是基于自编码的思想去学习带有偏差的卷积滤波器，首先将数据矩阵生成均值为0、方差为1的标准化训练数据；然后处理卷积偏差，加入截距项，并且学习重构标准化输入和截距项，使得目标矩阵成为；给定输入和目标矩阵，重塑矩阵以获得滤波器。本发明基于自动编码的极限学习机，学习卷积滤波器，用于训练任意卷积神经网络工作，处理滤波器的偏差，重构具有截距项的标准化的输入；本发明是一个层级的训练过程，不必整个分类模型去提取任意的特征，提高了训练速度，在泛化性能上实现了具有竞争力的结果，并且在训练速度上超过了BP‑CNN；同时降低了内存的消耗。

Description

一种基于极限学习机的卷积神经网络学习算法
技术领域
本发明涉及计算机人工智能技术领域，具体的说是一种基于极限学习机的卷积神经网络学习算法，本算法是基于自编码的思想去学习带有偏差的卷积滤波器，通过重构具有截距项的标准化输入，以缩小极限学习机与深度学习之间的差距。
背景技术
由于深度学习在ImageNet大规模视觉识别挑战赛中的突破，所有的获胜架构都有一个卷积的结构。而且许多卷积神经网络(简称CNN)已经在不同的领域被成功应用，如目标识别、语音识别、自然语言处理等领域。卷积神经网络通过反向传播分类误差采用BP算法进行训练，采用附加动量因子的梯度下降算法迭代更新网络参数。基于BP训练的卷积神经网络要求大量的数据，并且非常慢，实际上，先进模型的训练要求专门的硬件(GPU)或许需要花费几天甚至几周的时间。
为了克服这些困难，一些工作已经提出了其他的基于极限学习机(简称ELM)的可选方案去训练卷积神经网络，它最初提出是为了训练单层前馈神经网络(SLFN)的学习型算法。在ELM理论的背景下，输入权重根据任意连续的分布函数随机产生，输出权重通过线性***的最小化范数解析地计算。后来，Kasun等基于ELM-AE的概念提出多层ELM(ML-ELM)以训练多层神经网络，ML-ELM隐含层权重采用ELM-AE初始化，它执行分层无监督训练。与深度网络相比，ML-ELM不需要精细调整。最近，一个基于ELM的方案被提出使用和ELM-AE同样的方法去训练卷积神经网络，该方法是采用ELM-AE的方法进行CNN的训练，从获得的卷积层和池化层获得的最后的特征映射将驱使ML-ELM分类器的隐含层产生输入图像的类别标签。为了寻找隐藏层目标，提出了基于ELM和反向传播的迭代方法去训练卷积神经网络。上述方法存在的问题是迭代过程和反向传播使得其在训练的过程中较慢，在大型网络特别是如果模型需要有效用在实时应用上时，使得测试时间更慢并且增加内存的消耗。
发明内容
本发明的目的是提供一种基于极限学习机的卷积神经网络学习算法(简称ELM-CNN)，用更快的框架去学习基于极限学习机的卷积滤波器，用于训练任意卷积神经网络架构，从定性和定量两个方面进行一个与基于BP训练模型的***比较，以解决现有技术中存在的测试时间慢，内存消耗大的问题。
为了实现上述目的，本发明所采取的技术方案为：
一种基于极限学习机的卷积神经网络学习算法，本算法是基于自编码的思想去学习带有偏差的卷积滤波器，它包括以下步骤：
步骤一、基于极限学习机的卷积神经网络学习算法ELM-CNN
输入：输入特征X
输出：CONV参数：滤波器F和偏差B
将输入特征标准化为均值为0，标准差为1的数据XN
构成想要的目标T＝[XN│1]
随机产生输入权重W和偏差b
计算隐藏矩阵H＝G(XW+b)
计算输出权重
计算滤波器和偏差
重塑滤波矩阵F＝reshape(Fmat)
返回CONV参数滤波器F和偏差B
步骤二、在获得了训练结果之后，得到参数滤波器F和偏差B，对于新的样本X进行特征提取，其过程为：
输入：输入特征映射X
输出：提取特征T
计算隐藏矩阵H＝G(XF+b)
得到卷积特征T＝H
对于所得到的卷积特征采用分类算法进行分类，或者对所得到的卷积特征进行池化，得到池化之后的特征，然后再采用分类算法进行分类。
优选的，步骤一中所述输出权重β的计算方法采用改进的基于极限学习机的自动编码训练单层前向神经网络ELM-AE的算法，其计算过程为：
输入：数据集X，隐藏节点数目L
输出：输出权重
随机生成输入权重W和偏差b
计算隐藏矩阵H＝G(XW+b)
计算输出权重其中T＝X
返回输出权重β
优选的，基于步骤一的训练结果可以得到步骤二所提取得到的特征，将步骤一的训练的结果作为网络的预训练结果，在此基础上采用反向传播进行调整，提高训练速度及精度。
本发明采用极限学习机训练卷积神经网络是基于自编码的思想，基于极限学习机的自动编码算法修改了极限学习机(简称ELM)算法重构输入，即目标矩阵被输入数据矩阵所取代，可以训练单层前向神经网络以重构输入。
本发明的有益效果为：
(1)本发明所提出的算法通过使用修改的基于自动编码的极限学习机，学习卷积滤波器，可以用于训练任意卷积神经网络工作，处理滤波器的偏差，重构具有截距项的标准化的输入；
(2)本发明所述的ELM-CNN算法是一个层级的训练过程，不必整个分类模型去提取任意的特征，提高了训练速度，在泛化性能上实现了具有竞争力的结果，并且在训练速度上超过了BP-CNN；同时降低了内存的消耗；
(3)本发明所述的算法所得的训练结果作为预训练结果在此基础上采用反向传播进行调整，提高训练速度；可以集成到开发周期中，对给定问题进行最优网络结构的搜索；在使用ELM-CNN进行网络结构选择之后，所选择的架构可以使用BP-CNN进行训练以获得更好的泛化性能。
附图说明
图1是基于极限学习机训练卷积层的过程示意图；
图2是比较卷积神经网络特征的方法示意图；
图3是第一层滤波器可视化示意图；
图4是应用激活最大化算法的BP-CNN和ELM-CNN的类输出神经元合成图像；
图5是应用激活最大算法的BP-CNN和ELM-CNN的随机选择POOL-2层神经元的输出神经元合成图像；
图6是采用PCA特征可视化示意图；
图7是采用t-SET的CNN特征可视化示意图。
具体实施方式
下面结合具体实施例和附图对本发明做进一步详细的说明。
一种基于极限学习机的卷积神经网络学习算法，本算法是基于自编码的思想去学习带有偏差的卷积滤波器，它包括以下步骤：
步骤一、基于极限学习机的卷积神经网络学习算法ELM-CNN
输入：输入特征X
输出：CONV参数：滤波器F和偏差B
将输入特征标准化为均值为0，标准差为1的数据XN
构成想要的目标T＝[XN│1]
随机产生输入权重W和偏差b
计算隐藏矩阵H＝G(XW+b)
计算输出权重
计算滤波器和偏差
重塑滤波矩阵F＝reshape(Fmat)
返回CONV参数滤波器F和偏差B
步骤二、在获得了训练结果之后，得到参数滤波器F和偏差B，对于新的样本X进行特征提取，其过程为：
输入：输入特征映射X
输出：提取特征T
计算隐藏矩阵H＝G(XF+b)
得到卷积特征T＝H
对于所得到的卷积特征采用分类算法进行分类，或者对所得到的卷积特征进行池化，得到池化之后的特征，然后再采用分类算法进行分类。
步骤一中所述输出权重β的计算方法采用改进的基于极限学习机的自动编码训练单层前向神经网络ELM-AE的算法，其计算过程为：
输入：数据集X，隐藏节点数目L
输出：输出权重
随机生成输入权重W和偏差b
计算隐藏矩阵H＝G(XW+b)
计算输出权重其中T＝X
返回输出权重β
基于步骤一的训练结果可以得到步骤二所提取得到的特征，将步骤一的训练的结果作为网络的预训练结果，在此基础上采用反向传播进行调整，提高训练速度及精度。
任意基本的卷积神经网络(简称CNN)模型都由三个部分构成：卷积层、池化层和全连接层，全连接层可以视为一个卷积层。因此只有卷积层需要被训练，对于池化层，不需要调整参数。卷积神经网络可以被实现为具有特定操作的一个块的打包(卷积、池化和非线性)，每一个块有一个输入特征映射，它是过去层的输出特征映射(对于第一层而言，输入特征映射是输入训练数据集)和一个输出特征映射(除了最后一层产生分类得分)。在训练阶段，对于一个给定的CNN架构，随机初始化所有的滤波器，数据通过网络传播直接计算每一个块的输出，如果这个块是一个卷积层，首先进行训练，在学习卷积核之后对输出进行评估。
训练任意卷积层的统一框架如图1所示，训练过程可以分为四步：窗口提取、去卷积、级联和滤波器学习。
例如仅有一个输入特征映射，维度为6*5*3*1，一般其大小是h*w*c*n，式中(h*w)是特征映射的高和宽，c是它的深度(特征通道的数目)，n是样本数。假设仅仅有两个3*3的滤波器，它必须具有和输入特征映射一样的深度，则滤波器可以表示成3*3*3*2维的数组。通常，它的维度是Fh*Fw*Fc*K，式中(Fh*Fw)是滤波器的高宽，K是滤波器的数目，Fc是每一个滤波器的深度，必须等于特征映射的深度。进行卷积时步长为1(s＝1)并且边界补充为0(pad＝0)，该操作的结果是特征映射是一个4*3*2*1的数组，通常其结果是一个维度为
的数组。
整个过程分为以下几步：
(1)窗口提取：卷积运算可以看作是一个滤波器和它的相应的局部窗口在输入特征映射上的一个元素乘积，为了提取所有的局部窗口，扫描所有可能输入特征映射的空间位置，这些局部窗口具有和卷积滤波器相同的维度，本示例将会产生12个大小为3*3*3*1的局部窗口。
(2)去卷积：包括将卷积算子转化成矩阵乘法，将每一个局部窗口展开成一个向量，然后所有的局部窗口被重组到单个矩阵。本示例中每个局部窗口重新构成一个大小为1*27的向量，12个局部窗口转换成12个向量，组织成一个维度为12*27的矩阵，将每一个滤波器展开成一个27*1的向量。重塑滤波器和局部窗口成为向量需要在同样的方向上进行，以保证乘积运算的同样结果。
(3)级联：在所有的滤波器和输入特征映射上，重复上述步骤的工作，然后分别级联所有局部窗口，所有在第一维度和第二维度的滤波器的向量版本。本示例中有两个滤波器，向量化版本是一个27*2的矩阵，如果有K个滤波器，矩阵的大小是27*K。如果有N个特征映射，结果应当是一个12N*27的矩阵。X为数据矩阵，将包含滤波器的矩阵标记为Fmat。
(4)滤波器学习：本发明的关键步骤是去学习滤波器，受基于ELM自动编码方法的启发进行卷积滤波器的训练。首先将数据矩阵生成均值为0、方差为1的标准化训练数据XN；然后处理卷积偏差，加入截距项，并且学习重构标准化输入和截距项，使得目标矩阵成为T＝[X|1]；给定输入X和目标矩阵T，可以用ELM-AE算法计算输出权重β；卷积层参数可以计算为式中B是偏差向量；最后，重塑Fmat矩阵以获得滤波器F。
本发明所述的一种基于极限学习机的卷积神经网络学习算法(简称ELM-CNN)是一个层训练过程，可以在任意想要的层停止，获得一个模型并捕获相应的特征，而BP-CNN算法必须通过反向传播分类误差训练去训练整个模型，然后提取出想要的特征。在ELM-CNN情况下，如果想要一个分类模型，只需要用任意的分类器(比如SVM分类器)替代上一层分类得分。在本发明所述的算法中，为了计算最后一层输出参数，只需采用和计算ELM算法输出权重一样的方法最小化分类误差。
实验评估
为了验证本发明所提出的ELM-CNN算法，进行几个在公共数据集MNIST上的实验，从定性和定量两个方面与BP-CNN进行比较。
MNIST数据集：是一个可得的标准分类基准数据集，由一个28*28的灰度图构成的手写数字图片，它包含60000个样例的训练集和10000个样例的测试集，每一个样例有一个正确的数字类别标签。
仿真环境：采用matlab2016a，台式机，Inteli7CPU，32G内存。对于基于BP训练的CNN采用MatConvNet库，它是CNN的CPU和GPU实现的matlab工具箱。
CNN架构：在实验中采用如表1所示的CNN模型架构。
表1
训练过程：在ELM算法中采用加性sigmioid激活函数，根据正态分布函数随机选择输入权重；对于使用BP训练的CNN采用附加动量因子的随机梯度下降进行参数更新。训练参数按照如下的方法进行设定：学习率固定为0.001，附加动量为0.9。训练的epochs是20,批量大小为100。
(1)定量比较
本项旨在比较采用基于BP和ELM的CNN特征训练在精度和速度上的性能。首先对于所使用的比较方法进行描述。为了进行一个公平的比较，消除分类器(FC层)对模型性能的影响，提出一个基于两部分的比较方法：特征提取和独立分类器，如图2所示。对于给定的模型(ELM-CNN或者BP-CNN)和感兴趣的特征(卷积和池化)计算整个数据集的特征码；采用训练集的特征码训练独立的分类器，然后在测试集上进行性能测试。
选择独立于BP和ELM的线性SVM分类器，SVM分类器适合不同特征的比较，确保所得结果仅被特征类型影响。
表2展示了对于BP-CNN和ELM-CNN两种类型模型的不同特征类型的性能。结果展示了测试精度，它被定义为在测试集上的分类精度，训练时间被定义为训练模型用于提取特征所需的时间。从表2中可以看出BP-CNN的训练时间对于所有类型的特征都是一样的由于计算任意特征，需要训练分类器模型。相比之下，ELM-CNN需要一个层训练过程，因此不必训练整个模型。为了计算任意特征，仅使用相应特征的训练层。注意当模型变大得时候，训练时间增长。
表2
从表2可以总结出两个主要的结果：一是ELM-CNN算法相比于BP-CNN算法训练速度是非常快的(至少5倍，最快16倍)，在测试集上获得了有竞争力的测试精度，特别对于第一层，ELM-CNN泛化性能与BP-CNN非常接近。二是池化特征优于卷积特征，这个结果可以用池化特征对小变换的不变性来解释，如果使用更多的滤波器可以获得更好的精确度(训练时间依然小于BP-CNN)。
(2)定性比较
定性比较是指用不同类型的可视化去理解卷积神经网络。在该项展现三种可视化：滤波器可视化、特征可视化和最后一层可视化。
滤波器可视化
滤波器可视化包括以热图的形式展示卷积核的权重。第一层的滤波器具有和输入相同深度的滤波器，使得可视化他们更有意义并且在输入空间中更具有可解释性。相比之下更高层的滤波器具有一个和过去层特征映射相匹配数目的深度。因此当滤波器深度多于1(或者3)，可以将它们呈现为深度为1(或者3)的滤波器组，但是这仍然不是一个非常有意义的可视化。基于此，在这一部分仅展示第一层滤波器的可视化如图3。
特征可视化
为了理解每一个神经元从数据中学习到了什么，可视化捕获到的特征种类，采用一个简单的算法称为激活最大化算法(AM)，它是基于计算所刺激感兴趣神经元相应输入的思想。图4显示了通过应用激活最大化算法的两个模型BP-CNN和ELM-CNN的类输出神经元的合成图像，BP-CNN的每一个输出类神经元学习一些类似于它相应类的数字的模式，ELM-CNN模型学习一些不太有意义的笔画和边。在第3类和第7类的情况下，它们可能类似于一些模式相同的伪数字，其他类有较少的可解释性。
图5显示BP-CNN和ELM-CNN的池化层随机选择的神经元的最大化活化作用，采用AM算法计算，图像看起来像具有不同方向和位置的边缘。在BP-CNN情况下更加明亮锐利，对于ELM-CNN图像似乎像断开的点群。ELM-CNN模型保持和BP-CNN及其他基于BP深度架构相同的层次表示。实际上，第一层学***的特征类似于Gabor特征，然而高层趋向于编码一个的边和笔画更加复杂的组合。
最后一层可视化
该项旨在采用降维可视化最后一层(仅仅是在分类得分层)。在通过卷积神经网络的前向传递之后，每个图像可以用作为最后一层的激活获得的特征向量进行编码。本示例中特征向量的维度是500，使用一个降维技术降低维度到2使得一个样例可以映射到2-D点。采用两种方法，首先一个简单的方法比如PCA(主成分分析)，第二是一个更加精致和中意的高维数据集可视化工具t-SET。特征向量从500维降到2维之后，结果被表示成一个散点图。图7展示了使用BP-CNN和ELM-CNN的t-SET嵌入到特征码的2D空间中。结果证实，在BP-CNN情况下相同类组是充分分离的，并且是有间隔的，然而对于ELM-CNN不同类之间有时是有重叠的。尽管是使用PCA，它是可视化高维数据集的简单工具，在BP-CNN情况下，属于同一类的特征码聚集在彼此之间，然而ELM-CNN特征码嵌入到每一个地方，类别不能完全地分开。这意味着BP-CNN码比ELM-CNN码更加容易区分。
由上述内容可知，本发明所提出的算法通过使用修改的基于自动编码的极限学习机，学习卷积滤波器，可以用于训练任意卷积神经网络工作，处理滤波器的偏差，重构具有截距项的标准化的输入；本发明所述的ELM-CNN算法是一个层级的训练过程，不必整个分类模型去提取任意的特征，提高了训练速度，在泛化性能上实现了具有竞争力的结果，并且在训练速度上超过了BP-CNN；同时降低了内存的消耗。

Claims (3)

1.一种基于极限学习机的卷积神经网络学习算法，其特征在于：本算法是基于自编码的思想去学习带有偏差的卷积滤波器，它包括以下步骤：
步骤一、基于极限学习机的卷积神经网络学习算法ELM-CNN
输入：输入特征X
输出：CONV参数：滤波器F和偏差B
将输入特征标准化为均值为0，标准差为1的数据XN
构成想要的目标T＝[XN│1]
随机产生输入权重W和偏差b
计算隐藏矩阵H＝G(XW+b)
计算输出权重
计算滤波器和偏差
重塑滤波矩阵F＝reshape(Fmat)
返回CONV参数滤波器F和偏差B
步骤二、在获得了训练结果之后，得到参数滤波器F和偏差B，对于新的样本X进行特征提取，其过程为：
输入：输入特征映射X
输出：提取特征T
计算隐藏矩阵H＝G(XF+b)
得到卷积特征T＝H
对于所得到的卷积特征采用分类算法进行分类，或者对所得到的卷积特征进行池化，得到池化之后的特征，然后再采用分类算法进行分类。
2.根据权利要求1所述的一种基于极限学习机的卷积神经网络学习算法，其特征在于：步骤一中所述输出权重β的计算方法采用改进的基于极限学习机的自动编码训练单层前向神经网络ELM-AE的算法，其计算过程为：
输入：数据集X，隐藏节点数目L
输出：输出权重
随机生成输入权重W和偏差b
计算隐藏矩阵H＝G(XW+b)
计算输出权重其中T＝X
返回输出权重β。
3.根据权利要求1或2所述的一种基于极限学习机的卷积神经网络学习算法，其特征在于：基于步骤一的训练结果可以得到步骤二所提取得到的特征，将步骤一的训练的结果作为网络的预训练结果，在此基础上采用反向传播进行调整，提高训练速度及精度。
CN201810874817.XA 2018-08-02 2018-08-02 一种基于极限学习机的卷积神经网络学习算法 Pending CN109086886A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810874817.XA CN109086886A (zh) 2018-08-02 2018-08-02 一种基于极限学习机的卷积神经网络学习算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810874817.XA CN109086886A (zh) 2018-08-02 2018-08-02 一种基于极限学习机的卷积神经网络学习算法

Publications (1)

Publication Number Publication Date
CN109086886A true CN109086886A (zh) 2018-12-25

Family

ID=64833316

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810874817.XA Pending CN109086886A (zh) 2018-08-02 2018-08-02 一种基于极限学习机的卷积神经网络学习算法

Country Status (1)

Country Link
CN (1) CN109086886A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109934304A (zh) * 2019-03-25 2019-06-25 重庆邮电大学 一种基于超限隐特征模型的盲领域图像样本分类方法
CN109948682A (zh) * 2019-03-12 2019-06-28 湖南科技大学 基于正态随机抽样分布的激光雷达点云电力线分类方法
CN110132287A (zh) * 2019-05-05 2019-08-16 西安电子科技大学 一种基于极限学习机网络补偿的卫星高精度联合定姿方法
CN110288257A (zh) * 2019-07-01 2019-09-27 西南石油大学 一种深度超限示功图学习方法
CN110473140A (zh) * 2019-07-18 2019-11-19 清华大学 一种基于图嵌入的极限学习机的图像降维方法
CN110659728A (zh) * 2019-09-24 2020-01-07 上海寒武纪信息科技有限公司 神经网络优化方法、装置、计算机设备及存储介质
CN110782025A (zh) * 2019-12-31 2020-02-11 长沙荣业智能制造有限公司 一种稻米加工在线工艺检测方法
CN111476247A (zh) * 2019-01-23 2020-07-31 斯特拉德视觉公司 利用了1xK或Kx1卷积运算的CNN方法及装置
CN111753891A (zh) * 2020-06-11 2020-10-09 燕山大学 一种无监督特征学习的滚动轴承故障诊断方法
US11200648B2 (en) * 2019-11-04 2021-12-14 Lg Electronics Inc. Method and apparatus for enhancing illumination intensity of image

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111476247A (zh) * 2019-01-23 2020-07-31 斯特拉德视觉公司 利用了1xK或Kx1卷积运算的CNN方法及装置
CN111476247B (zh) * 2019-01-23 2023-09-26 斯特拉德视觉公司 利用了1xK或Kx1卷积运算的CNN方法及装置
CN109948682A (zh) * 2019-03-12 2019-06-28 湖南科技大学 基于正态随机抽样分布的激光雷达点云电力线分类方法
CN109934304A (zh) * 2019-03-25 2019-06-25 重庆邮电大学 一种基于超限隐特征模型的盲领域图像样本分类方法
CN110132287A (zh) * 2019-05-05 2019-08-16 西安电子科技大学 一种基于极限学习机网络补偿的卫星高精度联合定姿方法
CN110288257A (zh) * 2019-07-01 2019-09-27 西南石油大学 一种深度超限示功图学习方法
CN110473140A (zh) * 2019-07-18 2019-11-19 清华大学 一种基于图嵌入的极限学习机的图像降维方法
CN110659728A (zh) * 2019-09-24 2020-01-07 上海寒武纪信息科技有限公司 神经网络优化方法、装置、计算机设备及存储介质
CN110659728B (zh) * 2019-09-24 2024-03-05 安徽寒武纪信息科技有限公司 神经网络优化方法、装置、计算机设备及存储介质
US11200648B2 (en) * 2019-11-04 2021-12-14 Lg Electronics Inc. Method and apparatus for enhancing illumination intensity of image
CN110782025A (zh) * 2019-12-31 2020-02-11 长沙荣业智能制造有限公司 一种稻米加工在线工艺检测方法
CN110782025B (zh) * 2019-12-31 2020-04-14 长沙荣业智能制造有限公司 一种稻米加工在线工艺检测方法
CN111753891B (zh) * 2020-06-11 2023-04-07 燕山大学 一种无监督特征学习的滚动轴承故障诊断方法
CN111753891A (zh) * 2020-06-11 2020-10-09 燕山大学 一种无监督特征学习的滚动轴承故障诊断方法

Similar Documents

Publication Publication Date Title
CN109086886A (zh) 一种基于极限学习机的卷积神经网络学习算法
Abu et al. A study on Image Classification based on Deep Learning and Tensorflow
Trnovszky et al. Animal recognition system based on convolutional neural network
US20190164047A1 (en) Object recognition using a convolutional neural network trained by principal component analysis and repeated spectral clustering
CN106485259B (zh) 一种基于高约束高分散主成分分析网络的图像分类方法
CN108647628B (zh) 一种基于多特征多任务字典稀疏迁移学习的微表情识别方法
Aquino et al. The effect of data augmentation on the performance of convolutional neural networks
Seyyedsalehi et al. A fast and efficient pre-training method based on layer-by-layer maximum discrimination for deep neural networks
Özbılge et al. Tomato disease recognition using a compact convolutional neural network
Chen et al. Mobile convolution neural network for the recognition of potato leaf disease images
CN109961093A (zh) 一种基于众智集成学习的图像分类方法
Rao et al. Plant disease classification using deep bilinear CNN
CN109816030A (zh) 一种基于受限玻尔兹曼机的图像分类方法及装置
Shubathra et al. Clothing image recognition based on multiple features using deep neural networks
Zhai et al. Face verification across aging based on deep convolutional networks and local binary patterns
Kaur et al. Performance comparison of AI models for digital image captioning
Taslim et al. Plant leaf identification system using convolutional neural network
Jumanov et al. Mechanisms of image recovery optimization in the system for recognition and classification of micro-objects
Khunratchasana et al. Thai digit handwriting image classification with convolutional neural networks
Li et al. MLP-Mixer Approach for corn leaf diseases classification
Kanungo Analysis of Image Classification Deep Learning Algorithm
Bandyopadhyay et al. Supervised Neural Networks for Fruit Identification
Xin et al. Convolutional Neural Network for Fashion Images Classification (Fashion-MNIST)
Eghbali et al. Deep Convolutional Neural Network (CNN) for Large-Scale Images Classification
Hattori et al. Patch-Based Convolutional Neural Network for the Writer Classification Problem in Music Score Images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination