CN110232341B - 基于卷积-堆叠降噪编码网络的半监督学习图像识别方法 - Google Patents

基于卷积-堆叠降噪编码网络的半监督学习图像识别方法 Download PDF

Info

Publication number
CN110232341B
CN110232341B CN201910464739.0A CN201910464739A CN110232341B CN 110232341 B CN110232341 B CN 110232341B CN 201910464739 A CN201910464739 A CN 201910464739A CN 110232341 B CN110232341 B CN 110232341B
Authority
CN
China
Prior art keywords
network
layer
training
noise reduction
coding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910464739.0A
Other languages
English (en)
Other versions
CN110232341A (zh
Inventor
唐贤伦
孔德松
彭德光
蔡军
谢颖
马伟昌
李伟
王婷
闫振甫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Communication Information System Co Ltd
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN201910464739.0A priority Critical patent/CN110232341B/zh
Publication of CN110232341A publication Critical patent/CN110232341A/zh
Application granted granted Critical
Publication of CN110232341B publication Critical patent/CN110232341B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/32—Digital ink
    • G06V30/333—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/32—Digital ink
    • G06V30/36—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/28—Character recognition specially adapted to the type of the alphabet, e.g. Latin alphabet
    • G06V30/287—Character recognition specially adapted to the type of the alphabet, e.g. Latin alphabet of Kanji, Hiragana or Katakana characters

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Character Discrimination (AREA)
  • Image Processing (AREA)

Abstract

本发明请求保护一种基于卷积‑堆叠降噪编码网络的半监督学***均识别率能达到97％以上，并且结果较为稳定。

Description

基于卷积-堆叠降噪编码网络的半监督学习图像识别方法
技术领域
本发明属于脱机手写汉字的特征提取及识别方法技术领域，特别是一种基于半监督网络的手写汉字图像特征提取及分类方法。
背景技术
由于在文稿、票据、证件签名等手写字符识别***中的广泛应用前景，手写汉字识别自上世纪以来得到广泛关注和研究。手写汉字识别分为联机手写汉字识别和脱机手写汉字识别两大类别，其中脱机手写汉字识别因采集数据时存在噪声干扰，识别难度更大。常用的手写汉字识别方法包括支持向量机(Support Vector Machine,SVM)、决策树模型(Decision Tree,DT)、自动编码机(Automatic Encoder,AE)、学习矢量、扭曲数据样本生成以及八方向特征提取等。传统的手写汉字识别方法在较多相似字以及混淆字的情况下，存在不能提取有效特征和训练困难等问题，所以使用传统的特征提取方法不足以对手写汉字进行识别和分析。
近年来，随着深度学习(Deep learning,DL)的快速发展，因其拥有强大的检测、运动想象脑电分类等多个领域得到了广泛应用，相关方法也应用到手写汉字识别。基于有监督训练的卷积神经网络容易陷入过拟合困境，其解决方式通常通过加大样本量来解决过拟合问题。手写汉字图像样本因收集需要耗费大量的人力物力资源，其样本量为小数据样本，卷积神经网络对手写汉字识别往往不能达到最佳分类效果。基于无监督学习的堆叠降噪自动编码机对图像提取特征时，输入为一维向量维度，存在图像空间信息丢失问题。所以，目前基于单个深度网络训练，不能够完全提取手写汉字图像的代表特征，达到最优分类效果。
因此，本发明结合卷积神经网络的有监督训练和堆叠降噪自动编码机的无监督学习的特点，实现脱机手写汉字的半监督特征提取与识别，以解决小样本训练困和堆叠降噪自动编码丢失空间信息的问题。先通过卷积神经网络进行特征提取，提取包含空间特征的组合特征，避免了空间特征丢失问题，再基于无监督堆叠降噪自动编码机对组合特征进一步特征提取，在一定程度上减少过拟合带来的特征提取不充分的问题。
发明内容
本发明旨在解决以上现有技术的问题，提出一种基于卷积-堆叠降噪编码网络的半监督学习与图像识别方法。本发明的技术方案如下：
一种基于多分类节点卷积循环网络的文本特征提取及分类方法，其包括以下步骤：
步骤1：采用包括归一化、最近邻插值法的算法对手写汉字图像进行预处理；
步骤2：基于卷积网络对预处理后的手写汉字数据进行有监督预训练；
步骤3：提取有监督预训练的隐含特征分别作为堆叠降噪自动编码以及多层人工神经网络的特征输入；
步骤4：基于堆叠降噪自动编码机进行无监督学习，并提取训练完成以后的网络权值参数作为多层人工神网络预训练参数；
步骤5：基于小批量梯度降法对多层人工神经网络进行网络训练，实现半监督网络对图像特征融合。
步骤6：对多层人工神经网络进行性能测试并实现分类。
进一步的，所述步骤1：采用包括归一化、最近邻插值法的算法对手写汉字图像进行预处理，具体包括：将原始手写汉字识别图像进行归一化处理，转化为64*64的二值图；使用最近邻插值法把二值图缩小为28*28的灰度图。
进一步的，所述步骤2基于卷积网络对预处理后的手写汉字图像进行有监督预训练，具体包括：
基于卷积神经网络对预处理后的图像进行有监督预训练，具体包括:对于卷积神经网络有监督预训练，共构建6层网络。输入层是28*28大小的原始手写汉字图片。卷积层1由32个5*5大小的卷积核卷积输入层，得到32张特征图。池化层1是对卷积层1进行下采样处理，得到32张14*14大小的特征图。卷积层2由64个5*5大小的卷积核卷积池化层1，得到64张特征图。池化层2是对卷积层2进行下采样处理，得到64张7*7大小的特征图。特征向量由卷积层2特征图进行特征融合得到。
初始化网络参数，进行前向传播训练。基于均方误差，进行反向传播调整网络参数。当误差满足精度要求，保存权值和偏置，网络训练完成，反之继续迭代调整权值和偏置，直至达到误差精度要求。
进一步的，所述步骤3提取有监督预训练的隐含特征作为堆叠降噪自动编码以及多层人工神经网络的特征输入，具体为：提取卷积网络特征向量，其大小为m*1*1024，其中m为输入数据量大小，并作为无监督堆叠降噪自动编码网络和多层人工神经分类网络特征输入。
进一步的，所述步骤4的采用堆叠降噪自动编码机进行无监督学习，并提取训练完成以后的网络权值参数作为多层人工神网络预训练参数，具体为：堆叠两个降噪编码机，从而构造堆叠降噪自动编码机。噪音干扰层的输出作为第一个降噪编码机的输入，隐含层1作为编码层。隐含层1的输出作为第二个降噪编码机的输入，隐含层2作为编码层，输出层作为解码层。
初始化堆叠降噪自动编码机的网络参数{w,b}，其中w,b为编码层权值项以偏置项。构造4层无监督训练网络，并确定网络节点数。设置随机高斯噪声系数ε，对输入进行加噪处理。多次进行网络迭代，直至损失函数取得最优网络参数值。网络参数{w,b}按小批量梯度下降法，流程如下：
求出
Figure BDA0002079095620000031
Figure BDA0002079095620000032
其中，x为输入项，z为重构项。
设置网络学习率a＝1，网络参数{w,b}按公式更新如下：
Figure BDA0002079095620000033
Figure BDA0002079095620000041
待堆叠降噪自动编码训练完成，提取网络权值参数{w,b}作为多层人工神经分类网络预训练参数。
进一步的，所述堆叠两个降噪编码机，从而构造堆叠降噪自动编码机，噪音干扰层的输出作为第一个降噪编码机的输入，隐含层1作为编码层；隐含层1的输出作为第二个降噪编码机的输入，隐含层2作为编码层，输出层作为解码层；具体包括：原始数据输入为x，则经过由随机高斯噪声构造的噪音干扰层的含噪输出为y，数学表达式为：
y＝x+ε,ε～(0,σ2I) (3)
其中，ε表示高斯噪音。
利用编码函数f对y进行函数映射，得到编码层的输出特征表达h，编码操作为：
h＝f(y)＝fs(wy+b) (4)
式中，fs表示激活函数，取用Sigmoid函数，w为连接权值，b为偏置项。
将特征表达h作为解码层的输入，解码函数g将h映射到输出层，得到重构输出Y，解码操作为：
Figure BDA0002079095620000042
式中，fs表示激活函数，取用Sigmoid函数，
Figure BDA0002079095620000043
为前向映射转置，
Figure BDA0002079095620000044
为偏置项，
损失函数定义为重构误差，重构误差为：
Figure BDA0002079095620000045
其中，L(x,z)表示输入x与重构输出z的平方误差。
进一步的，所述步骤5基于小批量梯度降法对多层人工神经网络进行网络训练，实现半监督网络对图像特征融合。具体为：采用小批量梯度降法对多层人工神经网络进行网络训练，具体包括：卷积神经网络隐含层的特征向量，其大小为m*1*1024作为多层人工神经网络数据输入。堆叠降噪自动编码权值参数{w,b}，作为多层人工神经网络预训练参数。采用小批量梯度降法对多层人工神经网络进行网络训练。训练过程具体为：进行前向传播训练，其真实输出为Y，目标输出为T，均方误差为：
E＝Tr((Y-T)(Y-T)T) (7)
其中，Tr为求矩阵的迹，E为均方误差。输出的权值矩阵梯度可表示为：
Figure BDA0002079095620000051
其中，U为均方误差。
为使均方误差最小，进行反向传播调整网络参数。当误差满足精度要求，保存权值和偏置，网络训练完成，反之继续迭代调整权值和偏置，直至达到误差精度要求。
本发明的优点及有益效果如下：
本发明卷积神经网络与堆叠降噪自动编码机相结合，进而提出一种半监督特征学习方法。先卷积神经网络强大的特征提取能力，对手写汉字数据进行卷积、池化预训练，其提取包含空间特征的组合特征，有效的解决的了堆叠降噪自动编码机输入为一维向量维度，存在图像空间信息丢失问题。再基于重构样本与真实样本误差训练的堆叠降噪自动编码机，其采用逐层贪婪的无监督方法，能够实现对卷积网络的组合特征的进一步提取，可以一定程度上解决因样本量过小导致卷积神经网络提取不充分的问题。最后基于人工神经网络进行半监督网络训练，特征输入为卷积神经网的组合特征，预训练参数为堆叠降噪自动机的训练参数，实现对低层特征进行微调，缓解模型过拟合程度，提高分类准确率。
本发明提出的半监督算法能够在样本量较低的情况下，得到较高的识别率，有效的解决了因获取有标签大样本成本过于昂贵，造成样本数据过低，卷积神经网络训练容易陷入过拟合问题，在实际应用手写汉字识别***之中，能减少制作手写汉字样本数据库的成本。同时，该发明能解决有效解决堆叠降噪自动编码由于输入维度，导致图像空间信息丢失问题。
本发明的其他优点、目标和特征在将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究以及对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
图1为基于卷积-堆叠降噪编码网络的半监督学习与图像识别流程图。
图2为卷积-堆叠降噪编码网络的网络结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅是本发明的一部分实施例。
本发明解决上述技术问题的技术方案是：
如图1所示，本实施例提供的基于卷积-堆叠降噪编码网络的半监督学习与图像识别，包括以下步骤：
步骤1：对原始数据进行预处理。手写汉字扫描分辨率为300DPI，采用归一化转化为64*64的二值图。进一步的为所缩短训练时间，并减少网络层数，使用最近邻插值法把二值图缩小为28*28的灰度图。
步骤2：使用卷积神经网络对样本进行有监督训练，隐式地从训练数据中进行学习，可以去除冗余信息，得到包含空间特征的特征向量。对于卷积神经网络有监督预训练，共构建6层网络，如图2所示。输入层是28*28大小的原始手写汉字图片。卷积层1由32个5*5大小的卷积核卷积输入层，得到32张特征图。池化层1对卷积层1进行下采样处理，得到32张14*14大小的特征图。卷积层2由64个5*5大小的卷积核卷积池化层1，得到64张特征图。池化层2对卷积层2进行下采样处理，得到64张7*7大小的特征图。特征向量由卷积层2特征图进行特征融合得到。
卷积层用于特征提取，由M个卷积核与输入数据进行卷积操作并加上偏置，通过激活函数映射得到N张特征图。卷积层的数学表达式为：
Figure BDA0002079095620000071
式中，f是非线性函数，本文取用Swish，
Figure BDA0002079095620000072
是l层中特征映射i的索引向量，w为卷积核项，b为偏置项。
池化层用于特征降维，池化层的降采样操作公式为：
Figure BDA0002079095620000073
式中，down()为采样函数，Nl为第l层子采样层所需要的窗口边界大小，
Figure BDA0002079095620000074
为第l层第j个特征输出。
初始化网络参数权值{w,b}，按照(1)、(2)进行前向传播训练。基于均方误差，进行反向传播调整网络参数{w,b}。当误差满足精度要求，保存权值和偏置，网络训练完成，反之继续迭代调整权值和偏置，直至达到误差精度要求。
步骤3：提取卷积网络特征向量，其大小为m*1*1024，其中m为输入数据量大小，并作为无监督堆叠降噪自动编码网络和多层人工神经分类网络输入。
步骤4：基于堆叠降噪自动编码机进行无监督学习，并将训练完成以后的网络权值参数作为多层人工神分类网络预训练参数，具体为：堆叠两个降噪编码机，从而构造堆叠降噪自动编码机，如图2所示。噪音干扰层的输出作为第一个降噪编码机的输入，隐含层1作为编码层。隐含层1的输出作为第二个降噪编码机的输入，隐含层2作为编码层，输出层作为解码层。
原始数据输入为x，则经过由随机高斯噪声ε构造的噪音干扰层的含噪输出为y，数学表达式为：
y＝x+ε,ε～(0,σ2I) (3)
利用编码函数f对y进行函数映射，得到编码层的输出特征表达h，编码操作为：
h＝f(y)＝fs(wy+b) (4)
式中，非线性函数fs取用Sigmoid函数，w为连接权值，b为偏置项。
将特征表达h作为解码层的输入，解码函数g将h映射到输出层，得到重构输出Y，解码操作为：
Figure BDA0002079095620000081
式中，非线性函数fs取用Sigmoid函数，
Figure BDA0002079095620000082
为前向映射转置，
Figure BDA0002079095620000083
为偏置项。
损失函数定义为重构误差。重构误差为：
Figure BDA0002079095620000084
初始化堆叠降噪自动编码机的网络参数{w,b}，并确定网络节点数m＝1024,n＝784，m为输入层节点数，n为中间层节点数。
设置随机高斯噪声系数ε，按照公式(3)对输入进行加噪处理。按照公式(4)、(5)和(6)进行网络迭代。进行多次网络迭代，直至公式(6)取得最优网络参数值。网络参数{w,b}按小批量梯度下降法更新，流程如下：
求出
Figure BDA0002079095620000085
Figure BDA0002079095620000086
其中，x为输入项，z为重构项。
设置网络学习率a＝1，网络参数{w,b}按公式更新如下：
Figure BDA0002079095620000087
Figure BDA0002079095620000088
待堆叠降噪自动编码训练完成，提取网络权值参数{w,b}作为多层人工神经分类网络预训练参数。
步骤5：基于小批量梯度降法对多层人工神经网络进行网络微调，具体包括：卷积神经网络的隐含层的特征向量，其大小为m*1*1024作为多层人工神经网络数据输入。堆叠降噪自动编码权值参数{w,b}，作为多层人工神经网络预训练参数，采用小批量梯度降法对多层人工神经网络进行网络训练。
步骤6：模型训练完成之后，将测试数据放入模型，利用已学习参数进行学习特征测试。
以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。

Claims (2)

1.一种基于卷积-堆叠降噪编码网络的半监督学习与图像识别方法，其特征在于，包括以下步骤：
步骤1：采用包括归一化、最近邻插值法的算法对手写汉字图像进行预处理；
步骤2：基于卷积网络对预处理后的手写汉字数据进行有监督预训练；
步骤3：提取有监督预训练的隐含特征分别作为堆叠降噪自动编码机以及多层人工神经网络的特征输入；
步骤4：基于堆叠降噪自动编码机进行无监督学习，并提取训练完成以后的网络权值参数作为多层人工神经 网络预训练参数；
步骤5：基于小批量梯度降法对多层人工神经网络进行网络训练，实现半监督网络对图像特征融合；
步骤6：对多层人工神经网络进行性能测试并实现分类；
所述步骤2：基于卷积神经网络对预处理后的图像进行有监督预训练，具体包括:对于卷积神经网络有监督预训练，共构建6层网络；输入层是28*28大小的原始手写汉字图片；卷积层1由32个5*5大小的卷积核卷积输入层，得到32张特征图；池化层1是对卷积层1进行下采样处理，得到32张14*14大小的特征图；卷积层2由64个5*5大小的卷积核卷积池化层1，得到64张特征图；池化层2是对卷积层2进行下采样处理，得到64张7*7大小的特征图；特征向量由卷积层2特征图进行特征融合得到；
初始化网络参数，进行前向传播训练；基于均方误差，进行反向传播调整网络参数；当误差满足精度要求，保存权值和偏置，网络训练完成，反之继续迭代调整权值和偏置，直至达到误差精度要求；
所述步骤3提取有监督预训练的隐含特征作为堆叠降噪自动编码以及多层人工神经网络的特征输入，具体为：提取卷积网络特征向量，其大小为m*1*1024，其中m为输入数据量大小，并作为无监督堆叠降噪自动编码网络和多层人工神经分类网络输入；
所述步骤4采用堆叠降噪自动编码机进行无监督学习，并提取训练完成的网络权值参数作为多层人工神经 网络预训练参数，具体为：堆叠两个降噪编码机，从而构造堆叠降噪自动编码机，噪音干扰层的输出作为第一个降噪编码机的输入，隐含层1作为编码层；隐含层1的输出作为第二个降噪编码机的输入，隐含层2作为编码层，输出层作为解码层；
初始化堆叠降噪自动编码机网络参数{w,b}，其中w，b分别为权值项及偏置项；构造4层无监督训练网络，并确定网络节点数；设置随机高斯噪声系数ε，对输入进行加噪处理；进行多次网络迭代，直至损失函数取得最优；网络参数{w,b}基于小批量梯度下降法更新，流程如下：
求出
Figure FDA0003531827950000021
Figure FDA0003531827950000022
其中，x为输入项，z为重构项；
设置网络学习率a＝1，网络参数{w,b}更新如下：
Figure FDA0003531827950000023
Figure FDA0003531827950000024
待堆叠降噪自动编码网络训练完成，提取网络权值参数{w,b}作为多层人工神经分类网络预训练参数；
所述堆叠两个降噪编码机，从而构造堆叠降噪自动编码机，噪音干扰层的输出作为第一个降噪编码机的输入，隐含层1作为编码层；隐含层1的输出作为第二个降噪编码机的输入，隐含层2作为编码层，输出层作为解码层；具体包括：原始数据输入为x，则经过由随机高斯噪声构造的噪音干扰层的含噪输出为y，数学表达式为：
y＝x+ε,ε～(0,σ2I) (3)
其中，ε表示高斯噪音；
利用编码函数f对y进行函数映射，得到编码层的输出特征表达h，编码操作为：
h＝f(y)＝fs(wy+b) (4)
式中，fs为激活函数fs，取用Sigmoid函数，w为连接权值，b为偏置项；
将特征表达h作为解码层的输入，解码函数g将h映射到输出层，得到重构输出Y，解码操作为：
Figure FDA0003531827950000031
式中，fs为激活函数，取用Sigmoid函数，
Figure FDA0003531827950000032
为前向映射转置，
Figure FDA0003531827950000033
为偏置项，
损失函数定义为重构误差，重构误差为：
Figure FDA0003531827950000034
其中，L(x,z)表示输入x与重构输出z的平方误差；
所述步骤5基于小批量梯度降法对多层人工神经网络进行网络训练，实现半监督网络对图像特征融合；具体包括：卷积神经网络隐含层的特征向量，其大小为m*1*1024作为多层人工神经网络数据输入，堆叠降噪自动编码网络权值参数{w,b}，作为多层人工神经网络预训练参数，采用小批量梯度降法对多层人工神经网络进行网络训练，网络进行前向传播训练，其真实输出为Y，目标输出为T，均方误差为：
E＝Tr((Y-T)(Y-T)T) (7)
其中，Tr为求矩阵的迹，E为均方误差；输出的权值矩阵梯度可表示为：
Figure FDA0003531827950000035
其中，U为均方误差；
为使均方误差最小，进行反向传播调整网络参数；当误差满足精度要求，保存权值和偏置，网络训练完成，反之继续迭代调整权值和偏置，直至达到误差精度要求。
2.根据权利要求1所述的基于卷积-堆叠降噪编码网络的半监督学习与图像识别方法，其特征在于，所述步骤1：采用包括归一化、最近邻插值法的算法对手写汉字图像进行预处理，具体包括：将原始手写汉字识别图像进行归一化处理，转化为64*64的二值图；使用最近邻插值法把二值图缩小为28*28的灰度图。
CN201910464739.0A 2019-05-30 2019-05-30 基于卷积-堆叠降噪编码网络的半监督学习图像识别方法 Active CN110232341B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910464739.0A CN110232341B (zh) 2019-05-30 2019-05-30 基于卷积-堆叠降噪编码网络的半监督学习图像识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910464739.0A CN110232341B (zh) 2019-05-30 2019-05-30 基于卷积-堆叠降噪编码网络的半监督学习图像识别方法

Publications (2)

Publication Number Publication Date
CN110232341A CN110232341A (zh) 2019-09-13
CN110232341B true CN110232341B (zh) 2022-05-03

Family

ID=67858213

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910464739.0A Active CN110232341B (zh) 2019-05-30 2019-05-30 基于卷积-堆叠降噪编码网络的半监督学习图像识别方法

Country Status (1)

Country Link
CN (1) CN110232341B (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110929798A (zh) * 2019-11-29 2020-03-27 重庆邮电大学 基于结构优化稀疏卷积神经网络的图像分类方法及介质
CN111012336B (zh) * 2019-12-06 2022-08-23 重庆邮电大学 时空特征融合的并行卷积网络运动想象脑电图分类方法
CN111968058B (zh) * 2020-08-25 2023-08-04 北京交通大学 一种低剂量ct图像降噪方法
CN112233035A (zh) * 2020-10-21 2021-01-15 中国人民公安大学 一种基于样本错配训练的图像prnu噪声提纯方法及***
CN112634995B (zh) * 2020-12-21 2024-05-31 绍兴数鸿科技有限公司 一种基于人工智能的苯酚裂解参数自动优化方法和装置
CN112732082A (zh) * 2021-01-04 2021-04-30 河北工业大学 基于附加汉字默读运动想象方式的脑-机接口方法
CN112801159B (zh) * 2021-01-21 2022-07-19 中国人民解放军国防科技大学 融合图像及其文本描述的零-小样本机器学习方法及***
CN113361559B (zh) * 2021-03-12 2023-10-17 华南理工大学 基于深宽度联合神经网络的多模态数据知识信息提取方法
CN113536683B (zh) * 2021-07-21 2024-01-12 北京航空航天大学 一种基于深度神经网络的人工特征与卷积特征融合的特征提取方法
CN113706379B (zh) * 2021-07-29 2023-05-26 山东财经大学 一种基于医学图像处理的层间插值方法及***
CN113660236B (zh) * 2021-08-10 2023-05-09 和安科技创新有限公司 一种基于优化堆叠降噪卷积自编码网络的异常流量检测方法、存储器和处理器
CN114139577A (zh) * 2021-11-15 2022-03-04 国网天津市电力公司 基于一维卷积自编码网络的故障电弧识别方法及装置
CN115849519B (zh) * 2022-12-30 2024-03-22 浙江致远环境科技股份有限公司 一种有机模块化电催化氧化处理装置
CN117583281B (zh) * 2023-11-29 2024-04-19 广州赛志***科技有限公司 板件机器人分拣码垛优化方法、控制***及分拣生产线

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105320961A (zh) * 2015-10-16 2016-02-10 重庆邮电大学 基于卷积神经网络和支持向量机的手写数字识别方法
CN105787557A (zh) * 2016-02-23 2016-07-20 北京工业大学 一种计算机智能识别的深层神经网络结构设计方法
CN107229914A (zh) * 2017-05-26 2017-10-03 北京工业大学 一种基于深度q学习策略的手写数字识别方法
CN107844755A (zh) * 2017-10-23 2018-03-27 重庆邮电大学 一种结合dae和cnn的脑电信号特征提取与分类方法
CN108537271A (zh) * 2018-04-04 2018-09-14 重庆大学 一种基于卷积去噪自编码机防御对抗样本攻击的方法
CN108875696A (zh) * 2018-07-05 2018-11-23 五邑大学 基于深度可分离卷积神经网络的脱机手写汉字识别方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110178104A (zh) * 2016-11-07 2019-08-27 新自动公司 用于确定驾驶员分心的***和方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105320961A (zh) * 2015-10-16 2016-02-10 重庆邮电大学 基于卷积神经网络和支持向量机的手写数字识别方法
CN105787557A (zh) * 2016-02-23 2016-07-20 北京工业大学 一种计算机智能识别的深层神经网络结构设计方法
CN107229914A (zh) * 2017-05-26 2017-10-03 北京工业大学 一种基于深度q学习策略的手写数字识别方法
CN107844755A (zh) * 2017-10-23 2018-03-27 重庆邮电大学 一种结合dae和cnn的脑电信号特征提取与分类方法
CN108537271A (zh) * 2018-04-04 2018-09-14 重庆大学 一种基于卷积去噪自编码机防御对抗样本攻击的方法
CN108875696A (zh) * 2018-07-05 2018-11-23 五邑大学 基于深度可分离卷积神经网络的脱机手写汉字识别方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
A noisy sparse convolution neural network based on stacked auto-encoders;Yulin Ding等;《2017 IEEE International Conference on Systems, Man, and Cybernetics (SMC)》;20171201;第3457-3461页 *
Stacked Convolutional Denoising Auto-Encoders for Feature Representation;Bo Du等;《IEEE Transactions on Cybernetics》;20160316;第47卷(第4期);第1017-1027页 *
基于非监督预训练的结构优化卷积神经网络;刘庆等;《工程科学与技术》;20170630;第49卷(第S2期);第210-215页 *

Also Published As

Publication number Publication date
CN110232341A (zh) 2019-09-13

Similar Documents

Publication Publication Date Title
CN110232341B (zh) 基于卷积-堆叠降噪编码网络的半监督学习图像识别方法
US11645835B2 (en) Hypercomplex deep learning methods, architectures, and apparatus for multimodal small, medium, and large-scale data representation, analysis, and applications
CN107316013B (zh) 基于nsct变换和dcnn的高光谱图像分类方法
CN109063724B (zh) 一种增强型生成式对抗网络以及目标样本识别方法
CN109711426B (zh) 一种基于gan和迁移学习的病理图片分类装置及方法
CN108121975B (zh) 一种联合原始数据和生成数据的人脸识别方法
CN112765352A (zh) 基于具有自注意力机制的图卷积神经网络文本分类方法
CN112764024B (zh) 基于卷积神经网络和Bert的雷达目标识别方法
CN107169117B (zh) 一种基于自动编码器和dtw的手绘图人体运动检索方法
CN110321777B (zh) 一种基于栈式卷积稀疏去噪自编码器的人脸识别方法
CN111695456A (zh) 一种基于主动判别性跨域对齐的低分辨人脸识别方法
Singh et al. ResDNN: deep residual learning for natural image denoising
CN112163114B (zh) 一种基于特征融合的图像检索方法
CN111126169B (zh) 基于正交化的图正则非负矩阵分解的人脸识别方法及***
CN116363535A (zh) 基于卷积神经网络的无人机航拍影像中的船舶检测方法
CN109165576B (zh) 一种运动状态识别方法及装置
CN113920210B (zh) 基于自适应图学习主成分分析方法的图像低秩重构方法
Dan et al. PF‐ViT: Parallel and Fast Vision Transformer for Offline Handwritten Chinese Character Recognition
CN116630816B (zh) 基于原型对比学习的sar目标识别方法、装置、设备及介质
CN117593666A (zh) 一种极光图像的地磁台站数据预测方法及***
CN112818978B (zh) 基于多分辨自动编码器的光学符号识别方法
CN108898157B (zh) 基于卷积神经网络的数值型数据的雷达图表示的分类方法
CN117196963A (zh) 一种基于降噪自编码器的点云去噪方法
CN115995040A (zh) 一种基于多尺度网络的sar图像小样本目标识别方法
CN113553917B (zh) 一种基于脉冲迁移学习的办公设备识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20240617

Address after: Building S06, Langchao Science Park, 1036 Langchao Road, high tech Zone, Jinan City, Shandong Province

Patentee after: INSPUR COMMUNICATION AND INFORMATION SYSTEM Co.,Ltd.

Country or region after: China

Address before: 400065 Chongwen Road, Nanshan Street, Nanan District, Chongqing

Patentee before: CHONGQING University OF POSTS AND TELECOMMUNICATIONS

Country or region before: China