CN104834941A - 基于计算机输入下的稀疏自编码的脱机手写体识别方法 - Google Patents

基于计算机输入下的稀疏自编码的脱机手写体识别方法 Download PDF

Info

Publication number
CN104834941A
CN104834941A CN201510255508.0A CN201510255508A CN104834941A CN 104834941 A CN104834941 A CN 104834941A CN 201510255508 A CN201510255508 A CN 201510255508A CN 104834941 A CN104834941 A CN 104834941A
Authority
CN
China
Prior art keywords
neural network
feature
image
training
sparse
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510255508.0A
Other languages
English (en)
Inventor
张可
柴毅
袁媛
邱焕敏
王一鸣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University
Original Assignee
Chongqing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University filed Critical Chongqing University
Priority to CN201510255508.0A priority Critical patent/CN104834941A/zh
Publication of CN104834941A publication Critical patent/CN104834941A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Character Discrimination (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于模式识别领域，公开了一种基于计算机输入下的稀疏自编码的手写体识别方法，该方法包括：选取手写体图像库，并分为训练集和测试集两个子数据集；采用稀疏自编码来构建深度神经网络，并获得特征；使用ZCA白化数据进行预处理和可视化得到更好的特征，到此训练好稀疏自编码深度神经网络；将每张图像分成小块，取其中一个小块学习到特征，依次与剩下的小块进行卷积运算并提取训练集图像的各个特征；采用PSO算法快速得到多分类支持向量机参数；将测试集数据输入到多分类支持向量机中，得到分类结果，并得到该测试集识别的正确率。本发明的手写体识别方法，对数据的泛化能力比较好，并且手写体识别率较高。

Description

基于计算机输入下的稀疏自编码的脱机手写体识别方法
本发明涉及模式识别、光学字符识别技术、深度学习领域，特别是涉及一种计算机输入下的稀疏自编码的脱机手写体识别方法。
背景技术
手写体字符识别是光学字符识别技术(OpticalCharacterRecognition，简称OCR)的一个分支，它研究的对象是：如何使计算机自动辨认人手写在纸张上的字符。在整个OCR领域中，最为困难的就是脱机手写字符的识别。
数字识别就是通过计算机用数学技术方法来研究模式的自动处理和识别。随着计算机技术的发展，人类对模式识别技术提出了更高的要求。特别是对于大量己有的印刷资料和手稿，计算机自动识别输入己成为必须研究的课题，字符识别是智能计算机接口的一个重要组成部分，所以在文献检索、办公自动化、邮政***、银行票据处理等方面有着广阔的应用前景。
本申请提出一种基于计算机输入下的稀疏自编码的脱机手写体识别方法，能够提高数据集的泛化能力以及手写体识别率。
发明内容
有鉴于此，本申请提供一种基于计算机输入下的稀疏自编码的脱机手写体识别方法，识别算法一方面训练过程均是采用无监督的特征学习，对数据集的泛化能力较好；另一方面，没采用传统视觉特征，对图像识别的干扰小，识别率较高。
为达到上述目的，本发明提供如下技术方案：
一种基于计算机输入下的稀疏自编码的脱机手写体识别方法，其特征在于包括以下步骤：步骤一：选取手写体库，并将图像训练集和测试集两个子数据集；步骤二：采用稀疏自编码来构建深度神经网络，并获得学习到的特征；步骤三：使用ZCA白化对训练集样本数据进行预处理和可视化，得到含有丰富边缘的特征，到此得到训练好的深度神经网络；步骤四，将每张图像分成小块，取其中一个小块学习到特征，依次与剩下的小块进行卷积运算并提取训练集图像的各个特征；步骤五，采用PSO算法快速得到多分类支持向量机参数；步骤六，将测试集数据输入到多分类支持向量机中，得到分类结果，即得到该测试集手写体的识别率。
进一步，在步骤二中具体包括以下步骤：21：假设神经元激活函数为f(z)，用表示神经网络中第l层中第i个神经元的输出值激活函数一般采用sigmoid函数；22：在自编码神经网络中，仍然采用BP算法并让训练集输入样本与输出结果目标相等，即yi＝xi，则训练集样本集表示为{x1，x2，...，xi，...，xm}，1≤i≤m(m为训练集样本数量)；23：用表示第i组样本输入xi情况下隐藏层第j个神经元的输出值，则隐藏层(l＝2)中第j个神经元的平均激活值为：然后为该神经网络加入上述的稀疏性限制，也即让p′j＝p，p为稀疏性参数，通常是一个很小的真分数，也就是说要使第j个隐藏神经元的平均激活值接近于p；24：为了实现稀疏性限制，特定义代价目标函数为： 最后一部分是惩罚项，该项是惩罚那些p′j和p显著不同的情况以实现对该神经网络的稀疏性限制，KL(p′j||p)是p′j与p间的相对熵，相对熵是一种常用的测量两个分布间差异的方法；25：确定w和b的迭代规则，待迭代算法收敛或达到最大迭代次数，隐藏单元就获得学习好的特征，即训练好了稀疏自编码深度神经网络的权值向量w和偏置向量b。
进一步，在步骤三中具体包括以下步骤：31：ZCA白化在本文中主要是两个应用：对训练集样本数据进行预处理和可视化学习到的特征。通过调节ZCA白化数学公式中白化参数ζ，从而改变数据的预处理，直到得到较好的特征为止，较好的特征图像中含有丰富的边缘信息等。
进一步，在步骤四中具体包括以下步骤：41：先从大图像(Dimage*Dimage)中用一个大小为Dpatch*Dpatch的小块学习特征，这可以用稀疏自编码神经网络训练完成；42：然后对训练图像用前面学习到的特征参数依次进行卷积运算提取训练图像的各个特征，卷积运算步长为1。
进一步，在步骤五中具体包括以下步骤：51：采用PSO算法可以精确并快速的得出多分类SVM参数c和γ的最优解。
进一步，在步骤六中具体包括以下步骤：61：将步骤S1中的测试集，输入训练好的多分类SVM中得到分类标签；62：若多分类SVM输出标签与测试样本一致，表明识别结果正确，反之，则识别结果错误；63：统计整个测试集中识别正确样本数量除以样本总数，得到针对该测试集手写体识别的正确率。
附图说明
图1是本发明一种基于计算机输入下的稀疏自编码的脱机手写体识别方法在银行票据签名识别中应用的流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。
S1：选取银行票据的手写签名图像库，并将图像库分为训练集和测试集两个子数据集；
S2：采用稀疏自编码构建深度神经网络，训练网络的权值向量和偏置向量，即获得隐藏单元的学习特征；
S21：在本发明一实施例中，稀疏自编码深度神经网络输入层和输出层神经元数量为InputSize192，隐藏层神经元数量为HiddenSize400；
S3：使用ZCA白化对无标记样本数据进行预处理和可视化学习较好的特征；
S31:在本发明一实施例中，对数据的预处理中，首先，对样本数据的特征维(实施例中指输入层神经元个数)进行零均值化，用样本数据每一维减去该维平均值得到xj，并归一化样本数据到[0,1]范围内，得到ZCA白化数学公式。最后可视化学习到的特征，看是否学习到好的特征，若不是则需调节ζ，从而改变数据的预处理，直到得到含有丰富的边缘信息的较好特征
S4:用稀疏自编码神经网络训练从大图像(Dimage*Dimage)中取一个大小为Dpatch*Dpatch的小块学习特征，然后对训练图像用前面学习到的特征参数依次对剩下的小块进行卷积运算提取训练图像的各个特征，卷积运算步长为1；
S41:本发明一实施例中，用于提取特征的图像小块的大小Dpatch＝8，从训练集样本每张图片中随机提取1000个小块，100张图片共提取10万个小块；
S42:测试集图片均统一图片大小到Dimage＝64；
S5:采用PSO算法精确并快速的得出多分类SVM参数c和γ的最优解，完成多分类SVM的训练；
S6:将步骤S1中的测试集，输入训练好的多分类SVM中得到分类标签，若多分类SVM输出标签与测试样本一致，表明识别结果正确，统计整个测试集中识别正确样本数量除以样本总数，得到针对该测试集手写体识别的正确率。
上述详细地描述了本发明提供的基于计算机输入下的稀疏自编码的脱机手写识别体的应用，本发明采用无监督学习方法，对数据泛化能力较好，同时也证明了该方法准确率高的优越性。
以上实施例仅用以说明本发明,而并非限制本发明所描述的技术方案。因此,一切不脱离本发明的精神和范围的技术方案及其改进,均应涵盖在本发明的权利要求范围内。

Claims (6)

1.基于计算机输入下的稀疏自编码的脱机手写体识别方法，其特征在于，该方法包括以下步骤：
步骤一：选取手写体图像库，并将图像训练集和测试集两个子数据集；
步骤二：采用稀疏自编码来构建深度神经网络，并获得学习到的特征；
步骤三：使用ZCA白化对训练集样本数据进行预处理和可视化，得到含有丰富边缘的特征，得到训练好的深度神经网络；
步骤四，将每张大图像分割成小块学习特征，并用前面学习到的特征参数对剩下的小块依次进行卷积运算并提取训练集图像的各个特征；
步骤五，采用PSO算法快速得到多分类支持向量机参数；
步骤六，将测试集数据输入到多分类支持向量机中，得到识别结果，并得到该测试集手写体识别的正确率。
2.如权利要求书1所述的手写体识别方法，其特征在于：在步骤二中具体包括：21：假设神经元激活函数为f(z)，用表示神经网络中第l层中第i个神经元的输出值激活函数一般采用sigmoid函数；22：在自编码神经网络中，仍然采用BP算法并让训练集输入样本与输出结果目标相等，即yi＝xi，则训练集样本集表示为{x1，x2，...，xi，...，xm}，1≤i≤m(m为训练集样本数量)；23：用表示第i组样本输入xi情况下隐藏层第j个神经元的输出值，则隐藏层(l＝2)中第j个神经元的平均激活值为：然后为该神经网络加入上述的稀疏性限制，也即让p′j＝p，p为稀疏性参数，通常是一个很小的真分数，也就是说要使第j个隐藏神经元的平均激活值接近于p；24：为了实现稀疏性限制，特定义代价目标函数为： 最后一部分是惩罚项，该项是惩罚那些p′j和p显著不同的情况以实现对该神经网络的稀疏性限制，KL(p′j||p)是p′j与p间的相对熵，相对熵是一种常用的测量两个分布间差异的方法；25：确定w和b的迭代规则，待迭代算法收敛或达到最大迭代次数，隐藏单元就获得学习好的特征，即训练好了稀疏自编码深度神经网络的权值向量w和偏置向量b。
3.如权利要求书1所述的手写体识别方法，其特征在于，在步骤三中具体包括：31：ZCA白化在本文中主要是两个应用：对训练集样本数据进行预处理和可视化学习到的特征。通过调节ZCA白化数学公式中白化参数ζ，从而改变数据的预处理，直到得到较好的特征为止，较好的特征图像中含有丰富的边缘信息等。
4.如权利要求书1所述的手写体识别方法，其特征在于，在步骤四中具体包括：41：先从大图像(Dimage*Dimage)中取一个大小为Dpatch*Dpatch的小块学习特征，这可以用稀疏自编码神经网络训练完成；42：然后用前面学习到的特征参数依次对剩下的小块训练图像进行卷积运算提取训练图像的各个特征，卷积运算步长为1。
5.如权利要求书1所述的手写体识别方法，其特征在于，在述步骤五中包括：51：采用PSO算法可以精确并快速的得出多分类SVM参数c和γ的最优解。
6.如权利要求书1所述的手写体识别方法，其特征在于，在步骤六中包括：61：将步骤S1中的测试集，输入训练好的多分类SVM中得到分类标签；62：若多分类SVM输出标签与测试样本一致，表明识别结果正确，反之，则识别结果错误；63：统计整个测试集中识别正确样本数量除以样本总数，得到针对该测试集手写体识别的正确率。
CN201510255508.0A 2015-05-19 2015-05-19 基于计算机输入下的稀疏自编码的脱机手写体识别方法 Pending CN104834941A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510255508.0A CN104834941A (zh) 2015-05-19 2015-05-19 基于计算机输入下的稀疏自编码的脱机手写体识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510255508.0A CN104834941A (zh) 2015-05-19 2015-05-19 基于计算机输入下的稀疏自编码的脱机手写体识别方法

Publications (1)

Publication Number Publication Date
CN104834941A true CN104834941A (zh) 2015-08-12

Family

ID=53812818

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510255508.0A Pending CN104834941A (zh) 2015-05-19 2015-05-19 基于计算机输入下的稀疏自编码的脱机手写体识别方法

Country Status (1)

Country Link
CN (1) CN104834941A (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105205449A (zh) * 2015-08-24 2015-12-30 西安电子科技大学 基于深度学习的手语识别方法
CN105320961A (zh) * 2015-10-16 2016-02-10 重庆邮电大学 基于卷积神经网络和支持向量机的手写数字识别方法
CN105701480A (zh) * 2016-02-26 2016-06-22 江苏科海智能***有限公司 一种视频语义分析方法
CN106446954A (zh) * 2016-09-29 2017-02-22 南京维睛视空信息科技有限公司 一种基于深度学习的字符识别方法
CN106650686A (zh) * 2016-12-30 2017-05-10 南开大学 一种基于隐马尔科夫模型的联机手写化学符号识别方法
CN107037878A (zh) * 2016-12-14 2017-08-11 中国科学院沈阳自动化研究所 一种基于手势的人机交互方法
CN107220655A (zh) * 2016-03-22 2017-09-29 华南理工大学 一种基于深度学习的手写、印刷文本的分类方法
CN107862315A (zh) * 2017-11-02 2018-03-30 腾讯科技（深圳）有限公司 字幕提取方法、视频搜索方法、字幕分享方法及装置
CN108197545A (zh) * 2017-12-25 2018-06-22 广东海格怡创科技有限公司 干扰类型的识别方法和***
CN109033921A (zh) * 2017-06-08 2018-12-18 北京君正集成电路股份有限公司 一种识别模型的训练方法和装置
CN109446997A (zh) * 2018-10-31 2019-03-08 国网山东省电力公司淄博供电公司 文档编号自动识别方法
CN110796243A (zh) * 2019-11-27 2020-02-14 重庆大学 一种连续型运行监测数据模拟发生方法及装置
CN112464931A (zh) * 2020-11-06 2021-03-09 马上消费金融股份有限公司 文本检测方法、模型训练方法及相关设备
US11443137B2 (en) 2019-07-31 2022-09-13 Rohde & Schwarz Gmbh & Co. Kg Method and apparatus for detecting signal features

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102629322A (zh) * 2012-03-12 2012-08-08 华中科技大学 一种基于边界点笔画形状的字符特征提取方法及应用
CN103093235A (zh) * 2012-12-30 2013-05-08 北京工业大学 一种基于改进距离核主成分分析的手写体数字识别方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102629322A (zh) * 2012-03-12 2012-08-08 华中科技大学 一种基于边界点笔画形状的字符特征提取方法及应用
CN103093235A (zh) * 2012-12-30 2013-05-08 北京工业大学 一种基于改进距离核主成分分析的手写体数字识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HONGPENG YIN 等: "《Scene classification based on single-layer SAE and SVM》", 《EXPERT SYSTEMS WITH APPLICATIONS 42（2015）》 *
王勇 等: "《基于稀疏自编码深度神经网络的林火图像分类》", 《计算机工程与应用》 *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105205449A (zh) * 2015-08-24 2015-12-30 西安电子科技大学 基于深度学习的手语识别方法
CN105205449B (zh) * 2015-08-24 2019-01-29 西安电子科技大学 基于深度学习的手语识别方法
CN105320961A (zh) * 2015-10-16 2016-02-10 重庆邮电大学 基于卷积神经网络和支持向量机的手写数字识别方法
CN105701480B (zh) * 2016-02-26 2019-02-01 江苏科海智能***有限公司 一种视频语义分析方法
CN105701480A (zh) * 2016-02-26 2016-06-22 江苏科海智能***有限公司 一种视频语义分析方法
CN107220655A (zh) * 2016-03-22 2017-09-29 华南理工大学 一种基于深度学习的手写、印刷文本的分类方法
CN106446954A (zh) * 2016-09-29 2017-02-22 南京维睛视空信息科技有限公司 一种基于深度学习的字符识别方法
CN107037878A (zh) * 2016-12-14 2017-08-11 中国科学院沈阳自动化研究所 一种基于手势的人机交互方法
CN106650686A (zh) * 2016-12-30 2017-05-10 南开大学 一种基于隐马尔科夫模型的联机手写化学符号识别方法
CN109033921A (zh) * 2017-06-08 2018-12-18 北京君正集成电路股份有限公司 一种识别模型的训练方法和装置
CN107862315A (zh) * 2017-11-02 2018-03-30 腾讯科技（深圳）有限公司 字幕提取方法、视频搜索方法、字幕分享方法及装置
CN108197545A (zh) * 2017-12-25 2018-06-22 广东海格怡创科技有限公司 干扰类型的识别方法和***
CN109446997A (zh) * 2018-10-31 2019-03-08 国网山东省电力公司淄博供电公司 文档编号自动识别方法
US11443137B2 (en) 2019-07-31 2022-09-13 Rohde & Schwarz Gmbh & Co. Kg Method and apparatus for detecting signal features
CN110796243A (zh) * 2019-11-27 2020-02-14 重庆大学 一种连续型运行监测数据模拟发生方法及装置
CN112464931A (zh) * 2020-11-06 2021-03-09 马上消费金融股份有限公司 文本检测方法、模型训练方法及相关设备
CN112464931B (zh) * 2020-11-06 2021-07-30 马上消费金融股份有限公司 文本检测方法、模型训练方法及相关设备

Similar Documents

Publication Publication Date Title
CN104834941A (zh) 基于计算机输入下的稀疏自编码的脱机手写体识别方法
CN107609459B (zh) 一种基于深度学习的人脸识别方法及装置
CN106096538B (zh) 基于定序神经网络模型的人脸识别方法及装置
CN106682598B (zh) 一种基于级联回归的多姿态的人脸特征点检测方法
CN104866810B (zh) 一种深度卷积神经网络的人脸识别方法
CN106407958B (zh) 基于双层级联的面部特征检测方法
CN110321967B (zh) 基于卷积神经网络的图像分类改进方法
CN109101938B (zh) 一种基于卷积神经网络的多标签年龄估计方法
CN105138998B (zh) 基于视角自适应子空间学习算法的行人重识别方法及***
CN109002755B (zh) 基于人脸图像的年龄估计模型构建方法及估计方法
Ahranjany et al. A very high accuracy handwritten character recognition system for Farsi/Arabic digits using convolutional neural networks
CN102708380B (zh) 一种基于机器视觉的室内一般物体识别方法
CN108776774A (zh) 一种基于复杂度感知分类算法的面部表情识别方法
CN107169485A (zh) 一种数学公式识别方法和装置
CN109344856B (zh) 一种基于多层判别式特征学习的脱机签名鉴别方法
CN106529397B (zh) 一种非约束环境中的人脸特征点定位方法及***
CN105956570B (zh) 基于唇部特征和深度学习的笑脸识别方法
Jiang A review of the comparative studies on traditional and intelligent face recognition methods
CN104156690B (zh) 一种基于图像空间金字塔特征包的手势识别方法
CN109034281A (zh) 加速基于卷积神经网络的中文手写体识别的方法
CN107818299A (zh) 基于融合hog特征和深度信念网络的人脸识别算法
CN102831396A (zh) 一种计算机人脸识别方法
CN104050460B (zh) 多特征融合的行人检测方法
Sun et al. Brushstroke based sparse hybrid convolutional neural networks for author classification of Chinese ink-wash paintings
Babu et al. Handwritten digit recognition using structural, statistical features and k-nearest neighbor classifier

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20150812