CN109800746A - 一种基于cnn的手写英文文档识别方法 - Google Patents

Abstract

本发明公开了一种基于CNN的手写英文文档识别方法，包括：获取由手写英文字母及标点符号文本组成的数据集，基于数据集构造训练样本集及测试样本集；构造8层卷积神经网络，包括5个卷积层和3个全连接层，最后一个全连接层的输出被送到一个具有59个输出向量的softmax层当中；采用重叠的Pooling，对输入图像的每个像素进行卷积、下采样、池化操作，得到每层的特征图的大小；输入训练样本集，提取字符特征，进行分类训练；将提取的单个字符图像统一缩放到320*320像素；添加彩色通道，将字符图像类型转化为320*320*3uint8型数据，得到测试样本集；利用训练后的神经网络自动识别英文符号。

Description

一种基于CNN的手写英文文档识别方法

技术领域

本发明涉及计算机视觉领域和模式识别相关领域，尤其涉及一种手写字符识别的算法，可以对手写数字，手写英文字符进行识别，经扩展后可用于其它手写体字符的识别。

背景技术

手写体字符识别一直是一个热门的研究课题，字符识别要解决数据的采集、处理及选择、输入样本表达的选择、模式识别分类器的选择，以及基于样本集对识别器进行有指导的训练等诸多问题。

目前，各国专家与学者提出了许多获取手写字符主要特征的方式，主要分为结构分析与全局整体式分析2种。字符的主要特征集中在点、线、笔画、端点、凹凸处等，而对于这些主要特征的获取则采用了模板匹配、数学转换以及矩阵、特征分析等。在实际应用中，上述方法无法实现对手写字符的高精度识别。

目前研究的主要方向是：在识别技术不断求精的基础上，如何将应用数学形态学、神经网络算法、遗传算法的新技术运用到手写字符识别当中。手写文字识别研究的最大难点在于：字符因手写人员的书写习惯而异，给手写字符识别带来了很大困难。主要体现在：1)相似字符难以区分；2)字符书写形状的多种差异很难用一种识别***完全兼顾；3)书写者手写字符的随意性很大，如笔画的疏密程度、笔画的粗细、字的大小、笔画长短比例、倾斜程度、字体灰度、局部扭曲变形的差异等都会给识别***的正确率带来不同程度的影响。

作为计算机智能接口的重要组成部分，手写英文字母及相关文本的识别具有重要意义，该技术的完善可以大大提高计算机的使用效率，是办公自动化、新闻出版、计算机翻译等领域未来最理想的输入方式。

目前，手写英文字符识别存在的问题主要体现在三个方面：

1)数据集的选取及采集问题；

2)字符分割问题，如何快速准确地将文档中的字符分割出来，是图像分割问题中的主要的方面；

3)将手写英文识别和神经网络结合起来，使识别效果达到最佳。

发明内容

本发明提供了一种基于CNN(卷积神经网络)的手写英文文档识别方法，本发明利用采集的英文手写体数据集，通过将英文文档分割成单个字符，再基于构建的神经网络来实现手写英文文档的自动识别，以达到实用化的要求，详见下文描述：

一种基于CNN的手写英文文档识别方法，所述方法包括以下步骤：

获取由手写英文字母及标点符号文本组成的数据集，基于数据集构造训练样本集及测试样本集；

构造8层卷积神经网络，包括5个卷积层和3个全连接层，最后一个全连接层的输出被送到一个具有59个输出向量的softmax层当中；

采用重叠的Pooling，一个Pooling层是由间隔s个像素的Pooling单元网格组成，每个网格具有一个z*z大小的临近关系，均位于Pooling单元的中心位置，s<z；对输入图像的每个像素进行卷积、下采样、池化操作，得到每层的特征图的大小；

输入训练样本集，提取字符特征，进行分类训练；将提取的单个字符图像统一缩放到320*320像素；添加彩色通道，将字符图像类型转化为320*320*3uint8型数据，得到测试样本集；

利用训练后的神经网络自动识别英文符号。

其中，所述数据集包括：大写字母26个，小写字母26个，常用标点符号6个，以及1个空格键，总共59个字符。

进一步地，所述基于数据集构造训练样本集及测试样本集具体为：

数据集中的每个字符写5遍，将手写英文文档分割成单个字符图像，分类标记图像信息，将每人手写字符平均分为5份；

随机抽取4份作为训练样本集，剩下1份作为测试样本集，进行人工分类标记；

最后，所用数据集大小为训练样本6790个，测试样本1180个。

其中，所述卷积神经网络利用VGG模型，提取特征向量，包括：

第一层卷积层之后经过RELU1(激活函数)层，NORM1(规范层)层和第一层池化层，在第一层池化层中，采用最大池化，对上一卷积层的特征图，利用[2,2]的步长进行池化操作，得到第二层卷积层的输入特征；

第三层RELU3(激活函数)层之后不经过池化层，直接到达第四层卷积层，第四层卷积层输入的特征图大小与第三层卷积层一致，均为3*3*256像素，共256张；经第四层卷积层后进入RELU4层；

进入fc8(全连接)层，特征图大小为1*1*4096，共59张；随后进入最后一层分类器，将输入字符划分为59个不同类别。

本发明提供的技术方案的有益效果是：

第一：考虑到各国人员英文手写习惯不同，本发明并未采用国外已有的数据库，而是注重中国人的使用习惯，采集中国人手写文本建立相关数据集，以保证中国人的使用效果，本发明将卷积神经网络应用到手写体英文文档字符识别中；

第二，本发明构建了特殊的Pooling(池化)层，该结构的好处在于：在产生相同维度的输出时可有效降低top-1(即概率最大的为正确答案)和top-5(即前5个概率最高的中间包含正确答案)。在CNN的结构中，特征提取层可以将每个神经元的输入与前一层的局部接受域相连，同时提取该局部的特征。一旦局部特征被提取之后，它与其他特征之间的位置关系也随之确定，有助于特征向量的提取。该网络结构收敛快速，不会出现震荡、过拟合的现象，网络能快速趋于稳定，有效节约了训练时间。

第三：本发明在手写体英文字符分割中，采用正射纠正、滤波，以及行列分割技术，可以较好地保留字符图像的相关特征，有助于提高识别正确率。

第四：本发明可以高效地实现手写体英文文档识别，以及相关标点符号的自动识别和输出，识别准确率可达到99％以上。算法对光照变化、简单几何形变，以及附加噪声都具有一定的鲁棒性，可用于手写体英文字符识别的相关领域；算法经过扩展后，也可用于其它文字手写体的自动识别。

附图说明

图1是一种基于CNN的手写英文文档识别方法的流程图；

图2为部分手写体训练文档的示意图；

图3为网络的训练图；

图4为手写英文文档1及其识别结果的示意图；

图5为手写英文文档2及其识别结果的示意图。

表1为本发明方法测试数据集I的识别效果。

表2为不同算法对测试数据集II的识别性能对比。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。

实施例1

一种基于CNN的手写英文文档识别方法，参见图1，该方法包括以下步骤：

101：获取由手写英文字母及标点符号文本组成的数据集，基于数据集构造训练样本集及测试样本集；

102：构造8层卷积神经网络，包括5个卷积层和3个全连接层，最后一个全连接层的输出被送到一个具有59个输出向量的softmax层当中；

103：采用重叠的Pooling，一个Pooling层是由间隔s个像素的Pooling单元网格组成，每个网格具有一个z*z大小的临近关系，均位于Pooling单元的中心位置，s<z；对输入图像的每个像素进行卷积、下采样、池化操作，得到每层的特征图的大小；

104：输入训练样本集，提取字符特征，进行分类训练；将提取的单个字符图像统一缩放到320*320像素；添加彩色通道，将字符图像类型转化为320*320*3uint8型数据，得到测试样本集；

105：利用训练后的神经网络自动识别英文符号。

其中，步骤101中的数据集包括：大写字母26个，小写字母26个，常用标点符号6个，以及1个空格键，总共59个字符。

其中，步骤101中的基于数据集构造训练样本集及测试样本集具体为：

数据集中的每个字符写5遍，将手写英文文档分割成单个字符图像，分类标记图像信息，将每人手写字符平均分为5份；

随机抽取4份作为训练样本集，剩下1份作为测试样本集，进行人工分类标记。

综上所述，本发明实施例通过上述步骤101-步骤105可以高效地实现手写体英文文档识别，以及相关标点符号的自动识别和输出，识别准确率可达到99％以上。

实施例2

下面结合具体的实例、计算公式、图1-图5对实施例1中的方案进行进一步地介绍，详见下文描述：

201：获得各英文字母及标点符号的样本集；

首先，对手写英文文档图像进行正射纠正；再利用投影法^[1]对实测英文手写文档进行字符分割：先进行图像的水平投影，得到水平方向的投影直方图，根据投影直方图，将手写英文文档中每一行图像分割开来；再进行图像的垂直投影，对每行切割出来的文本图像进行垂直投影，得到垂直方向上的投影直方图，根据二分法原理分割出单个字符图像^[2]。

其中，收集30人的手写英文字母及相关标点符号文本作为数据集，包括：大写字母26个，小写字母26个，常用标点符号6个，以及1个空格键，总共59个字符，每个字符写5遍，如图2所示，并将手写英文文档分割成单个字符图像，分类标记图像信息，将每人手写字符平均分为5份。

随机抽取其中4份作为训练样本集，剩下1份作为测试样本集I，进行人工分类标记；最终获得训练样本集6790个，测试样本集1180个。将分割完的单个字符图像大小统一为320*320像素，数据类型设置为320*320*3的uint8型。

202：构建卷积神经网络：

其中，该步骤202具体包括：

1)将统一大小的字符图像导入卷积神经网络，使其成为inputs层，大小为[320,320,3,59]。

2)构造8层卷积神经网络，其中包括5个卷积层和3个全连接层，最后一个全连接层的输出被送到一个具有59个输出向量的softmax层当中。

与传统神经网络不同，本发明采用重叠的Pooling，即一个Pooling层可以认为是由间隔s个像素(本发明中s＝2)的Pooling单元网格组成，每个网格具有一个z*z(本发明中z＝5)大小的临近关系，均位于Pooling单元的中心位置。当设置s＝z时，为传统的局部pooling；设置s<z时，可得到有重叠的池化。对输入图像的每个像素进行卷积、下采样、池化等操作，得到每层的特征图maps的大小。

3)将每层的输出作为下层的输入，经过前后共8个层，最后到达全连接层prob层，通过softmax输出层输出结果，并保存训练后的网络。

203：输入训练样本集，提取字符特征，进行分类训练；

本发明实施例采用softmax分类器，对特征向量进行分类；采用构建的卷积神经网络，对训练样本集进行训练，得到训练后的.mat文件。

其中，BP算法的基本流程如下：随机初始化网络权值和神经元的阈值；根据公式(1)进行前向传播：

分层计算隐层神经元和输出神经元的输入和输出；其中E代表输出误差，d代表真实性，w_jk，v_ij分别代表各层的权值和阈值，x_i代表第i层的输入向量，m的取值范围为随卷积层输出向量的改变而改变，n的取值范围为320*320*3*59，l的取值范围为0～1*1*4096*59。

根据公式(2)进行误差反向传播：

其中，θ是反向传播算法的学习速率参数(本发明实施例中θ＝0.05)，n代表输入向量的个数(本发明实施例中n＝320*320*3*59)，m代表隐层输出向量的个数(本发明实施例中m随卷积层输出向量的改变而改变)，l代表输出层输出向量的个数(本发明实施例中l＝1*1*4096*59)，上式中的负号表示空间梯度下降，即使得输出误差E改变方向，使误差反向传播。通过以上公式修正权值和阈值，直到满足终止条件。

204：对实测手写体英文文档进行自动分割；

其中，该步骤204具体包括：

1)对手写体英文文档进行正射纠正和光照均衡化处理；

实际获得的手写体英文文档图像往往无法保证绝对正射拍摄，通常存在一定的几何畸变，这会对后续的图像分割产生很大影响，为此，本发明实施例先对实际拍摄的文档图像进行正射校正^[3]，以纠正其几何形变；此外，实际拍摄的图像往往存在一定的光照变化和附加噪声，为此，本发明实施例采用双线性滤波方法对附加噪声进行去除，同时避免出现模糊现象。

2)对图像进行行分割，得到单行字符图像；

对正射纠正后的文本图像从上到下逐行扫描，计算每个扫描行的像素和，获取图像的水平投影。投影图像中的每个波峰与图像中每个文本行相对应，在相邻的两行之间通常有较宽的一段投影信息近似为0，对应相邻两行之间的空白区域，如图5(b)所示。本发明实施例以空白区域中心作为水平分割线，实现文本图像的行分割。

3)将图像进行列分割，得到单个字符图像；

对分割出的每幅行文本图像分别进行垂直投影，计算行文本图像在垂直方向的像素和。英文手写体文本经常存在连笔的情况，因此，两个字符之间在垂直方向的像素和往往不为0，但会存在一个明显的波谷，如图5(c)所示；本发明实施例以垂直投影曲线的波谷处为垂直分割线，实现文本图像的列分割。

4)对单个字符图像进行处理；

将提取的单个字符图像统一缩放到320*320像素；添加彩色通道，将字符图像类型转化为320*320*3uint8型数据，得到测试样本集II。

205：利用训练后的神经网络自动识别英文符号。

其中，将测试样本集输入到训练好的卷积神经网络中，即通过输入训练好的.mat文件对测试样本集进行测试，实现各个字符的自动识别，输出测试结果。

综上所述，本发明实施例利用采集的英文手写体数据集，通过将英文文档分割成单个字符，再基于构建的神经网络来实现手写英文文档的自动识别，以达到实用化的要求。

实施例3

下面结合图4-图5，以及表1和表2，对实施例1和2中的方案进行进一步地介绍，详见下文描述：

该数据集包括：大小写52个英文字母、常用的6个标点符号(”,.？！:)，以及空格键，基本囊括了手写体英文文档识别中可能出现的所有字符，共59个字符。每人每个字符写5遍，其中任选4个作为训练样本集，剩下1个作为测试样本集I，最后得到6790个训练样本集，1180个测试样本集。

数据集不需要经过复杂的预处理步骤，省去了二值化，噪声去除，倾斜矫正等步骤，图像大小及类型统一为320*320*3unit8型，有助于提高训练样本的稳定性。构建的神经网络利用VGG模型，提取特征向量，对每一个卷积层进行下采样，池化等操作。

第1步：在第一层卷积层中，输入图像卷积后得到一张11*11*3像素的特征图map，随后用64个滤波器与其进行卷积，产生64张特征图maps；

第2步：第一层卷积层之后经过RELU1层，NORM1层和POOL1层，在第一层池化层POOL中，采用最大池化的方法，对上一层卷积层的特征图，利用[2,2]的步长进行池化操作，得到第二层卷积层的输入特征；

第3步：第一层池化层中得到256张大小为5*5*64像素的特征图maps，作为第二层卷积层的输入；

第4步：第二层卷积层之后经过RELU2，NORM2和POOL2层，池化层同样采用最大池化的方法，步长为[2,2]，得到第三层卷积层的输入特征；

第5步：第三层卷积层的输入特征为3*3*256像素，共256张；经第三层卷积层后进入RELU3层；

第6步：第三层RELU3层之后不经过池化层，直接到达第四层卷积层，因此，第四层卷积层输入的特征图maps大小与第三层卷积层一致，均为3*3*256像素，共256张；经第四层卷积层后进入RELU4层；

第7步：不经过池化层直接进入第五层卷积层，特征图maps大小为3*3*256像素，共256张；再经过RELU5层和POOL5层，POOL5层采用最大池化的方法，步长为[2,2]；

第8步：POOL5池化层之后，进入fc6分支层，特征图maps大小为6*6*256像素，共4096张；随后进入RELU6层；

第9步：进入fc7分支层，特征图maps大小为1*1*4096像素，共4096张；随后进入RELU7层；

第10步：进入fc8层，特征图maps大小为1*1*4096，共59张；随后进入最后一层分类器softmax，将输入字符划分为59个不同类别。

对实际手写体文档的测试实验结果表明，除了相似的大小写字母识别不准确之外，其他字母识别完全正确，如图4、5所示。表1为本发明算法最终的识别效果，从表中可以看出，既使算上大小写的识别错误，识别正确率也可达到了98.9831％，达到实用化水平。表2为当前经典算法与本发明方法的识别准确率对比。从表中可以看出，本方法的识别准确率最高。

表1测试数据集I识别效果

表2不同算法对测试数据集II的识别性能对比

本发明实施例基于构建的神经网络，利用建立的手写英文大小写字母和常用标点符号数据集进行训练，对测试样本集II的识别正确率达到了99.569％，达到了实用化的水平。

参考文献

[1]曲宇涛，中文手写体文本分割算法的研究.吉林大学[D],2009.

[2]曹卫，基于二分法的字符垂直投影分割算法[J].软件导刊，2010,9(10):71-72.

[3]李爱农，基于AROP程序包的类Landsat遥感影像配准与正射纠正试验和精度分析[J].遥感技术与应用,2012,27(1):23-32.

本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于CNN的手写英文文档识别方法，其特征在于，所述方法包括以下步骤：

获取由手写英文字母及标点符号文本组成的数据集，基于数据集构造训练样本集及测试样本集；

构造8层卷积神经网络，包括5个卷积层和3个全连接层，最后一个全连接层的输出被送到一个具有59个输出向量的softmax层当中；

采用重叠的Pooling，一个Pooling层是由间隔s个像素的Pooling单元网格组成，每个网格具有一个z*z大小的临近关系，均位于Pooling单元的中心位置，s<z；对输入图像的每个像素进行卷积、下采样、池化操作，得到每层的特征图的大小；

输入训练样本集，提取字符特征，进行分类训练；将提取的单个字符图像统一缩放到320*320像素；添加彩色通道，将字符图像类型转化为320*320*3uint8型数据，得到测试样本集；

利用训练后的神经网络自动识别英文符号。

2.根据权利要求1所述的一种基于CNN的手写英文文档识别方法，其特征在于，所述数据集包括：大写字母26个，小写字母26个，常用标点符号6个，以及1个空格键，总共59个字符。

3.根据权利要求1所述的一种基于CNN的手写英文文档识别方法，其特征在于，所述基于数据集构造训练样本集及测试样本集具体为：

数据集中的每个字符写5遍，将手写英文文档分割成单个字符图像，分类标记图像信息，将每人手写字符平均分为5份；

随机抽取4份作为训练样本集，剩下1份作为测试样本集，进行人工分类标记；

最后，所用数据集大小为训练样本6790个，测试样本1180个。

4.根据权利要求1所述的一种基于CNN的手写英文文档识别方法，其特征在于，所述卷积神经网络利用VGG模型，提取特征向量，包括：

第一层卷积层之后经过激活函数层，规范层和第一层池化层，在第一层池化层中，采用最大池化，对上一卷积层的特征图，利用[2,2]的步长进行池化操作，得到第二层卷积层的输入特征；

第三层激活函数层之后不经过池化层，直接到达第四层卷积层，第四层卷积层输入的特征图大小与第三层卷积层一致，均为3*3*256像素，共256张；经第四层卷积层后进入激活函数层；

进入全连接层，特征图大小为1*1*4096，共59张；随后进入最后一层分类器，将输入字符划分为59个不同类别。