CN104408449A - 智能移动终端场景文字处理方法 - Google Patents
智能移动终端场景文字处理方法 Download PDFInfo
- Publication number
- CN104408449A CN104408449A CN201410581464.6A CN201410581464A CN104408449A CN 104408449 A CN104408449 A CN 104408449A CN 201410581464 A CN201410581464 A CN 201410581464A CN 104408449 A CN104408449 A CN 104408449A
- Authority
- CN
- China
- Prior art keywords
- candidate
- text filed
- stroke width
- pixel
- character
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 13
- 238000000034 method Methods 0.000 claims abstract description 30
- 238000001514 detection method Methods 0.000 claims abstract description 27
- 238000000605 extraction Methods 0.000 claims abstract description 5
- 238000005520 cutting process Methods 0.000 claims description 22
- 238000001914 filtration Methods 0.000 claims description 12
- 238000006243 chemical reaction Methods 0.000 claims description 10
- 238000012216 screening Methods 0.000 claims description 10
- 238000003708 edge detection Methods 0.000 claims description 8
- 230000007423 decrease Effects 0.000 claims description 5
- 238000005728 strengthening Methods 0.000 claims description 5
- 238000004458 analytical method Methods 0.000 claims description 4
- 230000008878 coupling Effects 0.000 claims description 3
- 238000010168 coupling process Methods 0.000 claims description 3
- 238000005859 coupling reaction Methods 0.000 claims description 3
- 238000012217 deletion Methods 0.000 claims description 3
- 230000037430 deletion Effects 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 230000008901 benefit Effects 0.000 abstract description 4
- 238000012545 processing Methods 0.000 description 8
- 238000011161 development Methods 0.000 description 5
- 238000007796 conventional method Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000003909 pattern recognition Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000013011 mating Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Character Input (AREA)
Abstract
本发明涉及一种智能移动终端场景文字处理方法，包括步骤1：基于边缘的文本粗检测；步骤2、获取输入场景图像I的笔画宽度图T，对候选文本区域集合S中的每个候选文本区域进行笔画宽度和几何特征分析，剔除不符合要求的非文本区域，最后输出定位结果图L1；步骤3、识别预处理；步骤4、对切分后的单字符进行规范化和方向线素特征的提取操作；步骤5、基于Gabor特征的细分类。与现有技术相比，本发明的优点在于：准确率有了较大地提升，召回率较高，时间性能上有了大幅提升，字符识别的准确率大幅提升。
Description
技术领域
本发明涉及模式识别中的文字模式识别领域，具体地涉及智能移动终端场景文字处理方法，用于对智能移动终端拍摄的场景文字进行识别。
背景技术
随着信息技术的迅速发展，模式识别在很多科技领域得到了广泛的应用和重视，如人工智能、医学、神经生物学、武器制造、导航等领域。在这些领域中，常见的应用有指纹识别、人脸识别、光学字符识别、文字识别、精确制导、故障检测、语音识别和翻译等。模式识别技术的高速发展和广泛应用，极大地促进了国民经济建设和国防科技现代化建设。
文字处理是模式识别领域的一个重要分支。现实世界中，人们离不开文字，自然场景文字的处理一直是模式识别中的热点问题之一。自从上世纪90年代以来，国际文档分析与识别会议(International Conference of Document Analysis and Recognition，ICDAR)每隔两年举行一次，极大地促进了文字处理技术的发展。
随着移动智能终端的普及与发展，智能手机以其独有的便捷和智能越来越得到人们的钟爱。在日常生活中，人们看到自己感兴趣的文字，可以随时利用自己的手机拍摄成图片，然后提取其中的文字信息，这样会免去人们手写输入的麻烦，使人们的生活更加便捷。同时，移动终端上的文字处理还可以应用于其他多种领域，例如识别街道的路牌，结合GPS定位，可以给盲人导航；识别汽车牌照，可以更加方便交警管理和记录信息；提取商店门牌的文字信息并翻译成使用者熟悉的语言，可以方便他们在国外的旅行等。因此，在智能手机上进行文字处理有极大的应用前景。
然而，在智能手机上实现上述应用存在较大的技术挑战，主要体现在如下两方面：一方面，自然场景中文字的多样性和不确定性使得对自然场景中的文字处理变得异常困难；另一方面，智能手机的CPU、GPU的限制，对文字处理方法的准确度和实时性提出了更高的要求。
综上，自然场景文字处理一直是图像识别领域的一个难点，尤其是在智能手机上进行文字处理，开展基于智能手机上的场景文字处理研究对人工智能的发展具有实际意义，对我国的信息化建设也具有重要作用。
发明内容
本发明所要解决的技术问题是针对上述现有技术提供一种智能移动终端场景文字处理方法，该方法兼顾了速度和准确率，适合在移动平台中使用。
本发明解决上述技术问题所采用的技术方案为：一种智能移动终端场景文字处理方法，其特征在于：包括如下步骤：
步骤1：基于边缘的文本粗检测，具体包括：
(1-1)、采用彩色图像边缘检测方法对智能移动终端内的输入场景图像I进行边缘检测，得到第一中间处理图像I’；
(1-2)、对第一中间处理图像I’进行形态学运算，连接第一中间处理图像I’中的断裂文字以及相邻的文字，得到第二中间处理图像I’；
(1-3)、通过寻找连通域的方法对第二中间处理图像I’进行处理，从而获得输入场景图像I的候选文本区域集合S；
步骤2、获取输入场景图像I的笔画宽度图T，对候选文本区域集合S中的每个候选文本区域进行笔画宽度和几何特征分析，剔除不符合要求的非文本区域，最后输出定位结果图L1；
步骤3、识别预处理，具体包括：
(3-1)、对定位结果图L1的文本区域进行对比度增强；
(3-2)、对增强后的文本区域进行中值滤波；
(3-3)、对中值滤波后的文本区域进行二值化；
(3-4)、对二值化后的文本区域进行字符切分；
步骤4、对切分后的单字符进行规范化和方向线素特征的提取操作，具体包括：
(4-1)、对切分后的每个字符进行裁剪，去掉字符周围的白色背景，对剪裁后的每幅字符图像采用双线性插值法将其尺寸统一变换为N×N；
(4-2)、提取统一尺寸后单个字符的轮廓，并计算其方向线素特征；
(4-3)、采用距离分类器对每个字符进行识别，得到每个字符最接近的X个字符；
步骤5、基于Gabor特征的细分类，具体包括：
(5-1)、将每个字符采用双线性插值法将其尺寸统一变换为M×M。
(5-2)、对统一尺寸后的字符进行Gabor变换，提取Gabor特征；
(5-3)、在(4-3)识别后得到每个字符最接近的X个字符的基础上，利用距离分类器再次进行识别，得出每个字符的识别结果。
作为改进，所述步骤2具体包括：
(2-1)、利用Canny边缘检测方法对输入场景图像I进行边缘检测，得到输入场景图像I的边缘图，同时记录下每个边缘像素点的梯度方向；
(2-2)、对边缘像素点进行笔画宽度变换：
(2-2-1)、假设p是一个边缘像素点，设dp为边缘像素点p的梯度方向，按照dp方向沿着路线r＝p+n·dp(n≧0)在边缘图的边缘像素点中寻找与其匹配的另一个边缘像素点q，设dq为边缘像素点q的梯度方向，dq与dp方向相反或dq＝–dp±π/2；
如果p没有找到与其匹配的像素点q或者dq与dp的方向不是相反的，则该路线r＝p+n·dp(n≧0)被废弃，需要重新选择新的边缘像素点p并且找到与之相对的边缘像素点q；
如果找到相匹配的像素点q，则对应于[p,q]这条路线上的每个像素点的笔画宽度值均被指定为||p–q||，||p–q||为像素点p与像素点q之间的欧氏距离，如果[p,q]这条路线上的像素点已经有了一个笔画宽度值S，则取S与||p–q||中较小的一个值作为该像素点的实际笔画宽度值；
(2-2-2)、重复(2-2-1)，直到计算出所有未被废弃的路线上像素的笔画宽度值；
(2-2-3)、再次遍历所有没有被丢弃的路线，计算出每个路线上全部像素的笔画宽度均值M，然后找出这条路线上所有笔画宽度值大于M的像素，再把这些像素的笔画宽度值置为M，直到所有路线遍历完毕后，最终得到输入场景图像I的笔画宽度图T；
(2-3)、在步骤(2-3)得到的输入场景图像I的笔画宽度图T基础上，对应找到步骤1得到的候选文本区域集合S，然后对候选文本区域集合S进行筛选，筛选规则如下：
(2-3-a)、将长宽比例不在0.1到10之间的候选文本区域剔除；
(2-3-b)、将字符宽度不在W/20和W个像素之间，高度不在H/20和H之间的候选文本区域剔除，其中W和H分别表示图像的宽度和高度；
(2-3-c)、将面积小于20个像素的候选文本区域删除；
(2-3-d)、对候选文本区域集合S进行二值化，计算黑色像素点所占的比例Rb，将黑色像素点所占的比例Rb不在0.2和0.8之间的候选文本区域剔除，Rb的定义为
其中，f(i,j)表示的是候选文本区域图像中(i,j)位置的像素值，w，h分别表示的是候选文本区域的宽度和高度，⊕表示的是异或运算；
(2-3-e)、对候选文本区域集合S进行二值化，计算该区域的交叉性Rcc，将交叉性Rcc不在0.05和0.6之间的候选文本区域剔除，交叉性Rcc的定义为：
其中，f(i,j)表示的是候选文本区域图像中(i,j)位置的像素值，f(i,j+1)表示的是候选文本区域图像中(i,j+1)位置的像素值，w，h分别表示的是候选文本区域的宽度和高度，⊕表示的是异或运算；
(2-3-f)、对候选文本区域集合S进行笔画宽度变换，得到将所有候选文本区域的第一笔画宽度图，将候选文本区域集合S反色后再进行笔画宽度变换，得到将所有候选文本区域的第二笔画宽度图，如果某一候选文本区域的第一笔画宽度图和第二笔画宽度图中，笔画宽度方差均超过笔画宽度的平均值的一半，并且相邻像素的笔画宽度比均超过3.0，则将该候选文本区域剔除；
(2-4)、文本检测输出：经过(2-3)的筛选后，得到最终的文本区域，然后根据各个文本区域的位置关系，按照从上到下、从左至右的规则进行排序和编号，排序完成之后，将文本区输出。
较好的，所述(3-1)中采用直方图均衡化算法对定位结果图L1的候选区域进行对比度增强；所述(3-2)中采用3×3矩形滑动模板对增强后的区域进行中值滤波，即采用3×3矩形滑动模板，将模板内的像素按照像素值的大小进行排序，生成单调上升或下降的二维数据序列，再用这组的中值替换模板内每个像素的值，然后输出；所述步骤(3-3)采用最大类间方差法对中值滤波后的区域进行二值化。
与现有技术相比，本发明的优点在于：
(1)、本发明与单纯基于边缘的文本检测方法相比，准确率有了较大地提升，这是因为本发明采用了基于笔画宽度变换对候选区进行筛选，有效的剔除了很多笔画宽度不均匀的非文本区域，从而降低了文本区域的误检率；本发明与单纯的笔画宽度文本检测方法相比，召回率较高，这是因为本发明采用基于边缘的文本检测算法作为粗检测；
(2)、本发明与Gabor特征识别相比，在识别性能上有小幅下降，但在时间性能上有了大幅提升，单个字符的识别时间平均缩短了约41％，这是因为本发明采用了方向线素作为粗特征将候选字符进行了粗选；本发明与单独采用向线素特征相比，字符识别的准确率大幅提升，这是因为本发明采用了Gabor特征作为细特征，对字符的区分能力增强了；因此本发明充分结合了提取方向线素特征的快速性和Gabor特征识别的准确性的双重优点；较好地兼顾了速度和准确率，因此更适合在移动平台使用。
附图说明
图1为本发明实施例中智能移动终端场景文字处理方法流程图。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
本发明提供了一种智能移动终端场景文字处理方法，其包括如下步骤，参见图1所示：
步骤1：基于边缘的文本粗检测：
文本的粗检测是第一步，其主要任务是尽可能多的检测出输入场景图像I中的文字，只有当文本的粗检测的“查全率”高，后面的文本候选区筛选才会有意义，从而整体的检测准确率才会更高，由于边缘检测比较快速且“查全率”高，适合智能手机使用，所以本发明采用的文本粗检测的方法是基于边缘的文本检测算法，具体包括：
(1-1)、采用彩色图像边缘检测方法对智能移动终端内的输入场景图像I进行边缘检测，得到第一中间处理图像I’；本发明采用彩色图像边缘检测方法进行边缘检测，这是因为该方法对彩色图像的效果较好，而且检测的边缘线条较粗，比较有利于后续的文本粗检测，彩色图像边缘检测方法为现有技术中的常规方法，在3×3邻域内分别对图像的RGB三个分量求边缘，取四个方向中的最大值作为当前分量的边缘值，求得全部像素点的边缘值后，用Nibalck算法对边缘进行二值化，最终得到第一中间处理图像I’；
(1-2)、对第一中间处理图像I’进行形态学运算，连接第一中间处理图像I’中的断裂文字以及相邻的文字，得到第二中间处理图像I’；形态学运算也是现有技术中的常规算法，本发明通过进行形态学运算从而更有利于后面的基于边缘的文本检测，本发明采用的形态学运算是对图像的垂直方向和水平方向分别进行了3个像素的膨胀运算，再分别在图像的垂直方向和水平方向分别进行了3个像素的闭运算；
(1-3)、通过寻找连通域的方法对第二中间处理图像I’进行处理，从而获得输入场景图像I的候选文本区域集合S；寻找连通域的方法也为现有技术中的常规方法；
步骤2、获取输入场景图像I的笔画宽度图T，对候选文本区域集合S中的每个候选文本区域进行笔画宽度和几何特征分析，剔除不符合要求的非文本区域，最后输出定位结果图L1；
文本候选区筛选是本发明的第二步，目的是为了对粗检测结果进行分析、筛选以剔除非文本区域,研究表明，自然场景中的文字元素具有几乎恒定的笔画宽度，而且相邻的文本区域内的文字笔画宽度大致相等，因此利用这个特点可以区分文本区域和非文本区域；根据自然场景中文字笔画倾向于固定宽度的特点，本发明提出了一种基于笔画宽度变换的文本候选区筛选方法，具体实现的步骤如下：
(2-1)、利用Canny边缘检测方法对输入场景图像I进行边缘检测，得到输入场景图像I的边缘图，同时记录下每个边缘像素点的梯度方向；
(2-2)、对边缘像素点进行笔画宽度变换：
(2-2-1)、假设p是一个边缘像素点，设dp为边缘像素点p的梯度方向，按照dp方向沿着路线r＝p+n·dp(n≥0)在边缘图的边缘像素点中寻找与其匹配的另一个边缘像素点q，设dq为边缘像素点q的梯度方向，dq与dp方向相反或dq＝–dp±π/2；
如果p没有找到与其匹配的像素点q或者dq与dp的方向不是相反的，则该路线r＝p+n·dp(n≧0)被废弃，需要重新选择新的边缘像素点p并且找到与之相对的边缘像素点q；
如果找到相匹配的像素点q，则对应于[p,q]这条路线上的每个像素点的笔画宽度值均被指定为||p–q||，||p–q||为像素点p与像素点q之间的欧氏距离，如果[p,q]这条路线上的像素点已经有了一个笔画宽度值S，则取S与||p–q||中较小的一个值作为该像素点的实际笔画宽度值；
(2-2-2)、重复(2-2-1)，直到计算出所有未被废弃的路线上像素的笔画宽度值；
(2-2-3)、再次遍历所有没有被丢弃的路线，计算出每个路线上全部像素的笔画宽度均值M，然后找出这条路线上所有笔画宽度值大于M的像素，再把这些像素的笔画宽度值置为M，直到所有路线遍历完毕后，最终得到输入场景图像I的笔画宽度图T；
需要特别指出，上述过程主要针对亮底暗字的正向文本，但实际中也可能有暗底亮字的反向文本，因此，所述(2-2)中，重复执行(2-2-1)、(2-2-2)和(2-2-3)一次，重复执行时，(2-2-1)中，按照-dp方向沿着路线r＝p+n·dp(n≧0)在边缘图的边缘像素点中寻找与其匹配的另一个边缘像素点q。另外，从笔画宽度变换操作的过程中可以看出，待检测像素的数量大大减少，因为一个像素的梯度特征只有当找到另一个相匹配的且与它相反的梯度方向的像素时才有效；
(2-3)、在步骤(2-3)得到的输入场景图像I的笔画宽度图T基础上，对应找到步骤1得到的候选文本区域集合S，然后对候选文本区域集合S进行筛选，筛选规则如下：
(2-3-a)、将长宽比例不在0.1到10之间的候选文本区域剔除；候选区域的长宽比是存在一定范围的，一般在0.1到10之间，不满足该条件的一些长宽比例过大或过小的区域应该被剔除；
(2-3-b)、将字符宽度不在W/20和W个像素之间，高度不在H/20和H之间的候选文本区域剔除，其中W和H分别表示图像的宽度和高度；字符不应过大，也不应过小，字符的宽度应在W/20和W个像素之间，高度在H/20和H之间，其中W和H分别表示图像的宽度和高度，而不满足该条件的字符区域应该被剔除
(2-3-c)、将面积小于20个像素的候选文本区域删除；候选区域面积过小，则被判定为非文本区域，因此面积小于20像素的候选文本区域应当被删除；
(2-3-d)、一个区域内的黑色像素点所占的比例不应过大，也不应过小，文本区的黑色像素点所占的比例一般在0.2和0.8之间，因此对候选文本区域集合S进行二值化，计算黑色像素点所占的比例Rb，将黑色像素点所占的比例Rb不在0.2和0.8之间的候选文本区域剔除，Rb的定义为
其中，f(i,j)表示的是候选文本区域图像中(i,j)位置的像素值，w，h分别表示的是候选文本区域的宽度和高度，⊕表示的是异或运算；
(2-3-e)、文字区域的交叉性与非文字区的交叉性是不同的，一般情况下，非文字区域的交叉性是没有固定规律的，而文字是规则排列的，因此文字区域的交叉性是在一定范围内的，因此对候选文本区域集合S进行二值化，计算该区域的交叉性Rcc，将交叉性Rcc不在0.05和0.6之间的候选文本区域剔除，交叉性Rcc的定义为：
其中，f(i,j)表示的是候选文本区域图像中(i,j)位置的像素值，f(i,j+1)表示的是候选文本区域图像中(i,j+1)位置的像素值，w，h分别表示的是候选文本区域的宽度和高度，⊕表示的是异或运算；
(2-3-f)、自然场景中存在一些类似文字元素的场景元素，比如树叶，很难将它们与文字区分开来；另外，自然场景中的文字的笔画宽度不一定都相等，可能笔画宽度不等但变化幅度不大；一般一个文本区域的笔画宽度方差不超过笔画宽度的平均值的一半，并且相邻像素的笔画宽度比不超过3.0，因此对于笔画宽度变化太大的候选区域应将其剔除；本发明对候选文本区域集合S进行笔画宽度变换，得到将所有候选文本区域的第一笔画宽度图，将候选文本区域集合S反色后再进行笔画宽度变换，得到将所有候选文本区域的第二笔画宽度图，如果某一候选文本区域的第一笔画宽度图和第二笔画宽度图中，笔画宽度方差均超过笔画宽度的平均值的一半，并且相邻像素的笔画宽度比均超过3.0，则将该候选文本区域剔除；
(2-4)、文本检测输出：经过(2-3)的筛选后，得到最终的文本区域，然后根据各个文本区域的位置关系，按照从上到下、从左至右的规则进行排序和编号，排序完成之后，将文本区输出，输出的结果为出定位结果图L1；
步骤3、识别预处理，具体包括：
(3-1)、对定位结果图L1的文本区域进行对比度增强；为了节省运算时间，本发明采用的是运算简单且效果明显的直方图均衡化算法对定位结果图L1的文本区域进行对比度增强，直方图均衡化算法为现有技术中的常规算法，增强后的新图像增加了像素灰度值的动态范围，从而达到增强图像对比度的效果；
(3-2)、对增强后的文本区域进行中值滤波，本发明中采用3×3矩形滑动模板对增强后的文本区域进行中值滤波，这种方法也为现有技术中的常规方法，即——用3×3矩形滑动模板，将模板内的像素按照像素值的大小进行排序，生成单调上升或下降的二维数据序列，再用这组的中值替换模板内每个像素的值，然后输出，中值滤波后的图像不但很好的保存了原图像的边缘信息，而且使图像的灰度变得更加平滑了；
(3-3)、对中值滤波后的文本区域进行二值化；本发明考虑到算法执行的效率和要待别文本区域可能存在光照不均等情况，采用了最大类间方差法，最大类间方差法为现有技术中的常规算法，
(3-4)、对二值化后的文本区域进行字符切分；本发明采用了一种投影切分方法对文字进行分割，这种方法也为现有技术中的常规方法，该方法在进行切分前需要获取文本的边缘图像，然后对边缘图像进行投影切分，一个文本区域可能是包含多行的，也可能是包含多列的，因此在进行切分时，需要进行行切分和列切分，这种方法的算法复杂度比较小，执行速度较快；
步骤4、对切分后的单字符进行规范化和方向线素特征的提取操作，具体包括：
(4-1)、对切分后的每个字符进行裁剪，去掉字符周围的白色背景，对剪裁后的每幅字符图像采用双线性插值法将其尺寸统一变换为N×N；本发明需要对每个字符区进行裁剪，去掉字符周围的白色背景，因为文字的大小不同，同一个文字的特征也会不同，因此，在提取字符特征之前，需要对每幅字符图像进行归一化，把大小不同的字符区变换为大小一致的字符区，本发明把所有的单个字符区，归一化为64×64的矩形区域；
(4-2)、提取统一尺寸后单个字符的轮廓，并计算其方向线素特征；
(4-3)、根据方向线素特征，采用距离分类器对每个字符进行识别，得到每个字符最接近的X个字符；
步骤5、基于Gabor特征的细分类，具体包括：
(5-1)、将每个字符采用双线性插值法将其尺寸统一变换为M×M，这里M取40。
(5-2)、对统一尺寸后的字符进行Gabor变换，提取Gabor特征；
(5-3)、在(4-3)识别后得到每个字符最接近的X个字符的基础上，利用距离分类器再次进行识别，得出每个字符的识别结果。
本发明采用欧式距离分类器对方向线素特征进行分类时，第一识别率仅为45％以上，而前100个候选字符的识别率为89％以上，因此X值取100比较合适，然后在这100个候选字符中采用Gabor特征进一步细分类；Gabor特征是本发明的细分类特征，对汉字具有较好的区分度，当采用余弦向量夹角作为Gabor特征的分类器时，第一识别率达78％以上，所以，本发明可以采用余弦向量夹角作为Gabor特征的分类器，从上一级分类器分类的100个候选结果中选择一个最匹配的结果，然后将这个结果作为最终识别结果输出。因此本发明采用级联的方式，先通过提取方向线素特征对待识别汉字进行粗分类，将识别的候选范围缩小至100，然后在这个小范围内，通过提取Gabor细特征进行精确的识别，输出最终的识别结果；与Gabor特征识别相比，在识别性能上有小幅下降，但在时间性能上有了大幅提升，单个字符的识别时间平均缩短了约41％，这是因为本发明采用了方向线素作为粗特征将候选字符从3755个减少到100个；与单纯采用方向线素特征相比，字符识别的准确率大幅提升，这是因为本发明采用了Gabor特征作为细特征，对字符的区分能力增强了；本发明充分结合了提取方向线素特征的快速性和Gabor特征识别的准确性的双重优点兼顾了速度和准确率，因此更适合在移动平台使用。
Claims (4)
1.一种智能移动终端场景文字处理方法，其特征在于：包括如下步骤：
步骤1：基于边缘的文本粗检测，具体包括：
(1-1)、采用彩色图像边缘检测方法对智能移动终端内的输入场景图像I进行边缘检测，得到第一中间处理图像I’；
(1-2)、对第一中间处理图像I’进行形态学运算，连接第一中间处理图像I’中的断裂文字以及相邻的文字，得到第二中间处理图像I’；
(1-3)、通过寻找连通域的方法对第二中间处理图像I’进行处理，从而获得输入场景图像I的候选文本区域集合S；
步骤2、获取输入场景图像I的笔画宽度图T，对候选文本区域集合S中的每个候选文本区域进行笔画宽度和几何特征分析，剔除不符合要求的非文本区域，最后输出定位结果图L1；
步骤3、识别预处理，具体包括：
(3-1)、对定位结果图L1的文本区域进行对比度增强；
(3-2)、对增强后的文本区域进行中值滤波；
(3-3)、对中值滤波后的文本区域进行二值化；
(3-4)、对二值化后的文本区域进行字符切分；
步骤4、对切分后的单字符进行规范化和方向线素特征的提取操作，具体包括：
(4-1)、对切分后的每个字符进行裁剪，去掉字符周围的白色背景，对剪裁后的每幅字符图像采用双线性插值法将其尺寸统一变换为N×N；
(4-2)、提取统一尺寸后单个字符的轮廓，并计算其方向线素特征；
(4-3)、采用距离分类器对每个字符进行识别，得到每个字符最接近的X个字符；
步骤5、基于Gabor特征的细分类，具体包括：
(5-1)、将每个字符采用双线性插值法将其尺寸统一变换为M×M。
(5-2)、对统一尺寸后的字符进行Gabor变换，提取Gabor特征；
(5-3)、在(4-3)识别后得到每个字符最接近的X个字符的基础上，利用距离分类器再次进行识别，得出每个字符的识别结果。
2.根据权利要求1所述的智能移动终端场景文字处理方法，其特征在于：所述步骤2具体包括：
(2-1)、利用Canny边缘检测方法对输入场景图像I进行边缘检测，得到输入场景图像I的边缘图，同时记录下每个边缘像素点的梯度方向；
(2-2)、对边缘像素点进行笔画宽度变换：
(2-2-1)、假设p是一个边缘像素点，设dp为边缘像素点p的梯度方向，按照dp方向沿着路线r＝p+n·dp(n≧0)在边缘图的边缘像素点中寻找与其匹配的另一个边缘像素点q，设dq为边缘像素点q的梯度方向，dq与dp方向相反或dq＝–dp±π/2；
如果p没有找到与其匹配的像素点q或者dq与dp的方向不是相反的，则该路线r＝p+n·dp(n≧0)被废弃，需要重新选择新的边缘像素点p并且找到与之相对的边缘像素点q；
如果找到相匹配的像素点q，则对应于[p,q]这条路线上的每个像素点的笔画宽度值均被指定为||p–q||，||p–q||为像素点p与像素点q之间的欧氏距离，如果[p,q]这条路线上的像素点已经有了一个笔画宽度值S，则取S与||p–q||中较小的一个值作为该像素点的实际笔画宽度值；
(2-2-2)、重复(2-2-1)，直到计算出所有未被废弃的路线上像素的笔画宽度值；
(2-2-3)、再次遍历所有没有被丢弃的路线，计算出每个路线上全部像素的笔画宽度均值M，然后找出这条路线上所有笔画宽度值大于M的像素，再把这些像素的笔画宽度值置为M，直到所有路线遍历完毕后，最终得到输入场景图像I的笔画宽度图T；
(2-3)、在步骤(2-3)得到的输入场景图像I的笔画宽度图T基础上，对应找到步骤1得到的候选文本区域集合S，然后对候选文本区域集合S进行筛选，筛选规则如下：
(2-3-a)、将长宽比例不在0.1到10之间的候选文本区域剔除；
(2-3-b)、将字符宽度不在W/20和W个像素之间，高度不在H/20和H之间的候选文本区域剔除，其中W和H分别表示图像的宽度和高度；
(2-3-c)、将面积小于20个像素的候选文本区域删除；
(2-3-d)、对候选文本区域集合S进行二值化，计算黑色像素点所占的比例Rb，将黑色像素点所占的比例Rb不在0.2和0.8之间的候选文本区域剔除，Rb的定义为
其中，f(i,j)表示的是候选文本区域图像中(i,j)位置的像素值，w，h分别表示的是候选文本区域的宽度和高度，⊕表示的是异或运算；
(2-3-e)、对候选文本区域集合S进行二值化，计算该区域的交叉性Rcc，将交叉性Rcc不在0.05和0.6之间的候选文本区域剔除，交叉性Rcc的定义为：
其中，f(i,j)表示的是候选文本区域图像中(i,j)位置的像素值，f(i,j+1)表示的是候选文本区域图像中(i,j+1)位置的像素值，w，h分别表示的是候选文本区域的宽度和高度，⊕表示的是异或运算；
(2-3-f)、对候选文本区域集合S进行笔画宽度变换，得到将所有候选文本区域的第一笔画宽度图，将候选文本区域集合S反色后再进行笔画宽度变换，得到将所有候选文本区域的第二笔画宽度图，如果某一候选文本区域的第一笔画宽度图和第二笔画宽度图中，笔画宽度方差均超过笔画宽度的平均值的一半，并且相邻像素的笔画宽度比均超过3.0，则将该候选文本区域剔除；
(2-4)、文本检测输出：经过(2-3)的筛选后，得到最终的文本区域，然后根据各个文本区域的位置关系，按照从上到下、从左至右的规则进行排序和编号，排序完成之后，将文本区输出。
3.根据权利要求1所述的智能移动终端场景文字处理方法，其特征在于：所述(3-1)中采用直方图均衡化算法对定位结果图L1的候选区域进行对比度增强；所述(3-2)中采用3×3矩形滑动模板对增强后的区域进行中值滤波，即采用3×3矩形滑动模板，将模板内的像素按照像素值的大小进行排序，生成单调上升或下降的二维数据序列，再用这组的中值替换模板内每个像素的值，然后输出；所述步骤(3-3)采用最大类间方差法对中值滤波后的区域进行二值化。
4.根据权利要求1所述的智能移动终端场景文字处理方法，其特征在于：所述(2-2)中，重复执行(2-2-1)、(2-2-2)和(2-2-3)一次，重复执行时，(2-2-1)中，按照-dp方向沿着路线r＝p+n·dp(n≧0)在边缘图的边缘像素点中寻找与其匹配的另一个边缘像素点q。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410581464.6A CN104408449B (zh) | 2014-10-27 | 2014-10-27 | 智能移动终端场景文字处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410581464.6A CN104408449B (zh) | 2014-10-27 | 2014-10-27 | 智能移动终端场景文字处理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104408449A true CN104408449A (zh) | 2015-03-11 |
| CN104408449B CN104408449B (zh) | 2018-01-30 |
Family
ID=52646080
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410581464.6A Expired - Fee Related CN104408449B (zh) | 2014-10-27 | 2014-10-27 | 智能移动终端场景文字处理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104408449B (zh) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104980765A (zh) * | 2015-06-15 | 2015-10-14 | 北京博威康技术有限公司 | 一种多通道纯文本帧监测方法 |
| CN105046254A (zh) * | 2015-07-17 | 2015-11-11 | 腾讯科技（深圳）有限公司 | 字符识别方法及装置 |
| CN106127118A (zh) * | 2016-06-15 | 2016-11-16 | 珠海迈科智能科技股份有限公司 | 一种英语单词识别方法和装置 |
| CN106156767A (zh) * | 2016-03-02 | 2016-11-23 | 平安科技（深圳）有限公司 | 行驶证有效期自动提取方法、服务器及终端 |
| CN106845475A (zh) * | 2016-12-15 | 2017-06-13 | 西安电子科技大学 | 基于连通域的自然场景文字检测方法 |
| CN107516004A (zh) * | 2017-07-06 | 2017-12-26 | 贵阳朗玛信息技术股份有限公司 | 医学影像图片的识别处理方法及装置 |
| CN107545261A (zh) * | 2016-06-23 | 2018-01-05 | 佳能株式会社 | 文本检测的方法及装置 |
| CN108509860A (zh) * | 2018-03-09 | 2018-09-07 | 西安电子科技大学 | 基于卷积神经网络的可可西里藏羚羊检测方法 |
| CN108596250A (zh) * | 2018-04-24 | 2018-09-28 | 深圳大学 | 图像特征编码方法、终端设备及计算机可读存储介质 |
| CN109409356A (zh) * | 2018-08-23 | 2019-03-01 | 浙江理工大学 | 一种基于swt的多方向中文印刷体文字检测方法 |
| CN111783781A (zh) * | 2020-05-22 | 2020-10-16 | 平安国际智慧城市科技股份有限公司 | 基于产品协议字符识别的恶意条款识别方法、装置、设备 |
| CN112101324A (zh) * | 2020-11-18 | 2020-12-18 | 鹏城实验室 | 多视角图像共存文字检测方法、设备及计算机存储介质 |
| CN113642556A (zh) * | 2021-08-04 | 2021-11-12 | 五八有限公司 | 一种图像处理方法、装置、电子设备及存储介质 |
| CN117894030A (zh) * | 2024-01-18 | 2024-04-16 | 广州宏途数字科技有限公司 | 一种校园智慧纸笔的文本识别方法及*** |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1459761A (zh) * | 2002-05-24 | 2003-12-03 | 清华大学 | 基于Gabor滤波器组的字符识别技术 |
| CN1581159A (zh) * | 2003-08-04 | 2005-02-16 | 中国科学院自动化研究所 | 商标检索方法 |
| CN101615252A (zh) * | 2008-06-25 | 2009-12-30 | 中国科学院自动化研究所 | 一种自适应图像文本信息提取方法 |
-
2014
- 2014-10-27 CN CN201410581464.6A patent/CN104408449B/zh not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1459761A (zh) * | 2002-05-24 | 2003-12-03 | 清华大学 | 基于Gabor滤波器组的字符识别技术 |
| CN1581159A (zh) * | 2003-08-04 | 2005-02-16 | 中国科学院自动化研究所 | 商标检索方法 |
| CN101615252A (zh) * | 2008-06-25 | 2009-12-30 | 中国科学院自动化研究所 | 一种自适应图像文本信息提取方法 |
Non-Patent Citations (2)
| Title |
|---|
| 葛巧瑞: "自然场景下的文字分割及识别研究", 《中国优秀硕士论文电子期刊网》 * |
| 许亚美: "多部件自适应融合的手写体***字符识别", 《西安电子科技大学学报》 * |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104980765B (zh) * | 2015-06-15 | 2018-07-27 | 北京维鲸视界科技有限公司 | 一种纯文本帧监测方法 |
| CN104980765A (zh) * | 2015-06-15 | 2015-10-14 | 北京博威康技术有限公司 | 一种多通道纯文本帧监测方法 |
| CN105046254A (zh) * | 2015-07-17 | 2015-11-11 | 腾讯科技（深圳）有限公司 | 字符识别方法及装置 |
| US10089553B1 (en) | 2016-03-02 | 2018-10-02 | Ping An Technology (Shenzhen) Co., Ltd. | Method, device, system, and storage medium for automatically extracting a validity period of a driving license |
| CN106156767A (zh) * | 2016-03-02 | 2016-11-23 | 平安科技（深圳）有限公司 | 行驶证有效期自动提取方法、服务器及终端 |
| CN106127118A (zh) * | 2016-06-15 | 2016-11-16 | 珠海迈科智能科技股份有限公司 | 一种英语单词识别方法和装置 |
| CN107545261A (zh) * | 2016-06-23 | 2018-01-05 | 佳能株式会社 | 文本检测的方法及装置 |
| CN106845475A (zh) * | 2016-12-15 | 2017-06-13 | 西安电子科技大学 | 基于连通域的自然场景文字检测方法 |
| CN107516004A (zh) * | 2017-07-06 | 2017-12-26 | 贵阳朗玛信息技术股份有限公司 | 医学影像图片的识别处理方法及装置 |
| CN108509860A (zh) * | 2018-03-09 | 2018-09-07 | 西安电子科技大学 | 基于卷积神经网络的可可西里藏羚羊检测方法 |
| CN108596250A (zh) * | 2018-04-24 | 2018-09-28 | 深圳大学 | 图像特征编码方法、终端设备及计算机可读存储介质 |
| CN108596250B (zh) * | 2018-04-24 | 2019-05-14 | 深圳大学 | 图像特征编码方法、终端设备及计算机可读存储介质 |
| CN109409356A (zh) * | 2018-08-23 | 2019-03-01 | 浙江理工大学 | 一种基于swt的多方向中文印刷体文字检测方法 |
| CN111783781A (zh) * | 2020-05-22 | 2020-10-16 | 平安国际智慧城市科技股份有限公司 | 基于产品协议字符识别的恶意条款识别方法、装置、设备 |
| CN111783781B (zh) * | 2020-05-22 | 2024-04-05 | 深圳赛安特技术服务有限公司 | 基于产品协议字符识别的恶意条款识别方法、装置、设备 |
| CN112101324A (zh) * | 2020-11-18 | 2020-12-18 | 鹏城实验室 | 多视角图像共存文字检测方法、设备及计算机存储介质 |
| CN112101324B (zh) * | 2020-11-18 | 2021-03-16 | 鹏城实验室 | 多视角图像共存文字检测方法、设备及计算机存储介质 |
| CN113642556A (zh) * | 2021-08-04 | 2021-11-12 | 五八有限公司 | 一种图像处理方法、装置、电子设备及存储介质 |
| CN117894030A (zh) * | 2024-01-18 | 2024-04-16 | 广州宏途数字科技有限公司 | 一种校园智慧纸笔的文本识别方法及*** |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104408449B (zh) | 2018-01-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104408449A (zh) | 智能移动终端场景文字处理方法 | |
| Zhang et al. | Text extraction from natural scene image: A survey | |
| CN104050471B (zh) | 一种自然场景文字检测方法及*** | |
| CN104751142B (zh) | 一种基于笔划特征的自然场景文本检测方法 | |
| CN104778470B (zh) | 基于组件树和霍夫森林的文字检测和识别方法 | |
| CN107491730A (zh) | 一种基于图像处理的化验单识别方法 | |
| Zhao et al. | Two-stage segmentation of unconstrained handwritten Chinese characters | |
| Zhang et al. | Text detection in natural scene images based on color prior guided MSER | |
| Tian et al. | Natural scene text detection with MC–MR candidate extraction and coarse-to-fine filtering | |
| CN104504383B (zh) | 一种基于肤色和Adaboost算法的人脸检测方法 | |
| CN106529532A (zh) | 一种基于积分特征通道与灰度投影的车牌识别*** | |
| Zang et al. | Traffic sign detection based on cascaded convolutional neural networks | |
| CN104680130A (zh) | 一种身份证汉字识别方法 | |
| Ma et al. | Segmentation and recognition for historical Tibetan document images | |
| Roy et al. | Fractional poisson enhancement model for text detection and recognition in video frames | |
| CN103440035A (zh) | 一种三维空间中的手势识别***及其识别方法 | |
| Huang et al. | Text detection and recognition in natural scene images | |
| Al Abodi et al. | An effective approach to offline Arabic handwriting recognition | |
| CN103198299A (zh) | 基于多方向尺度与Gabor相位投影特征结合的人脸识别方法 | |
| Liu et al. | Stroke filter for text localization in video images | |
| CN115082776A (zh) | 一种基于图像识别的电能表自动检测***及方法 | |
| Mahajan et al. | Word level script identification using convolutional neural network enhancement for scenic images | |
| Golgire | Traffic Sign Recognition using Machine Learning: A Review | |
| Tian et al. | Research on artificial intelligence of accounting information processing based on image processing | |
| Kumar et al. | MDP feature extraction technique for offline handwritten Gurmukhi character recognition |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20180130 |