CN101887521B - 一种实现文件纠偏的方法及终端 - Google Patents

Abstract

本发明涉及一种实现文件纠偏的方法及终端，所述终端包括图像采集和处理模块、图像倾斜角度检测模块和图像纠偏和校正模块；其中：所述图像采集和处理模块通过摄像头拍摄文件，获取图像，并对文件图像进行处理得到黑白二值图像；所述图像倾斜角度检测模块通过图像倾斜角度检测算法对所述文件图像进行倾斜角度的检测；所述图像纠偏和校正模块根据所述图像倾斜角度检测模块检测出的名片图像倾斜角度，对名片图像进行纠偏处理，得到校正后的名片图像。在上述技术方案下，文件图像经过OCR文字识别、文本分类识别和信息校对、修改和确认，最终纠正偏差，克服现有技术中所存在的扫描信息识别率比较低的缺陷，提高信息的识别准确率。

Description

一种实现文件纠偏的方法及终端

技术领域

本发明涉及便携式通信终端技术领域，更具体地，涉及一种实现文件纠偏的方法及终端。

背景技术

随着移动通信技术和移动通信终端的不断发展，带摄像头功能的手机越来越普及，几乎所有的智能手机都配备有摄像头功能，而且像素也在不断地提高；另外，带触摸屏的手机实现了输入方式上的革命性的改变，标志着手机从有键盘到无键盘的质的飞跃，所有这些也就为名片、文件等资料的扫描的应用创造了条件。从目前手机市场的情况来看，名片、文件扫描已经成为许多商务手机的一项重要的功能。另外，名称为“具有名片扫描及管理功能的手机”的中国专利申请200520067750.7号公开了一种具有名片扫描和管理功能的手机，名称为“一种带数码相机的手机实现名片扫描的方法”的中国专利申请200610118618.3号公开了一种用带数码相机的手机实现名片扫描的方法。

名片或文件扫描识别技术是指用带摄像头的手机将名片上的有用信息或文件中的文字存储进手机的技术，该技术的最大优点是上述有用信息的添加是使用手机及其所带的摄像头就能实现，不需要再附加其他的扫描设备。实现名片或文件的扫描功能需要完成以下几个步骤：(1)用手机自带的摄像头拍摄名片或文件产生图像；(2)用OCR(Optical Character Recognition，光学字符识别)技术自动识别第一步中所获得的图像中的文字；(3)用文本分类技术自动找出第二步中所识别出的文字中的有用信息，并将它们作为识别结果显示在手机的屏幕；(4)手机用户对识别结果进行校对，经修改和确认后，手机自动将识别结果添加到手机的名片夹中。

名片扫描识别技术可以快速地将名片信息录入名片夹中，减少了手工输入带来的麻烦和不便，有效地提高了名片信息的录入效率。但是，现有的名片扫描技术却存在着如下缺陷：在实现名片扫描功能的步骤(1)中需要手机用户使用手机自带的摄像头拍摄名片图像，由于在拍摄过程中名片或文件的摆放位置、手机用户拍摄过程中产生的抖动等因素，导致最终获得的名片或文件图像不可避免的会产生一定程度的歪斜，造成名片或文件信息扫描时识别率的下降。实验证明：3°以上的角度倾斜会引起字符明显变形，大部分的OCR技术难以适应，导致OCR技术对名片图像中文字的识别准确率降低，同时也影响手机用户对名片或文件扫描功能的使用体验。因此，对名片或文件图像进行倾斜检测和纠偏就显得十分重要。

发明内容

本发明的目的是为解决上述问题而提出一种文件纠偏的方法及终端。

为实现上述目的，本发明提出一种实现文件纠偏的终端，其包括图像采集和处理模块、图像倾斜角度检测模块和图像纠偏和校正模块；所述终端还包括参考文本区域选择模块和图像横向膨胀处理模块，其中：

所述图像采集和处理模块通过摄像头拍摄文件，获取图像，并对文件图像进行处理得到黑白二值图像；

所述参考文本区域选择模块在获取的所述名片黑白二值图像中选取文本区域作为纠偏的参考文本区域并保存；

所述图像横向膨胀处理模块将所述参考文本区域选择模块所选择的参考文本区域做横向膨胀处理再发送给所述图像角度检测模块；

所述图像倾斜角度检测模块通过图像倾斜角度检测算法对所述文件图像进行倾斜角度的检测；

所述图像纠偏和校正模块根据所述图像倾斜角度检测模块检测出的名片图像倾斜角度，对名片图像进行纠偏处理，得到校正后的名片图像；通过如下方法对所述图像的倾斜角度进行校正：

设名片图像的宽度为M，高度为N，其在竖直方向的最大偏移值为：

在水平方向的最大偏移值为：则对应于第i行的像素点的在水平方向的偏移值为：

${\mathrm{\ΔX}}_i=\frac{i(X_{\mathrm{off}}+1)}{N}$

对应于第j列的像素点在竖直方向的偏移值为：

${\mathrm{\ΔY}}_j=\frac{j(Y_{\mathrm{off}}+1)}{M}$

校正后的像素点的坐标(X′，Y′)与校正前的像素点坐标(X，Y)的对应关系为：X′＝X+ΔX，Y′＝Y+ΔY。

进一步地，所述终端还包括图像显示模块，所述图像显示模块把经过图像纠偏和校正模块做纠偏校正后的图像显示在终端的屏幕上。

另外，本发明还提出一种实现文件纠偏的方法，其包括：通信摄像头拍摄文件，产生文件图像；

对产生的所述图像进行二值处理，形成黑白二值图像；

选择要进行倾斜校正的文本区域作为参考区域，并把选择的参考文本区域保存下来；

对所述参考文本区域进行横向膨胀处理；

根据所选择的参考文本区域，计算图像的倾斜角度，并作为整个图像的倾斜角度；

根据计算出的图像倾斜角度，对整个图像进行纠偏处理得到校正后的图像，通过如下方法对所述图像的倾斜角度进行校正：

设名片图像的宽度为M，高度为N，其在竖直方向的最大偏移值为：

在水平方向的最大偏移值为：

则对应于第i行的像素点的在水平方向的偏移值为：

${\mathrm{\ΔX}}_i=\frac{i(X_{\mathrm{off}}+1)}{N}$

对应于第j列的像素点在竖直方向的偏移值为：

${\mathrm{\ΔY}}_j=\frac{j(Y_{\mathrm{off}}+1)}{M}$

校正后的像素点的坐标(X′，Y′)与校正前的像素点坐标(X，Y)的对应关系为：X′＝X+ΔX，Y′＝Y+ΔY。

进一步地，所述终端的图像显示模块把所述经过纠偏处理和校正的名片图像显示在终端的屏幕上。

进一步地，根据采集到的所述参考文本区域的上边缘点采用最小距离平方拟合上边缘点所在的直线，得到其斜率K和倾斜角度θ，即为整个文件图像的倾斜角度。

本发明的有益效果是：在上述技术方案下，文件图像经过OCR文字识别、文本分类识别和信息校对、修改和确认，最终纠正偏差，克服现有技术中所存在的扫描信息识别率比较低的缺陷，提高信息的识别准确率。

附图说明

图1是本发明实施例通信终端中的图像纠偏模块组成示意图；

图2是本发明实施例中图像纠偏的流程示意图；

图3是本发明实施例中根据用户所选择的参考文本区域计算图像倾斜角的流程示意图；

图4是本发明实施例中扫描时出现倾斜的名片黑白二值图像；

图5是本发明实施例中经过倾斜角度检测和校正后的名片图像。

具体实施方式

本发明的提供一种通信终端在扫描时实现图像快速纠偏的方法和装置，基于图像中文本信息区域的倾斜特征对整个图像进行倾斜角度检测和校正，完成图像的预处理功能，在带扫描功能中的通信终端中实施，辅助完成扫描功能，克服现有技术中所存在的扫描信息识别率比较低的缺陷，提高信息的识别准确率。

本发明技术方案用手机自带的摄像头拍摄文件产生文件图像之后先对文件图像进行倾斜检测和校正，之后再进行文件图像OCR文字识别、文本分类识别和信息校对、修改和确认。本发明中，所述文件可以是名片、笔记等文字信息。

本发明提出的一种扫描图像纠偏的方法主要包括以下步骤：

使用通信终端所带的摄像头对准待拍摄名片或文件，拍摄产生图像；

对产生的彩色图像选择合适的方法进行二值处理，形成黑白二值图像；

终端用户手动选择要进行倾斜校正的文本区域作为参考区域，并把选择的参考文本区域保存下来；

根据终端用户所选择的参考文本区域，计算图像的倾斜角度，并作为整个图像的倾斜角度；

根据计算出的图像倾斜角度，对整个图像进行纠偏处理得到校正后的图像；

把经过纠偏处理和校正的名片图像显示在终端的屏幕上。

相应的，本发明还提供了一种实现扫描纠偏的通信终端，该终端包括图像采集和处理模块、参考文本区域选择模块、图像横向膨胀处理模块、图像倾斜角度检测模块、图像纠偏和校正模块和图像显示模块。

所述图像采集和处理模块：通过终端本身所带的摄像头拍摄名片，获取名片图像，并对名片图像进行处理得到黑白二值图像。

所述参考文本区域选择模块：在获取的名片黑白二值图像中选取文本区域作为纠偏的参考文本区域并保存。

所述图像横向膨胀处理模块：将参考文本区域选择模块所选择的参考文本区域做横向膨胀处理。

所述图像倾斜角度检测模块：通过图像倾斜角度检测算法对图像横向膨胀处理模块处理后的图像进行倾斜角度的检测。

所述图像纠偏和校正模块：根据图像倾斜角度检测模块检测出的名片图像倾斜角度，对名片图像进行纠偏处理，得到校正后的名片图像。

所述图像显示模块：把经过图像纠偏和校正模块做纠偏校正后的图像显示在终端的屏幕上。

为了使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明的具体实施方式作进一步的详细描述。

图1是通信终端中实现本发明名片图像扫描纠偏方案实施例的模块组成示意图，具体组成模块包括：

名片图像采集和处理模块101：将通信终端本身所带的摄像头对准名片，利用终端自身所带的拍摄***对名片进行采集，获取名片图像信息，并对名片图像做二值化，得到黑白二值图像；

参考文本区域选择模块102：在名片图像采集和处理模块获取的黑白二值名片图像中选取适当的文本区域作为纠偏的参考区域，并保存所选择的参考文本区域；

图像横向膨胀处理模块103：将参考文本区域选择模块所选择的参考文本区域做横向膨胀处理，横向膨胀是名片图像纠偏处理前的一项重要的预处理步骤；

图像倾斜角度检测模块104：通过图像倾斜角度检测算法对图像横向膨胀处理模块处理后的图像进行倾斜角度的检测，获取名片图像的倾斜角度；

图像纠偏校正模块105：根据图像倾斜角度检测模块检测出的名片图像倾斜角度，对名片图像进行纠偏处理，得到纠偏校正后的名片图像；

名片图像显示模块106：把图像纠偏和校正模块做纠偏校正后的名片图像显示在终端的屏幕上。

本发明所述的名片扫描时实现名片图像纠偏的技术方案流程图如图2所示，主要包括以下步骤：

步骤201：使用通信终端本身所带有的摄像头对准名片，在通信终端所带的拍摄***将名片的图像显示在终端的屏幕上之后，拍摄名片获取名片图像，所采集的名片图像一般为彩色图像。

名片扫描纠偏首先需要获得名片的图像，现有的名片扫描识别技术也是基于图像来识别的。在本方案中充分利用通信终端所带有的摄像头功能来获取名片图像，一般所获取的未经处理的图像是彩色图像。

步骤202：在201步骤中所获取的未经处理的图像一般是彩色图像，对获取的彩色名片图像选择合适的方法进行二值化，形成黑白二值图像。

通信终端拍摄名片得到的图像一般是彩色图像，彩色图像每个像素包含红、绿、蓝3个颜色分量，图像信息较为丰富，处理数据量较大，不便后续的处理。因此，需要对所获得的图像进行二值化，得到黑白二值图像。二值图像使图像变得简单，数据量减小，并且能突显感兴趣目标的轮廓，有利于图像的进一步处理和分析。

步骤203：在得到名片的黑白二值图像后，需要终端用户在名片图像中手动选择一个参考文本区域，作为对整个名片图像进行倾斜校正的参考区域。名片中经常包含图标、图片等非文本信息，名片扫描技术主要是为了识别名片图像的文本信息，在本发明中主要结合名片图像中文本区域的特征对名片图像进行纠偏，因此需要在名片图像中手动选择参考文本区域。

在名片图像中手动选择一个参考文本区域可以通过通信终端的触摸手写功能来实现，也可以通过终端在名片图像上给用户提供一个矩形复选框，矩形复选框可以通过方向键进行上、下、左、右移动，在矩形框移动到名片图像中用户所要选择的文本区域中后，就可以按下确定键完成参考文本区域的选择。在用户选择好参考文本区域后，还需要把选择的区域给保存下来，以便于后面的处理。参考文本区域的选择可以选择一个文本行，也可以选择多个文本行，具体可以根据实际情况需要而定。

步骤204：在得到终端用户所选择的参考文本区域后，需要根据终端用户所选择的参考文本区域，计算名片图像的倾斜角度，并作为整个名片图像的倾斜角度。

在本发明中名片图像的倾斜角度检测主要是基于如下的思想实现的：首先对终端用户所选择的参考文本区域进行横向膨胀处理；然后，每隔一定的宽度采集参考文本区域中文本行的上边缘点并保存；最后，根据得到的参考文本区域中文本行采集上边缘点数据，采用最小距离平方法来拟合采集点所在的文本行上边缘线，得到其斜率k，同时可以得到文本行的倾斜角度θ即为名片图像的倾斜角度。名片图像的倾斜角度具体检测方法将在后面作进一步的详细说明。

步骤205：根据计算出的名片图像倾斜角度，对整个名片图像进行纠偏处理得到校正后的名片图像，名片图像的校正流程如图3所示。

设名片图像的宽度为M，高度为N，其在竖直方向的最大偏移值为：

在水平方向的最大偏移值为：则对应于第i行的像素点的在水平方向的偏移值为：

${\mathrm{\ΔX}}_i=\frac{i(X_{\mathrm{off}}+1)}{N}$

对应于第j列的像素点在竖直方向的偏移值为：

${\mathrm{\ΔY}}_j=\frac{j(Y_{\mathrm{off}}+1)}{M}$

校正后的像素点的坐标(X′，Y′)与校正前的像素点坐标(X，Y)的对应关系为：X′＝X+ΔX，Y′＝Y+ΔY，名片图像的倾斜校正可以按照此关系来完成。

名片图像的倾斜角度检测是名片图像纠偏处理中的一个非常关键的部分。下面将步骤204中在得到终端用户所选择的参考文本区域后，根据参考文本区域计算名片图像的倾斜角度的方法作详细说明。

根据用户所选择的参考文本区域计算名片图像倾斜角的流程图如图3所示，包括以下步骤：

步骤301：终端用户在名片图像中手动选择一个参考文本区域之后，对所选择的名片图像参考文本区域作横向膨胀处理。

名片中的文字一般是水平方向的，并且字字与字之间通常都存在一定的间隙，另外还有一些汉字本身存在着间隙，所以在采样一个文本行的上边缘的点时可能会误采到下一行去，这样采集的是下一行的上边缘点，就会产生较大的误差。因此，为了降低采样的误差，需要对文档图像进行横向膨胀处理，横向膨胀时通过把一个黑色点左边的若干个像素点都变成黑色点来完成的。

步骤302：在选择的参考文本区域中，从左到右每隔一定宽度采集文本行的上边缘点，并把所采集的上边缘点保存下来。

在采集选取的文本行上边缘的特征点时从上到下扫描每一列上的像素点，遇到的第一个黑色点即为文本行上边缘的点。采样的次数越多，最终计算的精度也越大，算法的计算量和复杂度也越大，因此在采样时保证至少每间隔一个字的宽度采集一个点，这样可以保证每个字都有一个采样点。在采集文本行的上边缘点时，要把所采集到的上边缘点给保存下来。

步骤303：根据采集到的参考文本区域的上边缘点采用最小距离平方拟合上边缘点所在的直线，得到其斜率K和倾斜角度θ，即为整个名片图像的倾斜角度。

对于选取的参考文本区域，采集的特征点为(X_i，Y_i)(i＝1，2，......，N)，并且采集的特征点之间彼此互相独立。设x之间的关系为线性关系，相关方程为Y＝KX+B，其中K、B都不依赖于X。采集的每个特征点(X_i，Y_i)(i＝1，2，......，N)到

采集的特征点(X_i，Y_i)(i＝1，2，......，N)到拟合直线Y＝KX+B的垂直距离的平方和为：

$\begin{array}{c}J(K,B)=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{D_i}^2\\ =\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\frac{[Y_i-{({\mathrm{KX}}_i+B)}^2]}{1+K^2}\\ =\frac{1}{1+K^2}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{[Y_i-({\mathrm{KX}}_i+B)]}^2\end{array}$

欲使距离平方和最小，即J(K，B)取最小值J_MIN(K，B)，则需要满足： $\left\{\begin{array}{c}\frac{\∂J(K,B)}{\∂k}=0\\ \frac{\∂J(K,B)}{\∂B}=0\end{array}\right.$

经过数学推导可得：

$B=\stackrel{\‾}{Y}-k\stackrel{\‾}{X}$

K²-LK-1＝0

$L=\frac{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}(Y_i-\stackrel{\‾}{Y})-\underset{i=1}{\overset{N}{\mathrm{\Σ}}}(X_i-\stackrel{\‾}{X})}{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}(X_i-\stackrel{\‾}{X})(Y_i-\stackrel{\‾}{Y})}$

进一步可求得，当R＞0时 $K=\frac{L+\sqrt{L^2+4}}{2}$

当R＜0时 $K=\frac{L-\sqrt{L^2+4}}{2}$

在求得拟合直线的斜率K后便可以得到该文本行基线的方向角θ＝tan^-1K，即为文档图像的倾斜角度。

本发明通过检测拍摄名片所产生的名片图像的倾斜角度，然后根据倾斜角度对整个名片图像进行纠偏校正得到校正后的图像。具体是通过终端所带的摄像头功能拍摄名片产生名片图像，并做二值处理；然后根据终端用户在名片图像上选择的参考文本区域，计算名片图像的倾斜角度，并根据倾斜角度对名片图像进行纠偏处理，最后得到矫正后的名片图像。在带有名片扫描识别功能的通信终端中实施本发明技术方案，可以对名片扫描产生的倾斜名片图像就行快速纠偏处理，并可以大大提高名片的识别率。

请参考图4和图5所示，图4是一张名片拍摄的有一些偏斜的图像，图5是通过本发明技术方案经过纠偏后的图像。从图4和图5可以看出，通过本发明技术方案的纠偏后，完全纠正了拍摄时候的偏差。

当然，本发明还可有多种实施方式，在不背离本发明精神及其实质的情况，熟悉本领域的技术人员当可根据本发明做出各种相应的更改或变化，但凡在本发明的精神和原则之内所作的任何修改、等同替换、改进，均应包含在本发明的保护范围之内。

Claims (5)

1.一种实现文件纠偏的装置，其包括图像采集和处理模块、图像倾斜角度检测模块和图像纠偏和校正模块；所述装置还包括参考文本区域选择模块和图像横向膨胀处理模块，其中：

所述图像采集和处理模块通过摄像头拍摄文件，获取图像，并对文件图像进行处理得到黑白二值图像；

所述参考文本区域选择模块在获取的所述文件黑白二值图像中选取文本区域作为纠偏的参考文本区域并保存；

所述图像横向膨胀处理模块将所述参考文本区域选择模块所选择的参考文本区域做横向膨胀处理再发送给所述图像角度检测模块；

所述图像倾斜角度检测模块通过图像倾斜角度检测算法对所述文件图像进行倾斜角度的检测；

所述图像纠偏和校正模块根据所述图像倾斜角度检测模块检测出的文件图像倾斜角度，对文件图像进行纠偏处理，得到校正后的文件图像；通过如下方法对所述图像的倾斜角度进行校正：

设文件图像的宽度为M，高度为N，其在竖直方向的最大偏移值为：

在水平方向的最大偏移值为：则对应于第i行的像素点的在水平方向的偏移值为：

$\mathrm{\Δ}{X}_i=\frac{i(X_{\mathrm{off}}+1)}{N}$

对应于第j列的像素点在竖直方向的偏移值为：

$\mathrm{\Δ}{Y}_j=\frac{j(Y_{\mathrm{off}}+1)}{M}$

校正后的像素点的坐标(X′，Y′)与校正前的像素点坐标(X，Y)的对应关系为：X′＝X+ΔX，Y′＝Y+ΔY。

2.如权利要求1所述的装置，其特征在于：所述装置还包括图像显示模块，所述图像显示模块把经过图像纠偏和校正模块做纠偏校正后的图像显示在终端的屏幕上。

3.一种实现文件纠偏的方法，其包括：利用通信终端所带摄像头拍摄文件，产生文件图像；

对产生的所述图像进行二值处理，形成黑白二值图像；

选择要进行倾斜校正的文本区域作为参考区域，并把选择的参考文本区域保存下来；

对所述参考文本区域进行横向膨胀处理；

根据所选择的参考文本区域，计算图像的倾斜角度，并作为整个图像的倾斜角度；

根据计算出的图像倾斜角度，对整个图像进行纠偏处理得到校正后的图像，通过如下方法对所述图像的倾斜角度进行校正：

设文件图像的宽度为M，高度为N，其在竖直方向的最大偏移值为：

在水平方向的最大偏移值为：

则对应于第i行的像素点的在水平方向的偏移值为：

$\mathrm{\Δ}{X}_i=\frac{i(X_{\mathrm{off}}+1)}{N}$

对应于第j列的像素点在竖直方向的偏移值为：

$\mathrm{\Δ}{Y}_j=\frac{j(Y_{\mathrm{off}}+1)}{M}$

校正后的像素点的坐标(X′，Y′)与校正前的像素点坐标(X，Y)的对应关系为：X′＝X+ΔX，Y′＝Y+ΔY。

4.如权利要求3所述的方法，其特征在于：实现文件纠偏的装置的图像显示模块把所述经过纠偏处理和校正的文件图像显示在终端的屏幕上。

5.如权利要求3所述的方法，其特征在于：根据采集到的所述参考文本区域的上边缘点采用最小距离平方拟合上边缘点所在的直线，得到其斜率和倾斜角度，即为整个文件图像的倾斜角度。

Images