CN109558846A - 基于ocr模板归一化提升自定义模板识别率方法及设备 - Google Patents

Abstract

本发明涉及基于OCR模板归一化提升自定义模板识别率方法，包括如下步骤：获取待识别图和创建模板图，生成一模板特征图；对待识别图和模板特征图分别进行图像识别，遍历所有待识别图中的字符，则记录字符组；选取至少四个字符组，利用透视变换公式，计算出透视变换矩阵；用透视变换矩阵计算待识别图中各像素点变换后的像素值，从而得到透视变换图像，实现图像归一化。本发明通过提取待识别图和模板图上对应特征点，计算透视变换矩阵，用透视变换矩阵计算待识别图中各像素点变换后的像素值，从而得到透视变换图像，解决了待识别图中存在的格式差异问题，实现图像归一化。

Description

基于OCR模板归一化提升自定义模板识别率方法及设备

技术领域

本发明涉及一种基于OCR模板归一化提升自定义模板识别率的方法及设备，属于票据自动识别领域。

背景技术

使用固定格式排版的票据，打印出来的纸质票据也会有固定格式，请参阅图1，比如增值税专用***，都具有“购买方”、“密码区”、“销售方”、“备注”等固定区域。因此，票据也有需要识别的套打区域，这些套打区域也有相对固定的位置。

使用模板自动识别，就是根据某种具有固定格式的票据，设计出一套可重复使用的模板，这种模板包含特定标记中每个需要识别区域的位置和区域的宽、高。按照模板中的位置对扫描或者拍摄后得到的电子版票据进行裁剪，得到精确区域的图像，再自动进行图像识别和OCR识别，可以提高记账处理效率。

在实际使用模板进行票据自动识别时，扫描或者拍摄后得到的票据影像与原始票据图像会存在差异。比如移动拍照时角度、高度、摄像头参数不同，会导致拍照出来的票据内容位置偏移问题。位置偏移，使用固定模板就会出现框不准、框不全等问题，进而裁剪不到正确的识别区域。

为了解决图像输入差异性问题，包括输入图像的尺寸，旋转角度，透视，偏移等问题，本文提出票据模板归一化方法，将待识别的票据图像，变换成标准样票相近的格式，使得需要识别的区域都能够比较准确的出现模板识别框内，以提高最终票据识别率。

发明内容

为了解决上述技术问题，本发明提供一种基于OCR模板归一化提升自定义模板识别率的方法，其解决了票据影像与标准样票之间的差异性问题，能够将待识别的票据影像变换成与标准样票相近的格式，使得需要识别的区域都能够比较准确的出现标准样票对应的模板识别框内，大大提高票据识别率。

本发明的技术方案一如下：

基于OCR模板归一化提升自定义模板识别率方法，包括如下步骤：

获取待识别图和创建模板图，所述待识别图为需要自动识别的票据影像，所述模板图为票据模板所生成的票据影像；

提取模板图中所有固定区域重新生成一模板特征图；

对待识别图和模板特征图分别进行图像识别，记录识别到的字符信息，包括字符和字符坐标；

遍历所有待识别图中的字符，搜索模板特征图中的字符，如果待识别图和模板特征图上的字符相同，则记录为一字符组，该字符组包含字符以及该字符在各自图像上的坐标；

选取至少四个字符组，利用透视变换公式，计算出透视变换矩阵；

用透视变换矩阵计算待识别图中各像素点变换后的像素值，从而得到透视变换图像，实现图像归一化。

更优地，所述图像识别采用OCR识别得到字符信息。

更优地，使用随机抽样一致性算法，选取至少四个字符组，利用透视变换

公式，计算出透视变换矩阵。

更优地，所述透视变换图像上任意一坐标的像素值的计算过程为：用透视变换图像上的点坐标乘上所述透视变换矩阵，求出该点在待识别图中的坐标，根据求出的坐标从待识别图中获取对应的像素值，将该像素值作为透视变换图像上的点坐标的像素值。

更优地，所述透视变换图像上任意一坐标的像素值的计算过程为：用透视变换图像上的点坐标乘上所述透视变换矩阵，求出该点在待识别图中的坐标，利用图像插值法，计算所述求出的坐标的像素值，将计算出的像素值作为透视变换图像上的点坐标的像素值；所述图像插值法包括最近邻插值法、双线性插值法和双立方插值法。

为了解决上述技术问题，本发明还提供一种基于OCR模板归一化提升自定义模板识别率的设备。

本发明技术方案二如下：

基于OCR模板归一化提升自定义模板识别率设备，包括存储器和处理器，所述存储器存储有指令，所述指令适于由处理器加载并执行以下步骤：

获取待识别图和创建模板图，所述待识别图为需要自动识别的票据影像，所述模板图为票据模板所生成的票据影像；

提取模板图中所有固定区域重新生成一模板特征图；

对待识别图和模板特征图分别进行图像识别，记录识别到的字符信息，包括字符和字符坐标；

遍历所有待识别图中的字符，搜索模板特征图中的字符，如果待识别图和模板特征图上的字符相同，则记录为一字符组，该字符组包含字符以及该字符在各自图像上的坐标；

选取至少四个字符组，利用透视变换公式，计算出透视变换矩阵；

用透视变换矩阵计算待识别图中各像素点变换后的像素值，从而得到透视变换图像，实现图像归一化。

更优地，所述图像识别采用OCR识别得到字符信息。

更优地，使用随机抽样一致性算法，选取至少四个字符组，利用透视变换公式，计算出透视变换矩阵。

更优地，所述透视变换图像上任意一坐标的像素值的计算过程为：用透视变换图像上的点坐标乘上所述透视变换矩阵，求出该点在待识别图中的坐标，根据求出的坐标从待识别图中获取对应的像素值，将该像素值作为透视变换图像上的点坐标的像素值。

更优地，所述透视变换图像上任意一坐标的像素值的计算过程为：用透视变换图像上的点坐标乘上所述透视变换矩阵，求出该点在待识别图中的坐标，利用图像插值法，计算所述求出的坐标的像素值，将计算出的像素值作为透视变换图像上的点坐标的像素值；所述图像插值法包括最近邻插值法、双线性插值法和双立方插值法。

本发明具有如下有益效果：

1、本发明通过提取待识别图和模板图上对应的特征点，计算透视变换矩阵，用透视变换矩阵计算待识别图中各像素点变换后的像素值，从而得到透视变换图像，解决了待识别图中存在的格式差异问题，实现图像归一化；

2、本发明利用票据上存在固定区域且该区域内的字符不会改变这一特征，以固定区域内的字符作为特征点，计算透视变换矩阵，得到的透视变换图像中，需要识别的区域都能比较准确地出现在模板识别框内最终实现需要识别的区域都能比较准确的出现在模板识别框内，以提高最终票据识别率；

3、本发明使用透视变换矩阵结合图像插值法计算待识别图中各像素点变换后的像素值，生成较少锯齿的透视变换图像，提高图像质量；

4、本发明还使用随机抽样一致性算法，过滤掉错误匹配的字符，得到正确对应的字符组，从而使透视变换矩阵计算得到的变换后的像素值更为准确。

附图说明

图1为现有技术中通过套打打印出来的票据示意图；

图2为本发明方法以中文字符作为特征点的流程图；

图3为本发明中模板图的示意图；

图4为本发明中待识别图的示意图；

图5为本发明中模板特征图的示意图；

图6为本发明中变换透视图像的示意图。

具体实施方式

下面结合附图和具体实施例来对本发明进行详细的说明。

实施例一

请参阅图2，一种基于OCR模板归一化提升自定义模板识别率的方法，包括如下步骤：

获取待识别图和创建模板图，请参阅图4，所述待识别图为需要自动识别的票据影像，所述待识别图可以通过扫描或拍摄得到；请参阅图3，所述模板图为票据模板所生成的票据影像；

提取模板图中所有固定区域重新生成一模板特征图，如图5所示；

对待识别图和模板特征图分别进行图像识别，记录识别到的字符信息，包括字符和字符坐标；现有常用的图像识别方法为采用OCR识别得到字符信息；

遍历所有待识别图中的字符，记为{字符(i)，坐标B(i)}，搜索模板特征图中的字符，记为{字符(j)，坐标A(j)}，如果字符相同：{字符(i)，字符(j)}，则记录为一字符组，该字符组包含字符以及该字符在各自图像上的坐标，{字符(i)，坐标B(i)，坐标A(j)}；

选取至少四个字符组，利用透视变换公式，计算出透视变换矩阵；由于两幅图中识别到的字符，存在一对多、多对一和多对多的情况，使用随机抽样一致性算法，能够过滤掉错误匹配的字符，得到正确对应的字符组；透视变换是指利用透视中心、像点、目标点三点共线的条件，按透视旋转定律使承影面(透视面)绕迹线(透视轴)旋转某一角度，破坏原有的投影光线束，仍能保持承影面上投影几何图形不变的变换。简单的说，透视变换是三维空间中两个平面之间的转换。透视变换的通用公式为：其中，u，v，w是变换前三维空间坐标，即待识别图中特征点的三维坐标，x’,y’,w’是变换后三维空间的坐标，即模板图中相对应的特征点坐标；通过投影到二维平面，即得到透视变换图像上的坐标x，y，其中，w＝1。所述为透视变换矩阵。

用透视变换矩阵计算待识别图中各像素点变换后的像素值，从而得到透视变换图像，实现图像归一化。具体地，在生成归一化图像的过程中，为了获取透视变换图像上的某个坐标上的像素值，用该点坐标乘上透视变化矩阵，可以求出该点在待识别图中的坐标，根据求出的坐标从待识别图中获取对应的像素值，将该像素值作为透视变换图像上的点坐标的像素值。但是求出的坐标值可能是小数，不是刚好在整数坐标上，因此，在这种情况下，需要使用图像插值法，计算所述求出的坐标的像素值，将计算出的像素值作为透视变换图像上的点坐标的像素值。对于求出的坐标值刚好为整数点的坐标，同样也可以采用图像插值法处理像素值。采用图像插值法处理像素值，可以获取较少锯齿的图像，即减少透视变换图像中的出现锯齿的概率。所述图像插值法包括最近邻插值法、双线性插值法和双立方插值法。

以双线性插值算法为例，计算所述求出的坐标位置周围与之距离最近的四个整数点坐标，利用该四个整数点坐标上的像素值，计算出该坐标的像素值，将计算出的像素值作为透视变换图像上的点坐标的像素值。

需要说明的是：线性插值法，可以简单的认为是预估两个相邻点之间位置的值。线性插值法假设两点间的像素值关系是线性的。假设插值点P在图像相邻两点A,B之间，点A到点B像素增量为dg＝g(b)-g(a)，则点P的像素值为g(p)＝g(a)+dg*|PA|。双线性插值，在数学上，双线性插值是对线性插值在二维直角网格上的扩展，用于对双变量函数(例如x和y)进行插值，其核心思想是在两个方向分别进行一次线性插值。

在本实施例中，利用票据上存在固定区域且该区域内的字符不会改变这一特征，以固定区域内的字符作为特征点，计算透视变换矩阵，得到的透视变换图像中，需要识别的区域都能比较准确地出现在模板识别框内(模板识别框即模板中固定区域对应的填写区域，例如固定区域为“开户行”，则填写区域为“中国建设银行....支行”所在区域)。以模板图作为标准票样，使用透视变换方法，可以将存在的尺寸、旋转、透视、偏移等格式差异问题的待识别图转换成透视变换图像，从而使透视变换图像与模板图格式一致，实现图像归一化，从而最终提升待识别图的识别效果。

现结合具体票样说明实施过程：

创建模板图，如图3所示；输入待识别图，如图4所示，图4中的图像存在倾斜、尺寸不一致的问题；

用模板图中所有的固定区域重新生成一张模板特征图，如图5所示(图5仅示出部分固定区域)对模板特征图和待识别图分别进行OCR文字识别，记录识别到的字符信息，包括字符和字符坐标；

例如，模板图中“生成时间”四个字坐标分别为

生：x1＝157,y1＝186,x2＝770,y2＝800；

成：x1＝189,y1＝218,x2＝770,y2＝799；

时：x1＝222,y1＝250,x2＝770,y2＝800；

间：x1＝254,y1＝281,x2＝770,y2＝800；

待识别图中“生成时间”四个字坐标分别为

生：x1＝332,y1＝358,x2＝769,y2＝793；

成：x1＝360,y1＝386,x2＝768,y2＝792；

时：x1＝388,y1＝413,x2＝766,y2＝791；

间：x1＝416,y1＝440,x2＝766,y2＝791；

模板图中“金额”两个字坐标分别为：

金：x1＝188,y1＝219,x2＝316,y2＝344；

额：x1＝247,y1＝277,x2＝317,y2＝346；

待识别图中“金额”两个字坐标分别为：

金：x1＝345,y1＝371,x2＝401,y2＝424；

额：x1＝396,y1＝421,x2＝399,y2＝423；

字符相同的，记为字符组，以“生”字为例，{生，(x1＝332,y1＝358,x2＝769,y2＝793)，(x1＝188,y1＝219,x2＝316,y2＝344)}；

使用随机抽样一致性算法，至少选出四个中文字符信息，计算出透视变换矩阵；现以C语言代码完成透视变换为例，具体过程如下：

如图6所示，图6示出了经过透视变换矩阵、双线性插值算法计算进行图像归一化后，得到的透视变换图像。该透视变换图像与标准票样相近似，需要识别的区域都能够比较准确的出现标准样票对应的模板识别框内，大大提高最终票据识别率。

实施例二

一种基于OCR模板归一化提升自定义模板识别率的设备，包括存储器和处理器，所述存储器存储有指令，所述指令适于由处理器加载并执行以下步骤，请参阅图2：

获取待识别图和创建模板图，请参阅图4，所述待识别图为需要自动识别的票据影像，所述待识别图可以通过扫描或拍摄得到；请参阅图3，所述模板图为票据模板所生成的票据影像；

提取模板图中所有固定区域重新生成一模板特征图，如图5所示；

对待识别图和模板特征图分别进行图像识别，记录识别到的字符信息，包括字符和字符坐标；现有常用的图像识别方法为采用OCR识别得到字符信息；

遍历所有待识别图中的字符，记为{字符(i)，坐标B(i)}，搜索模板特征图中的字符，记为{字符(j)，坐标A(j)}，如果字符相同：{字符(i)，字符(j)}，则记录为一字符组，该字符组包含字符以及该字符在各自图像上的坐标，{字符(i)，坐标B(i)，坐标A(j)}；

选取至少四个字符组，利用透视变换公式，计算出透视变换矩阵；由于两幅图中识别到的字符，存在一对多、多对一和多对多的情况，使用随机抽样一致性算法，能够过滤掉错误匹配的字符，得到正确对应的字符组；透视变换是指利用透视中心、像点、目标点三点共线的条件，按透视旋转定律使承影面(透视面)绕迹线(透视轴)旋转某一角度，破坏原有的投影光线束，仍能保持承影面上投影几何图形不变的变换。简单的说，透视变换是三维空间中两个平面之间的转换。透视变换的通用公式为：其中，u，v，w是变换前三维空间坐标，即待识别图中特征点的三维坐标，x’,y’,w’是变换后三维空间的坐标，即模板图中相对应的特征点坐标；通过投影到二维平面，即得到透视变换图像上的坐标x，y，其中，w＝1。所述为透视变换矩阵。

用透视变换矩阵计算待识别图中各像素点变换后的像素值，从而得到透视变换图像，实现图像归一化。具体地，在生成归一化图像的过程中，为了获取透视变换图像上的某个坐标上的像素值，用该点坐标乘上透视变化矩阵，可以求出该点在待识别图中的坐标，根据求出的坐标从待识别图中获取对应的像素值，将该像素值作为透视变换图像上的点坐标的像素值。但是求出的坐标值可能是小数，不是刚好在整数坐标上，因此，在这种情况下，需要使用图像插值法，计算所述求出的坐标的像素值，将计算出的像素值作为透视变换图像上的点坐标的像素值。对于求出的坐标值刚好为整数点的坐标，同样也可以采用图像插值法处理像素值。采用图像插值法处理像素值，可以获取较少锯齿的图像，即减少透视变换图像中的出现锯齿的概率。所述图像插值法包括最近邻插值法、双线性插值法和双立方插值法。

以双线性插值算法为例，计算所述求出的坐标位置周围与之距离最近的四个整数点坐标，利用该四个整数点坐标上的像素值，计算出该坐标的像素值，将计算出的像素值作为透视变换图像上的点坐标的像素值。

需要说明的是：线性插值法，可以简单的认为是预估两个相邻点之间位置的值。线性插值法假设两点间的像素值关系是线性的。假设插值点P在图像相邻两点A,B之间，点A到点B像素增量为dg＝g(b)-g(a)，则点P的像素值为g(p)＝g(a)+dg*|PA|。双线性插值，在数学上，双线性插值是对线性插值在二维直角网格上的扩展，用于对双变量函数(例如x和y)进行插值，其核心思想是在两个方向分别进行一次线性插值。

在本实施例中，利用票据上存在固定区域且该区域内的字符不会改变这一特征，以固定区域内的字符作为特征点，计算透视变换矩阵，得到的透视变换图像中，需要识别的区域都能比较准确地出现在模板识别框内(模板识别框即模板中固定区域对应的填写区域，例如固定区域为“开户行”，则填写区域为“中国建设银行....支行”所在区域)。以模板图作为标准票样，使用透视变换方法，可以将存在的尺寸、旋转、透视、偏移等格式差异问题的待识别图转换成透视变换图像，从而使透视变换图像与模板图格式一致，实现图像归一化，从而最终提升待识别图的识别效果。

如图6所示，图6示出了经过透视变换矩阵、双线性插值算法计算进行图像归一化后，得到的透视变换图像。该透视变换图像与标准票样相近似，需要识别的区域都能够比较准确的出现标准样票对应的模板识别框内，大大提高最终票据识别率。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.基于OCR模板归一化提升自定义模板识别率方法，其特征在于，包括如下步骤：

获取待识别图和创建模板图，所述待识别图为需要自动识别的票据影像，所述模板图为票据模板所生成的票据影像；

提取模板图中所有固定区域重新生成一模板特征图；

对待识别图和模板特征图分别进行图像识别，记录识别到的字符信息，包括字符和字符坐标；

遍历所有待识别图中的字符，搜索模板特征图中的字符，如果待识别图和模板特征图上的字符相同，则记录为一字符组，该字符组包含字符以及该字符在各自图像上的坐标；

选取至少四个字符组，利用透视变换公式，计算出透视变换矩阵；

用透视变换矩阵计算待识别图中各像素点变换后的像素值，从而得到透视变换图像，实现图像归一化。

2.根据权利要求1所述的基于OCR模板归一化提升自定义模板识别率方法，其特征在于：所述图像识别采用OCR识别得到字符信息。

3.根据权利要求1所述的基于OCR模板归一化提升自定义模板识别率方法，其特征在于：使用随机抽样一致性算法，选取至少四个字符组，利用透视变换公式，计算出透视变换矩阵。

4.根据权利要求1所述的基于OCR模板归一化提升自定义模板识别率方法，其特征在于：所述透视变换图像上任意一坐标的像素值的计算过程为：用透视变换图像上的点坐标乘上所述透视变换矩阵，求出该点在待识别图中的坐标，根据求出的坐标从待识别图中获取对应的像素值，将该像素值作为透视变换图像上的点坐标的像素值。

5.根据权利要求1所述的基于OCR模板归一化提升自定义模板识别率方法，其特征在于：所述透视变换图像上任意一坐标的像素值的计算过程为：用透视变换图像上的点坐标乘上所述透视变换矩阵，求出该点在待识别图中的坐标，利用图像插值法，计算所述求出的坐标的像素值，将计算出的像素值作为透视变换图像上的点坐标的像素值；所述图像插值法包括最近邻插值法、双线性插值法和双立方插值法。

6.基于OCR模板归一化提升自定义模板识别率设备，其特征在于，包括存储器和处理器，所述存储器存储有指令，所述指令适于由处理器加载并执行以下步骤：

获取待识别图和创建模板图，所述待识别图为需要自动识别的票据影像，所述模板图为票据模板所生成的票据影像；

提取模板图中所有固定区域重新生成一模板特征图；

对待识别图和模板特征图分别进行图像识别，记录识别到的字符信息，包括字符和字符坐标；

遍历所有待识别图中的字符，搜索模板特征图中的字符，如果待识别图和模板特征图上的字符相同，则记录为一字符组，该字符组包含字符以及该字符在各自图像上的坐标；

选取至少四个字符组，利用透视变换公式，计算出透视变换矩阵；

用透视变换矩阵计算待识别图中各像素点变换后的像素值，从而得到透视变换图像，实现图像归一化。

7.根据权利要求5所述的基于OCR模板归一化提升自定义模板识别率设备，其特征在于：所述图像识别采用OCR识别得到字符信息。

8.根据权利要求5所述的基于OCR模板归一化提升自定义模板识别率设备，其特征在于：使用随机抽样一致性算法，选取至少四个字符组，利用透视变换公式，计算出透视变换矩阵。

9.根据权利要求5所述的基于OCR模板归一化提升自定义模板识别率设备，其特征在于：所述透视变换图像上任意一坐标的像素值的计算过程为：用透视变换图像上的点坐标乘上所述透视变换矩阵，求出该点在待识别图中的坐标，根据求出的坐标从待识别图中获取对应的像素值，将该像素值作为透视变换图像上的点坐标的像素值。

10.根据权利要求5所述的基于OCR模板归一化提升自定义模板识别率设备，其特征在于：所述透视变换图像上任意一坐标的像素值的计算过程为：用透视变换图像上的点坐标乘上所述透视变换矩阵，求出该点在待识别图中的坐标，利用图像插值法，计算所述求出的坐标的像素值，将计算出的像素值作为透视变换图像上的点坐标的像素值；所述图像插值法包括最近邻插值法、双线性插值法和双立方插值法。