CN108875721A - 一种多规格文本协同定位和提取方法 - Google Patents

Abstract

本发明涉及一种多规格文本协同定位和提取方法，包括如下步骤：步骤110获取文本图像数据；步骤120、图像归一化操作；步骤130、分离图像背景信息和需要采集的前景信息；步骤140、全局协同搜索，提取出预设格式的各个文本块区域；步骤150、局部优化搜索，在小范围内逐个优化各个文本区域的位置；步骤160输出各个文本块定位结果，提供给后续单字切分和识别模块。本发明利用图像处理、目标检测、协同搜索、局部优化等技术，满足格式化数据采集的要求，克服某些文本块退化后的漏检和错检问题并最大程度避免不必要的文本和噪声信息的干扰，提高格式化文本信息采集的准度和精度。

Description

一种多规格文本协同定位和提取方法

技术领域

本发明属于图像处理和目标检测技术领域，具体涉及一种多规格文本协同定位和提取方法。

背景技术

近年来，随着数字成像设备的普及和深度学习算法的广泛应用，文本识别软件不断涌现，如汉王、腾讯云识别、百度云识别等，文本识别精度不断提升。但是，这些文本识别软件是通用识别，只要图像中出现的文字都会尝试识别，除了返回识别结果和坐标位置，很难对识别结果进行分类归集，不能直接满足有格式要求的文本识别和数字化采集的应用需求。

发明内容

本发明提供一种多规格文本协同定位和提取方法以解决目前存在的文本识别软件很难对识别结果进行分类归集，不能直接满足有格式要求的文本识别和数字化采集的应用需求的问题。

本发明的具体技术方案如下：

一种多规格文本协同定位和提取方法，其特征在于，所述方法包括如下步骤：步骤110，获取文本图像数据；

步骤120，图像归一化操作；图像归一化的方法包括，直线检测、旋转变换、尺度变换、亮度均衡，通过归一化操作得到大小、亮度、方向一致的文本图像；

步骤130，在步骤120之后，分离图像背景信息和需要采集的前景信息；可通过色彩通道、亮度、颜色比例来分离背景信息和需要采集的前景信息；

步骤140，全局协同搜索；在步骤130确定前景信息后，加载预先设定的格式化模板，通过全局协同搜索，得到有效信息最大化的位置，从而提取出预设格式的各个文本块区域；

步骤150，局部优化搜索；在步骤140确定全局的格式文本区域后，在小范围内逐个优化各个文本块区域的位置；

步骤160，输出；在步骤150局部优化搜索后，输出各个文本块，提供给后续单字切分和识别模块，文本定位和提取结束。

进一步，步骤110获取图像数据的方法可以为以下五种方法之一：

方法1是用智能手机拍摄得到的图像；

方法2是用扫描仪得到的图像数据；

方法3是用数码相机拍摄得到的图像；

方法4是打开一个预先存在的包含图像数据的文件夹，批处理该文件夹内所有的图像文件；

方法5是打开一个预先存在的图像文件，读取该文件中的图像数据。

进一步，步骤120图像归一化操作具体包括如下步骤：

步骤210，采用直线检测的方法检测出文本图像的直线，选取长度超过阈值的直线作为考察对象；

步骤220，求取这些直线与水平线的平均夹角作为旋转角，旋转图像使得文本行处于水平位置；

步骤230，在旋转后的图像中，提取包围感兴趣目标的最大矩形，即感兴趣区域ROI，根据最大矩形进行尺度变换，使得ROI的大小保持一致；

步骤240，求取ROI内所有像素的平均亮度，并归一化到设定的平均亮度值，从而完成图像的归一化操作。

进一步，步骤130分离图像背景信息和需要采集的前景信息，具体包括如下步骤：

步骤310，结合所处理文本图像的特性，对于背景信息进行建模，综合比例图像、亮度图像、色调图像上的二值化结果，提取出图像的背景图；

步骤320，在背景图上，过滤掉孤立点；

步骤330，在步骤320的基础上，执行膨胀操作，得到完整的背景图；

步骤340，将原图与背景图做差，分离出所需采集的前景文本。

进一步，步骤140全局协同搜索，具体包括如下步骤：

步骤410，加载预先设立的格式文本模板，确定所采集文本的可能区域位置、长度、大小以及在所有区域中的加权比重；

步骤420，扣除干扰噪声经常出现的区域；

步骤430，在x和y两方向进行全局协同搜索，使得在预设的区域内出现的前景信息加权总和达到最大值。

本发明的有益效果为：

1.与常用的全部识别后再去归类方法相比，本发明根据所需采集的格式模板，可以在文本识别前预先知道各个文本块的归属，有助于预先判断出所需识别的文本是数字串、中文串、英文串以及标点符号等，从而为字符切分和识别提供了有用的先验信息，也为识别结果提供了一种可能的校验手段。

2.与常见的逐个文本块单独定位和提取方法相比，本发明提出的多规格文本协同的定位和提取方法有助于所需采集文本信息的最大化，通过整体协同的方式克服了某些文本块退化后的漏检和错检问题，在提升效率的同时也提升了定位和提取的准确度。

3.本发明利用多规格文本协同的定位和提取方法，尽可能地只采集需要采集的信息，最大程度上避免了不必要的文本和噪声信息的干扰，从而提高格式化文本信息采集的准度和精度。

附图说明

图1为一种多规格文本协同定位和提取方法的总体流程图。

具体实施方式

以下结合附图对本发明的优选实施例进行详细描述：

如图1所示，本发明为一种多规格文本协同定位和提取方法，所述方法包括如下步骤：

步骤110，获取文本图像数据；获取图像数据的方法可以为以下五种之一：

方法1是用智能手机拍摄得到的图像；方法2是用扫描仪得到的图像数据；方法3是用数码相机拍摄得到的图像；方法4是打开一个预先存在的包含图像数据的文件夹，批处理该文件夹内所有的图像文件；方法5是打开一个预先存在的图像文件，读取该文件中的图像数据。

步骤120，通过直线检测、旋转变换、尺度变换、亮度均衡等方法对所处理的文本图像进行归一化操作，得到大小、亮度、方向一致的文本图像；所述归一化操作的具体步骤如下：

步骤210，采用直线检测的方法检测出文本图像的直线，选取长度超过阈值的直线作为考察对象。

步骤220，求取这些直线与水平线的平均夹角作为旋转角，旋转图像使得文本行处于水平位置。

步骤230，在旋转后的图像中，提取包围感兴趣目标(ROI)的最大矩形，根据最大矩形进行尺度变换，使得ROI的大小保持一致。

步骤240，求取ROI内所有像素的平均亮度，并归一化到设定的平均亮度值，从而完成图像的归一化操作。

步骤130，在步骤120的归一化操作后，通过色彩通道、亮度、颜色比例等分离背景信息和需要采集的前景信息，其具体步骤如下：

步骤310，结合所处理文本图像的特性，对于背景信息进行建模，综合比例图像、亮度图像、色调图像上的二值化结果，提取出图像的背景图。

步骤320，在背景图上，过滤掉孤立点。

步骤330，在步骤320的基础上，执行膨胀操作，得到完整的背景图。

步骤340，将原图与背景图做差，分离出所需采集的前景文本。

步骤140，在步骤130确定前景信息后，加载预先设定的格式化模板，通过全局协同搜索，得到有效信息最大化的位置，从而提取出预设格式的各个文本块区域；所述全局协同搜索包括如下步骤：

步骤410，加载预先设立的格式文本模板，确定所采集文本的可能区域位置、长度、大小以及在所有区域中的加权比重。

步骤420，扣除干扰噪声经常出现的区域。

步骤430，在x和y两方向进行全局协同搜索，使得在预设的区域内出现的前景信息加权总和达到最大值。

步骤150，在步骤140确定全局的格式文本区域后，在小范围内逐个优化各个文本块区域的位置；

步骤160，在优化各个子文本区域后，输出各个文本块供后续单字切分和识别模块，多规格文本协同定位和提取结束。

为了实现本发明，需要具备如下硬件条件：该设备中需要有一般的运算能力和存储空间，包括一定频率的中央处理器单元，有一定用来运算的内存和用来存储的硬盘，以及***软件和应用软件。如果需要通过数码相机、智能手机或扫描仪扫描来得到图像数据，还需配备数码相机、智能手机或扫描仪。如果通过云计算和云存储，还需要连接到网络。

综合上述，本发明提出的一种多规格文本协同定位和提取方法，利用图像处理、目标检测、协同搜索、局部优化等技术，在对文本块进行定位和提取的同时，可以得到文本块的语义归属，从而方便多规格文本的归集和归档，满足格式化数据采集的要求。本发明方法有助于所需采集文本信息的最大化，通过整体协同的方式克服了某些文本块退化后的漏检和错检问题；另外，本发明方法尽可能地只采集需要采集的信息，最大程度上避免了不必要的文本和噪声信息的干扰，从而提高格式化文本信息采集的准度和精度。

以下举例说明：

实施例1

例如，在一般的计算机上，对扫描得到的医院门急诊票据图像进行处理，使用本发明所示的方法，经过步骤120图像归一化后票据的角度得到修正，票据的亮度、方向一致的，接着经过步骤130前景背景信息分离后可得到票据上关于医院名称、门诊号、诊费、章等票据上的文字及图像等前景信息，再经过步骤 140全局协同搜索和步骤150局部优化后可得到票据上的相应位置上的需要提取的信息，多规格文本定位和提取结果，最后经过步骤160输出。

实施例2

在一般的计算机上，对扫描得到的医院住院票据图像进行处理，使用本发明所示的方法，经过步骤120图像归一化后得到大小、亮度、方向一致的图像，接着经过步骤130前景背景信息分离后可得到住院票据上的关键信息，例如医院名称、性别、费用明细、日期等，再经过步骤140全局协同搜索和步骤150 局部优化后可得到票据上关键信息相对应的位置，如票据的抬头、姓名、性别、诊费明细等多规格文本定位和提取结果，最后经过步骤160输出。

本申请的描述和应用是说明性的，并非想将本发明的范围限制在上述实施例中。本领域技术人员应该清楚的是，在不脱离本发明的精神或本质特征的情况下，本发明可以以其它形式、结构、布置、比例，以及用其它组件、材料和部件来实现。在不脱离本发明范围和精神的情况下，可以对这里披露的实施例进行其它变形和改变。

Claims (5)

1.一种多规格文本协同定位和提取方法，其特征在于，所述方法包括如下步骤：

步骤110，获取文本图像数据；

步骤120，图像归一化操作；图像归一化的方法包括，直线检测、旋转变换、尺度变换、亮度均衡，通过归一化操作得到大小、亮度、方向一致的文本图像；

步骤130，在步骤120之后，分离图像背景信息和需要采集的前景信息；可通过色彩通道、亮度、颜色比例来分离背景信息和需要采集的前景信息；

步骤140，全局协同搜索；在步骤130确定前景信息后，加载预先设定的格式化模板，通过全局协同搜索，得到有效信息最大化的位置，从而提取出预设格式的各个文本块区域；

步骤150，局部优化搜索；在步骤140确定全局的格式文本区域后，在小范围内逐个优化各个文本块区域的位置；

步骤160，输出；在步骤150局部优化搜索后，输出各个文本块，提供给后续单字切分和识别模块，文本定位和提取结束。

2.根据权利要求1所述的多规格文本协同定位和提取方法，其特征在于：

步骤110获取图像数据的方法可以为以下五种方法之一：

方法1是用智能手机拍摄得到的图像；

方法2是用扫描仪得到的图像数据；

方法3是用数码相机拍摄得到的图像；

方法4是打开一个预先存在的包含图像数据的文件夹，批处理该文件夹内所有的图像文件；

方法5是打开一个预先存在的图像文件，读取该文件中的图像数据。

3.根据权利要求1或2所述的多规格文本协同定位和提取方法，其特征在于：步骤120图像归一化操作具体包括如下步骤：

步骤210，采用直线检测的方法检测出文本图像的直线，选取长度超过阈值的直线作为考察对象；

步骤220，求取这些直线与水平线的平均夹角作为旋转角，旋转图像使得文本行处于水平位置；

步骤230，在旋转后的图像中，提取包围感兴趣目标的最大矩形，即感兴趣区域ROI，根据最大矩形进行尺度变换，使得ROI的大小保持一致；

步骤240，求取ROI内所有像素的平均亮度，并归一化到设定的平均亮度值，从而完成图像的归一化操作。

4.根据权利要求3所述的多规格文本协同定位和提取方法，其特征在于：

步骤130分离图像背景信息和需要采集的前景信息，具体包括如下步骤：

步骤310，结合所处理文本图像的特性，对于背景信息进行建模，综合比例图像、亮度图像、色调图像上的二值化结果，提取出图像的背景图；

步骤320，在背景图上，过滤掉孤立点；

步骤330，在步骤320的基础上，执行膨胀操作，得到完整的背景图；

步骤340，将原图与背景图做差，分离出所需采集的前景文本。

5.根据权利要求4所述的多规格文本协同定位和提取方法，其特征在于：

步骤140全局协同搜索，具体包括如下步骤：

步骤410，加载预先设立的格式文本模板，确定所采集文本的可能区域位置、长度、大小以及在所有区域中的加权比重；

步骤420，扣除干扰噪声经常出现的区域；

步骤430，在x和y两方向进行全局协同搜索，使得在预设的区域内出现的前景信息加权总和达到最大值。