CN109766750A - 一种财务报表的表格线定位检测方法 - Google Patents

Abstract

本发明公开了一种财务报表的表格线定位检测方法，包括：获取表格图像、表格图像预处理、字符高度获取、表格图像缩放、红章去除处理、表格线增强处理、自适应二值化处理、干扰线的去除与合并和表格的重构与修复。本发明主要应用于财务报表的表格线检测，其保证了表格线提取的完整性及与原图的一致性，适应轻微弯取、局部断裂、噪声干扰情况下表格新的定位检测；自动提取检验报告表格里的关键信息并识别，以满足财务报表到标准表格的映射、保存和校验。

Description

一种财务报表的表格线定位检测方法

技术领域

本发明涉及财务报表的人工智能识别领域，特别涉及一种财务报表的表格线定位检测方法。

背景技术

随着社会经济的发展和中国城镇化的推进，越来越多的人进入城市就业，越来越多的公司诞生；同时随着互联网技术的发展，电子交易，数字交易已经普及；对于公司、银行、证卷交易产生越来越多的财务表格单据及信息。传统的财务报表统计、校对、审计都全靠人工进行；速度慢、效率底，很难满足越来越多的表格单据信息的识别、入库及自动校对。

如何快速准确的对财务等表格单据进行智能识别、核对，同时减少人工成本，是急需解决的问题；而其中表格线检测的完整性和准确性，对于表格重建及表格的识别有着重要的作用。

发明内容

本发明的目的是：提出一种财务报表的表格线定位检测方法，其能够重构表格，自动提取检验报告表格里的关键信息并识别，以满足财务报表到标准表格的映射、保存和校验。

本发明解决其技术问题所采用的技术方案是：

一种财务报表的表格线定位检测方法，包括如下步骤：

S1、获取表格图像：将手机拍摄或扫描表格图像I，并上传至服务器；

S2、表格图像预处理：将所述表格图像I1进行缩放处理、灰度化处理和图像增强预处理，最终获得表格图像I1；再对所述表格图像I1进行自适应二值化处理得到表格图像I2；再对所述表格图像I2进行图像倾斜校正处理，得到表格图像M；

S3、字符高度获取：对所述表格图像I2进行连通域查找，并剔除非字符连通域，对获取的字符连通域分别计算处理,并取其外接矩形框的高度及宽度最大值的平均值，作为字符高度h1；根据S2中的计算的缩放比例，用字符高度h1反算出实际字符高度h；

S4、表格图像缩放：根据实际字符高度h，判断所述表格图像M是否可以缩放，若实际字符高度h大于28时，则将其缩放至20个像素高度，得到表格图像M2；

S5、红章去除处理：根据红章特征及表格线为灰度图特征对所述表格图像M2进行红章去除处理，获得红章去除后的表格图像M3；

S6、表格线增强处理：将所述表格图像M3进行灰度变换，获得单通道表格图像M4；根据获取的所述实际字符高度h构造自适应大小的水平结构元素和竖直结构元素，并分别对所述表格图像M4进行卷积，达到增强图像中水平及竖直线的目的；

S7、自适应二值化处理：根据所述字符高度h2来设置自适应二值化函数的核尺寸，依据计算获取的背景像素值和目标像素值设置自适应二值化的相应阈值，来分别实现水平及竖直方向增强后图像的二值图；

S8、干扰线的去除与合并：用数学形态学的方法来进一步检测水平线和竖直线，过滤掉部分非表格线干扰；对水平和竖直短直线进行筛选过滤与合并；

S9、表格的重构与修复：将水平和竖直线图相加重建表格，并根据表格相交特征修正表格；检测重建表格的各个交点，并获取每个单元格的四个坐标点，采用基于深度学习模型的LSTM+CTC方法对字符进行识别；依据标准映射表，重构表格并进行保存、校验和统计。

进一步，所述步骤S2中图像倾斜校正处理的具体步骤如下：

S21、采用Sobel边缘检测算法对二值化后的表格图像进行边缘提取；

S22、采用Hough直线检测算法获得表格水平边缘与垂直边缘倾斜角度；

S23、根据所述水平及垂直边缘倾斜角度进行放射变换，获取校正后的表格图像。

进一步，所述步骤S5中红章去除处理的具体步骤如下：

S51、获取所述表格图像M2的自适应二值图像B1，通过所述自适应二值图像B1及所述表格图像M2来获取背景平均灰度值，目标平均灰度及最大灰度值；此处对于所述自适应二值图像B1目标为字符及表格线，其它情况视为背景；

S52、将所述表格图像M2转换为HSV图像H，由于红章变红其中r通道最大，而目标像素r、g、b相差不大且值相对小，对所述HSV图像H进行如下遍历检测：

1)当该点h<20或h>160，并且s>30，v>30，(b+g+r)>200，abs(b-g)+abs(b-r)+abs(g-r)>120判断此点为红色；

2)针对该点分别向上下左右四个方向，遍历15个像素点；上下用来解决竖直线与红章重合，左右用来解决水平线与红章重合；对遍历到的像素点统计其(r+g+b)的平均值得ave_hori，ave_ver；

3)当ave_hori或者ave_ver小于平均背景值时，说明当前点为目标像素点与红章重合区域点，不进行去除；否则将该点进行去除，填充为渐变背景色。

进一步，所述步骤S6中构造自适应大小的水平结构元素和竖直结构元素的方法如下：

S61、对于水平线，其卷积核高度为1宽度为(3*h)/2*2+1；

S62、对于竖直线，设置卷积核为宽度为1,高度为h。

进一步，所述步骤S8中水平和竖直短直线的筛选过滤与合并的具体步骤如下：

S81、在获得的表格水平线中，检测直线，并获取平均行高，对紧邻的明显可以认为是在一条直线上的短直线合并；对距离过小，小于一个字符高度，并且其上下的水平线间距与平均行高接近时，则剔除本条线；判断直线y轴近似的水平线，其水平间距接近则合并；

S82、在获得的表格竖直线中，检测直线，在竖直方向紧邻的明显可以认为是在一条直线上的短直线合并；判断直线x轴近似的竖直线，其竖直间距接近则合并；

S83、孤立极短的直线是干扰线加以剔除。

进一步，所述步骤S9中修正表格的具体步骤包括：

S91:把处理好的表格水平线图和表格竖直线图相加得到初步的表格图；

S92:表格水平和竖线相交，会有9种相交特征，根据这9种相交特征修正表格线。

本发明的有益效果是：本发明主要应用于财务报表的表格线检测，其保证了表格线提取的完整性及与原图的一致性，适应轻微弯取、局部断裂、噪声干扰情况下表格新的定位检测；从而可以识别移动设备(如手机、Pad)拍摄上传的图片，并且同时支持扫描仪设备扫描的图像；保证了表格重建的准确性，进而保证了识别的准确率；将财务报表识别应用扩展到移动端，极大的扩展了其应用空间，可以更灵活、高效的完成财务报表的识别、保存、校验。

附图说明

图1是本发明的表格线检测流程示意图。

图2是表格线的9种相交特征示意图。

图3是表格线修复示意图。

具体实施方式

本发明对于表格图像的处理步骤如图1所示，包括：获取表格图像、表格图像预处理、字符高度获取、表格图像缩放、红章去除处理、表格线增强处理、自适应二值化处理、干扰线的去除与合并和表格的重构与修复。

以下对于各个处理步骤进行详细讲解：

获取表格图像：可采用手机拍摄或扫描表格图像I，并上传至服务器，以便于处理***获取表格图像。

表格图像预处理：将所述表格图像I1进行缩放处理、灰度化处理和图像增强预处理，最终获得表格图像I1；再对所述表格图像I1进行自适应二值化处理得到表格图像I2；再对所述表格图像I2进行图像倾斜校正处理，得到表格图像M；

其中，图像倾斜校正处理的具体步骤如下：

S21、采用Sobel边缘检测算法对二值化后的表格图像进行边缘提取；

S22、采用Hough直线检测算法获得表格水平边缘与垂直边缘倾斜角度；

S23、根据所述水平及垂直边缘倾斜角度进行放射变换，获取校正后的表格图像。

字符高度获取：对所述表格图像I2进行连通域查找，并剔除非字符连通域，对获取的字符连通域分别计算处理,并取其外接矩形框的高度及宽度最大值的平均值，作为字符高度h1；根据S2中的计算的缩放比例，用字符高度h1反算出实际字符高度h。

表格图像缩放：根据实际字符高度h，判断所述表格图像M是否可以缩放，若实际字符高度h大于28时，则将其缩放至20个像素高度，得到表格图像M2。

红章去除处理：根据红章特征及表格线为灰度图特征对所述表格图像M2进行红章去除处理，获得红章去除后的表格图像M3；

其中，红章去除处理的具体步骤如下：

S51、获取所述表格图像M2的自适应二值图像B1，通过所述自适应二值图像B1及所述表格图像M2来获取背景平均灰度值，目标平均灰度及最大灰度值；此处对于所述自适应二值图像B1目标为字符及表格线，其它情况视为背景；

S52、将所述表格图像M2转换为HSV图像H，由于红章变红其中r通道最大，而目标像素r、g、b相差不大且值相对小，对所述HSV图像H进行如下遍历检测：

1)当该点h<20或h>160，并且s>30，v>30，(b+g+r)>200，abs(b-g)+abs(b-r)+abs(g-r)>120判断此点为红色；

2)针对该点分别向上下左右四个方向，遍历15个像素点；上下用来解决竖直线与红章重合，左右用来解决水平线与红章重合；对遍历到的像素点统计其(r+g+b)的平均值得ave_hori，ave_ver；

3)当ave_hori或者ave_ver小于平均背景值时，说明当前点为目标像素点与红章重合区域点，不进行去除；否则将该点进行去除，填充为渐变背景色。

该方法可在去除红章干扰的同时，有效保留目标像素点为水平直线或竖直直线上的像素点时不被去除；经测试，该方法同时可极大提高目标汉字的完整性。

表格线增强处理：将所述表格图像M3进行灰度变换，获得单通道表格图像M4；根据获取的所述实际字符高度h构造自适应大小的水平结构元素和竖直结构元素，并分别对所述表格图像M4进行卷积，达到增强图像中水平及竖直线的目的。

其中，构造自适应大小的水平结构元素和竖直结构元素的方法如下：

S61、对于水平线，其卷积核高度为1宽度为(3*h)/2*2+1；由于图像弯曲绝大多数为渐变方式，如此设计卷积核大小可在相对增强水平线特征(目标)，解决局部水平线断裂，消弱或去除干扰信息的情况下解决表格轻微弯取时表格线提取的完整性；

S62、对于竖直线，设置卷积核为宽度为1,高度为h。如此设计同样是在增强水平线目标，解决局部竖直线断裂，同时减弱其它干扰信息。

自适应二值化处理：根据所述字符高度h2来设置自适应二值化函数的核尺寸，依据计算获取的背景像素值和目标像素值设置自适应二值化的相应阈值，来分别实现水平及竖直方向增强后图像的二值图；

干扰线的去除与合并：用数学形态学的方法来进一步检测水平线和竖直线，过滤掉部分非表格线干扰；对水平和竖直短直线进行筛选过滤与合并。

其中，水平和竖直短直线的筛选过滤与合并的具体步骤如下：

S81、在获得的表格水平线中，检测直线，并获取平均行高，对紧邻的明显可以认为是在一条直线上的短直线合并；对距离过小，小于一个字符高度，并且其上下的水平线间距与平均行高接近时，则剔除本条线(干扰线，如打印机导致多出的水平干扰线)；判断直线y轴近似的水平线，其水平间距接近则合并；

S82、在获得的表格竖直线中，检测直线，在竖直方向紧邻的明显可以认为是在一条直线上的短直线合并；判断直线x轴近似的竖直线，其竖直间距接近则合并；

S83、孤立极短的直线是干扰线加以剔除。

表格的重构与修复：将水平和竖直线图相加重建表格，并根据表格相交特征修正表格；检测重建表格的各个交点，并获取每个单元格的四个坐标点，采用基于深度学习模型的LSTM+CTC方法对字符进行识别；依据标准映射表，重构表格并进行保存、校验和统计。

其中，修正表格的具体步骤包括：

S91:把处理好的表格水平线图和表格竖直线图相加得到初步的表格图；

S92:表格水平和竖线相交，会有9种相交特征(如图2所示)，根据这9种相交特征修正表格线(如图3所示)。因为图像不清晰等原因时有的直线长度不完整，表格中应该纵横相交的直线因为太短而没有相交等，这些都可以通过表格横纵直线相结合的组成规律得到修正。

以上显示和描述了本方案的基本原理和主要特征和本方案的优点。本行业的技术人员应该了解，本方案不受上述实施例的限制，上述实施例和说明书中描述的只是说明本方案的原理，在不脱离本方案精神和范围的前提下，本方案还会有各种变化和改进，这些变化和改进都落入要求保护的本方案范围内。本方案要求保护范围由所附的权利要求书及其等效物界定。

Claims (6)

1.一种财务报表的表格线定位检测方法，其特征在于，包括如下步骤：

S1、获取表格图像：将手机拍摄或扫描表格图像I，并上传至服务器；

S2、表格图像预处理：将所述表格图像I1进行缩放处理、灰度化处理和图像增强预处理，最终获得表格图像I1；再对所述表格图像I1进行自适应二值化处理得到表格图像I2；再对所述表格图像I2进行图像倾斜校正处理，得到表格图像M；

S3、字符高度获取：对所述表格图像I2进行连通域查找，并剔除非字符连通域，对获取的字符连通域分别计算处理,并取其外接矩形框的高度及宽度最大值的平均值，作为字符高度h1；根据S2中的计算的缩放比例，用字符高度h1反算出实际字符高度h；

S4、表格图像缩放：根据实际字符高度h，判断所述表格图像M是否可以缩放，若实际字符高度h大于28时，则将其缩放至20个像素高度，得到表格图像M2；

S5、红章去除处理：根据红章特征及表格线为灰度图特征对所述表格图像M2进行红章去除处理，获得红章去除后的表格图像M3；

S6、表格线增强处理：将所述表格图像M3进行灰度变换，获得单通道表格图像M4；根据获取的所述实际字符高度h构造自适应大小的水平结构元素和竖直结构元素，并分别对所述表格图像M4进行卷积，达到增强图像中水平及竖直线的目的；

S7、自适应二值化处理：根据所述字符高度h2来设置自适应二值化函数的核尺寸，依据计算获取的背景像素值和目标像素值设置自适应二值化的相应阈值，来分别实现水平及竖直方向增强后图像的二值图；

S8、干扰线的去除与合并：用数学形态学的方法来进一步检测水平线和竖直线，过滤掉部分非表格线干扰；对水平和竖直短直线进行筛选过滤与合并；

S9、表格的重构与修复：将水平和竖直线图相加重建表格，并根据表格相交特征修正表格；检测重建表格的各个交点，并获取每个单元格的四个坐标点，采用基于深度学习模型的LSTM+CTC方法对字符进行识别；依据标准映射表，重构表格并进行保存、校验和统计。

2.如权利要求1所述的表格线定位检测方法，其特征在于，所述步骤S2中图像倾斜校正处理的具体步骤如下：

S21、采用Sobel边缘检测算法对二值化后的表格图像进行边缘提取；

S22、采用Hough直线检测算法获得表格水平边缘与垂直边缘倾斜角度；

S23、根据所述水平及垂直边缘倾斜角度进行放射变换，获取校正后的表格图像。

3.如权利要求1所述的表格线定位检测方法，其特征在于，所述步骤S5中红章去除处理的具体步骤如下：

S51、获取所述表格图像M2的自适应二值图像B1，通过所述自适应二值图像B1及所述表格图像M2来获取背景平均灰度值，目标平均灰度及最大灰度值；此处对于所述自适应二值图像B1目标为字符及表格线，其它情况视为背景；

S52、将所述表格图像M2转换为HSV图像H，由于红章变红其中r通道最大，而目标像素r、g、b相差不大且值相对小，对所述HSV图像H进行如下遍历检测：

1)当该点h<20或h>160，并且s>30，v>30，(b+g+r)>200，abs(b-g)+abs(b-r)+abs(g-r)>120判断此点为红色；

2)针对该点分别向上下左右四个方向，遍历15个像素点；上下用来解决竖直线与红章重合，左右用来解决水平线与红章重合；对遍历到的像素点统计其(r+g+b)的平均值得ave_hori，ave_ver；

3)当ave_hori或者ave_ver小于平均背景值时，说明当前点为目标像素点与红章重合区域点，不进行去除；否则将该点进行去除，填充为渐变背景色。

4.如权利要求1所述的表格线定位检测方法，其特征在于，所述步骤S6中构造自适应大小的水平结构元素和竖直结构元素的方法如下：

S61、对于水平线，其卷积核高度为1宽度为(3*h)/2*2+1；

S62、对于竖直线，设置卷积核为宽度为1,高度为h。

5.如权利要求1所述的表格线定位检测方法，其特征在于，所述步骤S8中水平和竖直短直线的筛选过滤与合并的具体步骤如下：

S81、在获得的表格水平线中，检测直线，并获取平均行高，对紧邻的明显可以认为是在一条直线上的短直线合并；对距离过小，小于一个字符高度，并且其上下的水平线间距与平均行高接近时，则剔除本条线；判断直线y轴近似的水平线，其水平间距接近则合并；

S82、在获得的表格竖直线中，检测直线，在竖直方向紧邻的明显可以认为是在一条直线上的短直线合并；判断直线x轴近似的竖直线，其竖直间距接近则合并；

S83、孤立极短的直线是干扰线加以剔除。

6.如权利要求1所述的表格线定位检测方法，其特征在于，所述步骤S9中修正表格的具体步骤包括：

S91:把处理好的表格水平线图和表格竖直线图相加得到初步的表格图；

S92:表格水平和竖线相交，会有9种相交特征，根据这9种相交特征修正表格线。