CN109766750A - 一种财务报表的表格线定位检测方法 - Google Patents
一种财务报表的表格线定位检测方法 Download PDFInfo
- Publication number
- CN109766750A CN109766750A CN201811426562.7A CN201811426562A CN109766750A CN 109766750 A CN109766750 A CN 109766750A CN 201811426562 A CN201811426562 A CN 201811426562A CN 109766750 A CN109766750 A CN 109766750A
- Authority
- CN
- China
- Prior art keywords
- line
- form image
- image
- horizontal
- vertical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Character Input (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种财务报表的表格线定位检测方法,包括:获取表格图像、表格图像预处理、字符高度获取、表格图像缩放、红章去除处理、表格线增强处理、自适应二值化处理、干扰线的去除与合并和表格的重构与修复。本发明主要应用于财务报表的表格线检测,其保证了表格线提取的完整性及与原图的一致性,适应轻微弯取、局部断裂、噪声干扰情况下表格新的定位检测;自动提取检验报告表格里的关键信息并识别,以满足财务报表到标准表格的映射、保存和校验。
Description
技术领域
本发明涉及财务报表的人工智能识别领域,特别涉及一种财务报表的表格线定位检测方法。
背景技术
随着社会经济的发展和中国城镇化的推进,越来越多的人进入城市就业,越来越多的公司诞生;同时随着互联网技术的发展,电子交易,数字交易已经普及;对于公司、银行、证卷交易产生越来越多的财务表格单据及信息。传统的财务报表统计、校对、审计都全靠人工进行;速度慢、效率底,很难满足越来越多的表格单据信息的识别、入库及自动校对。
如何快速准确的对财务等表格单据进行智能识别、核对,同时减少人工成本,是急需解决的问题;而其中表格线检测的完整性和准确性,对于表格重建及表格的识别有着重要的作用。
发明内容
本发明的目的是:提出一种财务报表的表格线定位检测方法,其能够重构表格,自动提取检验报告表格里的关键信息并识别,以满足财务报表到标准表格的映射、保存和校验。
本发明解决其技术问题所采用的技术方案是:
一种财务报表的表格线定位检测方法,包括如下步骤:
S1、获取表格图像:将手机拍摄或扫描表格图像I,并上传至服务器;
S2、表格图像预处理:将所述表格图像I1进行缩放处理、灰度化处理和图像增强预处理,最终获得表格图像I1;再对所述表格图像I1进行自适应二值化处理得到表格图像I2;再对所述表格图像I2进行图像倾斜校正处理,得到表格图像M;
S3、字符高度获取:对所述表格图像I2进行连通域查找,并剔除非字符连通域,对获取的字符连通域分别计算处理,并取其外接矩形框的高度及宽度最大值的平均值,作为字符高度h1;根据S2中的计算的缩放比例,用字符高度h1反算出实际字符高度h;
S4、表格图像缩放:根据实际字符高度h,判断所述表格图像M是否可以缩放,若实际字符高度h大于28时,则将其缩放至20个像素高度,得到表格图像M2;
S5、红章去除处理:根据红章特征及表格线为灰度图特征对所述表格图像M2进行红章去除处理,获得红章去除后的表格图像M3;
S6、表格线增强处理:将所述表格图像M3进行灰度变换,获得单通道表格图像M4;根据获取的所述实际字符高度h构造自适应大小的水平结构元素和竖直结构元素,并分别对所述表格图像M4进行卷积,达到增强图像中水平及竖直线的目的;
S7、自适应二值化处理:根据所述字符高度h2来设置自适应二值化函数的核尺寸,依据计算获取的背景像素值和目标像素值设置自适应二值化的相应阈值,来分别实现水平及竖直方向增强后图像的二值图;
S8、干扰线的去除与合并:用数学形态学的方法来进一步检测水平线和竖直线,过滤掉部分非表格线干扰;对水平和竖直短直线进行筛选过滤与合并;
S9、表格的重构与修复:将水平和竖直线图相加重建表格,并根据表格相交特征修正表格;检测重建表格的各个交点,并获取每个单元格的四个坐标点,采用基于深度学习模型的LSTM+CTC方法对字符进行识别;依据标准映射表,重构表格并进行保存、校验和统计。
进一步,所述步骤S2中图像倾斜校正处理的具体步骤如下:
S21、采用Sobel边缘检测算法对二值化后的表格图像进行边缘提取;
S22、采用Hough直线检测算法获得表格水平边缘与垂直边缘倾斜角度;
S23、根据所述水平及垂直边缘倾斜角度进行放射变换,获取校正后的表格图像。
进一步,所述步骤S5中红章去除处理的具体步骤如下:
S51、获取所述表格图像M2的自适应二值图像B1,通过所述自适应二值图像B1及所述表格图像M2来获取背景平均灰度值,目标平均灰度及最大灰度值;此处对于所述自适应二值图像B1目标为字符及表格线,其它情况视为背景;
S52、将所述表格图像M2转换为HSV图像H,由于红章变红其中r通道最大,而目标像素r、g、b相差不大且值相对小,对所述HSV图像H进行如下遍历检测:
1)当该点h<20或h>160,并且s>30,v>30,(b+g+r)>200,abs(b-g)+abs(b-r)+abs(g-r)>120判断此点为红色;
2)针对该点分别向上下左右四个方向,遍历15个像素点;上下用来解决竖直线与红章重合,左右用来解决水平线与红章重合;对遍历到的像素点统计其(r+g+b)的平均值得ave_hori,ave_ver;
3)当ave_hori或者ave_ver小于平均背景值时,说明当前点为目标像素点与红章重合区域点,不进行去除;否则将该点进行去除,填充为渐变背景色。
进一步,所述步骤S6中构造自适应大小的水平结构元素和竖直结构元素的方法如下:
S61、对于水平线,其卷积核高度为1宽度为(3*h)/2*2+1;
S62、对于竖直线,设置卷积核为宽度为1,高度为h。
进一步,所述步骤S8中水平和竖直短直线的筛选过滤与合并的具体步骤如下:
S81、在获得的表格水平线中,检测直线,并获取平均行高,对紧邻的明显可以认为是在一条直线上的短直线合并;对距离过小,小于一个字符高度,并且其上下的水平线间距与平均行高接近时,则剔除本条线;判断直线y轴近似的水平线,其水平间距接近则合并;
S82、在获得的表格竖直线中,检测直线,在竖直方向紧邻的明显可以认为是在一条直线上的短直线合并;判断直线x轴近似的竖直线,其竖直间距接近则合并;
S83、孤立极短的直线是干扰线加以剔除。
进一步,所述步骤S9中修正表格的具体步骤包括:
S91:把处理好的表格水平线图和表格竖直线图相加得到初步的表格图;
S92:表格水平和竖线相交,会有9种相交特征,根据这9种相交特征修正表格线。
本发明的有益效果是:本发明主要应用于财务报表的表格线检测,其保证了表格线提取的完整性及与原图的一致性,适应轻微弯取、局部断裂、噪声干扰情况下表格新的定位检测;从而可以识别移动设备(如手机、Pad)拍摄上传的图片,并且同时支持扫描仪设备扫描的图像;保证了表格重建的准确性,进而保证了识别的准确率;将财务报表识别应用扩展到移动端,极大的扩展了其应用空间,可以更灵活、高效的完成财务报表的识别、保存、校验。
附图说明
图1是本发明的表格线检测流程示意图。
图2是表格线的9种相交特征示意图。
图3是表格线修复示意图。
具体实施方式
本发明对于表格图像的处理步骤如图1所示,包括:获取表格图像、表格图像预处理、字符高度获取、表格图像缩放、红章去除处理、表格线增强处理、自适应二值化处理、干扰线的去除与合并和表格的重构与修复。
以下对于各个处理步骤进行详细讲解:
获取表格图像:可采用手机拍摄或扫描表格图像I,并上传至服务器,以便于处理***获取表格图像。
表格图像预处理:将所述表格图像I1进行缩放处理、灰度化处理和图像增强预处理,最终获得表格图像I1;再对所述表格图像I1进行自适应二值化处理得到表格图像I2;再对所述表格图像I2进行图像倾斜校正处理,得到表格图像M;
其中,图像倾斜校正处理的具体步骤如下:
S21、采用Sobel边缘检测算法对二值化后的表格图像进行边缘提取;
S22、采用Hough直线检测算法获得表格水平边缘与垂直边缘倾斜角度;
S23、根据所述水平及垂直边缘倾斜角度进行放射变换,获取校正后的表格图像。
字符高度获取:对所述表格图像I2进行连通域查找,并剔除非字符连通域,对获取的字符连通域分别计算处理,并取其外接矩形框的高度及宽度最大值的平均值,作为字符高度h1;根据S2中的计算的缩放比例,用字符高度h1反算出实际字符高度h。
表格图像缩放:根据实际字符高度h,判断所述表格图像M是否可以缩放,若实际字符高度h大于28时,则将其缩放至20个像素高度,得到表格图像M2。
红章去除处理:根据红章特征及表格线为灰度图特征对所述表格图像M2进行红章去除处理,获得红章去除后的表格图像M3;
其中,红章去除处理的具体步骤如下:
S51、获取所述表格图像M2的自适应二值图像B1,通过所述自适应二值图像B1及所述表格图像M2来获取背景平均灰度值,目标平均灰度及最大灰度值;此处对于所述自适应二值图像B1目标为字符及表格线,其它情况视为背景;
S52、将所述表格图像M2转换为HSV图像H,由于红章变红其中r通道最大,而目标像素r、g、b相差不大且值相对小,对所述HSV图像H进行如下遍历检测:
1)当该点h<20或h>160,并且s>30,v>30,(b+g+r)>200,abs(b-g)+abs(b-r)+abs(g-r)>120判断此点为红色;
2)针对该点分别向上下左右四个方向,遍历15个像素点;上下用来解决竖直线与红章重合,左右用来解决水平线与红章重合;对遍历到的像素点统计其(r+g+b)的平均值得ave_hori,ave_ver;
3)当ave_hori或者ave_ver小于平均背景值时,说明当前点为目标像素点与红章重合区域点,不进行去除;否则将该点进行去除,填充为渐变背景色。
该方法可在去除红章干扰的同时,有效保留目标像素点为水平直线或竖直直线上的像素点时不被去除;经测试,该方法同时可极大提高目标汉字的完整性。
表格线增强处理:将所述表格图像M3进行灰度变换,获得单通道表格图像M4;根据获取的所述实际字符高度h构造自适应大小的水平结构元素和竖直结构元素,并分别对所述表格图像M4进行卷积,达到增强图像中水平及竖直线的目的。
其中,构造自适应大小的水平结构元素和竖直结构元素的方法如下:
S61、对于水平线,其卷积核高度为1宽度为(3*h)/2*2+1;由于图像弯曲绝大多数为渐变方式,如此设计卷积核大小可在相对增强水平线特征(目标),解决局部水平线断裂,消弱或去除干扰信息的情况下解决表格轻微弯取时表格线提取的完整性;
S62、对于竖直线,设置卷积核为宽度为1,高度为h。如此设计同样是在增强水平线目标,解决局部竖直线断裂,同时减弱其它干扰信息。
自适应二值化处理:根据所述字符高度h2来设置自适应二值化函数的核尺寸,依据计算获取的背景像素值和目标像素值设置自适应二值化的相应阈值,来分别实现水平及竖直方向增强后图像的二值图;
干扰线的去除与合并:用数学形态学的方法来进一步检测水平线和竖直线,过滤掉部分非表格线干扰;对水平和竖直短直线进行筛选过滤与合并。
其中,水平和竖直短直线的筛选过滤与合并的具体步骤如下:
S81、在获得的表格水平线中,检测直线,并获取平均行高,对紧邻的明显可以认为是在一条直线上的短直线合并;对距离过小,小于一个字符高度,并且其上下的水平线间距与平均行高接近时,则剔除本条线(干扰线,如打印机导致多出的水平干扰线);判断直线y轴近似的水平线,其水平间距接近则合并;
S82、在获得的表格竖直线中,检测直线,在竖直方向紧邻的明显可以认为是在一条直线上的短直线合并;判断直线x轴近似的竖直线,其竖直间距接近则合并;
S83、孤立极短的直线是干扰线加以剔除。
表格的重构与修复:将水平和竖直线图相加重建表格,并根据表格相交特征修正表格;检测重建表格的各个交点,并获取每个单元格的四个坐标点,采用基于深度学习模型的LSTM+CTC方法对字符进行识别;依据标准映射表,重构表格并进行保存、校验和统计。
其中,修正表格的具体步骤包括:
S91:把处理好的表格水平线图和表格竖直线图相加得到初步的表格图;
S92:表格水平和竖线相交,会有9种相交特征(如图2所示),根据这9种相交特征修正表格线(如图3所示)。因为图像不清晰等原因时有的直线长度不完整,表格中应该纵横相交的直线因为太短而没有相交等,这些都可以通过表格横纵直线相结合的组成规律得到修正。
以上显示和描述了本方案的基本原理和主要特征和本方案的优点。本行业的技术人员应该了解,本方案不受上述实施例的限制,上述实施例和说明书中描述的只是说明本方案的原理,在不脱离本方案精神和范围的前提下,本方案还会有各种变化和改进,这些变化和改进都落入要求保护的本方案范围内。本方案要求保护范围由所附的权利要求书及其等效物界定。
Claims (6)
1.一种财务报表的表格线定位检测方法,其特征在于,包括如下步骤:
S1、获取表格图像:将手机拍摄或扫描表格图像I,并上传至服务器;
S2、表格图像预处理:将所述表格图像I1进行缩放处理、灰度化处理和图像增强预处理,最终获得表格图像I1;再对所述表格图像I1进行自适应二值化处理得到表格图像I2;再对所述表格图像I2进行图像倾斜校正处理,得到表格图像M;
S3、字符高度获取:对所述表格图像I2进行连通域查找,并剔除非字符连通域,对获取的字符连通域分别计算处理,并取其外接矩形框的高度及宽度最大值的平均值,作为字符高度h1;根据S2中的计算的缩放比例,用字符高度h1反算出实际字符高度h;
S4、表格图像缩放:根据实际字符高度h,判断所述表格图像M是否可以缩放,若实际字符高度h大于28时,则将其缩放至20个像素高度,得到表格图像M2;
S5、红章去除处理:根据红章特征及表格线为灰度图特征对所述表格图像M2进行红章去除处理,获得红章去除后的表格图像M3;
S6、表格线增强处理:将所述表格图像M3进行灰度变换,获得单通道表格图像M4;根据获取的所述实际字符高度h构造自适应大小的水平结构元素和竖直结构元素,并分别对所述表格图像M4进行卷积,达到增强图像中水平及竖直线的目的;
S7、自适应二值化处理:根据所述字符高度h2来设置自适应二值化函数的核尺寸,依据计算获取的背景像素值和目标像素值设置自适应二值化的相应阈值,来分别实现水平及竖直方向增强后图像的二值图;
S8、干扰线的去除与合并:用数学形态学的方法来进一步检测水平线和竖直线,过滤掉部分非表格线干扰;对水平和竖直短直线进行筛选过滤与合并;
S9、表格的重构与修复:将水平和竖直线图相加重建表格,并根据表格相交特征修正表格;检测重建表格的各个交点,并获取每个单元格的四个坐标点,采用基于深度学习模型的LSTM+CTC方法对字符进行识别;依据标准映射表,重构表格并进行保存、校验和统计。
2.如权利要求1所述的表格线定位检测方法,其特征在于,所述步骤S2中图像倾斜校正处理的具体步骤如下:
S21、采用Sobel边缘检测算法对二值化后的表格图像进行边缘提取;
S22、采用Hough直线检测算法获得表格水平边缘与垂直边缘倾斜角度;
S23、根据所述水平及垂直边缘倾斜角度进行放射变换,获取校正后的表格图像。
3.如权利要求1所述的表格线定位检测方法,其特征在于,所述步骤S5中红章去除处理的具体步骤如下:
S51、获取所述表格图像M2的自适应二值图像B1,通过所述自适应二值图像B1及所述表格图像M2来获取背景平均灰度值,目标平均灰度及最大灰度值;此处对于所述自适应二值图像B1目标为字符及表格线,其它情况视为背景;
S52、将所述表格图像M2转换为HSV图像H,由于红章变红其中r通道最大,而目标像素r、g、b相差不大且值相对小,对所述HSV图像H进行如下遍历检测:
1)当该点h<20或h>160,并且s>30,v>30,(b+g+r)>200,abs(b-g)+abs(b-r)+abs(g-r)>120判断此点为红色;
2)针对该点分别向上下左右四个方向,遍历15个像素点;上下用来解决竖直线与红章重合,左右用来解决水平线与红章重合;对遍历到的像素点统计其(r+g+b)的平均值得ave_hori,ave_ver;
3)当ave_hori或者ave_ver小于平均背景值时,说明当前点为目标像素点与红章重合区域点,不进行去除;否则将该点进行去除,填充为渐变背景色。
4.如权利要求1所述的表格线定位检测方法,其特征在于,所述步骤S6中构造自适应大小的水平结构元素和竖直结构元素的方法如下:
S61、对于水平线,其卷积核高度为1宽度为(3*h)/2*2+1;
S62、对于竖直线,设置卷积核为宽度为1,高度为h。
5.如权利要求1所述的表格线定位检测方法,其特征在于,所述步骤S8中水平和竖直短直线的筛选过滤与合并的具体步骤如下:
S81、在获得的表格水平线中,检测直线,并获取平均行高,对紧邻的明显可以认为是在一条直线上的短直线合并;对距离过小,小于一个字符高度,并且其上下的水平线间距与平均行高接近时,则剔除本条线;判断直线y轴近似的水平线,其水平间距接近则合并;
S82、在获得的表格竖直线中,检测直线,在竖直方向紧邻的明显可以认为是在一条直线上的短直线合并;判断直线x轴近似的竖直线,其竖直间距接近则合并;
S83、孤立极短的直线是干扰线加以剔除。
6.如权利要求1所述的表格线定位检测方法,其特征在于,所述步骤S9中修正表格的具体步骤包括:
S91:把处理好的表格水平线图和表格竖直线图相加得到初步的表格图;
S92:表格水平和竖线相交,会有9种相交特征,根据这9种相交特征修正表格线。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811426562.7A CN109766750A (zh) | 2018-11-27 | 2018-11-27 | 一种财务报表的表格线定位检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811426562.7A CN109766750A (zh) | 2018-11-27 | 2018-11-27 | 一种财务报表的表格线定位检测方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109766750A true CN109766750A (zh) | 2019-05-17 |
Family
ID=66449593
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811426562.7A Pending CN109766750A (zh) | 2018-11-27 | 2018-11-27 | 一种财务报表的表格线定位检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109766750A (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110458070A (zh) * | 2019-08-01 | 2019-11-15 | 上海眼控科技股份有限公司 | 基于机动车年检检验表图片识别检验次数的方法与*** |
CN111368695A (zh) * | 2020-02-28 | 2020-07-03 | 上海汇航捷讯网络科技有限公司 | 一种表格结构提取方法 |
CN111640133A (zh) * | 2020-06-03 | 2020-09-08 | 上海铭垚信息科技有限公司 | 图片表格自动提取方法及*** |
CN112016557A (zh) * | 2020-08-26 | 2020-12-01 | 上海致宇信息技术有限公司 | 一种表格干扰线去除算法 |
CN112085782A (zh) * | 2020-09-08 | 2020-12-15 | 广州医软智能科技有限公司 | 放大倍率检测方法及检测装置 |
CN113688684A (zh) * | 2021-07-26 | 2021-11-23 | 国网电商科技有限公司 | 一种基于聚类的表格重构方法及*** |
-
2018
- 2018-11-27 CN CN201811426562.7A patent/CN109766750A/zh active Pending
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110458070A (zh) * | 2019-08-01 | 2019-11-15 | 上海眼控科技股份有限公司 | 基于机动车年检检验表图片识别检验次数的方法与*** |
CN111368695A (zh) * | 2020-02-28 | 2020-07-03 | 上海汇航捷讯网络科技有限公司 | 一种表格结构提取方法 |
CN111368695B (zh) * | 2020-02-28 | 2023-06-20 | 上海汇航捷讯网络科技有限公司 | 一种表格结构提取方法 |
CN111640133A (zh) * | 2020-06-03 | 2020-09-08 | 上海铭垚信息科技有限公司 | 图片表格自动提取方法及*** |
CN112016557A (zh) * | 2020-08-26 | 2020-12-01 | 上海致宇信息技术有限公司 | 一种表格干扰线去除算法 |
CN112016557B (zh) * | 2020-08-26 | 2022-05-24 | 深圳致宇智能商业有限公司 | 一种表格干扰线去除方法 |
CN112085782A (zh) * | 2020-09-08 | 2020-12-15 | 广州医软智能科技有限公司 | 放大倍率检测方法及检测装置 |
CN113688684A (zh) * | 2021-07-26 | 2021-11-23 | 国网电商科技有限公司 | 一种基于聚类的表格重构方法及*** |
CN113688684B (zh) * | 2021-07-26 | 2022-04-05 | 国网电商科技有限公司 | 一种基于聚类的表格重构方法及*** |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109766750A (zh) | 一种财务报表的表格线定位检测方法 | |
CN107808378B (zh) | 基于垂直纵横线轮廓特征的复杂结构铸件潜在缺陷检测方法 | |
CN104751142B (zh) | 一种基于笔划特征的自然场景文本检测方法 | |
CN102163284B (zh) | 面向中文环境的复杂场景文本定位方法 | |
CN108694393A (zh) | 一种基于深度卷积的证件图像文本区域提取方法 | |
TW201740316A (zh) | 圖像文字的識別方法和裝置 | |
CN107045634B (zh) | 一种基于最大稳定极值区域与笔画宽度的文本定位方法 | |
CN101599124B (zh) | 一种从视频图像中分割字符的方法和装置 | |
CN108596166A (zh) | 一种基于卷积神经网络分类的集装箱箱号识别方法 | |
US11790499B2 (en) | Certificate image extraction method and terminal device | |
CN107330979A (zh) | 建筑户型的矢量图生成方法、装置及终端 | |
CN109766749A (zh) | 一种用于财务报表的弯曲表格线的检测方法 | |
CN110119741A (zh) | 一种有背景的卡证图像信息识别方法 | |
CN109977944B (zh) | 一种数字水表读数的识别方法 | |
CN105139386A (zh) | 一种快速自动检测电气接插件焊点不合格品的图像处理方法 | |
CN109376740A (zh) | 一种基于视频的水尺读数检测方法 | |
CN109886935A (zh) | 一种基于深度学习的道面异物检测方法 | |
CN104361335B (zh) | 一种基于扫描图像自动去除黑边的处理方法 | |
CN114359538A (zh) | 一种水表读数定位与识别方法 | |
CN110969164A (zh) | 基于深度学习端对端的低照度成像车牌识别方法及装置 | |
CN115082776A (zh) | 一种基于图像识别的电能表自动检测***及方法 | |
CN113537211A (zh) | 一种基于非对称iou的深度学习车牌框定位方法 | |
CN109741273A (zh) | 一种手机拍照低质图像的自动处理与评分方法 | |
CN109766892A (zh) | 一种基于边缘检测的射线检测图像标记信息字符分割方法 | |
CN111027564A (zh) | 基于深度学习一体化的低照度成像车牌识别方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20190517 |
|
WD01 | Invention patent application deemed withdrawn after publication |