CN112183038A - 一种表格识别套打方法、计算机设备及计算机可读存储介质 - Google Patents
一种表格识别套打方法、计算机设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN112183038A CN112183038A CN202011010032.1A CN202011010032A CN112183038A CN 112183038 A CN112183038 A CN 112183038A CN 202011010032 A CN202011010032 A CN 202011010032A CN 112183038 A CN112183038 A CN 112183038A
- Authority
- CN
- China
- Prior art keywords
- image
- target image
- target
- information
- corner
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 66
- 238000012545 processing Methods 0.000 claims abstract description 25
- 238000001514 detection method Methods 0.000 claims abstract description 17
- 238000007781 pre-processing Methods 0.000 claims abstract description 10
- 230000009466 transformation Effects 0.000 claims description 27
- 238000004422 calculation algorithm Methods 0.000 claims description 13
- 238000012937 correction Methods 0.000 claims description 13
- 238000001914 filtration Methods 0.000 claims description 12
- 239000011159 matrix material Substances 0.000 claims description 11
- 238000012216 screening Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 9
- 238000003708 edge detection Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 9
- 238000013519 translation Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000005260 corrosion Methods 0.000 claims description 3
- 230000007797 corrosion Effects 0.000 claims description 3
- 230000000737 periodic effect Effects 0.000 claims description 3
- 238000000844 transformation Methods 0.000 claims description 3
- 230000003044 adaptive effect Effects 0.000 claims description 2
- 230000008859 change Effects 0.000 claims description 2
- 230000002708 enhancing effect Effects 0.000 claims description 2
- 230000005764 inhibitory process Effects 0.000 claims description 2
- 230000008719 thickening Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 3
- 238000003702 image correction Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000036632 reaction speed Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/166—Editing, e.g. inserting or deleting
- G06F40/177—Editing, e.g. inserting or deleting of tables; using ruled lines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/181—Segmentation; Edge detection involving edge growing; involving edge linking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/64—Analysis of geometric attributes of convexity or concavity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20164—Salient point detection; Corner detection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种表格识别套打方法、计算机设备及计算机可读存储介质，包括步骤：获取待识别的表格图像，并对采集到的表格图像进行预处理，得到预处理后的第一目标图像；对预处理后的第一目标图像进行校正处理以获得第二目标图像；提取第二目标图像的表格轮廓并进行细化处理获得第三目标图像；根据第三目标图像分析表格横纵结构，获得表格行列结构信息；通过角点检测识别第三目标图像的角点位置，结合表格行列结构信息，确定表格中单元格位置信息；输出表格中单元格位置信息；其能够实现了对表格的识别，并进行套打且剔除表格中的数据信息，实现利用计算机自动对表格进行套打来提高人们的办公效率，达到只需表格图片，即可打印所需表格的目的。
Description
技术领域
本发明涉及表格套打技术领域，特别是涉及一种表格识别套打方法、计算机设备及计算机可读存储介质。
背景技术
现代社会中，很多行业对各种表单、票据等有着十分严格的规范、限定条件，其格式是无法擅自更改的，一旦更改则会失效，所以通常情况下，需要先人工对各种表格进行设计，再进行使用，这种做法不仅效率低，而且耗时，人工成本较大。现有技术中也存在对于表格图像识别的方法，比如使用表格线交叉点分析方法提取表格线的方法过于耗时且稳定性较差，如中国发明专利申请说明书CN109948135A公开的一种基于表格特征归一化图像的方法及设备，其采用表格线交叉点分析法进行表格识别，从所述待识别图和模板图中选取至少一个位置相对应的单元格，并分别从选取的单元格中至少确认四个位于外边框上的顶点，所述待识别图中确认的顶点与所述模板图中确认的顶点位置相对应，形成至少四组相对应的顶点坐标等等，识别过程较为复杂且稳定性较差。因而，亟需发明一种表格识别套打方法、计算机设备及计算机可读存储介质，其能够实现了对表格的识别，并进行套打且剔除表格中的数据信息，利用计算机自动对表格进行套打来提高人们的办公效率，达到只需表格图片，即可打印所需表格的目的。
发明内容
为解决上述问题，本发明提供一种表格识别套打方法、计算机设备及计算机可读存储介质，其能够实现了对表格的识别，并进行套打且剔除表格中的数据信息，实现利用计算机自动对表格进行套打来提高人们的办公效率，达到只需表格图片，即可打印所需表格的目的。
为解决上述目的，本发明采用的如下技术方案。
一种表格识别套打方法，包括：
获取待识别的表格图像，并对采集到的表格图像进行预处理，得到预处理后的第一目标图像；
对预处理后的第一目标图像进行校正处理以获得第二目标图像；
提取第二目标图像的表格轮廓并进行细化处理获得第三目标图像；
根据第三目标图像分析表格横纵结构，以获得表格行列结构信息；
通过角点检测识别第三目标图像的角点位置，并结合表格行列结构信息，确定表格中单元格位置信息；
输出表格中单元格位置信息，以绘制表格实现表格套打。
进一步地，对预处理后的第一目标图像进行校正处理以获得第二目标图像之前，还包括检测第一目标图像的表格图像是否采集完整，具体如下：
检测第一目标的表格图像的外轮廓边界是否接触到图像的边缘；
检测第一目标的表格图像的外轮廓的轮廓端点数是否等于4个；
若判定表格外轮廓接触到图像边界或表格外轮廓端点数不是4个，则判断为表格拍摄不完整，返回重拍。
进一步地，对预处理后的第一目标图像进行校正处理以获得第二目标图像，步骤包括：识别第一目标图像所有边框，进行凸包拟合，筛选出最大的边框为A4纸的边框，得到A4纸的顶点坐标信息，通过透视变换矩阵进行透视变换校正，以获得第二目标图像；其中，识别第一目标图像所有边框的步骤包括：寻找第一目标图像中的物体轮廓，再查找出图像中物体的凸包，将检测出来的轮廓连续光滑的曲线折线化，并对图像轮廓点进行多边形拟合，筛选出所有的四边形边框。
进一步地，通过透视变换矩阵进行透视变换校正，包括：变换公式为
其中，u、v是原始图片坐标，通过该变换公式，可以得到变换后对应的图片坐标
变换矩阵
可拆分为几部分：
表示线性变换，包含缩放、旋转、错切等；[a31 a32]代表平移；[a13 a23]T产生透视变换；可得
从而将定位得到的A4纸的四个顶点坐标、结合原始坐标代入变换公式中，以实现透视校正。
进一步地，对采集到的表格图像进行预处理，步骤包括：
灰度化处理，将采集到的表格图像转变为单通道的灰度图像；
二值化处理，对灰度化处理后的灰度图像使用局部自适应阈值法以动态形式确定二值化阈值，实现表格图像的二值化处理；
高斯滤波处理，使用图像滤波减小图片噪声的干扰，使用高斯滤波降噪，使用掩膜扫描图像，利用掩膜中心像素领域的像素加权平均代替掩膜中心像素的像素值，遍历整张表格图像实现高斯滤波处理；
边缘检测处理，使用边缘检测算法获得完整的边缘信息、一定程度凸显有效区域，使用Canny边缘检测算法，该算法遵循最优边缘准则，使用双阈值筛选、非极大值抑制使算法准确识别表格图像边缘；
膨胀处理，使用膨胀操作对表格图像求局部最大值，使目标边界与背景合并，使边界向外扩，增强表格图像质量，填补边界区域中存在的一些孔洞，消除噪声干扰，得到完整的表格线，使边界线闭合***。
进一步地，提取第二目标图像的表格轮廓并进行细化处理获得第三目标图像，包括：
使用开操作方法去除第二目标图像中表格图像的文字部分及细小横纵线等冗余信息；使用该开操作方法包括先对表格图像进行腐蚀操作，再对表格图像进行膨胀操作，以消除表格图像中的小毛刺和突出物，使表格图像中轮廓光滑，去除文字部分及细小横纵线等冗余信息；
识别提取表格图像的水平框线、垂直框线及两者的交点，并合并形成表格轮廓图；
将所述表格轮廓图根据细化规则操作获得表格骨架，以形成第三目标图像；其中，所述细化规则操作包括：通过选取定义一个像素点P，检测识别该像素点P的八领域点信息，判断该像素点P是否被删除。
进一步地，根据第三目标图像分析表格横纵结构，以获得表格行列结构信息，包括：
根据第三目标图像进行水平方向投影，以获得水平投影图；
根据第三目标图像进行垂直方向投影，以获得垂直投影图；
分析水平投影图和垂直投影图的周期性尖峰情况以获得表格行列结构信息。
进一步地，通过角点检测识别第三目标图像的角点位置，包括：
对第三目标图像使用Harris角点检测算法进行检测，对角点进行判断，以获得第三目标图像的角点位置信息。
进一步地，Harris角点检测算法为通过权值窗口平移来检测该像素点在各个方向上的变化强度，来对角点位置进行判断，角点检测的计算矩阵M以及像素值R如下：
R＝Det(M)-k*trace(M)2
其中Ix和Iy分别表示表格图像中像素点沿x和y方向的梯度情况，k为常数；通过根据表格行列结构信息对提取角点进行行列分类，将角点位置情况与表格行列结构信息结合，确定表格中每个单元格的情况，以套打时对单元格进行合并。
本发明还提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述表格识别套打方法的步骤。
本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述表格识别套打方法的步骤。
本发明的有益效果如下：
本发明提供的一种表格识别套打方法、计算机设备及计算机可读存储介质，能够实现了对表格的识别，并进行套打且剔除表格中的数据信息，实现利用计算机自动对表格进行套打来提高人们的办公效率，达到只需表格图片，即可打印所需表格的目的；同时相比现有技术中使用的识别方法，步骤更为优化，识别反应速度更快，效率及准确率更高，稳定性更好。
附图说明
图1为本发明的优选实施例的表格识别套打方法的***层次架构流程图；
图2为本发明的优选实施例的表格识别套打方法的预处理步骤流程图；
图3为本发明的优选实施例的表格识别套打方法的预处理步骤效果示意图；
图4为本发明的优选实施例的表格识别套打方法的表格图像校正步骤流程图；
图5为本发明的优选实施例的表格识别套打方法的表格图像校正步骤效果示意图；
图6为本发明的优选实施例的表格识别套打方法的开操作及细化步骤的效果示意图；
图7为本发明的优选实施例的表格识别套打方法的投影法步骤的效果示意图；
图8为本发明的优选的实施例的表格识别套打方法的输出表格中单元格位置信息的步骤流程图。
具体实施方式
下面将结合附图对本发明作进一步的说明。
图1至图8示出的是本发明的优选实施例的表格识别套打方法。
如图1所示，本优选实施例的表格识别套打方法具体实施步骤包括：通过摄像头等拍摄设备采集原始图像，并对采集到的表格图像进行预处理，得到预处理后的第一目标图像；对预处理后的第一目标图像进行校正处理以获得第二目标图像；提取第二目标图像的表格轮廓并进行细化处理获得第三目标图像；根据第三目标图像分析表格横纵结构，以获得表格行列结构信息；通过角点检测识别第三目标图像的角点位置，并结合表格行列结构信息，确定表格中单元格位置信息；输出表格中单元格位置信息，关联文字处理器应用程序实现表格重绘，输出文档实现表格套打，从而能够实现了对表格的识别，并进行套打且剔除表格中的数据信息，实现利用计算机自动对表格进行套打来提高人们的办公效率，达到只需表格图片，即可打印所需表格的目的；同时相比现有技术中使用的识别方法，步骤更为优化，识别反应速度更快，效率及准确率更高，稳定性更好。具体步骤如下：
1)如图2所示，本优选实施例的图像预处理流程包括灰度化处理、二值化处理、滤波处理、边缘检测处理、膨胀处理。
1.1)采集获得到待处理表格图像如图3a所示，表格图像为彩色图像，表格纸为A4纸，使用OpenCV库中提供的函数对表格图像进行灰度化处理，将三通道的彩色图像转变为单通道的灰度图像，如图3b所示。
1.2)使用threshold函数对图像进行阈值化处理，设置阈值大小为128，使大于阈值的像素值为255，小于阈值的值为0，实现表格图像二值化，二值化处理后的图像如图3c所示。
1.3)对二值化后的图像进行滤波处理，为了减小信息丢失和图像噪声带来的影响，对表格图像采用高斯滤波处理，将每个像素的像素值和此像素附近的其他像素像素值进行加权平均，并使用加权平均后的像素值作为该像素滤波后的灰度值，使用的高斯核为3*3，高斯核X方向的标准差和Y方向的标准差都为3，处理后的图像如图3d所示。
1.4)将滤波处理后的图像通过Canny边缘检测获得完整精确的边缘，利用双阈值筛选保证准确性，即将大于高阈值的点定为边缘点保留，小于低阈值则不被认为是边缘，位于两个阈值之间的像素点只有在与高于高阈值的像素点相连时，才保留为边缘点。使用非极大值抑制准确进行识别，剔除伪边缘点，边缘检测处理后的图如图3e所示。
1.5)如图3f所示，利用膨胀操作，对图像局部求最大值，将目标边界与背景合并，向外扩张，使表格和A4纸边框闭合且***，消除断线的情况，使轮廓更加清晰，即为通过预处理后获得的第一目标图像。
2)因为实际使用中，在对要进行套打的表格拍照时可能存在没有拍摄完整A4纸表格的情况，这时需要对拍摄图片是否完整进行判断。检测表格图像是否完整，利用A4纸的尺寸特性，检测图像中最外层的轮廓线，边框轮廓中面积最大的轮廓，检测出轮廓线的端点，如果检测出的轮廓端点不是四个，则拍摄的表格残缺，需要重新拍照。
3)照相机获取表格图像时，采集器械与表格文档平面间存在相对角度，使得表格图像出现透视变形，为了消除影响，对表格图像进行校正处理。
3.1)如图4所示，表格图像校正处理流程包括识别表格边框、进行凸包拟合、筛选最大边框、筛选A4纸顶点、获取透视变换矩阵、进行透视变换。
3.2)识别表格边框利用OpenCV中提供寻找边框的函数来寻找图像中的物体轮廓，再查找出图像中物体的凸包，将检测出来的轮廓连续光滑的曲线折线化，并对图像轮廓点进行多边形拟合，筛选出四边形边框。
3.3)如图5a所示，利用简单的长宽比较，确定边框大小，从而准确检索出最大边框，将最大边框及其顶点绘出，最终得到的边框即为A4纸的边框，也就获得了A4纸边框的坐标位置。检测拍摄照片中A4纸的边框坐标位置是否已经接触到图片的四个边界了，如果图片边界处存在白色像素点，则A4纸的边框已经到了图片边缘，为A4纸表格没有拍全的情况，要提示需要重新拍照。
3.4)透视投影图不能正确地反映物体的精确尺寸和形状，这种投影图的弊端表现在获取到的待处理的表格图像中，就是表格图像中的表格框线会出现不同程度上的断裂与倾斜情况，采用专门的透视校正算法对图像进行校正。
表格文档平面与表格图像采集设备平面间总是存在一个相对角度造成透视畸变，使用透视变换将图像投影到一个新的平面上，从而实现透视校正，变换公式为
其中，u、v是原始图片坐标，通过该变换公式，可以得到变换后对应的图片坐标
变换矩阵
可拆分为几部分：
表示线性变换，包含缩放、旋转、错切等；[a31 a32]代表平移；[a13 a23]T产生透视变换。可得
将定位得到的A4纸的四个顶点坐标、结合原始坐标代入变换公式中，实现透视校正，图5b为获取的原始表格图像，校正效果如图5c所示，即为通过校正处理后获得的第二目标图像。
4)为了对表格图像中的表格结构进行分析，对表格图像预处理、校正后的表格进行提取框线处理，使用开操作消除图片中的小毛刺和突出物，使图像中轮廓光滑，准确将图像中的表格框线轮廓提取出来，开操作的过程是先对图像进行腐蚀操作，再对图像进行膨胀操作。
4.1)表格图像中的文字部分属于冗余信息，需要去除，使用开操作来消除表格图像中的文字部分和细小横纵线，开操作提取表格水平框线处理后的图像如图6a所示，开操作提取表格垂直框线处理后的图像如图6b所示，提取它们的交点，合并为图6c。
4.2)由于开操作提取表格轮廓时，同一位置会出现线段的重合问题，导致表格框线***，需要使用细化来使框线细化为单像素，去除冗余信息的同时突出显示感兴趣对象的主要结构和形状信息，剥离一些无关点使框线细化。
细化算法先定义一个像素点P，考虑P的八邻域点P0～P7判断点P是否被消除，根据细化规则建立索引表，将八邻域情况记录在数组中，可被删除时用1表示，不可删除时用0表示，将图像二值化处理后，根据数组判断可删除点，进行删除，使框线细化，框线细化处理后如图6d所示，即为通过提取表格轮廓并进行细化处理获得的第三目标图像。
5)表格图像轮廓提取、细化之后，对表格横纵结构进行分析，使用投影法将数字图像分别在其水平方向和垂直方向进行像素累加。
通过处理后的表格图像中不含有文字信息以及其他细小线段，表格图像的不同行之间和不同列之间出现明显空白区，表格区域的水平投影和竖直投影分布出现周期性尖峰，使用投影法得到水平投影图如图7a所示、垂直投影图如图7b所示，由此分析表格结构，得到表格行列结构信息。
6)得到表格的行列结构信息后，要精准画出表格的具体图像，还需要分析出表格单元格的具体情况。角点检测可以检测出图像中两条边缘线的相交点情况，使用角点检测算法将图像中的行列交叉点检测出来，再根据获得的行列情况，可以获得表格中单元格的具体情况，表格套打时实现单元格合并。
使用Harris角点检测算法进行检测，该算法的检测方法是通过权值窗口平移来检测该像素点在各个方向上的变化强度，来对角点进行判断，角点检测的计算矩阵M以及像素值R如下。
R＝Det(M)-k*trace(M)2
其中Ix和Iy分别表示表格图像中像素点沿x和y方向的梯度情况，k为常数。根据提取的行列情况对提取角点进行行列分类将角点情况与行列结构信息结合，确定表格中每个单元格的情况，方便套打时对有些单元格进行合并。
7)最后输出上述表格中单元格位置信息，使用MFC访问数据库并从中提取信息创建文字处理器应用程序的文档，利用C++关联文字处理器应用程序，通过文字处理器应用程序实现表格套打，其操作流程如图8所示。
可以是在VS中创建或打开一个已有的MFC程序工程，在工程中添加操作类(TypeLi中的MFC类)并导入基本的文字处理器应用程序操作类库。
建立一个DLL导出类，将此文字处理器应用程序操作封装起来，方便其他程序调用，对OLE动态库初始化和COM初始化，实现文件要包含DAO数据库。
在表格重绘实现语句中自动导入需要重绘表格的行数与列数，在合并单元格语句中导入合并单元格的位置情况，运行程序，出现文字处理器应用程序跳转对话框，点击生成文字处理器应用程序创建新的文字处理器应用程序文档，进行表格绘制。本实施例中所述的文字处理器应用程序可以为Microsoft Word、WPS或其他文字处理软件。
本优选实施例还包括一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述所述表格识别套打方法的步骤。
本优选实施例还包括一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述所述表格识别套打方法的步骤。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种表格识别套打方法，其特征在于，包括：
获取待识别的表格图像，并对采集到的表格图像进行预处理，得到预处理后的第一目标图像；
对预处理后的第一目标图像进行校正处理以获得第二目标图像；
提取第二目标图像的表格轮廓并进行细化处理获得第三目标图像；
根据第三目标图像分析表格横纵结构，以获得表格行列结构信息；
通过角点检测识别第三目标图像的角点位置，并结合表格行列结构信息，确定表格中单元格位置信息；
输出表格中单元格位置信息，以绘制表格实现表格套打。
2.根据权利要求1所述的一种表格识别套打方法，其特征在于，对预处理后的第一目标图像进行校正处理以获得第二目标图像之前，还包括检测第一目标图像的表格图像是否采集完整，具体如下：
检测第一目标的表格图像的外轮廓边界是否接触到图像的边缘；
检测第一目标的表格图像的外轮廓的轮廓端点数是否等于4个；
若判定表格外轮廓接触到图像边界或表格外轮廓端点数不是4个，则判断为表格拍摄不完整，返回重拍。
3.根据权利要求1所述的一种表格识别套打方法，其特征在于，对预处理后的第一目标图像进行校正处理以获得第二目标图像，步骤包括：识别第一目标图像所有边框，进行凸包拟合，筛选出最大的边框为A4纸的边框，得到A4纸的顶点坐标信息，通过透视变换矩阵进行透视变换校正，以获得第二目标图像；其中，识别第一目标图像所有边框的步骤包括：寻找第一目标图像中的物体轮廓，再查找出图像中物体的凸包，将检测出来的轮廓连续光滑的曲线折线化，并对图像轮廓点进行多边形拟合，筛选出所有的四边形边框。
4.根据权利要求3所述的一种表格识别套打方法，其特征在于，通过透视变换矩阵进行透视变换校正，包括：变换公式为
其中，u、v是原始图片坐标，通过该变换公式，可以得到变换后对应的图片坐标
变换矩阵
可拆分为几部分：
表示线性变换，包含缩放、旋转、错切等；[a31 a32]代表平移；[a13 a23]T产生透视变换；可得
从而将定位得到的A4纸的四个顶点坐标、结合原始坐标代入变换公式中，以实现透视校正。
5.根据权利要求1所述的一种表格识别套打方法，其特征在于，对采集到的表格图像进行预处理，步骤包括：
灰度化处理，将采集到的表格图像转变为单通道的灰度图像；
二值化处理，对灰度化处理后的灰度图像使用局部自适应阈值法以动态形式确定二值化阈值，实现表格图像的二值化处理；
高斯滤波处理，使用图像滤波减小图片噪声的干扰，使用高斯滤波降噪，使用掩膜扫描图像，利用掩膜中心像素领域的像素加权平均代替掩膜中心像素的像素值，遍历整张表格图像实现高斯滤波处理；
边缘检测处理，使用边缘检测算法获得完整的边缘信息、一定程度凸显有效区域，使用Canny边缘检测算法，该算法遵循最优边缘准则，使用双阈值筛选、非极大值抑制使算法准确识别表格图像边缘；
膨胀处理，使用膨胀操作对表格图像求局部最大值，使目标边界与背景合并，使边界向外扩，增强表格图像质量，填补边界区域中存在的一些孔洞，消除噪声干扰，得到完整的表格线，使边界线闭合***。
6.根据权利要求1所述的一种表格识别套打方法，其特征在于，提取第二目标图像的表格轮廓并进行细化处理获得第三目标图像，包括：
使用开操作方法去除第二目标图像中表格图像的文字部分及细小横纵线等冗余信息；使用该开操作方法包括先对表格图像进行腐蚀操作，再对表格图像进行膨胀操作，以消除表格图像中的小毛刺和突出物，使表格图像中轮廓光滑，去除文字部分及细小横纵线等冗余信息；
识别提取表格图像的水平框线、垂直框线及两者的交点，并合并形成表格轮廓图；
将所述表格轮廓图根据细化规则操作获得表格骨架，以形成第三目标图像；其中，所述细化规则操作包括：通过选取定义一个像素点P，检测识别该像素点P的八领域点信息，判断该像素点P是否被删除。
7.根据权利要求1所述的一种表格识别套打方法，其特征在于，根据第三目标图像分析表格横纵结构，以获得表格行列结构信息，包括：
根据第三目标图像进行水平方向投影，以获得水平投影图；
根据第三目标图像进行垂直方向投影，以获得垂直投影图；
分析水平投影图和垂直投影图的周期性尖峰情况以获得表格行列结构信息。
8.根据权利要求1所述的一种表格识别套打方法，其特征在于，通过角点检测识别第三目标图像的角点位置，包括：对第三目标图像使用Harris角点检测算法进行检测，对角点进行判断，以获得第三目标图像的角点位置信息；其中，Harris角点检测算法为通过权值窗口平移来检测该像素点在各个方向上的变化强度，来对角点位置进行判断，角点检测的计算矩阵M以及像素值R如下：
R＝Det(M)-k*trace(M)2
其中Ix和Iy分别表示表格图像中像素点沿x和y方向的梯度情况，k为常数；通过根据表格行列结构信息对提取角点进行行列分类，将角点位置情况与表格行列结构信息结合，确定表格中每个单元格的情况，以套打时对单元格进行合并。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至12中任一项所述表格识别套打方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述表格识别套打方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011010032.1A CN112183038A (zh) | 2020-09-23 | 2020-09-23 | 一种表格识别套打方法、计算机设备及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011010032.1A CN112183038A (zh) | 2020-09-23 | 2020-09-23 | 一种表格识别套打方法、计算机设备及计算机可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112183038A true CN112183038A (zh) | 2021-01-05 |
Family
ID=73957054
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011010032.1A Pending CN112183038A (zh) | 2020-09-23 | 2020-09-23 | 一种表格识别套打方法、计算机设备及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112183038A (zh) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112949589A (zh) * | 2021-03-31 | 2021-06-11 | 深圳市商汤科技有限公司 | 目标检测方法、装置、设备及计算机可读存储介质 |
| CN113076952A (zh) * | 2021-03-02 | 2021-07-06 | 西安中诺通讯有限公司 | 一种文本自动识别和增强的方法及装置 |
| CN113792677A (zh) * | 2021-09-17 | 2021-12-14 | 日立楼宇技术（广州）有限公司 | 一种表格识别方法、装置、计算机设备和存储介质 |
| CN114529925A (zh) * | 2022-04-22 | 2022-05-24 | 华南理工大学 | 一种全线表表格结构识别方法 |
| CN114724154A (zh) * | 2022-04-18 | 2022-07-08 | 中国科学技术大学 | 表格识别方法及装置、存储介质及电子设备 |
| CN114862753A (zh) * | 2022-03-17 | 2022-08-05 | 北京梦诚科技有限公司 | 一种自动高精度表格校正方法和*** |
| CN115331245A (zh) * | 2022-10-12 | 2022-11-11 | 中南民族大学 | 一种基于图像实例分割的表格结构识别方法 |
| CN115620321A (zh) * | 2022-10-20 | 2023-01-17 | 北京百度网讯科技有限公司 | 表格识别方法及装置、电子设备和存储介质 |
| CN115690823A (zh) * | 2022-11-01 | 2023-02-03 | 南京云阶电力科技有限公司 | 电气图纸中带有毛刺特征的表格信息提取方法及装置 |
| WO2023031698A1 (en) * | 2021-09-02 | 2023-03-09 | L&T Technology Services Limlted | System and method for contour completion |
| CN116259064A (zh) * | 2023-03-09 | 2023-06-13 | 北京百度网讯科技有限公司 | 表格结构识别方法、表格结构识别模型的训练方法及装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106156761A (zh) * | 2016-08-10 | 2016-11-23 | 北京交通大学 | 面向移动终端拍摄的图像表格检测与识别方法 |
| CN109948135A (zh) * | 2019-03-26 | 2019-06-28 | 厦门商集网络科技有限责任公司 | 一种基于表格特征归一化图像的方法及设备 |
| CN110163198A (zh) * | 2018-09-27 | 2019-08-23 | 腾讯科技（深圳）有限公司 | 一种表格识别重建方法、装置和存储介质 |
-
2020
- 2020-09-23 CN CN202011010032.1A patent/CN112183038A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106156761A (zh) * | 2016-08-10 | 2016-11-23 | 北京交通大学 | 面向移动终端拍摄的图像表格检测与识别方法 |
| CN110163198A (zh) * | 2018-09-27 | 2019-08-23 | 腾讯科技（深圳）有限公司 | 一种表格识别重建方法、装置和存储介质 |
| CN109948135A (zh) * | 2019-03-26 | 2019-06-28 | 厦门商集网络科技有限责任公司 | 一种基于表格特征归一化图像的方法及设备 |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113076952A (zh) * | 2021-03-02 | 2021-07-06 | 西安中诺通讯有限公司 | 一种文本自动识别和增强的方法及装置 |
| CN113076952B (zh) * | 2021-03-02 | 2024-05-28 | 西安中诺通讯有限公司 | 一种文本自动识别和增强的方法及装置 |
| WO2022205816A1 (zh) * | 2021-03-31 | 2022-10-06 | 深圳市商汤科技有限公司 | 目标检测方法、装置、设备及计算机可读存储介质 |
| CN112949589A (zh) * | 2021-03-31 | 2021-06-11 | 深圳市商汤科技有限公司 | 目标检测方法、装置、设备及计算机可读存储介质 |
| WO2023031698A1 (en) * | 2021-09-02 | 2023-03-09 | L&T Technology Services Limlted | System and method for contour completion |
| CN113792677B (zh) * | 2021-09-17 | 2023-10-17 | 日立楼宇技术（广州）有限公司 | 一种表格识别方法、装置、计算机设备和存储介质 |
| CN113792677A (zh) * | 2021-09-17 | 2021-12-14 | 日立楼宇技术（广州）有限公司 | 一种表格识别方法、装置、计算机设备和存储介质 |
| CN114862753A (zh) * | 2022-03-17 | 2022-08-05 | 北京梦诚科技有限公司 | 一种自动高精度表格校正方法和*** |
| CN114724154A (zh) * | 2022-04-18 | 2022-07-08 | 中国科学技术大学 | 表格识别方法及装置、存储介质及电子设备 |
| CN114724154B (zh) * | 2022-04-18 | 2024-03-29 | 中国科学技术大学 | 表格识别方法及装置、存储介质及电子设备 |
| CN114529925A (zh) * | 2022-04-22 | 2022-05-24 | 华南理工大学 | 一种全线表表格结构识别方法 |
| CN114529925B (zh) * | 2022-04-22 | 2022-07-15 | 华南理工大学 | 一种全线表表格结构识别方法 |
| CN115331245A (zh) * | 2022-10-12 | 2022-11-11 | 中南民族大学 | 一种基于图像实例分割的表格结构识别方法 |
| CN115620321A (zh) * | 2022-10-20 | 2023-01-17 | 北京百度网讯科技有限公司 | 表格识别方法及装置、电子设备和存储介质 |
| CN115690823B (zh) * | 2022-11-01 | 2023-11-10 | 南京云阶电力科技有限公司 | 电气图纸中带有毛刺特征的表格信息提取方法及装置 |
| CN115690823A (zh) * | 2022-11-01 | 2023-02-03 | 南京云阶电力科技有限公司 | 电气图纸中带有毛刺特征的表格信息提取方法及装置 |
| CN116259064A (zh) * | 2023-03-09 | 2023-06-13 | 北京百度网讯科技有限公司 | 表格结构识别方法、表格结构识别模型的训练方法及装置 |
| CN116259064B (zh) * | 2023-03-09 | 2024-05-17 | 北京百度网讯科技有限公司 | 表格结构识别方法、表格结构识别模型的训练方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112183038A (zh) | 一种表格识别套打方法、计算机设备及计算机可读存储介质 | |
| CN110378310B (zh) | 一种基于答案库的手写样本集的自动生成方法 | |
| CN104751142B (zh) | 一种基于笔划特征的自然场景文本检测方法 | |
| CN110119741B (zh) | 一种有背景的卡证图像信息识别方法 | |
| US7965894B2 (en) | Method for detecting alterations in printed document using image comparison analyses | |
| CN111127339B (zh) | 一种文档图像的梯形畸变矫正方法及装置 | |
| US9959475B2 (en) | Table data recovering in case of image distortion | |
| US8331670B2 (en) | Method of detection document alteration by comparing characters using shape features of characters | |
| US9965695B1 (en) | Document image binarization method based on content type separation | |
| CN102360419B (zh) | 计算机扫描阅读管理方法及*** | |
| US20120294528A1 (en) | Method of Detecting and Correcting Digital Images of Books in the Book Spine Area | |
| US11836969B2 (en) | Preprocessing images for OCR using character pixel height estimation and cycle generative adversarial networks for better character recognition | |
| EP2014082A1 (en) | Generating a bitonal image from a scanned colour image | |
| CN102737240B (zh) | 分析数字文档图像的方法 | |
| CN111814673A (zh) | 一种修正文本检测边界框的方法、装置、设备及存储介质 | |
| CN109741273A (zh) | 一种手机拍照低质图像的自动处理与评分方法 | |
| CN112419207A (zh) | 一种图像矫正方法及装置、*** | |
| CN113139535A (zh) | 一种ocr文档识别方法 | |
| KR102167433B1 (ko) | 다중 패턴 문자 영상 자동 생성 기반 문자 인식 장치 및 그 방법 | |
| EP2545498B1 (en) | Resolution adjustment of an image that includes text undergoing an ocr process | |
| CN115909375A (zh) | 一种基于智能识别的报表分析方法 | |
| CN107609482B (zh) | 一种基于汉字笔画特征的中文文本图像倒置判别方法 | |
| CN111445402B (zh) | 一种图像去噪方法及装置 | |
| US20120250985A1 (en) | Context Constraints for Correcting Mis-Detection of Text Contents in Scanned Images | |
| KR20150099116A (ko) | Ocr를 이용한 컬러 문자 인식 방법 및 그 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |