CN113065536A - 处理表格的方法、计算设备和计算机可读存储介质 - Google Patents

处理表格的方法、计算设备和计算机可读存储介质 Download PDF

Info

Publication number
CN113065536A
CN113065536A CN202110616829.4A CN202110616829A CN113065536A CN 113065536 A CN113065536 A CN 113065536A CN 202110616829 A CN202110616829 A CN 202110616829A CN 113065536 A CN113065536 A CN 113065536A
Authority
CN
China
Prior art keywords
cell
text box
target
determining
cells
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110616829.4A
Other languages
English (en)
Other versions
CN113065536B (zh
Inventor
张世坤
李景阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BEIJING ALLIN TECHNOLOGY CO.,LTD.
Original Assignee
Beijing Ouying Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Ouying Information Technology Co Ltd filed Critical Beijing Ouying Information Technology Co Ltd
Priority to CN202110616829.4A priority Critical patent/CN113065536B/zh
Publication of CN113065536A publication Critical patent/CN113065536A/zh
Application granted granted Critical
Publication of CN113065536B publication Critical patent/CN113065536B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40Document-oriented image-based pattern recognition
    • G06V30/41Analysis of document content
    • G06V30/412Layout analysis of documents structured with printed lines or input boxes, e.g. business forms or tables
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供了一种处理表格的方法、计算设备和计算机可读存储介质。该方法包括:对扭曲图像进行文本框检测,以获取所述扭曲图像中的多个文本框的位置数据;对所述扭曲图像进行表格线检测,以获取所述扭曲图像中的多条表格线;基于所述多个文本框的位置数据,通过最大匹配行列算法确定多个第一单元格;基于所述多条表格线对所述多个第一单元格进行曲线拟合以确定每个第一单元格周围的拟合曲线段和延长线数据;以及基于每个第一单元格周围的拟合曲线段和延长线数据对所述多个第一单元格进行连通域校正以确定所述表格的多个单元格和每个单元格中的文本内容。

Description

处理表格的方法、计算设备和计算机可读存储介质
技术领域
本发明概括而言涉及图像处理领域,更具体地,涉及一种处理表格的方法、计算设备和计算机可读存储介质。
背景技术
当前,在许多应用领域中需要对图像中的文本进行识别,从而开发了各种各样的光学字符识别(OCR)技术。在学术论文或者科研报告中常常包括表格来描述学术进展或者实验结果。在医学领域,各种检测结果也通常是以表格形式展现。针对图像中的表格识别也已经提出了多种方案。然而,在实际的应用场景中,常常会遇到扭曲变形的图像,从而这种图像中的表格也是扭曲的表格,如何准确识别这些扭曲表格以重构出结构化表格目前尚无很好的解决方案。
对于扭曲表格识别,当前主流的方法是在常规表格识别技术的基础上对图像进行畸变校正、仿射变换等来解决简单的形变。此外,还存在着基于深度学习的图卷积方式和基于表格线的检测方法等。
然而,上述常规方法的效率低、鲁棒性弱、没有解决扭曲表格的算法,基于深度学习的图卷积方法过度依赖文本框检测结果,如果结果出现缺失,则容易导致整个结果的错误,而基于表格线的检测方法要求训练扭曲图片数据的种类过多,数据标注工作量庞大,并且存在断线问题,无法精确判断每条断线之间的关系,导致无法确定表格结构。
自然场景应用的OCR识别之后的版面分析,受到图片扭曲的场景影响很多。因此本发有效解决扭曲后无法进行结构化提取的问题,提升OCR的适应性。
发明内容
针对上述问题中的至少一个,本发明提供了一种处理表格的方案,其利用拓扑学原理,通过将文本框检测信息与表格线检测信息进行合理运算来准确确定扭曲表格中的每个单元格及其文本内容。
根据本发明的一个方面,提供了一种处理表格的方法。该方法包括:对扭曲图像进行文本框检测,以获取所述扭曲图像中的多个文本框的位置数据;对所述扭曲图像进行表格线检测,以获取所述扭曲图像中的多条表格线;基于所述多个文本框的位置数据,通过最大匹配行列算法确定多个第一单元格;基于所述多条表格线对所述多个第一单元格进行曲线拟合以确定每个第一单元格周围的拟合曲线段和延长线数据;以及基于每个第一单元格周围的拟合曲线段和延长线数据对所述多个第一单元格进行连通域校正以确定所述表格的多个单元格和每个单元格中的文本内容。
根据本发明的另一个方面,提供了一种计算设备。该计算设备包括:至少一个处理器;以及至少一个存储器,该至少一个存储器被耦合到该至少一个处理器并且存储用于由该至少一个处理器执行的指令,该指令当由该至少一个处理器执行时,使得该计算设备执行根据上述方法的步骤。
根据本发明的再一个方面,提供了一种计算机可读存储介质,其上存储有计算机程序代码,该计算机程序代码在被运行时执行如上所述的方法。
在一些实施例中,所述多个文本框的位置数据包括每个文本框的顶点坐标、中心点坐标、宽度数据和高度数据,并且其中通过最大匹配行列算法确定多个第一单元格包括:将所述多个文本框按照中心点坐标排列;分别确定所述多个文本框的至少一个水平配对组合和至少一个垂直配对组合,其中每个水平配对组合包括一个或多个水平配对,每个水平配对包括一个文本框及其下一水平文本框,每个垂直配对组合包括一个或多个垂直配对,每个垂直配对包括一个文本框及其下一垂直文本框; 从所述至少一个水平配对组合中选择水平配对数量最多的一个水平配对组合来确定所述多个文本框的水平向量,并且从所述至少一个垂直配对组合中选择垂直配对数量最多的一个垂直配对组合来确定所述多个文本框的垂直向量;基于所述多个文本框的水平向量和垂直向量确定所述多个文本框的第一方向和第二方向,其中所述第二方向垂直于所述第一方向;以及基于所述多个文本框的位置数据、所述第一方向和所述第二方向确定所述多个第一单元格。
在一些实施例中,分别确定所述多个文本框的至少一个水平配对组合和至少一个垂直配对组合包括:对于所述多个文本框中的一个目标文本框,确定所述目标文本框的下一水平文本框与所述目标文本框的上边距或者下边距是否小于第一预定阈值;如果确定所述目标文本框的下一水平文本框与所述目标文本框的上边距或者下边距小于所述第一预定阈值,确定所述下一水平文本框与所述目标文本框的中心位置距离是否大于第二预定阈值;如果确定所述下一水平文本框与所述目标文本框的中心位置距离大于所述第二预定阈值,将所述目标文本框和所述下一水平文本框组织成标记为第一值的水平配对;以及如果确定所述下一水平文本框与所述目标文本框的上边距或者下边距大于或等于所述第一预定阈值,或者确定所述下一水平文本框与所述目标文本框的中心位置距离小于或等于所述第二预定阈值,将所述目标文本框和所述下一水平文本框组织成标记为第二值的水平配对。
在一些实施例中,分别确定所述多个文本框的至少一个水平配对组合和至少一个垂直配对组合包括:对于所述多个文本框中的一个目标文本框,确定所述目标文本框的下一垂直文本框与所述目标文本框的左边距或者右边距是否小于第一预定阈值;如果确定所述目标文本框的下一垂直文本框与所述目标文本框的左边距或者右边距小于所述第一预定阈值,确定所述下一垂直文本框与所述目标文本框的中心位置距离是否大于第二预定阈值;如果确定所述下一垂直文本框与所述目标文本框的中心位置距离大于所述第二预定阈值,将所述目标文本框和所述下一垂直文本框组织成标记为第一值的垂直配对;以及如果确定所述下一垂直文本框与所述目标文本框的左边距或者右边距大于或等于所述第一预定阈值,或者确定所述下一垂直文本框与所述目标文本框的中心位置距离小于或等于所述第二预定阈值,将所述目标文本框和所述下一垂直文本框组织成标记为第二值的垂直配对。
在一些实施例中,确定每个第一单元格周围的拟合曲线段和延长线数据包括:基于所述多个第一单元格周围的表格线拟合所述多个第一单元格的周围曲线,并且为每个第一单元格记录该周围曲线在所述第一单元格周围的拟合曲线段;以及基于所述多个第一单元格的周围曲线,确定所述第一单元格的前一第一单元格的拟合曲线段作为所述第一单元格的延长线数据。
在一些实施例中,确定所述表格的多个单元格和每个单元格中的文本内容包括:对于所述多个第一单元格中的每个第一单元格,确定所述第一单元格的四条周围线的周围线分值;基于所述文本框的位置数据确定所述第一单元格的文本框分值;基于所述第一单元格的周围线分值和文本框分值确定所述第一单元格的总分值;从所述多个第一单元格中选择总分值最高的第一单元格作为目标第一单元格;基于所述目标第一单元格周围的拟合曲线段和延长线数据确定所述目标第一单元格的行连通域和列连通域;以及基于所述目标第一单元格的行连通域和列连通域对所述多个第一单元格进行校正以确定所述表格的多个单元格。
在一些实施例中,基于所述第一单元格的周围线分值和文本框分值确定所述第一单元格的总分值包括:基于所述多条表格线确定多个初级交点;基于所述多个初级交点和所述多个第一单元格的位置关系确定所述多个第一单元格中的首个第一单元格;以及从所述首个第一单元格开始,依次确定所述多个第一单元格中的每个第一单元格的总分值。
在一些实施例中,从所述多个第一单元格中选择总分值最高的第一单元格作为目标第一单元格包括:确定所述多个第一单元格中是否存在至少两个总分值最高的第一单元格;以及响应于确定所述多个第一单元格中存在至少两个总分值最高的第一单元格,基于所述至少两个总分值最高的第一单元格的位置数据确定所述目标第一单元格。
在一些实施例中,确定所述目标第一单元格的行连通域包括:确定所述多条表格线在所述目标第一单元格的区域的像素的像素横坐标和像素纵坐标;基于所述像素横坐标和所述目标第一单元格的拟合曲线段或者水平延长线数据确定所述像素的拟合纵坐标;确定所述拟合纵坐标和所述像素纵坐标之间的平均差是否小于预定阈值;以及响应于确定所述拟合纵坐标和所述像素纵坐标之间的平均差小于所述预定阈值,将所述目标第一单元格与其水平方向的前一第一单元格进行行连通。
在一些实施例中,确定所述目标第一单元格的列连通域包括:确定所述多条表格线在所述目标第一单元格的区域的像素的像素横坐标和像素纵坐标;基于所述像素纵坐标和所述目标第一单元格的拟合曲线段或者垂直延长线数据确定所述像素的拟合横坐标;确定所述拟合横坐标和所述像素横坐标之间的平均差是否小于预定阈值;以及响应于确定所述拟合横坐标和所述像素横坐标之间的平均差小于所述预定阈值,将所述目标第一单元格与其垂直方向的前一第一单元格进行列连通。
在一些实施例中,确定所述表格的多个单元格和每个单元格中的文本内容还包括:确定所述单元格包含一个文本框还是至少两个文本框;响应于确定所述单元格包含一个文本框,将所述文本框中的文本内容作为所述单元格中的文本内容;以及响应于确定所述单元格包含至少两个文本框,将所述至少两个文本框中的文本内容合并作为所述单元格中的文本内容。
附图说明
通过参考下列附图所给出的本发明的具体实施方式的描述,将更好地理解本发明,并且本发明的其他目的、细节、特点和优点将变得更加显而易见。
图1示出了用于实现根据本发明的实施例的处理表格的方法的***的示意图。
图2示出了根据本发明的一些实施例的用于处理表格的方法的流程图。
图3示出了根据本发明实施例的通过最大匹配行列算法确定多个第一单元格的示例性方法的流程图。
图4示出了根据本发明一些实施例的用于确定多个文本框中的一个水平配对的示例性方法的流程图。
图5示出了根据本发明一些实施例的用于确定多个文本框中的一个垂直配对的示例性方法的流程图。
图6示出了根据本发明实施例的对第一单元格进行连通域校正以确定表格的单元格的示例性方法的流程图。
图7示出了根据本发明的一个实例的周围曲线的示意图。
图8示出了根据本发明实施例的用于确定目标第一单元格的行连通域的方法的流程图。
图9示出了根据本发明实施例的用于确定目标第一单元格的列连通域的方法的流程图。
图10示出了适合实现本发明的实施例的计算设备的结构方框图。
具体实施方式
下面将参照附图更详细地描述本发明的优选实施方式。虽然附图中显示了本发明的优选实施方式,然而应该理解,可以以各种形式实现本发明而不应被这里阐述的实施方式所限制。相反,提供这些实施方式是为了使本发明更加透彻和完整,并且能够将本发明的范围完整的传达给本领域的技术人员。
在下文的描述中,出于说明各种发明的实施例的目的阐述了某些具体细节以提供对各种发明实施例的透彻理解。但是,相关领域技术人员将认识到可在无这些具体细节中的一个或多个细节的情况来实践实施例。在其它情形下,与本申请相关联的熟知的装置、结构和技术可能并未详细地示出或描述从而避免不必要地混淆实施例的描述。
除非语境有其它需要,在整个说明书和权利要求中,词语“包括”和其变型,诸如“包含”和“具有”应被理解为开放的、包含的含义,即应解释为“包括,但不限于”。
在整个说明书中对“一个实施例”或“一些实施例”的提及表示结合实施例所描述的特定特点、结构或特征包括于至少一个实施例中。因此,在整个说明书的各个位置“在一个实施例中”或“在一些实施例”中的出现不一定全都指相同实施例。另外,特定特点、结构或特征可在一个或多个实施例中以任何方式组合。
此外,说明书和权利要求中所用的第一、第二、第三、第四等术语,仅仅出于描述清楚起见来区分各个对象,而并不限定其所描述的对象的大小或其他顺序等。
图1示出了用于实现根据本发明的实施例的处理表格的方法的***1的示意图。如图1中所示,***1包括计算设备10、服务器20和网络30。计算设备10和服务器20可以通过网络30进行数据交互。这里,服务器20例如可以是专用于提供表格重构服务的服务提供商的服务器,计算设备10与该服务器20相连以基于来自服务器20的命令执行相应的操作。计算设备10可以包括至少一个处理器110和与该至少一个处理器110耦合的至少一个存储器120,该存储器120中存储有可由该至少一个处理器110执行的指令130,该指令130在被该至少一个处理器110执行时执行如下所述的方法200-600和800-900的至少一部分。注意,在本文中,计算设备10可以是服务器20的一部分或者可以独立于服务器20。计算设备10或服务器20的具体结构例如可以如下结合图10所述。
图2示出了根据本发明的一些实施例的用于处理表格的方法200的流程图。方法200例如可以由图1中所示的***1中的计算设备10或服务器20执行。以下以在计算设备10中执行为例,结合图1至图9对方法200进行描述。
如图2中所示,方法200包括步骤210,其中计算设备10可以对扭曲图像进行文本框检测,以获取该扭曲图像中的多个文本框的位置数据。
在一些实施方式中,计算设备10可以利用各种已知的或将来开发的OCR方案来检测图像中的文本框。例如,可以利用谷歌或腾讯的开源OCR项目等来识别图像中的文本框。其中,识别结果可以包括每个文本框的位置数据。在一个实例中,每个文本框的位置数据可以包括该文本框的顶点坐标(例如四个二维数组)、中心点坐标(例如一个二维数组)、高度数据(例如文本框的像素高度)和宽度数据(例如文本框的像素宽度)等。
在另一些实施方式中,计算设备10可以利用各种目标检测模型来检测图像中的文本框。目标检测模型是指从图像中检测出特定目标对象的机器学习模型。取决于实际的应用需求,可以使用两阶段(2-stage)目标检测模型或者单阶段(1-stage)目标检测模型中的任一种。
在步骤220,计算设备10可以对该扭曲图像进行表格线检测,以获取该扭曲图像中的多条表格线。
这里,对扭曲图像进行表格线检测可以利用现有技术中的表格线检测方法,如JAVA OPENCV中的工具,对输入的图像进行灰度化、二值化、膨胀和腐蚀以补全表格线内的空洞,从而获得图像中的水平线二值图和垂直线二值图,并且将水平线二值图和垂直线二值图进行合并来获得表格线二值图。
或者,对扭曲图像进行表格线检测也可以利用本申请的申请人和发明人特别设计的基于卷积神经网络的表格线检测方法。具体地,可以通过对诸如Resnet、Unet等卷积神经网络模型进行训练,并且利用训练好的模型生成目标图像的、与多个表格线类型相对应的多个预测二值图和多个预测渐变图。其中多个表格线类型可以包括水平且可见、垂直且可见、水平且不可见以及垂直且不可见。多个预测二值图中的每个预测二值图指示与所对应表格线类型相对应的表格线的第一预测矩形区域。多个预测渐变图中的每个预测渐变图指示与所对应表格线类型相对应的表格线和表格线的第二预测矩形区域中的对应矩形边之间的渐变值。然后,可以基于多个预测二值图和多个预测渐变图,确定与多个表格线类型相对应的多个预测表格线二值图,并且基于多个预测表格线二值图,经由连通域算法,确定目标图像中的表格的单元格坐标。
这种表格线检测方法通过综合考虑预测二值图和预测渐变图能够确定不断线的预测表格线二值图,从而避免了表格线识别断线问题,能够准确识别图像中的表格线。
接下来,在步骤230,计算设备10可以基于步骤210中检测的多个文本框的位置数据,通过最大匹配行列算法确定多个第一单元格。
这里,最大匹配行列算法是指基于扭曲图像的多个文本框的位置,从多个文本框中匹配出处于同一行或者同一列的配对文本框最多的行或列,并且将满足这种条件的每个文本框作为一个单元格。这样确定的单元格可能是残缺不全的或者不准确的单元格,因此在本发明中也称为拟单元格或第一单元格,以与后续进一步确定的单元格进行区分。通过最大匹配行列算法确定第一单元格的示例性方法将在以下结合图3更详细地描述。
在步骤240,计算设备10可以基于步骤220获取的多条表格线对步骤230确定的多个第一单元格进行曲线拟合以确定每个第一单元格周围的拟合曲线段和延长线数据。
在本发明中,可以为每个第一单元格设置两个计分器和两个存储器。两个计分器包括周围线计分器,用于记录该第一单元格的四条周围线的周围线分值,以及文本框计分器,用于记录该第一单元格的文本框分值。两个存储器包括周围线关系存储器,用于记录为多个第一单元格拟合出的周围曲线在该第一单元格周围的拟合曲线段,以及周围延长线存储器,用于在该第一单元格的前一第一单元格存在的情况下,记录该前一第一单元格的拟合曲线段作为该第一单元格的延长线数据。
在步骤240中,计算设备10可以根据步骤220确定的表格线对步骤230确定的多个第一单元格进行曲线拟合以确定该多个第一单元格的周围曲线,并且为每个第一单元格记录该周围曲线在该第一单元格周围的拟合曲线段,例如记录在该第一单元格的周围线关系存储器中。
在一种实例中,计算设备10可以根据如下拟合函数对多个第一单元格进行拟合以确定这些第一单元格的周围曲线:
Figure 654522DEST_PATH_IMAGE001
取决于拟合精度需求,阶数k可以取不同的值。例如,在一个仿真实验中,选择k=6,拟合出的周围曲线如图7所示。
此外,在步骤240中,计算设备10还可以为每个第一单元格记录该第一单元格的延长线数据,该延长线数据是指该第一单元格的前一第一单元格的拟合曲线段,包括水平延长线数据和垂直延长线数据,该延长线数据例如可以记录在该第一单元格的周围延长线存储器中。
在步骤250,计算设备10可以基于步骤240确定的每个第一单元格周围的拟合曲线段和延长线数据对多个第一单元格进行连通域校正以确定表格的多个单元格和每个单元格中的文本内容。
具体地,连通域校正是指计算设备10根据每个第一单元格的周围线关系存储器中记录的该第一单元格周围的拟合曲线段或者该第一单元格的周围延长线存储器中记录的延长线数据,确定该第一单元格的行连通域和列连通域,直至迭代找到最大行连通域和最大列连通域。这里,计算设备10可以根据每个第一单元格的位置和步骤220获取的表格线确定该第一单元格的周围线分值、根据步骤210检测的文本框与该第一单元格的位置关系确定该第一单元格的文本框分值,从而确定每个第一单元格的总分值,并且从多个第一单元格中选择总分值最高的第一单元格作为目标第一单元格以开始上述连通域校正。通过这种方式,计算设备10能够更加快速的找到最大行连通域和最大列连通域。
然后,计算设备10可以最大行连通域和最大列连通域对多个第一单元格进行行列校正来确定表格的准确的单元格,并且可以根据单元格的位置和文本框的位置确定每个单元格中的文本内容。以下将结合图6对步骤250中确定单元格的方法进行详细描述。
利用方法200所述的方案,本文描述的处理表格的方法能够将文本框检测的结果和表格线检测的结果进行互补,并且通过最大匹配行列算法和连通域校正算法确定准确的表格,这种方法对于扭曲图像中的表格识别和提取尤其有用。
图3示出了根据本发明实施例的通过最大匹配行列算法确定多个第一单元格的示例性方法300的流程图。
如图3中所示,方法300可以包括步骤310,其中计算设备10可以将步骤210获取的多个文本框按照中心点坐标排列。如前所述,文本框的位置数据可以包括每个文本框的中心点坐标,该中心点坐标可以是一个二维数组,分别指示了中心点横坐标和中心点纵坐标。在步骤310中,计算设备10可以根据各个文本框的中心点坐标将这些文本框初步排列。
在步骤320,计算设备10可以分别确定该扭曲图像的多个文本框的至少一个水平配对组合和至少一个垂直配对组合。其中每个水平配对组合包括一个或多个水平配对,每个水平配对包括一个文本框及其下一水平文本框,每个垂直配对组合包括多个垂直配对,每个垂直配对包括一个文本框及其下一垂直文本框。
这里,通过对多个文本框按照预定顺序(如从左至右、从上至下)进行遍历来获得相邻两个文本框之间的位置关系满足预定条件的水平配对或者垂直配对,从而获得一个水平配对组合或垂直配对组合。例如,该预定条件包括对于水平配对来说,两个文本框之间的垂直方向的偏移小于第一预定阈值并且中心位置距离大于第二预定阈值,对于垂直配对来说,两个文本框之间的水平方向的偏移小于第三预定阈值并且中心位置距离大于第四预定阈值,如下所详述。确定多个文本框的水平配对和垂直配对的示例性方法将在以下结合图4和图5更详细地描述。
此外,在步骤320中,可以更新该预定条件(如改变第一/三预定阈值和/或第二/四预定阈值)并对多个文本框进行重复遍历,每次遍历可以获得一个水平配对组合和/或垂直配对组合,从而重复遍历可以获得一个或多个水平配对组合和/或垂直配对组合。这里,重复遍历的次数可以预先指定或者根据原始图像的大小来确定。
接下来,在步骤330,计算设备10可以从步骤320确定的至少一个水平配对组合中选择水平配对数量最多的一个水平配对组合来确定多个文本框的水平向量,并且从步骤320确定的至少一个垂直配对组合中选择垂直配对数量最多的一个垂直配对组合来确定多个文本框的垂直向量。
每个配对组合中的一个配对包括两个沿水平或垂直方向相邻的文本框,因此通过将配对数量最多的配对组合中的各个配对中所包含的文本框依次相连,能够确定这些文本框的水平向量或垂直向量。
在步骤340,计算设备10可以基于步骤330确定的多个文本框的水平向量和垂直向量确定多个文本框的第一方向和第二方向,其中第二方向垂直于第一方向。如上所述,子步骤233得到的水平向量或垂直向量可能不是平滑的直线向量,因此在子步骤234中,可以进一步根据水平向量和垂直向量分别确定两个直线方向。由于表格可能是扭曲表格,因此这两个直线方向可能并不绝对垂直而是基本上垂直。
在步骤350,计算设备10可以基于多个文本框的位置数据、步骤340确定的第一方向和第二方向确定多个第一单元格。
具体地,上述第一方向和第二方向可以认为是表格的扭曲方向,因此可以在每个文本框周围构建第一方向和第二方向的线段,以产生包围该文本框的单元格。这样产生的单元格可能是残缺不全的或者不准确的单元格,因此在本发明中也称为拟单元格或第一单元格。
由于实际表格中的单元格的大小及位置关系未知,因此通过改变上述第一/三预定阈值和/或第二/四预定阈值获取多个水平或垂直配对组合,从中选择的配对数量最多的组合最接近于实际表格中的单元格排布,从而可以通过文本框的位置初步确定表格中的单元格。
如上所述,在步骤320中,可以通过遍历步骤310中按照中心点坐标排列之后的多个文本框来确定一个或多个水平配对和一个或多个垂直配对,从而确定相应的水平配对组合和垂直配对组合。
图4示出了根据本发明一些实施例的用于确定多个文本框中的一个水平配对的示例性方法400的流程图。
如图4中所示,在步骤410,计算设备10可以针对多个文本框中的一个目标文本框,确定该目标文本框的下一水平文本框与该目标文本框的上边距或者下边距是否小于第一预定阈值。
如前所述,多个文本框按照中心点坐标进行了排列。因此,在步骤410中,可以按照从左至右、从上至下的顺序遍历每个文本框与其水平方向的下一文本框(本文中也称为下一水平文本框)和垂直方向的下一文本框(本文中也称为下一垂直文本框)以判断该文本框与其下一水平文本框或下一垂直文本框是否能够构成水平配对或垂直配对。
具体地,对于一个文本框(称为目标文本框),可以确定其下一水平文本框相对于该目标文本框是偏上还是偏下。例如,可以通过比较目标文本框和其下一水平文本框的中心点纵坐标来确定下一水平文本框相对于目标文本框是偏上还是偏下。如果下一水平文本框的中心点纵坐标大于目标文本框(假设图像的坐标规则是从底部向上递增),则确定下一水平文本框相对于目标文本框偏上,在这种情况下可以确定下一水平文本框与该目标文本框的上边界之间的距离,即上边距。反之,如果下一水平文本框的中心点纵坐标小于目标文本框,则确定下一水平文本框相对于目标文本框偏下,在这种情况下可以确定下一水平文本框与该目标文本框的下边界之间的距离,即下边距。
计算设备10可以确定如上确定的上边距或者下边距是否小于第一预定阈值。该第一预定阈值可以根据图像大小不同地设置,并且在多次遍历多个文本框时,每次设置不同的第一预定阈值。在一种实例中,初始的第一预定阈值可以设置为12个像素。
如果在步骤410确定该目标文本框的下一水平文本框与该目标文本框的上边距或者下边距小于该第一预定阈值,则在步骤420,计算设备10可以继续确定该下一水平文本框与该目标文本框的中心位置距离是否大于第二预定阈值。
具体地,如前所述,在步骤210中获取的文本框的位置数据可以包括每个文本框的中心点坐标,因此可以基于下一水平文本框与目标文本框的中心点坐标来确定这两个文本框的中心位置距离。
计算设备10可以确定如上确定的中心位置距离是否大于第二预定阈值。该第二预定阈值可以根据图像大小不同地设置,并且在多次遍历多个文本框时,每次设置不同的第二预定阈值。在一种实例中,初始的第二预定阈值可以设置为5个像素。
如果在步骤420确定下一水平文本框与该目标文本框的中心位置距离大于该第二预定阈值,则在步骤430,计算设备10可以将该目标文本框和该下一水平文本框组织成标记为第一值的水平配对。例如,对于满足上述第一预定阈值和第二预定阈值的两个文本框构成的水平配对,可以设置标记2。
反之,如果在步骤410确定下一水平文本框与该目标文本框的上边距或者下边距大于或等于该第一预定阈值,或者在步骤420确定该下一水平文本框与该目标文本框的中心位置距离小于或等于该第二预定阈值,在步骤440,计算设备10可以将该目标文本框和该下一水平文本框组织成标记为第二值的水平配对。例如,对于这样的两个文本框构成的水平配对,可以设置标记1。
注意,这里设置第一值和第二值只是为了区分构成水平配对的两个文本框之间的关联性,在一些其他实施例中,可以仅在步骤430中将符合该预定条件的两个文本框组织为水平配对,而在步骤440中不对不符合该预定条件的两个文本框进行配对。
通过上述方式,能够根据水平相邻的两个文本框之间的位置关系对相邻文本框进行不同的配对,从而遍历所有文本框之后可以获得所有水平配对,以产生一个水平配对组合。
图5示出了根据本发明一些实施例的用于确定多个文本框中的一个垂直配对的示例性方法500的流程图。
如图5中所示,在步骤510,计算设备10可以针对多个文本框中的一个目标文本框,确定该目标文本框的下一垂直文本框与该目标文本框的左边距或者右边距是否小于第三预定阈值。
如前所述,多个文本框按照中心点坐标进行了排列。因此,在步骤510中,可以按照从左至右、从上至下的顺序遍历每个文本框与其水平方向的下一文本框(本文中也称为下一水平文本框)和垂直方向的下一文本框(本文中也称为下一垂直文本框)以判断该文本框与其下一水平文本框或下一垂直文本框是否能够构成水平配对或垂直配对。
具体地,对于一个文本框(称为目标文本框),可以确定其下一垂直文本框相对于该目标文本框是偏左还是偏右。例如,可以通过比较目标文本框和其下一垂直文本框的中心点横坐标来确定下一垂直文本框相对于目标文本框是偏左还是偏右。如果下一垂直文本框的中心点横坐标大于目标文本框(假设图像的坐标规则是从左向右递增),则确定下一垂直文本框相对于目标文本框偏右,在这种情况下可以确定下一垂直文本框与该目标文本框的右边界之间的距离,即右边距。反之,如果下一垂直文本框的中心点横坐标小于目标文本框,则确定下一垂直文本框相对于目标文本框偏左,在这种情况下可以确定下一垂直文本框与该目标文本框的左边界之间的距离,即左边距。
计算设备10可以确定如上确定的左边距或者右边距是否小于第三预定阈值。该第三预定阈值可以根据图像大小不同地设置,并且在多次遍历多个文本框时,每次设置不同的第三预定阈值。在一种实例中,初始的第三预定阈值可以设置为12个像素。
如果在步骤510确定该目标文本框的下一垂直文本框与该目标文本框的左边距或者右边距小于该第三预定阈值,则在步骤520,计算设备10可以继续确定该下一垂直文本框与该目标文本框的中心位置距离是否大于第四预定阈值。
具体地,如前所述,在步骤210中获取的文本框的位置数据可以包括每个文本框的中心点坐标,因此可以基于下一垂直文本框与目标文本框的中心点坐标来确定这两个文本框的中心位置距离。
计算设备10可以确定如上确定的中心位置距离是否大于第四预定阈值。该第四预定阈值可以根据图像大小不同地设置,并且在多次遍历多个文本框时,每次设置不同的第四预定阈值。在一种实例中,初始的第四预定阈值可以设置为5个像素。
如果在步骤520确定下一垂直文本框与该目标文本框的中心位置距离大于该第四预定阈值,则在步骤530,计算设备10可以将该目标文本框和该下一垂直文本框组织成标记为第一值的垂直配对。例如,对于满足上述第三预定阈值和第四预定阈值的两个文本框构成的垂直配对,可以设置标记2。
反之,如果在步骤510确定下一垂直文本框与该目标文本框的左边距或者右边距大于或等于该第三预定阈值,或者在步骤520确定该下一垂直文本框与该目标文本框的中心位置距离小于或等于该第四预定阈值,在步骤540,计算设备10可以将该目标文本框和该下一垂直文本框组织成标记为第二值的垂直配对。例如,对于这样的两个文本框构成的垂直配对,可以设置标记1。
类似地,这里设置第一值和第二值只是为了区分构成垂直配对的两个文本框之间的关联性,在一些其他实施例中,可以仅在步骤530中将符合该预定条件的两个文本框组织为垂直配对,而在步骤540中不对不符合该预定条件的两个文本框进行配对。
通过上述方式,能够根据垂直相邻的两个文本框之间的位置关系对相邻文本框进行不同的配对,从而遍历所有文本框之后可以获得所有垂直配对,以产生一个垂直配对组合。
图6示出了根据本发明实施例的对第一单元格进行连通域校正以确定表格的单元格的示例性方法600的流程图。
如前所述,计算设备10可以从多个第一单元格中选择得分最高的第一单元格来确定该第一单元格的行连通域和列连通域并基于该行连通域和列连通域对多个第一单元格进行校正。
具体地,在步骤610,对于多个第一单元格中的每个第一单元格,计算设备10可以确定该第一单元格的四条周围线的周围线分值。具体地,计算设备10可以根据步骤220的表格线检测的结果确定每个第一单元格的四个方向(四周)的预定范围内是否具有相应的表格线(这里称为该第一单元格的周围线)。如果确定第一单元格的某个方向的预定范围内具有相应的表格线,则可以确定该第一单元格的该方向具有表格线,并将该方向的周围线的分值标记为第一分值(例如2),否则,将该方向的周围线的分值标记为第二分值(例如0)。
这样,对于每个第一单元格来说,可以根据表格线检测的结果确定该第一单元格的四个方向的四个周围线分值,其可以表示为一个四维数组,数组中的每个元素的取值为第一分值或者第二分值。
在步骤620,计算设备10可以基于文本框的位置数据确定该第一单元格的文本框分值。
具体地,计算设备10可以确定文本框的中心位置坐标是否落入该第一单元格内,如果落入该第一单元格内,可以将该第一单元格的文本框分值设置为第三分值(例如2),反之则将该第一单元格的文本框分值设置为第四分值(例如0)。
在步骤630,计算设备10可以基于步骤610确定的该第一单元格的周围线分值和步骤620确定的该第一单元格的文本框分值确定该第一单元格的总分值。在一些实施例中,可以将该第一单元格的周围线分值和文本框分值相加来得到该第一单元格的总分值。在另一些实施例中,可以为该第一单元格的周围线分值和文本框分值分别赋予不同的权重,并且对它们进行加权求和来得到该第一单元格的总分值。
步骤610至630可以重复执行,以得到所有第一单元格的总分值。在一种实施例中,可以按照第一单元格的位置和表格线交点的顺序为每个第一单元格计算总分值。
具体地,计算设备10可以基于步骤220确定的多条表格线确定多个初级交点。如前所述,可以通过二值图的方式确定多种类型的表格线,这些表格线可以分为第一方向(例如基本上横向)和第二方向(例如基本上纵向)的表格线。根据这些表格线的方向可以确定这些表格线的初级交点。
计算设备10可以基于这些初级交点和多个第一单元格的位置关系确定这些第一单元格中的首个第一单元格。这里,首个第一单元格是指这些第一单元格中首行首列的单元格。
然后,计算设备10可以从所确定的首个第一单元格开始,依次确定多个第一单元格中的每个第一单元格的总分值,如上述步骤610至630所述。
在步骤640,计算设备10可以从多个第一单元格中选择总分值最高的第一单元格进行连通域判断,这里也将该第一单元格称为目标第一单元格。
在一些情况下,多个第一单元格中总分值最高的第一单元格可能有不止一个。
在这种情况下,在步骤640中,计算设备10可以确定多个第一单元格中是否存在至少两个总分值最高的第一单元格,并且如果确定存在至少两个总分值最高的第一单元格,基于至少两个总分值最高的第一单元格的位置数据确定该目标第一单元格。例如,可以选择这至少两个第一单元格中最靠左上的单元格作为该目标第一单元格。
在步骤650,计算设备10可以基于该目标第一单元格周围的拟合曲线段和延长线数据确定目标第一单元格的行连通域和列连通域。
在步骤660,计算设备10可以基于该目标第一单元格的行连通域和列连通域对多个第一单元格进行校正以确定表格的多个单元格。
具体地,计算设备10可以基于目标第一单元格周围的表格线以及拟合曲线段和延长线数据之间的关系确定是否将该目标第一单元格与其水平方向或其垂直方向的前一第一单元格进行行连通或者列连通。
图8示出了根据本发明实施例的用于确定目标第一单元格的行连通域的方法800的流程图。
如图8中所示,在步骤810,计算设备10可以确定步骤220确定的多条表格线在目标第一单元格的区域的像素的像素横坐标x[m]和像素纵坐标y[m]。
在步骤820,计算设备10可以基于这些像素的像素横坐标和目标第一单元格的拟合曲线段或者水平延长线数据确定这些像素的拟合纵坐标y[m']。
具体地,当该目标第一单元格在周围线关系存储器中记录有其周围的拟合曲线段时,计算设备10可以基于每个像素的像素横坐标和该目标第一单元格的拟合曲线段确定与像素横坐标x[m]对应的拟合纵坐标y[m']。另一方面,如果该目标第一单元格没有记录其周围的拟合曲线段时,计算设备10可以确定其周围延长线存储器中是否记录有延长线数据。如果记录有延长线数据,则计算设备10可以根据该延长线数据中的水平延长线数据推导出与该像素横坐标x[m]对应的拟合纵坐标y[m']。
在步骤830,计算设备10可以确定这些像素的拟合纵坐标y[m']和像素纵坐标y[m]之间的平均差是否小于预定阈值。
如果在步骤830确定这些像素的拟合纵坐标y[m']和像素纵坐标y[m]之间的平均差小于该预定阈值,在步骤840,计算设备10可以将该目标第一单元格与其水平方向的前一第一单元格进行行连通。
按照行的方向重复执行上述方法800以继续遍历该目标第一单元格之后的其他第一单元格,直至在步骤820确定该目标第一单元格不存在拟合曲线段或者水平延长线数据,或者在步骤830确定拟合纵坐标y[m']和像素纵坐标y[m]之间的平均差大于或等于该预定阈值为止。此时行连通在一起的所有第一单元格构成了该目标第一单元格的行连通域。
图9示出了根据本发明实施例的用于确定目标第一单元格的列连通域的方法900的流程图。
如图9中所示,在步骤910,计算设备10可以确定步骤220确定的多条表格线在目标第一单元格的区域的像素的像素横坐标x[m]和像素纵坐标y[m]。
在步骤920,计算设备10可以基于这些像素的像素纵坐标和目标第一单元格的拟合曲线段或者垂直延长线数据确定这些像素的拟合横坐标x[m']。
具体地,当该目标第一单元格在周围线关系存储器中记录有其周围的拟合曲线段时,计算设备10可以基于每个像素的像素纵坐标和该目标第一单元格的拟合曲线段确定与像素纵坐标y[m]对应的拟合纵坐标x[m']。另一方面,如果该目标第一单元格没有记录其周围的拟合曲线段,计算设备10可以确定其周围延长线存储器中是否记录有延长线数据。如果记录有延长线数据,则计算设备10可以根据该延长线数据中的垂直延长线数据推导出与该像素纵坐标y[m]对应的拟合横坐标x[m']。
在步骤930,计算设备10可以确定这些像素的拟合横坐标x[m']和像素横坐标x[m]之间的平均差是否小于预定阈值。
如果在步骤930确定这些像素的拟合横坐标x[m']和像素横坐标x[m]之间的平均差小于该预定阈值,在步骤940,计算设备10可以将该目标第一单元格与其垂直方向的前一第一单元格进行列连通。
按照列的方向重复执行上述方法900以继续遍历该目标第一单元格之后的其他第一单元格,直至在步骤920确定该目标第一单元格不存在拟合曲线段或者垂直延长线数据,或者在步骤930确定拟合横坐标x[m']和像素横坐标x[m]之间的平均差大于或等于该预定阈值为止。此时列连通在一起的所有第一单元格构成了该目标第一单元格的列连通域。
在确定了行连通域和列连通域之后,在步骤660,计算设备10可以将行连通域和列连通域中的每个第一单元格确定为该表格的一个单元格。
在一些情况下,如上确定的行连通域和列连通域可能有一个或多个。在这种情况下,方法600还可以包括基于这些行连通域和列连通域确定最大链接行和最大链接列并将最大链接行和最大链接列中的每个第一单元格确定为该表格的一个单元格。
此外,根据上述方法600确定的每个单元格与步骤210确定的文本框可能不是一一对应的关系而是可能包含更多个文本框。
对此,在一些实施例中,方法600还可以确定每个单元格包含一个文本框还是至少两个文本框。例如,可以根据步骤650确定的每个单元格的位置信息和步骤210确定的文本框的位置数据确定每个单元格中包含一个还是至少两个文本框。
如果确定该单元格包含一个文本框,则计算设备10可以将该文本框中的文本内容作为该单元格中的文本内容;如果确定该单元格包含至少两个文本框,则计算设备10可以将该至少两个文本框中的文本内容合并作为该单元格中的文本内容。
图10示出了适合实现本发明的实施例的计算设备1000的结构方框图。计算设备1000例如可以是如上所述的计算设备10或服务器20。
如图10中所示,计算设备1000可以包括一个或多个中央处理单元(CPU)1010(图中仅示意性地示出了一个),其可以根据存储在只读存储器(ROM)1020中的计算机程序指令或者从存储单元1080加载到随机访问存储器(RAM)1030中的计算机程序指令,来执行各种适当的动作和处理。在RAM 1030中,还可存储计算设备1000操作所需的各种程序和数据。CPU1010、ROM 1020以及RAM 1030通过总线1040彼此相连。输入/输出(I/O)接口1050也连接至总线1040。
计算设备1000中的多个部件连接至I/O接口1050,包括:输入单元1060,例如键盘、鼠标等;输出单元1070,例如各种类型的显示器、扬声器等;存储单元1080,例如磁盘、光盘等;以及通信单元1090,例如网卡、调制解调器、无线通信收发机等。通信单元1090允许计算设备1000通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
上文所描述的方法200-600和800-900例如可由计算设备1000(如计算设备10或服务器20)的CPU 1010执行。例如,在一些实施例中,方法200-600和800-900可被实现为计算机软件程序,其被有形地包括于机器可读介质,例如存储单元1080。在一些实施例中,计算机程序的部分或者全部可以经由ROM 1020和/或通信单元1090而被载入和/或安装到计算设备1000上。当计算机程序被加载到RAM 1030并由CPU 1010执行时,可以执行上文描述的方法200-600和800-900的一个或多个操作。此外,通信单元1090可以支持有线或无线通信功能。
本领域技术人员可以理解,图10所示的计算设备1000仅是示意性的。在一些实施例中,计算设备10或服务器20可以包含比计算设备1000更多或更少的部件。
以上结合附图对根据本发明的用于处理表格的方法200-600和800-900以及可用作计算设备10或服务器20的计算设备1000进行了描述。然而本领域技术人员可以理解,方法200-600和800-900的步骤及其子步骤的执行并不局限于图中所示和以上所述的顺序,而是可以以任何其他合理的顺序来执行。此外,计算设备1000也不必须包括图10中所示的所有组件,其可以仅仅包括执行本发明中所述的功能所必须的其中一些组件,并且这些组件的连接方式也不局限于图中所示的形式。
本发明可以是方法、装置、***和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质,其上载有用于执行本发明的各个方面的计算机可读程序指令。
在一个或多个示例性设计中,可以用硬件、软件、固件或它们的任意组合来实现本发明所述的功能。例如,如果用软件来实现,则可以将所述功能作为一个或多个指令或代码存储在计算机可读介质上,或者作为计算机可读介质上的一个或多个指令或代码来传输。
本文公开的装置的各个单元可以使用分立硬件组件来实现,也可以集成地实现在一个硬件组件,如处理器上。例如,可以用通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑器件、分立门或者晶体管逻辑、分立硬件组件或用于执行本文所述的功能的任意组合来实现或执行结合本发明所描述的各种示例性的逻辑块、模块和电路。
本领域普通技术人员还应当理解,结合本发明的实施例描述的各种示例性的逻辑块、模块、电路和算法步骤可以实现成电子硬件、计算机软件或二者的组合。
本发明的以上描述用于使本领域的任何普通技术人员能够实现或使用本发明。对于本领域普通技术人员来说,本发明的各种修改都是显而易见的,并且本文定义的一般性原理也可以在不脱离本发明的精神和保护范围的情况下应用于其它变形。因此,本发明并不限于本文所述的实例和设计,而是与本文公开的原理和新颖性特性的最广范围相一致。

Claims (13)

1.一种处理表格的方法,包括:
对扭曲图像进行文本框检测,以获取所述扭曲图像中的多个文本框的位置数据;
对所述扭曲图像进行表格线检测,以获取所述扭曲图像中的多条表格线;
基于所述多个文本框的位置数据,通过最大匹配行列算法确定多个第一单元格;
基于所述多条表格线对所述多个第一单元格进行曲线拟合以确定每个第一单元格周围的拟合曲线段和延长线数据;以及
基于每个第一单元格周围的拟合曲线段和延长线数据对所述多个第一单元格进行连通域校正以确定所述表格的多个单元格和每个单元格中的文本内容。
2.如权利要求1所述的方法,其中所述多个文本框的位置数据包括每个文本框的顶点坐标、中心点坐标、宽度数据和高度数据,并且其中通过最大匹配行列算法确定多个第一单元格包括:
将所述多个文本框按照中心点坐标排列;
分别确定所述多个文本框的至少一个水平配对组合和至少一个垂直配对组合,其中每个水平配对组合包括一个或多个水平配对,每个水平配对包括一个文本框及其下一水平文本框,每个垂直配对组合包括一个或多个垂直配对,每个垂直配对包括一个文本框及其下一垂直文本框;
从所述至少一个水平配对组合中选择水平配对数量最多的一个水平配对组合来确定所述多个文本框的水平向量,并且从所述至少一个垂直配对组合中选择垂直配对数量最多的一个垂直配对组合来确定所述多个文本框的垂直向量;
基于所述多个文本框的水平向量和垂直向量确定所述多个文本框的第一方向和第二方向,其中所述第二方向垂直于所述第一方向;以及
基于所述多个文本框的位置数据、所述第一方向和所述第二方向确定所述多个第一单元格。
3.如权利要求2所述的方法,其中分别确定所述多个文本框的至少一个水平配对组合和至少一个垂直配对组合包括:
对于所述多个文本框中的一个目标文本框,确定所述目标文本框的下一水平文本框与所述目标文本框的上边距或者下边距是否小于第一预定阈值;
如果确定所述目标文本框的下一水平文本框与所述目标文本框的上边距或者下边距小于所述第一预定阈值,确定所述下一水平文本框与所述目标文本框的中心位置距离是否大于第二预定阈值;
如果确定所述下一水平文本框与所述目标文本框的中心位置距离大于所述第二预定阈值,将所述目标文本框和所述下一水平文本框组织成标记为第一值的水平配对;以及
如果确定所述下一水平文本框与所述目标文本框的上边距或者下边距大于或等于所述第一预定阈值,或者确定所述下一水平文本框与所述目标文本框的中心位置距离小于或等于所述第二预定阈值,将所述目标文本框和所述下一水平文本框组织成标记为第二值的水平配对。
4.如权利要求2所述的方法,其中分别确定所述多个文本框的至少一个水平配对组合和至少一个垂直配对组合包括:
对于所述多个文本框中的一个目标文本框,确定所述目标文本框的下一垂直文本框与所述目标文本框的左边距或者右边距是否小于第一预定阈值;
如果确定所述目标文本框的下一垂直文本框与所述目标文本框的左边距或者右边距小于所述第一预定阈值,确定所述下一垂直文本框与所述目标文本框的中心位置距离是否大于第二预定阈值;
如果确定所述下一垂直文本框与所述目标文本框的中心位置距离大于所述第二预定阈值,将所述目标文本框和所述下一垂直文本框组织成标记为第一值的垂直配对;以及
如果确定所述下一垂直文本框与所述目标文本框的左边距或者右边距大于或等于所述第一预定阈值,或者确定所述下一垂直文本框与所述目标文本框的中心位置距离小于或等于所述第二预定阈值,将所述目标文本框和所述下一垂直文本框组织成标记为第二值的垂直配对。
5.如权利要求1所述的方法,其中确定每个第一单元格周围的拟合曲线段和延长线数据包括:
基于所述多个第一单元格周围的表格线拟合所述多个第一单元格的周围曲线,并且为每个第一单元格记录该周围曲线在所述第一单元格周围的拟合曲线段;以及
基于所述多个第一单元格的周围曲线,确定所述第一单元格的前一第一单元格的拟合曲线段作为所述第一单元格的延长线数据。
6.如权利要求1所述的方法,其中确定所述表格的多个单元格和每个单元格中的文本内容包括:
对于所述多个第一单元格中的每个第一单元格,确定所述第一单元格的四条周围线的周围线分值;
基于所述文本框的位置数据确定所述第一单元格的文本框分值;
基于所述第一单元格的周围线分值和文本框分值确定所述第一单元格的总分值;
从所述多个第一单元格中选择总分值最高的第一单元格作为目标第一单元格;
基于所述目标第一单元格周围的拟合曲线段和延长线数据确定所述目标第一单元格的行连通域和列连通域;以及
基于所述目标第一单元格的行连通域和列连通域对所述多个第一单元格进行校正以确定所述表格的多个单元格。
7.如权利要求6所述的方法,其中基于所述第一单元格的周围线分值和文本框分值确定所述第一单元格的总分值包括:
基于所述多条表格线确定多个初级交点;
基于所述多个初级交点和所述多个第一单元格的位置关系确定所述多个第一单元格中的首个第一单元格;以及
从所述首个第一单元格开始,依次确定所述多个第一单元格中的每个第一单元格的总分值。
8.如权利要求6所述的方法,其中从所述多个第一单元格中选择总分值最高的第一单元格作为目标第一单元格包括:
确定所述多个第一单元格中是否存在至少两个总分值最高的第一单元格;以及
响应于确定所述多个第一单元格中存在至少两个总分值最高的第一单元格,基于所述至少两个总分值最高的第一单元格的位置数据确定所述目标第一单元格。
9.如权利要求6所述的方法,其中确定所述目标第一单元格的行连通域包括:
确定所述多条表格线在所述目标第一单元格的区域的像素的像素横坐标和像素纵坐标;
基于所述像素横坐标和所述目标第一单元格的拟合曲线段或者水平延长线数据确定所述像素的拟合纵坐标;
确定所述拟合纵坐标和所述像素纵坐标之间的平均差是否小于预定阈值;以及
响应于确定所述拟合纵坐标和所述像素纵坐标之间的平均差小于所述预定阈值,将所述目标第一单元格与其水平方向的前一第一单元格进行行连通。
10.如权利要求6所述的方法,其中确定所述目标第一单元格的列连通域包括:
确定所述多条表格线在所述目标第一单元格的区域的像素的像素横坐标和像素纵坐标;
基于所述像素纵坐标和所述目标第一单元格的拟合曲线段或者垂直延长线数据确定所述像素的拟合横坐标;
确定所述拟合横坐标和所述像素横坐标之间的平均差是否小于预定阈值;以及
响应于确定所述拟合横坐标和所述像素横坐标之间的平均差小于所述预定阈值,将所述目标第一单元格与其垂直方向的前一第一单元格进行列连通。
11.如权利要求6所述的方法,其中确定所述表格的多个单元格和每个单元格中的文本内容还包括:
确定所述单元格包含一个文本框还是至少两个文本框;
响应于确定所述单元格包含一个文本框,将所述文本框中的文本内容作为所述单元格中的文本内容;以及
响应于确定所述单元格包含至少两个文本框,将所述至少两个文本框中的文本内容合并作为所述单元格中的文本内容。
12.一种计算设备,包括:
至少一个处理器;以及
至少一个存储器,所述至少一个存储器被耦合到所述至少一个处理器并且存储用于由所述至少一个处理器执行的指令,所述指令当由所述至少一个处理器执行时,使得所述计算设备执行根据权利要求1至11中任一项所述的方法的步骤。
13.一种计算机可读存储介质,其上存储有计算机程序代码,所述计算机程序代码在被运行时执行如权利要求1至11中任一项所述的方法。
CN202110616829.4A 2021-06-03 2021-06-03 处理表格的方法、计算设备和计算机可读存储介质 Active CN113065536B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110616829.4A CN113065536B (zh) 2021-06-03 2021-06-03 处理表格的方法、计算设备和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110616829.4A CN113065536B (zh) 2021-06-03 2021-06-03 处理表格的方法、计算设备和计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN113065536A true CN113065536A (zh) 2021-07-02
CN113065536B CN113065536B (zh) 2021-09-14

Family

ID=76568571

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110616829.4A Active CN113065536B (zh) 2021-06-03 2021-06-03 处理表格的方法、计算设备和计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN113065536B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113836878A (zh) * 2021-09-02 2021-12-24 北京来也网络科技有限公司 结合rpa和ai的表格生成方法、装置、电子设备及存储介质
CN114639107A (zh) * 2022-04-21 2022-06-17 北京百度网讯科技有限公司 表格图像处理方法、装置和存储介质
CN115082939A (zh) * 2022-05-12 2022-09-20 吉林省吉林祥云信息技术有限公司 一种基于弧微分的图像中畸变表格校正***及其校正方法
EP4125066A1 (en) * 2021-07-26 2023-02-01 Tata Consultancy Services Limited Method and system for table structure recognition via deep spatial association of words
CN116092105A (zh) * 2023-04-07 2023-05-09 北京中关村科金技术有限公司 表格结构的解析方法和装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140029853A1 (en) * 2012-07-24 2014-01-30 Alibaba Group Holding Limited Form recognition method and device
CN109933756A (zh) * 2019-03-22 2019-06-25 腾讯科技(深圳)有限公司 基于ocr的图像转档方法、装置、设备及可读存储介质
CN111523541A (zh) * 2020-04-21 2020-08-11 上海云从汇临人工智能科技有限公司 一种基于ocr的数据生成方法、***、设备及介质
CN111709339A (zh) * 2020-06-09 2020-09-25 北京百度网讯科技有限公司 一种票据图像识别方法、装置、设备及存储介质
CN112364834A (zh) * 2020-12-07 2021-02-12 上海叠念信息科技有限公司 一种基于深度学习和图像处理的表格识别的还原方法
CN112528863A (zh) * 2020-12-14 2021-03-19 中国平安人寿保险股份有限公司 表格结构的识别方法、装置、电子设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140029853A1 (en) * 2012-07-24 2014-01-30 Alibaba Group Holding Limited Form recognition method and device
CN109933756A (zh) * 2019-03-22 2019-06-25 腾讯科技(深圳)有限公司 基于ocr的图像转档方法、装置、设备及可读存储介质
CN111523541A (zh) * 2020-04-21 2020-08-11 上海云从汇临人工智能科技有限公司 一种基于ocr的数据生成方法、***、设备及介质
CN111709339A (zh) * 2020-06-09 2020-09-25 北京百度网讯科技有限公司 一种票据图像识别方法、装置、设备及存储介质
CN112364834A (zh) * 2020-12-07 2021-02-12 上海叠念信息科技有限公司 一种基于深度学习和图像处理的表格识别的还原方法
CN112528863A (zh) * 2020-12-14 2021-03-19 中国平安人寿保险股份有限公司 表格结构的识别方法、装置、电子设备及存储介质

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4125066A1 (en) * 2021-07-26 2023-02-01 Tata Consultancy Services Limited Method and system for table structure recognition via deep spatial association of words
CN113836878A (zh) * 2021-09-02 2021-12-24 北京来也网络科技有限公司 结合rpa和ai的表格生成方法、装置、电子设备及存储介质
CN114639107A (zh) * 2022-04-21 2022-06-17 北京百度网讯科技有限公司 表格图像处理方法、装置和存储介质
CN115082939A (zh) * 2022-05-12 2022-09-20 吉林省吉林祥云信息技术有限公司 一种基于弧微分的图像中畸变表格校正***及其校正方法
CN115082939B (zh) * 2022-05-12 2023-11-17 吉林省吉林祥云信息技术有限公司 一种基于弧微分的图像中畸变表格校正***及其校正方法
CN116092105A (zh) * 2023-04-07 2023-05-09 北京中关村科金技术有限公司 表格结构的解析方法和装置

Also Published As

Publication number Publication date
CN113065536B (zh) 2021-09-14

Similar Documents

Publication Publication Date Title
CN113065536B (zh) 处理表格的方法、计算设备和计算机可读存储介质
CN109117848B (zh) 一种文本行字符识别方法、装置、介质和电子设备
US10762376B2 (en) Method and apparatus for detecting text
US10896349B2 (en) Text detection method and apparatus, and storage medium
CN105868758B (zh) 图像中文本区域检测方法、装置及电子设备
KR102435365B1 (ko) 증명서 인식 방법 및 장치, 전자 기기, 컴퓨터 판독 가능한 저장 매체
Samra et al. Localization of license plate number using dynamic image processing techniques and genetic algorithms
CN111062365B (zh) 识别混合排版文字的方法、设备、芯片电路和计算机可读存储介质
US20140023278A1 (en) Feature Extraction And Use With A Probability Density Function (PDF) Divergence Metric
CN112036395A (zh) 基于目标检测的文本分类识别方法及装置
KR20210125955A (ko) 정보 처리 방법, 정보 처리 장치, 전자 기기 및 저장 매체
CN111680678A (zh) 目标区域识别方法、装置、设备及可读存储介质
US20140226904A1 (en) Information processing apparatus, information processing method, and non-transitory computer readable medium
CN111626250A (zh) 文本图像的分行方法、装置、计算机设备及可读存储介质
CN110942473A (zh) 一种基于特征点网格化匹配的运动目标跟踪检测方法
CN113436222A (zh) 图像处理方法、图像处理装置、电子设备及存储介质
CN111104941B (zh) 图像方向纠正方法、装置及电子设备
CN108960247B (zh) 图像显著性检测方法、装置以及电子设备
CN115082935A (zh) 用于对文档图像进行矫正的方法、设备及存储介质
KR102351578B1 (ko) 글자 인식 장치 및 이에 의한 글자 인식 방법
CN111325194B (zh) 一种文字识别方法、装置及设备、存储介质
CN108764344A (zh) 一种基于边缘识别卡片的方法、装置及存储设备
CN113936288A (zh) 倾斜文本方向分类方法、装置、终端设备和可读存储介质
CN115937875A (zh) 文本识别方法及装置、存储介质、终端
CN113362380A (zh) 一种图像特征点检测模型训练方法、装置及其电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20220401

Address after: Room 603, 6 / F, building 9, Guanghua Road, Chaoyang District, Beijing 100020

Patentee after: BEIJING ALLIN TECHNOLOGY CO.,LTD.

Address before: 100020 room 702, 7 / F, building 9, Guanghua Road, Chaoyang District, Beijing

Patentee before: Beijing ouying Information Technology Co.,Ltd.

TR01 Transfer of patent right