CN114283435A

CN114283435A - 表格提取方法、装置、计算机设备、存储介质

Info

Publication number: CN114283435A
Application number: CN202111462113.XA
Authority: CN
Inventors: 赵逸如; 李捷; 王巍; 张玉琦; 张瑞雪; 徐敏
Original assignee: Shanghai Pudong Development Bank Co Ltd
Current assignee: Shanghai Pudong Development Bank Co Ltd
Priority date: 2021-12-02
Filing date: 2021-12-02
Publication date: 2022-04-05

Abstract

本申请涉及一种表格提取方法、装置、计算机设备、存储介质和计算机程序产品。所述方法包括：获取表格图像，将表格图像输入至表格提取模型，表格提取模型包括文本提取网络块、单元格提取网络块和结构提取块，通过文本提取网络块对表格图像进行文本提取，得到表格图像的表格区域中单元格内的文本信息，通过单元格提取网络块对表格图像进行单元格提取，得到表格图像的表格区域中单元格的单元格信息，通过结构提取块根据单元格的单元格信息生成与表格区域对应的表格结构，按照表格结构将文本信息与单元格融合，得到电子表格。采用本方法能够利用表格提取模型对表格图像进行端到端的表格数据提取，生成结构化电子表格，提高表格提取方法的通用性。

Description

表格提取方法、装置、计算机设备、存储介质

技术领域

本申请涉及深度学习技术领域，特别是涉及一种表格提取方法、装置、计算机设备、存储介质和计算机程序产品。

背景技术

随着计算机技术的发展，使用计算机处理与统计表格数据的需求也大大增加。对于纸质表格而言，需要将纸质表格的表格数据录入计算机后，计算机才能进行后续的处理。为了提高表格数据的录入效率，出现了表格提取技术。

传统技术中，通过预先定制表格模板，将纸质表格的扫描结果与多个表格模板进行匹配，确定与纸质表格对应的表格模板，根据确定的表格模板对纸质表格的扫描结果进行解析，提取纸质表格的表格数据，将表格数据添加至对应的表格模板中，得到与纸质表格对应的电子表格。

然而，纸质表格的格式多样，排版复杂，利用传统技术中的表格提取方法难以确定与纸质表格对应的表格模板，从而导致表格提取方法的通用性差。

发明内容

基于此，有必要针对上述技术问题，提供一种具备高通用性的表格提取方法、装置、计算机设备、存储介质和计算机程序产品。

第一方面，本申请提供了一种表格提取方法。所述方法包括：

获取表格图像；

将所述表格图像输入至表格提取模型，所述表格提取模型包括文本提取网络块、单元格提取网络块和结构提取块；

通过所述文本提取网络块对所述表格图像进行文本提取，得到所述表格图像的表格区域中单元格内的文本信息；

通过所述单元格提取网络块对所述表格图像进行单元格提取，得到所述表格图像的所述表格区域中单元格的单元格信息；

通过所述结构提取块根据所述单元格的单元格信息生成与所述表格区域对应的表格结构；

按照所述表格结构，将所述文本信息与所述单元格融合，得到电子表格。

在其中一个实施例中，所述表格区域中包括多个单元格，每个所述单元格的单元格信息包括单元格坐标；

所述通过所述结构提取块根据所述单元格的单元格信息生成与所述表格区域对应的表格结构，包括：

通过所述结构提取块根据所述表格区域中多个所述单元格的单元格坐标对多个所述单元格进行聚类处理，确定多个单元格集合，根据每个所述单元格集合中单元格的单元格坐标，对每个所述单元格集合中的单元格进行对齐处理，生成所述表格结构。

在其中一个实施例中，所述单元格坐标包括第一单元格坐标，所述第一单元格坐标包括第一方向上的第一坐标，以及第二方向上的第二坐标；

所述通过所述结构提取块根据所述表格区域中多个所述单元格的单元格坐标对多个所述单元格进行聚类处理，确定多个单元格集合，根据每个所述单元格集合中单元格的单元格坐标，对每个所述单元格集合中的单元格进行对齐处理，生成所述表格结构，包括：

通过所述结构提取块对所述表格区域中多个所述单元格的第一坐标进行排序，根据排序后的所述第一坐标对多个所述单元格进行聚类，确定所述第一方向上的多个第一单元格集合；

根据每个所述第一单元格集合中单元格的第一坐标，生成与所述第一单元格集合对应的第一参考坐标，并使用所述第一参考坐标对属于所述第一单元格集合的单元格在所述第一方向上进行对齐处理；

通过所述结构提取块对所述表格区域中多个所述单元格的第二坐标进行排序，根据排序后的所述第二坐标对多个所述单元格进行聚类，确定所述第二方向上的多个第二单元格集合；

根据每个所述第二单元格集合中单元格的第二坐标，生成与所述第二单元格集合对应的第二参考坐标，并使用所述第二参考坐标对属于所述第二单元格集合的单元格在所述第二方向上进行对齐处理；

根据所述第一参考坐标、所述第二参考坐标，以及对齐处理后的每个所述单元格对应的单元格坐标，确定每个所述单元格的结构信息，生成所述表格结构。

在其中一个实施例中，所述单元格坐标还包括第二单元格坐标；所述第一单元格坐标和所述第二单元格坐标为所述单元格斜对角上的坐标；

所述根据所述第一参考坐标、所述第二参考坐标，以及对齐处理后的每个所述单元格对应的单元格坐标，确定每个所述单元格的结构信息，生成所述表格结构，包括：

根据所述第一参考坐标和所述第二参考坐标，生成多个参考坐标；

将对齐处理后的每个所述单元格的第一单元格坐标与多个所述参考坐标进行匹配，确定与所述第一单元格坐标对应的第一结构参考坐标；

将对齐处理后的每个所述单元格的第二单元格坐标与多个所述参考坐标进行匹配，确定与所述第二单元格坐标对应的第二结构参考坐标；

根据与对齐处理后的每个所述单元格对应的所述第一结构参考坐标和所述第二结构参考坐标，确定每个所述单元格的结构信息，根据每个所述单元格的结构信息，生成与所述表格区域对应的表格结构。

在其中一个实施例中，所述根据每个所述单元格的结构信息，生成与所述表格区域对应的表格结构，还包括：

通过所述结构提取块根据对齐处理后的所述单元格的单元格信息对所述表格图像进行区域划分，确定所述表格区域的位置信息；

根据每个所述单元格的结构信息以及所述表格区域的位置信息，生成与所述表格区域对应的表格结构。

在其中一个实施例中，所述文本信息包括文本内容以及所述文本内容的位置信息；

所述按照所述表格结构，将所述文本信息与所述单元格融合，得到电子表格，包括：

将所述文本内容的位置信息与所述单元格的单元格信息进行匹配，确定与所述文本内容对应的所述单元格；

按照所述表格结构将所述文本内容与对应的所述单元格融合，得到所述电子表格。

在其中一个实施例中，所述表格提取模型还包括角度检测网络块；所述方法还包括：

通过所述角度检测网络块对所述表格图像进行文本检测，得到多个文本框，以及每个所述文本框的坐标；

根据每个所述文本框的坐标确定所述文本框的角度；

对所述文本框的角度进行排序，根据排序后的所述文本框的角度对多个所述文本框进行划分，得到多个文本框集合，根据每个所述文本框集合中所述文本框的数量，从多个所述文本框集合中确定目标文本框集合；

根据所述目标文本框集合中的文本框的角度，对所述表格图像进行角度矫正，得到角度矫正后的所述表格图像；

所述通过所述文本提取网络块对所述表格图像进行文本提取，得到所述表格图像的表格区域中单元格内的文本信息，通过所述单元格提取网络块对所述表格图像进行单元格提取，得到所述表格图像的所述表格区域中单元格的单元格信息，包括：

通过所述文本提取网络块对角度矫正后的所述表格图像进行文本提取，得到角度矫正后的所述表格图像的表格区域中单元格内的文本信息；

通过所述单元格提取网络块对角度矫正后的所述表格图像进行单元格提取，得到角度矫正后的所述单元格的单元格信息。

在其中一个实施例中，所述通过所述角度检测网络块对所述表格图像进行文本检测，得到多个文本框，以及每个所述文本框的坐标，包括：

通过所述角度检测网络块对所述表格图像进行文本检测，得到多个原始文本框，以及每个所述原始文本框的坐标；

根据每个所述原始文本框的坐标确定每个所述原始文本框的面积；

将面积小于等于面积阈值的原始文本框作为所述文本框，获取每个所述文本框的坐标。

在其中一个实施例中，在所述根据每个所述文本框的坐标确定所述文本框的角度之后，包括：

根据每个所述文本框的坐标确定所述文本框的宽高比；

删除宽高比小于宽高比阈值的文本框。

在其中一个实施例中，所述表格提取模型还包括方向分类网络块；所述方法还包括：

通过所述方向分类网络块确定所述表格图像的方向，当所述方向为倒置方向时，对所述表格图像进行旋转处理，得到旋转处理后的所述表格图像；

通过所述文本提取网络块对旋转处理后的所述表格图像进行文本提取，得到旋转处理后的所述表格图像的表格区域中单元格内的文本信息；

通过所述单元格提取网络块对旋转处理后的所述表格图像进行单元格提取，得到旋转处理后的所述单元格的单元格信息。

第二方面，本申请还提供了一种表格提取装置。所述装置包括：

表格图像输入模块，用于获取表格图像，将所述表格图像输入至表格提取模型，所述表格提取模型包括文本提取网络块、单元格提取网络块和结构提取块；

文本信息提取模块，用于通过所述文本提取网络块对所述表格图像进行文本提取，得到所述表格图像的表格区域中单元格内的文本信息；

单元格提取模块，用于通过所述单元格提取网络块对所述表格图像进行单元格提取，得到所述表格图像的所述表格区域中单元格的单元格信息；

表格结构生成模块，用于通过所述结构提取块根据所述单元格的单元格信息生成与所述表格区域对应的表格结构；

电子表格生成模块，用于按照所述表格结构，将所述文本信息与所述单元格融合，得到电子表格。

第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述第一方面任一项实施例所述的表格提取方法。

第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面任一项实施例所述的表格提取方法。

第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述第一方面任一项实施例所述的表格提取方法。

上述表格提取方法、装置、计算机设备、存储介质和计算机程序产品，通过将所获取的表格图像输入至表格提取模型，通过表格提取模型中的文本提取网络块、单元格提取网络块分别对表格图像进行文本提取和单元格提取，通过表格提取模型中的结构提取块基于单元格提取得到的单元格的单元格信息生成表格结构，便可通过表格提取模型按照表格结构将文本提取得到的单元格内的文本信息，以及单元格提取得到的单元格的单元格信息融合，生成结构化的电子表格，无需预先定制表格模板，利用表格提取模型便可对表格图像进行端到端的表格数据提取，从而实现从版式繁多且非结构化的表格图像中直接且快速地提取结构化的表格数据，使表格提取方法具有较高的通用性。此外，由于本申请提供的表格提取模型中文本提取网络块和单元格提取网络块的训练数据包含了大量不同版式的表格图像，因此通过本申请的表格提取模型对表格图像进行表格提取后，得到的表格数据具有较高的精度。

附图说明

图1为一个实施例中表格提取方法的流程示意图；

图2为一个实施例中表格结构生成步骤的流程示意图；

图2a为一个实施例中单元格对齐之前的单元格示意图；

图2b为一个实施例中单元格对齐之后的单元格示意图；

图3为一个实施例中表格结构生成步骤的流程示意图；

图4为一个实施例中表格区域确定之后的表格图像示意图；

图5为一个实施例中对表格图像进行角度矫正的流程示意图；

图5a为一个实施例中文本框的主方向的确定步骤的示意图；

图6为一个实施例中对表格图像进行旋转处理的流程示意图；

图7为一个实施例中表格提取方法的流程示意图；

图7a为一个实施例中表格图像的角度矫正步骤的流程示意图；

图7b为一个实施例中携带噪声的训练图像的示意图；

图7c为一个实施例中携带***的训练图像的示意图；

图7d为一个实施例中携带不同背景色的训练图像的示意图；

图7e为一个实施例中单元格检测模型的实验结构对比的示意图；

图7f为一个实施例中表格提取方法的流程示意图；

图8为一个实施例中表格提取装置的结构框图；

图9为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

需要说明的是，本公开的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

本申请实施例提供的表格提取方法，可以应用于计算机设备中。计算机设备可以是终端，或者服务器，或者终端和服务器组成的***。计算机设备上预先部署了已训练的表格提取模型。计算机设备获取表格图像，将表格图像输入至表格提取模型，表格提取模型包括文本提取网络块、单元格提取网络块和结构提取块。计算机设备通过文本提取网络块对表格图像进行文本提取，得到表格图像的表格区域中单元格内的文本信息。计算机设备通过单元格提取网络块对表格图像进行单元格提取，得到表格图像的表格区域中单元格的单元格信息。计算机设备通过结构提取块根据单元格的单元格信息生成与表格区域对应的表格结构，按照表格结构，将文本信息与单元格融合，得到电子表格。

其中，终端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备，物联网设备可为智能电视、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

在一个实施例中，如图1所示，提供了一种表格提取方法，以该方法应用于计算机设备为例进行说明，包括以下步骤：

步骤S102，获取表格图像。

其中，表格图像可以是用户当前对纸质表格文件进行拍摄或扫描得到的图像，也可以是预先存储在数据库的图像。表格图像的格式可以为jpg(Joint Photo graphicExperts Group，图像格式)、png(Portable Network Graphic Format，可移植网络图形格式)、pdf(Portable Document Format，便携式文件格式)、tif(Tag Image File Format，标签图像文件格式)等多种文件格式中的任一种。

具体地，计算机设备响应于表格提取请求，获取表格图像。其中，表格提取请求可以是用户按需手动触发的，例如用户在页面上点击相应的表格提取按键，触发表格提取请求；也可以是计算机设备自动触发的，例如计算机设备检测到存在表格图像时，自动触发表格提取请求，获取表格图像，对表格图像进行表格提取。

步骤S104，将表格图像输入至表格提取模型。

其中，表格提取模型为一种端到端的模型，包括文本提取网络块、单元格提取网络块、结构提取块。

具体地，计算机设备中预先部署了已训练的表格提取模型，已训练的表格提取模型包括文本提取网络块、单元格提取网络块和结构提取块。计算机设备将获取的表格图像输入至表格提取模型。一个示例中，当计算机设备获取的表格图像为多张时，可以将多张表格图像拆分为多个单张表格图像，依次将每张表格图像输入至表格提取模型。

一个实施例中，采用多GPU(Graphics Processing Unit，图形处理器)分布式推理的方式构建表格提取模型。通过将表格图像输入至多GPU表格提取模型对表格图像进行表格提取，实现了较高的端到端识别速度，同时具有较高的识别精度，能够满足较高的并发需求和响应的实时性需求。

步骤S106，通过文本提取网络块对表格图像进行文本提取，得到表格图像的表格区域中单元格内的文本信息。

其中，单元格可以用于表征表格区域中面积最小的单元。表格区域中至少包括一个单元格。单元格内的文本信息可以包括但不仅限于单元格内的文本内容和文本内容的位置信息。

具体地，计算机设备通过文本提取网络块对表格图像进行单元格检测，确定表格图像中的存在单元格的表格区域，对表格区域中的每个单元格进行文本提取。当单元格内存在文本时，计算机设备通过文本提取网络块获取单元格内的文本内容以及文本内容的位置信息。

一个示例中，文本提取网络块可以采用基于深度学习的文本检测模型实现，如CTPN模型(Connectionist Text Proposal Network，连接文本候选框网络模型)、RRPN模型(Rotation Region Proposal Networks，基于旋转区域候选网络模型)、RetinaNet模型(一种单阶段目标检测模型)等文本检测模型中的任一种。

步骤S108，通过单元格提取网络块对表格图像进行单元格提取，得到表格图像的表格区域中单元格的单元格信息。

其中，单元格信息可以包括但不仅限于单元格的坐标、单元格的宽度和单元格的高度。一个示例中，单元格信息可以表示为(x,y,w,h)，其中，x为单元格在水平方向上的坐标，y为单元格在竖直方向上的坐标，w为单元格的宽度，h为单元格的高度。

具体地，计算机设备通过单元格提取网络块对表格区域进行单元格检测，确定表格图像中的表格区域。计算机设备通过单元格提取网络块对表格区域中的每个单元格都执行以下操作：检测得到每个单元格斜对角线上的两个顶点的坐标，根据与单元格对应的两个顶点的坐标，确定单元格的单元格坐标、单元格的宽度和单元格的高度，生成与单元格对应的单元格信息。

一个示例中，计算机设备通过单元格提取网络块对表格图像进行单元格检测得到单元格的左上角顶点坐标(1,3)和右下角顶点坐标(2,4)，根据单元格左上角顶点坐标和右下角顶点坐标，确定单元格的宽度为1和单元格的高度为1，将左上角顶点坐标作为单元格的单元格坐标(1,3)，生成与单元格对应的单元格信息(1,3,1,1)。

一个示例中，单元格提取块可以采用基于深度学习的目标检测模型实现，如YOLO模型(You Only Look Once，一种单阶段目标检测模型)、Faster R-CNN(Faster Region-Convolutional Neural Networks，快速区域卷积神经网络模型)、FSAF模型(FeatureSelective Anchor-Free，无锚框特征选择模型)等中的任一种。

步骤S110，通过结构提取块根据单元格的单元格信息生成与表格区域对应的表格结构。

其中，表格结构可以但不仅限于包括与每个单元格对应的第一方向上的第一参数和第二方向上的第二参数。

第一方向可以为竖直方向和水平方向中的任一项，第一参数可以用于表征单元格在第一方向上的位置信息。例如，当第一方向为水平方向时，第一参数为单元格在水平方向上的位置信息。

第二方向可以为与第一方向垂直的方向，第二参数可以用于表征单元格在第二方向上的位置信息。例如，当第一方向为竖直方向时，第二方向可以为水平方向，第二参数为单元格在水平方向上的位置信息。

具体地，计算机设备通过结构提取块根据单元格的单元格信息对多个单元格进行聚类处理，得到多个单元格集合。对单元格集合中每个单元格的单元格坐标进行运算，得到与每个单元格对应的第一方向上的第一参数和第二方向上的第二参数。通过结构提取块，按照与每个单元格对应的第一参数对单元格在第一方向上进行对齐处理，按照与每个单元格对应的第二参数对单元格在第二方向上进行对齐处理，得到对齐处理后的每个单元格的单元格信息。通过结构提取块根据对齐处理后的单元格的单元格信息对表格图像进行区域划分，确定表格图像中的表格区域的位置信息和非表格区域的位置信息，根据与对齐处理后的每个单元格对应的第一方向上的第一参数和第二方向上的第二参数，确定每个单元格的结构信息，根据每个单元格的结构信息和表格区域的位置信息，生成与表格区域对应的表格结构。

步骤S112，按照表格结构，将文本信息与单元格融合，得到电子表格。

其中，电子表格用于表征能够被计算机设备识别并进行数据处理的表格。一个示例中，电子表格可以是可视化的表格，用于显示表格数据，对表格数据进行运算处理。

具体地，计算机设备通过表格提取模型将文本内容的位置信息与单元格的坐标进行匹配，确定与文本内容对应的单元格，将文本内容添加至对应的单元格中，得到电子表格。进一步的，在计算机设备得到电子表格之后，计算机设备可以根据得到的电子表格，对电子表格中的数据进行分析处理。

上述表格提取方法，通过将所获取的表格图像输入至表格提取模型，通过将所获取的表格图像输入至表格提取模型，通过表格提取模型中的文本提取网络块、单元格提取网络块分别对表格图像进行文本提取和单元格提取，通过表格提取模型中的结构提取块基于单元格提取得到的单元格的单元格信息生成表格结构，便可通过表格提取模型按照表格结构将文本提取得到的单元格内的文本信息，以及单元格提取得到的单元格的单元格信息融合，生成结构化的电子表格，无需预先定制表格模板，利用表格提取模型便可对表格图像进行端到端的表格数据提取，从而实现从版式繁多且非结构化的表格图像中直接且快速地提取结构化的表格数据，使表格提取方法具有较高的通用性。此外，由于本申请提供的表格提取模型中文本提取网络块和单元格提取网络块的训练数据包含了大量不同版式的表格图像，因此通过本申请的表格提取模型对表格图像进行表格提取后，得到的表格数据具有较高的精度。

在一个实施例中，表格区域中包括多个单元格，每个单元格的单元格信息包括单元格坐标。步骤S110，通过结构提取块根据单元格的单元格信息生成与表格区域对应的表格结构，包括：通过结构提取块根据表格区域中多个单元格的单元格坐标对多个单元格进行聚类处理，确定多个单元格集合，根据每个单元格集合中单元格的单元格坐标，对每个单元格集合中的单元格进行对齐处理，生成表格结构。

具体地，计算机设备通过结构提取块对表格区域中每个单元格的单元格坐标进行运算处理，确定多个单元格之间单元格坐标的坐标差异度。通过结构提取块根据多个单元格之间的坐标差异度对多个单元格进行聚类处理，得到多个单元格集合。通过结构提取块对单元格集合中的每个单元格的单元格坐标进行运算处理，确定与单元格集合对应的坐标参数，采用与单元格集合对应的坐标参数对单元格集合中的每个单元格的单元格坐标进行更新，将表格区域中的每个单元格对齐，生成表格结构。

本实施例中，通过结构提取块对表格区域中的多个单元格进行聚类处理，确定多个单元格集合，根据每个单元格集合中单元格的单元格坐标，对每个单元格集合中的单元格进行对齐处理，生成表格结构，能够将通过单元格提取网络块得到的单元格对齐，生成对应的表格结构，提高生成的表格结构的准确率，从而提高后续按照表格结构将文本信息与单元格融合时的准确率。

在一个实施例中，单元格坐标包括第一单元格坐标，第一单元格坐标包括第一方向上的第一坐标，以及第二方向上的第二坐标。如图2所示，通过结构提取块根据表格区域中多个单元格的单元格坐标对多个单元格进行聚类处理，确定多个单元格集合，根据每个单元格集合中单元格的单元格坐标，对每个单元格集合中的单元格进行对齐处理，生成表格结构，包括：

步骤S202，通过结构提取块对表格区域中多个单元格的第一坐标进行排序，根据排序后的第一坐标对多个单元格进行聚类，确定第一方向上的多个第一单元格集合。

其中，第一单元格坐标可以用于表征单元格任意一个顶点的坐标。一个示例中，单元格的第一单元格坐标可以为单元格左上角顶点的坐标。

第一坐标可以用于表征第一单元格坐标在第一方向上的坐标。一个示例中，第一方向为水平方向。第一坐标为第一单元格坐标在水平方向上的坐标。

具体地，计算机设备通过结构提取块从每个单元格的第一单元格坐标中提取得到每个单元格对应的第一坐标。通过结构提取块对多个单元格的第一坐标进行排序，从排序后的第一个单元格开始，确定与第一个单元格的第一坐标的差值满足坐标差异度阈值的第n个单元格(n为正整数)，将第一个单元格至第n个单元格进行聚类处理，得到一个在第一方向上的第一单元格集合。继续按照上述内容对第n+1个单元格进行聚类处理，直至对排序后的多个单元格聚类完毕。

步骤S204，根据每个第一单元格集合中单元格的第一坐标，生成与第一单元格集合对应的第一参考坐标，并使用第一参考坐标对属于第一单元格集合的单元格在第一方向上进行对齐处理。

具体地，计算机设备通过结构提取块对每个第一单元格集合中多个单元格的第一坐标进行运算，生成与每个第一单元格集合对应的第一参考坐标。通过结构提取块将每个第一单元格集合中单元格的第一坐标更新为该第一参考坐标，从而使多个单元格在第一方向上对齐。

一个示例中，计算机设备可以通过结构提取块获取第一单元格集合中多个单元格的第一坐标的平均值，将第一坐标的平均值作为第一参考坐标。另一个示例中，可以获取第一单元格集合中的多个单元格的第一坐标的中位数，将第一坐标的中位数作为第一参考坐标。另一个示例中，可以获取第一单元格集合中多个单元格的第一坐标的众值，将第一坐标的众值作为第一参考坐标。

步骤S206，通过结构提取块对表格区域中多个单元格的第二坐标进行排序，根据排序后的第二坐标对多个单元格进行聚类，确定第二方向上的多个第二单元格集合。

其中，第二坐标可以用于表征第一单元格坐标在第二方向上的坐标。一个示例中，第一方向为水平方向，则第二方向为竖直方向，第二坐标为第一单元格坐标在竖直方向上的坐标；或者，第一方向为竖直方向，则第二方向为水平方向，第二坐标为第一单元格坐标在水平方向上的坐标。

具体地，计算机设备通过结构提取块从每个单元格的第一单元格坐标中提取得到每个单元格对应的第二坐标。对表格区域中多个单元格的第二坐标进行排序，从排序后的第一个单元格开始，确定与第一个单元格的第二坐标的差值满足坐标差异度阈值的第m个单元格(m为正整数)，将第一个单元格至第m个单元格进行聚类处理，得到一个在第二方向上的第二单元格集合。继续按照上述内容对第m+1个单元格进行聚类处理，直至对排序后的多个单元格聚类完毕。

步骤S208，根据每个第二单元格集合中单元格的第二坐标，生成与第二单元格集合对应的第二参考坐标，并使用第二参考坐标对属于第二单元格集合的单元格在第二方向上进行对齐处理。

具体地，计算机设备通过结构提取块对每个第二单元格集合中多个单元格的第二坐标进行运算，生成与每个第二单元格集合对应的第二参考坐标。通过结构提取块将每个第二单元格集合中单元格的第二坐标更新为该第二参考坐标，从而使多个单元格在第一方向上对齐。

图2a示例性示出了对齐处理前的单元格，参照图2a可知，通过单元格提取网络块得到的单元格的单元格信息存在偏差，导致单元格的位置存在偏差。图2b示例性示出了按照步骤S202～步骤S208对图2a中的单元格进行对齐处理得到的单元格，参照图2b可知，在对齐处理后单元格的单元格信息更加准确，符合结构化表格的规律。

步骤S210，根据第一参考坐标、第二参考坐标，以及对齐处理后的每个单元格对应的单元格坐标，确定每个单元格的结构信息，生成表格结构。

其中，单元格的结构信息可以但不仅限于包括第一方向上的第一位置信息、以及第二方向上的第二位置信息。

具体地，计算机设备通过结构提取块对多个第一参考坐标从小到大进行排序，按照排序后的第一参考坐标的顺序生成与每个第一参考坐标对应的标识，对多个第二参考坐标从小到大进行排序，按照排序后的第二参考坐标的顺序生成与每个第二参考坐标对应的标识。确定每个第一参考坐标与对齐处理后的每个单元格的第一坐标之间的第一距离，获取与单元格之间的第一距离小于坐标距离阈值的目标第一参考坐标，将与目标第一参考坐标对应的标识作为单元格在第一方向上的第一位置信息。确定每个第二参考坐标与对齐处理后的每个单元格的第二坐标之间的第二距离，获取与单元格之间的第二距离小于坐标距离阈值的目标第二参考坐标，将与目标第二参考坐标对应的标识作为单元格在第二方向上的第二位置信息。

本实施例中，通过对单元格在第一方向以及第二方向上进行对齐处理，基于对齐处理后的单元格的坐标生成表格结构，能够提高所生成的表格结构的准确率，还有助于提高后续对文本信息与单元格进行融合时的准确率。

在一个实施例中，单元格坐标还包括第二单元格坐标，第一单元格坐标和第二单元格坐标为单元格斜对角上的坐标。如图3所示，步骤S210，根据第一参考坐标、第二参考坐标，以及对齐处理后的每个单元格对应的单元格坐标，确定每个单元格的结构信息，生成表格结构，还包括：

步骤S302，根据第一参考坐标和第二参考坐标，生成多个参考坐标。

具体地，计算机设备通过结构提取块对每个第一参考坐标执行以下操作，生成多个参考坐标：将第一参考坐标与每个第二参考坐标进行组合，生成与第一参考坐标对应的多个参考坐标。以每个参考坐标的第一参考坐标为基准，对多个参考坐标进行排序，确定排序后的参考坐标的第一顺序；以每个参考坐标的第二参考坐标为基准，对多个参考坐标进行排序，确定排序后的参考坐标的第二顺序，根据参考坐标的第一顺序和第二顺序，生成参考坐标的标识。

一个示例中，以每个参考坐标的第一参考坐标为基准，对多个参考坐标进行从小到大排序，得到参考坐标的第一顺序为2；以每个参考坐标的第二参考坐标为基准，对多个参考坐标进行从小到大排序，得到参考坐标的第二顺序为3，则生成的参考坐标的标识为(2,3)。

步骤S304，将对齐处理后的每个单元格的第一单元格坐标与多个参考坐标进行匹配，确定与第一单元格坐标对应的第一结构参考坐标。

其中，第一结构参考坐标可以用于表征与第一单元格坐标的距离小于或等于距离阈值的参考坐标。

具体地，计算机设备通过结构提取块将对齐处理后的每个单元格的第一单元格坐标与多个参考坐标进行匹配，获取对齐处理后的每个单元格的第一单元格坐标与每个参考坐标之间的距离，确定与每个第一单元格坐标之间的距离小于或等于距离阈值的第一目标参考坐标，将第一目标参考坐标的标识作为与每个单元格对应的第一结构参考坐标。

步骤S306，将对齐处理后的每个单元格的第二单元格坐标与多个参考坐标进行匹配，确定与第二单元格坐标对应的第二结构参考坐标。

其中，第二结构参考坐标可以用于表征与第二单元格坐标的距离小于或等于距离阈值的参考坐标。

具体地，计算机设备通过结构提取块将对齐处理后的每个单元格的第二单元格坐标与多个参考坐标进行匹配，获取对齐处理后的每个单元格的第二单元格坐标与每个参考坐标之间的距离，确定与每个第二单元格坐标之间的距离小于或等于距离阈值的第二目标参考坐标，将第二目标参考坐标的标识作为与每个单元格对应的第二结构参考坐标。

步骤S308，根据与对齐处理后的每个单元格对应的第一结构参考坐标和第二结构参考坐标，确定每个单元格的结构信息，根据每个单元格的结构信息，生成与表格区域对应的表格结构。

具体地，计算机设备通过结构提取块对与每个单元格对应的第一结构参考坐标和第二结构参考坐标进行运算处理，确定每个单元格在第一方向上的第一起始值和第一结束值，以及每个单元格在第二方向上的第二起始值和第二结束值。根据与单元格对应的第一起始值和第一结束值，确定单元格在第一方向上的位置信息。根据与单元格对应的第二起始值和第二结束值，确定单元格在第二方向上的位置信息。根据每个单元格在第一方向上的位置信息，以及在第二方向上的位置信息，生成与表格区域对应的表格结构。

一个示例中，第一单元格坐标可以采用单元格的左上角顶点坐标，第二单元格坐标可以采用单元格的右下角顶点坐标。第一方向为水平方向，第二方向为竖直方向。计算机设备通过结构提取块确定单元格的左上角顶点对应的第一结构参考坐标的标识为(0,0)，右下角顶点坐标对应的第二结构参考坐标的标识为(2,3)，确定该单元格在水平方向上的第一起始值为0，第一结束值为2，则该单元格在水平方向上的位置信息为：第一列至第二列；确定该单元格在竖直方向上的第二起始值为0，第二结束值为3，则该单元格在竖直方向上的位置信息为：第一行至第三行。

本实施例中，通过结构提取块对第一单元格坐标与参考坐标进行匹配，确定单元格的第一结构参考坐标；对第二单元格与参考坐标进行匹配，确定单元格的第二结构参考坐标，根据与单元格对应的第一结构参考坐标和第二结构参考坐标，确定单元格的结构信息，生成与表格区域对应的表格结构，能够提高计算机设备通过结构提取块确定单元格结构信息的效率。

在一个实施例中，步骤S308，根据与对齐处理后的每个单元格对应的第一结构参考坐标和第二结构参考坐标，确定每个单元格的结构信息，根据每个单元格的结构信息，生成与表格区域对应的表格结构，包括：通过结构提取块根据对齐处理后的单元格的单元格信息对表格图像进行区域划分，确定表格区域的位置信息；根据每个单元格的结构信息以及表格区域的位置信息，生成与表格区域对应的表格结构。

其中，表格区域的位置信息可以用于表征表格区域的外边界线的位置信息。

具体地，计算机设备通过结构提取块将单元格所在的区域中每个像素点的梯度值设为第一阈值，将表格图像中除表格区域外的非表格区域中每个像素点的梯度值设为第二阈值。依次遍历表格图像中每个像素点的梯度值，确定第一方向上梯度值存在差异的像素点的坐标以及第二方向上梯度值存在差异的像素点的坐标，按照确定的多个像素点的坐标，生成表格图像中的表格区域的坐标，得到表格区域的位置信息。根据每个单元格的结构信息以及表格区域的位置信息，生成与表格区域对应的表格结构。

一个示例中，第一阈值可以为1，第二阈值可以为0。计算机设备通过结构提取块，确定在水平方向上梯度值从1到0或者梯度值从0到1发生突变的位置的像素点，以及在竖直方向上梯度值从1到0或者梯度值从0到1发生突变的像素点，根据确定的像素点确定表格区域的位置信息。

一个示例中，在计算机设备通过结构提取块确定表格图像中的表格区域之后，计算机设备可以将多个平行的非表格区域合并，确定合并后的每个独立的非表格区域的位置信息。如图4所示，提供了一种确定表格区域以及非表格区域之后的表格图像。

本实施例中，通过结构提取块确定表格区域的位置信息，生成与表格区域对应的表格结构，能够对表格图像进行区域划分，确定表格区域的位置信息和非表格区域的位置信息，从而提高后续计算机设备根据表格区域的位置信息对文本信息和单元格融合的效率。

在一个实施例中，文本信息包括文本内容以及文本内容的位置信息，步骤S112，按照表格结构，将文本信息与单元格融合，得到电子表格，包括：将文本内容的位置信息与单元格的单元格信息进行匹配，确定与文本内容对应的单元格；按照表格结构将文本内容与对应的单元格融合，得到电子表格。

具体地，计算机设备通过表格提取模型将文本内容的位置信息与单元格的单元格信息进行匹配，确定文本内容与单元格之间的位置信息的差异度，将与文本内容的位置信息的差异度小于预设信息差异度阈值的单元格作为与文本内容对应的单元格。按照表格结构将文本内容与对应的单元格融合，得到电子表格。

本实施例中，通过将文本内容的位置信息与单元格的单元格信息进行匹配，确定与文本内容对应的单元格；按照表格结构将文本内容与对应的单元格融合，得到电子表格，能够提高生成电子表格的效率。

在一个实施例中，表格提取模型还包括角度检测网络块，如图5所示，表格提取方法，还包括：

步骤S502，通过角度检测网络块对表格图像进行文本检测，得到多个文本框，以及每个文本框的坐标。

步骤S504，根据每个文本框的坐标确定文本框的角度。

其中，角度检测网络块用于检测表格图像中文本的角度，根据文本的角度确定表格图像的倾斜角度。一个示例中，角度检测网络块可以采用基于深度学习的文本检测模型实现，如PSENet模型(Progressive Scale Expansion Network，渐进式扩展网络)、RRPN模型、DMPNet模型(Deep Matching Prior Network，深度匹配先验网络)等文本检测模型中的任一种。

具体地，在将表格图像输入至表格提取模型后，首先通过角度检测网络块对表格图像进行文本检测，得到与表格图像中每个文本内容对应的文本框，以及每个文本框的顶点坐标。根据每个文本框的顶点坐标，确定每个文本框的第一文本方向上的长度和第一文本方向与竖直方向之间的角度，以及第二文本方向上的长度和第二文本方向与竖直方向之间的角度。对文本框在第一文本方向上的长度和第二文本方向上的长度进行比较，当文本框在第一文本方向上的长度大于文本框在第二文本方向上的长度时，将文本框的第一文本方向与竖直方向之间的角度作为文本框的角度；当文本框在第一文本方向上的长度小于文本框在第二文本方向上的长度时，将文本框的第二文本方向与竖直方向之间的角度作为文本框的角度。

一个示例中，角度检测网络块输出的坐标包括文本框四个顶点的顶点坐标，根据每个文本框四个顶点的顶点坐标计算得到每个文本框每条边上的中点。将文本框在第一文本方向上的两条边的中点连接，得到平行于第二文本方向的第一线段，获取第一线段的长度，以及第一线段与竖直方向的角度，将第一线段的长度作为文本框在第二文本方向上的长度，将第一线段与竖直方向的角度作为文本框在第二文本方向上的角度。将文本框在第二文本方向上的两条边的中点连接，得到平行于第一文本方向的第二线段，获取第二线段的长度，以及第二线段与竖直方向的角度，将第二线段的长度作为文本框在第一文本方向上的长度，将第二线段与竖直方向的角度作为文本框在第一文本方向上的角度。

步骤S506，对文本框的角度进行排序，根据排序后的文本框的角度对多个文本框进行划分，得到多个文本框集合，根据每个文本框集合中文本框的数量，从多个文本框集合中确定目标文本框集合。

具体地，计算机设备通过角度检测网络块按照文本框的角度从小到大的顺序对多个文本框进行排序。从排序后的第一个文本框开始，确定与第一个文本框的角度的差值满足角度差异度阈值的第i个文本框(i为正整数)，将第一个文本框至第i个文本框进行聚类处理，得到一个文本框集合。继续按照上述内容对第i+1个文本框进行聚类处理，直至对排序后的多个文本框聚类完毕。确定每个文本框集合中的文本框数量，将文本框数量最多的文本框集合作为目标文本框集合。

步骤S508，根据目标文本框集合中的文本框的角度，对表格图像进行角度矫正，得到角度矫正后的表格图像。

其中，角度矫正用于根据表格图像的倾斜角度将表格图像进行旋转，得到与水平方向/竖直方向之间的倾斜角度为零的表格图像。

具体地，计算机设备通过角度检测网络块计算目标文本框集合中的文本框的平均角度，将文本框的平均角度作为文本框的主方向上的角度。根据文本框的主方向上的角度对表格图像进行角度矫正，将文本框的主方向上的角度置为零，得到与竖直方向之间的倾斜角度为零的表格图像。一个示例中，如图5a所示，展示了根据目标文本框集合中的每个文本框的角度确定文本框主方向的示意图。

步骤S510，通过文本提取网络块对角度矫正后的表格图像进行文本提取，得到角度矫正后的表格图像的表格区域中单元格内的文本信息。

步骤S512，通过单元格提取网络块对角度矫正后的表格图像进行单元格提取，得到角度矫正后的表格图像的表格区域中单元格的单元格信息。

具体地，计算机设备通过文本提取网络块对角度矫正后的表格图像进行文本提取，得到角度矫正后的表格图像的表格区域中单元格内的文本信息。计算机设备通过单元格提取网络块对角度矫正后的表格图像进行单元格提取，得到角度矫正后的表格图像的表格区域中单元格的单元格信息。文本提取以及单元格提取的具体实现方式可以参照上述实施例，在此不做具体阐述。

本实施例中，由于表格图像可能存在一定的倾斜角度，容易导致文本提取和单元格提取存在一定误差，因此通过角度检测网络块对倾斜角度不为零的任意表格图像进行角度矫正，有助于提高得到的文本信息以及单元格信息的准确率。

在一个实施例中，步骤S502，通过角度检测网络块对表格图像进行文本检测，得到多个文本框，以及每个文本框的坐标，包括：通过角度检测网络块对表格图像进行文本检测，得到多个原始文本框，以及每个原始文本框的坐标；根据每个原始文本框的坐标确定每个原始文本框的面积；将面积小于等于面积阈值的原始文本框作为文本框，获取每个文本框的坐标。

具体地，计算机设备在预先存储了面积阈值。计算机设备通过角度检测网络块对表格图像进行文本检测，得到多个原始文本框，以及每个原始文本框的坐标。根据每个原始文本框的坐标，确定每个原始文本框在第一文本方向上的长度以及每个原始文本框在第二文本方向上的长度，对每个原始文本框在第一文本方向上的长度以及在第二文本方向上的长度进行运算处理，确定每个原始文本框的面积。删除面积大于面积阈值的原始文本框，将面积小于等于面积阈值的原始文本框作为文本框，获取文本框的坐标。原始文本框在第一文本方向上的长度确定过程以及原始文本框在第二文本方向上的长度确定过程的具体实现方式可以参照上述实施例，在此不做具体阐述。

本实施例中，由于在文本框中存在多行文字的情况下，容易使得角度检测网络块确定的文本框的角度存在误差，因此通过将面积小于等于面积阈值的原始文本框作为文本框进行后续处理，能够避免出现一个文本框中存在多行文字的情况，从而提高通过角度检测模型确定的文本框角度的准确率。

在一个实施例中，在步骤S504，根据每个文本框的坐标确定文本框的角度之后，包括：根据每个文本框的坐标确定文本框的宽高比；删除宽高比小于宽高比阈值的文本框。

具体地，计算机设备通过角度检测网络块对每个文本框在第一方向上的长度和文本框在第二方向上的长度进行运算处理，确定每个文本框的宽高比。根据每个文本框的宽高比确定文本框的宽高比均值，将文本框的宽高比均值作为宽高比阈值，删除宽高比小于宽高比阈值的文本框。

本实施例中，由于宽高比小于宽高比均值的短文本框可能对表格图像的角度矫正过程负面影响，因此通过删除宽高比小于宽高比阈值的文本框，能够提高通过角度检测模型对表格图像进行角度矫正的准确率。

在一个实施例中，表格提取模型还包括方向分类网络块，如图6所示，表格提取方法还包括：

步骤S602，通过方向分类网络块确定表格图像的方向，当方向为倒置方向时，对表格图像进行旋转处理，得到旋转处理后的表格图像。

其中，方向分类网络块可以为多分类网络，用于检测表格图像的方向类别。一个示例中，方向分类网络为二分类网络，具备识别0°的表格图像(即表格图像的方向为正立方向)和180°的表格图像(即表格图像的方向为倒置方向)的能力。一个示例中，方向分类网络块可以采用基于深度学习的分类模型实现，如Inception模型(一种稀疏网络模型)、DBN模型(Deep Belief Network，深度置信网络)、ResNet模型(Residual Neural Network，残差网络)等图像分类模型中的任一种。

具体地，计算机设备通过方向分类网络块识别表格图像中表格区域的表头位置，根据表头位置确定表格图像的方向分类。当计算机设备通过方向分类网络块确定表格图像中的表头位置为正立方向时，得到表格图像的方向为正立方向，不对表格图像进行旋转处理；当计算机设备通过方向分类网络块确定表格图像中的表头位置为倒置方向时，得到表格图像的方向为倒置方向，将表格图像翻旋转一百八十度，得到旋转处理后的表格图像。

步骤S604，通过文本提取网络块对旋转处理后的表格图像进行文本提取，得到旋转处理后的表格图像的表格区域中单元格内的文本信息。

步骤S606，通过单元格提取网络块对旋转处理后的表格图像进行单元格提取，得到旋转处理后的表格图像的表格区域中单元格的单元格信息。

具体地，计算机设备通过文本提取网络块对旋转处理后的表格图像进行文本提取，得到旋转处理后的表格图像的表格区域中单元格内的文本信息。计算机设备通过单元格提取网络块对旋转处理后的表格图像进行单元格提取，得到旋转处理后的表格图像的表格区域中单元格的单元格信息。对旋转处理后的表格图像进行文本提取以及单元格提取的具体实施方式可以参照上述实施例中提供的方法实现，在此不做具体阐述。

本实施例中，由于表格图像的方向，会出现正立和倒置两种方向的情况，当表格图像的方向为倒置方向时，容易导致通过文本提取网络和单元格提取网络块对表格图像处理后得到的表格数据存在一定误差，因此通过方向分类网络块确定表格图像的方向，根据表格图像的方向对表格图像进行旋转处理，得到旋转处理后的表格图像，能够将表格图像的方向置为正立方向，从而提高后续文本提取网络块以及单元格提取网络块对旋转处理后的表格图像进行处理后得到的文本信息以及单元格信息的准确率。

在一个实施例中，如图7所示，提供了一种表格提取方法，包括：

步骤S702，获取表格图像，将表格图像输入至表格提取模型。

具体地，计算机设备获取表格图像，当表格图像为多张时，依次将每张表格图像输入至表格提取模型。

步骤S704，通过角度检测网络块对表格图像进行文本检测，确定文本框的角度，根据文本框的角度对表格图像进行角度矫正，得到角度矫正后的表格图像。

具体地，计算机设备可以采用基于PSENet模型的角度检测网络块对表格图像进行文本检测，确定表格图像中的多个原始文本框以及每个原始文本框的坐标。对每个原始文本框的坐标进行运算处理，得到每个原始文本框在第一文本方向上的第一长度和文本框在第二文本框上的第二长度。将第一长度与第二长度相乘，得到每个原始文本框的面积，删除面积大于面积阈值的原始文本框，将面积小于等于面积阈值的原始文本框作为文本框，获取文本框的坐标。根据文本框的坐标确定文本框的角度，以及文本框的宽高比，删除宽高比小于宽高比均值的文本框。对删除后的文本框的角度进行排序，按照排序后的文本框的角度对多个文本框进行划分，得到多个文本框集合，以及每个文本框集合中的文本框数量，将文本框数量最多的文本框集合作为目标文本框集合。对目标文本框集合中每个文本框的角度进行运算处理，确定文本框角度的均值，根据文本框角度的均值对表格图像进行角度矫正，得到角度矫正后的表格图像。文本框角度确定过程的具体实施方式可以参照上述实施例中提供的方法实现，在此不做具体阐述。一个示例中，如图7a所示，提供了一种通过基于PSENet模型的角度检测网络块对表格图像进行角度矫正的流程示意图。

步骤S706，通过方向分类网络块确定角度矫正后的表格图像的方向，当表格图像的方向为倒置方向时，对表格图像进行旋转处理，得到旋转处理后的表格图像。

具体地，计算机设备可以采用基于ResNet模型的方向分类网络块确定角度矫正后的表格图像的方向，当角度矫正后的表格图像的方向为倒置方向时，对表格图像进行旋转处理，得到旋转处理后的表格图像。对角度矫正后的表格图像进行旋转处理的具体实施方式可以参照上述实施例中提供的方法实现，在此不做具体阐述。一个示例中，基于ResNet模型的方向分类网络块可以采用ResNet18作为主干网络，将若干张正向的表格图像和若干张反向的表格图像作为训练数据，对未训练的ResNet模型进行训练，得到已训练的ResNet模型。

步骤S708，通过文本提取网络块对旋转处理后的表格图像进行文本提取，得到表格图像的表格区域中单元格内的文本信息。

具体地，计算机设备可以采用基于RetinaNet模型的文本提取网络块对旋转处理后的表格图像进行文本提取，得到表格图像的表格区域中单元格内的文本信息。文本提取的具体实施方式可以参照上述实施例中提供的方法实现，在此不做具体阐述。

一个示例中，通过多次采用基于锚Anchor的RetinaNet模型对文本信息进行提取，比对RetinaNet模型的文本信息提取结果发现基于锚Anchor的RetinaNet模型对长字段的文本信息提取效果更好，因此采用RetinaNet模型作为文本提取网络块对旋转处理后的表格图像进行文本提取。以下示例性地对RetinaNet模型的训练方式进行说明：首先将ResNet50作为主干网络生成未训练的RetinaNet模型，将若干张单元格内携带文本框的表格图像作为训练数据输入未训练的RetinaNet模型，保留训练数据的宽高比，将训练数据的尺寸调整为1024*1024。设置RetinaNet模型的锚值，采用FPN的P2-P5层对未训练的RetinaNet模型进行训练，通过聚类的kmeans工具识别训练数据中的文本框，根据文本框的识别结果对锚值进行调整，直至RetinaNet模型识别的文本框能够覆盖大多数的文本框，得到已训练的RetinaNet模型。

步骤S710，通过单元格提取网络块对旋转处理后的表格图像进行单元格提取，得到表格图像的表格区域中单元格的单元格信息。

具体地，计算机设备可以采用基于FSAF模型的单元格提取块对旋转处理后的表格图像进行单元格提取，确定每个单元格的坐标，根据每个单元格的坐标得到表格图像的表格区域中单元格的单元格信息。单元格提取的具体实施方式可以参照上述实施例中提供的方法实现，在此不做具体阐述。

一个示例中，单元格提取块可以采用不同版式、不同背景色的、不同大小的表格图像作为训练数据进行训练，其中包括了特殊的版式，例如表格区域中存在虚线的表格线，表格区域存在两侧不封闭的表格线，表格图像中存在***、噪声干扰，密集表格、表格二值化、黑色污渍等情况。如图7b所示，提供了一种携带噪声的训练数据。如图7c所示，提供了一种携带***的训练数据。如图7d所示，提供了一种携带不同背景色的训练数据。

一个示例中，FSAF模型和RetinaNet模型均可用于单元格检测。如图7e所示，分别采用FSAF模型和RetinaNet模型对表格图像中的单元格进行检测，根据多次实验得到的检测结果发现FSAF模型识别的单元格漏框比RetinaNet模型识别的单元格漏框少，并且FSAF模型识别的单元格比RetinaNet模型识别的单元格整齐。因此，采用FSAF模型作为单元格提取网络块对表格图像进行单元格提取。

步骤S712，通过结构提取块根据单元格的单元格信息对单元格进行聚类处理，得到多个单元格集合，对每个单元格集合中的单元格进行对齐处理。

步骤S714，通过结构提取块根据对齐处理后的单元格的单元格信息对表格图像进行区域划分，确定表格区域的位置信息。

步骤S716，通过结构提取块根据对齐处理后的单元格的单元格坐标，确定每个单元格的结构信息，根据对齐处理后的每个单元格的结构信息以及表格区域的位置信息，生成与表格区域对应的表格结构。

步骤S718，按照表格结构，将文本信息与单元格融合，得到电子表格。

具体地，计算机设备通过结构提取块根据单元格的单元格信息对单元格进行聚类处理，得到多个单元格集合，确定每个单元格集合的参考坐标，根据每个单元格集合的参考坐标，对每个单元格集合中的单元格进行对齐处理。根据对齐处理后的单元格的单元格信息，确定表格区域的位置信息。根据对齐处理后的单元格的单元格信息确定与每个单元格对应的结构参考坐标，确定每个单元格的结构信息，根据对齐处理后的每个单元格的结构信息以及表格区域的位置信息，生成与表格区域对应的表格结构。计算机设备通过表格提取模型按照表格结构，将文本信息与单元格融合，得到电子表格。表格结构生成和电子表格生成的具体实施方式可以参照上述实施例中提供的方法实现，在此不做具体阐述。

一个示例中，如图7f所示，提供了一种通过表格提取模型对表格图像进行表格提取的流程示意图。

本实施例中，通过将表格图像输入表格提取模型，采用角度检测网络块对表格图像进行角度矫正，采用方向分类网络块对角度矫正后的表格图像进行旋转处理，采用文本提取网络块对旋转处理后的表格图像进行文本提取，采用单元格提取网络块对旋转处理后的表格图像进行单元格提取，采用结构提取块对表格图像中的单元格进行处理，生成与表格区域对应的表格结构，按照表格结构将文本信息与单元格融合，得到电子表格，能够通过表格提取模型实现端到端的表格识别流程，避免***、噪声、背景色等因素对单元格提取造成的干扰，从版式繁多且非结构化的表格图像中提取结构化的表格数据，增强了对表格图像的鲁棒性，提高表格提取方法的通用性。此外，通过本申请的表格提取模型对表格图像进行表格提取后，得到的表格数据具有较高的精度。

应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的表格提取方法的表格提取装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个表格提取装置实施例中的具体限定可以参见上文中对于表格提取方法的限定，在此不再赘述。

在一个实施例中，如图8所示，提供了一种表格提取装置800，包括：表格图像输入模块802、文本信息提取模块804、单元格提取模块806、表格结构生成模块808和电子表格生成模块810，其中：

表格图像输入模块802，用于获取表格图像，将表格图像输入至表格提取模型，表格提取模型包括文本提取网络块、单元格提取网络块和结构提取块。

文本信息提取模块804，用于通过文本提取网络块对表格图像进行文本提取，得到表格图像的表格区域中单元格内的文本信息。

单元格提取模块806，用于通过单元格提取网络块对表格图像进行单元格提取，得到表格图像的表格区域中单元格的单元格信息。

表格结构生成模块808，用于通过结构提取块根据单元格的单元格信息生成与表格区域对应的表格结构。

电子表格生成模块810，用于按照表格结构，将文本信息与单元格融合，得到电子表格。

在一个实施例中，表格区域中包括多个单元格，每个单元格的单元格信息包括单元格坐标。表格结构生成模块808还用于：通过结构提取块根据表格区域中多个单元格的单元格坐标对多个单元格进行聚类处理，确定多个单元格集合，根据每个单元格集合中单元格的单元格坐标，对每个单元格集合中的单元格进行对齐处理，生成表格结构。

在一个实施例中，单元格坐标包括第一单元格坐标，第一单元格坐标包括第一方向上的第一坐标，以及第二方向上的第二坐标。表格结构生成模块808包括：第一单元格集合生成单元，用于通过结构提取块对表格区域中多个单元格的第一坐标进行排序，根据排序后的第一坐标对多个单元格进行聚类，确定第一方向上的多个第一单元格集合；第一方向对齐单元，用于根据每个第一单元格集合中单元格的第一坐标，生成与第一单元格集合对应的第一参考坐标，并使用第一参考坐标对属于第一单元格集合的单元格在第一方向上进行对齐处理；第二单元格集合生成单元，用于通过结构提取块对表格区域中多个单元格的第二坐标进行排序，根据排序后的第二坐标对多个单元格进行聚类，确定第二方向上的多个第二单元格集合；第二方向对齐单元，用于根据每个第二单元格集合中单元格的第二坐标，生成与第二单元格集合对应的第二参考坐标，并使用第二参考坐标对属于第二单元格集合的单元格在第二方向上进行对齐处理；表格结构生成单元，用于根据第一参考坐标、第二参考坐标，以及对齐处理后的每个单元格对应的单元格坐标，确定每个单元格的结构信息，生成表格结构。

在一个实施例中，单元格坐标还包括第二单元格坐标；第一单元格坐标和第二单元格坐标为单元格斜对角上的坐标。表格结构生成单元包括：参考坐标生成子单元，用于根据第一参考坐标和第二参考坐标，生成多个参考坐标；结构参考坐标确定子单元，用于将对齐处理后的每个单元格的第一单元格坐标与多个参考坐标进行匹配，确定与第一单元格坐标对应的第一结构参考坐标；将对齐处理后的每个单元格的第二单元格坐标与多个参考坐标进行匹配，确定与第二单元格坐标对应的第二结构参考坐标；表格结构生成子单元，用于根据与对齐处理后的每个单元格对应的第一结构参考坐标和第二结构参考坐标，确定每个单元格的结构信息，根据每个单元格的结构信息，生成与表格区域对应的表格结构。

在一个实施例中，表格结构生成模块808还用于：通过结构提取块根据对齐处理后的单元格的单元格信息对表格区域进行区域划分，确定表格区域的位置信息；根据每个单元格的结构信息以及表格区域的位置信息，生成与表格区域对应的表格结构。

在一个实施例中，文本信息包括文本内容以及文本内容的位置信息。电子表格生成模块810还用于：将文本内容的位置信息与单元格的单元格信息进行匹配，确定与文本内容对应的单元格；按照表格结构将文本内容与对应的单元格融合，得到电子表格。

在一个实施例中，表格提取模型还包括角度检测网络块。表格提取装置800还包括：文本检测模块，用于通过角度检测网络块对表格图像进行文本检测，得到多个文本框，以及每个文本框的坐标；角度确定模块，用于根据每个文本框的坐标确定文本框的角度；目标文本框集合确定模块，用于对文本框的角度进行排序，根据排序后的文本框的角度对多个文本框进行划分，得到多个文本框集合，根据每个文本框集合中文本框的数量，从多个文本框集合中确定目标文本框集合；角度矫正模块，用于根据目标文本框集合中的文本框的角度，对表格图像进行角度矫正，得到角度矫正后的表格图像；文本信息提取模块804，还用于通过文本提取网络块对角度矫正后的表格图像进行文本提取，得到角度矫正后的表格图像的表格区域中单元格内的文本信息；单元格提取模块806，还用于通过单元格提取网络块对角度矫正后的表格图像进行单元格提取，得到角度矫正后的表格图像的表格区域中单元格的单元格信息。

在一个实施例中，文本检测模块还用于：通过角度检测网络块对表格图像进行文本检测，得到多个原始文本框，以及每个原始文本框的坐标；根据每个原始文本框的坐标确定每个原始文本框的面积；将面积小于等于面积阈值的原始文本框作为文本框，获取每个文本框的坐标。

在一个实施例中，角度确定模块还用于：根据每个文本框的坐标确定文本框的宽高比；删除宽高比小于宽高比阈值的文本框。

在一个实施例中，表格提取模型还包括方向分类网络块，表格提取装置800还包括：方向分类模块，用于通过方向分类网络块确定表格图像的方向，当方向为倒置方向时，对表格图像进行旋转处理，得到旋转处理后的表格图像；文本信息提取模块804，还用于通过文本提取网络块对旋转处理后的表格图像进行文本提取，得到旋转处理后的表格图像的表格区域中单元格内的文本信息；单元格提取模块806，还用于通过单元格提取网络块对旋转处理后的表格图像进行单元格提取，得到旋转处理后的表格图像的表格区域中单元格的单元格信息。

上述表格提取装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图9所示。该计算机设备包括通过***总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***和计算机程序。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种表格提取方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图9中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。

在一个实施例中，还提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述各方法实施例中的步骤。

在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims

1.一种表格提取方法，其特征在于，所述方法包括：

获取表格图像；

2.根据权利要求1所述的方法，其特征在于，所述表格区域中包括多个单元格，每个所述单元格的单元格信息包括单元格坐标；

3.根据权利要求2所述的方法，其特征在于，所述单元格坐标包括第一单元格坐标，所述第一单元格坐标包括第一方向上的第一坐标，以及第二方向上的第二坐标；

4.根据权利要求3所述的方法，其特征在于，所述单元格坐标还包括第二单元格坐标；所述第一单元格坐标和所述第二单元格坐标为所述单元格斜对角上的坐标；

5.根据权利要求4所述的方法，其特征在于，所述根据每个所述单元格的结构信息，生成与所述表格区域对应的表格结构，还包括：

6.根据权利要求1至5任一项所述的方法，其特征在于，所述文本信息包括文本内容以及所述文本内容的位置信息；

7.根据权利要求1所述的方法，其特征在于，所述表格提取模型还包括角度检测网络块；所述方法还包括：

根据每个所述文本框的坐标确定所述文本框的角度；

8.根据权利要求7所述的方法，其特征在于，所述通过所述角度检测网络块对所述表格图像进行文本检测，得到多个文本框，以及每个所述文本框的坐标，包括：

9.根据权利要求7所述的方法，其特征在于，在所述根据每个所述文本框的坐标确定所述文本框的角度之后，包括：

根据每个所述文本框的坐标确定所述文本框的宽高比；

删除宽高比小于宽高比阈值的文本框。

10.根据权利要求1所述的方法，其特征在于，所述表格提取模型还包括方向分类网络块；所述方法还包括：

11.一种表格提取装置，其特征在于，所述装置包括：

12.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至10中任一项所述的方法的步骤。

13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至10中任一项所述的方法的步骤。

14.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至10中任一项所述的方法的步骤。