CN115601774A - 表格识别方法、装置、设备、存储介质和程序产品 - Google Patents

Abstract

本申请涉及人工智能技术领域，公开了一种表格识别方法、装置、设备、存储介质和程序产品，用于精确识别表格结构，方法部分包括：获取表格对应的表格图片；对表格图片进行识别，得到表格中的单元格坐标信息，单元格坐标信息包括单元格中心点坐标、单元格顶点坐标、以及单元格中心点坐标到对应顶点的距离偏移值；使用距离偏移值，对单元格中心点坐标对应的顶点坐标进行预测，得到单元格中心点坐标对应的粗略顶点坐标；根据粗略顶点坐标和单元格顶点坐标的位置关系，确定出每个单元格的顶点坐标。

Description

表格识别方法、装置、设备、存储介质和程序产品

技术领域

本发明涉及人工智能技术领域，尤其涉及一种表格识别方法、装置、设备、存储介质和程序产品。

背景技术

表格是在工作与生活中经常被使用的一种数据形式。能够自动、高效、准确地识别出表格中的全部结构与内容信息是需要关注的地方。

传统的表格识别方案中，是识别表格线的信息，然后依据表格的信息进一步提取表格结构和表格结构下各区域额内容信息，然而，该方案严重依赖表格线的信息，一旦表格中出现表格线印刷不清，或污渍掩盖了表格线，则会直接影响最终的识别结果。

可见，传统的表格识别方案在应用上仍存在一定的局限性，如表格线的缺失、表格整体存在倾斜或是表格结构过于复杂等表格线问题，都有可能导致无法准确识别表格，导致识别结果精确度较低。

发明内容

基于此，有必要针对上述技术问题，提供一种表格识别方法、装置、设备、存储介质和程序产品，以解决传统方案对于表格的识别精确度较低的技术问题。

一种表格识别方法，方法包括：

获取表格对应的表格图片；

对表格图片进行识别，得到表格中的单元格坐标信息，单元格坐标信息包括单元格中心点坐标、单元格顶点坐标、以及单元格中心点坐标到对应顶点的距离偏移值；

使用距离偏移值，对单元格中心点坐标对应的顶点坐标进行预测，得到单元格中心点坐标对应的粗略顶点坐标；

根据粗略顶点坐标和单元格顶点坐标的位置关系，确定出每个单元格的顶点坐标。

可选地，单元格坐标信息还包括单元格顶点坐标偏差值，根据粗略顶点坐标和单元格顶点坐标的位置关系，确定出每个单元格的顶点坐标，包括：

使用单元格顶点坐标偏差值对单元格顶点坐标进行校正，得到单元格精确顶点坐标；

根据粗略顶点坐标和单元格精确顶点坐标的位置关系，确定出每个单元格的顶点坐标。

可选地，根据粗略顶点坐标和单元格精确顶点坐标的位置关系，确定出每个单元格的顶点坐标，包括：

计算粗略顶点坐标所在单元格的最短边尺寸，计算粗略顶点坐标与其他粗略顶点坐标之间的距离的最小值并记为第一最小值；

从粗略顶点坐标对应的最短边尺寸与第一最小值中，选择最小的值作为粗略顶点坐标对应的参考阈值；

计算粗略顶点坐标与每个单元格精确顶点坐标之间的距离的最小值并记为第二最小值，判断粗略顶点坐标对应的第二最小值是否小于粗略顶点坐标对应的参考阈值；

若小于，则使用满足第二最小值对应的单元格精确顶点坐标，替换粗略顶点坐标；若大于，则保持粗略顶点坐标，获取到每个所述单元格的顶点坐标。

可选地，对表格图片进行识别，得到表格中的单元格坐标信息，包括：

将表格图片输入表格结构识别模型中，得到表格结构识别模型输出的单元格坐标信息。

可选地，方法还包括：

对表格图片进行识别，识别出表格中文本区域的坐标信息和文本信息；

根据粗略顶点坐标和单元格顶点坐标的位置关系，确定出每个单元格的顶点坐标之后，方法还包括：

根据单元格的顶点坐标，计算出每个单元格的行列信息并构建出相应的单元格对象；

通过文本区域的坐标信息和单元格对象的坐标信息，确定文本区域和单元格对象之间的坐标匹配关系；

按照坐标匹配关系，将文本区域的文本信息对应存入各个单元格对象中。

可选地，对表格图片进行识别，识别出表格中文本区域的坐标信息和文本信息，包括：

将表格对应的表格图片进行文本区域分割与坐标识别，并得到文本区域分割图和各个文本区域的坐标信息；

将文本区域分割图输入文本识别模型，得到文本识别模型输出的文本区域对应的文本信息。

可选地，根据单元格的顶点坐标，计算出每个单元格的行列信息，包括：

计算所有单元格中的最短边长作为行列计算阈值；

依据每个单元格的顶点坐标，将每个单元格拆解为水平线段与垂直线段；

将所有水平线段中共点的线段首尾相连形成线段组，得到水平线段组集合，并按照从上到下顺序对水平线段组集合中的线段组进行排序；

将所有垂直线段中共点的线段首尾相连形成线段组，得到垂直线段组集合，并按照从左到右顺序对垂直线段组集合中的线段组进行排序；

遍历水平线段组集合，判断两水平线段组的中点坐标的垂直距离是否小于行列计算阈值；若小于，则将满足垂直距离的两线段组合并为一组，并遍历单元格的每一条水平线段，查询水平线段在水平线段组集合中哪个第一目标线段组被包含，将第一目标线段组的排序索引值确定为单元格的行信息；

遍历垂直线段组集合，判断两垂直线段组的中点坐标的水平距离是否小于行列计算阈值；若小于，则将满足水平距离的两线段组合并为一组，并遍历单元格的每一条垂直线段，查询垂直线段在垂直线段组集合中哪个第二目标线段组被包含，将第二目标线段组的排序索引值确定为单元格的列信息。

可选地，方法还包括：

构建表格块对象和非表格块对象；

按照坐标匹配关系，将文本区域的文本信息对应存入各个单元格对象中之后，方法还包括：

将文本区域的文本信息中未匹配的文本信息，存储于非表格块对象中；

将已存储对应本文信息的各个单元格对象，存储表格对象中。

一种格识别装置，装置包括：

图片获取模块，用于获取表格对应的表格图片；

图片识别模块，用于对表格图片进行识别，得到表格中的单元格坐标信息，单元格坐标信息包括单元格中心点坐标、单元格顶点坐标、以及单元格中心点坐标到对应顶点的距离偏移值；

坐标预测模块，用于使用距离偏移值，对单元格中心点坐标对应的顶点坐标进行预测，得到单元格中心点坐标对应的粗略顶点坐标；

坐标确定模块，用于根据粗略顶点坐标和单元格顶点坐标的位置关系，确定出每个单元格的顶点坐标。

一种计算机设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现如前述任一项的表格识别方法的步骤。

一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现如前述任一项的表格识别方法的步骤。

一种计算机程序产品，包括计算机程序，计算机程序被处理器执 行时实现如前述任一项的表格识别方法的步骤。

上述提供的方案中，与背景中传统的方案相比，由于本方法检测识别出单元格中心点坐标，再识别出单元格中心点到相应的四个顶点的距离偏移值，该偏移值表征了其到相应顶点的方向与距离，并依据检测出的单元格顶点坐标位置作为辅助，使用距离偏移值，对单元格中心点坐标对应的顶点坐标进行预测，得到单元格中心点坐标对应的粗略顶点坐标；根据粗略顶点坐标和单元格顶点坐标的位置关系，确定出每个单元格的顶点坐标从而准确地计算出每个单元格的顶点位置，基于此可准确识别出表格结构，因此识别过程也不受角度的影响，因此在复杂结构数据中表现同样理想，不受表格线模糊的影响，提升了表格识别方法的稳健性，能快速精准地得到表格识别结果，能够精确的对表格进行识别。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本申请一实施例中表格识别方法的一应用环境示意图；

图2是本申请一实施例中表格识别方法的一流程示意图；

图3是本申请一实施例中表格顶点坐标与粗略顶点坐标的关系示意图；

图4是本申请一实施例中表格识别方法的另一流程示意图；

图5是本申请一实施例中表格识别装置的一结构示意图；

图6是本申请一实施例中表格识别装置的另一结构示意图；

图7是本申请一实施例中计算机设备的一示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本申请实施例提供的表格识别方法，可应用在如图1的所示应用环境中，其中，客户端包括但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。需要说明的是，上述客户端也可以是采用服务器或服务器集群实现，具体本申请均不做限定。以客户端为例，该客户端用于获取表格图片，然后实现本申请实施例提供的表格识别方法，具体而言，客户端首先检测识别出单元格中心点坐标，再识别出单元格中心点到相应的四个顶点的方向与距离，得到距离偏移值，利用距离偏移值得到每个单元格中心点的粗略顶点坐标位置，并依据检测出的单元格顶点坐标位置作为辅助，从而准确地计算出每个单元格的顶点坐标，得到单元格的位置，再基于上述识别结果准确识别出表格结构；而且还可以进一步识别表格结构相应文本区域的文本信息，两者结合可得到最终的表格识别结果。下面，通过具体的各个实施例，对本申请提供的一种表格识别方法进行详细的描述。

在一实施例中，如图2所示，提供一种表格识别方法，以该方法应用在图1中的客户端为例进行说明，包括如下步骤：

S10、获取表格对应的表格图片。

S20、对表格图片进行识别，得到表格中的单元格坐标信息，单元格坐标信息包括单元格中心点坐标、单元格顶点坐标、以及单元格中心点坐标到对应顶点的距离偏移值。

众所周知，表格是在工作与生活中经常被使用的一种数据形式，能够自动、高效、准确地对表格进行识别，在工作和生活中具有重大的意义。本申请实施例中，提出了一种新的表格识别方法，以解决传统表格识别方案来带的局限性。首先，会先基于表格图片识别出表格中的单元格坐标信息，其中，该单元格坐标信息包括如下信息：（1）检测出的表格的每个单元格中心点坐标、（2）每个单元格顶点坐标；（3）检测出的每个单元格中心点坐标到其对应顶点的距离偏移值。

可以理解的是，表格中通常包括多个单元格，该实施例中，会识别出每个单元格的单元格中心点坐标和单元格顶点坐标，为了后面准确、有效地确定出每个单元格的具***置，还会进一步获取检测出的每个单元格中心点坐标到其对应顶点的距离偏移值作为辅助信息用于后续计算。

S30、使用距离偏移值，对单元格中心点坐标对应的顶点坐标进行预测，得到单元格中心点坐标对应的粗略顶点坐标。

S40、根据粗略顶点坐标和单元格顶点坐标的位置关系，确定出每个单元格的顶点坐标。

如图3所示，图3是本申请实施例粗略顶点坐标和其他坐标的关系示意图，可以看出，得到单元格中心点坐标到其四个顶点的距离偏移值后，由于有了该距离偏移值，因此可以基于该偏移值（对应图5中的预测偏移量）先对每个识别出的单元格中心点坐标（对应图5中的预测中心点）对应的顶点坐标（预测交叉点）进行预测，得到该单元格中心点坐标对应的四个粗略顶点坐标，如图3所示，虚线框为粗略单元格，这样，便可利用基于表格图片识别出的单元格顶点坐标，与预测出的四个粗略顶点坐标的位置关系，最终确定出每个单元格的顶点坐标，从而确定出每个单元格位于表格中的位置。

可以看出，本申请提供了一种表格识别方法，与背景中传统的方案相比，由于本方法检测识别出单元格中心点坐标，再识别出单元格中心点到相应的四个顶点的距离偏移值，该偏移值表征了其到相应顶点的方向与距离，并依据检测出的单元格顶点坐标位置作为辅助，使用所述距离偏移值，先对所述单元格中心点坐标对应的顶点坐标进行粗略预测，得到所述单元格中心点坐标对应的粗略顶点坐标；再根据所述粗略顶点坐标和单元格顶点坐标的位置关系，确定出每个所述单元格的顶点坐标从而准确地计算出每个单元格的顶点位置，基于此可准确识别出表格结构，因此识别过程也不受角度的影响，在复杂结构数据中表现同样理想，不受表格线模糊的影响，提升了表格识别方法的稳健性，能够精确的对表格进行识别，使得面对复杂、脏污、歪曲的表格数据，也能快速精准地得到表格识别结果。

在一实施例中，所述单元格坐标信息还包括单元格顶点坐标偏差值，也就是说，基于表格图片，还可以进一步识别出如下信息：（4）单元格顶点坐标偏差值。上述步骤S40中，也即所述根据所述粗略顶点坐标和单元格顶点坐标的位置关系，确定出每个所述单元格的顶点坐标，包括如下步骤：

S41：使用所述单元格顶点坐标偏差值对所述单元格顶点坐标进行校正，得到单元格精确顶点坐标。

S42：根据所述粗略顶点坐标和单元格精确顶点坐标的位置关系，确定出每个所述单元格的顶点坐标。

该实施例中，在利用表格图片识别出单元格坐标信息时，还会进一步获取单元格顶点坐标偏差值，然后使用所述单元格顶点坐标偏差值对所述单元格顶点坐标进行校正，得到单元格精确顶点坐标，这样，可以更为精确的定位到单元格的精确的顶点坐标，将更为精确的单元格精确顶点坐标替换识别到的单元格顶点坐标，再根据所述粗略顶点坐标和单元格精确顶点坐标的位置关系，确定出每个所述单元格的顶点坐标，可以更精确的确定出每个单元格的顶点坐标。

另外需要说明的是，获取的单元格坐标信息中，是通过图像信息识别方式所识别出，可以理解的是，在表格线出现错误时，有可能识别出的单元格中心点坐标和单元格顶点坐标是存在有误的，该实施例中，提出了一种确定出每个单元格的顶点坐标时，先对识别出的单元格中心点坐标和单元格顶点坐标进行初步纠正的过程，有利于后续准确的识别出单元格结构关系。

在一实施例中，用于基于关系匹配算法的方式识别单元格的顶点坐标，也即步骤S42中，也即根据所述粗略顶点坐标和单元格精确顶点坐标的位置关系，确定出每个所述单元格的顶点坐标，包括如下步骤。

S421：计算粗略顶点坐标所在的粗略单元格的最短边尺寸，并计算粗略顶点坐标与其他粗略顶点坐标之间的距离的最小值并记为第一最小值。

在得到单元格中心点坐标对应的四个粗略顶点坐标之后，会计算该粗略顶点坐标所在的粗略单元格的最短边尺寸，并计算该粗略顶点坐标与其他粗略顶点坐标之间的距离的最小值，将计算出来的该最小值记为第一最小值。

例如，单元格中心点坐标A1，粗略预估出其对应的四个粗略顶点坐标，设为粗略顶点坐标a1、粗略顶点坐标a2、粗略顶点坐标a3和粗略顶点坐标a4，以粗略顶点坐标a1为例，会计算粗略顶点坐标a1所在的粗略单元格的最短边尺寸L1，并分别计算粗略顶点坐标a1与粗略顶点坐标a2、粗略顶点坐标a3和粗略顶点坐标a4之间的距离，从是从计算出的三个距离中确定出做小的距离值，也即该第一最小值L2。对于其他粗略顶点坐标，处理方式与粗略顶点坐标a1相同。而最短边尺寸，通过对比该粗略顶点坐标a1所在的粗略单元格的四个边尺寸就行，四个边可以通过四个粗略顶点坐标计算得到。

S422：从粗略顶点对应的最短边尺寸与第一最小值中，选择最小的值作为粗略顶点对应的参考阈值。

在计算出粗略顶点坐标a1所在的粗略单元格的最短边尺寸L1，和第一最小值L2之后，从中选择最小的值作为粗略顶点a1对应的参考阈值。

S423：计算粗略顶点坐标与每个单元格精确顶点坐标之间的距离的最小值并记为第二最小值，并判断粗略顶点坐标对应的第二最小值是否小于粗略顶点坐标对应的参考阈值。

S424：若小于，则使用满足第二最小值对应的单元格精确顶点坐标，替换粗略顶点坐标；若大于，则保持粗略顶点坐标。

在计算得到粗略顶点a1对应的参考阈值之后，进一步计算粗略顶点坐标a1与每个单元格精确顶点坐标之间的距离的第二最小值L3，并判断粗略顶点坐标a1对应的第二最小值L3是否小于粗略顶点坐标a1对应的参考阈值，若小于，则使用满足第二最小值对应的单元格精确顶点坐标，替换掉该粗略顶点坐标a1作为顶点坐标；若大于，则保持粗略顶点坐标a1作为顶点坐标。对于粗略顶点坐标a2、粗略顶点坐标a3和粗略顶点坐标a4，采用同样的处理方式，至此可以确定出该单元格中心点坐标A1对应的四个顶点坐标，从而得到该单元格中心点坐标A1所在的真实的单元格的顶点坐标。对于其他单元格中心点坐标，采用同样的处理方式，从而可以得到所有单元格中心点坐标所在的单元格的四个顶点坐标。

通过该实施例，可以看出，本申请实施例通过偏移值对每个单元格中心点所对应的顶点进行粗略预测，得到每个单元格的粗略顶点坐标，将预测结果基于一定的计算方式，匹配到上一步获取的顶点精确坐标中最合适的结果，用精确顶点坐标替换原本的粗略顶点坐标或保持，从而确定哪些精确顶点坐标共属于同一个单元格，确定出了每个单元格的位置关系结构，提供了一种具体的定位单元格的方式，提高了方案的可实施性。

需要说明的是，在一些实施例中，除了采用上述关系匹配处理外，以确定出每个中心点坐标与哪些精确顶点坐标共属于同一个单元格外，还可以有其他的处理方式。比如步骤S423中，可以基于坐标关系先计算粗略顶点的某个坐标范围内的单元格精确顶点坐标，然后再计算粗略顶点坐标与范围内的单元格精确顶点坐标之间的距离的第二最小值，并判断粗略顶点坐标对应的第二最小值是否小于粗略顶点坐标对应的参考阈值，通过该实施例，可以更进一步的减少计算第二最小值的计算量，进一步提高处理效率，具体本申请实施例不做限定。

需要说明的是，在一些实施例中，在一实施例中，所述单元格坐标信息还包括单元格顶点坐标偏差值，也就是说，基于表格图片，还可以进一步识别出如下信息：（5）单元格中心点坐标偏差值。然后，使用该单元格中心点坐标偏差值去纠正每个单元格中心点坐标，得到每个单元格精确中心点坐标，最后根据前面基于位置关系确定出的单元格的顶点坐标，再确定该单元格对应的单元格精确中心点坐标，作为该单元格的中心点坐标。

至此，识别出了每个单元格的中心点坐标和四个顶点坐标，最终将每个单元格的中心点坐标与对应的顶点坐标结合，便作为此单元格的详细坐标信息，通过此方法能够保证每个顶点被周围的单元格所共用。

其中，结合各个表格关系，设预测的中心点数量为 m、预测的顶点数量为n，中心点回归顶点坐标集合：

, 预测的顶点坐标集合：

，则记录每个单元格四边边长的矩阵记为：

。

在一些实施例中，提供了一种具体的识别出表格中的上述单元格坐标信息的方式，具体而言，将所述表格图片输入表格结构识别模型中，得到所述表格结构识别模型输出的单元格坐标信息。

在一具体应用实施例中，如图4所示，其中，该表格结构识别模型被构造为结构提取模块可以对表格图片进行特征提取，并基于提取的图像特征进行点检测得到单元格中心坐标和单元格顶点坐标，并利用距离回归计算方式，确定出上述偏移值和偏差值，最后通过上述单元格坐标信息和关系匹配算法识别出单元格的顶点坐标。

结合上述实施例，在一些实施例中，表格结构识别模型可以使用ResNet18作为骨干网络，通过特征金字塔获取图片不同尺度下的图像特征并做特征融合处理，再使用卷积神经网络对得到特征融合得到的特征图进行如下五种类别信息的预测：（1）单元格中心点坐标、（2）单元格顶点坐标、（3）每个单元格中心点坐标到其对应顶点的距离偏移值、（4）单元格顶点坐标偏差值、（5）单元格中心点坐标偏差值。

需要说明的是，在一些实施例中，也可以采用其他的网络结构，比如ResNet18替换为其他的ResNet网络结构，和/或特征金字塔替换为其他卷积神经网络等，本申请实施例不做限定。

该实施例中，通过骨干网络和卷积神经网络的图像识别方式，可以有效的预测出所需的表格坐标信息，以保证方案的实现，而且，利用神经网络模型的识别方式也可以提高处理效率，提高了整体方案的执行效率和精确性。

需要说明的是，在上述实施例中，描述的是如何对表格的单元格结构进行识别，基于此识别结果，本申请实施还可以进一步识别表格中的文本位置和内容，进而与前述识别出的单元格结构做关联存储，得到最终完整的表格识别结果，下面详细的描述。

在一实施例中，该方法还包括对所述表格图片进行识别，识别出所述表格中文本区域的坐标信息和文本信息。

需要说明的是，在一些实施例中，文本区域可以是一种行文本区域或者垂直文本区域，具体不做限定。以行文本区域为例，在具体实现时，可通过文本区域识别方式获取表格中行文本区域的分割图，并借此获取行文本区域的坐标，得到行文本区域的坐标信息，并对行文本区域进行文本检测，得到行文本区域中的文本信息，具体不做限定。

在一实施例中，所述对所述表格图片进行识别，识别出所述表格中文本区域的坐标信息和文本信息，包括：将所述表格对应的表格图片进行文本区域分割与坐标识别，并得到文本区域分割图和各个文本区域的坐标信息；将所述文本区域分割图输入文本识别模型，得到所述文本识别模型输出的所述文本区域对应的文本信息。

在具体实现时，如图4所示，同样可以使用ResNet18作为骨干网络，训练文本检测模型使其获取表格图片中文本区域的分割图，并借此获取行文本区域的坐标信息。在文字信息识别时，可以将得到的文本区域进行裁剪，以裁剪后的图片作为文本识别模型的输入，具体的，将文本区域分割图输入VGG16骨干网络，对VGG16骨干网络的输出进行池化后得到宽度若干、高度为1的特征图，将这些特征图沿宽度方向的长度等于特征图通道数的向量序列，传入到循环神经网络GRU中，以提取沿特征图宽度方向的序列特征，最终将序列特征传入线性层，对宽度方向的每个特征进行文字类别预测，从而得到文本区域分割图的文本信息。

该实施例中，提供了一种基于表格图片识别出文本区域位置和内容方式，在一些实施例中，文本识别模型和文本检测模型也可以采用其他的网络结构，本申请实施例不做限定。该实施例中，通过网络模型的文本识别方式，以保证方案的实现，而且，利用神经网络模型的识别方式也可以提高文本处理效率，进一步提高了整体方案的执行效率和精确性。

然后在步骤S40之后，也即所述根据所述粗略顶点坐标和单元格顶点坐标的位置关系，确定出每个所述单元格的顶点坐标之后，还包括如下步骤：

S50：根据所述单元格的顶点坐标，计算出每个所述单元格的行列信息并构建出相应的单元格对象。

在得到表格中单元格的顶点坐标后，可以进一步根据单元格的顶点坐标计算出每个单元格的行列信息，也即根据单元格的具体有效坐标计算出单元格的行列信息。需要说明的是，单元格的行列信息也即表征了该单元格的在表格中的行信息和列信息，并依据每个单元格的行列信息对应构建出每个单元格对象。其中，该单元格对象可以理解为一种存储对象或存储格式，是通过单元格的行列信息所对应构建的单元格对象。

S60：通过所述文本区域的坐标信息和所述单元格对象的坐标信息，确定所述文本区域和所述单元格对象之间的坐标匹配关系。

S70：按照所述坐标匹配关系，将所述文本区域的文本信息对应存入各个所述单元格对象中。

如前述，在识别表格的行文本区域的坐标信息，而各个单元格对象的坐标信息，也即是该单元格对象对应的单元格的坐标信息，因此，知道了单元格对象和文本区域的坐标信息后，便可对这两者进行坐标匹配得到坐标匹配关系，从而确定文本区域和每个单元格对象之间的坐标信息匹配关系，然后按照坐标匹配关系，将文本区域的文本信息对应存入各个单元格对象中，得到表格识别结果。

如图4所示，在得到单元格的详细坐标信息和文本区域位置和内容后，便可结合两者得到表格识别结果。

在一实施例中，步骤S50中，根据单元格的中心点坐标和顶点坐标，计算出每个单元格的行列信息，包括如下步骤：

S51：计算所有单元格中的最短边长作为行列计算阈值。

S52：依据每个所述单元格的顶点坐标，将每个所述单元格拆解为水平线段与垂直线段。

S53：将所有所述水平线段中共点的线段首尾相连形成线段组，得到水平线段组集合，并按照从上到下顺序对所述水平线段组集合中的线段组进行排序；将所有所述垂直线段中共点的线段首尾相连形成线段组，得到垂直线段组集合，并按照从左到右顺序对所述垂直线段组集合中的线段组进行排序。

该实施例中，在确定出所有单元格的坐标信息之后，计算出所有单元格中的最短边长作为行列计算阈值，并依据每个单元格的顶点坐标，将每个坐标拆解为水平线与垂直线（即每个单元格包括两水平线和两垂直线），将所有所述水平线段中共点的线段首尾相连形成线段组，得到水平线段组集合，并按照从上到下顺序对所述水平线段组集合中的线段组进行排序；将所有所述垂直线段中共点的线段首尾相连形成线段组，得到垂直线段组集合，并按照从左到右顺序对所述垂直线段组集合中的线段组进行排序。

S54：遍历所述水平线段组集合，判断两所述水平线段组的中点坐标的垂直距离是否小于所述行列计算阈值；若小于，则将满足所述垂直距离的两线段组合并为一组，并遍历所述单元格的每一条水平线段，查询所述水平线段在所述水平线段组集合中哪个第一目标线段组被包含，将所述第一目标线段组的排序索引值确定为单元格的行信息。

S55：遍历所述垂直线段组集合，判断两所述垂直线段组的中点坐标的水平距离是否小于所述行列计算阈值；若小于，则将满足所述水平距离的两线段组合并为一组，并遍历所述单元格的每一条垂直线段，查询所述垂直线段在所述垂直线段组集合中哪个第二目标线段组被包含，将所述第二目标线段组的排序索引值确定为单元格的列信息。

得到水平和垂直线段组集合之后，需分别对这两个线段组集合进行遍历处理，这样，可以得到所有单元格的行列信息。该实施例中，依据坐标关系，通过划分线段组和设定排序索引值的方式，以确定每个单元格的行列信息，可快速定位结构，提高了方案的可实施性。需要说明的是，上述步骤可并行执行，以提高处理效率，具体不做限定。

需要说明的是，在其他实施方式中，也可以直接将单元格的坐标作为单元格的行列信息，具体不做限定。

在一实施例中，该方法中，还可以构建表格块对象和非表格块对象；然后再按照行文本区域和每个单元格对象之间的坐标匹配关系，将行文本区域的文本信息对应存入各个单元格对象中之后，将行文本区域的文本信息中未匹配的文本信息，存储于非表格块对象中；将已存储对应本文信息的各个单元格对象，存储表格对象中。

该实施例中，将整个表格信息划分为非表格块/表格块→表格→单元格→文本行的层级结构，根据表格在图片中的位置，将全图区域划分为若干交替排列的非表格块对象/表格块对象，根据表格的坐标信息，构建表格对象，并构建非表格对象，根据得到的文本区域的坐标信息，构建行文本对象，然后根据文本区域的做表信息将文本区域的本文信息存入对应的单元格对象中，将单元格根据表格坐标存入对应的表格对象中，将表格对象存入对应的表格块对象中，将未匹配的文本区域的文本信息存入对应的非表格块对象中，从而得到具有结构明确的表格识别结果。

需要说明的是，非表格块/表格块对象，以及文本对象，为一种存储对象对象，可以有关内容嵌入存储到该对象中。

该实施例中，可以得到更为完整的包含单元格与非单元各结构和内容的表格识别结果，识别范围更为全面和宽泛。

综上，本申请实施例提供了一种表格识别方法，包括如下技术优点：首先，本申请不需要原图的表格结构信息的线条是完整的，在仅存在部分信息的情况下，通过表格坐标关系即可准确识别出表格的完整结构与内容，故在表格出现模糊、污染、旋转时仍能得出正确结果；而且，由于提取的信息简单，故通过骨干网络和卷积神经网络的深度学习模型可进行点检测和距离回归计算，也即仅需简单轻便的结构即可实现，具有识别速度快、效率高；另外，由于顶点匹配与行列计算均可并行实现，也能够进一步提高计算效率，稳健性强，容错率高。在上述优点的基础下，本申请中的模型提取出的是最能反映表格中单元格信息的特征，因此即使在模型预测结果有一定偏差的情况下，仍能凭借点与距离的关系推导得出正确的表格结构信息，更多更为细致的技术效果可对应参阅前述各个实施例的描述，这里不再重复说明。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

在一实施例中，提供一种表格识别装置，该表格识别装置与上述实施例中表格识别方法一一对应。如图5所示，该表格识别装置包括图片获取模块101、图片识别模块102、坐标预测模块103和坐标确定模块104。各功能模块详细说明如下：

图片获取模块101，用于获取表格对应的表格图片；

图片识别模块102，用于对所述表格图片进行识别，得到所述表格中的单元格坐标信息，所述单元格坐标信息包括单元格中心点坐标、单元格顶点坐标、以及所述单元格中心点坐标到对应顶点的距离偏移值；

坐标预测模块103，用于使用所述距离偏移值，对所述单元格中心点坐标对应的顶点坐标进行预测，得到所述单元格中心点坐标对应的粗略顶点坐标；

坐标确定模块104，用于根据所述粗略顶点坐标和单元格顶点坐标的位置关系，确定出每个所述单元格的顶点坐标。

在一实施例中，所述单元格坐标信息还包括单元格顶点坐标偏差值，坐标确定模块104具体用于：

使用所述单元格顶点坐标偏差值对所述单元格顶点坐标进行校正，得到单元格精确顶点坐标；

根据所述粗略顶点坐标和单元格精确顶点坐标的位置关系，确定出每个所述单元格的顶点坐标。

在一实施例中，所述单元格坐标信息还包括单元格顶点坐标偏差值，坐标确定模块104具体用于：

计算所述粗略顶点坐标所在单元格的最短边尺寸，计算所述粗略顶点坐标与其他粗略顶点坐标之间的距离的最小值并记为第一最小值；

从所述粗略顶点坐标对应的所述最短边尺寸与第一最小值中，选择最小的值作为所述粗略顶点坐标对应的参考阈值；

计算所述粗略顶点坐标与每个所述单元格精确顶点坐标之间的距离的最小值并记为第二最小值，并判断所述粗略顶点坐标对应的所述第二最小值是否小于所述粗略顶点坐标对应的参考阈值；

若小于，则使用满足所述第二最小值对应的单元格精确顶点坐标，替换所述粗略顶点坐标；若大于，则保持所述粗略顶点坐标。

在一实施例中，图片识别模块102，具体用于：

将所述表格图片输入表格结构识别模型中，得到所述表格结构识别模型输出的单元格坐标信息。

在一实施例中，如图5所示，该装置还包括坐标匹配模块105和存储模块106，其中：

图片识别模块102，还用于：对所述表格图片进行识别，识别出所述表格中文本区域的坐标信息和文本信息；

坐标匹配模块105，还用于根据所述单元格的顶点坐标，计算出每个所述单元格的行列信息并构建出相应的单元格对象；通过所述文本区域的坐标信息和所述单元格对象的坐标信息，确定所述文本区域和所述单元格对象之间的坐标匹配关系；

存储模块106，用于按照所述坐标匹配关系，将所述文本区域的文本信息对应存入各个所述单元格对象中。

在一实施例中，图片识别模块102，具体用于：

将所述表格对应的表格图片进行文本区域分割与坐标识别，并得到文本区域分割图和各个文本区域的坐标信息；

将所述文本区域分割图输入文本识别模型，得到所述文本识别模型输出的所述文本区域对应的文本信息。

在一实施例中，坐标匹配模块105具体用于：

计算所有单元格中的最短边长作为行列计算阈值；

依据每个所述单元格的顶点坐标，将每个所述单元格拆解为水平线段与垂直线段；

将所有所述水平线段中共点的线段首尾相连形成线段组，得到水平线段组集合，并按照从上到下顺序对所述水平线段组集合中的线段组进行排序；

将所有所述垂直线段中共点的线段首尾相连形成线段组，得到垂直线段组集合，并按照从左到右顺序对所述垂直线段组集合中的线段组进行排序；

遍历所述水平线段组集合，判断两所述水平线段组的中点坐标的垂直距离是否小于所述行列计算阈值；若小于，则将满足所述垂直距离的两线段组合并为一组，并遍历所述单元格的每一条水平线段，查询所述水平线段在所述水平线段组集合中哪个第一目标线段组被包含，将所述第一目标线段组的排序索引值确定为单元格的行信息；

遍历所述垂直线段组集合，判断两所述垂直线段组的中点坐标的水平距离是否小于所述行列计算阈值；若小于，则将满足所述水平距离的两线段组合并为一组，并遍历所述单元格的每一条垂直线段，查询所述垂直线段在所述垂直线段组集合中哪个第二目标线段组被包含，将所述第二目标线段组的排序索引值确定为单元格的列信息。

在一实施例中，存储模块106还用于：

构建表格块对象和非表格块对象；

将所述文本区域的文本信息中未匹配的文本信息，存储于所述非表格块对象中；

将已存储对应本文信息的各个所述单元格对象，存储所述表格对象中。

可以看出，本申请提供了一种表格识别装置，先检测识别出单元格中心点坐标，再识别出单元格中心点到相应的四个顶点的距离偏移值，该偏移值表征了其到相应顶点的方向与距离，并依据检测出的单元格顶点坐标位置作为辅助，使用所述距离偏移值，先对所述单元格中心点坐标对应的顶点坐标进行粗略预测，得到所述单元格中心点坐标对应的粗略顶点坐标；再根据所述粗略顶点坐标和单元格顶点坐标的位置关系，确定出每个所述单元格的顶点坐标从而准确地计算出每个单元格的顶点位置，基于此可准确识别出表格结构，因此识别过程也不受角度的影响，在复杂结构数据中表现同样理想，不受表格线模糊的影响，提升了表格识别的稳健性，能够精确的对表格进行识别，使得面对复杂、脏污、歪曲的表格数据，也能快速精准地得到表格识别结果。

关于表格识别装置的具体限定可以参见上文中对于表格识别方法的限定，在此不再赘述。上述表格识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器或终端设备，其内部结构图可以如图7所示。该计算机设备包括通过***总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括可读存储介质、内存储器。该可读存储介质存储有操作***、计算机可读指令和数据库。该内存储器为可读存储介质中的操作***和计算机可读指令的运行提供环境。该计算机设备的数据库用于存储表格识别方法所涉及的数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机可读指令被处理器执行时以实现一种表格识别方法。本实施例所提供的可读存储介质包括非易失性可读存储介质和易失性可读存储介质。

在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机可读指令，处理器执行计算机可读指令时实现上述表格识别方法的步骤。

在一个实施例中，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被执行时实现上述表格识别方法的步骤。

在一实施例中，提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现上述表格识别方法的步骤。

更多内容和相应的技术效果可对应参阅前述方法实施例，这里不重复说明。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机可读指令来指令相关的硬件来完成，所述的计算机可读指令可存储于一非易失性可读取存储介质或易失性可读存储介质中，该计算机可读指令在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。

以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (12)

1.一种表格识别方法，其特征在于，所述方法包括：

获取表格对应的表格图片；

对所述表格图片进行识别，得到所述表格中的单元格坐标信息，所述单元格坐标信息包括单元格中心点坐标、单元格顶点坐标、以及所述单元格中心点坐标到对应顶点的距离偏移值；

使用所述距离偏移值，对所述单元格中心点坐标对应的顶点坐标进行预测，得到所述单元格中心点坐标对应的粗略顶点坐标；

根据所述粗略顶点坐标和单元格顶点坐标的位置关系，确定出每个所述单元格的顶点坐标。

2.如权利要求1所述的表格识别方法，其特征在于，所述单元格坐标信息还包括单元格顶点坐标偏差值，所述根据所述粗略顶点坐标和单元格顶点坐标的位置关系，确定出每个所述单元格的顶点坐标，包括：

使用所述单元格顶点坐标偏差值对所述单元格顶点坐标进行校正，得到单元格精确顶点坐标；

根据所述粗略顶点坐标和单元格精确顶点坐标的位置关系，确定出每个所述单元格的顶点坐标。

3.如权利要求2所述的表格识别方法，其特征在于，所述根据所述粗略顶点坐标和单元格精确顶点坐标的位置关系，确定出每个所述单元格的顶点坐标，包括：

计算所述粗略顶点坐标所在单元格的最短边尺寸，计算所述粗略顶点坐标与其他粗略顶点坐标之间的距离的最小值并记为第一最小值；

从所述粗略顶点坐标对应的所述最短边尺寸与第一最小值中，选择最小的值作为所述粗略顶点坐标对应的参考阈值；

计算所述粗略顶点坐标与每个所述单元格精确顶点坐标之间的距离的最小值并记为第二最小值，判断所述粗略顶点坐标对应的所述第二最小值是否小于所述粗略顶点坐标对应的参考阈值；

若小于，则使用满足所述第二最小值对应的单元格精确顶点坐标，替换所述粗略顶点坐标；若大于，则保持所述粗略顶点坐标，以获取到每个所述单元格的顶点坐标。

4.如权利要求1所述的表格识别方法，其特征在于，所述对所述表格图片进行识别，得到所述表格中的单元格坐标信息，包括：

将所述表格图片输入表格结构识别模型中，得到所述表格结构识别模型输出的单元格坐标信息。

5.如权利要求1-4任一项所述的表格识别方法，其特征在于，所述方法还包括：

对所述表格图片进行识别，识别出所述表格中文本区域的坐标信息和文本信息；

所述根据所述粗略顶点坐标和单元格顶点坐标的位置关系，确定出每个所述单元格的顶点坐标之后，所述方法还包括：

根据所述单元格的顶点坐标，计算出每个所述单元格的行列信息并构建出相应的单元格对象；

通过所述文本区域的坐标信息和所述单元格对象的坐标信息，确定所述文本区域和所述单元格对象之间的坐标匹配关系；

按照所述坐标匹配关系，将所述文本区域的文本信息对应存入各个所述单元格对象中。

6.如权利要求5所述的表格识别方法，其特征在于，所述对所述表格图片进行识别，识别出所述表格中文本区域的坐标信息和文本信息，包括：

将所述表格对应的表格图片进行文本区域分割与坐标识别，并得到文本区域分割图和各个文本区域的坐标信息；

将所述文本区域分割图输入文本识别模型，得到所述文本识别模型输出的所述文本区域对应的文本信息。

7.如权利要求5所述的表格识别方法，其特征在于，所述根据所述单元格的顶点坐标，计算出每个所述单元格的行列信息，包括：

计算所有单元格中的最短边长作为行列计算阈值；

依据每个所述单元格的顶点坐标，将每个所述单元格拆解为水平线段与垂直线段；

将所有所述水平线段中共点的线段首尾相连形成线段组，得到水平线段组集合，并按照从上到下顺序对所述水平线段组集合中的线段组进行排序；

将所有所述垂直线段中共点的线段首尾相连形成线段组，得到垂直线段组集合，并按照从左到右顺序对所述垂直线段组集合中的线段组进行排序；

遍历所述水平线段组集合，判断两所述水平线段组的中点坐标的垂直距离是否小于所述行列计算阈值；若小于，则将满足所述垂直距离的两线段组合并为一组，并遍历所述单元格的每一条水平线段，查询所述水平线段在所述水平线段组集合中哪个第一目标线段组被包含，将所述第一目标线段组的排序索引值确定为单元格的行信息；

遍历所述垂直线段组集合，判断两所述垂直线段组的中点坐标的水平距离是否小于所述行列计算阈值；若小于，则将满足所述水平距离的两线段组合并为一组，并遍历所述单元格的每一条垂直线段，查询所述垂直线段在所述垂直线段组集合中哪个第二目标线段组被包含，将所述第二目标线段组的排序索引值确定为单元格的列信息。

8.如权利要求5所述的表格识别方法，其特征在于，所述方法还包括：

构建表格块对象和非表格块对象；

所述按照所述坐标匹配关系，将所述文本区域的文本信息对应存入各个所述单元格对象中之后，所述方法还包括：

将所述文本区域的文本信息中未匹配的文本信息，存储于所述非表格块对象中；

将已存储对应本文信息的各个所述单元格对象，存储所述表格对象中。

9.一种表格识别装置，其特征在于，所述装置包括：

图片获取模块，用于获取表格对应的表格图片；

图片识别模块，用于对所述表格图片进行识别，得到所述表格中的单元格坐标信息，所述单元格坐标信息包括单元格中心点坐标、单元格顶点坐标、以及所述单元格中心点坐标到对应顶点的距离偏移值；

坐标预测模块，用于使用所述距离偏移值，对所述单元格中心点坐标对应的顶点坐标进行预测，得到所述单元格中心点坐标对应的粗略顶点坐标；

坐标确定模块，用于根据所述粗略顶点坐标和单元格顶点坐标的位置关系，确定出每个所述单元格的顶点坐标。

10.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至8任一项所述的表格识别方法的步骤。

11.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8任一项所述的表格识别方法的步骤。

12.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的表格识别方法的步骤。

Images