CN115937887A - 文档结构化信息的提取方法及装置、电子设备、存储介质 - Google Patents

Abstract

本申请提供一种文档结构化信息的提取方法及装置、电子设备、存储介质，该方法包括：获取待处理的文档图片；通过已训练的结构化模型，提取文档图片中每个文本区域的位置信息和属性信息；通过OCR引擎提取文档图片中每个文本行的位置信息和文本内容；针对每个文本行，根据文本行的位置信息以及每个文本区域的位置信息和属性信息，确定文本行的属性信息；根据每个文本行的属性信息和文本内容，得到文档图片的结构化信息。该方案无需对每一种文档单独定制一种模板，可以适配任何一个OCR引擎，提升了文档结构化信息提取的自动化程度，提高了泛化性和鲁棒性。

Description

文档结构化信息的提取方法及装置、电子设备、存储介质

技术领域

本申请涉及计算机视觉技术领域，特别涉及一种文档结构化信息的提取方法及装置、电子设备、存储介质。

背景技术

近年来，随着我国数字化的不断深入发展，纸质文档电子化已然成为一种趋势。但由于纸质文档的版式复杂多样，需要人工提取文档内容，并结构化的录入电子***中。在手工录入过程中存在很多的弊端，一方面是人工录入会不可避免的出现漏项错项问题，另一方面需配置大量人力资源进行高度重复性工作，这不仅会给录入人员带来很大的压力，而且效率低下。

对于纸质文档的电子化，一般需要在OCR(Optical Character Recognition，光学字符识别)技术把图像中的文字信息识别出来以后，对文字识别结果进行结构化处理。现有结构化处理的方式一般采用基于规则的方式或基于学习的方式，但是这两种方式的鲁棒性和泛化性很低。

发明内容

本申请实施例提供了文档结构化信息的提取方法，用以提高泛化性和鲁棒性。

本申请实施例提供了一种文档结构化信息的提取方法，包括：

获取待处理的文档图片；

通过已训练的结构化模型，提取所述文档图片中每个文本区域的位置信息和属性信息；

通过OCR引擎提取所述文档图片中每个文本行的位置信息和文本内容；

针对每个文本行，根据所述文本行的位置信息以及每个文本区域的位置信息和属性信息，确定所述文本行的属性信息；

根据每个文本行的属性信息和文本内容，得到所述文档图片的结构化信息。

在一实施例中，所述结构化模型包括采用Swin-Transformer架构的特征提取模块、第一解码模块、第二解码模块和第三解码模块；所述第一解码模块、第二解码模块和第三解码模块均采用了transformer架构；

所述特征提取模块的输出作为所述第一解码模块的输入，所述第一解码模块的输出分别作为所述第二解码模块的输入和第三解码模块的输入。

在一实施例中，所述通过已训练的结构化模型，提取所述文档图片中每个文本区域的位置信息和属性信息，包括：

通过所述特征提取模块提取所述文档图片的图像特征；

通过所述第一解码模块对所述图像特征进行解码操作，得到初始解码特征；

将所述初始解码特征分别输入所述第二解码模块和第三解码模块，得到所述第二解码模块输出的每个文本区域的属性信息，以及所述第三解码模块输出的每个文本区域的位置信息。

在一实施例中，所述针对每个文本行，根据所述文本行的位置信息以及每个文本区域的位置信息和属性信息，确定所述文本行的属性信息，包括：

针对每个文本行，根据所述文本行的位置信息以及每个文本区域的位置信息，确定所述文本行对应的目标文本区域；

根据所述目标文本区域的属性信息，得到所述文本行的属性信息。

在一实施例中，所述针对每个文本行，根据所述文本行的位置信息以及每个文本区域的位置信息，确定所述文本行对应的目标文本区域，包括：

针对每个文本行，根据所述文本行的位置信息以及每个文本区域的位置信息，确定所述文本行与每个文本区域之间的重叠度；

根据所述文本行与每个文本区域之间的重叠度，确定所述文本行对应的目标文本区域。

在一实施例中，所述根据所述文本行与每个文本区域之间的重叠度，确定所述文本行对应的目标文本区域，包括：

根据所述文本行与每个文本区域之间的重叠度，将重叠度最大的文本区域作为所述文本行对应的目标文本区域。

在一实施例中，在所述通过已训练的结构化模型，提取所述文档图片中每个文本区域的位置信息和属性信息之前，所述方法还包括：

根据已标注每个文本框的位置信息和属性信息的样本文档图片，进行深度学习，训练得到所述结构化模型。

本申请实施例还提供了一种文档结构化信息的提取装置，包括：

图片获取模块，用于获取待处理的文档图片；

信息提取模块，用于通过已训练的结构化模型，提取所述文档图片中每个文本区域的位置信息和属性信息；

字符识别模块，用于通过OCR引擎提取所述文档图片中每个文本行的位置信息和文本内容；

属性确定模块，用于针对每个文本行，根据所述文本行的位置信息以及每个文本区域的位置信息和属性信息，确定所述文本行的属性信息；

结果输出模块，用于根据每个文本行的属性信息和文本内容，得到所述文档图片的结构化信息。

本申请实施例还提供了一种电子设备，所述电子设备包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行上述文档结构化信息的提取方法。

本申请实施例还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序可由处理器执行以完成上述文档结构化信息的提取方法。

本申请上述实施例提供的技术方案，通过已训练的结构化模型，提取文档图片中每个文本区域的位置信息和属性信息；通过OCR引擎提取所述文档图片中每个文本行的位置信息和文本内容；进而根据文本行的位置信息以及每个文本区域的位置信息和属性信息，确定文本行的属性信息；根据每个文本行的属性信息和文本内容，得到文档图片的结构化信息，该方案无需对每一种文档单独定制一种模板，节省了资金、人力和时间。结构化模型和OCR引擎相互独立，结构化模型的输出结果不依赖OCR引擎的输出结果，故可以适配任何一个OCR引擎，相比现有技术，可以提升了文档结构化信息提取的自动化程度，提高了泛化性和鲁棒性。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍。

图1是背景技术中两种OCR引擎的识别结果对比示意图；

图2是本申请实施例提供的电子设备的结构示意图；

图3是本申请实施例提供的一种文档结构化信息的提取方法的流程示意图；

图4是本申请实施例提供的结构化模型的架构示意图；

图5是本申请实施例提供的Swin-Transformer架构的原理示意图；

图6是本申请实施例提供的Swin-Transformer的架构示意图；

图7是本申请实施例提供的文档图片中提取的多个文本区域的示意图；

图8是本申请实施例提供的重叠度计算的原理示意图；

图9为本申请一实施例示出的文档结构化信息的提取装置的框图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。

相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

机器流程自动化(Robotic Process Automation，RPA)技术可以模拟员工在日常工作中通过键盘、鼠标对计算机的操作，可以代替人类执行登录***、操作软件、读写数据、下载文件、读取邮件等操作。以自动化机器人作为企业的虚拟劳动力，可以将员工从重复、低价值的工作中解放出来，将精力投入到高附加值的工作上，从而可以使企业在数字化智能化转型的同时又做到降低成本、增加效益。

RPA是一种使用软件机器人取代业务流程中的人工任务，并且像人一样与计算机的前端***进行交互，因此RPA可以看作是一种运行在个人PC机或服务器中的软件型程序机器人，通过模仿用户在电脑上进行的操作来替代人类自动重复这些操作，例如检索邮件、下载附件、登录***、数据加工分析等活动，快速、准确、可靠。虽然和传统的物理机器人一样都是通过设定的具体规则来解决人类工作中速度和准确度的问题，但是传统的物理机器人是软硬件结合的机器人，需要在特定的硬件支持下配合软件才能执行工作；而RPA机器人是纯软件层面的，只要安装了相应的软件，就可以部署到任意一台PC机和服务器中来完成规定的工作。

也就是说，RPA是一种利用“数字员工”代替人进行业务操作的一种方式及其相关的技术。本质上RPA是通过软件自动化技术，模拟人实现计算机上***、软件、网页和文档等对象的无人化操作，获取业务信息、执行业务动作，最终实现流程自动化处理、人力成本节约和处理效率提升。从描述可知，为了实现RPA，需要先对文档、屏幕等进行识别，确定文档或屏幕不同位置的内容，才能自动对这些内容进行操作。故从文档图片中提取结构化信息成为实现RPA所关注的技术之一。

为了从文档图片中提取结构化信息，相关技术大致可以分成两类：基于规则的方式和基于学习的方式。基于规则的方式通过配置一个模板来实现，但是该方式的鲁棒性很低。举例来说，即使是同一种文档，如住院***，不同医院的住院***需要单独定制一套规则，这无疑限制其应用。此外，这类基于模板规则实现的方法，对图片质量要求较高，具体来说，就是待结构化识别的新票据图片数据，要和模板保持尽可能的一致。因此，无法采用现有的方法完成自动的结构化处理。

基于学习的方式通过大量标注数据来学习一个结构化模型。该方式的鲁棒性有了明显提升，但是该方式需要依赖前置的OCR引擎的输出结果来进行数据标注。如图1所示,(1)是OCR引擎A的检测结果，(2)是OCR引擎B的检测结果，假如要结构化提取经营者信息，如果采用OCR引擎A，那么训练结构化模型需要标注的格式为“key＝经营者，value＝李春香”,如果采用OCR引擎B，标注格式为“value＝经营者李春香”，这意味着一旦更新OCR引擎，需要同步进行结构化模型的更新。除了上述原因，因为无法体现获取key的取值范围，当前基于学习方式的泛化性也有限制。

图2是本申请实施例提供的电子设备的结构示意图。该电子设备200可以用于执行本申请实施例提供的文档结构化信息的提取方法。如图2所示，该电子设备200包括：一个或多个处理器202、一个或多个存储处理器可执行指令的存储器204。其中，所述处理器202被配置为执行本申请下述实施例提供的文档结构化信息的提取方法。

所述处理器202可以是包含中央处理单元(CPU)、图像处理单元(GPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元的设备，可以对所述电子设备200中的其它组件的数据进行处理，还可以控制所述电子设备200中的其它组件以执行期望的功能。

所述存储器204可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器202可以运行所述程序指令，以实现下文所述的文档结构化信息的提取方法。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如所述应用程序使用和/或产生的各种数据等。

在一实施例中，图2所示电子设备200还可以包括输入装置206、输出装置208以及数据采集装置210，这些组件通过总线***212和/或其它形式的连接机构(未示出)互连。应当注意，图2所示的电子设备200的组件和结构只是示例性的，而非限制性的，根据需要，所述电子设备200也可以具有其他组件和结构。

所述输入装置206可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。所述输出装置208可以向外部(例如，用户)输出各种信息(例如，图像或声音)，并且可以包括显示器、扬声器等中的一个或多个。所述数据采集装置210可以采集对象的图像，并且将所采集的图像存储在所述存储器204中以供其它组件使用。示例性地，该数据采集装置210可以为摄像头。

在一实施例中，用于实现本申请实施例的文档结构化信息的提取方法的示例电子设备200中的各器件可以集成设置，也可以分散设置，诸如将处理器202、存储器204、输入装置206和输出装置208集成设置于一体，而将数据采集装置210分离设置。

在一实施例中，用于实现本申请实施例的文档结构化信息的提取方法的示例电子设备200可以被实现为诸如笔记本电脑、台式电脑、智能手机、服务器等智能设备。

图3是本申请实施例提供的一种文档结构化信息的提取方法的流程示意图。如图3所示，该方法包括：

步骤S310：获取待处理的文档图片。

文档图片可以是对纸质文档直接拍照得到，也可以是从PDF格式转成的图片格式。文档图片可以是本地摄像头采集得到，也可以是提前存储在本地或者从外部设备获取得到，例如服务端可以从客户端获取文档图片。本申请下文所述的实施例需要从此文档图片中提取结构化信息。

步骤S320：通过已训练的结构化模型，提取所述文档图片中每个文本区域的位置信息和属性信息。

结构化模型可以是提前训练好的，用于提取位置信息和属性信息的深度学习模型。

如图4所示，所述结构化模型包括采用Swin-Transformer架构的特征提取模块、第一解码模块、第二解码模块和第三解码模块。特征提取模块用于提取文档图片的图像特征。第一解码模块、第二解码模块和第三解码模块均采用了transformer架构。所述特征提取模块的输出作为所述第一解码模块的输入，所述第一解码模块的输出分别作为所述第二解码模块的输入和第三解码模块的输入。

在一实施例中，上述步骤S320具体包括：通过所述特征提取模块架构提取所述文档图片的图像特征；通过所述第一解码模块对所述图像特征进行解码操作，得到初始解码特征；将所述初始解码特征分别输入所述第二解码模块和第三解码模块，得到所述第二解码模块输出的每个文本区域的属性信息，以及所述第三解码模块输出的每个文本区域的位置信息。

理论上提取文档图片的图像特征可以采用CNN(Convolutional Neural Network，卷积神经网络)来提取。但是考虑到预测需要输出一个序列，解码模块采用了transformer架构，所以需要对CNN的最后一层输出进行self-attention(自注意力)运算。但是，因为对CNN的输出进行self-attention操作不仅时间复杂度高，空间复杂度也高，实际应用比较受限。基于上述原因，本实施例采用Swin-Transformer架构来提取文档图片的图像特征。

图5是Swin-Transformer架构的原理示意图。如图5所示，通过采取层次化的设计，每一层都会缩小输入特征图的分辨率，像CNN一样逐层扩大感受野。Swin-Transformer架构具体如图6(a)所示，包括4个Stage(阶段)。在输入开始的时候，做了一个Patch partition(分块)，将图片切成一个个图块。在每个Stage里，由Patch Merging和多个SwinTransformer Block组成。其中Patch Merging模块主要在每个Stage一开始降低图片分辨率。而每个阶段的Swin-Transformer block的结构参照图6(b)表示，主要是LayerNorm，MLP，Window Attention和Shifted Window Attention组成。如图6所示，无论输入的文档图片多大，最终都输出一个维度为(B，16，C)的特征序列，其中B为batchsize(特征的个数),16＝4*4为特征的长度，C为特征的维度。

其中，属性信息可以有key(键)、value(值)、other(其他)三种属性。属性为Other可以表示忽略该文本区域。

如图7所示，每个box(文本框)代表一个文本区域，box1对应的属性是other,box2对应的属性是other,box3对应的属性是key,box4对应的属性是value,box5对应的属性是key,box6对应的属性是value,box7对应的属性是key,box8对应的属性是value,…box11对应的属性是key,box12对应的属性是value，所以第二解码模块可以输出一个属性序列为other，other，key，value，key，value，…,key，value。

每个文本区域的位置信息与属性信息一一对应，所以第三解码模块可以输出box1,box2，box3,…,box12的位置信息。每个文本区域的位置信息可以使用(x1,y1,x2,y2)表示，即由文本区域的左上角坐标(x1,y1)和右下角坐标(x2,y2)构成。从图7中可以看出，如果多行文字属于同一个key，那么这多行文字会处于一个文本框内，如经营场所对应的value包含两行文字，这两行文字处于一个文本框内。

步骤S330：通过OCR引擎提取所述文档图片中每个文本行的位置信息和文本内容。

需要说明的是，步骤S320和步骤S330的先后顺序不限，可以先执行步骤S320再执行步骤S330，也可以先执行步骤S330再执行步骤S320，为节省时间，步骤S320和步骤S330也可以同时执行。

OCR(Optical Character Recognition，光学字符识别)引擎是现有的一种具有文字检测和识别功能的软件包。通常，OCR引擎包括文本检测模型和文本识别模型，故通过OCR引擎可以对文档图片进行分析处理，自动检测文本行的位置信息和识别文本行的文本内容。OCR引擎的处理过程可以参见现有技术实现。

步骤S340：针对每个文本行，根据所述文本行的位置信息以及每个文本区域的位置信息和属性信息，确定所述文本行的属性信息。

参见图1所示，为OCR引擎的输出结果，由于OCR引擎的不同，“经营者”是一个文本行(即一个矩形框)，“李春香”是另一个文本行(即另一个矩形框)；也可能“经营者李春香”是同一个文本行(即处于同一个矩形框内)。参见图7所示的结构化模型输出的每个文本区域的位置，box3是一个文本区域，box4是一个文本区域，每个box代表一个文本区域。故由于OCR引擎的不同，一个文本行(如“经营者”)可能包括一个文本区域，例如包括如图7所示的文本区域box3；一个文本行(如“经营者李春香”)也可能包括两个文本区域，例如包括图7所示的文本区域box3和文本区域box4。

在一实施例中，针对每个文本行，可以根据该文本行的位置信息以及每个文本区域的位置信息，确定该文本行对应的目标文本区域；根据所述目标文本区域的属性信息，得到该文本行的属性信息。

其中，目标文本区域是指其位置信息与文本行的位置信息相匹配的文本区域。在一实施例中，可以针对每个文本行，根据该文本行的位置信息以及每个文本区域的位置信息，确定该文本行与每个文本区域之间的重叠度(IOU)；根据该文本行与每个文本区域之间的重叠度，确定所述文本行对应的目标文本区域。在一实施例中，根据该文本行与每个文本区域之间的重叠度，可以将重叠度最大的文本区域作为所述文本行对应的目标文本区域。

其中，一个文本行与一个文本区域的重叠度可以是该文本行与该文本区域之间的重合面积除以该文本行与该文本区域的整体面积。举例来说，如图8所示，文本行的位置信息包括文本行的左上顶点坐标(x3，y3)和右下顶点坐标(x4，y4)，故根据文本行的位置信息可以计算出文本行的面积。文本区域的位置信息包括文本区域的左上顶点坐标(x5，y5)和右下顶点坐标(x6，y6)，故根据文本区域的位置信息可以计算出文本区域的面积。文本行与文本区域之间的重合面积参见图8所示阴影部分的面积，故文本行与文本区域之间的重叠度，可以是此阴影部分面积除以文本行和文本区域所占的总面积。

通过遍历所有文本区域，可以计算文本行与每个文本区域之间的重叠度，进而选取重叠度最大时的文本区域，作为与文本行对应的目标文本区域。依次类推，针对每个文本行，均可以找到与该文本行重叠度最大的一个目标文本区域。目标文本区域的属性信息可以直接作为该文本行的属性信息，由此得到每个文本行的属性信息。举例来说，假设“李春香”这个文本行，其位置坐标与box4的IOU最大，由于box4的属性是value，那么“李春香”这个文本行的属性就是value。

步骤S350：根据每个文本行的属性信息和文本内容，得到所述文档图片的结构化信息。

结构化信息可以包括每个文本行的属性信息和文本内容。举例来说，图7所示的文档图片，可以得到以下的结构化信息：

“other＝营业执照(对应box1)

…

key＝组成形式(对应box11)，value＝个人经营(对应box12)”。

本申请上述实施例提供的技术方案，通过已训练的结构化模型，提取文档图片中每个文本区域的位置信息和属性信息；通过OCR引擎提取所述文档图片中每个文本行的位置信息和文本内容；进而根据文本行的位置信息以及每个文本区域的位置信息和属性信息，确定文本行的属性信息；根据每个文本行的属性信息和文本内容，得到文档图片的结构化信息，该方案可以提升文档结构化信息提取的自动化程度，无需对每一种文档单独定制特定一种模板，节省了资金、人力和时间。结构化模型和OCR引擎相互独立，结构化模型的输出结果不依赖OCR引擎的输出结果，故结构化模型的训练无需OCR引擎的输出结果，可以适配任何一个OCR引擎。无需提前知晓key的取值范围。只需要在结构化信息提取完成后，自定义需要的key值即可。相比现有技术，提高了泛化性和鲁棒性。

在一实施例中，在上述步骤S320之前，本申请实施例提供的方法还可以包括：根据已标注每个文本框的位置信息和属性信息的样本文档图片，进行深度学习，训练得到所述结构化模型。

其中，样本文档图片作为训练数据，样本文档图片中已知每个文本框的位置信息和属性信息。与上文相同，文本框的位置信息可以包括文本框的左上顶点坐标和右下顶点坐标，属性信息可以包括other、key、value三种属性。如果多行文字属于同一个key，只需标注出一个文本框即可。

具体的，参照图4所示模型架构，可以将样本文档图片作为输入，将每个文本框的属性信息作为上路分支的正确输出序列，将每个文本框的位置信息作为下路分支的正确输出序列，训练Swin-Transformer和Decoder1、Decoder2、Decoder3的参数，使上路分支的预测输出序列与正确输出序列之间的差异以及下路分支的预测输出序列与正确输出序列之间的差异，整体最小。

需要说明的是，上述结构化模型的训练无需依赖OCR引擎的输出结果，对于样本文档图片的标注结果(即文本框的位置信息和属性信息)，无需根据OCR引擎的输出结果调整标注规范，故训练数据的标注成本低且标注规范统一。

下述为本申请装置实施例，可以用于执行本申请上述文档结构化信息的提取方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请文档结构化信息的提取方法实施例。

图9为本申请一实施例示出的文档结构化信息的提取装置的框图，如图9所示，该装置包括：

图片获取模块910，用于获取待处理的文档图片。

信息提取模块920，用于通过已训练的结构化模型，提取所述文档图片中每个文本区域的位置信息和属性信息。

字符识别模块930，用于通过OCR引擎提取所述文档图片中每个文本行的位置信息和文本内容。

属性确定模块940，用于针对每个文本行，根据所述文本行的位置信息以及每个文本区域的位置信息和属性信息，确定所述文本行的属性信息。

结果输出模块950，用于根据每个文本行的属性信息和文本内容，得到所述文档图片的结构化信息。

上述装置中各个模块的功能和作用的实现过程具体详见上述文档结构化信息的提取方法中对应步骤的实现过程，在此不再赘述。

在本申请所提供的几个实施例中，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (10)

1.一种文档结构化信息的提取方法，其特征在于，包括：

获取待处理的文档图片；

通过已训练的结构化模型，提取所述文档图片中每个文本区域的位置信息和属性信息；

通过OCR引擎提取所述文档图片中每个文本行的位置信息和文本内容；

针对每个文本行，根据所述文本行的位置信息以及每个文本区域的位置信息和属性信息，确定所述文本行的属性信息；

根据每个文本行的属性信息和文本内容，得到所述文档图片的结构化信息。

2.根据权利要求1所述的方法，其特征在于，所述结构化模型包括采用Swin-Transformer架构的特征提取模块、第一解码模块、第二解码模块和第三解码模块；所述第一解码模块、第二解码模块和第三解码模块均采用了transformer架构；

所述特征提取模块的输出作为所述第一解码模块的输入，所述第一解码模块的输出分别作为所述第二解码模块的输入和第三解码模块的输入。

3.根据权利要求2所述的方法，其特征在于，所述通过已训练的结构化模型，提取所述文档图片中每个文本区域的位置信息和属性信息，包括：

通过所述特征提取模块提取所述文档图片的图像特征；

通过所述第一解码模块对所述图像特征进行解码操作，得到初始解码特征；

将所述初始解码特征分别输入所述第二解码模块和第三解码模块，得到所述第二解码模块输出的每个文本区域的属性信息，以及所述第三解码模块输出的每个文本区域的位置信息。

4.根据权利要求1所述的方法，其特征在于，所述针对每个文本行，根据所述文本行的位置信息以及每个文本区域的位置信息和属性信息，确定所述文本行的属性信息，包括：

针对每个文本行，根据所述文本行的位置信息以及每个文本区域的位置信息，确定所述文本行对应的目标文本区域；

根据所述目标文本区域的属性信息，得到所述文本行的属性信息。

5.根据权利要求4所述的方法，其特征在于，所述针对每个文本行，根据所述文本行的位置信息以及每个文本区域的位置信息，确定所述文本行对应的目标文本区域，包括：

针对每个文本行，根据所述文本行的位置信息以及每个文本区域的位置信息，确定所述文本行与每个文本区域之间的重叠度；

根据所述文本行与每个文本区域之间的重叠度，确定所述文本行对应的目标文本区域。

6.根据权利要求5所述的方法，其特征在于，所述根据所述文本行与每个文本区域之间的重叠度，确定所述文本行对应的目标文本区域，包括：

根据所述文本行与每个文本区域之间的重叠度，将重叠度最大的文本区域作为所述文本行对应的目标文本区域。

7.根据权利要求1所述的方法，其特征在于，在所述通过已训练的结构化模型，提取所述文档图片中每个文本区域的位置信息和属性信息之前，所述方法还包括：

根据已标注每个文本框的位置信息和属性信息的样本文档图片，进行深度学习，训练得到所述结构化模型。

8.一种文档结构化信息的提取装置，其特征在于，包括：

图片获取模块，用于获取待处理的文档图片；

信息提取模块，用于通过已训练的结构化模型，提取所述文档图片中每个文本区域的位置信息和属性信息；

字符识别模块，用于通过OCR引擎提取所述文档图片中每个文本行的位置信息和文本内容；

属性确定模块，用于针对每个文本行，根据所述文本行的位置信息以及每个文本区域的位置信息和属性信息，确定所述文本行的属性信息；

结果输出模块，用于根据每个文本行的属性信息和文本内容，得到所述文档图片的结构化信息。

9.一种电子设备，其特征在于，所述电子设备包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行权利要求1-7任意一项所述的文档结构化信息的提取方法。

10.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序可由处理器执行以完成权利要求1-7任意一项所述的文档结构化信息的提取方法。

Images