CN114359918A - 提货单信息提取方法、装置及计算机设备 - Google Patents

Abstract

本申请涉及一种提货单信息提取方法、装置、计算机设备、计算机可读存储介质和计算机程序产品，该方法包括：获取提货单图片，基于第一模型对提货单图片进行文本框检测，获得提货单图片中文本框的坐标信息；将文本框的坐标信息以及提货单图片输入第二模型，获得文本框对应的文本信息；根据文本信息、坐标信息以及模板库，确定与提货单图片匹配的目标提货单模板；根据文本信息以及目标提货单模板生成参考提货单，对参考提货单进行关键信息提取，获得提货单图片对应的提货单信息。本申请提供的提货单信息提取方法，能够实现提高对提货单图片识别准确率的技术效果。

Description

提货单信息提取方法、装置及计算机设备

技术领域

本申请涉及数据处理技术领域，特别是涉及一种提货单信息提取方法、装置、计算机设备、存储介质和计算机程序产品。

背景技术

在国际贸易中，提货单是由运输公司交给承运人或者收货人，以便承运人或者收货人能够从船上、飞机上或仓库等地方提取货物的凭证。在国贸单证业务的日常工作中，每天会产生大量的数据录入需求。

在承运人或者收货人去进行货物提取的时候，需要对提货单上的信息进行识别以根据识别的结果形成单证进行留存。但是，目前由于纸质提货单上存在例如文字墨水太深、字符间结构改变、签章干扰等情况，导致对纸质单中有效信息的识别准确率低。

发明内容

本申请提供了一种提货单信息提取方法、装置、计算机设备、计算机可读存储介质和计算机程序产品，基于多种模型对提货单图片进行识别，能够对提货单图片中的信息进行有效的识别，提高了对提货单图片的识别准确率。

第一方面，本申请提供了一种提货单信息提取方法，该方法包括：

获取提货单图片，基于第一模型对提货单图片进行文本框检测，获得提货单图片中文本框的坐标信息；

将文本框的坐标信息以及提货单图片输入第二模型，获得文本框对应的文本信息；

根据文本信息和坐标信息进行模板库匹配，确定与提货单图片匹配的目标提货单模板；

根据文本信息以及目标提货单模板生成参考提货单，对参考提货单进行关键信息提取，获得提货单图片对应的提货单信息。

第二方面，本申请还提供了一种提货单信息提取装置，该装置包括：

获取检测模块，用于获取提货单图片，基于第一模型对提货单图片进行文本框检测，获得提货单图片中文本框的坐标信息；

识别模块，用于将文本框的坐标信息以及提货单图片输入第二模型，获得文本框对应的文本信息；

匹配确定模块，用于根据文本信息和坐标信息进行模板库匹配，确定与提货单图片匹配的目标提货单模板；

提取模块，用于根据文本信息以及目标提货单模板生成参考提货单，对参考提货单进行关键信息提取，获得提货单图片对应的提货单信息。

第三方面，本申请还提供了一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述任一项的方法的步骤：

第四方面，本申请还提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述任一项的方法的步骤。

第五方面，本申请还提供了一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时实现上述任一项的方法的步骤。

本申请提供了一种提货单信息提取方法、装置、计算机设备、计算机可读存储介质和计算机程序产品，该方法包括：获取提货单图片，基于第一模型对提货单图片进行文本框检测，获得提货单图片中文本框的坐标信息；将文本框的坐标信息以及提货单图片输入第二模型，获得文本框对应的文本信息；根据文本信息、坐标信息以及模板库，确定与提货单图片匹配的目标提货单模板；根据文本信息以及目标提货单模板生成参考提货单，对参考提货单进行关键信息提取，获得提货单图片对应的提货单信息。本申请提供的提货单信息提取方法，基于第一模型对提货单图片中的文本框进行定位，基于第二模型对对应文本框中的文本信息进行识别，由于第一模型和第二模型均为添加干扰信息之后的历史提货单训练得到的，所以对文本框的定位以及对应文本信息的识别都比较准确，同时，基于丰富的模板库与提货单图片进行匹配，提高了提货单图片的匹配率，更进一步的能够基于提货单的模板对关键信息进行提取，综合处理后，能够实现提高对提货单图片识别准确率的技术效果。

附图说明

图1为一个实施例中提货单信息提取方法的应用环境图；

图2为一个实施例中提货单信息提取方法的流程示意图；

图3为一个实施例中提货单信息提取步骤的流程示意图；

图4为另一个实施例中提货单信息提取方法的流程示意图；

图5为另一个实施例中提货单信息提取方法的流程示意图；

图6为另一个实施例中提货单信息提取方法的流程示意图；

图7为另一个实施例中提货单信息提取方法的流程示意图；

图8为一个实施例中提货单信息提取装置的结构框图；

图9为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请实施例提供的提货单信息提取方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。数据存储***可以存储服务器104需要处理的数据。数据存储***可以集成在服务器104上，也可以放在云上或其他网络服务器上。终端102采集提货单图片，通过网络将获取的提货单图片发送给服务器104，服务器104将该提货单图片输入至第一模型中进行文本框检测，获得提货单中文本框的坐标信息，然后，将文本框的坐标信息和提货单图片再输入至第二模型中进行文本识别，获得每一个文本框对应的文本信息，根据文本信息、坐标信息以及模板库，确定与提货单图片匹配的目标提货单模板；根据文本信息以及目标提货单模板生成参考提货单，对参考提货单进行关键信息提取，获得提货单图片对应的提货单信息，能够实现提高对提货单图片识别准确率的技术效果。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、照相机、摄像机、扫描仪和便携式可穿戴设备。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

在一个实施例中，如图2所示，提供了一种提货单信息提取方法，以该方法应用于图1中的服务器为例进行说明，包括以下步骤：

步骤S202，获取提货单图片，基于第一模型对提货单图片进行文本框检测，获得提货单图片中文本框的坐标信息。

其中，提货单是由运输公司交给承运人或者收货人，以便承运人或者收货人能够从船上、飞机上或仓库等地方提取货物的凭证。提货单可以是运输公司开具的一种纸质的单据，提货单上可以是包括收货人信息、寄货人信息、港口信息、仓库信息、承运人信息、代理人信息、运单号信息等多种不同类型的信息。提货单一方面用于提货，一方面需要将提货单上的相关信息提供给金融机构，以便金融机构对发货方和收货方之间的货款进行处理。

那么，对提货单进行信息提取可以应用于提货过程中，也可以应用在金融机构进行货款处理的过程中，本申请对此不加以限定。

提货单图片可以是能够与服务器进行通信连接的扫描仪、照相机、摄像机、手机、笔记本电脑、台式计算机等终端设备采集得到，并发送给服务器的。

服务器可以是通过接收模块接收到提货单图片后，由接收模块传输至处理模块，处理模块再调用服务器中设置的第一模型，将提货单图片输入至第一模型，以便第一模型对该提货单图片中的每一个文本框进行坐标信息的检测，检测可以是通过获取每一个文本框中的两个顶点坐标来确定每一个文本框的坐标信息，也可以是通过获取每一个文本框的中心点坐标来确定每一个文本框的坐标信息，还可以是通过获取每一个文本框的三个、四个顶点坐标来确定每一个文本框的坐标信息，本申请对此不加以限定。文本框是用于限制提货单中表示收货人信息、寄货人信息、港口信息、仓库信息、承运人信息、代理人信息、运单号信息等具体文本信息的位置。

在这里需要对图片中的key值和value值作以说明，key值相当于每一个提货单图片中的收货人姓名、性别、仓库地址、承运人姓名、寄货人姓名、运单号等，而value值则表示收货人姓名对应的具体内容张三，性别对应的具体内容男，仓库地址对应的具体内容光华路128号等。由于提货单图片中的key值和value值都需要通过文本框限制位置，所以服务器中的处理模块将提货单图片输入至第一模型中后，第一模型是对提货单图片中所有的key值和value值对应的文本框进行整体的坐标识别，得到的也是提货单图片中所有的key值和value值对应的文本框的坐标信息。

步骤S204，将文本框的坐标信息以及提货单图片输入第二模型，获得文本框对应的文本信息。

其中，基于上述第一模型输出了提货单图片中所有的key值和value值对应的文本框的坐标信息后，可以是将输出发送给处理器，处理器可以是将所有的key值和value值对应的文本框的坐标信息以及提货单图片输入至第二模型进行文本信息的识别。也即对key值和value值进行识别。第二模型输出的可以是与每一个坐标信息对应的文本信息。示例性的，第二模型可以是输出[(1，2)(4，2)-姓名]、[(4，2)(2，2)-张三]等类似的信息。那么就可以将文本框与对应的文本信息进行一一对应，服务器中的处理器可以是在获得了文本框的坐标信息以及文本框对应的文本信息之后，对提货单图片进行坐标以及文本的标记，便于后续进行信息提取。由于第一模型和第二模型检测以及识别的范围是整个提货单图片中的key值、value值、key值的坐标以及value值的坐标，所以得到的都是单个的文本框以及文本框中的key值或者value值，不能将key值和value值进行对应，所以需要通过后续的提货单模板进行进一步的确定。

步骤S206，根据文本信息和坐标信息进行模板库匹配，确定与提货单图片匹配的目标提货单模板。

其中，基于上述第二模型获得的文本框的文本信息、第一模型获得的文本框的坐标信息，可以是进行模板匹配，匹配出与提货单图片中文本框的文本信息以及文本框的坐标信息相似的目标提货单模板，也即与纸质的提货单选用的排版、格式等相似的提货单模板。由于能够进行货品交易的公司可以是有很多，每一个公司设置的提货单模板可以是各不相同，所以服务器可能面临对成千上万种不同模板的提货单进行识别，所以本申请提供的模板库中可以是包括目前市场上流通的所有类型的模板，该模板可以是来自不同的公司，同一家公司也可以出具不同的提货单模板。那么通过与该模板库进行匹配，就可以匹配出与提货单使用的相同模板的提货单模板。一般情况下，若不是某一公司或者新公司提供的新提货单模板，都可以从模板库中匹配到对应的一个或者多个目标提货单模板。那么，服务器也可以是在出现了新的提货单模板后，根据新的提货单模板对模板库进行扩充，进一步丰富模板库，便于后续都可以根据模板库进行目标提货单模板的匹配。

步骤S208，根据文本信息以及目标提货单模板生成参考提货单，对参考提货单进行关键信息提取，获得提货单图片对应的提货单信息。

其中，根据上述模板库匹配的步骤，服务器的处理模块可以是获得一个或者多个目标提货单模板，可以是继续通过第二模型识别出的文本框对应的文本信息，将该文本信息通过变换矩阵的方法映射到目标提货单模板中，因为目标提货单模板中，都没有对应的value值，仅存在key值，所以经过映射，可以是实施了将提货单图片中的value值填充到了目标提货单模板与key值对应value值所在的区域中的过程，获得了参考提货单(相当于进行了将key值和value值进行一一匹配的过程)，然后服务器中可以是通过提取模块将value值所在的区域中的信息进行提取，得到参考提货单中的关键信息，进而得到了提货单图片中金融机构或者仓库管理员等需要获得的提货单信息。

本申请提供了一种提货单信息提取方法，该方法包括：获取提货单图片，基于第一模型对提货单图片进行文本框检测，获得提货单图片中文本框的坐标信息；将文本框的坐标信息以及提货单图片输入第二模型，获得文本框对应的文本信息；根据文本信息、坐标信息以及模板库，确定与提货单图片匹配的目标提货单模板；根据文本信息以及目标提货单模板生成参考提货单，对参考提货单进行关键信息提取，获得提货单图片对应的提货单信息。本申请提供的提货单信息提取方法，基于第一模型对提货单图片中的文本框进行定位，基于第二模型对对应文本框中的文本信息进行识别，由于第一模型和第二模型均为添加干扰信息之后的历史提货单训练得到的，所以对文本框的定位以及对应文本信息的识别都比较准确，同时，基于丰富的模板库与提货单图片进行匹配，提高了提货单图片的匹配率，更进一步的能够基于提货单的模板对关键信息进行提取，综合处理后，能够实现提高对提货单图片识别准确率的技术效果。

在一个实施例中，本实施例是在进行模板库匹配失败后的一种可选的方法实施例，该方法包括：

若根据文本信息、坐标信息与模板库匹配失败，则将文本信息、坐标信息输入通用匹配模型，获得提货单图片对应的提货单信息。

其中，据上所述，若该提货单图片来自于新公司，或者以往的公司在制作提货单的时候使用了新模板，模板库还没有进行更新或者补充，那么服务器通过提货单图片中的文本信息和文本信息对应的坐标信息进行模板库匹配时，会出现匹配不到对应的模板库的情况，那么服务器中的处理模块则会调用通用匹配模型，进行key值和value值的一一匹配。该通用匹配模型是根据大量的key值与大量的value值通过神经网络模型训练得到的，例如，通过姓名这一key值，和大量的张三、李四、王二等value值训练得到，所以通过通用匹配模型可以实现对key值和value值的一一匹配。本申请通过使用通用匹配模型来补足通过模板库匹配不上导致无法对提货单图片进行提货单信息提取的不足，使得本申请提供的提货单信息提取方法能够适用于更多的使用场景，用户也能够根据提货单的具体情况选择合适的提取方法对提货单进行提货单信息的提取，对提货单信息的提取更加的灵活。需要说明的是，通用模型进行提货单信息提取相对于上述通过目标提货单模板映射的方式进行提货单信息提取的准确率稍低，所以在进行提货单信息提取时，优先选用模板映射的方式进行提货单信息的提取，能够获得更加准确的提货单信息。

在一个实施例中，如图3所示，本实施例是对第一模型进行训练的一种可选的方法实施例，该方法实施例包括如下步骤：

步骤S302，获取多个第一历史提货单图片，对第一历史提货单图像进行干扰添加处理，获得每一第一历史提货单图片对应的初始图像样本；

步骤S304，对每一初始图像样本进行文本框标定处理，基于处理后的初始图像样本进行模型训练，获得第一模型。

其中，多个第一历史提货单图片可以是从服务器的存储器中获取的，也可以是从各个公司的历史提货单数据库中获取的，本申请对此不加以限定。服务器在获得了大量的第一历史提货单图片过后，可以是一一对多个第一历史提货单图片进行干扰添加，以提高对提货单图片文本框的识别难度，增强模型的检测效果以及泛化能力。干扰添加可以是增加提货单图片的背景，让提货单图片呈现多背景；可以是增加弱化文本框的清晰度，加大文本框的识别难度；还可以是在文本框的框线上增加符号、文字等，加大文本框的识别难度等，本申请对此不加以限定。经过干扰处理后获得每一第一历史提货单图片对应的初始图像样本，对每一初始图像样本进行文本框标定处理，基于处理后的初始图像样本进行模型训练，获得第一模型。

本申请提供的提货单信息提取方法，通过对经过干扰处理后的多个第一历史提货单图片进行模型训练获得第一模型，由于第一模型在进行训练时，对于文本框经过了多种不同类型的干扰处理，所以第一模型对于文本框的识别能力大大的增强，基于第一模型对提货单图片的文本框的坐标信息进行检测，能够更加准确的获得提货单图片中文本框的坐标信息。

在一个实施例中，如图4所示，本实施例是对第二模型进行训练的一种可选的方法实施例，该方法实施例包括如下步骤：

步骤S402，获取多个第二历史提货单图片，对第二历史提货单图像进行文本干扰添加处理，获得每一第二历史提货单图片对应的初始图像样本；

步骤S404，对每一初始图像样本进行文本标定处理，基于处理后的初始图像样本进行模型训练，获得第二模型。

其中，多个第二历史提货单图片可以是从服务器的存储器中获取的，也可以是从各个公司的历史提货单数据库中获取的，第二历史提货单图片还可以是与上述第一历史提货单图片相同，本申请对此不加以限定。服务器在获得了大量的第二历史提货单图片过后，可以是一一对多个第二历史提货单图片进行文本干扰添加，以提高对提货单图片中文本信息的识别难度，增强模型的识别的效果以及泛化能力。文本添加可以是增加提货单图片的背景，让提货单图片呈现多背景；可以是变换文本的字体；可以是改变文字的粗细；可以是改变文字间的结构；可以是将文字进行重叠；可以是在文字上增加签章；可以是在文字上增加签名等加大文本信息的识别难度等，本申请对此不加以限定。经过干扰处理后获得每一第二历史提货单图片对应的初始图像样本，对每一初始图像样本进行文本标定处理，基于处理后的初始图像样本进行模型训练，获得第二模型。

本申请提供的提货单信息提取方法，通过对经过干扰处理后的多个第二历史提货单图片进行模型训练获得第二模型，由于第二模型在进行训练时，对于文本经过了多种不同类型的干扰处理，所以第二模型对于文本的识别能力大大的增强，基于第二模型对提货单图片的文本信息进行识别，能够更加准确的获得提货单图片中文本信息。

在一个实施例中，如图5所示，本实施例是确定目标提货单模板的一种可选的方法实施例，该方法实施例包括如下步骤：

步骤502，获取提货单图片的唯一标记，唯一标记用于表征提货单图片的来源。

其中，提货单图片的唯一标记可以是服务器为不同的公司设置的标识，该标识可以是一个英文字符、一个汉字、一个数字等，还可以是几个的叠加，本申请不加以限定。唯一标记表征了提货单图片来自于A公司还是，来自于B公司。

步骤504，基于唯一标记以及模板库中各个提货单模板的唯一标记，从模板库中匹配出多个候选提货单模板。

其中，基于获取到的提货单图片的唯一标记，可以是拿该唯一标记与模板库中的所有提货单模板进行唯一标记的比对。由于每一个公司可以是有多个不同的提货单模板，所以可以是匹配到多个候选提货单模板。

步骤506，根据文本信息以及坐标信息从多个候选提货单模板确定与提货单图片匹配的目标提货单模板。

其中，基于上述获得的多个候选提货单模板，可以是继续根据文本信息和坐标信息进行模板匹配，以获得目标提货单模板。通过文本信息以及坐标信息进行模板匹配，可以将候选提货单模板中的文本信息与提货单中的文本信息进行匹配，哪个匹配的文本信息最多，将哪个候选提货单模板确定为目标提货单模板；又或者可以是将候选提货单模板中每一个文本框对应的坐标信息与提货单图片中每一个文本框的坐标信息进行匹配，哪一个候选提货单模板匹配上的坐标信息最多，将该候选提货单模板确定为目标提货单模板；还可以是将候选提货单模板中与坐标信息与提货单图片中的坐标信息进行对应，然后匹配与坐标信息对应的文本信息是都能匹配上，也可以是将匹配上的文本信息最多的候选提货单模板确定为目标提货单模板。

本申请提供的提货单信息提取方法，通过将提货单图片的唯一标记对模板库中的提货单模板进行初筛，获得候选提货单模板，再从候选提货单模板中确定目标提货单模板，能够避免将提货单的文本信息、坐标信息等一一与庞大的模板库中的每一个提货单模板进行比对，服务器的负担重，比对速率低的问题。

在一个实施例中，如图6所示，本实施例是确定目标提货单模板的一种可选的方法实施例，该方法实施例包括如下步骤：

步骤S602，根据文本信息对应的坐标信息以及多个候选模板中各个提货单模板的文本信息对应的坐标信息，计算提货单图片与多个候选提货单模板的相似度；

步骤S604，将相似度大于阈值的候选提货单模板确定为目标提货单模板。

其中，本申请可以是通过现将提货单图片中的文本信息与多个候选模板中的文本信息进行匹配，在匹配成功后，在将对应的文本信息的坐标信息进行相似度的计算。由于提货单图片中可以是包括多个文本信息，所以可以是将提货单图片中的文本信息一一与候选模板中的文本信息进行比对，再将匹配后的文本信息进行坐标信息的相似度计算，获得多个相似度，可以是取多个相似度的平均，也可以是取相似度最小的与预设的相似度阈值进行比对，若相似度大于预设阈值，则表示该提货单模板与提货单图片所选用的模板相似或者相同，提货单模板相似或者相同则表示提货单图片中的文本框排版、文本框中的key值排版相似或者相同，那么通过该目标提货单模板进行value值的映射，得到的value值更加的准确。

在一个实施例中，如图7所示，本实施例是获得提货单图片对应的提货单信息的一种可选的方法实施例，该方法实施例包括：

步骤S702，确定目标提货单模板的描述信息，描述信息包括多个提货单参数；

步骤S704，确定文本信息对应的目标提货单参数，将文本信息映射到描述信息中与目标提货单参数对应的value值区域内。

其中，目标提货单模板的描述信息包括目标提货单模板中的key值、key值的坐标以及value值的坐标。对应的文本信息的目标提货单参数也为与该文本信息对应的key值、key值的坐标以及value值的坐标。将文本信息映射到描述信息中，也就是将文本信息的提货单参数与目标提货单模板的提货单参数进行匹配，匹配成功后，文本信息落入对应的目标提货单模板value值区域内。示例性的，文本信息为张三，张三的目标提货单参数为：姓名，[(1，2)(4，2)]、[(4，2)(2，2)]，那么可以是将目标提货单模板中提货单参数为姓名，[(1，2)(4，2)]、[(4，2)(2，2)]对应的[(4，2)(2，2)]的区域内映射得到张三，那么在进行后续的关键信息提取的时候，可以是提取姓名-张三这样的信息，以得到提货单图片对应的提货单信息。

可选地，第二模型库包括通用语料库和专业语料库。

其中，通用语料库中包括多种通用的语料信息，专业语料库中包括各个公司的名字、各个收货公司的名字、各个港口的名字等针对性的语料信息，能够提高对文本信息的识别准确率。

可选地，在获得提货单图片对应的提货单信息后，还可以通过业务规则对提货单信息进行校验。

其中，校验例如为身份证的value值只能是18位，那么校验得到提货单信息中的身份证的文本信息为20位，那么表示该提货单信息有误；运单号的value值只能是10位，那么校验得到提货单信息中的运单号的文本信息为12位，那么表示该提货单信息有误；公司名字的value值只能是汉字，那么校验得到提货单信息中的公司名字的文本信息中包括数字，那么表示该提货单信息有误等。业务规则可以是目前约定俗成的一些规范，通过物业规范对提货单信息进行校验，可以有效的对提货单信息进行验证，避免输出有误的提货单信息。

可选地，服务器在获取提货单图片后，还可以是对提货单图片进行尺寸变换，将尺寸变化后的提货单图片输入至第一模型。

由于服务器在对图片进行检测、识别时，可以是局域对预定尺寸的图片进行检测以及识别，便于服务器进行模式化的处理流程，加快服务器的处理速率。那么为了便于服务器后续的检测以及识别，该检测和识别可以是只对预设范围的图片进行检测以及识别，那么多该图片的尺寸过大，那么服务器就有可能对图片中超出范围的部分检测以及识别不到，以致于后续提取的提货单信息不准确。所以可以是先对获得提货单图片进行预订尺寸的变换，以便于后续服务器的处理。该预订的尺寸，不同的服务器可以是设置有不同的预定尺寸，本申请对此不加以限定。

可选的，本申请可以是将上述提货单信息提取方法打包，生成易于调用的RESTFULAPI微服务形式供前端***调用，为了满足外部***单次请求两秒以内的提货单信息提取要求，可以是采用多GPU轮询的机制，对每一张提货单图片都会启动一个单独的子线程进行识别，完成整个提取步骤。

应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的提货单信息提取方法的提货单信息提取装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个提货单信息提取装置实施例中的具体限定可以参见上文中对于提货单信息提取方法的限定，在此不再赘述。

在一个实施例中，如图8所示，提供了一种提货单信息提取装置，包括：获取检测模块802、识别模块804、确定模块806和提取模块808，其中：

获取检测模块802，用于获取提货单图片，基于第一模型对提货单图片进行文本框检测，获得提货单图片中文本框的坐标信息；

识别模块804，用于将文本框的坐标信息以及提货单图片输入第二模型，获得文本框对应的文本信息；

匹配确定模块806，用于根据文本信息和坐标信息进行模板库匹配，确定与提货单图片匹配的目标提货单模板；

提取模块808，用于根据文本信息以及目标提货单模板生成参考提货单，对参考提货单进行关键信息提取，获得提货单图片对应的提货单信息。

在一个实施例中，上述匹配确定模块806，还用于在根据文本信息、坐标信息与模板库匹配失败时，将文本信息、坐标信息输入通用匹配模型，获得提货单图片对应的提货单信息。

在一个实施例中，上述装置还包括训练模块，

训练模块，用于获取多个第一历史提货单图片，对第一历史提货单图像进行干扰添加处理，获得每一第一历史提货单图片对应的初始图像样本；对每一初始图像样本进行文本框标定处理，基于处理后的初始图像样本进行模型训练，获得第一模型。

在一个实施例中，上述装置还包括训练模块，还用于获取多个第二历史提货单图片，对第二历史提货单图像进行文本干扰添加处理，获得每一第二历史提货单图片对应的初始图像样本；对每一初始图像样本进行文本标定处理，基于处理后的初始图像样本进行模型训练，获得第二模型。

在一个实施例中，上述匹配确定模块806，还用于获取提货单图片的唯一标记，唯一标记用于表征提货单图片的来源；基于唯一标记以及模板库中各个提货单模板的唯一标记，从模板库中匹配出多个候选提货单模板；根据文本信息以及坐标信息从多个候选提货单模板确定与提货单图片匹配的目标提货单模板。

在一个实施例中，上述匹配确定模块806包括计算确定单元，

计算确定单元，用于根据文本信息对应的坐标信息以及多个候选模板中各个提货单模板的文本信息对应的坐标信息，计算提货单图片与多个候选提货单模板的相似度；将相似度大于阈值的候选提货单模板确定为目标提货单模板。

在一个实施例中，上述提取模块808，具体用于确定目标提货单模板的描述信息，描述信息包括多个提货单参数；确定文本信息对应的目标提货单参数，将文本信息映射到描述信息中与目标提货单参数对应的value值区域内。

上述提货单信息提取装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图9所示。该计算机设备包括通过***总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作***、计算机程序和数据库。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的数据库用于存储坐标信息、文本信息数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种提货单信息提取方法。

本领域技术人员可以理解，图9中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：

获取提货单图片，基于第一模型对提货单图片进行文本框检测，获得提货单图片中文本框的坐标信息；

将文本框的坐标信息以及提货单图片输入第二模型，获得文本框对应的文本信息；

根据文本信息和坐标信息进行模板库匹配，确定与提货单图片匹配的目标提货单模板；

根据文本信息以及目标提货单模板生成参考提货单，对参考提货单进行关键信息提取，获得提货单图片对应的提货单信息。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

在根据文本信息、坐标信息与模板库匹配失败时，将文本信息、坐标信息输入通用匹配模型，获得提货单图片对应的提货单信息。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

获取多个第一历史提货单图片，对第一历史提货单图像进行干扰添加处理，获得每一第一历史提货单图片对应的初始图像样本；对每一初始图像样本进行文本框标定处理，基于处理后的初始图像样本进行模型训练，获得第一模型。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

获取多个第二历史提货单图片，对第二历史提货单图像进行文本干扰添加处理，获得每一第二历史提货单图片对应的初始图像样本；对每一初始图像样本进行文本标定处理，基于处理后的初始图像样本进行模型训练，获得第二模型。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

获取提货单图片的唯一标记，唯一标记用于表征提货单图片的来源；基于唯一标记以及模板库中各个提货单模板的唯一标记，从模板库中匹配出多个候选提货单模板；根据文本信息以及坐标信息从多个候选提货单模板确定与提货单图片匹配的目标提货单模板。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

根据文本信息对应的坐标信息以及多个候选模板中各个提货单模板的文本信息对应的坐标信息，计算提货单图片与多个候选提货单模板的相似度；将相似度大于阈值的候选提货单模板确定为目标提货单模板。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

确定目标提货单模板的描述信息，描述信息包括多个提货单参数；

确定文本信息对应的目标提货单参数，将文本信息映射到描述信息中与目标提货单参数对应的value值区域内。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

获取提货单图片，基于第一模型对提货单图片进行文本框检测，获得提货单图片中文本框的坐标信息；

将文本框的坐标信息以及提货单图片输入第二模型，获得文本框对应的文本信息；

根据文本信息和坐标信息进行模板库匹配，确定与提货单图片匹配的目标提货单模板；

根据文本信息以及目标提货单模板生成参考提货单，对参考提货单进行关键信息提取，获得提货单图片对应的提货单信息。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

在根据文本信息、坐标信息与模板库匹配失败时，将文本信息、坐标信息输入通用匹配模型，获得提货单图片对应的提货单信息。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

获取多个第一历史提货单图片，对第一历史提货单图像进行干扰添加处理，获得每一第一历史提货单图片对应的初始图像样本；对每一初始图像样本进行文本框标定处理，基于处理后的初始图像样本进行模型训练，获得第一模型。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

获取多个第二历史提货单图片，对第二历史提货单图像进行文本干扰添加处理，获得每一第二历史提货单图片对应的初始图像样本；对每一初始图像样本进行文本标定处理，基于处理后的初始图像样本进行模型训练，获得第二模型。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

获取提货单图片的唯一标记，唯一标记用于表征提货单图片的来源；基于唯一标记以及模板库中各个提货单模板的唯一标记，从模板库中匹配出多个候选提货单模板；根据文本信息以及坐标信息从多个候选提货单模板确定与提货单图片匹配的目标提货单模板。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

根据文本信息对应的坐标信息以及多个候选模板中各个提货单模板的文本信息对应的坐标信息，计算提货单图片与多个候选提货单模板的相似度；将相似度大于阈值的候选提货单模板确定为目标提货单模板。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

确定目标提货单模板的描述信息，描述信息包括多个提货单参数；

确定文本信息对应的目标提货单参数，将文本信息映射到描述信息中与目标提货单参数对应的value值区域内。

在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：

获取提货单图片，基于第一模型对提货单图片进行文本框检测，获得提货单图片中文本框的坐标信息；

将文本框的坐标信息以及提货单图片输入第二模型，获得文本框对应的文本信息；

根据文本信息和坐标信息进行模板库匹配，确定与提货单图片匹配的目标提货单模板；

根据文本信息以及目标提货单模板生成参考提货单，对参考提货单进行关键信息提取，获得提货单图片对应的提货单信息。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

在根据文本信息、坐标信息与模板库匹配失败时，将文本信息、坐标信息输入通用匹配模型，获得提货单图片对应的提货单信息。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

获取多个第一历史提货单图片，对第一历史提货单图像进行干扰添加处理，获得每一第一历史提货单图片对应的初始图像样本；对每一初始图像样本进行文本框标定处理，基于处理后的初始图像样本进行模型训练，获得第一模型。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

获取多个第二历史提货单图片，对第二历史提货单图像进行文本干扰添加处理，获得每一第二历史提货单图片对应的初始图像样本；对每一初始图像样本进行文本标定处理，基于处理后的初始图像样本进行模型训练，获得第二模型。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

获取提货单图片的唯一标记，唯一标记用于表征提货单图片的来源；基于唯一标记以及模板库中各个提货单模板的唯一标记，从模板库中匹配出多个候选提货单模板；根据文本信息以及坐标信息从多个候选提货单模板确定与提货单图片匹配的目标提货单模板。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

根据文本信息对应的坐标信息以及多个候选模板中各个提货单模板的文本信息对应的坐标信息，计算提货单图片与多个候选提货单模板的相似度；将相似度大于阈值的候选提货单模板确定为目标提货单模板。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

确定目标提货单模板的描述信息，描述信息包括多个提货单参数；

确定文本信息对应的目标提货单参数，将文本信息映射到描述信息中与目标提货单参数对应的value值区域内。

需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种提货单信息提取方法，其特征在于，所述方法包括：

获取提货单图片，基于第一模型对所述提货单图片进行文本框检测，获得所述提货单图片中文本框的坐标信息；

将所述文本框的坐标信息以及所述提货单图片输入第二模型，获得所述文本框对应的文本信息；

根据所述文本信息和所述坐标信息进行模板库匹配，确定与所述提货单图片匹配的目标提货单模板；

根据所述文本信息以及所述目标提货单模板生成参考提货单，对所述参考提货单进行关键信息提取，获得所述提货单图片对应的提货单信息。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

若根据所述文本信息、所述坐标信息与所述模板库匹配失败，则将所述文本信息、所述坐标信息输入通用匹配模型，获得所述提货单图片对应的提货单信息。

3.根据权利要求1所述的方法，其特征在于，所述第一模型的训练过程包括：

获取多个第一历史提货单图片，对所述第一历史提货单图像进行干扰添加处理，获得每一第一历史提货单图片对应的初始图像样本；

对每一所述初始图像样本进行文本框标定处理，基于处理后的初始图像样本进行模型训练，获得所述第一模型。

4.根据权利要求1所述的方法，其特征在于，所述第二模型的训练过程包括：

获取多个第二历史提货单图片，对所述第二历史提货单图像进行文本干扰添加处理，获得每一第二历史提货单图片对应的初始图像样本；

对每一所述初始图像样本进行文本标定处理，基于处理后的初始图像样本进行模型训练，获得所述第二模型。

5.根据权利要求1所述的方法，其特征在于，所述根据所述文本信息、所述坐标信息以及模板库，确定与所述提货单图片匹配的目标提货单模板，包括：

获取所述提货单图片的唯一标记，所述唯一标记用于表征所述提货单图片的来源；

基于所述唯一标记以及所述模板库中各个提货单模板的唯一标记，从所述模板库中匹配出多个候选提货单模板；

根据所述文本信息以及所述坐标信息从所述多个候选提货单模板确定与所述提货单图片匹配的目标提货单模板。

6.根据权利要求5所述的方法，其特征在于，所述根据所述文本信息以及所述坐标信息从所述多个候选提货单模板确定与所述提货单图片匹配的目标提货单模板，包括：

根据所述文本信息对应的坐标信息以及所述多个候选模板中各个提货单模板的文本信息对应的坐标信息，计算所述提货单图片与所述多个候选提货单模板的相似度；

将所述相似度大于阈值的所述候选提货单模板确定为所述目标提货单模板。

7.根据权利要求1所述的方法，其特征在于，所述根据所述文本信息以及所述目标提货单模板生成参考提货单，包括：

确定所述目标提货单模板的描述信息，所述描述信息包括多个提货单参数；

确定所述文本信息对应的目标提货单参数，将所述文本信息映射到所述描述信息中与所述目标提货单参数对应的value值区域内。

8.一种提货单信息提取装置，其特征在于，所述装置包括：

获取检测模块，用于获取提货单图片，基于第一模型对所述提货单图片进行文本框检测，获得所述提货单图片中文本框的坐标信息；

识别模块，用于将所述文本框的坐标信息以及所述提货单图片输入第二模型，获得所述文本框对应的文本信息；

匹配确定模块，用于根据所述文本信息和所述坐标信息进行模板库匹配，确定与所述提货单图片匹配的目标提货单模板；

提取模块，用于根据所述文本信息以及所述目标提货单模板生成参考提货单，对所述参考提货单进行关键信息提取，获得所述提货单图片对应的提货单信息。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。

Images