CN115439852A - 多类型铭牌的箱号提取方法、***、存储介质及计算机设备 - Google Patents

Abstract

本发明提供了一种多类型铭牌的箱号提取方法，通过获取待测铭牌置于预定区域时拍摄的图像数据；对所述图像数据进行文本检测与识别，获得对应的识别结果；查询所述识别结果中的关键字符，并基于所述关键字符确定待测铭牌对应的铭牌类型；获取所述图像数据基于所述铭牌类型所确定的箱号定位信息；根据所述箱号定位信息和识别结果，提取出待测铭牌中对应的箱号。本发明还提供了一种多类型铭牌的箱号提取***、存储介质及计算机设备。借此，本发明能够代替人工对铭牌上的箱号进行识别，提升了铭牌上箱号的识别准确率。

Description

多类型铭牌的箱号提取方法、***、存储介质及计算机设备

技术领域

本发明涉及集装箱技术领域，尤其涉及一种多类型铭牌的箱号提取方法、***、存储介质及计算机设备。

背景技术

集装箱铭牌，记录了集装箱的必要信息，“铭牌”由CSC(国际集装箱安全公约)安全合格牌照、CCC(Customs Conventionon Containers国际集装箱关务公约)通关合格牌照、TCT(木材防疫处理)认可牌照、船级社认证牌照、制造商标志和规格参数组成。随着集装箱厂商的生产节奏加快，需对出厂的多种类型铭牌上的箱号进行识别记录存档。

然而，现有的铭牌上箱号的获取基本上都是依靠质检员通过用肉眼观察记录存档，这种通过人眼肉眼观察效率低，人工成本高；并且，容易因人为因素而导致箱号记录误差。

综上可知，现有的方法在实际使用上，存在着较多的问题，所以有必要加以改进。

发明内容

针对上述的缺陷，本发明的目的在于提供一种多类型铭牌的箱号提取方法，***、存储介质及其计算机设备，能够代替人工对铭牌上的箱号进行识别，提升了铭牌上箱号的识别准确率。

为了实现上述目的，本发明提供一种多类型铭牌的箱号提取方法，包括步骤：

获取待测铭牌置于预定区域时拍摄的图像数据；

对所述图像数据进行文本检测与识别，获得对应的识别结果；

查询所述识别结果中的关键字符，并基于所述关键字符确定所述待测铭牌对应的铭牌类型；

获取所述图像数据基于所述铭牌类型所确定的箱号定位信息；

根据所述箱号定位信息和所述识别结果，提取出所述待测铭牌中对应的箱号。

可选的，所述查询所述识别结果中的关键字符，并基于所述关键字符确定所述待测铭牌对应的铭牌类型的步骤具体包括：

依次循环查询所述识别结果，直至从若干指定的关键字符中确定所述识别结果包含的目标关键字符；

根据所述目标关键字符，确定所述待测铭牌对应的铭牌类型。

可选的，所述对所述图像数据进行文本检测与识别，获得对应的识别结果的步骤具体包括：

检测识别出所述图像数据上的文本框，并获取所述文本框的坐标信息；

对所述文本框进行文本识别，获得对应的识别结果。

可选的，所述获取所述图像数据基于所述铭牌类型所确定的箱号定位信息的步骤具体包括：

基于所述铭牌类型的文本分布信息，确定箱号目标与所述关键字符之间的相对位置；

根据所述相对位置和所述坐标信息，获得箱号定位信息。

可选的，所述坐标信息为所述文本框的对角坐标；

所述根据所述箱号定位信息和所述识别结果，提取出所述待测铭牌中对应的箱号的步骤具体包括：

筛查出所述对角坐标处于所述箱号定位信息的坐标范围内的至少一目标文本框；

将所述目标文本框的所述识别结果对应的字符按照预定排序依次进行拼接，以形成箱号。

可选的，所述检测所述图像数据上的文本框，并获取所述文本框的坐标信息的步骤具体包括：

将所述图像数据输入至预先基于若干第一样本数据训练而成的DBNet文本检测模型，获得对应输出的文本框检测信息；其中，所述第一样本数据为基于四对角顶点文本标注的样本图像，所述文本框检测信息包含有对应文本框的坐标信息。

可选的，所述对所述文本框进行文本识别，获得对应的识别结果的步骤具体包括：

将所述文本框检测信息输入至预先基于若干第二样本数据训练而成的CRNN文本识别模型，获得对应输出的识别结果；其中，所述第二样本数据为所述第一样本数据基于四对角顶点文本标注裁剪而成的样本图像。

可选的，所述根据所述箱号定位信息和所述识别结果，提取出所述待测铭牌中对应的箱号的步骤之后，还包括：

对所述箱号进行校验，并上报校验通过后的所述箱号。

还提供了一种多类型铭牌的箱号提取***，包括有：

图像获取单元，用于获取待测铭牌置于预定区域时拍摄的图像数据；

文本检测与识别单元，用于对所述图像数据进行文本检测与识别，获得对应的识别结果；

类型确定单元，用于查询所述识别结果中的关键字符，并基于所述关键字符确定所述待测铭牌对应的铭牌类型；

定位获取单元，用于获取所述图像数据基于所述铭牌类型所确定的箱号定位信息；

箱号提取单元，用于根据所述箱号定位信息和所述识别结果，提取出所述待测铭牌中对应的箱号。

另外，还提供了一种存储介质和计算机设备，所述存储介质用于存储一种用于执行上述多类型铭牌的箱号提取方法的计算机程序。

所述计算机设备包括存储介质、处理器以及存储在所述存储介质上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的多类型铭牌的箱号提取方法。

本发明所述的多类型铭牌的箱号提取方法及其***，通过获取待测铭牌置于预定区域时拍摄的图像数据；再对其进行文本检测与识别，从而获得对应的识别结果；根据从所述识别结果中查询到的关键字符，确定待测铭牌对应的铭牌类型；进而获取所述图像数据基于所述铭牌类型所确定的箱号定位信息；最终依据所述箱号定位信息和所述识别结果，提取出待测铭牌中对应的箱号。据此，本发明能够代替人工对铭牌上的箱号进行识别，提升了铭牌上箱号的识别准确率。

附图说明

图1为本发明一实施例提供的所述多类型铭牌的箱号提取方法的步骤流程图；

图2为本发明一实施例提供的所述多类型铭牌的箱号提取方法用于确定所述铭牌类型可选的步骤流程图；

图3为本发明一实施例提供的所述多类型铭牌的箱号提取方法用于文本检测与识别可选的步骤流程图；

图4为本发明一实施例提供的所述多类型铭牌的箱号提取方法用于获取箱号定位信息可选的步骤流程图；

图5为本发明一实施例提供的所述多类型铭牌的箱号提取方法用于箱号提取可选的步骤流程图；

图6为本发明所述多类型铭牌的箱号提取方法在一具体应用示例中的操作流程示意图；

图7为所述多类型铭牌的箱号提取方法在具体应用中筛查出的文本框示意图；

图8为本发明一实施例提供的所述多类型铭牌的箱号提取***的结构示意图；

图9为本发明一实施例提供的所述多类型铭牌的箱号提取***的所述类型确定单元可选的结构示意框图；

图10为本发明一实施例提供的所述多类型铭牌的箱号提取***的所述文本检测与识别单元可选的结构示意框图；

图11为本发明一实施例提供的所述多类型铭牌的箱号提取***的所述定位获取单元可选的结构示意框图；

图12为本发明一实施例提供的所述多类型铭牌的箱号提取***的所述箱号提取单元可选的结构示意框图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

需要说明的，本说明书中针对“一个实施例”、“实施例”、“示例实施例”等的引用，指的是描述的该实施例可包括特定的特征、结构或特性，但是不是每个实施例必须包含这些特定特征、结构或特性。此外，这样的表述并非指的是同一个实施例。进一步，在结合实施例描述特定的特征、结构或特性时，不管有没有明确的描述，已经表明将这样的特征、结构或特性结合到其它实施例中是在本领域技术人员的知识范围内的。

此外，在说明书及后续的权利要求当中使用了某些词汇来指称特定组件或部件，所属领域中具有通常知识者应可理解，制造商可以用不同的名词或术语来称呼同一个组件或部件。本说明书及后续的权利要求并不以名称的差异来作为区分组件或部件的方式，而是以组件或部件在功能上的差异来作为区分的准则。在通篇说明书及后续的权利要求书中所提及的“包括”和“包含”为一开放式的用语，故应解释成“包含但不限定于”。以外，“连接”一词在此系包含任何直接及间接的电性连接手段。间接的电性连接手段包括通过其它装置进行连接。

图1示出本发明一实施例提供的多类型铭牌的箱号提取方法，所述方法应用于集装箱铭牌上箱号的自动提取，其包括步骤如下：

S101：获取待测铭牌置于预定区域时拍摄的图像数据。具体的，所述预定区域上可配置有四个传感器，并分布在所述预定区域的四个对角处；当待测铭牌放置在预定区域时，通过这四个传感器以检测其是否摆放正确；若摆放位置错误则提醒进行位置调整。进一步，本实施例利用图像采集设备，例如摄像机，正对着所述预定区域，并且当四个传感器检测到待测铭牌在预定区域的位置摆放正确时生成确认信号，摄像机在所述确认信号生成之后自动启动工作，对该预定区域进行图像采集并视频抽帧以获得所述图像数据。

S102：对所述图像数据进行文本检测与识别，获得对应的识别结果。即检测出所述图像数据上的文本，并识别出对应的字符内容。

参见图3，一可选的实施方式中，步骤S102具体包括：

S1021：检测识别出所述图像数据上的文本框，并获取文本框的坐标信息。可选的，步骤S1021具体包括：将所述图像数据输入至预先基于若干第一样本数据训练而成的DBNet(一种基于分割的文本检测模型)文本检测模型，获得对应输出的文本框检测信息；其中，所述第一样本数据为基于四对角顶点文本标注的样本图像，所述文本框检测信息包含有对应文本框的坐标信息。即本实施例预先搜集大量的铭牌图像数据，并对这些铭牌图像数据中的字符以单词或字符间的空格进行分割，再对分割后的字符组进行四点框标注，如标注出字符组的左上、右上、左下和右下四个对角顶点；利用四点框标注形成的内部空间区域表征其属于文本框位置；采用四点框标注后的铭牌图像数据对公开模型DBNet网络进行训练是为了针对摄像机可能采集到的倾斜字体标注最小框，能够充分学习字符特征，减小背景干扰，提高检测准确率；并且利用单词为最小单位标注代替字符标注，可提高标注效率。

S1022：对所述文本框进行文本识别，获得对应的识别结果。其中，所述识别结果包括所述文本框内的字符内容以及对应的字符坐标。具体实施时，通过上述检测出文本框之后，将对应的文本框从所述图像数据上裁剪出来以进行文本识别。可选的，步骤S1022具体包括：将所述文本框检测信息输入至预先基于若干第二样本数据训练而成的CRNN(Convolutional Recurrent Neural Network，一种卷积循环神经网络结构)文本识别模型，获得对应输出的识别结果；其中，第二样本数据为所述第一样本数据基于四对角顶点文本标注裁剪而成的样本图像。即在对CRNN文本识别模型进行训练时，将第一样本数据的图像进行四点框标注后，裁剪出四点框的区域图像形成第二样本数据，并将其用到文字识别公开模型CRNN网络的训练。可选的，针对可能识别字符不足，对所述第二样本数据运行数据增强的方式，以集装箱为背景，以真实数据制作数据为2:1的方式来补充样本数量，从而提升训练效果，提高模型的识别精度。

S103：查询所述识别结果中的关键字符，并基于所述关键字符确定所述待测铭牌对应的铭牌类型。其中，所述关键字符表征对应的铭牌类型，每一种铭牌类型具有特定的关键字符。因此，本实施例从待测铭牌的识别结果(具体为若干文本框的识别结果)中查找出关键字符，进而基于查到的关键字符来确定当前检测的铭牌的铭牌类型。

参见图2，一可选的实施方式中，步骤S103具体包括：

S1031：依次循环查询所述识别结果，直至从若干指定的关键字符中确定所述识别结果包含的目标关键字符。具体实施时，从所述识别结果中查询是否有某一指定的关键字符，若未查到则循环从所述识别结果中查询是否有另一指定的关键字符，直至查询到代表一种铭牌类型的关键字符为止。由于铭牌类型的数量是可估量的，因此在此循环查询的过程中，若各种关键字符均未能从所述识别结果中查到，则可能当前的待测铭牌可能是新型铭牌或不属于铭牌。例如，从所述识别结果中查询是否有关键字符“CONTAINER”，若查询不到关键字符“CONTAINER”，则进一步查询是否包含有关键字符“OWNER’S”，依次递进；直至查找到对应的关键字符。其中，“CONTAINER”和“OWNER’S”分别为不同类型的铭牌上特定的记录信息。

S1032：根据所述目标关键字符，确定所述待测铭牌对应的铭牌类型。例如，查询到某一关键字符为“CONTAINER”，则进一步确认在铭牌信息上记录有特定的“CONTAINER”属于铭牌类型A；若查询到某一关键字符为“OWNER’S”，则进一步确认在铭牌信息上记录有特定的“OWNER’S”属于铭牌类型B。

S104：获取所述图像数据基于所述铭牌类型所确定的箱号定位信息。根据集装箱铭牌的字符内容和相对位置固定的特征，当确定待测铭牌的铭牌类型后，即可从待测铭牌的图像数据上获得对应的箱号定位信息。

参见图4，一可选的实施方式中，步骤S104具体包括：

S1041：基于所述铭牌类型的文本分布信息，确定箱号目标与所述关键字符之间的相对位置。现有的铭牌中记录的关键字符一般与箱号记录在一块，因此本实施例基于铭牌类型的文本分布信息，在确定出关键字符的位置之后，即可获得箱号目标与关键字符之间的相对位置(一般而言，箱号目标分布在关键字符的同行右侧)

S1042：根据所述相对位置和坐标信息，获得箱号定位信息。即根据上述确定出箱号目标与关键字符的相对位置后，再依据前述检测出文本框的坐标信息，即可求得箱号目标的箱号定位信息(即箱号的文本框定位信息)。

S105：根据所述箱号定位信息和识别结果，提取出所述待测铭牌中对应的箱号。具体的，通过所述箱号定位信息来锁定所述图像数据上的某一感兴趣区域，再基于上述的文字检测与识别的识别结果，将基于所述箱号定位信息所确定的区域内的至少一文本框的识别结果提取出字符以拼接形成箱号。据此，本实施例将人工肉眼判断转换成深度学习目标检测的方式能够降低预警成本和提高效率，并且能够对集装箱的批次进行自动记录存档，实时管控。

参见图5，一可选的实施方式中，所述坐标信息为所述文本框的对角坐标；步骤S105具体包括：

S1051：筛查出所述对角坐标处于箱号定位信息的坐标范围内的至少一目标文本框。

S1052：将所述目标文本框的识别结果对应的字符按照预定排序依次进行拼接，以形成箱号。即保留对角坐标处于所述箱号定位信息中的所有目标文本框，再将这些目标文本框的识别结果中的字符按照预定排序(左右或上下排序)依次进行拼接，从而形成箱号。具体实施时，若所述箱号定位信息的坐标范围确定为关键字符的右侧，则记录下关键字符右上顶点的坐标(x，y)，再筛查出纵坐标等于y且横坐标大于x的其他坐标点，并将这些坐标点对应的文本框确认为目标文本框，进而将其中识别出的字符按顺序进行拼接。如图7所示，图示中左侧的文本框为关键字符，其右上顶点的坐标为(x，y)，根据上述筛查公式分析可知，x<x1<x2且y＝y1＝y2，因此关键字符右侧的两个文本框满足所述目标文本框的筛选条件，则将图示中的三个文本框依照左右顺序进行拼接。

可选的，步骤S105之后，还包括：对所述箱号进行校验，并上报校验通过后的所述箱号。具体实施时，箱号校验规则采用IOS6346(1995)标准，由11位编码组成，其中种类识别码以U为例，其他同理。

图6示出本发明所述多类型铭牌的箱号提取方法的一具体应用示例的操作流程，该方法可由具有运算处理能力的计算机设备执行，其步骤如下：

将待测铭牌放置于固定位置，通过摄像机进行拍摄并视频抽帧获取其图像数据。

再将获取到的图像数据进行DBNet文本检测以检测出文本框，然后输入至CRNN文本识别，输出并保存对应的识别结果。

从这些识别结果中查询是否有关键字符“CONTAINER”存在。

若存在，由于铭牌类型中存在两行的字符串“CONTAINER”，则需进一步从这些识别结果中保存下同时存在“CONTAINER”和“NO.”的同行字符串的第一识别结果；然后筛选出第一识别结果中字符框左上角顶点横坐标大于字符“NO.”右上顶点横坐标的第二识别结果；再将第二识别结果中的字符片段按照横轴坐标升序拼接成箱号。其中，同行字符串的识别如下：设字符串“CONTAINER”左上角坐标为(Xc，Yc)，字符框的宽和高分别为w和h，那么全局查找字符框的左上角坐标的纵坐标y值在Yc-h/2和Yc+3h/2的范围内，即为字符串“CONTAINER”的同行字符串。

若不存在关键字符“CONTAINER”，则查找是否存在“OWNER’S”的关键字符，若找到则保存“OWNER’S”与“NO.”同时存在的同行字符串的第三识别结果；然后从第三识别结果中筛选出字符框左上角顶点横坐标大于字符“NO.”右上顶点横坐标且小于字符“TIMBER”左上角顶点横坐标的第四识别结果；再将第四识别结果中的字符片段按照横轴坐标升序拼接成箱号。

对上述拼接成的箱号进行校验码检验，若检验合格则上报对应的箱号结果；若检验不合格，则重新调整待测铭牌的放置位置进行运算。

图8示出本发明一实施例提供的多类型铭牌的箱号提取***100，其包括有图像获取单元10、文本检测与识别单元20、类型确定单元30、定位获取单元40以及箱号提取单元50，其中：

图像获取单元10用于获取待测铭牌置于预定区域时拍摄的图像数据；文本检测与识别单元20用于对所述图像数据进行文本检测与识别，获得对应的识别结果；类型确定单元30用于查询识别结果中的关键字符，并基于所述关键字符确定待测铭牌对应的铭牌类型；定位获取单元40用于获取所述图像数据基于铭牌类型所确定的箱号定位信息；箱号提取单元50用于根据所述箱号定位信息和识别结果，提取出所述待测铭牌中对应的箱号。

参见图9，一可选的实施方式中，所述类型确定单元30具体包括查询子单元31和确定子单元32，其中：

查询子单元31用于依次循环查询所述识别结果，直至从若干指定的关键字符中确定识别结果包含的目标关键字符；确定子单元32用于根据所述目标关键字符，确定待测铭牌对应的铭牌类型。

参见图10，一可选的实施方式中，所述文本检测与识别单元20具体包括文本检测子单元21和文本识别子单元22，其中：

文本检测子单元21用于检测识别出所述图像数据上的文本框，并获取所述文本框的坐标信息；文本识别子单元22用于对所述文本框进行文本识别，获得对应的识别结果。可选的，所述文本检测子单元21具体用于：将所述图像数据输入至预先基于若干第一样本数据训练而成的DBNet文本检测模型，获得对应输出的文本框检测信息；其中，所述第一样本数据为基于四对角顶点文本标注的样本图像，所述文本框检测信息包含有对应文本框的坐标信息。所述文本识别子单元22具体用于：将所述文本框检测信息输入至预先基于若干第二样本数据训练而成的CRNN文本识别模型，获得对应输出的识别结果；其中，第二样本数据为所述第一样本数据基于四对角顶点文本标注裁剪而成的样本图像。

参见图11，一可选的实施方式中，所述定位获取单元40具体包括相对位置确定子单元41和定位子单元42，其中：

相对位置确定子单元41用于基于所述铭牌类型的文本分布信息，确定箱号目标与关键字符之间的相对位置；定位子单元42用于根据所述相对位置和坐标信息，获得箱号定位信息。

参见图12，一可选的实施方式中，所述坐标信息为所述文本框的对角坐标；所述箱号提取单元50具体包括筛查子单元51和拼接子单元52，其中：

筛查子单元51用于筛查出所述对角坐标处于箱号定位信息的坐标范围内的至少一目标文本框；拼接子单元52用于将所述目标文本框的识别结果对应的字符按照预定排序依次进行拼接，以形成箱号。

可选的，还包括有校验与上报单元，其用于对所述箱号进行校验，并上报校验通过后的箱号。

本发明还提供一种存储介质，用于存储如图1～图5所述多类型铭牌的箱号提取方法的计算机程序。例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本申请的方法和/或技术方案。而调用本申请的方法的程序指令，可能被存储在固定的或可移动的存储介质中，和/或通过广播或其他信号承载媒体中的数据流而被传输和/或被存储在根据程序指令运行的计算机设备的存储介质中。在此，根据本申请的一个实施例包括如图8所示多类型铭牌的箱号提取***的计算机设备，所述计算机设备优选包括用于存储计算机程序的存储介质和用于执行计算机程序的处理器，其中，当该计算机程序被该处理器执行时，触发该计算机设备执行基于前述多个实施例中的方法和/或技术方案。

需要注意的是，本申请可在软件和/或软件与硬件的组合体中被实施，例如，可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中，本申请的软件程序可以通过处理器执行以实现上文步骤或功能。同样地，本申请的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本申请的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。

根据本发明的方法可以作为计算机实现方法在计算机上实现、或者在专用硬件中实现、或以两者的组合的方式实现。用于根据本发明的方法的可执行代码或其部分可以存储在计算机程序产品上。计算机程序产品的示例包括存储器设备、光学存储设备、集成电路、服务器、在线软件等。优选地，计算机程序产品包括存储在计算机可读介质上以便当所述程序产品在计算机上执行时执行根据本发明的方法的非临时程序代码部件。

在优选实施例中，计算机程序包括适合于当计算机程序在计算机上运行时执行根据本发明的方法的所有步骤的计算机程序代码部件。优选地，在计算机可读介质上体现计算机程序。

综上所述，本发明所述的多类型铭牌的箱号提取方法及其***，通过获取待测铭牌置于预定区域时拍摄的图像数据；再对其进行文本检测与识别，从而获得对应的识别结果；根据从所述识别结果中查询到的关键字符，确定待测铭牌对应的铭牌类型；进而获取所述图像数据基于所述铭牌类型所确定的箱号定位信息；最终依据所述箱号定位信息和所述识别结果，提取出待测铭牌中对应的箱号。据此，本发明能够代替人工对铭牌上的箱号进行识别，提升了铭牌上箱号的识别准确率。

当然，本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

本发明还提供了A1、一种多类型铭牌的箱号提取方法，包括步骤：

获取待测铭牌置于预定区域时拍摄的图像数据；

对所述图像数据进行文本检测与识别，获得对应的识别结果；

查询所述识别结果中的关键字符，并基于所述关键字符确定所述待测铭牌对应的铭牌类型；

获取所述图像数据基于所述铭牌类型所确定的箱号定位信息；

根据所述箱号定位信息和所述识别结果，提取出所述待测铭牌中对应的箱号。

A2、根据A1所述的多类型铭牌的箱号提取方法，所述查询所述识别结果中的关键字符，并基于所述关键字符确定所述待测铭牌对应的铭牌类型的步骤具体包括：

依次循环查询所述识别结果，直至从若干指定的关键字符中确定所述识别结果包含的目标关键字符；

根据所述目标关键字符，确定所述待测铭牌对应的铭牌类型。

A3、根据A1所述的多类型铭牌的箱号提取方法，所述对所述图像数据进行文本检测与识别，获得对应的识别结果的步骤具体包括：

检测识别出所述图像数据上的文本框，并获取所述文本框的坐标信息；

对所述文本框进行文本识别，获得对应的识别结果。

A4、根据A3所述的多类型铭牌的箱号提取方法，所述获取所述图像数据基于所述铭牌类型所确定的箱号定位信息的步骤具体包括：

基于所述铭牌类型的文本分布信息，确定箱号目标与所述关键字符之间的相对位置；

根据所述相对位置和所述坐标信息，获得箱号定位信息。

A5、根据A4所述的多类型铭牌的箱号提取方法，所述坐标信息为所述文本框的对角坐标；

所述根据所述箱号定位信息和所述识别结果，提取出所述待测铭牌中对应的箱号的步骤具体包括：

筛查出所述对角坐标处于所述箱号定位信息的坐标范围内的至少一目标文本框；

将所述目标文本框的所述识别结果对应的字符按照预定排序依次进行拼接，以形成箱号。

A6、根据A3所述的多类型铭牌的箱号提取方法，所述检测所述图像数据上的文本框，并获取所述文本框的坐标信息的步骤具体包括：

将所述图像数据输入至预先基于若干第一样本数据训练而成的DBNet文本检测模型，获得对应输出的文本框检测信息；其中，所述第一样本数据为基于四对角顶点文本标注的样本图像，所述文本框检测信息包含有对应文本框的坐标信息。

A7、根据A6所述的多类型铭牌的箱号提取方法，所述对所述文本框进行文本识别，获得对应的识别结果的步骤具体包括：

将所述文本框检测信息输入至预先基于若干第二样本数据训练而成的CRNN文本识别模型，获得对应输出的识别结果；其中，所述第二样本数据为所述第一样本数据基于四对角顶点文本标注裁剪而成的样本图像。

A8、根据A1所述的多类型铭牌的箱号提取方法，所述根据所述箱号定位信息和所述识别结果，提取出所述待测铭牌中对应的箱号的步骤之后，还包括：

对所述箱号进行校验，并上报校验通过后的所述箱号。

还提供了B9、一种多类型铭牌的箱号提取***，包括有：

图像获取单元，用于获取待测铭牌置于预定区域时拍摄的图像数据；

文本检测与识别单元，用于对所述图像数据进行文本检测与识别，获得对应的识别结果；

类型确定单元，用于查询所述识别结果中的关键字符，并基于所述关键字符确定所述待测铭牌对应的铭牌类型；

定位获取单元，用于获取所述图像数据基于所述铭牌类型所确定的箱号定位信息；

箱号提取单元，用于根据所述箱号定位信息和所述识别结果，提取出所述待测铭牌中对应的箱号。

B10、根据B9所述的多类型铭牌的箱号提取***，所述类型确定单元具体包括：

查询子单元，用于依次循环查询所述识别结果，直至从若干指定的关键字符中确定所述识别结果包含的目标关键字符；

确定子单元，用于根据所述目标关键字符，确定所述待测铭牌对应的铭牌类型。

B11、根据B9所述的多类型铭牌的箱号提取***，所述文本检测与识别单元具体包括：

文本检测子单元，用于检测识别出所述图像数据上的文本框，并获取所述文本框的坐标信息；

文本识别子单元，用于对所述文本框进行文本识别，获得对应的识别结果。

B12、根据B11所述的多类型铭牌的箱号提取***，所述定位获取单元具体包括：

相对位置确定子单元，用于基于所述铭牌类型的文本分布信息，确定箱号目标与所述关键字符之间的相对位置；

定位子单元，用于根据所述相对位置和所述坐标信息，获得箱号定位信息。

B13、根据B12所述的多类型铭牌的箱号提取***，所述坐标信息为所述文本框的对角坐标；

所述箱号提取单元具体包括：

筛查子单元，用于筛查出所述对角坐标处于所述箱号定位信息的坐标范围内的至少一目标文本框；

拼接子单元，用于将所述目标文本框的所述识别结果对应的字符按照预定排序依次进行拼接，以形成箱号。

B14、根据B11所述的多类型铭牌的箱号提取***，所述文本检测子单元具体用于：

将所述图像数据输入至预先基于若干第一样本数据训练而成的DBNet文本检测模型，获得对应输出的文本框检测信息；其中，所述第一样本数据为基于四对角顶点文本标注的样本图像，所述文本框检测信息包含有对应文本框的坐标信息。

B15、根据B14所述的多类型铭牌的箱号提取***，所述文本识别子单元具体用于：

将所述文本框检测信息输入至预先基于若干第二样本数据训练而成的CRNN文本识别模型，获得对应输出的识别结果；其中，所述第二样本数据为所述第一样本数据基于四对角顶点文本标注裁剪而成的样本图像。

B16、根据B9所述的多类型铭牌的箱号提取***，还包括有：

校验与上报单元，用于对所述箱号进行校验，并上报校验通过后的所述箱号。

还提供了C17、一种存储介质，用于存储一种用于执行A1～A8中任意一种所述多类型铭牌的箱号提取方法的计算机程序。

还提供了D18、一种计算机设备，包括存储介质、处理器以及存储在所述存储介质上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现A1～A8任一项所述多类型铭牌的箱号提取方法。

Claims (10)

1.一种多类型铭牌的箱号提取方法，其特征在于，包括步骤：

获取待测铭牌置于预定区域时拍摄的图像数据；

对所述图像数据进行文本检测与识别，获得对应的识别结果；

查询所述识别结果中的关键字符，并基于所述关键字符确定所述待测铭牌对应的铭牌类型；

获取所述图像数据基于所述铭牌类型所确定的箱号定位信息；

根据所述箱号定位信息和所述识别结果，提取出所述待测铭牌中对应的箱号。

2.根据权利要求1所述的多类型铭牌的箱号提取方法，其特征在于，所述查询所述识别结果中的关键字符，并基于所述关键字符确定所述待测铭牌对应的铭牌类型的步骤具体包括：

依次循环查询所述识别结果，直至从若干指定的关键字符中确定所述识别结果包含的目标关键字符；

根据所述目标关键字符，确定所述待测铭牌对应的铭牌类型。

3.根据权利要求1所述的多类型铭牌的箱号提取方法，其特征在于，所述对所述图像数据进行文本检测与识别，获得对应的识别结果的步骤具体包括：

检测识别出所述图像数据上的文本框，并获取所述文本框的坐标信息；

对所述文本框进行文本识别，获得对应的识别结果。

4.根据权利要求3所述的多类型铭牌的箱号提取方法，其特征在于，所述获取所述图像数据基于所述铭牌类型所确定的箱号定位信息的步骤具体包括：

基于所述铭牌类型的文本分布信息，确定箱号目标与所述关键字符之间的相对位置；

根据所述相对位置和所述坐标信息，获得箱号定位信息。

5.根据权利要求4所述的多类型铭牌的箱号提取方法，其特征在于，所述坐标信息为所述文本框的对角坐标；

所述根据所述箱号定位信息和所述识别结果，提取出所述待测铭牌中对应的箱号的步骤具体包括：

筛查出所述对角坐标处于所述箱号定位信息的坐标范围内的至少一目标文本框；

将所述目标文本框的所述识别结果对应的字符按照预定排序依次进行拼接，以形成箱号。

6.根据权利要求3所述的多类型铭牌的箱号提取方法，其特征在于，所述检测所述图像数据上的文本框，并获取所述文本框的坐标信息的步骤具体包括：

将所述图像数据输入至预先基于若干第一样本数据训练而成的DBNet文本检测模型，获得对应输出的文本框检测信息；其中，所述第一样本数据为基于四对角顶点文本标注的样本图像，所述文本框检测信息包含有对应文本框的坐标信息。

7.根据权利要求6所述的多类型铭牌的箱号提取方法，其特征在于，所述对所述文本框进行文本识别，获得对应的识别结果的步骤具体包括：

将所述文本框检测信息输入至预先基于若干第二样本数据训练而成的CRNN文本识别模型，获得对应输出的识别结果；其中，所述第二样本数据为所述第一样本数据基于四对角顶点文本标注裁剪而成的样本图像。

8.一种多类型铭牌的箱号提取***，其特征在于，包括有：

图像获取单元，用于获取待测铭牌置于预定区域时拍摄的图像数据；

文本检测与识别单元，用于对所述图像数据进行文本检测与识别，获得对应的识别结果；

类型确定单元，用于查询所述识别结果中的关键字符，并基于所述关键字符确定所述待测铭牌对应的铭牌类型；

定位获取单元，用于获取所述图像数据基于所述铭牌类型所确定的箱号定位信息；

箱号提取单元，用于根据所述箱号定位信息和所述识别结果，提取出所述待测铭牌中对应的箱号。

9.一种存储介质，其特征在于，用于存储一种用于执行权利要求1～7中任意一种所述多类型铭牌的箱号提取方法的计算机程序。

10.一种计算机设备，包括存储介质、处理器以及存储在所述存储介质上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1～7任一项所述多类型铭牌的箱号提取方法。

Images