CN112686252A - 一种车牌检测方法和装置 - Google Patents

Abstract

本申请实施例提供了一种车牌检测与识别的方法和装置。该方法包括：对包含有车辆的目标图像进行车牌检测；在未检测到车牌的情况下，在指定区域中确定疑似车牌区域；确定所述疑似车牌区域是否包含所述车牌；在疑似车牌区域包含所述车牌的情况下，输出所述车牌的位置信息。由此，对漏检的车牌进行二次检测与分类，减少了漏检率。该方法还包括：基于该车牌的位置信息获取车牌图像；对车牌图像进行卷积操作得到特征矩阵，在该特征矩阵在高度方向的维度大于1的情况下，将该特征矩阵进行维度转换，使之成为高度方向的维度为1的特征矩阵，进而进行车牌识别。从而可通过一个模型实现单、双层车牌的识别，缓解了模型加载时间长、占用计算机资源的问题。

Description

一种车牌检测方法和装置

技术领域

本申请涉及智能交通管理领域，并且更具体地，涉及一种车牌检测方法和装置。

背景技术

车牌的检测与识别作为智能化管理的重要组成部分，近年来发展迅速。在现有的车牌智能检测技术中，一种常见的应用场景是，采用目标检测算法进行车牌的检测。比如，收集大量的含有车辆的图像，将其输入目标检测算法，实现车牌的检测。现实应用中，收集来的含有车辆的图像受拍摄的天气环境、车牌被淋溅污泥和自身老化等多方面因素的影响，图像质量不高，因此可能存在车牌漏检的问题。这对后续的车牌识别带来影响。

发明内容

本申请实施例提供了一种车牌检测方法和装置，以解决车牌漏检问题。

第一方面，本申请提供了一种车牌检测方法，该方法包括：对目标图像进行车牌检测，所述目标图像是包含有车辆的图像；在未检测到车牌的情况下，在指定区域中确定疑似车牌区域；确定所述疑似车牌区域是否包含所述车牌；在所述疑似车牌区域包含所述车牌的情况下，输出所述车牌的位置信息。

基于上述方案，在首次检测未检测到车牌的情况下，对指定区域二次检测得到疑似车牌区域，并对疑似车牌区域进行分类。一方面可以减少车牌的漏检，另一方面，由于二次检测可以是在指定区域内的检测，可以提供缩小检测的范围，减小计算量，缩短计算时间。

可选地，所述在指定区域中确定疑似车牌区域，包括：采用预先训练好的目标检测模型对所述目标图像进行卷积操作，以得到至少一层特征图；在所述至少一层特征图的最后一层特征图的指定区域确定每个元素点对应的区域包含所述车牌的置信度；将所述置信度最大的元素点对应的区域确定为所述疑似车牌区域。

可选地，所述确定所述疑似车牌区域是否包含所述车牌，包括：采用预先训练好的分类模型来对所述疑似车牌区域进行分类，以确定是否包含所述车牌。

可选地，所述对所述车牌图像进行车牌识别，包括：对所述车牌图像进行卷积操作，以得到维度为C×H×N的特征矩阵，其中，C为通道数，H为宽度方向的维数，N为长度方向的维数，C、H和N均为正整数；在H大于1的情况下，将所述特征矩阵分解成维度为C×1×N的H个特征矩阵；按预设的顺序对所述H个特征矩阵进行拼接，得到维度为C×1×(H×N)的特征矩阵；基于所述维度为C×1×(H×N)的特征矩阵进行车牌识别。可选地，所述方法还可以包括：根据预定义的尺寸规格，对所述车牌图像进行归一化处理，以得到满足所述尺寸规格的车牌图像。

可选地，所述方法还可以包括：获取包含有车辆的原始图像；对所述原始图像进行图像处理，得到所述目标图像。

可选地，对所述原始图像进行图像处理，可以为去雾，夜晚增强处理。

第二方面，本申请提供了一种车牌识别方法，该方法包括：获取车牌图像，所述车牌图像是包含有车牌的图像；对所述车牌图像进行卷积操作，得到维度为C×H×N的特征矩阵，其中，C为通道数，H为宽度方向的维数，N为长度方向的维数，C、H和N均为正整数；在H大于1的情况下，按预设的顺序对所述C×H×N的特征矩阵中的H个特征矩阵进行拼接，得到维度为C×1×(H×N)的特征矩阵；基于所述维度为C×1×(H×N)的特征矩阵进行车牌识别。

基于上述方案，采用特征拼接的方式实现特征维度转换，使车牌识别过程不仅可以使用卷积网络提取车牌特征，而且后续也采用其他网络提取特征，使提取到的车牌特征多样化，不依赖多个算法模型实现单、双层车牌识别，而仅需采用一个算法模型便可实现单、双层车牌的识别，缓解了模型加载时间长、占用计算机资源的问题。

可选地，所述方法还包括：根据预定义的尺寸规格，对所述车牌图像进行归一化处理，以得到满足所述尺寸规格的车牌图像。

可选地，所述方法还包括：采用预先训练好的第一神经网络对经所述归一化处理后得到的车牌图像进行卷积操作，以得到所述维度为C×H×N的特征矩阵。

可选地，第一神经网络为卷积神经网络(convolutional neural network，CNN)。

可选地，所述基于所述维度为C×1×(H×N)的特征矩阵进行车牌识别，包括：采用预先训练好的第二神经网络基于所述维度为C×1×(H×N)的特征矩阵进行车牌识别。

可选地，第二神经网络为双向长短时记忆网络(bidirectional long short lermmemory networks，BLSTM)、长短时记忆网络(long short lerm memory networks，LSTM)、门控循环单位(gated recurrent unit，GRU)、双向门控循环单位(bidirectional gatedrecurrent unit，BGRU)。

可选地，所述方法还包括：对目标图像进行车牌检测，以确定所述车牌的位置信息，所述目标图像是包含有车辆的图像。

可选地，所述方法还包括：在基于所述车牌检测未检测到所述车牌的情况下，在指定区域中确定疑似车牌区域；对所述疑似车牌区域进行检测，以确定是否包含所述车牌；在从所述疑似车牌区域检测到所述车牌的情况下，输出所述车牌的位置信息。

可选地，所述获取车牌图像，包括：根据所述车牌的位置信息，从所述目标图像中获取所述车牌图像。

第三方面，提供了一种车牌检测装置，包括用于实现第一方面及第一方面任一项所述的车牌检测方法的单元或模块。

第四方面，提供了一种车牌检测装置，包括处理器，所述处理器用于执行第一方面及第一方面任一项所述的车牌检测方法。

第五方面，提供了一种车牌识别装置，包括用于实现第二方面及第二方面任一项所述的车牌识别方法的单元或模块。

第六方面，提供了一种车牌识别装置，包括处理器，所述处理器用于执行第二方面及第二方面任一项所述的车牌识别方法。

第七方面，提供了一种车牌检测与识别***，包括前述的车牌检测装置和/或车牌识别装置。

第八方面，提供了一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机实现第一方面和第二方面以及第一方面和第二方面任一项中所述的方法。

第九方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，使得计算机执行第一方面和第二方面以及第一方面和第二方面任一项中所述的方法。

附图说明

图1是适用于本申请实施例提供的车牌检测与识别方法的***的结构示意图；

图2是本申请实施例提供的车牌检测方法的流程示意图；

图3是本申请实施例车牌检测过程中指定区域的示意图；

图4是本申请实施例提供的车牌识别方法的流程示意图；

图5是本申请实施例提供的单双层车牌尺度归一化方法的示意图；

图6是本申请实施例提供的特征维度转换方法的示意图；

图7和图8是本申请实施例提供的车牌检测装置的示意性框图；

图9和图10是本申请实施例提供的车牌识别装置的示意性框图。

具体实施方式

下面将结合附图，对本申请中的技术方案进行描述。

车牌检测与识别对于智能化管理尤为重要。比如，交通管理平台通常需要进行车牌检测与识别来实现智能化管理；又比如，停车场出入口、高速路口等的电子收费***(electronic toll collection system，ETC)需要通过车牌检测与识别来实现智能化管理。

通常情况下，车牌检测和识别的对象是摄像头等图像采集设备采集到的图像。但由于车辆一般长期暴露在雨、雪、雾霾等天气中，存在路面淋溅泥污、车牌油漆老化变色等问题；加上夜间拍摄时存在的夜晚光线干扰、以及车身图案干扰等原因，导致现有的基于传统算法及深度学习的车牌检测算法存在车牌漏检的问题。一旦车牌漏检，就会对车牌识别带来困难，从而给智能化管理带来障碍。另一方面，目前的车牌存在单层车牌和双层车牌。对于单、双层车牌的识别，目前的技术是，先判断车牌类别，再分别用只支持单层车牌或双层车牌的算法模型进行识别，这可能存在加载模型缓慢、运行期间占用计算机缓存和/或显存大等问题。最终可能导致识别时间较长。

有鉴于此，本申请提供了一种车牌检测方法，以期解决车牌漏检问题，进而为车牌识别提供有力保障。本申请还提供了一种车牌识别方法，以期能够实现通过单一算法模型识别单、双层车牌，从而减少模型加载、减小对计算机缓存和/或内存的占用。

为便于理解，这里先结合图1简单说明可用于实现本申请实施例提供的方法的车牌检测与识别***。如图1所示，该车牌检测与识别***100可以包括车牌检测模块110和车牌识别模块120。其中，车牌检测模块110与车牌识别模块120可通过通信接口进行数据交互，车牌检测模块110和车牌识别模块120也可通过通信接口从图像采集设备获取图像。

应理解，在有些情况下，也可将图像采集设备定义为是车牌检测与识别***中的一个模块。本申请实施例对此不作限定。

还应理解，该车牌检测与识别***100还可能包括其他模块，图1中虽未予以示出，但这不应对本申请构成任何限定。

图2为本申请提供的一种车牌检测方法的流程示意图。图2所示的车牌检测方法200例如可以由图1中所示的车牌检测模块110来执行。该车牌检测模块可以包括神经网络模型，以用于实现下述的目标检测。此外，该车牌检测模块还在已有的神经网络模型的基础上部署了二次检测单元和分类单元，以用于实现下述的二次检测单元和分类。

如图2所示，该方法200可包括步骤210至步骤250。下面详细说明图2中的各步骤。

在步骤210中，获取包含有车辆的目标图像。

目标图像可以是从图像采集设备采集到的图像中获取到的包含有车辆的原始图像，也可以是对包含有车辆的原始图像经过图像处理后得到的图像。

从图像采集装置采集到的图像中获取包含有车辆的图像，例如可通过目标检测来实现。示例性地，可以将图像采集装置采集到的图像输入至预先训练好的用于检测车辆的目标检测模型中，目标检测模型通过计算图像中各个位置对应的各个类别的概率向量，选择概率向量中最大的那一类为最终的类别作为对应位置的所属类别，并计算各个位置所属类别存在的概率以及所属类别对应的位置信息，根据所属类别存在的概率以及所属类别对应的位置信息，可以确定所属类别是车辆，并输出所属类别为车辆时对应的位置信息，从而可以获取到包含有车辆的原始图像。

这里，由于目标检测模型用于检测车辆，为便于区分，可将该目标检测模型称为车辆检测模型。

当然，对包含有车辆的原始图像的获取也可以通过其他方式来实现，本申请实施例对此不做限定。在获取到包含有车辆的原始图像后，车牌检测模块可将该原始图像直接用作目标图像，进行车牌检测；也可以对该原始图像进行图像处理得到更为清晰的图像，将经过图像处理后的图像作为目标图像，本申请实施例对此不作限定。

其中，图像处理例如包括但不限于，去雾、夜晚增强处理。

去雾处理可以通过一些去雾算法实现，如暗通道先验方法、最大对比度方法、颜色衰减先验方法，以及一些深度卷积神经网络方法等实现。通过去雾处理可以，可以提高图像的清晰度。

夜晚增强处理可以采用一些现有的图像信号处理方法或模型来实现。通过夜晚增强处理，可以提升图像的亮度和细节可见度、抑制噪声等。

在步骤220中，对目标图像进行车牌检测。

对目标图像进行车牌检测的过程可以理解为是目标检测的过程，其检测目标可以是车牌。通过车牌检测，可以从目标图像中定位到车牌，从而可以输出该车牌在该目标图像中的位置信息。对目标图像的车牌检测可以通过现有的一些目标检测手段来实现。例如，可通过可用于实现目标检测的神经网络来实现。该神经网络可以是YOLO(you only lookonce，YOLO)网络，例如包括第二版YOLO(you only look once version 2，YOLOv2)网络、第三版YOLO(you only look once version 3，YOLOv3)网络、第五版YOLO(you only lookonce version 5，YOLOv5)网络；该神经网络也可以是快速的基于区域的卷积神经网络(faster regions with convolutional neural network features，Faster-RCNN)，单镜头多盒探测器(single shot multibox detector，SSD)神经网络，多任务卷积神经网络(multi-task convolutional neural network，MTCNN)等。

可选地，步骤220具体包括：

步骤2201，定位目标图像中的车辆区域；

步骤2202，在定位的车辆区域内检测车牌。

由于目标图像中包含有车辆，车辆在该目标图像中是占用了一定的区域的。这里所述的车辆区域即车辆在目标图像中所占的区域。换言之，车辆区域是目标图像中更小范围的一块区域，且车辆区域包含有车辆。车辆区域例如是车辆占用的区域，其外轮廓可以是一个与车辆的外形相同或相接近的不规则图形；该车辆区域也可以是包含了该车辆的一块区域，其外轮廓例如可以是车辆的外轮廓为边界的矩形等。本申请实施例对此不作限定。

示例性地，对目标图像中的车辆区域的定位的一种可能的实现方式为：车辆检测模型对目标图像进行卷积操作得到目标特征层，特征层中每个单元可以称为一个元素点，可对应于卷积核中的一个权重。车辆检测模型可以计算并输出预测的该车辆的存在区域(以下简称预测车辆区域)，以及预测车辆区域的中心点处于各个元素点时，各个元素点对应的可能的预测车辆区域包含了车辆的概率，并根据两者计算预测车辆区域的中心点位于各个元素点时，对应的预测车辆区域存在的预测车辆为真实车辆的置信度，将置信度大于第一预设门限的区域作为最终的预测车辆区域。

需要说明的是，上述车辆检测模型可以通过训练得到。例如，在训练该车辆检测模型的阶段，对某一区域存在的预测车辆为真实车辆的置信度

可通过如下公式计算得到：

其中，P为某一区域存在车辆的概率；IOU为预测车辆区域和真实车辆区域的交集与并集的比值，体现的是预测车辆区域与真实车辆区域的差距。

由于通过训练，使置信度

不断逼近真实置信度C，从而在使用训练好的车辆检测模型在进行车辆检测过程中，具有计算置信度的能力。举例来说，当某个区域为真实的车辆区域时，该区域的真实置信度为C＝P＝1。

基于上述车辆检测模型定位到车牌区域后，可继续在定位到的车辆区域进一步检测车牌。

在定位的车辆区域中检测车牌的一种可能的实现方式为：目标检测模型将车辆图像划分为多个大小均匀的网格，每个网格可以称为一个元素点。车牌检测模块可以计算并输出预测的车牌的存在区域(以下简称预测车牌区域)，以及预测车牌区域的中心点处于各个元素点时，各个元素点对应的可能的预测车牌区域以及各个区域存在的预测车牌为真实车牌的置信度，将置信度大于第二预设门限的区域作为最终的预测车牌区域。置信度的计算方式同车辆置信度的计算方式相似，在此不做赘述。

这里，由于目标检测模型用于检测车牌，为便于区分，可将该目标检测模型称为车牌检测模型。

应理解，车辆检测模型和车牌检测模型都是基于目标检测的原理而训练得到的模型。

还应理解，上文列举的第一预设门限和第二预设门限均可以是人为设置的，例如根据先验经验等来设置。二者可以相同，也可以不同。本申请对于第一预设门限、第二预设门限的具体取值及其大小关系不作限定。

还应理解，上文所述的车牌检测的实现方式仅为一种可能的实现方式，例如，车牌检测模块也可直接基于目标图像进行车牌检测，比如，可以直接基于目标图像进行目标检测，定位车牌；又比如，可以根据先验信息，由于车牌通常位于车辆的下半部分，因此可以直接在目标图像的中部以下区域定位车牌。本申请实施例对此不作限定。

一种可能的情况是，该车牌检测模块检测到车牌区域，则可输出该车牌区域在目标图像中的位置信息，该位置信息可用于后续车牌识别模块获取车牌图像，进行车牌识别；或者，该车牌检测模块也可以输出车牌图像；又或者，该车牌检测模块也可以将车牌区域的位置信息和车牌图像一同输出。本申请实施例对此不作限定。

车牌区域在目标图像中的位置信息可用于定位车牌区域，从而可以根据该车牌区域从目标图像中截取出车牌图像。

通常情况下，车牌为矩形，该车牌区域的外轮廓也为矩形框，该车牌区域的位置信息例如可以包括：该车辆区域的中心点以及区域的长和宽，或者，也可以为一个区域的对角位置坐标，等等。为了简洁，这里不一一列举。只要能够根据定位信息从该目标图像中确定车牌区域，都可以作为位置信息，本申请对此不做限定。

另一种可能的情况是，该车牌检测模块未检测到车牌。比如，基于上文所述的路面淋溅泥污、车牌油漆老化变色等问题；加上夜间拍摄时存在的夜晚光线干扰、以及车身图案干扰等原因，车牌检测模块基于已有的目标检测模型未检测到车牌。此情况下，本申请提出了二次检测及分类的方法，以期降低车牌漏检的概率。下面的步骤230至步骤250将对该二次检测及分类的过程做详细说明。

如前所述，该二次检测及分类可通过二次检测单元及分类单元来实现。示例性地，下述的步骤230可由二次检测单元来实现，该二次检测单元例如可以是目标检测模型，步骤240至步骤250可由分类单元来实现，该分类单元例如可以是分类模型。

在步骤230中，在未检测到车牌的情况下，在指定区域进行二次检测，以确定疑似车牌区域。

若目标检测中没有检测到车牌，则可以预先判断车牌可能存在的位置，指定在一个或多个区域(以下简称指定区域)来做二次检测。二次检测模块可以遍历指定区域的所有元素点，确定指定区域内各个元素点存在的预测车牌为真实车牌的置信度，然后选择置信度最大的预测车牌区域为疑似车牌区域。其中对置信度的计算例如可参考上文在步骤2202中所列举的计算方式来获得。

前已述及，车牌检测可通过车牌检测模型来实现，该车牌检测模型(比如CNN、YOLO等)均可对输入的目标图像进行卷积操作。每一次卷积操作可以得到一个卷积层特征图。由于每一次卷积操作基于一个或多个卷积核(或者称卷积算子)进行特征提取，得到的每一个卷积层特征图可以包括一个或多个特征图。经过车牌检测模型对目标图像的至少一次卷积操作，可以得到至少一层卷积层特征图。目标检测模块可基于该至少一层卷积层特征图中的一层或多层卷积层特征图中的部分特征图进行二次检测，也可以基于多层特征图融合得到的特征图中的部分特征图进行二次检测。其中，对部分特征图进行二次检测例如可以将一个或多个特征图的部分区域或全部区域指定为二次检测的区域。其中，多层特征图融合得到的特征图，例如可以为：采用特征金字塔网络融合得到的多个卷积层的特征图，也可以为其他融合方法得到的特征图，本申请对此不作限定。其中，所述部分区域例如可以是某一个或多个特征图中车辆所在的区域，如上述车辆区域。车牌检测模块可以通过上文所述的目标检测来定位车辆区域，然后将所定位的车辆区域在特征图中对应的区域作为指定区域。

这里，被指定为二次检测的区域也即上文所述的指定区域。指定区域例如可以根据预设的规则来确定。例如，可以规定将步骤210中确定的车辆区域作为指定区域，或者，规定将特征图的下半部分区域作为指定区域，或者，还可规定将整个特征图作为指定区域。本申请实施例对此不作限定。

由于特征图的下半部分区域的感受野对应于真实的车辆图像中车窗以下的车前脸的部分，存在车牌的概率是最大的。因此，将此区域作为指定区域来进行二次检测，可以降低计算量，缩短计算耗时。

图3示出了指定区域的一例。图3的左侧所示为该车辆图像经卷积操作得到的一个特征图的示例。该特征图包括均匀划分的多个网格，其中黑色虚线框内部分是二次检测时的指定区域。黑色实线框内部分是二次检测时确定的疑似车牌区域。与该特征图对应，图3的右侧所示为该车辆图像，其中黑色虚线框内部分与二次检测时的指定区域对应。白色实线框内部分是与二次检测确定的疑似车牌区域对应的区域。

基于二次检测，车牌检测模块可以确定疑似车牌区域如图3中的深色阴影所示。

应理解，图3所示仅为一个特征图的示例，但这不应对本申请构成任何限定。该车牌检测模块可以在一个或多个特征图进行二次检测，对每个特征图检测分别得到一个置信度最大的区域，比较这些区域的置信度，选择其中置信度最大的那个区域作为疑似车牌区域，从而确定疑似车牌区域。一种可能的实现方式是，车牌检测模块可以将在经过卷积操作的至少一层特征图中的一层或多层特征图中定位的车辆区域定义为指定区域。由此可以达到较好的预测效果。

在步骤240中，对该疑似车牌区域进行分类，以确定疑似车牌区域是否包含车牌。

在具体实现中，可以将上述经过二次检测得到的疑似车牌区域的位置信息输入至分类单元，由该分类单元对疑似车牌区域进行分类，以确定疑似车牌区域是否为车牌。

仍以图3为例，该分类单元可判断图3中所示的疑似车牌区域是否为车牌。

该分类单元可理解为是一个分类器，可用于对输入的疑似车牌区域进行检测，以确定其中是否包含有车牌。该分类单元的输出例如可以是“是”或“否”，也可以是“包含”或“不包含”等可用于指示该疑似车牌区域是否包含车牌的信息。

在步骤250中，在确定疑似车牌区域包含车牌的情况下，输出车牌区域的位置信息。

确定疑似车牌区域为车牌后，目标检测模型可以将二次检测到的疑似车牌区域的位置信息作为车牌区域的位置信息而输出，或者，目标检测模块也可以将由该疑似车牌区域对应于目标图像中的区域截取出来，得到并输出车牌图像，又或者，目标检测模块也可将车牌区域的位置信息和车牌图像一同输出。本申请实施例对此不作限定。

应理解，关于位置信息的具体描述可参看上文步骤220中的相关描述，为了简洁，此处不再赘述。因此，本申请实施例提供的车牌检测方法，针对车牌漏检问题，对指定区域二次检测得到疑似车牌区域，并对疑似车牌区域进行分类。一方面增加的二次检测及分类单元可以减少车牌的漏检，另一方面，由于二次检测是在指定区域内的监测，可以缩小检测的范围，减小计算量，缩短计算时间。

应理解，有上述车牌检测方法所检测到的车牌可用于车牌识别。本申请实施例另提供了一种车牌识别方法，可以基于车牌检测模块输出的检测结果，获取车牌图像，进而进行车牌识别。当然，也可以采用其他方式来进行车牌识别，比如利用现有的字符识别、多个模型。

图4为本申请提供的一种车牌识别方法的流程示意图。图4所示的车牌识别方法400例如可以由图4中所示的车牌识别模块120来执行。该车牌识别模块可以包括神经网络模型，以用于实现下述的车牌识别。该神经网络模型例如可以包括但不限于，CNN+BLSTM，CNN+LSTM，CNN+GRU，CNN+BGRU等。

下文中以CNN+BLSTM为例来说明方法400的具体流程。其中，CNN可用于执行对车牌图像的卷积操作，以得到特征矩阵。BLSTM可用于执行车牌识别。

如图4所示，该方法400可以包括步骤410至步骤430。下面详细说明图4中的各步骤。

在步骤410中，获取车牌图像。

一种可能的实现方式是：基于方法200中输出的车牌图像的位置信息，从目标图像中获取车牌图像。

另一种可能的实现的方式是：采用其他方式获取的车牌图像，例如：可以从含有车牌图像的数据库中获取，或者通过一些方法截取某些图像的一部分得到，等。为了简洁，这里不一一列举。本申请实施例对车牌图像的获取方式不做限定。

在步骤420中，对车牌图像进行车牌识别。

一种可能的实现方式是，车牌识别模块可将车牌图像输入至预先训练好的神经网络模型中，由该神经网络进行车牌识别。

如前所述，该车牌识别模块可先通过CNN对输入的车牌图像进行卷积操作，然后由BLSTM、LSTM、GRU或BGRU等对卷积操作后的特征图进一步提取特征并进行车牌识别。

当然，车牌识别模块也可通过其他方式来进行车牌识别，例如可通过字符识别等方法。本申请实施例对此不作限定。

示例性地，步骤420可具体包括：

步骤4201，对车牌图像进行尺寸归一化处理；

步骤4202，将尺寸归一化处理后的车牌图像输入至神经网络模型(例如上述的CNN+BLSTM)，该神经网络模型用于对该车牌图像进行车牌识别。

下面详细说明步骤4201和步骤4202。

在步骤4201中，尺寸归一化处理可以是指，按照预定义的尺寸规格，对车牌图像进行归一化处理，使得归一化后的图像满足该尺寸规格。举例而言，架设预定义的尺寸规格是128×64，对车牌图像进行尺寸归一化处理过程如下：对检测到的车牌图像计算长宽比，若长宽比大于2，则以长边为基准边，先把长边尺寸归一化到128，宽边按相同的比例归一化，并在车牌图像的顶端补黑边，使最终的车牌尺寸为长边＝128，宽边＝64；若长宽比小于2，则以宽边为基准边，先把宽边尺寸归一化到64，长边按相同的比例归一化，并在车牌图像的右边补黑边，得到最终的车牌尺寸为长边＝128，宽边＝64。

图5示出了尺寸归一化处理的几例。图5中501和502分别展示了单层车牌和双层车牌，它们的长宽比均大于2，因此先以长边为基准边，将长边归一化到128，宽边按相同的比例归一化，然后对车牌的宽边补黑边，使宽边＝64。图5中的503展示了双层车牌，它的长宽比小于2，因此先以宽边为基准边，将宽边归一化到64，长边按相同的比例归一化，然后对车牌的长边补黑边，使长边＝128。

应理解，上文仅为便于理解和说明，以128×64的尺寸规格为例来描述了尺寸归一化的过程。本申请对于预定义的尺寸规格的具体取值不作限定。

上述对车牌图像的尺寸归一化处理例如可通过预先训练好的车牌识别深度网络来实现。本申请实施例对此不作限定。

为便于理解，这里以CNN+BLSTM为例来说明车牌识别的过程。经由上述步骤4201的尺寸归一化处理得到的车牌图像被输入CNN，经过一层或多层卷积网络的卷积操作，来提取其特征，进而可以得到维度为C×H×N的特征矩阵。其中，C为通道数，H为宽度方向的维数，N为长度方向的维数。

应理解，H表示的宽度方向的维数，可以代表宽度方向所包含的元素数。

若H＝1，则可表示该车牌图像中的车牌为单层车牌，可直接对其进行车牌识别。

若H＞1，则可表示该车牌图像中的车牌为多层车牌。为了使用同一个神经网络模型来进行车牌识别，本申请实施例中提出了对多层车牌进行维度转换的方法。

具体地，可将上文所述的维度为C×H×N的特征矩阵分解为H个维度为C×1×N的H个特征矩阵，再按照预设的顺序将该H个维度为C×1×N的H个特征矩阵进行拼接，得到维度为C×1×(H×N)的特征矩阵。将该维度为C×1×(H×N)的特征矩阵可以被进一步输入到BLSTM中进行车牌识别。

这里，预设的顺序例如可以是：将第一行拼接在第二行左侧，或，将第二行拼接在第一行左侧。本申请实施例对此不作限定。

为便于理解，图6以C＝1，H＝2，N＝8为例来说明上述维度转换的过程。卷积后得到如中601所示的维度为1×2×8的特征矩阵，将原来1×2×8的特征矩阵分解成维度为1×1×8的两个特征矩阵602和603；按预设的顺序对所述两个特征矩阵进行拼接，得到维度为1×1×16的特征矩阵604。应理解，图6所示的拼接后的特征矩阵604是按照将第一行拼接在第二行左侧的顺序来拼接得到的。

应理解，图6所示仅为示例，不应对本申请构成任何限定。例如，该车牌也可能是三层车牌。此情况下，可以依据上文所述相同的方法来进行维度转换，进而识别车牌。

还应理解，通过神经网络来识别车牌的具体实现方式可以参考现有技术，例如可以依据图像识别的相关技术来实现。为了简洁，此处不再赘述。用于车牌识别的神经网络例如可以是上文所列举的BLSTM、LSTM、GRU等，这里不一一列举。

在步骤430中，输出识别结果。

车牌图像经过上述车牌识别后，可以输出车牌的颜色以及具体的车牌号码等结果。

应理解，本申请实施例对于经车牌识别输出的识别结果不作限定。

因此，本申请实施例提供的车牌识别方法，可以基于卷积操作得到的特征矩阵进行单、多层(比如双层)车牌的判断，并在多层的情况下，进行维度转换，将其转换为宽度方向的维度为1的特征矩阵，从而可以实现单个模型识别不同类型的车牌，避免采用多模型造成的模型加载缓慢问题，减少计算机的缓存和/或显存的占用。另一方面，在卷积操作后加入维度转换的操作，使车牌识别过程不仅可以使用卷积网络提取车牌特征，而且后续也可以采用其他网络提取特征，使提取到的车牌特征多样化。

应理解，上文所提供的车牌检测方法和车牌识别方法可以结合使用，也可以单独使用。本申请实施例对此不作限定。

下文将结合图7至图10详细说明本申请实施例提供的车牌检测装置和车牌识别装置。

图7为本申请提供的一种车牌检测装置，该装置可用于实现上述方法中车牌检测的功能。其中，该装置可以为芯片***。本申请实施例中，芯片***可以由芯片构成，也可以包含芯片和其他分立器件。

如图7所示，该装置700可以包括：处理模块710和输入输出模块720。其中，处理模块710可用于对目标图像进行车牌检测，所述目标图像是包含有车辆的图像；处理模块710还可用于在未检测到车牌的情况下，在指定区域中确定疑似车牌区域；处理模块710还可用于确定所述疑似车牌区域是否包含所述车牌；输入输出模块720可用于输出所述车牌的位置信息。

可选地，处理模块710还可用于：采用预先训练好的目标检测模型对所述目标图像进行卷积操作，以得到至少一层特征图；在所述至少一层特征图的特定层特征图的指定区域确定每个元素点对应的区域包含所述车牌的置信度；将所述置信度最大的元素点对应的区域确定为所述疑似车牌区域。

可选地，处理模块710还可用于采用预先训练好的分类模型来对所述疑似车牌区域进行分类，以确定是否包含所述车牌。

可选地，处理模块710还可用于获取包含有车辆的原始图像；处理模块710具体可用于对所述原始图像进行图像处理，得到所述目标图像。

应理解，本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。另外，在本申请各个实施例中的各功能模块可以集成在一个处理器中，也可以是单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

图8是本申请实施例提供的车牌检测装置的另一示意性框图。该装置可用于实现上述方法中车牌检测的功能。其中，该装置可以为芯片***。本申请实施例中，芯片***可以由芯片构成，也可以包含芯片和其他分立器件。

如图8所示，该装置800可以包括至少一个处理器810，用于实现本申请实施例提供的方法200中车牌检测的功能。示例性地，处理器810可用于对目标图像进行车牌检测，所述目标图像是包含有车辆的图像；处理器810可用于在未检测到车牌的情况下，在指定区域中确定疑似车牌区域；处理器810可用于确定所述疑似车牌区域是否包含所述车牌；处理器810可用于在所述疑似车牌区域包含所述车牌的情况下，输出所述车牌的位置信息。

具体参见方法200示例中的详细描述，此处不做赘述。

该装置800还可以包括至少一个存储器820，用于存储程序指令和/或数据。存储器820和处理器810耦合。本申请实施例中的耦合是装置、单元或模块之间的间接耦合或通信连接，可以是电性，机械或其它的形式，用于装置、单元或模块之间的信息交互。处理器810可能和存储器820协同操作。处理器810可能执行存储器820中存储的程序指令。所述至少一个存储器中的至少一个可以包括于处理器中。

该装置800还可以包括通信接口830，用于通过传输介质和其它设备进行通信，从而用于装置800中的装置可以和其它设备进行通信。示例性地，该其他设备可以是第二神经网络。所述通信接口830例如可以是收发器、接口、总线、电路或者能够实现收发功能的装置。处理器810可利用通信接口830输入输出数据，并用于实现图2对应的实施例中所述的车牌检测方法。

本申请实施例中不限定上述处理器810、存储器820以及通信接口830之间的具体连接介质。本申请实施例在图8中以处理器810、存储器820以及通信接口830之间通过总线840连接。总线840在图8中以粗线表示，其它部件之间的连接方式，仅是进行示意性说明，并不引以为限。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图8中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

图9为本申请提供的一种车牌识别装置，该装置可用于实现上述方法中车牌识别的功能。其中，该装置可以为芯片***。本申请实施例中，芯片***可以由芯片构成，也可以包含芯片和其他分立器件。

如图9所示，该装置900可以包括：处理模块910和输入输出模块920。其中，处理模块910可用于获取车牌图像，所述车牌图像是包含有车牌的图像；处理模块910还可用于对所述车牌图像进行卷积操作，得到维度为C×H×N的特征矩阵，其中，C为通道数，H为宽度方向的维数，N为长度方向的维数；处理模块910还可用于在H大于1的情况下，按预设的顺序对所述C×H×N的特征矩阵中的H个特征矩阵进行拼接，得到维度为C×1×(H×N)的特征矩阵；处理模块910还可用于基于所述维度为C×1×(H×N)的特征矩阵进行车牌识别。

可选地，处理模块910还可用于根据预定义的尺寸规格，对所述车牌图像进行归一化处理，以得到满足所述尺寸规格的车牌图像。

可选地，处理模块910还可用于采用预先训练好的第一神经网络对所述车牌图像进行卷积操作，以得到所述维度为C×H×N的特征矩阵；处理模块910具体可用于在H大于1的情况下，按预设的顺序对所述C×H×N的特征矩阵中的H个特征矩阵进行拼接，得到维度为C×1×(H×N)的特征矩阵。

可选地，第一神经网络为：CNN。

可选地，处理模块910还可用于，采用预先训练好的第二神经网络基于所述维度为C×1×(H×N)的特征矩阵进行车牌识别。

可选地，第二神经网络为BLSTM、LSTM、GRU或BGRU。

图10是本申请实施例提供的车牌识别装置的另一示意性框图。该装置可用于实现上述方法中车牌识别的功能。其中，该装置可以为芯片***。本申请实施例中，芯片***可以由芯片构成，也可以包含芯片和其他分立器件。

如图10所示，该装置1000可以包括至少一个处理器1010，用于实现本申请实施例提供的方法400中车牌识别的功能。示例性地，处理器1010可用于获取车牌图像，所述车牌图像是包含有车牌的图像；处理器1010还可用于对所述车牌图像进行卷积操作，得到维度为C×H×N的特征矩阵，其中，C为通道数，H为宽度方向的维数，N为长度方向的维数；处理器1010还可用于在H大于1的情况下，按预设的顺序对所述C×H×N的特征矩阵中的H个特征矩阵进行拼接，得到维度为C×1×(H×N)的特征矩阵；处理器1010还可用于基于所述维度为C×1×(H×N)的特征矩阵进行车牌识别。

具体参见方法400中的详细描述，此处不做赘述。

该装置1000还可以包括至少一个存储器1020，用于存储程序指令和/或数据。存储器1020和处理器1010耦合。本申请实施例中的耦合是装置、单元或模块之间的间接耦合或通信连接，可以是电性，机械或其它的形式，用于装置、单元或模块之间的信息交互。处理器1010可能和存储器1020协同操作。处理器1010可能执行存储器1020中存储的程序指令。所述至少一个存储器中的至少一个可以包括于处理器中。

该装置1000还可以包括通信接口1030，用于通过传输介质和其它设备进行通信，从而用于装置1000中的装置可以和其它设备进行通信。示例性地，该其他设备可以是第二神经网络。所述通信接口1030例如可以是收发器、接口、总线、电路或者能够实现收发功能的装置。处理器1010可利用通信接口1030输入输出数据，并用于实现图4对应的实施例中所述的车牌识别方法。

本申请实施例中不限定上述处理器1010、存储器1020以及通信接口1030之间的具体连接介质。本申请实施例在图10中以处理器1010、存储器1020以及通信接口1030之间通过总线1040连接。总线1040在图10中以粗线表示，其它部件之间的连接方式，仅是进行示意性说明，并不引以为限。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图10中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

本申请还提供一种车牌检测与识别***，所述***包括前述的车牌检测装置和/或车牌识别装置。

本申请还提供一种计算机程序产品，所述计算机程序产品包括：计算机程序(也可以称为代码，或指令)，当所述计算机程序被运行时，使得计算机执行图2或图4所示实施例中任意一个实施例的方法。

本申请还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序(也可以称为代码，或指令)。当所述计算机程序被运行时，使得计算机执行图2或图4所示实施例中任意一个实施例的方法。

应理解，本申请实施例中的处理器可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器、数字信号处理器(digitalsignal processor，DSP)、专用集成电路(application specific integrated circuit，ASIC)、现场可编程门阵列(field programmable gate array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。

还应理解，本申请实施例中的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(read-only memory，ROM)、可编程只读存储器(programmable ROM，PROM)、可擦除可编程只读存储器(erasable PROM，EPROM)、电可擦除可编程只读存储器(electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(random access memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(static RAM，SRAM)、动态随机存取存储器(dynamic RAM，DRAM)、同步动态随机存取存储器(synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(double data rateSDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(directrambus RAM，DR RAM)。应注意，本文描述的***和方法的存储器旨在包括但不限于这些和任意其它适合类型的存储器。

本说明书中使用的术语“单元”、“模块”等，可用于表示计算机相关的实体、硬件、固件、硬件和软件的组合、软件、或执行中的软件。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各种说明性逻辑块(illustrative logical block)和步骤(step)，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。在本申请所提供的几个实施例中，应该理解到，所揭露的装置、设备和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

在上述实施例中，各功能单元的功能可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令(程序)。在计算机上加载和执行所述计算机程序指令(程序)时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘(solid state disk，SSD))等。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种车牌检测方法，其特征在于，包含：

对目标图像进行车牌检测，所述目标图像是包含有车辆的图像；

在未检测到车牌的情况下，在指定区域中确定疑似车牌区域；

确定所述疑似车牌区域是否包含所述车牌；

在所述疑似车牌区域包含所述车牌的情况下，输出所述车牌的位置信息。

2.根据权利要求1所述的方法，在所述指定区域中确定疑似车牌区域，包括：

采用预先训练好的目标检测模型对所述目标图像进行卷积操作，以得到至少一层特征图；

在所述至少一层特征图的特定层特征图指定区域确定每个元素点对应的区域包含所述车牌的置信度；

将所述置信度最大的元素点对应的区域确定为所述疑似车牌区域。

3.根据权利要求1或2所述的方法，其特征在于，所述确定所述疑似车牌区域是否包含所述车牌包括：

采用预先训练好的分类模型来对所述疑似车牌区域进行分类，以确定是否包含所述车牌。

4.一种车牌识别方法，其特征在于，包括：

获取车牌图像，所述车牌图像是包含有车牌的图像；

对所述车牌图像进行卷积操作，得到维度为C×H×N的特征矩阵，其中，C为通道数，H为宽度方向的维数，N为长度方向的维数；C、H和N均为正整数；

在H大于1的情况下，将所述特征矩阵分解成维度为C×1×N的H个特征矩阵，并按预设的顺序对所述C×H×N的特征矩阵中的H个特征矩阵进行拼接，得到维度为C×1×(H×N)的特征矩阵；

基于所述维度为C×1×(H×N)的特征矩阵进行车牌识别。

5.如权利要求4所述的方法，其特征在于，所述方法还包括：

根据预定义的尺寸规格，对所述车牌图像进行归一化处理，以得到满足所述尺寸规格的车牌图像。

6.一种车牌检测装置，其特征在于，包括用于实现如权利要求1至3中任一项所述的方法的单元。

7.一种车牌检测装置，其特征在于，包括处理器，所述处理器用于执行权利要求1至3中任一项所述的方法。

8.一种车牌识别装置，其特征在于，包括用于实现如权利要求4或5所述的方法的单元。

9.一种车牌识别装置，其特征在于，包括处理器，所述处理器用于执行权利要求4或5所述的方法。

10.一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行权利要求1至3任一项所述的方法，或，执行权利要求4或5所述的方法。

Images