CN110956169A - 一种车牌识别方法、装置及电子设备 - Google Patents

Abstract

本申请提供一种车牌识别方法、装置及电子设备，该方法包括：基于YOLO模型获得车牌在目标图像中的坐标信息和粗分类信息，然后利用坐标信息获取目标图像中车牌的车牌区域图像，基于STN模型对车牌区域图像进行矫正，接着利用注意力模型获得矫正后的车牌区域图像中的字符识别结果；进一步地，基于字符识别结果和粗分类信息，确定车牌的细分类信息。在本申请中，通过深度学习的方法对车牌区域图像进行了矫正，减少了车牌的成像质量对车牌识别的影响，从而获得更为准确的粗分类信息和字符识别结果，在此基础上进一步处理得到细分类信息，从而提高了车牌识别的识别率。

Description

一种车牌识别方法、装置及电子设备

技术领域

本申请涉及图像处理技术领域，特别涉及一种车牌识别方法、装置及电子设备。

背景技术

车牌是车辆的“身份证”，可唯一指示车辆。在治安监控、交通管理等领域，车牌识别技术被广泛应用，以获取治安卡口、出入口、停车场等场景中的车辆的车牌信息。国内各地区的大多数车牌是由数字、字母、省份简称和车牌用途构成，可分为若干种车牌类型。

相关技术通常是利用深度学习的方法提取图像的特征后，对图像特征进行识别，从而获取图像中的车牌信息。

然而，尽管车牌类型相对固定，在不同场景下车牌的成像质量千差万别，成像质量会极大影响基于深度学习的方法的识别效果。因此，在实际应用中，车牌识别的效果并不理想。

发明内容

有鉴于此，本申请提供一种车牌识别方法、装置及电子设备，减少了成像质量对识别的影响，并在深度学习的基础上进一步处理，实现更为准确的车牌识别。

具体地，本申请是通过如下技术方案实现的：

一种车牌识别方法，包括：

将目标图像输入至已训练的YOLO模型，以由所述YOLO模型对所述目标图像中的车牌进行检测，并输出所述车牌在所述目标图像中的坐标信息和粗分类信息；

基于所述车牌在所述目标图像中的坐标信息从所述目标图像中获取所述车牌的车牌区域图像，并将所述车牌区域图像输入至预设的STN模型，以由所述STN模型矫正所述车牌区域图像；

将矫正后的车牌区域图像输入至已训练的注意力模型，以由所述注意力模型基于所述车牌区域图像输出所述车牌的字符识别结果；

基于所述字符识别结果和所述粗分类信息确定所述车牌的细分类信息，依据所述细分类信息和所述字符识别结果识别所述车牌。

在所述车牌识别方法中，在依据所述细分类信息和所述字符识别结果识别所述车牌前，所述方法还包括：

基于预设的车牌固有规则校正所述车牌的字符识别结果；

所述依据所述细分类信息和所述字符识别结果识别所述车牌，包括：

依据所述细分类信息和校正后的字符识别结果识别所述车牌。

在所述车牌识别方法中，所述依据所述细分类信息和所述字符识别结果识别所述车牌，包括：

基于所述字符识别结果和所述细分类信息校正所述粗分类信息中车牌的颜色信息；

依据所述细分类信息、所述字符识别结果和校正后的颜色信息识别所述车牌。

在所述车牌识别方法中，所述基于所述字符识别结果和所述粗分类信息确定所述车牌的细分类信息，包括：

计算所述车牌的字符识别结果对应的置信度；

确定所述置信度是否达到预设的置信度阈值；

若是，基于所述车牌的字符识别结果和粗分类信息，确定所述车牌的细分类信息。

在所述车牌识别方法中，所述粗分类信息为按照颜色信息和车牌字符的层数划分出的多种类别信息，所述细分类信息为基于相关法规实际划分出的车牌类别；

所述基于所述车牌的字符识别结果和粗分类信息，确定所述车牌的细分类信息，包括：

基于所述车牌的字符识别结果和粗分类信息，检查预设的细分类信息匹配规则；其中，所述细分类信息匹配规则为一系列用于车牌细分类的固有规则；

将匹配到的细分类信息匹配规则对应的细分类信息确定为所述车牌的细分类信息。

一种车牌识别装置，包括：

定位分类单元，用于将目标图像输入至已训练的YOLO模型，以由所述YOLO模型对所述目标图像中的车牌进行检测，并输出所述车牌在所述目标图像中的坐标信息和粗分类信息；

矫正单元，用于基于所述车牌在所述目标图像中的坐标信息从所述目标图像中获取所述车牌的车牌区域图像，并将所述车牌区域图像输入至预设的STN模型，以由所述STN模型矫正所述车牌区域图像；

第一识别单元，用于将矫正后的车牌区域图像输入至已训练的注意力模型，以由所述注意力模型基于所述车牌区域图像输出所述车牌的字符识别结果；

第二识别单元，用于基于所述字符识别结果和所述粗分类信息确定所述车牌的细分类信息，依据所述细分类信息和所述字符识别结果识别所述车牌。

在所述车牌识别装置中，所述第二识别单元，进一步用于：

基于预设的车牌固有规则校正所述车牌的字符识别结果；

在依据所述细分类信息和所述字符识别结果识别所述车牌时，所述第二识别单元，进一步用于：

依据所述细分类信息和校正后的字符识别结果识别所述车牌。

在所述车牌识别装置中，所述第二识别单元，进一步用于：

基于所述字符识别结果和所述细分类信息校正所述粗分类信息中车牌的颜色信息；

依据所述细分类信息、所述字符识别结果和校正后的颜色信息识别所述车牌。

在所述车牌识别装置中，所述第二识别单元，进一步用于：

计算所述车牌的字符识别结果对应的置信度；

确定所述置信度是否达到预设的置信度阈值；

若是，基于所述车牌的字符识别结果和粗分类信息，确定所述车牌的细分类信息。

在所述车牌识别装置中，所述粗分类信息为按照颜色信息和车牌字符的层数划分出的多种类别信息，所述细分类信息为基于相关法规实际划分出的车牌类别；

所述第二识别单元，进一步用于：

基于所述车牌的字符识别结果和粗分类信息，检查预设的细分类信息匹配规则；其中，所述细分类信息匹配规则为一系列用于车牌细分类的固有规则；

将匹配到的细分类信息匹配规则对应的细分类信息确定为所述车牌的细分类信息。

一种电子设备，所述电子设备包括存储器、处理器及存储在存储器上并可在处理器上运行的机器可执行指令，其中，所述处理器执行所述机器可执行指令时实现如下方法：

将目标图像输入至已训练的YOLO模型，以由所述YOLO模型对所述目标图像中的车牌进行检测，并输出所述车牌在所述目标图像中的坐标信息和粗分类信息；

基于所述车牌在所述目标图像中的坐标信息从所述目标图像中获取所述车牌的车牌区域图像，并将所述车牌区域图像输入至预设的STN模型，以由所述STN模型矫正所述车牌区域图像；

将矫正后的车牌区域图像输入至已训练的注意力模型，以由所述注意力模型基于所述车牌区域图像输出所述车牌的字符识别结果；

基于所述字符识别结果和所述粗分类信息确定所述车牌的细分类信息，依据所述细分类信息和所述字符识别结果识别所述车牌。

在本申请实施例中，多个步骤均采用了深度学习的方法，并利用STN模型对车牌区域图像进行矫正，减少了车牌的成像质量对车牌识别的影响，从而可以获得准确的粗分类信息和字符识别结果，此外，还对粗分类信息和字符识别结果进一步处理而获得细分类信息，避免直接通过深度学习的方法获得细分类信息时因网络模型过拟合导致结果不准确。

附图说明

图1是本申请示出的一种自然场景下的车牌区域图像的示意图；

图2是本申请示出的一种车牌识别方法的流程图；

图3是本申请示出的一种车牌细分类信息的示意图；

图4是本申请示出的一种车牌识别装置的实施例框图；

图5是本申请示出的一种电子设备的硬件结构图。

具体实施方式

为了使本技术领域的人员更好地理解本发明实施例中的技术方案，并使本发明实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图对现有技术方案和本发明实施例中的技术方案作进一步详细的说明。

国内各地区的大多数车牌可被划分为若干种固定类型，但在不同的自然场景下，车牌的成像质量千差万别。参见图1，为本申请示出的一种自然场景下的车牌区域图像的示意图。如图1所示，因拍摄角度、光照、距离等客观因素的影响，车牌区域图像中的车牌的清晰度、大小、可识别性存在许多差异。

在相关技术中，基于深度学习的车牌识别方法，主要包括以下几个部分：车牌定位/车辆定位-车牌定位、车牌区域图像矫正、字符分割、特征提取、字符识别。通常可针对上述若干环节，利用深度学习的方法进行处理，从而获得车牌识别结果。

然而，相关技术通常是利用深度学习的方法提取图像的特征后，对图像特征进行识别，从而获取图像中的车牌信息。而由于车牌在自然场景下的成像质量差异非常大，因此，在对用于车牌识别的网络模型的训练过程中，即使使用了数量庞大的图像样本，也可能造成网络模型过拟合，从而无法获得准确的识别结果。

有鉴于此，在本申请技术方案中，通过基于深度学到的方法识别目标图像过程中对车牌区域图像进行矫正，较少成像效果对识别的影响；此外，基于深度学习的方法获得目标图像中车牌的粗分类信息和字符识别结果后，对上述粗分类信息和字符识别结果做进一步处理，从而提高了车牌识别的准确性。其中，目标图像泛指任一被用于车牌识别的图像。

首先，需搭建本申请技术方案中用于车牌识别的网络模型。

在示出的一种实施方式中，本申请应用的网络模型可包括YOLO(You Only LookOnce)模型、STN(Spatial Transformer Networks，空间变换网络)模型和AM(AttentionModel，注意力模型)模型。

其中，YOLO模型用于检测出目标图像中的车牌，确定该车牌在图像中的坐标信息和粗分类信息。上述粗分类信息为按照颜色信息(包括蓝色、黄色、白色、绿色和黑色)和车牌字符的层数(包括单层和双层)划分出的多种类别信息。在本申请中，粗分类信息可以包括蓝色单层、黄色单层、黄色双层、白色单层、白色双层、绿色单层、绿色双层、黑色单层和其它等九个车牌类别。

在本申请中，可以搭建基于神经网络的YOLO模型，然后获取样本图像。其中，上述样本图像标记有图像中车牌的粗分类信息和坐标信息，该坐标信息包括车牌的边界框(bounding box)的中心坐标和边界框的宽和高。利用上述YOLO模型输出上述样本图像中车牌的粗分类信息和坐标信息，然后根据YOLO模型输出的粗分类信息和已标记的粗分类信息之间的差异，以及，上述YOLO模型输出的坐标信息和已标记的坐标信息之间的差异，对上述神经网络的网络参数进行训练。通过一定数量的样本图像对上述神经网络进行训练，从而获得可以实现车牌定位和粗分类的YOLO模型。

STN模型用于对从目标图像中抠出的车牌区域图像进行矫正，将车牌区域图像在空间上对齐，从而减少车牌轮廓由于在空间上旋转、平移、扭曲等几何变换对车牌识别的影响，可解决目标图像中车牌倾斜或拍摄角度过大等问题。

在本申请中，可以搭建基于神经网络的STN模型，然后获取样本图像。其中，上述样本图像标记有图像中车牌用于仿射变换六个角度值。利用STN模型的定位网络(Localisation Network)对样本图像计算得到的六个角度值与标记的六个角度值之间的差异，对上述神经网络的网络参数进行训练。通过一定数量的样本图像对上述神经网络进行训练，从而获得可以实现车牌区域图像矫正的STN模型。

AM模型用于对车牌区域图像进行编解码处理，从而获得车牌区域图像中车牌的字符识别结果。

在本申请中，可以搭建基于神经网络的AM模型，然后获取样本图像，上述样本图像为标记了图像中字符信息的车牌区域图像，由于实际车牌的字符数并不固定，样本图像标记的字符信息可以包括7到10个字符。利用AM模型输出的上述样本图像中的字符识别结果，根据上述字符识别结果和已标记的字符信息之间的差异，对上述神经网络的网络参数进行训练，通过一定数量的样本图像对上述AM模型进行训练，从而获得可以识别车牌区域图像中的字符的AM模型。

在搭建并训练得到上述网络模型后，可基于上述网络模型进行车牌识别。

参见图2，为本申请示出的一种车牌识别方法的流程图，如图2所示，该方法包括以下步骤：

步骤201：将目标图像输入至已训练的YOLO模型，以由所述YOLO模型对所述目标图像中的车牌进行检测，并输出所述车牌在所述目标图像中的坐标信息和粗分类信息。

其中，上述车牌识别方法可以应用于涉及车牌识别的电子设备，比如，交通卡口的监控设备，或者，交通监控***的后台服务器。

在示出的一种实施方式中，首先，可以将上述目标图像输入至已训练的YOLO模型，以由上述YOLO模型将上述目标图像划分为多个网格后对每个网格进行预测，从而获得上述车牌在上述目标图像中的坐标信息和粗分类信息。

上述YOLO模型会对每个网格预测B个边界框和每一边界框的置信度，因此，每一边界框包括5个元素(x，y，w，h，c)，其中，(x，y)表示边界框在目标图像中的坐标，w和h表示表示边界框的宽与高，c表示该边界框的置信度。上述边界框就是车牌的坐标信息。

此外，还要对B个边界框给出对应于每一种粗分类信息的概率值，在本申请中，对每一边界框均有9个概率值，分别对应一种粗分类信息。

可以在任一边界框的置信度达到预设的置信度阈值，且对应于一种粗分类信息的概率值达到预设的概率值阈值时，确定该边界框内存在车牌，并确定该粗分类信息为车牌的粗分类信息。其中，上述粗分类信息为按照颜色信息(包括蓝色、黄色、白色、绿色和黑色)和车牌字符的层数(包括单层和双层)划分出的多种类别信息。

步骤202：基于所述车牌在所述目标图像中的坐标信息从所述目标图像中获取所述车牌的车牌区域图像，并将所述车牌区域图像输入至预设的STN模型，以由所述STN模型矫正所述车牌区域图像。

为减少车牌的成像质量对车牌识别产生的影响，可将上述车牌区域图像输入至上述STN模型，以由该STN模型对上述车牌区域图像进行矫正。

作为一种实施例，为避免YOLO模型的检测误差，保证抠出完整的车牌区域图像，可以基于上述车牌所在边界框，向边界框的四边外扩指定距离后，确定需抠出的车牌区域图像。

比如：若车牌的所在的边界框为(x，y，w，h)，则车牌区域图像的位置可为(x，y，1.4×w，1.4×h)，表示在边界框的基础上向四边外扩五分之一。

上述STN模型包括定位网络、网格生成器(Grid Generator)和采样器(Sampler)。

定位网络可将上述车牌区域图像进行一系列卷积计算和全连接处理后获得用于仿射变换的六个角度值，并将六个角度值形成一个2×3的矩阵。

网格生成器利用上述矩阵，对矫正后的车牌区域图像中的坐标位置进行计算，获得矫正后的车牌区域图像中每一坐标位置对应的矫正前的车牌区域图像中的坐标位置。

比如：矫正后的车牌区域图像中的(0,1)、(0,2)……分别对应于矫正前的车牌区域图像中的(6,2)、(6,3)……

进一步地，采样器可以利用上述对应关系，从矫正前的车牌区域图像中获取各个坐标位置的像素点的值，然后填入到矫正后的车牌区域图像的相应位置中。

比如：若矫正后的车牌区域图像中的(0,1)与矫正前的车牌区域图像中的(6,2)对应，则采样器可以获取矫正前的车牌区域图像的(6,2)位置的像素点的值，然后填入到矫正后的车牌区域图像的(0,1)位置。

通过上述处理，该STN模型矫正了上述车牌区域图像。

参见图1所示，第1排第2列的车牌区域图像经矫正后，成像效果与第2排第3列的车牌区域图像相似。通过矫正，可解决车牌区域图像中车牌倾斜或拍摄角度过大的问题，使得后续的AM模型可获得更好的字符识别效果。

步骤203：将矫正后的车牌区域图像输入至已训练的注意力模型，以由所述注意力模型基于所述车牌区域图像输出所述车牌的字符识别结果。

在实际应用中，在将矫正后的车牌区域图像输入至上述注意力模型之前，首先可以通过卷积计算将上述车牌区域图像压缩为图像特征序列，然后将该图像特征序列输入至上述注意力模型。上述注意力模型可以对该图像特征序列进行编码和解码处理，获得目标信息后分类得到上述车牌的字符识别结果。具体地编解码处理过程可参照现有相关技术，在此不再赘述。

步骤204：基于所述字符识别结果和所述粗分类信息确定所述车牌的细分类信息，依据所述细分类信息和所述字符识别结果识别所述车牌。

其中，上述细分类信息为基于相关法规实际划分出的车牌类别。参见图3，为本申请示出的一种车牌细分类信息的示意图，具体地，细分类信息可以包括蓝色民用车牌、黄色民用车牌、黑色民用车牌、黄色民用尾牌、02式车牌、警用车牌、单行军用车牌、双行军用车牌、单行武警车牌、双行武警车牌、武警总部车牌、港澳车牌、教练车牌、使馆车牌、民航车牌、农用1225车牌、农用1325车牌、摩托车前牌、摩托车尾牌和新能源号牌等共计20种。

在基于深度学习的方法获得目标图像中车牌的字符识别结果和粗分类信息后，可以基于字符识别结果结合粗分类信息确定出上述车牌的细分类信息。或者，直接基于字符识别结果确定出上述车牌的细分类信息。

在实际应用中，网络模型可能会将自然场景中其它东西识别为车牌，并输出对应的粗分类信息和字符识别结果。

作为一种实施例，为减少车牌识别的工作量，在确定上述车牌的细分类信息前，可以根据字符识别结果对应的置信度过滤一部分无效车牌。

上述注意力模型输出的字符识别结果为多组字符和每组字符中各字符对应的置信度。其中，任一一组字符表示车牌中的一个字符可能的识别结果。

比如：若任一车牌包括7个字符，则上述注意力模型会输出7组字符，每组字符的各字符有对应的置信度。假使第一组字符中的第一个字符的置信度为0.3，表示该字符实际为该车牌的第一个字符的概率为0.3。

首先，可以计算上述车牌的字符识别结果对应的置信度。作为一种实施例，可以累加每组字符中的最大置信度，然后求平均值。

接着，可以确定该置信度是否达到预设的置信度阈值。其中，该置信度阈值可基于实际应用效果进行配置，比如，可以是0.65。

一方面，若该置信度未达到该置信度阈值，则可以认为该车牌是识别错误的结果，停止识别该车牌。

另一方面，若该置信度达到该置信度阈值，则可以认为目标图像中确实存在该车牌，可以将该车牌做进一步识别。在本申请中，即确定出该车牌的细分类信息。

在示出的一种实施方式中，可以基于上述车牌的字符识别结果和上述粗分类信息，检查预设的细分类信息匹配规则，将匹配到的细分类信息匹配规则对应的细分类信息确定为上述车牌的细分类信息。

其中，上述细分类信息匹配规则为一系列用于车牌细分类的固有规则。

比如：若粗分类信息为“白色单层”，且字符识别结果的最后一位字符为“警”，则对应的细分类信息为“警用车牌”。

若字符识别结果的第二位字符到第六位字符都是数字，则对应的细分类信息为“使馆车牌”。

若字符识别结果的第一位字符为“民”，且第三位字符到第六位字符都是数字或字母，则对应的细分类信息为“民航车牌”。

若字符识别结果有八位，且粗分类信息为“绿色单层”，则对应的细分类信息为“新能源号牌”。

当然，还有其它的细分类信息匹配规则，在此不一一说明。

在获得上述车牌的细分类信息后，即可依据上述细分类信息和上述字符识别结果识别上述车牌。

另外，为获得更准确的识别结果，作为一种实施例，还可以基于预设的车牌固有规则，对上述车牌的字符识别结果进行校正。

其中，上述车牌固有规则为一系列用于校正字符识别结果的固有规则。

比如：若字符识别结果中，存在字符“冀”，则字符识别结果的第一位字母不可能是“I”。如果字符识别结果的第一位字母为“I”，可校正为“J”。

若字符识别结果中，存在字符“冀”，则字符识别结果的第一位字母不可能是“K”。如果字符识别结果的第一位字母为“K”，可校正为“R”。

若字符识别结果中，存在字符“冀”，则字符识别结果的第一位字母不可能是“M”或“N”。如果字符识别结果的第一位字母为“M”或“N”，可校正为“H”。

若字符识别结果中，存在字符“晋”，则字符识别结果的第一位字母不可能是“I”。如果字符识别结果的第一位字母为“I”，可校正为“J”。

若字符识别结果中，存在字符“晋”，则字符识别结果的第一位字母不可能是“N”。如果字符识别结果的第一位字母为“N”，可校正为“H”。

若字符识别结果中，存在字符“蒙”，则字符识别结果的第一位字母不可能是“Q”。如果字符识别结果的第一位字母为“Q”，可校正为D。

当然，还有其它的车牌固有规则，在此不一一说明。

在获得上述车牌的细分类信息和校正后的字符识别结果后，即可识别对上述车牌。

在示出的一种实施方式中，为使识别结果更为丰富，可以基于上述车牌的字符识别结果和细分类信息校正上述车牌的颜色信息。

参见图3，可按照图3中细分类信息与颜色信息的对应关系对颜色信息进行校正。

比如：若细分类信息为“蓝色民用车牌”，则颜色信息为“蓝色”。

若细分类信息为“黄色民用车牌”，则颜色信息为“黄色”。

若细分类信息为“警用车牌”，则颜色信息为“白色”。

若细分类信息为“港澳车牌”，则颜色信息为“黑色”。

若细分类信息为“民航车牌”，则颜色信息为“绿色”。

获得校正的颜色信息后，基于上述细分类信息、校正后的字符识别结果和校正后的颜色信息识别上述车牌。

最后，可以输出上述车牌的车牌识别结果。上述车牌识别结果包括字符识别结果和细分类信息。可选地，上述车牌识别结果还可以包括颜色信息。

综上所述，在本申请技术方案中，通过已训练的YOLO模型从目标图像中确定出车牌的坐标信息和粗分类信息，然后基于上述坐标信息将上述目标图像中获取上述车牌的车牌区域图像，并利用STN模型对上述车牌区域图像进行矫正，以便于后续可以从矫正后的车牌区域图像识别字符，减少了成像质量对车牌识别的影响；

进一步地，将上述车牌区域图像输入至已训练的注意力模型，使得注意力模型对车牌区域图像进行编码和解码后输出字符识别结果；通过深度学习的方法获得目标图像中车牌的粗分类信息和字符识别结果后，可以基于上述粗分类信息和字符识别结果确定出车牌的细分类信息，此外，还可以基于车牌固有规则对上述字符识别结果进行校正，从而获得更准确的字符识别结果；

本申请的多个步骤均采用了深度学习的方法，从而可以获得准确的粗分类信息和字符识别结果，此外，还对粗分类信息和字符识别结果进一步处理而获得细分类信息，避免直接通过深度学习的方法获得细分类信息时因网络模型过拟合导致结果不准确，而对字符识别结果的校正也可以进一步提高车牌识别的识别率；

此外，本申请可输出包括颜色信息的车牌识别结果，车牌识别结果更为丰富，可适用于后续更灵活的处理。

与前述车牌识别方法的实施例相对应，本申请还提供了车牌识别装置的实施例。

参见图4，为本申请示出的一种车牌识别装置的实施例框图：

如图4所示，该车牌识别装置40包括：

定位分类单元410，用于将目标图像输入至已训练的YOLO模型，以由所述YOLO模型对所述目标图像中的车牌进行检测，并输出车牌在所述目标图像中的坐标信息和粗分类信息。

矫正单元420，用于基于所述车牌在所述目标图像中的坐标信息从所述目标图像中获取所述车牌的车牌区域图像，并将所述车牌区域图像输入至预设的STN模型，以由所述STN模型矫正所述车牌区域图像。

第一识别单元430，用于将矫正后的车牌区域图像输入至已训练的注意力模型，以由所述注意力模型基于所述车牌区域图像输出所述车牌的字符识别结果。

第二识别单元440，用于基于所述字符识别结果和所述粗分类信息确定所述车牌的细分类信息，依据所述细分类信息和所述字符识别结果识别所述车牌。

在本例中，所述第二识别单元440，进一步用于：

基于预设的车牌固有规则校正所述车牌的字符识别结果；

在依据所述细分类信息和所述字符识别结果识别所述车牌时，所述第二识别单元440，进一步用于：

依据所述细分类信息和校正后的字符识别结果识别所述车牌。

在本例中，所述第二识别单元440，进一步用于：

基于所述字符识别结果和所述细分类信息校正所述粗分类信息中车牌的颜色信息；

依据所述细分类信息、所述字符识别结果和校正后的颜色信息识别所述车牌。

在本例中，所述第二识别单元440，进一步用于：

计算所述车牌的字符识别结果对应的置信度；

确定所述置信度是否达到预设的置信度阈值；

若是，基于所述车牌的字符识别结果和粗分类信息，确定所述车牌的细分类信息。

在本例中，所述粗分类信息为按照颜色信息和车牌字符的层数划分出的多种类别信息，所述细分类信息为基于相关法规实际划分出的车牌类别；

所述第二识别单元440，进一步用于：

基于所述车牌的字符识别结果和粗分类信息，检查预设的细分类信息匹配规则；其中，所述细分类信息匹配规则为一系列用于车牌细分类的固有规则；

将匹配到的细分类信息匹配规则对应的细分类信息确定为所述车牌的细分类信息。

本申请车牌识别装置的实施例可以应用在电子设备上。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在电子设备的处理器将机器可读存储介质中对应的机器可执行指令读取到内存中运行形成的。

从硬件层面而言，如图5所示，为本申请车牌识别装置所在电子设备的一种硬件结构图，该电子设备可包括处理器501、存储有机器可执行指令的的机器可读存储介质502。处理器501与机器可读存储介质502可经由***总线503通信。处理器501通过加载并执行机器可读存储介质502存储的机器可执行指令，能够实现上述车牌识别。

本文中提到的机器可读存储介质502可以是任何电子、磁性、光学或其它物理存储装置，可以包含或存储信息，如可执行指令、数据，等等。例如，机器可读存储介质可以是：RAM(Radom Access Memory，随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、dvd等)，或者类似的存储介质，或者它们的组合。

上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (11)

1.一种车牌识别方法，其特征在于，包括：

将目标图像输入至已训练的YOLO模型，以由所述YOLO模型对所述目标图像中的车牌进行检测，并输出所述车牌在所述目标图像中的坐标信息和粗分类信息；

基于所述车牌在所述目标图像中的坐标信息从所述目标图像中获取所述车牌的车牌区域图像，并将所述车牌区域图像输入至预设的STN模型，以由所述STN模型矫正所述车牌区域图像；

将矫正后的车牌区域图像输入至已训练的注意力模型，以由所述注意力模型基于所述车牌区域图像输出所述车牌的字符识别结果；

基于所述字符识别结果和所述粗分类信息确定所述车牌的细分类信息，依据所述细分类信息和所述字符识别结果识别所述车牌。

2.根据权利要求1所述的方法，其特征在于，在依据所述细分类信息和所述字符识别结果识别所述车牌前，所述方法还包括：

基于预设的车牌固有规则校正所述车牌的字符识别结果；

所述依据所述细分类信息和所述字符识别结果识别所述车牌，包括：

依据所述细分类信息和校正后的字符识别结果识别所述车牌。

3.根据权利要求1所述的方法，其特征在于，所述依据所述细分类信息和所述字符识别结果识别所述车牌，包括：

基于所述字符识别结果和所述细分类信息校正所述粗分类信息中车牌的颜色信息；

依据所述细分类信息、所述字符识别结果和校正后的颜色信息识别所述车牌。

4.根据权利要求1所述的方法，其特征在于，所述基于所述字符识别结果和所述粗分类信息确定所述车牌的细分类信息，包括：

计算所述车牌的字符识别结果对应的置信度；

确定所述置信度是否达到预设的置信度阈值；

若是，基于所述车牌的字符识别结果和粗分类信息，确定所述车牌的细分类信息。

5.根据权利要求1或4所述的方法，其特征在于，所述粗分类信息为按照颜色信息和车牌字符的层数划分出的多种类别信息，所述细分类信息为基于相关法规实际划分出的车牌类别；

所述基于所述车牌的字符识别结果和粗分类信息，确定所述车牌的细分类信息，包括：

基于所述车牌的字符识别结果和粗分类信息，检查预设的细分类信息匹配规则；其中，所述细分类信息匹配规则为一系列用于车牌细分类的固有规则；

将匹配到的细分类信息匹配规则对应的细分类信息确定为所述车牌的细分类信息。

6.一种车牌识别装置，其特征在于，包括：

定位分类单元，用于将目标图像输入至已训练的YOLO模型，以由所述YOLO模型对所述目标图像中的车牌进行检测，并输出所述车牌在所述目标图像中的坐标信息和粗分类信息；

矫正单元，用于基于所述车牌在所述目标图像中的坐标信息从所述目标图像中获取所述车牌的车牌区域图像，并将所述车牌区域图像输入至预设的STN模型，以由所述STN模型矫正所述车牌区域图像；

第一识别单元，用于将矫正后的车牌区域图像输入至已训练的注意力模型，以由所述注意力模型基于所述车牌区域图像输出所述车牌的字符识别结果；

第二识别单元，用于基于所述字符识别结果和所述粗分类信息确定所述车牌的细分类信息，依据所述细分类信息和所述字符识别结果识别所述车牌。

7.根据权利要求6所述的装置，其特征在于，所述第二识别单元，进一步用于：

基于预设的车牌固有规则校正所述车牌的字符识别结果；

在依据所述细分类信息和所述字符识别结果识别所述车牌时，所述第二识别单元，进一步用于：

依据所述细分类信息和校正后的字符识别结果识别所述车牌。

8.根据权利要求6所述的装置，其特征在于，所述第二识别单元，进一步用于：

基于所述字符识别结果和所述细分类信息校正所述粗分类信息中车牌的颜色信息；

依据所述细分类信息、所述字符识别结果和校正后的颜色信息识别所述车牌。

9.根据权利要求6所述的装置，其特征在于，所述第二识别单元，进一步用于：

计算所述车牌的字符识别结果对应的置信度；

确定所述置信度是否达到预设的置信度阈值；

若是，基于所述车牌的字符识别结果和粗分类信息，确定所述车牌的细分类信息。

10.根据权利要求6或9所述的装置，其特征在于，所述粗分类信息为按照颜色信息和车牌字符的层数划分出的多种类别信息，所述细分类信息为基于相关法规实际划分出的车牌类别；

所述第二识别单元，进一步用于：

基于所述车牌的字符识别结果和粗分类信息，检查预设的细分类信息匹配规则；其中，所述细分类信息匹配规则为一系列用于车牌细分类的固有规则；

将匹配到的细分类信息匹配规则对应的细分类信息确定为所述车牌的细分类信息。

11.一种电子设备，其特征在于，所述电子设备包括存储器、处理器及存储在存储器上并可在处理器上运行的机器可执行指令，其中，所述处理器执行所述机器可执行指令时实现如下方法：

将目标图像输入至已训练的YOLO模型，以由所述YOLO模型对所述目标图像中的车牌进行检测，并输出所述车牌在所述目标图像中的坐标信息和粗分类信息；

基于所述车牌在所述目标图像中的坐标信息从所述目标图像中获取所述车牌的车牌区域图像，并将所述车牌区域图像输入至预设的STN模型，以由所述STN模型矫正所述车牌区域图像；

将矫正后的车牌区域图像输入至已训练的注意力模型，以由所述注意力模型基于所述车牌区域图像输出所述车牌的字符识别结果；

基于所述字符识别结果和所述粗分类信息确定所述车牌的细分类信息，依据所述细分类信息和所述字符识别结果识别所述车牌。

Images