CN112132130B - 一种面向全场景的实时性车牌检测方法及*** - Google Patents

Abstract

本发明涉及一种面向全场景的实时性车牌检测方法及***，包括步骤：生成用于网络训练和测试的训练集和测试集；修改YOLOv3‑tiny网络结构，生成MD‑YOLO模型；采用训练集训练构建的MD‑YOLO模型，并基于mAP选取最优的权重文件；将待检测车牌作为训练好的MD‑YOLO模型的输入，输出带车牌检测框的结果返回。本发明能够完成任意场景下的直接车牌区域提取。

Description

一种面向全场景的实时性车牌检测方法及***

技术领域

本发明涉及智能交通图像检测技术领域，特别是一种面向全场景的实时性车牌检测方法及***。

背景技术

机动车的车牌识别技术，在现今的自动化交通控制***中是非常重要的一个环节。可以帮助各类管理***快速完成车辆的识别，确定车辆信息。而车牌检测是实现车牌号码识别的必要步骤，实现高效的车牌检测是整个车牌识别***不可或缺的重要步骤。

在过去，车牌检测的方法以传统数字图像处理技术为核心。此类方法只能处理特定环境中的车牌检测，鲁棒性差。在近几年，以卷积神经网络为代表的深度学习方法的发展，使得对车牌检测在精度和速度上都有所提升，并且鲁棒性得到很大的增强。但是以Fast-RCNN为代表的两阶段检测方法，计算成本高，模型大小大，无法直接部署于终端设备中。此外以YOLO为代表的单阶段检测方法，也存在原始模型和计算量偏大的问题，因此需要开发更轻量化的目标检测模型来实现车牌检测，用于终端部署和车牌的实时检测。

此外，在过去的技术实现中，一般处理的图像中大多只有一张车牌且车牌面积占图片比例较大。然而，在更多的真实场景中，一张图片中存在多种车牌是非常常见的。以往的解决方法是，首先检测出车辆位置，再对每辆车完成车牌检测。这明显使得处理时间大幅增加。因此需要开发一个直接面向任意场景下的直接检测车牌的方法，使得整个提取车牌的时间大幅缩短。

发明内容

有鉴于此，本发明的目的是提出一种面向全场景的实时性车牌检测方法及***，能够完成任意场景下的直接车牌区域提取。

本发明采用以下方案实现：一种面向全场景的实时性车牌检测方法，具体包括以下步骤：

生成用于网络训练和测试的训练集和测试集；

修改YOLOv3-tiny网络结构，生成MD-YOLO模型；

采用训练集训练构建的MD-YOLO模型，并基于mAP选取最优的权重文件；

将待检测车牌作为训练好的MD-YOLO模型的输入，输出带车牌检测框的结果返回。

进一步地，所述生成用于网络训练和测试的训练集和测试集具体为：

收集车牌检测数据集；

使用LableImg对没有标签的图片，手工标注车牌区域，标签包括：一个包含车牌的矩形框，左上角坐标(lx，ly)，右下角坐标(rx，ry)和标签名称plate；

对所有已经标注标签的数据进行划分，划分为训练集和测试集。

进一步地，对所述训练数据集使用K-means聚类方法生成锚框，替换原模型的锚框，使得车牌检测精度更高。

进一步地，所述对所述训练数据集使用K-means聚类方法生成锚框，替换原模型的锚框具体为：

定义输入图片的宽和高分别为W和H；在图片中，车牌的坐标为(lx_i，ly_i，rx_i，ry_i)，i∈{1，2，…，n}，其中lx_i，ly_i表示第i个车牌的左上角坐标，rx_i，ry_i表示第i个车牌的右下角坐标；

进行车牌宽度和高度的标准化，使用如下计算公式：

式中，w_i代表标准化后的宽度；代表h_i代表标准化后的高度；

计算车牌标注框与车牌锚框的距离D，D＝1-IoU，其中IoU定义为车牌标注框(w_i，h_i)与车牌锚(w_j，h_j)的交并比，其中i表示第i个车牌，j表示第j个锚框；

初始化k个聚类中心，车牌锚框的高和宽为(w_j，h_j)，j∈{1，2，3…k}；

计算每个车牌框与车牌锚框的距离D；对每个车牌框，选择D最小的车牌锚框进行分配；

计算每个聚类簇的均值作为下次迭代计算的聚类中心，重复上述步骤直至聚类中心位置趋于稳定。

进一步地，所述修改YOLOv3-tiny网络结构，生成MD-YOLO模型具体为：

所述MD-YOLO模型各层依次为：Conv1，MaxPool，Conv2，MaxPool，Conv3，MaxPool，Conv4，MaxPool，Conv5，MaxPool，Conv6，MaxPool，Conv7，Conv8，Conv9，Conv10，route，Conv11，UpSample，route，Conv12，，Conv13；其中，Conv1至Conv13表示卷积层，MaxPool为最大池化层，route表示实现底层卷积层与当前层的合并输出；

将输入MD-YOLO模型的图片大小修改为416×416，Conv10与Conv13为两个输出层，尺度分别为13×13×C，26×26×C，其中C＝(classes+5)×3，classes＝1；

调整MD-YOLO的卷积数量和卷积和大小。

进一步地，所述调整MD-YOLO的卷积数量和卷积和大小具体为：Conv1的卷积数量为3，Conv2的卷积数量为3，Conv7的卷积数量为512。Conv9的卷积核大小为1×1，Conv12的卷积核大小为1×1。

进一步地，所述采用训练集训练构建的MD-YOLO模型，并基于mAP选取最优的权重文件具体为：

设定训练的配置文件，每千轮进行一个权重文件保存，进行一次mAP计算，并更新当前最佳mAP值的权重文件；

总共进行35万轮训练；训练结束后，选取最佳mAP值的权重文件作为最后的结果文件。

进一步地，所述将待检测车牌作为训练好的MD-YOLO模型的输入，输出带车牌检测框的结果返回具体为：

将待检测的图像输入训练好的MD-YOLO模型，获取预测的车牌预测框，并得到所有车牌预测框的置信度P；

对所有车牌预测框进行车牌的非极大值抑制，以去除重复选框；

对得到的所有车牌预测框的置信度进行筛选，选择置信度大于预设值的预测框最后预测的最终结果。

进一步地，所述对所有预测框进行车牌的非极大值抑制，以去除重复选框具体为：

计算所有车牌预测框的宽高比；定义，

λ是车牌预测框的宽高比，h_pred，w_pred分别表示预测框的高度和宽度；

采用车牌概率值P_λ对车牌预测框内是否为车牌进行预估，计算公式如下：

对每个车牌预测框的置信度P进行更新P＝P+P_λ；

根据车牌预测框的置信度进行排序，生成边界框列表，选择置信度最高的车牌预测框加入输出列表，并将其从边界框列表中删除；计算置信度最高的车牌预测框与边界框列表中其他预测框的IoU，并删除IoU大于预设阈值的预测框；然后重新对车牌预测框的置信度进行排序，重复本步骤，直至边界框框列表为空，此时输出列表中的车牌预测框为最终得到的车牌预测框。

本发明还提供了一种面向全场景的实时性车牌检测***，包括存储器、处理器以及存储于存储器上并能够被处理器运行的计算机程序指令，当处理器运行该计算机程序指令时，实现如上文所述的方法步骤。

与现有技术相比，本发明有以下有益效果：

1、本发明提供了一种面向全场景的实时性车牌检测方法，使用基于单阶段目标检测网络YOLO进行针对性改进，使得检测精度与速度进一步提高，同时降低网络模型大小，适用于终端部署。

2、本发明使用了多尺度预测方法，明显提高了对小目标物体的检测能力。通过修改卷积核，提高网络非线性度，提高了网络处理复杂环境的能力，使得网络具有全场景检测能力。

3、本发明直接面向车牌进行检测，避免了检测车辆的时间花费，进一步缩小了检测车牌的时间，同时避免了处理在复杂场景下的车牌被遮挡的车辆检测。

通过上述的提升，使得本申请的网络具有终端部署、实时高效检测的能力，并且是一个适用于任意场景的方法，达到一次训练，多场景适用的特点。

附图说明

图1为本发明实施例的方法流程示意图。

图2为本发明实施例的预测效果示意图。

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

如图1所示，本实施例提供了一种面向全场景的实时性车牌检测方法，具体包括以下步骤：

S1：生成用于网络训练和测试的训练集和测试集；包括自行建立的多车牌场景数据集和开源的公共单车牌图像数据集；

S2：修改YOLOv3-tiny网络结构，生成MD-YOLO模型；基于车牌识别任务的特点，修改卷积层的卷积数量，平衡网络的精度与速度，同时压缩网络模型大小。修改检测层的卷积核，提高网络的非线性度，提高网络面对复杂环境条件下的检测能力；

S3：采用训练集训练构建的MD-YOLO模型，并基于mAP(mean Average Precision)选取最优的权重文件；

S4：将待检测包含车牌的图像作为训练好的MD-YOLO模型的输入，输出带车牌检测框的结果返回。

在本实施例中，步骤S1中，所述生成用于网络训练和测试的训练集和测试集具体为：

收集车牌检测数据集；包括使用行车记录仪拍摄的视频提取的图片，以及公开的大型中文车牌数据集；

使用LableImg对没有标签的图片，手工标注车牌区域，对图片内的多张人眼可识别的车牌均进行标注，标签包括：一个包含车牌的矩形框，左上角坐标(lx，ly)，右下角坐标(rx，ry)和标签名称plate；

对所有已经标注标签的数据进行划分，以7∶3的比例划分为训练集和测试集。

其中，对所述训练数据集使用K-means聚类方法生成锚框，替换原模型的锚框，使得车牌检测精度更高。具体为：

定义输入图片的宽和高分别为W和H；在图片中，车牌的坐标为(lx_i，ly_i，rx_i，ry_i)，i∈{1，2，…，n}，其中lx_i，ly_i表示第i个车牌的左上角坐标，rx_i，ry_i表示第i个车牌的右下角坐标；

进行车牌宽度和高度的标准化，使用如下计算公式：

式中，w_i代表标准化后的宽度；代表h_i代表标准化后的高度；

计算车牌标注框与车牌锚框的距离D，D＝1-IoU，其中IoU定义为车牌标注框(w_i，h_i)与车牌锚(w_j，h_j)的交并比，其中i表示第i个车牌，j表示第j个锚框，计算公式如下：

初始化k个聚类中心，车牌锚框的高和宽为(w_j，h_j)，j∈{1，2，3…k}；

计算每个车牌框与车牌锚框的距离D；对每个车牌框，选择D最小的车牌锚框进行分配；

计算每个聚类簇的均值作为下次迭代计算的聚类中心，重复上述步骤直至聚类中心位置趋于稳定。

在本实施例中，步骤S2中，所述修改YOLOv3-tiny网络结构，生成MD-YOLO模型具体为：

所述MD-YOLO模型各层依次为：Conv1，MaxPool，Conv2，MaxPool，Conv3，MaxPool，Conv4，MaxPool，Conv5，MaxPool，Conv6，MaxPool，Conv7，Conv8，Conv9，Conv10，route，Conv11，UpSample，route，Conv12，，Conv13；其中，Conv1至Conv13表示卷积层，卷积核大小为1或3，MaxPool为最大池化层，核大小为2，步长(stride)为2或1，route表示实现底层卷积层与当前层的合并输出；

将输入MD-YOLO模型的图片大小修改为416×416，Conv10与Conv13两个输出层的尺度分别为13×13×C，26×26×C，其中C＝(classes+5)×3，classes＝1；两个不同尺度的预测输出，有利于提高小目标车牌的检出率。

调整MD-YOLO的卷积数量和卷积和大小。具体为：Conv1的卷积数量为3，Conv2的卷积数量为3，这两个卷积数量的限制大幅降低了计算量。Conv7的卷积数量为512。Conv9的卷积核大小为1×1，Conv12的卷积核大小为1×1。1×1在降低计算量时，又一定程度上提高了网络非线性度。最终MD-YOLO模型如下表所示。

在本实施例中，步骤S3中，所述采用训练集训练构建的MD-YOLO模型，并基于mAP选取最优的权重文件具体为：

设定训练的配置文件，每千轮进行一个权重文件保存，进行一次mAP计算，并更新当前最佳mAP值的权重文件；

总共进行35万轮训练；训练结束后，选取最佳mAP值的权重文件作为最后的结果文件。

在本实施例中，所述将待检测车牌作为训练好的MD-YOLO模型的输入，输出带车牌检测框的结果返回具体为：

将待检测的图像输入训练好的MD-YOLO模型，获取预测的车牌预测框，并得到所有车牌预测框的置信度P；

对所有车牌预测框进行车牌的非极大值抑制，以去除重复选框；

对得到的所有车牌预测框的置信度进行筛选，选择置信度大于预设值(本实施例选取0.5)的预测框最后预测的最终结果。

在本实施例中，所述对所有预测框进行车牌的非极大值抑制，以去除重复选框具体为：

计算所有车牌预测框的宽高比；定义，

λ是车牌预测框的宽高比，h_pred，w_pred分别表示预测框的高度和宽度；

采用车牌概率值P_λ对车牌预测框内是否为车牌进行预估，根据车牌的长宽比大约为3.14，因此可以通过λ的范围对预测框是否是车牌进行预估，充分利用先验知识，提高车牌的识别率。在3.14的范围内，具有较高可能性是车牌。为了把车牌出现旋转也考虑进来，本实施例选择较大幅度放宽比例，P_λ定义为由预测框计算的车牌概率值，计算公式如下：

对每个车牌预测框的置信度P进行更新P＝P+P_λ；

根据车牌预测框的置信度进行排序，生成边界框列表，选择置信度最高的车牌预测框加入输出列表，并将其从边界框列表中删除；计算置信度最高的车牌预测框与边界框列表中其他预测框的IoU，并删除IoU大于预设阈值(本实施例设为0.5)的预测框；然后重新对车牌预测框的置信度进行排序，重复本步骤，直至边界框框列表为空，此时输出列表中的车牌预测框为最终得到的车牌预测框。

本实施例还提供了一种面向全场景的实时性车牌检测***，包括存储器、处理器以及存储于存储器上并能够被处理器运行的计算机程序指令，当处理器运行该计算机程序指令时，实现如上文所述的方法步骤。

本实施例通过对YOLOv3-tiny针对车牌检测任务进行改进，通过卷积数量和卷积核的限制，在保证检测精度的前提下，大大降低了模型的计算量和模型的大小，并进一步提高了检测的速度。最后的效果如图2所示，输入包含车牌的图像，返回带车牌标注框的图像。从图2中可以看出本发明对复杂场景的车牌检测非常有效，具有很高的鲁棒性。

本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。

Claims (5)

1.一种面向全场景的实时性车牌检测方法，其特征在于，包括以下步骤：

生成用于网络训练和测试的训练集和测试集；

修改YOLOv3-tiny网络结构，生成MD-YOLO模型；

采用训练集训练构建的MD-YOLO模型，并基于mAP选取最优的权重文件；

将待检测包含车牌的图像作为训练好的MD-YOLO模型的输入，输出带车牌检测框的结果返回；

所述生成用于网络训练和测试的训练集和测试集具体为：

收集车牌检测数据集；

使用LableImg对没有标签的图片，手工标注车牌区域，标签包括：一个包含车牌的矩形框，左上角坐标(lx，ly)，右下角坐标(rx，ry)和标签名称plate；

对所有已经标注标签的数据进行划分，划分为训练集和测试集；

对训练数据集使用K-means聚类方法生成锚框，替换原模型的锚框，使得车牌检测精度更高；

所述对所述训练数据集使用K-means聚类方法生成锚框，替换原模型的锚框具体为：

定义输入图片的宽和高分别为W和H；在图片中，车牌的坐标为(lx_i，ly_i，rx_i，ry_i)，i∈{1，2，…，n}，其中lx_i，ly_i表示第i个车牌的左上角坐标，rx_i，ry_i表示第i个车牌的右下角坐标；

进行车牌宽度和高度的标准化，使用如下计算公式：

式中，w_i代表标准化后的宽度；代表h_i代表标准化后的高度；

计算车牌标注框与车牌锚框的距离D，D＝1-IoU，其中IoU定义为车牌标注框″w_i，h_i″与车牌锚″w_j，h_j″的交并比，其中i表示第i个车牌，j表示第j个锚框；

初始化k个聚类中心，车牌锚框的高和宽为″w_j，h_j″，j∈{1，2，3…k}；

计算每个车牌框与车牌锚框的距离D；对每个车牌框，选择D最小的车牌锚框进行分配；

计算每个聚类簇的均值作为下次迭代计算的聚类中心，重复上述步骤直至聚类中心位置趋于稳定；

所述修改YOLOv3-tiny网络结构，生成MD-YOLO模型具体为：

所述MD-YOLO模型各层依次为：Conv1，MaxPool，Conv2，MaxPool，Conv3，MaxPool，Conv4，MaxPool，Conv5，MaxPool，Conv6，MaxPool，Conv7，Conv8，Conv9，Conv10，route，Conv11，UpSample，route，Conv12，Conv13；其中，Conv1至Convl3表示卷积层，MaxPool为最大池化层，route表示实现底层卷积层与当前层的合并输出；

将输入MD-YOLO模型的图片大小修改为416×416，Conv10与Conv13作为两个输出层，尺度分别为13×13×C，26×26×C，其中C＝(classes+5)×3，classes＝1；

调整MD-YOLO的卷积数量和卷积和大小；

所述调整MD-YOLO的卷积数量和卷积和大小具体为：Conv1的卷积数量为3，Conv2的卷积数量为3，Conv7的卷积数量为512；Conv9的卷积核大小为1×1，Conv12的卷积核大小为1×1。

2.根据权利要求1所述的一种面向全场景的实时性车牌检测方法，其特征在于，所述采用训练集训练构建的MD-YOLO模型，并基于mAP选取最优的权重文件具体为：

设定训练的配置文件，每千轮进行一个权重文件保存，进行一次mAP计算，并更新当前最佳mAP值的权重文件；

总共进行35万轮训练；训练结束后，选取最佳mAP值的权重文件作为最后的结果文件。

3.根据权利要求1所述的一种面向全场景的实时性车牌检测方法，其特征在于，所述将待检测包含车牌的图像作为训练好的MD-YOLO模型的输入，输出带车牌检测框的结果返回具体为：

将待检测的图像输入训练好的MD-YOLO模型，获取预测的车牌预测框，并得到所有车牌预测框的置信度P；

对所有车牌预测框进行车牌的非极大值抑制，以去除重复选框；

对得到的所有车牌预测框的置信度进行筛选，选择置信度大于预设值的预测框最后预测的最终结果。

4.根据权利要求3所述的一种面向全场景的实时性车牌检测方法，其特征在于，所述对所有预测框进行车牌的非极大值抑制，以去除重复选框具体为：

计算所有车牌预测框的宽高比；定义，

λ是车牌预测框的宽高比，h_pred，w_pred分别表示预测框的高度和宽度；

采用车牌概率值P_λ对车牌预测框内是否为车牌进行预估，计算公式如下：

对每个车牌预测框的置信度P进行更新P＝P+P_λ；

根据车牌预测框的置信度进行排序，生成边界框列表，选择置信度最高的车牌预测框加入输出列表，并将其从边界框列表中删除；计算置信度最高的车牌预测框与边界框列表中其他预测框的IoU，并删除IoU大于预设阈值的预测框；然后重新对车牌预测框的置信度进行排序，重复本步骤，直至边界框框列表为空，此时输出列表中的车牌预测框为最终得到的车牌预测框。

5.一种面向全场景的实时性车牌检测***，其特征在于，包括存储器、处理器以及存储于存储器上并能够被处理器运行的计算机程序指令，当处理器运行该计算机程序指令时，实现如权利要求1-4任一项所述的一种面向全场景的实时性车牌检测方法步骤。

Images