CN113723399A - 一种车牌图像矫正方法、车牌图像矫正装置和存储介质 - Google Patents

Abstract

本申请公开了一种车牌图像矫正方法、车牌图像矫正装置和存储介质，该方法包括：基于图像分割网络，对包含待处理车牌的待矫正图像进行处理，得到第一车牌掩膜图像，图像分割网络包括编码器与解码器，编码器用于对待矫正图像进行编码得到特征图，解码器用于按照待处理车牌对应的矫正参考图像尺寸对特征图进行解码，得到第一车牌掩膜图像；基于第一车牌掩膜图像，计算待矫正图像中车牌的角点以及车牌的外接矩形框；基于外接矩形框与角点，对车牌所在的图像进行矫正，得到矫正后的车牌图像。通过上述方式，本申请能够改善车牌的矫正效果。

Description

一种车牌图像矫正方法、车牌图像矫正装置和存储介质

技术领域

本申请涉及图像处理技术领域，具体涉及一种车牌图像矫正方法、车牌图像矫正装置和存储介质。

背景技术

由于图像拍摄角度或悬挂车牌的目标车辆的车身姿态等因素的影响，获取到的车牌往往在空间的各个自由度上均有一定角度，这给车牌识别、车牌分类或跟踪等一系列后续处理造成了一定难度。车牌矫正技术可分为两大类：基于传统图像处理方法的车牌矫正技术和基于深度学习的车牌矫正方法，但是存在受噪声影响较大、无法得到整体车牌的矫正结果或矫正效果较差的问题。

发明内容

本申请提供一种车牌图像矫正方法、车牌图像矫正装置和存储介质，能够改善车牌的矫正效果。

为解决上述技术问题，本申请采用的技术方案是：提供一种车牌图像矫正方法，该方法包括：基于图像分割网络，对包含待处理车牌的待矫正图像进行处理，得到第一车牌掩膜图像，图像分割网络包括编码器与解码器，编码器用于对待矫正图像进行编码得到特征图，解码器用于按照待处理车牌对应的矫正参考图像尺寸对特征图进行解码，得到第一车牌掩膜图像；基于第一车牌掩膜图像，计算待矫正图像中车牌的角点以及车牌的外接矩形框；基于外接矩形框与角点，对车牌所在的图像进行矫正，得到矫正后的车牌图像。

为解决上述技术问题，本申请采用的另一技术方案是：提供一种车牌图像矫正装置，该车牌图像矫正装置包括互相连接的存储器和处理器，其中，存储器用于存储计算机程序，计算机程序在被处理器执行时，用于实现上述技术方案中的车牌图像矫正方法。

为解决上述技术问题，本申请采用的另一技术方案是：提供一种计算机可读存储介质，该计算机可读存储介质用于存储计算机程序，计算机程序在被处理器执行时，用于实现上述技术方案中的车牌图像矫正方法。

通过上述方案，本申请的有益效果是：将待矫正图像输入图像分割网络得到第一车牌掩膜图像，该待矫正图像包含需要进行矫正的待处理车牌，该图像分割网络包括编码器与解码器，编码器对待矫正图像进行编码得到特征图，解码器按照待处理车牌对应的矫正参考图像尺寸对特征图进行解码得到第一车牌掩膜图像；再对第一车牌掩膜图像进行处理，得到待矫正图像中车牌的角点以及车牌的外接矩形框；然后对外接矩形框与角点进行处理，以实现对车牌所在的图像进行矫正；由于采用图像分割网络，相比基于传统图像处理的矫正方案，能够有效抵抗噪声干扰；而且利用第一车牌掩码图像获得车牌的角点与外接矩形框，进而利用角点与外接矩形框的顶点对车牌图像进行透视变换，实现图像矫正，矫正准确度更高，矫正效果更好，而且可以实现车牌的整体矫正。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：

图1是本申请提供的车牌图像矫正方法一实施例的流程示意图；

图2(a)是本申请提供的待矫正图像的示意图；

图2(b)是图2(a)中的待矫正图像对应的第一车牌掩膜图像的示意图；

图3是本申请提供的车牌图像矫正方法另一实施例的流程示意图；

图4是本申请提供的显著性目标检测网络的结构示意图；

图5(a)是本申请提供的待矫正图像的另一示意图；

图5(b)是图5(a)对应的第二车牌掩膜图像的示意图；

图5(c)是图5(b)中的车牌区域的外接矩形框的示意图；

图5(d)是本申请提供的中间车牌图像的示意图；

图5(e)是本申请提供的矫正后的车牌图像的示意图；

图6是本申请提供的车牌图像矫正装置一实施例的结构示意图；

图7是本申请提供的计算机可读存储介质一实施例的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性的劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

请参阅图1，图1是本申请提供的车牌图像矫正方法一实施例的流程示意图，该方法包括：

步骤11：基于图像分割网络，对包含待处理车牌的待矫正图像进行处理，得到第一车牌掩膜图像。

待矫正图像为包含水平倾斜、竖直倾斜或梯形畸变等变形的待处理车牌的图像，可利用摄像设备捕获待矫正图像，或者从图像数据库中获取待矫正图像；然后将待矫正图像输入图像分割图像，以使得图像分割网络对该待矫正图像进行分割，生成分割结果(即第一车牌掩膜图像)；具体地，该第一车牌掩膜图像为二值图像，即图像分割网络能够将输入的待矫正图像分成两类，本实施例中图像分割网络将待矫正图像分成车牌所在的区域(即车牌区域)与除了车牌之外的其他物体/背景所在的区域(即非车牌区域)，最终形成第一车牌掩膜图像。

进一步地，图像分割网络包括编码器与解码器，编码器用于对待矫正图像进行编码得到特征图；解码器用于按照待处理车牌对应的矫正参考图像尺寸对特征图进行解码，得到第一车牌掩膜图像；具体地，矫正参考图像尺寸与待矫正图像中待处理车牌对应的图像参数(比如：图像质量、图像尺寸、图像格式或待处理车牌的背景是否比较复杂等)相关，当图像质量越高或待处理车牌的尺寸越大时，矫正参考图像尺寸可越小；而且第一车牌掩膜图像的尺寸跟随矫正参考图像尺寸变化，当矫正参考图像尺寸变大时，第一车牌掩膜图像的尺寸变大。

在一具体的实施例中，图像分割网络可以为显著性目标检测网络，将待矫正图像送入显著性目标检测网络中得到第一车牌掩膜图像。显著性目标检测是一种图像分割方法，基于深度学习的显著性目标检测可视为图像语义分割的一种特例，其将整幅图像分割为前景区域和背景区域；显著性目标检测网络的结构与图像语义分割网络的结构大致相同，其分为编码器和解码器，解码器的最后一层为预测层；在编码器阶段，通过降采样层的处理，特征图的尺寸持续降低；在解码器阶段，通过上采样层的处理，特征图的尺寸逐步还原到原图(即显著性目标检测网络的输入图像)尺寸。

本实施例以车牌为前景目标，显著性目标检测网络能够将车牌区域内的所有像素提取出来，得到车牌的完整掩膜；例如，如图2(a)-2(b)所示，图2(a)示出了待矫正图像，图2(b)示出了第一车牌掩膜图像，车牌区域21的像素值为0，非车牌区域22的像素值为255，可以理解地，本实施例仅以0与255作为示例，在实际应用中可自行设置第一车牌掩膜图像的像素值。

在其他实施例中，还可在获取到摄像设备拍摄到的待矫正图像后，对该待矫正图像进行预处理(比如：缩放、裁剪、滤波或图像增强)，以提升图像的质量或降低需要处理的数据量。

步骤12：基于第一车牌掩膜图像，计算待矫正图像中车牌的角点以及车牌的外接矩形框。

在获取到第一车牌掩膜图像后，可进行车牌图像矫正后处理；具体地，先对该第一车牌掩膜图像进行处理，以获得第一车牌掩膜图像中车牌所在的区域(即车牌区域)的轮廓(即车牌轮廓)，轮廓为车牌区域最外层边缘上的像素点；然后计算第一车牌掩膜图像中车牌区域的外接矩形框；然后利用车牌轮廓和外接矩形框计算出车牌的四个角点(即车牌的左上角点、左下角点、右上角点以及右下角点)。

进一步地，当第一车牌掩膜图像的尺寸与待识别图像的尺寸相同时，第一车牌掩膜图像中的车牌区域即为待识别图像中车牌所在的区域；当第一车牌掩膜图像的尺寸与待识别图像的尺寸不同时，可根据二者的尺寸比值，对第一车牌掩膜图像中的车牌区域进行缩放，以获取待矫正图像中车牌所在的区域。

步骤13：基于外接矩形框与角点，对车牌所在的图像进行矫正，得到矫正后的车牌图像。

在获取到待矫正图像中车牌的角点以及车牌的外接矩形框后，可采用常用的算法(比如：通过透视变换)对车牌所在的图像(记作车牌图像)进行矫正。

本实施例所提供的矫正方法通过图像分割网络提取车牌位置和车牌边界，实现简单，极大地缩减了处理步骤，增强了对噪声的抵抗，相比相关技术中为了防止噪声干扰仅能处理蓝色车牌来说，本实施例提供的方案能够处理各类车牌，范用性更强。另外，本实施例所提供的方案可单独处理车牌，获得矫正后的车牌图像，不依赖后续识别网络，使得矫正后的车牌的使用更加灵活，且图像分割网络直接输出车牌的像素级掩膜，而非通过识别效果间接矫正，矫正的准确性更高，矫正效果更好；此外，该方法可以有效解决车牌大角度问题，有利于辅助后续进一步的车牌识别、分类或跟踪等任务。

请参阅图3，图3是本申请提供的车牌图像矫正方法另一实施例的流程示意图，该方法包括：

步骤31：基于图像分割网络，对包含待处理车牌的待矫正图像进行处理，得到第一车牌掩膜图像。

图像分割网络包括编码器与解码器，在解码器阶段，特征图需要还原到原图大小，由于语义分割本身是一种像素级的分类，而且待预测目标的形状具有不确定性，为了准确地获取目标边界，不得不在与原图尺寸相的比例的特征图上做预测，导致计算量巨大，耗时较多；基于此本实施例进行了改进，设计的网络结构充分考虑了车牌目标的特点，减少了计算量。

本实施例考虑到倾斜车牌为四边形，如果对其进行降采样，其四个边的斜率将保持不变，不影响车牌图像矫正的核心参数，但是对原特征图降采样N倍带来的精度损失最大值为±N个像素，适当的降采样既可减少耗时，又不影响后续矫正；因此，在解码器中将特征图还原到一定大小即可，比如：将特征图的尺寸还原至原图尺寸的四分之一，可做到对耗时和精度的兼顾。

在一具体的实施例中，如图4所示，将待矫正图像41输入显著性目标检测网络(图中未标识)，该显著性目标检测网络包括残差块42、最大池化层43、处理层44以及上采样层45，处理层44包括卷积层、批量归一化层(Batch Normalization，BN)以及激活层(图中未标识)，激活层的激活函数可以使用修正线性单元(Rectified Linear Units，ReLU)；经过显著性目标检测网络的处理后，输出第一车牌掩膜图像46，可以看出，第一车牌掩膜图像46的尺寸小于待矫正图像41的尺寸。

步骤32：将第一车牌掩膜图像的尺寸调整为待矫正图像的尺寸，得到第二车牌掩膜图像。

在获取到第一车牌掩膜图像后，可对该第一车牌掩膜图像的尺寸进行调整，以使得生成的第二车牌掩膜图像的尺寸等于待矫正图像的尺寸。例如，如图4所示，对第一车牌掩膜图像46进行放大，得到第二车牌掩膜图像47。

步骤33：获取第二车牌掩膜图像中与车牌区域的轮廓。

第二车牌掩膜图像包括车牌区域，第二车牌掩膜图像中的车牌区域与待矫正图像中车牌所在的车牌区域相同，第二车牌掩膜图像为二值图像，对该二值图像进行轮廓提取处理，即可得到车牌区域的轮廓；例如，可以通过对第二车牌掩膜图像进行边缘检测处理以获取轮廓；或者由于二值图像仅有两个像素值，可设置一个像素阈值(比如：255)，比较某个像素点与周围一圈像素点的灰度差值是否大于/等于该像素阈值，若是，则该像素点为轮廓上的像素点，从而判断出车牌区域中的所有像素点中哪些像素点是轮廓上的像素点，筛选出来的所有像素点组成轮廓。

步骤34：基于轮廓，确定角点与外接矩形框。

轮廓包括多个像素点，外接矩形框的左上角的横坐标为所有像素点中横坐标的最小值，可基于像素点的坐标值，确定外接矩形框的高度与宽度，从而确定外接矩形框的位置；具体地，可获取所有像素点中横坐标的最大值与所有像素点中横坐标的最小值，将横坐标的最大值与横坐标的最小值相减，得到外接矩形框的高度；获取所有像素点中纵坐标的最大值与所有像素点中纵坐标的最小值，将纵坐标的最大值与纵坐标的最小值相减，得到外接矩形框的宽度。

由于获取到的第二车牌掩膜图像是像素级的，其轮廓并非一定是四边形的，轮廓的四个角也并非一定是直角，本实施例采用第二车牌掩膜图像的轮廓和外接矩形框来确定车牌区域的角点；具体地，在获取到外接矩形框的位置后，计算外接矩形框的每个顶点与车牌区域中所有像素点之间的距离；选择距离每个顶点最近的像素点为角点，车牌区域的角点与外接矩形框的顶点一一对应，即对外接矩形框的每个顶点来说，循环遍历轮廓上的所有像素点，求得与该顶点距离最近的像素点，此像素点即为车牌在矫正前的原始角点，外接矩形框的四个顶点即为矫正后的目标角点。

可以理解地，还可通过其他方法求得车牌区域的四个角点，比如：先计算车牌区域的四条边，再计算四条边的交点，车牌区域的角点即为交点。

步骤35：从待矫正图像中裁剪出与外接矩形框对应的图像，得到中间车牌图像。

第二车牌掩膜图像中车牌区域与待矫正图像中车牌区域的位置相同，第二车牌掩膜图像中车牌区域的外接矩形框与待矫正图像中车牌区域的外接矩形框的位置相同；在获取到第二车牌掩膜图像中外接矩形框的位置后，将待矫正图像中与该外接矩形框的位置相同的位置记作车牌外接位置，沿着车牌外接位置对待矫正图像进行裁剪，得到中间车牌图像。

步骤36：以中间车牌图像的左上角为坐标原点建立坐标系，分别计算角点与外接矩形框的顶点在坐标系中的坐标值。

在获取到中间车牌图像后，计算车牌区域在该中间车牌图像中的新坐标以及外接矩形框的新坐标。例如，假设待矫正图像中外接矩形框的左上角位置为(M1，N1)，外接矩形框的高度与宽度分别为a与b，则中间车牌图像中外接矩形框的左上角位置为(1，1)、右上角位置为(1，b)、左下角位置为(a，1)、右下角位置为(a，b)。

步骤37：基于顶点的坐标值、角点的坐标值以及中间车牌图像，生成矫正后的车牌图像。

先利用角点的坐标值与顶点的坐标值，计算变换矩阵；然后利用变换矩阵对中间车牌图像中车牌所在的图像进行透视变换，得到矫正后的车牌图像。可以理解地，变换矩阵与透视变换的计算方法与现有技术中相同，在此不再赘述。

本实施例通过透视变换对车牌进行校正，相比于基于传统图像处理的矫正方案，本实施例设计的后处理方案依靠显著性目标检测得到的车牌掩膜可准确提取车牌的原始角点与车牌的目标角点，忽视噪声干扰，矫正的准确率更高。

在一具体的实施例中，图5(a)所示的待矫正图像经过上述显著性目标检测网络的处理，得到第二车牌掩膜图像；然后对第二车牌掩膜图像求轮廓可得到图5(c)所示的轮廓框，并求得第二车牌掩膜图像在横纵方向上的极值，以利用极值得到车牌的外接矩形框，如图5(b)所示；根据车牌的外接矩形框将车牌从待矫正图像中裁剪出，得到中间车牌图像，如图5(d)所示；然后根据车牌的原始角点和目标角点，可求得透视变换的变换矩阵；将原始车牌根据变换矩阵进行透视变换便可得到矫正后的车牌图像，如图5(e)所示。

本实施例使用显著性目标检测网络结合车牌图像矫正后处理的方法对车牌进行矫正，显著性目标检测作为车牌的提取方法可以准确提取到属于车牌的每一个像素点，再通过后处理方法可以准确地得到车牌的四个角点并通过透视变换将其矫正；由于采用显著性目标检测的方法提取车牌掩膜，比使用传统方法提取车牌边界角点要准确很多，还能够抵御噪声的影响，且可适用于各种类型的车牌图像矫正；而且改进的显著性目标检测网络提出可在解码阶段将车牌还原至原特征图的一定比例即可进行车牌图像矫正，兼顾了矫正效果和耗时；另外，本实施例所提供的方案能够直接进行车牌图像矫正，无需依赖于车牌识别网络，可以获得独立的车牌图像矫正结果，矫正效果及车牌图像矫正后的使用灵活性较好。

请参阅图6，图6是本申请提供的车牌图像矫正装置一实施例的结构示意图，车牌图像矫正装置60包括互相连接的存储器61和处理器62，存储器61用于存储计算机程序，计算机程序在被处理器62执行时，用于实现上述实施例中的车牌图像矫正方法。

本实施例所提供的车牌图像矫正装置结合了显著性目标检测和矫正后处理，车牌图像矫正后处理能够有效解析显著性目标检测网络提供的车牌掩膜，实现车牌图像矫正，能够同时输出车牌位置和矫正结果。

请参阅图7，图7是本申请提供的计算机可读存储介质一实施例的结构示意图，计算机可读存储介质70用于存储计算机程序71，计算机程序71在被处理器执行时，用于实现上述实施例中的车牌图像矫正方法。

计算机可读存储介质70可以是服务端、U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

在本申请所提供的几个实施方式中，应该理解到，所揭露的方法以及设备，可以通过其它的方式实现。例如，以上所描述的设备实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。

另外，在本申请各个实施方式中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

以上所述仅为本申请的实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种车牌图像矫正方法，其特征在于，包括：

基于图像分割网络，对包含待处理车牌的待矫正图像进行处理，得到第一车牌掩膜图像，所述图像分割网络包括编码器与解码器，所述编码器用于对所述待矫正图像进行编码得到特征图，所述解码器用于按照所述待处理车牌对应的矫正参考图像尺寸对所述特征图进行解码，得到所述第一车牌掩膜图像；

基于所述第一车牌掩膜图像，计算所述待矫正图像中车牌的角点以及所述车牌的外接矩形框；

基于所述外接矩形框与所述角点，对所述车牌所在的图像进行矫正，得到矫正后的车牌图像。

2.根据权利要求1所述的车牌图像矫正方法，其特征在于，所述第一车牌掩膜图像的尺寸小于所述待矫正图像的尺寸，所述基于所述第一车牌掩膜图像，计算所述待矫正图像中车牌的角点以及所述车牌的外接矩形框的步骤，包括：

将所述第一车牌掩膜图像的尺寸调整为所述待矫正图像的尺寸，得到第二车牌掩膜图像；

获取所述第二车牌掩膜图像中车牌区域的轮廓，所述第二车牌掩膜图像中的车牌区域与所述待矫正图像中车牌所在的区域相同；

基于所述轮廓，确定所述角点与所述外接矩形框。

3.根据权利要求2所述的车牌图像矫正方法，其特征在于，所述轮廓包括多个像素点，所述外接矩形框的左上角的横坐标为所有所述像素点中横坐标的最小值，所述基于所述轮廓，确定所述角点与所述外接矩形框的步骤，包括：

基于所述像素点的坐标值，确定所述外接矩形框的高度与宽度。

4.根据权利要求3所述的车牌图像矫正方法，其特征在于，所述基于所述像素点的坐标值，确定所述外接矩形框的高度与宽度的步骤，包括：

获取所有所述像素点中横坐标的最大值与所有所述像素点中横坐标的最小值，将所述横坐标的最大值与所述横坐标的最小值相减，得到所述外接矩形框的高度；

获取所有所述像素点中纵坐标的最大值与所有所述像素点中纵坐标的最小值，将所述纵坐标的最大值与所述纵坐标的最小值相减，得到所述外接矩形框的宽度。

5.根据权利要求2所述的车牌图像矫正方法，其特征在于，所述基于所述轮廓，确定所述角点与所述外接矩形框的步骤，还包括：

计算所述外接矩形框的每个顶点与所述车牌区域中所有像素点之间的距离；

选择距离所述顶点最近的像素点为所述角点。

6.根据权利要求1所述的车牌图像矫正方法，其特征在于，所述基于所述外接矩形框与所述角点，对所述车牌所在的图像进行矫正，得到矫正后的车牌图像的步骤，包括：

从所述待矫正图像中裁剪出与所述外接矩形框对应的图像，得到中间车牌图像；

以所述中间车牌图像的左上角为坐标原点建立坐标系，分别计算所述角点与所述外接矩形框的顶点在所述坐标系中的坐标值；

基于所述顶点的坐标值、所述角点的坐标值以及所述中间车牌图像，生成所述矫正后的车牌图像。

7.根据权利要求6所述的车牌图像矫正方法，其特征在于，所述基于所述顶点的坐标值、所述角点的坐标值以及所述中间车牌图像，生成所述矫正后的车牌图像的步骤，包括：

利用所述角点的坐标值与所述顶点的坐标值，计算变换矩阵；

利用所述变换矩阵对所述中间车牌图像中车牌所在的图像进行透视变换，得到所述矫正后的车牌图像。

8.根据权利要求2所述的车牌图像矫正方法，其特征在于，所述第二车牌掩膜图像为二值图像，所述获取所述第二车牌掩膜图像中车牌区域的轮廓的步骤，还包括：

对所述二值图像进行轮廓提取处理，得到所述轮廓。

9.一种车牌图像矫正装置，其特征在于，包括互相连接的存储器和处理器，其中，所述存储器用于存储计算机程序，所述计算机程序在被所述处理器执行时，用于实现权利要求1-8中任一项所述的车牌图像矫正方法。

10.一种计算机可读存储介质，用于存储计算机程序，其特征在于，所述计算机程序在被处理器执行时，用于实现权利要求1-8中任一项所述的车牌图像矫正方法。

Images