CN114373147A - 一种用于低纹理视频车牌的检测方法 - Google Patents

Abstract

本申请提供了一种用于低纹理视频车牌的检测方法，针对传统的视频车牌检测方法对于光线较暗及模糊车牌存在定位精度较低且耗时等问题，提出了一种用于低纹理视频车牌的检测方法。关于低纹理图像的车牌轮廓边缘不易于提取问题提出了一种结合亮度加权的自适应边缘提取方法，保证精确获取车牌边缘信息，为车牌定位提供基准，避免了定位损失。结合数学形态学操作和几何变换操作获取待定车牌图块，同时建立车牌数据集，并构建车牌分类模型，结合深度学习中SVM算法对预处理中得到的车牌待定图块进行分类以获取最终的车牌结果。该方法可以检测出视频图像中低纹理的车牌图块，提高了车牌定位的准确性和实时性，为车牌识别提供了有效参考。

Description

一种用于低纹理视频车牌的检测方法

技术领域

本发明涉及智慧交通中车牌定位识别领域，特别是涉及一种用于低纹理视频车牌的检测方法。

背景技术

随着现代化社会的发展，各类型的车辆日益增多，社会迅速发展的同时，交通隐患概率也逐渐增加。良好的车辆管理既可有序解决交通堵塞等问题也可避免危险交通事故的发生，以保证社会井条有序的发展。车牌是一辆车的“身份证”，准确实时的进行车牌识别可及时获取车主信息，对法治人员维护社会的安定，保障人民的权益有着重要的作用。车牌定位检测是车牌识别的基础，高效的车牌检测是智能交通管理发展的前提，一种有效的车牌检测方法尤其是对于一些特殊环境中由于受光线、污渍等影响导致低纹理的车牌定位进行有效定位检测具有重要意义。

目前关于视频车牌检测方法，国内外学者开展了大量的研究。主要有郭海富等利用车牌颜色和边缘信息结合的车牌定位方法，将边缘与颜色特征融合进行车牌定位，对于大部分车牌均可进行准确定位，但是对于光照变化敏感的问题有待提升，贾小云等提出基于MSER与DRLBP特征的车牌定位方法，对车牌图像进行预处理，并在各通道上进行MSER候选区域提取，并结合DRLBP纹理特征对合并区域进行验证从而得到最终的车牌区域，该方法具有较好的定位能力，但是易受车牌颜色、车牌格式的影响。同时***等提出基于模板匹配的污损车牌定位方法，具有很强的环境适应性和鲁棒性，艾曼等人提出了基于Faster-RCNN检测模型与ZF、VGG-16和ResNet-101结合三种神经网络的方法实现车牌定位等方法，以上方法均在一定程度上可有效进行车牌定位，但是对于车牌可视化较模糊的车牌进行准确且实时性的检测方法还略为空缺，因此，本文提出一种用于低纹理视频车牌的检测方法。首先，通过提出的结合亮度加权的自适应边缘提取方法及数学形态学操作等处理获取待定图块，然后，利用几何变换方法根据角度筛选去除虚假图块，并进行水平纠正和尺寸统一，最后，采集大量车牌数据并结合SVM分类方法构建分类模型，利用构建的分类器进行有效准确的车牌检测。

发明内容

有鉴于此，本发明目的在于提供一种用于低纹理视频车牌的检测方法，用以解决现有技术主要是基于颜色和边缘而无法识别低纹理车牌的缺陷，进而为交通领域等各应用部门的车牌识别的工作提供有效参考。为了实现上述目的，本发明采用如下技术方案：

一种用于低纹理视频车牌的检测方法，包括如下步骤：

步骤S1:获取交通视频中包含车辆车牌的图像，并利用高斯滤波去除因感应器信号或安装偏差引起的噪声获得降噪图像；

步骤S2:为避免因纹理弱、光线暗等原因导致的车牌轮廓边缘定位损失，利用像素梯度方向分布特征及亮度信息对图像进行自适应边缘提取以保证提取出微弱车牌轮廓边缘为车牌检测提供参考；

步骤S3:根据步骤S2中的边缘提取结果，对其进行数学形态学操作，利用先膨胀、后腐蚀的闭操作处理获取与车牌相近的待定图块；

步骤S4:由于步骤S3得到的图块可能存在旋转、偏移等几何问题，为尽可能获取规则的图块对待定图块进行几何变换操作，为分类提供较规则数据；

步骤S5:采集车牌数据并构建数据集，利用SVM算法构建分类模型，减少耗时以提高分类效率；

步骤S6:根据步骤S5中的分类模型，对步骤S4中待定图块进行分类，以获取最终的车牌检测结果；

进一步的，采集原始图像I，所述高斯平滑步骤如下：

步骤S01选择高斯滤波参数，构建二维高斯核函数H(x,y)，表达式为：

公式(1)中，δ表示为控制高斯平滑滤波效果的参数；

步骤S02、将步骤S01中构建的二维高斯核函数H(x,y)与原始图像I进行卷积，获得高斯滤波后的图像G(x,y)。

进一步的，所述步骤S2具体包括：

步骤S201、使用改进的梯度模板计算各像素点水平合成梯度g_x(x,y)及竖直合成梯度g_y(x,y)，其合成公式为：

g_x(x,y)为像素在(x,y)处水平方向的分量，g_y(x,y)为对应竖直方向的分量，g₀(x,y)、g₄₅(x,y)、g₉₀(x,y)和g₁₃₅(x,y)分别为利用优化梯度模板计算得到的各个对应角度的梯度值。

步骤S202、计算各像素点的梯度幅值T(_x,y)和方向θ(_x,y)，表达式为：

步骤S203、为避免梯度值引起的边缘模糊，对边缘方向上的梯度进行非极大值抑制，保留最大梯度值，将其余梯度设置为0；

步骤S204、统计各像素R、G、B三个通道像素值，进行HIS空间转换。

步骤S205、根据像素梯度方向，对邻域3x3窗口内的像素旋转为以实际边缘为轴线的符合像素实际特征的新窗口，其表达公式为(5)

步骤S206、结合各像素统计的真实梯度幅值、梯度方向及亮度值，利用亮度加权获取原则获得各区间的梯度双阈值Th、Tl，加权公式如下：

其中，P_i为(x,y)处的权重，Th为梯度高阈值，Tl为梯度低阈值，n为图像中的像素个数。

步骤S207、根据获取的高、低阈值Th、Tl，进行边缘像素筛选，分别记录高低阈值下初始边缘提取结果，对保留的像素点利用8连通域进行判断，保留梯度值大于高阈值，并参考低阈值提取结果进行边缘连接，得到最终边缘；

进一步的，所述步骤S3具体包括：

步骤S301：对上述获得的边缘提取结果进行二值化处理；

步骤S302：对二值化提取结果进行数学形态学操作中的闭操作，将提取到的字符区域变成一个连通区域，接着对连通区域的***做外接矩形，形成不同的待定车牌图块；

进一步的，所述步骤S4具体包括：

步骤S401：去除不符合尺寸的最小外接矩形；

步骤S402：利用角度约束排除角度较大的虚假车牌图块；

步骤S403：通过旋转操作将筛选后的车牌进行水平纠正，为后续的车牌识别提供有利数据，并统一最终图块尺寸；

进一步的，所述步骤S5具体包括：

步骤S501：采集一定数量的车牌图像作为数据集；

步骤S502：提取其中30％作为测试数据，70％作为训练数据，并将训练数据中的20％作为验证集，其余80％作为训练集，构建SVM分类模型；

进一步的，所述步骤S6具体包括：

结合上述步骤4中获得的图块及5中的SVM分类模型进行车牌检测，获取最终的车牌。

本发明的有益效果是：

1、由于现阶段对于车牌定位的方法主要集中于基于亮度和边缘信息，导致一些特殊环境例如光线较暗和因污渍导致车牌部门较模糊的车牌定位精度较差，提出了一种结合亮度加权的边缘提取方法，可获得微弱车牌图块的轮廓边缘，避免了车牌位置的损失。为后续的车牌识别操作提供了有效参考。

2、构建了SVM分类模型，通过采集统计大量的包含不同类型的车牌图块及车身图块构造数据集，并划分测试集和训练集进行分类模型构建，通过大量的训练识别获得了精度较高的分类模型，为车牌识别的实时性提供了有利保障。

附图说明

图1为本发明实施中一种用于低纹理视频车牌的检测方法的流程示意图；

图2为本发明一种光线较暗原始车牌图像及经过自适应高斯滤波后的含车牌的交通图像；

图3为本发明一种提出的优化梯度模板示意图；

图4为本发明一种基于优化梯度模板，并利用邻域均值法统计的像素梯度方向分布规律拟合图；

图5为本发明一种像素按照实际边缘走向进行重采样示意图；

图6为本发明一种提出结合亮度加权自适应边缘提取方法结果及通过数学形态学操作中的闭运算进行图像处理的结果图；

图7为本发明一种通过形态学操作获取的待定车牌图块；

图8为本发明一种采集车牌等图块数据构建的训练集和训练集文件夹及利用SVM方法进行分类的流程图；

图9为本发明一种获取一张车牌图像进行自适应车牌检测的结果展示。

具体实施方式

为了更好地理解本申请，将参考附图对本申请的各个方面做出更详细的说明。应理解，这些详细说明只是对本申请的示例性实施方式的描述，而非以任何方式限制本申请的范围。在说明书全文中，相同的附图标号指代相同的元件。表述“和/或”包括相关联的所列项目中的一个或多个的任何和全部组合。

在附图中，为了便于说明，已稍微调整了元素的大小、尺寸和形状。附图仅为示例而并非严格按比例绘制。如在本文中使用的，用语“大致”、“大约”以及类似的用语用作表近似的用语，而不用作表程度的用语，并且旨在说明将由本领域普通技术人员认识到的、测量值或计算值中的固有偏差。另外，在本申请中，各步骤处理描述的先后顺序并不必然表示这些处理在实际操作中出现的顺序，除非有明确其它限定或者能够从上下文推导出的除外。

还应理解的是，诸如“包括”、“包括有”、“具有”、“包含”和/或“包含有”等表述在本说明书中是开放性而非封闭性的表述，其表示存在所陈述的特征、元件和/或部件，但不排除一个或多个其它特征、元件、部件和/或它们的组合的存在。此外，当诸如“...中的至少一个”的表述出现在所列特征的列表之后时，其修饰整列特征，而非仅仅修饰列表中的单独元件。此外，当描述本申请的实施方式时，使用“可”表示“本申请的一个或多个实施方式”。并且，用语“示例性的”旨在指代示例或举例说明。

除非另外限定，否则本文中使用的所有措辞(包括工程术语和科技术语)均具有与本申请所属领域普通技术人员的通常理解相同的含义。还应理解的是，除非本申请中有明确的说明，否则在常用词典中定义的词语应被解释为具有与它们在相关技术的上下文中的含义一致的含义，而不应以理想化或过于形式化的意义解释。

需要说明的是，在不冲突的情况下，本申请中的实施方式及实施方式中的特征可以相互组合。下面将参考附图并结合实施方式来详细说明本申请。

参考图1-图9，本实施例提供一种用于低纹理视频车牌的检测方法，针对传统的视频车牌检测方法对于光线较暗及模糊车牌存在定位精度较低且耗时等问题，提出了一种用于低纹理视频车牌的检测方法。关于低纹理图像的车牌轮廓边缘不易于提取问题提出了一种结合亮度加权的自适应边缘提取方法，保证精确获取车牌边缘信息，为车牌定位提供基准，避免了定位损失。结合数学形态学操作和几何变换操作获取待定车牌图块，同时建立车牌数据集，并构建车牌分类模型，结合深度学习中SVM算法对预处理中得到的车牌待定图块进行分类以获取最终的车牌结果。接下来进行具体的处理步骤：

图1是根据本申请的示例性实施方式的一种用于低纹理视频车牌的检测方法的流程图。

如图1所示，本申请提供了这样一种用于低纹理视频车牌的检测方法，可包括：步骤S1、采集图像并利用高斯平滑去噪。步骤S2、利用提出的结合亮度加权的自适应边缘提取方法对高斯平滑后的图像进行边缘提取以获取微弱边缘，避免低对比度车牌的定位损失。步骤S3、对边缘提取结果进行数学形态学操作中的先膨胀、再腐蚀的闭运算操作，以获取封闭的车牌图块区域，通过获取图快的最小外接矩形确定待定图块。步骤S4、对取得的待定图块进行角度判断，去除旋转角较大的不符合常规分布的虚假车牌，并利用角度约束和旋转等几何操作对车牌进行统一化，为后面的分类提供基准数据，提高分类速度，提升检测性能。步骤S5、统计不同类型的车牌及车身图块构建分类数据集，结合深度学习中的SVM方法构建数学分类模型，以提高检测速度，实现智能化检测效果。步骤S6、根据提出的方法进行车牌检测，检测出光线较暗而导致对比度较低的车牌。

图2是获取的原始车牌图像及利用高斯平滑处理后的去噪图像。

如图2所示，获取夜间交通部门摄像头视频中包含的车牌原始图像，并对图像利用高斯滤波进行平滑去噪预处理。具体地，由于影像采集时受到感应元件干扰会产生一定的噪声，信噪比较低，导致虚假边缘提取结果，为提高信噪比以提高鲁棒性获得真实准确的边缘，通过高斯平滑进行去噪，建立高斯核函数如下：

公式(1)中，δ表示为控制高斯平滑滤波效果的参数；

将步骤S01中构建的二维高斯核函数H(x,y)与原始图像I进行卷积，获得高斯滤波后的图像G(x,y)。

图3和图4分别是为优化的梯度模板示意图及梯度方向分布图规律拟合图。

利用提出的梯度模板对平滑后的图像进行水平和竖直方向梯度的计算，并合成各像素最终梯度幅值及梯度方向。

图像中的色彩是对边缘重要的修饰信息，传统边缘提取算法在处理彩色图像时，大部分方法进行了彩色图像的灰度化预处理，但是灰度化的图像丢失了多通道的梯度信息，一定程度降低了边缘提取的效果，无法全面反映图像特征。为充分利用彩色图像R、G、B三个通道中存储的信息差异引起的多通道梯度特征，分别对图像每个像素的R、G、B三个通道及灰度图像利用优化的梯度计算方法求解梯度，选择最大值作为该像素梯度。

经典的边缘提取方法在计算梯度时，一般采用水平和竖直两方向模板，这会导致边缘位置出现一定的偏差。为充分考虑梯度较弱的微弱边缘提取，考虑了图像在倾斜方向的局部信息，统计其邻域像素的梯度方向，以提高边缘像素梯度信息的准确性。改进梯度计算模板如图3所示，利用3×3窗口大小模板计算0°、45°、90°、135°等四个方向的一阶偏导，对四个方向的梯度值加权平均以获取各像素的最终梯度及梯度方向。

在采用上述梯度模板进行梯度计算时，最终梯度的计算过程也需要进行更新。在采用上述梯度模板进行梯度计算时，最终梯度的计算过程也需要进行更新。根据余弦函数，将45°及135°方向的梯度分配到水平和竖直方向得到g_c和g_r梯度分量，再与0°及90°方向梯度分量相加以求出最终水平及竖直两方向的梯度，如公式(3)所示。

式中，g_x(x,y)为像素(x,y)处水平方向的分量，g_y(x,y)为对应竖直方向的分量，g₀(x,y)、g₄₅(x,y)、g₉₀(x,y)和g₁₃₅(x,y)分别为利用图3中梯度模板计算得到的各个对应角度的梯度值。

进一步的，可以根据最终水平和竖直梯度分量得到最终的梯度幅值和梯度方向，如公式(4)所示。

公式(4)中，T_(x,y)为像素(x,y)处的最终梯度幅值，θ_(x,y)为对应的梯度方向。

进一步地，利用本专利提出梯度优化方法统计各像素的梯度方向，为避免梯度噪声的出现，采用3×3邻域像素的梯度方向均值代替像素原始梯度方向，并统计图像像素的梯度方向分布规律，为了得出梯度方向的分布特性，采用了500幅不同类型的图像进行了直方图统计，发现梯度方向近似呈现高斯分布，为本专利提出的自适应分区间提供科学参考，图4为梯度方向分布规律拟合图。

图5为根据像素实际方向对于像素周围亮度值进行重采样。

将每个像素的RGB值转换至HIS空间，各像素梯度方向确定对应的亮度值。根据像素梯度方向，对邻域3x3窗口内的像素旋转为以实际边缘为轴线的符合像素实际特征的新窗口，其表达公式为(5)

图6为利用提出的自适应边缘提取方法获取的提取结果及数学形态学操作进行闭运算得到的图像结果。

<1>、结合各像素统计的真实梯度幅值、梯度方向及亮度值，利用亮度加权获取原则获得各区间的梯度双阈值Th、Tl，加权公式如下：

其中，P_i为(x,y)处的权重，m为区间个数，Th_m为第m个区间的高阈值，Tl_m为第m个区间的低阈值，n为图像中的像素个数；

<2>、根据获取的高、低阈值Th、Tl，进行边缘像素筛选，分别记录高低阈值下初始边缘提取结果，对保留的像素点利用8连通域进行判断，保留梯度值大于高阈值，并参考低阈值提取结果进行边缘连接，得到最终边缘；

<3>、对获取的边缘结果进行二值化操作，其转换公式如式(7)。如果计算得到的梯度值大于0则重新设置为1，其余的设置为0；

<4>、对二值化的图像进行数学形态学操作中的闭运算以获取最小外接矩形。闭运算为先做膨胀再做腐蚀，利用S对I作闭运算表示为I·S,其定义为：

其中S为膨胀卷积掩膜，I为二值化图像。

图7为根据上述的边缘提取结果及闭运算操作获得的不同尺寸图块。

<1>、利用角度判断去除不符合实际情况的大角度车牌图块；

<2>、利用旋转和角度约束将符合车牌实际尺寸情况的车牌进行水平纠正，并统一图块尺寸，以为后续的SVM分类提供有效数据。

图8为通过统计不同类型车牌图块并利用SVM分类方法构建分类模型的流程图。

<1>、采集各类不同类型的车牌图块及车身中较为规整的虚假图块构造数据集，分别建立测试集和训练集。其中30％为测试集，70％为训练集；

<2>、将训练集中的20％作为验证集，80％作为训练集。利用SVM中的核函数进行交叉验证，不断调优，获得准确实时的分类模型。

图9为获取的车牌原始图像进行车牌检测的流程图，即先进行高斯平滑预处理，然后利用提出的结合亮度自适应边缘提取方法进行车牌轮廓的提取，结合数学形态学的闭运算处理方法获得待定图块，最后通过构建的SVM分类模型对待定图块进行分类以确定最终真实车牌。本发明申请的上述***是用于实现一种用于低纹理视频车牌的检测方法对应步骤，因此各个模块的具体实现原理和实现步骤可参考上述，在此不再赘述。

根据本申请实施方式的一种用于低纹理视频车牌的检测方法，通过优化梯度模板对像素的梯度及梯度方向进行统计，更好的保留了图像中一些微弱的梯度特征，避免了车牌轮廓微弱边缘的损失，利用数学形态学闭运算操作获取待定图块，并采集大量数据进行构建分类模型，完成低纹理图像的车牌检测。研究成果可以为智慧交通、车牌识别等内容提供基础。

如上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明。应理解的是，以上所述仅为本发明的具体实施方式，并不用于限制本发明。凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等均应包含在本发明的保护范围之内。

Claims (7)

1.一种用于低纹理视频车牌的检测方法，其特征在于，包括：

步骤S1:获取交通视频中包含车辆车牌的图像，并利用高斯滤波去除因感应器信号或安装偏差引起的噪声；

步骤S2:为避免因纹理弱、光线暗等原因导致的车牌轮廓边缘定位损失，利用像素梯度方向分布特征及亮度信息对图像进行自适应边缘提取以保证提取出微弱车牌边缘为车牌检测提供参考；

步骤S3:根据步骤S2中的边缘提取结果，对其进行数学形态学操作，利用先膨胀、后腐蚀的闭操作处理获取与车牌相近的待定图块；

步骤S4：由于根据边缘提取结果进行数学形态学操作得到的图块可能存在旋转、偏移等几何问题，为尽可能获取规则的图块对待定图块进行几何变换操作，为分类提供较规则数据；

步骤S5：采集车牌数据并构建数据集，利用SVM算法构建分类模型，减少耗时以提高分类效率；

步骤S6:根据步骤S5中的分类模型，对步骤S4中待定图块进行分类，以获取最终的车牌检测结果；

2.根据权利要求1所述的一种用于低纹理视频车牌的检测方法，其特征在于，所述具体处理的步骤为：

步骤1.1：利用交通道路中摄像头对行进车辆图像进行采集，获取包含车牌的车辆原始图像。

步骤1.2：对已采集包含车牌的原始图像进行高斯滤波处理，避免由于拍摄过程感应器带来的信号噪声，其表达式为：

3.根据权利要求2所述的一种用于低纹理视频车牌的检测方法，其特征在于，所述步骤具体为：

步骤2.1：使用改进的梯度模板计算各像素点水平合成梯度g_x(x,y)及竖直合成梯度g_y(x,y)，其合成公式为：

其中，g_x(x,y)为像素(x,y)处水平方向的分量，g_y(x,y)为对应竖直方向的分量，g₀(x,y)、g₄₅(x,y)、g₉₀(x,y)和g₁₃₅(x,y)分别为利用图1中梯度模板计算得到的各像素对应角度的梯度值；

步骤2.2：计算各像素点的梯度幅值T_(x,y)和方向θ_(x,y)，表达式为：

步骤2.3：统计各像素的RGB三通道像素值，按照转换关系将其像素转化为HIS空间中；

步骤2.4：根据像素梯度方向，对邻域像素旋转为以边缘为轴线的符合像素实际方向分布特征的新邻域窗口，其表达公式如下：

步骤2.5：根据像素的梯度方向对邻域亮度利用双线性插值法进行重采样，获得最终符合像素真实分布的亮度信息；

步骤2.6：根据各区间得到的梯度方向，分别统计各梯度方向下的像素，以及各像素的梯度信息T(x,y)和亮度信息L(x,y)，由于微弱像素梯度值较小且亮度较暗，而较明显的边缘处的梯度较大，为避免漏检真实的微弱边缘，利用像素本身的亮度信息进行加权，综合各区间内各像素的梯度及亮度信息进而确定各区间边缘提取双阈值；

步骤2.7：根据步骤2.6中的梯度阈值进行阈值筛选，获取最终边缘。

4.根据权利要求3所述的一种用于低纹理视频车牌的检测方法，其特征在于，所述步骤具体为：

步骤3.1：对上述获得的边缘提取结果进行二值化处理；

步骤3.2：对二值化提取结果进行数学形态学操作中的闭操作，将提取到的字符区域变成一个连通区域，接着对连通区域的***做外接矩形，形成不同的待定车牌图块。

5.根据权利要求4所述的一种用于低纹理视频车牌的检测方法，其特征在于，所述步骤具体为：

步骤4.1：去除不符合尺寸的最小外接矩形；

步骤4.2：利用角度约束排除角度较大的虚假车牌图块；

步骤4.3：通过旋转操作将筛选后的车牌进行水平纠正，为后续的车牌识别提供有利数据，并统一最终图块尺寸。

6.根据权利要求5所述的一种用于低纹理视频车牌的检测方法，其特征在于，所述步骤具体为：

步骤5.1：采集一定数量的车牌图像作为数据集；

步骤5.2：提取其中30％作为测试数据，70％作为训练数据，并将训练数据中的20％作为验证集，其余80％作为训练集，构建SVM分类模型。

7.根据权利要求6所述的一种用于低纹理视频车牌的检测方法，其特征在于，所述步骤具体为：

结合上述5中获得的图块及6中的SVM分类模型进行车牌检测，获取最终的车牌。

Images