CN114581914A - 一种雾霾环境下的车牌识别方法 - Google Patents
一种雾霾环境下的车牌识别方法 Download PDFInfo
- Publication number
- CN114581914A CN114581914A CN202210100244.1A CN202210100244A CN114581914A CN 114581914 A CN114581914 A CN 114581914A CN 202210100244 A CN202210100244 A CN 202210100244A CN 114581914 A CN114581914 A CN 114581914A
- Authority
- CN
- China
- Prior art keywords
- license plate
- image
- defogging
- network
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 238000000605 extraction Methods 0.000 claims abstract description 29
- 238000012545 processing Methods 0.000 claims abstract description 19
- 238000001514 detection method Methods 0.000 claims abstract description 12
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 16
- 238000013528 artificial neural network Methods 0.000 claims description 10
- 238000005457 optimization Methods 0.000 claims description 9
- 230000003993 interaction Effects 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 6
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 4
- 239000006185 dispersion Substances 0.000 claims description 4
- 238000003064 k means clustering Methods 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 4
- 230000008447 perception Effects 0.000 claims description 4
- 230000011218 segmentation Effects 0.000 claims description 4
- 238000002834 transmittance Methods 0.000 claims description 4
- 238000012937 correction Methods 0.000 claims description 2
- 230000005764 inhibitory process Effects 0.000 claims description 2
- 238000013527 convolutional neural network Methods 0.000 abstract 1
- 238000011084 recovery Methods 0.000 abstract 1
- 230000000694 effects Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000006872 improvement Effects 0.000 description 3
- 238000005034 decoration Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种雾霾环境下的车牌识别方法，其目的在于在雾霾环境下，减小雾霾对图像中车牌的边界和特征的影响，从而正确识别车牌。首先使用基于大气光值局部估计的暗通道先验算法对模糊图像进行初步去雾。然后对图像进行进一步去雾处理，在目标检测卷积神经网络的基础上，通过联合去雾和区域提取模型JFRM检测车牌区域，极大地降低了图像恢复的失真，准确地提取了车牌去雾的图像。最后，通过卷积增强的SRCNN实现图像超分辨率，从而可以成功识别车牌字符。本发明提高了雾霾环境下车牌识别的准确性。
Description
技术领域
本发明涉及一种车牌识别方法，特别是一种雾霾环境下的车牌识别方法。
背景技术
随着经济的快速发展和城市规模不断扩大，交通***已成为现代社会不可或缺的组成部分。车牌是对各车辆的编号与信息登记，其主要作用是通过车牌可以知道该车辆的所属地区，也可根据车牌查到该车辆的主人以及该车辆的登记信息。
车牌识别技术可以自动地识别车牌并区分车辆。车牌识别技术被广泛用于车辆跟踪、交通拥堵监控、城市街道管理和收费道路电子收费等应用。
然而在雾霾天气越来越严重的情况下，雾霾严重模糊了车牌的边界和特征，使得车牌难以被发现和识别。现有的车牌识别技术大多基于特征提取技术，由于雾霾干扰使得图像模糊性致使特征提取非常困难。
发明内容
发明目的：本发明所要解决的技术问题是针对现有技术的不足，提供一种雾霾环境下的车牌识别方法。
为了解决上述技术问题，本发明公开了一种雾霾环境下的车牌识别方法，包括：
步骤1，改进暗通道先验算法，对模糊图像进行初步去雾，得到初步去雾图像；
步骤2，通过带有卷积网络的联合去雾和区域提取模型，对初步去雾图像进一步去雾处理，得到车牌去雾图像；
步骤3，通过带有卷积网络的联合去雾和区域提取模型，进行区域提取，在车牌去雾图像中提取车牌边界框，并对边界框位置进行校正，得到校正图像；
步骤4，对校正图像进行超采样处理，得到高分辨率图像；
步骤5，采用连通域方法和模板匹配方法，对高分辨率图像进行字符分割，并采用人工神经网络进行字符识别，最终完成雾霾环境下的车牌识别。
本发明中步骤1包括：
步骤1-1，区域划分，将每幅图像分成几个不同雾浓度的区域；
步骤1-2，区域处理，分别对不同雾浓度的区域进行处理。
本发明中步骤1-1所述区域划分包括：
对图像进行灰度处理，灰度值代表每个像素的亮度；
计算每个像素的暗通道值，以每一个像素为中心取设定大小的矩形窗口，取矩形窗口中灰度值最小值代替中心像素灰度值，得到该像素的暗通道值；
采用k-means聚类算法将像素点划分为不同的雾浓度区域。
本发明中步骤1-2所述区域处理包括：进行区域划分后，在每个区域中选择暗通道图像灰度值最大的0.1％的像素，取最大亮度作为该区域的区域大气光成分A；计算透光率t，方法如下：
其中，ω是修正因子，I是待去雾的图像，上标c表示RGB三通道的某一通道，A 是区域大气光成分，Ω(x)表示以像素x为中心的一个窗口，y是窗口中的一个像素；
再根据如下方法得到重建图像：
I(x)＝J(x)·t(x)+A·[1-t(x)]
其中，I(x)是已有的带雾图像，J(x)是期望的无雾图像，A是全球大气光成分，t(x)为透射率。
本发明步骤2中所述的带有卷积网络的联合去雾和区域提取模型JFRM，由三个模块组成：多尺度密集连接去雾优化网络；特征提取骨干网络；特征交互检测网络；
其中，通过多尺度密集连接去雾优化网络对初步去雾图像进一步去雾处理；在多尺度密集连接去雾优化网络中，添加过滤器形成多尺度特征，并结合卷积层和连接层补偿缺失的卷积过程中的信息；添加残差块加深对图像中雾霾结构的感知，准确捕捉不同深度物体的边界细节；从而得到车牌去雾图像。
本发明中步骤3包括，通过带有卷积网络的联合去雾和区域提取模型JFRM进行区域提取，得到车牌边界框，方法包括：
在特征提取骨干网络中，以YOLOv3中的Darknet-53网络作为特征提取的网络结构；该网络结合卷积层和残差块；残差块在不改变输入图像和输出图像的大小的情况下产生残差结果；残差块控制梯度的传播，避免梯度弥散问题；
在特征交互检测网络中，采用YOLOv3中的yolo层与Darknet-53多次下采样提取的特征进行交互；将五次下采样的最后三个特征输出映射到三个不同尺度的yolo层；最小尺度的特征图尺寸为13*13，中尺度的特征图尺寸为26*26，特征图尺寸为最大比例为52*52；三个不同尺度的yolo层应用一个1*1的卷积核产生一个输出。
本发明中步骤3包括：采用一种非极大值抑制方法来消除重叠的边界框，通过交并比计算预测边框和真实边框的交集和并集的比值，具体方法如下：
步骤3-1，遍历车牌去雾图像和从每个图像中提取的边界框，对于每幅图像，计算其任意两个边界框bi和bj之间的交并比值IoU，比较置信度分数Score，并执行步骤 3-2和步骤3-3；
步骤3-2，将标志flag初始化为0；
步骤3-3，当交并比值IoU(bi,bj)大于等于门限值且边界框bi的置信度分数Score(bi)大于等于边界框bj的置信度分数Score(bj)时，删除边界框bj及其置信度分数；否则，删除边界框bi及其置信度分数；将标志flag设置为1；
步骤3-5，输出最优边界框及其置信度分数。
本发明步骤3中：对于倾斜的车牌，采用WPOD-NET校正边界框的位置；首先设定一个固定大小的矩形角框围绕一个像素的中心，如果这个像素的物体概率大于预设的检测阈值，则利用回归参数构建仿射矩阵，将矩形框转换为倾斜的车牌区域；如果小于则不进行处理。
本发明骤4中，使用卷积增强的超分辨率神经网络SRCNN获取高分辨率图像，首先通过双三次插值将图像调整到目标尺寸，然后通过卷积层完成非线性映射；卷积增强的SRCNN模型结构有6层，增加第一层卷积的核大小；在第3层到第5层，连续执行不同尺寸的卷积核进一步提取特征，第6层通过5*5*1的卷积核重构映射特征并生成高分辨率图像。
本发明步骤5中：执行高斯模糊、灰度处理和大津二值化，除去噪声伪影；利用连通域法获得可能的字符列表和字母数字的连通域；将这些可能的字符与车牌字符进行匹配，除去轮廓内的重叠字符；将字符分割成一系列的单字符块，采用人工神经网络识别车牌字符，最终完成雾霾环境下的车牌识别。
有益效果：为了减少雾霾干扰，提出了一种雾霾环境下的车牌识别方法，并提出JFRM模型，大大减少了累积误差造成的图像重建失真，准确提取去雾图像的车牌。通过卷积增强的SRCNN实现图像超分辨率，从而可以成功识别车牌字符。仿真结果表明我们的方法可以提高雾霾环境下车牌识别的准确性。
附图说明
下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述和/ 或其他方面的优点将会变得更加清楚。
图1为本方法的总体流程图。
图2为改进暗通道先验算法初步去雾的效果图。
图3为处理倾斜的车牌的效果图。
图4为图像进行超采样处理的效果图。
图5为采用本发明方法进行车牌识别的效果图。
具体实施方式
本发明提供了一种雾霾环境下的车牌识别方法，其目的在于在雾霾环境下，减小雾霾对车牌的边界和特征的影响，正确的识别车牌字符。
一种雾霾环境下的车牌识别方法，如图1所示，包括以下步骤：
步骤一：改进暗通道先验算法，对模糊图像进行初步去雾。
步骤二：通过联合去雾对图像进行进一步去雾处理，获得车牌去雾的图像。
步骤三：通过区域提取模型提取的边界框，并对边界框位置进行校正。
步骤四：对图像进行超采样处理，获取高分辨率图像。
步骤五：利用连通域方法和模板匹配方法来实现字符分割，然后采用人工神经网络来实现字符识别。
所述的一种雾霾环境下的车牌识别技术，所述的步骤一中，将每幅图像分成几个不同雾浓度的区域，然后分别对不同雾浓度的区域进行处理。
在区域划分中，包括以下步骤：
首先，我们对图像进行灰度处理，这些灰度值代表了每个像素的亮度。
然后，我们计算每个像素的暗通道值，以每一个像素为中心取一定大小的矩形窗口，取矩形窗口中灰度值最小值代替中心像素灰度值，从而得到该像素的暗通道值。。
最后采用k-means聚类算法自动将像素点划分为不同的雾浓度区域。
在区域处理中，对雾集中区域进行划分后，在每个区域中，我们选择暗通道图像灰度值最大的0.1％的像素，取最大亮度作为该区域的区域大气光成分A。通过
计算透光率t，再根据
得到重建图像。
所述的一种雾霾环境下的车牌识别技术，所述的步骤二中，本发明提出一个带有卷积网络的联合去雾和区域提取模型(JFRM)，它由三个模块组成：多尺度密集连接去雾优化网络；特征提取骨干网络；特征交互检测网络。
在多尺度密集连接去雾优化网络中，我们添加了一些过滤器来形成多尺度特征，同时结合卷积层和连接层来补偿缺失的卷积过程中的信息。我们添加了一些残差块来加深对图像中雾霾结构的感知，从而准确捕捉到不同深度物体的边界细节。
在特征提取骨干网络中，以YOLOv3中的Darknet-53网络(参考：J.RedmonandA.Farhadi，YOLOv3:An Incremental Improvement)作为特征提取的主要网络结构。该网络结合了卷积层和残差块。残差块将在不改变输入图像和输出图像的大小的情况下产生残差结果。残差块可以控制梯度的传播，避免梯度分散和梯度的一些问题。
在特征交互检测中，我们使用YOLOv3中的yolo层与Darknet-53多次下采样提取的特征进行交互。将五次下采样的最后三个特征输出映射到三个不同尺度的yolo层。最小尺度的特征图尺寸为13*13，中尺度的特征图尺寸为26*26，特征图尺寸为最大比例为52*52。这样，三个不同尺度的yolo层可以应用一个1*1的卷积核来产生一个类似于全连接层的输出。
所述的一种雾霾环境下的车牌识别技术，所述的步骤三中，使用了一种非极大值抑制算法来消除重叠的边界框。IoU的全称为交并比(Intersection over Union)，计算的是“预测的边框”和“真实的边框”的交集和并集的比值。算法描述如下：
步骤3.1：遍历去雾图像和从每个图像中提取的边界框。对于每幅图像，计算其任意两个边界框(bi,bj)之间的IoU值，比较置信度分数Score。
步骤3.2：将标志flag初始化为0。
步骤3.3：当IoU(bi,bj)≥门限值且Score(bi)≥Score(bj)时，删除bj及其置信度；否则，bi及其置信度分数将被删除。flag设置为1。然后，在其他两个边界框中，计算IOU值，比较置信度。
步骤3.4：输出最优边界框及其置信度分数
对于倾斜的车牌，边界框不准确。因此，引入了WPOD-NET来校正边界框的位置(参考：S.M.Silva and C.R.Jung，License Plate Detection and Recognition inUnconstrained Scenarios)，如图5所示。WPOD-NET中引入了空间变换器网络的特性，可用于检测非矩形区域。
对于倾斜的车牌，我们首先考虑一个固定大小的矩形角框围绕一个像素的中心，如果这个像素的物体概率大于预设的检测阈值，则利用一些回归参数来构建仿射矩阵，将矩形框转换为倾斜的车牌区域。
所述的一种雾霾环境下的车牌识别技术，所述的步骤四中，使用卷积增强的SRCNN来获取高分辨率图像。对于低分辨率图像，SRCNN首先通过双三次插值将图像调整到目标尺寸，然后通过卷积层完成非线性映射。卷积增强的SRCNN的结构有6层，其中增加了第一层卷积的核大小。在第3层到第5层，连续执行不同尺寸的卷积核以进一步提取特征，第6层通过5*5*1的卷积核重构映射特征并生成高分辨率图像。SRCNN可以参考Chao Dong，ChenChange Loy的“Image Super-Resolution Using Deep Convolutional Networks”
所述的一种雾霾环境下的车牌识别技术，所述的步骤五中，在字符识别步骤中，我们专注于包含我们想要识别的字母数字的区域，而丢弃其他区域。首先，执行高斯模糊、灰度处理和大津二值化，除去可能的噪声伪影。
其次，利用连通域法获得可能的字符列表和字母数字的连通域。然后将这些可能的字符与车牌字符进行匹配，除去轮廓内的重叠字符。最后，字符被分割成一系列的单字符块，依靠人工神经网络来识别车牌字符
本发明具有以下优点及有益效果：为了减少雾霾干扰，首先研究了一种雾浓度去雾方法，并提出JFRM模型，大大减少了累积误差造成的图像重建失真，准确提取去雾图像的车牌。通过卷积增强的SRCNN实现图像超分辨率，从而可以成功识别车牌字符。仿真结果表明我们的方法可以提高雾霾环境下车牌识别的准确性。
实施例
为使本发明的内容更加明显易懂，通过特定的具体实例说明本发明的实施方式。
将真实车辆图像作为数据集。这些图像包括各种自然场景(如白天、夜间)，共计3000张图像。通过添加噪声、旋转等图像处理，图像数量可以增加到12000张。通过手工标注得到车牌特征的xml文件。此外，将300张带有运动模糊的图像作为卷积增强SRCNN的数据集。
采用改进暗通道先验算法，对模糊图像进行初步去雾，可以产生更好的还原图像。
在区域划分中，包括以下步骤：
首先，我们对图像进行灰度处理，这些灰度值代表了每个像素的亮度。
然后，我们计算每个像素的暗通道值，以每一个像素为中心取一定大小的矩形窗口，取矩形窗口中灰度值最小值代替中心像素灰度值，从而得到该像素的暗通道值。
最后采用k-means聚类算法自动将像素点划分为不同的雾浓度区域。
在区域处理中，对雾集中区域进行划分后，在每个区域中，我们选择暗通道图像灰度值最大的0.1％的像素，取最大亮度作为该区域的区域大气光成分A。通过计算透光率t，再根据得到重建图像，如图2所示，左边为去雾前的图像，右边为去雾后的图像。
通过联合去雾对图像进行进一步去雾处理，获得车牌去雾的图像。
在多尺度密集连接去雾优化网络中，我们添加了一些过滤器来形成多尺度特征，同时结合卷积层和连接层来补偿缺失的卷积过程中的信息。我们添加了一些残差块来加深对图像中雾霾结构的感知，从而准确捕捉到不同深度物体的边界细节
在特征提取骨干网络中，以YOLOv3中的Darknet-53网络作为特征提取的主要网络结构。该网络结合了卷积层和残差块。残差块将在不改变输入图像和输出图像的大小的情况下产生残差结果。残差块可以控制梯度的传播，避免梯度分散和梯度的一些问题。
在特征交互检测中，我们使用yolo层与Darknet-53多次下采样提取的特征进行交互。将五次下采样的最后三个特征输出映射到三个不同尺度的yolo层。最小尺度的特征图尺寸为13*13，中尺度的特征图尺寸为26*26，特征图尺寸为最大比例为52*52。这样，三个不同尺度的yolo层可以应用一个1*1的卷积核来产生一个类似于全连接层的输出。
通过区域提取模型提取的边界框，并对边界框位置进行校正。
对于倾斜的车牌，如图3所示，我们首先考虑一个固定大小的矩形角框围绕一个像素的中心，如果这个像素的物体概率大于预设的检测阈值，则利用一些回归参数来构建仿射矩阵，将矩形框转换为倾斜的车牌区域。
对图像进行超采样处理，如图4所示。对于低分辨率图像，SRCNN首先通过双三次插值将图像调整到目标尺寸，然后通过卷积层完成非线性映射。卷积增强的SRCNN 的结构有6层，其中增加了第一层卷积的核大小，将其设置为11。在第3层到第5层，连续执行不同尺寸的卷积核以进一步提取特征，第6层通过5*5*1的卷积核重构映射特征并生成高分辨率图像。
利用连通域方法和模板匹配方法来实现字符分割，然后采用人工神经网络来实现字符识别。
首先，执行高斯模糊、灰度处理和大津二值化，除去可能的噪声伪影。
其次，利用连通域法获得可能的字符列表和字母数字的连通域。然后将这些可能的字符与车牌字符进行匹配，除去轮廓内的重叠字符。最后，字符被分割成一系列的单字符块，依靠人工神经网络来识别车牌字符。识别效果如图5所示。
本发明提供了一种雾霾环境下的车牌识别方法的思路及方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。
Claims (10)
1.一种雾霾环境下的车牌识别方法，其特征在于，包括以下步骤：
步骤1，改进暗通道先验算法，对模糊图像进行初步去雾，得到初步去雾图像；
步骤2，通过带有卷积网络的联合去雾和区域提取模型，对初步去雾图像进一步去雾处理，得到车牌去雾图像；
步骤3，通过带有卷积网络的联合去雾和区域提取模型，进行区域提取，在车牌去雾图像中提取车牌边界框，并对边界框位置进行校正，得到校正图像；
步骤4，对校正图像进行超采样处理，得到高分辨率图像；
步骤5，采用连通域方法和模板匹配方法，对高分辨率图像进行字符分割，并采用人工神经网络进行字符识别，最终完成雾霾环境下的车牌识别。
2.根据权利要求1所述的一种雾霾环境下的车牌识别方法，其特征在于，步骤1包括：
步骤1-1，区域划分，将每幅图像分成几个不同雾浓度的区域；
步骤1-2，区域处理，分别对不同雾浓度的区域进行处理。
3.根据权利要求2所述的一种雾霾环境下的车牌识别方法，其特征在于，步骤1-1所述区域划分包括：
对图像进行灰度处理，灰度值代表每个像素的亮度；
计算每个像素的暗通道值，以每一个像素为中心取设定大小的矩形窗口，取矩形窗口中灰度值最小值代替中心像素灰度值，得到该像素的暗通道值；
采用k-means聚类算法将像素点划分为不同的雾浓度区域。
4.根据权利要求3所述的一种雾霾环境下的车牌识别方法，其特征在于，步骤1-2所述区域处理包括：进行区域划分后，在每个区域中选择暗通道图像灰度值最大的0.1％的像素，取最大亮度作为该区域的区域大气光成分A；计算透光率t，方法如下：
其中，ω是修正因子，I是待去雾的图像，上标c表示RGB三通道的某一通道，A是区域大气光成分，Ω(x)表示以像素x为中心的一个窗口，y是窗口中的一个像素；
再根据如下方法得到重建图像：
I(x)＝J(x)·t(x)+A·[1-t(x)]
其中，I(x)是已有的带雾图像，J(x)是期望的无雾图像，A是全球大气光成分，t(x)为透射率。
5.根据权利要求4所述的一种雾霾环境下的车牌识别方法，其特征在于，步骤2中所述的带有卷积网络的联合去雾和区域提取模型JFRM，由三个模块组成：多尺度密集连接去雾优化网络；特征提取骨干网络；特征交互检测网络；
其中，通过多尺度密集连接去雾优化网络对初步去雾图像进一步去雾处理；在多尺度密集连接去雾优化网络中，添加过滤器形成多尺度特征，并结合卷积层和连接层补偿缺失的卷积过程中的信息；添加残差块加深对图像中雾霾结构的感知，准确捕捉不同深度物体的边界细节；从而得到车牌去雾图像。
6.根据权利要求5所述的一种雾霾环境下的车牌识别方法，其特征在于，步骤3包括，通过带有卷积网络的联合去雾和区域提取模型JFRM进行区域提取，得到车牌边界框，方法包括：
在特征提取骨干网络中，以YOLOv3中的Darknet-53网络作为特征提取的网络结构；该网络结合卷积层和残差块；残差块在不改变输入图像和输出图像的大小的情况下产生残差结果；残差块控制梯度的传播，避免梯度弥散问题；
在特征交互检测网络中，采用YOLOv3中的yolo层与Darknet-53多次下采样提取的特征进行交互；将五次下采样的最后三个特征输出映射到三个不同尺度的yolo层；最小尺度的特征图尺寸为13*13，中尺度的特征图尺寸为26*26，特征图尺寸为最大比例为52*52；三个不同尺度的yolo层应用一个1*1的卷积核产生一个输出。
7.根据权利要求6所述的一种雾霾环境下的车牌识别方法，其特征在于，步骤3包括：采用一种非极大值抑制方法来消除重叠的边界框，通过交并比计算预测边框和真实边框的交集和并集的比值，具体方法如下：
步骤3-1，遍历车牌去雾图像和从每个图像中提取的边界框，对于每幅图像，计算其任意两个边界框bi和bj之间的交并比值IoU，比较置信度分数Score，并执行步骤3-2和步骤3-3；
步骤3-2，将标志flag初始化为0；
步骤3-3，当交并比值IoU(bi,bj)大于等于门限值且边界框bi的置信度分数Score(bi)大于等于边界框bj的置信度分数Score(bj)时，删除边界框bj及其置信度分数；否则，删除边界框bi及其置信度分数；将标志flag设置为1；
步骤3-5，输出最优边界框及其置信度分数。
8.根据权利要求7所述的一种雾霾环境下的车牌识别方法，其特征在于，步骤3中：对于倾斜的车牌，采用WPOD-NET校正边界框的位置；首先设定一个固定大小的矩形角框围绕一个像素的中心，如果这个像素的物体概率大于预设的检测阈值，则利用回归参数构建仿射矩阵，将矩形框转换为倾斜的车牌区域；如果小于则不进行处理。
9.根据权利要求8所述的一种雾霾环境下的车牌识别方法，其特征在于，步骤4中，使用卷积增强的超分辨率神经网络SRCNN获取高分辨率图像，首先通过双三次插值将图像调整到目标尺寸，然后通过卷积层完成非线性映射；卷积增强的SRCNN模型结构有6层，增加第一层卷积的核大小；在第3层到第5层，连续执行不同尺寸的卷积核进一步提取特征，第6层通过5*5*1的卷积核重构映射特征并生成高分辨率图像。
10.根据权利要求9所述的一种雾霾环境下的车牌识别方法，其特征在于，步骤5中：执行高斯模糊、灰度处理和大津二值化，除去噪声伪影；利用连通域法获得可能的字符列表和字母数字的连通域；将这些可能的字符与车牌字符进行匹配，除去轮廓内的重叠字符；将字符分割成一系列的单字符块，采用人工神经网络识别车牌字符，最终完成雾霾环境下的车牌识别。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210100244.1A CN114581914A (zh) | 2022-01-27 | 2022-01-27 | 一种雾霾环境下的车牌识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210100244.1A CN114581914A (zh) | 2022-01-27 | 2022-01-27 | 一种雾霾环境下的车牌识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114581914A true CN114581914A (zh) | 2022-06-03 |
Family
ID=81772714
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210100244.1A Pending CN114581914A (zh) | 2022-01-27 | 2022-01-27 | 一种雾霾环境下的车牌识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114581914A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115861996A (zh) * | 2023-02-16 | 2023-03-28 | 青岛新比特电子科技有限公司 | 基于物联感知与ai神经网络的数据采集方法及*** |
| CN116403094A (zh) * | 2023-06-08 | 2023-07-07 | 成都菁蓉联创科技有限公司 | 一种嵌入式图像识别方法及*** |
-
2022
- 2022-01-27 CN CN202210100244.1A patent/CN114581914A/zh active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115861996A (zh) * | 2023-02-16 | 2023-03-28 | 青岛新比特电子科技有限公司 | 基于物联感知与ai神经网络的数据采集方法及*** |
| CN116403094A (zh) * | 2023-06-08 | 2023-07-07 | 成都菁蓉联创科技有限公司 | 一种嵌入式图像识别方法及*** |
| CN116403094B (zh) * | 2023-06-08 | 2023-08-22 | 成都菁蓉联创科技有限公司 | 一种嵌入式图像识别方法及*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wang et al. | Fast image dehazing method based on linear transformation | |
| CN108921799B (zh) | 基于多尺度协同学习卷积神经网络的遥感图像薄云去除方法 | |
| CN104794688B (zh) | 基于深度信息分离天空区域的单幅图像去雾方法及装置 | |
| CN106157267B (zh) | 一种基于暗通道先验的图像去雾透射率优化方法 | |
| CN107301623B (zh) | 一种基于暗通道和图像分割的交通图像去雾方法及*** | |
| CN104036466B (zh) | 一种视频去雾方法与*** | |
| CN108416292B (zh) | 一种基于深度学习的无人机航拍图像道路提取方法 | |
| CN114581914A (zh) | 一种雾霾环境下的车牌识别方法 | |
| CN102665034A (zh) | 一种针对摄像机采集视频的夜间效果去除方法 | |
| CN110060221B (zh) | 一种基于无人机航拍图像的桥梁车辆检测方法 | |
| CN109903250B (zh) | 基于多尺度梯度域对比度拉伸的水下图像清晰化处理方法 | |
| CN114092917B (zh) | 一种基于mr-ssd的被遮挡交通标志检测方法及*** | |
| CN108022225A (zh) | 基于快速导向滤波改进的暗通道先验图像去雾算法 | |
| CN102999890B (zh) | 基于环境因素的图像光线强度动态校正方法 | |
| CN107944354A (zh) | 一种基于深度学习的车辆检测方法 | |
| CN116883868A (zh) | 基于自适应图像去雾的无人机智能巡航检测方法 | |
| CN113362375A (zh) | 用于车辆的运动目标检测方法 | |
| CN104253994B (zh) | 一种基于稀疏编码融合的夜间监控视频实时增强方法 | |
| CN105335704B (zh) | 一种基于双线性插值的车道线识别方法与装置 | |
| CN111027564A (zh) | 基于深度学习一体化的低照度成像车牌识别方法及装置 | |
| CN102254306B (zh) | 一种基于图像简化分层模型的实时图像去雾方法 | |
| CN113627481A (zh) | 一种面向智慧园林的多模型组合的无人机垃圾分类方法 | |
| CN110400270B (zh) | 一种利用图像分解和多重校正融合的车牌去雾方法 | |
| Ding et al. | Restoration of single sand-dust image based on style transformation and unsupervised adversarial learning | |
| CN110738624B (zh) | 一种区域自适应的图像去雾***及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |