CN111639542A - 车牌识别方法、装置、设备和介质 - Google Patents

车牌识别方法、装置、设备和介质 Download PDF

Info

Publication number
CN111639542A
CN111639542A CN202010372209.6A CN202010372209A CN111639542A CN 111639542 A CN111639542 A CN 111639542A CN 202010372209 A CN202010372209 A CN 202010372209A CN 111639542 A CN111639542 A CN 111639542A
Authority
CN
China
Prior art keywords
image
license plate
foggy
model
edge gradient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010372209.6A
Other languages
English (en)
Inventor
刘泉
丁婷
严署明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
China Mobile Xiongan ICT Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
China Mobile Xiongan ICT Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, China Mobile Xiongan ICT Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN202010372209.6A priority Critical patent/CN111639542A/zh
Publication of CN111639542A publication Critical patent/CN111639542A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了车牌识别方法、装置、设备和介质。该方法包括：获取在有雾环境中对目标车牌拍摄得到待识别图像；将所述待识别图像输入预先训练的生成式对抗网络，得到与所述待识别图像对应的边缘梯度图像；从所述边缘梯度图像中确定所述目标车牌对应的目标区域图像；从所述目标区域图像中识别所述目标车牌的字符。根据本发明实施例提供的车牌识别方法、装置、设备和介质，可以提高车牌识别准确率。

Description

车牌识别方法、装置、设备和介质
技术领域
本发明涉及通信领域，尤其涉及车牌识别方法、装置、设备和介质。
背景技术
车牌识别是计算机视频图像识别技术在车辆牌照识别中的一种应用，车牌识别技术要求能够将运动中的汽车牌照从复杂背景中提取并识别出来，并能够识别车辆牌号等信息。
然而，在有雾环境中采集的图像中车辆牌照会受到雾气等的遮掩和干扰，识别准确率较低。
发明内容
本发明实施例提供的车牌识别方法、装置、设备和介质，可以提高车牌识别准确率。
第一方面，提供一种车牌识别方法，包括：获取在有雾环境中对目标车牌拍摄得到待识别图像；将待识别图像输入预先训练的生成式对抗网络，得到与待识别图像对应的边缘梯度图像；从边缘梯度图像中确定目标车牌对应的目标区域图像；从目标区域图像中识别目标车牌的字符。
在一种可选的实施方式中，方法还包括：利用多张包含车牌的有雾图像样本和分别与多张有雾图像样本一一对应的第一边缘梯度图像，对生成式对抗网络进行训练。
在一种可选的实施方式中，方法还包括：获取多张包含车牌的有雾图像样本和分别与多张有雾图像样本一一对应的无雾图像样本；对每张有雾图像样本对应的无雾图像样本进行图像增强处理，得到增强处理后的无图图像样本；提取增强处理后的无雾图像样本中的各像素点的边缘梯度特征，得到与每张有雾图像样本对应的第一边缘梯度图像。
在一种可选的实施方式中，生成式对抗网络包括图像生成模型和图像判别模型，方法还包括：获取多张包含车牌的有雾图像样本和分别与多张有雾图像样本一一对应的第二边缘梯度图像；针对多张包含车牌的有雾图像样本中的每一有雾图像样本，执行下述操作：将每一有雾图像样本输入图像生成模型，得到与每一有雾图像样本对应的第一边缘梯度图像；基于每一有雾图像样本的第一边缘梯度图像和第二边缘梯度图像，计算得到每一有雾图像样本的加权总损失值；依据加权总损失值，对图像生成模型的网络参数和图像判别模型的网络参数进行调整。
在一种可选的实施方式中，依据加权总损失值，对图像生成模型的网络参数和图像判别模型的网络参数进行调整，包括：在保持图像生成模型的网络参数不变的条件下，调整图像判别模型的网络参数，使得加权总损失值达到最小值；根据图像判别模型和第一边缘梯度图像的真实度判别结果，对图像生成模型的网络参数进行调整，直到判别模块达到纳什平衡。
在一种可选的实施方式中，生成式对抗网络包括图像生成模型和图像判别模型，方法还包括：构建图像生成模型，图像生成模型包括依次排列的第一归一化层、第一卷积层、第二归一化层、第二卷积层、第三归一化层、第三卷积层、第四归一化层和第四卷积层；构建图像判别模型，图像判别模型包括依次排列的第五卷积层、第六卷积层、第五归一化层、第七卷积层、第六归一化层、第八卷积层、第七归一化层和谱归一化层；将第四卷积层与第五卷积层相连接，得到生成式对抗网络。
第二方面，提供一种车牌识别装置，包括：第一图像获取模块，用于获取在有雾环境中对目标车牌拍摄得到待识别图像；第一图像处理模块，用于将待识别图像输入预先训练的生成式对抗网络，得到与待识别图像对应的边缘梯度图像；第二图像处理模块，用于在边缘梯度图像中确定目标车牌对应的目标区域图像；车牌识别模块，用于在目标区域图像中识别出目标车牌的字符。
在一种可选的实施方式中，装置还包括：模型训练模块，用于利用多张包含车牌的有雾图像样本和分别与多张有雾图像样本一一对应的边缘梯度图像，对生成式对抗网络进行训练。
在一种可选的实施方式中，装置还包括：第二图像获取模块，用于获取多张包含车牌的有雾图像样本和分别与多张有雾图像样本一一对应的无雾图像样本；第三图像处理模块，用于对每张有雾图像样本对应的无雾图像样本进行图像增强处理，得到与每张有雾图像样本对应的第一边缘梯度图像。
在一种可选的实施方式中，生成式对抗网络包括图像生成模型和图像判别模型，装置还包括：第三图像获取模块，用于获取多张包含车牌的有雾图像样本和分别与多张有雾图像样本一一对应的第二边缘梯度图像；模型训练模块，用于针对多张包含车牌的有雾图像样本中的每一有雾图像样本，执行下述操作：将每一有雾图像样本输入图像生成模型，得到与每一有雾图像样本对应的第一边缘梯度图像；基于每一有雾图像样本的第一边缘梯度图像和第二边缘梯度图像，计算得到每一有雾图像样本的加权总损失值；依据加权总损失值，对图像生成模型的网络参数和图像判别模型的网络参数进行调整。
在一种可选的实施方式中，模型训练模块具体用于：在保持图像生成模型的网络参数不变的条件下，调整图像判别模型的网络参数，使得加权总损失值达到最小值；根据图像判别模型对第一边缘梯度图像的真实度判别结果，对图像生成模型的网络参数进行调整，直到判别模块达到纳什平衡。
在一种可选的实施方式中，生成式对抗网络包括图像生成模型和图像判别模型，装置还包括：第一模型构建模块，用于构建图像生成模型，图像生成模型包括依次排列的第一归一化层、第一卷积层、第二归一化层、第二卷积层、第三归一化层、第三卷积层、第四归一化层和第四卷积层；第二模型构建模块，用于构建图像判别模型，图像判别模型包括依次排列的第五卷积层、第六卷积层、第五归一化层、第七卷积层、第六归一化层、第八卷积层、第七归一化层和谱归一化层；模型获取模块，用于将第四卷积层与第五卷积层相连接，得到生成式对抗网络。
第三方面，提供一种车牌识别设备，包括：存储器，用于存储程序；
处理器，用于运行存储器中存储的程序，以执行第一方面或第一方面的任一可选的实施方式提供的车牌识别方法。
第四方面，提供一种计算机存储介质，计算机存储介质上存储有计算机程序指令，计算机程序指令被处理器执行时实现第一方面或第一方面的任一可选的实施方式提供的车牌识别方法。
根据本发明实施例中的车牌识别方法、装置、设备和介质，可以利用生成式对抗网络对待识别图像进行处理，得到与待识别图像对应的边缘梯度图像，并基于该边缘梯度图像，识别目标车牌的字符。考虑到有雾环境中拍摄得到的待识别图像中目标车牌图像可能被雾气、烟、霾等遮掩，生成式对抗网络可以对待识别图像中进行图像增强，降低了雾气、烟、霾等对图像的影响，因此提高了识别精度。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种车牌识别方法的流程示意图；
图2是本发明实施例提供的一种车牌识别装置的结构示意图；
图3是本发明实施例提供的一种车牌识别设备的示例性硬件架构的结构图。
具体实施方式
下面将详细描述本发明的各个方面的特征和示例性实施例，为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细描述。应理解，此处所描述的具体实施例仅被配置为解释本发明，并不被配置为限定本发明。对于本领域技术人员来说，本发明可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本发明的示例来提供对本发明更好的理解。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
在对车牌进行识别的过程，车牌可能会因为烟雾等的遮挡而影响识别精度。因此，需要一种能够在有雾的环境中识别车牌的技术方案，以提高车牌识别精度。
在一种可行的车牌识别方案中，可以对采集的图像进行去雾处理。具体地，可以采用暗通道先验去雾法对拍摄到的雾天汽车图像进行去雾处理。其中采用的暗通道先验图像去雾法的具体步骤包括：第一步骤、将输入的雾天汽车图像分成15*15的色块，求取局部和全局的暗原色图。第二步骤、假定大气光成分已知，通过暗通道先验理论预估大气透射率。第三步骤、利用暗通道先验估计大气光成分。第四步骤、复原出无雾图像。第五步骤、使用多尺度Retinex算法对复原无雾图像进行图像增强和彩色图像恢复。第六步骤、将去雾后图像J分解为R、G、B三幅灰度图像，并分别进行增强。第七步骤、通过多尺度Retinex算法将三幅灰度图像进行合并，得到增强后的图像。
然而，暗通道先验去雾算法是基于假设的先验理论的算法，但先验信息并不充足，各种先验假设在解决某一类问题的同时，经常伴有新的问题产生，人为地分析、寻找精准的先验模型是十分困难的。例如，对于填空区域、与大气颜色相近的物体，若没有阴影覆盖，这种方法的去雾效果是失效的，其三个颜色通道值均较高，会使暗通道值偏大。
此外，该方法中去雾算法和车牌定位算法是分别进行计算的，这种方法造成了重复的计算，导致运算成本增加，计算时间过长。
为了更好的理解本发明，下面将结合附图，详细描述根据本发明实施例的车牌识别方法、装置、设备和介质，应注意，这些实施例并不用来限制本发明公开的范围。
图1是示出根据本发明实施例的车牌识别方法的示意流程图。如图1所示，本实施例中的车牌识别方法100可以包括以下步骤S110至S140。
S110，获取在有雾环境中对目标车牌拍摄得到待识别图像。其中，待识别图像可以是由摄像装置或者监控装置等具有图像采集功能的设备采集得到的。有雾环境可以是雾天、霾天或者其他存在烟雾的环境，对此不做具体限定。
S120，将待识别图像输入预先训练的生成式对抗网络，得到与待识别图像对应的边缘梯度图像。其中，与待识别图像对应的边缘梯度图像包含着各像素点的边缘梯度特征的信息。
针对生成式对抗网络。生成式对抗网络可以通过预先训练，学习有雾图像和边缘梯度图之间的映射关系。利用生成式对抗网络可以得到较为真实的图像边缘梯度图信息，避免了对雾天大气模型等先验信息的依赖，同时降低了图像处理的计算量。
下述部分将对生成式对抗网络做具体说明。
首先，针对生成式对抗网络的具体结构展开具体说明。生成式对抗网络包括图像生成模型和图像判别模型。此时，S120中获取的边缘梯度图像是由图像生成模型输出的。
图像生成模型包括依次排列的第一归一化层、第一卷积层、第二归一化层、第二卷积层、第三归一化层、第三卷积层、第四归一化层和第四卷积层。其中，生成式对抗网络的各层初始参数具体包括：第一卷积层、第二卷积层、第三卷积层、第四卷积层的卷积核的大小均设置为5×5，步长均设置为2，边沿填充方式均设置为SAME。第一归一化层、第二归一化层、第三归一化层的均值都设置为0，方差均设置为1。
图像判别模型包括依次排列的第五卷积层、第六卷积层、第五归一化层、第七卷积层、第六归一化层、第八卷积层、第七归一化层和谱归一化层。
在构建生成式对抗网络时，可以先构建图像生成模型，再构建出图像判别模型，最后将图像生成模型的第四卷积层和图像判别模型的第五卷积层相连接。
其次，针对生成式对抗网络的具体训练步骤说明如下。
在一些实施例中，在使用S120中的生成式对抗网络之前，还包括训练该生成式对抗网络的步骤。具体地，训练步骤具体包括：利用多张包含车牌的有雾图像样本和分别与多张有雾图像样本一一对应的第一边缘梯度图像，对生成式对抗网络进行训练。
在一些实施例中，生成式对抗网络具体包括下述两个步骤。
第一步骤、获取多张包含车牌的有雾图像样本和分别与多张有雾图像样本一一对应的第一边缘梯度图像。
在一个实施例中，步骤一可以具体包括下述三个子步骤。
第一子步骤、获取多张包含车牌的有雾图像样本和分别与多张有雾图像样本一一对应的无雾图像样本。其中，有雾图像中的车牌被雾气、烟、霾等全部或部分遮掩，无图图像中车牌未被雾气、烟、霾等遮掩。示例性的，可以将对同一车牌拍摄的有雾图像和无雾图像作为一组对应的有雾图像样本和无雾图像样本。可选的，对应的有雾图像样本和无雾图像样本中的差别仅在于有无雾气、烟、霾等的遮掩。
在一个具体的实施例中，多张包含车牌的有雾图像样本和分别与多张有雾图像样本一一对应的无雾图像样本可以是通过公开的图像数据集或网络爬虫技术获取的。
此时，由于上述训练数据是通过公开的图像数据集或网络爬虫技术获取的，具备真实性。可以将上述训练数据可以看做是一种先验信息，它是真实数据之间的关系，而不是假设的，因此本申请提案不依赖于假设的先验信息进行去雾，适用范围更广。
第二子步骤、对每张有雾图像样本对应的无雾图像样本进行图像增强处理，得到增强处理后的无图图像样本。其中，图像增强处理技术通过有目的地强调图像的整体或局部特性，可以将原来不清晰的图像变得清晰或强调某些感兴趣的特征，扩大图像中不同物体特征之间的差别，抑制不感兴趣的特征，使之改善图像质量、丰富信息量，加强图像判读和识别效果。例如，图像增强方法可以是对比度增强法或者灰度变换法等。
在一个实施例中，为了进一步提高准确度，可以对增强处理后的无雾图像样本进行进一步的预处理，例如灰度化处理、中值滤波处理等。
第三子步骤、提取增强处理后的无雾图像样本中的各像素点的边缘梯度特征，得到与每张有雾图像样本对应的第一边缘梯度图像。示例性的，可以利用CANNY边缘提取方法等。
第二步骤、针对多张包含车牌的有雾图像样本中的每一有雾图像样本，执行下述三个子步骤。
第一子步骤、将该每一有雾图像样本输入图像生成模型，得到与该每一有雾图像样本对应的第二边缘梯度图像。
第二子步骤、基于该每一有雾图像样本的第一边缘梯度图像和该每一有雾图像样本的第二边缘梯度图像，计算得到该每一有雾图像样本的加权总损失值。
其中，若该每一有雾图像样本为上述作为训练集的多张包含车牌的有雾图像样本中的第i张，则该每一有雾图像样本的加权总损失值满足公式(1)：
Figure BDA0002478746140000081
其中，该每一有雾图像样本为，λ1和λ2分别为第一权重系数和第二权重系数，λ1和λ2是在[0,1]范围内的两个小数，且λ1与λ2之和等于1。
Figure BDA0002478746140000082
表示该每一有雾图像样本的第一边缘梯度图像与第二边缘梯度图像的距离损失值，
Figure BDA0002478746140000083
表示该每一有雾图像样本的第一边缘梯度图像与第二边缘梯度图像的感知损失值。
其中，距离损失值
Figure BDA0002478746140000084
是由公式(2)计算得到：
Figure BDA0002478746140000085
其中，m表示该每一有雾图像样本的通道总数，w和h分别表示该每一有雾图像样本的宽和高，n表示该每一有雾图像样本的像素总数，j表示该每一有雾图像样本的像素的序号，yi,j表示该每一有雾图像样本的第一边缘梯度图像中第j个像素的像素值，xi,j表示该每一有雾图像样本的第二边缘梯度图像中第j个像素的像素值。
其中，感知损失值是由公式(3)计算得到：
Figure BDA0002478746140000091
其中，f表示该每一有雾图像样本对应的深层特征图的通道总数，g和d分别表示该每一有雾图像样本对应的深层特征图的宽和高，u表示该每一有雾图像样本对应的深层特征图的像素总数，k表示该每一有雾图像样本对应的深层特征图中像素的序号,yi,k表示对应于该每一有雾图像样本的第一边缘梯度图像的深层特征图中第k个像素的像素值，xi,k表示该每一有雾图像样本的深层特征图中第k个像素的像素值。
第三子步骤、依据公式(1)获取的加权总损失值，对图像生成模型的网络参数和图像判别模型的网络参数进行调整。
在一个实施例中，参数调整子步骤的具体实施方式如下所示。
首先，在保持图像生成模型的网络参数不变的条件下，调整图像判别模型的网络参数，使得该每一有雾图像样本的加权总损失值达到最小值。
示例性的，可以使用随机梯度下降算法对图像判别模型的网络参数进行调整。
具体地，利用随机梯度下降算法的网络参数的更新公式如公式(4)所示：
θv+1＝θv-L′(θV) (4)
其中,θV+1表示第v+1次更新后的图像判别模型的网络参数，θV表示第v次更新后的图像判别模型的网络参数，L′表示求偏导操作，L′(θV)表示损失值L(θ)在网络参数为θv时的偏导值。
其次，根据图像判别模型和第一边缘梯度图像的真实度判别结果，对图像生成模型的网络参数进行调整，直到判别模块达到纳什平衡。示例性的，判别模块在判别概率为0.5时达到纳什平衡。
S130，从S120获取的边缘梯度图像中确定目标车牌对应的目标区域图像。其中，目标区域图像是目标车牌在边缘梯度图像上所占据的区域。
在一些实施例中，由于拍摄角度、烟雾折射等因素的影响，图像中的目标车牌与真实的车牌在形状上可能会存在一定的偏差。例如，S130确定的目标区域图像可能是非水平的，或者是平行四边形。因此，为了提高识别精度，在获取目标区域图像之后，可以对其进行水平矫正。
S140，从目标区域图像中识别目标车牌的字符。具体地，目标车牌的字符可以包括由汉字、英文、数字中的一种或多种组成的车牌号。
作一个示例，可以用Tesseract引擎(即一种文字识别引擎)从目标区域图像识别出目标车牌的字符。其中，可以使用jTessBoxEditor训练工具对Tesseract引擎进行样本训练，以提高字符识别精度。
根据本发明实施例中的车牌识别方法、装置、设备和介质，可以利用生成式对抗网络对待识别图像进行处理，得到与待识别图像对应的边缘梯度图像，并基于该边缘梯度图像，识别目标车牌的字符。考虑到有雾环境中拍摄得到的待识别图像中目标车牌图像可能被雾气、烟、霾等遮掩，生成式对抗网络可以对待识别图像中进行图像增强，降低了雾气、烟、霾等对图像的影响，因此提高了识别精度。
此外，本发明实施例将大量的运算成本转移到了网络的训练过程中。在实际应用中，只需要直接调用训练好的生成式对抗网络，即可生成包含目标车牌的边缘梯度图，无需通过去雾处理得到无雾清晰图像。因此降低了运算时间并且减少了运算量。
下面结合附图，详细介绍根据本发明实施例的装置。
基于相同的发明构思，本发明实施例提供了一种车牌识别装置。图2是本发明实施例提供的一种车牌识别装置的结构示意图。如图2所示，车牌识别装置200包括第一图像获取模块210、第一图像处理模块220、第二图像处理模块230和车牌识别模块240。
第一图像获取模块210，用于获取在有雾环境中对目标车牌拍摄得到待识别图像。
第一图像处理模块220，用于将待识别图像输入预先训练的生成式对抗网络，得到与待识别图像对应的边缘梯度图像。
第二图像处理模块230，用于在边缘梯度图像中确定目标车牌对应的目标区域图像。
车牌识别模块240，用于在目标区域图像中识别出目标车牌的字符。
在一些实施例中，车牌识别装置200还包括模型训练模块。
其中，模型训练模块用于利用多张包含车牌的有雾图像样本和分别与多张有雾图像样本一一对应的边缘梯度图像，对生成式对抗网络进行训练。
在一些实施例中，车牌识别装置200还包括第二图像获取模块和第三图像处理模块。
其中，第二图像获取模块用于获取多张包含车牌的有雾图像样本和分别与多张有雾图像样本一一对应的无雾图像样本。
第三图像处理模块用于对每张有雾图像样本对应的无雾图像样本进行图像增强处理，得到与每张有雾图像样本对应的第一边缘梯度图像。
在一些实施例中，生成式对抗网络包括图像生成模型和图像判别模型。相应地，车牌识别装置200还包括第三图像获取模块和模型训练模块。
其中，第三图像获取模块用于获取多张包含车牌的有雾图像样本和分别与多张有雾图像样本一一对应的第一边缘梯度图像。
模型训练模块用于针对多张包含车牌的有雾图像样本中的每一有雾图像样本，执行下述操作：将每一有雾图像样本输入图像生成模型，得到与每一有雾图像样本对应的第二边缘梯度图像。基于每一有雾图像样本的第一边缘梯度图像和第二边缘梯度图像，计算得到每一有雾图像样本的加权总损失值。依据加权总损失值，对图像生成模型的网络参数和图像判别模型的网络参数进行调整。
在一些实施例中，模型训练模块具体用于在保持图像生成模型的网络参数不变的条件下，调整图像判别模型的网络参数，使得加权总损失值达到最小值。
以及，模型训练模块还具体用于根据图像判别模型对第一边缘梯度图像的真实度判别结果，对图像生成模型的网络参数进行调整，直到判别模块达到纳什平衡。
在一些实施例中，生成式对抗网络包括图像生成模型和图像判别模型。相应地，车牌识别装置200还可以包括第一模型构建模块、第二模型构建模块和模型获取模块。
其中，第一模型构建模块用于构建图像生成模型。图像生成模型包括依次排列的第一归一化层、第一卷积层、第二归一化层、第二卷积层、第三归一化层、第三卷积层、第四归一化层和第四卷积层。
其中，第二模型构建模块用于构建图像判别模型，图像判别模型包括依次排列的第五卷积层、第六卷积层、第五归一化层、第七卷积层、第六归一化层、第八卷积层、第七归一化层和谱归一化层。
其中，模型获取模块用于将第四卷积层与第五卷积层相连接，得到生成式对抗网络。
根据本发明实施例的车牌识别装置，可以利用生成式对抗网络对待识别图像进行处理，得到与待识别图像对应的边缘梯度图像，并基于该边缘梯度图像，识别目标车牌的字符。考虑到有雾环境中拍摄得到的待识别图像中目标车牌图像可能被雾气、烟、霾等遮掩，生成式对抗网络可以对待识别图像中进行图像增强，降低了雾气、烟、霾等对图像的影响，因此提高了识别精度。
根据本发明实施例的车牌识别装置的其他细节，与以上结合图1所示实例描述的车牌识别方法类似，并能达到其相应的技术效果，为简洁描述，在此不再赘述。
图3是本发明实施例提供的一种车牌识别设备的示例性硬件架构的结构图。
如图3所示，车牌识别设备300包括输入设备301、输入接口302、中央处理器303、存储器304、输出接口305、以及输出设备306。其中，输入接口302、中央处理器303、存储器304、以及输出接口305通过总线310相互连接，输入设备301和输出设备306分别通过输入接口302和输出接口305与总线310连接，进而与车牌识别设备300的其他组件连接。
具体地，输入设备301接收来自外部的输入信息，并通过输入接口302将输入信息传送到中央处理器303；中央处理器303基于存储器304中存储的计算机可执行指令对输入信息进行处理以生成输出信息，将输出信息临时或者永久地存储在存储器304中，然后通过输出接口305将输出信息传送到输出设备306；输出设备306将输出信息输出到车牌识别设备300的外部供用户使用。
也就是说，图3所示的车牌识别设备也可以被实现为包括：存储有计算机可执行指令的存储器；以及处理器，该处理器在执行计算机可执行指令时可以实现结合图2描述的车牌识别设备的方法。
在一个实施例中，图3所示的车牌识别设备300可以被实现为一种设备，该设备可以包括：存储器，用于存储程序；处理器，用于运行存储器中存储的程序，以执行本发明实施例的车牌识别方法。
本发明实施例还提供了一种计算机存储介质，计算机存储介质上存储有计算机程序指令，计算机程序指令被处理器执行时实现本发明实施例的车牌识别方法。
需要明确的是，本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本发明的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本发明的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。
以上的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。
以上，仅为本发明的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的***、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

Claims (14)

1.一种车牌识别方法，其特征在于，所述方法包括：
获取在有雾环境中对目标车牌拍摄得到待识别图像；
将所述待识别图像输入预先训练的生成式对抗网络，得到与所述待识别图像对应的边缘梯度图像；
从所述边缘梯度图像中确定所述目标车牌对应的目标区域图像；
从所述目标区域图像中识别所述目标车牌的字符。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
利用多张包含车牌的有雾图像样本和分别与所述多张有雾图像样本一一对应的第一边缘梯度图像，对所述生成式对抗网络进行训练。
3.根据权利要求2所述的方法，其特征在于，在所述利用多张包含车牌的有雾图像样本和分别与所述多张有雾图像样本一一对应的第一边缘梯度图像，对所述生成式对抗网络进行训练之前，所述方法还包括：
获取多张包含车牌的有雾图像样本和分别与所述多张有雾图像样本一一对应的无雾图像样本；
对每张有雾图像样本对应的无雾图像样本进行图像增强处理，得到增强处理后的无图图像样本；
提取所述增强处理后的无雾图像样本中的各像素点的边缘梯度特征，得到与所述每张有雾图像样本对应的第一边缘梯度图像。
4.根据权利要求1所述的方法，其特征在于，所述生成式对抗网络包括图像生成模型和图像判别模型，所述方法还包括：
获取多张包含车牌的有雾图像样本和分别与所述多张有雾图像样本一一对应的第二边缘梯度图像；
针对所述多张包含车牌的有雾图像样本中的每一有雾图像样本，执行下述操作：
将所述每一有雾图像样本输入所述图像生成模型，得到与所述每一有雾图像样本对应的第一边缘梯度图像；
基于所述每一有雾图像样本的第一边缘梯度图像和第二边缘梯度图像，计算得到所述每一有雾图像样本的加权总损失值；
依据所述加权总损失值，对所述图像生成模型的网络参数和图像判别模型的网络参数进行调整。
5.根据权利要求4所述的方法，其特征在于，所述依据所述加权总损失值，对所述图像生成模型的网络参数和图像判别模型的网络参数进行调整，包括：
在保持所述图像生成模型的网络参数不变的条件下，调整所述图像判别模型的网络参数，使得所述加权总损失值达到最小值；
根据图像判别模型和所述第一边缘梯度图像的真实度判别结果，对所述图像生成模型的网络参数进行调整，直到所述判别模块达到纳什平衡。
6.根据权利要求1所述的方法，其特征在于，所述生成式对抗网络包括图像生成模型和图像判别模型，所述方法还包括：
构建所述图像生成模型，所述图像生成模型包括依次排列的第一归一化层、第一卷积层、第二归一化层、第二卷积层、第三归一化层、第三卷积层、第四归一化层和第四卷积层；
构建所述图像判别模型，所述图像判别模型包括依次排列的第五卷积层、第六卷积层、第五归一化层、第七卷积层、第六归一化层、第八卷积层、第七归一化层和谱归一化层；
将所述第四卷积层与所述第五卷积层相连接，得到所述生成式对抗网络。
7.一种车牌识别装置，其特征在于，所述装置包括：
第一图像获取模块，用于获取在有雾环境中对目标车牌拍摄得到待识别图像；
第一图像处理模块，用于将所述待识别图像输入预先训练的生成式对抗网络，得到与所述待识别图像对应的边缘梯度图像；
第二图像处理模块，用于在所述边缘梯度图像中确定所述目标车牌对应的目标区域图像；
车牌识别模块，用于在所述目标区域图像中识别出所述目标车牌的字符。
8.根据权利要求7所述的装置，其特征在于，所述装置还包括：
模型训练模块，用于利用多张包含车牌的有雾图像样本和分别与所述多张有雾图像样本一一对应的边缘梯度图像，对所述生成式对抗网络进行训练。
9.根据权利要求8所述的装置，其特征在于，所述装置还包括：
第二图像获取模块，用于获取多张包含车牌的有雾图像样本和分别与所述多张有雾图像样本一一对应的无雾图像样本；
第三图像处理模块，用于对每张有雾图像样本对应的无雾图像样本进行图像增强处理，得到与所述每张有雾图像样本对应的第一边缘梯度图像。
10.根据权利要求7所述的装置，其特征在于，所述生成式对抗网络包括图像生成模型和图像判别模型，所述装置还包括：
第三图像获取模块，用于获取多张包含车牌的有雾图像样本和分别与所述多张有雾图像样本一一对应的第二边缘梯度图像；
模型训练模块，用于针对所述多张包含车牌的有雾图像样本中的每一有雾图像样本，执行下述操作：
将所述每一有雾图像样本输入所述图像生成模型，得到与所述每一有雾图像样本对应的第一边缘梯度图像；
基于所述每一有雾图像样本的第一边缘梯度图像和第二边缘梯度图像，计算得到所述每一有雾图像样本的加权总损失值；
依据所述加权总损失值，对所述图像生成模型的网络参数和图像判别模型的网络参数进行调整。
11.根据权利要求10所述的装置，其特征在于，所述模型训练模块具体用于：
在保持所述图像生成模型的网络参数不变的条件下，调整所述图像判别模型的网络参数，使得所述加权总损失值达到最小值；
根据图像判别模型对所述第一边缘梯度图像的真实度判别结果，对所述图像生成模型的网络参数进行调整，直到所述判别模块达到纳什平衡。
12.根据权利要求7所述的装置，其特征在于，所述生成式对抗网络包括图像生成模型和图像判别模型，所述装置还包括：
第一模型构建模块，用于构建所述图像生成模型，所述图像生成模型包括依次排列的第一归一化层、第一卷积层、第二归一化层、第二卷积层、第三归一化层、第三卷积层、第四归一化层和第四卷积层；
第二模型构建模块，用于构建所述图像判别模型，所述图像判别模型包括依次排列的第五卷积层、第六卷积层、第五归一化层、第七卷积层、第六归一化层、第八卷积层、第七归一化层和谱归一化层；
模型获取模块，用于将所述第四卷积层与所述第五卷积层相连接，得到所述生成式对抗网络。
13.一种车牌识别设备，其特征在于，所述设备包括：
存储器，用于存储程序；
处理器，用于运行所述存储器中存储的所述程序，以执行权利要求1-6任一权利要求所述的车牌识别方法。
14.一种计算机存储介质，其特征在于，所述计算机存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现权利要求1-6任一权利要求所述的车牌识别方法。
CN202010372209.6A 2020-05-06 2020-05-06 车牌识别方法、装置、设备和介质 Pending CN111639542A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010372209.6A CN111639542A (zh) 2020-05-06 2020-05-06 车牌识别方法、装置、设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010372209.6A CN111639542A (zh) 2020-05-06 2020-05-06 车牌识别方法、装置、设备和介质

Publications (1)

Publication Number Publication Date
CN111639542A true CN111639542A (zh) 2020-09-08

Family

ID=72330955

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010372209.6A Pending CN111639542A (zh) 2020-05-06 2020-05-06 车牌识别方法、装置、设备和介质

Country Status (1)

Country Link
CN (1) CN111639542A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116110053A (zh) * 2023-04-13 2023-05-12 济宁能源发展集团有限公司 基于图像识别的集装箱表面信息检测方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107563385A (zh) * 2017-09-02 2018-01-09 西安电子科技大学 基于深度卷积生成式对抗网络的车牌字符识别方法
CN109190621A (zh) * 2018-09-06 2019-01-11 东北大学 雾天车牌自动识别方法
CN109509156A (zh) * 2018-10-31 2019-03-22 聚时科技(上海)有限公司 一种基于生成对抗模型的图像去雾处理方法
US20190095730A1 (en) * 2017-09-25 2019-03-28 Beijing University Of Posts And Telecommunications End-To-End Lightweight Method And Apparatus For License Plate Recognition
CN109949242A (zh) * 2019-03-19 2019-06-28 内蒙古工业大学 图像去雾模型的生成方法、装置及图像去雾方法、装置
CN110225350A (zh) * 2019-05-30 2019-09-10 西安电子科技大学 基于生成式对抗网络的自然图像压缩方法
CN110443166A (zh) * 2019-07-23 2019-11-12 淮阴工学院 一种雾霾天气的车牌识别方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107563385A (zh) * 2017-09-02 2018-01-09 西安电子科技大学 基于深度卷积生成式对抗网络的车牌字符识别方法
US20190095730A1 (en) * 2017-09-25 2019-03-28 Beijing University Of Posts And Telecommunications End-To-End Lightweight Method And Apparatus For License Plate Recognition
CN109190621A (zh) * 2018-09-06 2019-01-11 东北大学 雾天车牌自动识别方法
CN109509156A (zh) * 2018-10-31 2019-03-22 聚时科技(上海)有限公司 一种基于生成对抗模型的图像去雾处理方法
CN109949242A (zh) * 2019-03-19 2019-06-28 内蒙古工业大学 图像去雾模型的生成方法、装置及图像去雾方法、装置
CN110225350A (zh) * 2019-05-30 2019-09-10 西安电子科技大学 基于生成式对抗网络的自然图像压缩方法
CN110443166A (zh) * 2019-07-23 2019-11-12 淮阴工学院 一种雾霾天气的车牌识别方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HE ZHANG: "《Image De-raining Using a Conditional Generative》", 《ARXIV:1701.O5957V4[CS.CV]》 *
MINGHUI ZHANG: "《JOINT LICENSE PLATE SUPER-RESOLUTION AND RECOGNITION IN》", 《2018ICASSP》 *
陈玮: "《基于生成对抗网络的图像去雾算法》", 《信息与控制》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116110053A (zh) * 2023-04-13 2023-05-12 济宁能源发展集团有限公司 基于图像识别的集装箱表面信息检测方法

Similar Documents

Publication Publication Date Title
CN104700099B (zh) 识别交通标志的方法和装置
CN107563433B (zh) 一种基于卷积神经网络的红外小目标检测方法
CN111783551B (zh) 基于贝叶斯卷积神经网络的对抗样本防御方法
CN110853074B (zh) 一种利用光流增强目标的视频目标检测网络***
CN110765948A (zh) 一种基于无人机的目标检测识别方法及***
CN111754519B (zh) 一种基于类激活映射的对抗防御方法
CN113591967A (zh) 一种图像处理方法、装置、设备及计算机存储介质
CN108805832B (zh) 适于隧道环境特性的改进灰度投影稳像方法
CN108229274B (zh) 多层神经网络模型训练、道路特征识别的方法和装置
CN113435407B (zh) 一种输电***的小目标识别方法及装置
CN115330623A (zh) 一种基于生成对抗网络的图像去雾模型的构建方法和***
CN114757854B (zh) 基于多光谱分析的夜视图像质量提升方法、装置、设备
CN113780110A (zh) 一种图像序列中弱小目标实时检测方法及设备
CN112686835A (zh) 路上障碍物检测装置、方法及计算机可读存储介质
CN115272876A (zh) 一种基于深度学习的遥感图像船舶目标检测方法
CN111598793A (zh) 一种用于输电线路图像去雾的方法、***及存储介质
CN111340041A (zh) 一种基于深度学习的车牌识别方法及装置
CN111639542A (zh) 车牌识别方法、装置、设备和介质
CN114581914A (zh) 一种雾霾环境下的车牌识别方法
CN111539250B (zh) 一种基于神经网络的图像雾浓度估计方法、***和终端
CN117011542A (zh) 基于时间序列影像的遥感影像厚云去除方法、***和设备
CN113989612A (zh) 基于注意力及生成对抗网络的遥感影像目标检测方法
CN112581502A (zh) 一种基于孪生网络的目标跟踪方法
CN116091462A (zh) 一种针对无人机目标检测***的物理对抗攻击方法
CN113628145B (zh) 一种图像清晰化方法、***、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200908