CN111079744A - 适用于复杂光照环境的车辆车牌智能识别方法及装置 - Google Patents

适用于复杂光照环境的车辆车牌智能识别方法及装置 Download PDF

Info

Publication number
CN111079744A
CN111079744A CN201911243936.6A CN201911243936A CN111079744A CN 111079744 A CN111079744 A CN 111079744A CN 201911243936 A CN201911243936 A CN 201911243936A CN 111079744 A CN111079744 A CN 111079744A
Authority
CN
China
Prior art keywords
image
license plate
detected
sample
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911243936.6A
Other languages
English (en)
Other versions
CN111079744B (zh
Inventor
都荣胜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ludong University
Original Assignee
Ludong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ludong University filed Critical Ludong University
Priority to CN201911243936.6A priority Critical patent/CN111079744B/zh
Publication of CN111079744A publication Critical patent/CN111079744A/zh
Application granted granted Critical
Publication of CN111079744B publication Critical patent/CN111079744B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63—Scene text, e.g. street names
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/469—Contour-based spatial representations, e.g. vector-coding
    • G06V10/473—Contour-based spatial representations, e.g. vector-coding using gradient analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明实施例公开一种适用于复杂光照环境的车辆车牌智能识别方法及装置，该方法包括：获得待检测图像；利用预设边缘检测算法，对待检测图像进行边缘检测，确定待检测图像对应的待检测梯度图像；利用待检测图像、待检测梯度图像以及预先训练的车牌检测模型，确定待检测图像是否包含车牌，并在确定待检测图像包含车牌的情况下，确定待检测图像所包含车牌的位置信息，其中，预先训练的车牌检测模型为：基于标注有样本车辆所在位置的样本原始图像以及该样本原始图像对应的样本边缘图像，训练所得的模型，以实现提高在复杂光照环境，例如光照变化较大的环境场景下的车牌检测的检出率。

Description

适用于复杂光照环境的车辆车牌智能识别方法及装置
技术领域
本发明涉及图像检测技术领域，具体而言，涉及一种适用于复杂光照环境的车辆车牌智能识别方法及装置。
背景技术
车牌检测技术是在安防以及智慧城市等领域中对车辆管理的关键技术之一，在学术研究和工业领域产品中都具有重要意义。
目前，车牌检测技术一般依赖于深度学习技术实现对图像中车牌的检测，即利用大量包含车牌的样本图像以及包含所对应样本图像中车牌所在位置的位置信息的标定信息，训练得到基于深度卷积神经网络算法的车牌检测网络模型，其中，该车牌检测网络模型学习到样本图像中车牌所在区域图像的图像特征；进而，利用该车牌检测网络模型对待检测图像进行车牌检测，利用该车牌检测网络模型学习到样本图像中车牌所在区域图像的图像特征，确定出待检测图像中的车牌及其位置信息。
然而，基于深度卷积神经网络算法的车牌检测网络模型学习到的图像特征，一般是图像的纹理特征，而光照的变化以及阴影会导致图像中车牌的纹理特征出现一定的变化，这就导致在复杂光照环境，例如光照变化较大的环境场景下，容易出现车牌漏检的情况。
发明内容
本发明提供了一种适用于复杂光照环境的车辆车牌智能识别方法及装置，以实现提高在复杂光照环境，例如光照变化较大的环境场景下的车牌检测的检出率。具体的技术方案如下：
第一方面，本发明实施例提供了一种适用于复杂光照环境的车辆车牌智能识别方法，方法包括：
获得待检测图像；
利用预设边缘检测算法，对所述待检测图像进行边缘检测，确定所述待检测图像对应的待检测梯度图像；
利用所述待检测图像、所述待检测梯度图像以及预先训练的车牌检测模型，确定所述待检测图像是否包含车牌，并在确定所述待检测图像包含车牌的情况下，确定所述待检测图像所包含车牌的位置信息，其中，所述预先训练的车牌检测模型为：基于标注有样本车辆所在位置的样本原始图像以及该样本原始图像对应的样本边缘图像，训练所得的模型。
可选的，所述利用预设边缘检测算法，对所述待检测图像进行边缘检测，确定所述待检测图像对应的待检测梯度图像的步骤，包括：
利用第一滤波算子对所述待检测图像进行水平方向上的边缘检测，确定所述待检测图像对应的第一梯度图像；
利用第二滤波算子对所述待检测图像进行垂直方向上的边缘检测，确定所述待检测图像对应的第二梯度图像；
利用所述第一梯度图像和所述第二梯度图像，确定所述待检测图像对应的待检测梯度图像。
可选的，在所述利用所述待检测图像、所述待检测梯度图像以及预先训练的车牌检测模型，确定所述待检测图像是否包含车牌，并在确定所述待检测图像包含车牌的情况下，确定所述待检测图像所包含的车牌的位置信息的步骤之前，所述方法还包括：
训练得到所述预先训练的车牌检测模型的过程，其中，所述过程，包括：
获得多张样本原始图像及其标定信息，其中，每一样本原始图像包含车牌，每一标定信息包括：所对应样本原始图像中样本车牌所在位置的标定位置信息、标定类别信息和标定置信度信息；
利用所述预设边缘检测算法，对每一样本原始图像进行边缘检测，确定每一样本原始图像对应的样本梯度图像；
利用每一样本原始图像、每一样本原始图像对应的样本梯度图像以及每一样本原始图像对应的标定信息所包括的标定位置信息、标定类别信息和标定置信度信息，训练初始的车牌检测模型，得到所述预先训练的车牌检测模型。
可选的，所述初始的车牌检测模型包括：特征提取层以及特征回归与识别层；
所述利用每一样本原始图像、每一样本原始图像对应的样本梯度图像以及每一样本原始图像对应的标定信息所包括的标定位置信息，训练初始的车牌检测模型，得到所述预先训练的车牌检测模型的步骤，包括：
将每一样本图像输入所述特征提取层，得到每一样本图像对应的样本图像特征，其中，每一样本图像包括：一样本原始图像及其对应的样本梯度图像；
将每一样本图像对应的样本图像特征输入所述特征回归与识别层，得到每一样本图像中样本车牌所在位置的检测信息，其中，所述检测信息包括：检测位置信息、检测类别信息和检测置信度信息；
利用预设损失函数、每一样本图像中样本车牌所在位置的检测位置信息、检测类别信息和检测置信度信息，以及每一样本图像对应的标定信息所包括的标定位置信息、标定类别信息和标定置信度信息，确定每一样本图像对应的目标损失值，其中，每一样本图像对应的标定信息为：该样本图像所包括的样本原始图像对应的标定信息；
利用每一样本图像对应的目标损失值以及预设损失阈值，调整初始的车牌检测模型的网络参数，直至所述初始的车牌检测模型收敛，得到包含所述特征提取层和特征回归与识别层的预先训练的车牌检测模型。
可选的，每一样本图像中车牌所在位置的检测信息包括：该样本图像包括的样本原始图像中车牌所在位置的第一检测位置信息、第一检测类别信息和第一检测置信度信息，以及该样本原始图像对应的样本梯度图像中车牌所在位置的第二检测位置信息、第二检测类别信息和第二检测置信度信息；
所述利用预设损失函数、每一样本图像中样本车牌所在位置的检测位置信息、检测类别信息和检测置信度信息，以及每一样本图像对应的标定信息所包括的标定位置信息、标定类别信息和标定置信度信息，确定每一样本图像对应的目标损失值的步骤，包括：
针对每一样本图像，利用该样本图像包括的样本原始图像中样本车牌所在位置的第一检测位置信息、第一检测类别信息和第一检测置信度信息，以及该样本图像对应的标定信息所包括的标定位置信息、标定类别信息和标定置信度信息，确定该样本图像包括的样本原始图像对应的第一损失值；
并利用该样本图像包括的样本原始图像对应的样本梯度图像中样本车牌所在位置的第二检测位置信息、第二检测类别信息和第二检测置信度信息，以及该样本图像对应的标定信息所包括的标定位置信息、标定类别信息和标定置信度信息，确定该样本原始图像对应的样本梯度图像对应的第二损失值；
并利用该样本图像包括的样本原始图像对应的第一损失值，以及该样本原始图像对应的样本梯度图像对应的第二损失值，确定该样本图像对应的目标损失值。
可选的，所述预先训练的车牌检测模型对应至少一组锚点尺寸信息，每组锚点尺寸信息包括至少一对宽高信息，其中，每组锚点尺寸信息包括的至少一对宽高信息为：根据训练得到所述预先训练的车牌检测模型的样本原始图像中样本车牌的车牌尺寸信息聚类得到的；
所述利用所述待检测图像、所述待检测梯度图像以及预先训练的车牌检测模型，确定所述待检测图像是否包含车牌，并在确定所述待检测图像包含车牌的情况下，确定所述待检测图像所包含的车牌的位置信息的步骤，包括：
将所述待检测图像和所述待检测梯度图像输入预先训练的车牌检测模型的特征提取层，获得所述待检测图像对应的第一尺寸的第一特征图和所述待检测梯度图像对应的所述第一尺寸的第二特征图；
利用所述第一特征图、所述第二特征图、预先训练的车牌检测模型的特征回归与识别层以及所述至少一组锚点尺寸信息包括的至少一对宽高信息中的每一对宽高信息，确定所述待检测图像是否包含车牌；
若确定所述待检测图像包含车牌，确定所述待检测图像所包含的车牌的位置信息。
可选的，所述方法还包括：
若利用所述第一特征图、所述第二特征图、预先训练的车牌检测模型的特征回归与识别层以及所述至少一组锚点尺寸信息包括的至少一对宽高信息中的每一对宽高信息，确定所述待检测图像不包含车牌，获得第一锚点尺寸信息包括的至少一对宽高信息，基于第一锚点尺寸信息对应的第一放缩系数进行放缩后所得的第一宽高信息，其中，所述第一锚点尺寸信息为：所述至少一组锚点尺寸信息中最大的一组锚点尺寸信息，或最小的一组锚点尺寸信息；
获得所述待检测图像对应的第二尺寸的第三特征图和所述待检测梯度图像对应的所述第二尺寸的第四特征图，其中，所述第三特征图和所述第四特征图均为：所述待检测图像和所述待检测梯度图像输入预先训练的车牌检测模型的特征提取层后得到的特征图；
利用所述第三特征图、所述第四特征图、预先训练的车牌检测模型的特征回归与识别层以及所述第一宽高信息，确定所述待检测图像是否包含车牌；
若确定所述待检测图像包含车牌，确定所述待检测图像所包含的车牌的位置信息。
可选的，所述方法还包括：
若利用所述第三特征图、所述第四特征图、预先训练的车牌检测模型的特征回归与识别层以及所述第一宽高信息，确定所述待检测图像不包含车牌，获得第二锚点尺寸信息包括的至少一对宽高信息，基于第二锚点尺寸信息对应的第二放缩系数进行放缩后所得的第二宽高信息，其中，所述第二锚点尺寸信息为：所述至少一组锚点尺寸信息中最小的一组锚点尺寸信息，或最大的一组锚点尺寸信息；
获得所述待检测图像对应的第三尺寸的第五特征图和所述待检测梯度图像对应的所述第三尺寸的第六特征图，其中，所述第五特征图和所述第六特征图均为：所述待检测图像和所述待检测梯度图像输入预先训练的车牌检测模型的特征提取层后得到的特征图；
利用所述第五特征图、所述第六特征图、预先训练的车牌检测模型的特征回归与识别层以及所述第二宽高信息，确定所述待检测图像是否包含车牌；
若确定所述待检测图像包含车牌，确定所述待检测图像所包含的车牌的位置信息。
第二方面，本发明实施例提供了一种适用于复杂光照环境的车辆车牌智能识别装置，装置包括：
第一获得模块，被配置为获得待检测图像；
第一确定模块，被配置为利用预设边缘检测算法，对所述待检测图像进行边缘检测，确定所述待检测图像对应的待检测梯度图像；
第二确定模块，被配置为利用所述待检测图像、所述待检测梯度图像以及预先训练的车牌检测模型，确定所述待检测图像是否包含车牌，并在确定所述待检测图像包含车牌的情况下，确定所述待检测图像所包含车牌的位置信息，其中，所述预先训练的车牌检测模型为：基于标注有样本车辆所在位置的样本原始图像以及该样本原始图像对应的样本边缘图像，训练所得的模型。
可选的，所述第一确定模块，被具体配置为利用第一滤波算子对所述待检测图像进行水平方向上的边缘检测，确定所述待检测图像对应的第一梯度图像；
利用第二滤波算子对所述待检测图像进行垂直方向上的边缘检测，确定所述待检测图像对应的第二梯度图像；
利用所述第一梯度图像和所述第二梯度图像，确定所述待检测图像对应的待检测梯度图像。
可选的，所述装置还包括：
训练模块，被配置为在所述利用所述待检测图像、所述待检测梯度图像以及预先训练的车牌检测模型，确定所述待检测图像是否包含车牌，并在确定所述待检测图像包含车牌的情况下，确定所述待检测图像所包含的车牌的位置信息之前，训练得到所述预先训练的车牌检测模型，其中，所述训练模块包括：
获得单元，被配置为获得多张样本原始图像及其标定信息，其中，每一样本原始图像包含车牌，每一标定信息包括：所对应样本原始图像中样本车牌所在位置的标定位置信息、标定类别信息和标定置信度信息；
确定单元，被配置为利用所述预设边缘检测算法，对每一样本原始图像进行边缘检测，确定每一样本原始图像对应的样本梯度图像；
训练单元，被配置为利用每一样本原始图像、每一样本原始图像对应的样本梯度图像以及每一样本原始图像对应的标定信息所包括的标定位置信息、标定类别信息和标定置信度信息，训练初始的车牌检测模型，得到所述预先训练的车牌检测模型。
可选的，所述初始的车牌检测模型包括：特征提取层以及特征回归与识别层；
所述训练单元包括：
第一输入子模块，被配置为将每一样本图像输入所述特征提取层，得到每一样本图像对应的样本图像特征，其中，每一样本图像包括：一样本原始图像及其对应的样本梯度图像；
第二输入子模块，被配置为将每一样本图像对应的样本图像特征输入所述特征回归与识别层，得到每一样本图像中样本车牌所在位置的检测信息，其中，所述检测信息包括：检测位置信息、检测类别信息和检测置信度信息；
确定子模块，被配置为利用预设损失函数、每一样本图像中样本车牌所在位置的检测位置信息、检测类别信息和检测置信度信息，以及每一样本图像对应的标定信息所包括的标定位置信息、标定类别信息和标定置信度信息，确定每一样本图像对应的目标损失值，其中，每一样本图像对应的标定信息为：该样本图像所包括的样本原始图像对应的标定信息；
调整子模块，被配置为利用每一样本图像对应的目标损失值以及预设损失阈值，调整初始的车牌检测模型的网络参数，直至所述初始的车牌检测模型收敛，得到包含所述特征提取层和特征回归与识别层的所述预先训练的车牌检测模型。
可选的，每一样本图像中车牌所在位置的检测信息包括：该样本图像包括的样本原始图像中车牌所在位置的第一检测位置信息、第一检测类别信息和第一检测置信度信息，以及该样本原始图像对应的样本梯度图像中车牌所在位置的第二检测位置信息、第二检测类别信息和第二检测置信度信息；
所述确定子模块，被具体配置为针对每一样本图像，利用该样本图像包括的样本原始图像中样本车牌所在位置的第一检测位置信息、第一检测类别信息和第一检测置信度信息，以及该样本图像对应的标定信息所包括的标定位置信息、标定类别信息和标定置信度信息，确定该样本图像包括的样本原始图像对应的第一损失值；
并利用该样本图像包括的样本原始图像对应的样本梯度图像中样本车牌所在位置的第二检测位置信息、第二检测类别信息和第二检测置信度信息，以及该样本图像对应的标定信息所包括的标定位置信息、标定类别信息和标定置信度信息，确定该样本原始图像对应的样本梯度图像对应的第二损失值；
并利用该样本图像包括的样本原始图像对应的第一损失值，以及该样本原始图像对应的样本梯度图像对应的第二损失值，确定该样本图像对应的目标损失值。
可选的，所述预先训练的车牌检测模型对应至少一组锚点尺寸信息，每组锚点尺寸信息包括至少一对宽高信息，其中，每组锚点尺寸信息包括的至少一对宽高信息为：根据训练得到所述预先训练的车牌检测模型的样本原始图像中样本车牌的车牌尺寸信息聚类得到的；
所述第二确定模块，被具体配置为将所述待检测图像和所述待检测梯度图像输入预先训练的车牌检测模型的特征提取层，获得所述待检测图像对应的第一尺寸的第一特征图和所述待检测梯度图像对应的所述第一尺寸的第二特征图；
利用所述第一特征图、所述第二特征图、预先训练的车牌检测模型的特征回归与识别层以及所述至少一组锚点尺寸信息包括的至少一对宽高信息中的每一对宽高信息，确定所述待检测图像是否包含车牌；
若确定所述待检测图像包含车牌，确定所述待检测图像所包含的车牌的位置信息。
可选的，所述第二确定模块，被具体配置为若利用所述第一特征图、所述第二特征图、预先训练的车牌检测模型的特征回归与识别层以及所述至少一组锚点尺寸信息包括的至少一对宽高信息中的每一对宽高信息，确定所述待检测图像不包含车牌，获得第一锚点尺寸信息包括的至少一对宽高信息，基于第一锚点尺寸信息对应的第一放缩系数进行放缩后所得的第一宽高信息，其中，所述第一锚点尺寸信息为：所述至少一组锚点尺寸信息中最大的一组锚点尺寸信息，或最小的一组锚点尺寸信息；
获得所述待检测图像对应的第二尺寸的第三特征图和所述待检测梯度图像对应的所述第二尺寸的第四特征图，其中，所述第三特征图和所述第四特征图均为：所述待检测图像和所述待检测梯度图像输入预先训练的车牌检测模型的特征提取层后得到的特征图；
利用所述第三特征图、所述第四特征图、预先训练的车牌检测模型的特征回归与识别层以及所述第一宽高信息，确定所述待检测图像是否包含车牌；
若确定所述待检测图像包含车牌，确定所述待检测图像所包含的车牌的位置信息。
可选的，所述第二确定模块，被具体配置为若利用所述第三特征图、所述第四特征图、预先训练的车牌检测模型的特征回归与识别层以及所述第一宽高信息，确定所述待检测图像不包含车牌，获得第二锚点尺寸信息包括的至少一对宽高信息，基于第二锚点尺寸信息对应的第二放缩系数进行放缩后所得的第二宽高信息，其中，所述第二锚点尺寸信息为：所述至少一组锚点尺寸信息中最小的一组锚点尺寸信息，或最大的一组锚点尺寸信息；
获得所述待检测图像对应的第三尺寸的第五特征图和所述待检测梯度图像对应的所述第三尺寸的第六特征图，其中，所述第五特征图和所述第六特征图均为：所述待检测图像和所述待检测梯度图像输入预先训练的车牌检测模型的特征提取层后得到的特征图；
利用所述第五特征图、所述第六特征图、预先训练的车牌检测模型的特征回归与识别层以及所述第二宽高信息，确定所述待检测图像是否包含车牌；
若确定所述待检测图像包含车牌，确定所述待检测图像所包含的车牌的位置信息。
由上述内容可知，本发明实施例提供的一种适用于复杂光照环境的车辆车牌智能识别方法及装置，可以获得待检测图像；利用预设边缘检测算法，对待检测图像进行边缘检测，确定待检测图像对应的待检测梯度图像；利用待检测图像、待检测梯度图像以及预先训练的车牌检测模型，确定待检测图像是否包含车牌，并在确定待检测图像包含车牌的情况下，确定待检测图像所包含车牌的位置信息，其中，预先训练的车牌检测模型为：基于标注有样本车辆所在位置的样本原始图像以及该样本原始图像对应的样本边缘图像，训练所得的模型。
应用本发明实施例，可以基于通过标注有样本车辆所在位置的样本原始图像以及受光照条件变化的影响较小的该样本原始图像对应的样本边缘图像，训练所得的预先训练的车牌检测模型，实现对待检测图像及其待检测梯度图像的检测，确定出待检测图像包含车牌的情况下，该待检测图像所包含车牌的位置信息。通过样本原始图像及其对应的样本边缘图像，可以训练得到基于图像的边缘特征，检测出车牌所在位置的预先训练的车牌检测模型，并且，样本边缘图像受光照条件变化的影响较小，即使处于复杂光照环境即光照变化较大的场景中，通过预先训练的车牌检测模型，可以从样本原始图像检测出其中包含的车牌及其所在位置，实现提高在复杂光照环境，例如光照变化较大的环境场景下的车牌检测的检出率。当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
本发明实施例的创新点包括：
1、可以基于通过标注有样本车辆所在位置的样本原始图像以及受光照条件变化的影响较小的该样本原始图像对应的样本边缘图像，训练所得的预先训练的车牌检测模型，实现对待检测图像及其待检测梯度图像的检测，确定出待检测图像包含车牌的情况下，该待检测图像所包含车牌的位置信息。通过样本原始图像及其对应的样本边缘图像，可以训练得到基于图像的边缘特征，检测出车牌所在位置的预先训练的车牌检测模型，并且，样本边缘图像受光照条件变化的影响较小，即使处于复杂光照环境即光照变化较大的场景中，通过预先训练的车牌检测模型，可以从样本原始图像检测出其中包含的车牌及其所在位置，实现提高在复杂光照环境，例如光照变化较大的环境场景下的车牌检测的检出率。
2、利用样本原始图像及其对应的样本边缘图像训练得到预先训练的车牌检测模型，利用样本原始图像及其对应的样本边缘图像各自对应的损失值，共同确定样本原始图像对应的目标损失值，进而，基于样本原始图像对应的目标损失值调整车牌检测模型的参数，使得预先训练的车牌检测模型具有：从受光照条件变化的影响较小的样本边缘图像中检测车牌的能力，为后续的在在复杂光照环境，例如光照变化较大的环境场景下的车牌检测提供基础，实现提高在复杂光照环境，例如光照变化较大的场景下的车牌检测的检出率。
3、通过固定锚点尺寸信息以及自适应锚点尺寸信息，共同检测待检测图像包含的车牌及其位置信息，在一定程度上弱化样本原始图像中所包含样本车辆的尺寸，对预先训练的车牌检测模型所能检测到的车牌的尺寸的限制，提高在实际检测过程中车牌尺寸与样本原始图像中车牌尺寸不同时，实际检测过程中车牌的检出率，避免出现在实际检测过程中车牌尺寸与样本原始图像中车牌尺寸不同时车牌的漏检的情况。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例。对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的适用于复杂光照环境的车辆车牌智能识别方法的一种流程示意图；
图2为本发明实施例提供的适用于复杂光照环境的车辆车牌智能识别方法的另一种流程示意图；
图3为本发明实施例提供的通过固定锚点尺寸信息以及自适应锚点尺寸信息，共同检测待检测图像包含的车牌及其位置信息的一种数据交互示意图；
图4为本发明实施例提供的适用于复杂光照环境的车辆车牌智能识别装置的一种流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，本发明实施例及附图中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。例如包含的一系列步骤或单元的过程、方法、***、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
本发明提供了一种适用于复杂光照环境的车辆车牌智能识别方法及装置，以实现提高在复杂光照环境，例如光照变化较大的环境场景下的车牌检测的检出率。下面对本发明实施例进行详细说明。
图1为本发明实施例提供的适用于复杂光照环境的车辆车牌智能识别方法的一种流程示意图。该方法可以包括以下步骤：
S101：获得待检测图像。
本发明实施例中，该方法可以应用于任一类型的具有计算能力的电子设备中，该电子设备可以为服务器或者终端设备。该电子设备可以设置于车辆内，为车载设备，也可以未设置于车辆内，为非车载设备，这都是可以的。
一种情况中，该电子设备可以为图像采集设备，或为与图像采集设备连接的设备；在电子设备为图像采集设备的情况下，电子设备可以实时对其对应的当前道路进行监控，并在车辆经过该当前道路时，采集图像，并作为待检测图像，执行后续的适用于复杂光照环境的车辆车牌智能识别流程；在电子设备为与图像采集设备连接的设备的情况下，电子设备所连接的图像采集设备可以实时对其对应的当前道路进行监控，并在车辆经过该当前道路时，采集图像，并将所采集的图像发送至电子设备，电子设备获得所连接的图像采集设备采集的图像，作为待检测图像，并执行后的适用于复杂光照环境的车辆车牌智能识别流程。其中，该图像采集设备可以为摄像头以及相机等。一种情况中，该待检测图像可以为色彩图像，例如为RGB(Red Green Blue，红绿蓝)图像。
S102：利用预设边缘检测算法，对待检测图像进行边缘检测，确定所述待检测图像对应的待检测梯度图像。
本步骤中，电子设备获得待检测图像之后，可以利用预设边缘检测算法，对待检测进行边缘检测，获得待检测图像对应的待检测梯度图像。其中，该预设边缘检测算法可以为Sobel边缘检测算法。其中，Sobel边缘检测算法对图像中的噪声以及平滑区域有较大的抑制作用，当Sobel边缘检测算法作用于包含车牌的图像时，图像中的颜色和纹理特征会被大大压缩，而边缘特征凸显出来，而边缘特征受光照影响较小。
在本发明的一种实现方式中，所述S102，可以包括如下步骤011-013：
011：利用第一滤波算子对待检测图像进行水平方向上的边缘检测，确定待检测图像对应的第一梯度图像。其中，该水平方向可以指待检测图像的横轴方向。
012：利用第二滤波算子对待检测图像进行垂直方向上的边缘检测，确定待检测图像对应的第二梯度图像。其中，该垂直方向可以指待检测图像的纵轴方向。
013：利用第一梯度图像和第二梯度图像，确定待检测图像对应的待检测梯度图像。
其中，上述第一滤波算子和第二滤波算子可以是工作人员根据经验设置的算子，一种情况中，第一滤波算子可以为
Figure BDA0002306999920000101
该第二滤波算子可以为
Figure BDA0002306999920000102
上述011可以通过如下公式(1)表示：G1＝S1*I (1)。
其中，G1表示第一梯度图像，*表示卷积操作，I表示待检测图像，S1表示第一滤波算子。
相应的，上述012可以通过如下公式(2)表示：G2＝S2*I (2)。
其中，G2表示第二梯度图像，*表示卷积操作，I表示待检测图像，S2表示第二滤波算子。
上述013可以通过如下公式(3)表示：
Figure BDA0002306999920000111
其中，G表示待检测图像对应的待检测梯度图像。
S103：利用待检测图像、待检测梯度图像以及预先训练的车牌检测模型，确定待检测图像是否包含车牌，并在确定待检测图像包含车牌的情况下，确定待检测图像所包含车牌的位置信息。
其中，预先训练的车牌检测模型为：基于标注有样本车辆所在位置的样本原始图像以及该样本原始图像对应的样本边缘图像，训练所得的模型。为了布局清楚，预先训练的车牌检测模型的具体训练过程后续介绍。
本步骤中，可以将待检测图像、待检测梯度图像组成一个多通道的矩阵；输入预先训练的车牌检测模型；通过预先训练的车牌检测模型中的特征提取层，对待检测图像和待检测梯度图像进行图像特征提取，得到待检测图像对应的图像特征和待检测梯度图像对应的图像特征；进而，通过预先训练的车牌检测模型中的特征回归与识别层，对待检测图像对应的图像特征和待检测梯度图像对应的图像特征进行回归，确定待检测图像中是否包含车牌，在确定待检测图像包含车牌的情况下，确定待检测图像所包含车牌的位置信息。为了布局清楚，预先训练的车牌检测模型的具体训练过程后续介绍。
其中，确定待检测图像中是否包含车牌是：基于待检测图像对应的图像特征和待检测梯度图像对应的图像特征进行确定的。若通过待检测图像对应的图像特征确定待检测图像中包含车牌，和/或通过待检测梯度图像对应的图像特征确定待检测图像中包含车牌，均可以确定待检测图像中包含车牌。
若待检测图像为RGB图像，待检测图像、待检测梯度图像可以组成一个4通道的矩阵。
应用本发明实施例，可以基于通过标注有样本车辆所在位置的样本原始图像以及受光照条件变化的影响较小的该样本原始图像对应的样本边缘图像，训练所得的预先训练的车牌检测模型，实现对待检测图像及其待检测梯度图像的检测，确定出待检测图像包含车牌的情况下，该待检测图像所包含车牌的位置信息。通过样本原始图像及其对应的样本边缘图像，可以训练得到基于图像的边缘特征，检测出车牌所在位置的预先训练的车牌检测模型，并且，样本边缘图像受光照条件变化的影响较小，即使处于复杂光照环境即光照变化较大的场景中，通过预先训练的车牌检测模型，可以从样本原始图像检测出其中包含的车牌及其所在位置，实现提高在复杂光照环境，例如光照变化较大的环境场景下的车牌检测的检出率。
在本发明的另一实施例中，电子设备可以预先训练得到该预先训练的车牌检测模型。在所述S103之前，所述方法还可以包括：
训练得到预先训练的车牌检测模型的过程，其中，如图2所示，所述过程，可以包括：
S201：获得多张样本原始图像及其标定信息。
其中，每一样本原始图像包含车牌，每一标定信息包括：所对应样本原始图像中样本车牌所在位置的标定位置信息、标定类别信息和标定置信度信息。标定位置信息、标定类别信息和标定置信度信息之间存在对应关系，标定类别信息包括表征所对应标定位置信息是否包括车牌的信息，标定置信度信息为表征所对应标定位置信息包括车牌的可信度。
S202：利用预设边缘检测算法，对每一样本原始图像进行边缘检测，确定每一样本原始图像对应的样本梯度图像。
S203：利用每一样本原始图像、每一样本原始图像对应的样本梯度图像以及每一样本原始图像对应的标定信息所包括的标定位置信息、标定类别信息和标定置信度信息，训练初始的车牌检测模型，得到预先训练的车牌检测模型。
其中，该样本原始图像可以为色彩图像，如RGB图像，样本原始图像可以包括一个或多个车牌，该样本原始图像包括的车牌的尺寸可以多种多样。为了描述清楚，可以称样本原始图像包括的车牌为样本车牌。
每一标定信息包括：所对应样本原始图像中样本车牌所在位置的标定位置信息，其中，该标定位置信息可以包括样本车牌的中心点的位置信息和该样本车牌的宽高信息。
电子设备获得多张样本原始图像及其标定信息之后，可以利用预设边缘检测算法，对每一样本原始图像进行边缘检测，确定每一样本原始图像对应的样本梯度图像；其中，确定每一样本原始图像对应的样本梯度图像的过程，与确定待检测图像对应的待检测边缘图像的过程相似，在此不再赘述。
电子设备将每一样本原始图像及其对应的样本梯度图像组成一个多通道的矩阵，输入初始的车牌检测模型，并同时将每一样本原始图像对应的标定信息所包括的标定位置信息、标定类别信息和标定置信度信息，输入初始的车牌检测模型，以训练初始的车牌检测模型，直至初始的车牌检测模型收敛，得到预先训练的车牌检测模型。
在一种情况中，电子设备获得样本原始图像及其标定信息之后，可以基于预设聚类算法，以及样本原始图像所包括的各样本车牌的尺寸信息，聚类得到至少一组车辆尺寸信息，作为至少一组锚点尺寸信息，其中，每一组锚点尺寸信息包括至少一对宽高信息，每对宽高信息为：根据通过样本原始图像所包括的各样本车牌的尺寸信息菌类得到的。其中，可以预先设置锚点尺寸信息组数，以及每组包括的宽高信息的个数。例如：预先设置锚点尺寸信息组数为3，每组包括的宽高信息的个数为3，此时，可以基于预设聚类算法，以及样本原始图像所包括的各样本车牌的尺寸信息，聚类得到3组锚点尺寸信息，每一锚点尺寸信息包括至少3对宽高信息。其中，3组锚点尺寸信息包括的宽高信息可以为不同等级的宽高信息，例如：第一组锚点尺寸信息可以包括3对尺寸较小的宽高信息，第二组锚点尺寸信息可以包括3对尺寸适中的宽高信息，第三组锚点尺寸信息可以包括3对尺寸较大的宽高信息。
其中，该初始的车牌检测模型可以为基于深度学习技术的网络模型，例如可以为YOLO(You Only Look Once，只看一次)网络模型，卷积神经网络模型等等。
在本发明的另一实施例中，初始的车牌检测模型包括：特征提取层以及特征回归与识别层；
所述S203，可以包括如下步骤021-024：
021：将每一样本图像输入特征提取层，得到每一样本图像对应的样本图像特征。
其中，每一样本图像包括：一样本原始图像及其对应的样本梯度图像。
022：将每一样本图像对应的样本图像特征输入特征回归与识别层，得到每一样本图像中车牌所在位置的检测信息。
其中，检测信息包括：检测位置信息、检测类别信息和检测置信度信息。
023：利用预设损失函数、每一样本图像中车牌所在位置的检测位置信息、检测类别信息和检测置信度信息以及每一样本图像对应的标定信息所包括的标定位置信息、标定类别信息和标定置信度信息，确定每一样本图像对应的目标损失值.
其中，每一样本图像对应的标定信息为：该样本图像所包括的样本原始图像对应的标定信息。
024：利用每一样本图像对应的目标损失值以及预设损失阈值，调整初始的车牌检测模型的网络参数，直至初始的车牌检测模型收敛，得到包含特征提取层和特征回归与识别层的预先训练的车牌检测模型。
一种情况中，在将样本原始图像和样本原始图像对应的样本边缘图像输入特征提取层之前，可以将样本原始图像和样本原始图像对应的样本边缘图像的尺寸放缩至预设尺寸，例如416*416，再输入至特征提取层。
一种情况中，为了避免网络模型训练出现局部极值的现象，可以随机的将样本图像即样本原始图像及其对应的样本边缘图像，和样本图像对应的标定信息输入初始的车牌检测模型的特征提取层。在一种情况中，可以将样本图像分批次输入初始的车牌检测模型的图像，即可以设置每批次输入图像个数，例如设置每批次输入图像个数为16，即每批次输入初始的车牌检测模型的图像数量为16，即每次可以输入初始的车牌检测模型的图像包括8张样本原始图像及其对应的8张样本边缘图像。
后续的，针对每一批次的样本图像，将每一批次的每一样本图像输入特征提取层，得到每一样本图像对应的样本图像特征；进而，将每一样本图像对应的样本图像特征输入特征回归与识别层，得到每一样本图像中车牌所在位置的检测位置信息、检测类别信息和检测置信度信息，并利用预设损失函数、每一样本图像中样本车牌所在位置的检测位置信息、检测类别信息和检测置信度信息，以及每一样本图像对应的标定信息所包括的标定位置信息、标定类别信息和标定置信度信息，确定每一样本图像对应的目标损失值；进而，利用每一批次包括的样本图像对应的目标损失值，确定该批次对应的损失值，将该批次对应的损失值与预设损失阈值进行比较，判断该批次对应的损失值是否小于预设损失阈值；若判断小于，则确定初始的车牌检测模型收敛，得到预先训练的车牌检测模型；若判断不小于，则调整初始的车牌检测模型的特征提取层以及特征回归与识别层的网络参数，并返回执行针对每一批次的样本图像，将每一批次的每一样本图像输入特征提取层，得到每一样本图像对应的样本图像特征的步骤；直至判断该批次对应的损失值小于预设损失阈值，则确定初始的车牌检测模型收敛，得到预先训练的车牌检测模型。
其中，上述将每一样本图像对应的样本图像特征输入特征回归与识别层，得到每一样本图像中车牌所在位置的检测位置信息、检测类别信息和检测置信度信息的过程，可以是：将每一样本图像对应的样本图像特征输入特征回归与识别层，利用预先聚类所得的至少一组锚点尺寸信息中的至少一对宽高信息，检测样本图像包括的样本原始图像和样本边缘图像中的样本车牌所在位置，得到每一样本图像中车牌所在位置的检测位置信息、检测类别信息和检测置信度信息。
上述，利用每一批次包括的样本图像对应的目标损失值，确定该批次对应的损失值，可以是计算每一批次包括的样本图像对应的目标损失值的平均值，作为该批次对应的损失值，也可以是计算每一批次包括的样本图像对应的目标损失值的和，作为该批次对应的损失值，这都是可以的。确定该批次对应的损失值的方式不同，相应的，预设损失阈值不同。
在本发明的另一实施例中，每一样本图像中车牌所在位置的检测信息包括：该样本图像包括的样本原始图像中车牌所在位置的第一检测位置信息、第一检测类别信息和第一检测置信度信息，以及该样本原始图像对应的样本梯度图像中车牌所在位置的第二检测位置信息、第二检测类别信息和第二检测置信度信息；
所述023，可以包括如下步骤：
0231：针对每一样本图像，利用该样本图像包括的样本原始图像中样本车牌所在位置的第一检测位置信息、第一检测类别信息和第一检测置信度信息，以及该样本图像对应的标定信息所包括的标定位置信息、标定类别信息和标定置信度信息，确定该样本图像包括的样本原始图像对应的第一损失值。
0232：并利用该样本图像包括的样本原始图像对应的样本梯度图像中样本车牌所在位置的第二检测位置信息、第二检测类别信息和第二检测置信度信息，以及该样本图像对应的标定信息所包括的标定位置信息、标定类别信息和标定置信度信息，确定该样本原始图像对应的样本梯度图像对应的第二损失值。
0233：并利用该样本图像包括的样本原始图像对应的第一损失值，以及该样本原始图像对应的样本梯度图像对应的第二损失值，确定该样本图像对应的目标损失值。
本实现方式中，可以根据样本图像包括的样本原始图像对应的损失值，以及其包括的样本边缘图像的对应损失值，确定样本图像对应的目标损失值。具体的，可以通过如下公式(4)表示：
L＝δL1+(1-δ)L2； (4)
其中，L表示样本图像对应的目标损失值，L2表示样本图像包括的样本原始图像对应的第一损失值，L1表示样本图像包括的样本边缘图像对应的第二损失值，δ表示预设的平衡权重。
其中，确定样本图像包括的样本原始图像对应的第一损失值的过程，和确定样本原始图像对应的样本梯度图像对应的第二损失值的过程，均可以通过如下公式(5)表示：
Figure BDA0002306999920000151
其中，Li表示样本图像包括的样本原始图像对应的第一损失值，或样本图像包括的样本原始图像对应的样本梯度图像对应的第二损失值；truthr表示样本图像对应的标定信息所包括的标定位置信息，即所标定的样本车牌的中心点的位置信息(x，y)和该样本车牌的宽高信息w和h；truthclass表示样本图像包括的样本原始图像中样本车牌的标定类别信息；truthconf表示样本图像包括的样本原始图像中样本车牌的标定置信度信息；公式(5)中的问号“？”是条件表达式，表示如果问号前面的判断条件成立，则结果为1，否则为0；
其中，Li表示样本图像包括的样本原始图像对应的第一损失值的情况下，predictr表示样本图像包括的样本原始图像中样本车牌所在位置的第一检测位置信息，即所检测的样本车牌的中心点的位置信息和该样本车牌的宽高信息；predictclass表示样本图像包括的样本原始图像中样本车牌的第一检测类别信息；predictconf表示样本图像包括的样本原始图像中样本车牌的第一检测置信度信息；
其中，Li表示样本图像包括的样本原始图像对应的样本梯度图像对应的第二损失值的情况下，predictr表示样本图像包括的样本原始图像对应的样本边缘图像中样本车牌所在位置的第二检测位置信息，即所检测的样本车牌的中心点的位置信息和该样本车牌的宽高信息；predictclass表示样本图像包括的样本原始图像对应的样本边缘图像中样本车牌的第二检测类别信息；predictconf表示样本图像包括的样本原始图像对应的样本边缘图像中样本车牌的第二检测置信度信息。
在一种情况中，若分批次输入样本图像，可以通过上述公式计算得到每批次样本图像对应的目标损失值。
在本发明的另一实施例中，预先训练的车牌检测模型对应至少一组锚点尺寸信息，每组锚点尺寸信息包括至少一对宽高信息，其中，每组锚点尺寸信息包括的至少一对宽高信息为：根据训练得到预先训练的车牌检测模型的样本原始图像中样本车牌的车牌尺寸信息聚类得到的；
所述S103，可以包括如下步骤031-033：
031：将待检测图像和待检测梯度图像输入预先训练的车牌检测模型的特征提取层，确定待检测图像对应的第一尺寸的第一特征图和待检测梯度图像对应的所述第一尺寸的第二特征图。
其中，第一特征图包括待检测图像的图像特征，第二特征图包括待检测梯度图像的图像特征。
032：利用第一特征图、第二特征图、预先训练的车牌检测模型的特征回归与识别层以及至少一组锚点尺寸信息包括的至少一对宽高信息中的每一对宽高信息，确定待检测图像是否包含车牌；
033：若确定待检测图像包含车牌，确定待检测图像所包含的车牌的位置信息。
本实施例中，可以预先利用样本原始图像中样本车牌的尺寸信息，聚类得到至少一组锚点尺寸信息，每组锚点尺寸信息包括至少一对宽高信息。后续的，电子设备在利用待检测图像、待检测梯度图像、预先训练的车牌检测模型，确定待检测图像所包含的车牌的位置信息的过程中，可以首先将待检测图像和待检测梯度图像，输入预先训练的车牌检测模型的特征提取层，得到待检测图像对应的第一尺寸的第一特征图和待检测梯度图像对应的第一尺寸的第二特征图，即得到待检测图像对应的图像特征和待检测梯度图像对应的图像特征；将第一特征图和第二特征图输入预先训练的车牌检测模型的特征回归与识别层，结合至少一组锚点尺寸信息包括的至少一对宽高信息中的每一对宽高信息，确定待检测图像是否包含车牌，在确定包含车牌的情况，确定待检测图像所包含的车牌的位置信息，其中，所确定待检测图像所包含的车牌的位置信息，对应的类别信息为表征该位置信息存在车牌，且对应的置信度信息超过预设置信度阈值。
在一种情况中，电子设备确定出待检测图像所包含车牌的位置信息的同时，还可以确定出该位置信息对应的置信度信息，并输出。
考虑到在利用预先训练的车牌检测模型进行适用于复杂光照环境的车辆车牌智能识别过程中，待检测图像和待检测边缘图像中的疑似车牌区域，主要通过该预先训练的车牌检测模型对应的至少一组锚点尺寸信息，以及待检测图像对应的图像特征和待检测梯度图像对应的图像特征，从待检测图像和待检测边缘图像上进行提取，然后识别所提取的疑似车牌区域是否包括车牌。预先训练的车牌检测模型对应的样本原始图像固定后，该至少一组锚点尺寸信息固定，相应的，该预先训练的车牌检测模型所能够检测的车牌在图像中的尺寸信息也相应固定，在实际检测过程中，当出现在图像中出现尺寸信息与至少一组锚点尺寸信息中的至少一对宽高信息差别较大的车牌时，易出现车牌漏检的情况。
为了解决上述问题，在本发明的另一实施例中，所述S103还可以包括如下步骤034-037：
034：若利用第一特征图、第二特征图、预先训练的车牌检测模型的特征回归与识别层以及至少一组锚点尺寸信息包括的至少一对宽高信息中的每一对宽高信息，确定待检测图像不包含车牌，获得第一锚点尺寸信息包括的至少一对宽高信息，基于第一锚点尺寸信息对应的第一放缩系数进行放缩后所得的第一宽高信息。
其中，第一锚点尺寸信息为：至少一组锚点尺寸信息中最大的一组锚点尺寸信息，或最小的一组锚点尺寸信息。该第一宽高信息可以是：电子设备预先基于第一锚点尺寸信息包括的至少一对宽高信息以及第一放缩系数确定之后，存储于预设存储空间。电子设备在利用待检测图像、待检测梯度图像、预先训练的车牌检测模型以及至少一组锚点尺寸信息包括的至少一对宽高信息中的每一对宽高信息，确定待检测图像不包含车牌之后，直接从预设存储空间获得的；也可以是：电子设备在利用待检测图像、待检测梯度图像、预先训练的车牌检测模型以及至少一组锚点尺寸信息包括的至少一对宽高信息中的每一对宽高信息，确定待检测图像不包含车牌之后，利用第一锚点尺寸信息包括的至少一对宽高信息，以及第一锚点尺寸信息对应的第一放缩系数进行放缩，实时计算得到的。
035：获得待检测图像对应的第二尺寸的第三特征图和待检测梯度图像对应的第二尺寸的第四特征图。
其中，第三特征图和第四特征图均为：待检测图像和待检测梯度图像输入预先训练的车牌检测模型的特征提取层后得到的特征图，第三特征图包括待检测图像的图像特征，第四特征图包括待检测梯度图像的图像特征。
S36：利用第三特征图、第四特征图、预先训练的车牌检测模型的特征回归与识别层以及第一宽高信息，确定待检测图像是否包含车牌。
037：若确定待检测图像包含车牌，确定待检测图像所包含的车牌的位置信息。
一种情况，电子设备若利用待检测图像、待检测梯度图像、预先训练的车牌检测模型以及至少一组锚点尺寸信息包括的至少一对宽高信息中的每一对宽高信息，确定待检测图像不包含车牌，电子设备可以将等级最大的一组锚点尺寸信息即尺寸较大的一组锚点尺寸信息，或者等级最小的一组锚点尺寸信息即尺寸较小的一组锚点尺寸信息，作为第一锚点尺寸信息，并获得第一锚点尺寸信息包括的至少一对宽高信息，基于第一锚点尺寸信息对应的第一放缩系数进行放缩后所得的第一宽高信息；进而，获得待检测图像对应的第二尺寸的第三特征图和待检测梯度图像对应的第二尺寸的第四特征图，将第三特征图、第四特征图以及第一宽高信息，输入预先训练的车牌检测模型的特征回归与识别层，以利用第三特征图中的待检测图像对应的图像特征和第四特征图中的待检测梯度图像对应的图像特征，以及第一宽高信息，从待检测图像确定出疑似车牌区域，并对疑似车牌区域进行位置回归，得到回归后的区域的位置信息，确定回归后的区域中是否包括车牌，在确定回归后的区域包括车牌且所对应置信度信息超过预设预设置信度阈值，得到该回归后的区域的位置信息，即为待检测图像所包含的车牌所在位置的位置信息。相应的，还可以得到该疑似车牌区域对应的置信度信息。
其中，若将等级最大的一组锚点尺寸信息即尺寸较大的一组锚点尺寸信息作为第一锚点尺寸信息，相应的，该第一锚点尺寸信息对应的第一放缩系数，即为等级最大的一组锚点尺寸信息对应的放缩系数，且该第二尺寸大于第一尺寸。此时为了扩大预先训练的车牌检测模型所能够检测到的车牌的尺寸信息的范围，需要将第一锚点尺寸信息进行放大，即增大第一锚点尺寸信息包括的至少一对宽高信息。该等级最大的一组锚点尺寸信息对应的放缩系数为大于1的数值。一种情况中，该等级最大的一组锚点尺寸信息对应的放缩系数的设置范围可以为为[1.1，1.3]。
若将等级最小的一组锚点尺寸信息即尺寸较小的一组锚点尺寸信息作为第一锚点尺寸信息，相应的，该第一锚点尺寸信息对应的第一放缩系数，即为等级最小的一组锚点尺寸信息对应的放缩系数，且该第二尺寸小于第一尺寸。此时为了扩大预先训练的车牌检测模型所能够检测到的车牌的尺寸信息的范围，需要将第一锚点尺寸信息进行缩小，即缩小第一锚点尺寸信息包括的至少一对宽高信息。该等级最小的一组锚点尺寸信息对应的放缩系数为小于1且大于0的数值。一种情况中，该等级最小的一组锚点尺寸信息对应的放缩系数的设置范围可以为[0.8，0.9]。
本实施例中，通过固定锚点尺寸信息以及自适应锚点尺寸信息，即调整至少一组锚点尺寸信息包括的至少一对宽高信息，共同检测待检测图像包含的车牌及其位置信息，在一定程度上弱化样本原始图像中所包含样本车辆的尺寸，对预先训练的车牌检测模型所能检测到的车牌的尺寸的限制，提高在实际检测过程中车牌尺寸与样本原始图像中车牌尺寸不同时，车牌的检出率，避免出现在实际检测过程中车牌尺寸与样本原始图像中车牌尺寸不同时车牌的漏检的情况。
本发明中的自适应锚点检测方法，即调整第一锚点尺寸信息并基于第一锚点尺寸信息确定待检测图像是否包含车牌的过程，是在预先训练的车牌检测模型对待检测图像及其待检测边缘图像进行图像特征提取的过程之后进行，所涉及分类和回归运算计算速度快，即从待检测图像中提取疑似车辆区域并分类的过程计算速度快，所消耗的计算量相对于预先训练的车牌检测模型的图像特征提取所消耗的计算量可以忽略不计。
在本发明的另一实施例中，所述S103还可以包括如下步骤038-0311：
038：若利用第三特征图、第四特征图、预先训练的车牌检测模型的特征回归与识别层以及第一宽高信息，确定待检测图像不包含车牌，获得第二锚点尺寸信息包括的至少一对宽高信息，基于第二锚点尺寸信息对应的第二放缩系数进行放缩后所得的第二宽高信息。
其中，第二锚点尺寸信息为：至少一组锚点尺寸信息中最小的一组锚点尺寸信息，或最大的一组锚点尺寸信息。该第二宽高信息可以是：电子设备预先基于第二锚点尺寸信息包括的至少一对宽高信息以及第二放缩系数确定之后，存储于预设存储空间。电子设备在利用待检测图像、待检测梯度图像、预先训练的车牌检测模型以及至少一组锚点尺寸信息包括的至少一对宽高信息中的每一对宽高信息，确定待检测图像不包含车牌之后，直接从预设存储空间获得的；也可以是：电子设备在利用待检测图像、待检测梯度图像、预先训练的车牌检测模型以及至少一组锚点尺寸信息包括的至少一对宽高信息中的每一对宽高信息，确定待检测图像不包含车牌之后，利用第二锚点尺寸信息包括的至少一对宽高信息，以及第二锚点尺寸信息对应的第二放缩系数进行放缩，实时计算得到的。
039：获得待检测图像对应的第三尺寸的第五特征图和待检测梯度图像对应的第三尺寸的第六特征图。
其中，第五特征图和第六特征图均为：待检测图像和待检测梯度图像输入预先训练的车牌检测模型的特征提取层后得到的特征图，第五特征图包括待检测图像对应的图像特征，第六特征图包括待检测边缘图像对应的图像特征；
0310：利用第五特征图、第六特征图、预先训练的车牌检测模型的特征回归与识别层以及第二宽高信息，确定待检测图像是否包含车牌；
0311：若确定待检测图像包含车牌，确定待检测图像所包含的车牌的位置信息。
本实施例中，在调整一组锚点尺寸信息包括的至少一对宽高之后，仍未从待检测图像检测出车牌，即电子设备若利用第一特征图、第二特征图、预先训练的车牌检测模型的特征提取层以及第一宽高信息，确定待检测图像不包含车牌；电子设备可以继续将等级最小的一组锚点尺寸信息，或者等级最大的一组锚点尺寸信息，作为第二锚点尺寸信息，并获得第二锚点尺寸信息包括的至少一对宽高信息，基于第二锚点尺寸信息对应的第二放缩系数进行放缩后所得的第二宽高信息；进而，获得待检测图像对应的第三尺寸的第五特征图和待检测梯度图像对应的第三尺寸的第六特征图，将第五特征图、第六特征图以及第二宽高信息，输入预先训练的车牌检测模型的特征回归与识别层，以利用第五特征图中的待检测图像对应的图像特征和第六特征图中的待检测梯度图像对应的图像特征，以及第二宽高信息，从待检测图像确定出疑似车牌区域，并对疑似车牌区域进行位置回归，得到回归后的区域的位置信息，确定回归后的区域中是否包括车牌，在确定回归后的区域包括车牌且所对应置信度信息超过预设预设置信度阈值，得到该回归后的区域的位置信息，即为待检测图像所包含的车牌所在位置的位置信息。相应的，还可以得到该疑似车牌区域对应的置信度信息。
其中，若电子设备将等级最大的一组锚点尺寸信息确定为第一锚点尺寸信息，相应的，电子设备则将等级最小的一组锚点尺寸信息确定为第二锚点尺寸信息，相应的，第二锚点尺寸信息对应的第二放缩系数为等级最小的一组锚点尺寸信息对应的放缩系数，该第三尺寸小于第一尺寸。若电子设备将等级最小的一组锚点尺寸信息确定为第一锚点尺寸信息，相应的，电子设备则将等级最大的一组锚点尺寸信息确定为第二锚点尺寸信息，相应的，第二锚点尺寸信息对应的第二放缩系数为等级最大的一组锚点尺寸信息对应的放缩系数，该第三尺寸大于第一尺寸。
在电子设备首先将等级最小的一组锚点尺寸信息确定为第一锚点尺寸信息，电子设备再将等级最大的一组锚点尺寸信息确定为第二锚点尺寸信息的情况下，则存在第二尺寸小于第一尺寸，且第一尺寸小于第三尺寸。在一种情况中，输入预先训练的车牌检测模型
如图3所示，为通过固定锚点尺寸信息以及自适应锚点尺寸信息，共同检测待检测图像包含的车牌及其位置信息的一种数据交互示意图。如图3所示，电子设备获得待检测图像及其对应的待检测边缘图像之后，将待检测图像及其对应的待检测边缘图像调整为预设尺寸，如416*416，并输入预先训练的车牌检测模型的特征提取层，得到待检测图像对应的第一尺寸的第一特征图和待检测梯度图像对应的第一尺寸的第二特征图，如图3中所示的“输出1”，该第一尺寸可以为26*26，其中，预先训练的车牌检测模型可以CNN(Convolutional Neural Network，卷积神经网络)模型，该预先训练的车牌检测模型的特征提取层可以为用于特征提取的CNN主干网络；将第一特征图、第二特征图及至少一组锚点尺寸信息包括的至少一对宽高信息中的每一对宽高信息，输入预先训练的车牌检测模型的特征回归与识别层，以利用至少一组锚点尺寸信息包括的至少一对宽高信息中的每一对宽高信息，即图3中所示的“anchor1”，以及第一特征图和第二特征图，从待检测图像中确定出疑似车牌区域，并对疑似车牌区域进行位置回归，如图3中所示的“目标检测回归”，得到回归后的区域的位置信息，确定回归后的区域中是否包括车牌，在确定回归后的区域中包括车牌之后，确定待检测图像中包含的车牌所在区域的位置信息，并输出。
在一种情况中，上述CNN主干网络的具体结构可以参照相关技术中采用Darknet-53的网络结构的YOLO(You Only Look Once，只看一次)V3的用于特征提取的网络结构部分。
若确定回归后的区域均不包括车牌之后，则确定待检测图像不包括车牌；自适应锚点尺寸信息，获得第一锚点尺寸信息包括的至少一对宽高信息，基于第一锚点尺寸信息对应的第一放缩系数进行放缩后所得的第一宽高信息，如图3中所示的“anchor2”，获得待检测图像对应的第二尺寸的第三特征图和待检测梯度图像对应的第二尺寸的第四特征图，如图3中所示的“输出2”，该第二尺寸可以为13*13，或者52*52，与第一宽高信息相关；将第三特征图、第四特征图及第一宽高信息输入预先训练的车牌检测模型的特征回归与识别层，以利用第三特征图、第四特征图以及第一宽高信息，从待检测图像确定出疑似车牌区域，并对疑似车牌区域进行位置回归，如图3中所示的“目标检测回归”，得到回归后的区域的位置信息，确定回归后的区域中是否包括车牌，在确定回归后的区域中包括车牌之后，确定待检测图像中包含的车牌所在区域的位置信息，并输出。
若确定回归后的区域均不包括车牌之后，则确定待检测图像不包括车牌；自适应锚点尺寸信息，获得第二锚点尺寸信息包括的至少一对宽高信息，基于第二锚点尺寸信息对应的第二放缩系数进行放缩后所得的第二宽高信息，如图3中所示的“anchor3”，获得待检测图像对应的第三尺寸的第五特征图和待检测梯度图像对应的第三尺寸的第六特征图，如图3中所示的“输出3”，该第三尺寸可以为52*52，或者13*13，与第二宽高信息相关；将第五特征图和第六特征图输入预先训练的车牌检测模型的特征回归与识别层，以利用第五特征图、第六特征图以及第二宽高信息，从待检测图像确定出疑似车牌区域，并对疑似车牌区域进行位置回归，如图3中所示的“目标检测回归”，得到回归后的区域的位置信息，确定回归后的区域中是否包括车牌，在确定回归后的区域中包括车牌之后，确定待检测图像中包含的车牌所在区域的位置信息，并输出；在确定回归后的区域中不包括车牌之后，确定待检测图像不包含车牌，则可以结束流程。
相应于上述方法实施例，本发明实施例提供了一种适用于复杂光照环境的车辆车牌智能识别装置，如图4所示，可以包括：
第一获得模块410，被配置为获得待检测图像；
第一确定模块420，被配置为利用预设边缘检测算法，对所述待检测图像进行边缘检测，确定所述待检测图像对应的待检测梯度图像；
第二确定模块430，被配置为利用所述待检测图像、所述待检测梯度图像以及预先训练的车牌检测模型，确定所述待检测图像是否包含车牌，并在确定所述待检测图像包含车牌的情况下，确定所述待检测图像所包含车牌的位置信息，其中，所述预先训练的车牌检测模型为：基于标注有样本车辆所在位置的样本原始图像以及该样本原始图像对应的样本边缘图像，训练所得的模型。
应用本发明实施例，可以基于通过标注有样本车辆所在位置的样本原始图像以及受光照条件变化的影响较小的该样本原始图像对应的样本边缘图像，训练所得的预先训练的车牌检测模型，实现对待检测图像及其待检测梯度图像的检测，确定出待检测图像包含车牌的情况下，该待检测图像所包含车牌的位置信息。通过样本原始图像及其对应的样本边缘图像，可以训练得到基于图像的边缘特征，检测出车牌所在位置的预先训练的车牌检测模型，并且，样本边缘图像受光照条件变化的影响较小，即使处于复杂光照环境即光照变化较大的场景中，通过预先训练的车牌检测模型，可以从样本原始图像检测出其中包含的车牌及其所在位置，实现提高在复杂光照环境，例如光照变化较大的环境场景下的车牌检测的检出率。
在本发明的另一实施例中，所述第一确定模块420，被具体配置为利用第一滤波算子对所述待检测图像进行水平方向上的边缘检测，确定所述待检测图像对应的第一梯度图像；
利用第二滤波算子对所述待检测图像进行垂直方向上的边缘检测，确定所述待检测图像对应的第二梯度图像；
利用所述第一梯度图像和所述第二梯度图像，确定所述待检测图像对应的待检测梯度图像。
在本发明的另一实施例中，所述装置还包括：
训练模块(图中未示出)，被配置为在所述利用所述待检测图像、所述待检测梯度图像以及预先训练的车牌检测模型，确定所述待检测图像是否包含车牌，并在确定所述待检测图像包含车牌的情况下，确定所述待检测图像所包含的车牌的位置信息之前，训练得到所述预先训练的车牌检测模型，其中，所述训练模块包括：
获得单元(图中未示出)，被配置为获得多张样本原始图像及其标定信息，其中，每一样本原始图像包含车牌，每一标定信息包括：所对应样本原始图像中样本车牌所在位置的标定位置信息、标定类别信息和标定置信度信息；
确定单元(图中未示出)，被配置为利用所述预设边缘检测算法，对每一样本原始图像进行边缘检测，确定每一样本原始图像对应的样本梯度图像；
训练单元(图中未示出)，被配置为利用每一样本原始图像、每一样本原始图像对应的样本梯度图像以及每一样本原始图像对应的标定信息所包括的标定位置信息、标定类别信息和标定置信度信息，训练初始的车牌检测模型，得到所述预先训练的车牌检测模型。
在本发明的另一实施例中，所述初始的车牌检测模型包括：特征提取层以及特征回归与识别层；
所述训练单元包括：
第一输入子模块(图中未示出)，被配置为将每一样本图像输入所述特征提取层，得到每一样本图像对应的样本图像特征，其中，每一样本图像包括：一样本原始图像及其对应的样本梯度图像；
第二输入子模块(图中未示出)，被配置为将每一样本图像对应的样本图像特征输入所述特征回归与识别层，得到每一样本图像中样本车牌所在位置的检测信息，其中，所述检测信息包括：检测位置信息、检测类别信息和检测置信度信息；
确定子模块(图中未示出)，被配置为利用预设损失函数、每一样本图像中样本车牌所在位置的检测位置信息、检测类别信息和检测置信度信息，以及每一样本图像对应的标定信息所包括的标定位置信息、标定类别信息和标定置信度信息，确定每一样本图像对应的目标损失值，其中，每一样本图像对应的标定信息为：该样本图像所包括的样本原始图像对应的标定信息；
调整子模块(图中未示出)，被配置为利用每一样本图像对应的目标损失值以及预设损失阈值，调整初始的车牌检测模型的网络参数，直至所述初始的车牌检测模型收敛，得到包含所述特征提取层以及特征回归与识别层的预先训练的车牌检测模型。
在本发明的另一实施例中，每一样本图像中车牌所在位置的检测信息包括：该样本图像包括的样本原始图像中车牌所在位置的第一检测位置信息、第一检测类别信息和第一检测置信度信息，以及该样本原始图像对应的样本梯度图像中车牌所在位置的第二检测位置信息、第二检测类别信息和第二检测置信度信息；
所述确定子模块，被具体配置为针对每一样本图像，利用该样本图像包括的样本原始图像中样本车牌所在位置的第一检测位置信息、第一检测类别信息和第一检测置信度信息，以及该样本图像对应的标定信息所包括的标定位置信息、标定类别信息和标定置信度信息，确定该样本图像包括的样本原始图像对应的第一损失值；
并利用该样本图像包括的样本原始图像对应的样本梯度图像中样本车牌所在位置的第二检测位置信息、第二检测类别信息和第二检测置信度信息，以及该样本图像对应的标定信息所包括的标定位置信息、标定类别信息和标定置信度信息，确定该样本原始图像对应的样本梯度图像对应的第二损失值；
并利用该样本图像包括的样本原始图像对应的第一损失值，以及该样本原始图像对应的样本梯度图像对应的第二损失值，确定该样本图像对应的目标损失值。
在本发明的另一实施例中，所述预先训练的车牌检测模型对应至少一组锚点尺寸信息，每组锚点尺寸信息包括至少一对宽高信息，其中，每组锚点尺寸信息包括的至少一对宽高信息为：根据训练得到所述预先训练的车牌检测模型的样本原始图像中样本车牌的车牌尺寸信息聚类得到的；
所述第二确定模块430，被具体配置为
将所述待检测图像和所述待检测梯度图像输入预先训练的车牌检测模型的特征提取层，获得所述待检测图像对应的第一尺寸的第一特征图和所述待检测梯度图像对应的所述第一尺寸的第二特征图；
利用所述第一特征图、所述第二特征图、预先训练的车牌检测模型的特征回归与识别层以及所述至少一组锚点尺寸信息包括的至少一对宽高信息，确定所述待检测图像是否包含车牌；
若确定所述待检测图像包含车牌，确定所述待检测图像所包含的车牌的位置信息。
在本发明的另一实施例中，所述第二确定模块430，被具体配置为若利用所述第一特征图、所述第二特征图、预先训练的车牌检测模型的特征回归与识别层以及所述至少一组锚点尺寸信息包括的至少一对宽高信息，确定所述待检测图像不包含车牌，获得第一锚点尺寸信息包括的至少一对宽高信息，基于第一锚点尺寸信息对应的第一放缩系数进行放缩后所得的第一宽高信息，其中，所述第一锚点尺寸信息为：所述至少一组锚点尺寸信息中最大的一组锚点尺寸信息，或最小的一组锚点尺寸信息；
获得所述待检测图像对应的第二尺寸的第三特征图和所述待检测梯度图像对应的所述第二尺寸的第四特征图，其中，所述第三特征图和所述第四特征图均为：所述待检测图像和所述待检测梯度图像输入预先训练的车牌检测模型的特征提取层后得到的特征图；
利用所述第三特征图、所述第四特征图、预先训练的车牌检测模型的特征回归与识别层以及所述第一宽高信息，确定所述待检测图像是否包含车牌；
若确定所述待检测图像包含车牌，确定所述待检测图像所包含的车牌的位置信息。
在本发明的另一实施例中，所述第二确定模块430，被具体配置为若利用所述第三特征图、所述第四特征图、预先训练的车牌检测模型的特征回归与识别层以及所述第一宽高信息，确定所述待检测图像不包含车牌，获得第二锚点尺寸信息包括的至少一对宽高信息，基于第二锚点尺寸信息对应的第二放缩系数进行放缩后所得的第二宽高信息，其中，所述第二锚点尺寸信息为：所述至少一组锚点尺寸信息中最小的一组锚点尺寸信息，或最大的一组锚点尺寸信息；
获得所述待检测图像对应的第三尺寸的第五特征图和所述待检测梯度图像对应的所述第三尺寸的第六特征图，其中，所述第五特征图和所述第六特征图均为：所述待检测图像和所述待检测梯度图像输入预先训练的车牌检测模型的特征提取层后得到的特征图；
利用所述第五特征图、所述第六特征图、预先训练的车牌检测模型的特征回归与识别层以及所述第二宽高信息，确定所述待检测图像是否包含车牌；
若确定所述待检测图像包含车牌，确定所述待检测图像所包含的车牌的位置信息。
上述装置、***实施例与方法实施例相对应，与该方法实施例具有同样的技术效果，具体说明参见方法实施例。装置实施例是基于方法实施例得到的，具体的说明可以参见方法实施例部分，此处不再赘述。
本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。
本领域普通技术人员可以理解：实施例中的装置中的模块可以按照实施例描述分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。

Claims (10)

1.一种适用于复杂光照环境的车辆车牌智能识别方法，其特征在于，所述方法包括：
获得待检测图像；
利用预设边缘检测算法，对所述待检测图像进行边缘检测，确定所述待检测图像对应的待检测梯度图像；
利用所述待检测图像、所述待检测梯度图像以及预先训练的车牌检测模型，确定所述待检测图像是否包含车牌，并在确定所述待检测图像包含车牌的情况下，确定所述待检测图像所包含车牌的位置信息，其中，所述预先训练的车牌检测模型为：基于标注有样本车辆所在位置的样本原始图像以及该样本原始图像对应的样本边缘图像，训练所得的模型。
2.如权利要求1所述的方法，其特征在于，所述利用预设边缘检测算法，对所述待检测图像进行边缘检测，确定所述待检测图像对应的待检测梯度图像的步骤，包括：
利用第一滤波算子对所述待检测图像进行水平方向上的边缘检测，确定所述待检测图像对应的第一梯度图像；
利用第二滤波算子对所述待检测图像进行垂直方向上的边缘检测，确定所述待检测图像对应的第二梯度图像；
利用所述第一梯度图像和所述第二梯度图像，确定所述待检测图像对应的待检测梯度图像。
3.如权利要求1所述的方法，其特征在于，在所述利用所述待检测图像、所述待检测梯度图像以及预先训练的车牌检测模型，确定所述待检测图像是否包含车牌，并在确定所述待检测图像包含车牌的情况下，确定所述待检测图像所包含的车牌的位置信息的步骤之前，所述方法还包括：
训练得到所述预先训练的车牌检测模型的过程，其中，所述过程，包括：
获得多张样本原始图像及其标定信息，其中，每一样本原始图像包含车牌，每一标定信息包括：所对应样本原始图像中样本车牌所在位置的标定位置信息、标定类别信息和标定置信度信息；
利用所述预设边缘检测算法，对每一样本原始图像进行边缘检测，确定每一样本原始图像对应的样本梯度图像；
利用每一样本原始图像、每一样本原始图像对应的样本梯度图像以及每一样本原始图像对应的标定信息所包括的标定位置信息、标定类别信息和标定置信度信息，训练初始的车牌检测模型，得到所述预先训练的车牌检测模型。
4.如权利要求3所述的方法，其特征在于，所述初始的车牌检测模型包括：特征提取层以及特征回归与识别层；
所述利用每一样本原始图像、每一样本原始图像对应的样本梯度图像以及每一样本原始图像对应的标定信息所包括的标定位置信息，训练初始的车牌检测模型，得到所述预先训练的车牌检测模型的步骤，包括：
将每一样本图像输入所述特征提取层，得到每一样本图像对应的样本图像特征，其中，每一样本图像包括：一样本原始图像及其对应的样本梯度图像；
将每一样本图像对应的样本图像特征输入所述特征回归与识别层，得到每一样本图像中样本车牌所在位置的检测信息，其中，所述检测信息包括：检测位置信息、检测类别信息和检测置信度信息；
利用预设损失函数、每一样本图像中样本车牌所在位置的检测位置信息、检测类别信息和检测置信度信息，以及每一样本图像对应的标定信息所包括的标定位置信息、标定类别信息和标定置信度信息，确定每一样本图像对应的目标损失值，其中，每一样本图像对应的标定信息为：该样本图像所包括的样本原始图像对应的标定信息；
利用每一样本图像对应的目标损失值以及预设损失阈值，调整初始的车牌检测模型的网络参数，直至所述初始的车牌检测模型收敛，得到包含所述特征提取层和特征回归与识别层的预先训练的车牌检测模型。
5.如权利要求4所述的方法，其特征在于，每一样本图像中车牌所在位置的检测信息包括：该样本图像包括的样本原始图像中车牌所在位置的第一检测位置信息、第一检测类别信息和第一检测置信度信息，以及该样本原始图像对应的样本梯度图像中车牌所在位置的第二检测位置信息、第二检测类别信息和第二检测置信度信息；
所述利用预设损失函数、每一样本图像中样本车牌所在位置的检测位置信息、检测类别信息和检测置信度信息，以及每一样本图像对应的标定信息所包括的标定位置信息、标定类别信息和标定置信度信息，确定每一样本图像对应的目标损失值的步骤，包括：
针对每一样本图像，利用该样本图像包括的样本原始图像中样本车牌所在位置的第一检测位置信息、第一检测类别信息和第一检测置信度信息，以及该样本图像对应的标定信息所包括的标定位置信息、标定类别信息和标定置信度信息，确定该样本图像包括的样本原始图像对应的第一损失值；
并利用该样本图像包括的样本原始图像对应的样本梯度图像中样本车牌所在位置的第二检测位置信息、第二检测类别信息和第二检测置信度信息，以及该样本图像对应的标定信息所包括的标定位置信息、标定类别信息和标定置信度信息，确定该样本原始图像对应的样本梯度图像对应的第二损失值；
并利用该样本图像包括的样本原始图像对应的第一损失值，以及该样本原始图像对应的样本梯度图像对应的第二损失值，确定该样本图像对应的目标损失值。
6.如权利要求4所述的方法，其特征在于，所述预先训练的车牌检测模型对应至少一组锚点尺寸信息，每组锚点尺寸信息包括至少一对宽高信息，其中，每组锚点尺寸信息包括的至少一对宽高信息为：根据训练得到所述预先训练的车牌检测模型的样本原始图像中样本车牌的车牌尺寸信息聚类得到的；
所述利用所述待检测图像、所述待检测梯度图像以及预先训练的车牌检测模型，确定所述待检测图像是否包含车牌，并在确定所述待检测图像包含车牌的情况下，确定所述待检测图像所包含的车牌的位置信息的步骤，包括：
将所述待检测图像和所述待检测梯度图像输入预先训练的车牌检测模型的特征提取层，获得所述待检测图像对应的第一尺寸的第一特征图和所述待检测梯度图像对应的所述第一尺寸的第二特征图；
利用所述第一特征图、所述第二特征图、预先训练的车牌检测模型的特征回归与识别层以及所述至少一组锚点尺寸信息包括的至少一对宽高信息中的每一对宽高信息，确定所述待检测图像是否包含车牌；
若确定所述待检测图像包含车牌，确定所述待检测图像所包含的车牌的位置信息。
7.如权利要求6所述的方法，其特征在于，所述方法还包括：
若利用所述第一特征图、所述第二特征图、预先训练的车牌检测模型的特征回归与识别层以及所述至少一组锚点尺寸信息包括的至少一对宽高信息中的每一对宽高信息，确定所述待检测图像不包含车牌，获得第一锚点尺寸信息包括的至少一对宽高信息，基于第一锚点尺寸信息对应的第一放缩系数进行放缩后所得的第一宽高信息，其中，所述第一锚点尺寸信息为：所述至少一组锚点尺寸信息中最大的一组锚点尺寸信息，或最小的一组锚点尺寸信息；
获得所述待检测图像对应的第二尺寸的第三特征图和所述待检测梯度图像对应的所述第二尺寸的第四特征图，其中，所述第三特征图和所述第四特征图均为：所述待检测图像和所述待检测梯度图像输入预先训练的车牌检测模型的特征提取层后得到的特征图；
利用所述第三特征图、所述第四特征图、预先训练的车牌检测模型的特征回归与识别层以及所述第一宽高信息，确定所述待检测图像是否包含车牌；
若确定所述待检测图像包含车牌，确定所述待检测图像所包含的车牌的位置信息。
8.如权利要求7所述的方法，其特征在于，所述方法还包括：
若利用所述第三特征图、所述第四特征图、预先训练的车牌检测模型的特征回归与识别层以及所述第一宽高信息，确定所述待检测图像不包含车牌，获得第二锚点尺寸信息包括的至少一对宽高信息，基于第二锚点尺寸信息对应的第二放缩系数进行放缩后所得的第二宽高信息，其中，所述第二锚点尺寸信息为：所述至少一组锚点尺寸信息中最小的一组锚点尺寸信息，或最大的一组锚点尺寸信息；
获得所述待检测图像对应的第三尺寸的第五特征图和所述待检测梯度图像对应的所述第三尺寸的第六特征图，其中，所述第五特征图和所述第六特征图均为：所述待检测图像和所述待检测梯度图像输入预先训练的车牌检测模型的特征提取层后得到的特征图；
利用所述第五特征图、所述第六特征图、预先训练的车牌检测模型的特征回归与识别层以及所述第二宽高信息，确定所述待检测图像是否包含车牌；
若确定所述待检测图像包含车牌，确定所述待检测图像所包含的车牌的位置信息。
9.一种适用于复杂光照环境的车辆车牌智能识别装置，其特征在于，所述装置包括：
第一获得模块，被配置为获得待检测图像；
第一确定模块，被配置为利用预设边缘检测算法，对所述待检测图像进行边缘检测，确定所述待检测图像对应的待检测梯度图像；
第二确定模块，被配置为利用所述待检测图像、所述待检测梯度图像以及预先训练的车牌检测模型，确定所述待检测图像是否包含车牌，并在确定所述待检测图像包含车牌的情况下，确定所述待检测图像所包含车牌的位置信息，其中，所述预先训练的车牌检测模型为：基于标注有样本车辆所在位置的样本原始图像以及该样本原始图像对应的样本边缘图像，训练所得的模型。
10.如权利要求9所述的装置，其特征在于，所述第一确定模块，被具体配置为利用第一滤波算子对所述待检测图像进行水平方向上的边缘检测，确定所述待检测图像对应的第一梯度图像；
利用第二滤波算子对所述待检测图像进行垂直方向上的边缘检测，确定所述待检测图像对应的第二梯度图像；
利用所述第一梯度图像和所述第二梯度图像，确定所述待检测图像对应的待检测梯度图像。
CN201911243936.6A 2019-12-06 2019-12-06 适用于复杂光照环境的车辆车牌智能识别方法及装置 Active CN111079744B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911243936.6A CN111079744B (zh) 2019-12-06 2019-12-06 适用于复杂光照环境的车辆车牌智能识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911243936.6A CN111079744B (zh) 2019-12-06 2019-12-06 适用于复杂光照环境的车辆车牌智能识别方法及装置

Publications (2)

Publication Number Publication Date
CN111079744A true CN111079744A (zh) 2020-04-28
CN111079744B CN111079744B (zh) 2020-09-01

Family

ID=70313210

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911243936.6A Active CN111079744B (zh) 2019-12-06 2019-12-06 适用于复杂光照环境的车辆车牌智能识别方法及装置

Country Status (1)

Country Link
CN (1) CN111079744B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111915899A (zh) * 2020-08-14 2020-11-10 中国工商银行股份有限公司 一种车位监控管理方法及***
CN113723408A (zh) * 2021-11-02 2021-11-30 上海仙工智能科技有限公司 一种车牌识别方法及其***、可读存储介质

Citations (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7734097B1 (en) * 2006-08-01 2010-06-08 Mitsubishi Electric Research Laboratories, Inc. Detecting objects in images with covariance matrices
CN102214290A (zh) * 2010-04-12 2011-10-12 无锡科利德斯科技有限公司 车牌定位方法及车牌定位模板训练方法
CN102968646A (zh) * 2012-10-25 2013-03-13 华中科技大学 一种基于机器学习的车牌检测方法
CN103530640A (zh) * 2013-11-07 2014-01-22 沈阳聚德视频技术有限公司 基于AdaBoost与SVM的无牌车辆检测方法
CN104820831A (zh) * 2015-05-13 2015-08-05 沈阳聚德视频技术有限公司 基于AdaBoost车牌定位的前车脸识别方法
CN106355180A (zh) * 2016-09-07 2017-01-25 武汉安可威视科技有限公司 一种基于颜色与边缘特征相结合的车牌定位方法
CN106355179A (zh) * 2016-08-30 2017-01-25 韦嘉志 一种车牌定位方法及***
KR101715273B1 (ko) * 2016-10-05 2017-03-10 한밭대학교 산학협력단 고해상도 360° 전방위 ip 카메라 제작과 이를 이용한 다중 자동차 번호판 인식 시스템 및 방법
CN107067015A (zh) * 2016-10-27 2017-08-18 武汉烽火众智数字技术有限责任公司 一种基于多特征深度学习的车辆检测方法及装置
CN107203754A (zh) * 2017-05-26 2017-09-26 北京邮电大学 一种基于深度学习的车牌定位方法及装置
CN107609555A (zh) * 2017-09-15 2018-01-19 北京文安智能技术股份有限公司 车牌检测方法、应用其的车型识别方法及相关装置
CN108268867A (zh) * 2016-12-30 2018-07-10 杭州海康威视数字技术股份有限公司 一种车牌定位方法及装置
CN109670498A (zh) * 2018-11-10 2019-04-23 江苏网进科技股份有限公司 一种车牌定位方法
CN109685723A (zh) * 2018-11-05 2019-04-26 建湖云飞数据科技有限公司 一种多媒体数据信息处理方法
CN109711413A (zh) * 2018-12-30 2019-05-03 陕西师范大学 基于深度学习的图像语义分割方法
CN109840557A (zh) * 2019-01-24 2019-06-04 深圳爱莫科技有限公司 图像识别方法和装置
KR101999084B1 (ko) * 2019-02-15 2019-07-11 주식회사 넥스파시스템 차량 특징 벡터 분류를 통한 경차 판별 및 차량 번호 인식기
CN110020651A (zh) * 2019-04-19 2019-07-16 福州大学 基于深度学习网络的车牌检测定位方法
CN110210475A (zh) * 2019-05-06 2019-09-06 浙江大学 一种非二值化和边缘检测的车牌字符图像分割方法
WO2019174405A1 (zh) * 2018-03-14 2019-09-19 台达电子工业股份有限公司 车牌辨识方法以及其***
CN110414507A (zh) * 2019-07-11 2019-11-05 和昌未来科技（深圳）有限公司 车牌识别方法、装置、计算机设备和存储介质
CN110443245A (zh) * 2019-08-14 2019-11-12 上海世茂物联网科技有限公司 一种非限制场景下的车牌区域的定位方法、装置及设备
CN110458168A (zh) * 2019-08-29 2019-11-15 上海眼控科技股份有限公司 车辆检测报告的处理方法、装置、计算机设备和存储介质

Patent Citations (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7734097B1 (en) * 2006-08-01 2010-06-08 Mitsubishi Electric Research Laboratories, Inc. Detecting objects in images with covariance matrices
CN102214290A (zh) * 2010-04-12 2011-10-12 无锡科利德斯科技有限公司 车牌定位方法及车牌定位模板训练方法
CN102968646A (zh) * 2012-10-25 2013-03-13 华中科技大学 一种基于机器学习的车牌检测方法
CN103530640A (zh) * 2013-11-07 2014-01-22 沈阳聚德视频技术有限公司 基于AdaBoost与SVM的无牌车辆检测方法
CN104820831A (zh) * 2015-05-13 2015-08-05 沈阳聚德视频技术有限公司 基于AdaBoost车牌定位的前车脸识别方法
CN106355179A (zh) * 2016-08-30 2017-01-25 韦嘉志 一种车牌定位方法及***
CN106355180A (zh) * 2016-09-07 2017-01-25 武汉安可威视科技有限公司 一种基于颜色与边缘特征相结合的车牌定位方法
KR101715273B1 (ko) * 2016-10-05 2017-03-10 한밭대학교 산학협력단 고해상도 360° 전방위 ip 카메라 제작과 이를 이용한 다중 자동차 번호판 인식 시스템 및 방법
CN107067015A (zh) * 2016-10-27 2017-08-18 武汉烽火众智数字技术有限责任公司 一种基于多特征深度学习的车辆检测方法及装置
CN108268867A (zh) * 2016-12-30 2018-07-10 杭州海康威视数字技术股份有限公司 一种车牌定位方法及装置
CN107203754A (zh) * 2017-05-26 2017-09-26 北京邮电大学 一种基于深度学习的车牌定位方法及装置
CN107609555A (zh) * 2017-09-15 2018-01-19 北京文安智能技术股份有限公司 车牌检测方法、应用其的车型识别方法及相关装置
WO2019174405A1 (zh) * 2018-03-14 2019-09-19 台达电子工业股份有限公司 车牌辨识方法以及其***
CN109685723A (zh) * 2018-11-05 2019-04-26 建湖云飞数据科技有限公司 一种多媒体数据信息处理方法
CN109670498A (zh) * 2018-11-10 2019-04-23 江苏网进科技股份有限公司 一种车牌定位方法
CN109711413A (zh) * 2018-12-30 2019-05-03 陕西师范大学 基于深度学习的图像语义分割方法
CN109840557A (zh) * 2019-01-24 2019-06-04 深圳爱莫科技有限公司 图像识别方法和装置
KR101999084B1 (ko) * 2019-02-15 2019-07-11 주식회사 넥스파시스템 차량 특징 벡터 분류를 통한 경차 판별 및 차량 번호 인식기
CN110020651A (zh) * 2019-04-19 2019-07-16 福州大学 基于深度学习网络的车牌检测定位方法
CN110210475A (zh) * 2019-05-06 2019-09-06 浙江大学 一种非二值化和边缘检测的车牌字符图像分割方法
CN110414507A (zh) * 2019-07-11 2019-11-05 和昌未来科技（深圳）有限公司 车牌识别方法、装置、计算机设备和存储介质
CN110443245A (zh) * 2019-08-14 2019-11-12 上海世茂物联网科技有限公司 一种非限制场景下的车牌区域的定位方法、装置及设备
CN110458168A (zh) * 2019-08-29 2019-11-15 上海眼控科技股份有限公司 车辆检测报告的处理方法、装置、计算机设备和存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111915899A (zh) * 2020-08-14 2020-11-10 中国工商银行股份有限公司 一种车位监控管理方法及***
CN113723408A (zh) * 2021-11-02 2021-11-30 上海仙工智能科技有限公司 一种车牌识别方法及其***、可读存储介质
CN113723408B (zh) * 2021-11-02 2022-02-25 上海仙工智能科技有限公司 一种车牌识别方法及其***、可读存储介质

Also Published As

Publication number Publication date
CN111079744B (zh) 2020-09-01

Similar Documents

Publication Publication Date Title
CN112380952B (zh) 基于人工智能的电力设备红外图像实时检测及识别方法
CN111062413B (zh) 一种道路目标检测方法、装置、电子设备及存储介质
CN110232675B (zh) 一种工业环境下的纹理表面缺陷检测与分割装置及方法
CN108121984B (zh) 一种字符识别方法及装置
CN106960195B (zh) 一种基于深度学习的人群计数方法及装置
CN108898047B (zh) 基于分块遮挡感知的行人检测方法及***
US20190188528A1 (en) Text detection method and apparatus, and storage medium
CN108121991B (zh) 一种基于边缘候选区域提取的深度学习舰船目标检测方法
CN107657249A (zh) 多尺度特征行人重识别的方法、装置、存储介质及处理器
CN106599789A (zh) 视频类别识别方法和装置、数据处理装置和电子设备
CN107038416B (zh) 一种基于二值图像改进型hog特征的行人检测方法
CN108805016B (zh) 一种头肩区域检测方法及装置
CN104537359B (zh) 一种车辆目标检测方法及装置
CN110689043A (zh) 一种基于多重注意力机制的车辆细粒度识别方法及装置
CN111079744B (zh) 适用于复杂光照环境的车辆车牌智能识别方法及装置
CN107609555A (zh) 车牌检测方法、应用其的车型识别方法及相关装置
CN110659550A (zh) 交通标志牌识别方法、装置、计算机设备和存储介质
CN111754519B (zh) 一种基于类激活映射的对抗防御方法
CN111091023A (zh) 一种车辆检测方法、装置及电子设备
CN113537037A (zh) 路面病害识别方法、***、电子设备及存储介质
CN114926791A (zh) 一种路口车辆异常变道检测方法、装置、存储介质及电子设备
CN113935386A (zh) 一种目标检测方法及装置
CN106446929B (zh) 基于边缘梯度势能的车辆类型检测方法
CN106778777A (zh) 一种车辆匹配方法及***
CN112597995B (zh) 车牌检测模型训练方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: Intelligent vehicle license plate recognition method and device suitable for complex lighting environment

Effective date of registration: 20211216

Granted publication date: 20200901

Pledgee: Yantai financing guarantee Group Co.,Ltd.

Pledgor: LUDONG University

Registration number: Y2021980015152

PC01 Cancellation of the registration of the contract for pledge of patent right
PC01 Cancellation of the registration of the contract for pledge of patent right

Date of cancellation: 20220317

Granted publication date: 20200901

Pledgee: Yantai financing guarantee Group Co.,Ltd.

Pledgor: LUDONG University

Registration number: Y2021980015152