CN113378840A - 一种车牌的检测方法及装置 - Google Patents
一种车牌的检测方法及装置 Download PDFInfo
- Publication number
- CN113378840A CN113378840A CN202011524683.2A CN202011524683A CN113378840A CN 113378840 A CN113378840 A CN 113378840A CN 202011524683 A CN202011524683 A CN 202011524683A CN 113378840 A CN113378840 A CN 113378840A
- Authority
- CN
- China
- Prior art keywords
- license plate
- vehicle image
- noise
- image
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 102
- 230000007613 environmental effect Effects 0.000 claims abstract description 70
- 238000012549 training Methods 0.000 claims abstract description 64
- 238000012545 processing Methods 0.000 claims abstract description 12
- 238000000034 method Methods 0.000 claims description 41
- 238000000605 extraction Methods 0.000 claims description 40
- 238000009826 distribution Methods 0.000 claims description 39
- 238000005070 sampling Methods 0.000 claims description 30
- 239000002356 single layer Substances 0.000 claims description 19
- 239000010410 layer Substances 0.000 claims description 17
- 230000015654 memory Effects 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 13
- 230000004927 fusion Effects 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 7
- 238000005520 cutting process Methods 0.000 claims description 5
- 230000001172 regenerating effect Effects 0.000 claims description 4
- 238000003860 storage Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 239000006002 Pepper Substances 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例提供了一种车牌的检测方法及装置，该方法和装置能够解决现有技术中目标检测模型在极端天气下车牌检测效果较差的问题。其中，车牌的检测方法包括：获取与各种极端天气类型对应的包含有不同类型环境噪声的多张第一车辆图像以及非极端天气类型所对应的多张第二车辆图像；基于第一车辆图像以及随机噪声对预先构建的生成对抗网络进行训练，并利用训练后的对抗网络模型对随机噪声进行处理生成目标噪声；将目标噪声与第二车辆图像进行融合，获得第三车辆图像；基于第一车辆图像、第二车辆图像以及第三车辆图像对预先构建的目标检测网络进行训练，获得车牌检测模型；基于车牌检测模型对新的车辆图像进行检测，确定第一车牌的实际位置。
Description
技术领域
本发明涉及目标检测技术领域，尤其涉及一种车牌的检测方法及装置。
背景技术
目前，对于行驶在公路或者停靠在路边的机动车而言，若机动车出现超速或者出现违规停放的问题，往往通过对该机动车的车牌进行检测，并在检测到车牌的基础上，对车牌号进行识别，以作为后续罚款的依据。但是车牌检测的效果受天气因素影响较大，例如，在天气晴朗时，目标检测模型对机动车车牌具有较好的检测性能；当天气较恶劣时，例如，下大雨，下雪或者起雾，目标检测模型无法较为准确的检测出机动车车牌，进而导致也无法准确的对车牌号进行识别。
现有技术中，通常在非极端天气下所采集的车辆图像上随机添加噪声来模拟极端天气下的车辆图像，即利用添加了随机噪声的车辆图像对目标检测模型进行训练，但是由于随机噪声是基于预设规则生成的，那么与极端天气下的真实噪声差异较大，从而导致训练后的目标检测模型在应用时检测的准确性仍然较差。
可见，现有技术中基于人为设定规则所生成的随机噪声与非极端天气对应的车辆图像进行融合来模拟生成极端天气下车辆图像样本，从而对目标检测模型进行训练，使得训练后的目标检测模型在真实的极端天气下对于车牌的检测准确性仍然较差。
发明内容
本发明实施例提供了一种车牌的检测方法及装置，该方法和装置能够解决现有技术中目标检测模型在极端天气下车牌检测效果较差的问题。
第一方面，本发明实施例提供了一种车牌的检测方法，所述方法包括：
获取与各种极端天气类型对应的包含有不同类型环境噪声的多张第一车辆图像以及非极端天气类型所对应的多张第二车辆图像；
基于每种类型的环境噪声所对应的第一车辆图像以及随机噪声对预先构建的生成对抗网络进行训练，并利用训练后的对抗网络模型对所述随机噪声进行处理生成目标噪声；其中，所述目标噪声与用于训练所述生成对抗网络的车辆图像所包含的环境噪声具有相同的概率密度分布，所述概率密度分布用于指示环境噪声在车辆图像中出现在各个像素点处的概率；
将所述目标噪声与所述第二车辆图像进行融合，获得第三车辆图像；
基于所述第一车辆图像、所述第二车辆图像以及所述第三车辆图像对预先构建的目标检测网络进行训练，获得车牌检测模型；
当接收到新的车辆图像时，基于所述车牌检测模型对所述新的车辆图像进行检测，以确定第一车牌的实际位置。
本发明实施例中，在极端天气下所采集的第一车辆图像可以认为具有环境噪声，且不同类型的极端天气所对应的环境噪声的类型不相同。非极端天气下所采集的第二车辆图像可以认为不具有环境噪声。通过学习各种极端天气下获取的第一车辆图像中所包含的环境噪声，并将学习到的环境噪声与非极端天气下所获取的第二车辆图像相融合，从而可以生成大量与极端天气相关的车辆图像，那么经由极端天气类型所对应的车辆图像(包括原始的第一车辆图像以及人为生成的第三车辆图像)以及非极端天气所对应的车辆图像(第二车辆图像)共同训练得到的车牌检测模型，可以认为在极端天气与非极端天气下都具有较高的检测性能。与现有技术中基于人为设定的规则生成随机噪声相比，本申请通过从包含有环境噪声的车辆图像中学习环境噪声的概率密度分布，从而生成目标噪声，更加符合真实场景，从而有利于提高车牌检测的准确性。
可选的，基于每种类型的环境噪声所对应的第一车辆图像以及随机噪声对预先构建的生成对抗网络进行训练包括：
对所述随机噪声进行卷积操作，并对所述随机噪声进行下采样，以获得预设尺寸的特征图像；
将所述预设尺寸的特征图像通过反卷积操作进行上采样，获得与所述随机噪声尺寸相同、概率密度分布不同的第一噪声；
对所述第一噪声以及所述第一车辆图像进行判别，并在判别结果指示所述第一噪声与用于训练所述生成对抗网络的车辆图像所包含的环境噪声的概率密度分布一致时结束训练。
本发明实施例中，针对随机噪声先进行卷积-下采样操作，从而获得预设尺寸的特征图像，然后再基于该预设尺寸的特征图像进行反卷积以进行上采样，既可以保证输出的第一噪声与输入的随机噪声具有相同的尺寸，又使得第一噪声相较于随机噪声而言，其概率密度发生一定程度的变化。此时若确定第一噪声与用于训练生成对应网络的车牌图像所包含的环境噪声的概率密度一致，则表明生成对抗网络已经学习到环境噪声的特征，那么生成对抗网络的训练过程可以结束，从而节约计算资源。
可选的，还包括：
若所述判别结果指示所述第一噪声与所述环境噪声的概率密度分布不一致，则重新生成所述第一噪声，并对所述重新生成的第一噪声的概率密度分布与所述环境噪声的概率密度分布是否一致进行再次判别。
本发明实施例中，若确定第一噪声与用于训练生成对应网络的车牌图像所包含的环境噪声的概率密度不一致，则表明生成对抗网络还未学习到环境噪声的特征，此时可以通过随机噪声重新生成第一噪声，并针对重新生成的第一噪声的概率密度分布与环境噪声的概率密度分布是否一致进行再次判别，直到两者概率密度分布一致为止，使得训练后的对抗网络模型能够具有较好的生成目标噪声的性能。
可选的，基于所述车牌检测模型对所述新的车辆图像进行检测包括：
对所述新的车辆图像进行多次卷积操作与下采样，形成多张尺寸各不相同的特征图像；
对最后一次下采样后形成的特征图像进行上采样，分别形成多张尺寸各不相同的新的特征图像，并将每张所述新的特征图像与下采样过程形成的特征图像中相同尺寸的特征图像进行特征融合；
基于所述融合后的特征图像确定出所述第一车牌的实际位置。
本发明实施例中，首先通过多次卷积-下采样操作对新的车辆图像进行特征提取，从而形成多张尺寸各不相同的特征图像。然后以最后一次下采样所形成的特征图像为基准进行上采样，形成多张尺寸各不相同的新的特征图像，进而可以将每张新的特征图像与下采样过程中具有相同尺寸的特征图像进行融合，那么基于融合后的特征图像可以更为准确的确定出第一车牌的实际位置。
可选的，所述方法还包括：
若所述车牌检测模型确定所述第一车牌为单层车牌，则基于预先训练的单层识别模型依次对所述第一车牌所处的图像区域进行特征提取操作以及文字序列特征提取操作，并基于所提取的文字序列特征确定所述第一车牌的车牌号所对应的字符序列；
根据所述字符序列以及预设字符字典确定出所述第一车牌对应的车牌号，其中，所述预设字符字典中存储有各种字符序列与数字、字母以及汉字的对应关系。
本发明实施例中，当车牌检测模型在新的车辆图像中检测到第一车牌后，若确定第一车牌为单层车牌，那么则可以分别对第一车牌所在的图像区域进行特征提取以及文字序列特征提取，从而确定出一串字符序列。在此基础上，可以基于预设的字符字典中所存储的字符序列与数字、字母以及汉字的对应关系，较为准确的确定出第一车牌所对应的车牌号。
可选的，在基于预先训练的单层识别模型依次对所述第一车牌所处的图像区域进行特征提取操作以及文字序列特征提取操作，并基于所提取的文字序列特征确定所述第一车牌的车牌号所对应的字符序列确定第一车牌的实际位置之前，所述方法还包括：
基于空间变化网络STN对所述第一车牌所处的图像区域中所包含的数字、字母以及汉字进行矫正处理。
本发明实施例中，考虑到拍摄新的车辆图像时由于角度原因可能导致所检测到的第一车牌处于倾斜状态，即第一车牌中所包含的数字、字母以及汉字也处于倾斜状态，此时可以在进行车牌号识别之前，对第一车牌中所包含的数字、字母以及汉字进行矫正处理，从而提高后续字符识别的准确性。
可选的，所述方法还包括：
若所述车牌检测模型确定所述第一车牌为双层车牌，基于预先训练的双层识别模型对所述第一车牌所处的图像区域进行特征提取操作；
基于特征提取所获得的特征图像在高度方向上进行等比例裁剪并将裁剪后的两部分特征图像进行横向拼接，以及针对拼接后的特征图像进行文字特征序列提取操作，并基于所提取的文字序列特征确定所述第一车牌的车牌号所对应的字符序列；
根据所述字符序列以及预设字符字典确定出所述第一车牌对应的车牌号，其中，所述预设字符字典中存储有各种字符序列与数字、字母以及汉字的对应关系。
本发明实施例中，当车牌检测模型在新的车辆图像中检测到第一车牌后，若确定第一车牌为双层车牌，那么则可以分别对第一车牌所在的图像区域进行特征提取，然后基于特征提取所获得的特征图像在高度方向上进行等比例裁剪并将裁剪后的两部分特征图像进行横向拼接以及文字序列特征提取，最后针对拼接后的特征图像进行文字特征序列提取操作，从而确定出一串字符序列。在此基础上，可以基于预设的字符字典中所存储的字符序列与数字、字母以及汉字的对应关系，较为准确的确定出第一车牌所对应的车牌号。
第二方面，本发明实施例提供了一种车牌检测装置，所述装置包括：
获取单元，用于获取与各种极端天气类型对应的包含有不同类型环境噪声的多张第一车辆图像以及非极端天气类型所对应的多张第二车辆图像；
第一训练单元，用于基于每种类型的环境噪声所对应的第一车辆图像以及随机噪声对预先构建的生成对抗网络进行训练，并利用训练后的对抗网络模型对所述随机噪声进行处理生成目标噪声；其中，所述目标噪声与用于训练所述对抗网络的车辆图像所包含的环境噪声具有相同的概率密度分布，所述概率密度分布用于指示环境噪声在车辆图像中出现在各个像素点处的概率；
融合单元，用于将所述目标噪声与所述第二车辆图像进行融合，获得第三车辆图像；
第二训练单元，用于基于所述第一车辆图像、所述第二车辆图像以及所述第三车辆图像对预先构建的目标检测网络进行训练，获得车牌检测模型；
检测单元，用于当接收到新的车辆图像时，基于所述车牌检测模型对所述新的车辆图像进行检测，以确定第一车牌的实际位置。
可选的，所述第一训练单元具体用于：
对所述随机噪声进行卷积操作，并对所述随机噪声进行下采样，以获得预设尺寸的特征图像；
将所述预设尺寸的特征图像通过反卷积操作进行上采样，获得与所述随机噪声尺寸相同、概率密度分布不同的第一噪声；
对所述第一噪声以及所述第一车辆图像进行判别，并在判别结果指示所述第一噪声与用于训练所述生成对抗网络的车辆图像所包含的环境噪声的概率密度分布一致时结束训练。
可选的，所述第一训练单元还用于：若所述判别结果指示所述第一噪声与所述环境噪声的概率密度分布不一致，则重新生成所述第一噪声，并对所述重新生成的第一噪声的概率密度分布与所述环境噪声的概率密度分布是否一致进行再次判别。
可选的，所述检测单元具体用于：
对所述新的车辆图像进行多次卷积操作与下采样，形成多张尺寸各不相同的特征图像；
对最后一次下采样后形成的特征图像进行上采样，分别形成多张尺寸各不相同的新的特征图像，并将每张所述新的特征图像与下采样过程形成的特征图像中相同尺寸的特征图像进行特征融合；
基于所述融合后的特征图像确定出所述第一车牌的实际位置。
可选的，所述车牌检测装置还包括：
第一确定单元，用于当确定所述第一车牌为单层车牌，则基于预先训练的单层识别模型依次对所述第一车牌所处的图像区域进行特征提取操作以及文字序列特征提取操作，并基于所提取的文字序列特征确定所述第一车牌的车牌号所对应的字符序列；
第二确定单元，根据所述字符序列以及预设字符字典确定出所述第一车牌对应的车牌号，其中，所述预设字符字典中存储有各种字符序列与数字、字母以及汉字的对应关系。
可选的，所述车牌检测装置还包括：
矫正单元，用于基于空间变化网络STN对所述第一车牌所处的图像区域中所包含的数字、字母以及汉字进行矫正处理。
可选的，所述车牌检测装置还包括：
特征提取单元，用于当确定所述第一车牌为双层车牌，基于预先训练的双层识别模型对所述第一车牌所处的图像区域进行特征提取操作；
第一确定单元，用于基于特征提取所获得的特征图像在高度方向上进行等比例裁剪并将裁剪后的两部分特征图像进行横向拼接，以及针对拼接后的特征图像进行文字特征序列提取操作，并基于所提取的文字序列特征确定所述第一车牌的车牌号所对应的字符序列；
第二确定单元，用于根据所述字符序列以及预设字符字典确定出所述第一车牌对应的车牌号，其中，所述预设字符字典中存储有各种字符序列与数字、字母以及汉字的对应关系。
第三方面，本发明实施例提供一种车牌检测装置，所述车牌检测装置包括处理器和存储器，所述处理器用于执行所述存储器中存储的计算机程序是实现如第一方面实施例所述方法的步骤。
第四方面，本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面实施例所述方法的步骤。
附图说明
图1为本发明实施例提供的一种车牌的检测方法的流程示意图；
图2为本发明实施例提供的一种极端天气下所采集的车辆图像的示意图；
图3为本发明实施例提供的另一种极端天气下所采集的车辆图像的示意图；
图4为本发明实施例提供的一种第一车牌的示意图；
图5为本发明实施例提供的另一种第一车牌的示意图；
图6为本发明实施例提供的一种车牌检测装置的结构示意图；
图7为本发明实施例提供的一种车牌检测装置的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。
现有技术中，往往基于人为设定的规则来生成随机噪声，例如，生成高斯噪声或者生成椒盐噪声，并将经上述随机噪声预处理后的车辆图像用于对车牌检测模型的训练。但是基于人为设定的规则所生成的随机噪声与真实极端天气引起的环境噪声差异较大，从而导致训练所获得车牌检测模型在实际应用时对于车牌的检测效果仍然较差。
鉴于此，本发明实施例提供了一种车牌的检测方法，该方法中通过学习各种极端天气下获取的第一车辆图像中所包含的环境噪声，并将学习到的环境噪声与非极端天气下所获取的第二车辆图像相融合，从而可以生成大量与极端天气相关的车辆图像，那么经由极端天气类型所对应的车辆图像(包括原始的第一车辆图像以及人为生成的第三车辆图像)以及非极端天气所对应的车辆图像(第二车辆图像)共同训练得到的车牌检测模型，可以认为在极端天气与非极端天气下都具有较高的检测性能。
下面结合附图对本发明实施例提供的技术方案进行介绍。请参见图1，本发明提供了一种车牌的检测方法，该方法的流程描述如下：
步骤101：获取与各种极端天气类型对应的包含有不同类型环境噪声的多张第一车辆图像以及非极端天气类型所对应的多张第二车辆图像。
本发明实施例中，极端天气下所采集的车辆图像中可以认为存在环境噪声，并且不同类型的极端天气所对应的环境噪声的类型不相同。例如，请参见图2和3，由雨滴的干扰而形成的环境噪声与由下雪的干扰而形成的环境噪声完全不相同的。相反的，在非极端天气下所采集的车辆图像中可以认为不存在环境噪声。例如，在晴朗的天气下所采集的车辆图像中不存在环境噪声。为了能够在极端天气与非极端天气下都可以较为准确的对车牌进行检测，可以分别采集极端天气所对应的车辆图像与非极端天气所对应的车辆图像，从而用于的车牌检测模型进行训练。
作为一种可能的实施方式，可以分别获取与各种类型极端天气类型对应的包含有不同类型环境噪声的多张第一车辆图像，以及非极端天气类型所对应的多种第二车辆图像。
步骤102：基于每种类型的环境噪声所对应的第一车辆图像以及随机噪声对预先构建的生成对抗网络进行训练，并利用训练后的对抗网络模型对随机噪声进行处理生成目标噪声；其中，目标噪声与用于训练生成对抗网络的车辆图像所包含的环境噪声具有相同的概率密度分布，概率密度分布用于指示环境噪声在车辆图像中出现在各个像素点处的概率。
考虑到非极端天气下不存在环境噪声，因此可以认为经一定数量的第二车辆图像训练所获得的车牌检测模型在应用于非极端天气时，对车辆的车牌具有较高的检测准确性。但是各种极端天气下往往存在不同类型的环境噪声，为了提高车牌检测模型在各种极端天气下车牌的检测准确性，就需要大量与极端天气所对应的车辆图像对车牌检测模型进行训练。
考虑到现阶段实际所获得的第一车辆图像可能较少，从而不利于提高所训练的车牌检测模型在极端天气下的车牌检测的准确性。但是多张第一车辆图像中分别包含有不同类型的环境噪声，且不同类型的环境噪声对应的特征不相同。例如，用于表征环境噪声特征的参数可以是概率密度分布，该参数可以表明环境噪声在车辆图像中出现在各个像素点处的概率。因此，本发明实施例中，可以分别学习各种类型环境噪声的特征，从而将学习到的环境噪声与非极端天气下所采集的车辆图像进行融合，即可得到大量的与极端天气相关的车辆图像。
作为一种可能的实施方式，在多张第一车辆图像中，以所包含的环境噪声的类型为基准，利用每种类型的环境噪声所对应的第一车辆图像以及随机噪声对预先构建的生成对抗网络进行训练，那么就可以利用训练后的对抗网络模型来生成所需要的目标噪声。应理解，所需要的目标噪声是指与用于训练上述生成对抗网络时所使用的第一车辆图像所包含的环境噪声具有相同概率密度分布的噪声。
下面针对生成对抗网络的训练过程进行说明。
预先构建的生成对抗网络由生成子网络与判别子网络构成。针对生成子网络而言，输入为随机噪声，首先可以针对随机噪声进行卷积操作与下采样操作，从而可以获得预设尺寸的特征图像。该预设尺寸的特征图像中可以认为包含了随机噪声中主要的特性信息。然后在该预设尺寸的特征图像基础上，可以通过反卷积操作而进行上采样，从而可以获得与输入的随机噪声尺寸相同第一噪声。应理解，卷积-下采样过程对于随机噪声而言，是一个逐渐降维的过程；而上采样过程是一个将随机噪声还原为原始尺寸的过程，在上述相互独立两个过程中，虽然第一噪声与随机噪声的尺寸相同，但是第一噪声与随机噪声内部的值已经变得不再相同，从而可以认为两者的概率密度分布也相应发生的变化。即通过生成子网络生成了全新的第一噪声。本申请中不对生成子网络的内部具体结构进行特别限定。
针对判别子网络而言，输入为包含有环境噪声的第一车辆图像以及生成子网络所输出的第一噪声。判别子网络可以对第一噪声的概率密度分布与环境噪声的概率密度分布是否一致进行判别。若确定判别结果为一致，则表明生成子网络已经学习到当前类型的环境噪声的特征，此时可以结束对生成对抗网络的训练，后续直接利用生成子网络来生成目标噪声即可。反之，若确定判别结果为不一致，那么则通过生成子网络重新生成第一噪声，然后将重新生成的第一噪声的概率密度分布与当前类型的环境噪声的概率密度分布是否一致进行再次判别，直到判别结果为两者概率密度分布一致为止。本申请中不对判别子网络的内部具体结构进行特别限定。
步骤103：将目标噪声与第二车辆图像进行融合，获得第三车辆图像。
本发明实施例中，在通过训练后的对抗网络模型得到目标噪声后，可以将目标噪声与非极端天气下所采集的车辆图像进行融合，从而生成大量与极端天气相关的车辆图像，有利于后续对车牌检测模型进行训练。
作为一种可能的实施方式，可以将所获得的目标噪声与第二车辆图像进行融合，从而获得第三车辆图像。该第三车辆图像可以认为与第一车辆图像相同，都属于与极端天气相关的车辆图像，从而大大增加了极端天气所对应的车辆图像的数量。
步骤104：基于第一车辆图像、第二车辆图像以及第三车辆图像对预先构建的目标检测网络进行训练，获得车牌检测模型。
本发明实施例中，在获得新生成的第三车辆图像后，就可以利用原始的车辆图像与新生成的车辆图像共同对车牌检测模型进行训练。
作为一种可能的实施方式，可以基于第一车辆图像、第二车辆图像以及第三车辆图像共同对预先构建的目标检测网络进行训练，直到达到预设的训练次数(例如，预设的训练次数为5000次)或者损失函数小于预设阈值(例如，预设阈值为0.001)时，可以认为训练结束，从而获得车牌检测模型。例如，目标检测模型为YOLOV3，此处不作特别限制。
例如，第一车辆图像、第二车牌图像以及第三车辆图像的总数量为2000，若以8:2的比例来划分训练集与测试集，那么训练集有1600个样本，测试集有400个样本。为了能够尽量提升车牌检测模型在极端天气下的车牌检测性能，训练集中与极端天气相关的车辆图像应多于与非极端天气相关的车辆图像。例如，训练集所包含的1600个样本中，1000个样本为与极端天气相关的车辆图像，剩余600个样本为与非极端天气相关的车辆图像。此处不对训练集与测量集中不同类型的天气(极端天气与非极端天气)所对应的车牌图像的具体数量进行特别限制。
步骤105：当接收到新的车辆图像时，基于车牌检测模型对新的车辆图像进行检测，以确定第一车牌的实际位置。
本发明实施例中，在获得车牌检测模型后，可以将该车牌检测模型应用于实际的场景中，对出现在实际场景中的车辆的车牌进行检测。
作为一种可能的实施方式，当接收到新的车辆图像时，可以基于训练后的车牌检测模型对新的车辆图像进行检测，从而在确定出第一车牌的实际位置。应理解，训练后的车牌检测模型可以认为在极端天气与非极端天气下均具有较好的检测效果，因此上述新的车辆图像可以来自于极端天气，也可以来自非极端天气，此处不作特别限制。
下面针对训练后的车牌检测模型对新的车辆图像进行检测的具体过程进行说明。
训练后的车牌检测模型可以对新的车辆图像进行多次卷积操作以及下采样，从而可以获得多张尺寸各不相同的特征图像。例如，该多张特征图像的尺寸依次递减。通常所获得的特征图像的尺寸越大时，表明该特征图像所表征的是低层次的特征，例如，低层次的特征可以是轮廓特征；当特征图像的尺寸越小时，则表明该特征图像所表征的是高层次的特征，例如，高层次的特征可以是语义特征。然后可以对最后一次下采样形特征图像进行上采样，从而形成多张尺寸各不相同的新的特征图像，例如，该多张新的特征图像的尺寸依次递增，并将每张新的特征图像与下采样过程中形成的特征图像中具有相同尺寸的特性图像进行融合，从而可以基于融合后的特征图像确定出第一车牌的实际位置。
应理解，现有技术中往往基于最后一次下采样所形成特征图像来确定第一车牌的实际位置，这种方式相当于仅利用了最后一张特征图像中的特征信息，从而忽略了中间过程所形成的特征图像中的特征信息。本发明实施例中，将下采样阶段与上采样阶段中具有相同尺寸的特征图像进行融合，即能够基于融合后的特征图像来确定第一车牌的位置，使得所确定第一车牌的位置更为准确。
在新的车牌图像中确定出第一车牌的实际位置之后，需要进一步对第一车牌所对应的车牌号进行识别。本发明实施例中，请参见图4和5，用于训练车牌检测模型的第一车辆图像、第二车辆图像以及第三车辆图像中可以认为包含有两种类型的车牌，即车牌类型分别单层车牌与双层车牌，那么训练后的车牌检测模型不仅可以确定第一车牌的实际位置，还可以确定第一车牌的实际类型。下面分别针对第一车牌为单层车牌以及双层车牌时，如何对第一车牌的车牌号进行识别进行说明。
第一，当第一车牌为单层车牌时，首先可以基于预先训练的单层识别模型对第一车牌所在的图像区域进行特征提取，获得对应的特征图像。然后基于所获得的特征图像再次进行文字序列特征提取，从而可以所提取的文字序列特征确定第一车牌的车牌号所对应的字符序列。最后可以基于所获得的字符序列与预设字符字典中所存储的各种字符序列与数字、字母以及汉字的对应关系，从而出第一车牌所对应的车牌号。
第二，当第一车牌为双层车牌时，首先可以基于预先训练的双层识别模型对第一车牌所在的图像区域进行特征提取，获得对应的特征图像。然后基于所获得特征图像在高度方向是进行等比例的裁剪，并将裁剪后的两部分特征图像进行横向拼接。应理解，通过上述操作，相当于将双层车牌转换为了单层车牌。在此基础上，可以继续针对拼接后的特征图像进行文字特征序列提取操作，从而基于所提取的文字序列特征确定出第一车牌的车牌号对应的字符序列。最后可以基于所获得的字符序列与预设字符字典中所存储的各种字符序列与数字、字母以及汉字的对应关系，从而出第一车牌所对应的车牌号。
应理解，无论第一车牌为单层车牌还是双层车牌，本申请中在对第一车牌所在图像区域进行特征提取时，可以采用卷积网络来实现；在进行文字序列特征提取时，可以采用循环神经网络来实现。本申请中不对卷积神经网络以及循环神经网络内部的具体结构进行特别限制。
在一些实施例中，考虑拍摄新的车辆图像时，由于拍摄角度原因可能导致新的车辆图像中的第一车牌是倾斜的，进而导致第一车牌所包含的各个数字、字母以及汉字也会发生倾斜，从而不利于对第一车牌的车牌号进行识别。因此本发明实施例中，可以在单层识别模型或双层识别模型对第一车牌所在图像区域进行特征提取之前，对第一车牌所在图像区域中所包含的数字、汉字以及字母进行矫正处理。
作为一种可能的实施方式，可以基于空间变化网络STN对第一车牌所处的图像区域中所包含的字母、数字以及汉字进行矫正处理。
请参见图6，基于同一发明构思，本发明实施例提供了一种车牌检测装置，该装置包括：获取单元201、第一训练单元202、融合单元203、第三训练单元204以及检测单元205。
获取单元201，用于获取与各种极端天气类型对应的包含有不同类型环境噪声的多张第一车辆图像以及非极端天气类型所对应的多张第二车辆图像；
第一训练单元202，用于基于每种类型的环境噪声所对应的第一车辆图像以及随机噪声对预先构建的生成对抗网络进行训练，并利用训练后的对抗网络模型对随机噪声进行处理生成目标噪声；其中，目标噪声与用于训练对抗网络的车辆图像所包含的环境噪声具有相同的概率密度分布，概率密度分布用于指示环境噪声在车辆图像中出现在各个像素点处的概率；
融合单元203，用于将目标噪声与第二车辆图像进行融合，获得第三车辆图像；
第二训练单元204，用于基于第一车辆图像、第二车辆图像以及第三车辆图像对预先构建的目标检测网络进行训练，获得车牌检测模型；
检测单元205，用于当接收到新的车辆图像时，基于车牌检测模型对新的车辆图像进行检测，以确定第一车牌的实际位置。
可选的，第一训练单元202具体用于：
对随机噪声进行卷积操作，并对随机噪声进行下采样，以获得预设尺寸的特征图像；
将预设尺寸的特征图像通过反卷积操作进行上采样，获得与随机噪声尺寸相同、概率密度分布不同的第一噪声；
对第一噪声以及第一车辆图像进行判别，并在判别结果指示第一噪声与用于训练所述生成对抗网络的车辆图像所包含的环境噪声的概率密度分布一致时结束训练。
可选的，第一训练单元202还用于：若判别结果指示第一噪声与环境噪声的概率密度分布不一致，则重新生成第一噪声，并对重新生成的第一噪声的概率密度分布与环境噪声的概率密度分布是否一致进行再次判别。
可选的，检测单元205具体用于：
对新的车辆图像进行多次卷积操作与下采样，形成多张尺寸各不相同的特征图像；
对最后一次下采样后形成的特征图像进行上采样，分别形成多张尺寸各不相同的新的特征图像，并将每张新的特征图像与下采样过程形成的特征图像中相同尺寸的特征图像进行特征融合；
基于融合后的特征图像确定出所述第一车牌的实际位置。
可选的，车牌检测装置还包括：
第一确定单元，用于当确定第一车牌为单层车牌，则基于预先训练的单层识别模型依次对第一车牌所处的图像区域进行特征提取操作以及文字序列特征提取操作，并基于所提取的文字序列特征确定第一车牌的车牌号所对应的字符序列；
第二确定单元，根据字符序列以及预设字符字典确定出第一车牌对应的车牌号，其中，预设字符字典中存储有各种字符序列与数字、字母以及汉字的对应关系。
可选的，车牌检测装置还包括：
矫正单元，用于基于空间变化网络STN对第一车牌所处的图像区域中所包含的数字、字母以及汉字进行矫正处理。
可选的，车牌检测装置还包括：
特征提取单元，用于当确定第一车牌为双层车牌，基于预先训练的双层识别模型对第一车牌所处的图像区域进行特征提取操作；
第一确定单元，用于基于特征提取所获得的特征图像在高度方向上进行等比例裁剪并将裁剪后的两部分特征图像进行横向拼接，以及针对拼接后的特征图像进行文字特征序列提取操作，并基于所提取的文字序列特征确定第一车牌的车牌号所对应的字符序列；
第二确定单元，用于根据字符序列以及预设字符字典确定出第一车牌对应的车牌号，其中，预设字符字典中存储有各种字符序列与数字、字母以及汉字的对应关系。
请参见图7，基于同一发明构思，本发明实施例提供了一种车牌检测装置，该装置包括至少一个处理器301，处理器301用于执行存储器中存储的计算机程序，实现本发明实施例提供的如图1所示的车牌检测的方法的步骤。
可选的，处理器301具体可以是中央处理器、特定ASIC，可以是一个或多个用于控制程序执行的集成电路。
可选的，该服务器还可以包括与至少一个处理器301连接的存储器302，存储器302可以包括ROM、RAM和磁盘存储器。存储器302用于存储处理器301运行时所需的数据，即存储有可被至少一个处理器301执行的指令，至少一个处理器301通过执行存储器302存储的指令，执行如图1所示的方法。其中，存储器302的数量为一个或多个。其中，存储器302在图3中一并示出，但需要知道的是存储器302不是必选的功能模块，因此在图3中以虚线示出。
其中，获取单元201、第一训练单元202、融合单元203、第二训练单元204以及检测单元205所对应的实体设备均可以是前述的处理器301。该装置可以用于执行图1所示的实施例提供的方法。因此关于该装置中各功能模块所能够实现的功能，可参考图1所示的实施例中的相应描述，不多赘述。
本发明实施例还提供一种计算机存储介质，其中，计算机存储介质存储有计算机指令，当计算机指令在计算机上运行时，使得计算机执行如图1所述的方法。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。
Claims (10)
1.一种车牌的检测方法，其特征在于，所述方法包括：
获取与各种极端天气类型对应的包含有不同类型环境噪声的多张第一车辆图像以及非极端天气类型所对应的多张第二车辆图像；
基于每种类型的环境噪声所对应的第一车辆图像以及随机噪声对预先构建的生成对抗网络进行训练，并利用训练后的对抗网络模型对所述随机噪声进行处理生成目标噪声；其中，所述目标噪声与用于训练所述生成对抗网络的车辆图像所包含的环境噪声具有相同的概率密度分布，所述概率密度分布用于指示环境噪声在车辆图像中出现在各个像素点处的概率；
将所述目标噪声与所述第二车辆图像进行融合，获得第三车辆图像；
基于所述第一车辆图像、所述第二车辆图像以及所述第三车辆图像对预先构建的目标检测网络进行训练，获得车牌检测模型；
当接收到新的车辆图像时，基于所述车牌检测模型对所述新的车辆图像进行检测，以确定第一车牌的实际位置。
2.如权利要求1所述的方法，其特征在于，基于每种类型的环境噪声所对应的第一车辆图像以及随机噪声对预先构建的生成对抗网络进行训练包括：
对所述随机噪声进行卷积操作，并对所述随机噪声进行下采样，以获得预设尺寸的特征图像；
将所述预设尺寸的特征图像通过反卷积操作进行上采样，以获得与所述随机噪声尺寸相同、概率密度分布不同的第一噪声；
对所述第一噪声以及所述第一车辆图像进行判别，以在判别结果指示所述第一噪声与用于训练所述生成对抗网络的车辆图像所包含的环境噪声的概率密度分布一致时结束训练。
3.如权利要求2所述的方法，其特征在于，还包括：
若所述判别结果指示所述第一噪声与所述环境噪声的概率密度分布不一致，则重新生成所述第一噪声，并对所述重新生成的第一噪声的概率密度分布与所述环境噪声的概率密度分布是否一致进行再次判别。
4.如权利要求1所述的方法，其特征在于，基于所述车牌检测模型对所述新的车辆图像进行检测包括：
对所述新的车辆图像进行多次卷积操作与下采样，形成多张尺寸各不相同的特征图像，并将最后一次下采样后形成的特征图像进行输出；
对输出的特征图像进行上采样，以分别形成多张尺寸各不相同的新的特征图像，且将多张所述新的特征图像与下采样过程中未输出的特征图像中相同尺寸的特征图像进行特征融合；
基于所述融合后的特征图像确定出所述第一车牌的实际位置。
5.如权利要求1所述的方法，其特征在于，所述第一车辆图像、所述第二车辆图像以及所述第三车辆图像中包含有单层车牌，所述方法还包括：
若所述车牌检测模型确定所述第一车牌为单层车牌，则基于预先训练的单层识别模型依次对所述第一车牌所处的图像区域进行特征提取操作以及文字序列特征提取操作，并基于所提取的文字序列特征确定所述第一车牌的车牌号所对应的字符序列；
根据所述字符序列以及预设字符字典确定出所述第一车牌对应的车牌号，其中，所述预设字符字典中存储有各种字符序列与数字、字母以及汉字的对应关系。
6.如权利要求5所述的方法，其特征在于，在基于预先训练的单层识别模型依次对所述第一车牌所处的图像区域进行特征提取操作以及文字序列特征提取操作，并基于所提取的文字序列特征确定所述第一车牌的车牌号所对应的字符序列确定第一车牌的实际位置之前，所述方法还包括：
基于空间变化网络STN对所述第一车牌所处的图像区域中所包含的数字、字母以及汉字进行矫正处理。
7.如权利要求1所述的方法，其特征在于，所述第一车辆图像、所述第二车辆图像以及所述第三车辆图像中包含有双层车牌，所述方法还包括：
若所述车牌检测模型确定所述第一车牌为双层车牌，基于预先训练的双层识别模型对所述第一车牌所处的图像区域进行特征提取操作；
基于特征提取所获得的特征图像在高度方向上进行等比例裁剪并将裁剪后的两部分特征图像进行横向拼接，以及针对拼接后的特征图像进行文字特征序列提取操作，并基于所提取的文字序列特征确定所述第一车牌的车牌号所对应的字符序列；
根据所述字符序列以及预设字符字典确定出所述第一车牌对应的车牌号，其中，所述预设字符字典中存储有各种字符序列与数字、字母以及汉字的对应关系。
8.一种车牌检测装置，其特征在于，所述装置包括：
获取单元，用于获取与各种极端天气类型对应的包含有不同类型环境噪声的多张第一车辆图像以及非极端天气类型所对应的多张第二车辆图像；
第一训练单元，用于基于每种类型的环境噪声所对应的第一车辆图像以及随机噪声对预先构建的生成对抗网络进行训练，并利用训练后的对抗网络模型对所述随机噪声进行处理生成目标噪声；其中，所述目标噪声与用于训练所述对抗网络的车辆图像所包含的环境噪声具有相同的概率密度分布，所述概率密度分布用于指示环境噪声在车辆图像中出现在各个像素点处的概率；
融合单元，用于将所述目标噪声与所述第二车辆图像进行融合，获得第三车辆图像；
第二训练单元，用于基于所述第一车辆图像、所述第二车辆图像以及所述第三车辆图像对预先构建的目标检测网络进行训练，获得车牌检测模型；
检测单元，用于当接收到新的车辆图像时，基于所述车牌检测模型对所述新的车辆图像进行检测，以确定第一车牌的实际位置。
9.一种车牌检测装置，其特征在于，所述车牌检测装置包括至少一个处理器以及与所述至少一个处理器连接的存储器，所述至少一个处理器用于执行存储器中存储的计算机程序时实现如权利要求1-7任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行是实现如权利要求1-7任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011524683.2A CN113378840A (zh) | 2020-12-22 | 2020-12-22 | 一种车牌的检测方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011524683.2A CN113378840A (zh) | 2020-12-22 | 2020-12-22 | 一种车牌的检测方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113378840A true CN113378840A (zh) | 2021-09-10 |
Family
ID=77569111
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011524683.2A Pending CN113378840A (zh) | 2020-12-22 | 2020-12-22 | 一种车牌的检测方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113378840A (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109859147A (zh) * | 2019-03-01 | 2019-06-07 | 武汉大学 | 一种基于生成对抗网络噪声建模的真实图像去噪方法 |
| CN110689000A (zh) * | 2018-07-05 | 2020-01-14 | 山东华软金盾软件股份有限公司 | 一种基于生成复杂环境下车牌样本的车辆车牌识别方法 |
| CN111145116A (zh) * | 2019-12-23 | 2020-05-12 | 哈尔滨工程大学 | 一种基于生成对抗网络的海面雨天图像样本增广方法 |
| CN111275126A (zh) * | 2020-02-12 | 2020-06-12 | 武汉轻工大学 | 样本数据集生成方法、装置、设备及存储介质 |
| CN111582261A (zh) * | 2020-04-30 | 2020-08-25 | 浙江大华技术股份有限公司 | 一种非机动车的车牌识别方法和车牌识别装置 |
| CN111652230A (zh) * | 2020-05-25 | 2020-09-11 | 浙江大华技术股份有限公司 | 车牌识别方法、电子设备及存储介质 |
-
2020
- 2020-12-22 CN CN202011524683.2A patent/CN113378840A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110689000A (zh) * | 2018-07-05 | 2020-01-14 | 山东华软金盾软件股份有限公司 | 一种基于生成复杂环境下车牌样本的车辆车牌识别方法 |
| CN109859147A (zh) * | 2019-03-01 | 2019-06-07 | 武汉大学 | 一种基于生成对抗网络噪声建模的真实图像去噪方法 |
| CN111145116A (zh) * | 2019-12-23 | 2020-05-12 | 哈尔滨工程大学 | 一种基于生成对抗网络的海面雨天图像样本增广方法 |
| CN111275126A (zh) * | 2020-02-12 | 2020-06-12 | 武汉轻工大学 | 样本数据集生成方法、装置、设备及存储介质 |
| CN111582261A (zh) * | 2020-04-30 | 2020-08-25 | 浙江大华技术股份有限公司 | 一种非机动车的车牌识别方法和车牌识别装置 |
| CN111652230A (zh) * | 2020-05-25 | 2020-09-11 | 浙江大华技术股份有限公司 | 车牌识别方法、电子设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 段宾等: "结合GAN的轻量级模糊车牌识别算法", 《中国图象图形学报》 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107292386B (zh) | 使用深度学习的基于视觉的雨水检测 | |
| CN112446378B (zh) | 目标检测方法及装置、存储介质、终端 | |
| CN108805016B (zh) | 一种头肩区域检测方法及装置 | |
| CN112990065B (zh) | 一种基于优化的YOLOv5模型的车辆分类检测方法 | |
| JP7303392B2 (ja) | オブジェクトディテクタのためのベイジアンデュアルオートエンコーダを利用したエクスプレイナブルアクティブラーニング方法及びそれを利用したアクティブラーニングデバイス | |
| CN110956081B (zh) | 车辆与交通标线位置关系的识别方法、装置及存储介质 | |
| CN111435446A (zh) | 一种基于LeNet车牌识别方法及装置 | |
| CN109871792B (zh) | 行人检测方法和装置 | |
| CN111046971A (zh) | 图像识别方法、装置、设备及计算机可读存储介质 | |
| CN115063786A (zh) | 一种高位远景模糊车牌检测方法 | |
| CN111062347B (zh) | 一种自动驾驶中交通要素分割方法、电子设备及存储介质 | |
| CN112101246A (zh) | 一种车辆识别方法、装置、设备及介质 | |
| CN116665153A (zh) | 一种基于改进型Deeplabv3+网络模型的道路场景分割方法 | |
| CN113763412B (zh) | 图像处理方法、装置及电子设备、计算机可读存储介质 | |
| CN107886093B (zh) | 一种字符检测方法、***、设备及计算机存储介质 | |
| CN114419584A (zh) | 一种改进的非极大值抑制YOLOv4交通标志识别定位方法 | |
| CN112597996B (zh) | 基于任务驱动的自然场景中交通标志显著性检测方法 | |
| CN116580232A (zh) | 一种图像自动标注方法、***及电子设备 | |
| CN111461056A (zh) | 一种样本数据获取方法和装置 | |
| CN113378840A (zh) | 一种车牌的检测方法及装置 | |
| CN111612803A (zh) | 一种基于图像清晰度的车辆图像语义分割方法 | |
| CN111144361A (zh) | 一种基于二值化cgan网络的公路车道检测方法 | |
| CN113239865B (zh) | 基于深度学习的车道线检测方法 | |
| CN115424250A (zh) | 一种车牌识别方法及装置 | |
| CN114581876A (zh) | 构建复杂场景下车道检测模型的方法和检测车道线方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210910 |
|
| RJ01 | Rejection of invention patent application after publication |