CN111767915A - 车牌检测方法、装置、设备及存储介质 - Google Patents
车牌检测方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN111767915A CN111767915A CN201910263235.2A CN201910263235A CN111767915A CN 111767915 A CN111767915 A CN 111767915A CN 201910263235 A CN201910263235 A CN 201910263235A CN 111767915 A CN111767915 A CN 111767915A
- Authority
- CN
- China
- Prior art keywords
- license plate
- image
- frame
- vehicle
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 44
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 68
- 238000000605 extraction Methods 0.000 claims abstract description 46
- 238000000034 method Methods 0.000 claims abstract description 33
- 238000007499 fusion processing Methods 0.000 claims abstract description 16
- 238000003062 neural network model Methods 0.000 claims abstract description 16
- 238000007781 pre-processing Methods 0.000 claims abstract description 15
- 239000011159 matrix material Substances 0.000 claims description 26
- 230000009466 transformation Effects 0.000 claims description 26
- 238000012545 processing Methods 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 13
- 230000004927 fusion Effects 0.000 claims description 9
- 238000010606 normalization Methods 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 206010047571 Visual impairment Diseases 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/63—Scene text, e.g. street names
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/625—License plates
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种车牌检测方法、装置、设备及存储介质，该方法包括：对获取的视频流文件进行预处理，得到待处理图像；将所述待处理图像输入第一级卷积神经网络模型，通过特征提取和分类确定车辆图像；所述第一级卷积神经网络模型具有车辆图像特征提取能力；将所述车辆图像输入第二级卷积神经网络模型，通过特征提取和分类确定每帧车牌图像；所述第二级卷积神经网络模型具有车牌图像特征提取能力；对所述每帧车牌图像进行融合处理，确定车牌信息。该技术方案能够先根据第一级卷积神经网络，确定出车辆图像，并根据第一级卷积神经网络，有效的寻找到车牌图像，消耗资源少，且利用多帧图像的融合处理，使得确定出的车牌图像准确度高。
Description
技术领域
本发明一般涉及计算机视觉技术领域，具体涉及一种车牌检测方法、装置、设备及存储介质。
背景技术
随着人工智能的快速发展，计算机视觉技术已经应用到越来越多的场景中，如：医疗诊断、生物识别、智能交通等领域，通过将视觉技术与与实际业务场景相结合，来替代专业重复性的劳动检测，其中，在物流仓储行业，经常需要车辆进行装卸货，为了更好的管理和统计数据，对车辆中车牌的检测非常重要。
传统技术中可以通过人工记录或者查看监控数据等主动式检测方式来统计车牌信息，另外，在机器学习的不断发展中，还可以基于传统的目标检测算法和深度学习模型来实现车牌的检测，如：DPM、YOLO算法。
但是，在实际应用场景中，由于车牌目标较小，且视频中的车辆长期处于运动状态，车牌极易产生模糊，导致对车牌检测存在误检和漏检；另外，车辆在装卸货过程中货物堆积较多，使得车牌很容易被货物或者行人遮挡，导致检测到的车牌信息不完整。
发明内容
鉴于现有技术中的上述缺陷或不足，期望提供一种车牌检测方法、装置、设备及存储介质，能够有效的寻找到车辆位置，并实现车牌的快速检测，节省了资源，且对物流运输场景的适应性强。
第一方面，本发明提供了一种车牌检测方法，包括：
对获取的视频流文件进行预处理，得到待处理图像；
将所述待处理图像输入第一级卷积神经网络模型，通过特征提取和分类确定车辆图像；所述第一级卷积神经网络模型具有车辆图像特征提取能力；
将所述车辆图像输入第二级卷积神经网络模型，通过特征提取和分类确定每帧车牌图像；所述第二级卷积神经网络模型具有车牌图像特征提取能力；
对多帧车牌图像进行融合处理，确定车牌信息。
在其中一个实施例中，将所述待处理图像输入第一级卷积神经网络模型，通过特征提取和分类确定车辆图像，包括：
将所述待处理图像输入所述第一级卷积神经网络模型，提取第一感受野的第一显著性特征数据；
基于所述第一显著性特征数据，生成车辆位置预选框；
根据所述车辆位置预选框，确定所述待处理图像中的车辆位置框；
对所述车辆位置框进行修正处理，确定车辆图像。
在其中一个实施例中，根据所述车辆位置预选框，确定所述待处理图像中的车辆位置框，包括：
提取所述车辆位置预选框的第一特征数据；
将所述第一特征数据输入softmax网络进行分类处理，确定所述待处理图像中的车辆位置框。
在其中一个实施例中，将所述车辆图像输入第二级卷积神经网络模型，通过特征提取和分类确定车牌图像之前，所述方法还包括：
确定所述待处理图像的大小；
将所述车辆图像映射至所述待处理图像的大小；
提取所述车辆图像的车辆区域；
对所述车辆区域进行归一化处理。
在其中一个实施例中，将所述车辆图像输入第二级卷积神经网络模型，通过特征提取和分类确定每帧车牌图像，包括：
将所述车辆图像输入所述第二级卷积神经网络模型，提取第二感受野的第二显著性特征数据；
基于所述第二显著性特征数据，生成车牌位置预选框；
根据所述车牌位置预选框，确定车牌位置框；
对所述车牌位置框进行修正处理，确定车牌图像。
在其中一个实施例中，根据所述车牌位置预选框，确定车牌位置框，包括：
提取所述车牌位置预选框的第二特征数据；
将所述第二特征数据输入所述softmax网络进行分类处理，确定车牌位置框。
在其中一个实施例中，对所述每帧车牌图像进行融合处理，确定车牌信息，包括：
采用预设特征提取算法提取所述每帧车牌图像的特征点；
基于所述每帧车牌图像的特征点，确定融合后的透视变换矩阵；
基于所述融合后的透视变换矩阵，确定车牌信息。
在其中一个实施例中，基于所述每帧车牌图像的特征点，确定融合后的透视变换矩阵，包括：
基于所述特征点的相似性，匹配相邻两帧车牌图像的特征点；
根据所述相邻两帧车牌图像的特征点，计算所述相邻两帧车牌图像的透视变换矩阵；
根据所述相邻两帧车牌图像的透视变换矩阵，确定融合后的透视变换矩阵。
第二方面，本发明实施例提供了一种车牌检测装置，该装置包括：
预处理模块，用于对获取的视频流文件进行预处理，得到待处理图像；
车辆图像确定模块，用于将所述待处理图像输入第一级卷积神经网络模型，通过特征提取和分类确定车辆图像；所述第一级卷积神经网络模型具有车辆图像特征提取能力；
车牌图像确定模块，用于将所述车辆图像输入第二级卷积神经网络模型，通过特征提取和分类确定每帧车牌图像；所述第二级卷积神经网络模型具有车牌图像特征提取能力；
车牌信息确定模块，用于对多帧车牌图像进行融合处理，确定车牌信息。
第三方面，本申请实施例提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述所述车牌检测方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述所述车牌检测方法。
本发明提供的车牌检测方法、装置、设备及存储介质，通过对获取的视频流文件进行预处理，得到待处理图像后，然后将待处理图像输入第一级卷积神经网络模型中，通过特征提取和分类确定车辆图像，并将车辆图像输入第二级卷积神经网络模型，通过特征提取和分类确定出每帧车牌图像，最后对多帧车牌图像进行融合处理，确定车牌信息。该技术方案由于对视频流文件进行了预处理，使得输入第一级卷积神经网络的图像为有效图像，从而不仅节省了计算资源，而且提高了算法的运行速度，并通过使用第一级卷积神经网络和第二级卷积神经网络，很大程度上提高了车牌检测的精度，由于对多帧车牌图像进行了融合处理，能够使得确定的车牌信息更完整，得到的车牌信息准确度高。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1为本发明实施例提供的车牌检测方法的流程示意图；
图2为本发明实施例提供的确定车辆图像方法的流程示意图；
图3为本发明实施例提供的确定车牌图像方法的流程示意图；
图4为本发明实施例提供的对车牌图像进行融合处理，确定车牌信息方法的结构确定方法的流程示意图；
图5为本发明实施例提供的对车牌图像进行融合处理，确定车牌信息方法的流程示意图；
图6为本发明实施例提供的车牌检测装置的结构示意图；
图7为本发明实施例提供的一种计算机设备的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
如背景技术中提到的，在快递仓储行业，由于快件数量巨多，经常需要车辆对其运输处理，为了实现企业的有效管理，需统计车辆的相关信息，其中，对车辆中的车牌检测十分重要，目前通过人工记录或者查看监控数据的方式获取车牌信息，该方式耗时且需要很多人力，之后随着人工智能的不断发展，可以基于传统的目标检测算法，直接对每帧图像进行特征提取和目标检测，但是，由于图像中车牌相对较小，且车辆长期处于运动状态，使得图像中的车牌模糊不清，导致对车牌误检或者漏检，另外，由于车辆装卸货过程货物堆积较多，使得车辆极易被货物或者行人遮挡，导致检测出的车牌信息不完整。
基于上述缺陷，本发明提供了一种车牌检测方法，通过对获取的视频流文件文件预处理，得到待处理图像，并将待处理图像输入第一级卷积神经网络模型中，通过特征提取和分类确定出车辆图像，然后将车辆图像输入第二级卷积神经网络模型中，从而确定出车牌图像，最后对多帧车牌图像进行融合处理，确定车牌信息，不仅节省了计算资源，而且提高了算法的运行速度，检测的车牌信息更加完整且准确度高。
下面将参考附图并结合实施例来详细说明本申请。
需要说明的是，下述方法实施例的执行主体可以是车辆检测装置，该装置可以通过软件、硬件或者软硬件结合的方式实现成为终端设备的部分或者全部。下述方法实施例的执行主体以计算机设备为例来进行说明。
图1为本发明实施例提供的车辆检测方法的流程示意图，如图1所示，该方法包括：
步骤S101、对获取的视频流文件进行预处理，得到待处理图像。
可选的，上述视频流文件可以是某个时间段内某个车辆的视频流文件，其可以通过摄像机直接采集得到，也可以通过云端下载得到，还可以通过其他设备导入得到，其中，该设备可以是监控设备。
具体的，当使用摄像机采集图像时，摄像头应设置于较高于图片采集区域的位置，使摄像头可以清楚、全面地看到装卸货物车辆的车牌，该摄像机可以为摄像头可摆动的摄像机，可以为使用摄像头可摆动的摄像机。
可选的，在获取到视频流文件后，可以通过视频处理软件对视频流文件进行解析，得到一帧帧图像，其中，该视频处理软件可以是matlab、opencv等。
需要说明的是，可以通过视频处理软件对每帧图像进行压缩处理，使得每帧图像的尺寸缩小至适当尺寸，例如，初始图像的分辨率为1280*960，可以对其压缩处理至分辨率为640*448，并将压缩处理后的图像作为待处理图像。
本实施例通过对图像进行压缩处理，使得输入第一级卷积神经网络模型中的图像为有效图像，可以高效的对图像中的车辆位置进行定位，不仅节省了计算资源，而且提高了图像中车辆的检测速度。
步骤S102、将所述待处理图像输入第一级卷积神经网络模型，通过特征提取和分类确定车辆图像；所述第一级卷积神经网络模型具有车辆图像特征提取能力。
具体的，上述第一级卷积神经网络模型可以是SSD网络，也可以是YOLO网络，其具有车辆图像特征提取能力，其中，卷积神经网络可以由卷积层、池化层、全连接层和损失层构成，对初始图像经过压缩处理，得到待处理图像后，将待处理图像输入第一级卷积神经网络模型，提取到不同感受野上的图像特征，并将提取到的图像特征经过SSD框架或者YOLO框架后，确定出车辆位置框，并对该车辆位置框的尺寸进行修正处理，从而得到车辆图像。
需要说明的是，上述第一级卷积神经网络模型可以是根据特定业务场景通过大量数据集训练得到，通过将数据集按照特定比例划分为训练集和测试集，训练集对神经网络模型进行训练，不断优化模型中的参数，使得模型学习到图像的物体边缘和形状特征，得到第一级卷积神经网络模型，并且使得第一级卷积神经网络模型具备识别车辆图像的能力，并将待处理图像输入第一级卷积神经网络模型，从而输出车辆图像。
步骤S103、将所述车辆图像输入第二级卷积神经网络模型，通过特征提取和分类确定每帧车牌图像；所述第二级卷积神经网络模型具有车牌图像特征提取能力。
步骤S104、对多帧车牌图像进行融合处理，确定车牌信息。
具体的，上述第二级卷积神经网络模型可以是SSD网络，也可以是YOLO网络，其中，该第二级卷积神经网络模型具备识别车牌图像的能力，在得到车辆图像后，可以将车辆图像输入至第二级卷积神经网络模型，进一步输出车牌图像。
进一步的，对视频中同一车辆不同时间段的图像依次输入第一级卷积神经网络模型和第二级卷积神经网络模型后，得到多张车牌图像，可选的，可以通过图像融合算法对车牌图像进行融合处理，从而确定出车牌信息。
本实施例提供的车牌检测方法，通过对获取的视频流文件进行预处理，得到待处理图像后，然后将待处理图像输入第一级卷积神经网络模型中，通过特征提取和分类确定车辆图像，并将车辆图像输入第二级卷积神经网络模型，确定出每帧车牌图像，最后对多帧车牌图像进行融合处理，确定车牌信息。该技术方案由于对视频流文件进行了预处理，使得输入第一级卷积神经网络的图像为有效图像，从而不仅节省了计算资源，而且提高了算法的运行速度，并通过使用第一级卷积神经网络和第二级卷积神经网络，很大程度上提高了车牌检测的精度，由于对多帧车牌图像进行了融合处理，能够使得确定的车牌信息更完整，得到的车牌信息准确度高。
图2为本发明实施例提供的将待处理图像输入第一级卷积神经网络模型方法的流程示意图，如图2所示，该方法包括：
步骤S201、将所述待处理图像输入第一级卷积神经网络模型，提取第一感受野的第一显著性特征数据。
步骤S202、基于所述第一显著性特征数据，生成车辆位置预选框。
示例性的，当第一级卷积神经网络模型为SSD网络时，则得到压缩处理后的待处理图像后，提取到第一感受野上的第一显著性特征数据，并将该第一显著性特征数据经过SSD框架，通过不同的网络层提取特征，从而生成车辆位置预选框，将其作为备选的车辆位置，其中，该第一感受野为第一级卷积神经网络中，决定输出结果中的车辆图像所对应的输入层的区域大小，第一显著性特征数据表示确定的车辆图像对应的输入层区域的图像特征。
可选的，上述车辆位置预选框可能是车辆位置框，也可能是其他物***置框，该车辆位置预选框的数量可以是多个，也可以是一个。
步骤S203、根据所述车辆位置预选框，确定所述待处理图像中的车辆位置框。
步骤S204、对所述车辆位置框进行修正处理，确定车辆图像。
具体的，得到车辆位置预选框之后，通过提取到车辆位置预选框的第一特征数据，并将该第一特征数据输入分类器中进行分类处理，以确定出车辆位置预选框中的车辆位置框，可选的，该分类器可以是softmax网络，也可以是SVM网络，其二者的损失函数不同；其中，该第一特征数据为车辆位置预选框的车辆图像的图像特征向量。
需要说明的是，当原始图像分辨率为1280*960，经过压缩处理后的待处理图像分辨率为640*448，并经过第一级卷积神经网络得到车辆位置预选框后，进一步的，可以通过特征提取获取车辆位置预选框的图像特征向量，并将该图像特征向量输入softmax网络，得到概率分布矩阵，然后根据概率分布矩阵得到车辆位置预选框所属的类别，以确定出车辆位置框，对车辆位置框进行位置的精确回归，以修正框的边界，最后将修正后的车辆位置框映射至原始图像分辨率为1280*960大小，从而确定车辆图像。
本实施例中通过将待处理图像输入第一级卷积神经网络模型，提取到第一感受野的第一显著性特征数据后，并生成车辆位置预选框，并根据车辆位置预选框，确定出车辆位置框后，进一步确定出车辆图像，通过在低分辨率的图像中通过第一级卷积神经网络检测出车辆，能够高效的对车辆位置进行定位，并且映射至高分辨率的图像中，从而实现不同分辨率图像的数据一致，提高了车辆位置的检出率。
在上述实施例的基础上，图3为将车辆图像输入第二级卷积神经网络模型，确定车牌图像的流程示意图。如图3所示，该方法包括：
步骤S301、将所述车辆图像输入第二级卷积神经网络模型，提取第二感受野的第二显著性特征数据。
步骤S302、基于所述第二显著性特征数据，生成车牌位置预选框。
步骤S303、根据所述车牌位置预选框，确定车牌位置框。
步骤S304、对所述车牌位置框进行修正处理，确定车牌图像。
具体的，在得到车牌图像后，可以对车牌图像进行归一化处理，即先确定待处理图像的大小，然后将车辆图像映射至待处理图像的大小，并提取到车辆图像的车辆区域，对该车辆区域进行归一化处理，也就是说对图像进行一系列标准的处理变换，使之变换为一固定标准形式的图像，可选的，对图像进行归一化分为线性归一化和非线性归一化，其处理形式可以是对图像平移、旋转、缩放等操作。
示例性的，可以将车辆图像经过变换操作归一化至分辨率为400*400的大小，同样，将归一化后的车辆图像输入第二级卷积神经网络模型，提取到第二感受野上的第二显著性特征数据，将该第二显著性特征数据经过SSD框架，通过不同的网络层提取特征，从而生成车牌位置预选框，将其作为备选的车牌位置，进一步的，在得到车牌位置预选框后，通过特征提取获取到车牌位置预选框的图像特征向量，然后将该图像特征向量输入softmax网络进行分类处理，得到概率分布矩阵，然后根据概率分布矩阵得到车牌位置预选框所属的类别，以确定出车牌位置框，对车牌位置框进行位置的精确回归，以修正框的边界，从而确定出车牌图像，其中，上述第二感受野为第二级卷积神经网络中，决定输出结果中的车牌图像所对应的输入层的区域大小；第二显著性特征数据表示确定的车牌图像对应的输入层区域的图像特征；第二特征数据为车牌位置预选框中的车牌图像的图像特征向量。
本实施例通过使用第二级卷积神经网络模型，实现了车牌图像的快速检测，使得确定的车牌图像更加精确，进一步提高了工作效率。
图4为本发明实施例提供的对车牌图像进行融合处理，确定车牌信息的流程示意图，如图4所示，该方法包括：
步骤S401、采用预设特征提取算法提取所述每帧车牌图像的特征点。
具体的，选取同一车辆在不同时刻确定的车牌图像作为车辆序列，该预设特征提取算法可以是FAST算法，通过FAST算法提取到每帧车牌图像的特征点，FAST算法的步骤为以一个像素点p为中心，在半径为3的圆上，有16个像素点(p1、p2、…、p16)，并定义一个阈值，计算p1、p9与中心p的像素差，若它们的绝对值都小于阈值，则p点不是特征点，若它们的绝对值大于阈值，则可以将p点作为候选点，并计算p1、p9、p5、p13与中心p的像素差，若它们的绝对值有至少3个超过阈值，则进一步计算p1到p16这16个点与中心p的像素差，若它们之间的绝对值至少有9个超过阈值，则可以确定p点为特征点。
需要说明的是，可以通过如上方法分别对每帧车牌图像进行特征点提取，从而确定出车牌图像的特征点。
步骤S402、根据基于所述每帧车牌图像的特征点，确定融合后的透视变换矩阵。
步骤S403、基于所述融合后的透视变换矩阵，确定车牌信息。
具体的，一个图像的特征点由两部分组成：关键点和描述子，关键点指的是该特征点在图像中的位置，具有方向、尺度信息；描述子通常是一个向量，描述关键点周围像素的信息。
在确定出每帧车牌图像的特征点后，根据特征点的相似性，匹配相邻两帧车牌图像中的特征点，通过匹配好的相邻两帧图像的特征点，计算相邻两帧车牌图像的透视变换矩阵，然后分别对相邻两帧车牌图像的透视变换矩阵计算后从而确定出融合后的透视变换矩阵，并根据融合后的透视变换矩阵，将两张车牌图像融合为一张车牌图像，通过图像特征点数量的多少进行加权求和，获取到融合后的车牌图像，进一步确定出车牌信息，其具体过程可以参见图5所示。
本实施例提供的车牌图像融合的方法，通过提取每帧车牌图像的特点，并根据相邻两帧图像的特征点，确定融合后的透视变换矩阵，从而确定出车牌信息。该方法避免了很多车牌模糊、遮挡的问题，将每帧图像中的车牌信息有效的融合在一起，使得确定出的车牌信息更加完整，且准确度高，对物流运输场景的适应性强。
图6为本发明实施例提供的抛扔区域定位装置的结构示意图。如图6所示，该装置可以实现如图1～图5所示的方法，该装置可以包括：
预处理模块10，用于对获取的视频流文件进行预处理，得到待处理图像；
车辆图像确定模块20，用于将所述待处理图像输入第一级卷积神经网络模型，通过特征提取和分类确定车辆图像；所述第一级卷积神经网络模型具有车辆图像特征提取能力；
车牌图像确定模块30，用于将所述车辆图像输入第二级卷积神经网络模型，通过特征提取和分类确定每帧车牌图像；所述第二级卷积神经网络模型具有车牌图像特征提取能力；
车牌信息确定模块40，用于对多帧车牌图像进行融合处理，确定车牌信息。
优选的，所述车辆图像确定模块20，包括：
第一提取单元201，用于将所述待处理图像输入所述第一级卷积神经网络模型，提取第一感受野的第一显著性特征数据；
车辆预选框生成单元202，用于基于所述第一显著性特征数据，生成车辆位置预选框；
第一确定单元203，用于根据所述车辆位置预选框，确定所述待处理图像中的车辆位置框；
第二确定单元204，用于对所述车辆位置框进行修正处理，确定车辆图像。
优选的，上述车辆预选框生成单元202，具体用于：
提取所述车辆位置预选框的第一特征数据；
将所述第一特征数据输入softmax网络进行分类处理，确定所述待处理图像中的车辆位置框。
优选的，所述装置还用于：
确定所述待处理图像的大小；
将所述车辆图像映射至所述待处理图像的大小；
提取所述车辆图像的车辆区域；
对所述车辆区域进行归一化处理。
优选的，所述车牌图像确定模块30，包括：
第二提取单元301，用于将所述车辆图像输入所述第二级卷积神经网络模型，提取第二感受野的第二显著性特征数据；
车牌预选框生成单元302，用于基于所述第二显著性特征数据，生成车牌位置预选框；
第三确定单元303，用于根据所述车牌位置预选框，确定车牌位置框；
第四确定单元304，用于对所述车牌位置框进行修正处理，确定车牌图像。
优选的，所述第三确定单元303，具体用于：
提取所述车牌位置预选框的第二特征数据；
将所述第二特征数据输入所述softmax网络进行分类处理，确定车牌位置框。
优选的，所述车牌信息确定模块40，包括：
特征点提取单元401，用于采用预设特征提取算法提取所述每帧车牌图像的特征点；
第五确定单元402，用于基于所述每帧车牌图像的特征点，确定融合后的透视变换矩阵；
第六确定单元403，用于基于所述融合后的透视变换矩阵，确定车牌信息。
优选的，所述第五确定单元402，具体用于：
基于所述特征点的相似性，匹配相邻两帧车牌图像的特征点；
根据所述相邻两帧车牌图像的特征点，计算所述相邻两帧车牌图像的透视变换矩阵；
根据所述相邻两帧车牌图像的透视变换矩阵，确定融合后的透视变换矩阵。
本实施例提供的车牌检测装置，可以执行上述方法的实施例，其实现原理和技术效果类似，在此不再赘述。
图7为本发明实施例提供的一种计算机设备的结构示意图。如图7所示，其示出了适于用来实现本申请实施例的终端设备或服务器的计算机***700的结构示意图。
如图7所示，计算机***700包括中央处理单元(CPU)701，其可以根据存储在只读存储器(ROM)702中的程序或者从存储部分708加载到随机访问存储器(RAM)703中的程序而执行各种适当的动作和处理。在RAM703中，还存储有***700操作所需的各种程序和数据。CPU701、ROM702以及RAM703通过总线704彼此相连。输入/输出(I/O)接口706也连接至总线704。
以下部件连接至I/O接口705：包括键盘、鼠标等的输入部分706；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分707；包括硬盘等的存储部分708；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至I/O接口706。可拆卸介质711，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器710上，以便于从其上读出的计算机程序根据需要被安装入存储部分708。
特别地，根据本公开的实施例，上文参考图1-5描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，所述计算机程序包含用于执行图1-5的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分709从网络上被下载和安装，和/或从可拆卸介质711被安装。
附图中的流程图和框图，图示了按照本发明各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，前述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元或模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中，例如，可以描述为：一种处理器包括预处理模块、车辆图像确定模块、车牌图像确定模块及车牌信息确定模块。其中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定，例如，预处理模块还可以被描述为“用于对获取的视频流文件进行预处理，得到待处理图像”。
作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现如上述实施例中所述的车牌检测方法。
例如，所述电子设备可以实现如图1中所示的：步骤S101，对获取的视频流文件进行预处理，得到待处理图像；步骤S102，将所述待处理图像输入第一级卷积神经网络模型，通过特征提取和分类确定车辆图像；所述第一级卷积神经网络模型具有车辆图像特征提取能力；步骤S103，将所述车辆图像输入第二级卷积神经网络模型，通过特征提取和分类确定每帧车牌图像；所述第二级卷积神经网络模型具有车牌图像特征提取能力；步骤S104，对多帧车牌图像进行融合处理，确定车牌信息。又如，所述电子设备可以实现如图2—图5中所示的各个步骤。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
此外，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。
Claims (11)
1.一种车牌检测方法，其特征在于，包括：
对获取的视频流文件进行预处理，得到待处理图像；
将所述待处理图像输入第一级卷积神经网络模型，通过特征提取和分类确定车辆图像；所述第一级卷积神经网络模型具有车辆图像特征提取能力；
将所述车辆图像输入第二级卷积神经网络模型，通过特征提取和分类确定每帧车牌图像；所述第二级卷积神经网络模型具有车牌图像特征提取能力；
对多帧车牌图像进行融合处理，确定车牌信息。
2.根据权利要求1所述的车牌检测方法，其特征在于，将所述待处理图像输入第一级卷积神经网络模型，通过特征提取和分类确定车辆图像，包括：
将所述待处理图像输入所述第一级卷积神经网络模型，提取第一感受野的第一显著性特征数据；
基于所述第一显著性特征数据，生成车辆位置预选框；
根据所述车辆位置预选框，确定所述待处理图像中的车辆位置框；
对所述车辆位置框进行修正处理，确定车辆图像。
3.根据权利要求2所述的车牌检测方法，其特征在于，根据所述车辆位置预选框，确定所述待处理图像中的车辆位置框，包括：
提取所述车辆位置预选框的第一特征数据；
将所述第一特征数据输入softmax网络进行分类处理，确定所述待处理图像中的车辆位置框。
4.根据权利要求1所述的车牌检测方法，其特征在于，将所述车辆图像输入第二级卷积神经网络模型，通过特征提取和分类确定车牌图像之前，所述方法还包括：
确定所述待处理图像的大小；
将所述车辆图像映射至所述待处理图像的大小；
提取所述车辆图像的车辆区域；
对所述车辆区域进行归一化处理。
5.根据权利要求1所述的车牌检测方法，其特征在于，将所述车辆图像输入第二级卷积神经网络模型，通过特征提取和分类确定每帧车牌图像，包括：
将所述车辆图像输入所述第二级卷积神经网络模型，提取第二感受野的第二显著性特征数据；
基于所述第二显著性特征数据，生成车牌位置预选框；
根据所述车牌位置预选框，确定车牌位置框；
对所述车牌位置框进行修正处理，确定车牌图像。
6.根据权利要求5所述的车牌检测方法，其特征在于，根据所述车牌位置预选框，确定车牌位置框，包括：
提取所述车牌位置预选框的第二特征数据；
将所述第二特征数据输入所述softmax网络进行分类处理，确定车牌位置框。
7.根据权利要求1所述的车牌检测方法，其特征在于，对所述每帧车牌图像进行融合处理，确定车牌信息，包括：
采用预设特征提取算法提取所述每帧车牌图像的特征点；
基于所述每帧车牌图像的特征点，确定融合后的透视变换矩阵；
基于所述融合后的透视变换矩阵，确定车牌信息。
8.根据权利要求7所述的车牌检测方法，其特征在于，基于所述每帧车牌图像的特征点，确定融合后的透视变换矩阵，包括：
基于所述特征点的相似性，匹配相邻两帧车牌图像的特征点；
根据所述相邻两帧车牌图像的特征点，计算所述相邻两帧车牌图像的透视变换矩阵；
根据所述相邻两帧车牌图像的透视变换矩阵，确定融合后的透视变换矩阵。
9.一种车牌检测装置，其特征在于，包括：
预处理模块，用于对获取的视频流文件进行预处理，得到待处理图像；
车辆图像确定模块，用于将所述待处理图像输入第一级卷积神经网络模型，通过特征提取和分类确定车辆图像；所述第一级卷积神经网络模型具有车辆图像特征提取能力；
车牌图像确定模块，用于将所述车辆图像输入第二级卷积神经网络模型，通过特征提取和分类确定每帧车牌图像；所述第二级卷积神经网络模型具有车牌图像特征提取能力；
车牌信息确定模块，用于对多帧车牌图像进行融合处理，确定车牌信息。
10.一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-8中任一项所述的方法。
11.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序用于：
所述计算机程序被处理器执行时实现如权利要求1-8中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910263235.2A CN111767915A (zh) | 2019-04-02 | 2019-04-02 | 车牌检测方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910263235.2A CN111767915A (zh) | 2019-04-02 | 2019-04-02 | 车牌检测方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111767915A true CN111767915A (zh) | 2020-10-13 |
Family
ID=72718328
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910263235.2A Pending CN111767915A (zh) | 2019-04-02 | 2019-04-02 | 车牌检测方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111767915A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112633156A (zh) * | 2020-12-22 | 2021-04-09 | 浙江大华技术股份有限公司 | 车辆检测方法、图像处理装置以及计算机可读存储介质 |
| CN112731359A (zh) * | 2020-12-31 | 2021-04-30 | 无锡祥生医疗科技股份有限公司 | 超声探头的速度确定方法、装置及存储介质 |
| CN113392837A (zh) * | 2021-07-09 | 2021-09-14 | 超级视线科技有限公司 | 一种基于深度学习的车牌识别方法及装置 |
| CN113422935A (zh) * | 2021-07-06 | 2021-09-21 | 城云科技（中国）有限公司 | 视频流处理方法、装置及*** |
| CN116890689A (zh) * | 2023-09-08 | 2023-10-17 | 深圳市瑞凯诺科技有限公司 | 基于车辆识别的充电控制方法、装置、设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104239867A (zh) * | 2014-09-17 | 2014-12-24 | 深圳市捷顺科技实业股份有限公司 | 车牌定位方法及*** |
| CN104376332A (zh) * | 2014-12-09 | 2015-02-25 | 深圳市捷顺科技实业股份有限公司 | 车牌识别方法及装置 |
| US20150092991A1 (en) * | 2013-10-01 | 2015-04-02 | Connaught Electronics Ltd. | Method for utilizing a camera system of a motor vehicle as an anti-theft alarm system, camera system and motor vehicle |
| CN107729801A (zh) * | 2017-07-11 | 2018-02-23 | 银江股份有限公司 | 一种基于多任务深度卷积神经网络的车辆颜色识别*** |
| CN108091141A (zh) * | 2017-10-12 | 2018-05-29 | 西安天和防务技术股份有限公司 | 车牌识别*** |
-
2019
- 2019-04-02 CN CN201910263235.2A patent/CN111767915A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150092991A1 (en) * | 2013-10-01 | 2015-04-02 | Connaught Electronics Ltd. | Method for utilizing a camera system of a motor vehicle as an anti-theft alarm system, camera system and motor vehicle |
| CN104239867A (zh) * | 2014-09-17 | 2014-12-24 | 深圳市捷顺科技实业股份有限公司 | 车牌定位方法及*** |
| CN104376332A (zh) * | 2014-12-09 | 2015-02-25 | 深圳市捷顺科技实业股份有限公司 | 车牌识别方法及装置 |
| CN107729801A (zh) * | 2017-07-11 | 2018-02-23 | 银江股份有限公司 | 一种基于多任务深度卷积神经网络的车辆颜色识别*** |
| CN108091141A (zh) * | 2017-10-12 | 2018-05-29 | 西安天和防务技术股份有限公司 | 车牌识别*** |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112633156A (zh) * | 2020-12-22 | 2021-04-09 | 浙江大华技术股份有限公司 | 车辆检测方法、图像处理装置以及计算机可读存储介质 |
| CN112633156B (zh) * | 2020-12-22 | 2024-05-31 | 浙江大华技术股份有限公司 | 车辆检测方法、图像处理装置以及计算机可读存储介质 |
| CN112731359A (zh) * | 2020-12-31 | 2021-04-30 | 无锡祥生医疗科技股份有限公司 | 超声探头的速度确定方法、装置及存储介质 |
| CN112731359B (zh) * | 2020-12-31 | 2024-04-09 | 无锡祥生医疗科技股份有限公司 | 超声探头的速度确定方法、装置及存储介质 |
| CN113422935A (zh) * | 2021-07-06 | 2021-09-21 | 城云科技（中国）有限公司 | 视频流处理方法、装置及*** |
| CN113392837A (zh) * | 2021-07-09 | 2021-09-14 | 超级视线科技有限公司 | 一种基于深度学习的车牌识别方法及装置 |
| CN116890689A (zh) * | 2023-09-08 | 2023-10-17 | 深圳市瑞凯诺科技有限公司 | 基于车辆识别的充电控制方法、装置、设备及存储介质 |
| CN116890689B (zh) * | 2023-09-08 | 2023-12-12 | 深圳市瑞凯诺科技有限公司 | 基于车辆识别的充电控制方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110414507B (zh) | 车牌识别方法、装置、计算机设备和存储介质 | |
| CN111767915A (zh) | 车牌检测方法、装置、设备及存储介质 | |
| CN111008961B (zh) | 一种输电线路设备缺陷检测方法及其***、设备、介质 | |
| CN114169381A (zh) | 图像标注方法、装置、终端设备及存储介质 | |
| CN110929626A (zh) | 确定库存货物件数的方法、仓库盘点方法、装置及设备 | |
| CN105095835A (zh) | 行人检测方法及*** | |
| CN111666848B (zh) | 运输车辆到站检测方法、装置、设备及存储介质 | |
| CN108345835B (zh) | 一种基于仿复眼感知的目标识别方法 | |
| CN111563556B (zh) | 一种基于颜色梯度权重的变电站箱柜设备异常识别方法及*** | |
| CN115311632A (zh) | 一种基于多摄像头的车辆重识别方法和设备 | |
| CN113657370B (zh) | 一种文字识别方法及其相关设备 | |
| CN110008949B (zh) | 一种图像目标检测方法、***、装置和存储介质 | |
| CN114612847A (zh) | 一种Deepfake视频篡改检测方法以及*** | |
| CN114419428A (zh) | 一种目标检测方法、目标检测装置和计算机可读存储介质 | |
| CN111985269A (zh) | 检测模型构建方法、检测方法、装置、服务器及介质 | |
| Fang et al. | 1-D barcode localization in complex background | |
| CN115731179A (zh) | 轨道部件检测方法、终端及存储介质 | |
| CN115298705A (zh) | 车牌识别方法、装置、电子设备及存储介质 | |
| CN112804446B (zh) | 基于云平台大数据的大数据处理方法及装置 | |
| CN114943720A (zh) | 一种电力图像处理方法及装置 | |
| Kaimkhani et al. | UAV with Vision to Recognise Vehicle Number Plates | |
| CN113762027A (zh) | 一种异常行为的识别方法、装置、设备及存储介质 | |
| CN114463242A (zh) | 图像检测方法、设备、存储介质及装置 | |
| CN111797922A (zh) | 文本图像分类方法及装置 | |
| CN115861321B (zh) | 应用于工业互联网的生产环境检测方法及*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |