CN112052768A - 基于无人机的城市违章停车检测方法、装置及存储介质 - Google Patents
基于无人机的城市违章停车检测方法、装置及存储介质 Download PDFInfo
- Publication number
- CN112052768A CN112052768A CN202010886446.4A CN202010886446A CN112052768A CN 112052768 A CN112052768 A CN 112052768A CN 202010886446 A CN202010886446 A CN 202010886446A CN 112052768 A CN112052768 A CN 112052768A
- Authority
- CN
- China
- Prior art keywords
- image information
- license plate
- vehicle
- unmanned aerial
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 52
- 238000003860 storage Methods 0.000 title claims abstract description 11
- 238000012545 processing Methods 0.000 claims abstract description 68
- 230000011218 segmentation Effects 0.000 claims abstract description 36
- 238000000034 method Methods 0.000 claims abstract description 30
- 238000007781 pre-processing Methods 0.000 claims abstract description 22
- 238000001914 filtration Methods 0.000 claims description 13
- 238000006243 chemical reaction Methods 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 11
- 238000003708 edge detection Methods 0.000 claims description 10
- 230000033228 biological regulation Effects 0.000 claims description 6
- 238000012937 correction Methods 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 4
- 238000009826 distribution Methods 0.000 claims description 4
- 230000004927 fusion Effects 0.000 claims description 3
- 238000000605 extraction Methods 0.000 description 10
- 238000012549 training Methods 0.000 description 7
- 238000011176 pooling Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000002401 inhibitory effect Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- GIYXAJPCNFJEHY-UHFFFAOYSA-N N-methyl-3-phenyl-3-[4-(trifluoromethyl)phenoxy]-1-propanamine hydrochloride (1:1) Chemical compound Cl.C=1C=CC=CC=1C(CCNC)OC1=CC=C(C(F)(F)F)C=C1 GIYXAJPCNFJEHY-UHFFFAOYSA-N 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/63—Scene text, e.g. street names
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/148—Segmentation of character regions
- G06V30/153—Segmentation of character regions using recognition of characters or words
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/625—License plates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了基于无人机的城市违章停车检测方法、装置及存储介质，包括：通过无人机对禁停区域进行巡航拍摄，采集巡航图像信息；对所述巡航图像信息进行识别判断，得到车辆图像信息；对所述车辆图像信息进行预处理和阈值分割，得出车牌图像信息；利用改进型Faster‑RCNN对所述车牌图像信息进行处理，得出分割字符图片；利用改进型LeNet网络对所述分割字符图片进行识别，得出车牌信息，从而能够实时、准确地对城市违章车辆进行检测，并且成本低廉，容易收集证据。
Description
技术领域
本发明涉及城市违章停车检测领域，特别涉及一种基于无人机的城市违章停车检测方法、装置及存储介质。
背景技术
随着城市化的进程逐步推进，城市的交通问题变得越来越严重。目前，各城市的汽车拥有量也快速增长，随之而来的，市区的停车位置也越来越紧张，而违章停车则成为了城市交通问题中的一大难题。城市违章停车由多重因素构成，且城市车辆违章是全球性的城市顽疾，违章停车不仅会影响道路的通畅还会对行人的安全造成威胁。
当下的道路监控一般设置在路口处，监控点分布在道路交叉口、重点路段。传统的违章停车检测主要是通过交警实施人工监管。这样的方式效率低下，无法实现实时监控，极大的浪费了相关部门的人力和财力。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一。
为此，本发明提出一种基于无人机的城市违章停车检测方法，能够实时、准确地对城市违章车辆进行检测，并且成本低廉，容易收集证据。
本发明还提出一种应用上述基于无人机的城市违章停车检测方法的基于无人机的城市违章停车检测装置。
本发明还提出一种应用上述基于无人机的城市违章停车检测方法的计算机可读存储介质。
根据本发明第一方面实施例的基于无人机的城市违章停车检测方法，包括：
通过无人机对禁停区域进行巡航拍摄，采集巡航图像信息；
对所述巡航图像信息进行识别判断，得到车辆图像信息；
对所述车辆图像信息进行预处理和阈值分割，得出车牌图像信息；
利用改进型Faster-RCNN对所述车牌图像信息进行处理，得出分割字符图片；利用改进型LeNet网络对所述分割字符图片进行识别，得出车牌信息。
根据本发明实施例的基于无人机的城市违章停车检测方法，至少具有如下有益效果：首先利用无人机对禁停区域进行巡航拍摄，从而得到巡航图像信息；然后对巡航图像信息进行识别，判断出是否存在违章车辆，如果有违章车辆存在，无人机就会对违章车辆进行拍摄，得出车辆图像信息；对车辆图像信息进行预处理和阈值分割，从而识别定位出车牌图像信息；然后利用改进型Faster-RCNN对车牌图像信息进行特征提取和网络训练，获得分割字符图片；最后利用改进型LeNet网络对分割字符图片进行识别，得出车牌信息，进而完成了违章车辆的证据收集，并且实时性好，准确率高，成本低廉。
根据本发明的一些实施例，基于无人机的城市违章停车检测方法，包括：通过无人机对禁停区域进行巡航拍摄，收集巡航图像信息；
对所述巡航图像信息进行识别判断，得到车辆图像信息；
对所述车辆图像信息进行预处理和阈值分割，得出车牌图像信息；
利用改进型Faster-RCNN对所述车牌图像信息进行处理，得出分割字符图片；利用改进型LeNet网络对所述分割字符图片进行识别，得出车牌信息。
根据本发明的一些实施例，所述通过无人机对禁停区域进行巡航拍摄，收集巡航图像信息，包括：
利用路径规划信息控制无人机飞抵划定的禁停区域；
利用无人机上设置的摄像头对所述禁停区域进行拍摄，收集巡航图像信息。
根据本发明的一些实施例，所述对所述巡航图像信息进行识别判断，得到车辆图像信息，包括：
对所述巡航图像信息进行像素灰度变化判断，得出禁停异物图像信息；
通过改进型SSD算法对所述禁停异物图像信息进行识别判断，得出车辆图像信息。
根据本发明的一些实施例，所述对所述车辆图像信息进行预处理和阈值分割，得出车牌图像信息，包括：
对所述车辆图像信息进行灰度变换处理，得出第一车辆图像处理信息；
对所述第一车辆图像处理信息进行滤波处理，得出第二车辆图像处理信息；
对所述第二车辆图像处理信息进行边缘检测处理，得出第三车辆图像处理信息；对所述第三车辆图像处理信息进行阈值分割融合，得出车牌初始图像信息；
对所述车牌初始图像信息进行车牌矫正和尺寸调整，得出车牌图像信息。
根据本发明的一些实施例，所述灰度变换处理的公式表示为：
其中，q为原始图像的像素值，H为映射后的像素值，D为灰度等级，g(t)为像素的概率分布，n为像素点之和，ni为像素值为i所有对应像素个数。
根据本发明的一些实施例，所述滤波处理的公式表示为：
其中，g(i,j)代表输出点，S(i,j)是指以(i,j)为中心的(2N+1)(2N+1)的大小的范围；f(k,l)代表多个输入点；w(i,j,k,l)代表经过两个高斯函数计算出的值。
根据本发明的一些实施例，所述对所述车牌初始图像信息进行车牌矫正，包括：
利用矫正回归网络参数算法对所述车牌初始图像信息进行车牌矫正。
根据本发明第二方面实施例的基于无人机的城市违章停车检测装置，包括：图像采集单元，用于通过无人机对禁停区域进行巡航拍摄，采集巡航图像信息；第一识别单元，用于对所述巡航图像信息进行识别判断，得到车辆图像信息；
第一处理单元，用于对所述车辆图像信息进行预处理和阈值分割，得出车牌图像信息；
第二处理单元，用于利用改进型Faster-RCNN对所述车牌图像信息进行处理，得出分割字符图片；
第二识别单元，用于利用改进型LeNet网络对所述分割字符图片进行识别，得出车牌信息。
根据本发明的一些实施例，所述第一处理单元包括预处理单元和分割单元，所述预处理单元包括：
灰度变换单元，用于对所述车辆图像信息进行灰度变换处理，得出第一车辆图像处理信息；
滤波单元，用于对所述第一车辆图像处理信息进行滤波处理，得出第二车辆图像处理信息；
边缘检测单元，用于对所述第二车辆图像处理信息进行边缘检测处理，得出第三车辆图像处理信息。
根据本发明实施例的基于无人机的城市违章停车检测装置，至少具有如下有益效果：首先利用无人机对禁停区域进行巡航拍摄，从而得到巡航图像信息；然后对巡航图像信息进行识别，判断出是否存在违章车辆，如果有违章车辆存在，无人机就会对违章车辆进行拍摄，得出车辆图像信息；对车辆图像信息进行预处理和阈值分割，从而识别定位出车牌图像信息；然后利用改进型Faster-RCNN对车牌图像信息进行特征提取和网络训练，获得分割字符图片；最后利用改进型LeNet网络对分割字符图片进行识别，得出车牌信息，进而完成了违章车辆的证据收集，并且实时性好，准确率高，成本低廉。
根据本发明第三方面实施例的计算机可读存储介质，能够应用根据本发明上述第一方面实施例的基于无人机的城市违章停车检测方法。
根据本发明实施例的计算机可读存储介质，至少具有如下有益效果：首先利用无人机对禁停区域进行巡航拍摄，从而得到巡航图像信息；然后对巡航图像信息进行识别，判断出是否存在违章车辆，如果有违章车辆存在，无人机就会对违章车辆进行拍摄，得出车辆图像信息；对车辆图像信息进行预处理和阈值分割，从而识别定位出车牌图像信息；然后利用改进型Faster-RCNN对车牌图像信息进行特征提取和网络训练，获得分割字符图片；最后利用改进型LeNet网络对分割字符图片进行识别，得出车牌信息，进而完成了违章车辆的证据收集，并且实时性好，准确率高，成本低廉。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1为本发明实施例一的基于无人机的城市违章停车检测方法的工作流程图；
图2为本发明实施例一的基于无人机的城市违章停车检测方法中进行图像采集的工作流程图；
图3为本发明实施例一的基于无人机的城市违章停车检测方法中进行车辆图像判断识别的工作流程图；
图4为本发明实施例一的基于无人机的城市违章停车检测方法中定位识别车牌图像的工作流程图；
图5为本发明实施例一的基于无人机的城市违章停车检测方法中的改进型Faster-RCNN的网络构成图；
图6为本发明实施例二的基于无人机的城市违章停车检测装置的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
本发明的描述中，除非另有明确的限定，设置、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。
实施例一
参照图1，本发明实施例一提供了一种基于无人机的城市违章停车检测方法，其中的一种实施例包括但不限于以下步骤：
步骤S100，通过无人机对禁停区域进行巡航拍摄，采集巡航图像信息。
在本实施例中，本步骤通过无人机对预先划定的禁停区域进行巡航拍摄，从而可以采集到巡航图像信息。
步骤S200，对巡航图像信息进行识别，得出车辆图像信息。
在本实施例中，本步骤对巡航图像信息进行识别，判断出是否存在违章车辆，如果有违章车辆存在，无人机就会对违章车辆进行拍摄，得出车辆图像信息。
步骤S300，对车辆图像信息进行预处理和阈值分割，得出车牌图像信息。
在本实施例中，本步骤对车辆图像信息进行预处理和阈值分割，从而车辆图像信息中识别定位出车牌图像信息。
步骤S400，利用改进型Faster-RCNN对车牌图像信息进行处理，得出分割字符图片。
在本实施例中，本步骤利用改进型Faster-RCNN对车牌图像信息进行处理，从车牌图像信息中得出分割字符图片，为了车牌信息的识别做好准备。
步骤S500，利用改进型LeNet网络对分割字符图片进行识别，得出车牌信息。
在本实施例中，本步骤利用改进型LeNet网络对分割字符图片进行识别，从而能够得出车牌信息，实现了城市违章停车车辆的信息采集，准确性高，而且实时性较好。
参照图2，本实施例的步骤S100中，可以包括但不限于以下步骤：
步骤S110，利用路径规划信息控制无人机飞抵划定的禁停区域。
在本实施例中，本步骤利用路径规划信息控制无人机飞抵预先划定的禁停区域。其中，无人机的路径规划可以通过以下方式实现：以道路所有坐标{{Z1x,Z1y},{Z2x,Z2y}......{Znx,Zny}}作为输入数据，按照像素坐标x,y的平方和大小排序，计算两点的欧式距离进行排序，获得相邻连续的海岸线坐标组Q，将Q的所有坐标拟合成一条光滑的曲线，求该曲线的偏移角度λ，具体公式如下：λ＝90°-Arctan(m)，其中m为曲线中点切线斜率，用于调整无人机飞行方向。其中，可以设置多个无人机的充电站点，从而无人机在行驶的过程中就可以中途进行充电处理，使得续航里程较长。
步骤S120，利用无人机上设置的摄像头对禁停区域进行拍摄，收集巡航图像信息。
在本实施例中，本步骤无人机到达禁停区域之后，就可以利用无人机上的摄像头对禁停区域进行拍摄，采集图像，得到巡航图像信息。
参照图3，本实施例的步骤S200中，可以包括但不限于以下步骤：
步骤S210，对巡航图像信息进行像素灰度变化判断，得出禁停异物图像信息。
在本实施例中，本步骤对无停车位的区域建立一个禁停区域，将禁停区域内像素的灰度值的变化作为车辆违章停车的检测判断依据。当无人机在巡航的过程中禁停区域的像素背景在很长的一段时间背景值区域稳定时，当禁停区域内像素值发生变化时为有运动物体经过，所以可以根据在禁停区域内的像素点在阈值内灰度值是否有较大的变化来判断。当禁停区域内背景像素值发生突变，但在阈值内背景像素值变化又趋于稳定，可以判定有运动物体进入该区域而且停在了该禁停区域，得出了禁停异物图像信息。
步骤S220，通过改进型SSD算法对所述禁停异物图像信息进行识别判断，得出车辆图像信息。
在本实施例中，本步骤通过改进型SSD算法对禁停异物图像信息进行识别判断，判断进入到禁停区域的物体是否为车辆，如果为车辆，就再利用无人机对违章停车的车辆进行拍摄，得出车辆图像信息。其中，SSD算法具体实现如下：首先对图像进行预处理使其图像大小为300*300，在使用VGG16的卷积层提取特征并将其两个全连接层转换成普通的卷积层，再连接六个卷积层，最后用一个平均池化来变成1*1的输出。进一步，SSD采用多尺度特征做检测，每个单元设置长宽比不同的Default boxes，预测的边界框十一Default boxes为基准的，一定程度上减少训练难度，可以提高识别的准确度。对于Default boxes的尺度采用线性递归原则：随着特征图大小降低，先验框的尺度线性增加，具体公式如下：
式中smin是0.2，表示最底层的尺度为0.2，smax是0.9，通过计算可以得到6个Default boxes尺度分别为:[30,60,111,162,213,264]，长宽比为：
通过公式可以计算Default boxes的宽度w高度h如下：
式中
为Defalut boxes的宽度,sk为先验框的尺度，ar为长宽比，
为Defaultboxes的高度。生成Anchor boxes针对不同的卷积层，产生不同的尺寸，不同纵横比的Default boxes。生成的Anchor boxes预测对应的中心框，每层的中心框为4个。得到的Default boxes通过location预测对应的feature map cell坐标。将不同的Feature map获得的框结合起来，经过非极大值抑制算法来抑制掉，一部分重叠或者不正确的框，生成最终的检测结果。检测出是否为车辆。
参照图4，本实施例的步骤S300中，可以包括但不限于以下步骤：
步骤S310，对车辆图像信息进行灰度变换处理，得出第一车辆图像处理信息。
在本实施例中，本步骤对车辆图像信息进行灰度变换处理，通过统计图像像素值，计算像素值占灰度等级的概率以及每一个灰度等级的累计概率进行灰度等级的映射，得到图像均衡化的结果。具体公式如下：
式子中q为原始图像的像素值，H为映射后的像素值，D为灰度等级，g(t)为像素的概率分布，n为像素点之和，ni为像素值为i所有对应像素个数，第一式和第二式分别为连续和离散的情况。
步骤S320，对第一车辆图像处理信息进行滤波处理，得出第二车辆图像处理信息。
在本实施例中，本步骤使用双边滤波是一种非线性滤波方法，是结合图像的空间邻近度和像素相似度的一种折中处理，同时考虑空余信息和灰度相似性，达到保边去燥的目的。具有简单、非迭代和局部的特点。便于局部特征以及边缘信息的保留降低误减率。具体公式为：
其中g(i,j)代表输出点，S(i,j)是指以(i,j)为中心的(2N+1)(2N+1)的大小的范围；f(k,l)代表多个输入点；w(i,j,k,l)代表经过两个高斯函数计算出的值。
步骤S330，对第二车辆图像处理信息进行边缘检测处理，得出第三车辆图像处理信息。
在本实施例中，本步骤能够检测图像的边缘，不仅减少了图像的数据量，而且保留了图片的关键信息。本发明使用Prewitt算子，边缘检测效果高，能够突出车牌的潜在位置。
步骤S340，对所述第三车辆图像处理信息进行阈值分割融合，得出车牌初始图像信息。
在本实施例中，本步骤原始的RGB颜色空间换到HSV颜色空间，根据先验车牌颜色设定H,S,V的阈值，在对经过边缘处理的图像做计算，得到车牌位置边缘的图像。通过多次的开闭运算得到车牌的二值图像，为定位车牌做准备。通过已知车牌的长宽比例和大小，判断是否为车牌区域，并对车牌区域进行校正。RGB转换为HSV的公式如下：
V＝max
其中，r,g,b表示RGB的各个分量值，max,min为R,G,B三分量中的最大、最小值，Δ为max与min的差值。
步骤S350，对车牌初始图像信息进行车牌矫正和尺寸调整，得出车牌图像信息。
在本实施例中，本步骤使用矫正回归网络参数方法进行车牌矫正提高了车牌字符识别的准确率，具体公式如下：
其中
表示第i个样本预测的值，yi表示第i个样本真实的值，通过回归运算，是车牌的最终位置与真实值相近似。然后将车牌的大小调整为指定大小，便于后续的卷积神经网络精确定位车牌信息并提取车牌。
参照图5，步骤S400中，利用改进型Faster-RCNN对车牌图像信息进行处理，得出分割字符图片。具体如下：
为了提高检测的效率和轻量化，把Faster-RCNN常用的VGG16特征提取网络换成轻量级的前端特征提取网路，让其车牌检测耗时变短，特征提取模型变小，由于预处理减少了车牌的检测面积，缩短了检测耗时且降低图像的误检率，让本发明的检测效果没有下降。
进一步，区域建议网络一方面通过全连接层分类anchors获得二分类结果，另一方面计算anchors的边界框回归的偏移量，以精确的获得边界框，最后的proposal层负责综合有目标的anchors和对应的边界框回归偏移量获取精确地边界框，同时剔除掉太小和超出边界的边界框。
区域建议网络使用的是多尺度方法，遍历特征提取网络计算得到的特征图，为每一个点都配备9中anchors作为初始的检测框。后面在进行两次边界框回归修正检测位置。
边界框回归具体实现如下：绿色框为车牌的真实框，红色框为提取的有车牌的anchors，由于红色框定位不准，网络还是无法检测到车牌，所以需对红色框进行微调。
对于窗口一般使用四维向量(x,y,w,h)表示，分别表示窗口的中心点坐标和宽高。我们用A表示红框A＝(Ax,Ay,Aw,Ah)，用GT表示真实框GT＝(Gx,Gy,Gw,Gh)，先对红框进行平移：
G'x＝Aw·dx(A)+Ax
G'y＝Ah·dy(A)+Ay
式子中G'xG'y的再做缩放：
G″x＝Aw·exp(dw(A))
G″h＝Ah·exp(dh(A))
通过线性回归的方法获得dx(A)dy(A)dw(A)dh(A)的值具体如下：
式子中
是对应anchor的特征图组成的特征向量，
是需要学习的参数，d*(A)是得到的预测值，其中*表示x,y,w,h，也就是每一个变换对应一个目标函数。为了让预测值d*(A)与真实值t*差值最小。设计损失函数如下：
函数优化目标为:
当真实框与回归框位置比较接近时，可以近似认为线性变换成立。有目标的anchor与真实框之间的平移量(tx,ty)与尺度因子(tw,th)的计算如下：
对于边界框回归网络回归分支，输入的特征提取网络提取的特征图，监督信号是anchor与真实框的差距(tx,ty,tw,th),即训练目标是：输入
的情况下使得网络输出与监督信号尽可能接近。那么当边界框回归是，在输入
时，回归网络分支的输出就是每一个anchor的平移量和变换尺度(tx,ty,tw,th)，这样就可以修正anchor的位置了。另一方面用1*1卷积的将特征图每个点都有9个anchors，每个anchors又都有4个用于回归的[dx(A),dy(A),dw(A),dh(A)]变换量。
恰好满足完成二分类和边界框回归。
Proposal层负责综合所有[dx(A),dy(A),dw(A),dh(A)]变换量和有目标的anchors计算出准确的边界框，送入Rol池化层。
Rol池化层负责收集区域建议框，并计算出区域建议框的特征图送入后续网络。
分类部分利用获得的区域建议框的特征图，通过全连接层和softmax计算每个区域建议框的具体类别，输出概率向量；同时再次利用边界框回归获得每个区域建议框的位置偏移量，用于回归更加精确的目标检测框。
车牌识别部分采用像素点统计的车牌字符分割算法：首先对输入车牌的大小进行统一，对图像进行灰度化提高图像的对比度，有选择的抑制图像中不需要的特征或者突出需要的特征，使用大津阈值算法使图像明显呈现黑白效果，有助于目标轮廓在背景图像中更加明显的呈现出来，使得数据量变小，后续处理更加简单。
进一步，对二值化图像进行优化，为防止车牌最后的字符切割不出来，为此增加做边框，再根据黑白像素点个数筛选出一定范围的噪声点并去除掉。
在通过图像列中的黑白像素点分布的状态进行车牌字符的切割。
具体表现为：统计每一列中黑白像素点个数，分别找出黑色与白色像素点的最大值，在白色像素点数大于最大值的百分之五为开始位置，在黑色像素点数大于百分之九十五为结束位置，算法根据开始与结束的位置进行分割，将切割出的图像宽度与先验车牌宽度对比判断是否保留，最后得到保存的分割字符图片。
步骤S500中，利用改进型LeNet网络对所述分割字符图片进行识别，得出车牌信息。具体如下：采用改进的LeNet网络，增加网络的卷积层的数量得到更高维度的特征图，增加全连接层的节点数提高特征映射的数量。具体为：C1层卷积核的数量为32个，C3层卷积核数量为64个，C5层卷积核数量为128个，C7层卷积核数量为64个，增加了卷积层数和卷积核数以便于提取更多的车牌字符特征，同时将最后一层的卷积核减少为64个，减小输入全连接层的向量数据，所有的池化层都采用最大池化，增加的池化层缩减了数据量以及参数，便于进一步提取高维统计特征，用ReLU激活函数代替LeNet模型中的tanh激活函数，更有利于车牌字符识别。通过改进的LeNet网络识别出车牌，将数据发回服务器根据相关交通法规对违章车辆进行处理。
通过上述方案可知，首先利用无人机对禁停区域进行巡航拍摄，从而得到巡航图像信息；然后对巡航图像信息进行识别，判断出是否存在违章车辆，如果有违章车辆存在，无人机就会对违章车辆进行拍摄，得出车辆图像信息；对车辆图像信息进行预处理和阈值分割，从而识别定位出车牌图像信息；然后利用改进型Faster-RCNN对车牌图像信息进行特征提取和网络训练，获得分割字符图片；最后利用改进型LeNet网络对分割字符图片进行识别，得出车牌信息，进而完成了违章车辆的证据收集，并且实时性好，准确率高，成本低廉。
实施例二
参照图6，本发明实施例二提供了一种基于无人机的城市违章停车检测装置1000，包括：
图像采集单元1100，用于通过无人机对禁停区域进行巡航拍摄，采集巡航图像信息；
第一识别单元1200，用于对所述巡航图像信息进行识别，判断得出车辆图像信息；
第一处理单元1300，用于对所述车辆图像信息进行预处理和阈值分割，得出车牌图像信息；
第二处理单元1400，用于利用改进型Faster-RCNN对所述车牌图像信息进行处理，得出分割字符图片；
第二识别单元500，用于利用改进型LeNet网络对所述分割字符图片进行识别，得出车牌信息。
在本实施例中，第一处理单元1300包括预处理单元1310和分割单元1320，预处理单元1310包括：
灰度变换单元1311，用于对所述车辆图像信息进行灰度变换处理，得出第一车辆图像处理信息；
滤波单元1312，用于对所述第一车辆图像处理信息进行滤波处理，得出第二车辆图像处理信息；
边缘检测单元1313，用于对所述第二车辆图像处理信息进行边缘检测处理，得出第三车辆图像处理信息。
需要说明的是，由于本实施例中的基于无人机的城市违章停车检测装置与上述实施例一中的基于无人机的城市违章停车检测方法基于相同的发明构思，因此，方法实施例一中的相应内容同样适用于本***实施例，此处不再详述。
通过上述方案可知，首先利用无人机对禁停区域进行巡航拍摄，从而得到巡航图像信息；然后对巡航图像信息进行识别，判断出是否存在违章车辆，如果有违章车辆存在，无人机就会对违章车辆进行拍摄，得出车辆图像信息；对车辆图像信息进行预处理和阈值分割，从而识别定位出车牌图像信息；然后利用改进型Faster-RCNN对车牌图像信息进行特征提取和网络训练，获得分割字符图片；最后利用改进型LeNet网络对分割字符图片进行识别，得出车牌信息，进而完成了违章车辆的证据收集，并且实时性好，准确率高，成本低廉。
实施例三
本发明实施例三还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有基于无人机的城市违章停车检测装置可执行指令，基于无人机的城市违章停车检测装置可执行指令用于使基于无人机的城市违章停车检测装置执行上述的基于无人机的城市违章停车检测方法，例如，执行以上描述的图1中的方法步骤S100至S500，实现图6中的单元1000-1500的功能。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
Claims (10)
1.一种基于无人机的城市违章停车检测方法，其特征在于，包括：
通过无人机对禁停区域进行巡航拍摄，采集巡航图像信息；
对所述巡航图像信息进行识别判断，得到车辆图像信息；
对所述车辆图像信息进行预处理和阈值分割，得出车牌图像信息；
利用改进型Faster-RCNN对所述车牌图像信息进行处理，得出分割字符图片；
利用改进型LeNet网络对所述分割字符图片进行识别，得出车牌信息。
2.根据权利要求1所述的一种基于无人机的城市违章停车检测方法，其特征在于，所述通过无人机对禁停区域进行巡航拍摄，收集巡航图像信息，包括：
利用路径规划信息控制无人机飞抵划定的禁停区域；
利用无人机上设置的摄像头对所述禁停区域进行拍摄，收集巡航图像信息。
3.根据权利要求1所述的一种基于无人机的城市违章停车检测方法，其特征在于，所述对所述巡航图像信息进行识别判断，得到车辆图像信息，包括：
对所述巡航图像信息进行像素灰度变化判断，得出禁停异物图像信息；
通过改进型SSD算法对所述禁停异物图像信息进行识别判断，得到车辆图像信息。
4.根据权利要求1所述的一种基于无人机的城市违章停车检测方法，其特征在于，所述对所述车辆图像信息进行预处理和阈值分割，得出车牌图像信息，包括：
对所述车辆图像信息进行灰度变换处理，得出第一车辆图像处理信息；
对所述第一车辆图像处理信息进行滤波处理，得出第二车辆图像处理信息；
对所述第二车辆图像处理信息进行边缘检测处理，得出第三车辆图像处理信息；
对所述第三车辆图像处理信息进行阈值分割融合，得出车牌初始图像信息；
对所述车牌初始图像信息进行车牌矫正和尺寸调整，得出车牌图像信息。
5.根据权利要求4所述的一种基于无人机的城市违章停车检测方法，其特征在于：所述灰度变换处理的公式表示为：
H(q)＝D∫1 qg(t)dt
其中，q为原始图像的像素值，H为映射后的像素值，D为灰度等级，g(t)为像素的概率分布，n为像素点之和，ni为像素值为i所有对应像素个数。
6.根据权利要求4所述的一种基于无人机的城市违章停车检测方法，其特征在于：所述滤波处理的公式表示为：
其中，g(i,j)代表输出点，S(i,j)是指以(i,j)为中心的(2N+1)(2N+1)的大小的范围；f(k,l)代表多个输入点；w(i,j,k,l)代表经过两个高斯函数计算出的值。
7.根据权利要求4所述的一种基于无人机的城市违章停车检测方法，其特征在于，所述对所述车牌初始图像信息进行车牌矫正，包括：
利用矫正回归网络参数算法对所述车牌初始图像信息进行车牌矫正。
8.一种基于无人机的城市违章停车检测装置，其特征在于，包括：
图像采集单元，用于通过无人机对禁停区域进行巡航拍摄，采集巡航图像信息；
第一识别单元，用于对所述巡航图像信息进行识别判断，得到车辆图像信息；
第一处理单元，用于对所述车辆图像信息进行预处理和阈值分割，得出车牌图像信息；
第二处理单元，用于利用改进型Faster-RCNN对所述车牌图像信息进行处理，得出分割字符图片；
第二识别单元，用于利用改进型LeNet网络对所述分割字符图片进行识别，得出车牌信息。
9.根据权利要求8所述的一种基于无人机的城市违章停车检测装置，其特征在于，所述第一处理单元包括预处理单元和分割单元，所述预处理单元包括：
灰度变换单元，用于对所述车辆图像信息进行灰度变换处理，得出第一车辆图像处理信息；
滤波单元，用于对所述第一车辆图像处理信息进行滤波处理，得出第二车辆图像处理信息；
边缘检测单元，用于对所述第二车辆图像处理信息进行边缘检测处理，得出第三车辆图像处理信息。
10.一种计算机可读存储介质，其特征在于：所述计算机可读存储介质存储有基于无人机的城市违章停车检测装置可执行指令，基于无人机的城市违章停车检测装置可执行指令用于使基于无人机的城市违章停车检测装置执行如权利要求1至7任一所述的基于无人机的城市违章停车检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010886446.4A CN112052768A (zh) | 2020-08-28 | 2020-08-28 | 基于无人机的城市违章停车检测方法、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010886446.4A CN112052768A (zh) | 2020-08-28 | 2020-08-28 | 基于无人机的城市违章停车检测方法、装置及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112052768A true CN112052768A (zh) | 2020-12-08 |
Family
ID=73607012
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010886446.4A Pending CN112052768A (zh) | 2020-08-28 | 2020-08-28 | 基于无人机的城市违章停车检测方法、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112052768A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113221744A (zh) * | 2021-05-12 | 2021-08-06 | 天津大学 | 一种基于深度学习的单目图像3d物体检测方法 |
| CN113593256A (zh) * | 2021-09-29 | 2021-11-02 | 深圳联和智慧科技有限公司 | 基于城市管理的无人机智能驱离控制方法、***及云平台 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103093229A (zh) * | 2013-01-21 | 2013-05-08 | 信帧电子技术（北京）有限公司 | 车标定位方法及装置 |
| CN107273896A (zh) * | 2017-06-15 | 2017-10-20 | 浙江南自智能科技股份有限公司 | 一种基于图像识别的车牌检测识别方法 |
| CN108510750A (zh) * | 2018-04-25 | 2018-09-07 | 济南浪潮高新科技投资发展有限公司 | 一种基于神经网络模型的无人机巡检违章停车的方法 |
| CN108960243A (zh) * | 2018-07-06 | 2018-12-07 | 蚌埠学院 | 车牌定位方法 |
| CN110223511A (zh) * | 2019-04-29 | 2019-09-10 | 合刃科技（武汉）有限公司 | 一种汽车路边违停智能监测方法及*** |
| CN110254468A (zh) * | 2019-06-20 | 2019-09-20 | 吉林大学 | 一种轨道表面缺陷智能在线检测装置及检测方法 |
| CN110619750A (zh) * | 2019-08-15 | 2019-12-27 | 重庆特斯联智慧科技股份有限公司 | 面向违停车辆的智能航拍识别方法及*** |
-
2020
- 2020-08-28 CN CN202010886446.4A patent/CN112052768A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103093229A (zh) * | 2013-01-21 | 2013-05-08 | 信帧电子技术（北京）有限公司 | 车标定位方法及装置 |
| CN107273896A (zh) * | 2017-06-15 | 2017-10-20 | 浙江南自智能科技股份有限公司 | 一种基于图像识别的车牌检测识别方法 |
| CN108510750A (zh) * | 2018-04-25 | 2018-09-07 | 济南浪潮高新科技投资发展有限公司 | 一种基于神经网络模型的无人机巡检违章停车的方法 |
| CN108960243A (zh) * | 2018-07-06 | 2018-12-07 | 蚌埠学院 | 车牌定位方法 |
| CN110223511A (zh) * | 2019-04-29 | 2019-09-10 | 合刃科技（武汉）有限公司 | 一种汽车路边违停智能监测方法及*** |
| CN110254468A (zh) * | 2019-06-20 | 2019-09-20 | 吉林大学 | 一种轨道表面缺陷智能在线检测装置及检测方法 |
| CN110619750A (zh) * | 2019-08-15 | 2019-12-27 | 重庆特斯联智慧科技股份有限公司 | 面向违停车辆的智能航拍识别方法及*** |
Non-Patent Citations (1)
| Title |
|---|
| 杨帆: "数字图像处理与分析 第4版", 31 January 2019, 北京航空航天大学出版社, pages: 54 - 56 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113221744A (zh) * | 2021-05-12 | 2021-08-06 | 天津大学 | 一种基于深度学习的单目图像3d物体检测方法 |
| CN113221744B (zh) * | 2021-05-12 | 2022-10-04 | 天津大学 | 一种基于深度学习的单目图像3d物体检测方法 |
| CN113593256A (zh) * | 2021-09-29 | 2021-11-02 | 深圳联和智慧科技有限公司 | 基于城市管理的无人机智能驱离控制方法、***及云平台 |
| CN113593256B (zh) * | 2021-09-29 | 2021-12-28 | 深圳联和智慧科技有限公司 | 基于城市管理的无人机智能驱离控制方法、***及云平台 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110487562B (zh) | 一种用于无人驾驶的车道保持能力检测***及方法 | |
| CN109977812B (zh) | 一种基于深度学习的车载视频目标检测方法 | |
| CN110619750B (zh) | 面向违停车辆的智能航拍识别方法及*** | |
| CN109816024B (zh) | 一种基于多尺度特征融合与dcnn的实时车标检测方法 | |
| CN111369541B (zh) | 一种智能汽车恶劣天气条件下车辆检测方法 | |
| CN104778444B (zh) | 道路场景下车辆图像的表观特征分析方法 | |
| JP4723582B2 (ja) | 交通標識検出方法 | |
| Kühnl et al. | Monocular road segmentation using slow feature analysis | |
| CN110866430B (zh) | 一种车牌识别方法及装置 | |
| CN110544211B (zh) | 一种镜头付着物的检测方法、***、终端和存储介质 | |
| CN106022243B (zh) | 一种基于图像处理的机动车道车辆逆行识别方法 | |
| AU2009295350A1 (en) | Detection of vehicles in an image | |
| CN108537099A (zh) | 一种复杂背景的车牌识别方法 | |
| CN109190455B (zh) | 基于高斯混合和自回归滑动平均模型的黑烟车识别方法 | |
| CN111667512A (zh) | 基于改进卡尔曼滤波的多目标车辆轨迹预测方法 | |
| CN112731436B (zh) | 基于点云上采样的多模态数据融合可行驶区域检测方法 | |
| CN107944354B (zh) | 一种基于深度学习的车辆检测方法 | |
| CN108830131B (zh) | 基于深度学习的交通目标检测与测距方法 | |
| CN113034378B (zh) | 一种区分电动汽车与燃油汽车的方法 | |
| CN110060221B (zh) | 一种基于无人机航拍图像的桥梁车辆检测方法 | |
| CN111259796A (zh) | 一种基于图像几何特征的车道线检测方法 | |
| CN111950498A (zh) | 一种基于端到端实例分割的车道线检测方法及装置 | |
| CN112052768A (zh) | 基于无人机的城市违章停车检测方法、装置及存储介质 | |
| CN106407951A (zh) | 一种基于单目视觉的夜间前方车辆检测方法 | |
| CN110276318A (zh) | 夜间公路下雨识别方法、装置、计算机设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |