CN107665603A - 一种判定车位占用的实时检测方法 - Google Patents
一种判定车位占用的实时检测方法 Download PDFInfo
- Publication number
- CN107665603A CN107665603A CN201710795417.5A CN201710795417A CN107665603A CN 107665603 A CN107665603 A CN 107665603A CN 201710795417 A CN201710795417 A CN 201710795417A CN 107665603 A CN107665603 A CN 107665603A
- Authority
- CN
- China
- Prior art keywords
- parking stall
- vehicle
- carnet
- layer
- depth map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 25
- 238000011897 real-time detection Methods 0.000 title claims abstract description 21
- 238000001514 detection method Methods 0.000 claims abstract description 33
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 13
- 230000011218 segmentation Effects 0.000 claims abstract description 12
- 238000012544 monitoring process Methods 0.000 claims abstract description 9
- 238000013461 design Methods 0.000 claims abstract description 7
- 239000007787 solid Substances 0.000 claims abstract description 7
- 230000004927 fusion Effects 0.000 claims abstract description 5
- 238000003475 lamination Methods 0.000 claims description 8
- 230000000877 morphologic effect Effects 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 230000010339 dilation Effects 0.000 claims description 3
- 230000003628 erosive effect Effects 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 238000003709 image segmentation Methods 0.000 claims description 3
- 238000007689 inspection Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 2
- 238000011161 development Methods 0.000 abstract description 4
- 230000018109 developmental process Effects 0.000 abstract description 4
- 230000008901 benefit Effects 0.000 abstract description 3
- 238000005516 engineering process Methods 0.000 description 9
- 230000008859 change Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/14—Traffic control systems for road vehicles indicating individual free spaces in parking areas
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/586—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30264—Parking
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种判定车位占用的实时检测方法，属于机器视觉技术领域，具体涉及一种通过俯视的深度图融合卷积神经网络的检测方法来判定车位是否被正确占用的实时检测方法。其具体包括搭建双目立体相机、收集车辆样本和非车辆样本、设计并训练以卷积神经网络CarNet为基础的车辆检测模型、人工标定监控车位在相机图像中位置、得到监控场景下的深度图、对深度图分割初步得到车辆区域同时利用CarNet检测模型检测车辆、融合深度图与卷积神经网络结果得到可靠车辆检测框以及判定车位是否占用等步骤。本发明可广泛用于加油站、地下停车场等半露天或室内停车场，可准确输出车位占用情况，具有实施成本低，工作效率高、自动化能力强等优点，具有广阔的发展前景。
Description
技术领域
本发明属于机器视觉技术领域，具体涉及一种判定车位占用的实时检测方法。
背景技术
近些年，随着经济的迅猛发展和人民生活水平的日益提高，汽车的人均持有量也逐年上升。伴随着汽车进入家庭步伐的加快，由此而来的静态交通问题日益突出，并成为制约我国汽车工业乃至城市国民经济发展的突出问题。当前存在的问题主要表现为以下几个方面：一是规划布局不尽合理；二是用地指标控制不够；三是小区的停车泊位数量较少；四是公共建筑配建停车场寥寥无几，道路占道现象严重。以上情况严重影响的汽车经济的发展，因此，提高停车场的运营效率的问题成为了解决停车难的关键。
随着机动车辆数量的迅速增长，合理的利用停车场管理能够有效的解决车辆停放问题，降低路面占有率，从而缓解路面交通问题。中国现在机动车拥有量突破3亿，规范车辆停放、保持良好的停车秩序、合理利用停车位资源、实时显示车位占用情况对于日常生活有着十分显著的作用。但传统的停车场越建越大，人工管理的效率缺越来越低，因此智能停车场受到业内越来越高的关注，研究方向也不断拓宽深入。
智能停车场管理***中往往有很多的分模块，而车位检测模块在整个***中占据着比较重要的地位，车位检测的效果，直接影响整个***的好坏。停车场的车位检测是停车场管理信息***的关键技术之一也是停车诱导的基础，在停车管理信息***中，车位信息是底层最重要的信息，通过车位检测可以实时监测停车场内的车位占用情况，并将其发送到管理中心的数据库中，从而实现对车位占用信息的及时发布和管理，为车辆诱导提供支持。
随着信息技术的高速发展，尤其是计算机视觉和人工智能技术取得了突破性进展，使得很多本应该由人力完成的工作可以由计算机完成。与人工方式、地感线圈、超声波技术检测车位相比，基于视频的车位检测技术具有独特的优势，因而引起人们的广泛关注。基于视频的车位检测技术，通过对前端摄像头采集到的视频进行分析处理，可以实时检测停车位被占用的情况。此外，利用一个摄像头就可同时监控多个车位，大大节省了停车场管理成本。
因此，视频车位检测一般用于大型停车场车位的管理***，既可以方便车主利用最少的时间找到空车位，还可降低成本、减少停车场道路拥挤、提高车位利用效率以及增强停放车辆的安全性。例如，对缓解公司、小区停车难，提高加油站车位占用效率，进行道路监控，完善车辆停放管理都有十分重要的作用。利用计算机图像处理的手段进行车位管理有很高的准确率，将极大减少人的工作量。
发明内容
本发明的目的在于提供一种通过俯视的深度图融合卷积神经网络的检测方法来判定车位是否被正确占用的实时检测方法。
本发明的目的是这样实现的：
本发明公开了一种判定车位占用的实时检测方法，通过双目立体相机提取彩色图与深度图，利用深度图分割方法得到车辆矩形框，用设计的CarNet深度卷积神经网络进行车辆检测，再将融合深度图分割结果与彩色图中CarNet检测结果进行组合判断，最终确定选定车位是否被占用，其具体的实现步骤包括：
(1)将双目立体相机安放于监控车位正上方，相机角度竖直向下，相机俯视监控一个或者多个车位，保证需要监控的车位都在相机的视野中；
(2)收集车辆样本和非车辆样本，将所有样本全部进行归一化处理；
(3)设计适用于具体环境下的卷积神经网络CarNet，并以CarNet网络检测车辆；
(4)人工在双目立体摄像机左图像中标定车位区域，并依次标记车位号；
(5)利用双目立体摄像机获得左、右两幅彩色图像，通过计算视差得到深度图；
(6)人工设定深度阈值，提取高于地面人工设定高度的深度图区域；
(7)对分割得到的深度图区域用形态学腐蚀消除孤立像素点，用形态学膨胀填补空洞，通过面积筛选滤除面积过小的噪声部分，提取深度图分割区域最小外接矩形框，从而得到车辆矩形框R1；
(8)针对立体摄像机左侧彩色图像，利用CarNet检测模型得到车辆矩形框R2；
(9)根据CarNet检测模型得到的结果R2结合步骤(7)深度图分割的矩形框R1进行联合判断，得到的输出结果为车辆的矩形框Rf；
(10)通过车辆检测框与人工设定的车位区域占比判断车位占用状态，占比超过人工设定阈值则判断为车位被占用。
对于一种判定车位占用的实时检测方法，所述的步骤(2)中收集的车辆样本及非车辆样本适用于具体的环境场景，所有的样本使用归一化后的俯视图。
对于一种判定车位占用的实时检测方法，步骤(3)中所述的卷积神经网络CarNet检测模型中前4层卷积层为基础提取特征层，后3层卷积层组进行多尺度检测，其具体结构包括：
(3.1)第1层卷积层中，卷积核尺寸为11×11，步长为4，输出特征图通道数为16；第2层卷积层中，卷积核尺寸为3×3，步长为1，输出特征图通道数为20；第3层卷积层中，卷积核尺寸为3×3，步长为1，输出特征图通道数为30；第4层卷积层中，卷积核尺寸为3×3，步长为1，输出特征图通道数为48；
(3.2)前4层的卷基层中每层卷积层后都连接一个最大值池化层，池化层卷积核尺寸为3×3，步长为2，每个卷积层中的激活函数采用Leaky-ReLU函数
其中，α为一个小常数；
(3.3)在第4层卷积之后，添加3层特征图卷积层组，并在这3层卷积层组的输出特征图上进行多尺度回归检测；不同尺寸的特征图每个位置生成不同尺度的k个包围框，计算每个包围框属于车、背景两类的可能性，即得分值；同时计算相对于实际物体框的4个偏移值，通过Bounding Box回归用偏移值对这些包围框微调；
(3.4)添加的3层特征图卷积层组结构为：第5层卷积层组由2层组成，2层卷积核尺寸分别为3×3和1×1，步长都为1，输出特征图通道数都为96；第6层卷积层组也由2层组成，2层卷积核尺寸分别为1×1和3×3，步长分别为1和2，输出特征图通道数分别为24和48；第7层卷积层组也由2层卷积层组成，2层卷积核尺寸分别为1×1和3×3，步长分别为1和2，输出特征图通道数分别为24和48。
对于一种判定车位占用的实时检测方法，所述的步骤(6)中设定深度图阈值Td，提取高于地面人工设定高度的图像区域，当深度图中深度值dp≤Td，保留当前像素，当深度图中深度值dp≥Td，删除当前像素即设置为0。
对于一种判定车位占用的实时检测方法，步骤(9)中所述的利用深度图分割和CarNet检测模型进行结果判定的具体实现步骤包括：
(9.1)若步骤(7)与步骤(8)均检测到车辆，且检测到的两车矩形框重合率大于设定阈值，则判定两候选框为同一车，并取两个矩形框的交集为车辆最终检测框Rf；
(9.2)若步骤(7)与步骤(8)判定为车的矩形框重合率小于设定阈值，则认为检测结果不稳定，不进行进一步判断；
(9.3)若对同一车位步骤(7)中未检测到车辆，而步骤(8)中检测到车辆，则判定CarNet模型检测虚警；若对应车位在步骤(7)中检测到车辆，而步骤(8)中未检测到车辆，则判定为高大非车物体进入监控区域。
对于一种判定车位占用的实时检测方法，所述的步骤(10)中针对某一划定车位，基于车辆的矩形框Rf与事先划定车位的面积重合比阈值Ta来判定车位占用情况，设实际面积重合比为β，当β≥Ta时，判断该车位被占用；若β≤Ta，则返回步骤(5)。
本发明的有益效果在于：
本发明公开的一种判定车位占用的实时检测方法，通过利用左右两幅俯视彩色图得到深度图，对深度图进行分割得到车辆矩形框融合卷积神经网络的检测方法，能够自动对车辆进行检测识别，判断车辆是否正确停放；
通过基于视觉的车位检测技术可以实时的利用设置的摄像头采集视频并进行分析处理，实时检测停车位被占用的情况；此外，利用一个摄像头就可同时监控多个车位，大大节省了停车场管理成本；
同时，由于视觉车位检测技术自身的优势，视觉车位检测一般用于大型停车场车位的管理***，既可以方便车主利用最少的时间找到空车位，还可降低成本、减少停车场道路拥挤、提高车位利用效率以及增强停放车辆的安全性，对缓解公司、小区停车难，提高加油站车位占用效率，进行道路监控，完善车辆停放管理都有十分重要的作用；
此外，利用计算机图像处理的手段进行车位管理有很高的准确率，解决了传统的人工管理成本虽高但效率低、管理差的弊端，极大减少人的工作量。
附图说明
图1为本发明中判定车位占用的实时检测方法的流程示意图；
图2为本发明中双目立体视觉原理图。
具体实施方式
下面结合附图对本发明做进一步描述。
结合图1，本发明公开了一种判定车位占用的实时检测方法，通过双目立体相机提取彩色图与深度图，利用深度图分割方法得到车辆矩形框，用设计的CarNet深度卷积神经网络进行车辆检测，再将融合深度图分割结果与彩色图中CarNet检测结果进行组合判断，最终确定选定车位是否被占用，其具体的实现步骤包括：
(1)将双目立体相机安放于监控车位正上方，相机角度竖直向下，相机俯视监控一个或者多个车位，保证需要监控的车位都在相机的视野中。
(2)收集车辆样本和非车辆样本，将所有样本全部进行归一化处理；
由于采用俯视角度进行监控，进行分类使用的样本需要采用俯视图。利用搭建好的相机采集车辆俯视样本。对车辆样本进行随机翻转、平移变换、尺度变换和旋转变换以增加样本数量，将所有车辆样本按设定尺寸归一化大小；对非车辆样本进行尺度变换，将所有非车辆样本按设定尺寸归一化大小；车辆样本与非车辆样本按1:2的比例获取。
(3)设计适用于具体环境下的卷积神经网络CarNet检测模型，并以CarNet网络检测车辆；卷积神经网络CarNet检测模型中前4层卷积层为基础提取特征层，后3层卷积层组进行多尺度检测，其具体结构包括：
(3.1)第1层卷积层中，卷积核尺寸为11×11，步长为4，输出特征图通道数为16；第2层卷积层中，卷积核尺寸为3×3，步长为1，输出特征图通道数为20；第3层卷积层中，卷积核尺寸为3×3，步长为1，输出特征图通道数为30；第4层卷积层中，卷积核尺寸为3×3，步长为1，输出特征图通道数为48；
(3.2)前4层的卷基层中每层卷积层后都连接一个最大值池化层，池化层卷积核尺寸为3×3，步长为2，每个卷积层中的激活函数采用Leaky-ReLU函数
其中，α为一个小常数；
(3.3)在第4层卷积之后，添加3层特征图卷积层组，并在这3层卷积层组的输出特征图上进行多尺度回归检测；不同尺寸的特征图每个位置生成不同尺度的k个包围框，计算每个包围框属于车、背景两类的可能性，即得分值；同时计算相对于实际物体框的4个偏移值，通过Bounding Box回归用偏移值对这些包围框微调；
(3.4)添加的3层特征图卷积层组结构为：第5层卷积层组由2层组成，2层卷积核尺寸分别为3×3和1×1，步长都为1，输出特征图通道数都为96；第6层卷积层组也由2层组成，2层卷积核尺寸分别为1×1和3×3，步长分别为1和2，输出特征图通道数分别为24和48；第7层卷积层组也由2层卷积层组成，2层卷积核尺寸分别为1×1和3×3，步长分别为1和2，输出特征图通道数分别为24和48。
(4)人工用四边形在双目立体摄像机左图像中标定车位区域，依次标记车位号，同时计算各四边形车位面积。
(5)利用双目立体摄像机获得左、右两幅RGB彩色图像p1和p2，通过计算视差得到深度图，用八位二进制图表示；以t时刻得到的RGB图像P1和P2为例；
结合图2，C11和C12代表双目摄像机两个摄像头。他们之间的基线距离用T表示，π1和π2代表两个摄像头的成像平面，f是焦距，空间中的任一点p到两个光心连线的距离是Z，P在两个像平面的投影分别为p1和pr，p1和pr在分别以C11和C12为原点的坐标***中的坐标为x1和xr，视差为
d＝x1-xr，
根据图中相似三角形的原理，我们可以得到
由以上两公式可以得出物体的实际深度与视差的关系为
(6)人工设定深度阈值Td，提取高于地面人工设定高度的深度图区域，当深度图中深度值dp≤Td，保留当前像素，当深度图中深度值dp≥Td，删除当前像素即设置为0。
(7)对分割得到的深度图区域用形态学腐蚀消除孤立像素点，用形态学膨胀填补空洞，通过面积筛选滤除面积过小的噪声部分，提取深度图分割区域最小外接矩形框，从而得到车辆矩形框R1。
(8)针对立体摄像机左侧彩色图像，利用CarNet检测模型得到车辆矩形框R2。
(9)根据CarNet检测模型得到的结果R2结合步骤(7)深度图分割的矩形框R1进行联合判断，得到的输出结果为车辆的矩形框Rf，其具体实现步骤包括：
(9.1)若步骤(7)与步骤(8)均检测到车辆，且检测到的两车矩形框重合率大于设定阈值，则判定两候选框为同一车，并取两个矩形框的交集为车辆最终检测框Rf；
(9.2)若步骤(7)与步骤(8)判定为车的矩形框重合率小于设定阈值，则认为检测结果不稳定，不进行进一步判断；
(9.3)若对同一车位步骤(7)中未检测到车辆，而步骤(8)中检测到车辆，则判定CarNet模型检测虚警；若对应车位在步骤(7)中检测到车辆，而步骤(8)中未检测到车辆，则判定为高大非车物体进入监控区域。
(10)通过车辆检测框与人工设定的车位区域占比判断车位占用状态，占比超过人工设定阈值则判断为车位被占用；针对某一划定车位，基于车辆的矩形框Rf与事先划定车位的面积重合比阈值Ta来判定车位占用情况，设实际面积重合比为β，当β≥Ta时，判断该车位被占用；若β≤Ta，则返回步骤(5)。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (6)
1.一种判定车位占用的实时检测方法，其特征在于，通过双目立体相机提取彩色图与深度图，利用深度图分割方法得到车辆矩形框，用设计的CarNet深度卷积神经网络进行车辆检测，再将融合深度图分割结果与彩色图中CarNet检测结果进行组合判断，最终确定选定车位是否被占用，其具体的实现步骤包括：
(1)将双目立体相机安放于监控车位正上方，相机角度竖直向下，相机俯视监控一个或者多个车位，保证需要监控的车位都在相机的视野中；
(2)收集车辆样本和非车辆样本，将所有样本全部进行归一化处理；
(3)设计适用于具体环境下的卷积神经网络CarNet，并以CarNet网络检测车辆；
(4)人工在双目立体摄像机左图像中标定车位区域，并依次标记车位号；
(5)利用双目立体摄像机获得左、右两幅彩色图像，通过计算视差得到深度图；
(6)人工设定深度阈值，提取高于地面人工设定高度的深度图区域；
(7)对分割得到的深度图区域用形态学腐蚀消除孤立像素点，用形态学膨胀填补空洞，通过面积筛选滤除面积过小的噪声部分，提取深度图分割区域最小外接矩形框，从而得到车辆矩形框R1；
(8)针对立体摄像机左侧彩色图像，利用CarNet检测模型得到车辆矩形框R2；
(9)根据CarNet检测模型得到的结果R2结合步骤(7)深度图分割的矩形框R1进行联合判断，得到的输出结果为车辆的矩形框Rf；
(10)通过车辆检测框与人工设定的车位区域占比判断车位占用状态，占比超过人工设定阈值则判断为车位被占用。
2.根据权利要求1所述的一种判定车位占用的实时检测方法，其特征在于：所述的步骤(2)中收集的车辆样本及非车辆样本适用于具体的环境场景，所有的样本使用归一化后的俯视图。
3.根据权利要求1所述的一种判定车位占用的实时检测方法，其特征在于，步骤(3)中所述的卷积神经网络CarNet检测模型中前4层卷积层为基础提取特征层，后3层卷积层组进行多尺度检测，其具体结构包括：
(3.1)第1层卷积层中，卷积核尺寸为11×11，步长为4，输出特征图通道数为16；第2层卷积层中，卷积核尺寸为3×3，步长为1，输出特征图通道数为20；第3层卷积层中，卷积核尺寸为3×3，步长为1，输出特征图通道数为30；第4层卷积层中，卷积核尺寸为3×3，步长为1，输出特征图通道数为48；
(3.2)前4层的卷基层中每层卷积层后都连接一个最大值池化层，池化层卷积核尺寸为3×3，步长为2，每个卷积层中的激活函数采用Leaky-ReLU函数
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mi>f</mi>
<mo>(</mo>
<mi>x</mi>
<mo>)</mo>
<mo>=</mo>
<mi>&alpha;</mi>
<mi>x</mi>
<mo>,</mo>
<mo>(</mo>
<mi>x</mi>
<mo><</mo>
<mn>0</mn>
<mo>)</mo>
</mtd>
</mtr>
<mtr>
<mtd>
<mi>f</mi>
<mo>(</mo>
<mi>x</mi>
<mo>)</mo>
<mo>=</mo>
<mi>x</mi>
<mo>,</mo>
<mo>(</mo>
<mi>x</mi>
<mo>&GreaterEqual;</mo>
<mn>0</mn>
<mo>)</mo>
</mtd>
</mtr>
</mtable>
</mfenced>
其中，α为一个小常数；
(3.3)在第4层卷积之后，添加3层特征图卷积层组，并在这3层卷积层组的输出特征图上进行多尺度回归检测；不同尺寸的特征图每个位置生成不同尺度的k个包围框，计算每个包围框属于车、背景两类的可能性，即得分值；同时计算相对于实际物体框的4个偏移值，通过Bounding Box回归用偏移值对这些包围框微调；
(3.4)添加的3层特征图卷积层组结构为：第5层卷积层组由2层组成，2层卷积核尺寸分别为3×3和1×1，步长都为1，输出特征图通道数都为96；第6层卷积层组也由2层组成，2层卷积核尺寸分别为1×1和3×3，步长分别为1和2，输出特征图通道数分别为24和48；第7层卷积层组也由2层卷积层组成，2层卷积核尺寸分别为1×1和3×3，步长分别为1和2，输出特征图通道数分别为24和48。
4.根据权利要求1所述的一种判定车位占用的实时检测方法，其特征在于：所述的步骤(6)中设定深度图阈值Td，提取高于地面人工设定高度的图像区域，当深度图中深度值dp≤Td，保留当前像素，当深度图中深度值dp≥Td，删除当前像素即设置为0。
5.根据权利要求1所述的一种判定车位占用的实时检测方法，其特征在于，步骤(9)中所述的利用深度图分割和CarNet检测模型进行结果判定的具体实现步骤包括：
(9.1)若步骤(7)与步骤(8)均检测到车辆，且检测到的两车矩形框重合率大于设定阈值，则判定两候选框为同一车，并取两个矩形框的交集为车辆最终检测框Rf；
(9.2)若步骤(7)与步骤(8)判定为车的矩形框重合率小于设定阈值，则认为检测结果不稳定，不进行进一步判断；
(9.3)若对同一车位步骤(7)中未检测到车辆，而步骤(8)中检测到车辆，则判定CarNet模型检测虚警；若对应车位在步骤(7)中检测到车辆，而步骤(8)中未检测到车辆，则判定为高大非车物体进入监控区域。
6.根据权利要求1所述的一种判定车位占用的实时检测方法，其特征在于：所述的步骤(10)中针对某一划定车位，基于车辆的矩形框Rf与事先划定车位的面积重合比阈值Ta来判定车位占用情况，设实际面积重合比为β，当β≥Ta时，判断该车位被占用；若β≤Ta，则返回步骤(5)。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710795417.5A CN107665603B (zh) | 2017-09-06 | 2017-09-06 | 一种判定车位占用的实时检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710795417.5A CN107665603B (zh) | 2017-09-06 | 2017-09-06 | 一种判定车位占用的实时检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107665603A true CN107665603A (zh) | 2018-02-06 |
| CN107665603B CN107665603B (zh) | 2020-06-16 |
Family
ID=61097316
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710795417.5A Active CN107665603B (zh) | 2017-09-06 | 2017-09-06 | 一种判定车位占用的实时检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107665603B (zh) |
Cited By (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108491828A (zh) * | 2018-04-20 | 2018-09-04 | 济南浪潮高新科技投资发展有限公司 | 一种基于层次的成对相似性PVAnet的停车位检测***及方法 |
| CN108847052A (zh) * | 2018-08-21 | 2018-11-20 | 北京深瞐科技有限公司 | 停车位置确定方法、装置、***及计算机可读介质 |
| CN109559545A (zh) * | 2018-11-09 | 2019-04-02 | 歌尔股份有限公司 | 一种车位共享方法、***和装置 |
| CN109631896A (zh) * | 2018-07-23 | 2019-04-16 | 同济大学 | 一种基于车辆视觉和运动信息的停车场自主泊车定位方法 |
| CN109726637A (zh) * | 2018-12-03 | 2019-05-07 | 初速度（苏州）科技有限公司 | 用弹性多边形表示停车位区域的停车位检测***及方法 |
| CN109741625A (zh) * | 2019-02-15 | 2019-05-10 | 江苏镭博智能科技有限公司 | 一种用于停车场的监拍识别设备及其监拍识别方法 |
| CN109817013A (zh) * | 2018-12-19 | 2019-05-28 | 新大陆数字技术股份有限公司 | 基于视频流的停车位状态识别方法及装置 |
| CN110135394A (zh) * | 2019-05-27 | 2019-08-16 | 杭州亚美利嘉科技有限公司 | 区域占用和车牌识别方法及装置 |
| CN110299028A (zh) * | 2019-07-31 | 2019-10-01 | 深圳市捷顺科技实业股份有限公司 | 一种停车越线检测的方法、装置、设备以及可读存储介质 |
| CN110322681A (zh) * | 2018-03-30 | 2019-10-11 | 杭州海康威视数字技术股份有限公司 | 检测车位状态的方法和装置 |
| CN110348297A (zh) * | 2019-05-31 | 2019-10-18 | 纵目科技（上海）股份有限公司 | 一种用于识别立体停车库的检测方法、***、终端和存储介质 |
| CN110490117A (zh) * | 2019-08-14 | 2019-11-22 | 智慧互通科技有限公司 | 一种基于图像深度信息的停车事件确定方法及*** |
| CN111079540A (zh) * | 2019-11-19 | 2020-04-28 | 北航航空航天产业研究院丹阳有限公司 | 一种基于目标特性的分层可重构车载视频目标检测方法 |
| CN111191546A (zh) * | 2019-12-20 | 2020-05-22 | 广西柳州联耕科技有限公司 | 基于机器视觉识别的产品智能装配方法 |
| CN111383457A (zh) * | 2018-12-30 | 2020-07-07 | 浙江宇视科技有限公司 | 车位状态检测方法及装置、设备及存储介质 |
| EP3690728A1 (en) * | 2019-01-31 | 2020-08-05 | StradVision, Inc. | Method and device for detecting parking area using semantic segmentation in automatic parking system |
| CN111554123A (zh) * | 2020-05-19 | 2020-08-18 | 北京爱笔科技有限公司 | 一种车位控制部件的控制方法及装置 |
| CN111932933A (zh) * | 2020-08-05 | 2020-11-13 | 杭州像素元科技有限公司 | 一种城市智能停车位检测方法、设备及可读存储介质 |
| CN112634650A (zh) * | 2020-12-18 | 2021-04-09 | 中标慧安信息技术股份有限公司 | 基于音视频监控的停车场管理方法和*** |
| CN112669377A (zh) * | 2019-10-15 | 2021-04-16 | 杭州海康威视数字技术股份有限公司 | 一种车位检测方法、装置、电子设备及存储介质 |
| CN113235998A (zh) * | 2021-05-18 | 2021-08-10 | 东风汽车集团股份有限公司 | 一种升降式液压立体停车库及其工作方法 |
| CN113762272A (zh) * | 2021-09-10 | 2021-12-07 | 北京精英路通科技有限公司 | 道路信息的确定方法、装置和电子设备 |
| CN113807209A (zh) * | 2021-08-30 | 2021-12-17 | 阿波罗智联(北京)科技有限公司 | 车位检测方法、装置、电子设备及存储介质 |
| CN114067598A (zh) * | 2020-07-30 | 2022-02-18 | 上汽通用汽车有限公司 | 确定空闲车位的方法、装置 |
| CN114179788A (zh) * | 2021-12-29 | 2022-03-15 | 纵目科技（上海）股份有限公司 | 自动泊车方法、***、计算机可读存储介质及车机端 |
| CN114255584A (zh) * | 2021-12-20 | 2022-03-29 | 济南博观智能科技有限公司 | 一种停放车辆的定位方法、***、存储介质和电子设备 |
| CN114694124A (zh) * | 2022-05-31 | 2022-07-01 | 成都国星宇航科技股份有限公司 | 一种车位状态检测方法、装置和存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101187984A (zh) * | 2007-12-05 | 2008-05-28 | 北京中星微电子有限公司 | 一种图像检测方法及装置 |
| CN105225482A (zh) * | 2015-09-02 | 2016-01-06 | 上海大学 | 基于双目立体视觉的车辆检测***和方法 |
| EP3147799A1 (en) * | 2015-09-22 | 2017-03-29 | Xerox Corporation | Similarity-based detection of prominent objects using deep cnn pooling layers as features |
| CN106650708A (zh) * | 2017-01-19 | 2017-05-10 | 南京航空航天大学 | 一种自动驾驶障碍物视觉检测方法与*** |
| CN107067813A (zh) * | 2017-06-14 | 2017-08-18 | 大连海事大学 | 一种基于图像处理和模式识别的车位引导方法和*** |
-
2017
- 2017-09-06 CN CN201710795417.5A patent/CN107665603B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101187984A (zh) * | 2007-12-05 | 2008-05-28 | 北京中星微电子有限公司 | 一种图像检测方法及装置 |
| CN105225482A (zh) * | 2015-09-02 | 2016-01-06 | 上海大学 | 基于双目立体视觉的车辆检测***和方法 |
| EP3147799A1 (en) * | 2015-09-22 | 2017-03-29 | Xerox Corporation | Similarity-based detection of prominent objects using deep cnn pooling layers as features |
| CN106650708A (zh) * | 2017-01-19 | 2017-05-10 | 南京航空航天大学 | 一种自动驾驶障碍物视觉检测方法与*** |
| CN107067813A (zh) * | 2017-06-14 | 2017-08-18 | 大连海事大学 | 一种基于图像处理和模式识别的车位引导方法和*** |
Cited By (37)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110322681A (zh) * | 2018-03-30 | 2019-10-11 | 杭州海康威视数字技术股份有限公司 | 检测车位状态的方法和装置 |
| CN110322681B (zh) * | 2018-03-30 | 2021-03-26 | 杭州海康威视数字技术股份有限公司 | 检测车位状态的方法和装置 |
| CN108491828A (zh) * | 2018-04-20 | 2018-09-04 | 济南浪潮高新科技投资发展有限公司 | 一种基于层次的成对相似性PVAnet的停车位检测***及方法 |
| CN109631896A (zh) * | 2018-07-23 | 2019-04-16 | 同济大学 | 一种基于车辆视觉和运动信息的停车场自主泊车定位方法 |
| CN108847052A (zh) * | 2018-08-21 | 2018-11-20 | 北京深瞐科技有限公司 | 停车位置确定方法、装置、***及计算机可读介质 |
| CN108847052B (zh) * | 2018-08-21 | 2020-06-05 | 北京深瞐科技有限公司 | 停车位置确定方法、装置、***及计算机可读介质 |
| CN109559545A (zh) * | 2018-11-09 | 2019-04-02 | 歌尔股份有限公司 | 一种车位共享方法、***和装置 |
| CN109726637A (zh) * | 2018-12-03 | 2019-05-07 | 初速度（苏州）科技有限公司 | 用弹性多边形表示停车位区域的停车位检测***及方法 |
| CN109817013A (zh) * | 2018-12-19 | 2019-05-28 | 新大陆数字技术股份有限公司 | 基于视频流的停车位状态识别方法及装置 |
| CN111383457A (zh) * | 2018-12-30 | 2020-07-07 | 浙江宇视科技有限公司 | 车位状态检测方法及装置、设备及存储介质 |
| CN111383457B (zh) * | 2018-12-30 | 2021-02-09 | 浙江宇视科技有限公司 | 车位状态检测方法及装置、设备及存储介质 |
| CN111507158A (zh) * | 2019-01-31 | 2020-08-07 | 斯特拉德视觉公司 | 利用语义分割检测停车区域的方法和装置 |
| US10796434B1 (en) | 2019-01-31 | 2020-10-06 | Stradvision, Inc | Method and device for detecting parking area using semantic segmentation in automatic parking system |
| CN111507158B (zh) * | 2019-01-31 | 2023-11-24 | 斯特拉德视觉公司 | 利用语义分割检测停车区域的方法和装置 |
| EP3690728A1 (en) * | 2019-01-31 | 2020-08-05 | StradVision, Inc. | Method and device for detecting parking area using semantic segmentation in automatic parking system |
| CN109741625A (zh) * | 2019-02-15 | 2019-05-10 | 江苏镭博智能科技有限公司 | 一种用于停车场的监拍识别设备及其监拍识别方法 |
| CN110135394A (zh) * | 2019-05-27 | 2019-08-16 | 杭州亚美利嘉科技有限公司 | 区域占用和车牌识别方法及装置 |
| CN110348297A (zh) * | 2019-05-31 | 2019-10-18 | 纵目科技（上海）股份有限公司 | 一种用于识别立体停车库的检测方法、***、终端和存储介质 |
| CN110348297B (zh) * | 2019-05-31 | 2023-12-26 | 纵目科技（上海）股份有限公司 | 一种用于识别立体停车库的检测方法、***、终端和存储介质 |
| CN110299028B (zh) * | 2019-07-31 | 2022-06-14 | 深圳市捷顺科技实业股份有限公司 | 一种停车越线检测的方法、装置、设备以及可读存储介质 |
| CN110299028A (zh) * | 2019-07-31 | 2019-10-01 | 深圳市捷顺科技实业股份有限公司 | 一种停车越线检测的方法、装置、设备以及可读存储介质 |
| CN110490117A (zh) * | 2019-08-14 | 2019-11-22 | 智慧互通科技有限公司 | 一种基于图像深度信息的停车事件确定方法及*** |
| CN112669377A (zh) * | 2019-10-15 | 2021-04-16 | 杭州海康威视数字技术股份有限公司 | 一种车位检测方法、装置、电子设备及存储介质 |
| CN112669377B (zh) * | 2019-10-15 | 2023-09-05 | 杭州海康威视数字技术股份有限公司 | 一种车位检测方法、装置、电子设备及存储介质 |
| CN111079540A (zh) * | 2019-11-19 | 2020-04-28 | 北航航空航天产业研究院丹阳有限公司 | 一种基于目标特性的分层可重构车载视频目标检测方法 |
| CN111191546A (zh) * | 2019-12-20 | 2020-05-22 | 广西柳州联耕科技有限公司 | 基于机器视觉识别的产品智能装配方法 |
| CN111554123A (zh) * | 2020-05-19 | 2020-08-18 | 北京爱笔科技有限公司 | 一种车位控制部件的控制方法及装置 |
| CN114067598A (zh) * | 2020-07-30 | 2022-02-18 | 上汽通用汽车有限公司 | 确定空闲车位的方法、装置 |
| CN111932933A (zh) * | 2020-08-05 | 2020-11-13 | 杭州像素元科技有限公司 | 一种城市智能停车位检测方法、设备及可读存储介质 |
| CN112634650A (zh) * | 2020-12-18 | 2021-04-09 | 中标慧安信息技术股份有限公司 | 基于音视频监控的停车场管理方法和*** |
| CN113235998A (zh) * | 2021-05-18 | 2021-08-10 | 东风汽车集团股份有限公司 | 一种升降式液压立体停车库及其工作方法 |
| CN113807209A (zh) * | 2021-08-30 | 2021-12-17 | 阿波罗智联(北京)科技有限公司 | 车位检测方法、装置、电子设备及存储介质 |
| CN113762272A (zh) * | 2021-09-10 | 2021-12-07 | 北京精英路通科技有限公司 | 道路信息的确定方法、装置和电子设备 |
| CN114255584A (zh) * | 2021-12-20 | 2022-03-29 | 济南博观智能科技有限公司 | 一种停放车辆的定位方法、***、存储介质和电子设备 |
| CN114179788A (zh) * | 2021-12-29 | 2022-03-15 | 纵目科技（上海）股份有限公司 | 自动泊车方法、***、计算机可读存储介质及车机端 |
| CN114179788B (zh) * | 2021-12-29 | 2024-07-12 | 纵目科技（上海）股份有限公司 | 自动泊车方法、***、计算机可读存储介质及车机端 |
| CN114694124A (zh) * | 2022-05-31 | 2022-07-01 | 成都国星宇航科技股份有限公司 | 一种车位状态检测方法、装置和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107665603B (zh) | 2020-06-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107665603A (zh) | 一种判定车位占用的实时检测方法 | |
| CN106373426B (zh) | 基于计算机视觉的停车位及违规占道停车监控方法 | |
| WO2022206974A1 (zh) | 一种基于路侧感知单元的静态和非静态物体点云识别方法 | |
| CN103985250B (zh) | 轻量级的全息道路交通状态视觉检测装置 | |
| CN110097109A (zh) | 一种基于深度学习的道路环境障碍物检测***及方法 | |
| CN108509954A (zh) | 一种实时交通场景的多车牌动态识别方法 | |
| CN109033950A (zh) | 基于多特征融合级联深度模型的车辆违停检测方法 | |
| CN102867417B (zh) | 一种出租车防伪***及方法 | |
| CN108491797A (zh) | 一种基于大数据的车辆图像精确检索方法 | |
| CN109637151A (zh) | 一种高速公路应急车道违章行驶的识别方法 | |
| CN105913685A (zh) | 一种基于视频监控的车位识别及智能引导方法 | |
| CN105118305B (zh) | 室外停车场出口车辆管理平台 | |
| CN106326893A (zh) | 一种基于区域辨别的车辆颜色识别方法 | |
| CN106127137A (zh) | 一种基于3d轨迹分析的目标检测识别算法 | |
| CN102663357A (zh) | 基于颜色特征的停车场车位检测算法 | |
| CN101807352A (zh) | 一种模糊模式识别的车位检测方法 | |
| CN102024148A (zh) | 一种出租车绿色标志识别方法 | |
| CN109993138A (zh) | 一种车牌检测与识别方法及装置 | |
| CN109935080A (zh) | 一种交通线路上的车流量实时计算的监测***及方法 | |
| CN103164958B (zh) | 车辆监控方法及*** | |
| CN109993163A (zh) | 一种基于人工智能的非标铭牌识别***及其识别方法 | |
| CN110490150A (zh) | 一种基于车辆检索的违章图片自动审核***及方法 | |
| CN109272482A (zh) | 一种基于序列图像的城市路口车辆排队检测*** | |
| CN110610153A (zh) | 一种用于自动驾驶的车道识别方法及*** | |
| CN107195182A (zh) | 一种动态高速治超检测*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |