CN115294774A - 基于深度学习的非机动车道路违停检测方法及装置 - Google Patents

基于深度学习的非机动车道路违停检测方法及装置 Download PDF

Info

Publication number
CN115294774A
CN115294774A CN202210695823.5A CN202210695823A CN115294774A CN 115294774 A CN115294774 A CN 115294774A CN 202210695823 A CN202210695823 A CN 202210695823A CN 115294774 A CN115294774 A CN 115294774A
Authority
CN
China
Prior art keywords
motor vehicle
image
detection
half part
target detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210695823.5A
Other languages
English (en)
Other versions
CN115294774B (zh
Inventor
许亦博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guilin University of Electronic Technology
Original Assignee
Guilin University of Electronic Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guilin University of Electronic Technology filed Critical Guilin University of Electronic Technology
Priority to CN202210695823.5A priority Critical patent/CN115294774B/zh
Publication of CN115294774A publication Critical patent/CN115294774A/zh
Application granted granted Critical
Publication of CN115294774B publication Critical patent/CN115294774B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于深度学习的非机动车道路违停检测方法和装置，使用深度学习目标检测算法寻找待测图像中非机动车的位置；使用语义分割模型将图像中的像素按照不同的类别设置标签，从而得到图像中属于不同类别标签的区域；并基于不同类别标签在待检测图像的上半和/或下半部分的占比判定是否存在违停行为。能够在任意采集的街景图像中检测是否存在非机动车违停行为，不依赖人工预先在图像中划定固定的违停区域，输入任意街景图像，来判断是否存在违停现象。基于待检测图像的上半部分的和下半部分不同类别的标签的占比的判定，提升违停案件的识别准确性。

Description

基于深度学习的非机动车道路违停检测方法及装置
技术领域
本发明涉及人工智能技术领域，具体涉及计算机视觉和深度学习技术领域，尤其涉及基于深度学习的非机动车道路违停检测方法及装置。
背景技术
随着我国经济的快速发展，人民生活水平不断得到改善，人们出行时使用的交通工具也呈现了多元化的趋势。越来越多的机动车和非机动车在人们日常出行中扮演着重要的角色，随之而来的拥堵也越来越频繁的出现在人们的日常生活中。除了非人为可控原因，例如车祸，道路维修等因素导致的拥堵外，现实生活中很大一部分拥堵是由于人为的乱停乱放导致的，如电动摩托车乱停乱放、共享单车的乱停乱放等都会给道路交通带来拥堵的风险。
由于人工检测耗时耗力，并且检查的效果受主观影响较大。人工检测具有实时性较差，连续性较弱，人工成本效率低，灵活性较差等缺点。具体来说，人工检测违停不仅比较耗时，并且和检测员的职业素养和工作的责任心有很大的关系。其次，人工检测无法做到非机动车违停的实时检测，也即无法在发现问题的同时及时解决问题。无论在人工检测环节设置多么严格的奖惩制度，在实施过程中总会出现疲劳导致的漏检、误判等，并且在现阶段人工检查环节，无法在恶劣天气和夜晚对所有待检测街道进行连续检测，导致该项工作在实施过程中连续性较弱。再者，由于人工检测需要派遣大量人员实时进行非机动车的违停检测，这不仅进一步增加了道路交通拥堵的可能，也使得雇佣人力资源的成本大大增加，不符合绿色经济发展的原则。最后，由于人工检测所搜集的信息无法快速汇总到一起，导致人工检测在整个非机动车违停检测工程中灵活性较差的缺点。
发明内容
现有的非机动车违停检测方法大都基于固定地点来检测非机动车是否有违停行为存在，为了能够在任意采集的街景图像中检测是否存在非机动车违停行为，本发明提出了一种基于有监督学习的非机动车违停检测方法和装置。相比于现有的检测方法，本发明能够不依赖人工预先在图像中划定固定的违停区域，输入任意街景图像，来判断是否存在违停现象。
为达到上述目的，本发明的技术方案是这样实现的，本发明公开了一种基于深度学习的非机动车道路违停检测方法，包括以下步骤：
使用深度学习目标检测算法寻找待测图像中非机动车的位置；
使用语义分割模型将图像中的像素按照不同的类别设置标签，从而得到图像中属于不同类别标签的区域；
基于不同类别标签在待检测图像的上半和/或下半部分的占比判定是否存在违停行为。
进一步的，所述使用深度学习目标检测算法寻找待测图像中非机动车的位置的步骤包括：
所述待测图像在输入端经过预处理得到处理后的图片；
所述处理后的图片被送入主干网络中进行多尺度特征提取；
提取得到的特征经过特征增强模块的处理进行多尺度特征融合得到多尺度目标检测结果。
进一步的，所述预处理步骤包括Mosiac数据增强技术、自适应锚框计算和图片缩放。
进一步的，所述语义分割模型为基于编码器-解码器结构的DeepLabv3plus模型。
进一步的，所述基于不同标签在待检测图像的上半和/或下半部分的占比判定是否存在违停行为的步骤包括：
在获取到非机动车检测框后，获取所述非机动车检测框上半部分中驾驶人像素标签与上半部分总像素标签的比例T；
如果T>T1，则判定非机动车处于驾驶状态，输出第一结果，其中T1为第一阈值；
如果T≤T1，获取所述非机动车检测框下半部分中车行道像素标签与下半部分总像素标签的比例T′；
如果T′>T2，则输出第二结果，其中T2为第二阈值；
如果T′≤T2，获取所述非机动车检测框下半部分中绿地像素标签与下半部分总像素标签的比例T″；
如果T″>T3，则输出第二结果，其中T3为第三阈值；
如果T″≤T3，则输出第一结果。
其中，若输出第一结果，则判定未检测到非机动车违停事件，若输出第二结果，则判定检测到非机动车违停事件。
进一步的，所述非机动车检测框上半部分和所述非机动车检测框下半部分基于所述非机动车检测框的50％像素高度划分。
进一步的，采用Pascal VOC2012数据集作为所述目标检测算法输出的目标检测模型的训练集；采用城市场景数据集Cityscapes作为所述语义分割模型的训练集。采用UMC城市管理数据集作为所述目标检测模型和所述语义分割模型的测试集。
进一步的，本发明还提供了一种基于深度学习的非机动道路违停检测装置，其特征在于，所述装置包括输入单元、目标检测单元、语义分割单元和判定单元；
所述输入单元用于获取任意采集的街景图像，并将该街景图像分别输入目标检测单元和语义分割单元，
所述目标检测单元用于通过目标检测网络对采集到的街景图像进行目标检测，获取该街景图像的目标检测结果，所述目标检测结果包括非机动车的目标位置；
所述语义分割单元用于通过语义分割网络对所述街景图像进行语义分割，从而得到图像中属于不同类别标签的区域；
所述判定单元用于基于不同类别标签在待检测图像的上半和/或下半部分的占比判定是否存在违停行为。
进一步的，本发明还提出了一种电子设备，包括存储器和处理器，所述处理器用于执行所述存储器中存储的目标检测模型和语义分割模型，以实现所述的非机动车道路违停检测方法。
进一步的，本发明还提出了一种计算机可读存储介质，其上存储有程序指令，所述程序指令被处理器执行时实现所述的非机动车道路违停检测方法。
相对于现有技术，本发明具有以下优点：
通过获取任意采集的街景图像，将所述街景图像输入到目标检测网络获取该街景图像的目标检测结果，所述目标检测结果包括非机动车的目标位置，通过所述语义分割模型对所述街景图像进行语义分割，从而得到图像中属于不同类别标签的区域，因此采用本发明所述的非机动车违停检测方法，能够在任意采集的街景图像中检测是否存在非机动车违停行为，相比于现有的检测方法，本发明能够不依赖人工预先在图像中划定固定的违停区域，输入任意街景图像，来判断是否存在违停现象。
同时通过使用深度学习目标检测算法寻找待测图像中非机动车的位置，并基于不同类别标签在待检测图像的上半和/或下半部分的占比判定是否存在违停行为。相对于将不同类别标签的总面积去进行对比，基于待检测图像的上半部分的和下半部分不同类别的标签的占比的判定，本发明提供的检测方法能够提升违停案件的识别准确性。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所指出的结构来实现和获得。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一实施例中的非机动车道路违停检测方法示意图；
图2为本发明一实施例中的非机动车道路违停检测方法示意图；
图3为本发明一实施例中的非机动车道路违停检测方法示意图；
图4为本发明提供的一种基于深度学习的非机动车道路违停检测装置的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地说明，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面将结合实施例对本发明的技术方案进行清楚、完整地描述。
除非特别说明，否则，本发明中的“第一”、“第二”等描述均用来区分不同的对象，并不用来表示大小或时序等含义，且不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明创造的描述中，除非另有说明，“多个”的含义是两个或两个以上。
本发明中的术语“和/或”，仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，单独存在B，和同时存在A和B这三种情况。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。
现有的非机动车违停检测方法大都基于固定地点来检测非机动车是否有违停行为存在，为了能够在任意采集的街景图像中检测是否存在非机动车违停行为，本发明提出了一种基于有监督学习的非机动车违停检测方法和装置。相比于现有的检测方法，本发明能够不依赖人工预先在图像中划定固定的违停区域，输入任意街景图像，来判断是否存在违停现象。
为达到上述目的，本发明的技术方案是这样实现的，如图1所示，图1为本发明一实施例中的非机动车道路违停检测方法示意图。本发明公开了一种基于深度学习的非机动车道路违停检测方法，包括以下步骤：
使用深度学习目标检测算法寻找待测图像中非机动车的位置；
使用语义分割模型将图像中的像素按照不同的类别设置标签，从而得到图像中属于不同类别标签的区域；
基于不同类别标签在待检测图像的上半和/或下半部分的占比判定是否存在违停行为。
通过获取任意采集的街景图像，将所述街景图像输入到目标检测网络获取该街景图像的目标检测结果，所述目标检测结果包括非机动车的目标位置，通过所述语义分割模型对所述街景图像进行语义分割，从而得到图像中属于不同类别标签的区域，因此采用本发明所述的非机动车违停检测方法，能够在任意采集的街景图像中检测是否存在非机动车违停行为，相比于现有的检测方法，本发明能够不依赖人工预先在图像中划定固定的违停区域，输入任意街景图像，来判断是否存在违停现象。
其中，在一些实施例中，如图2所示，图2为本发明一实施例中的非机动车道路违停检测方法示意图，使用深度学习目标检测算法寻找待测图像中非机动车的位置之前，还可以包括以下步骤：
基于目标检测算法的结果判定所述待测图像中是否存在非机动车，所述目标检测算法在所述待测图像中采样大量的区域，判断这些区域中是否包含有目标物，并调整区域边缘从而更准确的预测所述目标物的边界框。
如果包含目标物，则还需要进一步预测出物体所述的类别是否属于非机动车，在训练的过程中，模型通过学习不断地调整参数，最终能够判断出所述目标物的边界框所代表地候选区域是否包含非机动车，以及所述目标物的边界框相对于固定锚框需要调整的幅度，从而在固定锚框的基础上进行微调以形成能准确描述非机动车位置的检测框。
如图2所示，若从所述待测图像中无法获取到包含非机动车的检测框，则直接输出第一结果，所述第一结果判定为未检测到非机动车违停事件，若从所述待测图像中获取到至少一个包含非机动车的检测框，则进入图像语义分割步骤继续检测。进一步的，所述使用深度学习目标检测算法寻找待测图像中非机动车的位置的步骤包括：所述待测图像在输入端经过预处理得到处理后的图片；所述处理后的图片被送入主干网络中进行多尺度特征提取；为了实现非机动车违停检测流程中对非机动车目标的检测，选择使用深度学习目标检测模型对图像进行检测。目标检测模型一般分为一阶段和二阶段，为了提升检测速度，本发明选择使用检测速度较快的一阶段模型Yolov5。
Yolov5模型共有四种网络，分别是Yolov5s，Yolov5m，Yolov5l，Yolov5x。Yolov5s是其中一种网络，相比于其他三个网络，它的深度最小，卷积核数量也最小。因此在一实施例中使用的目标检测模型为Yolov5s模型。
Yolov5s由输入端、主干网络、Neck模块和预测模块等四个部分组成。图像在输入端经过Mosiac数据增强图像增强技术及自适应锚框计算和图片缩放后，被送入主干网络中进行多尺度特征提取，提取得到的特征经过Neck模块的处理进行多尺度特征融合后，输入到预测模块中，最终得到在多个尺度上的目标检测结果进一步的，为了实现对非机动车违停检测流程中对存在非机动车图像的语义分割，所述语义分割模型为基于编码器-解码器结构的DeepLabv3plus模型。DeepLabv3plus模型在多个数据集上都达到了SOTA的效果，在Cityscapes数据集上，其分割精度达到了79.46％。该模型基于编码器-解码器(Encoder-Decoder)结构。图像在输入它的编码器之后，首先经过主干网络模块来提取特征，该模块为经过改进的ResNet网络；之后提取出的特征被输入到带有空洞卷积的空间金字塔池化模块(ASPP)中，得到了不同尺度融合后的特征。解码器的输入为编码器的主干网络输出的低级特征和ASPP模块输出的融合后的高级特征，高级特征在经过上采样后，与低级特征拼接，随后进行卷积操作及上采样，得到最终的图像像素级预测语义分割结果。
目前非机动车违停行为主要包含4种类别，分别为：
1)非机动车在人行道上无序停放，指非机动车在人行道上不按规定停放的现象，包括在停车线外停放、压盲道停放或未按序停放等现象。
2)非机动车在车行道上无序停放，指在未经准许禁止停放车辆的车行道上停放非机动车辆。
3)在绿地违章停放，指在绿地内违章停放非机动车的现象。
4)在“门前三包”范围乱停非机动车，指在人行道边缘至第一排建筑物表面之间区域，非机动车未按规定停放在允许停放的位置的现象。
本发明主要针对第2和第3种非机动车违停行为进行检测，因此具体的，所述图像像素级预测语义分割结果包括多种像素语义标签，所述像素级语义标签至少包括：驾驶人像素标签、车行道像素标签、绿地像素标签、非机动车像素标签。
进一步的，如图3所示，图3为本发明一实施例中的非机动车道路违停检测方法示意图。所述基于不同标签在待检测图像的上半和/或下半部分的占比判定是否存在违停行为的步骤包括：
在获取到非机动车检测框后，获取所述非机动车检测框上半部分中驾驶人像素标签与上半部分总像素标签的比例T；
如果T>T1，则判定非机动车处于驾驶状态，输出第一结果，其中T1为第一阈值；
如果T≤T1，获取所述非机动车检测框下半部分中车行道像素标签与下半部分总像素标签的比例T′；
如果T′>T2，则输出第二结果，其中T2为第二阈值；
如果T′≤T2，获取所述非机动车检测框下半部分中绿地像素标签与下半部分总像素标签的比例T″；
如果T″>T3，则输出第二结果，其中T3为第三阈值；
如果T″≤T3，则输出第一结果。
其中，若输出第一结果，则判定未检测到非机动车违停事件，若输出第二结果，则判定检测到非机动车违停事件。
由于非机动车在行驶的过程中，驾驶者的上半身常常更容易获取以及被检测到，同时由于图像获取角度的原因，驾驶者的下半身容易被非机动车或者其他的遮挡物覆盖，不容易被获取到，因此如果考虑所述非机动车检测框中所有的驾驶人像素标签与总像素标签的占比，则容易产生较大的误差，导致检测的准确率下降，因此根据图3所示，本发明将检测框区域分为上半部分和下半部分，将所述非机动车检测框上半部分中驾驶人像素标签与上半部分总像素标签单独对比，能够使得所述检测方法能够尽可能减小驾驶者下半身被遮挡覆盖时，产生的检测误差，从而提高了识别所述非机动车上是否存在驾驶者的准确性。
同时基于相同的原理，获取所述非机动车检测框下半部分中车行道像素标签/绿地像素标签与下半部分总像素标签的比例，也能够使得车行道和绿地上的检测更为准确，在此不再赘述。
进一步的，所述非机动车检测框上半部分和所述非机动车检测框下半部分基于所述非机动车检测框的50％像素高度划分。这种50％的像素高度划分能够适应大部分的检测情况，同时减少对检测框内数据的处理，从而有效的降低工作量，提高工作效率。当然，进一步的，在***的处理能力得到保障的基础上，也可以根据实际车型，对不同的非机动车检测框进行不同比例的切分，以进一步的提高检测方法的准确性。
进一步的，采用Pascal VOC2012数据集作为所述目标检测算法输出的目标检测模型的训练集；采用城市场景数据集Cityscapes作为所述语义分割模型的训练集。采用UMC城市管理数据集作为所述目标检测模型和所述语义分割模型的测试集。
UMC数据集只进行了城管案件类别的标注，由于获取大量详细目标检测及语义分割标注较为困难，所以本发明使用数据集分布较为接近的Pascal VOC2012数据集作为街景图像非机动车目标检测的训练集，使用城市场景数据集Cityscapes作为街景图像语义分割的训练集。使用在Pascal VOC2012数据集上训练的目标检测模型得到图像中非机动车的具***置信息，使用在城市场景数据集Cityscapes上训练的语义分割模型得到图像的像素级语义信息。
在Pascal VOC2012数据集上训练Yolov5s模型，在训练阶段，设置批大小为16，初始化学习率为0.01，并且使用随机梯度下降的方法(stochastic gradient descent，SGD)优化模型参数，其中动量和权重衰减值分别设置为0.937和0.0005，一共被训练了300个周期。在Cityscapes数据集上训练DeepLabv3plus模型，本发明直接使用在Cityscapes数据集上训练好的模型，backbone选用ResNet101。在得到目标检测和语义分割模型后，在筛选后的UMC数据集上进行方法的测试，在实验中，设置T1＝T2＝T3＝0.2，最终检测并判断图像中非机动车违停类别的准确率为61.83％。
进一步的，本发明提供了一种基于深度学习的非机动车道路违停检测装置，如图4所示，图4为本发明提供了一种基于深度学习的非机动车道路违停检测装置的示意图。
所述装置100包括输入单元1、目标检测单元2、语义分割单元3和判定单元4；所述输入单元1用于获取任意采集的街景图像，并将该街景图像分别输入目标检测单元2和语义分割单元3，所述目标检测单元2用于通过目标检测网络对采集到的街景图像进行目标检测，获取该街景图像的目标检测结果，所述目标检测结果包括非机动车的目标位置；所述语义分割单元3用于通过语义分割网络对所述街景图像进行语义分割，从而得到图像中属于不同类别标签的区域；所述判定单元4用于基于不同类别标签在待检测图像的上半和/或下半部分的占比判定是否存在违停行为。
进一步的，本发明还提出了一种计算机可读存储介质，其上存储有程序指令，所述程序指令用于在处理器执行该程序指令时实现所述的非机动车道路违停检测方法。
本发明还提出了一种电子设备，包括存储器和处理器，所述处理器用于执行所述存储器中存储的程序指令，以实现所述的非机动车道路违停检测方法。
尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于深度学习的非机动车道路违停检测方法，其特征在于，包括：
使用深度学习目标检测算法寻找待测图像中非机动车的位置；
使用语义分割模型将图像中的像素按照不同的类别设置标签，从而得到图像中属于不同类别标签的区域；
基于不同类别标签在待检测图像的上半和/或下半部分的占比判定是否存在违停行为。
2.根据权利要求1所述的非机动车道路违停检测方法，其特征在于，所述使用深度学习目标检测算法寻找待测图像中非机动车的位置的步骤包括：
所述待测图像在输入端经过预处理得到处理后的图片；
所述处理后的图片被送入主干网络中进行多尺度特征提取；
提取得到的特征经过特征增强模块的处理进行多尺度特征融合得到多尺度目标检测结果。
3.根据权利要求2所述的非机动车道路违停检测方法，其特征在于，
所述预处理步骤包括Mosiac数据增强技术、自适应锚框计算和图片缩放。
4.根据权利要求1所述的非机动车道路违停检测方法，其特征在于，所述语义分割模型为基于编码器-解码器结构的DeepLabv3plus模型。
5.根据权利要求1所述的非机动车道路违停检测方法，其特征在于，所述基于不同标签在待检测图像的上半和/或下半部分的占比判定是否存在违停行为的步骤包括：
在获取到非机动车检测框后，获取所述非机动车检测框上半部分中驾驶人像素标签与上半部分总像素标签的比例T；
如果T>T1，则判定非机动车处于驾驶状态，输出第一结果，其中T1为第一阈值；
如果T≤T1，获取所述非机动车检测框下半部分中车行道像素标签与下半部分总像素标签的比例T′；
如果T′>T2，则输出第二结果，其中T2为第二阈值；
如果T′≤T2，获取所述非机动车检测框下半部分中绿地像素标签与下半部分总像素标签的比例T″；
如果T″>T3，则输出第二结果，其中T3为第三阈值；
如果T″≤T3，则输出第一结果。
6.根据权利要求5所述的非机动车道路违停检测方法，其特征在于：
所述非机动车检测框上半部分和所述非机动车检测框下半部分基于所述非机动车检测框的50％像素高度划分。
7.根据权利要求1所述的非机动车道路违停检测方法，其特征在于：
采用Pascal VOC2012数据集作为所述目标检测算法输出的目标检测模型的训练集；
采用城市场景数据集Cityscapes作为所述语义分割模型的训练集。
8.根据权利要求7所述的非机动车道路违停检测方法，其特征在于，
采用UMC城市管理数据集作为所述目标检测模型和所述语义分割模型的测试集。
9.一种基于深度学习的非机动道路违停检测装置，其特征在于，所述装置包括输入单元、目标检测单元、语义分割单元和判定单元；
所述输入单元用于获取任意采集的街景图像，并将该街景图像分别输入目标检测单元和语义分割单元，
所述目标检测单元用于通过目标检测网络对采集到的街景图像进行目标检测，获取该街景图像的目标检测结果，所述目标检测结果包括非机动车的目标位置；
所述语义分割单元用于通过语义分割网络对所述街景图像进行语义分割，从而得到图像中属于不同类别标签的区域；
所述判定单元用于基于不同类别标签在待检测图像的上半和/或下半部分的占比判定是否存在违停行为。
10.一种电子设备，其特征在于，包括存储器和处理器，所述处理器用于执行所述存储器中存储的目标检测模型和语义分割模型，以实现如权利要求1-8种任意一项所述的非机动车道路违停检测方法。
CN202210695823.5A 2022-06-20 2022-06-20 基于深度学习的非机动车道路违停检测方法及装置 Active CN115294774B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210695823.5A CN115294774B (zh) 2022-06-20 2022-06-20 基于深度学习的非机动车道路违停检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210695823.5A CN115294774B (zh) 2022-06-20 2022-06-20 基于深度学习的非机动车道路违停检测方法及装置

Publications (2)

Publication Number Publication Date
CN115294774A true CN115294774A (zh) 2022-11-04
CN115294774B CN115294774B (zh) 2023-12-29

Family

ID=83819872

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210695823.5A Active CN115294774B (zh) 2022-06-20 2022-06-20 基于深度学习的非机动车道路违停检测方法及装置

Country Status (1)

Country Link
CN (1) CN115294774B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116824859A (zh) * 2023-07-21 2023-09-29 佛山市新基建科技有限公司 一种基于物联网的智慧交通大数据分析***

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102592457A (zh) * 2012-02-13 2012-07-18 山东鼎讯智能交通科技有限公司 基于物联网技术的复合型区间测速***及方法
CN109993031A (zh) * 2017-12-29 2019-07-09 杭州海康威视数字技术股份有限公司 一种畜力车目标违章行驶行为检测方法、装置及相机
CN110826508A (zh) * 2019-11-12 2020-02-21 浙江工商大学 一种基于视频流的行人非机动车违章检测与跟踪方法
WO2020087743A1 (zh) * 2018-11-01 2020-05-07 深圳云天励飞技术有限公司 非机动车交通违法监管方法、装置及电子设备
CN111832461A (zh) * 2020-07-07 2020-10-27 浙江工商大学 一种基于视频流的非机动车骑行人员头盔佩戴检测方法
CN112270258A (zh) * 2020-10-27 2021-01-26 深圳英飞拓科技股份有限公司 一种非机动车的违规信息获取方法及装置
CN112508977A (zh) * 2020-12-29 2021-03-16 天津科技大学 一种面向自动驾驶场景的基于深度学习的语义分割方法
CN112651441A (zh) * 2020-12-25 2021-04-13 深圳市信义科技有限公司 细粒度非机动车特征检测方法、存储介质及计算机设备
CN112766069A (zh) * 2020-12-31 2021-05-07 广东电网有限责任公司 基于深度学习的车辆违停检测方法、装置及电子设备
CN113158966A (zh) * 2021-05-08 2021-07-23 浙江浩腾电子科技股份有限公司 基于深度学习的非机动车骑车带人行为识别的检测方法
CN113470080A (zh) * 2021-07-20 2021-10-01 浙江大华技术股份有限公司 一种违规行为识别方法
CN114092902A (zh) * 2020-07-29 2022-02-25 顺丰科技有限公司 电动自行车违规行为的检测方法及装置
CN114565812A (zh) * 2022-03-01 2022-05-31 北京地平线机器人技术研发有限公司 语义分割模型的训练方法、装置和图像的语义分割方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102592457A (zh) * 2012-02-13 2012-07-18 山东鼎讯智能交通科技有限公司 基于物联网技术的复合型区间测速***及方法
CN109993031A (zh) * 2017-12-29 2019-07-09 杭州海康威视数字技术股份有限公司 一种畜力车目标违章行驶行为检测方法、装置及相机
WO2020087743A1 (zh) * 2018-11-01 2020-05-07 深圳云天励飞技术有限公司 非机动车交通违法监管方法、装置及电子设备
CN110826508A (zh) * 2019-11-12 2020-02-21 浙江工商大学 一种基于视频流的行人非机动车违章检测与跟踪方法
CN111832461A (zh) * 2020-07-07 2020-10-27 浙江工商大学 一种基于视频流的非机动车骑行人员头盔佩戴检测方法
CN114092902A (zh) * 2020-07-29 2022-02-25 顺丰科技有限公司 电动自行车违规行为的检测方法及装置
CN112270258A (zh) * 2020-10-27 2021-01-26 深圳英飞拓科技股份有限公司 一种非机动车的违规信息获取方法及装置
CN112651441A (zh) * 2020-12-25 2021-04-13 深圳市信义科技有限公司 细粒度非机动车特征检测方法、存储介质及计算机设备
CN112508977A (zh) * 2020-12-29 2021-03-16 天津科技大学 一种面向自动驾驶场景的基于深度学习的语义分割方法
CN112766069A (zh) * 2020-12-31 2021-05-07 广东电网有限责任公司 基于深度学习的车辆违停检测方法、装置及电子设备
CN113158966A (zh) * 2021-05-08 2021-07-23 浙江浩腾电子科技股份有限公司 基于深度学习的非机动车骑车带人行为识别的检测方法
CN113470080A (zh) * 2021-07-20 2021-10-01 浙江大华技术股份有限公司 一种违规行为识别方法
CN114565812A (zh) * 2022-03-01 2022-05-31 北京地平线机器人技术研发有限公司 语义分割模型的训练方法、装置和图像的语义分割方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
RUKANG YAN 等: "Motion Mode Recognition for Trafic Safety in Campus Guiding Application", 《RACS ’20》, pages 155 - 160 *
赵逸如 等: "基于目标检测和语义分割的人行道违规停车检测", 《现代计算机》, no. 03, pages 82 - 88 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116824859A (zh) * 2023-07-21 2023-09-29 佛山市新基建科技有限公司 一种基于物联网的智慧交通大数据分析***
CN116824859B (zh) * 2023-07-21 2024-04-05 佛山市新基建科技有限公司 一种基于物联网的智慧交通大数据分析***

Also Published As

Publication number Publication date
CN115294774B (zh) 2023-12-29

Similar Documents

Publication Publication Date Title
CN111368687B (zh) 一种基于目标检测和语义分割的人行道车辆违停检测方法
CN109637151B (zh) 一种高速公路应急车道违章行驶的识别方法
CN106373426B (zh) 基于计算机视觉的停车位及违规占道停车监控方法
CN109190481B (zh) 一种遥感影像道路材质提取方法和***
CN109993138A (zh) 一种车牌检测与识别方法及装置
CN113011331B (zh) 机动车是否礼让行人的检测方法、装置、电子设备及介质
CN110717886A (zh) 复杂环境下基于机器视觉的路面坑塘检测方法
CN112381014A (zh) 一种基于城市道路的违停车辆检测及管理方法及***
CN112307989B (zh) 路面物体识别方法、装置、计算机设备和存储介质
CN112651293A (zh) 一种公路违法设摊事件视频检测方法
CN113903008A (zh) 基于深度学习和轨迹跟踪的匝道出口车辆违法识别方法
CN113450573A (zh) 基于无人机图像识别的交通监测方法和交通监测***
CN111488808A (zh) 基于交通违法图像数据的车道线检测方法
Guerrieri et al. Flexible and stone pavements distress detection and measurement by deep learning and low-cost detection devices
CN111524121A (zh) 一种基于机器视觉技术的路桥病害自动检测方法
CN116012815A (zh) 交通元素识别方法、多任务网络模型及训练方法和装置
CN115294774B (zh) 基于深度学习的非机动车道路违停检测方法及装置
CN117474870B (zh) 一种基于大数据筛选的公路路面裂缝识别决策方法及***
CN112785610B (zh) 一种融合低层特征的车道线语义分割方法
CN116229396B (zh) 高速路面病害识别及告警方法
CN110765900A (zh) 一种基于dssd的自动检测违章建筑方法及***
CN115965926A (zh) 一种车载式道路标志标线巡检***
CN115170783A (zh) 一种使用街景图像的快速公路路面裂缝检测方法
CN114332159A (zh) 一种基于目标追踪算法的行人违规翻越护栏的预警方法、***、装置以及存储介质
CN114648718A (zh) 道路占道检测方法、***、电子设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant