CN109993789A - 一种共享单车的违停判定方法、装置及相机 - Google Patents
一种共享单车的违停判定方法、装置及相机 Download PDFInfo
- Publication number
- CN109993789A CN109993789A CN201711484785.4A CN201711484785A CN109993789A CN 109993789 A CN109993789 A CN 109993789A CN 201711484785 A CN201711484785 A CN 201711484785A CN 109993789 A CN109993789 A CN 109993789A
- Authority
- CN
- China
- Prior art keywords
- target
- shared bicycle
- disobey
- separated
- current
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/20—Monitoring the location of vehicles belonging to a group, e.g. fleet of vehicles, countable or determined number of vehicles
- G08G1/205—Indicating the location of the monitored vehicles as destination, e.g. accidents, stolen, rental
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/20—Monitoring the location of vehicles belonging to a group, e.g. fleet of vehicles, countable or determined number of vehicles
- G08G1/207—Monitoring the location of vehicles belonging to a group, e.g. fleet of vehicles, countable or determined number of vehicles with respect to certain areas, e.g. forbidden or allowed areas with possible alerting when inside or outside boundaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例提供了一种共享单车的违停判定方法、装置及相机，其中，共享单车的违停判定方法包括：获取指定场景下的待检测图像，其中，指定场景中包括预先划分的共享单车违停区域；通过预先训练得到的深度学习模型，对待检测图像中共享单车所处区域进行定位，得到共享单车所处区域的位置信息；基于共享单车所处区域的位置信息，判断共享单车所处区域与共享单车违停区域的交叠面积是否大于或等于第一预设阈值；若是，则确定共享单车为违停的共享单车。通过本方案可以准确判断共享单车是否违停。
Description
技术领域
本发明涉及智能交通监控技术领域，特别是涉及一种共享单车的违停判定方法、装置及相机。
背景技术
共享单车采用移动互联网运营模式，凭借无桩借还、绿色节能、方便智能等特点迅速发展，为用户的出行提供了极大便利，在解决公交车、地铁等公共交通工具的“最后一公里”问题、及方便用户换乘公共交通工具中发挥了重要作用。共享单车的无桩借还在为用户带来停放便利的同时，也由于违停引发了占用公共区域的问题，用户违停共享单车，导致占用人行道、公交站台、盲道等公共区域的现象十分严重。然而，由于用户停放共享单车的随意性，传统依靠人力对共享单车进行管理，需要投入大量的人力成本，且无法从根本上解决违停的问题。
相应的解决共享单车违停的方法中，通过共享单车的GPS(Global PositioningSystem，全球定位***)信号对共享单车进行定位，如果共享单车位于可停车范围内，则确定该共享单车可以闭锁停放，如果共享单车不位于可停车范围内，则不允许该共享单车闭锁停放。这样，即实现了对停放共享单车的有效管理。
但是，由于GPS信号一般情况下均存在误差，误差往往少则几米多则几十米，尤其是在有遮挡的环境下，易导致共享单车定位错误的情况发生，影响对共享单车是否违停的判断。
发明内容
本发明实施例的目的在于提供一种共享单车的违停判定方法、装置及相机，以准确判断共享单车是否违停。
第一方面，本发明实施例提供了一种共享单车的违停判定方法，所述方法包括：
获取指定场景下的待检测图像，其中，所述指定场景中包括预先划分的共享单车违停区域；
通过预先训练得到的深度学习模型，对所述待检测图像中共享单车所处区域进行定位，得到所述共享单车所处区域的位置信息；
基于所述共享单车所处区域的位置信息，判断所述共享单车所处区域与所述共享单车违停区域的交叠面积是否大于或等于第一预设阈值；
若是，则确定所述共享单车为违停的共享单车。
可选的，在所述通过预先训练得到的深度学习模型，对所述待检测图像中共享单车所处区域进行定位，得到所述共享单车所处区域的位置信息之前，所述方法还包括：
针对不同的预设条件，获取多张包含有共享单车的图片样本；
标定各图片样本中的共享单车，得到各图片样本中共享单车的外接区域；
采用预设检测算法对各图片样本中的外接区域进行训练，得到目标检测模型；
利用逐像素标定方式，标定各图片样本中共享单车的轮廓区域；
采用预设分割算法对各图片样本中的轮廓区域进行训练，得到目标分割模型；
根据所述目标检测模型及所述目标分割模型，生成深度学习模型。
可选的，所述通过预先训练得到的深度学习模型，对所述待检测图像中共享单车所处区域进行定位，得到所述共享单车所处区域的位置信息，包括：
采用所述目标检测模型，对所述待检测图像中分散停放的共享单车进行检测定位，得到所述待检测图像中分散停放的各共享单车的外接区域的位置信息；
采用所述目标分割模型，对所述待检测图像中密集停放的多个共享单车组成的共享单车群进行分割定位，得到所述待检测图像中各共享单车群的轮廓区域的位置信息；
所述基于所述共享单车所处区域的位置信息，判断所述共享单车所处区域与所述共享单车违停区域的交叠面积是否大于或等于第一预设阈值，包括：
基于所述待检测图像中分散停放的各共享单车的外接区域的位置信息及所述待检测图像中各共享单车群的轮廓区域的位置信息，判断所述外接区域或者所述轮廓区域与所述共享单车违停区域的交叠面积是否大于或等于第一预设阈值。
可选的，所述采用所述目标分割模型，对所述待检测图像中密集停放的多个共享单车组成的共享单车群进行分割定位，得到所述待检测图像中各共享单车群的轮廓区域的位置信息，包括：
采用所述目标分割模型，基于共享单车所处区域，分割所述待检测图像，得到所述待检测图像对应的目标分割图；
利用形态学膨胀腐蚀方法，去除所述目标分割图中的噪声区域，得到至少一个去噪分割区域，其中，所述去噪分割区域中包括一个共享单车或者多个共享单车组成的共享单车群；
利用连通域处理算法，提取各去噪分割区域的轮廓区域，得到各轮廓区域的位置信息。
可选的，所述待检测图像为所述指定场景下拍摄视频中的当前帧；
在所述确定所述共享单车为违停的共享单车之后，所述方法还包括：
将所述违停的共享单车确定为所述当前帧中的当前违停目标；
将所述当前违停目标依次与前一帧中的各违停目标进行匹配；
若所述前一帧中存在与所述当前违停目标匹配的违停目标，则将所述前一帧中与所述当前违停目标匹配的违停目标的连续违停帧数加1，得到所述当前违停目标的连续违停帧数；
若所述前一帧中不存在与所述当前违停目标匹配的违停目标，则将所述当前违停目标依次与前一帧中各允许短暂消失违停目标进行匹配；
若所述前一帧中存在与所述当前违停目标匹配的允许短暂消失违停目标，则将所述前一帧中与所述当前违停目标匹配的允许短暂消失违停目标的连续违停帧数加1，得到所述当前违停目标的连续违停帧数；
若所述前一帧中不存在与所述当前违停目标匹配的允许短暂消失违停目标，则将所述当前违停目标的连续违停帧数设置为第一初始值；
判断所述当前违停目标的连续违停帧数是否等于第二预设阈值；
若是，则更新所述当前违停目标的属性为新违停目标，并上传报警信息。
可选的，若所述前一帧中存在与所述当前违停目标匹配的允许短暂消失违停目标，所述方法还包括：
将所述前一帧中允许短暂消失违停目标的剩余允许短暂消失帧数设置为第二初始值；
在所述将所述当前违停目标的连续违停帧数设置为第一初始值之后，所述方法还包括：
将所述前一帧中允许短暂消失违停目标的剩余允许短暂消失帧数减1，得到更新后的剩余允许短暂消失帧数；
若所述更新后的剩余允许短暂消失帧数小于第三预设阈值，则删除所述前一帧中允许短暂消失违停目标。
可选的，在所述若所述连续违停帧数等于所述第二预设阈值，则更新所述当前违停目标的属性为新违停目标，并上传报警信息之后，所述方法还包括：
针对属性为新违停目标的当前违停目标，若在所述当前帧之前所述第二预设阈值个视频帧的允许短暂消失违停目标中不存在所述当前违停目标，则将所述当前违停目标确定为允许短暂消失违停目标，并设置剩余允许短暂消失帧数为第二初始值。
第二方面，本发明实施例提供了一种共享单车的违停判定装置，所述装置包括：
第一获取模块，用于获取指定场景下的待检测图像，其中，所述指定场景中包括预先划分的共享单车违停区域；
定位模块，用于通过预先训练得到的深度学习模型，对所述待检测图像中共享单车所处区域进行定位，得到所述共享单车所处区域的位置信息；
第一判断模块，用于基于所述共享单车所处区域的位置信息，判断所述共享单车所处区域与所述共享单车违停区域的交叠面积是否大于或等于第一预设阈值；
第一确定模块，用于若所述第一判断模块的判断结果为是，则确定所述共享单车为违停的共享单车。
可选的，所述装置还包括：
第二获取模块，用于针对不同的预设条件，获取多张包含有共享单车的图片样本；
第一标定模块，用于标定各图片样本中的共享单车，得到各图片样本中共享单车的外接区域；
第一训练模块，用于采用预设检测算法对各图片样本中的外接区域进行训练，得到目标检测模型；
第二标定模块，用于利用逐像素标定方式，标定各图片样本中共享单车的轮廓区域；
第二训练模块，用于采用预设分割算法对各图片样本中的轮廓区域进行训练，得到目标分割模型；
生成模块，用于根据所述目标检测模型及所述目标分割模型，生成深度学习模型。
可选的，具体用于：
采用所述目标检测模型，对所述待检测图像中分散停放的共享单车进行检测定位，得到所述待检测图像中分散停放的各共享单车的外接区域的位置信息；
采用所述目标分割模型，对所述待检测图像中密集停放的多个共享单车组成的共享单车群进行分割定位，得到所述待检测图像中各共享单车群的轮廓区域的位置信息；
所述第一判断模块，具体用于：
基于所述待检测图像中分散停放的各共享单车的外接区域的位置信息及所述待检测图像中各共享单车群的轮廓区域的位置信息，判断所述外接区域或者所述轮廓区域与所述共享单车违停区域的交叠面积是否大于或等于第一预设阈值。
可选的，所述定位模块，具体还用于：
采用所述目标分割模型，基于共享单车所处区域，分割所述待检测图像，得到所述待检测图像对应的目标分割图；
利用形态学膨胀腐蚀方法，去除所述目标分割图中的噪声区域，得到至少一个去噪分割区域，其中，所述去噪分割区域中包括一个共享单车或者多个共享单车组成的共享单车群；
利用连通域处理算法，提取各去噪分割区域的轮廓区域，得到各轮廓区域的位置信息。
可选的，所述待检测图像为所述指定场景下拍摄视频中的当前帧；
所述装置还包括：
第二确定模块，用于将所述违停的共享单车确定为所述当前帧中的当前违停目标；
第一匹配模块，用于将所述当前违停目标依次与前一帧中的各违停目标进行匹配；
第一累加模块，用于若所述前一帧中存在与所述当前违停目标匹配的违停目标，则将所述前一帧中与所述当前违停目标匹配的违停目标的连续违停帧数加1，得到所述当前违停目标的连续违停帧数；
第二匹配模块，用于若所述前一帧中不存在与所述当前违停目标匹配的违停目标，则将所述当前违停目标依次与前一帧中各允许短暂消失违停目标进行匹配；
第二累加模块，用于若所述前一帧中存在与所述当前违停目标匹配的允许短暂消失违停目标，则将所述前一帧中与所述当前违停目标匹配的允许短暂消失违停目标的连续违停帧数加1，得到所述当前违停目标的连续违停帧数；
设置模块，用于若所述前一帧中不存在与所述当前违停目标匹配的允许短暂消失违停目标，则将所述当前违停目标的连续违停帧数设置为第一初始值；
第二判断模块，用于判断所述当前违停目标的连续违停帧数是否等于第二预设阈值；
更新模块，用于若所述第二判断模块的判断结果为是，则更新所述当前违停目标的属性为新违停目标，并上传报警信息。
可选的，所述设置模块，还用于：
将所述前一帧中允许短暂消失违停目标的剩余允许短暂消失帧数设置为第二初始值；
所述装置还包括：
递减模块，用于将所述前一帧中允许短暂消失违停目标的剩余允许短暂消失帧数减1，得到更新后的剩余允许短暂消失帧数；
删除模块，用于若所述更新后的剩余允许短暂消失帧数小于第三预设阈值，则删除所述前一帧中允许短暂消失违停目标。
可选的，所述装置还包括：
第三确定模块，用于针对属性为新违停目标的当前违停目标，若在所述当前帧之前所述第二预设阈值个视频帧的允许短暂消失违停目标中不存在所述当前违停目标，则将所述当前违停目标确定为允许短暂消失违停目标，并设置剩余允许短暂消失帧数为第二初始值。
第三方面，本发明实施例提供了一种相机，包括图像采集模块、处理器和存储器，其中，
所述图像采集模块，用于采集指定场景下的待检测图像；
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上所存放的程序时，实现如第一方面所述的方法步骤。
本发明实施例提供的一种共享单车的违停判定方法、装置及相机，通过预先训练得到的深度学习模型，对获取到的指定场景下的待检测图像中共享单车所处区域进行定位，得到共享单车所处区域的位置信息，基于该位置信息，通过判断若确定共享单车所处区域与共享单车违停区域的交叠面积大于或等于第一预设阈值，则确定共享单车为违停的共享单车。基于采集的待检测图像，利用深度学习模型，可以快速检测出待检测图像中共享单车所处区域的位置信息，由于预先划分了待检测图像中的共享单车违停区域，从而可以识别出违停的共享单车，利用深度学习模型可以更为精准的反映待检测图像中违停的共享单车的位置信息，进而保证了判断共享单车是否违停的准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一实施例的共享单车的违停判定方法的流程示意图；
图2为本发明另一实施例的共享单车的违停判定方法的流程示意图；
图3为本发明一实施例的共享单车的违停判定装置的结构示意图；
图4为本发明另一实施例的共享单车的违停判定装置的结构示意图；
图5为本发明又一实施例的共享单车的违停判定装置的结构示意图；
图6为本发明实施例的相机的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了准确判断共享单车是否违停，本发明实施例提供了一种共享单车的违停判定方法、装置及相机。
下面，首先对本发明实施例所提供的一种共享单车的违停判定方法进行介绍。
本发明实施例所提供的一种共享单车的违停判定方法的执行主体可以为执行智能算法的计算机设备，还可以为执行智能算法的监控设备，如相机，为了能够执行智能算法，执行主体中应该至少包括搭载有核心处理芯片的处理器。实现本发明实施例所提供的一种共享单车的违停判定方法的方式可以为设置于执行主体中的软件、硬件电路和逻辑电路中的至少一种方式。
如图1所示，本发明实施例所提供的一种共享单车的违停判定方法，可以包括如下步骤：
S101，获取指定场景下的待检测图像。
其中，指定场景中包括预先划分的共享单车违停区域。例如，指定场景可以为公交车站附近，为了保证公交车站的正常运作，需要设定公交车站20米以内为共享单车违停区域；又例如，指定场景可以为非机动车道，为了不影响盲人等残障人士行走，需要设定盲道为共享单车违停区域。待检测图像可以为用于对指定场景进行监控拍摄的相机(包括高清照相机、网络摄像机等)，则待检测图像可以为照相机拍摄的某一张图片，也可以为摄像机拍摄的视频中的某一帧。
对指定场景进行监控拍摄的相机的架设，一般要求将俯仰角(相机与共享单车的连线、与路面的夹角)限制为15度至60度。并且，由于本发明实施例适用于监控分散停放的共享单车及密集停放的共享单车，则针对分散停放的共享单车的情况，要求在成像图像上，分散停放的单个共享单车宽度为80至900个像素范围，针对密集停放的共享单车的情况，要求在成像图像上，密集停放的共享单车群区域面积大于200像素。当然，对于相机的架设，可以不限于上述要求，在不追求成像效果的前提下，只要能够拍摄到完整的共享单车即可。
S102，通过预先训练得到的深度学习模型，对待检测图像中共享单车所处区域进行定位，得到共享单车所处区域的位置信息。
深度学习模型为基于深度学习理论得到的用于对待检测图像中的共享单车进行定位的模型，深度学习模型可以包括：卷积神经网络、递归神经网络、自动编码器、深度置信网络等。深度学习模型可以包括目标检测定位的网络模型，也可以为目标分割定位的网络模型。
由于待检测图像中可能有分散停放的共享单车、也可能有密集停放的共享单车，为了提高对待检测图像中所有共享单车的准确定位，则可以利用目标检测的方法对分散停放的共享单车进行检测定位，利用目标分割的方法对密集停放的共享单车进行分割定位。因此，深度学习模型可以包括目标检测模型和目标分割模型，可以将待检测图像同时输入目标检测模型和目标分割模型中，得到分散停放的共享单车所处区域的位置信息以及密集停放的共享单车群所处区域的位置信息。
目标检测模型和目标分割模型为在进行共享单车定位之前预先训练得到的，目标检测模型和目标分割模型可以通过如下训练步骤得到：
第一步，针对不同的预设条件，获取多张包含有共享单车的图片样本。在进行模型训练之前，需要整理不同时间段、不同天气、不同架设、不同场景的图片样本，各图片样本中应至少包含共享单车，图片样本的数目越多，对共享单车的识别、定位的准确率越高，例如，可以整理大于20万张的图片样本。
第二步，标定各图片样本中的共享单车，得到各图片样本中共享单车的外接区域。由于要建立对共享单车进行检测的目标检测模型，因此，需要对图片样本中的共享单车进行标定，可以得到各共享单车的外接区域，外接区域可以为外接矩形区域、外接圆形区域、外接多边形区域等。除了标定共享单车以外，还可以标定行人、二轮车(包括电瓶车和摩托车)和三轮车等。标定可以采用人工标定、半监督或者无监督的方式，在此不作限定。
第三步，采用预设检测算法对各图片样本中的外接区域进行训练，得到目标检测模型。预设检测算法可以为基于候选区域的目标检测方法(例如RCNN、SPPNET、fastRCNN、fasterRCNN等)，预设检测算法也可以为回归方法的深度学习目标检测方法(例如YOLO)。利用预设检测算法对图片样本中的外接区域进行训练，即进行多次的迭代运算，在达到收敛后可以得到目标检测模型。
第四步，利用逐像素标定方式，标定各图片样本中共享单车的轮廓区域。目标分割所采用的是逐像素标定，标定获得的是图片样本中共享单车的轮廓区域。
第五步，采用预设分割算法对各图片样本中的轮廓区域进行训练，得到目标分割模型。图像分割是将图像分成若干具有特征一致性且互不重叠的图像区域的过程，通过图像分割，有选择性的定位目标对象在图像中的位置和范围，语义分割为图像分割中对每个像素点分类的方法。基于图像分割和语义分割的定义，可以采用FCN网络、SegNet网络、PSPNet网络等预设分割算法对图片样本中的轮廓区域进行训练，即进行多次的迭代运算，在达到收敛后可以得到目标分割模型。
采用目标检测模型，对待检测图像中分散停放的共享单车进行检测定位，得到待检测图像中分散停放的各共享单车的外接区域的位置信息。所得到的待检测图像中分散停放的各共享单车的外接区域的位置信息可以为所有共享单车的外接区域的位置信息的组成的队列。
在得到目标检测模型和目标分割模型之后，可以根据目标检测模型即目标分割模型，生成深度学习模型。
采用目标分割模型，对待检测图像中密集停放的多个共享单车组成的共享单车群进行分割定位，得到待检测图像中各共享单车群的轮廓区域的位置信息。具体的，目标分割模型对待检测图像中各共享单车群的轮廓区域的进行分割定位的方式，可以包括如下步骤：
采用目标分割模型，基于共享单车所处区域，分割待检测图像，得到待检测图像对应的目标分割图；
利用形态学膨胀腐蚀方法，去除目标分割图中的噪声区域，得到至少一个去噪分割区域，其中，去噪分割区域中包括一个共享单车或者多个共享单车组成的共享单车群；
利用连通域处理算法，提取各去噪分割区域的轮廓区域，得到各轮廓区域的位置信息。
在进行训练时图片样本的图片格式与待检测图像的图片格式需要统一，例如，若在进行训练时图片样本的图片格式为RGB，则在将待检测图像输入目标检测模型之前，需要将待检测图像的图片格式转换为RGB格式。在利用形态学膨胀腐蚀方法去除掉目标分割图中的噪声区域之后，通过连通区域提取的轮廓区域内部即为密集共享单车群区域，遍历确定该轮廓区域，即可得到共享单车群的位置信息。
S103，基于共享单车所处区域的位置信息，经判断，若共享单车所处区域与共享单车违停区域的交叠面积大于或等于第一预设阈值，则确定共享单车为违停的共享单车。
针对待检测图像(即包含有共享单车的一张图像)，可以遍历该待检测图像中所有共享单车所处区域，如果共享单车所处区域与共享单车违停区域的交叠面积大于或等于第一预设阈值，则确定共享单车为违停的共享单车。通过上述方式，可以确定待检测图像中所有违停的共享单车。第一预设阈值可以根据共享单车的实际面积确定，例如共享单车的实际面积为2平方米，可以将第一预设阈值设置为1平方米，即共享单车所处区域与共享单车违停区域的交叠面积大于或等于1平方米，则可以确定该共享单车为违停的共享单车。
针对上述目标检测模型和目标分割模型，判断共享单车所处区域与共享单车违停区域的交叠面积是否大于或等于第一预设阈值，可以包括：
基于待检测图像中分散停放的各共享单车的外接区域的位置信息及待检测图像中各共享单车群的轮廓区域的位置信息，判断外接区域或者轮廓区域与共享单车违停区域的交叠面积是否大于或等于第一预设阈值。
应用本实施例，通过预先训练得到的深度学习模型，对获取到的指定场景下的待检测图像中共享单车所处区域进行定位，得到共享单车所处区域的位置信息，基于该位置信息，通过判断若确定共享单车所处区域与共享单车违停区域的交叠面积大于或等于第一预设阈值，则确定共享单车为违停的共享单车。基于采集的待检测图像，利用深度学习模型，可以快速检测出待检测图像中共享单车所处区域的位置信息，由于预先划分了待检测图像中的共享单车违停区域，从而可以识别出违停的共享单车，利用深度学习模型可以更为精准的反映待检测图像中违停的共享单车的位置信息，进而保证了判断共享单车是否违停的准确性。利用训练得到的目标检测模型，针对分散停放的共享单车进行检测，对大部分违停共享单车有很高的检出率；利用训练得到的目标分割模型，针对密集停放的共享单车群进行分割定位，充分利用目标检测与目标分割的优势，对场景内各种共享单车实现了高效检出。
一般情况下，架设的为网络摄像机，则采集的是指定场景下的视频，由于视频中偶尔会出现共享单车被行人、小轿车等遮挡的现象，易引起判断错误，因此，需要结合前一帧的信息，分析当前帧的信息，进一步提高共享单车违停判定的准确性。基于图1所示实施例，本发明实施例提供了另一种共享单车的违停判定方法，如图2所示，该共享单车的违停判定方法可以包括如下步骤：
S201，获取指定场景下拍摄视频中的当前帧。
S202，通过预先训练得到的深度学习模型，对当前帧中共享单车所处区域进行定位，得到共享单车所处区域的位置信息。
S203，基于共享单车所处区域的位置信息，经判断，若共享单车所处区域与共享单车违停区域的交叠面积大于或等于第一预设阈值，则确定共享单车为当前帧中的当前违停目标。
S204，判断前一帧中是否存在与当前违停目标匹配的违停目标，是则执行S205，否则执行S206。
S205，将前一帧中与当前违停目标匹配的违停目标的连续违停帧数加1，得到当前违停目标的连续违停帧数，并执行S209。
在得到当前帧中的当前违停目标后，需要先从前一帧中匹配该当前违停目标，即从前一帧中的各违停目标中查找是否存在与当前违停目标匹配的违停目标，如果存在则说明已经有连续几帧出现了该违停目标，则可以对连续违停帧数进行累计，即帧数加1，当然还可以更新包括目标ID、位置信息等的违停信息，可以将目标ID更新为上一帧中与当前违停目标匹配的违停目标的ID，位置信息可以更新为当前违停目标的位置信息。匹配的过程可以是当前违停目标与上一帧中违停目标满足位置相同、大小相近的匹配条件。
S206，判断前一帧中是否存在与当前违停目标匹配的允许短暂消失违停目标，是则执行S207，否则执行S208。
S207，将前一帧中与当前违停目标匹配的允许短暂消失违停目标的连续违停帧数加1，得到当前违停目标的连续违停帧数，并执行S209。
如果前一帧中不存在与当前违停目标匹配的违停目标，说明该违停目标从来没有出现过，或者是之前出现过但是被其他物体遮挡住了的允许短暂消失违停目标，因此，如果前一帧中不存在与当前违停目标匹配的违停目标，则将当前违停目标依次与前一帧中各允许短暂消失违停目标进行匹配，即从前一帧中的各允许短暂消失违停目标中查找是否存在与当前违停目标匹配的允许短暂消失违停目标，如果存在则说明当前违停目标为在连续几帧中出现，只是在前一帧被遮挡，仍然需要对连续违停帧数进行累计，即帧数加1。当然还可以更新包括目标ID、位置信息等的违停信息，可以将目标ID更新为上一帧中与当前违停目标匹配的允许短暂消失违停目标的ID，位置信息可以更新为当前违停目标的位置信息。匹配的过程可以是当前违停目标与上一帧中允许短暂消失违停目标满足位置相同的匹配条件。
在统计连续违停帧数的同时，还可以执行：
将前一帧中允许短暂消失违停目标的剩余允许短暂消失帧数设置为第二初始值。
如果前一帧中存在与当前违停目标匹配的允许短暂消失违停目标，则说明短暂消失的违停目标已经重新出现在场景中，因此，可以将剩余允许短暂消失帧数进行重置，即将剩余允许短暂消失帧数设置为初始值，该初始值可以根据训练的图片样本确定。
S208，将当前违停目标的连续违停帧数设置为第一初始值。
如果前一帧中既不存在与当前违停目标匹配的违停目标，也不存在与当前违停目标匹配的允许短暂消失违停目标，则说明该当前违停目标为一个全新的违停目标，因此，可以将当前违停目标的连续违停帧数设置为第一初始值，该第一初始值通常情况下为1。
在S208的步骤之后，还可以包括：
第一步，将前一帧中允许短暂消失违停目标的剩余允许短暂消失帧数减1，得到更新后的剩余允许短暂消失帧数；
第二步，若更新后的剩余允许短暂消失帧数小于第三预设阈值，则删除前一帧中允许短暂消失违停目标。
如果前一帧中不存在与当前违停目标匹配的允许短暂消失违停目标，则说明已经消失的违停目标仍然未出现，需要将剩下允许短暂消失帧数作以减1的操作，减1后得到更新后的剩余允许短暂消失帧数；然后，若更新后的剩余允许短暂消失帧数小于第三预设阈值，则删除前一帧中允许短暂消失违停目标。通常，第三预设阈值可以设置为较小的数，例如1、2，如果一直没有出现消失了的允许短暂消失违停目标，则该目标已经移走的可能性较大，因此，可以将前一帧中允许短暂消失违停目标删除。
S209，如果当前违停目标的连续违停帧数等于第二预设阈值，则更新当前违停目标的属性为新违停目标，并上传报警信息。
由于共享单车可能只是被人推着路过了违停区域，实际并非为违停的共享单车，因此，只有当连续违停帧数达到第二预设阈值时，才能确定该当前违停目标为新违停目标，并上传报警信息；如果连续违停帧数未达到第二预设阈值，则只能将该当前违停目标确定为嫌疑违停目标，还需要继续进行后续的判断才能确定；如果连续违停帧数超过第二预设阈值，由于在确定为新违停目标时已经上传了报警信息，则可以将该当前违停目标确定为已上报违停目标。报警信息中可以包括所有新违停目标、目标ID及位置信息等，通过上传报警信息可以告知服务器下发禁止闭锁停车的指令，或者由服务器告知管理人员对违停共享单车进行管理。如果当前帧中没有任何目标的属性为新违停目标，则可以不进行任何操作。第二预设阈值的设置可以根据相机的拍摄帧率和设定的停车时间确定，例如，如果共享单车在一个位置的停驻时间达到5s则认为该共享单车处于停车状态，而相机的拍摄帧率为每秒20帧，则第二预设阈值可以设置为100帧。
针对新违停目标，由于之前一定数目的视频帧中未该新违停目标，则该新违停目标可能为允许短暂消失违停目标，则需要判断是否为允许短暂消失违停目标，因此，在更新当前违停目标的属性为新违停目标之后，还可以包括：
针对属性为新违停目标的当前违停目标，若在当前帧之前的第二预设阈值个视频帧的允许短暂消失违停目标中不存在当前违停目标，则将当前违停目标确定为允许短暂消失违停目标，并设置剩余允许短暂消失帧数为第二初始值。
应用本实施例，通过预先训练得到的深度学习模型，对获取到的指定场景下的待检测图像中共享单车所处区域进行定位，得到共享单车所处区域的位置信息，基于该位置信息，通过判断若确定共享单车所处区域与共享单车违停区域的交叠面积大于或等于第一预设阈值，则确定共享单车为违停的共享单车。基于采集的待检测图像，利用深度学习模型，可以快速检测出待检测图像中共享单车所处区域的位置信息，由于预先划分了待检测图像中的共享单车违停区域，从而可以识别出违停的共享单车，利用深度学习模型可以更为精准的反映待检测图像中违停的共享单车的位置信息，进而保证了判断共享单车是否违停的准确性。利用多帧统计信息，具有能提高检出、排除误触发、防止重复报警等优点。
相应于上述方法实施例，本发明实施例提供了一种共享单车的违停判定装置，如图3所示，该共享单车的违停判断装置可以包括：
第一获取模块310，用于获取指定场景下的待检测图像，其中，所述指定场景中包括预先划分的共享单车违停区域；
定位模块320，用于通过预先训练得到的深度学习模型，对所述待检测图像中共享单车所处区域进行定位，得到所述共享单车所处区域的位置信息；
第一判断模块330，用于基于所述共享单车所处区域的位置信息，判断所述共享单车所处区域与所述共享单车违停区域的交叠面积是否大于或等于第一预设阈值；
第一确定模块340，用于若所述第一判断模块330的判断结果为是，则确定所述共享单车为违停的共享单车。
应用本实施例，通过预先训练得到的深度学习模型，对获取到的指定场景下的待检测图像中共享单车所处区域进行定位，得到共享单车所处区域的位置信息，基于该位置信息，通过判断若确定共享单车所处区域与共享单车违停区域的交叠面积大于或等于第一预设阈值，则确定共享单车为违停的共享单车。基于采集的待检测图像，利用深度学习模型，可以快速检测出待检测图像中共享单车所处区域的位置信息，由于预先划分了待检测图像中的共享单车违停区域，从而可以识别出违停的共享单车，利用深度学习模型可以更为精准的反映待检测图像中违停的共享单车的位置信息，进而保证了判断共享单车是否违停的准确性。
基于图3所示实施例，本发明实施例还提供了另一种共享单车的违停判定装置，如图4所示，该共享单车的违停判定装置可以包括：
第一获取模块410，用于获取指定场景下的待检测图像，其中，所述指定场景中包括预先划分的共享单车违停区域；
第二获取模块420，用于针对不同的预设条件，获取多张包含有共享单车的图片样本；
第一标定模块430，用于标定各图片样本中的共享单车，得到各图片样本中共享单车的外接区域；
第一训练模块440，用于采用预设检测算法对各图片样本中的外接区域进行训练，得到目标检测模型；
第二标定模块450，用于利用逐像素标定方式，标定各图片样本中共享单车的轮廓区域；
第二训练模块460，用于采用预设分割算法对各图片样本中的轮廓区域进行训练，得到目标分割模型；
生成模块470，用于根据所述目标检测模型及所述目标分割模型，生成深度学习模型；
定位模块480，用于采用所述目标检测模型，对所述待检测图像中分散停放的共享单车进行检测定位，得到所述待检测图像中分散停放的各共享单车的外接区域的位置信息；采用所述目标分割模型，对所述待检测图像中密集停放的多个共享单车组成的共享单车群进行分割定位，得到所述待检测图像中各共享单车群的轮廓区域的位置信息；
第一判断模块490，用于基于所述待检测图像中分散停放的各共享单车的外接区域的位置信息及所述待检测图像中各共享单车群的轮廓区域的位置信息，判断所述外接区域或者所述轮廓区域与所述共享单车违停区域的交叠面积是否大于或等于第一预设阈值；
第一确定模块4110，用于若所述第一判断模块490的判断结果为是，则确定所述共享单车为违停的共享单车。
可选的，所述定位模块480，具体还可以用于：
采用所述目标分割模型，基于共享单车所处区域，分割所述待检测图像，得到所述待检测图像对应的目标分割图；
利用形态学膨胀腐蚀方法，去除所述目标分割图中的噪声区域，得到至少一个去噪分割区域，其中，所述去噪分割区域中包括一个共享单车或者多个共享单车组成的共享单车群；
利用连通域处理算法，提取各去噪分割区域的轮廓区域，得到各轮廓区域的位置信息。
应用本实施例，通过预先训练得到的深度学习模型，对获取到的指定场景下的待检测图像中共享单车所处区域进行定位，得到共享单车所处区域的位置信息，基于该位置信息，通过判断若确定共享单车所处区域与共享单车违停区域的交叠面积大于或等于第一预设阈值，则确定共享单车为违停的共享单车。基于采集的待检测图像，利用深度学习模型，可以快速检测出待检测图像中共享单车所处区域的位置信息，由于预先划分了待检测图像中的共享单车违停区域，从而可以识别出违停的共享单车，利用深度学习模型可以更为精准的反映待检测图像中违停的共享单车的位置信息，进而保证了判断共享单车是否违停的准确性。利用训练得到的目标检测模型，针对分散停放的共享单车进行检测，对大部分违停共享单车有很高的检出率；利用训练得到的目标分割模型，针对密集停放的共享单车群进行分割定位，充分利用目标检测与目标分割的优势，对场景内各种共享单车实现了高效检出。
本发明实施例还提供了一种共享单车的违停判定装置，如图5所示，该共享单车的违停判定装置可以包括：
第一获取模块510，用于获取指定场景下的待检测图像，其中，所述指定场景中包括预先划分的共享单车违停区域；所述待检测图像为所述指定场景下拍摄视频中的当前帧；
定位模块520，用于通过预先训练得到的深度学习模型，对所述待检测图像中共享单车所处区域进行定位，得到所述共享单车所处区域的位置信息；
第一判断模块530，用于基于所述共享单车所处区域的位置信息，判断所述共享单车所处区域与所述共享单车违停区域的交叠面积是否大于或等于第一预设阈值；
第一确定模块540，用于若所述第一判断模块530的判断结果为是，则确定所述共享单车为违停的共享单车。
第二确定模块550，用于将所述违停的共享单车确定为所述当前帧中的当前违停目标；
第一匹配模块560，用于将所述当前违停目标依次与前一帧中的各违停目标进行匹配；
第一累加模块570，用于若所述前一帧中存在与所述当前违停目标匹配的违停目标，则将所述前一帧中与所述当前违停目标匹配的违停目标的连续违停帧数加1，得到所述当前违停目标的连续违停帧数；
第二匹配模块580，用于若所述前一帧中不存在与所述当前违停目标匹配的违停目标，则将所述当前违停目标依次与前一帧中各允许短暂消失违停目标进行匹配；
第二累加模块590，用于若所述前一帧中存在与所述当前违停目标匹配的允许短暂消失违停目标，则将所述前一帧中与所述当前违停目标匹配的允许短暂消失违停目标的连续违停帧数加1，得到所述当前违停目标的连续违停帧数；
设置模块5110，用于若所述前一帧中不存在与所述当前违停目标匹配的允许短暂消失违停目标，则将所述当前违停目标的连续违停帧数设置为第一初始值；
第二判断模块5120，用于判断所述当前违停目标的连续违停帧数是否等于第二预设阈值；
更新模块5130，用于若所述第二判断模块的判断结果为是，则更新所述当前违停目标的属性为新违停目标，并上传报警信息。
可选的，所述设置模块5110，还可以用于：
将所述前一帧中允许短暂消失违停目标的剩余允许短暂消失帧数设置为第二初始值；
所述装置还可以包括：
递减模块，用于将所述前一帧中允许短暂消失违停目标的剩余允许短暂消失帧数减1，得到更新后的剩余允许短暂消失帧数；
删除模块，用于若所述更新后的剩余允许短暂消失帧数小于第三预设阈值，则删除所述前一帧中允许短暂消失违停目标。
可选的，所述装置还包括：
第三确定模块，用于针对属性为新违停目标的当前违停目标，若在所述当前帧之前所述第二预设阈值个视频帧的允许短暂消失违停目标中不存在所述当前违停目标，则将所述当前违停目标确定为允许短暂消失违停目标，并设置剩余允许短暂消失帧数为第二初始值。
应用本实施例，通过预先训练得到的深度学习模型，对获取到的指定场景下的待检测图像中共享单车所处区域进行定位，得到共享单车所处区域的位置信息，基于该位置信息，通过判断若确定共享单车所处区域与共享单车违停区域的交叠面积大于或等于第一预设阈值，则确定共享单车为违停的共享单车。基于采集的待检测图像，利用深度学习模型，可以快速检测出待检测图像中共享单车所处区域的位置信息，由于预先划分了待检测图像中的共享单车违停区域，从而可以识别出违停的共享单车，利用深度学习模型可以更为精准的反映待检测图像中违停的共享单车的位置信息，进而保证了判断共享单车是否违停的准确性。利用多帧统计信息，具有能提高检出、排除误触发、防止重复报警等优点。
为了准确判断共享单车是否违停，本发明实施例还提供了一种相机，如图6所示，包括图像采集模块601、处理器602和存储器603，其中，
所述图像采集模块601，用于采集指定场景下的待检测图像；
所述存储器603，用于存放计算机程序；
所述处理器602，用于执行所述存储器603上所存放的程序时，实现上述共享单车的违停判定方法的所有步骤。
图像采集模块可以包括可见光摄像头、红外光摄像头、双光融合的摄像头、鱼眼摄像头等等，在此不作限定。
上述存储器可以包括RAM(Random Access Memory，随机存取存储器)，也可以包括NVM(Non-volatile Memory，非易失性存储器)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述处理器可以是通用处理器，包括CPU(Central Processing Unit，中央处理器)、NP(Network Processor，网络处理器)等；还可以是DSP(Digital Signal Processor，数字信号处理器)、ASIC(Application Specific Integrated Circuit，专用集成电路)、FPGA(Field-Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本实施例中，该相机的处理器通过读取存储器中存储的计算机程序，并通过运行该计算机程序，能够实现：基于采集的待检测图像，利用深度学习模型，可以快速检测出待检测图像中共享单车所处区域的位置信息，由于预先划分了待检测图像中的共享单车违停区域，从而可以识别出违停的共享单车，利用深度学习模型可以更为精准的反映待检测图像中违停的共享单车的位置信息，进而保证了判断共享单车是否违停的准确性。
另外，相应于上述实施例所提供的共享单车的违停判定方法，本发明实施例提供了一种存储介质，用于存储计算机程序，所述计算机程序被处理器执行时，实现上述共享单车的违停判定方法的所有步骤。
本实施例中，存储介质存储有在运行时执行本发明实施例所提供的共享单车的违停判定方法的应用程序，因此能够实现：基于采集的待检测图像，利用深度学习模型，可以快速检测出待检测图像中共享单车所处区域的位置信息，由于预先划分了待检测图像中的共享单车违停区域，从而可以识别出违停的共享单车，利用深度学习模型可以更为精准的反映待检测图像中违停的共享单车的位置信息，进而保证了判断共享单车是否违停的准确性。
对于相机以及存储介质实施例而言，由于其所涉及的方法内容基本相似于前述的方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置及相机实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。
Claims (15)
1.一种共享单车的违停判定方法，其特征在于，所述方法包括：
获取指定场景下的待检测图像，其中，所述指定场景中包括预先划分的共享单车违停区域；
通过预先训练得到的深度学习模型，对所述待检测图像中共享单车所处区域进行定位，得到所述共享单车所处区域的位置信息；
基于所述共享单车所处区域的位置信息，判断所述共享单车所处区域与所述共享单车违停区域的交叠面积是否大于或等于第一预设阈值；
若是，则确定所述共享单车为违停的共享单车。
2.根据权利要求1所述的方法，其特征在于，在所述通过预先训练得到的深度学习模型，对所述待检测图像中共享单车所处区域进行定位，得到所述共享单车所处区域的位置信息之前，所述方法还包括：
针对不同的预设条件，获取多张包含有共享单车的图片样本；
标定各图片样本中的共享单车，得到各图片样本中共享单车的外接区域；
采用预设检测算法对各图片样本中的外接区域进行训练，得到目标检测模型；
利用逐像素标定方式，标定各图片样本中共享单车的轮廓区域；
采用预设分割算法对各图片样本中的轮廓区域进行训练，得到目标分割模型；
根据所述目标检测模型及所述目标分割模型，生成深度学习模型。
3.根据权利要求2所述的方法，其特征在于，所述通过预先训练得到的深度学习模型，对所述待检测图像中共享单车所处区域进行定位，得到所述共享单车所处区域的位置信息，包括：
采用所述目标检测模型，对所述待检测图像中分散停放的共享单车进行检测定位，得到所述待检测图像中分散停放的各共享单车的外接区域的位置信息；
采用所述目标分割模型，对所述待检测图像中密集停放的多个共享单车组成的共享单车群进行分割定位，得到所述待检测图像中各共享单车群的轮廓区域的位置信息；
所述基于所述共享单车所处区域的位置信息，判断所述共享单车所处区域与所述共享单车违停区域的交叠面积是否大于或等于第一预设阈值，包括：
基于所述待检测图像中分散停放的各共享单车的外接区域的位置信息及所述待检测图像中各共享单车群的轮廓区域的位置信息，判断所述外接区域或者所述轮廓区域与所述共享单车违停区域的交叠面积是否大于或等于第一预设阈值。
4.根据权利要求3所述的方法，其特征在于，所述采用所述目标分割模型，对所述待检测图像中密集停放的多个共享单车组成的共享单车群进行分割定位，得到所述待检测图像中各共享单车群的轮廓区域的位置信息，包括：
采用所述目标分割模型，基于共享单车所处区域，分割所述待检测图像，得到所述待检测图像对应的目标分割图；
利用形态学膨胀腐蚀方法，去除所述目标分割图中的噪声区域，得到至少一个去噪分割区域，其中，所述去噪分割区域中包括一个共享单车或者多个共享单车组成的共享单车群；
利用连通域处理算法，提取各去噪分割区域的轮廓区域，得到各轮廓区域的位置信息。
5.根据权利要求1所述的方法，其特征在于，所述待检测图像为所述指定场景下拍摄视频中的当前帧；
在所述确定所述共享单车为违停的共享单车之后，所述方法还包括：
将所述违停的共享单车确定为所述当前帧中的当前违停目标；
将所述当前违停目标依次与前一帧中的各违停目标进行匹配；
若所述前一帧中存在与所述当前违停目标匹配的违停目标，则将所述前一帧中与所述当前违停目标匹配的违停目标的连续违停帧数加1，得到所述当前违停目标的连续违停帧数；
若所述前一帧中不存在与所述当前违停目标匹配的违停目标，则将所述当前违停目标依次与前一帧中各允许短暂消失违停目标进行匹配；
若所述前一帧中存在与所述当前违停目标匹配的允许短暂消失违停目标，则将所述前一帧中与所述当前违停目标匹配的允许短暂消失违停目标的连续违停帧数加1，得到所述当前违停目标的连续违停帧数；
若所述前一帧中不存在与所述当前违停目标匹配的允许短暂消失违停目标，则将所述当前违停目标的连续违停帧数设置为第一初始值；
判断所述当前违停目标的连续违停帧数是否等于第二预设阈值；
若是，则更新所述当前违停目标的属性为新违停目标，并上传报警信息。
6.根据权利要求5所述的方法，其特征在于，若所述前一帧中存在与所述当前违停目标匹配的允许短暂消失违停目标，所述方法还包括：
将所述前一帧中允许短暂消失违停目标的剩余允许短暂消失帧数设置为第二初始值；
在所述将所述当前违停目标的连续违停帧数设置为第一初始值之后，所述方法还包括：
将所述前一帧中允许短暂消失违停目标的剩余允许短暂消失帧数减1，得到更新后的剩余允许短暂消失帧数；
若所述更新后的剩余允许短暂消失帧数小于第三预设阈值，则删除所述前一帧中允许短暂消失违停目标。
7.根据权利要求5或6所述的方法，其特征在于，在所述若所述连续违停帧数等于所述第二预设阈值，则更新所述当前违停目标的属性为新违停目标，并上传报警信息之后，所述方法还包括：
针对属性为新违停目标的当前违停目标，若在所述当前帧之前所述第二预设阈值个视频帧的允许短暂消失违停目标中不存在所述当前违停目标，则将所述当前违停目标确定为允许短暂消失违停目标，并设置剩余允许短暂消失帧数为第二初始值。
8.一种共享单车的违停判定装置，其特征在于，所述装置包括：
第一获取模块，用于获取指定场景下的待检测图像，其中，所述指定场景中包括预先划分的共享单车违停区域；
定位模块，用于通过预先训练得到的深度学习模型，对所述待检测图像中共享单车所处区域进行定位，得到所述共享单车所处区域的位置信息；
第一判断模块，用于基于所述共享单车所处区域的位置信息，判断所述共享单车所处区域与所述共享单车违停区域的交叠面积是否大于或等于第一预设阈值；
第一确定模块，用于若所述第一判断模块的判断结果为是，则确定所述共享单车为违停的共享单车。
9.根据权利要求8所述的装置，其特征在于，所述装置还包括：
第二获取模块，用于针对不同的预设条件，获取多张包含有共享单车的图片样本；
第一标定模块，用于标定各图片样本中的共享单车，得到各图片样本中共享单车的外接区域；
第一训练模块，用于采用预设检测算法对各图片样本中的外接区域进行训练，得到目标检测模型；
第二标定模块，用于利用逐像素标定方式，标定各图片样本中共享单车的轮廓区域；
第二训练模块，用于采用预设分割算法对各图片样本中的轮廓区域进行训练，得到目标分割模型；
生成模块，用于根据所述目标检测模型及所述目标分割模型，生成深度学习模型。
10.根据权利要求9所述的装置，其特征在于，所述定位模块，具体用于：
采用所述目标检测模型，对所述待检测图像中分散停放的共享单车进行检测定位，得到所述待检测图像中分散停放的各共享单车的外接区域的位置信息；
采用所述目标分割模型，对所述待检测图像中密集停放的多个共享单车组成的共享单车群进行分割定位，得到所述待检测图像中各共享单车群的轮廓区域的位置信息；
所述第一判断模块，具体用于：
基于所述待检测图像中分散停放的各共享单车的外接区域的位置信息及所述待检测图像中各共享单车群的轮廓区域的位置信息，判断所述外接区域或者所述轮廓区域与所述共享单车违停区域的交叠面积是否大于或等于第一预设阈值。
11.根据权利要求10所述的装置，其特征在于，所述定位模块，具体还用于：
采用所述目标分割模型，基于共享单车所处区域，分割所述待检测图像，得到所述待检测图像对应的目标分割图；
利用形态学膨胀腐蚀方法，去除所述目标分割图中的噪声区域，得到至少一个去噪分割区域，其中，所述去噪分割区域中包括一个共享单车或者多个共享单车组成的共享单车群；
利用连通域处理算法，提取各去噪分割区域的轮廓区域，得到各轮廓区域的位置信息。
12.根据权利要求8所述的装置，其特征在于，所述待检测图像为所述指定场景下拍摄视频中的当前帧；
所述装置还包括：
第二确定模块，用于将所述违停的共享单车确定为所述当前帧中的当前违停目标；
第一匹配模块，用于将所述当前违停目标依次与前一帧中的各违停目标进行匹配；
第一累加模块，用于若所述前一帧中存在与所述当前违停目标匹配的违停目标，则将所述前一帧中与所述当前违停目标匹配的违停目标的连续违停帧数加1，得到所述当前违停目标的连续违停帧数；
第二匹配模块，用于若所述前一帧中不存在与所述当前违停目标匹配的违停目标，则将所述当前违停目标依次与前一帧中各允许短暂消失违停目标进行匹配；
第二累加模块，用于若所述前一帧中存在与所述当前违停目标匹配的允许短暂消失违停目标，则将所述前一帧中与所述当前违停目标匹配的允许短暂消失违停目标的连续违停帧数加1，得到所述当前违停目标的连续违停帧数；
设置模块，用于若所述前一帧中不存在与所述当前违停目标匹配的允许短暂消失违停目标，则将所述当前违停目标的连续违停帧数设置为第一初始值；
第二判断模块，用于判断所述当前违停目标的连续违停帧数是否等于第二预设阈值；
更新模块，用于若所述第二判断模块的判断结果为是，则更新所述当前违停目标的属性为新违停目标，并上传报警信息。
13.根据权利要求12所述的装置，其特征在于，所述设置模块，还用于：
将所述前一帧中允许短暂消失违停目标的剩余允许短暂消失帧数设置为第二初始值；
所述装置还包括：
递减模块，用于将所述前一帧中允许短暂消失违停目标的剩余允许短暂消失帧数减1，得到更新后的剩余允许短暂消失帧数；
删除模块，用于若所述更新后的剩余允许短暂消失帧数小于第三预设阈值，则删除所述前一帧中允许短暂消失违停目标。
14.根据权利要求12或13所述的装置，其特征在于，所述装置还包括：
第三确定模块，用于针对属性为新违停目标的当前违停目标，若在所述当前帧之前所述第二预设阈值个视频帧的允许短暂消失违停目标中不存在所述当前违停目标，则将所述当前违停目标确定为允许短暂消失违停目标，并设置剩余允许短暂消失帧数为第二初始值。
15.一种相机，其特征在于，包括图像采集模块、处理器和存储器，其中，
所述图像采集模块，用于采集指定场景下的待检测图像；
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上所存放的程序时，实现权利要求1-7任一所述的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711484785.4A CN109993789B (zh) | 2017-12-29 | 2017-12-29 | 一种共享单车的违停判定方法、装置及相机 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711484785.4A CN109993789B (zh) | 2017-12-29 | 2017-12-29 | 一种共享单车的违停判定方法、装置及相机 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109993789A true CN109993789A (zh) | 2019-07-09 |
| CN109993789B CN109993789B (zh) | 2021-05-25 |
Family
ID=67110353
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711484785.4A Active CN109993789B (zh) | 2017-12-29 | 2017-12-29 | 一种共享单车的违停判定方法、装置及相机 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109993789B (zh) |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110490127A (zh) * | 2019-08-15 | 2019-11-22 | 北京致行慕远科技有限公司 | 位置合规识别方法及装置、存储介质、电子装置 |
| CN110490066A (zh) * | 2019-07-11 | 2019-11-22 | 平安科技（深圳）有限公司 | 基于图片分析的目标检测方法、装置及计算机设备 |
| CN110659606A (zh) * | 2019-09-23 | 2020-01-07 | 重庆商勤科技有限公司 | 消防通道占用识别方法、装置、计算机设备及存储介质 |
| CN110705404A (zh) * | 2019-09-20 | 2020-01-17 | 北京文安智能技术股份有限公司 | 一种检测共享单车乱放的方法、装置及*** |
| CN111127943A (zh) * | 2019-12-26 | 2020-05-08 | 苏州麦途信息技术有限公司 | 一种电动车违规禁停管理*** |
| CN111311923A (zh) * | 2020-03-05 | 2020-06-19 | 浙江长元科技有限公司 | 一种消防通道的监管方法及监管*** |
| CN111368687A (zh) * | 2020-02-28 | 2020-07-03 | 成都市微泊科技有限公司 | 一种基于目标检测和语义分割的人行道车辆违停检测方法 |
| CN111681424A (zh) * | 2020-06-06 | 2020-09-18 | 浙江长元科技有限公司 | 一种消防车通道被违停占用事件的处理方法 |
| CN111784444A (zh) * | 2020-06-09 | 2020-10-16 | 深圳市金溢科技股份有限公司 | 共享单车管理方法和*** |
| WO2021003823A1 (zh) * | 2019-07-11 | 2021-01-14 | 平安科技（深圳）有限公司 | 基于视频帧图片分析的车辆违停检测方法及装置 |
| CN112417926A (zh) * | 2019-08-22 | 2021-02-26 | 广州汽车集团股份有限公司 | 车位识别方法、装置、计算机设备及可读存储介质 |
| CN112699823A (zh) * | 2021-01-05 | 2021-04-23 | 浙江得图网络有限公司 | 一种用于共享电动车的定点还车方法 |
| CN112966572A (zh) * | 2021-02-19 | 2021-06-15 | 合肥海赛信息科技有限公司 | 一种基于视频分析的非机动车违停智能检测方法 |
| CN113158989A (zh) * | 2021-05-19 | 2021-07-23 | 北京骑胜科技有限公司 | 两轮车辆违停检测方法、装置、电子设备和可读存储介质 |
| CN113989305A (zh) * | 2021-12-27 | 2022-01-28 | 城云科技（中国）有限公司 | 目标语义分割方法及应用其的街道目标异常检测方法 |
| CN114494924A (zh) * | 2022-02-17 | 2022-05-13 | 江苏云舟通信科技有限公司 | 可视化目标信息鉴定平台 |
| CN114724107A (zh) * | 2022-03-21 | 2022-07-08 | 北京卓视智通科技有限责任公司 | 一种图像检测方法、装置、设备及介质 |
| CN115082903A (zh) * | 2022-08-24 | 2022-09-20 | 深圳市万物云科技有限公司 | 非机动车违停识别方法、装置、计算机设备及存储介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104392205A (zh) * | 2014-10-24 | 2015-03-04 | 浙江力石科技股份有限公司 | 一种非正常车牌的识别方法和*** |
| CN104834886A (zh) * | 2014-02-11 | 2015-08-12 | 浙江大华技术股份有限公司 | 一种视频图像检测方法及装置 |
| CN106250874A (zh) * | 2016-08-16 | 2016-12-21 | 东方网力科技股份有限公司 | 一种服饰及随身物品的识别方法和装置 |
| CN106897742A (zh) * | 2017-02-21 | 2017-06-27 | 北京市商汤科技开发有限公司 | 用于检测视频中物体的方法、装置和电子设备 |
| CN106935035A (zh) * | 2017-04-07 | 2017-07-07 | 西安电子科技大学 | 基于ssd神经网络的违章停车车辆实时检测方法 |
| CN107038448A (zh) * | 2017-03-01 | 2017-08-11 | 中国科学院自动化研究所 | 目标检测模型构建方法 |
| CN107067015A (zh) * | 2016-10-27 | 2017-08-18 | 武汉烽火众智数字技术有限责任公司 | 一种基于多特征深度学习的车辆检测方法及装置 |
| CN107491753A (zh) * | 2017-08-16 | 2017-12-19 | 电子科技大学 | 一种基于背景建模的违章停车检测方法 |
-
2017
- 2017-12-29 CN CN201711484785.4A patent/CN109993789B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104834886A (zh) * | 2014-02-11 | 2015-08-12 | 浙江大华技术股份有限公司 | 一种视频图像检测方法及装置 |
| CN104392205A (zh) * | 2014-10-24 | 2015-03-04 | 浙江力石科技股份有限公司 | 一种非正常车牌的识别方法和*** |
| CN106250874A (zh) * | 2016-08-16 | 2016-12-21 | 东方网力科技股份有限公司 | 一种服饰及随身物品的识别方法和装置 |
| CN107067015A (zh) * | 2016-10-27 | 2017-08-18 | 武汉烽火众智数字技术有限责任公司 | 一种基于多特征深度学习的车辆检测方法及装置 |
| CN106897742A (zh) * | 2017-02-21 | 2017-06-27 | 北京市商汤科技开发有限公司 | 用于检测视频中物体的方法、装置和电子设备 |
| CN107038448A (zh) * | 2017-03-01 | 2017-08-11 | 中国科学院自动化研究所 | 目标检测模型构建方法 |
| CN106935035A (zh) * | 2017-04-07 | 2017-07-07 | 西安电子科技大学 | 基于ssd神经网络的违章停车车辆实时检测方法 |
| CN107491753A (zh) * | 2017-08-16 | 2017-12-19 | 电子科技大学 | 一种基于背景建模的违章停车检测方法 |
Non-Patent Citations (4)
| Title |
|---|
| 丁乐乐: "基于深度学习和强化学习的车辆定位与识别", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
| 张飞云: "基于深度学习的车辆定位及车型识别研究", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》 * |
| 王健: "基于目标跟踪的交通违停事件检测的研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
| 穆长江: "车辆牌照自动识别的算法研究", 《中国优秀博硕士学位论文全文数据库 (硕士) 信息科技辑》 * |
Cited By (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110490066A (zh) * | 2019-07-11 | 2019-11-22 | 平安科技（深圳）有限公司 | 基于图片分析的目标检测方法、装置及计算机设备 |
| CN110490066B (zh) * | 2019-07-11 | 2024-05-14 | 平安科技（深圳）有限公司 | 基于图片分析的目标检测方法、装置及计算机设备 |
| WO2021003823A1 (zh) * | 2019-07-11 | 2021-01-14 | 平安科技（深圳）有限公司 | 基于视频帧图片分析的车辆违停检测方法及装置 |
| CN110490127A (zh) * | 2019-08-15 | 2019-11-22 | 北京致行慕远科技有限公司 | 位置合规识别方法及装置、存储介质、电子装置 |
| CN112417926A (zh) * | 2019-08-22 | 2021-02-26 | 广州汽车集团股份有限公司 | 车位识别方法、装置、计算机设备及可读存储介质 |
| CN112417926B (zh) * | 2019-08-22 | 2024-02-27 | 广州汽车集团股份有限公司 | 车位识别方法、装置、计算机设备及可读存储介质 |
| CN110705404A (zh) * | 2019-09-20 | 2020-01-17 | 北京文安智能技术股份有限公司 | 一种检测共享单车乱放的方法、装置及*** |
| CN110659606A (zh) * | 2019-09-23 | 2020-01-07 | 重庆商勤科技有限公司 | 消防通道占用识别方法、装置、计算机设备及存储介质 |
| CN111127943A (zh) * | 2019-12-26 | 2020-05-08 | 苏州麦途信息技术有限公司 | 一种电动车违规禁停管理*** |
| CN111368687A (zh) * | 2020-02-28 | 2020-07-03 | 成都市微泊科技有限公司 | 一种基于目标检测和语义分割的人行道车辆违停检测方法 |
| CN111311923A (zh) * | 2020-03-05 | 2020-06-19 | 浙江长元科技有限公司 | 一种消防通道的监管方法及监管*** |
| CN111681424A (zh) * | 2020-06-06 | 2020-09-18 | 浙江长元科技有限公司 | 一种消防车通道被违停占用事件的处理方法 |
| CN111784444A (zh) * | 2020-06-09 | 2020-10-16 | 深圳市金溢科技股份有限公司 | 共享单车管理方法和*** |
| CN112699823A (zh) * | 2021-01-05 | 2021-04-23 | 浙江得图网络有限公司 | 一种用于共享电动车的定点还车方法 |
| CN112966572A (zh) * | 2021-02-19 | 2021-06-15 | 合肥海赛信息科技有限公司 | 一种基于视频分析的非机动车违停智能检测方法 |
| CN113158989A (zh) * | 2021-05-19 | 2021-07-23 | 北京骑胜科技有限公司 | 两轮车辆违停检测方法、装置、电子设备和可读存储介质 |
| CN113989305A (zh) * | 2021-12-27 | 2022-01-28 | 城云科技（中国）有限公司 | 目标语义分割方法及应用其的街道目标异常检测方法 |
| CN114494924A (zh) * | 2022-02-17 | 2022-05-13 | 江苏云舟通信科技有限公司 | 可视化目标信息鉴定平台 |
| CN114724107A (zh) * | 2022-03-21 | 2022-07-08 | 北京卓视智通科技有限责任公司 | 一种图像检测方法、装置、设备及介质 |
| CN114724107B (zh) * | 2022-03-21 | 2023-09-01 | 北京卓视智通科技有限责任公司 | 一种图像检测方法、装置、设备及介质 |
| CN115082903A (zh) * | 2022-08-24 | 2022-09-20 | 深圳市万物云科技有限公司 | 非机动车违停识别方法、装置、计算机设备及存储介质 |
| CN115082903B (zh) * | 2022-08-24 | 2022-11-11 | 深圳市万物云科技有限公司 | 非机动车违停识别方法、装置、计算机设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109993789B (zh) | 2021-05-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109993789A (zh) | 一种共享单车的违停判定方法、装置及相机 | |
| CN103366374B (zh) | 基于图像匹配的消防通道障碍物检测方法 | |
| CN103069434B (zh) | 用于多模式视频事件索引的方法和*** | |
| WO2021170030A1 (zh) | 一种用于目标追踪的方法、设备及*** | |
| KR102122859B1 (ko) | 교통 영상감시시스템의 멀티 표적 추적 방법 | |
| CN105913685A (zh) | 一种基于视频监控的车位识别及智能引导方法 | |
| CN110796819B (zh) | 一种针对站台黄线入侵越界人员的检测方法及*** | |
| CN106971544B (zh) | 一种直接利用静态图像来检测车辆拥堵的方法 | |
| CN109033950A (zh) | 基于多特征融合级联深度模型的车辆违停检测方法 | |
| CN110276254B (zh) | 基于无人机的禁止摆摊区域摊贩自动识别预警方法 | |
| CN106778655A (zh) | 一种基于人体骨架的入口尾随进入检测方法 | |
| CN110659546B (zh) | 一种违法摊位检测方法及装置 | |
| CN107590834A (zh) | 一种道路交通事件视频检测方法及*** | |
| CN105046966A (zh) | 即停即离区域的违章停车行为自动检测***和方法 | |
| CN112084892B (zh) | 一种道路异常事件检测管理装置及其方法 | |
| CN110012268A (zh) | 管网ai智能监控方法、***、可读存储介质和设备 | |
| CN106385561A (zh) | 一种公共场所视频监控平台 | |
| CN112776856A (zh) | 轨道异物侵限监测方法、装置、***及监控主机设备 | |
| CN105608464A (zh) | 人脸识别移动终端解决***及解决方法 | |
| CN113420674A (zh) | 基于点云数据的森林档案模型构建方法、装置及存储介质 | |
| Yoon et al. | An intelligent automatic early detection system of forest fire smoke signatures using Gaussian mixture model | |
| CN114494983A (zh) | 一种铁路异物入侵监测方法及*** | |
| CN114170569A (zh) | 一种路面异常情况监测方法、***、存储介质及设备 | |
| CN112733598A (zh) | 车辆违法判别方法、装置、计算机设备和存储介质 | |
| CN114359830A (zh) | 图像检测方法、设备及计算机存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |