CN112633228A - 停车检测方法、装置、设备及存储介质 - Google Patents
停车检测方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN112633228A CN112633228A CN202011625736.XA CN202011625736A CN112633228A CN 112633228 A CN112633228 A CN 112633228A CN 202011625736 A CN202011625736 A CN 202011625736A CN 112633228 A CN112633228 A CN 112633228A
- Authority
- CN
- China
- Prior art keywords
- parking
- vehicle
- abnormal
- area
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 342
- 230000002159 abnormal effect Effects 0.000 claims abstract description 379
- 230000003068 static effect Effects 0.000 claims abstract description 188
- 238000000034 method Methods 0.000 claims abstract description 96
- 238000012545 processing Methods 0.000 claims description 57
- 238000010606 normalization Methods 0.000 claims description 52
- 238000004590 computer program Methods 0.000 claims description 9
- 230000001186 cumulative effect Effects 0.000 claims description 5
- 239000011159 matrix material Substances 0.000 description 30
- 230000008569 process Effects 0.000 description 30
- 238000004422 calculation algorithm Methods 0.000 description 21
- 238000004458 analytical method Methods 0.000 description 10
- 230000006399 behavior Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 229910003460 diamond Inorganic materials 0.000 description 5
- 239000010432 diamond Substances 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000005856 abnormality Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000036961 partial effect Effects 0.000 description 3
- 241000283070 Equus zebra Species 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 238000012417 linear regression Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000011895 specific detection Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请公开了一种停车检测方法、装置、设备及存储介质,其中,所述方法包括:利用待检测图像流中的当前帧,更新当前空间的静态图;其中,所述静态图至少包括当前空间内的静止车辆;基于所述静态图,对当前空间各区域的静止车辆进行检测,得到检测结果;基于所述检测结果,更新所述各区域的停车状态信息;基于所述各区域的停车状态信息,确定异常停车事件。这样,由于当前空间的静态图是不断利用待检测图像流中的当前帧更新的,因而对静止车辆进行检测时可以更加准确地检测到当前空间的静止车辆,有效排除动态车辆。并且,由于利用各区域的停车状态信息确定异常停车事件,只依赖对静止车辆的检测,具备更强的泛化性和鲁棒性。
Description
技术领域
本申请涉及但不限于计算机视觉技术领域,尤其涉及一种停车检测方法、装置、设备及存储介质。
背景技术
交通事件的异常检测在城市安全管理中起着重要的作用,及时地发现异常交通事件能够大大降低交通事故发生概率。目前的大多数的交通事件还依赖于人工检查,随着越来越多的交通摄像机被用来记录道路信息,对高效、通用、自动的异常停车检测方法的研究就变得很重要。
然而目前的解决方案在模型的泛化能力、***稳定性等方面仍然存在不足。
发明内容
有鉴于此,本申请实施例提供一种停车检测方法、装置、设备及存储介质。
本申请实施例的技术方案是这样实现的:
第一方面,本申请实施例提供一种停车检测方法,所述方法包括:
利用待检测图像流中的当前帧,更新当前空间的静态图;其中,所述静态图至少包括当前空间内的静止车辆;
基于所述静态图,对当前空间各区域的静止车辆进行检测,得到检测结果;
基于所述检测结果,更新所述各区域的停车状态信息;
基于所述各区域的停车状态信息,确定异常停车事件。
在一些实施例中,所述利用待检测图像流中的当前帧,更新当前空间的静态图,包括:采用预设的叠加权重,对静态图和所述当前帧进行叠加,得到叠加后的图像;其中,所述静态图的权重值大于所述当前帧的权重值;将所述叠加后的图像更新为新的静态图。
在一些实施例中,所述基于所述静态图,对当前空间各区域的静止车辆进行检测,得到检测结果,包括:确定所述当前空间中车辆的尺寸与车辆在所述当前空间所处的位置之间的对应关系;基于所述对应关系,对所述静态图进行尺度归一化处理;基于尺度归一化处理后的所述静态图,对当前空间各区域的静止车辆进行检测,得到检测结果。
在一些实施例中,所述确定所述当前空间中车辆的尺寸与车辆在所述当前空间所处的位置之间的对应关系,包括:对所述当前帧中的车辆进行检测,得到第一检测结果;对所述第一检测结果中每一车辆的尺寸,与所述车辆在特定维度的位置之间的关系进行拟合,得到当前空间中车辆的尺寸与车辆在所述当前空间所处的位置之间的对应关系。
在一些实施例中,所述基于尺度归一化处理后的所述静态图,对当前空间各区域的静止车辆进行检测,得到检测结果,包括:基于所述对应关系,对所述当前帧进行尺度归一化处理;对尺度归一化处理后的所述当前帧中的车辆进行检测,得到第二检测结果;对尺度归一化处理后的所述静态图中的车辆进行检测,得到第三检测结果;将所述第二检测结果和所述第三检测结果中位置重叠的车辆确定为当前空间的静止车辆。
在一些实施例中,所述将所述第二检测结果和所述第三检测结果中位置重叠的车辆确定为当前空间的静止车辆,包括:针对所述第三检测结果中的每一车辆,当所述车辆在尺度归一化处理后的所述当前帧中所占区域与所述车辆的在尺度归一化处理后的所述静态图中所占区域的交并比大于特定的交并比阈值时,将所述车辆确定为静止车辆。
在一些实施例中,所述停车状态信息包括停车状态、停车开始时间、停车结束时间、累计停车次数、连续未停车次数;所述基于所述检测结果,更新所述各区域的停车状态信息,包括:基于所述检测结果,确定所述各区域是否检测到静止车辆;针对当前空间的每一区域,基于所述区域是否检测到静止车辆更新所述累计停车次数、停车开始时间、停车结束时间、连续未停车次数;当所述区域的累计停车次数超过第一次数阈值时,将对应的停车状态更新为异常;当所述区域的连续未停车次数超过第二次数阈值时,将对应的停车状态更新为非异常。
在一些实施例中,所述停车状态信息包括停车状态,所述基于所述各区域的停车状态信息,确定异常停车事件,包括:在所述各区域中停车状态为异常的区域数量大于第一数量阈值时,确定发生异常停车事件;其中,在所述各区域中停车状态为异常的区域数量大于第二数量阈值时,确定所述异常停车事件开始,所述第二数量阈值不超过所述第一数量阈值;在所述各区域中停车状态为异常的区域数量小于第三数量阈值时,确定所述异常停车事件结束,所述第三数量阈值小于所述第二数量阈值。
在一些实施例中,所述停车状态信息包括停车时间和持续未停车时间,所述基于所述各区域的停车状态信息,确定异常停车事件,包括:在所述各区域中至少一个区域的停车时间大于第一时间阈值时,确定发生异常停车事件;其中,在所述各区域中至少一个区域的停车时间大于第二时间阈值时,确定所述异常停车事件开始,所述第二时间阈值不超过所述第一时间阈值;在所述各区域中持续未停车时间的最小值大于第三时间阈值时,确定所述异常停车事件结束。
在一些实施例中,所述停车状态信息包括停车状态和停车时间,所述停车时间包括停车开始时间和停车结束时间,所述基于所述各区域的停车状态信息,确定异常停车事件,包括:确定所述各区域中停车状态为异常的至少一个候选异常区域;基于每一候选异常区域对应的停车结束时间与停车开始时间,确定每一候选异常区域的车辆停留时间;在各车辆停留时间的最大值超过停留时间阈值的情况下,确定发生异常停车事件。
在一些实施例中,所述异常停车事件的信息包括异常停车车辆、异常停车区域、异常开始时间;所述基于所述各区域的停车状态信息,确定异常停车事件,还包括:将所述至少一个候选异常区域中车辆停留时间最长的区域确定为目标区域;对所述当前帧中的车辆进行检测,得到当前帧的车辆检测结果;将所述车辆检测结果中距离所述目标区域中心点最近的车辆确定为异常停车车辆;将所述异常停车车辆在所述当前帧中所在的区域确定为异常停车区域;针对待检测图像流中的帧图像,从所述当前帧逐帧往前回溯,确定异常停车车辆出现在所述异常停车区域的起始帧;将所述起始帧对应的时间确定为异常开始时间。
在一些实施例中,所述停车状态信息包括连续未停车次数,所述异常停车事件的信息还包括异常结束时间;所述基于所述各区域的停车状态信息,确定异常停车事件,还包括:判断所述异常停车区域对应的连续未停车次数是否超过第三次数阈值;当所述异常停车区域对应的连续未停车次数超过第三次数阈值时,确定异常停车事件结束,并将当前时间确定为异常结束时间。
在一些实施例中,所述异常停车车辆具备特定的车辆标识;所述基于所述各区域的停车状态信息,确定异常停车事件,还包括:当所述异常停车事件数量大于1时,将所述异常停车事件中,在车辆标识维度和/或时间维度满足特定合并条件的事件进行合并。
在一些实施例中,所述方法还包括:对待检测图像流中的每一帧图像中的车辆进行检测,得到每一所述帧图像的车辆检测结果;对每一所述帧图像的车辆检测结果进行叠加,得到当前空间的行车区域;对应地,所述基于所述检测结果,更新所述各区域的停车状态信息,包括:基于所述检测结果和所述行车区域,更新所述各区域的停车状态信息。
在一些实施例中,所述方法还包括:对所述当前帧中的车辆进行检测,得到当前帧的车辆检测结果;基于所述车辆检测结果,确定当前是否为堵车状态;在当前为非堵车状态的情况下,输出所述异常停车事件。
在一些实施例中,所述基于所述车辆检测结果,确定当前是否为堵车状态,包括:基于所述车辆检测结果中每一车辆的中心点,确定当前空间的消隐点和所述候选异常停车事件中异常停车车辆的行驶方向线;所述行驶方向线为所述异常停车车辆的中心点与所述消隐点之间的连线;确定所述车辆检测结果中与所述行驶方向线相交的车辆的数量;在所述数量小于预设的车辆数量阈值的情况下,确定当前为非堵车状态。
第二方面,本申请实施例提供一种停车检测装置,所述装置包括:
第一更新模块,用于利用待检测图像流中的当前帧,更新当前空间的静态图;其中,所述静态图至少包括当前空间内的静止车辆;
第一检测模块,用于基于所述静态图,对当前空间各区域的静止车辆进行检测,得到检测结果;
第二更新模块,用于基于所述检测结果,更新所述各区域的停车状态信息;
确定模块,用于基于所述各区域的停车状态信息,确定异常停车事件。
在一些实施例中,第一更新模块还用于:采用特定的叠加权重,对静态图和所述当前帧进行叠加,得到叠加后的图像;其中,所述静态图的权重值大于所述当前帧的权重值;将所述叠加后的图像确定为新的静态图。
在一些实施例中,第一检测模块还用于:确定所述当前空间中车辆的尺寸与车辆在所述当前空间所处的位置之间的对应关系;基于所述对应关系,分别对所述当前帧和所述静态图进行尺度归一化处理;基于尺度归一化处理后的所述当前帧和所述静态图,对当前空间各区域的静止车辆进行检测,得到检测结果。
在一些实施例中,第一检测模块还用于:对所述当前帧中的车辆进行检测,得到第一检测结果;对所述第一检测结果中每一车辆的尺寸,与所述车辆在特定维度的位置之间的关系进行拟合,得到当前空间中车辆的尺寸与车辆在所述当前空间所处的位置之间的对应关系。
在一些实施例中,第一检测模块还用于:基于所述对应关系,对所述当前帧进行尺度归一化处理;对尺度归一化处理后的所述当前帧中的车辆进行检测,得到第二检测结果;对尺度归一化处理后的所述静态图中的车辆进行检测,得到第三检测结果;将所述第二检测结果和所述第三检测结果中位置重叠的车辆确定为当前空间的静止车辆。
在一些实施例中,第一检测模块还用于:针对所述第三检测结果中的每一车辆,当所述车辆在尺度归一化处理后的所述当前帧中所占区域与所述车辆的在尺度归一化处理后的所述静态图中所占区域的交并比大于特定的交并比阈值时,将所述车辆确定为静止车辆。
在一些实施例中,所述停车状态信息包括停车状态、停车开始时间、停车结束时间、累计停车次数、连续未停车次数。对应地,第二更新模块还用于:基于所述检测结果,确定所述各区域是否检测到静止车辆;针对当前空间的每一区域,基于所述区域是否检测到静止车辆更新所述累计停车次数、停车开始时间、停车结束时间、连续未停车次数;当所述区域的累计停车次数超过第一次数阈值时,将对应的停车状态更新为异常;当所述区域的连续未停车次数超过第二次数阈值时,将对应的停车状态更新为非异常。
在一些实施例中,所述停车状态信息包括停车状态,所述确定模块还用于:在所述各区域中停车状态为异常的区域数量大于第一数量阈值时,确定发生异常停车事件;其中,在所述各区域中停车状态为异常的区域数量大于第二数量阈值时,确定所述异常停车事件开始,所述第二数量阈值不超过所述第一数量阈值;在所述各区域中停车状态为异常的区域数量小于第三数量阈值时,确定所述异常停车事件结束,所述第三数量阈值小于所述第二数量阈值。
在一些实施例中,所述停车状态信息包括停车时间和持续未停车时间,所述确定模块还用于:在所述各区域中至少一个区域的停车时间大于第一时间阈值时,确定发生异常停车事件;其中,在所述各区域中至少一个区域的停车时间大于第二时间阈值时,确定所述异常停车事件开始,所述第二时间阈值不超过所述第一时间阈值;在所述各区域中持续未停车时间的最小值大于第三时间阈值时,确定所述异常停车事件结束。
在一些实施例中,所述停车状态信息包括停车状态和停车时间,所述停车时间包括停车开始时间和停车结束时间,所述确定模块还用于:确定所述各区域中停车状态为异常的至少一个候选异常区域;基于每一候选异常区域对应的停车结束时间与停车开始时间,确定每一候选异常区域的车辆停留时间;在各车辆停留时间的最大值超过停留时间阈值的情况下,确定发生异常停车事件。
在一些实施例中,所述异常停车事件的信息包括异常停车车辆、异常停车区域、异常开始时间。对应地,确定模块还用于:将所述至少一个候选异常区域中车辆停留时间最长的区域确定为目标区域;对所述当前帧中的车辆进行检测,得到当前帧的车辆检测结果;将所述车辆检测结果中距离所述目标区域中心点最近的车辆确定为异常停车车辆;将所述异常停车车辆在所述当前帧中所在的区域确定为所述异常停车区域;针对待检测图像流中的帧图像,从所述当前帧逐帧往前回溯,确定异常停车车辆出现在所述异常停车区域的起始帧;将所述起始帧对应的时间确定为所述异常开始时间。
在一些实施例中,所述停车状态信息包括连续未停车次数,所述异常停车事件的信息还包括异常结束时间。对应地,确定模块还用于:判断所述异常停车区域对应的连续未停车次数是否超过第三次数阈值;当所述异常停车区域对应的连续未停车次数超过第三次数阈值时,确定异常停车事件结束,并将当前时间确定为所述异常结束时间。
在一些实施例中,所述异常停车车辆具备特定的车辆标识。对应地,确定模块还用于:当所述异常停车事件数量大于1时,将所述异常停车事件中,在车辆标识维度和/或时间维度满足特定合并条件的事件进行合并。
在一些实施例中,所述各区域包括当前空间的行车区域中的各区域,所述装置还包括:第二检测模块,用于对待检测图像流中的每一帧图像中的车辆进行检测,得到每一所述帧图像的车辆检测结果;叠加模块,用于对每一所述帧图像的车辆检测结果进行叠加,得到当前空间的所述行车区域。对应地,第二更新模块还用于基于所述检测结果和所述行车区域,更新所述各区域的停车状态信息。
在一些实施例中,确定模块还用于:对所述当前帧中的车辆进行检测,得到当前帧的车辆检测结果;基于所述车辆检测结果,确定当前是否为堵车状态;在当前为非堵车状态的情况下,输出所述异常停车事件。
在一些实施例中,确定模块还用于:基于所述车辆检测结果中每一车辆的中心点,确定当前空间的消隐点和所述候选异常停车事件中异常停车车辆的行驶方向线;所述行驶方向线为所述异常停车车辆的中心点与所述消隐点之间的连线;确定所述车辆检测结果中与所述行驶方向线相交的车辆的数量;在所述数量小于预设的车辆数量阈值的情况下,确定当前为非堵车状态。
第三方面,本申请实施例提供了一种停车检测设备,包括存储器和处理器,所述存储器存储有可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述方法中的步骤。
第四方面,本申请实施例提供了一种计算机存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述方法中的步骤。
本申请中,首先利用待检测图像流中的当前帧,更新当前空间的静态图;然后基于静态图,对当前空间各区域的静止车辆进行检测;而后基于检测结果,更新各区域的停车状态信息;最后基于各区域的停车状态信息,确定异常停车事件。这样,由于当前空间的静态图是不断利用待检测图像流中的当前帧更新的,因而对静止车辆进行检测时可以更加准确地检测到当前空间的静止车辆,有效排除动态车辆。并且,由于利用各区域的停车状态信息确定异常停车事件,这一过程只依赖对静止车辆的检测,无需进行车辆的轨迹跟踪,具备更强的泛化性和鲁棒性,从而可以更稳定和准确地判断异常停车事件。进一步地,可以通过对待检测图像流中的图像进行连续叠加不断更新静态图,这样,得到的静态图可以更好地凸显当前空间的背景和静止车辆,从而可以进一步提高对当前空间静止车辆检测的准确性,进而可以进一步提高异常停车事件判断的准确性。
附图说明
图1为本申请实施例提供的一种停车检测方法的实现流程示意图;
图2为本申请实施例提供的一种停车检测方法的实现流程示意图;
图3A为本申请实施例提供的一种停车检测方法的实现流程示意图;
图3B为本申请实施例提供的一种透视检测流程的实现流程示意图;
图3C为本申请实施例提供的一种异常停车事件合并方法的实现流程示意图;
图3D为本申请实施例提供的一种消隐点估计的实现示意图;
图3E为本申请实施例提供的一种确定行驶方向线的实现示意图;
图4为本申请实施例提供的一种停车检测装置的组成结构示意图;
图5为本申请实施例提供的一种计算机设备的硬件实体示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚,下面结合附图和实施例对本申请的技术方案进一步详细阐述,所描述的实施例不应视为对本申请的限制,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本申请保护的范围。
在以下的描述中,涉及到“一些实施例”,其描述了所有可能实施例的子集,但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集,并且可以在不冲突的情况下相互结合。
如果申请文件中出现“第一/第二”的类似描述则增加以下的说明,在以下的描述中,所涉及的术语“第一\第二\第三”仅仅是区别类似的对象,不代表针对对象的特定排序,可以理解地,“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序,以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。
除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请的目的,不是旨在限制本申请。
为了更好地理解本申请提供的停车检测方法,首先对相关技术中采用的异常停车检测方法进行说明。
在相关技术中,可以通过目标跟踪获取车辆轨迹,然后分析获得的车辆轨迹,判断车辆是否停车;或者可以通过采用正常视频和异常视频对三维卷积神经网络分类器进行训练,来判断异常事件。
但在上述相关技术的异常停车检测方案中仍然存在不足。一方面是模型的泛化能力弱,由于事故在实际数据占比很少,因此异常数据很难获取,同时也很难覆盖现实世界中的所有情况,从而使得模型的泛化能力弱。另一方面是***稳定性差,实际监控场景中往往存在着明显的透视现象,这无疑提高了检测和跟踪的难度,很难获得准确的轨迹估计,导致在进行跟踪时很容易出现断标识(Identity,ID),或者ID交换的情况,使得获得的异常停车事件不完整或者同一事件触发多次报警。
本申请实施例提供一种停车检测方法,该方法可以由电子设备的处理器执行,如图1所示,该方法包括以下步骤:
步骤S101,利用待检测图像流中的当前帧,更新当前空间的静态图;其中,所述静态图至少包括当前空间内的静止车辆。
这里,当前空间为要进行异常停车事件检测的空间场所,可以包括但不限于高速公路、城市道路等交通场所。待检测图像流为针对当前空间采集的连续图像流。在实施时,待检测图像流可以是摄像头实时采集的图像流,也可以是对视频进行解码后得到的图像流。
当前帧为在每次检测时从待检测图像流中最新获取的图像。在进行检测时,可以针对待检测图像流中的图像进行逐帧检测,依次选取每一帧作为当前帧;也可以按照特定的帧间隔从待检测图像流中选取对应的图像作为当前帧,进行检测,以降低对处理器计算资源的消耗。在实施时,本领域技术人员可以根据实际情况选择合适的方式确定当前帧,本申请实施例对此并不限定。其中,当按照特定的帧间隔从待检测图像流中选取对应的图像作为当前帧时,特定的帧间隔可以是固定不变的,也可以根据特定的规则进行动态调整,例如,在车辆流量较小的夜间,可以采用较长的帧间隔进行检测,以节省计算资源,而在车流量较大的白天,可以采用较小的帧间隔进行检测,以及时检测出当前空间的异常停车事件。
当前空间的静态图可以凸显当前空间中的背景及静止车辆。在检测开始前,静态图为一个初始图像,初始图像可以是基于当前帧生成的图像,还可以是预先设定的默认图像,也可以是随机生成的图像,这里并不限定。在检测过程中,可以利用每一次检测获得的当前帧,对静态图进行不断更新。在实施时,本领域技术人员可以根据实际情况采用合适的方式更新静态图,本申请实施例对此并不限定。
步骤S102,基于所述静态图,对当前空间各区域的静止车辆进行检测,得到检测结果;
这里,可以按照特定的区域划分规则,将当前空间划分成特定数量的区域。由于静态图中可以凸显当前空间中的背景及静止车辆的图像,因此,可以基于静态图,检测得到当前空间各区域的静止车辆。具体的,在进行检测时,可以采用任意合适的目标检测算法,对静态图中的车辆进行检测,进而确定各个区域的静止车辆。
检测结果包含当前空间中检测到的全部静止车辆,对于每一静止车辆,检测结果可以包括但不限于车辆标识、车辆在当前空间中所处的位置、车辆尺寸、车辆类型、特征等中的一种或多种。在实施时,本领域技术人员可以根据实际需求确定检测结果中包含的信息,这里并不限定。
在一些实施例中,通过静止车辆检测框表征检测到的静止车辆,并且在检测结果中包括多个静止车辆检测框时,可以对多个静止车辆检测框中重叠度大于特定阈值的检测框进行合并。在进行检测框合并时可以采用任意合适的算法,例如,可以将各检测框的交集或并集作为合并后的检测框,也可以采用非极大值抑制算法(non maximum suppression,NMS)选取置信度最高的检测框作为合并后的检测框。
步骤S103,基于所述检测结果,更新所述各区域的停车状态信息;
这里,针对当前空间中划分的每一区域,都有对应的停车状态信息。停车状态信息用于表示整个检测过程中在对应区域的车辆停止情况,可以是针对整个检测过程的每一检测结果中对应区域静止车辆的相关统计信息。停车状态信息可以包括但不限于停车状态、停车开始时间、停车结束时间、累计停车次数、连续未停车次数(即对应区域连续未检测到有静止车辆的次数)、检测得分等中的任意一种或多种,本领域技术人员可以根据实际情况确定停车状态信息需要包含的信息,这里并不限定。
在实施时,可以采用任意合适的数据结构存储各区域的停车状态信息以及停车状态信息与区域之间的对应关系,本申请实施例对此并不限定。在一些实施例中,可以采用不同的矩阵分别存储停车状态信息中的不同信息,每一矩阵可以存储当前空间所有区域的一种特定信息。例如,当停车状态信息包括停车状态、停车开始时间、停车结束时间、累计停车次数、连续未停车次数、检测得分时,可以对应于当前空间划分的区域,建立6个不同的信息矩阵,分别用于存储对应于各个区域的停车状态、停车开始时间、停车结束时间、累计停车次数、连续未停车次数和检测得分,其中,信息矩阵中的元素可以通过行号和列号与对应的区域进行一一关联。
步骤S104,基于所述各区域的停车状态信息,确定异常停车事件。
这里,异常停车事件可以为当前空间中由于异常原因而出现的停车行为,可以包括但不限于违背交通规则或者存在安全隐患的停车行为等。根据各区域的停车状态信息,可以获得整个检测过程中在各个区域的车辆停止情况,基于各个区域的车辆停止情况,可以确定当前空间发生的异常停车事件。在实施时,可以基于各区域的停车状态信息,按照特定的异常判断策略,确定异常停车事件。本领域技术人员可以根据实际情况确定合适的异常判断策略,本申请实施例对此并不限定。
在一些实施例中,上述步骤S101可以包括:
步骤S111,采用预设的叠加权重,对静态图和所述当前帧进行叠加,得到叠加后的图像;其中,所述静态图的权重值大于所述当前帧的权重值;
这里,静态图可以通过对待检测图像流中的图像进行连续叠加得到,叠加后的图像可以凸显当前空间中的背景和静态车辆,而动态车辆在叠加后的图像中会被淡化甚至消失。在实施时,可以对当前的静态图和当前帧进行叠加得到叠加后的图像,也可以对历史的多帧静态图和当前帧进行叠加,得到叠加后的图像,本领域技术人员可以根据实际情况采用合适的方式进行图像叠加,这里并不限定。
特定的叠加权重可以包括静态图的权重值和当前帧的权重值。在一些实施方式中,静态图的权重值和当前帧的权重值均大于或等于0且小于或等于1,并且二者之和为1。
步骤S112,将所述叠加后的图像更新为新的静态图。
在一些实施例中,所述停车状态信息包括停车状态,上述步骤S104可以包括:
步骤S121,在所述各区域中停车状态为异常的区域数量大于第一数量阈值时,确定发生异常停车事件;其中,在所述各区域中停车状态为异常的区域数量大于第二数量阈值时,确定所述异常停车事件开始,所述第二数量阈值不超过所述第一数量阈值;在所述各区域中停车状态为异常的区域数量小于第三数量阈值时,确定所述异常停车事件结束,所述第三数量阈值小于所述第二数量阈值。
这里,停车状态表示对应的区域是否有停车异常,可以包括异常和非异常。在实施时,可以采用特定的数值或字符表示异常和非异常两种状态,例如可以采用0表示非异常、1表示异常,也可以采用Y表示异常、N表示非异常,本领域技术人员可以根据实际情况选择合适的方式表示停车状态,这里并不限定。
第一数量阈值可以是1也可以是大于1的其他合适的整数,例如,可以在至少一个区域的停车状态为异常的情况下,确定发生异常停车事件,也可以在同时有多个区域的停车状态为异常的情况下,才确定发生异常停车事件。
第二数量阈值可以与第一数量阈值相同,以在确定异常停车事件发生时确定异常停车事件开始。第二数量阈值也可以小于第一数量阈值,这样在疑似有异常停车事件发生时可以确定异常停车事件开始。
在确定有异常停车事件开始后,需要通过对后续的图像帧进行检测确定该异常停车事件是否结束。第三数量阈值小于第二数量阈值,可以是1也可以是大于1的其他合适的整数。例如,若第二数量阈值为2,则可以在各区域中停车状态为异常的区域数量小于1时,也即各区域的停车状态均为非异常时,确定所述异常停车事件结束;也可以在各区域中停车状态为异常的区域数量小于2时,确定异常停车事件结束。
在实施时,第一数量阈值、第二数量阈值和第三数量阈值都可以是根据实际情况设定,这里并不限定。
当前空间中异常停车事件的数量可以是一个也可以是多个,这里并不限定。例如,当多个区域的停车状态为异常时,可以确定该多个区域中每个区域均有异常停车事件发生,也可以确定在该多个区域内共同发生了同一个异常停车事件。
在一些实施例中,所述停车状态信息包括停车时间和持续未停车时间,上述步骤S104还可以包括:
步骤S122,在所述各区域中至少一个区域的停车时间大于第一时间阈值时,确定发生异常停车事件;其中,在所述各区域中至少一个区域的停车时间大于第二时间阈值时,确定所述异常停车事件开始,所述第二时间阈值不超过所述第一时间阈值;在所述各区域中持续未停车时间的最小值大于第三时间阈值时,确定所述异常停车事件结束。
这里,停车时间可以为对应的区域在时间维度的停车信息,可以是停车结束时间与停车开始时间之差,也可以是累计停车时间等,这里并不限定。
每一区域的持续未停车时间为该区域自当前时间向前回溯未检测到有静止车辆的持续时间,在实施时,可以是当前时间与停车结束时间之差。
第一时间阈值可以是根据实际情况确定的任意合适的值,例如,可以在至少一个区域中停车结束时间与停车开始时间之差大于第一时间阈值时,确定所述异常停车事件开始;也可以在至少一个区域中累计停车时间大于第一时间阈值时,确定异常停车事件开始。
第二时间阈值可以与第一时间阈值相同,以在确定异常停车事件发生时确定异常停车事件开始。第二时间阈值也可以小于第一时间阈值,这样在疑似有异常停车事件发生时可以确定异常停车事件开始。
在确定有异常停车事件开始后,需要通过对后续的图像帧进行检测确定该异常停车事件是否结束。第三时间阈值为根据实际情况设定的用于判断异常停车事件是否结束的持续未停车时间的阈值,可以在各区域中持续未停车时间的最小值大于第三时间阈值时,确定异常停车事件结束。
在实施时,第一时间阈值、第二时间阈值和第三时间阈值都可以是根据实际情况设定,这里并不限定。
需要说明的是,在停车状态信息中包括停车状态和停车时间时,可以同时结合停车状态和停车时间确定是否发生异常停车事件,也可以结合停车状态、停车时间和持续未停车时间确定异常停车事件的开始和结束。
当前空间中异常停车事件的数量可以是一个也可以是多个,这里并不限定。例如,当多个区域的停车时间大于第一时间阈值时,可以确定该多个区域中每个区域均有异常停车事件发生,也可以确定在该多个区域内共同发生了同一个异常停车事件。
在一些实施例中,所述停车状态信息包括停车状态和停车时间,所述停车时间包括停车开始时间和停车结束时间,上述步骤S104可以包括:
步骤S131,确定所述各区域中停车状态为异常的至少一个候选异常区域;
这里,候选异常区域为可能存在异常停车事件的区域,可以将各区域中停车状态为异常的部分或全部区域均确定为候选异常区域。由于在交通场景下,除了异常停车事件的发生,还存在部分停车行为是正常原因导致的或者不会造成安全隐患的停车行为,比如在路口遇到红灯时的停车等候行为,或者在斑马线处礼让行人时的短暂停车行为等。因此,为了提高异常停车事件检测的准确性,还需对候选异常区域的停车状态进行进一步判断。
步骤S132,基于每一候选异常区域对应的停车结束时间与停车开始时间,确定每一候选异常区域的车辆停留时间;
这里,针对每一区域,可以将该区域对应的停车结束时间与停车开始时间之差确定为该区域的车辆停留时间。
步骤S133,在各车辆停留时间的最大值超过停留时间阈值的情况下,确定发生异常停车事件。
这里,为了避免将车辆在路口遇到红灯时的停车等候行为,或者在斑马线处礼让行人时的短暂停车行为等误检为异常停车,可以仅将车辆停留时间超过停留时间阈值的静止车辆确定为异常停车车辆,从而确定发生异常停车事件。
停留时间阈值可以是固定不变的数值,如程序默认的数值或者预先设定的值等;也可以根据特定的规则进行动态调整,例如,可以根据当前空间的平均车辆速度确定合适的停留时间阈值,也可以根据每次检测的时间间隔或帧间隔确定合适的停留时间阈值,本申请实施例对此并不限定。
在一些实施例中,所述异常停车事件的信息包括异常停车车辆、异常停车区域、异常开始时间。对应地,上述步骤S104还可以包括:
步骤S141,将所述至少一个候选异常区域中车辆停留时间最长的区域确定为目标区域;
这里,目标区域为可以确定异常停车车辆的区域。候选异常区域的数量可能会有多个,可以将各个候选异常区域中,车辆停留时间最长的区域确定为目标区域。例如,当出现追尾等交通事故导致多车陆续停止时,每一车辆可能会对应一个候选异常区域,为了定位事故发生的源头,可以将候选异常区域中车辆停留时间最长的区域确定为目标区域,也即最先停止的车辆对应的候选异常区域。
步骤S142,对所述当前帧中的车辆进行检测,得到当前帧的车辆检测结果;
这里,可以采用任意合适的目标检测算法,对当前帧中的车辆进行检测。
当前帧的车辆检测结果可以包括当前帧中检测到的全部车辆,对于每一车辆,车辆检测结果可以包括但不限于车辆标识、车辆在当前空间中所处的位置、车辆尺寸、车辆类型等中的一种或多种。
步骤S143,将所述车辆检测结果中距离所述目标区域中心点最近的车辆确定为异常停车车辆;
这里,由于目标区域为进行尺度归一化处理后的图像中的区域,很有可能由于尺度变化导致当前帧中该区域对应的位置没有车辆,所以需要查找当前帧中距离目标区域中心点最近的车辆作为异常停车车辆。距离目标区域中心点最近的车辆可以是目标区域内部的车辆,也可以是目标区域之外的车辆。例如,若目标区域内检测到车辆,则距离目标区域中心点最近的车辆为目标区域内检测到的车辆;若目标区域内未检测到车辆,则距离目标区域最近的车辆为目标区域外检测到的最近车辆。
此外,由于车辆的停车状态是基于累计停车次数确定的,也可能存在静止车辆停留时间最长的区域当前并未检测到静止车辆的情况,此时也需要将车辆检测结果中距离目标区域最近的车辆确定为异常停车车辆,并将异常停车车辆所在区域确定为异常停车区域。
步骤S144,将所述异常停车车辆在所述当前帧中所在的区域确定为异常停车区域;
步骤S145,针对待检测图像流中的帧图像,从所述当前帧逐帧往前回溯,确定异常停车车辆出现在所述异常停车区域的起始帧;
这里,由于异常停车区域的确定考虑了静止车辆的停留时间,因而从异常停车车辆在该区域开始停留到确定该区域为异常停留区域之间会存在一定的时间延迟,因此,在确定异常停车区域后,可以从当前帧逐帧往前回溯,确定异常停车车辆出现在该异常停车区域的起始帧。
在一些实施例中,在从当前帧逐帧往前回溯时,可以将对应该异常停车区域的连续未停车次数超过特定的第四次数阈值的帧确定为异常停车车辆出现在该异常停车区域的起始帧。这里,第四次数阈值可以是程序默认的数值,也可以时预先设定的值,本申请实施例对此并不限定。
步骤S146,将所述起始帧对应的时间确定为异常开始时间。
在一些实施例中,所述检测结果中每一静止车辆对应一个检测置信度,所述停车状态信息包括检测得分。对应地,上述步骤S103还可以包括:步骤S151,针对当前空间的每一区域,当所述区域检测到静止车辆时,确定所述静止车辆对应的置信度;步骤S152,将所述置信度加至所述区域对应的检测得分。上述步骤S143还可以包括:步骤S143a,当所述目标区域对应的停车结束时间与停车开始时间之差超过停留时间阈值时,确定所述目标区域对应的检测得分;步骤S143b,当所述检测得分超过特定的检测得分阈值时,将所述检测结果中距离所述目标区域中心点最近的静止车辆确定为异常停车车辆。这里,在对当前空间各区域的静止车辆进行检测时,针对检测结果中的每一静止车辆,算法可以输出对应的检测置信度,检测置信度可以表示当前检测结果的可靠程度。
在一些实施例中,所述停车状态信息包括连续未停车次数,所述异常停车事件的信息还包括异常结束时间。对应地,上述步骤S104还可以包括:
步骤S161,判断所述异常停车区域对应的连续未停车次数是否超过第三次数阈值;
这里,第三次数阈值可以是固定不变的数值,如程序默认的数值或者预先设定的值等;也可以根据特定的规则进行动态调整,例如,可以根据当前空间的平均车辆速度确定合适的第三次数阈值,也可以根据每次检测的时间间隔或帧间隔确定合适的第三次数阈值,本申请实施例对此并不限定。
步骤S162,当所述异常停车区域对应的连续未停车次数超过第三次数阈值时,确定异常停车事件结束,并将当前时间确定为异常结束时间。
在一些实施例中,所述异常停车车辆具备特定的车辆标识;上述步骤S104还可以包括:步骤S171,当所述异常停车事件数量大于1时,将所述异常停车事件中,在车辆标识维度和/或时间维度满足特定合并条件的事件进行合并。
这里,车辆标识可以用于确定唯一的车辆。特定的合并条件为判断多个异常停车事件是否需要合并的条件,可以包括车辆标识维度的合并条件和/或时间维度的合并条件。
车辆标识维度的合并条件可以是多个异常停车事件对应同一异常停车车辆,可以通过特定的图像处理算法确定对应于同一异常停车车辆的异常停车事件,并将对应于同一异常停车车辆的多个异常停车事件合并为一个异常停车事件。特定的图像处理算法可以包括但不限于再识别(Re-Identification,Re-ID)技术、非极大值抑制(non maximumsuppression,NMS)算法等中的一种或多种。在实施时,可以首先通过NMS算法对多个异常停车事件中异常停车区域重叠的异常停车事件进行去重,然后通过Re-ID技术对去重后的多个异常停车事件进行合并,得到合并后的异常停车事件。本领域技术人员可以根据实际情况选择合适的图像处理算法,本申请实施例对此并不限定。
时间维度的合并条件可以同一时间区间内同时开始或结束的异常停车事件,也可以是在时间维度上对应异常开始时间至异常结束时间的时间范围存在交叠的多个异常停车事件。在实施时,本领域技术人员可以根据实际情况确定合适的时间维度合并条件,本申请实施例对此并不限定。
在一些实施例中,可以仅对同时满足车辆标识维度的合并条件和时间维度的合并条件的事件进行合并。
本申请实施例提供的停车检测方法,首先利用待检测图像流中的当前帧,更新当前空间的静态图;然后基于静态图,对当前空间各区域的静止车辆进行检测;而后基于检测结果,更新各区域的停车状态信息;最后基于各区域的停车状态信息,确定异常停车事件。这样,由于当前空间的静态图是不断利用待检测图像流中的当前帧更新的,因而对静止车辆进行检测时可以更加准确地检测到当前空间的静止车辆,有效排除动态车辆。并且,由于利用各区域的停车状态信息确定异常停车事件,这一过程只依赖对静止车辆的检测,无需进行车辆的轨迹跟踪,具备更强的泛化性和鲁棒性,从而可以更稳定和准确地判断异常停车事件。进一步地,可以通过对待检测图像流中的图像进行连续叠加不断更新静态图,这样,得到的静态图可以更好地凸显当前空间的背景和静止车辆,从而可以进一步提高对当前空间静止车辆检测的准确性,进而可以进一步提高异常停车事件判断的准确性。此外,通过不断对空间各区域的停车状态进行更新和分析,可以准确地定位异常停车事件的区域以及开始和停止时间,且当检测到多个异常停车事件时,可以在车辆标识维度或者时间维度对多个异常停车事件进行合并,这样,可以有效避免同一车辆或同一时段多次检测到重复异常停车事件的问题。
本申请实施例提供一种停车检测方法,该方法可以由电子设备的处理器执行,如图2所示,该方法包括以下步骤:
步骤S201,利用待检测图像流中的当前帧,更新当前空间的静态图;其中,所述静态图至少包括当前空间内的静止车辆。
这里,上述步骤S201对应前述步骤S101,在实施时可以参照前述步骤S101的具体实施方式,这里不再赘述。
步骤S202,确定当前空间中车辆的尺寸与车辆在当前空间所处的位置之间的对应关系;
这里,车辆的尺寸为待检测图像流的图像中车辆的尺寸,可以包括但不限于图像中车辆的长、宽或者高等。车辆在当前空间所处的位置为待检测图像流的图像中车辆的位置,在实施时,可以在图像中建立二维坐标系,车辆的位置可以为车辆在该二维坐标系中的横坐标和/或纵坐标。
在高速公路、城市道路等交通场景,摄像头采集的图像通常由于视角的透视,会出现近处的对象大而远处的对象小的现象,而这一现象可能导致距离摄像头较远的车辆由于在图像中显示太小,从而在对图像中的车辆进行检测时无法准确识别。因此,在检测过程中,可以引入当前空间的透视关系对车辆进行检测。当前空间中车辆的尺寸与车辆在当前空间所处的位置之间的对应关系即可体现当前空间的透视关系。可以预先采用参照车辆对车辆的尺寸与车辆在当前空间所处的位置之间的对应关系进行标定,来确定该对应关系。也可以通过图像检测获得当前空间中每一车辆的尺寸与车辆在当前空间所处的位置,然后根据检测到的数据拟合得到该对应关系。当前空间中车辆的尺寸与车辆在当前空间所处的位置之间的对应关系可以通过任意合适的形式来表示,例如可以利用当前空间的透视图来表示,也可以通过特定的映射关系表来表示。在实施时,本领域技术人员可以根据实际情况选择合适的方式确定该对应关系,本申请实施例对此并不限定。
步骤S203,基于所述对应关系,对所述静态图进行尺度归一化处理;
这里,尺度归一化处理是对图像进行尺度缩放处理,使得图像中的车辆被缩放到较小的尺度变化范围。在静态图中至少包括当前空间内的静止车辆,还可以包括被淡化但还未完全消失的动态车辆。在实施时,可以基于当前空间中车辆的尺寸与车辆在当前空间所处的位置之间的对应关系,采用任意合适的尺度缩放方式(例如图像透视映射、多尺度缩放等),将图像中当前空间不同区域对应的车辆缩放至同一尺度。
在一些实施例中,可以根据当前空间中车辆的尺寸与车辆在当前空间所处的位置之间的对应关系,将当前帧和/或静态图划分成不同图像区域,每一图像区域在当前空间对应的实际空间尺度一致。针对划分后的每一图像区域,可以通过插值法,将每一图像区域插值至同一尺度,可以采用双线性插值法、非线性插值法等任意合适的插值算法对各个图像区域进行插值处理,得到尺度归一化处理后的当前帧和尺度归一化处理后的静态图。
步骤S204,基于尺度归一化处理后的所述静态图,对当前空间各区域的静止车辆进行检测,得到检测结果;
这里,可以通过目标检测算法,对尺度归一化处理后的静态图进行图像检测,得到当前空间各区域针对静止车辆的检测结果。
步骤S205,基于所述检测结果,更新所述各区域的停车状态信息;
步骤S206,基于所述各区域的停车状态信息,确定异常停车事件。
这里,上述步骤S205至S206对应前述步骤S103至S104,在实施时可以参照前述步骤S103至S104的具体实施方式。
在一些实施例中,上述步骤S202可以包括:
步骤S211,对所述当前帧中的车辆进行检测,得到第一检测结果;
这里,可以采用任意合适的目标检测算法,对当前帧中的车辆进行检测。
第一检测结果可以包括当前帧中检测到的全部车辆,对于每一车辆,第一检测结果可以包括但不限于车辆标识、车辆在当前空间中所处的位置、车辆尺寸、车辆类型等中的一种或多种。
步骤S212,对所述第一检测结果中每一车辆的尺寸,与所述车辆在特定维度的位置之间的关系进行拟合,得到当前空间中车辆的尺寸与车辆在所述当前空间所处的位置之间的对应关系。
这里,车辆的尺寸可以包括但不限于车辆的长、宽、高或对角线长度等。车辆在特定维度的位置可以根据第一检测结果中车辆在当前空间中所处的位置确定。特定维度可以包括但不限于水平方向维度、垂直方向维度等中的一种或多种。在一些实施例中,目标检测算法检测到的车辆是以检测框的形式输出的,一个检测框表示一辆车,可以将检测框的尺寸确定为对应车辆的尺寸,也可以将检测框在图像中的位置确定为对应车辆在当前空间中所处的位置。
在对每一车辆的尺寸与车辆在特定维度的位置之间的关系进行拟合时,可以利用全部车辆的数据进行拟合,也可以根据实际情况选取部分数据进行拟合。拟合时可以采用线性拟合算法,也可以采用非线性拟合算法,本申请实施例对此并不限定。在一些实施例中,由于车辆的尺寸与车辆在特定维度的位置之间的对应关系比较简单,可以采用线性拟合算法进行拟合,例如最小二乘法、最小绝对值法等。
在一些实施例中,上述步骤S204可以包括:
步骤S221,基于所述对应关系,对所述当前帧进行尺度归一化处理;
这里,对当前帧进行尺度归一化处理的过程与前述步骤S203中对静态图进行尺度归一化处理的过程类似,这里不再赘述。
步骤S222,对尺度归一化处理后的所述当前帧中的车辆进行检测,得到第二检测结果;
这里,可以采用任意合适的目标检测算法,对尺度归一化处理后的当前帧中的车辆进行检测。第二检测结果可以包括尺度归一化处理后的当前帧中检测到的全部车辆,对于每一车辆,第二检测结果可以包括但不限于车辆标识、车辆在当前空间中所处的位置、车辆尺寸、车辆类型等中的一种或多种。
步骤S223,对尺度归一化处理后的所述静态图中的车辆进行检测,得到第三检测结果;
这里,可以采用任意合适的目标检测算法,对尺度归一化处理后的静态图中的车辆进行检测。第三检测结果可以包括尺度归一化处理后的静态图中检测到的全部车辆,对于每一车辆,第三检测结果可以包括但不限于车辆标识、车辆在当前空间中所处的位置、车辆尺寸、车辆类型等中的一种或多种。
步骤S224,将所述第二检测结果和所述第三检测结果中位置重叠的车辆确定为当前空间的静止车辆。
这里,若车辆为当前空间的静止车辆,则该车辆在当前帧和静态图中都会存在,且由于在静止期间车辆的位置不会发生变化,因而静止车辆在当前帧和静态图中会处于同一位置。因此,可以将第二检测结果和第三检测结果中都存在,且位置重叠的车辆确定为当前空间的静止车辆。对于每一静止车辆,在检测结果中可以包括但不限于车辆标识、车辆在当前空间中所处的位置、车辆尺寸、车辆类型等中的一种或多种。
在一些实施例中,上述步骤S224可以包括:
S224a,针对所述第三检测结果中的每一车辆,当所述车辆在尺度归一化处理后的所述当前帧中所占区域与所述车辆的在尺度归一化处理后的所述静态图中所占区域的交并比大于特定的交并比阈值时,将所述车辆确定为静止车辆。
这里,车辆在尺度归一化处理后的当前帧中所占区域与车辆的在尺度归一化处理后的静态图中所占区域的交并比为两块区域的交集面积与并集面积之比。特定的交并比阈值可以是一个默认值也可以是预先设定的值,这里并不限定。在一些实施例中,特定的交并比阈值可以超过0.5,从而可以将当前帧和静态图中所处位置重叠度较高的车辆确定为静止车辆,以进一步提高静止车辆的检测准确性。
本申请实施例提供的停车检测方法,在检测过程中,引入当前空间的透视关系对车辆进行检测,可以有效识别当前空间远处的车辆,提升静止车辆的检测效果,从而可以提高异常停车事件检测的准确性,并能有效提高异常停车事件的召回率。此外,由于对静止车辆进行检测时结合了当前空间的静态图和当前帧,从而可以进一步地有效排除动态车辆,提高当前空间静止车辆检测的准确性。
本申请实施例提供一种停车检测方法,该方法可以由电子设备的处理器执行,该方法包括以下步骤:
步骤S301,利用待检测图像流中的当前帧,更新当前空间的静态图;其中,所述静态图至少包括当前空间内的静止车辆。
步骤S302,基于所述静态图,对当前空间各区域的静止车辆进行检测,得到检测结果;
步骤S303,基于所述检测结果,更新所述各区域的停车状态信息;
这里,上述步骤S301至S303对应前述步骤S101至S103,在实施时可以参照前述步骤S101至S103的具体实施方式。
在一些实施例中,停车状态信息可以包括停车状态、停车开始时间、停车结束时间、累计停车次数、连续未停车次数。对应地,步骤S303可以通过以下步骤实现:
步骤S311,基于所述检测结果,确定所述各区域是否检测到静止车辆;
这里,可以根据检测结果中各车辆在当前空间中所处的位置,确定当前空间各区域是否检测到静止车辆。
步骤S312,针对当前空间的每一区域,基于所述区域是否检测到静止车辆更新所述累计停车次数、停车开始时间、停车结束时间、连续未停车次数;
这里,每一区域的停车状态信息中,累计停车次数为检测过程中确定的该区域累计检测到静止车辆的次数,停车开始时间为检测过程中确定的该区域检测到静止车辆的开始时间,停车结束时间为该区域最近一次检测到静止车辆的时间,连续未停车次数为该区域自当前时间向前回溯连续未检测到静止车辆的次数。
在每一次检测中,对静止车辆检测完后,可以遍历当前空间的每一区域。针对每一区域,根据该区域是否检测到静止车辆,可以对该区域对应的停车状态信息中的停车开始时间、停车结束时间、累计停车次数、连续未停车次数进行相应的更新。在实施时,可以根据实际情况采用合适的策略对停车状态信息中的各信息进行更新,这里并不限定。
在一些实施例中,针对每一区域,可以采用如下步骤S312a至S312c对该区域对应的停车状态信息中的停车开始时间、停车结束时间、累计停车次数、连续未停车次数进行相应的更新:
步骤S312a,当所述区域检测到静止车辆时,将对应的累计停车次数加1、停车结束时间更新为当前时间、连续未停车次数置0;
这里,所述区域检测到静止车辆,则可以确定该区域中,累计检测到静止车辆的次数增加1次,最近一次检测到静止车辆的时间为当前时间,自当前时间向前回溯连续未检测到静止车辆的次数为0。因此,可以将对应的累计停车次数加1、停车结束时间更新为当前时间、连续未停车次数置0。
步骤S312b,当所述区域未检测到静止车辆时,将对应的连续未停车次数加1;
这里,当该区域没有检测到静止车辆,则可以确定该区域自当前时间向前回溯连续未检测到静止车辆的次数增加1次,因此可以将对应的连续未停车次数加1。
步骤S312c,当所述区域的累计停车次数为1时,将对应的停车开始时间更新为当前时间。
这里,若所述区域的累计停车次数为1,则说明检测过程中在该区域累计检测到1次静止车辆,可以是本次检测到静止车辆,也可以是历史检测中检测到静止车辆而本次未检测到。若为本次检测到静止车辆,则可以将该区域的停车开始时间更新为当前时间。若为历史检测中检测到1次静止车辆而本次未检测到,则可以重新计算停车开始时间,也可以将该区域的停车开始时间更新为当前时间。在一些实施例中,若连续未停车次数超过第三次数阈值时,可以将累计停车次数置为0。此外,若该区域累计停车次数大于1时,则当前可能发生异常停车事件,此时停车开始时间可以不用更新,以便结合停车结束时间确定静止车辆的停留时间,从而判断是否发生异常停车。由于基于累计停车次数更新停车开始时间,在检测过程中由于遮挡或其他情况导致静止车辆停留过程中出现漏检的情况下,也能检测出异常停车事件。
步骤S313,当所述区域的累计停车次数超过第一次数阈值时,将对应的停车状态更新为异常;
这里,第一次数阈值可以是固定不变的数值,如程序默认的数值或者预先设定的值等;也可以根据特定的规则进行动态调整,例如,可以根据当前空间的平均车辆速度确定合适的第一次数阈值,也可以根据每次检测的时间间隔或帧间隔确定合适的第一次数阈值,本申请实施例对此并不限定。
步骤S314,当所述区域的连续未停车次数超过第二次数阈值时,将对应的停车状态更新为非异常。
这里,第二次数阈值可以是固定不变的数值,如程序默认的数值或者预先设定的值等;也可以根据特定的规则进行动态调整,例如,可以根据当前空间的平均车辆速度确定合适的第二次数阈值,也可以根据每次检测的时间间隔或帧间隔确定合适的第二次数阈值,本申请实施例对此并不限定。
步骤S304,基于所述各区域的停车状态信息,确定异常停车事件。
这里,上述步骤S304对应前述步骤S104,在实施时可以参照前述步骤S104的具体实施方式。
本申请实施例提供的停车检测方法,停车状态信息可以包括停车状态、停车开始时间、停车结束时间、累计停车次数、连续未停车次数,在每次检测时,根据检测到的静止车辆,对这些信息进行更新,进而可以基于这些信息确定异常停车事件中的异常停车车辆、异常停车区域、异常开始时间以及异常结束时间。这样,通过不断对空间各区域的停车状态进行更新和分析,可以准确地定位异常停车事件,并且由于采用累计停车次数和连续未停车次数判断静止车辆的停车状态,可以有效提高异常停车事件的召回率和准确率。
本申请实施例提供一种停车检测方法,该方法可以由电子设备的处理器执行,该方法包括以下步骤:
步骤S401,对待检测图像流中的每一帧图像中的车辆进行检测,得到每一帧图像的车辆检测结果;
这里,待检测图像流中可以包括当前帧及当前帧之前的各帧图像。每一帧图像的车辆检测结果中包括该帧图像中检测到的全部车辆,对于每一车辆,检测结果可以是一个表征车辆在当前空间中所处的位置的检测框。
步骤S402,对每一帧图像的车辆检测结果进行叠加,得到当前空间的行车区域;
这里,当前空间的行车区域为当前空间中需要进行停车检测的车辆可行驶区域。对每一帧图像的车辆检测结果进行叠加可以得到待检测图像流中的全部车辆,从而可以得到当前空间中需要进行停车检测的车辆可行驶区域。
步骤S403,利用待检测图像流中的当前帧,更新当前空间的静态图;其中,所述静态图至少包括当前空间内的静止车辆。
步骤S404,基于所述静态图,对当前空间各区域的静止车辆进行检测,得到检测结果;
这里,上述步骤S403至S404对应前述步骤S101至S102,在实施时可以参照前述步骤S101至S102的具体实施方式。
步骤S405,基于检测结果和所述行车区域,更新各区域的停车状态信息;
这里,在确定行车区域后,可以仅检测行车区域内的异常停车事件,因此,可以将检测结果中位于行车区域之外的静止车辆排除,仅保留行车区域内的静止车辆,再基于行车区域内的静止车辆更新各区域的停车状态信息。
步骤S406,基于各区域的停车状态信息,确定异常停车事件。
这里,上述步骤S406对应前述步骤S104,在实施时可以参照前述步骤S104的具体实施方式。
本申请实施例提供的停车检测方法,对待检测图像流中的每一帧图像中的车辆进行检测,得到每一帧图像的车辆检测结果,通过对每一帧图像的车辆检测结果进行叠加,得到当前空间的行车区域,在更新各区域的停车状态信息时结合该行车区域。这样,可以排除行车区域以外的静止车辆,从而可以进一步提升异常停车事件检测的准确性。
本申请实施例提供一种停车检测方法,该方法可以由电子设备的处理器执行,该方法包括以下步骤:
步骤S501,利用待检测图像流中的当前帧,更新当前空间的静态图;其中,所述静态图至少包括当前空间内的静止车辆。
步骤S502,基于所述静态图,对当前空间各区域的静止车辆进行检测,得到检测结果;
步骤S503,基于所述检测结果,更新所述各区域的停车状态信息;
这里,上述步骤S501至S503对应前述步骤S101至S103,在实施时可以参照前述步骤S101至S103的具体实施方式。
步骤S504,基于所述各区域的停车状态信息,确定异常停车事件;
这里,异常停车事件为基于各区域的停车状态信息检测到的异常停车事件。在实施时,可以参照前述步骤S104中确定异常停车事件的方式确定异常停车事件。
步骤S505,对所述当前帧中的车辆进行检测,得到当前帧的车辆检测结果;
这里,可以采用任意合适的目标检测算法,对当前帧中的车辆进行检测。
当前帧的车辆检测结果可以包括当前帧中检测到的全部车辆,对于每一车辆,车辆检测结果可以包括但不限于车辆标识、车辆在当前空间中所处的位置、车辆尺寸、车辆类型等中的一种或多种。
步骤S506,基于所述车辆检测结果,确定当前是否为堵车状态;
这里,基于车辆检测结果,可以确定当前空间中各车辆的位置信息,根据各车辆的位置信息可以确定当前是否为堵车状态。例如,基于车辆检测结果中,检测到位于同一车道上的连续车辆超过特定数量阈值的情况下,可以确定当前为堵车状态;检测到同一车道上各车辆之间的距离超过特定距离阈值的情况下,可以确定当前未非堵车状态。
步骤S507,在当前为非堵车状态的情况下,输出所述异常停车事件。
这里,可以输出非堵车状态的情况下的异常停车事件,从而实现异常停车事件告警。输出方式可以包括但不限于声音、文本信息、图片等任意合适的方式,这里不做限定。
在一些实施例中,上述步骤S506可以包括如下步骤S511至步骤S513:
步骤S511,基于所述车辆检测结果中每一车辆的中心点,确定当前空间的消隐点和所述候选异常停车事件中异常停车车辆的行驶方向线;
这里,车辆检测结果中每一车辆的中心点可以是每一车辆在当前帧中所处位置的中心点,也可以是每一车辆对应的检测框的中心点,这里并不限定。
由于采集的待检测图像流中的每一帧图像会存在基于视角的透视现象,在透视场景下,同一车道互相平行的两条边界线会在远处相交于一点,这一相交点即为当前空间的消隐点。候选异常停车事件中可以包括异常停车车辆,异常停车车辆的行驶方向线可以是异常停车车辆中心点与当前空间的消隐点之间的连线。
在一些实施例中,可以将车辆检测结果中每一车辆的中心点映射到钻石空间坐标系,在钻石空间坐标系中得到各点形成的折线组的最大相交点,再将该钻石空间坐标系的最大相交点映射回当前帧中,即可得到当前空间的消隐点。
步骤S512,确定所述车辆检测结果中与所述行驶方向线相交的车辆的数量;
这里,可以根据车辆检测结果中每一车辆的位置信息,确定车辆检测结果中各车辆是否与行驶方向线相交,从而确定与行驶方向线相交的车辆的数量。
步骤S513,在所述数量小于预设的车辆数量阈值的情况下,确定当前为非堵车状态。
这里,车辆数量阈值可以是预先设定的,也可以是根据当前时间或异常停车车辆所处位置动态确定的,这里并不限定。
本申请实施例中,基于当前帧的车辆检测结果,确定当前是否为堵车状态,并在当前为非堵车状态的情况下,输出异常停车事件。这样,可以及时对异常停车事件进行告警,同时可以有效避免将拥堵时排队的车辆检测为异常停车车辆,从而可以有效提高异常停车事件的检测准确率,避免误报。
在高速场景下,进行异常停车事件检测时,由于存在着明显的透视现象,使得对于场景中的小目标常常出现漏检的问题,同时多目标跟踪也会常常出现断ID和ID交换的情况,这就导致只基于目标跟踪输出的轨迹进行异常停车分析,会经常出现异常停车事件漏报或者同一时间多次报警的问题。
为了更稳定和准确地判断异常停车,本申请实施例提供一种停车检测方法,首先利用背景建模有效提取场景中的静态目标,然后利用透视检测提高对小目标的召回率,最后依赖检测结果更新信息矩阵,并基于时空信息矩阵分析判断异常停车事件的起始时间及位置。这里,时空信息矩阵可以用于存储当前场景中各个区域的停车状态信息。该方法可以应用于智能视频分析、安防监控、交通监控等场景。
下面以高速公路监控视频分析场景为示例,对该方法进行进一步说明,通过该方法可以识别高速公路监控视频中的异常停车事件,如图3A所示,该方法包含三个主要技术流程:背景建模流程10、透视检测流程20和时空信息矩阵更新和分析流程30。通过背景建模流程10可以得到动态分析结果41i和静态图42i,通过透视检测流程20,可以对静态图42i和待检测图像流中的当前帧43i进行透视检测得到静态检测结果44i。通过信息矩阵更新和分析流程30,可以利用静态检测结果44i和动态分析结果41i,更新时空信息矩阵45i,并分析时空信息矩阵45i得到异常停车事件,这里,i为大于0的整数。
该方法具体包括如下步骤:
步骤S601,利用背景建模对视频中的图像流进行叠加,得到当前场景的静态图;
这里,在进行背景建模时,模型输入为高速公路监控视频,模型输出为当前场景的静态图和动态图队列。
对视频解码可以得到连续的图像流,可以将该连续的图像流输出为动态图片队列。
按照如下公式1-1对视频中的图像流进行叠加,可以得到当前场景的静态图:
在公式1-1中,i、j、start_frame和interval均为大于0的整数;i表示当前检测的序号;j表示当前帧的序号;interval为连续两次检测之间的帧间隔;start_frame为检测开始的起始帧序号;AVG_image为静态图;framej表示当前帧,为解码得到的连续的图像流中的第j帧图像;α为预设的权重阈值,取值范围为大于等于0且小于等于0.5,可以根据实际情况进行设置,例如,可以将α设置为0.001。按照公式1-1对视频中的图像流进行连续叠加,将得到的叠加图作为静态图,该静态图可以凸显当前场景中的背景和静止车辆。
由上述公式1-1可知,利用背景建模对视频中的图像流进行叠加时,当前帧framej的权重总是小于上一次叠加得到的静态图,因此当前帧中对应的动态目标只会获得越来越少的权重,而静态图中的静态目标(包括当前场景的背景和静止车辆)越来越凸显出来,从而能够有效得到静态目标。
步骤S602,对静态图和当前帧进行透视检测得到静态检测结果;
这里,透视检测包括如下两个步骤:
步骤S602a,对当前帧进行初次检测,并根据检测结果进行透视关系分析;
这里,首先对当前帧进行检测,得到检测结果,然后利用线性回归算法对检测结果中的检测框和y轴坐标的关系进行拟合,从而得到表示当前场景中透视关系的透视图。如图3B所示,根据线性回归拟合结果51可以得到当前场景的透视图52。
步骤S602b,利用透视图,对静态图和当前帧进行尺度归一化检测,得到静态检测结果。
这里,参见图3B,首先根据透视关系对静态图和当前帧进行局部区域划分,可以对应透视图52中的各个区域对静态图和当前帧进行局部区域划分;然后采用双线性插值法将静态图和当前帧中划分的每一局部区域插值至同一大小尺度,以此保证静态图和当前帧中的车辆被缩放到较小的尺度变化范围;最后结合尺度归一化后的静态图53,进行二次检测得到最终的静态检测结果54。在一些实施例中,还可以通过比对静态检测结果与当前帧,在最终的检测结果中只保留静态图和当前帧中都有的目标。在实施时,可以将静态图中的目标中,在当前帧中也存在且在静态图和当前帧中对应的检测框交并比(intersection-over-union,IoU)小于0.6的目标确定为静态图和当前帧中都有的目标。
步骤S603,根据静态检测结果,更新时空信息矩阵,并分析该时空信息矩阵得到异常事件。
这里,步骤S603进一步可以包括:
步骤S603a,建立时空信息矩阵;
首先建立6个正比于图像流中图像像素矩阵大小的时空信息矩阵,分别用于存储对应位置停车状态、停车开始时间、停车结束时间、累计停车次数、连续未停车次数、检测累计得分。这里,考虑到采用与图像流中图像像素矩阵大小的矩阵进行检测时计算量太大,可以对像素矩阵进行降采样,得到小于原图大小的矩阵。矩阵建立好之后,还需要将矩阵进行初始化,可以将矩阵中的每一元素都初始化为0。
步骤S603b,根据静态检测结果更新信息矩阵;
对于每一次检测的静态检测结果,可以根据静态检测结果得到一个与时空信息矩阵大小相同的二值矩阵,该二值矩阵中的每一元素用于表示静态检测结果中对应位置是否有静止目标,有静止目标的位置设为1,无静止目标的位置设为0;
在二值矩阵为1的位置,将时空信息矩阵中该位置对应的累计停车次数加1、对应的停车结束时间更新为当前时间、对应的连续未停车次数置0、对应的检测得分加上静态检测结果中该位置检测到的目标对应的检测框得分。
在二值矩阵为0的位置,将时空信息矩阵中该位置对应的连续未停车次数加1。
对于累计停车次数为1的位置,将该位置对应的停车开始时间更新为当前时间。
对于累计停车次数超过特定的累计检测次数阈值的位置,将该位置对应的停车状态更新为1,以表示当前该位置异常。
对于连续未停车次数超过特定的连续未停车次数阈值的位置,将该位置对应的停车状态更新为0,以表示当前该位置非异常。
步骤S603c,确定异常停车事件和异常起始时间。
这里,首先检测是否已输出异常开始,若未输出异常开始,则判断停车状态为1的位置中,停车结束时间减停车开始时间的最大值是否超过停留时间阈值,若超过则搜索离该最大值对应的位置最近的检测框作为异常停车区域,并回溯该位置连续多帧未被检测到静止车辆的时间作为异常开始时间,此时输出异常开始。若输出异常开始,则判断对应位置连续未停车次数是否超过检测次数阈值,超过则将当前时间作为异常结束时间,并输出异常结束。
最终将检测到的所有异常停车事件通过Re-ID处理和时间维度的合并得到最后的结果。参见图3C,基于最大峰值区域输出的异常停车事件610中可能存在重复的疑似异常停车事件62i,可以对检测到的所有疑似异常停车事件62i进行NMS处理和/或Re-ID处理,从而得到最终的异常停车事件63i,这里,i为大于0的整数。
在实际交通场景中,交通出现拥堵或者缓行也会导致车辆的停止,为了有效排除这类情况,在一些实施例中还可以引入基于车辆历史轨迹的消隐点估计,并根据消隐点估计车辆的行驶方向线以及排队长度,对检测到的异常停车车辆进行进一步判断,根据异常停车车辆的排队长度判断是否为异常停车事件以及进行异常事件告警。参见图3D,通过统计当前帧中检测到的各车辆的中心点,可以得到当前空间的车辆轨迹直线71,将各车辆的中心点组成的点集映射到钻石空间坐标系,可以得到钻石空间坐标系中的折线组72,确定折线组72中各折线的最大相交点73,再将该最大相交点73映射回当前帧中,可以得到消隐点74,(u0,v0)为消隐点74在当前帧对应的坐标系中的坐标。参见图3E,当检测到异常停车事件时,可以将消隐点74和异常停车事件中异常停车车辆对应的检测框75的中心之间的连接线作为行驶方向线76,统计图中与行驶方向线76相交的车辆的数量,判断是否要输出异常停车事件。若与行驶方向线相交的车辆的数量小于特定车辆数量阈值,则可以确定当前没有发生交通拥堵或缓行,可以输出异常停车事件。
本申请实施例提供的停车检测方法,利用背景建模的方式获得静态图,并在静态和动态下同时分析,可以有效消除动态车辆,进而有效地获取静态目标,适应于各种场景。并且,在进行车辆检测时引入交通场景的透视关系,可以在确保检测准确性的同时有效地提高检测召回率。此外,采用基于时空信息矩阵的异常判别方法,相比于相关技术中基于目标跟踪的异常检测方法,可以将条形轨迹的分析转换为空间位置的分析,这样不仅可以准确地定位异常的开始和停止时间,而且可以有效地提高***的鲁棒性。
本申请实施例提供的停车检测方法,与相关技术中的检测方法相比,存在以下有益效果:
1)相关技术主要利用目标跟踪获得轨迹,然后分析轨迹位置判断静态目标,而本申请实施例提供的方法利用背景建模提取静态目标,相比较跟踪,更直接和稳定;
2)相关技术往往直接检测或者多尺度测试,而本申请实施例提供的方法引入透视关系来提升检测效果,能够有效使用透视场景明显的尺度变化,提升检测效果,提高异常检测召回率;
3)相关技术中主要利用目标跟踪获得轨迹,然后分析轨迹位置获取起止时间,而本申请实施例提供的方法将场景中车辆停留时间等信息保存在时空信息矩阵中,利用时空信息矩阵解析异常停车的开始结束时间以及位置信息,相比较轨迹分析,只依赖检测,无需跟踪,泛化性和鲁棒性更强;
4)本申请实施例提供的停车检测方法可以基于当前帧的车辆检测结果,确定当前是否为堵车状态,并在当前为非堵车状态的情况下,将候选异常停车事件确定为异常停车事件,可以有效避免将拥堵时排队的车辆检测为异常停车车辆,从而可以有效提高异常停车事件的检测准确率,避免误报。
基于前述的实施例,本申请实施例提供一种停车检测装置,该装置包括所包括的各单元、以及各单元所包括的各模块,可以通过计算机设备中的处理器来实现;当然也可通过具体的逻辑电路实现;在实施的过程中,处理器可以为中央处理器(CPU)、微处理器(MPU)、数字信号处理器(DSP)或现场可编程门阵列(FPGA)等。
图4为本申请实施例停车检测装置的组成结构示意图,如图4所示,装置700包括:第一更新模块710、第一检测模块720、第二更新模块730和确定模块740,其中:
第一更新模块710,用于利用待检测图像流中的当前帧,更新当前空间的静态图;其中,所述静态图至少包括当前空间内的静止车辆。
第一检测模块720,用于基于所述静态图,对当前空间各区域的静止车辆进行检测,得到检测结果;
第二更新模块730,用于基于所述检测结果,更新所述各区域的停车状态信息;
确定模块740,用于基于所述各区域的停车状态信息,确定异常停车事件。
在一些实施例中,第一更新模块还用于:采用预设的叠加权重,对静态图和所述当前帧进行叠加,得到叠加后的图像;其中,所述静态图的权重值大于所述当前帧的权重值;将所述叠加后的图像更新为新的静态图。
在一些实施例中,第一检测模块还用于:确定所述当前空间中车辆的尺寸与车辆在所述当前空间所处的位置之间的对应关系;基于所述对应关系,对所述静态图进行尺度归一化处理;基于尺度归一化处理后的所述静态图,对当前空间各区域的静止车辆进行检测,得到检测结果。
在一些实施例中,第一检测模块还用于:对所述当前帧中的车辆进行检测,得到第一检测结果;对所述第一检测结果中每一车辆的尺寸,与所述车辆在特定维度的位置之间的关系进行拟合,得到当前空间中车辆的尺寸与车辆在所述当前空间所处的位置之间的对应关系。
在一些实施例中,第一检测模块还用于:基于所述对应关系,对所述当前帧进行尺度归一化处理;对尺度归一化处理后的所述当前帧中的车辆进行检测,得到第二检测结果;对尺度归一化处理后的所述静态图中的车辆进行检测,得到第三检测结果;将所述第二检测结果和所述第三检测结果中位置重叠的车辆确定为当前空间的静止车辆。
在一些实施例中,第一检测模块还用于:针对所述第三检测结果中的每一车辆,当所述车辆在尺度归一化处理后的所述当前帧中所占区域与所述车辆的在尺度归一化处理后的所述静态图中所占区域的交并比大于特定的交并比阈值时,将所述车辆确定为静止车辆。
在一些实施例中,所述停车状态信息包括停车状态、停车开始时间、停车结束时间、累计停车次数、连续未停车次数。对应地,第二更新模块还用于:基于所述检测结果,确定所述各区域是否检测到静止车辆;针对当前空间的每一区域,基于所述区域是否检测到静止车辆更新所述累计停车次数、停车开始时间、停车结束时间、连续未停车次数;当所述区域的累计停车次数超过第一次数阈值时,将对应的停车状态更新为异常;当所述区域的连续未停车次数超过第二次数阈值时,将对应的停车状态更新为非异常。
在一些实施例中,所述停车状态信息包括停车状态,所述确定模块还用于:在所述各区域中停车状态为异常的区域数量大于第一数量阈值时,确定发生异常停车事件;其中,在所述各区域中停车状态为异常的区域数量大于第二数量阈值时,确定所述异常停车事件开始,所述第二数量阈值不超过所述第一数量阈值;在所述各区域中停车状态为异常的区域数量小于第三数量阈值时,确定所述异常停车事件结束,所述第三数量阈值小于所述第二数量阈值。
在一些实施例中,所述停车状态信息包括停车时间和持续未停车时间,所述确定模块还用于:在所述各区域中至少一个区域的停车时间大于第一时间阈值时,确定发生异常停车事件;其中,在所述各区域中至少一个区域的停车时间大于第二时间阈值时,确定所述异常停车事件开始,所述第二时间阈值不超过所述第一时间阈值;在所述各区域中持续未停车时间的最小值大于第三时间阈值时,确定所述异常停车事件结束。
在一些实施例中,所述停车状态信息包括停车状态和停车时间,所述停车时间包括停车开始时间和停车结束时间,所述确定模块还用于:确定所述各区域中停车状态为异常的至少一个候选异常区域;基于每一候选异常区域对应的停车结束时间与停车开始时间,确定每一候选异常区域的车辆停留时间;在各车辆停留时间的最大值超过停留时间阈值的情况下,确定发生异常停车事件。
在一些实施例中,所述异常停车事件的信息包括异常停车车辆、异常停车区域、异常开始时间。对应地,确定模块还用于:将所述至少一个候选异常区域中车辆停留时间最长的区域确定为目标区域;对所述当前帧中的车辆进行检测,得到当前帧的车辆检测结果;将所述车辆检测结果中距离所述目标区域中心点最近的车辆确定为异常停车车辆;将所述异常停车车辆在所述当前帧中所在的区域确定为异常停车区域;针对待检测图像流中的帧图像,从所述当前帧逐帧往前回溯,确定异常停车车辆出现在所述异常停车区域的起始帧;将所述起始帧对应的时间确定为异常开始时间。
在一些实施例中,所述停车状态信息包括连续未停车次数,所述异常停车事件的信息还包括异常结束时间。对应地,确定模块还用于:判断所述异常停车区域对应的连续未停车次数是否超过第三次数阈值;当所述异常停车区域对应的连续未停车次数超过第三次数阈值时,确定异常停车事件结束,并将当前时间确定为异常结束时间。
在一些实施例中,所述异常停车车辆具备特定的车辆标识。对应地,确定模块还用于:当所述异常停车事件数量大于1时,将所述异常停车事件中,在车辆标识维度和/或时间维度满足特定合并条件的事件进行合并。
在一些实施例中,所述各区域包括当前空间的行车区域中的各区域,所述装置还包括:第二检测模块,用于对待检测图像流中的每一帧图像中的车辆进行检测,得到每一所述帧图像的车辆检测结果;叠加模块,用于对每一所述帧图像的车辆检测结果进行叠加,得到当前空间的所述行车区域。对应地,第二更新模块还用于基于所述检测结果和所述行车区域,更新所述各区域的停车状态信息。
在一些实施例中,确定模块还用于:对所述当前帧中的车辆进行检测,得到当前帧的车辆检测结果;基于所述车辆检测结果,确定当前是否为堵车状态;在当前为非堵车状态的情况下,输出所述异常停车事件。
在一些实施例中,确定模块还用于:基于所述车辆检测结果中每一车辆的中心点,确定当前空间的消隐点和所述候选异常停车事件中异常停车车辆的行驶方向线;所述行驶方向线为所述异常停车车辆的中心点与所述消隐点之间的连线;确定所述车辆检测结果中与所述行驶方向线相交的车辆的数量;在所述数量小于预设的车辆数量阈值的情况下,确定当前为非堵车状态。
以上装置实施例的描述,与上述方法实施例的描述是类似的,具有同方法实施例相似的有益效果。对于本申请装置实施例中未披露的技术细节,请参照本申请方法实施例的描述而理解。
需要说明的是,本申请实施例中,如果以软件功能模块的形式实现上述的检索方法,并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来,该软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read Only Memory,ROM)、磁碟或者光盘等各种可以存储程序代码的介质。这样,本申请实施例不限制于任何特定的硬件和软件结合。
对应地,本申请实施例提供一种停车检测设备,包括存储器和处理器,所述存储器存储有可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述方法中的步骤。
对应地,本申请实施例提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述方法中的步骤。
这里需要指出的是:以上存储介质和设备实施例的描述,与上述方法实施例的描述是类似的,具有同方法实施例相似的有益效果。对于本申请存储介质和设备实施例中未披露的技术细节,请参照本申请方法实施例的描述而理解。
需要说明的是,图5为本申请实施例中计算机设备的一种硬件实体示意图,如图5所示,该计算机设备800的硬件实体包括:处理器801、通信接口802和存储器803,其中
处理器801通常控制计算机设备800的总体操作。
通信接口802可以使计算机设备通过网络与其他终端或服务器通信。
存储器803配置为存储由处理器801可执行的指令和应用,还可以缓存待处理器801以及计算机设备800中各模块待处理或已经处理的数据(例如,图像数据、音频数据、语音通信数据和视频通信数据),可以通过闪存(FLASH)或随机访问存储器(Random AccessMemory,RAM)实现。
应理解,说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此,在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外,这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解,在本申请的各种实施例中,上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
在本申请所提供的几个实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,如:多个单元或组件可以结合,或可以集成到另一个***,或一些特征可以忽略,或不执行。另外,所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口,设备或单元的间接耦合或通信连接,可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的,作为单元显示的部件可以是、或也可以不是物理单元;既可以位于一个地方,也可以分布到多个网络单元上;可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外,在本申请各实施例中的各功能单元可以全部集成在一个处理单元中,也可以是各单元分别单独作为一个单元,也可以两个或两个以上单元集成在一个单元中;上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:移动存储设备、只读存储器(Read Only Memory,ROM)、磁碟或者光盘等各种可以存储程序代码的介质。
或者,本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括:移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请的实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。
Claims (19)
1.一种停车检测方法,其特征在于,所述方法包括:
利用待检测图像流中的当前帧,更新当前空间的静态图;其中,所述静态图至少包括当前空间内的静止车辆;
基于所述静态图,对当前空间各区域的静止车辆进行检测,得到检测结果;
基于所述检测结果,更新所述各区域的停车状态信息;
基于所述各区域的停车状态信息,确定异常停车事件。
2.根据权利要求1所述的方法,其特征在于,所述利用待检测图像流中的当前帧,更新当前空间的静态图,包括:
采用预设的叠加权重,对静态图和所述当前帧进行叠加,得到叠加后的图像;其中,所述静态图的权重值大于所述当前帧的权重值;
将所述叠加后的图像更新为新的静态图。
3.根据权利要求1所述的方法,其特征在于,所述基于所述静态图,对当前空间各区域的静止车辆进行检测,得到检测结果,包括:
确定所述当前空间中车辆的尺寸与车辆在所述当前空间所处的位置之间的对应关系;
基于所述对应关系,对所述静态图进行尺度归一化处理;
基于尺度归一化处理后的所述静态图,对当前空间各区域的静止车辆进行检测,得到检测结果。
4.根据权利要求3所述的方法,其特征在于,所述确定所述当前空间中车辆的尺寸与车辆在所述当前空间所处的位置之间的对应关系,包括:
对所述当前帧中的车辆进行检测,得到第一检测结果;
对所述第一检测结果中每一车辆的尺寸,与所述车辆在特定维度的位置之间的关系进行拟合,得到当前空间中车辆的尺寸与车辆在所述当前空间所处的位置之间的对应关系。
5.根据权利要求3所述的方法,其特征在于,所述基于尺度归一化处理后的所述静态图,对当前空间各区域的静止车辆进行检测,得到检测结果,包括:
基于所述对应关系,对所述当前帧进行尺度归一化处理;
对尺度归一化处理后的所述当前帧中的车辆进行检测,得到第二检测结果;
对尺度归一化处理后的所述静态图中的车辆进行检测,得到第三检测结果;
将所述第二检测结果和所述第三检测结果中位置重叠的车辆确定为当前空间的静止车辆。
6.根据权利要求5所述的方法,其特征在于,所述将所述第二检测结果和所述第三检测结果中位置重叠的车辆确定为当前空间的静止车辆,包括:
针对所述第三检测结果中的每一车辆,当所述车辆在尺度归一化处理后的所述当前帧中所占区域与所述车辆的在尺度归一化处理后的所述静态图中所占区域的交并比大于特定的交并比阈值时,将所述车辆确定为静止车辆。
7.根据权利要求1至6任一项所述的方法,其特征在于,所述停车状态信息包括停车状态、停车开始时间、停车结束时间、累计停车次数、连续未停车次数;
所述基于所述检测结果,更新所述各区域的停车状态信息,包括:
基于所述检测结果,确定所述各区域是否检测到静止车辆;
针对当前空间的每一区域,基于所述区域是否检测到静止车辆更新所述累计停车次数、停车开始时间、停车结束时间、连续未停车次数;
当所述区域的累计停车次数超过第一次数阈值时,将对应的停车状态更新为异常;
当所述区域的连续未停车次数超过第二次数阈值时,将对应的停车状态更新为非异常。
8.根据权利要求1至7任一项所述的方法,其特征在于,所述停车状态信息包括停车状态,所述基于所述各区域的停车状态信息,确定异常停车事件,包括:
在所述各区域中停车状态为异常的区域数量大于第一数量阈值时,确定发生异常停车事件;其中,在所述各区域中停车状态为异常的区域数量大于第二数量阈值时,确定所述异常停车事件开始,所述第二数量阈值不超过所述第一数量阈值;在所述各区域中停车状态为异常的区域数量小于第三数量阈值时,确定所述异常停车事件结束,所述第三数量阈值小于所述第二数量阈值。
9.根据权利要求1至8任一项所述的方法,其特征在于,所述停车状态信息包括停车时间和持续未停车时间,所述基于所述各区域的停车状态信息,确定异常停车事件,包括:
在所述各区域中至少一个区域的停车时间大于第一时间阈值时,确定发生异常停车事件;其中,在所述各区域中至少一个区域的停车时间大于第二时间阈值时,确定所述异常停车事件开始,所述第二时间阈值不超过所述第一时间阈值;在所述各区域中持续未停车时间的最小值大于第三时间阈值时,确定所述异常停车事件结束。
10.根据权利要求1所述的方法,其特征在于,所述停车状态信息包括停车状态和停车时间,所述停车时间包括停车开始时间和停车结束时间,所述基于所述各区域的停车状态信息,确定异常停车事件,包括:
确定所述各区域中停车状态为异常的至少一个候选异常区域;
基于每一候选异常区域对应的停车结束时间与停车开始时间,确定每一候选异常区域的车辆停留时间;
在各车辆停留时间的最大值超过停留时间阈值的情况下,确定发生异常停车事件。
11.根据权利要求10所述的方法,其特征在于,所述异常停车事件的信息包括异常停车车辆、异常停车区域、异常开始时间;
所述基于所述各区域的停车状态信息,确定异常停车事件,还包括:
将所述至少一个候选异常区域中车辆停留时间最长的区域确定为目标区域;
对所述当前帧中的车辆进行检测,得到当前帧的车辆检测结果;
将所述车辆检测结果中距离所述目标区域中心点最近的车辆确定为异常停车车辆;
将所述异常停车车辆在所述当前帧中所在的区域确定为所述异常停车区域;
针对待检测图像流中的帧图像,从所述当前帧逐帧往前回溯,确定异常停车车辆出现在所述异常停车区域的起始帧;
将所述起始帧对应的时间确定为所述异常开始时间。
12.根据权利要求11所述的方法,其特征在于,所述停车状态信息包括连续未停车次数,所述异常停车事件的信息还包括异常结束时间;
所述基于所述各区域的停车状态信息,确定异常停车事件,还包括:
判断所述异常停车区域对应的连续未停车次数是否超过第三次数阈值;
当所述异常停车区域对应的连续未停车次数超过第三次数阈值时,确定所述异常停车事件结束,并将当前时间确定为所述异常结束时间。
13.根据权利要求11或12所述的方法,其特征在于,所述异常停车车辆具备特定的车辆标识;
所述基于所述各区域的停车状态信息,确定异常停车事件,还包括:
当所述异常停车事件数量大于1时,将所述异常停车事件中,在车辆标识维度和/或时间维度满足特定合并条件的事件进行合并。
14.根据权利要求1至13任一项所述的方法,其特征在于,所述方法还包括:
对待检测图像流中的每一帧图像中的车辆进行检测,得到每一所述帧图像的车辆检测结果;
对每一所述帧图像的车辆检测结果进行叠加,得到当前空间的行车区域;
对应地,所述基于所述检测结果,更新所述各区域的停车状态信息,包括:
基于所述检测结果和所述行车区域,更新所述各区域的停车状态信息。
15.根据权利要求1至14任一项所述的方法,其特征在于,所述方法还包括:
对所述当前帧中的车辆进行检测,得到当前帧的车辆检测结果;
基于所述车辆检测结果,确定当前是否为堵车状态;
在当前为非堵车状态的情况下,输出所述异常停车事件。
16.根据权利要求15所述的方法,其特征在于,所述基于所述车辆检测结果,确定当前是否为堵车状态,包括:
基于所述车辆检测结果中每一车辆的中心点,确定当前空间的消隐点和所述候选异常停车事件中异常停车车辆的行驶方向线;所述行驶方向线为所述异常停车车辆的中心点与所述消隐点之间的连线;
确定所述车辆检测结果中与所述行驶方向线相交的车辆的数量;
在所述数量小于预设的车辆数量阈值的情况下,确定当前为非堵车状态。
17.一种停车检测装置,其特征在于,包括:
第一更新模块,用于利用待检测图像流中的当前帧,更新当前空间的静态图;其中,所述静态图至少包括当前空间内的静止车辆;
第一检测模块,用于基于所述静态图,对当前空间各区域的静止车辆进行检测,得到检测结果;
第二更新模块,用于基于所述检测结果,更新所述各区域的停车状态信息;
确定模块,用于基于所述各区域的停车状态信息,确定异常停车事件。
18.一种停车检测设备,包括存储器和处理器,所述存储器存储有可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现权利要求1至16任一项所述方法中的步骤。
19.一种计算机存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1至16任一项所述方法中的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011625736.XA CN112633228A (zh) | 2020-12-31 | 2020-12-31 | 停车检测方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011625736.XA CN112633228A (zh) | 2020-12-31 | 2020-12-31 | 停车检测方法、装置、设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112633228A true CN112633228A (zh) | 2021-04-09 |
Family
ID=75289988
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011625736.XA Withdrawn CN112633228A (zh) | 2020-12-31 | 2020-12-31 | 停车检测方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112633228A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114049771A (zh) * | 2022-01-12 | 2022-02-15 | 华砺智行(武汉)科技有限公司 | 基于双模态的交通异常检测方法、***和存储介质 |
CN114882455A (zh) * | 2022-07-04 | 2022-08-09 | 南京信息工程大学 | 基于改进RetinaNet的斑马线礼让行人检测方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105160326A (zh) * | 2015-09-15 | 2015-12-16 | 杭州中威电子股份有限公司 | 一种高速公路上停车的自动检测方法与装置 |
CN109285341A (zh) * | 2018-10-31 | 2019-01-29 | 中电科新型智慧城市研究院有限公司 | 一种基于实时视频的城市道路车辆异常停驶检测方法 |
CN110705461A (zh) * | 2019-09-29 | 2020-01-17 | 北京百度网讯科技有限公司 | 一种图像处理方法及装置 |
-
2020
- 2020-12-31 CN CN202011625736.XA patent/CN112633228A/zh not_active Withdrawn
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105160326A (zh) * | 2015-09-15 | 2015-12-16 | 杭州中威电子股份有限公司 | 一种高速公路上停车的自动检测方法与装置 |
CN109285341A (zh) * | 2018-10-31 | 2019-01-29 | 中电科新型智慧城市研究院有限公司 | 一种基于实时视频的城市道路车辆异常停驶检测方法 |
CN110705461A (zh) * | 2019-09-29 | 2020-01-17 | 北京百度网讯科技有限公司 | 一种图像处理方法及装置 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114049771A (zh) * | 2022-01-12 | 2022-02-15 | 华砺智行(武汉)科技有限公司 | 基于双模态的交通异常检测方法、***和存储介质 |
CN114882455A (zh) * | 2022-07-04 | 2022-08-09 | 南京信息工程大学 | 基于改进RetinaNet的斑马线礼让行人检测方法 |
CN114882455B (zh) * | 2022-07-04 | 2022-09-27 | 南京信息工程大学 | 基于改进RetinaNet的斑马线礼让行人检测方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11643076B2 (en) | Forward collision control method and apparatus, electronic device, program, and medium | |
JP6180482B2 (ja) | マルチキュー・オブジェクトの検出および分析のための方法、システム、製品、およびコンピュータ・プログラム(マルチキュー・オブジェクトの検出および分析) | |
JP2009064410A (ja) | 車両の死角における移動物体を検知するための方法、および死角検知装置 | |
CN112633228A (zh) | 停车检测方法、装置、设备及存储介质 | |
Alpar et al. | Intelligent collision warning using license plate segmentation | |
Mehboob et al. | Trajectory based vehicle counting and anomalous event visualization in smart cities | |
Liang et al. | Traffic incident detection based on a global trajectory spatiotemporal map | |
CN117315551B (zh) | 用于火焰报警的方法及计算设备 | |
CN116824549B (zh) | 基于多检测网络融合的目标检测方法、装置及车辆 | |
Karim et al. | An attention-guided multistream feature fusion network for localization of risky objects in driving videos | |
CN114913470A (zh) | 一种事件检测方法及装置 | |
Piao et al. | Lane detection of unstructured roads based on WS-P2PNet | |
CN114387310A (zh) | 一种基于深度学习的城市主干道路车流量统计方法 | |
Vasu | An effective step to real-time implementation of accident detection system using image processing | |
CN114419531A (zh) | 目标检测方法、目标检测***以及计算机可读存储介质 | |
Shimomura et al. | Potential Risk Estimation with Single Monocular Camera | |
Maaloul | Video-based algorithms for accident detections | |
CN113962249B (zh) | 压线识别方法及装置、电子设备和存储介质 | |
Pranata | Improved Visual Background Extractor for Illegally Parked Vehicle Detection. | |
Nine et al. | Dataset Evaluation for Multi Vehicle Detection using Vision Based Techniques | |
CN116612642B (zh) | 一种车辆连续变道检测方法及电子设备 | |
Shao et al. | Robust visual surveillance based traffic information analysis and forewarning in urban dynamic scenes | |
Borhade et al. | A Heuristic Approach Using Intelligent Transportation System for the Detection of Vehicles for Effectively Road Traffic Management | |
Mandal | Artificial intelligence enabled automatic traffic monitoring system | |
Gao et al. | Traffic incident detection based on the width characteristic of the moving object marker |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20210409 |