CN113066306B - 一种路侧停车的管理方法及装置 - Google Patents

一种路侧停车的管理方法及装置 Download PDF

Info

Publication number
CN113066306B
CN113066306B CN202110317344.5A CN202110317344A CN113066306B CN 113066306 B CN113066306 B CN 113066306B CN 202110317344 A CN202110317344 A CN 202110317344A CN 113066306 B CN113066306 B CN 113066306B
Authority
CN
China
Prior art keywords
motion vector
area
image
vehicle
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110317344.5A
Other languages
English (en)
Other versions
CN113066306A (zh
Inventor
闫军
王永飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Super Vision Technology Co Ltd
Original Assignee
Super Vision Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Super Vision Technology Co Ltd filed Critical Super Vision Technology Co Ltd
Priority to CN202110317344.5A priority Critical patent/CN113066306B/zh
Publication of CN113066306A publication Critical patent/CN113066306A/zh
Priority to PCT/CN2021/112931 priority patent/WO2022198897A1/zh
Application granted granted Critical
Publication of CN113066306B publication Critical patent/CN113066306B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/14Traffic control systems for road vehicles indicating individual free spaces in parking areas
    • G08G1/145Traffic control systems for road vehicles indicating individual free spaces in parking areas where the indication depends on the parking areas
    • G08G1/148Management of a network of parking areas
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/017Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明实施例提供了路侧停车的管理方法及装置,该方法包括:实时获取多个摄像机采集的视频图像信息,确定各视频帧图像中的泊位区域;扩展各视频帧图像中的泊位区域,得到各视频帧的稠密光流计算的感兴趣区域;对所述感兴趣区域进行稠密光流计算,得到每一帧图像感兴趣区域的运动矢量方向和运动矢量距离;通过稠密光流计算在预定时长的统计区间内,各帧图像感兴趣区域的运动矢量方向平均值和运动矢量距离平均值;确定所述泊位区域内疑似发生出场/入场事件的车辆;确定所述车辆是否发生出场/入场事件。通过本发明,极大提升了主机算力的利用率,从而实现了高效、精确地对多杆位、多路视频相机的停车事件进行分析处理。

Description

一种路侧停车的管理方法及装置
技术领域
本发明涉及智能交通技术领域,尤其涉及一种路侧停车的管理方法及装置。
背景技术
随着时代的发展,城市路侧智慧停车管理作为城市智慧交通管理中的极其重要一环,开始进入一个快速发展和应用的时期。当前人工智能、物联网、云计算、大数据等新一代信息技术快速发展,以及边缘侧GPU(Central Processing Unit,中央处理器)、NPU(Neural-network Processing Units,网络处理器)等AI(Artificial Intelligence,人工智能)加速计算硬件平台的算力快速提升,为城市级路侧智慧停车与人工智能技术的深度融合,提供了重要的技术基础。
目前在部分城市已商用落地的路侧停车管理技术主要包含了地磁、低位路面视频桩、高位视频几种方式,高位视频由于其取证信息丰富、证据链完备、安装位置高不易损坏、场景适应性强、可靠性高,已成为各大城市优先发展的路侧停车管理方式。
当前基于高位视频的路侧停车管理方案在技术方案上主要有如下几种:
技术一:视频流实时检测跟踪方式
该方式通过不间断的对视频相机采集的每一帧实时图像进行车辆目标检测和跟踪,同时对每一帧进行车牌识别,从而获得停车事件相关信息和车辆相关信息。但是,通过该方式进行管理,停车管理设备需要持续不断的对视频相机的每一帧图像进行实时跟踪处理,然而停车行为本身是一个间歇性的行为,必然在某时间段内,车辆存在无出入场的行为,由于无法预知车辆何时发生出入场动作,因此该方式只能持续地对视频图像进行分析,但是视频图像分析的过程需要使用深度学习目标检测与跟踪算法,需要消耗边缘AI计算主机大量的算力,因此将无法并行处理较多的视频相机图像,导致该方式无法同时管理更多的泊位。
技术二:基于图像差分算法感知方式
该方式对视频相机采集的每一帧图像进行差分比对,当发现停车目标区域有超过图像差分阈值的变化,即对停车过程进行更深入的视频图像分析处理。该方式由于使用了差分检测算法,差分算法的算力消耗小,避免了技术一视频流实时检测跟踪方式下,不间断地对视频相机每一帧的实时图像进行车辆目标检测和实时跟踪算力的消耗浪费,一定程度上提高了单台边缘AI计算主机可以并行处理的视频相机个数。但是,差分算法只能检测图像像素值的大小变化,无法确定物体运动方向,行人、过路车等干扰因素将导致大量的差分误判,以及对停车事件发生的时间区间估计产生较大的误差,从而对后续的视频图像分析造成严重影响。
技术三:使用雷达等距离传感器辅助探测,结合视频图像分析
在该方式下,需要在杆位上安装距离传感器(如雷达传感器、超声波传感器等),当有车辆出现在停车目标区域,距离传感器探测到目标区域的距离变化,则通知监控设备进行抓拍,并识别车辆车牌信息,从而进行泊位的车辆管理。但是,该管理方式需要增加距离传感器,使得管理成本较高,且在雨雪等环境下,距离传感器测量得到的距离精度误差极大,抗干扰能力差,从而造成检测精度大大降低。
因此,急需一种能够高效、精确地检测泊位车辆,同时管理成本较低的路侧停车管理方法。
发明内容
本发明实施例提供一种路侧停车的管理方法及装置,在保证停车事件精确分析的前提下,极大提升主机算力的利用率,从而实现了高效、精确地对多杆位、多路视频相机的停车事件进行分析处理。
一方面,本发明实施例提供了一种路侧停车的管理的方法,包括:
实时获取多个摄像机采集的视频图像信息,确定各视频帧图像中的泊位区域;
扩展各视频帧图像中的泊位区域,得到各视频帧的稠密光流计算的感兴趣区域;
对所述感兴趣区域进行稠密光流计算,得到每一帧图像感兴趣区域的运动矢量方向和运动矢量距离;
根据得到的每一帧图像感兴趣区域的运动矢量方向和运动矢量距离,通过稠密光流计算在预定时长的统计区间内,各帧图像感兴趣区域的运动矢量方向平均值和运动矢量距离平均值;
根据所述运动矢量方向平均值和运动矢量距离平均值,确定所述泊位区域内疑似发生出场/入场事件的车辆;
基于所述视频图像信息,识别疑似发生出场/入场事件车辆的车辆信息,并根据所述车辆信息确定所述车辆是否发生出场/入场事件。
进一步地,在所述实时获取多个摄像机采集的视频图像信息,确定各视频帧图像中的泊位区域的步骤之前,包括:
确定预定图像采集区域内车辆泊位的各个顶点在各个图像中的坐标;
根据所述坐标,确定各个摄像机视频采集视频帧图像中的泊位区域。
进一步地,所述扩展各视频帧图像中的泊位区域,得到各视频帧的稠密光流计算的感兴趣区域,包括:
在各视频帧图像二维坐标系中,确定各视频帧图像中泊位区域的坐标信息,并将泊位区域矩形框的长边沿着Y轴值逐渐减小的方向延伸预定长度,得到各视频帧的稠密光流计算的感兴趣区域。
进一步地,所述对所述感兴趣区域进行稠密光流计算,得到每一帧图像感兴趣区域的运动矢量方向和运动矢量距离,包括:
解码每一帧图像,并对解码后各帧图像中的感兴趣区域进行稠密光流计算,得到每一帧图像感兴趣区域的运动矢量方向和运动矢量距离。
进一步地,所述对解码后各帧图像中的感兴趣区域进行稠密光流计算,得到每一帧图像感兴趣区域的运动矢量方向和运动矢量距离,包括:
针对每一帧图像,将解码后当前帧的感兴趣区域平均分为预定个数的计算区域;
对每一个所述计算区域进行稠密光流计算,得到各个计算区域的运动矢量方向和运动矢量距离;
将所述各个计算区域的运动矢量方向和运动矢量距离求平均值,得到当前帧感兴趣区域的运动矢量方向和运动矢量距离。
进一步地,所述根据所述运动矢量方向平均值和运动矢量距离平均值,确定所述泊位区域内疑似发生出场/入场事件的车辆,包括:
判断所述运动矢量距离平均值是否大于预定像素阈值,若大于,确定所述泊位区域内存在疑似发生出入场事件的车辆;
在各视频图像的任一视频帧图像的二维坐标系中,确定所述运动矢量方向平均值的运动方向;
若所述运动矢量方向平均值的运动方向指向泊位区域内,确定所述车辆疑似发生入场事件;
若所述运动矢量方向平均值运动方向指向泊位区域外,确定所述车辆疑似发生出场事件。
进一步地,所述基于所述视频图像信息,识别疑似发生出场/入场事件车辆的车辆信息,并根据所述车辆信息确定所述车辆是否发生出场/入场事件,包括:
确定所述车辆疑似发生出场/入场事件的起止时间,分析所述起止时间内的待识别视频图像信息中车辆的车辆信息;
根据所述车辆信息,对所述待识别视频图像信息中的所述车辆进行检测跟踪,确定所述车辆是否发生出场/入场事件。
另一方面,本发明实施例提供了一种路侧停车的管理的装置,包括:
获取及确定模块,用于实时获取多个摄像机采集的视频图像信息,确定各视频帧图像中的泊位区域;
扩展模块,用于扩展各视频帧图像中的泊位区域,得到各视频帧的稠密光流计算的感兴趣区域;
第一计算模块,用于对所述感兴趣区域进行稠密光流计算,得到每一帧图像感兴趣区域的运动矢量方向和运动矢量距离;
第二计算模块,用于根据得到的每一帧图像感兴趣区域的运动矢量方向和运动矢量距离,通过稠密光流计算在预定时长的统计区间内,各帧图像感兴趣区域的运动矢量方向平均值和运动矢量距离平均值;
第一确定模块,用于根据所述运动矢量方向平均值和运动矢量距离平均值,确定所述泊位区域内疑似发生出场/入场事件的车辆;
识别及确定模块,用于基于所述视频图像信息,识别疑似发生出场/入场事件车辆的车辆信息,并根据所述车辆信息确定所述车辆是否发生出场/入场事件。
进一步地,包括:
第二确定模块,用于确定预定图像采集区域内车辆泊位的各个顶点在各个图像中的坐标;
第三确定模块,用于根据所述坐标,确定各个摄像机视频采集视频帧图像中的泊位区域。
进一步地,所述扩展模块,具体用于
在各视频帧图像二维坐标系中,确定各视频帧图像中泊位区域的坐标信息,并将泊位区域矩形框的长边沿着Y轴值逐渐减小的方向延伸预定长度,得到各视频帧的稠密光流计算的感兴趣区域。
进一步地,所述第一计算模块,包括:
解码单元,用于解码每一帧图像,并对解码后各帧图像中的感兴趣区域进行稠密光流计算,得到每一帧图像感兴趣区域的运动矢量方向和运动矢量距离。
进一步地,所述解码单元,具体用于
针对每一帧图像,将解码后当前帧的感兴趣区域平均分为预定个数的计算区域;
对每一个所述计算区域进行稠密光流计算,得到各个计算区域的运动矢量方向和运动矢量距离;
将所述各个计算区域的运动矢量方向和运动矢量距离求平均值,得到当前帧感兴趣区域的运动矢量方向和运动矢量距离。
进一步地,所述第一确定模块,具体用于
判断所述运动矢量距离平均值是否大于预定像素阈值,若大于,确定所述泊位区域内存在疑似发生出入场事件的车辆;
在各视频图像的任一视频帧图像的二维坐标系中,确定所述运动矢量方向平均值的运动方向;
若所述运动矢量方向平均值的运动方向指向泊位区域内,确定所述车辆疑似发生入场事件;
若所述运动矢量方向平均值运动方向指向泊位区域外,确定所述车辆疑似发生出场事件。
进一步地,所述识别及确定模块,具体用于
确定所述车辆疑似发生出场/入场事件的起止时间,分析所述起止时间内的待识别视频图像信息中车辆的车辆信息;
根据所述车辆信息,对所述待识别视频图像信息中的所述车辆进行检测跟踪,确定所述车辆是否发生出场/入场事件。
上述技术方案具有如下有益效果:通过本发明,能够同时对多路视频设备采集的视频信息进行图像分析计算,通过对视频信息中的稠密光流计算的感兴趣区域进行稠密光流计算,能够精确地确定每一帧图像的运动矢量方向和运动矢量距离,为后续确定泊位区域内疑似发生出场/入场事件的车辆提供了重要的前提保障,通过确定泊位区域内疑似发生出场/入场事件的车辆,过滤了大量的非必要计算的视频帧图像,极大地降低了后续进行视频图像分析确定该车辆是否发生出场/入场事件的计算量,同时,也极大地降低了对车辆检测跟踪以及车牌算法高实时性的要求,从而实现了高效、精确地对多杆位、多路视频相机的停车事件进行分析处理;实现了在保证停车事件精确分析的前提下,极大地提升了主机算力的利用率,进一步地,极大地降低了停车管理的成本。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例中路侧停车的管理方法流程图;
图2为本发明一实施例中路侧停车的管理装置结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例上述技术方案具有如下有益效果:通过本发明,能够同时对多路视频设备采集的视频信息进行图像分析计算,通过对视频信息中的稠密光流计算的感兴趣区域进行稠密光流计算,能够精确地确定每一帧图像的运动矢量方向和运动矢量距离,为后续确定泊位区域内疑似发生出场/入场事件的车辆提供了重要的前提保障,通过确定泊位区域内疑似发生出场/入场事件的车辆,过滤了大量的非必要计算的视频帧图像,极大地降低了后续进行视频图像分析确定该车辆是否发生出场/入场事件的计算量,同时,也极大地降低了对车辆检测跟踪以及车牌算法高实时性的要求,从而实现了高效、精确地对多杆位、多路视频相机的停车事件进行分析处理;实现了在保证停车事件精确分析的前提下,极大地提升了主机算力的利用率,进一步地,极大地降低了停车管理的成本。
以下结合应用实例对本发明实施例上述技术方案进行详细说明:
本发明应用实例旨在保证停车事件精确分析的前提下,极大提升主机算力的利用率,从而实现了高效、精确地对多杆位、多路视频相机的停车事件进行分析处理。
在一种可能的实现方式中,如在路侧停车管理***S中,包括视频阵列相机、边缘AI计算主机C、交换机、路由器和云端服务器;视频阵列相机用于采集路侧泊位视频信息,多个杆位的视频相机阵列通过交换机级联的方式连接到同一台边缘AI计算主机C上,交换机用于边缘AI计算主机C与各组视频阵列互联,路由器用于边缘AI计算主机C与云服务器之间进行停车取证数据上传;云端服务器,用于接收、处理停车取证信息,生成停车取证记录。首先通过视频阵列相机的多个摄像机,如16个摄像机,AI智能主机C实时获取监控区域的视频图像信息,确定各视频帧图像中的泊位区域;随后扩展各视频帧图像中的泊位区域,得到各视频帧的稠密光流计算的感兴趣区域;对各视频帧的感兴趣区域进行稠密光流计算,得到每一帧图像感兴趣区域的运动矢量方向和运动矢量距离;根据得到的每一帧图像感兴趣区域的运动矢量方向和运动矢量距离,通过稠密光流计算在预定时长的统计区间内,各帧图像感兴趣区域的运动矢量方向平均值和运动矢量距离平均值;根据该运动矢量方向平均值和运动矢量距离平均值,确定泊位区域内疑似发生出场/入场事件的车辆;最后,基于视频图像信息,识别疑似发生出场/入场事件车辆的车辆信息,并根据该车辆信息确定该车辆是否发生出场/入场事件。
本发明实施例中的边缘AI计算主机C,其核心组成是嵌入式人工智能计算平台,该平台的GPU包含了384个CUDA core(一种算术逻辑单元)和48个Tensor core(一种新型处理核心,它执行一种专门的矩阵数学运算,适用于深度学***台。需要说明的是,本发明实施例中虽会以特定边缘AI计算主机为例说明,但在此不做限定。
在一种可能的实现方式中,在步骤101实时获取多个摄像机采集的视频图像信息,确定各视频帧图像中的泊位区域的步骤之前,包括:确定预定图像采集区域内车辆泊位的各个顶点在各个图像中的坐标;根据所述坐标,确定各个摄像机视频采集视频帧图像中的泊位区域。
例如,在路侧停车管理***S中,确定预定图像采集区域内车辆泊位的各个顶点在视频阵列相机采集的各个图像中的坐标,随后根据各图像中各顶点的坐标,确定各个摄像机视频采集视频帧图像中的泊位区域;其中,泊位区域的确定可以在立杆安装摄像机时,调试确定即可,实时进行视频图像识别时无需再次重新确定,需要说明的是,根据实际场景的需求,可人工按需调整重新确定泊位区域,在此不做限定。
在一种可能的实现方式中,步骤102扩展各视频帧图像中的泊位区域,得到各视频帧的稠密光流计算的感兴趣区域,包括:在各视频帧图像二维坐标系中,确定各视频帧图像中泊位区域的坐标信息,并将泊位区域矩形框的长边沿着Y轴值逐渐减小的方向延伸预定长度,得到各视频帧的稠密光流计算的感兴趣区域。
其中,对所述感兴趣区域进行稠密光流计算,得到每一帧图像感兴趣区域的运动矢量方向和运动矢量距离,包括:解码每一帧图像,并对解码后各帧图像中的感兴趣区域进行稠密光流计算,得到每一帧图像感兴趣区域的运动矢量方向和运动矢量距离。
例如,在路侧停车管理***S中,预先确定各个摄像机视频采集视频帧图像中的泊位区域;通过视频阵列相机的多个摄像机实时获取监控区域的视频图像信息,AI智能主机C通过rtsp协议实时获取视频阵列中的多个视频相机采集的h264码流数据,其中视频分辨率为1080*1920,帧率为15帧;随后,基于预先确定的各个摄像机视频采集视频帧图像中的泊位区域,确定实时采集的各视频帧图像中的泊位区域;随后在各视频帧图像二维坐标系中,确定各视频帧图像中泊位区域的坐标信息,其中,各视频帧图像二维坐标系中,各视频帧图像的左上角顶点为视频帧图像二维坐标系的原点,从原点向右是X轴的正方向,从原点向下是Y轴的正方向;随后将泊位区域矩形框的长边沿着Y轴值逐渐减小的方向延伸预定长度,结合已确定的泊位区域的宽度组成的封闭区域,得到各视频帧的稠密光流计算的感兴趣区域。其中,泊位区域矩形框的长边扩展的预定长度可以采用现场标定的方式,即采用一个1.6米的杆直立在摄像机拍摄角方向较远处的泊位矩形框较远处的短泊位线的两个顶点,同时记录杆体顶端在图像上的投影点,图像上泊位线顶点到杆体顶端投影点的距离即为扩展的长度。随后,AI智能主机C解码每一帧图像,并对解码后各帧图像中的感兴趣区域进行稠密光流计算,得到每一帧图像感兴趣区域的运动矢量方向和运动矢量距离,其中AI智能主机C,采用自带的多路并行硬件解码器,对获取的各路视频的h264(数字视频压缩格式)码流数据进行实时硬件解码得到解码后的图像帧;AI智能主机C在解码h264码流数据的同时,还包括将根据预定的缓存频率将未解码的各视频帧图像循环覆盖缓存在预定存储位置;如根据30分钟缓存一次的频率,将未解码的h264原始视频流数据以文件的形式缓存在AI智能主机C本地的存储器上,再一次缓存时循环覆盖前一次缓存的内容;需要说明的是,本发明实施例中虽会以特定方式确定扩展的预定长度,也可根据实际工作经验进行确定,在此不做限定。
通过本实施例,能够确定最适合计算的感兴趣区域,从而为后续进行图像分析计算提供了重要的前提保障,进一步地,确定最适合计算的感兴趣区域也能够最大地发挥智能主机的计算能力,从而减少不必要的计算。
在一种可能的实现方式中,对解码后各帧图像中的感兴趣区域进行稠密光流计算,得到每一帧图像感兴趣区域的运动矢量方向和运动矢量距离,包括:针对每一帧图像,将解码后当前帧的感兴趣区域平均分为预定个数的计算区域;对每一个所述计算区域进行稠密光流计算,得到各个计算区域的运动矢量方向和运动矢量距离;将所述各个计算区域的运动矢量方向和运动矢量距离求平均值,得到当前帧感兴趣区域的运动矢量方向和运动矢量距离。
例如,在路侧停车管理***S中,首先通过视频阵列相机的多个摄像机,AI智能主机C实时获取监控区域的视频图像信息,确定各视频帧图像中的泊位区域;随后扩展各视频帧图像中的泊位区域,得到各视频帧的稠密光流计算的感兴趣区域;随后,针对每一帧图像,将解码后当前帧的感兴趣区域平均分为预定个数的计算区域,如将当前视频帧的感兴趣区域按4×4像素块分成多个计算区域,对每个4×4像素的图像块的计算区域进行稠密光流计算,得到当前视频帧的各计算区域的运动矢量方向和运动矢量距离,其中各视频帧中包含了ROI(Region Of Interest,感兴趣区域)区域中每个4×4像素块计算区域的运动矢量(u,v),其中,u代表矢量的水平分量,v代表矢量的垂直分量;随后将各计算区域的运动矢量方向和运动矢量距离求平均值,根据光流矢量帧的中每个块的运动矢量(u,v),计算得到当前帧感兴趣区域的平均运动矢量(U’,V’),当前帧感兴趣区域的运动矢量距离平均值为向量(U’,V’)的模,当前帧感兴趣区域的运动矢量的运动方向为向量(U’,V’)与图像x方向的夹角。
通过本实施例,能够精确地得到当前帧的运动矢量方向和运动矢量距离,从而为后续确定疑似发生出场事件的疑似车辆提供了必要的前提条件。
在一种可能的实现方式中,步骤105根据所述运动矢量方向平均值和运动矢量距离平均值,确定所述泊位区域内疑似发生出场/入场事件的车辆,包括:判断所述运动矢量距离平均值是否大于预定像素阈值,若大于,确定所述泊位区域内存在疑似发生出入场事件的车辆;在各视频图像的任一视频帧图像的二维坐标系中,确定所述运动矢量方向平均值的运动方向;若所述运动矢量方向平均值的运动方向指向泊位区域内,确定所述车辆疑似发生入场事件;若所述运动矢量方向平均值运动方向指向泊位区域外,确定所述车辆疑似发生出场事件。
例如,接上例,在路侧停车管理***S中,根据已得到的每一帧运动矢量方向平均值和运动矢量距离平均值,通过稠密光流计算在预定时长的统计区间内,如20秒为一统计区间,各帧图像感兴趣区域的运动矢量方向平均值和运动矢量距离平均值,随后,判断该运动矢量距离平均值是否大于预定像素阈值,若大于,确定泊位区域内存在疑似发生出入场事件的车辆;随后,在各视频图像的任一视频帧图像的二维坐标系中,确定该运动矢量方向平均值的运动方向;若该运动矢量方向平均值的运动方向指向泊位区域内,确定疑似车辆疑似发生入场事件。
通过本实施例,过滤了大量的非必要计算的视频帧图像,极大地降低了后续进行视频图像分析确定所述疑似车辆是否发生出场/入场事件的计算量,从而提高了智能主机的算力利用率,为能够同时处理多路视频信息提供了必要的前提条件,且避免了因少量帧的误差而导致识别错误的情况发生,进一步地提高了识别的准确率。
在一种可能的实现方式中,步骤106基于所述视频图像信息,识别疑似发生出场/入场事件车辆的车辆信息,并根据所述车辆信息确定所述车辆是否发生出场/入场事件,包括:确定所述车辆疑似发生出场/入场事件的起止时间,分析所述起止时间内的待识别视频图像信息中车辆的车辆信息;根据所述车辆信息,对所述待识别视频图像信息中的所述车辆进行检测跟踪,确定所述车辆是否发生出场/入场事件。
例如,接上例,在路侧停车管理***S中,确定车辆疑似发生入场事件后,在已缓存在预定存储位置的视频信息中截取该车辆疑似发生出场/入场事件的起止时间的视频片段,随后分析起止时间内的视频片段中该车辆的车辆信息,包括车牌号码、车型、车身颜色等车辆信息,并根据该车辆的车辆信息对该车辆进行检测跟踪,从而确定该车辆是否发生出场/入场事件。随后将该车辆发生出场/入场事件的相关信息发送至云端服务器,云端服务器生成停车取证信息,包括车辆特写图片、车牌号码、出入场时间等,并将停车取证信息上传业务平台,使得业务平台更近停车取证信息完成整个停车业务的处理。
通过本实施例,极大地降低了对车辆检测跟踪以及车牌算法高实时性的要求,同时,基于过滤后的视频帧图像,能够高效、精确地确定车辆的出入场事件,极大地提高了停车管理的效率。
本发明实施例提供了一种路侧停车的管理的装置,可以实现上述提供的方法实施例,具体功能实现请参见方法实施例中的说明,在此不再赘述。
应该明白,公开的过程中的步骤的特定顺序或层次是示例性方法的实例。基于设计偏好,应该理解,过程中的步骤的特定顺序或层次可以在不脱离本公开的保护范围的情况下得到重新安排。所附的方法权利要求以示例性的顺序给出了各种步骤的要素,并且不是要限于所述的特定顺序或层次。
在上述的详细描述中,各种特征一起组合在单个的实施方案中,以简化本公开。不应该将这种公开方法解释为反映了这样的意图,即,所要求保护的主题的实施方案需要比清楚地在每个权利要求中所陈述的特征更多的特征。相反,如所附的权利要求书所反映的那样,本发明处于比所公开的单个实施方案的全部特征少的状态。因此,所附的权利要求书特此清楚地被并入详细描述中,其中每项权利要求独自作为本发明单独的优选实施方案。
为使本领域内的任何技术人员能够实现或者使用本发明,上面对所公开实施例进行了描述。对于本领域技术人员来说;这些实施例的各种修改方式都是显而易见的,并且本文定义的一般原理也可以在不脱离本公开的精神和保护范围的基础上适用于其它实施例。因此,本公开并不限于本文给出的实施例,而是与本申请公开的原理和新颖性特征的最广范围相一致。
上文的描述包括一个或多个实施例的举例。当然,为了描述上述实施例而描述部件或方法的所有可能的结合是不可能的,但是本领域普通技术人员应该认识到,各个实施例可以做进一步的组合和排列。因此,本文中描述的实施例旨在涵盖落入所附权利要求书的保护范围内的所有这样的改变、修改和变型。此外,就说明书或权利要求书中使用的术语“包含”,该词的涵盖方式类似于术语“包括”,就如同“包括,”在权利要求中用作衔接词所解释的那样。此外,使用在权利要求书的说明书中的任何一个术语“或者”是要表示“非排它性的或者”。
本领域技术人员还可以了解到本发明实施例列出的各种说明性逻辑块(illustrative logical block),单元,和步骤可以通过电子硬件、电脑软件,或两者的结合进行实现。为清楚展示硬件和软件的可替换性(interchangeability),上述的各种说明性部件(illustrative components),单元和步骤已经通用地描述了它们的功能。这样的功能是通过硬件还是软件来实现取决于特定的应用和整个***的设计要求。本领域技术人员可以对于每种特定的应用,可以使用各种方法实现所述的功能,但这种实现不应被理解为超出本发明实施例保护的范围。
本发明实施例中所描述的各种说明性的逻辑块,或单元都可以通过通用处理器,数字信号处理器,专用集成电路(ASIC),现场可编程门阵列或其它可编程逻辑装置,离散门或晶体管逻辑,离散硬件部件,或上述任何组合的设计来实现或操作所描述的功能。通用处理器可以为微处理器,可选地,该通用处理器也可以为任何传统的处理器、控制器、微控制器或状态机。处理器也可以通过计算装置的组合来实现,例如数字信号处理器和微处理器,多个微处理器,一个或多个微处理器联合一个数字信号处理器核,或任何其它类似的配置来实现。
本发明实施例中所描述的方法或算法的步骤可以直接嵌入硬件、处理器执行的软件模块、或者这两者的结合。软件模块可以存储于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动磁盘、CD-ROM或本领域中其它任意形式的存储媒介中。示例性地,存储媒介可以与处理器连接,以使得处理器可以从存储媒介中读取信息,并可以向存储媒介存写信息。可选地,存储媒介还可以集成到处理器中。处理器和存储媒介可以设置于ASIC中,ASIC可以设置于用户终端中。可选地,处理器和存储媒介也可以设置于用户终端中的不同的部件中。
在一个或多个示例性的设计中,本发明实施例所描述的上述功能可以在硬件、软件、固件或这三者的任意组合来实现。如果在软件中实现,这些功能可以存储与电脑可读的媒介上,或以一个或多个指令或代码形式传输于电脑可读的媒介上。电脑可读媒介包括电脑存储媒介和便于使得让电脑程序从一个地方转移到其它地方的通信媒介。存储媒介可以是任何通用或特殊电脑可以接入访问的可用媒体。例如,这样的电脑可读媒体可以包括但不限于RAM、ROM、EEPROM、CD-ROM或其它光盘存储、磁盘存储或其它磁性存储装置,或其它任何可以用于承载或存储以指令或数据结构和其它可被通用或特殊电脑、或通用或特殊处理器读取形式的程序代码的媒介。此外,任何连接都可以被适当地定义为电脑可读媒介,例如,如果软件是从一个网站站点、服务器或其它远程资源通过一个同轴电缆、光纤电缆、双绞线、数字用户线(DSL)或以例如红外、无线和微波等无线方式传输的也被包含在所定义的电脑可读媒介中。所述的碟片(disk)和磁盘(disc)包括压缩磁盘、镭射盘、光盘、DVD、软盘和蓝光光盘,磁盘通常以磁性复制数据,而碟片通常以激光进行光学复制数据。上述的组合也可以包含在电脑可读媒介中。
以上所述的具体实施方式,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施方式而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (12)

1.一种路侧停车的管理方法,其特征在于,包括:
实时获取多个摄像机采集的视频图像信息,确定各视频帧图像中的泊位区域;
扩展各视频帧图像中的泊位区域,得到各视频帧的稠密光流计算的感兴趣区域;
对所述感兴趣区域进行稠密光流计算,得到每一帧图像感兴趣区域的运动矢量方向和运动矢量距离;
根据得到的每一帧图像感兴趣区域的运动矢量方向和运动矢量距离,通过稠密光流计算在预定时长的统计区间内,各帧图像感兴趣区域的运动矢量方向平均值和运动矢量距离平均值;
判断所述运动矢量距离平均值是否大于预定像素阈值,若大于,确定所述泊位区域内存在疑似发生出入场事件的车辆;在各视频图像的任一视频帧图像的二维坐标系中,确定所述运动矢量方向平均值的运动方向;若所述运动矢量方向平均值的运动方向指向泊位区域内,确定所述车辆疑似发生入场事件;若所述运动矢量方向平均值运动方向指向泊位区域外,确定所述车辆疑似发生出场事件;
基于所述视频图像信息,识别疑似发生出场/入场事件车辆的车辆信息,并根据所述车辆信息确定所述车辆是否发生出场/入场事件。
2.根据权利要求1所述的方法,其特征在于,在所述实时获取多个摄像机采集的视频图像信息,确定各视频帧图像中的泊位区域的步骤之前,包括:
确定预定图像采集区域内车辆泊位的各个顶点在各个图像中的坐标;
根据所述坐标,确定各个摄像机视频采集视频帧图像中的泊位区域。
3.根据权利要求1或2所述的方法,其特征在于,所述扩展各视频帧图像中的泊位区域,得到各视频帧的稠密光流计算的感兴趣区域,包括:
在各视频帧图像二维坐标系中,确定各视频帧图像中泊位区域的坐标信息,并将泊位区域矩形框的长边沿着Y轴值逐渐减小的方向延伸预定长度,得到各视频帧的稠密光流计算的感兴趣区域。
4.根据权利要求3所述的方法,其特征在于,所述对所述感兴趣区域进行稠密光流计算,得到每一帧图像感兴趣区域的运动矢量方向和运动矢量距离,包括:
解码每一帧图像,并对解码后各帧图像中的感兴趣区域进行稠密光流计算,得到每一帧图像感兴趣区域的运动矢量方向和运动矢量距离。
5.根据权利要求4所述的方法,其特征在于,所述对解码后各帧图像中的感兴趣区域进行稠密光流计算,得到每一帧图像感兴趣区域的运动矢量方向和运动矢量距离,包括:
针对每一帧图像,将解码后当前帧的感兴趣区域平均分为预定个数的计算区域;
对每一个所述计算区域进行稠密光流计算,得到各个计算区域的运动矢量方向和运动矢量距离;
将所述各个计算区域的运动矢量方向和运动矢量距离求平均值,得到当前帧感兴趣区域的运动矢量方向和运动矢量距离。
6.根据权利要求1所述的方法,其特征在于,所述基于所述视频图像信息,识别疑似发生出场/入场事件车辆的车辆信息,并根据所述车辆信息确定所述车辆是否发生出场/入场事件,包括:
确定所述车辆疑似发生出场/入场事件的起止时间,分析所述起止时间内的待识别视频图像信息中车辆的车辆信息;
根据所述车辆信息,对所述待识别视频图像信息中的所述车辆进行检测跟踪,确定所述车辆是否发生出场/入场事件。
7.一种路侧停车的管理装置,其特征在于,包括:
获取及确定模块,用于实时获取多个摄像机采集的视频图像信息,确定各视频帧图像中的泊位区域;
扩展模块,用于扩展各视频帧图像中的泊位区域,得到各视频帧的稠密光流计算的感兴趣区域;
第一计算模块,用于对所述感兴趣区域进行稠密光流计算,得到每一帧图像感兴趣区域的运动矢量方向和运动矢量距离;
第二计算模块,用于根据得到的每一帧图像感兴趣区域的运动矢量方向和运动矢量距离,通过稠密光流计算在预定时长的统计区间内,各帧图像感兴趣区域的运动矢量方向平均值和运动矢量距离平均值;
第一确定模块,用于判断所述运动矢量距离平均值是否大于预定像素阈值,若大于,确定所述泊位区域内存在疑似发生出入场事件的车辆;在各视频图像的任一视频帧图像的二维坐标系中,确定所述运动矢量方向平均值的运动方向;若所述运动矢量方向平均值的运动方向指向泊位区域内,确定所述车辆疑似发生入场事件;若所述运动矢量方向平均值运动方向指向泊位区域外,确定所述车辆疑似发生出场事件;
识别及确定模块,用于基于所述视频图像信息,识别疑似发生出场/入场事件车辆的车辆信息,并根据所述车辆信息确定所述车辆是否发生出场/入场事件。
8.根据权利要求7所述的装置,其特征在于,包括:
第二确定模块,用于确定预定图像采集区域内车辆泊位的各个顶点在各个图像中的坐标;
第三确定模块,用于根据所述坐标,确定各个摄像机视频采集视频帧图像中的泊位区域。
9.根据权利要求7或8所述的装置,其特征在于,所述扩展模块,具体用于
在各视频帧图像二维坐标系中,确定各视频帧图像中泊位区域的坐标信息,并将泊位区域矩形框的长边沿着Y轴值逐渐减小的方向延伸预定长度,得到各视频帧的稠密光流计算的感兴趣区域。
10.根据权利要求9所述的装置,其特征在于,所述第一计算模块,包括:
解码单元,用于解码每一帧图像,并对解码后各帧图像中的感兴趣区域进行稠密光流计算,得到每一帧图像感兴趣区域的运动矢量方向和运动矢量距离。
11.根据权利要求10所述的装置,其特征在于,所述解码单元,具体用于
针对每一帧图像,将解码后当前帧的感兴趣区域平均分为预定个数的计算区域;
对每一个所述计算区域进行稠密光流计算,得到各个计算区域的运动矢量方向和运动矢量距离;
将所述各个计算区域的运动矢量方向和运动矢量距离求平均值,得到当前帧感兴趣区域的运动矢量方向和运动矢量距离。
12.根据权利要求7所述的装置,其特征在于,所述识别及确定模块,具体用于
确定所述车辆疑似发生出场/入场事件的起止时间,分析所述起止时间内的待识别视频图像信息中车辆的车辆信息;
根据所述车辆信息,对所述待识别视频图像信息中的所述车辆进行检测跟踪,确定所述车辆是否发生出场/入场事件。
CN202110317344.5A 2021-03-23 2021-03-23 一种路侧停车的管理方法及装置 Active CN113066306B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110317344.5A CN113066306B (zh) 2021-03-23 2021-03-23 一种路侧停车的管理方法及装置
PCT/CN2021/112931 WO2022198897A1 (zh) 2021-03-23 2021-08-17 一种路侧停车的管理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110317344.5A CN113066306B (zh) 2021-03-23 2021-03-23 一种路侧停车的管理方法及装置

Publications (2)

Publication Number Publication Date
CN113066306A CN113066306A (zh) 2021-07-02
CN113066306B true CN113066306B (zh) 2022-07-08

Family

ID=76561865

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110317344.5A Active CN113066306B (zh) 2021-03-23 2021-03-23 一种路侧停车的管理方法及装置

Country Status (2)

Country Link
CN (1) CN113066306B (zh)
WO (1) WO2022198897A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113066306B (zh) * 2021-03-23 2022-07-08 超级视线科技有限公司 一种路侧停车的管理方法及装置
CN114038232B (zh) * 2021-10-28 2022-09-20 超级视线科技有限公司 一种基于边缘端算存结合的路侧停车管理方法及***
CN114005068A (zh) * 2021-11-08 2022-02-01 支付宝(杭州)信息技术有限公司 监测货物移动的方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107730975A (zh) * 2017-09-13 2018-02-23 浙江大学 超市停车引导反向寻车和出场引导的***和方法
EP3561775A1 (en) * 2018-04-26 2019-10-30 Volvo Car Corporation Methods and systems for semi-automated image segmentation and annotation

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9129524B2 (en) * 2012-03-29 2015-09-08 Xerox Corporation Method of determining parking lot occupancy from digital camera images
JP2014110028A (ja) * 2012-12-04 2014-06-12 Sony Corp 画像処理装置、画像処理方法およびプログラム
CN104658249A (zh) * 2013-11-22 2015-05-27 上海宝康电子控制工程有限公司 基于帧差和光流实现车辆快速检测的方法
CN104376741B (zh) * 2014-12-02 2017-03-22 深圳市捷顺科技实业股份有限公司 一种车位状态检测方法与***
CN107767673B (zh) * 2017-11-16 2019-09-27 智慧互通科技有限公司 一种基于多摄像机的路侧停车管理方法、装置及***
CN109684996B (zh) * 2018-12-22 2020-12-04 北京工业大学 基于视频的实时车辆进出识别方法
CN112037265B (zh) * 2020-11-04 2021-02-02 天津天瞳威势电子科技有限公司 一种库位跟踪方法及装置
CN113066306B (zh) * 2021-03-23 2022-07-08 超级视线科技有限公司 一种路侧停车的管理方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107730975A (zh) * 2017-09-13 2018-02-23 浙江大学 超市停车引导反向寻车和出场引导的***和方法
EP3561775A1 (en) * 2018-04-26 2019-10-30 Volvo Car Corporation Methods and systems for semi-automated image segmentation and annotation

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于运动检测的多车辆跟踪方法研究;单玉刚等;《计算机测量与控制》;20170325(第03期);全文 *
稀疏光流快速计算的动态目标检测与跟踪;陈添丁等;《中国图象图形学报》;20131216(第12期);全文 *

Also Published As

Publication number Publication date
CN113066306A (zh) 2021-07-02
WO2022198897A1 (zh) 2022-09-29

Similar Documents

Publication Publication Date Title
CN113066306B (zh) 一种路侧停车的管理方法及装置
CN111368687B (zh) 一种基于目标检测和语义分割的人行道车辆违停检测方法
Grassi et al. Parkmaster: An in-vehicle, edge-based video analytics service for detecting open parking spaces in urban environments
CN110491168B (zh) 一种基于车轮着地点检测车辆停车状态的方法及装置
CN111739335B (zh) 一种基于视觉差的停车检测方法及装置
GB2507395A (en) Estimating vehicle speed from video stream motion vectors
KR102253989B1 (ko) 딥러닝 객체 검출기를 이용한 cctv 영상의 객체 추적 방법
Laureshyn et al. Application of automated video analysis for behavioural studies: concept and experience
CN111259868B (zh) 基于卷积神经网络的逆行车辆检测方法、***及介质
JP6915219B2 (ja) コンピュータ実施方法、撮像システム、及び画像処理システム
CN112861773A (zh) 一种基于多层次的泊位状态检测方法及***
CN113205691A (zh) 一种识别车辆位置的方法及装置
CN110880205B (zh) 一种停车收费方法及装置
Li et al. Intelligent transportation video tracking technology based on computer and image processing technology
CN113869258A (zh) 交通事件检测方法、装置、电子设备及可读存储介质
CN113450575A (zh) 一种路侧停车的管理方法及装置
Mossi et al. Real-time traffic analysis at night-time
Zheng et al. Detecting cycle failures at signalized intersections using video image processing
KR101161557B1 (ko) 카메라 위치?태양이 움직이는 시간에 따른 그림자 제거방식을 통한 영상추적장치 및 방법
Bravo et al. Outdoor vacant parking space detector for improving mobility in smart cities
Yao et al. Embedded technology and algorithm for video-based vehicle queue length detection
CN115174889A (zh) 摄像机的位置偏移检测方法、电子设备和存储介质
CN113808408A (zh) 路侧停车检测方法、装置、设备及可读存储介质
CN114463976A (zh) 一种基于3d车辆轨迹的车辆行为状态判定方法及***
CN113449624A (zh) 一种基于行人重识别确定车辆行为的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant