CN113033479B - 一种基于多层感知的泊位事件识别方法及*** - Google Patents
一种基于多层感知的泊位事件识别方法及*** Download PDFInfo
- Publication number
- CN113033479B CN113033479B CN202110421556.8A CN202110421556A CN113033479B CN 113033479 B CN113033479 B CN 113033479B CN 202110421556 A CN202110421556 A CN 202110421556A CN 113033479 B CN113033479 B CN 113033479B
- Authority
- CN
- China
- Prior art keywords
- vehicle
- berth
- area
- bbox
- moving
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 230000008447 perception Effects 0.000 title claims abstract description 16
- 230000003287 optical effect Effects 0.000 claims abstract description 59
- 238000004364 calculation method Methods 0.000 claims abstract description 31
- 238000004422 calculation algorithm Methods 0.000 claims description 19
- 238000001514 detection method Methods 0.000 claims description 17
- 238000013459 approach Methods 0.000 claims description 9
- 238000013145 classification model Methods 0.000 claims description 8
- 238000012790 confirmation Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 abstract description 11
- 230000006399 behavior Effects 0.000 abstract description 4
- 238000004458 analytical method Methods 0.000 abstract description 2
- 230000008859 change Effects 0.000 description 8
- 230000007246 mechanism Effects 0.000 description 8
- 238000013461 design Methods 0.000 description 5
- 238000005286 illumination Methods 0.000 description 5
- 239000013598 vector Substances 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000007621 cluster analysis Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000011897 real-time detection Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000010187 selection method Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Bioinformatics & Computational Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开一种基于多层感知的泊位事件识别方法及***，涉及车辆行为智能分析领域，包括如下步骤：根据泊位扩展ROI区域的光流场信息，判断所述泊位扩展ROI区域是否存在有效运动目标；若存在，则根据所述泊位扩展ROI区域的运动区域包罗矩形Rmoving、车辆包罗框bBox、所述运动区域包罗矩形Rmoving与所述车辆包罗框bBox之间的交并比信息IOU，获取包含有车辆运动区域bBoxvalid的图像帧；对包含有所述车辆运动区域bBoxvalid的图像帧进行车辆跟踪，获取所述车辆的运动轨迹信息；根据所述车辆的运动轨迹信息与泊位区域之间的位置关系，确认所述泊位状态信息。本发明可以极大地减少泊位事件识别过程中的计算负荷，提升车辆出入泊位事件的识别准确率。
Description
技术领域
本发明涉及车辆行为智能分析领域，特别涉及一种基于多层感知的泊位事件识别方法及***。
背景技术
城市智能交通***中，停车场的管理占有相当重要的比例。随着城市机动车辆占有率的不断增加，在停车场资源有限的情况下，路侧停车模式承担了越来越重要的角色。对于路侧停车场景，制约其自动化程度的核心问题是：如何准确识别车辆出入泊位事件，特别是在光照条件快速变化、车辆相互遮挡严重等情况下，该问题将变得更为复杂。
目前通常有两种路侧泊位状态识别方法，一种是获取图像采集装置对泊位先后采集的第一图像、第二图像和第三图像；将所述第一图像和第二图像进行叠加，得到第四图像；判断所述泊位上的车辆是否为同一辆车；响应于确认所述泊位上的车辆为同一辆车，并且所述第三图像中所述泊位上没有车辆时，将所述第一图像、第二图像和第三图像进行叠加，得到第五图像；判断所述泊位上的车辆在获取所述第三图像的时刻是否已经离开所述泊位，若是则确定泊位状态为空闲，否则确定泊位状态为占用，由于该识别方法只是基于采集的图像进行的，而采集的图像受到泊位周围车辆遮挡、光线变化等环境因素干扰较大，因此很难保证图像采集的可靠性，进而导致路侧泊位状态识别的准确性难以保证。另一种方式是对连续视频帧中车辆的检测以及连续视频帧中停车位区域内车辆的差异对比；初步确定可能发生停车行为的车辆，再通过每个差异车辆的辅助目标的检测，并结合连续的视频帧中车辆及辅助目标的差异对比，判断车辆的路侧停车行为，然而由于该方法中泊位状态识别的准确程度与图像帧选取的好坏有很大关联，导致对图像帧选取的条件较为苛刻，但是其图像帧选取的方法采用的只是简单的固定时间间隔选取方法，进而导致泊位状态识别的准确度无法保证。
发明内容
为解决上述技术问题，本发明提供一种基于多层感知的泊位事件识别方法及***，可以解决现有泊位状态识别的准确度无法保证的问题。
为实现上述目的，一方面，本发明一种基于多层感知的泊位事件识别方法，所述方法包括：
根据泊位扩展ROI区域的光流场信息，判断所述泊位扩展ROI区域是否存在有效运动目标；
若存在，则根据所述泊位扩展ROI区域的运动区域包罗矩形Rmoving、车辆包罗框bBox、所述运动区域包罗矩形Rmoving与所述车辆包罗框bBox之间的交并比信息IOU，获取包含有车辆运动区域bBoxvalid的图像帧；
对包含有所述车辆运动区域bBoxcalid的图像帧进行车辆跟踪，获取所述车辆的运动轨迹信息；
根据所述车辆的运动轨迹信息与泊位区域之间的位置关系，确认所述泊位状态信息。
进一步地，所述根据泊位扩展ROI区域的光流场信息，判断所述泊位扩展ROI区域是否存在有效运动目标的步骤包括：
根据预置光流算法对相邻两帧的泊位扩展ROI区域进行光流计算，判断所述泊位扩展ROI区域是否存在运动目标；
若存在，则判断所述运动目标是否为车辆目标；
若是，则确认所述泊位扩展ROI区域存在有效运动目标。
进一步地，所述判断所述运动目标是否为车辆目标的步骤包括：
对所述运动目标区域光流场进行聚类，得到运动区域包罗矩形Rmoving；
根据预置分类模型判断所述运动区域包罗矩形Rmoving是否为车辆目标。
进一步地，所述根据所述泊位扩展ROI区域的运动区域包罗矩形Rmoving、车辆包罗框bBox、所述运动区域包罗矩形Rmoving与所述车辆包罗框bBox之间的交并比信息IOU，获取包含有车辆运动区域bBoxvalid的图像帧的步骤包括：
根据泊位扩展ROI区域的光流场信息获取泊位扩展ROI区域的运动区域包罗矩形Rmoving；
对所述运动区域包罗矩形Rmoving对应的图像帧进行车辆检测，得到车辆包罗框bBox；
根据运动区域包罗矩形Rmoving与车辆包罗框bBox之间的交并比信息IOU，对所述运动区域包罗矩形Rmoving与所述车辆包罗框bBox进行关联，得到所述车辆运动区域bBoxvalid，并确认当前图像帧包含有车辆运动区域bBoxvalid。
进一步地，所述对包含有所述车辆运动区域bBoxvalid的图像帧进行车辆跟踪，获取所述车辆的运动轨迹信息的步骤包括：
对预置车辆目标跟踪算法对包含有所述车辆运动区域bBoxvalid的图像帧进行车辆跟踪，获取所述车辆的运动轨迹信息。
进一步地，根据所述车辆的运动轨迹信息与泊位区域之间的位置关系，确认所述泊位状态信息的步骤包括：
当车辆运动方向和车辆运动区域bBoxvalid的中心点远离泊位，且车辆运动区域bBoxvalid的中心离泊位边缘距离超过预设阈值时，确认泊位为车辆出场事件；
或者当车辆运动方向和车辆运动区域bBoxvalid的中心点为接近并进入泊位，并且车辆运动区域运动速度逐渐接近0和车辆运动区域bBoxvalid中心点进入泊位区域，确认泊位为车辆入场事件。
另一方面，本发明提供一种基于多层感知的泊位事件识别***，所述***包括：
判断模块，用于根据泊位扩展ROI区域的光流场信息，判断所述泊位扩展ROI区域是否存在有效运动目标；
获取模块，用于若存在，则根据所述泊位扩展ROI区域的运动区域包罗矩形Rmoving、车辆包罗框bBox、所述运动区域包罗矩形Rmoving与所述车辆包罗框bBox之间的交并比信息IOU，获取包含有车辆运动区域bBoxvalid的图像帧；
所述获取模块，还用于对包含有所述车辆运动区域bBoxvalid的图像帧进行车辆跟踪，获取所述车辆的运动轨迹信息；
确认模块，用于根据所述车辆的运动轨迹信息与泊位区域之间的位置关系，确认所述泊位状态信息。
进一步地，所述判断模块，具体用于根据预置光流算法对相邻两帧的泊位扩展ROI区域进行光流计算，判断所述泊位扩展ROI区域是否存在运动目标；若存在，则判断所述运动目标是否为车辆目标；若是，则确认所述泊位扩展ROI区域存在有效运动目标。
进一步地，所述判断模块，具体还用于对所述运动目标区域光流场进行聚类，得到运动区域包罗矩形Rmoving；根据预置分类模型判断所述运动区域包罗矩形Rmoving是否为车辆目标。
进一步地，所述获取模块，具体用于根据泊位扩展ROI区域的光流场信息获取泊位扩展ROI区域的运动区域包罗矩形Rmoving；对所述运动区域包罗矩形Rmoving对应的图像帧进行车辆检测，得到车辆包罗框bBox；根据运动区域包罗矩形Rmoving与车辆包罗框bBox之间的交并比信息IOU，对所述运动区域包罗矩形Rmoving与所述车辆包罗框bBox进行关联，得到所述车辆运动区域bBoxvalid，并确认当前图像帧包含有车辆运动区域bBoxvalid。
进一步地，所述获取模块，具体还用于对预置车辆目标跟踪算法对包含有所述车辆运动区域bBoxvalid的图像帧进行车辆跟踪，获取所述车辆的运动轨迹信息。
进一步地，所述确认模块，具体用于当车辆运动方向和车辆运动区域bBoxvalid的中心点远离泊位，且车辆运动区域bBoxvalid的中心离泊位边缘距离超过预设阈值时，确认泊位为车辆出场事件；
或者当车辆运动方向和车辆运动区域bBoxvalid的中心点为接近并进入泊位，并且车辆运动区域运动速度逐渐接近0和车辆运动区域bBoxvalid中心点进入泊位区域，确认泊位为车辆入场事件。
本发明提供的一种基于多层感知的泊位事件识别方法及***，一方面本发明是在判断泊位扩展ROI区域存在有效运动目标时，再进行后续的泊位事件识别操作，从而可以最大限度剔除泊位事件识别中的无效数据，即剔除非车辆运动目标数据，通过获取车辆出/入泊位过程中有效的运动车辆数据，可以极大地减少泊位事件识别过程中的计算负荷，提高车辆出入事件识别的准确度和效率；另一方面，本发明通过获取包含有车辆运动区域bBoxvalid的图像帧，并基于包含有车辆运动区域bBoxvalid的图像帧进行车辆跟踪，实现了仅对有效图像帧进行车辆跟踪，从而可以获取更为准确的车辆轨迹信息，进而可以提升车辆出入泊位事件的识别准确率。
附图说明
图1是本发明提供的一种基于多层感知的泊位事件识别方法的流程图；
图2是本发明提供的一种基于多层感知的泊位事件识别***的结构示意图。
具体实施方式
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
如图1所示，本发明实施例提供一种基于多层感知的泊位事件识别方法，包括如下步骤：
101、根据泊位扩展ROI区域的光流场信息，判断所述泊位扩展ROI区域是否存在有效运动目标。
对于本发明实施例，步骤101具体可以包括：根据预置光流算法对相邻两帧的泊位扩展ROI区域进行光流计算，判断所述泊位扩展ROI区域是否存在运动目标；若存在，则判断所述运动目标是否为车辆目标；若是，则确认所述泊位扩展ROI区域存在有效运动目标。其中，所述判断所述运动目标是否为车辆目标的步骤包括：对所述运动目标区域光流场进行聚类，得到运动区域包罗矩形Rmoving；根据预置分类模型判断所述运动区域包罗矩形Rmoving是否为车辆目标。
具体地，例如，为了适应光照快速变化，同时实现高并发计算，即较低的计算负荷，本发明仅将泊位附近ROI区域作为待计算区域A，并进行缩小处理，通过对前后两帧的区域A进行光流计算，根据运动矢量大小和一致性进行聚类，判断区域Λ中是否有运动发生；当有运动发生时，对运动区域的光流场进行聚类，给出运动区域包罗矩形Rmoving，再利用分类模型，判断该Rmoving内是否为车辆；如果Rmoving是车辆，则给出触发信号，该触发信号用于触发进行后续操作。其中，所述光流计算方法包括但不限于LK光流法、金字塔LK光流法、Farneback光流法等，所述天气分类网络包括但不限于ResNet、ResNext、GoogleNet等。
对于本发明实施例，引入了泊位运动事件触发机制，由于对于停车场或路侧停车场，绝大部分时间，泊位都处于空置或被停放状态，如果通过实时检测算法，检测泊位中是否有车辆，一方面对算力资源浪费严重，另一方面，该逻辑并不具备较好的适应性。通过合理的触发机制设置，可以极大地节约边、云设备的算力，提升单台设备的并发能力。本发明中的触发机制设计了三层逻辑，即基于光流的运动场检测、运动区域聚类分析和目标分类识别三层逻辑。通过实际场景测试，验证该逻辑具有较好的抗干扰能力。在现实场景中，特别是夜晚，过路车灯、拟驶入或驶出车辆自身车灯，极容易造成运动状态假识别，本发明中的光流场检测受到光照条件快速变化的影响不大，同时对于车灯引起的光晕等影响，通过对光流场进行滤波处理，可以得到很好地剔除效果。通过运动区域聚类以及对运动区域的分类识别，可以较好地剔除过路人、自行车、摩托车等非机动车目标影响。从而在节省了算力资源的同时，提升了数据识别的准确性。
102、若存在，则根据所述泊位扩展ROI区域的运动区域包罗矩形Rmoving、车辆包罗框bBox、所述运动区域包罗矩形Rmoving与所述车辆包罗框bBox之间的交并比信息IOU，获取包含有车辆运动区域bBoxvalid的图像帧。
对于本发明实施例，步骤102具体可以包括：首先根据泊位扩展ROI区域的光流场信息获取泊位扩展ROI区域的运动区域包罗矩形Rmoving；然后对所述运动区域包罗矩形Rmoving对应的图像帧进行车辆检测，得到车辆包罗框bBox；最后根据运动区域包罗矩形Rmoving与车辆包罗框bBox之间的交并比信息IOU，对所述运动区域包罗矩形Rmoving与所述车辆包罗框bBox进行关联，得到所述车辆运动区域bBoxvalid，并确认当前图像帧包含有车辆运动区域bBoxvalid。
具体地，首先针对ROI区域计算光流场信息；然后根据光流矢量大小、方向、区域连通性等，进行光流场距离的计算，获取一个或多个运动区域包罗矩形Rmoving；如果没有获取到Rmoving，则进行下一帧图像数据计算；如果获取到Rmoving，则对整个图像帧进行车辆检测，获取车辆的车辆包络框bBox信息；再利用车辆包络框bBox与Rmoving之间的交并比信息IOU，进行车辆bBox和运动区域Rmoving关联，获取车辆运动区域bBoxvalid；如果存在车辆运动区域bBoxvalid，则确认该帧图像为有效图像帧。其中，判断出入场事件是否结束的方法为：对于驶出泊位车辆，其运动方向和bBoxvalid中心点为远离泊位，当bBoxvalid中心离泊位边缘距离超过一定阈值认为驶出事件结束；对于驶入泊位，其运动方向和bBoxvalid中心点为接近并进入泊位，当车辆运动速度逐渐接近0且bBoxvalid中心点进入泊位区域，则可以认为驶入事件结束。其中，所述车辆检测方法包括但不限于YOLO、SSD、CenterNet等目标检测网络。所述的交并比计算方法包括但不限于IOU、CIOU、DIOU、GIOU等交并比计算方法。
103、对包含有所述车辆运动区域bBoxvalid的图像帧进行车辆跟踪，获取所述车辆的运动轨迹信息。
对于本发明实施例，步骤103具体可以包括：对预置车辆目标跟踪算法对包含有所述车辆运动区域bBoxvalid的图像帧进行车辆跟踪，获取所述车辆的运动轨迹信息。
104、根据所述车辆的运动轨迹信息与泊位区域之间的位置关系，确认所述泊位状态信息。
对于本发明实施例，步骤104具体可以包括：当车辆运动方向和车辆运动区域bBoxvalid的中心点远离泊位，且车辆运动区域bBoxvalid的中心离泊位边缘距离超过预设阈值时，确认泊位为车辆出场事件；或者当车辆运动方向和车辆运动区域bBoxvalid的中心点为接近并进入泊位，并且车辆运动区域运动速度逐渐接近0和车辆运动区域bBoxvalid中心点进入泊位区域，确认泊位为车辆入场事件。
需要说明的是，本发明引入了泊位相关车辆运动过程注意力机制。车辆在驶入/驶出泊位时，经常出现停停顿顿情况。车辆停止时刻的图像，其位置、姿态相对泊位并无变化，因此对于出入泊位事件判断并无任何意义。有效剔除车辆停止时刻图像，可以有效降低计算负荷，还可以提升车辆轨迹计算准确度。传统的跟踪算法，需要对所有图像帧进行计算，然而由于很多图像帧的计算并无任何意义；另一方面，对于多目标跟踪算法，对焦点目标关注度与其跟踪结果的理想程度成正比，对于车辆停止时刻，车辆周围可能存在各种非车辆目标，如过路车或人、树叶抖动等，剔除后可以有效降低各种干扰的影响，从而进一步提升泊位事件识别的准确率。
本发明提供的一种基于多层感知的泊位事件识别方法，一方面本发明是在判断泊位扩展ROI区域存在有效运动目标时，再进行后续的泊位事件识别操作，从而可以最大限度剔除泊位事件识别中的无效数据，即剔除非车辆运动目标数据，通过获取车辆出/入泊位过程中有效的运动车辆数据，可以极大地减少泊位事件识别过程中的计算负荷，提高车辆出入事件识别的准确度和效率；另一方面，本发明通过获取包含有车辆运动区域bBoxvalid的图像帧，并基于包含有车辆运动区域bBoxvalid的图像帧进行车辆跟踪，实现了仅对有效图像帧进行车辆跟踪，从而可以获取更为准确的车辆轨迹信息，进而可以提升车辆出入泊位事件的识别准确率。
为实现本发明实施例提供的方法，本发明实施例提供一种基于多层次的泊位状态检测***，如图2所示，该***包括：判断模块21、获取模块22、确定模块23。
判断模块21，用于根据泊位扩展ROI区域的光流场信息，判断所述泊位扩展ROI区域是否存在有效运动目标。
具体地，例如，为了适应光照快速变化，同时实现高并发计算，即较低的计算负荷，本发明仅将泊位附近ROI区域作为待计算区域A，并进行缩小处理，通过对前后两帧的区域A进行光流计算，根据运动矢量大小和一致性进行聚类，判断区域Λ中是否有运动发生；当有运动发生时，对运动区域的光流场进行聚类，给出运动区域包罗矩形Rmoving，再利用分类模型，判断该Rmoving内是否为车辆；如果Rmoving是车辆，则给出触发信号，该触发信号用于触发进行后续操作。其中，所述光流计算方法包括但不限于LK光流法、金字塔LK光流法、Farneback光流法等，所述天气分类网络包括但不限于ResNet、ResNext、GoogleNet等。
对于本发明实施例，引入了泊位运动事件触发机制，由于对于停车场或路侧停车场，绝大部分时间，泊位都处于空置或被停放状态，如果通过实时检测算法，检测泊位中是否有车辆，一方面对算力资源浪费严重，另一方面，该逻辑并不具备较好的适应性。通过合理的触发机制设置，可以极大地节约边、云设备的算力，提升单台设备的并发能力。本发明中的触发机制设计了三层逻辑，即基于光流的运动场检测、运动区域聚类分析和目标分类识别三层逻辑。通过实际场景测试，验证该逻辑具有较好的抗干扰能力。在现实场景中，特别是夜晚，过路车灯、拟驶入或驶出车辆自身车灯，极容易造成运动状态假识别，本发明中的光流场检测受到光照条件快速变化的影响不大，同时对于车灯引起的光晕等影响，通过对光流场进行滤波处理，可以得到很好地剔除效果。通过运动区域聚类以及对运动区域的分类识别，可以较好地剔除过路人、自行车、摩托车等非机动车目标影响。从而在节省了算力资源的同时，提升了数据是别的准确性。
获取模块22，用于若存在，则根据所述泊位扩展ROI区域的运动区域包罗矩形Rmoving、车辆包罗框bBox、所述运动区域包罗矩形Rmoving与所述车辆包罗框bBox之间的交并比信息IOU，获取包含有车辆运动区域bBoxvalid的图像帧。
具体地，首先针对ROI区域计算光流场信息；然后根据光流矢量大小、方向、区域连通性等，进行光流场距离的计算，获取一个或多个运动区域包罗矩形Rmoving；如果没有获取到Rmoving，则进行下一帧图像数据计算；如果获取到Rmoving，则对整个图像帧进行车辆检测，获取车辆的车辆包络框bBox信息；再利用车辆包络框bBox与Rmoving之间的交并比信息IOU，进行车辆bBox和运动区域Rmoving关联，获取车辆运动区域bBoxvalid；如果存在车辆运动区域bBoxvalid，则确认该帧图像为有效图像帧。其中，判断出入场事件是否结束的方法为：对于驶出泊位车辆，其运动方向和bBoxvalid中心点为远离泊位，当bBoxvalid中心离泊位边缘距离超过一定阈值认为驶出事件结束；对于驶入泊位，其运动方向和bBoxvalid中心点为接近并进入泊位，当车辆运动速度逐渐接近0且bBoxvalid中心点进入泊位区域，则可以认为驶入事件结束。其中，所述车辆检测方法包括但不限于YOLO、SSD、CenterNet等目标检测网络。所述的交并比计算方法包括但不限于IOU、CIOU、DIOU、GIOU等交并比计算方法。
所述获取模块22，还用于对包含有所述车辆运动区域bBoxvalid的图像帧进行车辆跟踪，获取所述车辆的运动轨迹信息。
确认模块23，用于根据所述车辆的运动轨迹信息与泊位区域之间的位置关系，确认所述泊位状态信息。
需要说明的是，本发明引入了泊位相关车辆运动过程注意力机制。车辆在驶入/驶出泊位时，经常出现停停顿顿情况。车辆停止时刻的图像，其位置、姿态相对泊位并无变化，因此对于出入泊位事件判断并无任何意义。有效剔除车辆停止时刻图像，可以有效降低计算负荷，还可以提升车辆轨迹计算准确度。传统的跟踪算法，需要对所有图像帧进行计算，然而由于很多图像帧的计算并无任何意义；另一方面，对于多目标跟踪算法，对焦点目标越关注其跟踪结果越理想，对于车辆停止时刻，车辆周围可能存在各种非车辆目标，如过路车或人、树叶抖动等，剔除后可以有效降低各种干扰的影响，从而进一步提升泊位事件识别的准确率。
进一步地，所述判断模块21，具体用于根据预置光流算法对相邻两帧的泊位扩展ROI区域进行光流计算，判断所述泊位扩展ROI区域是否存在运动目标；若存在，则判断所述运动目标是否为车辆目标；若是，则确认所述泊位扩展ROI区域存在有效运动目标。
进一步地，所述判断模块21，具体还用于对所述运动目标区域光流场进行聚类，得到运动区域包罗矩形Rmoving；根据预置分类模型判断所述运动区域包罗矩形Rmoving是否为车辆目标。
进一步地，所述获取模块22，具体用于根据泊位扩展ROI区域的光流场信息获取泊位扩展ROI区域的运动区域包罗矩形Rmoving；对所述运动区域包罗矩形Rmoving对应的图像帧进行车辆检测，得到车辆包罗框bBox；根据运动区域包罗矩形Rmoving与车辆包罗框bBox之间的交并比信息IOU，对所述运动区域包罗矩形Rmoving与所述车辆包罗框bBox进行关联，得到所述车辆运动区域bBoxvalid，并确认当前图像帧包含有车辆运动区域bBoxvalid。
进一步地，所述获取模块22，具体还用于对预置车辆目标跟踪算法对包含有所述车辆运动区域bBoxvalid的图像帧进行车辆跟踪，获取所述车辆的运动轨迹信息。
进一步地，所述确认模块23，具体用于当车辆运动方向和车辆运动区域bBoxvalid的中心点远离泊位，且车辆运动区域bBoxvalid的中心离泊位边缘距离超过预设阈值时，确认泊位为车辆出场事件；或者当车辆运动方向和车辆运动区域bBoxvalid的中心点为接近并进入泊位，并且车辆运动区域运动速度逐渐接近0和车辆运动区域bBoxvalid中心点进入泊位区域，确认泊位为车辆入场事件。
本发明提供的一种基于多层感知的泊位事件识别***，一方面本发明是在判断泊位扩展ROI区域存在有效运动目标时，再进行后续的泊位事件识别操作，从而可以最大限度剔除泊位事件识别中的无效数据，即剔除非车辆运动目标数据，通过获取车辆出/入泊位过程中有效的运动车辆数据，可以极大地减少泊位事件识别过程中的计算负荷，提高车辆出入事件识别的准确度和效率；另一方面，本发明通过获取包含有车辆运动区域bBoxvalid的图像帧，并基于包含有车辆运动区域bBoxvalid的图像帧进行车辆跟踪，实现了仅对有效图像帧进行车辆跟踪，从而可以获取更为准确的车辆轨迹信息，进而可以提升车辆出入泊位事件的识别准确率。
应该明白，公开的过程中的步骤的特定顺序或层次是示例性方法的实例。基于设计偏好，应该理解，过程中的步骤的特定顺序或层次可以在不脱离本公开的保护范围的情况下得到重新安排。所附的方法权利要求以示例性的顺序给出了各种步骤的要素，并且不是要限于所述的特定顺序或层次。
在上述的详细描述中，各种特征一起组合在单个的实施方案中，以简化本公开。不应该将这种公开方法解释为反映了这样的意图，即，所要求保护的主题的实施方案需要比清楚地在每个权利要求中所陈述的特征更多的特征。相反，如所附的权利要求书所反映的那样，本发明处于比所公开的单个实施方案的全部特征少的状态。因此，所附的权利要求书特此清楚地被并入详细描述中，其中每项权利要求独自作为本发明单独的优选实施方案。
为使本领域内的任何技术人员能够实现或者使用本发明，上面对所公开实施例进行了描述。对于本领域技术人员来说；这些实施例的各种修改方式都是显而易见的，并且本文定义的一般原理也可以在不脱离本公开的精神和保护范围的基础上适用于其它实施例。因此，本公开并不限于本文给出的实施例，而是与本申请公开的原理和新颖性特征的最广范围相一致。
上文的描述包括一个或多个实施例的举例。当然，为了描述上述实施例而描述部件或方法的所有可能的结合是不可能的，但是本领域普通技术人员应该认识到，各个实施例可以做进一步的组合和排列。因此，本文中描述的实施例旨在涵盖落入所附权利要求书的保护范围内的所有这样的改变、修改和变型。此外，就说明书或权利要求书中使用的术语“包含”，该词的涵盖方式类似于术语“包括”，就如同“包括，”在权利要求中用作衔接词所解释的那样。此外，使用在权利要求书的说明书中的任何一个术语“或者”是要表示“非排它性的或者”。
本领域技术人员还可以了解到本发明实施例列出的各种说明性逻辑块(illustrative logical block)，单元，和步骤可以通过电子硬件、电脑软件，或两者的结合进行实现。为清楚展示硬件和软件的可替换性(interchangeability)，上述的各种说明性部件(illustrative components)，单元和步骤已经通用地描述了它们的功能。这样的功能是通过硬件还是软件来实现取决于特定的应用和整个***的设计要求。本领域技术人员可以对于每种特定的应用，可以使用各种方法实现所述的功能，但这种实现不应被理解为超出本发明实施例保护的范围。
本发明实施例中所描述的各种说明性的逻辑块，或单元都可以通过通用处理器，数字信号处理器，专用集成电路(ASIC)，现场可编程门阵列或其它可编程逻辑装置，离散门或晶体管逻辑，离散硬件部件，或上述任何组合的设计来实现或操作所描述的功能。通用处理器可以为微处理器，可选地，该通用处理器也可以为任何传统的处理器、控制器、微控制器或状态机。处理器也可以通过计算装置的组合来实现，例如数字信号处理器和微处理器，多个微处理器，一个或多个微处理器联合一个数字信号处理器核，或任何其它类似的配置来实现。
本发明实施例中所描述的方法或算法的步骤可以直接嵌入硬件、处理器执行的软件模块、或者这两者的结合。软件模块可以存储于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动磁盘、CD-ROM或本领域中其它任意形式的存储媒介中。示例性地，存储媒介可以与处理器连接，以使得处理器可以从存储媒介中读取信息，并可以向存储媒介存写信息。可选地，存储媒介还可以集成到处理器中。处理器和存储媒介可以设置于ASIC中，ASIC可以设置于用户终端中。可选地，处理器和存储媒介也可以设置于用户终端中的不同的部件中。
在一个或多个示例性的设计中，本发明实施例所描述的上述功能可以在硬件、软件、固件或这三者的任意组合来实现。如果在软件中实现，这些功能可以存储与电脑可读的媒介上，或以一个或多个指令或代码形式传输于电脑可读的媒介上。电脑可读媒介包括电脑存储媒介和便于使得让电脑程序从一个地方转移到其它地方的通信媒介。存储媒介可以是任何通用或特殊电脑可以接入访问的可用媒体。例如，这样的电脑可读媒体可以包括但不限于RAM、ROM、EEPROM、CD-ROM或其它光盘存储、磁盘存储或其它磁性存储装置，或其它任何可以用于承载或存储以指令或数据结构和其它可被通用或特殊电脑、或通用或特殊处理器读取形式的程序代码的媒介。此外，任何连接都可以被适当地定义为电脑可读媒介，例如，如果软件是从一个网站站点、服务器或其它远程资源通过一个同轴电缆、光纤电缆、双绞线、数字用户线(DSL)或以例如红外、无线和微波等无线方式传输的也被包含在所定义的电脑可读媒介中。所述的碟片(disk)和磁盘(disc)包括压缩磁盘、镭射盘、光盘、DVD、软盘和蓝光光盘，磁盘通常以磁性复制数据，而碟片通常以激光进行光学复制数据。上述的组合也可以包含在电脑可读媒介中。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种基于多层感知的泊位事件识别方法，其特征在于，所述方法包括：
根据泊位扩展ROI区域的光流场信息，判断所述泊位扩展ROI区域是否存在有效运动目标；
若存在，则根据所述泊位扩展ROI区域的运动区域包罗矩形Rmoving、车辆包罗框bBox、所述运动区域包罗矩形Rmoving与所述车辆包罗框bBox之间的交并比信息IOU，获取包含有车辆运动区域bBoxvalid的图像帧；
所述根据所述泊位扩展ROI区域的运动区域包罗矩形Rmoving、车辆包罗框bBox、所述运动区域包罗矩形Rmoving与所述车辆包罗框bBox之间的交并比信息IOU，获取包含有车辆运动区域bBoxvalid的图像帧的步骤包括：
根据泊位扩展ROI区域的光流场信息获取泊位扩展ROI区域的运动区域包罗矩形Rmoving；
对所述运动区域包罗矩形Rmoving对应的图像帧进行车辆检测，得到车辆包罗框bBox；
根据运动区域包罗矩形Rmoving与车辆包罗框bBox之间的交并比信息IOU，对所述运动区域包罗矩形Rmoving与所述车辆包罗框bBox进行关联，得到所述车辆运动区域bBoxvalid，并确认当前图像帧包含有车辆运动区域bBoxvalid；
对包含有所述车辆运动区域bBoxvalid的图像帧进行车辆跟踪，获取所述车辆的运动轨迹信息；
根据所述车辆的运动轨迹信息与泊位区域之间的位置关系，确认泊位状态信息；
根据所述车辆的运动轨迹信息与泊位区域之间的位置关系，确认所述泊位状态信息的步骤包括：
当车辆运动方向和车辆运动区域bBoxvalid的中心点远离泊位，且车辆运动区域bBoxvalid的中心离泊位边缘距离超过预设阈值时，确认泊位为车辆出场事件；
或者当车辆运动方向和车辆运动区域bBoxvalid的中心点为接近并进入泊位，并且车辆运动区域运动速度逐渐接近0和车辆运动区域bBoxvalid中心点进入泊位区域，确认泊位为车辆入场事件。
2.根据权利要求1所述的一种基于多层感知的泊位事件识别方法，其特征在于，所述根据泊位扩展ROI区域的光流场信息，判断所述泊位扩展ROI区域是否存在有效运动目标的步骤包括：
根据预置光流算法对相邻两帧的泊位扩展ROI区域进行光流计算，判断所述泊位扩展ROI区域是否存在运动目标；
若存在，则判断所述运动目标是否为车辆目标；
若是，则确认所述泊位扩展ROI区域存在有效运动目标。
3.根据权利要求2所述的一种基于多层感知的泊位事件识别方法，其特征在于，所述判断所述运动目标是否为车辆目标的步骤包括：
对所述运动目标区域光流场进行聚类，得到运动区域包罗矩形Rmoving；
根据预置分类模型判断所述运动区域包罗矩形Rmoving是否为车辆目标。
4.根据权利要求1所述的一种基于多层感知的泊位事件识别方法，其特征在于，所述对包含有所述车辆运动区域bBoxvalid的图像帧进行车辆跟踪，获取所述车辆的运动轨迹信息的步骤包括：
对预置车辆目标跟踪算法对包含有所述车辆运动区域bBoxvalid的图像帧进行车辆跟踪，获取所述车辆的运动轨迹信息。
5.一种基于多层感知的泊位事件识别***，其特征在于，所述***包括：
判断模块，用于根据泊位扩展ROI区域的光流场信息，判断所述泊位扩展ROI区域是否存在有效运动目标；
获取模块，用于若存在，则根据所述泊位扩展ROI区域的运动区域包罗矩形Rmoving、车辆包罗框bBox、所述运动区域包罗矩形Rmoving与所述车辆包罗框bBox之间的交并比信息IOU，获取包含有车辆运动区域bBoxvalid的图像帧；
所述获取模块，具体用于根据泊位扩展ROI区域的光流场信息获取泊位扩展ROI区域的运动区域包罗矩形Rmoving；对所述运动区域包罗矩形Rmoving对应的图像帧进行车辆检测，得到车辆包罗框bBox；根据运动区域包罗矩形Rmoving与车辆包罗框bBox之间的交并比信息IOU，对所述运动区域包罗矩形Rmoving与所述车辆包罗框bBox进行关联，得到所述车辆运动区域bBoxvalid，并确认当前图像帧包含有车辆运动区域bBoxvalid；
所述获取模块，还用于对包含有所述车辆运动区域bBoxvalid的图像帧进行车辆跟踪，获取所述车辆的运动轨迹信息；
确认模块，用于根据所述车辆的运动轨迹信息与泊位区域之间的位置关系，确认泊位状态信息；
所述确认模块，具体用于当车辆运动方向和车辆运动区域bBoxvalid的中心点远离泊位，且车辆运动区域bBoxvalid的中心离泊位边缘距离超过预设阈值时，确认泊位为车辆出场事件；
或者当车辆运动方向和车辆运动区域bBoxvalid的中心点为接近并进入泊位，并且车辆运动区域运动速度逐渐接近0和车辆运动区域bBoxvalid中心点进入泊位区域，确认泊位为车辆入场事件。
6.根据权利要求5所述的一种基于多层感知的泊位事件识别***，其特征在于，
所述判断模块，具体用于根据预置光流算法对相邻两帧的泊位扩展ROI区域进行光流计算，判断所述泊位扩展ROI区域是否存在运动目标；若存在，则判断所述运动目标是否为车辆目标；若是，则确认所述泊位扩展ROI区域存在有效运动目标。
7.根据权利要求6所述的一种基于多层感知的泊位事件识别***，其特征在于，
所述判断模块，具体还用于对所述运动目标区域光流场进行聚类，得到运动区域包罗矩形Rmoving；根据预置分类模型判断所述运动区域包罗矩形Rmoving是否为车辆目标。
8.根据权利要求5所述的一种基于多层感知的泊位事件识别***，其特征在于，
所述获取模块，具体还用于对预置车辆目标跟踪算法对包含有所述车辆运动区域bBoxvalid的图像帧进行车辆跟踪，获取所述车辆的运动轨迹信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110421556.8A CN113033479B (zh) | 2021-04-20 | 2021-04-20 | 一种基于多层感知的泊位事件识别方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110421556.8A CN113033479B (zh) | 2021-04-20 | 2021-04-20 | 一种基于多层感知的泊位事件识别方法及*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113033479A CN113033479A (zh) | 2021-06-25 |
| CN113033479B true CN113033479B (zh) | 2024-04-26 |
Family
ID=76457858
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110421556.8A Active CN113033479B (zh) | 2021-04-20 | 2021-04-20 | 一种基于多层感知的泊位事件识别方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113033479B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113570871A (zh) * | 2021-07-09 | 2021-10-29 | 超级视线科技有限公司 | 一种基于多维度的车辆人员上下车判断方法及*** |
| CN114463976B (zh) * | 2022-02-09 | 2023-04-07 | 超级视线科技有限公司 | 一种基于3d车辆轨迹的车辆行为状态判定方法及*** |
| CN115035741B (zh) * | 2022-04-29 | 2024-03-22 | 阿里云计算有限公司 | 判别泊位停车的方法、装置、存储介质及*** |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104658249A (zh) * | 2013-11-22 | 2015-05-27 | 上海宝康电子控制工程有限公司 | 基于帧差和光流实现车辆快速检测的方法 |
| EP3223196A1 (en) * | 2016-03-24 | 2017-09-27 | Delphi Technologies, Inc. | A method and a device for generating a confidence measure for an estimation derived from images captured by a camera mounted on a vehicle |
| CN108416798A (zh) * | 2018-03-05 | 2018-08-17 | 山东大学 | 一种基于光流的车辆距离估计方法 |
| CN110910655A (zh) * | 2019-12-11 | 2020-03-24 | 深圳市捷顺科技实业股份有限公司 | 一种停车管理方法、装置及设备 |
| CN112184767A (zh) * | 2020-09-22 | 2021-01-05 | 深研人工智能技术(深圳)有限公司 | 对运动物体进行轨迹跟踪的方法、装置、设备及存储介质 |
-
2021
- 2021-04-20 CN CN202110421556.8A patent/CN113033479B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104658249A (zh) * | 2013-11-22 | 2015-05-27 | 上海宝康电子控制工程有限公司 | 基于帧差和光流实现车辆快速检测的方法 |
| EP3223196A1 (en) * | 2016-03-24 | 2017-09-27 | Delphi Technologies, Inc. | A method and a device for generating a confidence measure for an estimation derived from images captured by a camera mounted on a vehicle |
| CN108416798A (zh) * | 2018-03-05 | 2018-08-17 | 山东大学 | 一种基于光流的车辆距离估计方法 |
| CN110910655A (zh) * | 2019-12-11 | 2020-03-24 | 深圳市捷顺科技实业股份有限公司 | 一种停车管理方法、装置及设备 |
| CN112184767A (zh) * | 2020-09-22 | 2021-01-05 | 深研人工智能技术(深圳)有限公司 | 对运动物体进行轨迹跟踪的方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113033479A (zh) | 2021-06-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113033479B (zh) | 一种基于多层感知的泊位事件识别方法及*** | |
| US6442474B1 (en) | Vision-based method and apparatus for monitoring vehicular traffic events | |
| CN111339994B (zh) | 一种判断临时违章停车的方法及装置 | |
| CN110491168B (zh) | 一种基于车轮着地点检测车辆停车状态的方法及装置 | |
| CN107591005B (zh) | 动静态检测相结合的停车区域管理方法、服务器及*** | |
| CN105185123A (zh) | 一种***识别***及方法 | |
| CN111476169A (zh) | 一种基于视频帧的复杂场景路侧停车行为识别方法 | |
| CN113055823B (zh) | 一种基于路侧停车管理共享单车的方法及装置 | |
| CN113205689B (zh) | 一种基于多维度的路侧停车入场事件判断方法及*** | |
| US11978340B2 (en) | Systems and methods for identifying vehicles using wireless device identifiers | |
| CN111739338A (zh) | 一种基于多类型传感器的停车管理方法及*** | |
| CN112381014A (zh) | 一种基于城市道路的违停车辆检测及管理方法及*** | |
| CN111931673B (zh) | 一种基于视觉差的车辆检测信息的校验方法及装置 | |
| CN112861773A (zh) | 一种基于多层次的泊位状态检测方法及*** | |
| CN113205690A (zh) | 一种基于多维度的路侧停车出场事件判断方法及*** | |
| CN110880205B (zh) | 一种停车收费方法及装置 | |
| CN113450575B (zh) | 一种路侧停车的管理方法及装置 | |
| CN112766222B (zh) | 一种基于泊位线辅助识别车辆行为的方法及装置 | |
| CN113449605A (zh) | 一种基于多维度的路侧车辆违停判断方法及*** | |
| WO2023071874A1 (zh) | 道路救援工作节点确定方法、装置及电子设备、存储介质 | |
| CN113449624B (zh) | 一种基于行人重识别确定车辆行为的方法及装置 | |
| CN110659534A (zh) | 一种共享单车检测方法和装置 | |
| CN112686136B (zh) | 一种对象检测方法、装置及*** | |
| CN113570871A (zh) | 一种基于多维度的车辆人员上下车判断方法及*** | |
| CN117995012A (zh) | 一种基于三路相机联动的垂直下方泊位停车管理方法及*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |