CN114220074A - 一种车辆异常行为状态的识别方法及*** - Google Patents

一种车辆异常行为状态的识别方法及*** Download PDF

Info

Publication number
CN114220074A
CN114220074A CN202111515694.9A CN202111515694A CN114220074A CN 114220074 A CN114220074 A CN 114220074A CN 202111515694 A CN202111515694 A CN 202111515694A CN 114220074 A CN114220074 A CN 114220074A
Authority
CN
China
Prior art keywords
vehicle
state
preset
new
area image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111515694.9A
Other languages
English (en)
Inventor
闫军
纪双西
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Super Vision Technology Co Ltd
Original Assignee
Super Vision Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Super Vision Technology Co Ltd filed Critical Super Vision Technology Co Ltd
Priority to CN202111515694.9A priority Critical patent/CN114220074A/zh
Publication of CN114220074A publication Critical patent/CN114220074A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种车辆异常行为状态的识别方法及***，涉及智能停车管理领域，包括：利用已有的车辆检测识别模型搭配可训练的车辆状态识别模型以及融合识别结果信息，实现了车辆异常状态的识别与监控，并通过所述车辆状态识别向量中车门开启概率和/或后备箱开启概率与预置状态判定阈值进行比对确认存在异常车辆时，反馈存在异常的车辆信息。可以降低算法的实现难度，并且因为本发明独立于车辆检测识别模型可以根据实际需求情况进行独立部署车辆状态识别模型，保证整个车辆异常行为状态的识别算法的高效稳定可控；同时，由于本发明中采用的多分类辆状态识别模型不需要定位信息，因此也减少了目标细化区域的标注需求，极大降低数据标注的难度。

Description

一种车辆异常行为状态的识别方法及***
技术领域
本发明涉及智能停车管理领域，特别涉及一种车辆异常行为状态的识别方法及***。
背景技术
在基于高位视频的动静态交通监控场景下，捕获可视区域车辆状态的多维度信息并进行车辆以及周边相关目标的多种信息的关联整合，可对监控开放且复杂场景下的车辆异常行为状态提供必要的数据支撑。其中，主要的车辆行为状态除了行驶和停泊外，还包括车门以及后备箱的开关：其中，车门和后备箱开关与乘客的上下车行为相关，后备箱开启还与司机规避摄像头监控行为高度相关。因此，对车门和后备箱的状态进行监测，对违规路段下客、故意躲避摄像头采集电子信息等违规行为的甄别具有重要作用。
目前在对车门和后备箱的状态识别时，通常是基于目标检测的深度学习网络，深度学习网络对应的模型训练数据不仅需要对车门和后备箱是否开启的状态进行判断，还需要预先标注车门和后备箱的位置信息，导致额外增加的标注信息过多会极大增加应用成本；并且车门后备箱的开启状态表征为一连续过程并且具有形态相似性，在实际多视角采样状态下，利用过于局部区域的信息进行分类识别很大程度上会造成状态混淆，进而导致识别准确率低。
发明内容
为解决上述技术问题，本发明提供一种车辆异常行为状态的识别方法及***，可以解决现有基于车辆有向包围盒的车辆违停管理成本较高，违停管理的精确度较低的问题。
为实现上述目的，一方面，本发明提供一种车辆异常行为状态的识别方法，所述方法包括：
获取实时采集的监控区域图像，并根据预置车辆检测识别模型从所述监控区域图像中获取车辆检测框位置坐标；
根据所述车辆检测框位置坐标获取车辆状态识别框对应的剪裁框坐标，并根据所述剪裁框坐标对所述监控区域图像进行处理得到监控区域图像子图集；
根据预置车辆状态识别模型对所述监控区域图像子图集进行处理，得到所述监控区域图像对应的车辆状态识别向量，所述预置车辆状态识别模型用于识别车门开启概率、后备箱开启概率、和车辆周围有人存在概率，所述车辆状态识别向量包括车门开启概率和/或后备箱开启概率；
根据所述车辆状态识别向量中车门开启概率和/或后备箱开启概率与预置状态判定阈值进行比对，确认所述车辆是否存在异常状态行为。
进一步地，所述获取实时采集的监控区域图像的步骤之前，所述方法还包括：
通过所述预置车辆检测识别模型从数据库中保存的监控区域图像中获取车辆检测框，并根据所述车辆检测框长宽尺寸扩展预置尺寸对监控区域图片数据的局部目标区域进行裁剪保存，作为训练图片数据集；
根据与分类类型顺序相对应的三元向量对所述训练图片数据集进行标注，得到模型训练数据，所述与分类类型顺序相对应的三元向量的类别包括车门状态信息、后备箱状态信息、和车辆周围是否存在人的状态信息；
将所述模型训练数据输入到预置分类模型，得到三分量向量 Pv＝[P_do，P_to，P_per]作为所述预置车辆状态识别模型，P_do为车门开启概率，P_to为后备箱开启概率、P_per为车辆附近有人存在概率。
进一步地，所述根据所述车辆检测框位置坐标获取车辆状态识别框对应的剪裁框坐标的步骤包括：
将所述车辆检测框长宽尺寸扩展预置尺寸，得到所述车辆状态识别框对应的剪裁框坐标。
进一步地，所述根据预置车辆状态识别模型对所述监控区域图像子图集进行处理，得到所述监控区域图像对应的车辆状态识别向量的步骤包括：
根据公式P_do_new＝a1*P_do+a2*P_per获取车辆车门状态信息，其中， P_do_new为考虑人存在的因素后的车门开启概率， a1＝exp(P_do)/(exp(P_do)+exp(P_per))， a2＝exp(P_per)/(exp(P_do)+exp(P_per))；
根据公式P_to_new＝P_to*(1-P_per)获取车辆后备箱状态信息，其中， P_to_new考虑人存在的因素后的后备箱开启概率。
进一步地，所述根据所述车辆状态识别向量中车门开启概率和/或后备箱开启概率与预置状态判定阈值进行比对，确认所述车辆是否存在异常状态行为的步骤包括：
根据预置状态判定阈值thr＝[thr_do,thr_to]和车辆状态识别向量 Pv_new＝[P_do_new,P_to_new]获取车辆状态指示向量state＝[S_d,S_t]，其中，S_d＝(P_do_new>thr_do)，S_t＝(P_to_new>thr_to)；
若车辆状态指示向量的值为1，则确认所述车辆存在异常状态行为；
输出携带有所述车辆状态信息和所述车辆目标检测识别结果的告警信息。
另一方面，本发明提供一种车辆异常行为状态的识别***，所述***包括：获取单元，用于获获取实时采集的监控区域图像，并根据预置车辆检测识别模型从所述监控区域图像中获取车辆检测框位置坐标；；
所述获取单元，还用于根据所述车辆检测框位置坐标获取车辆状态识别框对应的剪裁框坐标，并根据所述剪裁框坐标对所述监控区域图像进行处理得到监控区域图像子图集；
处理单元，用于根据预置车辆状态识别模型对所述监控区域图像子图集进行处理，得到所述监控区域图像对应的车辆状态识别向量，所述预置车辆状态识别模型用于识别车门开启概率、后备箱开启概率、和车辆周围有人存在概率，所述车辆状态识别向量包括车门开启概率和/或后备箱开启概率；
确定单元，用于根据所述车辆状态识别向量中车门开启概率和/或后备箱开启概率与预置状态判定阈值进行比对，确认所述车辆是否存在异常状态行为。
进一步地，所述***还包括：
裁剪单元，用于通过所述预置车辆检测识别模型从数据库中保存的监控区域图像中获取车辆检测框，并根据所述车辆检测框长宽尺寸扩展预置尺寸对监控区域图片数据的局部目标区域进行裁剪保存，作为训练图片数据集；
标注单元，用于通过所述预置车辆检测识别模型从数据库中保存的监控区域图像中获取车辆检测框，并根据所述车辆检测框长宽尺寸扩展预置尺寸对监控区域图片数据的局部目标区域进行裁剪保存，作为训练图片数据集；
生成单元，用于将所述模型训练数据输入到预置分类模型，得到三分量向量Pv＝[P_do，P_to，P_per]作为所述预置车辆状态识别模型，P_do为车门开启概率，P_to为后备箱开启概率、P_per为车辆附近有人存在概率。
进一步地，所述获取单元，具体还用于将所述车辆检测框长宽尺寸扩展预置尺寸，得到所述车辆状态识别框对应的剪裁框坐标。
进一步地，所述处理单元，具体用于根据公式 P_do_new＝a1*P_do+a2*P_per获取车辆车门状态信息，其中，P_do_new为考虑人存在的因素后的车门开启概率， a1＝exp(P_do)/(exp(P_do)+exp(P_per))， a2＝exp(P_per)/(exp(P_do)+exp(P_per))；根据公式 P_to_new＝P_to*(1-P_per)获取车辆后备箱状态信息，其中，P_to_new考虑人存在的因素后的后备箱开启概率。
进一步地，所述确认单元，具体用于根据预置状态判定阈值 thr＝[thr_do,thr_to]和车辆状态识别向量Pv_new＝[P_do_new,P_to_new] 获取车辆状态指示向量state＝[S_d,S_t]，其中，S_d＝(P_do_new>thr_do)， S_t＝(P_to_new>thr_to)；若车辆状态指示向量的值为1，则确认所述车辆存在异常状态行为；输出携带有所述车辆状态信息和所述车辆目标检测识别结果的告警信息。
本发明提供的一种车辆异常行为状态的识别方法及***，利用已有的车辆检测识别模型搭配可训练的车辆状态识别模型以及融合识别结果信息，实现了车辆异常状态的识别与监控，并通过所述车辆状态识别向量中车门开启概率和/或后备箱开启概率与预置状态判定阈值进行比对确认存在异常车辆时，反馈存在异常的车辆信息。本发明由于是已有的车辆检测识别模型进行的，因此降低了实现难度，并且因为本发明独立于车辆检测识别模型可以根据实际需求情况进行独立部署车辆状态识别模型，保证整个车辆异常行为状态的识别算法的高效稳定可控；同时，由于本发明中采用的多分类辆状态识别模型不需要定位信息，因此也减少了目标细化区域的标注需求，极大降低数据标注的难度。
附图说明
图1是本发明提供的一种车辆异常行为状态的识别方法的流程图；
图2是本发明提供的一种车辆异常行为状态的识别***的结构示意图。
具体实施方式
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
如图1所示，本发明实施例提供的一种车辆异常行为状态的识别方法，包括如下步骤：
101、获取实时采集的监控区域图像，并根据预置车辆检测识别模型从所述监控区域图像中获取车辆检测框位置坐标。
对于本发明实施例，步骤101之前还可以包括：通过所述预置车辆检测识别模型从数据库中保存的监控区域图像中获取车辆检测框，并根据所述车辆检测框长宽尺寸扩展预置尺寸对监控区域图片数据的局部目标区域进行裁剪保存，作为训练图片数据集；根据与分类类型顺序相对应的三元向量对所述训练图片数据集进行标注，得到模型训练数据，所述与分类类型顺序相对应的三元向量的类别包括车门状态信息、后备箱状态信息、和车辆周围是否存在人的状态信息；将所述模型训练数据输入到预置分类模型，得到三分量向量Pv＝[P_do，P_to，P_per]作为所述预置车辆状态识别模型，P_do为车门开启概率，P_to为后备箱开启概率、P_per为车辆附近有人存在概率。
其中，所述预置尺寸可以为原有尺寸的125％、130％、135％等，本发明实施例不做限定。所述根据与分类类型顺序相对应的三元向量对所述训练图片数据集进行标注，得到模型训练数据的步骤具体可以包括：将收集到的训练图片数据集进行数据标注，设定标注数据为与分类类型顺序相对应的三元向量：根据车辆状态识别需求，设定分类类型分别为车门开启，后备箱开启，有人存在，对应的标注向量label＝[l1,l2,l3]，然后根据实际图片内容情况进行标记，获取对应训练图片数据集的标注数据集，形成完整的模型训练数据D，例如，如果图片中车门开启角度大约>45度，则l1＝1，否则l1＝0；如果图片中后备箱开启角度大约>45度，则l2＝1，否则l2＝0；如果图片中车辆附近区域范围内有人存在，则l3＝1，否则l3＝0。
102、根据所述车辆检测框位置坐标获取车辆状态识别框对应的剪裁框坐标，并根据所述剪裁框坐标对所述监控区域图像进行处理得到监控区域图像子图集。
对于本发明实施例，所述根据所述车辆检测框位置坐获标取车辆状态识别框对应的剪裁框坐标的步骤包括：将所述车辆检测框长宽尺寸扩展预置尺寸，得到所述车辆状态识别框对应的剪裁框坐标。其中，预置尺寸可以为原有尺寸的125％、130％、135％等。
对于本发明实施例，所述根据所述剪裁框坐标对所述监控区域图像进行处理得到监控区域图像子图集的步骤具体可以包括：将实时采集的相机图片数据输入到已有的车辆检测识别模型，获取当前图片的车辆检测框位置坐标pos0＝(x0,y0,w,h)，将各个检测框区域扩大30％，获取新的裁剪框坐标pos＝(x0,y0,w*1.15,h*1.15)，并对原始图片目标区域进行裁剪获取子图集Ip。
103、根据预置车辆状态识别模型对所述监控区域图像子图集进行处理，得到所述监控区域图像对应的车辆状态识别向量。
其中，所述预置车辆状态识别模型用于识别车门开启概率、后备箱开启概率、和车辆周围有人存在概率，所述车辆状态识别向量包括车门开启概率和/或后备箱开启概率。
对于本发明实施例，步骤103具体可以包括：根据公式 P_do_new＝a1*P_do+a2*P_per获取车辆车门状态信息，其中，P_do_new为考虑人存在的因素后的车门开启概率， a1＝exp(P_do)/(exp(P_do)+exp(P_per))， a2＝exp(P_per)/(exp(P_do)+exp(P_per))；根据公式 P_to_new＝P_to*(1-P_per)获取车辆后备箱状态信息，其中，P_to_new考虑人存在的因素后的后备箱开启概率。
需要说明的是，将子图集Ip输入到预置车辆状态识别模型中，获取当前图片识别结果向量Pv＝[P_do，P_to，P_per]，由于监测***对人与车门开启或后备箱开启行行为的互动关系预期目标不同，因此为了提高最终的状态识别准确率，人存在的识别概率对于其他两项的影响效果也不相同，可分情况定义如下信息融合评估方式，获取最终的车辆状态识别向量 Pv_new＝[P_do_new,P_to_new]：当识别车门开启的目标主要为识别是否有人违规上下车，因此该人和车门的互动行为多为同步进行的短时行为，因此两种状态同时存在时表明异常状态的可能性更高，因此人对车门启状态行为识别呈正相关，车门开启状态的综合概率最终表示为 P_do_new＝a1*P_do+a2*P_per，a1＝exp(P_do)/(exp(P_do)+exp(P_per))， a2＝exp(P_per)/(exp(P_do)+exp(P_per))；当识别后备箱开启的目标主要为识别是否有人泊车时故意开启后备箱以便躲避摄像头监控拍照、逃避交款等行为，因此该人和后备箱的互动行为较弱，大概率监控拍摄到的时间段为人已经离开但后备箱仍然保持开启状态，并且当人与后备箱有互动情况下会影响后备箱开启状态识别，或者本身该互动行为仅为短时间的合理行为，如停车时拿取后备箱物品属于正常行为，因此人对后备箱开启状态识别呈负相关，后备箱开启状态的综合概率最终表示为 P_to_new＝P_to*(1-P_per)。
104、根据所述车辆状态识别向量中车门开启概率和/或后备箱开启概率与预置状态判定阈值进行比对，确认所述车辆是否存在异常状态行为。
对于本发明实施例，步骤104具体可以包括：根据预置状态判定阈值 thr＝[thr_do,thr_to]和车辆状态识别向量Pv_new＝[P_do_new,P_to_new] 获取车辆状态指示向量state＝[S_d,S_t]，其中，S_d＝(P_do_new>thr_do)， S_t＝(P_to_new>thr_to)；若车辆状态指示向量的值为1，则确认所述车辆存在异常状态行为；输出携带有所述车辆状态信息和所述车辆目标检测识别结果的告警信息。
例如，设定预置状态判定阈值thr＝[thr_do,thr_to]，对车辆状态识别向量Pv_new进一步判定，得到最终的车辆状态指示向量state＝[S_d,S_t]，其中，S_d＝(P_do_new>thr_do)，S_t＝(P_to_new>thr_to)，如果车辆状态指示向量state＝[0,0]则忽略该条识别结果，不反馈异常状态监控信号给***，如果(state＝＝1).any()＝＝True，则对当前帧当前目标车辆的车牌识别信息进行检索，结合已有的车辆状态指示向量state、车辆目标检测识别结果等信息综合输送给后台监控***，以便进一步进行后续的异常处理流程；其中如果当前帧因为目标遮挡、图片质量不佳等原因可获取的车牌识别信息缺失或识别信息的可信度不高，则利用前后时间段的连续采集图片进行当前目标追踪，捕获对应车辆的车牌信息，从而可以提升异常状态车辆信息的采集准确性。
本发明提供的一种车辆异常行为状态的识别方法，利用已有的车辆检测识别模型搭配可训练的车辆状态识别模型以及融合识别结果信息，实现了车辆异常状态的识别与监控，并通过所述车辆状态识别向量中车门开启概率和/或后备箱开启概率与预置状态判定阈值进行比对确认存在异常车辆时，反馈存在异常的车辆信息。本发明由于是已有的车辆检测识别模型进行的，因此降低了实现难度，并且因为本发明独立于车辆检测识别模型可以根据实际需求情况进行独立部署车辆状态识别模型，保证整个车辆异常行为状态的识别算法的高效稳定可控；同时，由于本发明中采用的多分类辆状态识别模型不需要定位信息，因此也减少了目标细化区域的标注需求，极大降低数据标注的难度。
为实现本发明实施例提供的方法，本发明实施例提供一种车辆异常行为状态的识别***，如图2所示，该***包括：获取单元21、处理单元22、确定单元23。
获取单元21，用于获获取实时采集的监控区域图像，并根据预置车辆检测识别模型从所述监控区域图像中获取车辆检测框位置坐标。
所述获取单元21，还用于根据所述车辆检测框位置坐标获取车辆状态识别框对应的剪裁框坐标，并根据所述剪裁框坐标对所述监控区域图像进行处理得到监控区域图像子图集。
处理单元22，用于根据预置车辆状态识别模型对所述监控区域图像子图集进行处理，得到所述监控区域图像对应的车辆状态识别向量。
其中，所述预置车辆状态识别模型用于识别车门开启概率、后备箱开启概率、和车辆周围有人存在概率，所述车辆状态识别向量包括车门开启概率和/或后备箱开启概率。
确定单元23，用于根据所述车辆状态识别向量中车门开启概率和/或后备箱开启概率与预置状态判定阈值进行比对，确认所述车辆是否存在异常状态行为。
进一步地，所述***还包括：裁剪单元24，用于通过所述预置车辆检测识别模型从数据库中保存的监控区域图像中获取车辆检测框，并根据所述车辆检测框长宽尺寸扩展预置尺寸对监控区域图片数据的局部目标区域进行裁剪保存，作为训练图片数据集。
其中，所述预置尺寸可以为原有尺寸的125％、130％、135％等，本发明实施例不做限定。
进一步地，所述***还包括：标注单元25，用于通过所述预置车辆检测识别模型从数据库中保存的监控区域图像中获取车辆检测框，并根据所述车辆检测框长宽尺寸扩展预置尺寸对监控区域图片数据的局部目标区域进行裁剪保存，作为训练图片数据集。
进一步地，所述***还包括：生成单元26，用于将所述模型训练数据输入到预置分类模型，得到三分量向量Pv＝[P_do，P_to，P_per]作为所述预置车辆状态识别模型，P_do为车门开启概率，P_to为后备箱开启概率、 P_per为车辆附近有人存在概率。
进一步地，所述获取单元21，具体还用于将所述车辆检测框长宽尺寸扩展预置尺寸，得到所述车辆状态识别框对应的剪裁框坐标。
进一步地，所述处理单元22，具体用于根据公式 P_do_new＝a1*P_do+a2*P_per获取车辆车门状态信息，其中，P_do_new为考虑人存在的因素后的车门开启概率， a1＝exp(P_do)/(exp(P_do)+exp(P_per))， a2＝exp(P_per)/(exp(P_do)+exp(P_per))；根据公式P_to_new＝P_to*(1-P_per)获取车辆后备箱状态信息，其中，P_to_new考虑人存在的因素后的后备箱开启概率。
进一步地，所述确认单元23，具体用于根据预置状态判定阈值 thr＝[thr_do,thr_to]和车辆状态识别向量Pv_new＝[P_do_new,P_to_new] 获取车辆状态指示向量state＝[S_d,S_t]，其中，S_d＝(P_do_new>thr_do)， S_t＝(P_to_new>thr_to)；若车辆状态指示向量的值为1，则确认所述车辆存在异常状态行为；输出携带有所述车辆状态信息和所述车辆目标检测识别结果的告警信息。
本发明提供的一种车辆异常行为状态的识别***，利用已有的车辆检测识别模型搭配可训练的车辆状态识别模型以及融合识别结果信息，实现了车辆异常状态的识别与监控，并通过所述车辆状态识别向量中车门开启概率和/或后备箱开启概率与预置状态判定阈值进行比对确认存在异常车辆时，反馈存在异常的车辆信息。本发明由于是已有的车辆检测识别模型进行的，因此降低了实现难度，并且因为本发明独立于车辆检测识别模型可以根据实际需求情况进行独立部署车辆状态识别模型，保证整个车辆异常行为状态的识别算法的高效稳定可控；同时，由于本发明中采用的多分类辆状态识别模型不需要定位信息，因此也减少了目标细化区域的标注需求，极大降低数据标注的难度。
应该明白，公开的过程中的步骤的特定顺序或层次是示例性方法的实例。基于设计偏好，应该理解，过程中的步骤的特定顺序或层次可以在不脱离本公开的保护范围的情况下得到重新安排。所附的方法权利要求以示例性的顺序给出了各种步骤的要素，并且不是要限于所述的特定顺序或层次。
在上述的详细描述中，各种特征一起组合在单个的实施方案中，以简化本公开。不应该将这种公开方法解释为反映了这样的意图，即，所要求保护的主题的实施方案需要比清楚地在每个权利要求中所陈述的特征更多的特征。相反，如所附的权利要求书所反映的那样，本发明处于比所公开的单个实施方案的全部特征少的状态。因此，所附的权利要求书特此清楚地被并入详细描述中，其中每项权利要求独自作为本发明单独的优选实施方案。
为使本领域内的任何技术人员能够实现或者使用本发明，上面对所公开实施例进行了描述。对于本领域技术人员来说；这些实施例的各种修改方式都是显而易见的，并且本文定义的一般原理也可以在不脱离本公开的精神和保护范围的基础上适用于其它实施例。因此，本公开并不限于本文给出的实施例，而是与本申请公开的原理和新颖性特征的最广范围相一致。
上文的描述包括一个或多个实施例的举例。当然，为了描述上述实施例而描述部件或方法的所有可能的结合是不可能的，但是本领域普通技术人员应该认识到，各个实施例可以做进一步的组合和排列。因此，本文中描述的实施例旨在涵盖落入所附权利要求书的保护范围内的所有这样的改变、修改和变型。此外，就说明书或权利要求书中使用的术语“包含”，该词的涵盖方式类似于术语“包括”，就如同“包括，”在权利要求中用作衔接词所解释的那样。此外，使用在权利要求书的说明书中的任何一个术语“或者”是要表示“非排它性的或者”。
本领域技术人员还可以了解到本发明实施例列出的各种说明性逻辑块(illustrative logical block)，单元，和步骤可以通过电子硬件、电脑软件，或两者的结合进行实现。为清楚展示硬件和软件的可替换性 (interchangeability)，上述的各种说明性部件(illustrative components)，单元和步骤已经通用地描述了它们的功能。这样的功能是通过硬件还是软件来实现取决于特定的应用和整个***的设计要求。本领域技术人员可以对于每种特定的应用，可以使用各种方法实现所述的功能，但这种实现不应被理解为超出本发明实施例保护的范围。
本发明实施例中所描述的各种说明性的逻辑块，或单元都可以通过通用处理器，数字信号处理器，专用集成电路(ASIC)，现场可编程门阵列或其它可编程逻辑装置，离散门或晶体管逻辑，离散硬件部件，或上述任何组合的设计来实现或操作所描述的功能。通用处理器可以为微处理器，可选地，该通用处理器也可以为任何传统的处理器、控制器、微控制器或状态机。处理器也可以通过计算装置的组合来实现，例如数字信号处理器和微处理器，多个微处理器，一个或多个微处理器联合一个数字信号处理器核，或任何其它类似的配置来实现。
本发明实施例中所描述的方法或算法的步骤可以直接嵌入硬件、处理器执行的软件模块、或者这两者的结合。软件模块可以存储于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动磁盘、CD-ROM或本领域中其它任意形式的存储媒介中。示例性地，存储媒介可以与处理器连接，以使得处理器可以从存储媒介中读取信息，并可以向存储媒介存写信息。可选地，存储媒介还可以集成到处理器中。处理器和存储媒介可以设置于ASIC中，ASIC可以设置于用户终端中。可选地，处理器和存储媒介也可以设置于用户终端中的不同的部件中。
在一个或多个示例性的设计中，本发明实施例所描述的上述功能可以在硬件、软件、固件或这三者的任意组合来实现。如果在软件中实现，这些功能可以存储与电脑可读的媒介上，或以一个或多个指令或代码形式传输于电脑可读的媒介上。电脑可读媒介包括电脑存储媒介和便于使得让电脑程序从一个地方转移到其它地方的通信媒介。存储媒介可以是任何通用或特殊电脑可以接入访问的可用媒体。例如，这样的电脑可读媒体可以包括但不限于RAM、ROM、EEPROM、CD-ROM或其它光盘存储、磁盘存储或其它磁性存储装置，或其它任何可以用于承载或存储以指令或数据结构和其它可被通用或特殊电脑、或通用或特殊处理器读取形式的程序代码的媒介。此外，任何连接都可以被适当地定义为电脑可读媒介，例如，如果软件是从一个网站站点、服务器或其它远程资源通过一个同轴电缆、光纤电缆、双绞线、数字用户线(DSL)或以例如红外、无线和微波等无线方式传输的也被包含在所定义的电脑可读媒介中。所述的碟片(disk)和磁盘(disc) 包括压缩磁盘、镭射盘、光盘、DVD、软盘和蓝光光盘，磁盘通常以磁性复制数据，而碟片通常以激光进行光学复制数据。上述的组合也可以包含在电脑可读媒介中。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种车辆异常行为状态的识别方法，其特征在于，所述方法包括：
获取实时采集的监控区域图像，并根据预置车辆检测识别模型从所述监控区域图像中获取车辆检测框位置坐标；
根据所述车辆检测框位置坐标获取车辆状态识别框对应的剪裁框坐标，并根据所述剪裁框坐标对所述监控区域图像进行处理得到监控区域图像子图集；
根据预置车辆状态识别模型对所述监控区域图像子图集进行处理，得到所述监控区域图像对应的车辆状态识别向量，所述预置车辆状态识别模型用于识别车门开启概率、后备箱开启概率、和车辆周围有人存在概率，所述车辆状态识别向量包括车门开启概率和/或后备箱开启概率；
根据所述车辆状态识别向量中车门开启概率和/或后备箱开启概率与预置状态判定阈值进行比对，确认所述车辆是否存在异常状态行为。
2.根据权利要求1所述的一种车辆异常行为状态的识别方法，其特征在于，所述获取实时采集的监控区域图像的步骤之前，所述方法还包括：
通过所述预置车辆检测识别模型从数据库中保存的监控区域图像中获取车辆检测框，并根据所述车辆检测框长宽尺寸扩展预置尺寸对监控区域图片数据的局部目标区域进行裁剪保存，作为训练图片数据集；
根据与分类类型顺序相对应的三元向量对所述训练图片数据集进行标注，得到模型训练数据，所述与分类类型顺序相对应的三元向量的类别包括车门状态信息、后备箱状态信息、和车辆周围是否存在人的状态信息；
将所述模型训练数据输入到预置分类模型，得到三分量向量Pv＝[P_do，P_to，P_per]作为所述预置车辆状态识别模型，P_do为车门开启概率，P_to为后备箱开启概率、P_per为车辆附近有人存在概率。
3.根据权利要求1或2所述的一种车辆异常行为状态的识别方法，其特征在于，所述根据所述车辆检测框位置坐获标取车辆状态识别框对应的剪裁框坐标的步骤包括：
将所述车辆检测框长宽尺寸扩展预置尺寸，得到所述车辆状态识别框对应的剪裁框坐标。
4.根据权利要求2所述的一种车辆异常行为状态的识别方法，其特征在于，所述根据预置车辆状态识别模型对所述监控区域图像子图集进行处理，得到所述监控区域图像对应的车辆状态识别向量的步骤包括：
根据公式P_do_new＝a1*P_do+a2*P_per获取车辆车门状态信息，其中，P_do_new为考虑人存在的因素后的车门开启概率，a1＝exp(P_do)/(exp(P_do)+exp(P_per))，a2＝exp(P_per)/(exp(P_do)+exp(P_per))；
根据公式P_to_new＝P_to*(1-P_per)获取车辆后备箱状态信息，其中，P_to_new考虑人存在的因素后的后备箱开启概率。
5.根据权利要求4所述的一种车辆异常行为状态的识别方法，其特征在于，所述根据所述车辆状态识别向量中车门开启概率和/或后备箱开启概率与预置状态判定阈值进行比对，确认所述车辆是否存在异常状态行为的步骤包括：
根据预置状态判定阈值thr＝[thr_do,thr_to]和车辆状态识别向量Pv_new＝[P_do_new,P_to_new]获取车辆状态指示向量state＝[S_d,S_t]，其中，S_d＝(P_do_new>thr_do)，S_t＝(P_to_new>thr_to)；
若车辆状态指示向量的值为1，则确认所述车辆存在异常状态行为；
输出携带有所述车辆状态信息和所述车辆目标检测识别结果的告警信息。
6.一种车辆异常行为状态的识别***，其特征在于，所述***包括：
获取单元，用于获获取实时采集的监控区域图像，并根据预置车辆检测识别模型从所述监控区域图像中获取车辆检测框位置坐标；
所述获取单元，还用于根据所述车辆检测框位置坐标获取车辆状态识别框对应的剪裁框坐标，并根据所述剪裁框坐标对所述监控区域图像进行处理得到监控区域图像子图集；
处理单元，用于根据预置车辆状态识别模型对所述监控区域图像子图集进行处理，得到所述监控区域图像对应的车辆状态识别向量，所述预置车辆状态识别模型用于识别车门开启概率、后备箱开启概率、和车辆周围有人存在概率，所述车辆状态识别向量包括车门开启概率和/或后备箱开启概率；
确定单元，用于根据所述车辆状态识别向量中车门开启概率和/或后备箱开启概率与预置状态判定阈值进行比对，确认所述车辆是否存在异常状态行为。
7.根据权利要求6所述的一种车辆异常行为状态的识别***，其特征在于，所述***还包括：
裁剪单元，用于通过所述预置车辆检测识别模型从数据库中保存的监控区域图像中获取车辆检测框，并根据所述车辆检测框长宽尺寸扩展预置尺寸对监控区域图片数据的局部目标区域进行裁剪保存，作为训练图片数据集；
标注单元，用于通过所述预置车辆检测识别模型从数据库中保存的监控区域图像中获取车辆检测框，并根据所述车辆检测框长宽尺寸扩展预置尺寸对监控区域图片数据的局部目标区域进行裁剪保存，作为训练图片数据集；
生成单元，用于将所述模型训练数据输入到预置分类模型，得到三分量向量Pv＝[P_do，P_to，P_per]作为所述预置车辆状态识别模型，P_do为车门开启概率，P_to为后备箱开启概率、P_per为车辆附近有人存在概率。
8.根据权利要求6或7所述的一种车辆异常行为状态的识别***，其特征在于，
所述获取单元，具体还用于将所述车辆检测框长宽尺寸扩展预置尺寸，得到所述车辆状态识别框对应的剪裁框坐标。
9.根据权利要求7所述的一种车辆异常行为状态的识别***，其特征在于，
所述处理单元，具体用于根据公式P_do_new＝a1*P_do+a2*P_per获取车辆车门状态信息，其中，P_do_new为考虑人存在的因素后的车门开启概率，a1＝exp(P_do)/(exp(P_do)+exp(P_per))，a2＝exp(P_per)/(exp(P_do)+exp(P_per))；根据公式P_to_new＝P_to*(1-P_per)获取车辆后备箱状态信息，其中，P_to_new考虑人存在的因素后的后备箱开启概率。
10.根据权利要求9所述的一种车辆异常行为状态的识别***，其特征在于，
所述确认单元，具体用于根据预置状态判定阈值thr＝[thr_do,thr_to]和车辆状态识别向量Pv_new＝[P_do_new,P_to_new]获取车辆状态指示向量state＝[S_d,S_t]，其中，S_d＝(P_do_new>thr_do)，S_t＝(P_to_new>thr_to)；若车辆状态指示向量的值为1，则确认所述车辆存在异常状态行为；输出携带有所述车辆状态信息和所述车辆目标检测识别结果的告警信息。
CN202111515694.9A 2021-12-13 2021-12-13 一种车辆异常行为状态的识别方法及*** Pending CN114220074A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111515694.9A CN114220074A (zh) 2021-12-13 2021-12-13 一种车辆异常行为状态的识别方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111515694.9A CN114220074A (zh) 2021-12-13 2021-12-13 一种车辆异常行为状态的识别方法及***

Publications (1)

Publication Number Publication Date
CN114220074A true CN114220074A (zh) 2022-03-22

Family

ID=80701186

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111515694.9A Pending CN114220074A (zh) 2021-12-13 2021-12-13 一种车辆异常行为状态的识别方法及***

Country Status (1)

Country Link
CN (1) CN114220074A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115082571A (zh) * 2022-07-20 2022-09-20 深圳云游四海信息科技有限公司 用于路内停车摄像机的异常检测方法和***

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115082571A (zh) * 2022-07-20 2022-09-20 深圳云游四海信息科技有限公司 用于路内停车摄像机的异常检测方法和***

Similar Documents

Publication Publication Date Title
CN111931627A (zh) 一种基于多模态信息融合的车辆再识别方法及装置
US20170300786A1 (en) Methods and systems for accurately recognizing vehicle license plates
Abdullah et al. YOLO-based three-stage network for Bangla license plate recognition in Dhaka metropolitan city
US11113582B2 (en) Method and system for facilitating detection and identification of vehicle parts
CN110580808B (zh) 一种信息处理方法、装置、电子设备及智能交通***
CN103020624A (zh) 混合车道监控视频智能标记、检索回放方法及其装置
CN110826356B (zh) 一种非机动车违章检测***、方法及服务器
CN102170563A (zh) 智能人员卡口***及人员监控管理方法
CN110619277A (zh) 一种多社区智慧布控方法以及***
US11321571B2 (en) Automatic license plate recognition (ALPR) and vehicle identification profile methods and systems
CN112633255B (zh) 目标检测方法、装置及设备
CN113055823B (zh) 一种基于路侧停车管理共享单车的方法及装置
CN108805184B (zh) 一种固定空间、车辆上的图像识别方法及***
Gu et al. Embedded and real-time vehicle detection system for challenging on-road scenes
CN114220074A (zh) 一种车辆异常行为状态的识别方法及***
CN117058634A (zh) 一种高速路场景自适应交通违法行为识别方法
CN103761345A (zh) 一种基于ocr字符识别技术的视频检索方法
EP4064218A1 (en) Vehicle identification profile methods and systems at the edge
CN111291722A (zh) 一种基于v2i技术的车辆重识别***
CN113449624B (zh) 一种基于行人重识别确定车辆行为的方法及装置
WO2022135242A1 (zh) 虚拟定位方法及装置、虚拟定位***
Roy et al. Vehicle number plate recognition and parking system
Baviskar et al. Auto Number Plate Recognition
Gupta et al. An Automated Number Plate Recognition System based on Optical Character Recognition
CN113473077A (zh) 一种基于多维度的路侧逆向停车的判断方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination