CN115240148A - 车辆行为的检测方法、装置、存储介质及电子装置 - Google Patents

车辆行为的检测方法、装置、存储介质及电子装置 Download PDF

Info

Publication number
CN115240148A
CN115240148A CN202210977137.7A CN202210977137A CN115240148A CN 115240148 A CN115240148 A CN 115240148A CN 202210977137 A CN202210977137 A CN 202210977137A CN 115240148 A CN115240148 A CN 115240148A
Authority
CN
China
Prior art keywords
target
information
vehicle
image
classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210977137.7A
Other languages
English (en)
Inventor
林亦宁
陈庆
倪华健
赵之健
彭垚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Supremind Intelligent Technology Co Ltd
Original Assignee
Shanghai Supremind Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Supremind Intelligent Technology Co Ltd filed Critical Shanghai Supremind Intelligent Technology Co Ltd
Priority to CN202210977137.7A priority Critical patent/CN115240148A/zh
Publication of CN115240148A publication Critical patent/CN115240148A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明实施例提供了一种车辆行为的检测方法、装置、存储介质及电子装置,该方法包括:获取摄像设备对目标区域进行拍摄所得到的第一图像以及获取雷达设备采集的包括目标区域的雷达数据的第二图像;对第一图像和第二图像进行检测,以得到第一图像中所包括的车辆的第一数据信息以及第二图像中所包括的车辆的第二数据信息,并基于第一数据信息和第二数据信息确定目标类别的目标车辆在目标区域中的行驶信息;基于行驶信息确定所述目标车辆是否执行了目标行为。通过本发明,解决了相关技术中存在的车辆行为的检测准确率较低的问题,达到了提高车辆行为的检测准确率以及大幅度减少车辆行为的漏报率的效果。

Description

车辆行为的检测方法、装置、存储介质及电子装置
技术领域
本发明实施例涉及计算机领域,具体而言,涉及一种车辆行为的检测方法、装置、存储介质及电子装置。
背景技术
在相关技术中,在对车辆的行驶行为进行判断时,一般都是通过只通过摄像头所拍摄的图像来进行判断,或者只通过雷达所探测到的数据进行判断,甚至对于一些比较特殊的行为是依赖于人为监控的方式进行判断,例如,针对大型车辆的右转行为判断,一般都是通过人为监控的方式进行的,下面以大型车辆的右转行为作为示例进行说明:
大型车辆在右转时,会出现“内轮差”现象,该现象容易引发交通事故。大型车辆在右转弯时,后轮并未沿着前轮的轨迹行驶,因此会产生偏差,而转弯形成的偏差称为“轮差”,车身越长,所形成的轮差就越大,内轮差的范围也会跟着扩大。为了改善并降低大型车辆右转时,因车主的视觉盲区所引发的人员伤亡事故,目前多地要求实行“右转必停”的交通规则,即指在大型车辆进入路口后且需要右转弯的情况下,车辆驾驶人要先停稳车辆,再向外、向后瞭望,确保车辆周边安全,再驾驶车辆右转。
相关技术中,当前主要依赖于人为的监控大型车辆是否执行“右转必停”的交通规则,在每个大型车辆路过的重要路口都会安排一个或多个人监管和引导大型车辆执行“右转必停”的交通规则,进而通过人眼发现大型车辆是否发生违章行为,但人为监控方式应用需要投入大量的人力、物力,且通过人眼观察大型车辆是否发生违章行为的效率较低以及夜晚漏报的违章行为较多。
除此之外,针对车辆所发生的其他行为,在相关技术中的检测方式也是较为单一的,由此也会出现检测效率比较低以及判定准确率比较低的问题。
针对相关技术中存在的车辆行为的检测准确率较低的问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种车辆行为的检测方法、装置、存储介质及电子装置,以至少解决相关技术中存在的车辆行为的检测准确率较低的问题。
根据本发明的一个实施例,提供了一种车辆行为的检测方法,包括:获取摄像设备对目标区域进行拍摄所得到的第一图像,以及,获取雷达设备采集的包括所述目标区域的雷达数据的第二图像,其中,所述第一图像为所述摄像设备在所述摄像设备所处的环境满足预设亮度阈值的目标时段内所持续拍摄到的图像,以及所述第二图像为所述雷达设备在所述目标时段内所持续采集到的包括所述雷达数据的图像;对所述第一图像和所述第二图像进行检测,以得到所述第一图像中所包括的车辆的第一数据信息以及所述第二图像中所包括的车辆的第二数据信息,并基于所述第一数据信息和所述第二数据信息确定目标类别的目标车辆在所述目标区域中的行驶信息;基于所述行驶信息确定所述目标车辆是否执行了目标行为。
在一个示例性实施例中,基于所述第一数据信息和所述第二数据信息确定目标类别的目标车辆在所述目标区域中的行驶信息包括:基于所述第一数据信息确定所述第一图像中所包括的每个车辆的第一分类统计结果,其中,所述第一分类统计结果用于指示所述第一图像中所包括的每个车辆的尺寸信息、位置信息以及类别信息,以及,基于所述第二数据信息确定所述第二图像中所包括的每个车辆的第二分类统计结果,其中,所述第二分类统计结果用于指示所述第二图像中所包括的每个车辆的尺寸信息、位置信息以及类别信息;基于所述第一分类统计结果中所指示的尺寸信息以及类别信息确定出所述第一图像中包括的所述目标类别的第一车辆,以及,基于所述第二分类统计结果中所指示的尺寸信息以及类别信息确定出所述第二图像中包括的所述目标类别的第二车辆;基于所述第一分类统计结果中所指示的所述第一车辆的位置信息和所述第二分类统计结果中所指示的所述第二车辆的位置信息确定出在所述第一图像与所述第二图像中位置对应的所述目标车辆的目标位置信息;基于所述目标位置信息确定所述目标车辆的在所述目标区域中的所述行驶信息。
在一个示例性实施例中,在基于所述第一数据信息确定所述第一图像中所包括的每个车辆的第一分类统计结果,以及,基于所述第二数据信息确定所述第二图像中所包括的每个车辆的第二分类统计结果之后,所述方法还包括:基于所述第二分类统计结果生成第一掩码表,其中,所述第一掩码表用于记录第二图像中所包括的每个车辆的尺寸信息、位置信息以及类别信息;利用所述第一分类统计结果中所记录的所述第一图像中所包括的每个车辆的尺寸信息、位置信息以及类别信息对所述第一掩码表中所记录的信息进行对应修正;基于修正结果得到目标掩码表;基于所述目标掩码表确定出所述目标车辆在所述目标区域中的所述行驶信息。
在一个示例性实施例中,利用所述第一分类统计结果中所记录的所述第一图像中所包括的每个车辆的尺寸信息、位置信息以及类别信息对所述第一掩码表中所记录的信息进行对应修正包括:在所述第一分类结果中还记录有所述第一图像中所包括的每个车辆的类别置信度的情况下,从所述第一分类结果中确定出目标分类结果,其中,所述目标分类结果用于指示所述第一图像中所包括的所述类别置信度大于预定置信度阈值的车辆的尺寸信息、位置信息以及类别信息;利用所述目标分类结果对所述第一掩码表中所记录的信息进行对应修正。
在一个示例性实施例中,基于所述行驶信息确定所述目标车辆是否执行了目标行为包括:确定所述行驶信息中包括的所述目标车辆的轨迹信息;基于所述轨迹信息确定所述目标车辆的速度信息;基于所述速度信息确定所述目标车辆是否执行了目标行为。
在一个示例性实施例中,基于所述速度信息确定所述目标车辆是否执行了目标行为包括:在基于所述速度信息确定所述目标车辆在所述目标区域中包括的右转区域中出现过速度为零的情况下,确定所述目标车辆执行了所述目标行为;在基于所述速度信息确定所述目标车辆在所述目标区域中包括的右转区域中未出现过速度为零的情况下,确定所述目标车辆未执行了所述目标行为。
在一个示例性实施例中,所述方法还包括:获取所述雷达设备在除所述目标时段之外的其他时段内所采集的包括所述目标区域的雷达数据的第三图像;对所述第三图像进行检测,以得到所述第三图像中所包括的车辆的第三数据信息,并基于所述第三数据信息确定所述目标车辆在所述目标区域中的目标行驶信息;基于所述目标行驶信息确定所述目标车辆是否执行了目标行为。
根据本发明的又一个实施例,还提供了一种车辆行为的检测装置,包括:第一获取模块,用于获取摄像设备对目标区域进行拍摄所得到的第一图像,以及,获取雷达设备采集的包括所述目标区域的雷达数据的第二图像,其中,所述第一图像为所述摄像设备在所述第一设备所处的环境满足预设亮度阈值的目标时段内所持续拍摄到的图像,以及所述第二图像为所述雷达设备在所述目标时段内所持续采集到的包括所述雷达数据的图像;检测模块,用于对所述第一图像和所述第二图像进行检测,以得到所述第一图像中所包括的车辆的第一数据信息以及所述第二图像中所包括的车辆的第二数据信息,并基于所述第一数据信息和所述第二数据信息确定目标类别的目标车辆在所述目标区域中的行驶信息;第一确定模块,用于基于所述行驶信息确定所述目标车辆是否执行了目标行为。
根据本发明的又一个实施例,还提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,其中,所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
根据本发明的又一个实施例,还提供了一种电子装置,包括存储器和处理器,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。
通过本发明,通过获取摄像设备在所处的环境满足预设亮度阈值的目标时段内对目标区域进行持续拍摄所得到的第一图像,以及,获取雷达设备在目标时间段内持续采集的包括目标区域的雷达数据的第二图像,对第一图像和第二图像进行检测,以得到第一图像中所包括的车辆的第一数据信息以及第二图像中所包括的车辆的第二数据信息,并基于第一数据信息和第二数据信息确定目标类别的目标车辆在目标区域中的行驶信息;进而基于行驶信息确定目标车辆是否执行了目标行为。采用本发明方法,通过对摄像设备在所处的环境满足预设亮度阈值的目标时段内对目标区域持续拍摄所得到的第一图像和雷达设备在目标时间段内持续采集到的包括目标区域的雷达数据的第二图像进行检测,进而基于两类检测结果确定目标车辆是否执行了目标行为,解决相关技术中存在的车辆行为的检测准确率较低的问题,达到了提高车辆行为的检测准确率以及大幅度减少车辆行为的漏报率的效果。
附图说明
图1是本发明实施例的一种车辆行为的检测方法的移动终端的硬件结构框图;
图2是根据本发明实施例的一种车辆行为的检测方法的流程图;
图3是根据本发明实施例的检测大型车辆右转未停的总流程图;
图4是根据本发明实施例的路口右转区域的示意图;
图5是根据本发明实施例的车辆行为的检测装置的结构框图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明的实施例。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。
本申请实施例中所提供的车辆行为的检测方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例,图1是本发明实施例的一种车辆行为的检测方法的移动终端的硬件结构框图。如图1所示,移动终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104,其中,上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解,图1所示的结构仅为示意,其并不对上述移动终端的结构造成限定。例如,移动终端还可包括比图1中所示更多或者更少的组件,或者具有与图1所示不同的配置。
存储器104可用于存储计算机程序,例如,应用软件的软件程序以及模块,如本发明实施例中的车辆行为的检测方法对应的计算机程序,处理器102通过运行存储在存储器104内的计算机程序,从而执行各种功能应用以及数据处理,即实现上述的方法。存储器104可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器104可进一步包括相对于处理器102远程设置的存储器,这些远程存储器可以通过网络连接至移动终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端的通信供应商提供的无线网络。在一个实例中,传输装置106包括一个网络适配器(Network Interface Controller,简称为NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输装置106可以为射频(Radio Frequency,简称为RF)模块,其用于通过无线方式与互联网进行通讯。
在本实施例中提供了一种车辆行为的检测方法,图2是根据本发明实施例的一种车辆行为的检测方法的流程图,如图2所示,该方法包括如下步骤:
S202,获取摄像设备对目标区域进行拍摄所得到的第一图像,以及,获取雷达设备采集的包括所述目标区域的雷达数据的第二图像,其中,所述第一图像为所述摄像设备在所述摄像设备所处的环境满足预设亮度阈值的目标时段内所持续拍摄到的图像,以及所述第二图像为所述雷达设备在所述目标时段内所持续采集到的包括所述雷达数据的图像;
S204,对所述第一图像和所述第二图像进行检测,以得到所述第一图像中所包括的车辆的第一数据信息以及所述第二图像中所包括的车辆的第二数据信息,并基于所述第一数据信息和所述第二数据信息确定目标类别的目标车辆在所述目标区域中的行驶信息;
S206,基于所述行驶信息确定所述目标车辆是否执行了目标行为。
其中,执行上述操作的可以是控制器,或者是处理器,或者是具备图像识别能力的设备或***,或者还可以是其他的具备类似处理能力的处理设备或处理单元等,上述摄像设备可以是具备拍摄、图像分析能力的设备等,上述摄像设备可以是球型摄像设备、枪式摄像设备、热成像摄像设备等,上述雷达设备可以是激光雷达设备、微波雷达设备、毫米波雷达设备、超声波雷达设备等。
在上述实施例中,预设亮度阈值是可以预先设定的值,例如,可以设置为50lx,100lx,200lx等等,具体设置的大小可以基于摄像设备的拍摄精度或者场景要求所设定,此外,在设定上述预设亮度阈值之后,还可以基于实际情况进行灵活调整。在不满足预设亮度阈值的时段内所拍摄得到的第一图像中无法识别出车辆的轮廓时,不采用此类图像进行车辆检测识别,从而避免图像检测识别过程的时延增加以及图像检测识别的效率降低的问题,还需要说明的是,上述预设亮度阈值的举例说明仅是一种示例性实施例,预设亮度阈值并不仅限于上述举例。
在上述实施例中,第一数据信息中包括通过摄像设备所拍摄的车辆的数量,车辆的类别、车辆的位置、车辆的尺寸以及车辆分类的置信度等,其中,只要在摄像设备下的或者从摄像设备下经过的车辆都进行统计,方面后续可以针对性的对不同类型的车辆的行为进行检测分析,车辆的类别包括大车、小车、其他车等,大车可以是一些大型的载货车、大型作业车等,小车可以是一些小型面包车、轿车、摩托车、电动车等,其他车辆可以是自行车、电动滑板车、两轮电动平衡车等,车辆的尺寸包括车辆的长宽高等,车辆分类的置信度是指车辆被识别分类成大车、小车或者其他车的可靠度,置信度越高说明该车辆的分类结果越可靠,第二数据信息中包括通过雷达设备所采集的车辆的距离、车辆的速度、车辆的尺寸等,其中,只要是雷达设备所采集到的车辆都进行统计,方面后续可以针对性的对不同类型的车辆的行为进行检测分析,车辆的距离可以是不同车辆之间的距离,也可以是车辆的行驶距离,进而当车辆的距离为不同车辆之间的距离时,可以根据该距离判断右转区域内的车辆与车辆之间的距离是否为安全距离,在确定不是安全距离的情况下,上报预警并联动摄像头保存视频,当车辆的距离为车辆的行驶距离时,可以根据该距离确定出车辆的行驶速度,进而确定出该车辆在右转区域内的速度,以确定车辆行为是否违规,例如,马路右转车道上有一辆大型车辆与电动自行车并行且同时右转,在大型车辆与电动自行车进入右转区域时,可以采用雷达设备(也可以是其他的具备测距能力的设备等)检测两辆车之间的距离,确定该距离不在安全距离内则上报预警并联动摄像头保存视频,进而通过获取大型车辆的速度判断该车辆是否执行右转必停的行为,车辆的尺寸除了包括有车辆的总长、总宽、总高之外,还包括有轴距、轮距、前后悬长、离地距等,还需要说明的是,上述第一数据信息和上述第二数据信息的举例说明仅是一种示例性实施例,第一数据信息和第二数据信息并不仅限于上述举例。
在上述实施例中,行驶信息中包括目标车辆驶入目标区域以及驶出目标区域的行驶轨迹、行驶方向以及目标车辆在目标区域内的速度信息,其中,目标车辆可以有多个,而多个目标车辆的行驶方向可能相同,也可能不同,可以联动不同道路上的摄像设备和/或雷达设备分别对不同行驶方向的车辆进行追踪,以确定出不同行驶方向上的每个车辆所对应的行驶轨迹以及速度信息,采用同一道路上的摄像设备和/或雷达设备对相同行驶方向进行统一追踪,以确定出相同行驶方向上的每个车辆所对应的行驶轨迹以及速度信息,例如,当目标区域所在的道路为十字道路时,目标区域内的车辆会左转行驶、右转行驶、直行行驶等,当该车辆中包括的多个目标车辆均直行行驶时,可以直接联动直行道路上的摄像设备和/或雷达设备对该多个目标车辆进行统一追踪,当该车辆中包括的多个目标车辆一部分左转行驶,另一部分直行行驶,可以联动左转道路上的摄像设备和/或雷达设备和直行道路上的摄像设备和/或雷达设备分别对左转的目标车辆和直行的目标车辆进行追踪,等等,需要说明的是,上述行驶信息的举例说明仅是一种示例性实施例,行驶信息并不仅限于上述举例。
在上述实施例中,通过获取摄像设备在所处的环境满足预设亮度阈值的目标时段内对目标区域进行持续拍摄所得到的第一图像,以及,获取雷达设备在目标时间段内持续采集的包括目标区域的雷达数据的第二图像,对第一图像和第二图像进行检测,以得到第一图像中所包括的车辆的第一数据信息以及第二图像中所包括的车辆的第二数据信息,并基于第一数据信息和第二数据信息确定目标类别的目标车辆在目标区域中的行驶信息;进而基于行驶信息确定目标车辆是否执行了目标行为。
采用本发明方法,通过对摄像设备在所处的环境满足预设亮度阈值的目标时段内对目标区域持续拍摄所得到的第一图像和雷达设备在目标时间段内持续采集到的包括目标区域的雷达数据的第二图像进行检测,进而基于两类检测结果确定目标车辆是否执行了目标行为,例如,通过获取摄像设备在光照亮度较高的时段内对目标区域进行持续拍摄所得到的第一图像,以及,获取雷达设备在该时段内持续采集的包括目标区域的雷达数据的第二图像,可以采用深度学习技术对第一图像和第二图像进行检测,并分别提取第一图像中所包括的车辆的第一数据信息和第二图像中所包括的车辆的第二数据信息,将两类数据信息结合来确定大车的行驶信息,进而基于大车的行驶信息确定大车是否执行特定的行为,例如,右转必停的行为等,这样确定出目标车辆是否执行了目标行为能够避免人为监测导致漏报大型车辆在右转时发生违章行为的情况。
同时,通过两类检测结果对目标车辆进行跟踪以确定目标车辆的行驶信息,无需人为的跟踪车辆,也能够避免投入大量的人力、物力,进一步的基于目标车辆的行驶信息确定是否执行了目标行为,通过摄像头辅助雷达来对车辆进行检测来解决摄像头图像下的大车速度判断不准、夜晚/大雾等天气大车识别不出的情况,实现提高实时监测车辆的效率的效果,从而解决相关技术中存在的车辆行为的检测准确率较低的问题,达到了提高车辆右转行为的检测准确率以及大幅度减少车辆行为的漏报率的效果。
在一个示例性实施例中,基于所述第一数据信息和所述第二数据信息确定目标类别的目标车辆在所述目标区域中的行驶信息包括:基于所述第一数据信息确定所述第一图像中所包括的每个车辆的第一分类统计结果,其中,所述第一分类统计结果用于指示所述第一图像中所包括的每个车辆的尺寸信息、位置信息以及类别信息,以及,基于所述第二数据信息确定所述第二图像中所包括的每个车辆的第二分类统计结果,其中,所述第二分类统计结果用于指示所述第二图像中所包括的每个车辆的尺寸信息、位置信息以及类别信息;基于所述第一分类统计结果中所指示的尺寸信息以及类别信息确定出所述第一图像中包括的所述目标类别的第一车辆,以及,基于所述第二分类统计结果中所指示的尺寸信息以及类别信息确定出所述第二图像中包括的所述目标类别的第二车辆;基于所述第一分类统计结果中所指示的所述第一车辆的位置信息和所述第二分类统计结果中所指示的所述第二车辆的位置信息确定出在所述第一图像与所述第二图像中位置对应的所述目标车辆的目标位置信息;基于所述目标位置信息确定所述目标车辆的在所述目标区域中的所述行驶信息。
在上述实施例中,第一图像中可能会包括有多个车辆,该多个车辆在目标区域内所在的位置各不相同且车辆的尺寸和类别也不尽相同,进而基于从第一图像中获取的第一数据信息将在摄像设备视角下的车辆信息进行第一分类统计,以及,基于从第二图像中获取的第二数据信息将雷达设备视角下的车辆信息进行第二分类统计,将第一分类统计结果中包括的目标类别的车辆信息与第二分类统计结果中包括的目标类别的车辆信息一一对应上,以确定目标车辆的目标位置信息,例如,摄像设备对目标区域所拍摄的第一图像中包括有大车、小车、其他车等,雷达设备在目标区域内采集的第二图像中包括有大车、小车、其他车等,进而分别将第一图像中包括的车辆类型(例如,大车、小车、其他车)和第二图像中包括的车辆类型(例如,大车、小车、其他车)进行分类统计,通过两个分类统计结果将第一图像中包括的每类车所在的位置与第二图像中包括的每类车所在的位置一一对应,从而更精准的目标车辆的位置,从而达到提高确定目标车辆的目标位置信息的准确率的效果,其中,目标类别是指大车类别,当然也可以是其他的类别(例如,除大车之外的其他车的类别、大车类别下的具体类别,比如,挂车、油罐车、拖车等等),在本发明实施例中,目标类别可以根据实际应用情况进行设定,也可以在设定之后,再次根据实际应用情况进行调整。
在上述实施例中,第一分类统计结果中包括通过摄像设备所拍摄到的各类型的车辆在道路中的位置、各类型的车辆的尺寸、各类型的车辆的类别等,第二分类统计结果中包括通过雷达设备所采集到的各类型的车辆在道路中的位置、各类型的车辆的尺寸、各类型的车辆的类别等,需要说明的是,上述第一分类统计结果与上述第二分类统计结果的举例说明仅是一种示例性实施例,第一分类统计结果和第二分类统计结果并不仅限于上述举例。
在一个示例性实施例中,在基于所述第一数据信息确定所述第一图像中所包括的每个车辆的第一分类统计结果,以及,基于所述第二数据信息确定所述第二图像中所包括的每个车辆的第二分类统计结果之后,所述方法还包括:基于所述第二分类统计结果生成第一掩码表,其中,所述第一掩码表用于记录第二图像中所包括的每个车辆的尺寸信息、位置信息以及类别信息;利用所述第一分类统计结果中所记录的所述第一图像中所包括的每个车辆的尺寸信息、位置信息以及类别信息对所述第一掩码表中所记录的信息进行对应修正;基于修正结果得到目标掩码表;基于所述目标掩码表确定出所述目标车辆在所述目标区域中的所述行驶信息。
在上述实施例中,先基于雷达设备视角下的车辆的第二分类统计结果生成第一掩码表,通过采用掩码表的形式记录车辆信息便于后续对不同类别的车辆的管理,再通过摄像设备视角下的车辆的第一分类统计结果中记录的车辆信息对第一掩码表中的车辆信息进行对应修正,以得到目标掩码表,例如,当基于雷达设备视角下的车辆的第二分类统计结果生成的第一掩码表中存在有车辆的尺寸信息(和/或位置信息等)与摄像设备视角下的车辆的第一分类统计结果中记录的该车辆的尺寸信息(和/或位置信息等)不一致时,可以基于第一分类统计结果中记录的车辆的尺寸信息对第一掩码表中的车辆的尺寸信息进行对应修正,从而实现获得更高精度的车辆信息的目的,进而基于记录有更高精度的车辆信息的目标掩码表确定出目标车辆在目标区域中的更准确的行驶信息。
在一个示例性实施例中,利用所述第一分类统计结果中所记录的所述第一图像中所包括的每个车辆的尺寸信息、位置信息以及类别信息对所述第一掩码表中所记录的信息进行对应修正包括:在所述第一分类结果中还记录有所述第一图像中所包括的每个车辆的类别置信度的情况下,从所述第一分类结果中确定出目标分类结果,其中,所述目标分类结果用于指示所述第一图像中所包括的所述类别置信度大于预定置信度阈值的车辆的尺寸信息、位置信息以及类别信息;利用所述目标分类结果对所述第一掩码表中所记录的信息进行对应修正。
在上述实施例中,采用摄像设备视角下的车辆的第一分类统计结果中类别置信度大于置信度阈值的车辆的信息对第一掩码表中的车辆信息进行修正,也就是说,类别置信度小于或等于置信度阈值的车辆的分类结果不准确,采用该分类结果中的车辆信息对第一掩码表进行的是负修正的作用,例如,在第一掩码表中存在有多个车辆的尺寸信息(和/或位置信息等)与第一分类统计结果中记录的对应车辆的尺寸信息(和/或位置信息等)不一致,且第一分类统计结果中记录的该多个车辆中存在有置信度小于或等于置信度阈值的车辆的情况下,仅采用该多个车辆中置信度大于置信度阈值的车辆对第一掩码表中的车辆的尺寸信息(和/或位置信息等)进行修正,进而达到提高车辆尺寸精度、车辆位置精度、车辆类别精度的效果。
在上述实施例中,预定置信度阈值是可以预先设定的值,可以设定为75%、80%、90%等,例如,当预定置信度阈值为90%时,在第一分类结果中还记录有第一图像中所包括的每个车辆的类别置信度的情况下,从第一分类结果中确定出第一图像中所包括的类别置信度大于90%的车辆的尺寸信息、位置信息以及类别信息,进而采用类别置信度大于90%的车辆的尺寸与第一掩码表中对应的车辆的尺寸进行加权平均,从而提高该车辆的尺寸精度,采用类别置信度大于90%的车辆的位置与第一掩码表中对应的车辆的位置进行加权平均,从而提高该车辆的位置精度,采用类别置信度大于90%的车辆的类别信息与第一掩码表中对应的车辆的类别信息进行加权平均,从而提高该车辆的类别精度,需要说明的是,上述预定置信度阈值的举例说明仅是一种示例性实施例,预定置信度阈值并不仅限于上述举例,预定置信度阈值可以根据实际应用情况进行设定,也可以在设定之后,再次根据实际应用情况进行调整。
在一个示例性实施例中,基于所述行驶信息确定所述目标车辆是否执行了目标行为包括:确定所述行驶信息中包括的所述目标车辆的轨迹信息;基于所述轨迹信息确定所述目标车辆的速度信息;基于所述速度信息确定所述目标车辆是否执行了目标行为。
在上述实施例中,从目标车辆的行驶信息中确定出目标车辆的轨迹信息,进一步的通过目标车辆的轨迹信息准确的确定出目标车辆在目标区域内的行驶速度,例如,可以通过目标车辆的轨迹信息确定目标车辆在目标区域内的行驶距离,通过摄像设备所拍摄的每一帧图像之间的间隔确定目标车辆在目标区域内的行驶时间,进而将行驶距离与行驶时间相除得到目标车辆的行驶速度,并基于该行驶速度确定目标车辆是否执行了目标行为,从而避免了漏检、误检车辆是否执行了目标行为的情况,达到提高目标车辆是否执行了目标行为的检测效率的效果,还需要说明的是,上述行驶速度的确定方式仅是一种示例性实施例,行驶速度的确定方式并不仅限于上述举例。
在一个示例性实施例中,基于所述速度信息确定所述目标车辆是否执行了目标行为包括:在基于所述速度信息确定所述目标车辆在所述目标区域中包括的右转区域中出现过速度为零的情况下,确定所述目标车辆执行了所述目标行为;在基于所述速度信息确定所述目标车辆在所述目标区域中包括的右转区域中未出现过速度为零的情况下,确定所述目标车辆未执行了所述目标行为。
在上述实施例中,当目标车辆在目标区域中包括的右转区域中未出现过速度为零的情况下,右转区域内的监控设备会上报预警并联动摄像头对目标车辆在右转区域内行驶的过程进行拍摄并保存视频或者右转区域内的监控设备会上报预警并联动摄像头将包括有目标车辆在右转区域内行驶的过程的视频留存,例如,在某个大型车辆行驶进右转区域时,获取该大型车辆在右转区域内的行驶速度,在确定该行驶速度不为零的情况下,监控设备立马上报预警并联动摄像头对该大型车辆在右转区域内行驶的过程进行拍摄并保存视频,或者在某个大型车辆行驶出右转区域时,获取该大型车辆在右转区域内的行驶速度,在确定该行驶速度不为零的情况下,监控设备立马上报预警并联动摄像头将包括有该大型车辆在右转区域内行驶的过程的视频留存,从而方便后续可以根据保存的视频对相应的车辆执行相应的违章处罚操作,进一步的实现警醒人们遵守交通规则、学会保障人身安全的目的。
在一个示例性实施例中,所述方法还包括:获取所述雷达设备在除所述目标时段之外的其他时段内所采集的包括所述目标区域的雷达数据的第三图像;对所述第三图像进行检测,以得到所述第三图像中所包括的车辆的第三数据信息,并基于所述第三数据信息确定所述目标车辆在所述目标区域中的目标行驶信息;基于所述目标行驶信息确定所述目标车辆是否执行了目标行为。
在上述实施例中,在夜晚、大暴雨、大雾等不良环境的情况下,从摄像设备所拍摄的第一图像中获取的车辆信息并不准确,因此,在处于不良环境的情况下,仅对从雷达设备所采集的第三图像中包括的车辆进行检测分析,以确定目标车辆是否执行了目标行为,例如,在晚上且道路上没有路灯或路灯光照较暗的情况下,仅采用雷达设备采集包括目标区域的雷达数据的图像,并通过对该图像中包括的车辆信息进行检测分析得到第三数据信息确定目标车辆在目标区域中的目标行驶信息,进而基于该目标行驶信息确定目标车辆是否执行了目标行为,进一步的针对不同的亮度时段采用对应的检测方法确定目标车辆是否执行了目标行为,实现了可以全时段的检测车辆右转的违章行为的目的。
显然,上述所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。
下面结合具体实施例对本发明进行具体说明:
图3是根据本发明实施例的检测大型车辆右转未停的总流程图,如图3所示,该流程包括如下步骤:
S302,获取实时的摄像头数据(对应于上述第一图像)和雷达数据(对应于上述第二图像);
S304,对摄像头数据进行编解码处理,并将编解码后的摄像头数据送入算法;
S306,对摄像头数据进行亮度分析,选取亮度较高的时段(对应于上述目标时段)进行分析;
S308,进行第一判断,以判断摄像头所拍摄的图像的质量,在上述第一判断结果为否的情况下,仅对雷达数据(对应于上述第三图像)进行检测处理,以获得机动车的距离、速度、尺寸信息(对应于上述第三数据信息);
S310,在上述第一判断结果为是的情况下,在亮度较高时,利用深度学习技术对送给算法的整帧图片进行全图检测,获取机动车的目标数量、类别、位置、尺寸、置信度等信息(对应于上述第一数据信息);
S312,在亮度较高时,对摄像头数据下的检测结果进行跟踪;
S314,对雷达数据(对应于上述第二图像)进行编解码处理,并将编解码后的雷达数据送入算法;
S316,雷达数据全时段分析,利用深度学习技术对雷达数据进行分割检测,获得机动车的距离、速度、尺寸信息(对应于上述第二数据信息);
S318,对雷达数据下的检测结果进行跟踪;
S320,进行第二判断,以判断摄像头数据下的检测结果是否为大车(对应于上述目标类别的目标车辆),在上述第二判断结果为否的情况下,不作任何处理;
S322,在上述第二判断结果为是的情况下,将摄像头数据下高置信度检测框的跟踪结果(对应于上述目分类结果)映射到雷达数据下,通过位置和轨迹信息和雷达下的跟踪结果进行融合,将摄像头图像中的目标类别信息传递给对应雷达图像的目标,缓存一份雷达数据下常见位置的车辆尺寸表(对应于上述目标掩码表);
S324,对雷达数据下的大车进行跟踪,在大车右转的地方设置右转区,当大车进入右转区,记录大车速度是否为0过,若为0过则使能停车标识位,若大车按照右转方向穿越右转区,则通过判断停车标识位是否使能来完成大车右转停车的判断;
S326,若大车在右转区域未停车,并基于上述车辆尺寸表确定大车周围有接近的小车时,则上报预警并联动摄像头保存视频。
具体实施方式:
本申请对摄像头和雷达无明确要求,摄像头可以为可见光枪机、球机、热成像摄像头、双目摄像头等,雷达可以为激光雷达、毫米波雷达等。下面以普通的枪机设备和激光雷达设备为例对本实施例进行说明:
1、获取实时的摄像头数据和雷达数据
所获取的图像只要能满足算法要求且可以看出目标(对应于上述车辆)的轮廓即可。
2、分时段分析
本申请使用摄像头视觉数据来辅助雷达数据进行大型车辆的违章行为进行判断,由于摄像头成像受天气、光照的影响较大,因此通过对图像亮度的判断,选择常见亮度区间的时段(对应于上述目标时段)进行深度学***均长宽高信息。尺寸mask(对应于上述目标掩码表)更新方式为将可见光下高置信度的大小车映射到雷达图像上,根据雷达图像上的检测目标长宽高尺寸、目标所在位置和可见光上目标检测的类别,将数据加权更新到尺寸mask中。尺寸mask的使用为当目标触发预警,判断目标(对应于上述目标车辆)的尺寸与对应尺寸mask中的大车、小车尺寸距离,若与大车跟接近,则可以预警。从摄像头位置映射到雷达位置的方式为通过标定进行映射,摄像头和雷达的空间标定方法有很多,例如,根据多点在两幅图像中的坐标,计算单应矩阵来或者映射函数等,本申请在此不作限定。
3、算法描述
摄像头视角下使用的算法为多目标检测和多目标跟踪,在图像质量较好的情况下,实现检测、跟踪算法的难度都不大,可以使用现有开源的算法(例如,yoloV3等),在交通数据下进行微训练,多目标检测算法输入每一帧的图像信息,输出图片中的车辆目标数量、位置、尺寸、置信度、子类别等信息,子类别包含大车和小车。由于城市路口的大车检测较稳定,跟踪效果也较好,因此,多目标跟踪算法也可以直接使用现有开源的算法(例如,DeepSort算法等),输入为每一帧的图像以及检测输出信息,输出为每个目标的缓存轨迹(对应于上述行驶信息)。采用检测+跟踪的方式是为了避免检测时所偶尔发生的漏检、误检或者类别出错对尺寸mask产生影响的情况;
由于单纯的检测算法不可避免的会出现误检或者漏检的情况,因此使用目标检测+跟踪的方案,给每个目标一个完整的轨迹,偶尔发生的误检无法形成完整轨迹,偶尔发生的漏检或者类别出错也可以由跟踪算法进行弥补,最后基于目标轨迹在整个右转区域的类别统计结果,来映射到雷达图像坐标生成尺寸mask;
雷达视角下会对图像做多目标检测、多目标跟踪以及规则判断,激光雷达视角下的检测算法也比较多,车辆检测是比较容易完成的任务,可以直接使用现有的算法(例如,VoxelNet算法),跟踪算法可以在2D跟踪基础上增加3D的输入变量,图4是根据本发明实施例的路口右转区域的示意图,如图4所示,在所有会右转的区域绘制右转区(即图中所示的填充区域),设定驶入和驶出方向(图中所示的填充区域的进、出箭头),记录每个驶入驶出的车辆轨迹,轨迹中包含速度信息,若速度没有达到0过,则认定未停车,进而基于轨迹中的类别统计结合尺寸mask掩码,来判断车辆是否为大车,若为大车则上报预警并联动摄像头保存视频。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
在本实施例中还提供了一种车辆类型的确定装置,该装置用于实现上述实施例及优选实施方式,已经进行过说明的不再赘述。如以下所使用的,术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
图5是根据本发明实施例的车辆行为的检测装置的结构框图,如图5所示,该装置包括:
第一获取模块52,用于获取摄像设备对目标区域进行拍摄所得到的第一图像,以及,获取雷达设备采集的包括所述目标区域的雷达数据的第二图像,其中,所述第一图像为所述摄像设备在所述第一设备所处的环境满足预设亮度阈值的目标时段内所持续拍摄到的图像,以及所述第二图像为所述雷达设备在所述目标时段内所持续采集到的包括所述雷达数据的图像;
检测模块54,用于对所述第一图像和所述第二图像进行检测,以得到所述第一图像中所包括的车辆的第一数据信息以及所述第二图像中所包括的车辆的第二数据信息,并基于所述第一数据信息和所述第二数据信息确定目标类别的目标车辆在所述目标区域中的行驶信息;
第一确定模块56,用于基于所述行驶信息确定所述目标车辆是否执行了目标行为。
在一个示例性实施例中,上述检测模块54包括:
第一确定子模块,用于基于所述第一数据信息确定所述第一图像中所包括的每个车辆的第一分类统计结果,其中,所述第一分类统计结果用于指示所述第一图像中所包括的每个车辆的尺寸信息、位置信息以及类别信息,以及,基于所述第二数据信息确定所述第二图像中所包括的每个车辆的第二分类统计结果,其中,所述第二分类统计结果用于指示所述第二图像中所包括的每个车辆的尺寸信息、位置信息以及类别信息;
第二确定子模块,用于基于所述第一分类统计结果中所指示的尺寸信息以及类别信息确定出所述第一图像中包括的所述目标类别的第一车辆,以及,基于所述第二分类统计结果中所指示的尺寸信息以及类别信息确定出所述第二图像中包括的所述目标类别的第二车辆;
第三确定子模块,用于基于所述第一分类统计结果中所指示的所述第一车辆的位置信息和所述第二分类统计结果中所指示的所述第二车辆的位置信息确定出在所述第一图像与所述第二图像中位置对应的所述目标车辆的目标位置信息;
第四确定子模块,用于基于所述目标位置信息确定所述目标车辆的在所述目标区域中的所述行驶信息。
在一个示例性实施例中,上述装置还包括:
生成模块,用于在基于所述第一数据信息确定所述第一图像中所包括的每个车辆的第一分类统计结果,以及,基于所述第二数据信息确定所述第二图像中所包括的每个车辆的第二分类统计结果之后,基于所述第二分类统计结果生成第一掩码表,其中,所述第一掩码表用于记录第二图像中所包括的每个车辆的尺寸信息、位置信息以及类别信息;
修正模块,用于利用所述第一分类统计结果中所记录的所述第一图像中所包括的每个车辆的尺寸信息、位置信息以及类别信息对所述第一掩码表中所记录的信息进行对应修正;
处理模块,用于基于修正结果得到目标掩码表;
第二确定模块,用于基于所述目标掩码表确定出所述目标车辆在所述目标区域中的所述行驶信息。
在一个示例性实施例中,上述修正模块包括:
第五确定子模块,用于在所述第一分类结果中还记录有所述第一图像中所包括的每个车辆的类别置信度的情况下,从所述第一分类结果中确定出目标分类结果,其中,所述目标分类结果用于指示所述第一图像中所包括的所述类别置信度大于预定置信度阈值的车辆的尺寸信息、位置信息以及类别信息;
修正子模块,用于利用所述目标分类结果对所述第一掩码表中所记录的信息进行对应修正。
在一个示例性实施例中,上述第一确定模块56包括:
第六确定子模块,用于确定所述行驶信息中包括的所述目标车辆的轨迹信息;
第七确定子模块,用于基于所述轨迹信息确定所述目标车辆的速度信息;
第八确定子模块,用于基于所述速度信息确定所述目标车辆是否执行了目标行为。
在一个示例性实施例中,上述第八确定子模块包括:
第一确定单元,用于在基于所述速度信息确定所述目标车辆在所述目标区域中包括的右转区域中出现过速度为零的情况下,确定所述目标车辆执行了所述目标行为;
第二确定单元,用于在基于所述速度信息确定所述目标车辆在所述目标区域中包括的右转区域中未出现过速度为零的情况下,确定所述目标车辆未执行了所述目标行为。
在一个示例性实施例中,上述装置还包括:
第二获取模块,用于获取所述雷达设备在除所述目标时段之外的其他时段内所采集的包括所述目标区域的雷达数据的第三图像;
第二确定模块,用于对所述第三图像进行检测,以得到所述第三图像中所包括的车辆的第三数据信息,并基于所述第三数据信息确定所述目标车辆在所述目标区域中的目标行驶信息;
第三确定模块,用于基于所述目标行驶信息确定所述目标车辆是否执行了目标行为。
需要说明的是,上述各个模块是可以通过软件或硬件来实现的,对于后者,可以通过以下方式实现,但不限于此:上述模块均位于同一处理器中;或者,上述各个模块以任意组合的形式分别位于不同的处理器中。
本发明的实施例还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有计算机程序,其中,该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
在一个示例性实施例中,上述计算机可读存储介质可以包括但不限于:U盘、只读存储器(Read-Only Memory,简称为ROM)、随机存取存储器(Random Access Memory,简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
本发明的实施例还提供了一种电子装置,包括存储器和处理器,该存储器中存储有计算机程序,该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
在一个示例性实施例中,上述电子装置还可以包括传输设备以及输入输出设备,其中,该传输设备和上述处理器连接,该输入输出设备和上述处理器连接。
本实施例中的具体示例可以参考上述实施例及示例性实施方式中所描述的示例,本实施例在此不再赘述。
显然,本领域的技术人员应该明白,上述的本发明的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,并且在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种车辆行为的检测方法,其特征在于,包括:
获取摄像设备对目标区域进行拍摄所得到的第一图像,以及,获取雷达设备采集的包括所述目标区域的雷达数据的第二图像,其中,所述第一图像为所述摄像设备在所述摄像设备所处的环境满足预设亮度阈值的目标时段内所持续拍摄到的图像,以及所述第二图像为所述雷达设备在所述目标时段内所持续采集到的包括所述雷达数据的图像;
对所述第一图像和所述第二图像进行检测,以得到所述第一图像中所包括的车辆的第一数据信息以及所述第二图像中所包括的车辆的第二数据信息,并基于所述第一数据信息和所述第二数据信息确定目标类别的目标车辆在所述目标区域中的行驶信息;
基于所述行驶信息确定所述目标车辆是否执行了目标行为。
2.根据权利要求1所述的方法,其特征在于,基于所述第一数据信息和所述第二数据信息确定目标类别的目标车辆在所述目标区域中的行驶信息包括:
基于所述第一数据信息确定所述第一图像中所包括的每个车辆的第一分类统计结果,其中,所述第一分类统计结果用于指示所述第一图像中所包括的每个车辆的尺寸信息、位置信息以及类别信息,以及,基于所述第二数据信息确定所述第二图像中所包括的每个车辆的第二分类统计结果,其中,所述第二分类统计结果用于指示所述第二图像中所包括的每个车辆的尺寸信息、位置信息以及类别信息;
基于所述第一分类统计结果中所指示的尺寸信息以及类别信息确定出所述第一图像中包括的所述目标类别的第一车辆,以及,基于所述第二分类统计结果中所指示的尺寸信息以及类别信息确定出所述第二图像中包括的所述目标类别的第二车辆;
基于所述第一分类统计结果中所指示的所述第一车辆的位置信息和所述第二分类统计结果中所指示的所述第二车辆的位置信息确定出在所述第一图像与所述第二图像中位置对应的所述目标车辆的目标位置信息;
基于所述目标位置信息确定所述目标车辆的在所述目标区域中的所述行驶信息。
3.根据权利要求2所述的方法,其特征在于,在基于所述第一数据信息确定所述第一图像中所包括的每个车辆的第一分类统计结果,以及,基于所述第二数据信息确定所述第二图像中所包括的每个车辆的第二分类统计结果之后,所述方法还包括:
基于所述第二分类统计结果生成第一掩码表,其中,所述第一掩码表用于记录第二图像中所包括的每个车辆的尺寸信息、位置信息以及类别信息;
利用所述第一分类统计结果中所记录的所述第一图像中所包括的每个车辆的尺寸信息、位置信息以及类别信息对所述第一掩码表中所记录的信息进行对应修正;
基于修正结果得到目标掩码表;
基于所述目标掩码表确定出所述目标车辆在所述目标区域中的所述行驶信息。
4.根据权利要求3所述的方法,其特征在于,利用所述第一分类统计结果中所记录的所述第一图像中所包括的每个车辆的尺寸信息、位置信息以及类别信息对所述第一掩码表中所记录的信息进行对应修正包括:
在所述第一分类结果中还记录有所述第一图像中所包括的每个车辆的类别置信度的情况下,从所述第一分类结果中确定出目标分类结果,其中,所述目标分类结果用于指示所述第一图像中所包括的所述类别置信度大于预定置信度阈值的车辆的尺寸信息、位置信息以及类别信息;
利用所述目标分类结果对所述第一掩码表中所记录的信息进行对应修正。
5.根据权利要求1所述的方法,其特征在于,基于所述行驶信息确定所述目标车辆是否执行了目标行为包括:
确定所述行驶信息中包括的所述目标车辆的轨迹信息;
基于所述轨迹信息确定所述目标车辆的速度信息;
基于所述速度信息确定所述目标车辆是否执行了目标行为。
6.根据权利要求5所述的方法,其特征在于,基于所述速度信息确定所述目标车辆是否执行了目标行为包括:
在基于所述速度信息确定所述目标车辆在所述目标区域中包括的右转区域中出现过速度为零的情况下,确定所述目标车辆执行了所述目标行为;
在基于所述速度信息确定所述目标车辆在所述目标区域中包括的右转区域中未出现过速度为零的情况下,确定所述目标车辆未执行了所述目标行为。
7.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取所述雷达设备在除所述目标时段之外的其他时段内所采集的包括所述目标区域的雷达数据的第三图像;
对所述第三图像进行检测,以得到所述第三图像中所包括的车辆的第三数据信息,并基于所述第三数据信息确定所述目标车辆在所述目标区域中的目标行驶信息;
基于所述目标行驶信息确定所述目标车辆是否执行了目标行为。
8.一种车辆行为的检测装置,其特征在于,包括:
第一获取模块,用于获取摄像设备对目标区域进行拍摄所得到的第一图像,以及,获取雷达设备采集的包括所述目标区域的雷达数据的第二图像,其中,所述第一图像为所述摄像设备在所述摄像设备所处的环境满足预设亮度阈值的目标时段内所持续拍摄到的图像,以及所述第二图像为所述雷达设备在所述目标时段内所持续采集到的包括所述雷达数据的图像;
检测模块,用于对所述第一图像和所述第二图像进行检测,以得到所述第一图像中所包括的车辆的第一数据信息以及所述第二图像中所包括的车辆的第二数据信息,并基于所述第一数据信息和所述第二数据信息确定目标类别的目标车辆在所述目标区域中的行驶信息;
第一确定模块,用于基于所述行驶信息确定所述目标车辆是否执行了目标行为。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机程序,其中,所述计算机程序被处理器执行时实现所述权利要求1至7任一项中所述的方法的步骤。
10.一种电子装置,包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现所述权利要求1至7任一项中所述的方法的步骤。
CN202210977137.7A 2022-08-15 2022-08-15 车辆行为的检测方法、装置、存储介质及电子装置 Pending CN115240148A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210977137.7A CN115240148A (zh) 2022-08-15 2022-08-15 车辆行为的检测方法、装置、存储介质及电子装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210977137.7A CN115240148A (zh) 2022-08-15 2022-08-15 车辆行为的检测方法、装置、存储介质及电子装置

Publications (1)

Publication Number Publication Date
CN115240148A true CN115240148A (zh) 2022-10-25

Family

ID=83679064

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210977137.7A Pending CN115240148A (zh) 2022-08-15 2022-08-15 车辆行为的检测方法、装置、存储介质及电子装置

Country Status (1)

Country Link
CN (1) CN115240148A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115908838A (zh) * 2022-12-12 2023-04-04 南京慧尔视智能科技有限公司 基于雷视融合的车辆存在检测方法、装置、设备以及介质
CN117636297A (zh) * 2023-11-20 2024-03-01 苏州大学 一种基于可见光通信的前车驾驶意图辨识***及方法
CN117789486A (zh) * 2024-02-28 2024-03-29 南京莱斯信息技术股份有限公司 一种大型车交叉路口右转必停监管***及方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115908838A (zh) * 2022-12-12 2023-04-04 南京慧尔视智能科技有限公司 基于雷视融合的车辆存在检测方法、装置、设备以及介质
CN115908838B (zh) * 2022-12-12 2023-11-07 南京慧尔视智能科技有限公司 基于雷视融合的车辆存在检测方法、装置、设备以及介质
CN117636297A (zh) * 2023-11-20 2024-03-01 苏州大学 一种基于可见光通信的前车驾驶意图辨识***及方法
CN117789486A (zh) * 2024-02-28 2024-03-29 南京莱斯信息技术股份有限公司 一种大型车交叉路口右转必停监管***及方法
CN117789486B (zh) * 2024-02-28 2024-05-10 南京莱斯信息技术股份有限公司 一种大型车交叉路口右转必停监管***及方法

Similar Documents

Publication Publication Date Title
CN108513674B (zh) 一种车前积雪与结冰的检测报警方法、存储介质和服务器
CN115240148A (zh) 车辆行为的检测方法、装置、存储介质及电子装置
CN106571046B (zh) 基于路面网格体系的车路协同辅助驾驶方法
CN103927878B (zh) 一种用于违章停车的自动抓拍装置及自动抓拍方法
CN112424793A (zh) 一种物体识别方法、物体识别装置及电子设备
CN110738150B (zh) 相机联动抓拍方法、装置以及计算机存储介质
CN102792314A (zh) 交叉通行碰撞警报***
CN105679043A (zh) 一种3d雷达智能卡口***及其处理方法
CN113255439B (zh) 一种障碍物识别方法、装置、***、终端及云端
CN114463372A (zh) 车辆识别方法、装置、终端设备及计算机可读存储介质
CN114648748A (zh) 一种基于深度学习的机动车违停智能识别方法及***
CN117372979A (zh) 道路巡检方法、装置、电子设备及存储介质
US20210357661A1 (en) A method of tracking objects in a scene
CN113221724B (zh) 车辆抛洒物检测方法及***
CN112447060A (zh) 识别车道的方法、装置及计算设备
CN111862621B (zh) 多类型适配的黑烟车智能抓拍***
CN113420714A (zh) 一种采集图像上报方法、装置及电子设备
CN105679090A (zh) 基于智能手机的夜间司机驾驶辅助***及驾驶辅助方法
CN115631420B (zh) 一种隧道积水识别方法、装置、存储介质及电子装置
CN113468911A (zh) 一种车载闯红灯检测方法、装置、电子设备及存储介质
CN116152753A (zh) 车辆信息识别方法和***、存储介质和电子装置
CN115797880A (zh) 驾驶行为的确定方法、装置、存储介质及电子装置
CN113112814B (zh) 右转不停车的抓拍方法、抓拍设备及计算机存储介质
CN105303825A (zh) 一种违章斜侧方停车取证装置及方法
CN111583336B (zh) 一种机器人及其巡检方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination