CN114926791A - 一种路口车辆异常变道检测方法、装置、存储介质及电子设备 - Google Patents

一种路口车辆异常变道检测方法、装置、存储介质及电子设备 Download PDF

Info

Publication number
CN114926791A
CN114926791A CN202210504130.3A CN202210504130A CN114926791A CN 114926791 A CN114926791 A CN 114926791A CN 202210504130 A CN202210504130 A CN 202210504130A CN 114926791 A CN114926791 A CN 114926791A
Authority
CN
China
Prior art keywords
vehicle
lane change
abnormal
abnormal lane
position information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210504130.3A
Other languages
English (en)
Inventor
解丹
朱林
范永强
李鹏
沈晖
卓为
孔祥财
马晓萌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BEIJING TRAFFIC MANAGEMENT BUREAU
Original Assignee
BEIJING TRAFFIC MANAGEMENT BUREAU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BEIJING TRAFFIC MANAGEMENT BUREAU filed Critical BEIJING TRAFFIC MANAGEMENT BUREAU
Priority to CN202210504130.3A priority Critical patent/CN114926791A/zh
Publication of CN114926791A publication Critical patent/CN114926791A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G08G1/0129—Traffic data processing for creating historical data or processing based on historical data
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种路口车辆异常变道检测方法、装置、存储介质及电子设备，方法包括：实时获取信号灯控制路口布设的视频检测器针对监控区域采集的行车视频，并提取行车视频中的多帧图像；将多帧图像输入预先训练的车辆异常变道检测模型中，输出多帧图像中的每个目标车辆的位置信息；根据每个目标车辆的位置信息判定车辆是否异常变道。由于本申请通过预先训练的人工智能模型分析行车视频中的异常变道车辆，并根据发生异常变道车辆的相关信息优化路口信号灯以对车辆的通行进行管控，从而可提升路口车辆的通行效率。

Description

一种路口车辆异常变道检测方法、装置、存储介质及电子设备
技术领域
本发明涉及机器学习与智慧交通技术领域，特别涉及一种路口车辆异常变道检测方法、装置、存储介质及电子设备。
背景技术
当今社会，交通问题已经成为城市管理中的重大问题，其严重阻碍着城市的发展。特别在交通信号控制路口发生交通事故时会导致严重的拥堵，而车辆在车道线内异常变道是诱发交通事故的重要原因，因此加强对信号控制路口的异常变道智能化检测对减少路***通事故，优化指导交通信号控制有着重要意义。
在现有技术中，在对路口车辆异常变道的监测通常需要在车道分界线的路面下铺设检测线圈，主要实现的功能是当车辆压过检测线圈时，检测线圈自动输出触发信号，摄像头抓拍随意变道的车辆图片，发出报警信号，保存相关图像数据作为执法依据。该种方式需要在路面下铺设线圈，不仅破坏路面，而且需要花费大量的人力物力，从而提升了检测成本。
发明内容
本申请实施例提供了一种路口车辆异常变道检测方法、装置、存储介质及电子设备。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。
第一方面，本申请实施例提供了一种路口车辆异常变道检测方法，方法包括：
实时获取信号灯控制路口布设的视频检测器针对监控区域所采集的行车视频，并提取行车视频中的多帧图像；
将多帧图像输入预先训练的车辆异常变道检测模型中，输出多帧图像中的每个目标车辆的位置信息；
根据每个目标车辆的位置信息判定车辆是否异常变道。
可选的，根据每个目标车辆的位置信息判定车辆是否异常变道，包括：
将每个目标车辆的位置信息输入卡尔曼滤波器中，输出每个目标车辆的实际位置信息；
获取监控区域中的车道线信息；
根据车道线信息标定车道线检测区域；
根据每个目标车辆的实际位置信息判断每个目标车辆是否进入车道线检测区域；
若是，实时判断进入车道线检测区域的车辆是否从当前所处车道区域进入另一车道区域；
若是，则确定车辆出现异常变道；若否，则确定车辆未出现异常变道。
可选的，方法还包括：
当车辆出现异常变道时，生成变道信息；
获取发生异常变道的车辆信息，并将发生异常变道的车辆信息和与其对应的所述变道信息发送至预警电子设备。
可选的，实时获取信号灯控制路口布设的视频检测器针对监控区域所采集的行车视频之前，还包括：
获取信号灯控制路口布设的视频检测器针对监控区域所采集的预设时段的历史行车视频；
从历史行车视频中截取预设场景下的图像帧，生成样本数据；
将样本数据进行数据增强处理，生成模型训练样本；
构建车辆异常变道检测模型；
将模型训练样本输入车辆异常变道检测模型中，输出损失值；
当损失值到达最小时，生成预先训练的车辆异常变道检测模型；
或者，
当损失值未到达最小时，将损失值进行反向传播更新车辆异常变道检测模型的参数，并继续执行将模型训练样本输入车辆异常变道检测模型中的步骤，以对车辆异常变道检测模型进行迭代训练。
可选的，将样本数据进行数据增强处理，生成模型训练样本，包括：
将样本数据进行随机裁剪，并移动样本数据中车辆的位置，得到第一样本数据；
将第一样本数据调整至预设尺寸大小，并对调整后的样本数据中的车辆标定类型标签，得到第二样本数据；
采用K-means算法对第二样本数据中车辆的类型标签进行聚类处理，得到多尺寸特征图；
将多尺寸特征图确定为模型训练样本。
可选的，车辆异常变道检测模型包括卷积网络、多级特征融合网络以及损失函数；
将模型训练样本输入车辆异常变道检测模型中，输出损失值，包括：
将模型训练样本输入卷积网络中，输出卷积后的多尺寸特征图；
将卷积后的多尺寸特征图输入多级特征融合网络中，得到模型训练样本中多个第一车辆预测边框的得分；
采用高斯加权的Soft-NMS算法分数，并结合多个第一车辆预测边框的得分进行车辆预测边框过滤，得到多个第二车辆预测边框；
根据损失函数以及每个第二车辆预测边框的数据计算损失值；
其中，高斯加权的Soft-NMS算法分数计算公式为：
Figure BDA0003636697860000031
其中，M表示多个第一车辆预测边框B中得分最高的预测框；bi表示除去M 后的B中的第i个预测框；Nt表示IOU阈值；si表示B中第i个预测框bi的得分；σ表示高斯系数，IoU为高斯加权函数。
可选的，根据损失函数以及每个第二车辆预测边框的数据计算损失值，包括：
根据每个第二车辆预测边框的数据，并采用损失函数中的回归损失误差平方和公式计算分类损失和置信度，得到目标车辆的相对位置坐标与车辆类别数据；
根据目标车辆的相对位置坐标与车辆类别数据计算损失值。
第二方面，本申请实施例提供了一种路口车辆异常变道检测装置，装置包括：
图像提取模块，用于实时获取信号灯控制路口布设的视频检测器针对监控区域所采集的行车视频，并提取行车视频中的多帧图像；
位置信息输出模块，用于将多帧图像输入预先训练的车辆异常变道检测模型中，输出多帧图像中的每个目标车辆的位置信息；
异常变道判定模块，用于根据每个目标车辆的位置信息判定车辆是否异常变道。
第三方面，本申请实施例提供一种计算机存储介质，计算机存储介质存储有多条指令，指令适于由处理器加载并执行上述的方法步骤。
第四方面，本申请实施例提供一种电子设备，可包括：处理器和存储器；其中，存储器存储有计算机程序，计算机程序适于由处理器加载并执行上述的方法步骤。
本申请实施例提供的技术方案可以包括以下有益效果：
在本申请实施例中，路口车辆异常变道检测装置首先实时获取信号灯控制路口布设的视频检测器针对监控区域所采集的行车视频，并提取行车视频中的多帧图像，然后将多帧图像输入预先训练的车辆异常变道检测模型中，输出多帧图像中的每个目标车辆的位置信息，最后根据每个目标车辆的位置信息判定车辆是否异常变道。由于本申请通过预先训练的人工智能模型分析行车视频中的异常变道车辆，并根据发生异常变道车辆的相关信息优化路口信号灯以对车辆的通行进行管控，从而可提升路口车辆的通行效率。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
图1是本申请实施例提供的一种路口车辆异常变道检测方法的流程示意图；
图2是本申请实施例提供的一种路口车辆异常变道检测的环境示意图；
图3是本申请实施例提供的一种确定图像中车辆的位置信息的流程示意框图；
图4是本申请实施例提供的一种路口车辆异常变道检测过程的流程示意框图；
图5是本申请实施例提供的一种车辆异常变道检测模型训练方法的流程示意图；
图6是本申请实施例提供的一种路口车辆异常变道检测装置的结构示意图；
图7是本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
以下描述和附图充分地示出本发明的具体实施方案，以使本领域的技术人员能够实践它们。
应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
在本发明的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。此外，在本发明的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
本申请提供了一种路口车辆异常变道检测方法、装置、存储介质及电子设备，以解决上述相关技术问题中存在的问题。本申请提供的技术方案中，由于本申请通过预先训练的人工智能模型分析行车视频中的异常变道车辆，并根据发生异常变道车辆的相关信息优化路口信号灯以对车辆的通行进行管控，从而可提升路口车辆的通行效率，下面采用示例性的实施例进行详细说明。
下面将结合附图1-附图5，对本申请实施例提供的路口车辆异常变道检测方法进行详细介绍。该方法可依赖于计算机程序实现，可运行于基于冯诺依曼体系的路口车辆异常变道检测装置上。该计算机程序可集成在应用中，也可作为独立的工具类应用运行。
请参见图1，为本申请实施例提供了一种路口车辆异常变道检测方法的流程示意图。如图1所示，本申请实施例的方法可以包括以下步骤：
S101，实时获取信号灯控制路口布设的视频检测器针对监控区域所采集的行车视频，并提取行车视频中的多帧图像；
其中，信号灯控制路口的场景例如图2所示，该场景包括反装视频检测器、信号灯以及机动车以及路标标志线。视频检测器的图像采集端正对着车辆行驶方向，区域是一块地方所占的面积，这里可以理解成是某一块地方，具体指视频检测器在路面上所监测到的地方。视频通常是指各种动态影像的储存格式。
通常，行车视频是由成千上万的路面图像帧所组成的动态影像，该动态影像是由视频检测器采集所得，采集到的动态影像中可能包含路上的车辆以及行人或其他物体。
在本申请实施例中，当视频检测器启动后处于工作状态时，视频检测器的摄像头将监控到的区域图像进行采集。当视频检测器检测到所采集的图像时，将采集到的图像帧进行保存。随着时间的增加，当视频检测器保存了摄像头在一段时间里采集的成千上万张路况图像帧时，此时生成了这段时间所生成的行车视频，最后将行车视频通过有线或者无线的方式发送至服务端进行处理。
在一种可能的实现方式中，服务端实时接收来自视频检测器发送的行车视频，并通过图像处理技术提取行车视频中的多帧图像。
进一步地，在图像提取时，首先解析行车视频，然后获取行车视频中的原始图像帧，然后判断原始图像帧的图像格式是否为JPG图像；若是，则将JPG 格式的原始图像转换为RGB图像数据，得到多帧图像。
S102，将多帧图像输入预先训练的车辆异常变道检测模型中，输出多帧图像中的每个目标车辆的位置信息；
其中，车辆异常变道检测模型是实时输出车辆位置信息的数学模型。
在本申请实施例中，在生成预先训练的车辆异常变道检测模型时，首先获取信号灯控制路口布设的视频检测器针对监控区域所采集的预设时段的历史行车视频，然后从历史行车视频中截取预设场景下的图像帧，生成样本数据，再将样本数据进行数据增强处理，生成模型训练样本，然后构建车辆异常变道检测模型，再将模型训练样本输入车辆异常变道检测模型中，输出损失值，最后当损失值到达最小时，生成预先训练的车辆异常变道检测模型；或者，当损失值未到达最小时，将损失值进行反向传播更新车辆异常变道检测模型的参数，并继续执行将模型训练样本输入车辆异常变道检测模型中的步骤，以对车辆异常变道检测模型进行迭代训练。
在一种可能的实现方式中，在根据步骤S101得到多帧图像后，首先调用并初始化预先训练的车辆异常变道检测模型，然后将多帧图像输入预先训练的车辆异常变道检测模型中进行处理，处理结束后得到多帧图像中的每个目标车辆的位置信息。
S103，根据每个目标车辆的位置信息判定车辆是否异常变道。
在一种可能的实现方式中，在判定车辆是否异常变道时，首先将每个目标车辆的位置信息输入卡尔曼滤波器中，输出每个目标车辆的实际位置信息，然后获取监控区域中的车道线信息，再根据车道线信息标定车道线检测区域，其次根据每个目标车辆的实际位置信息判断每个目标车辆是否进入车道线检测区域；若是，实时判断进入车道线检测区域的车辆是否从当前所处车道区域进入另一车道区域；若是，则确定车辆出现异常变道；若否，则确定车辆未出现异常变道。
具体的，为了减少大车遮挡导致的误报情况，需对车辆的位置进行卡尔曼滤波预测车辆位置，由于路口车辆速度相对较慢，车辆位置不会发生跳变，因此可以用卡尔曼滤波器对车辆的位置进行预测得到更加接近车辆实际位置的坐标，以修正因目标被遮挡导致目标丢失的情况，从而提升精确度。
具体的，根据车道线信息标定车道线检测区域包括：标定拉取的反装视频车道线，车道线标定包含车道号、车道线起点、车道线终点。两条车道线的起点与终点形成闭合区域作为检测区域。
例如在图2的场景中，当检测到车道2后方车辆进入车道线检测区域后，可实时跟踪该车辆的位置，当该车辆从车道2移动到车道1后，确定该车辆出现异常变道。
例如图3所示，图3是一种确定图像中车辆的位置信息的流程示意框图，首先对历史一段时间的行车视频进行数据预处理，然后构建模型，并将预处理后的行车视频输入模型中进行训练，模型训练完成后，拉取实时的视频流并将该视频流中的数据输入训练完成的模型中，输出车辆位置信息，最后将车辆位置信息输入卡尔曼滤波器中，得到更加准确的每个目标车辆的实际位置信息。
进一步地，例如图4所示，图4是一种路口车辆异常变道检测过程的流程示意框图，首先标定车道线检测区域，然后实时获取车辆位置判断是否进入车道检测区域，若进入后，实时跟踪进入车道检测区域的车辆位置，根据该车辆位置判断是否进入另一检测区域，若是，则确定该车辆产生异常变道，若否，则继续跟踪该车辆，直到该车辆离开车道检测区域。
进一步地，在车辆出现异常变道时，生成变道信息，然后获取发生异常变道的车辆信息，并将发生异常变道的车辆信息和与其对应的所述变道信息发送至预警电子设备。
进一步地，执法人员可以在预警电子设备上输入语音数据，发送到信号灯杆的语音播放器进行播放，或者输入警示信息发送到信号灯杆的显示屏上；还可以通过智能化信号灯控制***自动控制信号灯以对车辆的通行进行管控。
在本申请实施例中，采用深度学***台，可有效提升路口智能化管控水平，为后续路口管控提供指导依据，更好赋能公安交管应用场景。
在本申请实施例中，路口车辆异常变道检测装置首先实时获取信号灯控制路口布设的视频检测器针对监控区域所采集的行车视频，并提取行车视频中的多帧图像，然后将多帧图像输入预先训练的车辆异常变道检测模型中，输出多帧图像中的每个目标车辆的位置信息，最后根据每个目标车辆的位置信息判定车辆是否异常变道。由于本申请通过预先训练的人工智能模型分析行车视频中的异常变道车辆，并根据发生异常变道车辆的相关信息优化路口信号灯以对车辆的通行进行管控，从而可提升路口车辆的通行效率。
请参见图5，为本申请实施例提供了一种车辆异常变道检测模型训练方法的流程示意图。如图5所示，本申请实施例的方法可以包括以下步骤：
S201，获取信号灯控制路口布设的视频检测器针对监控区域所采集的预设时段的历史行车视频；
需要说明的是，预设时段可以根据实际应用场景自行设定，此处不再赘述。
S202，从历史行车视频中截取预设场景下的图像帧，生成样本数据；
在本申请实施例中，预设场景主要包含白天、夜晚、近距离大目标车辆、远距离小车辆，特别是要包含重叠与遮挡的场景。
S203，将样本数据进行数据增强处理，生成模型训练样本；
在一种可能的实现方式中，在进行样本的数据增强处理时，首先将样本数据进行随机裁剪，并移动样本数据中车辆的位置，得到第一样本数据，然后将第一样本数据调整至预设尺寸大小，并对调整后的样本数据中的车辆标定类型标签，得到第二样本数据，其次采用K-means算法对第二样本数据中车辆的类型标签进行聚类处理，得到多尺寸特征图，最后将多尺寸特征图确定为模型训练样本。
S204，构建车辆异常变道检测模型；
在本实施例中，车辆异常变道检测模型包括卷积网络、多级特征融合网络以及损失函数。卷积网络为DarkNet-53网络。多级特征融合网络采用以特征金字塔间跳接的方式构建，该方式能对浅层定位信息与深层语义信息相结合，以提升特征层检测效果。
S205，将模型训练样本输入车辆异常变道检测模型中，输出损失值；
在一种可能的实现方式中，在生成损失值时，首先将模型训练样本输入卷积网络中，输出卷积后的多尺寸特征图，然后将卷积后的多尺寸特征图输入多级特征融合网络中，得到模型训练样本中多个第一车辆预测边框的得分，其次采用高斯加权的Soft-NMS算法分数，并结合多个第一车辆预测边框的得分进行车辆预测边框过滤，得到多个第二车辆预测边框，最后根据损失函数以及每个第二车辆预测边框的数据计算损失值。
具体的，高斯加权的Soft-NMS算法分数计算公式为：
Figure BDA0003636697860000101
其中，M表示多个第一车辆预测边框B中得分最高的预测框；bi表示除去M 后的B中的第i个预测框；Nt表示IOU阈值；si表示B中第i个预测框bi的得分；σ表示高斯系数，IoU为高斯加权函数。
具体的，根据损失函数以及每个第二车辆预测边框的数据计算损失值，首先根据每个第二车辆预测边框的数据，并采用损失函数中的回归损失误差平方和公式计算分类损失和置信度，得到目标车辆的相对位置坐标与车辆类别数据，最后根据目标车辆的相对位置坐标与车辆类别数据计算损失值。
需要说明的是，在检测阶段采用Soft-NMS算法对预测边框进行过滤，以降低重叠目标的漏检问题。
S206，当损失值到达最小时，生成预先训练的车辆异常变道检测模型；或者，当损失值未到达最小时，将损失值进行反向传播更新车辆异常变道检测模型的参数，并继续执行将模型训练样本输入车辆异常变道检测模型中的步骤，以对车辆异常变道检测模型进行迭代训练。
在本申请实施例中，路口车辆异常变道检测装置首先实时获取信号灯控制路口布设的视频检测器针对监控区域所采集的行车视频，并提取行车视频中的多帧图像，然后将多帧图像输入预先训练的车辆异常变道检测模型中，输出多帧图像中的每个目标车辆的位置信息，最后根据每个目标车辆的位置信息判定车辆是否异常变道。由于本申请通过预先训练的人工智能模型分析行车视频中的异常变道车辆，并根据发生异常变道车辆的相关信息优化路口信号灯以对车辆的通行进行管控，从而可提升路口车辆的通行效率。
下述为本发明装置实施例，可以用于执行本发明方法实施例。对于本发明装置实施例中未披露的细节，请参照本发明方法实施例。
请参见图6，其示出了本发明一个示例性实施例提供的路口车辆异常变道检测装置的结构示意图。该路口车辆异常变道检测装置可以通过软件、硬件或者两者的结合实现成为电子设备的全部或一部分。该装置1包括图像提取模块 10、位置信息输出模块20、异常变道判定模块30。
图像提取模块10，用于实时获取信号灯控制路口布设的视频检测器针对监控区域所采集的行车视频，并提取行车视频中的多帧图像；
位置信息输出模块20，用于将多帧图像输入预先训练的车辆异常变道检测模型中，输出多帧图像中的每个目标车辆的位置信息；
异常变道判定模块30，用于根据每个目标车辆的位置信息判定车辆是否异常变道。
需要说明的是，上述实施例提供的路口车辆异常变道检测装置在执行路口车辆异常变道检测方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的路口车辆异常变道检测装置与路口车辆异常变道检测方法实施例属于同一构思，其体现实现过程详见方法实施例，这里不再赘述。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
在本申请实施例中，路口车辆异常变道检测装置首先实时获取信号灯控制路口布设的视频检测器针对监控区域所采集的行车视频，并提取行车视频中的多帧图像，然后将多帧图像输入预先训练的车辆异常变道检测模型中，输出多帧图像中的每个目标车辆的位置信息，最后根据每个目标车辆的位置信息判定车辆是否异常变道。由于本申请通过预先训练的人工智能模型分析行车视频中的异常变道车辆，并根据发生异常变道车辆的相关信息优化路口信号灯以对车辆的通行进行管控，从而可提升路口车辆的通行效率。
本发明还提供一种计算机可读介质，其上存储有程序指令，该程序指令被处理器执行时实现上述各个方法实施例提供的路口车辆异常变道检测方法。本发明还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述各个方法实施例的路口车辆异常变道检测方法。
请参见图7，为本申请实施例提供了一种电子设备的结构示意图。如图7 所示，电子设备1000可以包括：至少一个处理器1001，至少一个网络接口1004，用户接口1003，存储器1005，至少一个通信总线1002。
其中，通信总线1002用于实现这些组件之间的连接通信。
其中，用户接口1003可以包括显示屏(Display)、摄像头(Camera)，可选用户接口1003还可以包括标准的有线接口、无线接口。
其中，网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI 接口)。
其中，处理器1001可以包括一个或者多个处理核心。处理器1001利用各种接口和线路连接整个电子设备1000内的各个部分，通过运行或执行存储在存储器1005内的指令、程序、代码集或指令集，以及调用存储在存储器1005内的数据，执行电子设备1000的各种功能和处理数据。可选的，处理器1001可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列 (Field-Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable Logic Array，PLA)中的至少一种硬件形式来实现。处理器1001可集成中央处理器(Central Processing Unit，CPU)、图像处理器(Graphics Processing Unit， GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作***、用户界面和应用程序等；GPU用于负责显示屏所需要显示的内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器1001中，单独通过一块芯片进行实现。
其中，存储器1005可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。可选的，该存储器1005包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器1005可用于存储指令、程序、代码、代码集或指令集。存储器1005可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作***的指令、用于至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现上述各个方法实施例的指令等；存储数据区可存储上面各个方法实施例中涉及到的数据等。存储器1005可选的还可以是至少一个位于远离前述处理器1001的存储装置。如图7所示，作为一种计算机存储介质的存储器 1005中可以包括操作***、网络通信模块、用户接口模块以及路口车辆异常变道检测应用程序。
在图7所示的电子设备1000中，用户接口1003主要用于为用户提供输入的接口，获取用户输入的数据；而处理器1001可以用于调用存储器1005中存储的路口车辆异常变道检测应用程序，并具体执行以下操作：
实时获取信号灯控制路口布设的视频检测器针对监控区域所采集的行车视频，并提取行车视频中的多帧图像；
将多帧图像输入预先训练的车辆异常变道检测模型中，输出多帧图像中的每个目标车辆的位置信息；
根据每个目标车辆的位置信息判定车辆是否异常变道。
在一个实施例中，处理器1001在执行根据每个目标车辆的位置信息判定车辆是否异常变道时，具体执行以下操作：
将每个目标车辆的位置信息输入卡尔曼滤波器中，输出每个目标车辆的实际位置信息；
获取监控区域中的车道线信息；
根据车道线信息标定车道线检测区域；
根据每个目标车辆的实际位置信息判断每个目标车辆是否进入车道线检测区域；
若是，实时判断进入车道线检测区域的车辆是否从当前所处车道区域进入另一车道区域；
若是，则确定车辆出现异常变道；若否，则确定车辆未出现异常变道。
在一个实施例中，处理器1001还执行以下操作：
当车辆出现异常变道时，生成变道信息；
获取发生异常变道的车辆信息，并将发生异常变道的车辆信息和与其对应的所述变道信息发送至预警电子设备。
在一个实施例中，处理器1001在执行实时获取信号灯控制路口布设的视频检测器针对监控区域所采集的行车视频之前时，还执行以下操作：
获取信号灯控制路口布设的视频检测器针对监控区域所采集的预设时段的历史行车视频；
从历史行车视频中截取预设场景下的图像帧，生成样本数据；
将样本数据进行数据增强处理，生成模型训练样本；
构建车辆异常变道检测模型；
将模型训练样本输入车辆异常变道检测模型中，输出损失值；
当损失值到达最小时，生成预先训练的车辆异常变道检测模型；
或者，
当损失值未到达最小时，将损失值进行反向传播更新车辆异常变道检测模型的参数，并继续执行将模型训练样本输入车辆异常变道检测模型中的步骤，以对车辆异常变道检测模型进行迭代训练。
在一个实施例中，处理器1001在执行将样本数据进行数据增强处理，生成模型训练样本时，具体执行以下操作：
将样本数据进行随机裁剪，并移动样本数据中车辆的位置，得到第一样本数据；
将第一样本数据调整至预设尺寸大小，并对调整后的样本数据中的车辆标定类型标签，得到第二样本数据；
采用K-means算法对第二样本数据中车辆的类型标签进行聚类处理，得到多尺寸特征图；
将多尺寸特征图确定为模型训练样本。
在一个实施例中，处理器1001在执行将模型训练样本输入车辆异常变道检测模型中，输出损失值时，具体执行以下操作：
将模型训练样本输入卷积网络中，输出卷积后的多尺寸特征图；
将卷积后的多尺寸特征图输入多级特征融合网络中，得到模型训练样本中多个第一车辆预测边框的得分；
采用高斯加权的Soft-NMS算法分数，并结合多个第一车辆预测边框的得分进行车辆预测边框过滤，得到多个第二车辆预测边框；
根据损失函数以及每个第二车辆预测边框的数据计算损失值；
其中，高斯加权的Soft-NMS算法分数计算公式为：
Figure BDA0003636697860000151
其中，M表示多个第一车辆预测边框B中得分最高的预测框；bi表示除去M 后的B中的第i个预测框；Nt表示IOU阈值；si表示B中第i个预测框bi的得分；σ表示高斯系数，IoU为高斯加权函数。
在一个实施例中，处理器1001在执行根据损失函数以及每个第二车辆预测边框的数据计算损失值时，具体执行以下操作：
根据每个第二车辆预测边框的数据，并采用损失函数中的回归损失误差平方和公式计算分类损失和置信度，得到目标车辆的相对位置坐标与车辆类别数据；
根据目标车辆的相对位置坐标与车辆类别数据计算损失值。
在本申请实施例中，路口车辆异常变道检测装置首先实时获取信号灯控制路口布设的视频检测器针对监控区域所采集的行车视频，并提取行车视频中的多帧图像，然后将多帧图像输入预先训练的车辆异常变道检测模型中，输出多帧图像中的每个目标车辆的位置信息，最后根据每个目标车辆的位置信息判定车辆是否异常变道。由于本申请通过预先训练的人工智能模型分析行车视频中的异常变道车辆，并根据发生异常变道车辆的相关信息优化路口信号灯以对车辆的通行进行管控，从而可提升路口车辆的通行效率。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，路口车辆异常变道检测的程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，的存储介质可为磁碟、光盘、只读存储记忆体或随机存储记忆体等。
以上所揭露的仅为本申请较佳实施例而已，当然不能以此来限定本申请之权利范围，因此依本申请权利要求所作的等同变化，仍属本申请所涵盖的范围。

Claims (10)

1.一种路口车辆异常变道检测方法，其特征在于，所述方法包括：
实时获取信号灯控制路口布设的视频检测器针对监控区域所采集的行车视频，并提取所述行车视频中的多帧图像；
将所述多帧图像输入所述预先训练的车辆异常变道检测模型中，输出所述多帧图像中的每个目标车辆的位置信息；
根据所述每个目标车辆的位置信息判定所述车辆是否异常变道。
2.根据权利要求1所述的方法，其特征在于，所述根据所述每个目标车辆的位置信息判定所述车辆是否异常变道，包括：
将所述每个目标车辆的位置信息输入卡尔曼滤波器中，输出每个目标车辆的实际位置信息；
获取所述监控区域中的车道线信息；
根据所述车道线信息标定车道线检测区域；
根据每个目标车辆的实际位置信息判断所述每个目标车辆是否进入所述车道线检测区域；
若是，实时判断进入所述车道线检测区域的车辆是否从当前所处车道区域进入另一车道区域；
若是，则确定所述车辆出现异常变道；若否，则确定所述车辆未出现异常变道。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
当所述车辆出现异常变道时，生成变道信息；
获取发生异常变道的车辆信息，并将发生异常变道的车辆信息和与其对应的所述变道信息发送至预警电子设备。
4.根据权利要求1所述的方法，其特征在于，所述实时获取信号灯控制路口布设的视频检测器针对监控区域所采集的行车视频之前，还包括：
获取信号灯控制路口布设的视频检测器针对监控区域所采集的预设时段的历史行车视频；
从所述历史行车视频中截取预设场景下的图像帧，生成样本数据；
将所述样本数据进行数据增强处理，生成模型训练样本；
构建车辆异常变道检测模型；
将所述模型训练样本输入所述车辆异常变道检测模型中，输出损失值；
当所述损失值到达最小时，生成预先训练的车辆异常变道检测模型；
或者，
当所述损失值未到达最小时，将所述损失值进行反向传播更新所述车辆异常变道检测模型的参数，并继续执行所述将所述模型训练样本输入所述车辆异常变道检测模型中的步骤，以对所述车辆异常变道检测模型进行迭代训练。
5.根据权利要求4所述的方法，其特征在于，所述将所述样本数据进行数据增强处理，生成模型训练样本，包括：
将所述样本数据进行随机裁剪，并移动所述样本数据中车辆的位置，得到第一样本数据；
将所述第一样本数据调整至预设尺寸大小，并对调整后的样本数据中的车辆标定类型标签，得到第二样本数据；
采用K-means算法对所述第二样本数据中车辆的类型标签进行聚类处理，得到多尺寸特征图；
将所述多尺寸特征图确定为模型训练样本。
6.根据权利要求5所述的方法，其特征在于，所述车辆异常变道检测模型包括卷积网络、多级特征融合网络以及损失函数；
所述将所述模型训练样本输入所述车辆异常变道检测模型中，输出损失值，包括：
将所述模型训练样本输入所述卷积网络中，输出卷积后的多尺寸特征图；
将卷积后的多尺寸特征图输入所述多级特征融合网络中，得到所述模型训练样本中多个第一车辆预测边框的得分；
采用高斯加权的Soft-NMS算法分数，并结合所述多个第一车辆预测边框的得分进行车辆预测边框过滤，得到多个第二车辆预测边框；
根据所述损失函数以及每个第二车辆预测边框的数据计算损失值；
其中，所述高斯加权的Soft-NMS算法分数计算公式为：
Figure FDA0003636697850000031
其中，M表示多个第一车辆预测边框B中得分最高的预测框；bi表示除去M后的B中的第i个预测框；Nt表示IOU阈值；si表示B中第i个预测框bi的得分；σ表示高斯系数，IoU为高斯加权函数。
7.根据权利要求6所述的方法，其特征在于，所述根据所述损失函数以及每个第二车辆预测边框的数据计算损失值，包括：
根据所述每个第二车辆预测边框的数据，并采用所述损失函数中的回归损失误差平方和公式计算分类损失和置信度，得到目标车辆的相对位置坐标与车辆类别数据；
根据所述目标车辆的相对位置坐标与车辆类别数据计算损失值。
8.一种路口车辆异常变道检测装置，其特征在于，所述装置包括：
图像提取模块，用于实时获取信号灯控制路口布设的视频检测器针对监控区域所采集的行车视频，并提取所述行车视频中的多帧图像；
位置信息输出模块，用于将所述多帧图像输入所述预先训练的车辆异常变道检测模型中，输出所述多帧图像中的每个目标车辆的位置信息；
异常变道判定模块，用于根据所述每个目标车辆的位置信息判定所述车辆是否异常变道。
9.一种计算机存储介质，其特征在于，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行如权利要求1-7任意一项的方法步骤。
10.一种电子设备，其特征在于，包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行如权利要求1-7任意一项的方法步骤。
CN202210504130.3A 2022-05-10 2022-05-10 一种路口车辆异常变道检测方法、装置、存储介质及电子设备 Pending CN114926791A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210504130.3A CN114926791A (zh) 2022-05-10 2022-05-10 一种路口车辆异常变道检测方法、装置、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210504130.3A CN114926791A (zh) 2022-05-10 2022-05-10 一种路口车辆异常变道检测方法、装置、存储介质及电子设备

Publications (1)

Publication Number Publication Date
CN114926791A true CN114926791A (zh) 2022-08-19

Family

ID=82809029

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210504130.3A Pending CN114926791A (zh) 2022-05-10 2022-05-10 一种路口车辆异常变道检测方法、装置、存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN114926791A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117012032A (zh) * 2023-09-28 2023-11-07 深圳市新城市规划建筑设计股份有限公司 一种基于大数据的智能交通管理***以及方法
CN117633519A (zh) * 2024-01-26 2024-03-01 腾讯科技（深圳）有限公司 变道检测方法、装置、电子设备及存储介质
CN117994741A (zh) * 2024-01-03 2024-05-07 广东智视云控科技有限公司 基于视频监控的车速检测方法、***及存储介质

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117012032A (zh) * 2023-09-28 2023-11-07 深圳市新城市规划建筑设计股份有限公司 一种基于大数据的智能交通管理***以及方法
CN117012032B (zh) * 2023-09-28 2023-12-19 深圳市新城市规划建筑设计股份有限公司 一种基于大数据的智能交通管理***以及方法
CN117994741A (zh) * 2024-01-03 2024-05-07 广东智视云控科技有限公司 基于视频监控的车速检测方法、***及存储介质
CN117633519A (zh) * 2024-01-26 2024-03-01 腾讯科技（深圳）有限公司 变道检测方法、装置、电子设备及存储介质
CN117633519B (zh) * 2024-01-26 2024-05-24 腾讯科技（深圳）有限公司 变道检测方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
EP3806064B1 (en) Method and apparatus for detecting parking space usage condition, electronic device, and storage medium
CN109977812B (zh) 一种基于深度学习的车载视频目标检测方法
CN114926791A (zh) 一种路口车辆异常变道检测方法、装置、存储介质及电子设备
KR102015947B1 (ko) 자율주행을 위한 학습대상 이미지 추출 장치 및 방법
KR102122859B1 (ko) 교통 영상감시시스템의 멀티 표적 추적 방법
CN110188807A (zh) 基于级联超分辨率网络与改进Faster R-CNN的隧道行人目标检测方法
JP6700373B2 (ja) ビデオ動画の人工知能のための学習対象イメージパッケージング装置及び方法
KR102122850B1 (ko) 딥 러닝 기반의 교통분석 및 차량번호 인식 솔루션
CN112784724A (zh) 一种车辆变道检测方法、装置、设备及存储介质
CN111753612B (zh) 一种抛洒物检测方法、装置及存储介质
CN112766069A (zh) 基于深度学习的车辆违停检测方法、装置及电子设备
CN112949578B (zh) 车灯状态识别方法、装置、设备及存储介质
CN111507278A (zh) 一种检测路障的方法、装置及计算机设备
CN111967396A (zh) 障碍物检测的处理方法、装置、设备及存储介质
CN111274886A (zh) 一种基于深度学习的行人闯红灯违法行为分析方法及***
CN114972911A (zh) 自动驾驶感知算法模型的输出数据收集处理方法及设备
CN113723229A (zh) 信号灯的检测方法、装置及计算机可读存储介质
CN114331206B (zh) 点位选址方法、装置、电子设备及可读存储介质
CN117611795A (zh) 基于多任务ai大模型的目标检测方法、模型训练方法
CN112509321A (zh) 一种基于无人机的城市复杂交通情景的驾驶控制方法、***及可读存储介质
JP6681965B2 (ja) 自律走行のための学習対象イメージ抽出装置及び方法
CN110956097A (zh) 遮挡人体提取方法及模块、场景转换方法及装置
CN115995075A (zh) 一种车辆自适应导航方法、装置、电子设备及存储介质
CN116311166A (zh) 交通障碍物识别方法、装置及电子设备
CN114387310A (zh) 一种基于深度学习的城市主干道路车流量统计方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination