CN113723273A - 一种车辆轨迹信息确定方法、装置及计算机设备 - Google Patents

Abstract

本发明公开了一种车辆轨迹信息确定方法、装置及计算机设备，其中，该方法包括如下步骤：获取待检测视频流；将所述待检测视频流中的图像数据输入到预设车辆检测模型中进行车辆识别；当识别到目标车辆时，根据预设跟踪算法对所述目标车辆进行跟踪；当确定跟踪到所述目标车辆时，确定所述目标车辆的驶出方向，得到所述目标车辆的轨迹信息。本发明先对待检测视频流进行车辆识别，再根据预设跟踪算法对识别得到的车辆进行跟踪，当检测到目标车辆的驶出方向时，得到其轨迹信息，进而可以对重点路口的车辆进行分析，以便于针对重点路口进行合理的***，减少交通事故的发生。

Description

一种车辆轨迹信息确定方法、装置及计算机设备

技术领域

本发明涉及人工智能技术领域，具体涉及一种车辆轨迹信息确定方法、装置及计算机设备。

背景技术

随着社会的不断发展，人们生活水平的不断提高，道路车辆的爆发式增长，交通卡口和电警的实时视频流中车辆行驶轨迹越来越复杂，大大增加了交通事故的隐患，故亟待提出一种车辆轨迹信息确定方法来对车辆轨迹信息进行分析和处理，确定车辆行驶规律，以便于针对重点路口进行合理的***，减少交通事故的发生。

发明内容

因此，本发明要解决的技术问题在于克服现有技术中随着车辆增多增大了交通事故发生概率的缺陷，从而提供一种车辆轨迹信息确定方法、装置及计算机设备。

根据第一方面，本发明公开了一种车辆轨迹信息确定方法，包括如下步骤：获取待检测视频流；将所述待检测视频流中的图像数据输入到预设车辆检测模型中进行车辆识别；当识别到目标车辆时，根据预设跟踪算法对所述目标车辆进行跟踪；当确定跟踪到所述目标车辆时，确定所述目标车辆的驶出方向，得到所述目标车辆的轨迹信息。

可选地，在所述将所述待检测视频流中的图像数据输入到预设车辆检测模型中进行车辆识别之前，所述方法还包括：对所述待检测视频流按照目标间隔时间进行抽帧处理，得到需要进行车辆识别的图像数据。

可选地，在所述对所述待检测视频流进行抽帧处理，得到多张图像之后，所述方法还包括：根据车道线分布对所述多张图像进行裁剪，得到所述多张图像的检测区域。

可选地，通过如下步骤确定所述预设车辆检测模型：获取训练数据集；对所述训练数据集进行标注，得到标注后的训练数据；将所述标注后的训练数据输入到预设机器学习模型中进行训练，直到损失值满足预设条件，得到所述预设车辆检测模型。

可选地，在所述对所述训练数据集进行标注，得到标注后的训练数据之前，所述方法还包括：对所述训练数据集进行数据增强处理，得到增强后的训练数据集，所述数据增强处理包括：旋转、模糊、颜色变换和归一化。

可选地，所述根据预设跟踪算法对所述目标车辆进行跟踪，包括：根据预设跟踪算法对所述目标车辆进行位置估计；根据预设关联算法对所述目标车辆的位置进行关联。

可选地，在所述得到所述目标车辆的轨迹信息之后，所述方法还包括：根据预设车牌检测算法对所述目标车辆的车辆进行检测，得到所述目标车辆的车牌号信息；将所述目标车辆的车牌号信息和所述目标车辆的轨迹信息进行关联存储。

根据第二方面，本发明还公开了一种车辆轨迹信息确定装置，包括：获取模块，用于获取待检测视频流；车辆识别模块，用于根据预设车辆检测模型对所述待检测视频流进行车辆识别；跟踪模块，用于当识别到目标车辆时，根据预设跟踪算法对所述目标车辆进行跟踪；轨迹信息确定模块，用于当检测到所述目标车辆的驶出方向时，得到所述目标车辆的轨迹信息。

根据第三方面，本发明还公开了一种计算机设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行如第一方面或第一方面任一可选实施方式所述的车辆轨迹信息确定方法的步骤。

根据第四方面，本发明还公开了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面或第一方面任一可选实施方式所述的车辆轨迹信息确定方法的步骤。

本发明技术方案，具有如下优点：

本发明提供的车辆轨迹信息确定方法及装置，通过获取待检测视频流，将待检测视频流中的图像数据输入到预设车辆检测模型中进行车辆识别，当识别到目标车辆时，根据预设跟踪算法对目标车辆进行跟踪，当确定跟踪到目标车辆时，确定目标车辆的驶出方向，得到目标车辆的轨迹信息。本发明先对待检测视频流进行车辆识别，再根据预设跟踪算法对识别得到的车辆进行跟踪，当检测到目标车辆的驶出方向时，得到其轨迹信息，进而可以对重点路口的车辆进行分析，以便于针对重点路口进行合理的***，减少交通事故的发生。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中车辆轨迹信息确定方法的一个具体示例的流程图；

图2为本发明实施例中车辆轨迹信息确定装置的一个具体示例的原理框图；

图3为本发明实施例中计算机设备的一个具体示例图。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，还可以是两个元件内部的连通，可以是无线连接，也可以是有线连接。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。

本发明实施例公开了一种车辆轨迹信息确定方法，应用于卡口、电警摄像头场景下的实时视频流，如图1所示，包括如下步骤：

S101：获取待检测视频流。

示例性地，该待检测视频流可以是卡口或者电警摄像头场景下的实时视频流，其可以从摄像头直接获取。

S102：将待检测视频流中的图像数据输入到预设车辆检测模型中进行车辆识别。

示例性地，该预设车辆检测模型可以为yolov5s，发明实施例对该预设车辆检测模型不作具体限定，本领域技术人员可以根据实际情况确定。该预设车辆检测模型可以是提前训练好的，在本发明实施例中，该预设车辆检测模型可以通过如下步骤训练得到：

首先，获取训练数据集。

示例性地，该训练数据集可以是针对真实场景中的实时视频流进行录制得到的，其可以覆盖城市道路的100多个摄像头点位，可以连续一周从早上6点到晚上8点进行录制。本发明实施例对该摄像头点位的数量、连续时间以及早上和晚上的时间均不作具体限定，本领域技术人员可以根据实际情况确定。

本发明实施例采集的视频可以包括：多个城市、多个场景以及多个时间段采集的多角度样本，保证了训练数据多样化，提高模型训练泛化性。

在得到训练数据集后，可以对数据作预处理，以实现数据增强，在本发明实施例中，该数据预处理方法可以包括：随机旋转(水平翻转、垂直翻转)、随机裁剪、拉伸、随机模糊、随机颜色变换(对比度增强、亮度增强以及较为关键的HSV空间增强)以及归一化等。本发明实施例对该数据预处理方法不作具体限定，本领域技术人员可以根据实际情况确定。

其次，对训练数据集进行标注，得到标注后的训练数据。

示例性地，上述对训练数据集进行标注可以是利用已有神经网络进行标注，也可以是人工进行标注。本发明实施例对该标注方法不作具体限定，本领域技术人员可以根据实际情况确定。

对训练数据集进行标注可以采用多边形框进行标注，在标注过程中，可以对车辆边缘进行适当的缩放，使得标注框可以覆盖车辆的所有车身。

对训练数据集中的车辆进行标注时，标注标签可以分为三类，即小型普通客车、小型越野客车等小型车辆的标签为car；公交车、长途客车等客车的标签为bus；大型货车、集装箱等危重货车的标签是truck。

在本发明实施例中，只对近景的车辆进行标注，对远处的场景不作任何标注，本发明实施例将图片上将车道线圈内的车定义为近景的车，将车道线圈外的车定义为远处的场景的车。

再次，将标注后的训练数据输入到预设机器学习模型中进行训练，直到损失值满足预设条件，得到预设车辆检测模型。

示例性地，该预设机器学习模型可以为yolov5s模型。本发明实施例对该预设机器学习模型不作具体限定，本领域技术人员可以根据实际情况确定。本发明实施例采用yolov5s模型进行训练，推理速度快，显存占用较小，准确度较高。

将标注后的训练数据输入到预设机器学习模型中进行有监督训练，计算损失值，调整学习率，并再次循环，直到损失值满足预设条件，得到预设车辆检测模型。

上述预设条件可以为损失值小于预设阈值，该预设阈值可以为0.9。本发明实施例对该预设条件和预设阈值均不作具体限定，本领域技术人员可以根据实际情况确定。本发明实施例可以采用GIOU-Loss做损失函数计算损失值。

在输入到神经网络模型时，对图片进行等比缩放，使用三通道640*640的数据输入，减少了无意义的计算，提升训练速度。

本发明实施例通过对yolov5s模型进行训练，推理速度快、显存占用较少，识别准确率高，实时性较好。

S103：当识别到目标车辆时，根据预设跟踪算法对目标车辆进行跟踪。

示例性地，该目标车辆的数量可以为1个，也可以为多个，本发明实施例对该目标车辆的数量不作具体限定，本领域技术人员可以根据实际情况确定。

在本发明实施例中，根据预设跟踪算法对目标车辆进行跟踪具体可以为：

首先，根据预设跟踪算法对目标车辆进行位置估计。

示例性地，该预设跟踪算法可以为sort算法，本发明实施例对该预设跟踪算法不作具体限定，本领域技术人员可以根据实际情况确定。在本发明实施例中，采用卡尔曼滤波器对目标车辆进行位置估计，确保了位置的合理性，利用匈牙利算法进行匹配，确保了多条数据处理的实时性，从而保证跟踪的准确和实时。

其次，根据预设关联算法对目标车辆的位置进行关联。

示例性地，该预设关联算法可以为匈牙利算法，在本发明实施例中，针对跟踪目标框利用匈牙利算法进行目标关联，可以很好的进行实时性处理。

S104：当确定跟踪到目标车辆时，确定目标车辆的驶出方向，得到目标车辆的轨迹信息。

示例性地，当检测到目标车辆的驶出方向时，根据目标车辆行驶的不同方向(左转、直行、右转等)，输出完整的轨迹信息。

本发明提供的车辆轨迹信息确定方法，通过获取待检测视频流，将待检测视频流中的图像数据输入到预设车辆检测模型中进行车辆识别，当识别到目标车辆时，根据预设跟踪算法对目标车辆进行跟踪，当确定跟踪到目标车辆时，确定目标车辆的驶出方向，得到目标车辆的轨迹信息。本发明先对待检测视频流进行车辆识别，再根据预设跟踪算法对识别得到的车辆进行跟踪，当检测到目标车辆的驶出方向时，得到其轨迹信息，进而可以对重点路口的车辆进行分析，以便于针对重点路口进行合理的***，减少交通事故的发生。

作为本发明实施例一个可选实施方式，在上述步骤S102之前，该车辆轨迹信息确定方法还包括：

对待检测视频流按照目标间隔时间进行抽帧处理，得到需要进行车辆识别的图像数据。

示例性地，该目标间隔时间可以为2s，本发明实施例对该目标时间间隔不作具体限定，本领域技术人员可以根据实际情况确定。在本发明实施例中，对待检测数据流抽帧处理后去重，得到需要进行车辆识别的图像数据。

作为本发明实施例一个可选实施方式，在上述对待检测视频流进行抽帧处理，得到多张图像之后，该车辆轨迹信息确定方法还包括：

根据车道线分布对多张图像进行裁剪，得到多张图像的检测区域。

示例性地，在得到多张图像后，对上述多张图像进行划线配置，即根据车道线分布对多张图像进行裁剪，即将图片上将车道线围成的圈确定为检测区域，然后将其与拍摄其的设备id关联到一起。

本发明实施例通过划线配置，有效的减少了整张图像中的无用信息的干扰，可以有效的聚焦车辆行驶轨迹的记录的真实情况，节省了资源又提高了准确性。

作为本发明实施例一个可选实施方式，在上述步骤S104之后，该车辆轨迹信息确定方法还包括：

首先，根据预设车牌检测算法对目标车辆的车辆进行检测，得到目标车辆的车牌号信息。

示例性地，该预设车牌检测算法可以为mobilenet0.25检测模型，该检测模型可以为c++版本的。本发明实施例通过采用mobilenet0.25检测模型，相对于采用其它版本的检测模型进行车辆定位，推理速度更快，显存占用更小。定位到车牌后，采用CRNN+CTC算法进行服务式部署，本算法减少了GPU资源的使用，移植到CPU模块，进一步减少资源消耗

其次，将目标车辆的车牌号信息和目标车辆的轨迹信息进行关联存储。

本发明实施例还公开了一种车辆轨迹信息确定装置，如图2所示，包括：

获取模块21，用于获取待检测视频流；具体实现方式见上述实施例中步骤S101的相关描述，在此不再赘述。

车辆识别模块22，用于根据预设车辆检测模型对待检测视频流进行车辆识别；具体实现方式见上述实施例中步骤S102的相关描述，在此不再赘述。

跟踪模块23，用于当识别到目标车辆时，根据预设跟踪算法对目标车辆进行跟踪；具体实现方式见上述实施例中步骤S103的相关描述，在此不再赘述。

轨迹信息确定模块24，用于当检测到目标车辆的驶出方向时，得到目标车辆的轨迹信息。具体实现方式见上述实施例中步骤S104的相关描述，在此不再赘述。

本发明提供的车辆轨迹信息确定装置，通过获取待检测视频流，将待检测视频流中的图像数据输入到预设车辆检测模型中进行车辆识别，当识别到目标车辆时，根据预设跟踪算法对目标车辆进行跟踪，当确定跟踪到目标车辆时，确定目标车辆的驶出方向，得到目标车辆的轨迹信息。本发明先对待检测视频流进行车辆识别，再根据预设跟踪算法对识别得到的车辆进行跟踪，当检测到目标车辆的驶出方向时，得到其轨迹信息，进而可以对重点路口的车辆进行分析，以便于针对重点路口进行合理的***，减少交通事故的发生。

作为本发明实施例一个可选实施方式，该车辆轨迹信息确定装置还包括：

抽帧模块，对待检测视频流按照目标间隔时间进行抽帧处理，得到需要进行车辆识别的图像数据。具体实现方式见上述实施例中对应的步骤的相关描述，在此不再赘述。

作为本发明实施例一个可选实施方式，该车辆轨迹信息确定装置还包括：

裁剪模块，用于根据车道线分布对多张图像进行裁剪，得到多张图像的检测区域。具体实现方式见上述实施例中对应的步骤的相关描述，在此不再赘述。

作为本发明实施例一个可选实施方式，通过如下步骤确定上述预设车辆检测模型：

训练数据集获取模块，用于获取训练数据集；具体实现方式见上述实施例中对应的步骤的相关描述，在此不再赘述。

标注模块，用于对训练数据集进行标注，得到标注后的训练数据；具体实现方式见上述实施例中对应的步骤的相关描述，在此不再赘述。

训练模块，用于将标注后的训练数据输入到预设机器学习模型中进行训练，直到损失值满足预设条件，得到预设车辆检测模型。具体实现方式见上述实施例中对应的步骤的相关描述，在此不再赘述。

作为本发明实施例一个可选实施方式，该车辆轨迹信息确定装置还包括：

对训练数据集进行数据增强处理，得到增强后的训练数据集，数据增强处理包括：旋转、模糊、颜色变换和归一化。具体实现方式见上述实施例中对应的步骤的相关描述，在此不再赘述。

作为本发明实施例一个可选实施方式，上述跟踪模块23包括：

估计模块，用于根据预设跟踪算法对目标车辆进行位置估计；具体实现方式见上述实施例中对应的步骤的相关描述，在此不再赘述。

关联模块，用于根据预设关联算法对目标车辆的位置进行关联。具体实现方式见上述实施例中对应的步骤的相关描述，在此不再赘述。

作为本发明实施例一个可选实施方式，该车辆轨迹信息确定装置还包括：

检测模块，用于根据预设车牌检测算法对目标车辆的车辆进行检测，得到目标车辆的车牌号信息；具体实现方式见上述实施例中对应的步骤的相关描述，在此不再赘述。

存储模块，用于将目标车辆的车牌号信息和目标车辆的轨迹信息进行关联存储。具体实现方式见上述实施例中对应的步骤的相关描述，在此不再赘述。

本发明实施例还提供了一种计算机设备，如图3所示，该计算机设备可以包括处理器31和存储器32，其中处理器31和存储器32可以通过总线或者其他方式连接，图3中以通过总线连接为例。

处理器31可以为中央处理器(Central Processing Unit，CPU)。处理器31还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。

存储器32作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明实施例中的车辆轨迹信息确定方法对应的程序指令/模块(例如，图2所示的获取模块21、车辆识别模块22、跟踪模块23和轨迹信息确定模块24)。处理器31通过运行存储在存储器32中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施例中的车辆轨迹信息确定方法。

存储器32可以包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需要的应用程序；存储数据区可存储处理器31所创建的数据等。此外，存储器32可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器32可选包括相对于处理器31远程设置的存储器，这些远程存储器可以通过网络连接至处理器31。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

所述一个或者多个模块存储在所述存储器32中，当被所述处理器31执行时，执行如图1所示实施例中的车辆轨迹信息确定方法。

上述计算机设备具体细节可以对应参阅图1所示的实施例中对应的相关描述和效果进行理解，此处不再赘述。

本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read－Only Memory，ROM)、随机存储记忆体(RandomAccessMemory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid－State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。

虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (10)

1.一种车辆轨迹信息确定方法，其特征在于，包括如下步骤：

获取待检测视频流；

将所述待检测视频流中的图像数据输入到预设车辆检测模型中进行车辆识别；

当识别到目标车辆时，根据预设跟踪算法对所述目标车辆进行跟踪；

当确定跟踪到所述目标车辆时，确定所述目标车辆的驶出方向，得到所述目标车辆的轨迹信息。

2.根据权利要求1所述的方法，其特征在于，在所述将所述待检测视频流中的图像数据输入到预设车辆检测模型中进行车辆识别之前，所述方法还包括：

对所述待检测视频流按照目标间隔时间进行抽帧处理，得到需要进行车辆识别的图像数据。

3.根据权利要求2所述的方法，其特征在于，在所述对所述待检测视频流进行抽帧处理，得到多张图像之后，所述方法还包括：

根据车道线分布对所述多张图像进行裁剪，得到所述多张图像的检测区域。

4.根据权利要求1所述的方法，其特征在于，通过如下步骤确定所述预设车辆检测模型：

获取训练数据集；

对所述训练数据集进行标注，得到标注后的训练数据；

将所述标注后的训练数据输入到预设机器学习模型中进行训练，直到损失值满足预设条件，得到所述预设车辆检测模型。

5.根据权利要求4所述的方法，其特征在于，在所述对所述训练数据集进行标注，得到标注后的训练数据之前，所述方法还包括：

对所述训练数据集进行数据增强处理，得到增强后的训练数据集，所述数据增强处理包括：旋转、模糊、颜色变换和归一化。

6.根据权利要求1所述的方法，其特征在于，所述根据预设跟踪算法对所述目标车辆进行跟踪，包括：

根据预设跟踪算法对所述目标车辆进行位置估计；

根据预设关联算法对所述目标车辆的位置进行关联。

7.根据权利要求1所述的方法，其特征在于，在所述得到所述目标车辆的轨迹信息之后，所述方法还包括：

根据预设车牌检测算法对所述目标车辆的车辆进行检测，得到所述目标车辆的车牌号信息；

将所述目标车辆的车牌号信息和所述目标车辆的轨迹信息进行关联存储。

8.一种车辆轨迹信息确定装置，其特征在于，包括：

获取模块，用于获取待检测视频流；

车辆识别模块，用于根据预设车辆检测模型对所述待检测视频流进行车辆识别；

跟踪模块，用于当识别到目标车辆时，根据预设跟踪算法对所述目标车辆进行跟踪；

轨迹信息确定模块，用于当检测到所述目标车辆的驶出方向时，得到所述目标车辆的轨迹信息。

9.一种计算机设备，其特征在于，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行如权利要求1-7任一所述的车辆轨迹信息确定方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述的车辆轨迹信息确定方法的步骤。

Images