CN110033479A - 基于交通监控视频的交通流参数实时检测方法 - Google Patents

Abstract

本发明公开了一种基于交通监控视频的交通流参数实时检测方法，包括：视频预标定：标定车辆的类型及位置；目标检测：用预标定好的数据，训练出基于SSD的车辆目标检测的深度学习模型；坐标映射：求解监控视频图像坐标系与世界坐标系的映射关系；车辆目标追踪：采用核化相关滤波器追踪算法，结合车辆目标检测的深度学习模型，对车辆行驶进行实时追踪；指标获取与计算：设置标定区域计时器，获取时间指标，结合车辆目标检测结果，车辆追踪算法的追踪结果以及计时器的计时结果，并通过坐标映射换算，得到交通流参数的实时检测结果。本发明解决直接从交通监控视频中获取交通流参数的问题，能一次性地对多项交通流参数完成实时的精确的检测。

Description

基于交通监控视频的交通流参数实时检测方法

技术领域

本发明涉及计算机视觉技术领域，特别是一种基于交通监控视频的交通流参数实时检测方法。

背景技术

交通参数能够为智能交通***提供数据支持，促使智能交通***充分发挥自身作用，对于交通视频的研究与分析是一个十分热门的研究领域。如果研究人员能够直接从视频数据中获取交通流的流量、密度、速度等信息，这对于智能交通***的发展十分重要，已有的交通参数检测方法难以实现一次完成交通流的流量、密度和速度实时检测的难题。传统方法主要是基于背景建模的交通流参数视频检测，这些方法易受车辆遮挡、光线变化等外界环境条件干扰等而误判；而基于机器学习方法，改变帧间像素动态变化解析的方式，而着重于车辆样本空间的目标识别提取，具有抗干扰优势。已经有多种能够实现高精度实时检测的深度学习目标检测基础模型被相继提出，这为交通参数检测技术应向着智能化、网络化、自主学习的方向发展提供了基础，例如：

基于磁频的检测：最广泛使用的是基于电磁线圈的检测，由埋在路面下的环形线圈传感器，信号检测处理单元和馈线三部分组成。其检测原理是信号检测单元与环形线圈与馈线组成一个调谐电路，通过检测电路谐振频率的变化来检测是否有车辆通过，可以检测交通量，占有率及大致的车速等参数。但这种方法需要在路面下安装额外的设备，且线圈的使用效果受路面质量影响很大。

基于波频的检测：波频车辆检测是以微波、超声波、红外波等对车辆发射电磁波而产生感应。其中超声波检测器是高速公路上应用较多的一种，由探头和控制机构成，设置于道路的正上方或斜上方，根据探头发射波和返回波的差异判断是否有车辆经过。器悬挂式安装相比较于路面安装有许多优点，但其检测易受天气，行人，车流量大小的影响，检测精度较差。

基于视频的检测：基于视频的交通流量检测的方法包括基于目标检测的光流法、帧间差分法、背景差分法等；基于视频的交通速度检测方法包括基于序列图像的、运动矢量聚类的方法等；基于视频的交通密度检测方法主要有在线支持向量机分类器结合背景建模技术实现交通密度测量、利用车辆所占图像的像素值与整个图像的比值代替记录车辆数来进行交通密度测量等。这些传统的基于视频的检测方法都主要基于背景建模来完成交通流参数的检测，这些方法易受环境条件干扰等而误判，精度不够高；另一方面计算量均较大，实时性还有待提升。

发明内容

为解决现有技术中存在的问题，本发明的目的是提供一种基于交通监控视频的交通流参数实时检测方法，本发明解决直接从交通监控视频中获取交通流参数的问题，能一次性地对多项交通流参数完成实时的精确的检测。

为实现上述目的，本发明采用的技术方案是：一种基于交通监控视频的交通流参数实时检测方法，包括以下步骤：

S10、视频预标定：标定交通监控视频中车辆的类型及位置；

S20、目标检测：用预标定好的数据，通过迁移学习和离线训练，训练出基于SSD的车辆目标检测的深度学习模型，用于对交通监控视频内多种车型以及其在交通监控视频画面中位置的识别；

S30、坐标映射：采用基于消失点检测的视频摄像机自动参数标定方法，求解监控视频图像坐标系与世界坐标系的映射关系；

S40、车辆目标追踪：采用核化相关滤波器追踪算法，结合车辆目标检测的深度学习模型，对车辆行驶进行实时追踪；

S50、指标获取与计算：设置标定区域计时器，获取相应的时间指标，结合车辆目标检测结果，车辆追踪算法的追踪结果以及相应计时器的计时结果，并通过监控视频图像坐标与世界坐标的坐标映射换算，得到交通流参数的实时检测结果。

作为一种优选的实施方式，所述步骤S10具体如下：

在一定时间内采集包括多个角度、多个时间段的交通监控视频，并将视频每隔一定帧保存为一张图片，得到图片集合，采用图片标注工具labelImg标定视频中车辆的类型及位置坐标，并用自动划分脚本，将图片集合划分为训练集，验证集和测试集。

作为另一种优选的实施方式，所述步骤S20具体如下：

下载基于VGG模型的经过预训练的SSD基础模型，自定义检测类别为车辆的类型，利用所述训练集对基础模型进行迁移训练，利用所述验证集对基础模型的超参数进行调整，利用所述测试集观察基础模型的性能，直至性能达到要求完成模型的离线学习。

作为另一种优选的实施方式，所述步骤S30具体如下：

设为路面分界线的消失点位置，将车辆的监控视频图像坐标系映射为世界坐标系：

上式中，x、z分别为道路平面内任意一点三维空间坐标沿路面横向和前进方向的坐标，而u、v则是该任意一点在二维图像中的坐标；θ和d分别为监控摄像机与路面之间的夹角以及监控摄像机出口到其光轴与路面交点之间的距离，决定了视频坐标与世界坐标的映射关系，C为平移常数，可以忽略，通过分道线消失点和灯柱消失点的自动检测可以标定监控摄像机与路面之间的夹角θ，利用公路的标准分道线作为参照物对距离进行量度，标定参数d。

作为另一种优选的实施方式，所述步骤S40具体如下：

核化相关滤波器追踪算法使用图片的HOG特征，在追踪过程中训练一个目标检测器，使用目标检测器去检测下一帧预测位置是否是目标，再使用新检测结果更新训练集进而更新目标检测器；使用OpenCV中的自带的KCF追踪器，对每一个检测出的车辆对象实例化时初始化一个KCF***，KCF***接受一个帧与目标的坐标位置，载入最新的帧时，KCF***计算目标在新的一帧中所处的位置，根据车辆追踪结果判断不同帧之间车辆是否在前帧出现过或是新进入的，完成交通监控视频画面中车辆的实时数量统计。

作为另一种优选的实施方式，所述步骤S50中，通过监控视频图像坐标与世界坐标的坐标映射换算，首先得到道路长度、车辆位移和车辆通过数初级指标，根据所述初级指标，基于整个交通监控视频画面计算车辆密度、空间占有率及车流量，基于每辆检测车辆计算平均车速，基于标定区域计算车头时距和时间占有率。

作为另一种优选的实施方式，所述步骤S50具体如下：

对检测到的每一车辆，根据车辆目标检测结果，实时记录画面中每一辆车在图像上的位置坐标((u_min,v_min),(u_max,v_max))，并映射到世界坐标系坐标((x_min,z_min),(x_max,z_max))，其中x轴为路面横向方向，z轴为车辆前进方向；同时设置定时器，实时记录车辆从进入画面到驶出画面的时间t，对画面中m条车道中的每条车道，综合车辆检测和追踪结果，实时记录一次画面内分车道车辆总数n_k(k＝1,2,...,m)，计算画面内车辆总数N，每隔一定时间计算一次通过画面前边缘的车辆总数N_p；根据坐标映射结果，得到画面道路起点和终点的在前进方向的世界坐标z_s和这z_e，求出整个画面中道路的总长度l(z_e-z_s)；其中分车道密度，空间占有率，车流量和平均车速的计算公式分别如下： 车流量＝360*Np(辆/h)，平均车速＝1/2(z_i,max+z_i,min)-z_s/t，z_i,max和z_i,min分别代表第i辆车的世界坐标系左下角个右上角的z坐标值，z_i,max-z_i,min代表第i辆车的在其前进方向的长度，1/2(z_i,max+z_i,min)代表车辆的中心点的在前进方向的位置坐标。

作为另一种优选的实施方式，所述步骤S50还包括：

基于交通监控视频画面中标定线，单独设置标定区域边缘检测和计时器，检测通过标定线的车辆数和车辆通过时间，每2辆车通过检测区域边缘，计算一次两车车头通过时间间隔，即为车头时距；每M辆车通过检测区域有边缘，计算每辆车从车头进入到车尾离开的时间间隔ΔT_i,记录一次总时间T_s，

作为另一种优选的实施方式，还包括以下步骤：

S60、将交通流参数计算结果和视频实时检测结果对接到智能交通监控界面，实时显示交通流参数检测结果，辅助交通措施的实时调整。

本发明的有益效果是：本发明通过基于多尺度特征图的SSD目标检测算法，训练预标定的多角度交通视频数据，得到车辆检测深度学***均速度>90％、空间占有率>95％。

附图说明

图1为本发明实施例的流程框图。

具体实施方式

下面结合附图对本发明的实施例进行详细说明。

实施例：

如图1所示，一种基于交通监控视频的交通流参数实时检测方法，本实施例在具体实施时，硬件上可包括视频采集模块、智能交通参数实时检测模块、交通流参数计算模块以及智能交通监控模块，智能交通参数实时检测模块又包括目标检测模型、目标追踪算法和坐标映射方法三个主要模块。

交通流参数实时检测方法的基本工作流程是：首先，基于交通监控视频完成实时交通数据的采集，相比较于传统的基于词频和波频的检测方法，本方法减少了额外安装和维护设备的成本。交通视频数据输入到智能交通流参数实时检测模块，由离线训练好的目标检测模块直接对监控视频中车辆目标进行识别，再结合车辆追踪算法和坐标映射方法在标定区域的检测结果，实时计算出各个交通流参数。相比较于目前其他基于视频的方法，本方法基于深度学习模型的检测更能减少环境变化的影响，精度较高；基于核相关滤波器的追踪，追踪速度相较于传统光流法等实时性更好。然后，交通流参数计算模块结合检测、追踪的结果和辅助标定区域及计时器计时结果，计算各项交通流参数。最后，计算好的交通数据对接到智能交通监控模块，在监控界面实时显示，便于结合实时交通流情况对交通措施及时进行调度。

所述的方法具体包括以下步骤：

步骤1、视频预标定：标定交通监控视频中车辆的类型及位置；采集包括多个角度，多个时间段的交通视频若干小时，并将视频每隔30帧保存为一张图片，得到图片集合。用labelImg工具，标定视频中车辆的类型，车辆目标框左下角和右上角的坐标((x_min,y_min)，(x_max,y_max))，存储为voc格式的xml文件，并用自动划分脚本，将图片集合的数据划分为训练集，验证集和测试集。

步骤2、目标检测：用预标定好的数据，通过迁移学习和离线训练，训练出基于SSD的车辆目标检测的深度学习模型，用于对交通监控视频内多种车型以及其在交通监控视频画面中位置的识别；具体的，基于SSD的车辆目标检测模型的迁移训练：首先，将voc格式的文件转换为tfrecord格式，tfrecord格式的二进制文件读取速度更快；然后，下载基于VGG的经过预训练的SSD模型，自定义检测类别为车辆类别，如car，bus，track等；最后，在预训练模型的基础之上，使用步骤1中的训练集数据对基础模型进行迁移训练，使用验证集数据对模型的超参数进行调整，使用测试集数据观察模型性能，至性能达到要求完成模型的离线学习。使用训练好的模型，输入交通视频进行检测，即可实时检测视频中车辆的类型及其检测框的位置坐标。

步骤3、坐标映射：采用基于消失点检测的视频摄像机自动参数标定方法，求解监控视频图像坐标系与世界坐标系的映射关系；对于安装于道路上方，光轴方向与道路的前进方向近似在同一平面内，跟路面则呈一定的俯仰角的典型的道路监控摄像机配置，采取基于消失点检测的自标定方法。设为路面分界线的消失点位置，按照下式将车辆的视频坐标系映射为世界坐标系。式中，x、z分别为道路平面内任意一点三维空间坐标沿路面横向和前进方向的坐标，而u,v则是该点在二维图像中的坐标。θ和d分别为摄像机与路面之间的夹角θ以及摄像机出口到其光轴与路面交点之间的距离，决定了视频坐标与世界坐标的映射关系。C为平移常数，可以忽略。通过分道线消失点和灯柱消失点的自动检测可以标定摄像机的俯仰角θ，利用公路的标准分道线作为参照物对距离进行量度，标定参数d：

步骤4、车辆目标追踪：采用核化相关滤波器追踪算法，结合车辆目标检测的深度学习模型，对车辆行驶进行实时追踪；采用基于核相关滤波器(KCF)跟踪算法对车辆行驶进行追踪。KCF算法使用图片的HOG特征，在追踪过程中训练一个目标检测器，使用目标检测器去检测下一帧预测位置是否是目标，然后再使用新检测结果去更新训练集进而更新目标检测器。使用OpenCV中的自带的KCF tracker，每一个步骤2中检测出的车辆对象实例化时初始化一个KCF***。KCF***接受一个帧与目标的坐标位置，载入最新的帧时，KCF***计算目标在新的一帧中所处的位置。根据车辆追踪结果判断不同帧之间哪些车辆是前帧出现过，哪些车辆是新进入的，准确完成视频画面中车辆的实时数量统计。

步骤5、指标获取与计算：设置标定区域计时器，获取相应的时间指标，结合车辆目标检测结果，车辆追踪算法的追踪结果以及相应计时器的计时结果，并通过监控视频图像坐标与世界坐标的坐标映射换算，得到交通流参数的实时检测结果。综合步骤2-步骤4的检测结果，计算交通流指标；基于整个画面，计算车辆密度，空间占有率及车流量；基于每辆检测车辆，计算平均车速；基于标定区域，计算车头时距和时间占有率。各个指标的具体计算方法如下：

对检测到的每一车辆，根据车辆目标检测结果，实时记录画面中每一辆车在图像上的位置坐标((u_min,v_min),(u_max,v_max))，并映射到世界坐标系坐标((x_min,z_min),(x_max,z_max))，其中x轴为路面横向方向，z轴为车辆前进方向；同时设置定时器，实时记录车辆从进入画面到驶出画面的时间t。对画面中m条车道中的每条车道，综合车辆检测和追踪结果，实时记录一次画面内分车道车辆总数n_k(k＝1,2,...,m)，计算画面内车辆总数N，每隔10s计算一次通过画面前边缘的车辆总数N_p；根据坐标映射结果，得到画面道路起点和终点的在前进方向的世界坐标z_s和这z_e，求出整个画面中道路的总长度l(z_e-z_s)。分车道密度，空间占有率，车流量和每辆车的车速的计算公式分别如下： 车流量＝360*N_p(辆/h)，平均车速＝1/2(z_i,max+z_i,min)-z_s/t，z_i,max和z_i,min分别代表第i辆车的世界坐标系左下角个右上角的z坐标值，z_i,max-z_i,min代表第i辆车的在其前进方向的长度，1/2(z_i,max+z_i,min)代表车辆的中心点的在前进方向的位置坐标。

另外，基于画面中标定线，单独设置标定区域边缘检测和计时器，检测通过标定线的车辆数和车辆通过时间。每2辆车通过检测区域边缘，计算一次两车车头通过时间间隔，即为车头时距。每5辆车通过检测区域有边缘，计算每辆车从车头进入到车尾离开的时间间隔ΔT_i,记录一次总时间T_s，如下式

步骤6、对接智能交通监控界面：将交通流参数计算结果和视频实时检测结果对接到Qt智能交通监控界面，实时显示交通流参数检测结果，辅助交通措施的实时调整。

以上所述实施例仅表达了本发明的具体实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

Claims (9)

1.一种基于交通监控视频的交通流参数实时检测方法，其特征在于，包括以下步骤：

S10、视频预标定：标定交通监控视频中车辆的类型及位置；

S20、目标检测：用预标定好的数据，通过迁移学习和离线训练，训练出基于SSD的车辆目标检测的深度学习模型，用于对交通监控视频内多种车型以及其在交通监控视频画面中位置的识别；

S30、坐标映射：采用基于消失点检测的视频摄像机自动参数标定方法，求解监控视频图像坐标系与世界坐标系的映射关系；

S40、车辆目标追踪：采用核化相关滤波器追踪算法，结合车辆目标检测的深度学习模型，对车辆行驶进行实时追踪；

S50、指标获取与计算：设置标定区域计时器，获取相应的时间指标，结合车辆目标检测结果，车辆追踪算法的追踪结果以及相应计时器的计时结果，并通过监控视频图像坐标与世界坐标的坐标映射换算，得到交通流参数的实时检测结果。

2.根据权利要求1所述的基于交通监控视频的交通流参数实时检测方法，其特征在于，所述步骤S10具体如下：

在一定时间内采集包括多个角度、多个时间段的交通监控视频，并将视频每隔一定帧保存为一张图片，得到图片集合，采用图片标注工具labelImg标定视频中车辆的类型及位置坐标，并用自动划分脚本，将图片集合划分为训练集，验证集和测试集。

3.根据权利要求2所述的基于交通监控视频的交通流参数实时检测方法，其特征在于，所述步骤S20具体如下：

下载基于VGG模型的经过预训练的SSD基础模型，自定义检测类别为车辆的类型，利用所述训练集对基础模型进行迁移训练，利用所述验证集对基础模型的超参数进行调整，利用所述测试集观察基础模型的性能，直至性能达到要求完成模型的离线学习。

4.根据权利要求3所述的基于交通监控视频的交通流参数实时检测方法，其特征在于，所述步骤S30具体如下：

设为路面分界线的消失点位置，将车辆的监控视频图像坐标系映射为世界坐标系：

上式中，x、z分别为道路平面内任意一点三维空间坐标沿路面横向和前进方向的坐标，而u、v则是该任意一点在二维图像中的坐标；θ和d分别为监控摄像机与路面之间的夹角以及监控摄像机出口到其光轴与路面交点之间的距离，决定了视频坐标与世界坐标的映射关系，C为平移常数，可以忽略，通过分道线消失点和灯柱消失点的自动检测可以标定监控摄像机与路面之间的夹角θ，利用公路的标准分道线作为参照物对距离进行量度，标定参数d。

5.根据权利要求4所述的基于交通监控视频的交通流参数实时检测方法，其特征在于，所述步骤S40具体如下：

核化相关滤波器追踪算法使用图片的HOG特征，在追踪过程中训练一个目标检测器，使用目标检测器去检测下一帧预测位置是否是目标，再使用新检测结果更新训练集进而更新目标检测器；使用OpenCV中的自带的KCF追踪器，对每一个检测出的车辆对象实例化时初始化一个KCF***，KCF***接受一个帧与目标的坐标位置，载入最新的帧时，KCF***计算目标在新的一帧中所处的位置，根据车辆追踪结果判断不同帧之间车辆是否在前帧出现过或是新进入的，完成交通监控视频画面中车辆的实时数量统计。

6.根据权利要求5所述的基于交通监控视频的交通流参数实时检测方法，其特征在于，所述步骤S50中，通过监控视频图像坐标与世界坐标的坐标映射换算，首先得到道路长度、车辆位移和车辆通过数初级指标，根据所述初级指标，基于整个交通监控视频画面计算车辆密度、空间占有率及车流量，基于每辆检测车辆计算平均车速，基于标定区域计算车头时距和时间占有率。

7.根据权利要求6所述的基于交通监控视频的交通流参数实时检测方法，其特征在于，所述步骤S50具体如下：

对检测到的每一车辆，根据车辆目标检测结果，实时记录画面中每一辆车在图像上的位置坐标((u_min,v_min),(u_max,v_max))，并映射到世界坐标系坐标((x_min,z_min),(x_max,z_max))，其中x轴为路面横向方向，z轴为车辆前进方向；同时设置定时器，实时记录车辆从进入画面到驶出画面的时间t，对画面中m条车道中的每条车道，综合车辆检测和追踪结果，实时记录一次画面内分车道车辆总数n_k(k＝1,2,...,m)，计算画面内车辆总数N，每隔一定时间计算一次通过画面前边缘的车辆总数N_p；根据坐标映射结果，得到画面道路起点和终点的在前进方向的世界坐标z_s和这z_e，求出整个画面中道路的总长度l(z_e-z_s)；其中分车道密度，空间占有率，车流量和平均车速的计算公式分别如下： 车流量＝360*Np(辆/h)，平均车速＝1/2(z_i,max+z_i,min)-z_s/t，z_i,max和z_i,min分别代表第i辆车的世界坐标系左下角个右上角的z坐标值，z_i,max-z_i,min代表第i辆车的在其前进方向的长度，1/2(z_i,max+z_i,min)代表车辆的中心点的在前进方向的位置坐标。

8.根据权利要求7所述的基于交通监控视频的交通流参数实时检测方法，其特征在于，所述步骤S50还包括：

基于交通监控视频画面中标定线，单独设置标定区域边缘检测和计时器，检测通过标定线的车辆数和车辆通过时间，每2辆车通过检测区域边缘，计算一次两车车头通过时间间隔，即为车头时距；每M辆车通过检测区域有边缘，计算每辆车从车头进入到车尾离开的时间间隔ΔT_i,记录一次总时间T_s，

9.根据权利要求1-8任一项所述的基于交通监控视频的交通流参数实时检测方法，其特征在于，还包括以下步骤：

S60、将交通流参数计算结果和视频实时检测结果对接到智能交通监控界面，实时显示交通流参数检测结果，辅助交通措施的实时调整。