CN109859468A - 基于YOLOv3的多车道车流量计数及车辆跟踪方法 - Google Patents

Abstract

本发明公开了一种基于YOLOv3的多车道车流量计数及车辆跟踪方法，该方法首先通过特征提取网络对输入的图像提取特征，预测图像位置和类别概率值；利用检测到的前后两帧的车辆位置进行比较，通过判断本帧车辆标记框中心点是否在上帧某车辆标记框之内判定是否为同一辆车，从而达到跟踪的目的；利用设定检测线，通过线框位置关系，得到每一车道车流量。采用本发明能够实现对车辆的跟踪及对任意车道的车辆计数，且检测速度及准确度也大大提高，能对交通事件进行检测。

Description

基于YOLOv3的多车道车流量计数及车辆跟踪方法

技术领域

本发明涉及交通大数据领域，尤其涉及一种基于YOLOv3(YOLOv3:An IncrementalImprovement)的多车道车流量计数及车辆跟踪方法。

背景技术

近现代以来，随着经济的快速发展，推动了交通运输的现代化进程，在享受现代化交通带来的便利的同时，也带来了巨大的城市道路压力。目前，我国高速公路的安全运营状况不容乐观。频频发生的交通事故和逐渐恶化的交通环境，给国家和人民生命财产造成巨大损失，严重破坏了公路的基本服务职能。为提高道路的通行能力，保障道路的安全、畅通，及时有效地进行交通事故救援和处理，减少由交通事故产生的交通延误及避免二次事故的发生，各国都加大了对智能交通***的研究和建设力度。

YOLO是近几年目标检测领域的一个创新，目标检测在刚开始的时候，是通过提取图片的特征，比如SIFT、HOG等，这些特征是研究者人工构建的，使用 DPM(DeformableParts Model)模型，用silding window的方式来预测较高得分 bounding box。这种框架非常耗时，而且精度不高。然后出现了以selective search (理解SS)为代表的objectproposal方法，相比较sliding window穷举式的方法，在效果和计算速度上有较大的提高。

随着R-CNN系列的出现，R-CNN将在图像分类上表现出优越性能卷的积神经网络用于目标检测领域，奠定了Proposal+Classification的方法在Objection Detection上的地位。但是R-CNN框架也有很多弊端，比如整个网络做不到端到端，中间训练过程需要大量的内存来存储一些特征，计算速度不够理想等。YOLO 算法提出了一个新的思路，将目标检测的问题转化成一个Regression问题，给定输入图像，直接在图像的多个位置上回归出目标的boundingbox及其分类类别。现有技术中，交通事件检测***对车辆数据的采集有视频以及地下线圈方式。针对采用视频的检测方法，传统利用像素值的检测方法已经有很多，但在精确度以及车辆分类有很大的不足。近些年来随着神经网络的发展，对神经网络的利用也越来越多。

发明内容

发明目的：本发明提供一种基于YOLOv3的多车道车流量计数及车辆跟踪方法，能够实现对车辆的跟踪及对任意车道的车辆计数，且检测速度及准确度也大大提高。

技术方案：本发明所述的一种基于YOLOv3的多车道车流量计数及车辆跟踪方法，包括以下步骤：

(1)通过特征提取网络对输入的图像提取特征；

(2)预测图像位置和类别概率值；

(3)利用检测到的前后两帧的车辆位置进行比较，通过判断本帧车辆标记框中心点是否在上帧某车辆标记框之内，从而判定是否为同一辆车；

(4)设定检测线，通过线框位置关系，得到每一车道车流量。

所述步骤(1)包括以下步骤：

(11)Yolo的卷积神经网络将输入的图片分割成S x S网格，每个单元格检测中心点落在该格子内的目标；

(12)每个单元格预测B个边界框以及边界框的置信度：边界框记为 Pr(object)，当该边界框是背景时，此时Pr(object)＝0，而当该边界框包含目标时，Pr(object)＝1；置信度可以定义为每个边界框的预测值包含5个元素：(x,y,w,h,c)，其中前4个表征边界框的大小与位置，最后一个值是置信度。

步骤(2)所述的类别概率值为各个边界框置信度下的条件概率。

所述步骤(3)包括以下步骤：

(31)初始时将本帧内所有已检测未追踪车辆赋予唯一不重复标号；

(32)将本帧所有车辆位置信息逐一与上帧车辆所有车辆位置信息比对，若本帧车辆的中心位置在上一帧某车辆的标记框之内，则判定此两辆车为同一辆车，更新本帧车辆标号为上帧车辆标号；若本帧某一车辆均未在上帧某车辆内，则记为新车辆。

所述步骤(4)包括以下步骤：

(41)初始时设定预检测车道车流量检测线，检测线需与车道垂直；

(42)将本帧的车辆标记框逐一与检测线位置进行比较，若检测线在标记框之内且计数属性为未计数，则车流量计数加1，车辆的已计数属性置为已计数。

有益效果：与现有技术相比，本发明的有益效果：1、相比较与传统的机器学习检测方法，基于YOLO3的检测方法大大提高的检测的速度及准确度；2、在计数方法上，与现有的利用像素落差设置虚拟检测线的车流量计数方法不同，本方法利用车辆以及检测线位置信息关系，实现了对任意道路的任意车道的车辆计数，有效适应交叉路口、三岔路口、十字路口等道路情况；3、针对YOLO3 深度学习检测方法特点，本方法使用车辆位置信息进行跟踪，简单有效的达到了跟踪效果；4、可以实现对交通事件的检测。

附图说明

图1为本发明流程图；

图2为本发明实施例中车辆检测示意图；

图3为本发明实施例中车辆跟踪流程图；

图4为本发明实施例的实验中的检测线计数流程图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步说明。

如图1所示，本发明实施例公开的一种基于YOLOv3的多车道车流量计数及高速公路车辆跟踪方法，包括以下步骤：

1、通过特征提取网络对输入的图像提取特征。

Yolo的卷积神经网络(CNN)将输入的图片分割成S x S网格，如图2所示，然后每个单元格负责去检测那些中心点落在该格子内的目标，每个单元格会预测B个边界框(boundingbox)以及边界框的置信度(confidence score)。所谓置信度包含两个方面，一是这个边界框含有目标的可能性大小，二是这个边界框的准确度。前者记为Pr(object)，当该边界框是背景时(即不包含目标)，此时Pr(object)＝0，而当该边界框包含目标时，Pr(object)＝1。边界框的准确度可以用预测框与实际框(ground truth)的IOU(intersection over union，交并比)来表征，记为因此置信度可以定义为边界框的大小与位置可以用4个值来表征：(x,y,w,h)，其中(x,y)是边界框的中心坐标，而w和h是边界框的宽与高，中心坐标的预测值(x,y)是相对于每个单元格左上角坐标点的偏移值，并且单位是相对于单元格大小的，边界框的w和h预测值是相对于整个图片的宽与高的比例，这样理论上4个元素的大小应该在[0,1] 范围。这样，每个边界框的预测值实际上包含5个元素：(x,y,w,h,c)，其中前 4个表征边界框的大小与位置，而最后一个值是置信度。

2、预测图像位置和类别概率值。

对于每一个单元格其还要给出预测出C个类别概率值，其表征的是由该单元格负责预测的边界框其目标属于各个类别的概率。但是这些概率值其实是在各个边界框置信度下的条件概率，即Pr(class_i|object)，将类别概率预测值与边界框是绑定在一起。同时，我们可以计算出各个边界框类别置信(class-specific confidence scores)，边界框类别置信度表征的是该边界框中目标属于各个类别的可能性大小以及边界框匹配目标的好坏。

3、利用检测到的前后两帧的车辆位置进行比较，通过判断本帧车辆标记框中心点是否在上帧某车辆标记框之内判定是否为同一辆车。

如图3所示，初始时将本帧内所有已检测未追踪车辆赋予唯一不重复标号；然后将本帧所有车辆位置信息逐一与上帧车辆所有车辆位置信息比对，若本帧车辆的中心位置在上一帧某车辆的标记框之内，则判定此两辆车为同一辆车，更新本帧车辆标号为上帧车辆标号。若本帧某一车辆均未在上帧某车辆内，则记为新车辆。

记当前帧检测到的目标块为新目标块，上帧检测到的目标块为旧目标块，找到旧目标块最小未使用标号(大于0)，将标号赋予新目标块，具体方法为：从 1开始递增标号，判断现标号是否在旧目标块中已存在，若存在，则进行递增，否则使用此标号。逐一遍历新目标块，利用新目标块位置中点与所有旧目标块的位置进行比较。

Z₁＝[(x_2j-x_1j)×(y_i-y_1j)-(x_i-x_1j)×(y_2j-y_1j)]×[(x_4j-x_3j)×(y_i-y_3j)-(x_i-x_3j)×(y_4j-y_3j)]

Z₂＝[(x_3j-x_2j)×(y_i-y_2j)-(x_i-x_2j)×(y_3j-y_2j)]×[(x_1j-x_4j)×(y_i-y_4j)-(x_i-x_4j)×(y_1j-y_4j)]

式中，(x_i,y_i)为本帧第i个新目标块的中点坐标，(x_1j,y_1j)为上帧的第j个旧目标块左上角点坐标，(x_2j,y_2j)为上帧的第j个旧目标块左下角点坐标，(x_3j,y_3j) 为上帧的第j个旧目标块右下角点坐标，(x_4j,y_4j)为上帧的第j个旧目标块右上角点坐标，Z₁为判定新目标块中心是否在旧目标块左右边界之内的参数，Z₂为判定新目标块中心是否在旧目标块上下边界之内的参数。当Z₁、Z₂的值均大于等于0，即判定新目标块中心在旧目标块之内，认定新旧目标块代表同一辆车，将旧目标块标号赋予新目标块。

一般监控视频帧速率为25-30帧/秒，汽车长度为4-5米，如表1所示，高速公路限速60-120千米/小时。

表1常见汽车长度尺寸

当车辆在一帧内的位移距离小于半车身长此算法是有效的，经计算25*3600*3.6/2/1000＝162千米/小时，因此在视频每秒25帧，车身长3.6米时，车速低于162千米/小时此算法是适用的，且适应范围随视频帧率及车身长的增加而增加。

3、设定检测线，通过线框位置关系，得到每一车道车流量。

初始时设定预检测车道车流量检测线，可设定多车道，任意方向车道，检测线需与车道较为垂直。如图4所示，将本帧的车辆标记框逐一与检测线位置进行比较，若检测线在标记框之内且计数属性为未计数，则车流量计数加1，车辆的已计数属性置为已计数。

C₁＝(x_i-x_s1)×(y_s2-y_s1)×(x_i-x_s2)×(y_s1-y_s2)

C₂＝(x_s2-x_s1)×(y_i-y_s2)×(x_s1-x_s2)×(y_i-y_s1)

式中，(x_i,y_i)是本帧第i个车辆标记块中点坐标,(x_s1,y_s1)、(x_s2,y_s2)是第s条检测线两端坐标，C₁为判定车辆中心坐标是否在检测线左右范围之内的参数，C₂为判定车辆中心坐标是否在检测线上下范围之内参数。当C₁、C₂的值均大于等于0，即判定车辆过线，进行计数，并将此车辆的已计数属性置为已计数。

本发明可以实现对交通事件的检测，将本帧车辆两两进行比较，若车辆位置重叠率大于阈值，则记为交通冲突；检测车辆唯一距离，若位移距离小于阈值，则记为异常停车；若本帧中检测到行人，则记为行人闯入；计算本帧中车辆的总数，若大于阈值，则记为交通拥堵。

Claims (5)

1.一种基于YOLOv3的多车道车流量计数及车辆跟踪方法，其特征在于，包括以下步骤：

(1)通过特征提取网络对输入的图像提取特征；

(2)预测图像位置和类别概率值；

(3)利用检测到的前后两帧的车辆位置进行比较，通过判断本帧车辆标记框中心点是否在上帧某车辆标记框之内，从而判定是否为同一辆车；

(4)设定检测线，通过线框位置关系，得到每一车道车流量。

2.根据权利要求1所述的基于YOLOv3的多车道车流量计数及车辆跟踪方法，其特征在于，所述步骤(1)包括以下步骤：

(11)Yolo的卷积神经网络将输入的图片分割成S x S网格，每个单元格检测中心点落在该格子内的目标；

(12)每个单元格预测B个边界框以及边界框的置信度：边界框记为Pr(object)，当该边界框是背景时，此时Pr(object)＝0，而当该边界框包含目标时，Pr(object)＝1；置信度可以定义为每个边界框的预测值包含5个元素：(x,y,w,h,c)，其中前4个表征边界框的大小与位置，最后一个值是置信度。

3.根据权利要求1所述的基于YOLOv3的多车道车流量计数及车辆跟踪方法，其特征在于，步骤(2)所述的类别概率值为各个边界框置信度下的条件概率。

4.根据权利要求1所述的基于YOLOv3的多车道车流量计数及车辆跟踪方法，其特征在于，所述步骤(3)包括以下步骤：

(31)初始时将本帧内所有已检测未追踪车辆赋予唯一不重复标号；

(32)将本帧所有车辆位置信息逐一与上帧车辆所有车辆位置信息比对，若本帧车辆的中心位置在上一帧某车辆的标记框之内，则判定此两辆车为同一辆车，更新本帧车辆标号为上帧车辆标号；若本帧某一车辆均未在上帧某车辆内，则记为新车辆。

5.根据权利要求1所述的基于YOLOv3的多车道车流量计数及车辆跟踪方法，其特征在于，所述步骤(4)包括以下步骤：

(41)初始时设定预检测车道车流量检测线，检测线需与车道垂直；

(42)将本帧的车辆标记框逐一与检测线位置进行比较，若检测线在标记框之内且计数属性为未计数，则车流量计数加1，车辆的已计数属性置为已计数。