CN112101433B - 一种基于YOLO V4和DeepSORT的分车道车辆自动计数方法 - Google Patents
一种基于YOLO V4和DeepSORT的分车道车辆自动计数方法 Download PDFInfo
- Publication number
- CN112101433B CN112101433B CN202010924261.8A CN202010924261A CN112101433B CN 112101433 B CN112101433 B CN 112101433B CN 202010924261 A CN202010924261 A CN 202010924261A CN 112101433 B CN112101433 B CN 112101433B
- Authority
- CN
- China
- Prior art keywords
- vehicle
- yolo
- track
- data
- deepsort
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000001514 detection method Methods 0.000 claims abstract description 58
- 238000012549 training Methods 0.000 claims abstract description 43
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 25
- 230000008859 change Effects 0.000 claims abstract description 4
- 230000006870 function Effects 0.000 claims description 25
- 238000000605 extraction Methods 0.000 claims description 23
- 230000005484 gravity Effects 0.000 claims description 16
- 238000012544 monitoring process Methods 0.000 claims description 14
- 238000013135 deep learning Methods 0.000 claims description 9
- 230000004927 fusion Effects 0.000 claims description 9
- 238000002372 labelling Methods 0.000 claims description 9
- 238000013527 convolutional neural network Methods 0.000 claims description 7
- 230000002708 enhancing effect Effects 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 7
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 6
- 238000009826 distribution Methods 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 5
- 238000010276 construction Methods 0.000 claims description 4
- 238000011176 pooling Methods 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 6
- 238000011160 research Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000007621 cluster analysis Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000011410 subtraction method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/065—Traffic control systems for road vehicles by counting the vehicles in a section of the road or in a parking area, i.e. comparing incoming count with outgoing count
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开一种基于YOLO V4和DeepSORT的分车道车辆自动计数方法，包括以下步骤：收集YOLO V4训练数据集和车辆重识别数据集与数据增强，搭建YOLO V4模型并进行训练，搭建DeepSORT目标追踪模型，进行车辆的追踪并提取每辆车运行轨迹，搭建轨迹记录文件并存储每辆车的运行轨迹信息，使用DBSCAN聚类算法对轨迹数据的终点坐标进行聚类，将聚类簇与车道信息进行关联，根据轨迹数据的变化规律以及轨迹和聚类簇对应关系，实现车辆的分车道计数功能；本发明采用了YOLO V4+DeepSORT车辆检测和追踪模型，保证了车辆检测和追踪实时性的同时，精度也有了大幅度提升。
Description
技术领域
本发明涉及交通大数据领域，具体的是一种基于YOLO V4和DeepSORT的分车道车辆自动计数方法。
背景技术
交通流参数提取作为交通管理和控制的一项基本且重要的任务，为交通管理者的决策和管理带来了便利。目前一些典型的交通流参数提取的方法主要分为(1)有基于线圈检测的方式；(2)基于红线传感器检测的方式；(3)基于微波技术检测方式等。基于线圈检测的方式是一种接触式的检测方式，其缺点是安装和拆卸麻烦，不能很好地提取车辆的轨迹数据，且不适用于拥堵情况较严重的路段。基于红外线或者微波技术的检测方式采用了非接触式的检测方式，安装和拆卸较为方便，但是其无法区分不同车道的车辆，且同样受限于交通拥堵较多的路段。
近年来，随着交通监控的大面积覆盖，基于交通监控的车辆轨迹提取、分车道车辆计数等应用受到人们的关注，相较于上述一些传统的交通流参数提取方式，基于视频的检测方式具有以下优势：
(1)非接触式的检测方式，安装和拆卸方便；
(2)可以区分车辆的车型和车辆所处的车道；
(3)受交通拥堵等情况限制较小，可以较好地检测和追踪交通拥堵中的车辆。
论文《Real-Time Traffic Flow Parameter Estimation From UAV Video Basedon Ensemble Classifier and Optical Flow》基于无人机监控视频，采用了Haar cascade和卷积神经网络检测视频监控中的车辆，然后使用光流理论捕捉车辆在时间维度上的运动信息，最后根据运动信息，提取监控路段的交通流参数(轨迹，速度，车流量)，该方法适用于特定的监控视频(无人机监控视频)，但其受限于其他监控类型(如卡口监控，高空相机等)。论文《Vision-based vehicle detection and counting system using deep learningin highway scenes》基于高速公路监控视频，采用了深度学习YOLO V3目标检测模型进行车辆检测，然后使用ORB算法获取车辆轨迹，并实现不同车辆的计数功能，该方法利用了YOLO V3来捕捉车辆，检测精度得到了大幅度的提升。论文《Vehicle Count System basedon Time Interval Image Capture Method and Deep Learning Mask R-CNN》采用了MaskRCNN目标检测和分割模型对特定道路的车辆进行捕捉和计数，但是其对非机动车等小物体识别能力较差且检测速度无法得到保证。
综上所述，目前研究方法的主要缺点有：
(1)就车辆位置检测算法/模型而言，目前大多数研究方法主要通过背景减除法或者光流法来检测车辆，其检测精度不高，影响交通流参数提取的精度和效率；少数研究使用精度较好的卷积神经网络模型来进行车辆检测，但是由于卷积神经网络模型较大，无法很好地满足检测的实时性要求，影响交通流参数提取的速度和效率。
(2)就车辆的运动信息提取而言，目前大多数研究方法主要通过光流法/检测区域的图像特征匹配/卡尔曼滤波等方法进行车辆追踪，其适用于车辆稀少的路段，但是受限于复杂/拥堵路段。
(3)目前多数研究方法不具备轨迹分析、车道自动划分以及分车道车辆自动计数等功能，车道判别需要依赖人为手动设定的规则，对于车道较多的监控画面，人为判别费时费力。
发明内容
为解决上述背景技术中提到的不足，本发明的目的在于提供一种基于YOLO V4和DeepSORT的分车道车辆自动计数方法，本发明利用目标检测模型YOLO V4检测监控视频中的车辆位置，具有检测精度高，检测速度快等优点，在YOLO V4获取车辆位置的基础上，使用目标追踪模型DeepSORT在时间维度进行车辆的追踪，由于DeepSORT中使用了卡尔曼滤波进行位置预测以及重识别模型进行特征提取，相较于传统的目标追踪算法/模型，精度得到了大幅度提升；
同时，本发明在使用时，在后台搭建车辆轨迹数据存储CSV文件，记录每一帧各车辆检测框中心坐标与对应的车辆ID。最后使用DBSCAN聚类算法对轨迹数据进行聚类分析，实现轨迹终点聚类、车道自动划分与各车道车辆自动计数功能。
本发明的目的可以通过以下技术方案实现：
一种基于YOLO V4和DeepSORT的分车道车辆自动计数方法，包括以下步骤：
S1.收集YOLO V4训练数据集和车辆重识别数据集与数据增强；
S2.使用Pytorch深度学习框架搭建YOLO V4模型并进行训练；
S3.搭建DeepSORT目标追踪模型，使车辆重识别数据训练其车辆特征提取网络，并以YOLO V4在每帧的检测框为输入，完成YOLO V4+DeepSORT车辆追踪模型的搭建；
S4.使用YOLO V4+DeepSORT模型进行车辆的追踪并提取每辆车运行轨迹，搭建轨迹记录文件并存储每辆车的运行轨迹信息；
S5.使用DBSCAN聚类算法对轨迹数据的终点坐标进行聚类，将聚类簇与车道信息进行关联；
S6.根据轨迹数据的变化规律以及轨迹和聚类簇对应关系，实现车辆的分车道计数功能。
进一步地，所述S1中具体的数据集和数据增强方式包括：
S11.YOLO V4训练数据集的收集与数据增强：收集PASCAL VOC和COCO数据集中小轿车、卡车、公交车和非机动车标注图片和标注信息，并手动标注2000张不同视角监控视频帧中的车辆类别和位置信息，采用的数据增强方式是随机裁剪，随机翻转，随机调整饱和度、色调、亮度的图片参数，马赛克数据增强，混合裁剪数据增强，图片数据统一缩放到608x608分辨率；
S12.车辆重识别数据集收集与数据增强：收集VeRi数据集，训练DeepSORT中车辆特征提取模型，采用的数据增强方式是随机裁剪。
进一步地，所述S2中搭建和训练YOLO V4的过程如下：
S21.YOLO V4有以下部分组成：一、特征提取网络CSPDarknet53；二、多尺度特征融合网络PAN和空间金字塔池化SPP；三、类似YOLO V3模型用于分类和检测框回归的头网络；使用Pytorch深度学习框架依次搭建CSPDarknet53特征提取网络，将其输出的三个不同宽高特征图，通过SSP+PAN进行特征融合，最后将特征融合后获得的三个不同宽高特征图一次性通过1x1卷积神经网络，获得YOLO V4的输出结果；
S22.在S21搭建完毕的YOLO V4的基础上，根据网络的输出和数据集的真实标签设定损失函数进行训练，物体分类损失继承YOLO V3的交叉熵损失，损失函数设定完毕后，使用反向传播算法更新YOLO V4网络参数；
S23.训练过程中YOLO V4超参数设定为：选择Adam优化器,初始学习率设定为1e-5，数据集训练轮次设定为50，批量大小设定为16。
进一步地，所述S3中DeepSORT目标追踪模型的搭建以及训练过程具体包括：
S31.以YOLO v4输出的候选框大小和位置信息为输入，搭建DeepSORT的三大组成部分：(1)卡尔曼滤波算法做位置预测器，包括两个阶段：
(1.1)预测阶段：当目标移动时，根据目标在上一帧的速度和位置信息，预测出目标在当前帧的速度和位置的信息；
(1.2)更新阶段，根据算法捕捉的预测值以及观测值，通过两个正态分布的线性加权，得到当前***的状态；
(2)小型残差网络做特征提取器的训练和测试，使用ReID数据集训练该小型残差网络，使用交叉熵作为训练损失函数，训练轮次设定为50轮次，优化器选择Adam优化器，初始学习率设定为0.0001，训练完毕后，将YOLO V4检测框中的车辆图片缩放至112像素×112像素作为输入，获得128维的低维向量用于后面相似度计算；
(3)匈牙利算法做特征匹配器，使用余弦距离计算检测框向量化后的近似度后，利用匈牙利算法对前后两帧中检测框内车辆进行匹配，匹配度高的被认定为同一车辆，分配统一的ID编号。
进一步地，所述S4的具体步骤为：
S41.获得每辆车在每帧中的位置信息，且为每辆车分配唯一的标识符；
S42.以检测框的中心代替车辆，绘制同一ID车辆在时间上的轨迹；
S43.创建CSV文件作为轨迹记录文件，并实时地将所有车辆的ID信息和车辆轨迹信息导入CSV文件中。
进一步地，所述S5的具体步骤为：
S51.选择轨迹终点坐标做轨迹聚类；
S52.导入CSV文件中的轨迹数据并获取所有轨迹数据的终点坐标；
S53.使用DBSCAN聚类算法对轨迹数据的终点坐标进行聚类；
S54.将轨迹终点落入同一聚类簇的轨迹进行分析，连接这些轨迹起点位置的重心和终点位置的重心，实现该聚类簇对应车道的识别和划分，如果某一聚类簇对应轨迹的起点出现多个明显的差异，分别连接这些差别较大的起点重心到终点重心，实现聚类簇和车道信息的关联；
S54.关联聚类簇和车道信息后，每产生一条完整的轨迹数据，该轨迹数据分配给其终点坐标所属聚类簇对应的车道中。
进一步地，所述S6中实现车辆的分车道计数功能，具体包括：
S61.如果某一车辆的轨迹数据在接下来的10帧视频段中均不发生更新，则该轨迹被存入CSV文件中；
S62.将CSV文件中新添的轨迹数据根据终点坐标分配给离他最近的聚类簇中；
S63.如果一个聚类簇中新增了一个终点坐标数据，则该聚类簇对应的车道的车流量增加产生该轨迹辆车的标准车当量数，实现分车道的车辆计数功能。
本发明的有益效果：
1、本发明采用了YOLO V4+DeepSORT车辆检测和追踪模型，保证了车辆检测和追踪实时性的同时，精度也有了大幅度提升；
2、本发明在使用时，通过轨迹终点位置代替轨迹数据，使用DBSCAN对轨迹终点位置进行聚类，实现对轨迹数据的聚类，聚类结束后根据轨迹落入的聚类簇位置和轨迹起点位置进行聚类簇和车道的匹配对应，最后根据匹配的车道和轨迹分析，完成分车道车辆自动计数功能。
附图说明
下面结合附图对本发明作进一步的说明。
图1是本发明整体流程图；
图2是本发明部分车辆重识别数据集展示图；
图3是本发明YOLO V4结构图；
图4是本发明车辆在每帧中的位置以及ID示意图；
图5是本发明车辆轨迹绘制示意图；
图6是本发明YOLO V4车辆检测效果图；
图7是本发明YOLO V4+DeepSORT的车辆追踪效果图；
图8是本发明车辆轨迹提取效果图；
图9是本发明4.车辆轨迹终点分布图；
图10是本发明DBSCAN聚类后聚类簇分布图；
图11是本发明聚类簇与车道对应图；
图12是本发明分车道车辆计数功能实现。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
在本发明的描述中，需要理解的是，术语“开孔”、“上”、“下”、“厚度”、“顶”、“中”、“长度”、“内”、“四周”等指示方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的组件或元件必须具有特定的方位，以特定的方位构造和操作，因此不能理解为对本发明的限制。
一种基于YOLO V4和DeepSORT的分车道车辆自动计数方法，如图1所示，包括以下步骤：
S1.收集YOLO V4训练数据集和车辆重识别数据集与数据增强；
S11.YOLO V4训练数据集的收集与数据增强：收集PASCAL VOC和COCO数据集中所有小轿车、卡车、公交车和非机动车标注图片和标注信息，并手动标注2000张不同视角监控视频帧中的车辆类别和位置信息。采用的数据增强方式主要是随机裁剪，随机翻转，随机调整饱和度、色调、亮度等图片参数，马赛克数据增强，混合裁剪数据增强等；图片数据统一缩放到608x608分辨率；
S12.车辆重识别数据集收集与数据增强：收集VeRi数据集(37778张训练图片，11579张测数数据集)训练DeepSORT中车辆特征提取模型，采用的数据增强方式主要是随机裁剪，部分数据集如图2所示(以下为同一车辆不同角度拍摄)；
S2.使用Pytorch深度学习框架搭建YOLO V4模型并进行训练；
S21.YOLO V4有以下部分组成：(1)特征提取网络CSPDarknet53；(2)多尺度特征融合网络PAN和空间金字塔池化SPP；(3)类似YOLO V3模型用于分类和检测框回归的头网络；其具体结构图如下图3所示，使用Pytorch深度学习框架依次搭建CSPDarknet53特征提取网络，将其输出的三个不同宽高特征图(宽高为19x19,38x38,76x76)通过SSP+PAN进行特征融合，最后将特征融合后获得的三个不同宽高特征图一次性通过1x1卷积神经网络，获得YOLOV4的输出结果；
S22.在S21搭建完毕的YOLO V4的基础上，根据网络的输出和数据集的真实标签设定损失函数进行训练，YOLO V4模型采用了CIOU损失函数学习检测框的位置和大小，相较于YOLO V3中采用的MSE损失函数，速度更快，精度更高。物体分类损失仍然继承YOLO V3的交叉熵损失，损失函数设定完毕后，使用反向传播算法更新YOLO V4网络参数。
S23.训练过程中YOLO V4一些超参数设定为：选择Adam优化器,初始学习率设定为1e-5；数据集训练轮次设定为50；批量大小设定为16；
S3.搭建DeepSORT目标追踪模型，使车辆重识别数据训练其车辆特征提取网络，并以YOLO V4在每帧的检测框为输入，完成YOLO V4+DeepSORT车辆追踪模型的搭建；
S31.以YOLO v4输出的候选框大小和位置信息为输入，搭建DeepSORT的三大组成部分：(1)卡尔曼滤波算法做位置预测器，这里使用的是卡尔曼滤波器的匀速运动和线性观测模型；主要分为两个阶段，
(1.1)预测阶段：当目标移动时，根据目标在上一帧的速度和位置信息，预测出目标在当前帧的速度和位置的信息；
(1.2)更新阶段，根据算法捕捉的预测值以及观测值，通过两个正态分布的线性加权，得到当前***的状态；
(2)小型残差网络做特征提取器的训练和测试。使用ReID数据集训练该小型残差网络，使用交叉熵作为训练损失函数，训练轮次设定为50轮次，优化器选择Adam优化器，初始学习率设定为0.0001。训练完毕后，将YOLO V4检测框中的车辆图片缩放至112像素112像素作为输入，获得128维的低维向量用于后面相似度计算。
(3)匈牙利算法做特征匹配器，使用余弦距离计算检测框向量化后的近似度后，利用匈牙利算法对前后两帧中检测框内车辆进行匹配，匹配度高的被认定为同一车辆，分配统一的ID编号；
S4.使用YOLO V4+DeepSORT模型进行车辆的追踪并提取每辆车运行轨迹，搭建轨迹记录文件并存储每辆车的运行轨迹信息；
S41.获得每辆车在每帧中的位置信息(检测框的位置)，且为每辆车分配唯一的标识符，如下图4所示；
S42.以检测框的中心代替车辆，绘制同一ID车辆在时间上的轨迹，如图5所示；
S43.创建CSV文件作为轨迹记录文件，并实时地将所有车辆的ID信息和车辆轨迹信息导入CSV文件中；
S5.使用DBSCAN聚类算法对轨迹数据的终点坐标进行聚类，将聚类簇与车道信息进行关联；
S51.不同轨迹数据长度不尽相同，直接对轨迹数据进行聚类会出现轨迹间距离难以计算等问题，所以本发明我们选择轨迹终点坐标(基于图像像素坐标系)代替轨迹数据做轨迹聚类；
S52.导入CSV文件中的轨迹数据并获取所有轨迹数据的终点坐标；
S53.使用DBSCAN聚类算法对轨迹数据的终点坐标进行聚类；
S54.将轨迹终点落入同一聚类簇的轨迹进行分析，连接这些轨迹起点位置的重心和终点位置的重心，实现该聚类簇对应车道的识别和划分，如果某一聚类簇对应轨迹的起点出现多个明显的差异，分别连接这些差别较大的起点重心到终点重心，实现聚类簇和车道信息的关联；
S54.关联聚类簇和车道信息后，每产生一条完整的轨迹数据，该轨迹数据分配给其终点坐标所属聚类簇对应的车道中；
S6.根据轨迹数据的变化规律(一段时间是否停止更新)以及轨迹和聚类簇对应关系，实现车辆的分车道计数功能。
S61.如果某一车辆的轨迹数据在接下来的10帧视频段中均不发生更新，则该轨迹被存入CSV文件中；
S62.将CSV文件中新添的轨迹数据根据终点坐标分配给离他最近的聚类簇中；
S63.如果一个聚类簇中新增了一个终点坐标数据，则该聚类簇对应的车道的车流量增加产生该轨迹车辆的标准车当量数，实现分车道的车辆计数功能。
图6中展示了四种不同道路环境/天气环境下的YOLO V4的检测效果图，从左上角(大雾)的检测图可以看出我们的模型对雾天环境下车辆检测的效果依旧很好，右上角(夜晚)展示了夜晚环境下车辆的检测效果图，YOLO V4模型仍然保证了该亮度环境下车辆检测的精度。下面两张图代表了常见的两种道路环境，即拥堵车流和正常车流。我们的模型在这些道路环境下保证了检测的精度，很少会出现重复检测以及漏检测等情况。
图7展示了DeepSORT在YOLO V4车辆检测的基础上，为每辆车检测框分配了唯一的ID标识符，且随着视频的播放同一车辆的ID标识符在时间维度上不再发生变化，实现了车辆的追踪。图8在车辆追踪的基础上，选择车辆检测框的中心位置代替检测车辆，在时间维度上将车辆检测中心位置进行连接，实现车辆轨迹提取。
图9(右)将已经完成(不在更新)的车辆轨迹的终点绘制在了图上,可以清晰的看出轨迹终点的分布呈现类内距离较小、类间距离较大的特点。我们使用DBSCAN聚类算法对轨迹终点分布图进行聚类，得到图10的聚类簇分布图。本发明将轨迹终点落入同一聚类簇的轨迹进行分析，连接这些轨迹起点位置的重心和终点位置的重心，实现该聚类簇对应车道的识别和划分，如果某一聚类簇对应轨迹的起点出现多个明显的差异，分别连接这些差别较大的起点重心到终点重心，获得如图11所示的聚类簇和车道的对应关系。最后根据轨迹不在发生更新将轨迹保存至CSV文件中，并将该轨迹分配给其终点落入聚类簇对应车道中，根据产生该轨迹的车型为相应车道增加等标准车当量的车流，实现分车道车流的自动计数功能，如图12所示。
在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。
Claims (6)
1.一种基于YOLO V4和DeepSORT的分车道车辆自动计数方法，其特征在于，包括以下步骤：
S1.收集YOLO V4训练数据集和车辆重识别数据集与数据增强；
S2.使用Pytorch深度学习框架搭建YOLO V4模型并进行训练；
S3.搭建DeepSORT目标追踪模型，使车辆重识别数据训练其车辆特征提取网络，并以YOLO V4在每帧的检测框为输入，完成YOLO V4+DeepSORT车辆追踪模型的搭建；
S4.使用YOLO V4+DeepSORT模型进行车辆的追踪并提取每辆车运行轨迹，搭建轨迹记录文件并存储每辆车的运行轨迹信息；
S5.使用DBSCAN聚类算法对轨迹数据的终点坐标进行聚类，将聚类簇与车道信息进行关联；
S6.根据轨迹数据的变化规律以及轨迹和聚类簇对应关系，实现车辆的分车道计数功能；
所述S5的具体步骤为：
S51.选择轨迹终点坐标做轨迹聚类；
S52.导入CSV文件中的轨迹数据并获取所有轨迹数据的终点坐标；
S53.使用DBSCAN聚类算法对轨迹数据的终点坐标进行聚类；
S54.将轨迹终点落入同一聚类簇的轨迹进行分析，连接这些轨迹起点位置的重心和终点位置的重心，实现该聚类簇对应车道的识别和划分，如果某一聚类簇对应轨迹的起点出现多个明显的差异，分别连接这些差别较大的起点重心到终点重心，实现聚类簇和车道信息的关联；
S54.关联聚类簇和车道信息后，每产生一条完整的轨迹数据，该轨迹数据分配给其终点坐标所属聚类簇对应的车道中。
2.根据权利要求1所述的一种基于YOLO V4和DeepSORT的分车道车辆自动计数方法，其特征在于，所述S1中数据集和数据增强方式包括：
S11.YOLO V4训练数据集的收集与数据增强：收集PASCAL VOC和COCO数据集中小轿车、卡车、公交车和非机动车标注图片和标注信息，并手动标注2000张不同视角监控视频帧中的车辆类别和位置信息，采用的数据增强方式是随机裁剪，随机翻转，随机调整饱和度、色调、亮度的图片参数，马赛克数据增强，混合裁剪数据增强，图片数据统一缩放到608x608分辨率；
S12.车辆重识别数据集收集与数据增强：收集VeRi数据集，训练DeepSORT中车辆特征提取模型，采用的数据增强方式是随机裁剪。
3.根据权利要求1所述的一种基于YOLO V4和DeepSORT的分车道车辆自动计数方法，其特征在于，所述S2中搭建和训练YOLO V4的过程如下：
S21.YOLO V4由以下部分组成：一、特征提取网络CSPDarknet53；二、多尺度特征融合网络PAN和空间金字塔池化SPP；三、类似YOLO V3模型用于分类和检测框回归的头网络；使用Pytorch深度学习框架依次搭建CSPDarknet53特征提取网络，将其输出的三个不同宽高特征图，通过SSP+PAN进行特征融合，最后将特征融合后获得的三个不同宽高特征图一次性通过1x1卷积神经网络，获得YOLO V4的输出结果；
S22.在S21搭建完毕的YOLO V4的基础上，根据网络的输出和数据集的真实标签设定损失函数进行训练，损失函数设定完毕后，使用反向传播算法更新YOLO V4网络参数；
S23.训练过程中YOLO V4超参数设定为：选择Adam优化器,初始学习率设定为1e-5，数据集训练轮次设定为50，批量大小设定为16。
4.根据权利要求1所述的一种基于YOLO V4和DeepSORT的分车道车辆自动计数方法，其特征在于，所述S3中DeepSORT目标追踪模型的搭建以及训练过程具体包括：
S31.以YOLO v4输出的候选框大小和位置信息为输入，搭建DeepSORT的三大组成部分：
(1)卡尔曼滤波算法做位置预测器，包括两个阶段：
(1.1)预测阶段：当目标移动时，根据目标在上一帧的速度和位置信息，预测出目标在当前帧的速度和位置的信息；
(1.2)更新阶段，根据算法捕捉的预测值以及观测值，通过两个正态分布的线性加权，得到当前***的状态；
(2)小型残差网络做特征提取器的训练和测试，使用ReID数据集训练该小型残差网络，使用交叉熵作为训练损失函数，训练轮次设定为50轮次，优化器选择Adam优化器，初始学习率设定为0.0001，训练完毕后，将YOLO V4检测框中的车辆图片缩放至112像素×112像素作为输入，获得128维的低维向量用于后面相似度计算；
(3)匈牙利算法做特征匹配器，使用余弦距离计算检测框向量化后的近似度后，利用匈牙利算法对前后两帧中检测框内车辆进行匹配，匹配度高的被认定为同一车辆，分配统一的ID编号。
5.根据权利要求1所述的一种基于YOLO V4和DeepSORT的分车道车辆自动计数方法，其特征在于，所述S4的具体步骤为：
S41.获得每辆车在每帧中的位置信息，且为每辆车分配唯一的标识符；
S42.以检测框的中心代替车辆，绘制同一ID车辆在时间上的轨迹；
S43.创建CSV文件作为轨迹记录文件，并实时地将所有车辆的ID信息和车辆轨迹信息导入CSV文件中。
6.根据权利要求1所述的一种基于YOLO V4和DeepSORT的分车道车辆自动计数方法，其特征在于，所述S6中实现车辆的分车道计数功能，具体包括：
S61.如果某一车辆的轨迹数据在接下来的10帧视频段中均不发生更新，则该轨迹被存入CSV文件中；
S62.将CSV文件中新添的轨迹数据根据终点坐标分配给离他最近的聚类簇中；
S63.如果一个聚类簇中新增了一个终点坐标数据，则该聚类簇对应的车道的车流量增加产生该轨迹辆车的标准车当量数，实现分车道的车辆计数功能。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010924261.8A CN112101433B (zh) | 2020-09-04 | 2020-09-04 | 一种基于YOLO V4和DeepSORT的分车道车辆自动计数方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010924261.8A CN112101433B (zh) | 2020-09-04 | 2020-09-04 | 一种基于YOLO V4和DeepSORT的分车道车辆自动计数方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112101433A CN112101433A (zh) | 2020-12-18 |
| CN112101433B true CN112101433B (zh) | 2024-04-30 |
Family
ID=73757391
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010924261.8A Active CN112101433B (zh) | 2020-09-04 | 2020-09-04 | 一种基于YOLO V4和DeepSORT的分车道车辆自动计数方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112101433B (zh) |
Families Citing this family (30)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112634332A (zh) * | 2020-12-21 | 2021-04-09 | 合肥讯图信息科技有限公司 | 基于YOLOv4模型和DeepSORT模型的跟踪方法 |
| CN112668432A (zh) * | 2020-12-22 | 2021-04-16 | 上海幻维数码创意科技股份有限公司 | 一种基于YoloV5和DeepSort的地面互动投影***中人体检测跟踪方法 |
| CN112528963A (zh) * | 2021-01-09 | 2021-03-19 | 江苏拓邮信息智能技术研究院有限公司 | 基于MixNet-YOLOv3和卷积递归神经网络CRNN的算术题智能批阅*** |
| CN112836641A (zh) * | 2021-02-04 | 2021-05-25 | 浙江工业大学 | 一种基于机器视觉的手卫生监测方法 |
| CN113052011A (zh) * | 2021-03-05 | 2021-06-29 | 浙江科技学院 | 一种基于计算机视觉的道路目标流量监测*** |
| CN113160283B (zh) * | 2021-03-23 | 2024-04-16 | 河海大学 | 一种基于sift的多摄像头场景下的目标跟踪方法 |
| CN113033449A (zh) * | 2021-04-02 | 2021-06-25 | 上海国际汽车城（集团）有限公司 | 车辆检测及标注方法、***及电子设备 |
| CN113139442A (zh) * | 2021-04-07 | 2021-07-20 | 青岛以萨数据技术有限公司 | 一种图像跟踪方法、装置、存储介质及电子设备 |
| CN113327416B (zh) * | 2021-04-14 | 2022-09-16 | 北京交通大学 | 基于短时交通流预测的城市区域交通信号控制方法 |
| CN113112489B (zh) * | 2021-04-22 | 2022-11-15 | 池州学院 | 一种基于级联检测模型的绝缘子掉串故障检测方法 |
| CN113257003A (zh) * | 2021-05-12 | 2021-08-13 | 上海天壤智能科技有限公司 | 交通道路车道级车流计数***及其方法、设备、介质 |
| CN113822844A (zh) * | 2021-05-21 | 2021-12-21 | 国电电力宁夏新能源开发有限公司 | 风电机组叶片无人机巡检缺陷检测方法、装置和存储介质 |
| CN113256690B (zh) * | 2021-06-16 | 2021-09-17 | 中国人民解放军国防科技大学 | 一种基于视频监控的行人多目标跟踪方法 |
| CN113781521B (zh) * | 2021-07-12 | 2023-08-08 | 山东建筑大学 | 一种基于改进YOLO-DeepSort的仿生机器鱼检测跟踪方法 |
| CN113947108B (zh) * | 2021-10-15 | 2024-07-02 | 福州大学 | 一种基于yolo v5的球员追踪检测方法 |
| CN114187489B (zh) * | 2021-12-14 | 2024-04-30 | 中国平安财产保险股份有限公司 | 车辆异常驾驶风险检测方法、装置、电子设备及存储介质 |
| CN114399714A (zh) * | 2022-01-12 | 2022-04-26 | 福州大学 | 基于车载相机视频的车辆违停检测方法 |
| CN114882393B (zh) * | 2022-03-29 | 2023-04-07 | 华南理工大学 | 一种基于目标检测的道路逆行与交通事故事件检测方法 |
| CN114566052B (zh) * | 2022-04-27 | 2022-08-12 | 华南理工大学 | 一种基于车流方向判别高速公路车流监控设备转动的方法 |
| CN115620518B (zh) * | 2022-10-11 | 2023-10-13 | 东南大学 | 基于深度学习的交叉***通冲突判别方法 |
| CN115620042B (zh) * | 2022-12-20 | 2023-03-10 | 菲特（天津）检测技术有限公司 | 一种基于目标检测和聚类的齿轮型号判定方法及判定*** |
| CN116758259A (zh) * | 2023-04-26 | 2023-09-15 | 中国公路工程咨询集团有限公司 | 一种公路资产信息识别方法及*** |
| CN116778224B (zh) * | 2023-05-09 | 2024-08-09 | 广州华南路桥实业有限公司 | 一种基于视频流深度学习的车辆追踪方法 |
| CN116504068A (zh) * | 2023-06-26 | 2023-07-28 | 创辉达设计股份有限公司江苏分公司 | 车道级车流量的统计方法、装置、计算机设备及存储介质 |
| CN116863711B (zh) * | 2023-07-29 | 2024-03-29 | 广东省交通运输规划研究中心 | 基于公路监控的车道流量检测方法、装置、设备及介质 |
| CN117455948B (zh) * | 2023-08-09 | 2024-07-02 | 东南大学 | 基于深度学习算法的多视角行人轨迹提取和数据分析方法 |
| CN117455957B (zh) * | 2023-12-25 | 2024-04-02 | 山东未来网络研究院(紫金山实验室工业互联网创新应用基地) | 一种基于深度学习的车辆轨迹定位追踪方法及*** |
| CN117671972B (zh) * | 2024-02-01 | 2024-05-14 | 北京交通发展研究院 | 一种面向慢行交通***的车辆速度检测方法及装置 |
| CN118097658A (zh) * | 2024-02-23 | 2024-05-28 | 太原理工大学 | 基于ad-yolo模型和mr-sort方法的苹果计数方法 |
| CN117994987B (zh) * | 2024-04-07 | 2024-06-11 | 东南大学 | 基于目标检测技术的交通参数提取方法及相关装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109766902A (zh) * | 2017-11-09 | 2019-05-17 | 杭州海康威视***技术有限公司 | 对同区域的车辆聚类的方法、装置和设备 |
| CN109871763A (zh) * | 2019-01-16 | 2019-06-11 | 清华大学 | 一种基于yolo的特定目标跟踪方法 |
| CN110176139A (zh) * | 2019-02-21 | 2019-08-27 | 淮阴工学院 | 一种基于dbscan+的道路拥堵识别可视化方法 |
-
2020
- 2020-09-04 CN CN202010924261.8A patent/CN112101433B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109766902A (zh) * | 2017-11-09 | 2019-05-17 | 杭州海康威视***技术有限公司 | 对同区域的车辆聚类的方法、装置和设备 |
| CN109871763A (zh) * | 2019-01-16 | 2019-06-11 | 清华大学 | 一种基于yolo的特定目标跟踪方法 |
| CN110176139A (zh) * | 2019-02-21 | 2019-08-27 | 淮阴工学院 | 一种基于dbscan+的道路拥堵识别可视化方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112101433A (zh) | 2020-12-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112101433B (zh) | 一种基于YOLO V4和DeepSORT的分车道车辆自动计数方法 | |
| CN110136449B (zh) | 基于深度学习的交通视频车辆违停自动识别抓拍的方法 | |
| Asha et al. | Vehicle counting for traffic management system using YOLO and correlation filter | |
| US10997428B2 (en) | Automated detection of building entrances | |
| Chiu et al. | A robust object segmentation system using a probability-based background extraction algorithm | |
| US9323991B2 (en) | Method and system for video-based vehicle tracking adaptable to traffic conditions | |
| Mithun et al. | Detection and classification of vehicles from video using multiple time-spatial images | |
| CN110660222B (zh) | 一种智能环保道路黑烟车辆电子抓拍*** | |
| Wang et al. | Review on vehicle detection based on video for traffic surveillance | |
| Albiol et al. | Detection of parked vehicles using spatiotemporal maps | |
| US20150063628A1 (en) | Robust and computationally efficient video-based object tracking in regularized motion environments | |
| Breitenstein et al. | Hunting nessie-real-time abnormality detection from webcams | |
| Varghese et al. | An efficient algorithm for detection of vacant spaces in delimited and non-delimited parking lots | |
| CN106933861A (zh) | 一种支持特征自定义的跨镜头目标检索方法 | |
| Rezaei et al. | Traffic-Net: 3D traffic monitoring using a single camera | |
| CN111723773A (zh) | 遗留物检测方法、装置、电子设备及可读存储介质 | |
| Buch et al. | Vehicle localisation and classification in urban CCTV streams | |
| Chen et al. | An SSD algorithm based on vehicle counting method | |
| Huang et al. | A real-time and color-based computer vision for traffic monitoring system | |
| Yeshwanth et al. | Estimation of intersection traffic density on decentralized architectures with deep networks | |
| Ghahremannezhad et al. | Robust road region extraction in video under various illumination and weather conditions | |
| Rashid et al. | Detection and classification of vehicles from a video using time-spatial image | |
| CN110443142A (zh) | 一种基于路面提取与分割的深度学习车辆计数方法 | |
| Dike et al. | Unmanned aerial vehicle (UAV) based running person detection from a real-time moving camera | |
| Xuan et al. | Robust lane-mark extraction for autonomous driving under complex real conditions |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |