CN115171377B - 一种基于深度学习的交通流参数检测分析方法和装置 - Google Patents

一种基于深度学习的交通流参数检测分析方法和装置 Download PDF

Info

Publication number
CN115171377B
CN115171377B CN202210759052.1A CN202210759052A CN115171377B CN 115171377 B CN115171377 B CN 115171377B CN 202210759052 A CN202210759052 A CN 202210759052A CN 115171377 B CN115171377 B CN 115171377B
Authority
CN
China
Prior art keywords
vehicle
matching
association
traffic
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210759052.1A
Other languages
English (en)
Other versions
CN115171377A (zh
Inventor
王富
宋金苑
郭瑞利
李元元
顾邓钧
阳丹
朱鸿斌
王静
谭畅
叶蔓青
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Institute of Technology
Original Assignee
Wuhan Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Institute of Technology filed Critical Wuhan Institute of Technology
Priority to CN202210759052.1A priority Critical patent/CN115171377B/zh
Publication of CN115171377A publication Critical patent/CN115171377A/zh
Application granted granted Critical
Publication of CN115171377B publication Critical patent/CN115171377B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/052—Detecting movement of traffic to be counted or controlled with provision for determining speed or overspeed
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/065—Traffic control systems for road vehicles by counting the vehicles in a section of the road or in a parking area, i.e. comparing incoming count with outgoing count
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请公开了一种基于深度学习的交通流参数检测分析方法和装置，所述方法包括：获取训练完备的车辆跟踪模型，所述车辆跟踪模型包括目标检测模块和关联匹配模块；获取交通视频数据；利用所述目标检测模块对所述交通视频数据进行特征提取，得到连续帧车辆目标检测图；利用所述关联匹配模块对所述连续帧目标检测图进行车辆目标的关联匹配，得到车辆目标跟踪结果；根据所述车辆目标跟踪结果确定交通流参数分析结果。本发明的方法提高了对交通视频数据中车辆目标的识别准确性，从轨迹数据中提取车辆信息，以实现车流量和速度的自动检测；能更好地适应恶劣环境以及遮挡的影响，极大的保证了检测的准确性，为城市交通管理提供了数据支撑。

Description

一种基于深度学习的交通流参数检测分析方法和装置
技术领域
本发明涉及智能交通技术领域，尤其涉及一种基于深度学习的交通流参数检测分析方法、装置和计算机可读存储介质。
背景技术
智能交通***是未来交通***的发展方向，交通流参数的检测是智能交通***的关键技术，交通流参数的检测分析对城市交通管理、城市交通规划、城市居民出行等方面具有重要意义，是城市交通规划中不可或缺的一环。分析交通流参数检测结果及变化情况可以反映道路的通行状况，可以为道路管制、信号灯配时、潮汐车道设置等提供依据。
随着传感技术和视频技术的发展，多种交通检测技术逐渐发展起来，如感应线圈检测技术、超声波检测技术、红外传感技术、雷达检测技术、激光检测技术和视频检测技术，这些检测技术相较于早期的人工方法省时省力，而且精度方面也有提升，尽管交通检测技术近年来有着飞速的发展，但是交通检测在实际落地应用中，这些技术方法会由于对目标的识别不准确、分析参数选用不贴合实际而造成漏检、误检等导致交通状况分析不准确的问题。
因此，需要提供一种交通流参数检测方法，能够对车辆进行准确检测跟踪，并选用合适的分析参数对交通数据进行分析，保障交通状态检测的稳定性、实时性和准确性。
发明内容
有鉴于此，有必要提供一种基于深度学习的交通流参数检测分析方法、装置和计算机可读存储设备，用以解决现有技术中由于对目标的识别不准确而造成漏检、误检等导致交通状况分析结果不准确的问题。
为了解决上述问题，本发明提供一种基于深度学习的交通流参数检测分析方法，包括：
获取训练完备的车辆跟踪模型，所述车辆跟踪模型包括目标检测模块和关联匹配模块；
获取交通视频数据；
利用所述目标检测模块对所述交通视频数据进行特征提取，得到连续帧车辆目标检测图；
利用所述关联匹配模块对所述连续帧目标检测图进行车辆目标的关联匹配，得到车辆目标跟踪结果；
根据所述车辆目标跟踪结果确定交通流参数分析结果。
进一步的，利用所述目标检测模块对所述交通视频数据进行特征提取，得到连续帧车辆目标特征图，包括：
从所述交通视频数据中按照预设的抽取方法得到连续帧交通状态图像；
利用所述目标检测模块对每帧所述交通状态图像中物体的预设特征信息进行提取，并在每帧所述交通状态图像中生成多个包含车辆目标信息的目标检测框，得到车辆目标特征图。
进一步的，利用所述关联匹配模块对所述连续帧目标特征图进行车辆目标的关联匹配，得到车辆目标跟踪结果，包括：
利用所述关联匹配模块根据当前帧之前的连续帧图像，得到当前帧包含目标预测信息的目标预测框；
将当前帧交通状态图像中的车辆目标信息与所述目标预测信息进行关联匹配，得到车辆目标跟踪结果。
进一步的，将当前帧交通状态图像中的车辆目标信息与所述目标预测信息进行关联匹配，得到车辆目标跟踪结果，包括：
通过第一预设匹配算法，对当前帧交通状态图像中的车辆目标信息和所述目标预测信息进行关联匹配计算，得到全局关联结果；当所述全局关联结果不符合预设的第一关联标准时，进行递进匹配关联。
进一步的，所述递进匹配关联包括：
对所述目标检测框中和新出现的目标外的预测框，利用第二预设匹配算法进行关联匹配，得到第二匹配结果。
进一步的，根据所述车辆目标跟踪结果确定交通流参数分析结果，包括：
根据所述车辆目标跟踪结果，确定预设时间内的交通量和车速数据；
根据所述交通量数据，确定交通量的时间分布特性；
根据所述车速数据，确定速度与密度的对应关系图。
进一步的，所述目标检测模块的骨干网络为残差网络结构；所述关联匹配模块的骨干网络为深度层聚合网络。
进一步的，所述获取训练完备的车辆跟踪模型包括：
创建初始车辆跟踪模型；
获取车辆跟踪样本跟踪视频，对所述车辆跟踪样本跟踪视频进行图像抽取和标注，得到训练数据集和测试数据集；
根据所述训练数据集和预设的损失函数对所述车辆跟踪模型进行迭代训练，得到训练后的车辆跟踪模型；
利用所述测试数据集对所述训练后的车辆跟踪模型进行验证，得到所述训练完备的车辆跟踪模型。
本发明还提供一种基于深度学习的交通流参数检测分析装置，包括：
车辆跟踪模型获取模块，用于获取训练完备的车辆跟踪模型，所述车辆跟踪模型包括目标检测模块和关联匹配模块；
视频数据获取模块，用于获取交通视频数据；
特征提取模块，用于利用所述目标检测模块对所述交通视频数据进行特征提取，得到连续帧车辆目标检测图；
关联匹配模块，用于利用所述关联匹配模块对所述连续帧目标检测图进行车辆目标的关联匹配，得到车辆目标跟踪结果；
交通流参数分析模块，用于根据所述车辆目标跟踪结果确定交通流参数分析结果。
本发明还提供一种计算机可读存储介质，所述程序介质存储有计算机程序指令，当所述计算机程序指令被计算机执行时，使计算机执行上述技术方案任一所述的基于深度学习的交通流参数检测分析方法。
与现有技术相比，本发明的有益效果包括：首先，构建了训练完备的车辆跟踪模型；其次，对交通视频数据进行特征提取和关联匹配，得到车辆目标跟踪结果；最后，根据车辆目标跟踪结果确定交通流参数分析结果。本发明的方法通过目标检测模块对视频数据中的连续帧目标特征图进行特征提取，通过关联匹配模块对多目标进行追踪，得到车辆的轨迹跟踪数据；从轨迹数据中提取车辆信息，以实现车流量自动检测；通过关联模块的跟踪操作可以更好地适应恶劣环境以及遮挡的影响，极大的保证了检测的准确性。根据目标跟踪结果选用合适的交通流参数对交通状况进行了分析，为城市交通管理、城市交通规划、城市居民出行等方面提供了数据支撑。
附图说明
图1为本发明提供的一种基于深度学习的交通流参数检测分析方法一实施例的流程示意图；
图2为本发明提供的车辆跟踪模型一实施例的结构示意图；
图3为本发明提供的递进匹配关联的一实施例的方法流程示意图；
图4为本发明提供的交通流与时间对应关系一实施例的示意图；
图5为本发明提供的车速分析的频率分布直方图一实施例的示意图；
图6为本发明提供的一种基于深度学习的交通流参数检测分析装置一实施例的结构示意图。
具体实施方式
下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施例一起用于阐释本发明的原理，并非用于限定本发明的范围。
在实施例描述之前，对相关词语进行释义：
交通流参数：交通参数(basic traffic parameter)是指描述交通流特性最基本最重要的物理参数。包括流量、速度和密度。交通流参数的检测分析对城市交通管理、城市交通规划、城市居民出行等方面具有重要意义，是城市交通规划中不可或缺的一环。
现有的交通流参数检测方法中，往往会由于对视频或图像中的目标检测和跟踪不准确，造成交通流参数分析结果与真实的交通状况不相符，无法对实际的交通规划进行指导。尤其是在恶劣天气等环境以及遮挡问题的情况下，原始视频或图像数据的清晰度较低，进一步加大了检测和跟踪的误差。本发明旨在对车辆目标的检测和跟踪方法进行优化，提高车辆检测和跟踪的准确性，根据检测跟踪结果得出更准确的交通状况分析结果。
本发明提供了一种基于深度学习的交通流参数检测分析方法，包括：
步骤S101：获取训练完备的车辆跟踪模型，所述车辆跟踪模型包括目标检测模块和关联匹配模块；
步骤S102：获取交通视频数据；
步骤S103：利用所述目标检测模块对所述交通视频数据进行特征提取，得到连续帧车辆目标检测图；
步骤S104：利用所述关联匹配模块对所述连续帧目标检测图进行车辆目标的关联匹配，得到车辆目标跟踪结果；
步骤S105：根据所述车辆目标跟踪结果确定交通流参数分析结果。
本实施例提供的基于深度学习的交通流参数检测分析方法，首先，构建了训练完备的车辆跟踪模型；其次，对交通视频数据进行特征提取和关联匹配，得到车辆目标跟踪结果；最后，根据车辆目标跟踪结果确定交通流参数分析结果。本实施例的方法通过目标检测模块对视频数据中的连续帧目标特征图进行特征提取，通过关联匹配模块对多目标进行追踪，得到车辆的轨迹跟踪数据；从轨迹数据中提取车辆信息，以实现车流量自动检测；通过关联模块的跟踪操作可以更好地适应恶劣环境以及遮挡的影响，极大的保证了检测的准确性。根据目标跟踪结果选用合适的交通流参数对交通状况进行了分析，为城市交通管理、城市交通规划、城市居民出行等方面提供了数据支撑。作为优选的实施例，所述目标检测模块的骨干网络为残差网络结构；所述关联匹配模块的骨干网络为深度层聚合网络。
作为优选的实施例，所述获取训练完备的车辆跟踪模型包括：
创建初始车辆跟踪模型；
获取车辆跟踪样本跟踪视频，对所述车辆跟踪样本跟踪视频进行图像抽取和标注，得到训练数据集和测试数据集；
根据所述训练数据集和预设的损失函数对所述车辆跟踪模型进行迭代训练，得到训练后的车辆跟踪模型；
利用所述测试数据集对所述训练后的车辆跟踪模型进行验证，得到所述训练完备的车辆跟踪模型。
作为一个具体的实施例，如图2所示，图2是本实施例的车辆跟踪模型的结构示意图。所述车辆跟踪模型包括目标检测模块和关联匹配模块。其中，目标检测模块采用了ResNet网络的ResNet-34网格结构，通过ResNet-34作为主干网络执行特征提取，获得高分辨率特征图，提升精度和检测速度；所述关联匹配模块将深度层聚合(Deep LayerAggregation，DLA)的改进网络DLA-34应用于主干网络，通过在低级特征和高级特征之间添加跳跃连接，实现多层特征融合，提升算法对于物体尺度变化的鲁棒性；此外，为了避免高维度特征导致的过拟合问题，采用128维度的低维度特征获取目标外观信息。
作为一个具体的实施例，对初始车辆跟踪模型进行训练的方法包括：
第一步，建立车辆跟踪数据集，从视频片段中抽取数据集的图片序列，按照时间顺序排列，采用自动检测和手工结合的方式对数据集进行标注；
第二步，将完整的数据集分为训练集和测试集；其中，训练集用于对目标检测网络进行训练；测试集用于对关联匹配模块进行性能评估。
第三步，通过目标检测网络和关联匹配模块的损失函数求和，实现对车辆跟踪模型的训练；具体而言，对于一个具有N个目标及其相应ID值的图像，生成真实热度图、框偏移图和尺寸图以及目标的独热编码类别表示。将这些真实标签数据与车辆跟踪模型的预测值进行比较以计算损失值，实现对于整个网络的训练。
作为一个具体的实施例，除了上述的标准训练策略外，还提出了一种弱监督学习方法，在COCO等图像级目标检测数据集上训练FairMOT。将数据集中的每个目标实例视为一个单独的类，并将同一目标的不同转换视为同一类中的实例。采用的转换包括HSV增强、旋转、缩放、翻译和剪切。利用CrowdHuman数据集对模型进行预训练，然后在MOT数据集上对其进行微调。通过这种自监督学习方法，进一步提高了模型的整体性能。
作为优选的实施例，利用所述目标检测模块对所述交通视频数据进行特征提取，得到连续帧车辆目标特征图，包括：
从所述交通视频数据中按照预设的抽取方法得到连续帧交通状态图像；
利用所述目标检测模块对每帧所述交通状态图像中物体的预设特征信息进行提取，并在每帧所述交通状态图像中生成多个包含车辆目标信息的目标检测框，得到车辆目标特征图。
作为优选的实施例，利用所述关联匹配模块对所述连续帧目标特征图进行车辆目标的关联匹配，得到车辆目标跟踪结果，包括：
利用所述关联匹配模块根据当前帧之前的连续帧图像，得到当前帧包含目标预测信息的目标预测框；
将当前帧交通状态图像中的车辆目标信息与所述目标预测信息进行关联匹配，得到车辆目标跟踪结果。
作为优选的实施例，将当前帧交通状态图像中的车辆目标信息与所述目标预测信息进行关联匹配，得到车辆目标跟踪结果，包括：
通过第一预设匹配算法，对当前帧交通状态图像中的车辆目标信息和所述目标预测信息进行关联匹配计算，得到全局关联结果；当所述全局关联结果不符合预设的第一关联标准时，进行递进匹配关联。
作为优选的实施例，所述递进匹配关联包括：
对所述目标检测框中和新出现的目标外的预测框，利用第二预设匹配算法进行关联匹配，得到第二匹配结果。
作为一个具体的实施例，所述第一预设匹配算法为匈牙利算法，所述第二预设匹配算法为：将基于Re-ID特征计算的余弦距离作为代价矩阵，通过匈牙利算法执行匹配关联。
所述关联匹配模块进行分析的具体步骤为：
首先，确定全局最优关联结果。根据检测框中的车辆目标和预测框的车辆目标之间的运动特征及深度外观特征的相似度，通过匈牙利算法实现检测结果和预测结果的全局最优关联。若关联成功，则表示目标跟踪成功；若关联失败，则进入递进匹配关联的步骤。
参考图3所示，对所述递进匹配关联的具体方法进行说明，包括：
(1)针对所有的检测框和除了前一帧新出现的轨迹之外的所有跟踪轨迹，基于Re-ID特征计算余弦距离作为代价矩阵进行匹配；若匹配成功，则表示目标跟踪成功；若匹配失败，进入步骤(2)；
(2)对于(1)中未匹配的检测框和未匹配的且处于跟踪状态的车辆目标，基于IoU度量计算代价矩阵，并通过匈牙利算法执行匹配关联；若匹配成功，则表示目标跟踪成功；若匹配失败，进入步骤(3)；
(3)对于前两次未匹配的检测框和前一帧新初始化的跟踪框，基于IoU度量计算代价矩阵，并通过匈牙利算法执行匹配关联；要注意的是，针对除第一帧外后续帧中出现的任意新轨迹，如果这一新轨迹在第二帧中无检测框与其匹配，直接将其移除，且不保留轨迹信息。
通过相邻帧车辆位移差值结合帧率计算出目标的实时速度，在获取车流量和速度参数的前提下，可以更好地适应恶劣环境以及遮挡的影响，极大的保证了检测的准确性。
作为一个具体的实施例，由于代价矩阵没有考虑空间信息，因此添加了对于过大距离匹配的敏感度处理，当距离过大时，将代价矩阵中对应的值设置为无穷大，以抑制空间距离跨度较大时的不合理匹配。
作为一个具体的实施例，在跟踪过程中，会根据跟踪目标的状态管理***。对***的管理包括：***何时被创建、何时被删除、更新跟踪目标的信息等方面。
如表1所示，采用MOTP表示多目标跟踪精确度，评价跟踪目标在位置上的精度，是所有跟踪目标预测框与真实框位置误差的累计，采用MOTA表示多目标跟踪准确度。采用FM表示所有目标的真实轨迹被打断次数的总和，采用MT表示大于80％的运动轨迹被跟踪到的目标数占总目标数的比例，采用ML表示只有小于20％的运动轨迹被跟踪到的目标数占总目标数的比例。检测结果表1所示，检测精度在多目标跟踪算法中处于高水平，这也正是本方法的优势之一。
表1检测结果
作为优选的实施例，根据所述车辆目标跟踪结果确定交通流参数分析结果，包括：
根据所述车辆目标跟踪结果，确定预设时间内的交通量和车速数据；
根据所述交通量数据，确定交通量的时间分布特性；
根据所述车速数据，确定速度与密度的对应关系图。
作为一个具体的实施例，采用数据库对交通流参数进行分析。
首先，通过Access建立一个空白数据库，从所述车辆目标跟踪结果中提取出交通量数据和车速数据，并输出到空白数据库中，分别建立交通量数据库和车速数据库。
其次，获取设定时间内的交通量数据及车速数据，这里可以通过Excel表格调用交通量数据库和车速数据库来获取。
再次，根据交通量数据及车速数据，计算出不同交通状态下的交通密度。
最后，根据所述交通量数据确定交通量的时间分布特性，获取交通量与时间的关系和交通量的空间分布特性，并根据交通量与时间的对应关系输出交通量与时间的对应关系图。
作为一个具体的实施例，确定交通量的时间分布特性，包括交通量的周变化、月变化和时变化。
确定速度与密度的对应关系图，包括：根据所述速度及密度获取速度与密度的对应关系以及车速特征值，包括平均车速、中位车速及车速众数，并根据速度与密度的对应关系输出速度与密度的对应关系图。
需要说明的是，在交通调查中，仅用交通量等参数难以全面描述交通流的实际状态。例如交通量趋近于零，既可以是描述车辆数极少时的道路交通，也可以表示交通严重拥挤，车流处于停滞状态。而根据密度的大小，则可直接判定拥挤程度，从而决定采用何种交通管理和控制措施。在实践中，可以看到这样一种现象：当道路上的车辆增多、车流密度增大时，驾驶员被迫降低车速。当车流密度由大变小时，车速又会增加，这就说明速度和密度之间有一定的关系。
作为一个具体的实施例，根据所述交通量数据确定交通量的时间分布特性和空间分布特性，获取交通量与时间的关系，并根据交通量与时间的对应关系输出交通量与时间的对应关系图，如图4所示，交通量与时间的对应关系图可以清楚地看到交通量随时间的变化趋势。
作为一个具体的实施例，交通量的时间分布特性指某一地点(路段或交叉口)，交通量在不同时间的变化情况，包括交通量的月变化、周变化和时变化。一年内各月交通量的变化称为月变化，年平均日交通量与月平均日交通量的比值称为月变系数。交通量的周变化指一周内各天的交通量变化，也称日变化。年平均日交通量与某周日的平均交通量的比值称为日变系数。若缺乏全年的交通量观测数据，则可用单一周的观测数据确定日变系数。交通量的时变化指一天24h内交通量的变化情况，包括高峰小时流量比和高峰小时系数。
作为一个具体的实施例，确定交通量的空间分布特性即根据所述交通量确定交通量对应的道路分布系数。交通量的大小除了随时间而变化外，还随空间的不同而变化，这种随空间位置而变化的特性称为空间分布特性。一条道路往返两个方向的交通量，通常情况下是存在差异的。这种差异可以通过道路分布系数Kd来表示，道路分布系数Kd为主要方向行车交通量与双向总交通量的比值。在一天24h内，各高峰时段交通量的方向分布也可能不同，为表示这种区别，可分别对早高峰和晚高峰单独计算方向分布系数。
作为一个具体的实施例，根据所述速度及密度获取速度与密度的对应关系，并根据速度与密度的对应关系输出速度与密度的对应关系图。通过交通量和对应的车速数据，计算出不同交通状态下的交通密度，可得到速度与密度的对应关系图，速度与密度的对应关系图中，横坐标为最大流量时的密度，纵坐标为最大流量时的车速；速度与密度的对应关系图显示效果。流量与密度的对应关系图可以更直观地显示出道路在不同交通量状态下与交通密度的二次函数关系。图5展示了为本实施例某日车速分析的频率分布直方图。
本发明还提供一种基于深度学习的交通流参数检测分析装置，其结构框图如图6所示，所述一种基于深度学习的交通流参数检测分析装置600，包括：
车辆跟踪模型获取模块601，用于获取训练完备的车辆跟踪模型，所述车辆跟踪模型包括目标检测模块和关联匹配模块；
视频数据获取模块602，用于获取交通视频数据；
特征提取模块603，用于利用所述目标检测模块对所述交通视频数据进行特征提取，得到连续帧车辆目标检测图；
关联匹配模块604，用于利用所述关联匹配模块对所述连续帧目标检测图进行车辆目标的关联匹配，得到车辆目标跟踪结果；
交通流参数分析模块605，用于根据所述车辆目标跟踪结果确定交通流参数分析结果。
本实施例还提供了一种计算机可读存储介质，所述程序介质存储有计算机程序指令，当所述计算机程序指令被计算机执行时，使计算机执行上述技术方案任一所述的基于深度学习的交通流参数检测分析方法。
根据本发明上述实施例提供的计算机可读存储介质和计算设备，可以参照根据本发明实现如上所述的基于深度学习的交通流参数检测分析方法具体描述的内容实现，并具有与如上所述的一种基于深度学习的交通流参数检测分析方法类似的有益效果，在此不再赘述。
本发明公开的一种基于深度学习的交通流参数检测分析方法、装置、电子设备和计算机可读存储介质，首先，构建了训练完备的车辆跟踪模型；其次，对交通视频数据进行特征提取和关联匹配，得到车辆目标跟踪结果；最后，根据车辆目标跟踪结果确定交通流参数分析结果。
本实施例的方法通过目标检测模块对视频数据中的连续帧目标特征图进行特征提取，通过关联匹配模块对多目标进行追踪，得到车辆的轨迹跟踪数据；从轨迹数据中提取车辆信息，以实现车流量自动检测；通过关联模块的跟踪操作可以更好地适应恶劣环境以及遮挡的影响，极大的保证了检测的准确性。根据目标跟踪结果选用合适的交通流参数对交通状况进行了分析，为城市交通管理、城市交通规划、城市居民出行等方面提供了数据支撑。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (5)

1.一种基于深度学习的交通流参数检测分析方法，其特征在于，包括：
获取训练完备的车辆跟踪模型，所述车辆跟踪模型包括目标检测模块和关联匹配模块；
获取交通视频数据；
利用所述目标检测模块对所述交通视频数据进行特征提取，得到连续帧车辆目标检测图，其中，目标检测模块采用ResNet-34网格结构作为主干网络；
利用所述关联匹配模块对所述连续帧车辆目标检测图进行车辆目标的关联匹配，得到车辆目标跟踪结果，其中，所述关联匹配模块将改进网络DLA-34应用于所述主干网络；
根据所述车辆目标跟踪结果确定交通流参数分析结果；
其中，利用所述目标检测模块对所述交通视频数据进行特征提取，得到连续帧车辆目标检测图，包括：
从所述交通视频数据中按照预设的抽取方法得到连续帧交通状态图像；
利用所述目标检测模块对每帧所述交通状态图像中物体的预设特征信息进行提取，并在每帧所述交通状态图像中生成多个包含车辆目标信息的目标检测框，得到车辆目标检测图；
利用所述关联匹配模块对所述连续帧目标检测图进行车辆目标的关联匹配，得到车辆目标跟踪结果，包括：
利用所述关联匹配模块根据当前帧之前的连续帧图像，得到当前帧包含目标预测信息的目标预测框；
通过第一预设匹配算法，对当前帧交通状态图像中的车辆目标信息和所述目标预测信息进行关联匹配计算，得到全局关联结果；
当所述全局关联结果不符合预设的第一关联标准时，进行递进匹配关联，包括：对所述目标检测框中和新出现的目标外的目标预测框，利用第二预设匹配算法进行关联匹配，得到第二匹配结果；
其中，所述第一预设匹配算法为匈牙利算法，所述第二预设匹配算法为：将基于Re-ID特征计算的余弦距离作为代价矩阵，通过匈牙利算法执行匹配关联；
所述递进匹配关联具体包括：
（1）针对所有的检测框和除了前一帧新出现的轨迹之外的所有跟踪轨迹，基于Re-ID特征计算余弦距离作为代价矩阵进行匹配；若匹配成功，则表示目标跟踪成功；若匹配失败，进入步骤（2）；
（2）对于（1）中未匹配的检测框和未匹配的且处于跟踪状态的车辆目标，基于IoU度量计算代价矩阵，并通过匈牙利算法执行匹配关联；若匹配成功，则表示目标跟踪成功；若匹配失败，进入步骤（3）；
（3）对于前两次未匹配的检测框和前一帧新初始化的跟踪框，基于IoU度量计算代价矩阵，并通过匈牙利算法执行匹配关联；针对除第一帧外后续帧中出现的任意新轨迹，如果这一新轨迹在第二帧中无检测框与其匹配，直接将其移除，且不保留轨迹信息。
2.根据权利要求1所述的基于深度学习的交通流参数检测分析方法，其特征在于，根据所述车辆目标跟踪结果确定交通流参数分析结果，包括：
根据所述车辆目标跟踪结果，确定预设时间内的交通量和车速数据；
根据所述交通量数据，确定交通量的时间分布特性；
根据所述车速数据，确定速度与密度的对应关系图。
3.根据权利要求1所述的基于深度学习的交通流参数检测分析方法，其特征在于，所述获取训练完备的车辆跟踪模型包括：
创建初始车辆跟踪模型；
获取车辆跟踪样本跟踪视频，对所述车辆跟踪样本跟踪视频进行图像抽取和标注，得到训练数据集和测试数据集；
根据所述训练数据集和预设的损失函数对所述车辆跟踪模型进行迭代训练，得到训练后的车辆跟踪模型；
利用所述测试数据集对所述训练后的车辆跟踪模型进行验证，得到所述训练完备的车辆跟踪模型。
4.一种基于深度学习的交通流参数检测分析装置，其特征在于，包括：
车辆跟踪模型获取模块，用于获取训练完备的车辆跟踪模型，所述车辆跟踪模型包括目标检测模块和关联匹配模块；
视频数据获取模块，用于获取交通视频数据；
特征提取模块，用于利用所述目标检测模块对所述交通视频数据进行特征提取，得到连续帧车辆目标检测图，其中，目标检测模块采用ResNet-34网格结构作为主干网络；
关联匹配模块，用于利用所述关联匹配模块对所述连续帧车辆目标检测图进行车辆目标的关联匹配，得到车辆目标跟踪结果，其中，所述关联匹配模块将改进网络DLA-34应用于所述主干网络；
交通流参数分析模块，用于根据所述车辆目标跟踪结果确定交通流参数分析结果；
其中，利用所述目标检测模块对所述交通视频数据进行特征提取，得到连续帧车辆目标检测图，包括：
从所述交通视频数据中按照预设的抽取方法得到连续帧交通状态图像；
利用所述目标检测模块对每帧所述交通状态图像中物体的预设特征信息进行提取，并在每帧所述交通状态图像中生成多个包含车辆目标信息的目标检测框，得到车辆目标检测图；
利用所述关联匹配模块对所述连续帧目标检测图进行车辆目标的关联匹配，得到车辆目标跟踪结果，包括：
利用所述关联匹配模块根据当前帧之前的连续帧图像，得到当前帧包含目标预测信息的目标预测框；
通过第一预设匹配算法，对当前帧交通状态图像中的车辆目标信息和所述目标预测信息进行关联匹配计算，得到全局关联结果；
当所述全局关联结果不符合预设的第一关联标准时，进行递进匹配关联，包括：对所述目标检测框中和新出现的目标外的目标预测框，利用第二预设匹配算法进行关联匹配，得到第二匹配结果；
其中，所述第一预设匹配算法为匈牙利算法，所述第二预设匹配算法为：将基于Re-ID特征计算的余弦距离作为代价矩阵，通过匈牙利算法执行匹配关联；
所述递进匹配关联具体包括：
（1）针对所有的检测框和除了前一帧新出现的轨迹之外的所有跟踪轨迹，基于Re-ID特征计算余弦距离作为代价矩阵进行匹配；若匹配成功，则表示目标跟踪成功；若匹配失败，进入步骤（2）；
（2）对于（1）中未匹配的检测框和未匹配的且处于跟踪状态的车辆目标，基于IoU度量计算代价矩阵，并通过匈牙利算法执行匹配关联；若匹配成功，则表示目标跟踪成功；若匹配失败，进入步骤（3）；
（3）对于前两次未匹配的检测框和前一帧新初始化的跟踪框，基于IoU度量计算代价矩阵，并通过匈牙利算法执行匹配关联；针对除第一帧外后续帧中出现的任意新轨迹，如果这一新轨迹在第二帧中无检测框与其匹配，直接将其移除，且不保留轨迹信息。
5.一种计算机可读存储介质，其特征在于，所述程序介质存储有计算机程序指令，当所述计算机程序指令被计算机执行时，使计算机执行根据权利要求1-3中任一所述的基于深度学习的交通流参数检测分析方法。
CN202210759052.1A 2022-06-30 2022-06-30 一种基于深度学习的交通流参数检测分析方法和装置 Active CN115171377B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210759052.1A CN115171377B (zh) 2022-06-30 2022-06-30 一种基于深度学习的交通流参数检测分析方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210759052.1A CN115171377B (zh) 2022-06-30 2022-06-30 一种基于深度学习的交通流参数检测分析方法和装置

Publications (2)

Publication Number Publication Date
CN115171377A CN115171377A (zh) 2022-10-11
CN115171377B true CN115171377B (zh) 2024-01-09

Family

ID=83489827

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210759052.1A Active CN115171377B (zh) 2022-06-30 2022-06-30 一种基于深度学习的交通流参数检测分析方法和装置

Country Status (1)

Country Link
CN (1) CN115171377B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117437792B (zh) * 2023-12-20 2024-04-09 中交第一公路勘察设计研究院有限公司 基于边缘计算的实时道路交通状态监测方法、设备及***
CN117689907B (zh) * 2024-02-04 2024-04-30 福瑞泰克智能***有限公司 车辆跟踪方法、装置、计算机设备和存储介质
CN117935562B (zh) * 2024-03-22 2024-06-07 山东双百电子有限公司 一种基于深度学习的交通灯控制方法及***

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102034355A (zh) * 2010-12-28 2011-04-27 丁天 一种基于特征点匹配的车辆检测及跟踪方法
CN102682453A (zh) * 2012-04-24 2012-09-19 河海大学 基于多特征融合的运动车辆跟踪方法
CN106611169A (zh) * 2016-12-31 2017-05-03 中国科学技术大学 一种基于深度学习的危险驾驶行为实时检测方法
CN109376615A (zh) * 2018-09-29 2019-02-22 苏州科达科技股份有限公司 用于提升深度学习网络预测性能的方法、装置及存储介质
CN110472496A (zh) * 2019-07-08 2019-11-19 长安大学 一种基于目标检测与跟踪的交通视频智能分析方法
CN114360239A (zh) * 2021-12-03 2022-04-15 武汉工程大学 一种多层时空交通知识图谱重建的交通预测方法及***

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102034355A (zh) * 2010-12-28 2011-04-27 丁天 一种基于特征点匹配的车辆检测及跟踪方法
CN102682453A (zh) * 2012-04-24 2012-09-19 河海大学 基于多特征融合的运动车辆跟踪方法
CN106611169A (zh) * 2016-12-31 2017-05-03 中国科学技术大学 一种基于深度学习的危险驾驶行为实时检测方法
CN109376615A (zh) * 2018-09-29 2019-02-22 苏州科达科技股份有限公司 用于提升深度学习网络预测性能的方法、装置及存储介质
CN110472496A (zh) * 2019-07-08 2019-11-19 长安大学 一种基于目标检测与跟踪的交通视频智能分析方法
CN114360239A (zh) * 2021-12-03 2022-04-15 武汉工程大学 一种多层时空交通知识图谱重建的交通预测方法及***

Also Published As

Publication number Publication date
CN115171377A (zh) 2022-10-11

Similar Documents

Publication Publication Date Title
CN115171377B (zh) 一种基于深度学习的交通流参数检测分析方法和装置
CN111652097B (zh) 一种图像毫米波雷达融合目标检测方法
CN110472496B (zh) 一种基于目标检测与跟踪的交通视频智能分析方法
Zhang et al. CDNet: A real-time and robust crosswalk detection network on Jetson nano based on YOLOv5
CN110619279B (zh) 一种基于跟踪的路面交通标志实例分割方法
Hinz Detection and counting of cars in aerial images
Rodríguez et al. An adaptive, real-time, traffic monitoring system
CN112634368A (zh) 场景目标的空间与或图模型生成方法、装置及电子设备
Zhang et al. Vehicle re-identification for lane-level travel time estimations on congested urban road networks using video images
CN110659601A (zh) 基于中心点的深度全卷积网络遥感图像密集车辆检测方法
CN116109986A (zh) 一种基于激光雷达和视频技术互补的车辆轨迹提取方法
CN113505638A (zh) 车流量的监测方法、监测装置及计算机可读存储介质
Bu et al. A UAV photography–based detection method for defective road marking
CN112017213B (zh) 一种目标对象的位置更新方法及***
Sharma et al. Deep Learning-Based Object Detection and Classification for Autonomous Vehicles in Different Weather Scenarios of Quebec, Canada
CN111325811A (zh) 一种车道线数据的处理方法及处理装置
CN114895274A (zh) 一种护栏识别方法
Hadzic et al. Rasternet: Modeling free-flow speed using lidar and overhead imagery
CN114241373A (zh) 一种端到端的车辆行为检测方法、***、设备及存储介质
Shan et al. Bidirectional feedback of optimized gaussian mixture model and kernel correlation filter for enhancing simple detection of small pixel vehicles
Zhang et al. ST-MAE: robust lane detection in continuous multi-frame driving scenes based on a deep hybrid network
Lin et al. Semi-automatic road tracking by template matching and distance transform
CN116977969B (zh) 基于卷积神经网络的驾驶员两点预瞄识别方法
CN113452952B (zh) 一种路况监测方法及装置和***
Lv et al. Vehicle detection method for satellite videos based on enhanced vehicle features

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant