CN112241969A - 基于交通监控视频的目标检测跟踪方法、装置及存储介质 - Google Patents
基于交通监控视频的目标检测跟踪方法、装置及存储介质 Download PDFInfo
- Publication number
- CN112241969A CN112241969A CN202010346849.XA CN202010346849A CN112241969A CN 112241969 A CN112241969 A CN 112241969A CN 202010346849 A CN202010346849 A CN 202010346849A CN 112241969 A CN112241969 A CN 112241969A
- Authority
- CN
- China
- Prior art keywords
- target
- frame
- image
- image frame
- tracker
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 126
- 238000000034 method Methods 0.000 title claims abstract description 57
- 238000012544 monitoring process Methods 0.000 title claims abstract description 31
- 238000003860 storage Methods 0.000 title claims abstract description 16
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 34
- 238000001914 filtration Methods 0.000 claims abstract description 12
- 238000011156 evaluation Methods 0.000 claims abstract description 9
- 239000013598 vector Substances 0.000 claims description 13
- 238000005259 measurement Methods 0.000 claims description 10
- 230000008859 change Effects 0.000 claims description 9
- 238000009826 distribution Methods 0.000 claims description 7
- 230000001133 acceleration Effects 0.000 claims description 4
- 238000005516 engineering process Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 238000004590 computer program Methods 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000005286 illumination Methods 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000012850 discrimination method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24133—Distances to prototypes
- G06F18/24137—Distances to cluster centroïds
- G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及目标检测跟踪领域，具体涉及一种基于交通监控视频的目标检测跟踪方法、装置及存储介质，包括获取交通监控视频连续的图像帧；利用基于YOLOv3网络的目标检测模块对图像帧目标进行分类及定位，确定图像帧的图像目标结果；通过目标预测参数模块应用卡尔曼滤波算法计算下一时刻图像帧预测量；将同一时刻图像帧预测量与图像目标结果输入目标匹配和分配模块计算重叠度评价后，利用匈牙利算法对重叠度进行评价，输出图像帧的目标***。本发明实施例保证回归速度的情况下提高了检测准确度；且通过使用重叠度对相邻帧画面中的目标匹配进行评价，并使用匈牙利方法进行数据关联，提高了多目标跟踪的时效性。
Description
技术领域
本发明涉及目标检测跟踪领域，具体涉及一种基于交通监控视频的目标检测跟踪方法、装置及存储介质。
背景技术
现有技术中，由于路上交通比较复杂，一方面天气变化、光照强度等不可控因素时刻影响着道路环境，一方面路上目标在视频画面中尺寸不一，目标间存在相互遮挡为检测跟踪带来困难；因此，路上目标检测跟踪技术在实际的道路场景中存在着挑战。而且，由于路上交通对准确性及时效性的特殊要求，对于目前现有技术中实际可用的目标检测跟踪技术而言，同时保证技术的准确性与时效性是本领域亟待解决的问题。
基于交通监控视频对路上目标进行检测跟踪的技术，主要通过提取目标的位置、轨迹、速度等信息，进而通过这些信息对交通状况进行自动化监控。路上目标的尺寸、外观、机动性等特征多样化，并且均为道路交通的主要参与者。近年来涌现出了许多经典实用的基于深度学习的目标检测技术的模型结构，不断刷新着目标检测领域的各项记录，现阶段的主流目标检测技术主要分为两类方法，一种是基于候选的两步法检测网络，另一种是基于回归的一步法检测网络。上述方法一定程度上提高目标检测的准确率，但基于候选的两步法检测网络检测速度相对比较慢，基于回归的一步法检测网络类型较多，选用合适的方法难道比较大。
对于常见的跟踪算法，一般先将视频中的目标标记出来，通过计算其像素特征、运动轨迹及当前位置等信息，预测其在下一帧画面中的位置和尺寸，然后与下一帧画面中的目标进行匹配和分配。常见的目标跟踪算法可以分为基于特征、轮廓、核滤波以及深度学习特征等生成类和判别类方法。生成类方法在当前帧对目标区域建模，在下一帧寻找与模型最相似的预测位置。判别类方法与生成类方法最大的区别是在建模训练中增加了背景信息。单目标跟踪中通常进行复杂的外观建模，将目标和背景区分开，但是在基于上述现有技术设计多目标跟踪策略时，如何判断帧间目标是否相同的问题，即基于多种特征来表述一个目标的问题会严重影响多目标跟踪方法的运算量和效率。另外，通用目标检测跟踪技术受限于开源数据库、互联网开源数据等数据来源，延展性差，不适用于道路交通监控视频场景。因此，开发一种快速、鲁棒的路上目标自动化检测跟踪技术十分必要。
发明内容
鉴于现有技术中存在的技术缺陷和技术弊端，本发明实施例提供克服上述问题或者至少部分地解决上述问题的一种基于交通监控视频的目标检测跟踪方法、装置及存储介质，在存在天气光照变化、目标尺寸形变等不利因素的情况下，实现快速、鲁棒的检测跟踪路上的不同目标。
作为本发明实施例的一个方面，提供了一种基于交通监控视频的目标检测跟踪方法，所述方法包括：
S1获取交通监控视频连续的图像帧；
S2通过目标检测模块对图像帧目标进行分类及定位，确定图像帧的图像目标结果；
S3通过目标预测参数模块计算下一时刻图像帧预测量；
S4将同一时刻图像帧预测量与图像目标结果输入目标匹配和分配模块计算重叠度评价后，利用匈牙利算法对重叠度进行评价，输出图像帧的目标***。
进一步地，所述“S2通过目标检测模块对图像帧目标进行分类及定位，确定图像帧的图像目标结果”的步骤为利用基于YOLOv3网络的对图像帧目标进行分类及定位，包括：：
S21将图像帧划分为S*S个网格；
S22检测是否有目标的中心落在网格中；若网格中存在目标中心，则转S23，若网格中不存在目标中心，则转S29；
S23检测该网格中的目标；
S24预测目标对应的B个边框；
S25计算边框的中心坐标、宽高、置信度评分；
S26预测目标属于某一类的概率；
S27通过置信度评分和目标属于某一类的概率计算目标边框类的相关置信度；
S28输出图像目标结果；
S29输出无目标信息。
进一步地，所“S3通过目标预测参数模块计算下一时刻图像帧预测量”的步骤包括：
通过卡尔曼滤波算法对目标***或图像目标结果进行图像帧下一时刻的状态预测；状态参量包括目标的位置参量、速度参量、加速度参量以及检测框的尺寸参量、尺寸变化参量；将所述状态参量组成状态向量，前一帧和当前帧的目标检测结果组成量测向量，以高斯白噪声为***噪声和量测噪声，组建卡尔曼滤波方程组，预测状态向量下一时刻图的值为在下一时刻图像帧预测量。
进一步地，所述“S4将同一时刻图像帧预测量与图像目标结果输入目标匹配和分配模块计算重叠度评价后，利用匈牙利算法对重叠度进行评价，输出图像帧的目标***”步骤包括：
S41计算第k帧的目标检测结果和第k-1帧目标***或第k-1帧目标检测结果k时刻的预测值两两之间的全部重叠度；
S42根据匈牙利算法对重叠度进行评价，得到目标检测结果和目标***之间的一对一最大匹配；
S43输出目标匹配结果为第k帧目标***。
进一步地，所述“S41计算第k帧的目标检测结果和第k-1帧目标***或第k-1帧目标检测结果k时刻的预测值两两之间的全部重叠度”步骤包括：
所述重叠度为候选框与原标记框的交叠率，利用重叠度计算同一时刻图像帧预测量与图像目标结果之间的距离，所述重叠度的计算式如下：
其中c为候选框；g为原标记框；area表示面积；IOU为重叠度。
进一步地，所述“S42根据匈牙利算法对重叠度进行评价，得到目标检测结果和目标***之间的一对一最大匹配”的步骤还包括，
根据匹配结果进行目标分配，若有目标检测结果无对应的***，则创建目标***，若目标***无对应的目标检测结果，暂存目标***或保留目标***。
进一步地，所述S2步骤还包括参照VOC2007数据集对于目标的标准格式制作路上目标数据集。
进一步地，所述目标的类型包括行人、骑自行车人、骑三轮车人、轿车、运动型实用汽车、客车、货车中的一项或多项。
作为本发明实施例的又一方面，提供了一种基于交通监控视频的目标检测跟踪装置，所述装置包括：
图像获取模块：用于获取交通监控视频连续的图像帧；
目标检测模块，用于对图像帧目标进行分类及定位，确定图像帧的图像目标结果；
目标参数预测模块，用于计算下一时刻图像帧预测量；
目标匹配和分配模块，用于将同一时刻图像帧预测量与图像目标结果计算重叠度评价后，利用匈牙利算法对重叠度进行评价，输出图像帧的目标***。
作为本发明实施例的再一方面，提供了一种存储介质，所述存储介质中存储有如上述任意实施例所述的一种基于交通监控视频的目标检测跟踪方法。
本发明实施例至少实现了如下技术效果：
本发明实施例提供的基于交通监控视频的目标检测跟踪方法及装置，主要研究路上目标检测跟踪方法，利用目标***实现了特定目标的检测跟踪，目标检测模块在YOLO的基础上融合了基于候选的检测方法中计算目标位置窗口的方式，保证回归速度的情况下提高了检测准确度，提高了时效性；而且使用重叠度对相邻帧画面中的目标匹配进行评价，并使用匈牙利方法进行数据关联，解决了由于路上目标的数量较多，同时外观、尺寸差距明显而带来的的跟踪方法计算量大及效率低的问题。另外，本发明实施例中建立目标数据集，解决了受限于开源数据库、互联网开源数据等数据来源，延展性差的问题。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所记载的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明一实施例的目标检测跟踪方法流程图；
图2为本发明一实施例连续视频帧的目标检测跟踪方法流程示意图；
图3为本发明一实施例目标检测方法流程图；
图4为本发明一实施例多目标流程跟踪方法流程图；
图5为本发明一实施例一种基于重叠度的跟踪算法示意图；
图6为本发明一实施例一种基于交通监控视频的目标检测跟踪装置示意图。
具体实施方式
为详细说明本发明的技术内容、所实现目的及效果，以下结合实施方式并配合附图予以说明。
附图和以下说明描述了本发明的可选实施方式以教导本领域技术人员如何实施和再现本发明。为了教导本发明技术方案，已简化或省略了一些常规方面。本领域技术人员应该理解源自这些实施方式的变型或替换将落在本发明的保护范围内。本领域技术人员应该理解下述特征能够以各种方式组合以形成本发明的多个变型。由此，本发明并不局限于下述可选实施方式，而仅由权利要求和它们的等同物限定。
在一个实施例中,提供一种基于交通监控视频的目标检测跟踪方法，如图1所示，所述方法包括：
S1获取交通监控视频连续的图像帧；
S2通过目标检测模块对图像帧目标进行分类及定位，确定图像帧的图像目标结果；
S3通过目标预测参数模块计算下一时刻图像帧预测量；
S4将同一时刻图像帧预测量与图像目标结果输入目标匹配和分配模块计算重叠度评价后，利用匈牙利算法对重叠度进行评价，输出图像帧的目标***。
本实施例针对交通监控视频场景，提供了一种具有较高的时效性与跟踪正确率的多目标检测跟踪方法。其中目标检测模块负责路上目标的检测，目标匹配和分配模块以及目标参数预测模块负责多目标跟踪。
在本实施例中，S1步骤中获取的所述连续视频帧可以包括k-1时刻对应的第k-1帧图像、k时刻对应的第k帧图像、k+1时刻对应的第k+1帧图像；如图2所示，检测跟踪步骤包括：
在k-1时刻，第k-1帧图像进入了目标检测模块,获得第k-1帧目标检测结果，第k-1帧目标检测结果输入目标参数预测模块，输出第k-1帧图像的目标检测结果在k时刻的预测量。
在k时刻，第k帧图像进入目标检测模块，并输出第k帧图像的目标检测结果；第k帧图像的目标检测结果和上一步输出的k时刻的预测量同时进入目标匹配和分配模块，创建、修改、删除目标***，并输出在k时刻的匹配目标信息，即第k帧图像的目标***；然后第k帧图像的目标***进入目标参数预测模块，输出第k帧的目标***在k+1时刻的预测量。
在k+1时刻，第k+1帧图像进入目标检测模块，并输出第k+1帧图像的目标检测结果；第k+1帧图像的目标检测结果和在k+1时刻的预测量同时进入目标匹配和分配模块，创建、修改、删除目标***，并输出在k+1时刻的匹配目标信息，即第k+1帧图像的目标***；然后第k+1帧图像的目标***进入目标参数预测模块，输出第k+1帧的目标***在k+2时刻的预测量。
上述三个步骤循环运行，共同完成交通监控视频中路上目标的检测跟踪；其中，针对一组连续视频帧，初始帧对应时刻参照k-1时刻，接续的其他连续视频帧参照k时刻，k+1时刻的检测跟踪流程。
本实施例方法通过目标检测模块、目标匹配和分配模块以及目标参数预测模块组建基于检测的多目标跟踪框架，其中目标检测及预测的算法包括很多类别，可以根据需要选择现有技术中比较成熟的算法，也可以随着技术发展，选用后续出现的目标检测或预测算法，基于本实施例框架下的实现了基于交通监控视频的路上目标检测跟踪的方法均属于本实施例的技术范围内。
在一个实施例中，如图3所示，上述S2的步骤为利用基于YOLOv3网络的对图像帧目标进行分类及定位，包括：
S21将图像帧划分为S*S个网格；
S22检测是否有目标的中心落在网格中；若网格中存在目标中心，则转S23，若网格中不存在目标中心，则转S29；
S23检测该网格中的目标；
S24预测目标对应的B个边框；
S25计算边框的中心坐标、宽高、置信度评分；
S26预测目标属于某一类的概率；
S27通过置信度评分和目标属于某一类的概率计算目标边框类的相关置信度；
S28输出图像目标结果；
S29输出无目标信息。
目标检测算法是对图像中的目标进行分类和定位；在本实施例中，输出图像的目标检测结果，同时，为多目标跟踪算法提供输入项。
深度学习是机器学习中的一种基于数据来进行目标特征学习的方法，能够通过相应的给定数据进行有监督的学习。具体为通过多层神经网络对输入的信息进行衡量，通过大量数据不断计算学习，让机器学会如何去执行任务。在深度学习框架下，不同类型的数据使得神经网络模型的泛化能力存在局限。本实施例在深度学习框架下研发了基于交通监控视频的路上目标检测算法。
本实施例采用开源的YOLOv3网络作为基础网络，并更改网络结构参数，建立目标检测模型，其中修改的参数包括修改的参数有max_batches、steps、classes、filters等。在S*S个网格中，每个网格负责检测中心点落在其中的目标。其中，单个网格中存在B个目标边框，每个目标边框由一个五维的预测量组成，包括目标边框的中心点坐标(x,y)、宽高(w,h)和置信度评分si。其实现过程如图3所示。
本实施例完成了路上目标的分类和定位，即能够准确的获取行人、非机动车、机动车等目标在图像中的位置。
在一个实施例中，具体实现过程可以是：输入图像被划分为7*7个网格，每个网格预测5个目标框，共有7种待测目标，即S＝7，B＝5，K＝7。目标边框类的相关置信度为目标边框的置信度评分与目标属于某一类的概率之间的乘积。输出目标信息为一个S*S*B*(K+5)＝7*7*60的检测结果向量。
在一个实施例中，所述S2步骤还包括参照了VOC2007数据集对于目标的标准格式制作路上目标数据集。由于监控视频的视角比较特殊，目前并没有相应的开源数据库，本实施例中参照VOC2007的标准制作了约3000张的路上目标数据集。克服了目前通用目标检测跟踪技术受限于开源数据库、互联网开源数据等数据来源，延展性差，不适用于道路交通监控视频场景等问题。
在一个实施例中，所述目标的类型包括行人、骑自行车人、骑三轮车人、轿车、运动型实用汽车、客车、货车中的一项或多项。在本实施例中目标类型可以包括其中的一项，也可以包括七项，其中：运动型实用汽车指SUV；当然，也可以根据需求对目标类型进行调整。
在一个实施例中，上述S3的步骤包括：
通过卡尔曼滤波算法对目标***或图像目标结果进行图像帧下一时刻的状态预测；状态参量包括目标的位置参量、速度参量、加速度参量以及检测框的尺寸参量、尺寸变化参量；将所述状态参量组成状态向量，前一帧和当前帧的目标检测结果组成量测向量，以高斯白噪声为***噪声和量测噪声，组建卡尔曼滤波方程组，预测状态向量下一时刻图的值为在下一时刻图像帧预测量。
卡尔曼滤波是一种利用线性***状态方程，通过***的输入状态向量和输出观测数据，对***状态进行最优估计的算法；其在测量方差已知的情况下能够从一系列存在测量噪声的数据中，实现***状态的最优估计。
在本实施例中，通过卡尔曼滤波算法对目标***或目标检测结果进行下一帧的状态预测和最优估计；其中的位置参量(x,y)、速度参量(dx,dy)、加速度参量(ddx,ddy)以及检测框的尺寸参量(w,h)、尺寸变化参量(dw,dh)组成状态向量(x,y,dx,dy,ddx,ddy,w,h,dw,dh)，其中，尺寸参量(w,h)、尺寸变化参量(dw,dh)由目标在图像中的尺寸决定；前一帧和当前帧的目标检测结果可以组成量测向量(x,y,dx,dy,w,h,dw,dh)，本实施通过将卡尔曼滤波算法与目标跟踪结果，准确的输出目标***在下一帧的预测值，进一步改善匹配效果。
在一个实例例中，如图4所述，上述S4的步骤包括：
S41计算第k帧的目标检测结果和第k-1帧目标***或第k-1帧目标检测结果k时刻的预测值两两之间的全部重叠度；
S42根据匈牙利算法对重叠度进行评价，得到目标检测结果和目标***之间的一对一最大匹配；
S43输出目标匹配结果为第k帧目标***。
本实施例的多目标跟踪是在相邻两帧之间，对检测结果和已有***进行分配，将视频帧间的同一目标的检测结果串联起来，跟踪准确度受到检测算法结果精确度相关联。多目标跟踪的输入是每一帧中目标检测的结果，包括了检测目标的位置、尺寸、种类、置信度。但目标检测技术所提供检测结果仍有噪声存在，并不完全精确，因此需要多目标跟踪技术处理来减少噪声影响。
在本实施例采用了目标匹配和分配方法实现了多目标跟踪，并进一步结合目标参数预测方法改进了遮挡问题和运动问题。
其中遮挡主要包括被场景中的其他非目标物体遮挡、被其他目标物体遮挡、被自身遮挡(如变形、角度变化而无法被检测到)。遮挡造成的影响包括被跟踪的目标却无法被检测到；运动中最简单的情况是匀速直线运动，可以相对准确的预测下一帧中的目标位置；但实际情况往往更加复杂，目标可能突然改变运动方向或停止。
在一个实施例中，如图5所述，上述S41步骤包括：
所述重叠度为候选框与原标记框的交叠率，利用重叠度计算同一时刻图像帧预测量与图像目标结果之间的距离，所述重叠度的计算式如下：
其中c为候选框；g为原标记框；area表示面积；IOU为重叠度。
当检测的精度很高，视频的帧率也很高时，重叠度应用在多目标跟踪的应用如图5所示，主要基于前后帧中目标的重叠度。本实施例的目标匹配方法将当前帧的目标***与目标检测结果关联，并在下一帧中再次关联目标***与新的目标检测结果，从而描述目标的位置轨迹。
在一个实施例中，上述S42步骤还包括，
根据匹配结果进行目标分配，若有目标检测结果无对应的***，则创建目标***，若目标***无对应的目标检测结果，暂存目标***或保留目标***。
多目标跟踪的优化目标是一个多维指派的动态规划问题，在本实施例中，对于第k-1帧和第k帧的检测目标之间是一个在多对多的情况下寻找最佳一对一匹配的问题，通过上述重叠度方法对第k帧的全部***和全部目标检测结果之间两两计算得到重叠度，并将其用于数据关联，即用匈牙利算法求解这个多维指派问题得到跟踪与检测一对一最大的匹配，完成第k帧的跟踪。使用匈牙利算法进行分配后，分配成功的视为命中，未成功分配的未命中。目标分配存在以下两种情况：
(a)分配完成后，若有目标检测结果无对应的***，则建立新的***，即进行***的创建。
(b)分配完成后，若有***无对应的目标检测结果，这种未命中的情况可能由于两种情况引起：一是目标离开监控视频中的场景，对这种情况，应立刻暂存该目标***；并且当目标连续多帧消失时，判定为丢失。二是目标被遮挡、或检测方法的不准确造成了目标的漏检，面对这种情况，应当保留该目标***一段时间，以保留该目标在遮挡消失或重新检测到时获得匹配的机会。
完成目标分配后，即可输出当前帧的目标***信息。
基于同一发明构思，本发明实施例还提供了一种基于交通监控视频的目标检测跟踪装置，由于本实施一种基于交通监控视频的目标检测跟踪装置所解决问题的原理与前述实施例的一种基于交通监控视频的目标检测跟踪方法相似，因此一种基于交通监控视频的目标检测跟踪装置的实施可以参见前述一种基于交通监控视频的目标检测跟踪方法的实施例，重复之处不再赘述。
作为本发明实施例的又一方面，如图6所示，提供了一种基于交通监控视频的目标检测跟踪装置，所述装置包括：
图像获取模块11：用于获取交通监控视频连续的图像帧；
目标检测模块12，用于对图像帧目标进行分类及定位，确定图像帧的图像目标结果；
目标参数预测模块13，用于计算下一时刻图像帧预测量；
目标匹配和分配模块14，用于将同一时刻图像帧预测量与图像目标结果计算重叠度评价后，利用匈牙利算法对重叠度进行评价，输出图像帧的目标***。
本发明实施例采用回归的检测方法进行路上目标的检测，即在YOLO的基础上融合了基于候选的检测方法中计算目标位置窗口的方式，在保证回归速度的情况下提高了检测准确度，有效的提高了时效性；而且，由于路上目标的数量较多，同时外观、尺寸差距明显，本实施例例用预测值与目标***重叠度对相邻帧画面中的目标匹配进行评价，并使用匈牙利方法进行数据关联；实现了快速、鲁棒的路上目标自动化检测跟踪技术。
基于同一发明构思，本发明实施例还提供了存储介质，由于本实施存储介质所解决问题的原理与前述实施例的一种基于交通监控视频的目标检测跟踪方法相似，因此存储介质的实施可以参见前述一种基于交通监控视频的目标检测跟踪方法的实施例，重复之处不再赘述。
作为本发明实施例的另一方面，提供了一种存储介质，所述存储介质中存储有如上述任一项实施例所述的一种基于交通监控视频的目标检测跟踪装置。
本领域内的技术人员应明白，本发明的实施例可提供为方法、***、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (10)
1.一种基于交通监控视频的目标检测跟踪方法，其特征在于，所述方法包括：
S1获取交通监控视频连续的图像帧；
S2通过目标检测模块对图像帧目标进行分类及定位，确定图像帧的图像目标结果；
S3通过目标预测参数模块计算下一时刻图像帧预测量；
S4将同一时刻图像帧预测量与图像目标结果输入目标匹配和分配模块计算重叠度评价后，利用匈牙利算法对重叠度进行评价，输出图像帧的目标***。
2.如权利要求1所述的目标检测跟踪方法，其特征在于，所述“S2通过目标检测模块对图像帧目标进行分类及定位，确定图像帧的图像目标结果”的步骤为利用基于YOLOv3网络的对图像帧目标进行分类及定位，包括：
S21将图像帧划分为S*S个网格；
S22检测是否有目标的中心落在网格中；若网格中存在目标中心，则转S23，若网格中不存在目标中心，则转S29；
S23检测该网格中的目标；
S24预测目标对应的B个边框；
S25计算边框的中心坐标、宽高、置信度评分；
S26预测目标属于某一类的概率；
S27通过置信度评分和目标属于某一类的概率计算目标边框类的相关置信度；
S28输出图像目标结果；
S29输出无目标信息。
3.如权利要求1所述的目标检测跟踪方法，其特征在于，所述“S3通过目标预测参数模块计算下一时刻图像帧预测量”的步骤包括：
通过卡尔曼滤波算法对目标***或图像目标结果进行图像帧下一时刻的状态预测；状态参量包括目标的位置参量、速度参量、加速度参量以及检测框的尺寸参量、尺寸变化参量；将所述状态参量组成状态向量，前一帧和当前帧的目标检测结果组成量测向量，以高斯白噪声为***噪声和量测噪声，组建卡尔曼滤波方程组，预测状态向量下一时刻图的值为在下一时刻图像帧预测量。
4.如权利要求1所述的目标检测跟踪方法，其特征在于，所述“S4将同一时刻图像帧预测量与图像目标结果输入目标匹配和分配模块计算重叠度评价后，利用匈牙利算法对重叠度进行评价，输出图像帧的目标***”的步骤包括：
S41计算第k帧的目标检测结果和第k-1帧目标***或第k-1帧目标检测结果k时刻的预测值两两之间的全部重叠度；
S42根据匈牙利算法对重叠度进行评价，得到目标检测结果和目标***之间的一对一最大匹配；
S43输出目标匹配结果为第k帧目标***。
5.如权利要求4所述的目标检测跟踪方法，其特征在于，所述“S41计算第k帧的目标检测结果和第k-1帧目标***或第k-1帧目标检测结果k时刻的预测值两两之间的全部重叠度”的步骤包括：
所述重叠度为候选框与原标记框的交叠率，利用重叠度计算同一时刻图像帧预测量与图像目标结果之间的距离，所述重叠度的计算式如下：
其中c为候选框；g为原标记框；area表示面积；IOU为重叠度。
6.如权利要求4所述的目标检测跟踪方法，其特征在于，所述“S42根据匈牙利算法对重叠度进行评价，得到目标检测结果和目标***之间的一对一最大匹配”的步骤还包括，
根据匹配结果进行目标分配，若有目标检测结果无对应的***，则创建目标***，若目标***无对应的目标检测结果，暂存目标***或保留目标***。
7.如权利要求2所述的目标检测跟踪方法，其特征在于，所述步骤还包括参照了VOC2007数据集对于目标的标准格式制作路上目标数据集。
8.如权利要求1-7任意所述的目标检测跟踪方法，其特征在于，所述目标的类型包括行人、骑自行车人、骑三轮车人、轿车、运动型实用汽车、客车、货车中的一项或多项。
9.一种基于交通监控视频的目标检测跟踪装置，其特征在于，所述装置包括：
图像获取模块：用于获取交通监控视频连续的图像帧；
目标检测模块，用于利用基于YOLOv3网络对图像帧目标进行分类及定位，确定图像帧的图像目标结果；
目标参数预测模块，用于采用卡尔曼滤波算法计算下一时刻图像帧预测量；
目标匹配和分配模块，用于将同一时刻图像帧预测量与图像目标结果计算重叠度评价后，利用匈牙利算法对重叠度进行评价，输出图像帧的目标***。
10.一种存储介质，其特征在于，所述存储介质中存储有如权利要求1-8任意所述的一种基于交通监控视频的目标检测跟踪方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010346849.XA CN112241969A (zh) | 2020-04-28 | 2020-04-28 | 基于交通监控视频的目标检测跟踪方法、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010346849.XA CN112241969A (zh) | 2020-04-28 | 2020-04-28 | 基于交通监控视频的目标检测跟踪方法、装置及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112241969A true CN112241969A (zh) | 2021-01-19 |
Family
ID=74170469
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010346849.XA Pending CN112241969A (zh) | 2020-04-28 | 2020-04-28 | 基于交通监控视频的目标检测跟踪方法、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112241969A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112949401A (zh) * | 2021-02-01 | 2021-06-11 | 浙江大华技术股份有限公司 | 图像分析方法、装置、设备及计算机存储介质 |
| CN112991393A (zh) * | 2021-04-15 | 2021-06-18 | 北京澎思科技有限公司 | 目标检测与跟踪方法、装置、电子设备及存储介质 |
| CN113077496A (zh) * | 2021-04-16 | 2021-07-06 | 中国科学技术大学 | 基于轻量级YOLOv3的实时车辆检测、跟踪方法和***及介质 |
| CN113177461A (zh) * | 2021-04-25 | 2021-07-27 | 台州智必安科技有限责任公司 | 一种基于硬件前端的乘客附属物检测方法及*** |
| CN113688797A (zh) * | 2021-09-27 | 2021-11-23 | 江南大学 | 一种基于骨架提取的异常行为识别方法及*** |
| CN113744316A (zh) * | 2021-09-08 | 2021-12-03 | 电子科技大学 | 一种基于深度神经网络的多目标跟踪方法 |
| CN115148025A (zh) * | 2022-06-28 | 2022-10-04 | 重庆长安汽车股份有限公司 | 一种交通目标轨迹预测方法及可读存储介质 |
| CN115731516A (zh) * | 2022-11-21 | 2023-03-03 | 国能九江发电有限公司 | 一种基于目标跟踪的行为识别方法、设备及存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018099032A1 (zh) * | 2016-11-29 | 2018-06-07 | 深圳云天励飞技术有限公司 | 一种目标跟踪方法及装置 |
| CN109118523A (zh) * | 2018-09-20 | 2019-01-01 | 电子科技大学 | 一种基于yolo的图像目标跟踪方法 |
| CN109816690A (zh) * | 2018-12-25 | 2019-05-28 | 北京飞搜科技有限公司 | 基于深度特征的多目标追踪方法及*** |
| CN109829445A (zh) * | 2019-03-01 | 2019-05-31 | 大连理工大学 | 一种视频流中的车辆检测方法 |
| CN110276780A (zh) * | 2019-06-17 | 2019-09-24 | 广州织点智能科技有限公司 | 一种多目标跟踪方法、装置、电子设备及存储介质 |
| CN110717403A (zh) * | 2019-09-16 | 2020-01-21 | 国网江西省电力有限公司电力科学研究院 | 一种人脸多目标跟踪方法 |
| CN110738690A (zh) * | 2019-09-16 | 2020-01-31 | 南京理工大学 | 一种基于多目标追踪框架的无人机视频中车速校正方法 |
-
2020
- 2020-04-28 CN CN202010346849.XA patent/CN112241969A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018099032A1 (zh) * | 2016-11-29 | 2018-06-07 | 深圳云天励飞技术有限公司 | 一种目标跟踪方法及装置 |
| CN109118523A (zh) * | 2018-09-20 | 2019-01-01 | 电子科技大学 | 一种基于yolo的图像目标跟踪方法 |
| CN109816690A (zh) * | 2018-12-25 | 2019-05-28 | 北京飞搜科技有限公司 | 基于深度特征的多目标追踪方法及*** |
| CN109829445A (zh) * | 2019-03-01 | 2019-05-31 | 大连理工大学 | 一种视频流中的车辆检测方法 |
| CN110276780A (zh) * | 2019-06-17 | 2019-09-24 | 广州织点智能科技有限公司 | 一种多目标跟踪方法、装置、电子设备及存储介质 |
| CN110717403A (zh) * | 2019-09-16 | 2020-01-21 | 国网江西省电力有限公司电力科学研究院 | 一种人脸多目标跟踪方法 |
| CN110738690A (zh) * | 2019-09-16 | 2020-01-31 | 南京理工大学 | 一种基于多目标追踪框架的无人机视频中车速校正方法 |
Non-Patent Citations (2)
| Title |
|---|
| 刘军 等: "基于增强Tiny YOLOV3算法的车辆实时检测与跟踪", 农业工程学报, vol. 35, no. 08, 23 April 2019 (2019-04-23), pages 118 - 125 * |
| 陈慧岩: "《智能车辆理论与应用》", 31 July 2018, 北京理工大学出版社, pages: 074 - 076 * |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112949401A (zh) * | 2021-02-01 | 2021-06-11 | 浙江大华技术股份有限公司 | 图像分析方法、装置、设备及计算机存储介质 |
| CN112949401B (zh) * | 2021-02-01 | 2024-03-26 | 浙江大华技术股份有限公司 | 图像分析方法、装置、设备及计算机存储介质 |
| CN112991393A (zh) * | 2021-04-15 | 2021-06-18 | 北京澎思科技有限公司 | 目标检测与跟踪方法、装置、电子设备及存储介质 |
| CN113077496A (zh) * | 2021-04-16 | 2021-07-06 | 中国科学技术大学 | 基于轻量级YOLOv3的实时车辆检测、跟踪方法和***及介质 |
| CN113177461A (zh) * | 2021-04-25 | 2021-07-27 | 台州智必安科技有限责任公司 | 一种基于硬件前端的乘客附属物检测方法及*** |
| CN113744316A (zh) * | 2021-09-08 | 2021-12-03 | 电子科技大学 | 一种基于深度神经网络的多目标跟踪方法 |
| CN113688797A (zh) * | 2021-09-27 | 2021-11-23 | 江南大学 | 一种基于骨架提取的异常行为识别方法及*** |
| CN115148025A (zh) * | 2022-06-28 | 2022-10-04 | 重庆长安汽车股份有限公司 | 一种交通目标轨迹预测方法及可读存储介质 |
| CN115148025B (zh) * | 2022-06-28 | 2023-10-20 | 重庆长安汽车股份有限公司 | 一种交通目标轨迹预测方法及可读存储介质 |
| CN115731516A (zh) * | 2022-11-21 | 2023-03-03 | 国能九江发电有限公司 | 一种基于目标跟踪的行为识别方法、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112241969A (zh) | 基于交通监控视频的目标检测跟踪方法、装置及存储介质 | |
| Gurghian et al. | Deeplanes: End-to-end lane position estimation using deep neural networksa | |
| Liu et al. | A vision-based pipeline for vehicle counting, speed estimation, and classification | |
| CN109800689B (zh) | 一种基于时空特征融合学习的目标跟踪方法 | |
| CN108304798B (zh) | 基于深度学习及运动一致性的街面秩序事件视频检测方法 | |
| WO2023065395A1 (zh) | 作业车辆检测与跟踪方法和*** | |
| Wojek et al. | Monocular visual scene understanding: Understanding multi-object traffic scenes | |
| CN108171112A (zh) | 基于卷积神经网络的车辆识别与跟踪方法 | |
| Mallikarjuna et al. | Traffic data collection under mixed traffic conditions using video image processing | |
| CN110533695A (zh) | 一种基于ds证据理论的轨迹预测装置及方法 | |
| Romdhane et al. | An improved traffic signs recognition and tracking method for driver assistance system | |
| CN104378582A (zh) | 一种基于ptz摄像机巡航的智能视频分析***及方法 | |
| CN112836640A (zh) | 一种单摄像头多目标行人跟踪方法 | |
| CN106570490B (zh) | 一种基于快速聚类的行人实时跟踪方法 | |
| CN102447835A (zh) | 无盲区多目标协同跟踪方法及*** | |
| Tourani et al. | Motion-based vehicle speed measurement for intelligent transportation systems | |
| CN107025657A (zh) | 一种基于视频图像的车辆行为轨迹检测方法 | |
| CN111881749A (zh) | 基于rgb-d多模态数据的双向人流量统计方法 | |
| Buch et al. | Vehicle localisation and classification in urban CCTV streams | |
| CN111666860A (zh) | 一种车牌信息与车辆特征融合的车辆轨迹跟踪方法 | |
| CN105469427A (zh) | 一种用于视频中目标跟踪方法 | |
| CN114463390A (zh) | 耦合车队跟驰强化的多孪生对抗网络跨相机车辆追踪方法 | |
| CN114820765A (zh) | 图像识别方法、装置、电子设备及计算机可读存储介质 | |
| Abbas | V-ITS: Video-based intelligent transportation system for monitoring vehicle illegal activities | |
| Zernetsch et al. | Cyclist Trajectory Forecasts by Incorporation of Multi-View Video Information |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: 100176 floor 10, building 1, zone 2, yard 9, Taihe 3rd Street, Beijing Economic and Technological Development Zone, Daxing District, Beijing Applicant after: Beijing National New Energy Vehicle Technology Innovation Center Co.,Ltd. Address before: 100089 1705 100176, block a, building 1, No. 10, Ronghua Middle Road, Beijing Economic and Technological Development Zone, Daxing District, Beijing Applicant before: BEIJING NEW ENERGY VEHICLE TECHNOLOGY INNOVATION CENTER Co.,Ltd. |
|
| CB02 | Change of applicant information |