CN112651994A - 地面多目标跟踪方法 - Google Patents
地面多目标跟踪方法 Download PDFInfo
- Publication number
- CN112651994A CN112651994A CN202011505895.6A CN202011505895A CN112651994A CN 112651994 A CN112651994 A CN 112651994A CN 202011505895 A CN202011505895 A CN 202011505895A CN 112651994 A CN112651994 A CN 112651994A
- Authority
- CN
- China
- Prior art keywords
- target
- detection
- frame
- image
- tracking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000001514 detection method Methods 0.000 claims abstract description 113
- 238000005457 optimization Methods 0.000 claims abstract description 49
- 238000012549 training Methods 0.000 claims abstract description 16
- 238000004364 calculation method Methods 0.000 claims abstract description 10
- 238000001914 filtration Methods 0.000 claims abstract description 9
- 238000000605 extraction Methods 0.000 claims description 13
- 230000006870 function Effects 0.000 claims description 12
- 230000000007 visual effect Effects 0.000 claims description 12
- 238000011478 gradient descent method Methods 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 4
- 238000013145 classification model Methods 0.000 claims description 3
- 230000005764 inhibitory process Effects 0.000 claims 1
- 238000012545 processing Methods 0.000 abstract description 9
- 238000012544 monitoring process Methods 0.000 description 5
- 239000002245 particle Substances 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 239000002253 acid Substances 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开的一种地面多目标跟踪方法，属于图像处理技术领域，具有控制简单、定位准确，能提高目标跟踪的稳定性和可靠性。本发明通过下述技术方案实现：根据PTZ相机传入的图像中目标检测结果和标定后目标的位置信息与图像信息，训练候选检测优化模型，利用标定后目标的位置信息与图像信息训练深度网络模型，基于候选优化模块提供的目标，预测下一帧中目标的位置过计算位置交并比与外观相似度进行数据关联；对检测目标进行过滤，得到检测优化检测目标；选择匈牙利算法将交并比大于阈值的跟踪目标与检测目标进行关联，根据预测后的T+1帧跟踪目标和优化后的T+1帧检测目标的位置信息以及外观信息进行多层数据关联，完成多目标跟踪。
Description
技术领域
本发明属于图像处理技术领域，特别涉及一种基于PTZ相机的多目标跟踪酸法，用于在PTZ相机场景下对指定目标的跟踪定位。
背景技术
在智能监控中，跟踪运动目标是一个难点，智能监控平台基于先进的计算机网络技术、多媒体技术，通讯技术和自动化技术，提出全面解决方案，实现本地/异地，大范围对监控点进行监控，并可对各种设备的相关参数进行采集，传输和处理，完成数据交换和警视联动，体现监控自动化。在视频监控领域中，由于摄像机是固定且不能控制，因此就无法得到充分有效的图像信息，这种被动视觉***的实用性就会大大降低。全面把握现场动态双PTZ摄像机立体视觉***下的目标定位问题是指通过可变视角和可变焦距的左右摄像机拍摄移动目标的多组图像，并结合相关的图像处理算法，实现对移动目标三维空间坐标的获取。其中，特征提取与立体匹配是双目立体视觉***的重要组成部分，也是实现高精度目标定位的关键。因此，如何在左右摄像机获取的图像对中选取具有空间位置一致性的特征点就成了实现准确目标定位的难点和关键。在目标跟踪过程中，直方图具有较好的稳定性，不受目标的外形和比例变化的影响，但模板需要自适应的更新。一种高效的模式匹配算法，不需要进行穷尽搜索，计算量比较小，独立于目标特征的描述；但不能跟踪小且快的运动目标，不能在目标全遮挡时恢复目标跟踪。粒子滤波算法能够解决***的非线形和多高斯的问题，跟踪小而快的运动物体，在目标全遮挡时恢复目标跟踪；但粒子滤波存在粒子匮乏问题，有限的粒子不能反映概率分布，增加粒子数也就相应的增加了计算量，无法满足实时的要求。
多目标跟踪是现在很多图像处理课题中很重要的一项任务。例如运动分析，视频监视和自动驾驶。多目标跟踪算法旨在提取目标信息直至当前帧以进行运动预测，而无需更改身份ID。但现有的表示方法还是在或多或少的方面存在不同的缺点。因此，更好的目标跟踪方法仍然需要被发现。
目前关于主动跟踪技术的研究主要是使用两个摄像机来完成,一个固定摄像机作为主摄像机,一个PTZ摄像机作为辅助摄像机。主摄像机用来对整个视野进行分析、处理图像、计算目标位置及产生控制指令,辅助摄像机根据主摄像机的指令进行录像、锁定跟踪等操作。单PTZ直接进行主动跟踪的方法很少,主要采用人工神经网络和离散活动摄像机的运动等,这些方法计算量大,复杂度高很难进行实时处理。基于PTZ摄像机的目标跟踪又称为主动目标跟踪，指图像工作站通过对CCD所获取的视频图像序列进行处理，进一步对运动目标进行检测、分割和跟踪，将得到的目标质心偏离视场中心区域的偏差值回馈给云台控制***，控制其全方位转动，实现摄像机对目标的实时跟。由于PTZ摄像头的拍摄范围广阔、多变，存在不同焦距下的不同场景细节信息。在PTZ摄像机下构建背景模型比较困难，而有效的算法多基于固定摄像头。笔者通过目标建模定位，采用Mean-shift算法进行目标的检测和跟踪，获取目标运动信息，模型基于不同的图像特征，也对应不同的特征空间。而对基于Mean-shift的目标跟踪，目标和候选目标的模型往往是对目标区域的图像特征进行统计而得到的离散概率密度函数，即归一化的直方图向量在复杂背景图像中，由于目标的形变，不能简单地以边缘形状特征进行模板匹配。传统的Mean-shift算法采用核直方图模型对目标进行建模，只保留较少的空间信息，导致该方法跟踪结果的精确性较低，并且无法很好地处理遮挡的情形。在实际***中，由于被跟踪目标运动的随机性，很难用精确的数学模型来描述；大尺度出现在图像中心，但由于视场狭小丢失了全景信息，难以直观获得目标在场景中的位置。多目标跟踪的典型解决方案是检测加跟踪。但是，在复杂的PTZ场景中，即使领先的探测器也会产生错误的检测结果，丢失的检测结果以及不准确的边界框，这些问题导致跟踪目标无法匹配合适的检测目标，从而增加假阴性(FN)，假阳性(FP)并影响跟踪的准确性。此外，对象与对象的遮挡会混淆外观特征造成身份ID的交换。
数据关联是多对象跟踪中的另一项任务，它通过将每个轨道与检测候选进行匹配以维护身份ID来完成，这有两个主要步骤。前者专注于需要结合目标的时空信息的运动预测。后者是通过比较特征相似度以关联候选者并抵制对象-对象遮挡来设计外观模块。然而，现如今算法多将运动模块和外观模块分为两部分，不仅不能充分利用目标的特征，而且增加了计算复杂度。因此如何对检测目标进行优化，并充分利用好深度学习网络提取的图像特征是当前多目标跟踪领域极需解决的问题。
雷达目标的多目标跟踪中,雷达目标环境一般包括空中目标,地面和海面目标.其中空中目标由于其背景非常干净,而且目标密度有限,所以对跟踪***来说是比较容易实现的；海面目标同空中目标类似,并且海面目标的机动性能非常有限,所以跟踪***也很容易实现，但是地面目标同它们相比却要复杂得多.地面目标的跟踪很困难，主要有两方面原因:一方面是雷达目标环境的复杂性,雷达必须在强杂波环境中检测目标,虚警,杂波的大量存在,给雷达数据处理的计算量,处理速度提出了很高的要求；另一方面是雷达目标运动的复杂性,由于地面高,低速及非机动,高机动目标的同时存在,使得地面目标的跟踪问题变得很复杂.因此,要完成地面目标的跟踪,其中跟踪滤波算法的合理设计是能否完成多目标跟踪,满足跟踪精度和满足***实时性要求的关键。
发明内容
本发明针对传统目标跟踪算法无法适应PTZ场景以及无法充分利用深度学习提取的图像特征的问题，本发明的目的在于提供一种具有控制简单、定位准确，能提高目标跟踪的稳定性和可靠性。基于PTZ相机的多目标跟踪定位方法。
为了达到上述目的，本发明采用如下技术方案：一种地面多目标跟踪方法，其特征在于，包括如下步骤：
基于PTZ相机，采集PTZ相机场景下需要跟踪的目标图像，并对场景下的目标进行标定，确定目标；输入标定后目标的PTZ视角相机图像，根据PTZ相机传入的图像中目标检测结果和标定后目标的位置信息与图像信息，训练候选检测优化模型，候选目标优化模型将纠正错误的边界框并消除冗余的边界框，利用标定后目标的位置信息与图像信息训练深度网络模型、联合孪生网络模型和检测优化模型合并位置预测模块与外观特征提取模块，基于候选优化模块提供的目标，联合孪生网络对将提取每一个需要跟踪的目标的图像特征并预测在下一帧中目标的位置过计算位置交并比与外观相似度进行数据关联，确定目标的ID；检测优化模型选用ResNet-50作为骨干网络，选择随机梯度下降法进行优化，基于已训练的残差网络ResNet-50提取PTZ图像传入的图像的全局特征，获取基于残差网络ResNet-50全局图像特征，将图像的全局特征映射到ROI-pooling层，并根据检测目标的位置信息获得各个目标的外观信息，利用Softmax分类函数-LossandSmooth与回归损失函数L1-Loss得到各目标的分类分数以及回归目标边界；设置分类分数阈值和交并比阈值，对检测目标进行过滤，得到检测优化检测目标；联合孪生网络模型选取经过ImageNet预训练的AlexNet网络，获取各目标在T帧图像特征，以T帧中各目标为中心的T+1帧模板图像特征，根据已训练的联合孪生网络提取目标图像与模板图像的特征，通过卷积搜索图像特征与模板图像特征，卷积预测目标在T+1帧中的位置，根据T帧目标预测的位置以及T+1帧检测优化模型的输出结果，计算T+1帧预测目标位置与检测目标位置的交并比与所有目标的余弦距离，利用焦点损失函数FocalLoss训练非平衡数据集多分类模型，结合目标检测中的回归损失函数IOULoss获得目标分类模板与回归模板，根据两模板信息得到预测目标的位置与目标边界框；选择匈牙利算法将交并比大于阈值的跟踪目标与检测目标进行一次关联，匹配预测目标与检测目标；根据预测后的T+1帧跟踪目标和优化后的T+1帧检测目标的位置信息以及外观信息进行多层数据关联，完成多目标跟踪，输出图像T+1帧跟踪目标。
本发明同现有技术相比，其有益效果表现在：
本发明针对视觉跟踪中运动目标的大小随时间改变这一问题,采用候选目标优化模型将纠正错误的边界框并消除冗余的边界框，可以抵消图像处理的预测值pM和从相机机械运动的延时误差，利用标定后目标的位置信息与图像信息训练深度网络模型，利用深度学习充分学习PTZ相机视场下目标的外观语义特征，优化该场景下目标检测误检、不准确的边界框的问题。优化了PTZ相机视场下由于漏检、误检的问题。利用当前视频帧的前景物体的检测结果优化跟踪结果，具有控制简单，场景定位速度较快、准确度较高。
本发明采用联合孪生网络模型，检测优化模型，合并位置预测模块与外观特征提取模块，基于候选优化模块提供的目标，联合孪生网络对将提取每一个需要跟踪的目标的图像特征并预测在下一帧中目标的位置过计算位置交并比与外观相似度进行数据关联，确定目标的ID；同时合并外观特征提取模块与位置预测模块，通过多层数据关联方式进行多目标跟踪，定位准确，克服了计算机视觉中由于视野范围有限难以大范围和多角度跟踪的缺陷。本发明采用检测优化模型选用ResNet-50作为骨干网络，选择随机梯度下降法进行优化，基于已训练的ResNet-50网络，提取PTZ图像传入的图像的全局特征，获取基于ResNet-50全局图像特征，将图像的全局特征映射到ROI-pooling层，并根据检测目标的位置信息获得各个目标的外观信息，利用激活函数Softmax将输入向量归一化映射到一个类别概率分布，回归损失函数Lossand Smooth与L1-Loss归一化为一个概率分布，得到各目标的分类分数以及回归目标边界，由于ResNet50模型识别图像的正确率高于其余网络,达到98.75％,具有较强的特征提取能力.提高了目标跟踪的稳定性，对高机动目标同样具有良好的跟踪性能。
本发明设置分类分数阈值和交并比阈值，对检测目标进行过滤，得到检测优化检测目标；联合孪生网络模型选取经过ImageNet预训练的AlexNet网络，获取各目标在T帧图像特征，以T帧中各目标为中心的T+1帧模板图像特征，根据已训练的联合孪生网络提取目标图像与模板图像的特征，通过卷积搜索图像特征与模板图像特征，卷积预测目标在T+1帧中的位置，根据T帧目标预测的位置以及T+1帧检测优化模型的输出结果，计算T+1帧预测目标位置与检测目标位置的交并比与所有目标的余弦距离，增强了计算效率，还可以进一步提高计算速度。
本发明利用FocalLoss与IOULoss获得目标分类模板与回归模板，根据两模板信息得到预测目标的位置与目标边界框；设置分类分数阈值和交并比阈值，对检测目标进行过滤，得到检测优化检测目标；联合孪生网络模型选取经过ImageNet预训练的AlexNet网络，获取各目标在T帧图像特征，以T帧中各目标为中心的T+1帧模板图像特征，根据已训练的联合孪生网络提取目标图像与模板图像的特征，通过卷积搜索图像特征与模板图像特征，卷积预测目标在T+1帧中的位置，根据T帧目标预测的位置以及T+1帧检测优化模型的输出结果，计算T+1帧预测目标位置与检测目标位置的交并比与所有目标的余弦距离，利用FocalLoss与IOULoss获得目标分类模板与回归模板，可在当前帧中搜索与目标模型最相似的潜在目标，根据两模板信息得到预测目标的位置与目标边界框；解决了特定条件下自适应跟踪框问题。实验结果表明,当运动目标的实际大小变化不大时,自适应跟踪框可以精确地标出目标。提高了目标跟踪的可靠性。不仅非常适合机动目标跟踪,同时对非机动,低速目标都有相当好的跟踪性能,非常适合于机载雷达对地多目标跟踪。
本发明利用深度学习了方式，学习PTZ相机视角场景下目标外观语义特征，优化该场景下目标检测误检、不准确的边界框的问题。选用联合孪生神经网络合并多目标跟踪中位置预测模块与外观特征提取模块，采集PTZ相机场景下需要跟踪的目标图像并标定目标在图像中的具***置；采用ResNet-50训练检测优化模型、采用AlexNet训练联合孪生网络模型特征提取；基于已训练检测优化模块提取T帧全局图像特征，根据先前检测边界框的结果，获取PTZ相机视角下各目标的置信度并设置阈值以此来优化T帧检测的误检与边界框；提高了多目标跟踪的计算效率。
本发明基于已训练联合孪生网络提取缩放至127x127的目标图像的特征以及下一帧以目标为中心303x303的模板图像的特征，通过特征卷积预测T+1帧图像目标位置，根据预测后的T+1帧跟踪目标和优化后的T+1帧检测目标的位置信息以及外观信息进行多层数据关联，完成多目标跟踪选择匈牙利算法将交并比大于阈值的跟踪目标与检测目标进行一次关联，匹配预测目标与检测目标；根据预测后的T+1帧跟踪目标和优化后的T+1帧检测目标的位置信息以及外观信息进行多层数据关联，完成多目标跟踪，输出图像T+1帧跟踪目标，提高了跟踪目标的准确。
本发明可用于大场景下相机多目标跟踪定位。
附图说明
图1是本发明中原始图像实施基于PTZ相机的地面多目标跟踪多目标跟踪定位方法的流程图；
下面将结合附图及具体实施方式对本发明作进一步的描述。
具体实施方式
参阅图1。根据本发明，基于PTZ相机，采集PTZ相机场景下需要跟踪的目标图像，并对场景下的目标进行标定，确定目标；输入标定后目标的PTZ视角相机图像，根据PTZ相机传入的图像中目标检测结果和标定后目标的位置信息与图像信息，训练候选检测优化模型，候选目标优化模型将纠正错误的边界框并消除冗余的边界框，利用标定后目标的位置信息与图像信息训练深度网络模型、联合孪生网络模型和检测优化模型合并位置预测模块与外观特征提取模块，基于候选优化模块提供的目标，联合孪生网络对将提取每一个需要跟踪的目标的图像特征并预测在下一帧中目标的位置过计算位置交并比与外观相似度进行数据关联，确定目标的ID；检测优化模型选用ResNet-50作为骨干网络，选择随机梯度下降法进行优化，基于已训练的残差网络ResNet-50提取PTZ图像传入的图像的全局特征，获取基于残差网络ResNet-50全局图像特征，将图像的全局特征映射到ROI-pooling层，并根据检测目标的位置信息获得各个目标的外观信息，利用Softmax分类函数-LossandSmooth与回归损失函数L1-Loss得到各目标的分类分数以及回归目标边界；设置分类分数阈值和交并比阈值，对检测目标进行过滤，得到检测优化检测目标；联合孪生网络模型选取经过ImageNet预训练的AlexNet网络，获取各目标在T帧图像特征，以T帧中各目标为中心的T+1帧模板图像特征，根据已训练的联合孪生网络提取目标图像与模板图像的特征，通过卷积搜索图像特征与模板图像特征，卷积预测目标在T+1帧中的位置，根据T帧目标预测的位置以及T+1帧检测优化模型的输出结果，计算T+1帧预测目标位置与检测目标位置的交并比与所有目标的余弦距离，利用焦点损失函数FocalLoss训练非平衡数据集多分类模型，结合目标检测中的回归损失函数IOULoss获得目标分类模板与回归模板，根据两模板信息得到预测目标的位置与目标边界框；选择匈牙利算法将交并比大于阈值的跟踪目标与检测目标进行一次关联，匹配预测目标与检测目标；根据预测后的T+1帧跟踪目标和优化后的T+1帧检测目标的位置信息以及外观信息进行多层数据关联，完成多目标跟踪，输出图像T+1帧跟踪目标。
检测优化偶模型选用ResNet-50作为骨干网络，选择动量为0.9，衰减为5×10-4，学习率为10-5的随机梯度下降法进行优化，在训练期间每3个周期以焦点参数γ＝0.1来降低学习率，以此训练测优化模型；检测优化偶模型基于已训练的ResNet-50网络，提取PTZ图像传入的图像的全局特征；
检测优化偶模型将图像的全局特征映射到ROI-pooling层，并根据检测目标的位置信息获得各个目标的外观信息，利用Softmax-LossandSmooth与L1-Loss得到各目标的分类分数以及回归目标边界；设置分类分数阈值τsd＝0.5，对检测目标进行过滤；设置交并比阈值τiou＝0.3，根据非极大值抑制算法对检测目标进行二次过滤，得到最终检测目标；
检测优化偶模型设置交并比阈值τiou＝0.7与余弦距离τcos＝0.6.以余弦距离作为基础，利用匈牙利算法将交并比大于阈值的跟踪目标与检测目标进行关联，以余弦距离作为基础，利用匈牙利算法将交并比大于0的跟踪目标与检测目标进行二次关联，其中未关联上的检测目标将列为新的跟踪目标，删除连续30帧皆未被关联上的跟踪目标。
检测优化偶模型将标定后的目标边界框图像缩放至127x127作为模板图像，以目标坐标为中心在下一帧中获取303x303搜索图像，并选取经过ImageNet预训练的AlexNet网络作为骨干网络，在训练时固定AlexNet中第一层与第三层的网络参数，选择动量为0.9，学习率为10-3的随机梯度下降法进行优化，以此来训练联合孪生网络模型；
深度网络模型根据PTZ相机传入的第T帧图像，截取以目标为中心的127x127的模板图像，在T+1帧截取以T帧目标为中心的303x303的搜索图像。根据已训练的联合孪生网络提取目标图像与模板图像的特征并保存；
深度网络模型通过卷积搜索图像特征与模板图像特征，利用FocalLoss与IOULoss获得目标分类模板与回归模板，根据两模板信息得到预测目标的位置与目标边界框，根据T帧目标预测的位置以及T+1帧检测优化模型的输出结果，L1范数，L2范数计算位置回归Loss以及两者所有目标的交并比IoU去判断是否检测到目标是有一个界限，其中IoU是真实框和预测框的交集和并集之比。
深度网络模型设置交并比阈值τiou＝0.7与余弦距离τcos＝0.6.选择匈牙利算法将交并比大于阈值的跟踪目标与检测目标进行一次关联；利用匈牙利算法将交并比大于0的跟踪目标与检测目标进行二次关联；未关联上的检测目标将列为新的跟踪目标，删除连续30帧皆未被关联上的跟踪目标。
在可选的实施例中：
PTZ相机视角下的多目标跟踪算法，输入需要进行跟踪的图像信息通过ResNet-50提取全局图像特征，并映射到ROI-pooling层，根据目标检测结果的位置信息获取检测目标图像对应的外观信息，其中边界框为D＝(x，y，w，h),(x，y)表示左上点，(w，h)表示宽度和高度。
本实施例设置分类分数阈值τsd＝0.5，对检测目标进行一次过滤，设置交并比阈值τiou＝0.3，根据非极大值抑制算法对检测目标进行二次过滤优化目标检测结果。
合并位置预测模块对优化后的检测结果边界框区域的大小缩放至127×127，已缩放后的目标区域为中心在下一帧图像中截取303×303的搜索区域，外观特征提取模块通过AlexNet两个区域提取特征，并利用区域候选网络RPN分类分支(cls)和边框回归分支(bboxreg)分别对这堆anchor进行各种计算，获得分类特征图和回归特征图，利用分类特征图和图像位置之间存在映射关系来预测目标在T+1帧中的位置。
外观特征提取模块基于各目标的预测位置边界框以及外观特征，可以将空间亲和力和外观亲和力应用于数据关联。其中空间亲和力表示预测目标的边界框和优化后的检测目标的边界框在T+1帧之间的交并比，外观亲和力表示预测目标的外观特征和优化后的检测目标的外观特征在T+1帧之间的余弦距离。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。
Claims (10)
1.一种地面多目标跟踪方法，其特征在于，包括如下步骤：
基于PTZ相机，采集PTZ相机场景下需要跟踪的目标图像，并对场景下的目标进行标定，确定目标；输入标定后目标的PTZ视角相机图像，根据PTZ相机传入的图像中目标检测结果和标定后目标的位置信息与图像信息，训练候选检测优化模型，候选目标优化模型将纠正错误的边界框并消除冗余的边界框，利用标定后目标的位置信息与图像信息训练深度网络模型、联合孪生网络模型和检测优化模型合并位置预测模块与外观特征提取模块，基于候选优化模块提供的目标，联合孪生网络对将提取每一个需要跟踪的目标的图像特征并预测在下一帧中目标的位置过计算位置交并比与外观相似度进行数据关联，确定目标的ID；检测优化模型选用ResNet-50作为骨干网络，选择随机梯度下降法进行优化，基于已训练的残差网络ResNet-50提取PTZ图像传入的图像的全局特征，获取基于残差网络ResNet-50全局图像特征，将图像的全局特征映射到ROI-pooling层，并根据检测目标的位置信息获得各个目标的外观信息，利用Softmax分类函数-LossandSmooth与回归损失函数L1-Loss得到各目标的分类分数以及回归目标边界；设置分类分数阈值和交并比阈值，对检测目标进行过滤，得到检测优化检测目标；联合孪生网络模型选取经过ImageNet预训练的AlexNet网络，获取各目标在T帧图像特征，以T帧中各目标为中心的T+1帧模板图像特征，根据已训练的联合孪生网络提取目标图像与模板图像的特征，通过卷积搜索图像特征与模板图像特征，卷积预测目标在T+1帧中的位置，根据T帧目标预测的位置以及T+1帧检测优化模型的输出结果，计算T+1帧预测目标位置与检测目标位置的交并比与所有目标的余弦距离，利用焦点损失函数FocalLoss训练非平衡数据集多分类模型，结合目标检测中的回归损失函数IOULoss获得目标分类模板与回归模板，根据两模板信息得到预测目标的位置与目标边界框；选择匈牙利算法将交并比大于阈值的跟踪目标与检测目标进行一次关联，匹配预测目标与检测目标；根据预测后的T+1帧跟踪目标和优化后的T+1帧检测目标的位置信息以及外观信息进行多层数据关联，完成多目标跟踪，输出图像T+1帧跟踪目标。
2.根据权利要求1所述的一种地面多目标跟踪方法，其特征在于，检测优化偶模型选用ResNet-50作为骨干网络，选择随机梯度下降法进行优化，以此训练测优化模型将已训练的ResNet-50网络，提取PTZ图像传入的图像的全局特征。
3.根据权利要求2所述的一种地面多目标跟踪方法，其特征在于，检测优化偶模型将图像的全局特征映射到ROI-pooling层，并根据检测目标的位置信息获得各个目标的外观信息，利用Softmax-LossandSmooth与L1-Loss得到各目标的分类分数以及回归目标边界，设置分类分数阈值τsd＝0.5，对检测目标进行过滤；设置交并比阈值τiou＝0.3，根据非极大值抑制算法对检测目标进行二次过滤，得到最终检测目标。
4.根据权利要求1所述的一种地面多目标跟踪方法，其特征在于，检测优化偶模型将标定后的目标边界框图像缩放至127x127作为模板图像，以目标坐标为中心在下一帧中获取303x303搜索图像，并选取经过ImageNet预训练的AlexNet网络作为骨干网络，在训练时固定AlexNet中第一层与第三层的网络参数，选择动量为0.9，学习率为10-3的随机梯度下降法进行优化，以此来训练联合孪生网络模型。
5.根据权利要求1所述的一种地面多目标跟踪方法，其特征在于，深度网络模型根据PTZ相机传入的第T帧图像，截取以目标为中心的127x127的模板图像，在T+1帧截取以T帧目标为中心的303x303的搜索图像，根据已训练的联合孪生网络提取目标图像与模板图像的特征并保存。
6.根据权利要求1所述的一种地面多目标跟踪方法，其特征在于，深度网络模型通过卷积搜索图像特征与模板图像特征，利用FocalLoss与IOULoss获得目标分类模板与回归模板，根据两模板信息得到预测目标的位置与目标边界框，根据T帧目标预测的位置以及T+1帧检测优化模型的输出结果，L1范数，L2范数计算位置回归Loss以及两者所有目标的交并比IoU去判断是否检测到目标是有一个界限，其中IoU是真实框和预测框的交集和并集之比。
7.根据权利要求1所述的一种地面多目标跟踪方法，其特征在于，深度网络模型设置交并比阈值τiou＝0.7与余弦距离τcos＝0.6.选择匈牙利算法将交并比大于阈值的跟踪目标与检测目标进行一次关联；利用匈牙利算法将交并比大于0的跟踪目标与检测目标进行二次关联；未关联上的检测目标将列为新的跟踪目标，删除连续30帧皆未被关联上的跟踪目标。
8.根据权利要求1所述的一种地面多目标跟踪方法，其特征在于，合并位置预测模块对优化后的检测结果边界框区域的大小缩放至127×127，已缩放后的目标区域为中心在下一帧图像中截取303×303的搜索区域，外观特征提取模块通过AlexNet两个区域提取特征，并利用区域候选网络RPN分类分支(cls)和边框回归分支(bbox reg)分别对这堆anchor进行各种计算，获得分类特征图和回归特征图，利用分类特征图和图像位置之间存在映射关系来预测目标在T+1帧中的位置。
9.根据权利要求1所述的一种地面多目标跟踪方法，其特征在于，外观特征提取模块基于各目标的预测位置边界框以及外观特征，将空间亲和力和外观亲和力应用于数据关联，其中空间亲和力表示预测目标的边界框和优化后的检测目标的边界框在T+1帧之间的交并比，外观亲和力表示预测目标的外观特征和优化后的检测目标的外观特征在T+1帧之间的余弦距离。
10.根据权利要求1所述的一种地面多目标跟踪方法，其特征在于，检测优化偶模型设置交并比阈值τiou＝0.7与余弦距离τcos＝0.6.以余弦距离作为基础，利用匈牙利算法将交并比大于阈值的跟踪目标与检测目标进行关联，以余弦距离作为基础，利用匈牙利算法将交并比大于0的跟踪目标与检测目标进行二次关联，其中未关联上的检测目标将列为新的跟踪目标，删除连续30帧皆未被关联上的跟踪目标。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011505895.6A CN112651994A (zh) | 2020-12-18 | 2020-12-18 | 地面多目标跟踪方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011505895.6A CN112651994A (zh) | 2020-12-18 | 2020-12-18 | 地面多目标跟踪方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112651994A true CN112651994A (zh) | 2021-04-13 |
Family
ID=75355190
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011505895.6A Pending CN112651994A (zh) | 2020-12-18 | 2020-12-18 | 地面多目标跟踪方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112651994A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113159032A (zh) * | 2021-04-22 | 2021-07-23 | 平安科技（深圳）有限公司 | 基于目标检测网络的目标跟踪方法、装置、设备及介质 |
| CN113362373A (zh) * | 2021-06-01 | 2021-09-07 | 北京首都国际机场股份有限公司 | 基于双孪生网络的复杂机坪区域内飞机跟踪方法 |
| CN113506317A (zh) * | 2021-06-07 | 2021-10-15 | 北京百卓网络技术有限公司 | 一种基于Mask R-CNN和表观特征融合的多目标跟踪方法 |
| CN114581684A (zh) * | 2022-01-14 | 2022-06-03 | 山东大学 | 基于语义时空表示学习的主动目标跟踪方法、***及设备 |
Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107133970A (zh) * | 2017-03-30 | 2017-09-05 | 北京航空航天大学 | 基于运动信息的在线多目标跟踪方法及装置 |
| CN108206941A (zh) * | 2017-09-27 | 2018-06-26 | 深圳市商汤科技有限公司 | 目标跟踪方法、***、终端设备及存储介质 |
| WO2019015544A1 (zh) * | 2017-07-20 | 2019-01-24 | 杭州海康威视数字技术股份有限公司 | 一种机器学习、寻物方法及装置 |
| CN109816690A (zh) * | 2018-12-25 | 2019-05-28 | 北京飞搜科技有限公司 | 基于深度特征的多目标追踪方法及*** |
| CN110569782A (zh) * | 2019-09-05 | 2019-12-13 | 辽宁科技大学 | 一种基于深度学习目标检测方法 |
| WO2019237536A1 (zh) * | 2018-06-11 | 2019-12-19 | 平安科技（深圳）有限公司 | 目标实时跟踪方法、装置、计算机设备及存储介质 |
| US20200051250A1 (en) * | 2018-08-08 | 2020-02-13 | Beihang University | Target tracking method and device oriented to airborne-based monitoring scenarios |
| CN111126152A (zh) * | 2019-11-25 | 2020-05-08 | 国网信通亿力科技有限责任公司 | 一种基于视频的多目标行人检测与跟踪的方法 |
| CN111161311A (zh) * | 2019-12-09 | 2020-05-15 | 中车工业研究院有限公司 | 一种基于深度学习的视觉多目标跟踪方法及装置 |
| CN111353580A (zh) * | 2020-02-03 | 2020-06-30 | 中国人民解放军国防科技大学 | 目标检测网络的训练方法、电子设备及存储介质 |
| WO2020155873A1 (zh) * | 2019-02-02 | 2020-08-06 | 福州大学 | 一种基于深度表观特征和自适应聚合网络的多人脸跟踪方法 |
| CN111640136A (zh) * | 2020-05-23 | 2020-09-08 | 西北工业大学 | 一种复杂环境中的深度目标跟踪方法 |
| CN111667501A (zh) * | 2020-06-10 | 2020-09-15 | 杭州海康威视数字技术股份有限公司 | 目标跟踪方法、装置、计算设备及存储介质 |
| CN111814905A (zh) * | 2020-07-23 | 2020-10-23 | 上海眼控科技股份有限公司 | 目标检测方法、装置、计算机设备和存储介质 |
| CN112036500A (zh) * | 2020-09-04 | 2020-12-04 | 广东弓叶科技有限公司 | 基于深度图像及多光谱图像融合的垃圾分类方法及装置 |
| CN112055158A (zh) * | 2020-10-16 | 2020-12-08 | 苏州科达科技股份有限公司 | 目标跟踪方法、监控设备、存储介质及*** |
-
2020
- 2020-12-18 CN CN202011505895.6A patent/CN112651994A/zh active Pending
Patent Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107133970A (zh) * | 2017-03-30 | 2017-09-05 | 北京航空航天大学 | 基于运动信息的在线多目标跟踪方法及装置 |
| WO2019015544A1 (zh) * | 2017-07-20 | 2019-01-24 | 杭州海康威视数字技术股份有限公司 | 一种机器学习、寻物方法及装置 |
| CN108206941A (zh) * | 2017-09-27 | 2018-06-26 | 深圳市商汤科技有限公司 | 目标跟踪方法、***、终端设备及存储介质 |
| WO2019237536A1 (zh) * | 2018-06-11 | 2019-12-19 | 平安科技（深圳）有限公司 | 目标实时跟踪方法、装置、计算机设备及存储介质 |
| US20200051250A1 (en) * | 2018-08-08 | 2020-02-13 | Beihang University | Target tracking method and device oriented to airborne-based monitoring scenarios |
| CN109816690A (zh) * | 2018-12-25 | 2019-05-28 | 北京飞搜科技有限公司 | 基于深度特征的多目标追踪方法及*** |
| WO2020155873A1 (zh) * | 2019-02-02 | 2020-08-06 | 福州大学 | 一种基于深度表观特征和自适应聚合网络的多人脸跟踪方法 |
| CN110569782A (zh) * | 2019-09-05 | 2019-12-13 | 辽宁科技大学 | 一种基于深度学习目标检测方法 |
| CN111126152A (zh) * | 2019-11-25 | 2020-05-08 | 国网信通亿力科技有限责任公司 | 一种基于视频的多目标行人检测与跟踪的方法 |
| CN111161311A (zh) * | 2019-12-09 | 2020-05-15 | 中车工业研究院有限公司 | 一种基于深度学习的视觉多目标跟踪方法及装置 |
| CN111353580A (zh) * | 2020-02-03 | 2020-06-30 | 中国人民解放军国防科技大学 | 目标检测网络的训练方法、电子设备及存储介质 |
| CN111640136A (zh) * | 2020-05-23 | 2020-09-08 | 西北工业大学 | 一种复杂环境中的深度目标跟踪方法 |
| CN111667501A (zh) * | 2020-06-10 | 2020-09-15 | 杭州海康威视数字技术股份有限公司 | 目标跟踪方法、装置、计算设备及存储介质 |
| CN111814905A (zh) * | 2020-07-23 | 2020-10-23 | 上海眼控科技股份有限公司 | 目标检测方法、装置、计算机设备和存储介质 |
| CN112036500A (zh) * | 2020-09-04 | 2020-12-04 | 广东弓叶科技有限公司 | 基于深度图像及多光谱图像融合的垃圾分类方法及装置 |
| CN112055158A (zh) * | 2020-10-16 | 2020-12-08 | 苏州科达科技股份有限公司 | 目标跟踪方法、监控设备、存储介质及*** |
Non-Patent Citations (8)
| Title |
|---|
| REN S等: ""Faster R-CNN：towards real-time object detection with region proposal networks"", 《IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING》 * |
| XIANG J等: ""Online multi-object tracking based on feature representation and bayesian filtering within a deep learning architecture"", 《IEEE ACCESS》 * |
| XU YIHONG等: ""How to train your deep multi-object tracker"", 《2020 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 * |
| 张正本等: ""基于卡尔曼一致滤波和分布式协作网络控制的多目标跟踪"", 《电子测量与仪器学报》 * |
| 牛通等: ""基于深度学习的分层关联多行人跟踪"", 《计算机工程与应用》 * |
| 赵文娟等: ""多要地防空的威胁判断研究"", 《中国西部科技》 * |
| 邓磊等: ""采用地平面约束的双目PTZ主从跟踪方法"", 《红外与激光工程》 * |
| 龚轩等: ""多目标跟踪中的数据关联技术综述"", 《计算机科学》 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113159032A (zh) * | 2021-04-22 | 2021-07-23 | 平安科技（深圳）有限公司 | 基于目标检测网络的目标跟踪方法、装置、设备及介质 |
| CN113159032B (zh) * | 2021-04-22 | 2023-06-30 | 平安科技（深圳）有限公司 | 基于目标检测网络的目标跟踪方法、装置、设备及介质 |
| CN113362373A (zh) * | 2021-06-01 | 2021-09-07 | 北京首都国际机场股份有限公司 | 基于双孪生网络的复杂机坪区域内飞机跟踪方法 |
| CN113362373B (zh) * | 2021-06-01 | 2023-12-15 | 北京首都国际机场股份有限公司 | 基于双孪生网络的复杂机坪区域内飞机跟踪方法 |
| CN113506317A (zh) * | 2021-06-07 | 2021-10-15 | 北京百卓网络技术有限公司 | 一种基于Mask R-CNN和表观特征融合的多目标跟踪方法 |
| CN113506317B (zh) * | 2021-06-07 | 2022-04-22 | 北京百卓网络技术有限公司 | 一种基于Mask R-CNN和表观特征融合的多目标跟踪方法 |
| CN114581684A (zh) * | 2022-01-14 | 2022-06-03 | 山东大学 | 基于语义时空表示学习的主动目标跟踪方法、***及设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109685066B (zh) | 一种基于深度卷积神经网络的矿井目标检测与识别方法 | |
| CN113034548B (zh) | 一种适用于嵌入式终端的多目标跟踪方法及其*** | |
| CN112651994A (zh) | 地面多目标跟踪方法 | |
| WO2016131300A1 (zh) | 一种自适应跨摄像机多目标跟踪方法及*** | |
| CN113985445A (zh) | 一种基于相机与激光雷达数据融合的3d目标检测算法 | |
| CN105160649A (zh) | 基于核函数非监督聚类的多目标跟踪方法及*** | |
| Wang et al. | An overview of 3d object detection | |
| CN110969648A (zh) | 一种基于点云序列数据的3d目标跟踪方法及*** | |
| CN109271927A (zh) | 一种空基多平台的协同监视方法 | |
| CN110826575A (zh) | 一种基于机器学习的水下目标识别方法 | |
| CN114926859A (zh) | 一种结合头部跟踪的密集场景下行人多目标跟踪方法 | |
| Ferguson et al. | A 2d-3d object detection system for updating building information models with mobile robots | |
| CN116363171A (zh) | 一种融合点云与图像信息的三维多目标跟踪方法 | |
| Zhu et al. | A review of 6d object pose estimation | |
| CN113947770B (zh) | 一种识别物体放置于智能箱柜不同区域的方法 | |
| Sriram et al. | Analytical review and study on object detection techniques in the image | |
| CN110636248B (zh) | 目标跟踪方法与装置 | |
| Tsintotas et al. | Visual place recognition for simultaneous localization and mapping | |
| CN116912763A (zh) | 一种融合步态人脸模态的多行人重识别方法 | |
| CN116862832A (zh) | 一种基于三维实景模型的作业人员定位方法 | |
| Lin et al. | 3d multi-object tracking based on radar-camera fusion | |
| CN115767424A (zh) | 一种基于rss与csi融合的视频定位方法 | |
| Wang et al. | Global Localization in Large-scale Point Clouds via Roll-pitch-yaw Invariant Place Recognition and Low-overlap Global Registration | |
| Zhang et al. | Real TimeDetection and Tracking Method of Pilot’sHeadPositionBased on MTCNN-DeepSORT | |
| CN116508071A (zh) | 用于注释汽车雷达数据的***和方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210413 |
|
| RJ01 | Rejection of invention patent application after publication |