CN111986225A - 一种基于角点检测和孪生网络的多目标跟踪方法及装置 - Google Patents
一种基于角点检测和孪生网络的多目标跟踪方法及装置 Download PDFInfo
- Publication number
- CN111986225A CN111986225A CN202010820741.XA CN202010820741A CN111986225A CN 111986225 A CN111986225 A CN 111986225A CN 202010820741 A CN202010820741 A CN 202010820741A CN 111986225 A CN111986225 A CN 111986225A
- Authority
- CN
- China
- Prior art keywords
- target
- tracking
- network
- detection
- twin
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 103
- 238000000034 method Methods 0.000 title claims abstract description 69
- 238000001914 filtration Methods 0.000 claims abstract description 26
- 238000013528 artificial neural network Methods 0.000 claims abstract description 21
- 230000008569 process Effects 0.000 claims abstract description 21
- 230000008901 benefit Effects 0.000 claims abstract description 11
- VEMKTZHHVJILDY-UHFFFAOYSA-N resmethrin Chemical compound CC1(C)C(C=C(C)C)C1C(=O)OCC1=COC(CC=2C=CC=CC=2)=C1 VEMKTZHHVJILDY-UHFFFAOYSA-N 0.000 claims abstract description 8
- 238000005520 cutting process Methods 0.000 claims abstract description 7
- 239000011159 matrix material Substances 0.000 claims description 10
- 238000005457 optimization Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 9
- 238000013135 deep learning Methods 0.000 description 7
- 230000000007 visual effect Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 238000012795 verification Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000003902 lesion Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
- 229910009207 xMxN Inorganic materials 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20164—Salient point detection; Corner detection
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于角点检测和孪生网络的多目标跟踪方法及装置。其是采用了一种优秀的跟踪框架,包括三部分,其一是该方法先利用角点检测对全局的目标进行检测,该方法是利用交火模块大大减小了主干网络的参数量;其二是在得到检测结果后裁取需要跟踪的目标,利用孪生神经网络算法继续跟踪,并利用孪生神经网络速度快的优势并行进行多目标的跟踪;最后是跟踪过程利用卡尔曼滤波去除跟踪噪音。本发明将基于角点与卡尔曼滤波的跟踪算法应用到多目标跟踪上,结合孪生神经网络算法的优势,很好的完成了多目标跟踪的目标任务,比起传统方法跟踪精度与准确度都得到了不少的提升。
Description
技术领域
本发明涉及视觉跟踪领域,尤指一种基于角点检测和孪生网络的多目标跟踪方法及装置。
背景技术
几十年来视觉跟踪一直是计算机视觉领域研究的热点。视觉跟踪任务的目标是在一系列时序图像中检测连续运动的物体,获得物体的运动数据,进一步提取物体运动轨迹,并对物体运动进行运动分析,从而实现对物体运动行为的理解。在航天领域,火箭发射需要追踪火箭的运动轨迹,进而处理分析火箭运动状态;在医学领域,追踪技术可以用在定位病变,分析病变运动变化从而辅助完成治疗;在商业领域,利用追踪统计客流量与分析客流运动状态具有极高的商业价值。目标追踪技术应用场景广泛并且复杂,设计一个精确、鲁棒的***至关重要。由于商业、工业、军事、医学等应用场景的需求,目标跟踪技术研究极具价值。
近年来,深度学习技术成为人们研究重点,其深刻改变了计算机视觉传统思维。在视觉的各个领域,深度学习一项项刷新了传统方法的精度,同时使得运算效率大幅提升。目标检测、图像分割、图像语义理解、目标跟踪等等都是深度学习成功应用方向。视觉跟踪涌现了一大批基于深度学习的算法,这些方法很好的解决了视觉跟踪领域特有的问题,如目标尺度、光照变化、运动模糊。虽然基于深度学习的目标跟踪算法带来了良好的精确度和性能,但是由于目标跟踪问题的复杂性,算法研究还要解决很多问题,以满足实际生产生活需求。
对于基于孪生神经网络的目标跟踪算法,大多数都是提取目标的深度特征再对模版进行匹配,不能识别物体本身的语义信息,一旦跟踪失败不能恢复跟踪。例如发明名称为《一种基于深度学习的视觉多目标跟踪方法及装置》,申请号:CN201911252433.5的中国发明申请。
为此本发明公开了一种基于角点检测和孪生网络的多目标跟踪方法。
发明内容
为解决上述问题,本发明主要目的在于,提供一种基于角点检测和孪生网络的多目标跟踪方法,是一种可对全局目标进行检测的多目标跟踪方法,该方法通过角点检测对全局的目标进行检测,并利用孪生神经网络速度优势进行逐个目标的跟踪,最后结合卡尔曼滤波对跟踪效果优化,能减少运动噪音对跟踪的影响。
本发明的一种基于角点检测和孪生网络的多目标跟踪方法采用一种优秀的跟踪框架,包括三部分,其一是该方法先利用角点检测对全局的目标进行检测,该方法是利用交火模块大大减小了主干网络的参数量;其二是在得到检测结果后裁取需要跟踪的目标,利用孪生神经网络算法继续跟踪,并利用孪生神经网络速度快的优势并行进行多目标的跟踪;最后是跟踪过程利用卡尔曼滤波去除跟踪噪音。
虽然孪生神经网络速度快,但是会出现跟踪失败不能恢复的问题。此问题出现的原因是SiameseFC跟踪基于裁取得图像相似度匹配而不是整个图像进行目标搜索。跟踪过程中的输入图像是上一帧图像按照跟踪目标中心裁取的相同大小的图像,如果跟踪目标快速移动出裁取范围或者发生遮挡,SiameseFC会丢失跟踪的目标。此外相似度匹配的目标跟踪算法只能进行单目标的跟踪,不能直接对多个目标进行跟踪。
基于角点目标检测算法是基于全局图像的检测,可以检测输出多个目标物体,并且稳定性较高,即使跟踪失败也能在后续检测过程中恢复跟踪。但是基于角点目标检测方法存在的问题是跟踪速度相对较慢,如果用于多目标跟踪方法将不能实现实时跟踪,因此需要优化角点检测算法的速度。为了结合两个网络的优势,本发明提出了基于孪生网络和角点检测的多目标跟踪方法。算法首先利用角点检测对全局的目标进行检测,在得到检测结果后裁取需要跟踪的目标,利用孪生神经网络算法继续跟踪,一旦跟踪失败则保留目标信息,在后续目标检测中进行匹配,跟踪目标再次出现时继续跟踪。多目标的孪生网络跟踪过程中并行执行,跟踪成功则继续跟踪。跟踪成功与否通过当前帧特征与初始帧特征进行相似度匹配,当两者差值大于阈值时判断为目标丢失。目标目标丢失后,需要保存目标的特征信息,即SiameseFC输出的用于跟踪的匹配特征。
本发明采用CornerNet-Squeeze网络作为全局目标检测网络,该网络利用SqueezeNet中的优化方法将残差模块替换为交火模块(Fire module),该方法大大提升了目标检测方法的速度。
本发明还提供了一种基于角点检测和孪生网络的多目标跟踪装置,其包含:图像捕捉模块,用以获取跟踪用图像;全局目标检测网络模块,采用角点检测网络对输入的图像进行全局的目标进行检测,并在得到检测结果后裁取需要跟踪的目标;多目标的跟踪模块,接收全局目标检测网络模块需要跟踪的目标,并利用孪生神经网络算法对所述目标进行继续追踪。
进一步的,还可包含一个卡尔曼滤波模块,以在跟踪过程利用卡尔曼滤波去除跟踪噪音。作为一种优选,所述全局目标检测网络模块是采用CornerNet-Squeeze网络作为全局目标检测网络。
本发明有益效果在于,借助上述技术方案,相对于现有技术具有如下优点:
1.本方法利用角点检测获取目标的大小位置信息,相比与传统的矩形框的检测大大提高了检测精度。
2.本方法采用SqueezeNet优化角点检测,利用CornerNet-Squeeze作为目标检测网络,对全局目标进行检测。相比与CornerNet大大减少了参数量,提高了检测速度。
3.方法采用孪生神经网络对目标逐个跟踪,提高了跟踪速度。
4.本方法采用卡尔曼滤波的思想,跟踪过程利用卡尔曼滤波去除跟踪噪音。
附图说明
图1为CornerNet目标检测算法框架;
图2交火模块示意图;
图3深度可分离卷积示意图;
图4 SiameseFC网络结构示意图;
图5基于孪生网络和角点检测的多目标跟踪算法示意图;
图6典型的MOT2015视频序列示例;
图7卡尔曼滤波对基于角点的目标跟踪算法改进。
具体实施方式
下面通过实施例,并结合附图,对本发明的技术方案做进一步具体的说明。
1、角点检测网络
该方法把目标检测问题进行了转化,把通过将目标框的预测转化为了目标框的两个角点,左上角和右下角。对于一个目标来说,一对左上角和右下角足以可以确定目标大小和位置信息。目标框这个概念是一种人类的抽象,是不存在于自然界的,深度学习本身并不能习得目标框的概念。通过问题转化,目标在图像中是存在边界信息的,而边界信息是在图像中真实存在的,如何利用好目标边界信息是一个非常值得研究的问题。CornerNet给出了一个解决方案,算法通过特殊的池化层可以将边界信息归一化到一个中心位置,通过两个角点位置进行目标的检测与分类,再在大量标注数据上学习就可以完成目标检测任务。
如图1所示,为CornerNet目标检测框架算法框架,其是由沙漏网络(HourglassNetwork)作为主干网络,沙漏网络最初应用在医学目标检测当中。由于医学上病变目标大小不一的特点,沙漏网络结构由多层级的残差网络加上跳跃连接构成,利用多层级的自顶向下和自底向上的结构可以使网络感受野范围更广。沙漏网络在医学目标检测上取得了很好的性能,继而推广到通用的目标检测上来,目前沙漏网络广泛用于多尺度目标检测当中。沙漏网络的输出分为两个部分,分别是左上角和右下角两个特征图。特征图经过CornerPooling输出网络的预测,预测包含角点的位置信息(Heatmaps)、角点对匹配(Embedings)和偏差修正(Offsets)三部分。Heatmaps直接与目标角点位置标注进行学习,用于减小位置误差。Embedings是为了区分不同目标的角点对的特征向量,同一目标的角点对差值最小,不同目标的角点对差值最大。由于最后特征输出特征太小,对应到原图尺寸会有偏差,因此需要Offsets来消除因尺寸映射导致的微小偏差。
2、SqueezeNet网络
参见图2所示,为交火模块示意图,图3为深度可分离卷积示意图。
SqueezeNet是将残差模块替换为交火模块(Fire module)。在交火模块中,两个3×3的标准卷积被1×1的卷积和3×3的可分离卷积代替,如图2。深度可分离卷积最开始由MobileNet提出,其卷积结构如图3所示。标准卷积的卷积核尺寸为Dk×Dk×M×N,深度可分离卷积将卷积核分为M个通道,尺寸为Dk×Dk×1。一个卷积核负责一个通道的卷积操作,且一个通道只被一个卷积核卷积。经过此改进,交火模块比原有的残差模块参数量减少了7倍,虽然精度略有下降,但是以少量精度损失换取速度上的提升是值得的。本章提出的基于孪生网络和角点检测的多目标跟踪算法目标检测部分采用预训练的CornerNet-Squeeze模型。
3、SiameseFC网络
如图4所示,为SiameseFC网络结构示意图。SiameseFC主干网络采用Alexnet,去掉了其中的全连接层,由5个卷积与2个池化层组成,如图4所示。图中x是跟踪目标,围绕跟踪目标剪裁成127×127大小的图像,z是目标搜索区域,区域围绕跟踪目标中心剪裁成256×256大小的图像。分别将x与z输入网络后得到特征图,以搜索目标输出的响应图作为滤波器,对另一个特征图进行卷积操作,卷积对结果是对跟踪目标与搜索区域的相似性度量。如果卷积的区域越相似,那么其响应的值更大。在网络输出中的Feature map中响应最大值就是目标中心所在的位置。
网络优化目标函数如式1,其中y是网络预测输出,是样本标签。距离跟踪目标中心16个像素以内设标签为1,为正样本,反之设为-1。llogis是对数损失函数,如式2。计算出损失函数后,利用梯度反向传播迭代训练。训练完成后,跟踪过程首先计算跟踪目标的特征并保存到内存中,跟踪时根据上一帧目标位置确定搜索区域。为了适应目标尺寸的变化,增加了多尺度的搜索区域输入到网络当中,根据衰减权重确定最终的目标尺寸。SiameseFC模型最终学习到的网络结构同时包含特征表达与相似性度量,端到端的完成了跟踪任务,由于压缩了跟踪过程,计算效率大大提升达到100Fps。
4、卡尔曼滤波
卡尔曼滤波对物体线性运动过程建模,并利用模型对观测噪音进行滤波。卡尔曼滤波自提出以来,成为控制***的基本理论,其广泛应用于运动***状态估计当中。在测量过程当中,不可避免的会造成观测误差,而物体运动状态可以去建模估计。观测值与预测值都是物***置的反映,物***置状态是真实准确存在的,而观测值与预测值都是包含噪音的,卡尔曼滤波的作用就是对两个值进行滤波,对物体真实的位置进行修正。卡尔曼滤波在数学上是寻找方差最小的估计值,是一种最优估计滤波。
在目标跟踪当中,物体是一个线性运动物体。而检测模型会有一定误差。当物体在t1时刻检测到位置x1,此刻噪声误差为u,物体经过运动后在t2时刻再次接收到检测位置x2......,物体经过运动后在tn时刻接收到检测位置xn。由于噪声的存在,物体检测的位置是不准确的,根据物体运行的时间和速度也可以得到一个物体的位置xt。xn与xt都是对物***置的一种估计,且两种位置具有统计意义上的均值、方差。
卡尔曼滤波的作用就是根据xn与xt的均值与方差去分配位置权重,并估计物体真实的位置,这个权重就是卡尔曼滤波的增益Kt,如式5。物体的状态预测方程为式3,其中F是状态转换矩阵,是由上一位置预测下一位置,汽物体运动模型的状态转换矩阵由速度加速度构成,B是控制输入矩阵,***控制量对物体运动进行作用。式5中Pt是对预测状态对协方差矩阵进行计算,Q是预测模型的协方差矩阵。卡尔曼滤波对观测过程可以定义为式6,其中H是本身状态与观测状态转换矩阵,v是观测噪音。卡尔曼过程中的状态更新和预测状态的协方差矩阵更新如式7和式8所示。
状态预测方程:
协方差传递方程:
Pt=FPt-1FT+Q (4)
卡尔曼增益:
观测矩阵:
zt=Hxt+v (6)
状态更新:
预测状态协方差更新:
通过这六个公式,就可以完成卡尔曼滤波。观测值即为目标检测器检测到的物***置,物体运动可以用运动方程建模,这样就可以利用目标检测方法来进行目标跟踪。
以下实施例用于说明本发明,但不是用来限制本发明的范围。本发明的一种基于角点检测和孪生网络的多目标跟踪方法的具体实施例:
本具体实施例的网络环境使用Pytorch1.0,环境依赖为cuda9.0、cudnn7.5,编程语言python3.5。
1.跟踪方法实现细节:
基于角点目标检测算法是基于全局图像的检测,可以检测输出多个目标物体,并且稳定性较高,即使跟踪失败也能在后续检测过程中恢复跟踪。基于角点目标检测算法存在的问题是跟踪速度相对较慢,如果用于多目标跟踪算法将不能实现实时跟踪,因此需要优化角点检测算法的速度。结合两个算法的优势,本发明提出了基于孪生网络和角点检测的多目标跟踪算法,其算法框架如图5。算法首先利用角点检测对全局的目标进行检测,在得到检测结果后裁取需要跟踪的目标,利用孪生神经网络算法继续跟踪,一旦跟踪失败则保留目标信息,在后续目标检测中进行匹配,跟踪目标再次出现时继续跟踪。多目标的孪生网络跟踪过程中并行执行,跟踪成功则继续跟踪。跟踪成功与否通过当前帧特征与初始帧特征进行相似度匹配,当两者差值大于阈值时判断为目标丢失。目标丢失后,需要保存目标的特征信息,即SiameseFC输出的用于跟踪的匹配特征。
跟踪过程中,基于角点的检测算法是定时执行的。每次执行后产生的新的跟踪目标与当前SiameseFC跟踪的目标进行匹配,相同目标则合并执行跟踪,如果不同则去保存的特征信息里匹配,匹配成功按照原有的目标标签跟踪,如果保存的特征信息里没有匹配,则按照新的跟踪目标进行跟踪。孪生神经网络跟踪过程采用卡尔曼滤波来对目标进行运动建模,减少跟踪噪音。建模方法与前文用到的卡尔曼滤波算法相同,对跟踪目标中心位置、长宽分别进行滤波,提高跟踪精度。
如图5所示,为基于孪生网络和角点检测的多目标跟踪算法示意图。
基于角点检测和孪生网络的多目标跟踪方法如后面的程序代码表所示,输入(input)为初始目标框S0和视频流,首先利用角点检测网络对第t帧图像进行目标检测得到St,然后对S0与St进行匈牙利指派算法进行数据关联。匈牙利指派算法对两个集合IOU操作后进行划分,IOU大的优先指派为跟踪目标。然后利用SiameseFC网络对跟踪目标持续跟踪得到观测矩阵zt,n,继而更新卡尔曼滤波器参数。最后输出预测目标状态Xt,n,根据深度特征对目标进行跟踪匹配判断,如果成功继续SiameseFC跟踪并更新卡尔曼滤波器参数,如果失败则停止SiameseFC跟踪并等待目标再次出现。
实现基于孪生网络和角点检测的多目标跟踪算法示例如下程序代码表:
为了验证本发明技术方案的效果,做了如下验证:
1、MOT多目标跟踪数据集验证
多目标检测常用的验证数据集是MOT2015。MOT2015当中包含22个视频序列和11286帧的标注。典型的数据如图6所示,其为典型的MOT2015视频序列。MOT2015中定义了多种评价指标包括多目标跟踪准确度(Multiple Object Tracking Accuracy MOTA)、多目标跟踪精度(Multiple Object Tracking Precision,MOTP)等。式9与式10分别给出了MOTA与MOTP的表达式。
式9中t是帧索引,GT是标签的数量,IDSW是匹配失败的数量,FN为假负样本数量,FP是假正样本数量。式10中,ct是匹配帧的数量,dt,i是目标框与标签框的交叠比。MOTA要首先计算出跟踪错误率,跟踪错误判断包括判断错误与匹配失败的样本,1减去跟踪错误率就是多目标跟踪准确度。MOTP计算的是平均交叠比,反映的是所有目标的跟踪精度。
分别选取了两个在线和两个离线的多目标跟踪算法与本发明公开的算法进行对比实验。DP_NMS利用动态规划求得多目标轨迹最优解,并利用非极大值抑制来简化计算提高算法效率。DP_NMS算法是一种离线跟踪方法,算法复杂度与跟踪数量成线性关系。SMOT将物体动力学模型引入到跟踪当中以更好区分相似目标,算法利用广义线性分配(Generalized linear assignment,GLA)离线计算运动轨迹相似度。RMOT提出一种结构性约束事件聚合的方法用于数据关联和恢复跟踪,TC_ODAL采用全局关联来消除较长时间的物体遮挡导致的跟踪失败问题,两个算法都是在线跟踪算法的典型代表。
经试验,验证了本发明将基于角点与卡尔曼滤波的跟踪算法应用到多目标跟踪上,结合孪生神经网络算法的优势,进而提出了本发明的基于孪生网络和角点检测的多目标跟踪算法,并将该算法命名为SiamFC_Corner_Kalman。
实验结果如表1所示,SiamFC_Corner_Kalman在相关算法中取得了最好的性能,MOTA与MOTP分别达到了22.3%、72.8%,MOTA比相关算法高出约5%,MOTP比相关算法高出约2%。这证明了本发明提出的方法很好的完成了多目标跟踪的目标任务,比起传统方法跟踪精度与准确度都得到了不少的提升。
表1算法在MOT2015上的实验结果
2、卡尔曼滤波跟踪效果验证
为了验证卡尔曼滤波在目标跟踪中发挥的作用,选取了一个目标变化比较明显的视频,记录目标框中心位置的预测值与卡尔曼滤波滤波后的估计值,得到图7。图中纵轴为中心位置,横轴为视频帧。蓝色实线为卡尔曼滤波输出的位置估计,绿色虚线为基于角点检测的检测算法观测值。可以看到绿色虚线有非常多的毛刺,说明目标检测输出的结果不稳定,噪音干扰比较大,很容易跟踪丢失目标。而蓝色实线相对平滑一些,而且反映了物体真实的变化规律。实验表明卡尔曼滤波在基于目标检测框架的跟踪算法发挥了重要的作用,可以提升算法稳定性与精准度。
综上所述,与现有的孪生神经网络相比,本发明的一种基于角点检测和孪生网络的多目标跟踪方法采用针对角点检测和孪生神经网络的目标跟踪的方法有以下几点优点:
(1)使用角点检测模型可以全局对图像目标进行检测,一旦跟踪失败还可以恢复跟踪;
(2)利用孪生神经网络对目标逐个追踪速度快;
(3)卡尔曼滤波提升了跟踪的鲁棒性;
以上实施例仅用以说明本发明的技术方案而非对其限制,尽管参照上述实施例对本发明进行了详细的说明,所属领域的普通技术人员应当理解,依然可以对本发明的具体实施方式进行修改或者等同替换,而未脱离本发明精神和范围的任何修改或者等同替换,其均应涵盖在本发明的权利要求范围当中。
Claims (10)
1.一种基于角点检测和孪生网络的多目标跟踪方法,其特征在于,包含:
步骤一、利用角点检测对全局的目标进行检测,以检测输出多个目标物体,
在该步骤中,首先利用角点检测对全局的目标进行检测,在得到检测结果后裁取需要跟踪的目标;
步骤二、在步骤一得到检测结果后裁取需要跟踪的目标,利用孪生神经网络算法继续跟踪,并利用孪生神经网络速度快的优势并行进行多目标的跟踪,一旦跟踪失败则保留目标信息,在后续目标检测中进行匹配,跟踪目标再次出现时继续跟踪。
2.根据权利要求1所述的一种基于角点检测和孪生网络的多目标跟踪方法,其特征在于,在跟踪过程中,利用卡尔曼滤波去除跟踪噪音。
3.根据权利要求1或2所述的一种基于角点检测和孪生网络的多目标跟踪方法,其特征在于,在步骤一种是采用利用SqueezeNet中的优化方法将残差模块替换为交火模块的CornerNet-Squeeze网络作为全局目标检测网络。
4.根据权利要求1或2所述的一种基于角点检测和孪生网络的多目标跟踪方法,其特征在于:在步骤二中,跟踪成功与否通过当前帧特征与初始帧特征进行相似度匹配,当两者差值大于阈值时判断为目标丢失,目标丢失后,需要保存目标的特征信息,即孪生神经网络算法输出的用于跟踪的匹配特征。
5.根据权利要求4所述的一种基于角点检测和孪生网络的多目标跟踪方法,其特征在于,跟踪过程中,基于角点的检测算法是定时执行的,每次执行后产生的新的跟踪目标与当前Siames eFC跟踪的目标进行匹配,相同目标则合并执行跟踪,如果不同则去保存的特征信息里匹配,匹配成功按照原有的目标标签跟踪,如果保存的特征信息里没有匹配,则按照新的跟踪目标进行跟踪。
6.根据权利要求5所述的一种基于角点检测和孪生网络的多目标跟踪方法,其特征在于,所述孪生神经网络跟踪过程采用卡尔曼滤波来对目标进行运动建模,以减少跟踪噪音,对跟踪目标中心位置、长宽分别进行滤波,以提高跟踪精度。
7.根据权利要求6所述的一种基于角点检测和孪生网络的多目标跟踪方法,其特征在于,所述方法实现步骤为:输入为初始目标框S_0和视频流,首先利用角点检测网络对第t帧图像进行目标检测得到S_t,然后对S_(0)与〖S〗_t进行匈牙利指派算法进行数据关联;匈牙利指派算法对两个集合IOU操作后进行划分,IOU大的优先指派为跟踪目标;然后利用SiameseFC网络对跟踪目标持续跟踪得到观测矩阵z_(t,n),继而更新卡尔曼滤波器参数;最后输出预测目标状态X_(t,n),根据深度特征对目标进行跟踪匹配判断,如果成功继续SiameseFC跟踪并更新卡尔曼滤波器参数,如果失败则停止SiameseFC跟踪并等待目标再次出现。
8.一种基于角点检测和孪生网络的多目标跟踪装置,其特征在于,包含:
图像捕捉模块,用以获取跟踪用图像;
全局目标检测网络模块,采用角点检测网络对输入的图像进行全局的目标进行检测,并在得到检测结果后裁取需要跟踪的目标;
多目标的跟踪模块,接收全局目标检测网络模块需要跟踪的目标,并利用孪生神经网络算法对所述目标进行继续追踪。
9.根据权利要求8所述的一种基于角点检测和孪生网络的多目标跟踪装置,其特征在于,还包含一个卡尔曼滤波模块,以在跟踪过程利用卡尔曼滤波去除跟踪噪音。
10.根据权利要求8或9所述的一种基于角点检测和孪生网络的多目标跟踪装置,其特征在于,所述全局目标检测网络模块是采用CornerNet-Squeeze网络作为全局目标检测网络。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010820741.XA CN111986225A (zh) | 2020-08-14 | 2020-08-14 | 一种基于角点检测和孪生网络的多目标跟踪方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010820741.XA CN111986225A (zh) | 2020-08-14 | 2020-08-14 | 一种基于角点检测和孪生网络的多目标跟踪方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111986225A true CN111986225A (zh) | 2020-11-24 |
Family
ID=73435311
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010820741.XA Pending CN111986225A (zh) | 2020-08-14 | 2020-08-14 | 一种基于角点检测和孪生网络的多目标跟踪方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111986225A (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112560651A (zh) * | 2020-12-09 | 2021-03-26 | 燕山大学 | 基于深度网络和目标分割结合的目标跟踪方法及装置 |
CN112581502A (zh) * | 2020-12-23 | 2021-03-30 | 北京环境特性研究所 | 一种基于孪生网络的目标跟踪方法 |
CN114022520A (zh) * | 2021-10-12 | 2022-02-08 | 山西大学 | 一种基于卡尔曼滤波与孪生网络的机器人目标跟踪方法 |
CN114299111A (zh) * | 2021-12-21 | 2022-04-08 | 中国矿业大学 | 一种基于半监督孪生网络的红外弱小目标跟踪方法 |
CN115311241A (zh) * | 2022-08-16 | 2022-11-08 | 天地(常州)自动化股份有限公司 | 一种基于图像融合和特征增强的煤矿井下行人检测方法 |
CN116485758A (zh) * | 2023-04-25 | 2023-07-25 | 什维新智医疗科技(上海)有限公司 | 一种结节数量确定方法、***、电子设备及介质 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111027140A (zh) * | 2019-12-11 | 2020-04-17 | 南京航空航天大学 | 基于多视角点云数据的飞机标准件模型快速重构方法 |
-
2020
- 2020-08-14 CN CN202010820741.XA patent/CN111986225A/zh active Pending
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111027140A (zh) * | 2019-12-11 | 2020-04-17 | 南京航空航天大学 | 基于多视角点云数据的飞机标准件模型快速重构方法 |
Non-Patent Citations (2)
Title |
---|
张晶晶等: "基于智能驾驶的动态目标跟踪研究", 《计算机工程》 * |
鄂贵等: "基于R-FCN框架的多候选关联在线多目标跟踪", 《光电工程》 * |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112560651A (zh) * | 2020-12-09 | 2021-03-26 | 燕山大学 | 基于深度网络和目标分割结合的目标跟踪方法及装置 |
CN112581502A (zh) * | 2020-12-23 | 2021-03-30 | 北京环境特性研究所 | 一种基于孪生网络的目标跟踪方法 |
CN114022520A (zh) * | 2021-10-12 | 2022-02-08 | 山西大学 | 一种基于卡尔曼滤波与孪生网络的机器人目标跟踪方法 |
CN114022520B (zh) * | 2021-10-12 | 2024-05-28 | 山西大学 | 一种基于卡尔曼滤波与孪生网络的机器人目标跟踪方法 |
CN114299111A (zh) * | 2021-12-21 | 2022-04-08 | 中国矿业大学 | 一种基于半监督孪生网络的红外弱小目标跟踪方法 |
CN114299111B (zh) * | 2021-12-21 | 2022-11-04 | 中国矿业大学 | 一种基于半监督孪生网络的红外弱小目标跟踪方法 |
CN115311241A (zh) * | 2022-08-16 | 2022-11-08 | 天地(常州)自动化股份有限公司 | 一种基于图像融合和特征增强的煤矿井下行人检测方法 |
CN115311241B (zh) * | 2022-08-16 | 2024-04-23 | 天地(常州)自动化股份有限公司 | 一种基于图像融合和特征增强的煤矿井下行人检测方法 |
CN116485758A (zh) * | 2023-04-25 | 2023-07-25 | 什维新智医疗科技(上海)有限公司 | 一种结节数量确定方法、***、电子设备及介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111986225A (zh) | 一种基于角点检测和孪生网络的多目标跟踪方法及装置 | |
CN109636829B (zh) | 一种基于语义信息和场景信息的多目标跟踪方法 | |
CN108520530B (zh) | 基于长短时记忆网络的目标跟踪方法 | |
CN108447080B (zh) | 基于分层数据关联和卷积神经网络的目标跟踪方法、***和存储介质 | |
CN110197502B (zh) | 一种基于身份再识别的多目标跟踪方法及*** | |
US20070154066A1 (en) | Object tracking systems and methods | |
CN112288773A (zh) | 基于Soft-NMS的多尺度人体跟踪方法及装置 | |
CN112734809B (zh) | 基于Deep-Sort跟踪框架的在线多行人跟踪方法及装置 | |
CN110555868A (zh) | 一种复杂地面背景下运动小目标检测方法 | |
CN114708300B (zh) | 一种可抗遮挡的自适应目标跟踪方法及*** | |
CN110991278A (zh) | 计算机视觉***的视频中人体动作识别方法和装置 | |
CN111639570B (zh) | 一种基于运动模型和单目标线索的在线多目标跟踪方法 | |
JP7065557B2 (ja) | 人物を追跡する映像解析装置、プログラム及び方法 | |
CN110660084A (zh) | 一种多目标跟踪的方法及装置 | |
CN113129332A (zh) | 执行目标对象跟踪的方法和装置 | |
CN113902773A (zh) | 一种使用双检测器的长期目标跟踪方法 | |
CN117576380A (zh) | 一种目标自主检测跟踪方法及*** | |
CN110598614B (zh) | 一种结合粒子滤波的相关滤波目标跟踪方法 | |
CN110349184B (zh) | 基于迭代滤波和观测判别的多行人跟踪方法 | |
CN113538509B (zh) | 基于自适应相关滤波特征融合学习的视觉跟踪方法及装置 | |
CN112633078B (zh) | 目标跟踪自校正方法、***、介质、设备、终端及应用 | |
CN110781803B (zh) | 一种基于扩展卡尔曼滤波器的人体姿态识别方法 | |
CN114067240A (zh) | 一种融合行人特性的在线更新策略行人单目标跟踪方法 | |
Zheng et al. | Adaptive updating siamese network with like-hood estimation for surveillance video object tracking | |
US20210357629A1 (en) | Video processing apparatus and video processing method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20201124 |
|
RJ01 | Rejection of invention patent application after publication |