CN108830878B - 一种基于fpn神经网络的目标跟踪方法 - Google Patents

一种基于fpn神经网络的目标跟踪方法 Download PDF

Info

Publication number
CN108830878B
CN108830878B CN201810329415.1A CN201810329415A CN108830878B CN 108830878 B CN108830878 B CN 108830878B CN 201810329415 A CN201810329415 A CN 201810329415A CN 108830878 B CN108830878 B CN 108830878B
Authority
CN
China
Prior art keywords
neural network
tracking
fpn
target
fourier transform
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810329415.1A
Other languages
English (en)
Other versions
CN108830878A (zh
Inventor
罗均
高建焘
李小毛
谢少荣
彭艳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Shanghai for Science and Technology
Original Assignee
University of Shanghai for Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Shanghai for Science and Technology filed Critical University of Shanghai for Science and Technology
Priority to CN201810329415.1A priority Critical patent/CN108830878B/zh
Publication of CN108830878A publication Critical patent/CN108830878A/zh
Application granted granted Critical
Publication of CN108830878B publication Critical patent/CN108830878B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出了一种基于FPN神经网络的目标跟踪方法。该方法不再使用传统的VGG深度神经网络，而是改用FPN深度神经网络。利用FPN深度神经网络中对神经网络浅层网络输出的深度特征图所具有的空间信息和深层网络输出的深度特征图所具有的判别能力很好的融合能力，从而提高目标跟踪精度。该方法是一种实时鲁棒性的跟踪算法，在不同的跟踪场景中取得了不错的效果。

Description

一种基于FPN神经网络的目标跟踪方法
技术领域
本发明属于计算机视觉技术领域，具体涉及一种基于FPN神经网络的目标跟踪方法。
背景技术
目标跟踪由于其在行为分析、车辆导航、人机交互、医学成像、视频监控等众多领域都有着广阔的应用，从而成为计算机视觉技术最活跃的研究之一。目标跟踪是指在给定视频第一帧中的目标位置，对之后的每一帧进行目标定位。目标跟踪的核心问题紧跟随着时间不断变化的目标。尽管近年来在国内外学者的不断研究下，目标跟踪算法得到了迅速发展，但在光照变化剧烈、目标快速运动、部分遮挡等情况下仍然无法取得很好效果。
近年来，国内外学者提出了多种跟踪算法，主要可以分成两类：一类是基于对于目标本身进行描述和刻画的生成式模型；另一类旨在将目标和背景分离开的判别式模型。生成式模型重点在于建立目标外观模型的表征，虽然构建有效的外观模型以处理跟踪中的各种具有挑战性的情况至关重要，但是与此同时，也会增加很大的计算复杂度，并且还会丢弃了可用于更好地将对象与背景分离的目标区域周围的有用信息；判别式模型将跟踪问题转换为目标和背景的二分类问题，即把跟踪的目标作为前景，利用在线学习或离线训练的判断器来区分前景目标和背景，从而得到前景目标的位置。在进行判断前往往会进行特征提取，以作为判断依据提高判断的精确度，但是这也会导致有大量的候选样本需要进行特征提取，使得难以达到实时性。
相关滤波是一种传统的信号处理方法，其描述了两个样本之间的相似程度。2010年MOSSE算法将其引入到目标跟踪中，从而使得跟踪算法速度达到高速状态，但是由于其采用的是随机采样，从而导致正负训练数目不足而使得精度较低。2012年CSK算法基于MOSSE算法通过建立循环位移的结构将目标进行稠密采样，以此增加正负样本的数目，以此解决目标跟踪之中训练样本不足的问题。除此之外，通过对于这些样本进行循环位移的处理，将对目标样本的计算转化到频率域中的求解，通过使用快速傅里叶变换的方法，大大地提高目标跟踪的效率。然而CSK算法采用的是单通道灰度特征，在特征表征上不够鲁棒。针对以上问题，2015年CN算法改用多通道的颜色特征，KCF算法改用多通道HOG特征，使得精度得到提高。但是CN算法和KCF算法在卷积求解中使用的固定大小的模板，从而导致模型没有尺度自适应的功能，DSST算法在原本的位置滤波器基础上增加了一个尺度滤波器，FDSST算法在DSST算法的基础上进行改进增加其跟踪速度，SAMF算法通过多尺度采样获取候选样本来使得模型具有尺度适应性。由于使用循环位移构造样本增加正负样本数量，图像像素会跨越边界，这样就产生的错误样本，使得分类器判别力降低，即所谓的边界效应。2015年提出的SRDCF算法通过引入成一种符合空间约束的正则化权重系数从而极大地减小了边界效应，提高了跟踪精度。基于相关滤波的跟踪算法属于判别式跟踪算法，其在进行判断前往往会进行特征提取，以作为判断依据提高判断的精确度，特征的表征能力在很大程度上决定了跟踪效果。自从2012年Hinton利用AlexNet深度卷积神经网络在ImageNet图像分类比赛中一举获得第一后，深度卷积神经网络开始兴起，其在许多任务中也展现了其令人惊叹的性能，特别是其所具有的强大的特征提取能力。2015年提出DeepSRDCF算法将VGG深度卷积神经网络应用于SRDCF算法中，使得精度得到进一步的提高，但是其只能使用单层神经网络所输出的特征图，这一局限极大地限制了其原本具有的潜力。2016年C-COT算法通过训练连续性卷积滤波器的方法，从而使得能有效地结合多层神经网络输出的深度特征图。但是C-COT算法结合多层神经网络输出的深度特征图的方式只是在高维度空间上进行简单地结合，并没有很好地融合神经网络浅层网络输出的深度特征图所具有的空间信息和深层网络输出的深度特征图所具有的判别能力。
针对目前跟踪算法不能和好地融合神经网络浅层网络输出的深度特征图所具有的空间信息和深层网络输出的深度特征图所具有的判别能力，需要设计一种跟踪算法，使其能很好地利用神经网络浅层网络输出的深度特征图所具有的空间信息和深层网络输出的深度特征图所具有的判别能力，从而使得跟踪精度得到提高。
发明内容
针对现有技术存在的缺陷，本发明提出了一种基于FPN神经网络的目标跟踪方法。
为达到上述目的，本发明采用如下技术方案：
一种基于FPN神经网络的目标跟踪方法，具体步骤包括：
步骤一、对于第一帧图像t＝1，跟踪任务给予的第一帧跟踪目标的中心位置(xt,yt)以及跟踪目标区域大小信息(lt,ht)，对跟踪目标区域进行一定比例的扩大(lp,t,hp,t)＝α(lt,ht)，根据目标中心位置(xt,yt)以及扩大后的跟踪目标区域大小(lp,t,hp,t)在该帧图像中进行采样，得到训练样本；其中xt为跟踪目标中心位置的横坐标，yt为跟踪目标中心位置的纵坐标，lt为原跟踪目标区域的长度，ht为原跟踪目标区域的宽度，α为扩大比率，lp,t为扩大后跟踪目标区域的长度，hp,t为扩大后跟踪目标区域的宽度；
步骤二、对于在第一帧图像中采样得到的训练样本T，将其输入到FPN神经网络中，提取出FPN神经网络中的P2层的特征
Figure BDA0001627513410000031
其中T表示训练样本，ZT表示FPN神经网络中通道数为n的P2层特征，
Figure BDA0001627513410000032
表示FPN神经网络中的P2层的特征ZT中第n维特征；
步骤三、将训练样本T经过FPN神经网络后提取得到的P2层的特征
Figure BDA0001627513410000033
用于相关滤波器参数的计算；
步骤四、对于下一帧图像t+1，根据上一帧跟踪目标中心位置(xt,yt)以及扩大后的跟踪目标区域大小(lp,t,hp,t)，对上一帧扩大后的跟踪目标区域(lp,t,hp,t)进行多尺度缩放，得到多种候选区域大小{(lp,t+1,hp,t+1)}＝{β(lp,t,hp,t)}，其中β为缩放尺度，β＝{0.985,0.99,,0.995,1,1.005,1.01,1.015}而后，根据上一帧跟踪目标中心位置(xt,yt)和多种候选区域大小{(lp,t+1,hp,t+1)}＝{β(lp,t,hp,t)}，对该帧图像进行采样得到候选样本集X＝(X1 X2 … X7)；
步骤五、对于采样得到的候选样本集X，将其输入到FPN神经网络中，提取出FPN神经网络中的P2层的特征
Figure BDA0001627513410000034
其中
Figure BDA0001627513410000035
表示第一个候选样本X1输入到FPN神经网络中提出得到通道数为n的P2层特征，即
Figure BDA0001627513410000036
步骤六、将候选样本集每个候选样本经过FPN神经网络后提取得到的P2层的特征ZX，用于响应图的计算，最终确定该帧跟踪目标的中心位置(xt+1,yt+1)和跟踪目标区域大小(lt+1,ht+1)；
步骤七、在得到跟踪目标的中心位置和区域大小后，不断重复步骤一至步骤六、直到视频结束，完成对跟踪目标的中心位置以及区域大小的跟踪。
所述步骤三中的相关滤波器参数的计算，具体为：
首先，对P2层的特征
Figure BDA0001627513410000037
进行快速傅立叶变换，从而将其从时域变换到频域特征
Figure BDA0001627513410000038
得到
Figure BDA0001627513410000039
其次，对于每个特征通道
Figure BDA00016275134100000310
k＝1,2,…n，将其向量化后进行再构造成对角矩阵，即
Figure BDA00016275134100000311
将特征中所有通道构造成的对角矩阵
Figure BDA00016275134100000312
k＝1,2,…n重新组合构造成一个对角矩阵，即
Figure BDA0001627513410000041
利用这个对角矩阵Dt进行计算得到At和
Figure BDA0001627513410000042
其中，
Figure BDA0001627513410000043
Figure BDA0001627513410000044
其中，W为空间正则化系数构造成的正则化矩阵；
Figure BDA0001627513410000045
为高斯标签经过快速傅立叶变换和实数化后得到的标签；
最后，根据公式
Figure BDA0001627513410000046
和
Figure BDA0001627513410000047
计算得到相关滤波参数
Figure BDA0001627513410000048
具体方法如下：先将矩阵A1分解为上三角矩阵L1和下三角矩阵U1，即A1＝L1+U1；而后进行高斯-赛德尔迭代，得到实数化后的相关滤波器参数
Figure BDA0001627513410000049
最后通过计算
Figure BDA00016275134100000410
得到相关滤波器参数
Figure BDA00016275134100000411
其中B为标准正交基组成的酉矩阵，其作用是将相关滤波器参数
Figure BDA00016275134100000412
实数化。
所述步骤六具体方法如下：
首先，将候选样本集每个候选样本经过FPN神经网络后提取得到的P2层的特征ZX，进行快速傅立叶变换，得到频域特征
Figure BDA00016275134100000413
其中
Figure BDA00016275134100000414
k＝1,2…7为第k个候选样本P2层的特征
Figure BDA00016275134100000422
经过快速傅立叶变换，得到频域特征
Figure BDA00016275134100000415
而后，对于候选样本集中每个候选样本经过快速傅立叶变化的特征
Figure BDA00016275134100000416
k＝1,2…7，将其与经过快速傅立叶变换的相关滤波器参数
Figure BDA00016275134100000417
进行点乘，而后进行反傅里叶变换，得到该候选样本对应的响应图
Figure BDA00016275134100000420
k=1,2…7,即
Figure BDA00016275134100000418
其中
Figure BDA00016275134100000421
为第k个候选样本Xk,k＝1,2…7的相应图，F-1为反傅里叶变换；
最后，对于候选样本集中所有候选样本对应的响应图
Figure BDA00016275134100000419
找出响应值最大的点(xt+1,yt+1)，该点对应的位置即为该帧跟踪目标位置，该点对应的候选样本的大小即为扩大后的跟踪目标区域大小(lp,t+1,hp,t+1)，将其根据扩大比率α，计算得到目标区域大小
Figure BDA0001627513410000051
与现有技术相比，本发明方法具有如下的突出的优点：
本方法不再使用传统的VGG深度神经网络，而是改用FPN深度神经网络，本发明利用FPN深度神经网络中对神经网络浅层网络输出的深度特征图所具有的空间信息和深层网络输出的深度特征图所具有的判别能力很好的融合能力，从而提高目标跟踪精度。该方法是一种实时鲁棒性的跟踪算法，在不同的跟踪场景中取得了不错的效果。
附图说明
图1为本发明的方法流程图。
具体实施方式
下面结合附图，对本发明的具体实施例做进一步的说明。
如图1所示，一种基于FPN神经网络的目标跟踪方法，具体步骤包括：
步骤一、对于第一帧图像t＝1，跟踪任务给予的第一帧跟踪目标的中心位置(xt,yt)以及跟踪目标区域大小信息(lt,ht)，对跟踪目标区域进行一定比例的扩大(lp,t,hp,t)＝α(lt,ht)，根据目标中心位置(xt,yt)以及扩大后的跟踪目标区域大小(lp,t,hp,t)在该帧图像中进行采样，得到训练样本；其中xt为跟踪目标中心位置的横坐标，yt为跟踪目标中心位置的纵坐标，lt为原跟踪目标区域的长度，ht为原跟踪目标区域的宽度，α为扩大比率，lp,t为扩大后跟踪目标区域的长度，hp,t为扩大后跟踪目标区域的宽度；
步骤二、对于在第一帧图像中采样得到的训练样本T，将其输入到FPN神经网络中，提取出FPN神经网络中的P2层的特征
Figure BDA0001627513410000052
其中T表示训练样本，ZT表示FPN神经网络中通道数为n的P2层特征，
Figure BDA0001627513410000053
表示FPN神经网络中的P2层的特征ZT中第n维特征；
步骤三、将训练样本T经过FPN神经网络后提取得到的P2层的特征
Figure BDA0001627513410000054
用于相关滤波器参数的计算；
首先，对P2层的特征
Figure BDA0001627513410000055
进行快速傅立叶变换，从而将其从时域变换到频域特征
Figure BDA0001627513410000056
得到
Figure BDA0001627513410000057
其次，对于每个特征通道
Figure BDA0001627513410000061
k＝1,2,…n，将其向量化后进行再构造成对角矩阵，即
Figure BDA0001627513410000062
将特征中所有通道构造成的对角矩阵
Figure BDA0001627513410000063
k＝1,2,…n重新组合构造成一个对角矩阵，即
Figure BDA0001627513410000064
利用这个对角矩阵Dt进行计算得到At和
Figure BDA0001627513410000065
其中，
Figure BDA0001627513410000066
Figure BDA0001627513410000067
其中，W为空间正则化系数构造成的正则化矩阵；
Figure BDA0001627513410000068
为高斯标签经过快速傅立叶变换和实数化后得到的标签；
最后，根据公式
Figure BDA0001627513410000069
和
Figure BDA00016275134100000610
计算得到相关滤波参数
Figure BDA00016275134100000611
具体方法如下：先将矩阵A1分解为上三角矩阵L1和下三角矩阵U1，即A1＝L1+U1；而后进行高斯-赛德尔迭代，得到实数化后的相关滤波器参数
Figure BDA00016275134100000612
最后通过计算
Figure BDA00016275134100000613
得到相关滤波器参数
Figure BDA00016275134100000614
其中B为标准正交基组成的酉矩阵，其作用是将相关滤波器参数
Figure BDA00016275134100000615
实数化。
步骤四、对于下一帧图像t+1，根据上一帧跟踪目标中心位置(xt,yt)以及扩大后的跟踪目标区域大小(lp,t,hp,t)，对上一帧扩大后的跟踪目标区域(lp,t,hp,t)进行多尺度缩放，得到多种候选区域大小{(lp,t+1,hp,t+1)}＝{β(lp,t,hp,t)}，其中β为缩放尺度，β＝{0.985,0.99,,0.995,1,1.005,1.01,1.015}而后，根据上一帧跟踪目标中心位置(xt,yt)和多种候选区域大小{(lp,t+1,hp,t+1)}＝{β(lp,t,hp,t)}，对该帧图像进行采样得到候选样本集X＝(X1 X2 … X7)；
步骤五、对于采样得到的候选样本集X，将其输入到FPN神经网络中，提取出FPN神经网络中的P2层的特征
Figure BDA00016275134100000616
其中
Figure BDA00016275134100000617
表示第一个候选样本X1输入到FPN神经网络中提出得到通道数为n的P2层特征，即
Figure BDA00016275134100000618
步骤六、将候选样本集每个候选样本经过FPN神经网络后提取得到的P2层的特征ZX，用于响应图的计算，最终确定该帧跟踪目标的中心位置(xt+1,yt+1)和跟踪目标区域大小(lt+1,ht+1)；
首先，将候选样本集每个候选样本经过FPN神经网络后提取得到的P2层的特征ZX，进行快速傅立叶变换，得到频域特征
Figure BDA0001627513410000071
其中
Figure BDA0001627513410000072
k＝1,2…7为第k个候选样本P2层的特征
Figure BDA0001627513410000073
经过快速傅立叶变换，得到频域特征
Figure BDA0001627513410000074
而后，对于候选样本集中每个候选样本经过快速傅立叶变化的特征
Figure BDA0001627513410000075
k＝1,2…7，将其与经过快速傅立叶变换的相关滤波器参数
Figure BDA0001627513410000076
进行点乘，而后进行反傅里叶变换，得到该候选样本对应的响应图
Figure BDA0001627513410000077
k＝1,2…7，即
Figure BDA0001627513410000078
其中
Figure BDA0001627513410000079
为第k个候选样本Xk,k＝1,2…7的相应图，F-1为反傅里叶变换；
最后，对于候选样本集中所有候选样本对应的响应图
Figure BDA00016275134100000710
找出响应值最大的点(xt+1,yt+1)，该点对应的位置即为该帧跟踪目标位置，该点对应的候选样本的大小即为扩大后的跟踪目标区域大小(lp,t+1,hp,t+1)，将其根据扩大比率α，计算得到目标区域大小
Figure BDA00016275134100000711
步骤七、在得到跟踪目标的中心位置和区域大小后，不断重复步骤一至步骤六、直到视频结束，完成对跟踪目标的中心位置以及区域大小的跟踪。

Claims (4)

1.一种基于FPN神经网络的目标跟踪方法，其特征在于，具体步骤包括：
步骤一、对于第一帧图像t＝1，跟踪任务给予的第一帧跟踪目标的中心位置(xt,yt)以及跟踪目标区域大小信息(lt,ht)，对跟踪目标区域进行一定比例的扩大(lp,t,hp,t)＝α(lt,ht)，根据目标中心位置(xt,yt)以及扩大后的跟踪目标区域大小(lp,t,hp,t)在该帧图像中进行采样，得到训练样本；其中xt为跟踪目标中心位置的横坐标，yt为跟踪目标中心位置的纵坐标，lt为原跟踪目标区域的长度，ht为原跟踪目标区域的宽度，α为扩大比率，lp,t为扩大后跟踪目标区域的长度，hp,t为扩大后跟踪目标区域的宽度；
步骤二、对于在第一帧图像中采样得到的训练样本T，将其输入到FPN神经网络中，提取出FPN神经网络中的P2层的特征
Figure FDA0002758368160000011
其中T表示训练样本，ZT表示FPN神经网络中通道数为n的P2层特征，
Figure FDA0002758368160000012
表示FPN神经网络中的P2层的特征ZT中第n维特征；
步骤三、将训练样本T经过FPN神经网络后提取得到的P2层的特征
Figure FDA0002758368160000013
用于相关滤波器参数的计算；
步骤四、对于下一帧图像t+1，根据上一帧跟踪目标中心位置(xt,yt)以及扩大后的跟踪目标区域大小(lp,t,hp,t)，对上一帧扩大后的跟踪目标区域(lp,t,hp,t)进行多尺度缩放，得到多种候选区域大小{(lp,t+1,hp,t+1)}＝{β(lp,t,hp,t)}，其中β为缩放尺度，β＝{0.985,0.99,0.995,1,1.005,1.01,1.015}，而后，根据上一帧跟踪目标中心位置(xt,yt)和多种候选区域大小{(lp,t+1,hp,t+1)}＝{β(lp,t,hp,t)}，对该帧图像进行采样得到候选样本集X＝(X1X2…X7)；
步骤五、对于采样得到的候选样本集X，将其输入到FPN神经网络中，提取出FPN神经网络中的P2层的特征
Figure FDA0002758368160000014
其中
Figure FDA0002758368160000015
表示第一个候选样本X1输入到FPN神经网络中提出得到通道数为n的P2层特征，即
Figure FDA0002758368160000016
步骤六、将候选样本集每个候选样本经过FPN神经网络后提取得到的P2层的特征ZX，用于响应图的计算，最终确定该帧跟踪目标的中心位置(xt+1,yt+1)和跟踪目标区域大小(lt+1,ht+1)；
步骤七、在得到跟踪目标的中心位置和区域大小后，不断重复步骤一至步骤六、直到视频结束，完成对跟踪目标的中心位置以及区域大小的跟踪。
2.根据权利要求1所述的基于FPN神经网络的目标跟踪方法，其特征在于，所述步骤三中的相关滤波器参数的计算，具体为：
首先，对P2层的特征
Figure FDA0002758368160000021
进行快速傅立叶变换，从而将其从时域变换到频域特征
Figure FDA0002758368160000022
得到
Figure FDA0002758368160000023
其次，对于每个特征通道
Figure FDA0002758368160000024
将其向量化后进行再构造成对角矩阵，即
Figure FDA0002758368160000025
将特征中所有通道构造成的对角矩阵
Figure FDA0002758368160000026
重新组合构造成一个对角矩阵，即
Figure FDA0002758368160000027
利用这个对角矩阵Dt进行计算得到At和
Figure FDA0002758368160000028
其中，
Figure FDA0002758368160000029
Figure FDA00027583681600000210
其中，W为空间正则化系数构造成的正则化矩阵；
Figure FDA00027583681600000211
为高斯标签经过快速傅立叶变换和实数化后得到的标签；
最后，根据公式
Figure FDA00027583681600000212
和
Figure FDA00027583681600000213
计算得到经过快速傅立叶变换的相关滤波参数
Figure FDA00027583681600000214
其中
Figure FDA00027583681600000215
为经过快速傅立叶变换和实数化后的相关滤波参数，BH为反实数化矩阵。
3.根据权利要求2所述的基于FPN神经网络的目标跟踪方法，其特征在于，所述计算得到相关滤波参数，具体方法如下：先将矩阵At分解为上三角矩阵Lt和下三角矩阵Ut，即At＝Lt+Ut；而后进行高斯-赛德尔迭代，得到经过快速傅立叶变换和实数化的相关滤波器参数
Figure FDA00027583681600000216
最后通过计算
Figure FDA00027583681600000217
得到经过快速傅立叶变换的相关滤波器参数
Figure FDA00027583681600000218
其中B为标准正交基组成的酉矩阵，其作用是将经过快速傅立叶变换的相关滤波器参数
Figure FDA00027583681600000219
实数化。
4.根据权利要求1所述的基于FPN神经网络的目标跟踪方法，其特征在于，所述步骤六具体方法如下：
首先，将候选样本集每个候选样本经过FPN神经网络后提取得到的P2层的特征ZX，进行快速傅立叶变换，得到频域特征
Figure FDA00027583681600000220
其中
Figure FDA00027583681600000221
为第k个候选样本P2层的特征
Figure FDA0002758368160000031
经过快速傅立叶变换，得到频域特征
Figure FDA0002758368160000032
而后，对于候选样本集中每个候选样本经过快速傅立叶变化的特征
Figure FDA0002758368160000033
将其与经过快速傅立叶变换的相关滤波器参数
Figure FDA0002758368160000034
进行点乘，而后进行反傅里叶变换，得到该候选样本对应的响应图
Figure FDA0002758368160000035
即
Figure FDA0002758368160000036
其中
Figure FDA0002758368160000037
为第k个候选样本Xk,k＝1,2…7的响应图，F-1为反傅里叶变换；
最后，对于候选样本集中所有候选样本对应的响应图
Figure FDA0002758368160000038
找出响应值最大的点(xt+1,yt+1)，该点对应的位置即为该帧跟踪目标位置，该点对应的候选样本的大小即为扩大后的跟踪目标区域大小(lp,t+1,hp,t+1)，将其根据扩大比率α，计算得到目标区域大小
Figure FDA0002758368160000039
CN201810329415.1A 2018-04-13 2018-04-13 一种基于fpn神经网络的目标跟踪方法 Active CN108830878B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810329415.1A CN108830878B (zh) 2018-04-13 2018-04-13 一种基于fpn神经网络的目标跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810329415.1A CN108830878B (zh) 2018-04-13 2018-04-13 一种基于fpn神经网络的目标跟踪方法

Publications (2)

Publication Number Publication Date
CN108830878A CN108830878A (zh) 2018-11-16
CN108830878B true CN108830878B (zh) 2021-02-23

Family

ID=64155460

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810329415.1A Active CN108830878B (zh) 2018-04-13 2018-04-13 一种基于fpn神经网络的目标跟踪方法

Country Status (1)

Country Link
CN (1) CN108830878B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109741366B (zh) * 2018-11-27 2022-10-18 昆明理工大学 一种融合多层卷积特征的相关滤波目标跟踪方法
CN109767456A (zh) * 2019-01-09 2019-05-17 上海大学 一种基于SiameseFC框架和PFP神经网络的目标跟踪方法
CN109740552A (zh) * 2019-01-09 2019-05-10 上海大学 一种基于平行特征金字塔神经网络的目标跟踪方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105741316A (zh) * 2016-01-20 2016-07-06 西北工业大学 基于深度学习和多尺度相关滤波的鲁棒目标跟踪方法
CN106506999A (zh) * 2016-10-18 2017-03-15 天津大学 基于矩匹配的tdi‑cmos图像传感器fpn校正方法
CN106887011A (zh) * 2017-01-20 2017-06-23 北京理工大学 一种基于cnn和cf的多模板目标跟踪方法
CN107016689A (zh) * 2017-02-04 2017-08-04 中国人民解放军理工大学 一种尺度自适应的相关滤波对冲目标跟踪方法
CN107154024A (zh) * 2017-05-19 2017-09-12 南京理工大学 基于深度特征核相关滤波器的尺度自适应目标跟踪方法
CN107767405A (zh) * 2017-09-29 2018-03-06 华中科技大学 一种融合卷积神经网络的核相关滤波目标跟踪方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9613273B2 (en) * 2015-05-19 2017-04-04 Toyota Motor Engineering & Manufacturing North America, Inc. Apparatus and method for object tracking

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105741316A (zh) * 2016-01-20 2016-07-06 西北工业大学 基于深度学习和多尺度相关滤波的鲁棒目标跟踪方法
CN106506999A (zh) * 2016-10-18 2017-03-15 天津大学 基于矩匹配的tdi‑cmos图像传感器fpn校正方法
CN106887011A (zh) * 2017-01-20 2017-06-23 北京理工大学 一种基于cnn和cf的多模板目标跟踪方法
CN107016689A (zh) * 2017-02-04 2017-08-04 中国人民解放军理工大学 一种尺度自适应的相关滤波对冲目标跟踪方法
CN107154024A (zh) * 2017-05-19 2017-09-12 南京理工大学 基于深度特征核相关滤波器的尺度自适应目标跟踪方法
CN107767405A (zh) * 2017-09-29 2018-03-06 华中科技大学 一种融合卷积神经网络的核相关滤波目标跟踪方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Feature Pyramid Networks for Object Detection;Tsung-Yi Lin et al.;《arXiv》;20170419;第1-10页 *
Multi-kernel Correlation Filter for Visual Tracking;Ming TANG et al.;《2015 IEEE International Conference on Computer Vision》;20151231;第3038-3046页 *
基于金字塔特征的核相关滤波跟踪算法;王春平 等;《探测与控制学报》;20170228;第39卷(第1期);第66-70页 *

Also Published As

Publication number Publication date
CN108830878A (zh) 2018-11-16

Similar Documents

Publication Publication Date Title
CN109271960B (zh) 一种基于卷积神经网络的人数统计方法
CN112184752A (zh) 一种基于金字塔卷积的视频目标跟踪方法
CN108830157B (zh) 基于注意力机制和3d卷积神经网络的人体行为识别方法
CN108154118B (zh) 一种基于自适应组合滤波与多级检测的目标探测***及方法
JP7417555B2 (ja) 人体ポーズ分析システム及び方法
CN105809198B (zh) 基于深度置信网络的sar图像目标识别方法
CN108280397B (zh) 基于深度卷积神经网络的人体图像头发检测方法
CN112285712B (zh) 一种提高sar图像中靠岸船只检测精度的方法
CN107451565B (zh) 一种半监督小样本深度学习图像模式分类识别方法
CN109191493B (zh) 一种基于RefineNet神经网络和稀疏光流的目标跟踪方法
CN112163498B (zh) 前景引导和纹理聚焦的行人重识别模型建立方法及其应用
CN110175649B (zh) 一种关于重新检测的快速多尺度估计目标跟踪方法
CN108830878B (zh) 一种基于fpn神经网络的目标跟踪方法
CN104484890A (zh) 基于复合稀疏模型的视频目标跟踪方法
CN108898619B (zh) 一种基于pvanet神经网络的目标跟踪方法
John et al. A comparative study of various object detection algorithms and performance analysis
CN109410249B (zh) 一种结合深度特征与手绘特征自适应的目标追踪方法
Yoo et al. Fast training of convolutional neural network classifiers through extreme learning machines
CN106529441B (zh) 基于模糊边界分片的深度动作图人体行为识别方法
CN112115871B (zh) 适用于行人目标检测的高低频交织边缘特征增强方法
CN112785626A (zh) 一种基于多尺度特征融合的孪生网络小目标跟踪方法
CN112396036A (zh) 一种结合空间变换网络和多尺度特征提取的遮挡行人重识别方法
Gao et al. Background subtraction via 3D convolutional neural networks
CN116186593A (zh) 一种基于可分离卷积和注意力机制的心电信号检测方法
Van Hoai et al. Feeding Convolutional Neural Network by hand-crafted features based on Enhanced Neighbor-Center Different Image for color texture classification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant