CN110544267A - 一种自适应选择特征的相关滤波跟踪方法 - Google Patents
一种自适应选择特征的相关滤波跟踪方法 Download PDFInfo
- Publication number
- CN110544267A CN110544267A CN201910670301.8A CN201910670301A CN110544267A CN 110544267 A CN110544267 A CN 110544267A CN 201910670301 A CN201910670301 A CN 201910670301A CN 110544267 A CN110544267 A CN 110544267A
- Authority
- CN
- China
- Prior art keywords
- hog
- features
- frame
- tracking
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001914 filtration Methods 0.000 title claims abstract description 51
- 238000000034 method Methods 0.000 title claims abstract description 38
- 230000004044 response Effects 0.000 claims description 76
- 238000004364 calculation method Methods 0.000 claims description 21
- 230000000694 effects Effects 0.000 claims description 13
- 238000000605 extraction Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 7
- 239000000284 extract Substances 0.000 claims description 4
- 230000004927 fusion Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 4
- 230000007547 defect Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000007789 sealing Methods 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 238000005496 tempering Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/262—Analysis of motion using transform domain methods, e.g. Fourier domain methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种自适应选择特征的相关滤波跟踪方法,经过多层学***均匹配率。则下一帧使用平均匹配率大的传统特征,剩下的特征暂且不用,提高速度。同时计算该特征当前帧的匹配率,若超过所设阈值,接下来的帧继续使用这个特征,否则重新计算剩下的两种特征,在跟踪过程中不断自适应的选择跟踪。
Description
技术领域
本发明涉及计算机视觉跟踪技术领域,具体为一种自适应选择特征的相关滤波跟踪方法。
背景技术
目标跟踪算法是计算机视觉中用于处理视频图像信息的重要技术手段,并且有着广泛的应用场景,如机器人、视频监控、智能交通等。近几十年来,研究者提出了多种优秀的目标跟踪算法,在实际环境中的目标跟踪仍然面临着一系列的挑战。目标跟踪的过程中要面对目标快速移动、背景复杂、遮挡、光照变化等不定因素的挑战,常常导致跟踪失败,对跟踪算法鲁棒性要求很高。
相关滤波跟踪提出以来,其就出色的性能和速度优势,在跟踪领域引起很大关注。目前基于深度学习方法的目标跟踪方法和基于深度特征的相关滤波目标跟踪方法对目标的特征提取较好,因此在对抗复杂环境干扰时具有较好的鲁棒性,但是现有大多数该类方法速度非常慢,难以达到实时性,而极少数高速的该类方法跟踪效果比较差,因此使用传统特征的核化相关滤波跟踪方法在近几年使用较多。
基于核化相关滤波目标跟踪方法主要过程:
(1)初始化阶段:根据目标的初始化信息,在目标周围区域进行循环移位采样,根据移位样本的中心距离真实目标中心,形成高斯标签作为样本的标签值。提取样本特征,同时使用岭回归方法,训练学习得到滤波器。
(2)跟踪阶段:在待跟踪的搜索区域(上一帧的目标位置)进行特征提取,将学习到的滤波器与搜索区域进行卷积操作,得到响应图的最大值点即为目标中心位置。
(3)模型更新阶段:为了确保模型的鲁棒性,减少模型漂移,每一帧之间使用固定的学习率来进行模型更新。
发明内容
针对现有技术的不足,本发明提供了一种自适应选择特征的相关滤波跟踪方法,解决了上述背景技术中提出的问题。
为实现以上目的,本发明通过以下技术方案予以实现:一种自适应选择特征的相关滤波跟踪方法,具体包括如下步骤:
(1)读取视频图像第t帧数据(第一帧图像序列为t=1),对第t帧图像中设定跟踪目标α,并进一步确定目标α的中心位置,以及目标α的宽度wt和高度ht;
(2)以目标α的中心位置为中心,划定宽度为w、高度为h的图像区域作为第一目标区域,计算该区域的HOG特征,CN特征及深度特征;
(3)根据计算的HOG特征,CN特征及深度特征分别构建相关滤波器模型;
(4)读取新的图像序列为t+1帧,若t+1≤第一预设值,则进入S5,否则进入(7);
(5)对于读取新的图像序列为t+1帧,根据t帧的α的中心位置为中心,划定宽度为w,高度为h的图像区域,计算该区域的HOG特征,CN特征及深度特征;
(6)利用核化相关滤波计算方法,结合步骤(5)目标区域,进一步分别求得t+1帧的HOG特征和CN特征响应置信图的最大值分别为res_HOG和res_CN,并保存。以及计算得到深度特征的响应置信图中最大值的位置,即为t+1帧的目标α新的位置中心,然后进行深度特征,HOG特征和CN特征模版更新;
(7)计算res_HOG和res_CN的平均值,若res_HOG>res_CN,则进入S8,反之则进入(11);
(8)对于读取新的图像序列为t+1帧,根据t帧的α的中心位置为中心,划定宽度为w,高度为h的图像区域,计算该区域的HOG特征;
(9)利用核化相关滤波计算方法,结合步骤(8)目标区域,进一步求得HOG特征响应置信图,并求得响应置信图中最大值为res_HOG;
(10)若res_HOG<threshold1,则返回S5,且重复步骤(4)-(6),至图像处理完毕。反之则计算响应置信图中最大值的位置,即为t+1帧的目标α新的位置中心,然后进行HOG特征模版更新。继续读入下一帧图片,重复步骤(8)-(10),至图像序列全部处理完毕;
(11)对于读取新的图像序列为t+1帧,根据t帧的α的中心位置为中心,划定宽度为w,高度为h的图像区域,计算该区域的CN特征;
(12)利用核化相关滤波计算方法,结合步骤(11)目标区域,进一步求得CN特征响应置信图,并求得响应置信图中最大值为res_CN;
(13)若res_CN<threshold2,则返回(5),且重复步骤(4)-(6),至图像处理完毕。反之则计算响应置信图中最大值的位置,即为t+1帧的目标α新的位置中心,然后进行CN特征模版更新。继续读入下一帧图片,重复步骤(11)-(13),至图像序列全部处理完毕。
优选的,所述步骤(2)中,提取深度特征如下步骤:
利用不同层的卷积特征图来更详细地描述待跟踪目标,在本实施例中,使用已经在ImageNet训练好的网络,深度网络框架为VGG-Net19分别提取不同层的卷积特征,依次是conv3-4,conv4-4,conv5-4。
优选的,所述步骤(3)中,构建相关滤波器模型如下步骤:
(31)、根据相关滤波计算方法,根据移位样本与目标区域中心位置的距离,为各移位样本分配连续的高斯标签值y,对提取HOG特征进行快速傅里叶变换得到外观模型xf,由其中F-1为傅里叶逆变换,为xf的傅里叶变换,*为复共轭,σ为高斯分布的尺度参数,
为核函数κxx回归值;
(32)、故得到HOG特征滤波器模型,其中λ是正则化参数,为y的傅里叶变换,y为对应的xf的回归值。同理可求得
(33)、针对深度特征中三层分别得到三个深度特征滤波器模型,利用上面公式可求得以及
优选的,所述步骤(4)中有如下步骤:
读取新的图像序列为t+1帧,判断当前帧t+1是否小于第一预设值,其中第一预设值是个动态值它等于currentFrame(起始的帧数)+offset(偏移量)。当小于等于第一预设值时,使用三种特征同时进行跟踪,其中深度特征用来预测跟踪目标位置,而其他两种特征用来记录各自得到响应置信图最大值。若大于第一预设值,则切换到一种特征(HOG或者CN)进行跟踪,提高跟踪速度。
优选的,所述步骤(5)中有如下步骤:
新的图像序列为t+1帧,根据相关滤波跟踪原理,目标在上下两帧变化很小,因此利用t(上一帧)的目标位置和大小,在t+1(下一帧)帧图像进行HOG,CN,以及深度特征提取。
优选的,所述步骤(6)中有如下步骤:
(61)、根据相关滤波跟踪计算方法,对于提取HOG特征建立外观模型,zf,将zf与xf进行高斯相关滤波,计算得到响应置信图其中为核函数κxz回归值,F-1为傅里叶逆变换,*为复共轭,σ为高斯分布的尺度参数。根据HOG特征响应置信图可求得最大值为res_HOG,同理可求得CN特征响应置信图中最大值为res_CN,并保存。
(62)、根据计算HOG特征的方法,计算深度特征三层的响应置信图,分别为resconv3-4,resconv4-4以及resconv5-4,分别赋予不同的权重大小,依次是0.25、0.5、1,加权融合得到深度特征响应置信图resDEEP。根据深度特征响应置信图最大值中的位置,即为预测目标位置。
(63)、进行HOG特征模板,CN特征模板和深度特征模板更新。
优选的,所述步骤(7)中有如下步骤:
计算之前保存的res_HOG,res_CN,求出它们的平均值,也就是它们的平均匹配率,也是自适应选择特征的判断条件。如果HOG特征的平均匹配率大于CN特征,说明HOG特征效果优于CN特征,则下一帧使用HOG特征进行跟踪。
优选的,所述步骤(8),(9)中有如下步骤:
参照于步骤(61)的相关滤波计算方法,可求得HOG特征的响应置信图,求出响应置信图图中最大值res_HOG。
优选的,所述步骤(10)中有如下步骤:
(91)、若res_HOG<threshold1,说明当前帧使用HOG特征效果并不理想,重新使用CN特征和深度特征进行跟踪,重新设置第一预设值。参照步骤(5)-(6)。
(92)、若res_HOG≥threshold1,说明使用HOG特征效果较理想,根据响应置信图中最大值的位置,即为当前帧预测的目标位置。然后进行HOG模板更新。则下一帧使用HOG特征进行跟踪,抛弃CN特征和深度特征,提高速度。
优选的,步骤(11),(12)中有如下步骤:
参照于步骤(61)的相关滤波计算方法,可求得CN特征的响应置信图,求出响应置信图图中最大值res_CN,步骤(13)中有如下步骤:
参照(91)-(92)步骤,CN特征的选择与HOG一样,当小于threshold2(阈值2),说明使用CN特征效果不理想,则重新调用其他两种特征,并修改第一预设值。反之,根据求得的响应置信图求得当前帧目标位置,并且下一帧使用CN特征进行跟踪,抛弃其他两种特征。
本发明提供了一种自适应选择特征的相关滤波跟踪方法,具备以下有益效果:解决行业低负荷,高烟气,低能效的缺陷。解决了因炉头通道孔过大,在燃烧高温后产生回火炸炉具的不良现象;
1、所述基于自适应选择特征的相关滤波跟踪及***/装置,当使用深度卷积网络进行特征提取时,由于卷积层网络庞大,计算特征需要耗费大量时间,无法满足跟踪实时性。当而本方法是自适应的选择传统特征来进行目标跟踪,能尽可能减少精度损失,又能带来速度上巨大提升,并能满足实时性要求。实验表明,在处理OTB-100视频序列时,在跟踪速度上能达到实时性要求。
2、使用传统特征来进行目标跟踪时,在跟踪精度上不如使用深度特征。当而本方法是利用先利用深度特征进行目标定位,然后再找出适合的传统特征进行接下来的帧的跟踪。当传统特征跟踪不佳时,再调用深度特征进行跟踪,在进度上优于使用一种特征进行跟踪。实验表明,在处理OTB-100视频序列时,该算法与其他使用传统特征算法比较,在跟踪精度上有着明显提升。
附图说明
图1为本发明流程示意图;
图2为本发明使用三种特征进行跟踪的流程示意图;
图3为本发明在OTB-100数据上的实验结果示意图。
图中:1、连接件;2、封盖;3、开口;4、挡板;5、推片;6、叶片;7、轴承;8、轴杆;9、通道孔;10、主体通道。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。
请参阅图1至图3,本发明提供一种技术方案:一种自适应选择特征的相关滤波跟踪方法,具体包括如下步骤:
(1)读取视频图像第t帧数据(第一帧图像序列为t=1),对第t帧图像中设定跟踪目标α,并进一步确定目标α的中心位置,以及目标α的宽度wt和高度ht;
(2)以目标α的中心位置为中心,划定宽度为w、高度为h的图像区域作为第一目标区域,计算该区域的HOG特征,CN特征及深度特征;
(3)根据计算的HOG特征,CN特征及深度特征分别构建相关滤波器模型;
(4)读取新的图像序列为t+1帧,若t+1≤第一预设值,则进入S5,否则进入(7);
(5)对于读取新的图像序列为t+1帧,根据t帧的α的中心位置为中心,划定宽度为w,高度为h的图像区域,计算该区域的HOG特征,CN特征及深度特征;
(6)利用核化相关滤波计算方法,结合步骤(5)目标区域,进一步分别求得t+1帧的HOG特征和CN特征响应置信图的最大值分别为res_HOG和res_CN,并保存。以及计算得到深度特征的响应置信图中最大值的位置,即为t+1帧的目标α新的位置中心,然后进行深度特征,HOG特征和CN特征模版更新;
(7)计算res_HOG和res_CN的平均值,若res_HOG>res_CN,则进入S8,反之则进入(11);
(8)对于读取新的图像序列为t+1帧,根据t帧的α的中心位置为中心,划定宽度为w,高度为h的图像区域,计算该区域的HOG特征;
(9)利用核化相关滤波计算方法,结合步骤(8)目标区域,进一步求得HOG特征响应置信图,并求得响应置信图中最大值为res_HOG;
(10)若res_HOG<threshold1,则返回S5,且重复步骤(4)-(6),至图像处理完毕。反之则计算响应置信图中最大值的位置,即为t+1帧的目标α新的位置中心,然后进行HOG特征模版更新。继续读入下一帧图片,重复步骤(8)-(10),至图像序列全部处理完毕;
(11)对于读取新的图像序列为t+1帧,根据t帧的α的中心位置为中心,划定宽度为w,高度为h的图像区域,计算该区域的CN特征;
(12)利用核化相关滤波计算方法,结合步骤(11)目标区域,进一步求得CN特征响应置信图,并求得响应置信图中最大值为res_CN;
(13)若res_CN<threshold2,则返回(5),且重复步骤(4)-(6),至图像处理完毕。反之则计算响应置信图中最大值的位置,即为t+1帧的目标α新的位置中心,然后进行CN特征模版更新。继续读入下一帧图片,重复步骤(11)-(13),至图像序列全部处理完毕。
所述步骤(2)中,提取深度特征如下步骤:
利用不同层的卷积特征图来更详细地描述待跟踪目标,在本实施例中,使用已经在ImageNet训练好的网络,深度网络框架为VGG-Net19分别提取不同层的卷积特征,依次是conv3-4,conv4-4,conv5-4。
所述步骤(3)中,构建相关滤波器模型如下步骤:
(31)、根据相关滤波计算方法,根据移位样本与目标区域中心位置的距离,为各移位样本分配连续的高斯标签值y,对提取HOG特征进行快速傅里叶变换得到外观模型xf,由其中F-1为傅里叶逆变换,为xf的傅里叶变换,*为复共轭,σ为高斯分布的尺度参数,
为核函数κxx回归值;
(32)、故得到HOG特征滤波器模型,其中λ是正则化参数,y的傅里叶变换,y为对应的xf的回归值。同理可求得
(33)、针对深度特征中三层分别得到三个深度特征滤波器模型,利用上面公式可求得以及
所述步骤(4)中有如下步骤:
读取新的图像序列为t+1帧,判断当前帧t+1是否小于第一预设值,其中第一预设值是个动态值它等于currentFrame(起始的帧数)+offset(偏移量)。当小于等于第一预设值时,使用三种特征同时进行跟踪,其中深度特征用来预测跟踪目标位置,而其他两种特征用来记录各自得到响应置信图最大值。若大于第一预设值,则切换到一种特征(HOG或者CN)进行跟踪,提高跟踪速度。
所述步骤(5)中有如下步骤:
新的图像序列为t+1帧,根据相关滤波跟踪原理,目标在上下两帧变化很小,因此利用t(上一帧)的目标位置和大小,在t+1(下一帧)帧图像进行HOG,CN,以及深度特征提取。
所述步骤(6)中有如下步骤:
(61)、根据相关滤波跟踪计算方法,对于提取HOG特征建立外观模型,zf,将zf与xf进行高斯相关滤波,计算得到响应置信图其中为核函数κxz回归值,F-1为傅里叶逆变换,*为复共轭,σ为高斯分布的尺度参数。根据HOG特征响应置信图可求得最大值为res_HOG,同理可求得CN特征响应置信图中最大值为res_CN,并保存。
(62)、根据计算HOG特征的方法,计算深度特征三层的响应置信图,分别为resconv3-4,resconv4-4以及resconv5-4,分别赋予不同的权重大小,依次是0.25、0.5、1,加权融合得到深度特征响应置信图resDEEP。根据深度特征响应置信图最大值中的位置,即为预测目标位置。
(63)、进行HOG特征模板,CN特征模板和深度特征模板更新。
所述步骤(7)中有如下步骤:
计算之前保存的res_HOG,res_CN,求出它们的平均值,也就是它们的平均匹配率,也是自适应选择特征的判断条件。如果HOG特征的平均匹配率大于CN特征,说明HOG特征效果优于CN特征,则下一帧使用HOG特征进行跟踪。
所述步骤(8),(9)中有如下步骤:
参照于步骤(61)的相关滤波计算方法,可求得HOG特征的响应置信图,求出响应置信图图中最大值res_HOG。
所述步骤(10)中有如下步骤:
(91)、若res_HOG<threshold1,说明当前帧使用HOG特征效果并不理想,重新使用CN特征和深度特征进行跟踪,重新设置第一预设值。参照步骤(5)-(6)。
(92)、若res_HOG≥threshold1,说明使用HOG特征效果较理想,根据响应置信图中最大值的位置,即为当前帧预测的目标位置。然后进行HOG模板更新。则下一帧使用HOG特征进行跟踪,抛弃CN特征和深度特征,提高速度。
步骤(11),(12)中有如下步骤:
参照于步骤(61)的相关滤波计算方法,可求得CN特征的响应置信图,求出响应置信图图中最大值res_CN,步骤(13)中有如下步骤:
参照(91)-(92)步骤,CN特征的选择与HOG一样,当小于threshold2(阈值2),说明使用CN特征效果不理想,则重新调用其他两种特征,并修改第一预设值。反之,根据求得的响应置信图求得当前帧目标位置,并且下一帧使用CN特征进行跟踪,抛弃其他两种特征。
以上,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,根据本发明的技术方案及其发明构思加以等同替换或改变,都应涵盖在本发明的保护范围之内。
Claims (10)
1.一种自适应选择特征的相关滤波跟踪方法,其特征在于,具体包括如下步骤:
(1)读取视频图像第t帧数据(第一帧图像序列为t=1),对第t帧图像中设定跟踪目标α,并进一步确定目标α的中心位置,以及目标α的宽度wt和高度ht;
(2)以目标α的中心位置为中心,划定宽度为w、高度为h的图像区域作为第一目标区域,计算该区域的HOG特征,CN特征及深度特征;
(3)根据计算的HOG特征,CN特征及深度特征分别构建相关滤波器模型;
(4)读取新的图像序列为t+1帧,若t+1≤第一预设值,则进入S5,否则进入(7);
(5)对于读取新的图像序列为t+1帧,根据t帧的α的中心位置为中心,划定宽度为w,高度为h的图像区域,计算该区域的HOG特征,CN特征及深度特征;
(6)利用核化相关滤波计算方法,结合步骤(5)目标区域,进一步分别求得t+1帧的HOG特征和CN特征响应置信图的最大值分别为res_HOG和res_CN,并保存。以及计算得到深度特征的响应置信图中最大值的位置,即为t+1帧的目标α新的位置中心,然后进行深度特征,HOG特征和CN特征模版更新;
(7)计算res_HOG和res_CN的平均值,若res_HOG>res_CN,则进入S8,反之则进入(11);
(8)对于读取新的图像序列为t+1帧,根据t帧的α的中心位置为中心,划定宽度为w,高度为h的图像区域,计算该区域的HOG特征;
(9)利用核化相关滤波计算方法,结合步骤(8)目标区域,进一步求得HOG特征响应置信图,并求得响应置信图中最大值为res_HOG;
(10)若res_HOG<threshold1,则返回S5,且重复步骤(4)-(6),至图像处理完毕。反之则计算响应置信图中最大值的位置,即为t+1帧的目标α新的位置中心,然后进行HOG特征模版更新。继续读入下一帧图片,重复步骤(8)-(10),至图像序列全部处理完毕;
(11)对于读取新的图像序列为t+1帧,根据t帧的α的中心位置为中心,划定宽度为w,高度为h的图像区域,计算该区域的CN特征;
(12)利用核化相关滤波计算方法,结合步骤(11)目标区域,进一步求得CN特征响应置信图,并求得响应置信图中最大值为res_CN;
(13)若res_CN<threshold2,则返回(5),且重复步骤(4)-(6),至图像处理完毕。反之则计算响应置信图中最大值的位置,即为t+1帧的目标α新的位置中心,然后进行CN特征模版更新。继续读入下一帧图片,重复步骤(11)-(13),至图像序列全部处理完毕。
2.根据权利要求1所述的一种自适应选择特征的相关滤波跟踪方法,其特征在于:所述步骤(2)中,提取深度特征如下步骤:
利用不同层的卷积特征图来更详细地描述待跟踪目标,在本实施例中,使用已经在ImageNet训练好的网络,深度网络框架为VGG-Net19分别提取不同层的卷积特征,依次是conv3-4,conv4-4,conv5-4。
3.根据权利要求X所述的一种自适应选择特征的相关滤波跟踪方法,其特征在于:所述步骤(3)中,构建相关滤波器模型如下步骤:
(31)、根据相关滤波计算方法,根据移位样本与目标区域中心位置的距离,为各移位样本分配连续的高斯标签值y,对提取HOG特征进行快速傅里叶变换得到外观模型xf,由其中F-1为傅里叶逆变换,为xf的傅里叶变换,*为复共轭,σ为高斯分布的尺度参数,
为核函数κxx回归值;
(32)、故得到HOG特征滤波器模型,其中λ是正则化参数,为y的傅里叶变换,y为对应的xf的回归值。同理可求得
(33)、针对深度特征中三层分别得到三个深度特征滤波器模型,利用上面公式可求得以及
4.根据权利要求1所述的一种自适应选择特征的相关滤波跟踪方法,其特征在于:所述步骤(4)中有如下步骤:
读取新的图像序列为t+1帧,判断当前帧t+1是否小于第一预设值,其中第一预设值是个动态值它等于currentFrame(起始的帧数)+offset(偏移量)。当小于等于第一预设值时,使用三种特征同时进行跟踪,其中深度特征用来预测跟踪目标位置,而其他两种特征用来记录各自得到响应置信图最大值。若大于第一预设值,则切换到一种特征(HOG或者CN)进行跟踪,提高跟踪速度。
5.根据权利要求1所述的一种自适应选择特征的相关滤波跟踪方法,其特征在于:所述步骤(5)中有如下步骤:
新的图像序列为t+1帧,根据相关滤波跟踪原理,目标在上下两帧变化很小,因此利用t(上一帧)的目标位置和大小,在t+1(下一帧)帧图像进行HOG,CN,以及深度特征提取。
6.根据权利要求1所述的一种自适应选择特征的相关滤波跟踪方法,其特征在于:所述步骤(6)中有如下步骤:
(61)、根据相关滤波跟踪计算方法,对于提取HOG特征建立外观模型,zf,将zf与xf进行高斯相关滤波,计算得到响应置信图其中为核函数κxz回归值,F-1为傅里叶逆变换,*为复共轭,σ为高斯分布的尺度参数。根据HOG特征响应置信图可求得最大值为res_HOG,同理可求得CN特征响应置信图中最大值为res_CN,并保存。
(62)、根据计算HOG特征的方法,计算深度特征三层的响应置信图,分别为resconv3-4,resconv4-4以及resconv5-4,分别赋予不同的权重大小,依次是0.25、0.5、1,加权融合得到深度特征响应置信图resDEEP。根据深度特征响应置信图最大值中的位置,即为预测目标位置。
(63)、进行HOG特征模板,CN特征模板和深度特征模板更新。
7.根据权利要求1所述的一种自适应选择特征的相关滤波跟踪方法,其特征在于:所述步骤(7)中有如下步骤:
计算之前保存的res_HOG,res_CN,求出它们的平均值,也就是它们的平均匹配率,也是自适应选择特征的判断条件。如果HOG特征的平均匹配率大于CN特征,说明HOG特征效果优于CN特征,则下一帧使用HOG特征进行跟踪。
8.根据权利要求1所述的一种自适应选择特征的相关滤波跟踪方法,其特征在于:所述步骤(8),(9)中有如下步骤:
参照于步骤(61)的相关滤波计算方法,可求得HOG特征的响应置信图,求出响应置信图图中最大值res_HOG。
9.根据权利要求1所述的一种自适应选择特征的相关滤波跟踪方法,其特征在于:所述步骤(10)中有如下步骤:
(91)、若res_HOG<threshold1,说明当前帧使用HOG特征效果并不理想,重新使用CN特征和深度特征进行跟踪,重新设置第一预设值。参照步骤(5)-(6)。
(92)、若res_HOG≥threshold1,说明使用HOG特征效果较理想,根据响应置信图中最大值的位置,即为当前帧预测的目标位置。然后进行HOG模板更新。则下一帧使用HOG特征进行跟踪,抛弃CN特征和深度特征,提高速度。
10.根据权利要求1所述的一种自适应选择特征的相关滤波跟踪方法,其特征在于:所述步骤(11),(12)中有如下步骤:
参照于步骤(61)的相关滤波计算方法,可求得CN特征的响应置信图,求出响应置信图图中最大值res_CN,步骤(13)中有如下步骤:
参照(91)-(92)步骤,CN特征的选择与HOG一样,当小于threshold2(阈值2),说明使用CN特征效果不理想,则重新调用其他两种特征,并修改第一预设值。反之,根据求得的响应置信图求得当前帧目标位置,并且下一帧使用CN特征进行跟踪,抛弃其他两种特征。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910670301.8A CN110544267B (zh) | 2019-07-24 | 2019-07-24 | 一种自适应选择特征的相关滤波跟踪方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910670301.8A CN110544267B (zh) | 2019-07-24 | 2019-07-24 | 一种自适应选择特征的相关滤波跟踪方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110544267A true CN110544267A (zh) | 2019-12-06 |
CN110544267B CN110544267B (zh) | 2022-03-15 |
Family
ID=68709814
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910670301.8A Expired - Fee Related CN110544267B (zh) | 2019-07-24 | 2019-07-24 | 一种自适应选择特征的相关滤波跟踪方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110544267B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111340838A (zh) * | 2020-02-24 | 2020-06-26 | 长沙理工大学 | 一种基于多种特征融合的背景时空相关滤波跟踪方法 |
CN113177970A (zh) * | 2021-04-29 | 2021-07-27 | 燕山大学 | 基于自适应特征融合的多尺度滤波目标跟踪方法 |
CN113222060A (zh) * | 2021-05-31 | 2021-08-06 | 四川轻化工大学 | 一种基于卷积特征和手工特征整合的视觉跟踪方法 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105844663A (zh) * | 2016-03-21 | 2016-08-10 | 中国地质大学(武汉) | 一种自适应orb目标跟踪方法 |
CN107154024A (zh) * | 2017-05-19 | 2017-09-12 | 南京理工大学 | 基于深度特征核相关滤波器的尺度自适应目标跟踪方法 |
CN107644430A (zh) * | 2017-07-27 | 2018-01-30 | 孙战里 | 基于自适应特征融合的目标跟踪 |
CN108288282A (zh) * | 2017-12-26 | 2018-07-17 | 浙江工业大学 | 一种基于卷积神经网络的自适应特征选择目标跟踪方法 |
US20180268559A1 (en) * | 2017-03-16 | 2018-09-20 | Electronics And Telecommunications Research Institute | Method for tracking object in video in real time in consideration of both color and shape and apparatus therefor |
WO2018208245A1 (en) * | 2017-05-12 | 2018-11-15 | Aselsan Elektronik Sanayi Ve Ticaret Anonim Sirketi | A method for correlation filter based visual tracking |
CN109410247A (zh) * | 2018-10-16 | 2019-03-01 | 中国石油大学(华东) | 一种多模板和自适应特征选择的视频跟踪算法 |
CN109461172A (zh) * | 2018-10-25 | 2019-03-12 | 南京理工大学 | 人工与深度特征联合的相关滤波视频自适应跟踪方法 |
-
2019
- 2019-07-24 CN CN201910670301.8A patent/CN110544267B/zh not_active Expired - Fee Related
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105844663A (zh) * | 2016-03-21 | 2016-08-10 | 中国地质大学(武汉) | 一种自适应orb目标跟踪方法 |
US20180268559A1 (en) * | 2017-03-16 | 2018-09-20 | Electronics And Telecommunications Research Institute | Method for tracking object in video in real time in consideration of both color and shape and apparatus therefor |
WO2018208245A1 (en) * | 2017-05-12 | 2018-11-15 | Aselsan Elektronik Sanayi Ve Ticaret Anonim Sirketi | A method for correlation filter based visual tracking |
CN107154024A (zh) * | 2017-05-19 | 2017-09-12 | 南京理工大学 | 基于深度特征核相关滤波器的尺度自适应目标跟踪方法 |
CN107644430A (zh) * | 2017-07-27 | 2018-01-30 | 孙战里 | 基于自适应特征融合的目标跟踪 |
CN108288282A (zh) * | 2017-12-26 | 2018-07-17 | 浙江工业大学 | 一种基于卷积神经网络的自适应特征选择目标跟踪方法 |
CN109410247A (zh) * | 2018-10-16 | 2019-03-01 | 中国石油大学(华东) | 一种多模板和自适应特征选择的视频跟踪算法 |
CN109461172A (zh) * | 2018-10-25 | 2019-03-12 | 南京理工大学 | 人工与深度特征联合的相关滤波视频自适应跟踪方法 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111340838A (zh) * | 2020-02-24 | 2020-06-26 | 长沙理工大学 | 一种基于多种特征融合的背景时空相关滤波跟踪方法 |
CN113177970A (zh) * | 2021-04-29 | 2021-07-27 | 燕山大学 | 基于自适应特征融合的多尺度滤波目标跟踪方法 |
CN113222060A (zh) * | 2021-05-31 | 2021-08-06 | 四川轻化工大学 | 一种基于卷积特征和手工特征整合的视觉跟踪方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110544267B (zh) | 2022-03-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Zhu et al. | Autoassign: Differentiable label assignment for dense object detection | |
CN111354017B (zh) | 一种基于孪生神经网络及平行注意力模块的目标跟踪方法 | |
CN108319972B (zh) | 一种针对图像语义分割的端到端差异网络学习方法 | |
CN108416266B (zh) | 一种利用光流提取运动目标的视频行为快速识别方法 | |
CN108647694B (zh) | 基于上下文感知和自适应响应的相关滤波目标跟踪方法 | |
CN112233147B (zh) | 一种基于双路孪生网络的视频运动目标跟踪方法及装置 | |
CN110544267B (zh) | 一种自适应选择特征的相关滤波跟踪方法 | |
CN107169994B (zh) | 基于多特征融合的相关滤波跟踪方法 | |
CN110135500A (zh) | 一种基于自适应深度特征滤波器的多场景下目标跟踪方法 | |
CN108364305B (zh) | 基于改进型dsst的车载摄像视频目标跟踪方法 | |
CN113034545A (zh) | 一种基于CenterNet多目标跟踪算法的车辆跟踪方法 | |
CN109087337B (zh) | 基于分层卷积特征的长时间目标跟踪方法及*** | |
CN111340842B (zh) | 一种基于联合模型的相关滤波目标跟踪方法 | |
CN111640138B (zh) | 一种目标跟踪方法、装置、设备及存储介质 | |
CN113706581B (zh) | 基于残差通道注意与多层次分类回归的目标跟踪方法 | |
CN112329784A (zh) | 一种基于时空感知及多峰响应的相关滤波跟踪方法 | |
CN114926826A (zh) | 场景文本检测*** | |
CN108280845B (zh) | 一种针对复杂背景的尺度自适应目标跟踪方法 | |
CN111091583B (zh) | 长期目标跟踪方法 | |
CN117274314A (zh) | 一种特征融合的视频目标跟踪方法及*** | |
CN110689559B (zh) | 一种基于密集卷积网络特征的视觉目标跟踪方法 | |
CN111539985A (zh) | 一种融合多特征的自适应运动目标跟踪方法 | |
CN110598669A (zh) | 一种复杂场景中人群密度的检测方法和*** | |
CN112614158B (zh) | 一种采样框自适应的多特征融合在线目标跟踪方法 | |
CN110660081B (zh) | 一种基于自适应的特征选择的目标跟踪方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20220315 |
|
CF01 | Termination of patent right due to non-payment of annual fee |