CN109242883B - 基于深度sr-kcf滤波的光学遥感视频目标跟踪方法 - Google Patents
基于深度sr-kcf滤波的光学遥感视频目标跟踪方法 Download PDFInfo
- Publication number
- CN109242883B CN109242883B CN201810919903.8A CN201810919903A CN109242883B CN 109242883 B CN109242883 B CN 109242883B CN 201810919903 A CN201810919903 A CN 201810919903A CN 109242883 B CN109242883 B CN 109242883B
- Authority
- CN
- China
- Prior art keywords
- target
- kcf
- tracking
- remote sensing
- optical remote
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本发明提出了一种基于深度SR‑KCF滤波的光学遥感视频目标跟踪方法,用于在保证跟踪速度的基础上提高跟踪精度,实现步骤为:获取目标检测网络R‑FCN的训练集;训练目标检测网络;优化目标跟踪算法KCF,得到SR‑KCF;设定目标跟踪算法SR‑KCF中目标状态的判断条件;构建检测辅助跟踪算法;设定跟踪目标与检测目标的匹配条件;获取光学遥感视频第一帧图像包含目标的信息;获取光学遥感视频第二帧及以后图像包含目标的信息;输出光学遥感视频目标跟踪结果。本发明运用深度学习可以提取到目标更高级的特征,在相关滤波算法KCF中添加了背景抑制因子和稀疏响应因子,有效提高了提高跟踪精度。
Description
技术领域
本发明属于遥感视频处理技术领域,涉及一种光学遥感视频目标跟踪方法,具体涉及一种基于深度SR-KCF滤波的光学遥感视频目标跟踪方法。可用于土地测绘、矿产资源开发、智慧城市建设、交通设施监测、农业估产、林业资源普查、生态环境监测及防灾减灾等方面。
背景技术
目标跟踪是指在给定某视频序列初始帧的目标大小与位置的情况下,预测后续帧中这些目标的大小与位置。按照成像方式的不同,目标跟踪可分为光学视频目标跟踪和遥感视频目标跟踪两类。其中遥感视频目标跟踪又包含红外视频目标跟踪和光学遥感视频目标跟踪。基于相关滤波的光学遥感视频目标跟踪的方法可以总结为:输入初始化目标框,在下一帧中产生众多候选框,提取这些候选框的特征,然后计算这些候选框的响应,最后在这些响应中找一个得分最高的候选框作为预测的目标,或者对多个预测值进行融合得到更优的预测目标。基于帧差法的光学遥感视频运动目标检测的方法可以总结为:通过对视频图像序列中相邻两帧作差分运算来获得运动目标轮廓的方法。光学遥感视频目标跟踪与普通视频目标跟踪相比具有大面积同步观测的特点,可用于土地测绘、矿产资源开发、智慧城市建设、交通设施监测、农业估产、林业资源普查、生态环境监测及防灾减灾等方面,对其进行研究很有必要。鉴于光学遥感视频目标跟踪有如此广泛的应用,这对光学遥感视频目标跟踪方法在跟踪速度和精度方面的性能就提出了很高的要求。
Bo Du等人在2017在其发表的论文“Object Tracking in Satellite Videos byFusing the Kernel Correlation Filter and the Three-Frame-DifferenceAlgorithm”,(IEEE Geoscience&Remote Sensing Letters,2017)中,公开了一种融合KCF和三帧差分的光学遥感视频目标跟踪方法。该方法将基于相关滤波的目标跟踪方法KCF获取的跟踪结果和基于帧差法的三帧差分方法获取的运动目标检测结果进行了融合,得到了最终的目标跟踪结果。其中,KCF实现目标跟踪的过程为:输入初始化目标框,在下一帧运用循环矩阵的方法产生众多候选框,运用HOG或者灰度的方法来提取这些候选框的特征,然后计算这些候选框的响应,最后在这些响应中找一个得分最高的候选框作为预测的目标。三帧差分方法是在帧差法的基础上进行改进,将两帧图像作为一组进行差分,检测出中间帧运动目标的形状轮廓的方法。该跟踪方法在KCF跟踪结果的基础上引入了三帧差分对运动目标的检测结果,可以在KCF的基础上进一步提高跟踪精度;另一方面,KCF在选取目标候选块上,运用了循环矩阵的方法,而循环矩阵可以在傅里叶空间进行对角化,可以简化计算,进而达到较高的跟踪速度。但是其存在的缺陷在于,一方面该方法运用HOG或灰度来对目标进行特征提取,只能提取到目标的粗特征,容易造成跟踪延迟的问题,进而影响跟踪精度,此外,由于基于相关滤波的KCF算法在设计目标函数时忽略了被跟踪目标可能模糊或者被部分遮挡的因素,当目标模糊或者被部分遮挡的情况下,容易造成目标跟踪丢失现象,其跟踪精度更加有限。
发明内容
本发明的目的在于克服上述现有技术存在的缺陷,提出了一种基于深度SR-KCF滤波的光学遥感视频目标跟踪方法,用于在保证跟踪速度的基础上提高跟踪精度。
为实现上述目的,本发明采取的技术方案包括如下步骤:
(1)获取目标检测网络R-FCN的训练集D1:
(1a)从数据库中获取F帧包含静止目标和运动目标,且大小为S×S×3的光学遥感视频,并从其中每隔F1帧选取一帧图像,再对选取的图像进行编号,得到图像集D,其中,F1<F,D={I1,I2,...,Ii,...In},Ii表示D中的第i帧图像,n表示D中图像的个数;
(1b)对Ii中的运动目标和静止目标进行标记,得到Ii对应的标签Li,并将D和L组合得到训练集D1,其中,Li∈{cl,(xl,yl),(wl,hl)},cl表示Ii中第l个目标的类别,(xl,yl)表示Ii中第l个目标的左上角坐标,(wl,hl)表示Ii中第l个目标的宽度和高度;
(2)训练目标检测网络R-FCN:
采用D1训练目标检测网络R-FCN,得到预训练模型P1;
(3)优化目标跟踪算法KCF:
(4)设定目标跟踪算法SR-KCF中目标状态的判断条件Q:
其中,ε∈[0.5,1],(x'fj,y'fj)表示第f帧中第j个目标的中心位置坐标,(x'(f-1)k,y'(f-1)k)表示第f-1帧中第k个目标的中心位置坐标;
(5)构建检测辅助跟踪算法MSDAT:
其中,(x'j,y'j)表示运用SR-KCF所跟踪的目标的中心位置坐标,(x′t,y′t)表示运用P1所检测的目标的中心位置坐标, t表示P1所检测到的第t个目标,s0表示(x′t,y′t)和(x'j,y'j)的匹配输出值;
其中,σ∈[0.5,1],c'j表示经P1所检测的目标的类别,cj表示SR-KCF所跟踪的目标的类别;
(7)获取光学遥感视频第一帧图像包含目标的信息:
运用P1对待处理的N帧光学遥感视频的第一帧图像进行目标检测,得到第一帧图像所包含目标的类别和位置信息J1,J1={c1r,(x1r,y1r),(w1r,h1r)},N≥2;
(8)获取光学遥感视频第二帧到第N帧图像包含目标的信息:
(8a)将Jf-1输入到SR-KCF中对第f帧图像进行目标跟踪,得到第f帧图像所包含目标的类别和位置信息Jf、响应值Rfj以及最大响应值Rmax j,Jf={cfj,(xfj,yfj),(wfj,hfj)},Rfj=ωTAfij,Rmax j=max(R2j,R3j,...,Rfj),f∈[2,...,N];
(8b)根据第f帧图像包含的第j个目标的中心位置坐标(x'fj,y'fj)和第f-1帧图像包含的第k个目标的中心位置坐标(x'(f-1)k,y'(f-1)k)是否满足Q,判断第j个目标的状态Zf,若是,则第j个目标的状态Zf为静止Zfj,否则,则第j个目标的状态Zf为运动Z'fj;
(8c)判断是否成立,若是,则第f帧图像所包含目标j存在跟踪延迟,运用P1对第f帧图像进行目标检测,得到第f帧图像所包含目标的类别信息和位置信息Jfr,否则,第f帧图像所包含目标j不存在跟踪延迟,第f帧图像所包含目标j的类别和位置信息保持Jfj不变;
(8d)将Jfj中第j个目标的位置信息换算成其中心位置坐标(x'fj,y'fj),同时将Jfr中第r个目标的位置信息换算成其中心位置坐标(x'fr,y'fr),并将(x'fj,y'fj)和(x'fr,y'fr)输入到MSDAT中对第f帧进行辅助检测,得到Jfj中第j个目标的和Jfr中第r个目标的匹配输出值s0jr,再判断s0jr、cfj和cfr是否符合条件若是,第j个目标的类别和位置信息Jf为Jfr,否则,第j个目标的类别和位置信息Jf为Jfj;
(9)输出光学遥感视频目标跟踪结果:
将步骤(7)获取的J1、步骤(8b)获取的Zf和步骤(8d)获取的Jf作为光学遥感视频目标跟踪结果并输出。
本发明与现有技术相比,具有以下优点:
(1)本发明在实现目标检测上,运用了深度学习中的目标检测方法R-FCN,可以提高到目标跟踪级别的特征,检测到的目标的位置更加准确,克服了现有技术中基于HOG或者灰度图像提取的特征来实现目标检测容易造成跟踪延迟的问题,可以提高目标跟踪精度。
(2)本发明在实现目标跟踪上,在基于相关滤波的算法KCF的目标函数中添加了背景抑制和稀疏响应因子,使得在目标比较模糊或者目标被部分遮挡的情况下,仍然可以对目标实现跟踪,降低了目标被跟丢的可能性,进而提高跟踪精度。
附图说明
图1是本发明的实现流程图;
图2是本发明仿真实验使用的光学遥感视频中的第一帧图像帧;
图3是本发明仿真实验运用R-FCN对图2进行目标检测得到的检测图;
图4是本发明和现有技术在圣地亚哥数据集中第113帧运动目标跟踪的仿真图;
图5是本发明和现有技术的精度-位置误差临界值仿真结果图。
具体实施方式
下面结合附图和具体实施例,对本发明作进一步的详细描述。
参照图1、一种基于深度SR-KCF滤波的光学遥感视频目标跟踪方法,包括如下步骤:
步骤1)获取目标检测网络R-FCN的训练集D1:
在本发明实施例中,用到的目标检测网络R-FCN,包括依次层叠的主干网络ResNet101'、position sensitive score map层、score层和输出层,其中:
主干网络ResNet101',是通过大小为1×1×1024的卷积核对残差网ResNet101的第100层进行卷积,得到全卷积层,并通过全卷积层替换残差网络ResNet101第101层的全连接层实现的;
position sensitive score map层,是通过大小为1024×1×1的卷积核对主干网络ResNet101'的第101层进行卷积实现的;
score层,是通过对position sensitive score map层进行ROI平均池化实现的;
输出层,是通过分类器Softmax对score层进行分类实现的。
步骤1a)从数据库中获取F帧包含静止目标和运动目标,且大小为S×S×3的光学遥感视频,并从其中每隔F1帧选取一帧图像,再对选取的图像进行编号,得到图像集D,其中,F1<F,D={I1,I2,...,Ii,...In},Ii表示D中的第i帧图像,n表示D中图像的个数;
在本发明实施例中,从数据库中获取326帧包含静止目标和运动目标,且大小为500×500×3的光学遥感视频V1,从第一帧开始,从V1每隔20帧选取一帧图像,再对选取的图像进行编号,得到图像集D,D={I1,I2,...,Ii,...,I16};
步骤1b)对Ii中的运动目标和静止目标进行标记,得到Ii对应的标签Li,并将D和L组合得到训练集D1,其中,Li∈{cl,(xl,yl),(wl,hl)},cl表示Ii中第l个目标的类别,(xl,yl)表示Ii中第l个目标的左上角坐标,(wl,hl)表示Ii中第l个目标的宽度和高度;
在本发明实施例中,对Ii中的运动目标和静止目标进行标记,得到Ii对应的标签Li,并将D和L组合得到训练集D1,其中,Li∈{cl,(xl,yl),(wl,hl)},cl表示Ii中第l个目标的类别(飞机),(xl,yl)表示Ii中第l个目标的左上角坐标,(wl,hl)表示Ii中第l个目标的宽度和高度;
步骤2)训练目标检测网络R-FCN:
采用D1训练目标检测网络R-FCN,得到预训练模型P1;
在本发明实施例中,训练目标检测网络R-FCN使用的损失函数同R-FCN论文公开的一致;
步骤3)优化目标跟踪算法KCF:
上述所述的目标跟踪算法KCF,其表达式为:
在本发明实施例中,λ1、λ2和λ3的取值分别表示1、0.5和1.05;
由于基于相关滤波的KCF算法在设计目标函数时忽略了被跟踪目标可能模糊或者被部分遮挡的因素,当目标模糊或者被部分遮挡的情况下,其跟踪精度更加有限。本发明在KCF的基础上,引入了背景抑制因子和稀疏响应因子,在一定程度上,可以对背景模糊或者部分遮挡的目标继续跟踪;
步骤4)设定目标跟踪算法SR-KCF中目标状态的判断条件Q:
其中,ε∈[0.5,1],(x'fj,y'fj)表示第f帧中第j个目标的中心位置坐标,(x'(f-1)k,y'(f-1)k)表示第f-1帧中第k个目标的中心位置坐标;
在本发明实施例中,ε=0.6;
步骤5)构建检测辅助跟踪算法MSDAT:
其中,(x'j,y'j)表示运用SR-KCF所跟踪的目标的中心位置坐标,(x′t,y′t)表示运用P1所检测的目标的中心位置坐标, t表示P1所检测到的第t个目标,s0表示(x′t,y′t)和(x'j,y'j)的匹配输出值;
其中,σ∈[0.5,1],c'j表示经P1所检测的目标的类别,cj表示SR-KCF所跟踪的目标的类别;
在本发明实施例中,σ=0.5;
步骤7)获取光学遥感视频第一帧图像包含目标的信息:
运用P1对待处理的N帧光学遥感视频的第一帧图像进行目标检测,得到第一帧图像所包含目标的类别和位置信息J1,J1={c1r,(x1r,y1r),(w1r,h1r)},N≥2;
在本发明实施例中,运用P1对待处理的326帧光学遥感视频的第一帧图像进行目标检测,得到第一帧图像所包含目标的类别和位置信息J1,J1={c1r,(x1r,y1r),(w1r,h1r)},r=11;
步骤8)获取光学遥感视频第二帧到第N帧图像包含目标的信息:
步骤8a)将Jf-1输入到SR-KCF中对第f帧图像进行目标跟踪,得到第f帧图像所包含目标的类别和位置信息Jf、响应值Rfj以及最大响应值Rmax j,Jf={cfj,(xfj,yfj),(wfj,hfj)},Rfj=ωTAfij,Rmax j=max(R2j,R3j,...,Rfj),f∈[2,...,N];
步骤8b)根据第f帧图像包含的第j个目标的中心位置坐标(x'fj,y'fj)和第f-1帧图像包含的第k个目标的中心位置坐标(x'(f-1)k,y'(f-1)k)是否满足Q,判断第j个目标的状态Zf,若是,则第j个目标的状态Zf为静止Zfj,否则,则第j个目标的状态Zf为运动Z'fj;
步骤8c)判断是否成立,若是,则第f帧图像所包含目标j存在跟踪延迟,运用P1对第f帧图像进行目标检测,得到第f帧图像所包含目标的类别信息和位置信息Jfr,否则,第f帧图像所包含目标j不存在跟踪延迟,第f帧图像所包含目标j的类别和位置信息保持Jfj不变;
步骤8d)将Jfj中第j个目标的位置信息换算成其中心位置坐标(x'fj,y'fj),同时将Jfr中第r个目标的位置信息换算成其中心位置坐标(x'fr,y'fr),并将(x'fj,y'fj)和(x'fr,y'fr)输入到MSDAT中对第f帧进行辅助检测,得到Jfj中第j个目标的和Jfr中第r个目标的匹配输出值s0jr,再判断s0jr、cfj和cfr是否符合条件若是,第j个目标的类别和位置信息Jf为Jfr,否则,第j个目标的类别和位置信息Jf为Jfj;
本发明在实现对运动目标检测上,运用了深度学习中的目标检测方法R-FCN,可以提高到目标更高级别的特征,使得检测出来的目标的位置更加准确,可以避免跟踪延迟问题的出现。
步骤9)输出光学遥感视频目标跟踪结果:
将步骤(7)获取的J1、步骤(8b)获取的Zf和步骤(8d)获取的Jf作为光学遥感视频目标跟踪结果并输出。
以下结合仿真试验,对本发明的技术效果作进一步说明:
1.仿真条件和内容:
本发明从吉林一号视频卫星拍摄的圣地亚哥地区的视频上,裁剪了大小为500×500×3的包含飞机的视频作为对飞机跟踪的数据集DateSet。仿真平台为:主频为2.40GHz的Intel Xeon CPU E5-2630 v3 CPU,64GB的运行内存,Ubuntu16.04操作***,Caffe深度学***台。显卡:GeForce GTX TITAN X/PCIe/SSE2×2。
利用本发明和现有基于融合KCF和三帧差分的光学遥感视频目标跟踪方法,对图DateSet进行目标跟踪仿真,其中,图3为R-FCN在视频第一帧上的目标检测结果图,图4为现有技术和本发明在DateSet的第113帧的仿真结果图,图5为本发明和现有技术的精度-位置误差临界值曲线图。
2、仿真内容与结果:
用本发明方法和对比方法在上述仿真条件下进行实验,即运用对比方法与本发明对圣地亚哥地区光学遥感视频中飞机目标进行跟踪,得到如图4(a)、图4(b)、图5和表1的结果。
表1.圣地亚哥地区光学遥感视频目标跟踪结果一览表
Precision | FPS | mAP | |
Tracker Fusion | 74.71% | 14.06 | - |
SR-KCF | 89.83% | 15.11 | 100% |
表1中,Precision表示预测出来的目标的位置与标签位置的区域重叠率,FPS表示跟踪算法的每秒帧率,mAP表示目标检测算法R-FCN在整个跟踪过程中的平均目标检测精度。Tracker Fusion表示对比方法,SR-KCF表示本发明。可以看出,我们的算法在保持跟踪速度的基础上,大幅度提高了跟踪的精度,速度由14.06提高到15.11,而精度由74.71%提高到89.83%。R-FCN的目标检测平均精度在DateSet上达到100%。
图3表示R-FCN在第一帧的目标检测结果,R-FCN将第一帧中所有目标都检测出来了。从图4(a)可以看出,仿真的坐标框不够精确,尤其是plane11,从图4(b)可以看出,与图4(a)相比,仿真结果的坐标框要比图4(a)精确,plane11表示本发明检测出来的静止目标,其他目标为运动目标。相较于现有方法,本发明的仿真结果的精确率由74.71%提高到89.83%。图5表示了本方法与对比方法在精度-位置误差临界值上的曲线图,可以看出来本发明在每个位置误差临界值上都要优于对比方法。
本发明利用一种基于深度学习的方法来对目标进行特征提取,能够提取到目标更加高级的特征,有利于在跟踪过程中的检测部分对目标进行精确检测,可以避免跟踪延迟现象,进而一定程度上提高跟踪精度,另外,本发明考虑了目标跟踪过程中目标可能模糊或者部分遮挡的问题,在现有基于相关滤波的光学遥感视频目标跟踪算法的基础中,引入了背景抑制因子和稀疏响应因子,从而可以在目标模糊或者部分被遮挡的情况下,任然可以对这些进行跟踪,从而可以间接提高跟踪精度。
Claims (3)
1.一种基于深度SR-KCF滤波的光学遥感视频目标跟踪方法,其特征在于,包括如下步骤:
(1)获取目标检测网络R-FCN的训练集D1:
(1a)从数据库中获取F帧包含静止目标和运动目标,且大小为S×S×3的光学遥感视频,并从其中每隔F1帧选取一帧图像,再对选取的图像进行编号,得到图像集D,其中,F1<F,D={I1,I2,...,Ii,...In},Ii表示D中的第i帧图像,n表示D中图像的个数;
(1b)对Ii中的运动目标和静止目标进行标记,得到Ii对应的标签Li,并将D和L组合得到训练集D1,其中,Li∈{cl,(xl,yl),(wl,hl)},cl表示Ii中第l个目标的类别,(xl,yl)表示Ii中第l个目标的左上角坐标,(wl,hl)表示Ii中第l个目标的宽度和高度;
(2)训练目标检测网络R-FCN:
采用D1训练目标检测网络R-FCN,得到预训练模型P1;
(3)优化目标跟踪算法KCF:
(4)设定目标跟踪算法SR-KCF中目标状态的判断条件Q:
其中,ε∈[0.5,1],(x'fj,y'fj)表示第f帧中第j个目标的中心位置坐标,(x'(f-1)k,y'(f-1)k)表示第f-1帧中第k个目标的中心位置坐标;
(5)构建检测辅助跟踪算法MSDAT:
其中,(x'j,y'j)表示运用SR-KCF所跟踪的目标的中心位置坐标,(x′t,y′t)表示运用P1所检测的目标的中心位置坐标, t表示P1所检测到的第t个目标,s0表示(x′t,y′t)和(x'j,y'j)的匹配输出值;
(6)设定跟踪目标与检测目标的匹配条件l:
其中,σ∈[0.5,1],c'j表示经P1所检测的目标的类别,cj表示SR-KCF所跟踪的目标的类别;
(7)获取光学遥感视频第一帧图像包含目标的信息:
运用P1对待处理的N帧光学遥感视频的第一帧图像进行目标检测,得到第一帧图像所包含目标的类别和位置信息J1,J1={c1r,(x1r,y1r),(w1r,h1r)},N≥2;
(8)获取光学遥感视频第二帧到第N帧图像包含目标的信息:
(8a)将Jf-1输入到SR-KCF中对第f帧图像进行目标跟踪,得到第f帧图像所包含目标的类别和位置信息Jf、响应值Rfj以及最大响应值Rmaxj,Jf={cfj,(xfj,yfj),(wfj,hfj)},Rfj=ωTAfij,Rmaxj=max(R2j,R3j,...,Rfj),f∈[2,...,N];
(8b)根据第f帧图像包含的第j个目标的中心位置坐标(x'fj,y'fj)和第f-1帧图像包含的第k个目标的中心位置坐标(x'(f-1)k,y'(f-1)k)是否满足Q,判断第j个目标的状态Zf,若是,则第j个目标的状态Zf为静止Zfj,否则,则第j个目标的状态Zf为运动Z'fj;
(8c)判断是否成立,若是,则第f帧图像所包含目标j存在跟踪延迟,运用P1对第f帧图像进行目标检测,得到第f帧图像所包含目标的类别信息和位置信息Jfr,否则,第f帧图像所包含目标j不存在跟踪延迟,第f帧图像所包含目标j的类别和位置信息保持Jfj不变;
(8d)将Jfj中第j个目标的位置信息换算成其中心位置坐标(x'fj,y'fj),同时将Jfr中第r个目标的位置信息换算成其中心位置坐标(x'fr,y'fr),并将(x'fj,y'fj)和(x'fr,y'fr)输入到MSDAT中对第f帧进行辅助检测,得到Jfj中第j个目标的和Jfr中第r个目标的匹配输出值s0jr,再判断s0jr、cfj和cfr是否符合条件l,若是,第j个目标的类别和位置信息Jf为Jfr,否则,第j个目标的类别和位置信息Jf为Jfj;
(9)输出光学遥感视频目标跟踪结果:
将步骤(7)获取的J1、步骤(8b)获取的Zf和步骤(8d)获取的Jf作为光学遥感视频目标跟踪结果并输出。
2.根据权利要求1所述的基于深度SR-KCF滤波的光学遥感视频目标跟踪方法,其特征在于:步骤(1)中所述的目标检测网络R-FCN,包括依次层叠的的主干网络ResNet101'、position sensitive score map层、score层和输出层,其中:
主干网络ResNet101',是通过大小为1×1×1024的卷积核对残差网ResNet101的第100层进行卷积,得到全卷积层,并通过全卷积层替换残差网络ResNet101第101层的全连接层实现的;
position sensitive score map层,是通过大小为1024×1×1的卷积核对主干网络ResNet101'的第101层进行卷积实现的;
score层,是通过对position sensitive score map层进行ROI平均池化实现的;
输出层,是通过分类器Softmax对score层进行分类实现的。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810919903.8A CN109242883B (zh) | 2018-08-14 | 2018-08-14 | 基于深度sr-kcf滤波的光学遥感视频目标跟踪方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810919903.8A CN109242883B (zh) | 2018-08-14 | 2018-08-14 | 基于深度sr-kcf滤波的光学遥感视频目标跟踪方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109242883A CN109242883A (zh) | 2019-01-18 |
CN109242883B true CN109242883B (zh) | 2021-01-05 |
Family
ID=65070219
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810919903.8A Active CN109242883B (zh) | 2018-08-14 | 2018-08-14 | 基于深度sr-kcf滤波的光学遥感视频目标跟踪方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109242883B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109409285B (zh) * | 2018-10-24 | 2021-11-09 | 西安电子科技大学 | 基于重叠切片的遥感视频目标检测方法 |
CN110706252B (zh) * | 2019-09-09 | 2020-10-23 | 西安理工大学 | 运动模型引导下的机器人核相关滤波跟踪算法 |
CN110807794A (zh) * | 2019-09-30 | 2020-02-18 | 西安电子科技大学 | 一种基于多特征的单目标跟踪方法 |
CN111986233B (zh) * | 2020-08-20 | 2023-02-10 | 西安电子科技大学 | 基于特征自学习的大场景极小目标遥感视频跟踪方法 |
CN112053385B (zh) * | 2020-08-28 | 2023-06-02 | 西安电子科技大学 | 基于深度强化学习的遥感视频遮挡目标跟踪方法 |
CN115242958B (zh) * | 2021-04-22 | 2023-09-26 | 北京君正集成电路股份有限公司 | 一种支持复杂场景下的人形跟踪拍摄的控制方法及装置 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2004072768A2 (en) * | 2003-02-11 | 2004-08-26 | Tmx Silicon Ltd. | Distributed dynamically optimizable processing communications and storage system |
CN102333205A (zh) * | 2011-07-28 | 2012-01-25 | 北京中科戎大信息技术有限公司 | 一种红外运动目标检测跟踪装置 |
CN106204638A (zh) * | 2016-06-29 | 2016-12-07 | 西安电子科技大学 | 一种基于尺度自适应和遮挡处理的航拍目标跟踪方法 |
CN106557774A (zh) * | 2015-09-29 | 2017-04-05 | 南京信息工程大学 | 多通道核相关滤波的实时跟踪方法 |
CN107146240A (zh) * | 2017-05-05 | 2017-09-08 | 西北工业大学 | 基于相关滤波和显著性检测的航拍视频目标跟踪方法 |
CN107492115A (zh) * | 2017-08-30 | 2017-12-19 | 北京小米移动软件有限公司 | 目标对象的检测方法及装置 |
CN108198209A (zh) * | 2017-12-22 | 2018-06-22 | 天津理工大学 | 在发生遮挡和尺度变化情况下行人跟踪算法 |
-
2018
- 2018-08-14 CN CN201810919903.8A patent/CN109242883B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2004072768A2 (en) * | 2003-02-11 | 2004-08-26 | Tmx Silicon Ltd. | Distributed dynamically optimizable processing communications and storage system |
CN102333205A (zh) * | 2011-07-28 | 2012-01-25 | 北京中科戎大信息技术有限公司 | 一种红外运动目标检测跟踪装置 |
CN106557774A (zh) * | 2015-09-29 | 2017-04-05 | 南京信息工程大学 | 多通道核相关滤波的实时跟踪方法 |
CN106204638A (zh) * | 2016-06-29 | 2016-12-07 | 西安电子科技大学 | 一种基于尺度自适应和遮挡处理的航拍目标跟踪方法 |
CN107146240A (zh) * | 2017-05-05 | 2017-09-08 | 西北工业大学 | 基于相关滤波和显著性检测的航拍视频目标跟踪方法 |
CN107492115A (zh) * | 2017-08-30 | 2017-12-19 | 北京小米移动软件有限公司 | 目标对象的检测方法及装置 |
CN108198209A (zh) * | 2017-12-22 | 2018-06-22 | 天津理工大学 | 在发生遮挡和尺度变化情况下行人跟踪算法 |
Non-Patent Citations (1)
Title |
---|
Robust real-time visual object tracking via multi-scale fully convolutional Siamese networks;Longchao Yang et al.;《Multimedia Tools and Applications》;20180413;22131–22142 * |
Also Published As
Publication number | Publication date |
---|---|
CN109242883A (zh) | 2019-01-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109242883B (zh) | 基于深度sr-kcf滤波的光学遥感视频目标跟踪方法 | |
CN110084292B (zh) | 基于DenseNet和多尺度特征融合的目标检测方法 | |
CN109829398B (zh) | 一种基于三维卷积网络的视频中的目标检测方法 | |
CN108960211B (zh) | 一种多目标人体姿态检测方法以及*** | |
CN110348437B (zh) | 一种基于弱监督学习与遮挡感知的目标检测方法 | |
CN107423702B (zh) | 基于tld跟踪***的视频目标跟踪方法 | |
CN110287826B (zh) | 一种基于注意力机制的视频目标检测方法 | |
CN107633226B (zh) | 一种人体动作跟踪特征处理方法 | |
CN109902715B (zh) | 一种基于上下文聚合网络的红外弱小目标检测方法 | |
CN111461039B (zh) | 基于多尺度特征融合的地标识别方法 | |
CN108596053A (zh) | 一种基于ssd和车辆姿态分类的车辆检测方法和*** | |
CN112183414A (zh) | 一种基于混合空洞卷积的弱监督遥感目标检测方法 | |
CN109934216B (zh) | 图像处理的方法、装置、计算机可读存储介质 | |
CN112288008A (zh) | 一种基于深度学习的马赛克多光谱图像伪装目标检测方法 | |
CN105303163B (zh) | 一种目标检测的方法及检测装置 | |
JP6892606B2 (ja) | 位置特定装置、位置特定方法及びコンピュータプログラム | |
CN106548169A (zh) | 基于深度神经网络的模糊文字增强方法及装置 | |
CN104182985A (zh) | 遥感图像变化检测方法 | |
CN109325407B (zh) | 基于f-ssd网络滤波的光学遥感视频目标检测方法 | |
CN110298248A (zh) | 一种基于语义分割的多目标跟踪方法及*** | |
CN108460336A (zh) | 一种基于深度学习的行人检测方法 | |
CN115375917B (zh) | 一种目标边缘特征提取方法、装置、终端及存储介质 | |
CN110826457A (zh) | 一种复杂场景下的车辆检测方法及装置 | |
CN111833353B (zh) | 一种基于图像分割的高光谱目标检测方法 | |
CN110516528A (zh) | 一种基于运动背景下的动目标检测和跟踪方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |