CN108665481A - 多层深度特征融合的自适应抗遮挡红外目标跟踪方法 - Google Patents

多层深度特征融合的自适应抗遮挡红外目标跟踪方法 Download PDF

Info

Publication number
CN108665481A
CN108665481A CN201810259132.4A CN201810259132A CN108665481A CN 108665481 A CN108665481 A CN 108665481A CN 201810259132 A CN201810259132 A CN 201810259132A CN 108665481 A CN108665481 A CN 108665481A
Authority
CN
China
Prior art keywords
target
characteristic
response
pos
fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810259132.4A
Other languages
English (en)
Other versions
CN108665481B (zh
Inventor
秦翰林
王婉婷
王春妹
延翔
程文雄
彭昕
胡壮壮
周慧鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN201810259132.4A priority Critical patent/CN108665481B/zh
Publication of CN108665481A publication Critical patent/CN108665481A/zh
Application granted granted Critical
Publication of CN108665481B publication Critical patent/CN108665481B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种多层深度特征融合的自适应抗遮挡红外目标跟踪方法，首先，获得一系列相同尺寸不同层级的多层深度特征图；然后，根据相关滤波将所述多层深度特征图从时域转换到频域，并且根据快速傅里叶变换进行滤波器训练和响应图计算，再根据层内特征加权融合对多层深度特征图进行合并降维处理，构建出不同层级的特征响应图并且求出最大相关响应值即为目标估计位置；最后，对目标稠密特征进行提取，根据相关滤波获得特征最大响应值，获得通过深度卷积特征所估计的目标中心位置的响应置信度；当所述目标中心位置的响应置信度小于重检测阈值T0时，通过在线目标重检测对获得的目标估计位置进行评估并且根据评估结果对目标的位置进行自适应更新。

Description

多层深度特征融合的自适应抗遮挡红外目标跟踪方法
技术领域
本发明属于视频处理技术领域，具体涉及一种多层深度特征融合的自适应抗遮挡红外目标跟踪方法。
背景技术
视觉跟踪是计算机视觉领域研究的热点之一，其广泛应用于视频监控、智能交通等民用领域。近年来，随着计算机视觉领域的快速发展，跟踪算法的综合性能得到了显著提升。同时，由于红外成像***利用目标产生的能量进行探测，通过获取目标的能量信息对目标进行识别，因此具有被动探测和全天时探测的能力而被广泛应用于目标感知的设备中；其中，对感兴趣的目标进行跟踪是红外探测***的主要任务，因此，对红外目标的跟踪是当今一个研究热点问题。
目前跟踪算法可被分为经典的目标跟踪方法和基于深度学习的目标跟踪方法，其中经典的目标跟踪方法可以被分为产生式和判别式两大类别，基于深度学习的目标跟踪方法根据训练策略的不同又可以被分为：(1)辅助图片数据预训练模型，在线跟踪时微调；(2)预训练的CNN分类网络提取深层特征。
经典跟踪方法中的产生式方法运用生成模型描述目标表观特征，之后通过搜索候选目标来最小化重构误差。比较有代表性的算法有稀疏编码，在线密度估计和主成分分析等。产生式方法着眼于对目标本身的刻画，忽略背景信息，在目标自身变化剧烈或者被遮挡时容易产生漂移。
与之相对的，判别式方法通过训练分类器来区分目标和背景。这种方法也常被称为跟踪前检测。近年来，各种机器学习算法被应用在判别式方法上，其中比较有代表性的有多示例学习方法，结构支撑向量机等。判别式方法因为能显著区分背景和前景的信息，表现更为鲁棒，在目标跟踪领域逐渐占据主流地位。目前大部分深度学习目标跟踪方法也可归属于判别式框架。
基于深度学习的跟踪算法在目标跟踪的训练数据非常有限的情况下，使用辅助的非跟踪训练数据进行预训练，获取对物体特征的通用表示。在实际跟踪时，通过利用当前跟踪目标的有限样本信息对预训练模型微调，使模型对当前跟踪目标有更强的分类性能，这种迁移学习思路极大地减少了对跟踪目标训练样本的需求，也提高了跟踪算法的性能。典型的方法有香港科技大学王乃岩博士提出的深度学习***及其改进版本，该方法作为第一个将深度网络运用于单目标跟踪的跟踪算法，首先提出了“离线预训练+在线微调”的思路，很大程度的解决了跟踪中训练样本不足的问题，但仍存在直接训练大尺度卷积神经网络样本不足的困境。
另一种深度学习跟踪方法的思路是直接使用ImageNet这样的大规模分类数据库上训练出的CNN网络获得目标的深层特征表示，之后再用观测模型进行分类获得跟踪结果。这种方法不仅避开了因训练样本不足而导致的过拟合问题，而且充分利用了深度特征强大的表征能力。
近年来，基于相关滤波的跟踪方法因为速度快、效果好而吸引了众多研究者的目光。相关滤波器通过将输入特征回归为目标高斯分布来训练滤波器组，并在后续跟踪中寻找预测分布中的响应峰值来定位目标的位置。其在处理中应用快速傅立叶变换获得了大幅的速度提升，目前基于相关滤波的拓展方法也有很多，包括核化相关滤波器，加尺度估计的相关滤波器等。近几年逐渐出现将深度特征与相关滤波器结合的跟踪方法，主要思路是提取感兴趣区域的深层特征，再利用相关滤波器确定最终的目标位置，能够很好地解决目前已有深度学习目标跟踪方法难以解决的实时性问题。
目前基于深度学习的目标跟踪方法重点在于训练能够区分目标和背景信息的网络模型，明显抑制背景中的非目标同类物体；因此，当目标被复杂场景长时间遮挡时，存在跟踪目标丢失的现象，使得目标跟踪的稳定性降低，对目标本身再次出现后的重新跟踪并不具有鲁棒性。
发明内容
有鉴于此，本发明的主要目的在于提供一种多层深度特征融合的自适应抗遮挡红外目标跟踪方法。
为达到上述目的，本发明的技术方案是这样实现的：
本发明实施例提供一种多层深度特征融合的自适应抗遮挡红外目标跟踪方法，该方法为：首先，通过VGG-Net获取视频图像目标候选区域的多层深度特征图，再对所述多层深度特征图通过上采样获得一系列相同尺寸不同层级的多层深度特征图；然后，根据相关滤波将所述多层深度特征图从时域转换到频域，并且根据快速傅里叶变换进行滤波器训练和响应图计算，再根据层内特征加权融合对多层深度特征图进行合并降维处理，构建出不同层级的特征响应图并且求出最大相关响应值即为目标估计位置；最后，对目标稠密特征进行提取，并根据相关滤波获得特征最大响应值，获得通过深度卷积特征所估计的目标中心位置的响应置信度；当所述目标中心位置的响应置信度小于重检测阈值T0时，通过在线目标重检测对获得的目标估计位置进行评估并且根据评估结果对目标的位置进行自适应更新。
上述方案中，所述通过VGG-Net获取视频图像目标候选区域的多层深度特征图，具体为：以VGG-Net-19深层卷积网络为核心网络，直接将多维图像作为网络输入；其中的“19”表示网络中需要学习的权重的层数；从Conv1到Conv5 每组卷积层分别包含了2、2、4、4、4层卷积，所有卷积层均使用相同的3×3 大小卷积核，通过在ImageNet数据集上进行训练，VGG-Net-19中的每一个卷积层都获得视频图像目标候选区域的多层深度特征图。
上述方案中，所述对所述多层深度特征图通过上采样获得一系列相同尺寸不同层级的多层深度特征图，具体为：每个卷积层的输出都是一组多通道的特征图M，N，D分别表示特征图的宽、高和通道数；根据双线性插值对不同层级的特征图进行上采样操作，使得所有卷积层的特征图都有相同尺寸。
上述方案中，对特征图f进行上采样，位置i处特征向量表示为公式(1)：
其中，f为特征图，x为上采样后的特征图，αik为差值权重，其值与位置i和k 邻域特征向量有关。
上述方案中，所述根据相关滤波将所述多层深度特征图从时域转换到频域，并且根据快速傅里叶变换进行滤波器训练和响应图计算，具体为：给定跟踪目标上采样后的多维特征输入x，基于相关滤波的跟踪算法通过学习训练数据得到一个最优相关滤波器w*，根据该滤波器寻找候选区域中的最大相关响应值对目标进行位置估计。
上述方案中，所述根据相关滤波将所述多层深度特征图从时域转换到频域，并且根据快速傅里叶变换进行滤波器训练和响应图计算，进一步，具体为：在第t帧图像中，目标的多维卷积特征输入为将x在垂直及水平方向上的所有循环移位均做为对相关滤波器训练的样本，每个样本可表示为xm,n， (m,n)∈{0,1,...M-1}×{0,1,...N-1}；同时给定每个样本的期望输出y(m,n)，通过对输出误差进行最小化处理，能够得到在第t帧图像中的最优相关滤波器，见公式(2)：
其中，λ为正则化参数且λ不小于零，y(m,n)为峰值在中心位置的二维高斯核函数，其表达式可由公式(3)表示：
其中，(m×n)∈{0,1,...,M-1}×{0,1,...,N-1},σ为高斯核的宽度；根据帕萨瓦尔定理可以得到上式的频域表示为公式(4)：
其中，X，Y和W分别为x，y和w的离散傅里叶变换，为X的复数共轭，⊙为元素的点乘运算；求得每个特征通道d上的最优滤波可用公式(5)表示：
当给出第t+1帧中目标候选区域的多维卷积特征图z，其离散傅里叶变换为 Z，能够得到第t帧的相关响应图H，可用公式(6)表示：
其中，F-1表示逆离散傅里叶变换操作，在H中寻找最大响应值即为第t+1 帧中目标的估计位置；
在每个像素上乘一个升余弦窗使接近边缘的像素值接近于零，可用公式(7) 表示：
上述方案中，所述根据层内特征加权融合对多层深度特征图进行合并降维处理，构建出不同层级的特征响应图并且求出最大相关响应值即为目标估计位置，具体为：
通过VGG-Net提取3层Conv3-4、Conv4-4和Conv5-4的不同卷积特征并且获得每层最大响应值H3，H4，H5；对其进行加权融合得到多层特征融合后的相关响应图H：
H＝β1H3+β2H4+β3H5，其中，β1，β2，β3，分别是不同卷积层对应的融合加权值；在融合后的相关响应图H上搜索出最大响应值，该值所在位置即为目标的估计中心位置p，p＝argmaxH(m,n)；其中，(m,n)为候选区域中的像素点位置。
上述方案中，所述对目标稠密特征进行提取，并根据相关滤波获得特征最大响应值，获得通过深度卷积特征所估计的目标中心位置的响应置信度，具体为：
首先，在t+1帧图像上，以所估计出的目标中心位置为中心坐标采样得到a ×b大小的搜索区域块，作为稠密特征提取的范围，利用公式(10)和(11) 计算得到每个像素在水平和垂直方向的梯度分量，由公式(12)和(13)能够得到每个像素梯度向量的长度和角度；
G1＝pixel(pos_x+1,pos_y)-pixel(pos_x-1,pos_y) (10)
G2＝pixel(pos_x,pos_y+1)-pixel(pos_x,pos_y-1) (11)
θ＝arctan(G1/G2) (13)
其中，pixel(pos_x+1,pos_y)，pixel(pos_x-1,pos_y)，pixel(pos_x,pos_y+1)，pixel(pos_x,pos_y-1)分别表示4个像素点的位置，pos_x，pos_y为估计出的目标位置，G1，G2分别表示2个像素点在水平和垂直方向上的距离，S和θ表示梯度向量的长度和梯度向量角度；
然后，将搜索区域分成大小相同的单元格，分别计算每个单元patch内像素的梯度信息，包括大小和方向，每个像素的梯度大小对其方向贡献不同的权重，然后这个权重累加到所有的梯度方向上；
对搜索区域进行单元分块，每个单元格大小为a/4×b/4像素，分为4×4 的单元格，分9个方向统计每个单元格的梯度信息，从而用一个9维的向量来表示它的图像信息，统计每个单元格的特征图即可得到稠密特征
最后，对所提取的多层稠密特征进行高斯相关滤波并求最大响应值，即可得到通过上述深度卷积特征所估计的目标中心位置的响应置信度Confidence，该值反映了每一次跟踪结果的可靠程度，
Confidence＝max(F-1(E)) (15)
其中，zf，xf分别为当前帧和前一帧提取的稠密特征集合，F为傅里叶变换。
上述方案中，所述当所述目标中心位置的响应置信度小于重检测阈值T0时，通过在线目标重检测对获得的目标估计位置进行评估，具体为：重检测模块的核心为线性二分类器，通过计算公式(16)对获得的目标估计位置进行二项分类：
f(p)＝<s_w,p>+s_b (16)
其中，<>是向量内积符号，s_w是权向量，它是超平面的法线方向，s_b 为偏移，训练后得到s_w和s_b的值，通过拉格朗日方法求解，令拉格朗日函数为公式(17)：
其中，αl≥0为每个样本的拉格朗日乘子，(p1,q1),...,(pl,ql),(pk,qk) 为直方图均衡后的样本，k为样本个数，ql等于1或-1，pl为d维向量；
求解后得到的最优分类函数可由公式(18)表示：
f(p)＝sgn[(s_w*·p)+s_b*] (18)
其中，s_w*，s_b*分别为对应的最优解。
上述方案中，所述根据评估结果对目标的位置进行自适应更新，具体为：通过在线目标重检测对获得的目标估计位置进行评估获得样本一系列得分值 scorcs，取其中的最大值，该值所对应的样本所在位置即为重检测后目标的再次估计位置tpos；对该样本进行公式(14)和(15)的处理，重新得到一个检测后的跟踪置信度Confidence2，当该值满足公式(19)时，将用tpos代替pos，即得到重检测后的目标位置，若不满足则跟踪位置不进行变化；
Confidence2>1.1Confidence&&max(scorcs)>0 (19)。
与现有技术相比，本发明的有益效果：
本发明不仅能够在目标形变情况下对目标进行稳定跟踪，而且能够解决长时间的遮挡问题，具有较好的鲁棒性能。
附图说明
图1为本发明的流程图；
图2为实验图像序列第1帧图像，图像中含有1个目标，用白色框标出；
图3为目标遮挡后序列图(第62帧到第88帧)，为突出位置变化，以红点表示目标中心位置；
图4为不同方法针对实验图像序列跟踪结果；其中图4(a)、4(b)、4(c)分别是第70帧、90帧、180帧图像fDSST方法的跟踪结果；
图5为不同方法针对实验图像序列跟踪结果；其中图5(a)、5(b)、5(c)分别是第70帧、90帧、180帧图像HCF方法的跟踪结果；
图6为不同方法针对实验图像序列跟踪结果；其中图6(a)、6(b)、6(c)分别是第70帧、90帧、180帧图像本发明方法的跟踪结果。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明实施例提供一种基于多层深度特征融合的自适应抗遮挡目标跟踪方法，如图1所示，该方法具体通过以下步骤实现：
步骤101：获取视频图像目标候选区域的多层深度特征表达。
以VGG-Net-19深层卷积网络为核心网络，直接将多维图像作为网络输入，避免了复杂的特征提取和数据重建过程。
VGG-Net-19其主要由5组(共16层)卷积层、2个全连接特征层和1个全连接分类层组成。其中，从Conv1到Conv5每组卷积层分别包含了2、2、4、 4、4层卷积，所有卷积层均使用相同的3×3大小卷积核。通过在ImageNet数据集上进行训练，VGG-Net-19中的每一个卷积层都可以得到目标的不同层级的特征表达。
步骤102：上采样得到一系列相同尺寸不同层级的语义信息及细节信息。
每个卷积层的输出都是一组多通道的特征图M，N，D分别表示特征图的宽、高和通道数。但由于VGG系列卷积网络特殊的池化操作，从而导致不同的层级之间所获得特征图的尺寸大小存在差异，越深的层级所得到的特征图的尺寸越小。因此，为了更好地融合不同层级之间的卷积特征图，对不同层级的特征图进行上采样操作，使得所有卷积层的特征图都有相同的尺寸。
对特征图f进行上采样，位置i处特征向量表示为公式(1)：
其中，f为特征图，x为上采样后的特征图，αik为差值权重，其值与位置i 和k邻域特征向量有关。
步骤103：在傅里叶域利用相关滤波进行滤波器训练和响应图计算。
给定跟踪目标的上采样后的多维特征输入x，基于相关滤波的跟踪算法通过学习训练数据得到一个最优相关滤波器w*，利用该滤波器寻找候选区域中的最大相关响应值对目标进行位置估计。
在第t帧图像中，目标的多维卷积特征输入为将x在垂直及水平方向上的所有循环移位均做为对相关滤波器训练的样本，每个样本可表示为 xm,n，(m,n)∈{0,1,...M-1}×{0,1,...N-1}。同时给定每个样本的期望输出y(m,n)，通过对输出误差进行最小化处理，能够得到在第t帧图像中的最优相关滤波器，见公式(2)：
其中，λ为正则化参数且λ不小于零，y(m,n)为峰值在中心位置的二维高斯核函数，其表达式可由公式(3)表示：
其中，(m×n)∈{0,1,...,M-1}×{0,1,...,N-1},σ为高斯核的宽度。根据帕萨瓦尔定理可以得到上式的频域表示为公式(4)：
其中，X，Y和W分别为x，y和w的离散傅里叶变换，为X的复数共轭，⊙为元素的点乘运算。可以求得每个特征通道d上的最优滤波可用公式(5)表示：
当给出第t+1帧中目标候选区域的多维卷积特征图z，其离散傅里叶变换为 Z，能够得到第t帧的相关响应图H，可用公式(6)表示：
其中，F-1表示逆离散傅里叶变换操作。在H中寻找最大响应值即为第t+1 帧中目标的估计位置。
为了解决边界效应，在每个像素上乘一个升余弦窗使接近边缘的像素值接近于零，可用公式(7)表示。
步骤104：利用层内特征加权融合对多层特征进行合并降维处理，构建特征响应图。
用VGG-Net提取3层Conv3-4、Conv4-4和Conv5-4的不同卷积特征，且根据上述方法得到每层最大响应值H3，H4，H5。对其进行加权融合得到多层特征融合后的相关响应图H可用公式(8)表示：
H＝β1H3+β2H4+β3H5 (8)
其中，β1，β2，β3，分别是不同卷积层对应的融合加权值。
步骤105：求出最大相关响应值即为目标的估计位置。
在融合后的相关响应图H上搜索出最大响应值，该值所在位置即为目标的估计中心位置p，由公式(9)所示：
p＝arg max H(m,n) (9)
其中，(m,n)为候选区域中的像素点位置。
步骤106：对目标稠密特征进行提取，并利用相关滤波获得特征最大响应值，得到通过上述深度卷积特征所估计的目标中心位置的响应置信度 Confidence。
在t+1帧图像上，以所估计出的目标中心位置为中心坐标采样得到a×b大小的搜索区域块，作为稠密特征提取的范围，利用公式(10)和(11)计算得到每个像素的在水平和垂直方向的梯度分量，由公式(12)和(13)能够得到每个像素的梯度向量的长度和角度。
G1＝pixel(pos_x+1,pos_y)-pixel(pos_x-1,pos_y) (10)
G2＝pixel(pos_x,pos_y+1)-pixel(pos_x,pos_y-1) (11)
θ＝arctan(G1/G2) (13)
其中，pixel(pos_x+1,pos_y)，pixel(pos_x-1,pos_y)，pixel(pos_x,pos_y+1)，pixel(pos_x,pos_y-1)分别表示4个像素点的位置，pos_x，pos_y为估计出的目标位置，G1，G2分别表示2个像素点在水平和垂直方向上的距离，S和θ表示梯度向量的长度和梯度向量角度。
然后将搜索区域分成大小相同的单元格，分别计算每个单元patch内像素的梯度信息，包括大小和方向。每个像素的梯度大小对其方向贡献不同的权重，然后这个权重累加到所有的梯度方向上。增加梯度方向的个数会使检测的性能提高，当梯度分为9个方向分别进行统计时最有效 (0°～20°,21°～40°,...,161°～180°)，而超过9个方向则对重检测效果没有明显的改进。
对搜索区域进行单元分块，每个单元格大小为a/4×b/4像素，分为4×4的单元格，分9个方向统计每个单元格的梯度信息，从而用一个9维的向量来表示它的图像信息，统计每个单元格的特征图即可得到稠密特征
最后，对所提取的多层稠密特征进行高斯相关滤波并求最大响应值，即可得到通过上述深度卷积特征所估计的目标中心位置的响应置信度Confidence，该值反映每一次跟踪结果的可靠程度，可由公式(14)和(15)表示。
Confidence＝max(F-1(E)) (15)
其中，zf，xf分别为当前帧和前一帧提取的稠密特征集合，F为傅里叶变换。
步骤107：通过在线目标重检测对获得的目标估计位置实现评估。
设置重检测阈值T0，对目标估计位置进行评估，当跟踪置信度小于该阈值时，对估计得到的目标位置pos进行重新定位，此时启动重检测模块。
重检测模块的核心为线性二分类器，目标是构造一个分类决策函数把正负样本尽可能正确的分类，线性分类的目的就是找到一个或者一组超平面把目标周围的正负样本完全分开，通过计算公式(16)来进行二项分类：
f(p)＝<s_w,p>+s_b (16)
其中，<>是向量内积符号，s_w是权向量，它是超平面的法线方向，s_b 为偏移，训练后得到s_w和s_b的值。这是一个有约束条件的最优化问题，可以用拉格朗日方法求解，令拉格朗日函数为公式(17)：
其中，αl≥0为每个样本的拉格朗日乘子，(p1,q1),...,(pl,ql),(pk,qk) 为直方图均衡后的样本，k为样本个数，ql等于1或-1，pl为d维向量。
求解后得到的最优分类函数可由公式(18)表示：
f(p)＝sgn[(s_w*·p)+s_b*] (18)
其中，s_w*，s_b*分别为对应的最优解。
步骤108：根据评估结果对目标的位置进行自适应更新。
经过上述处理，得到样本一系列得分值scorcs，取其中的最大值，该值所对应的样本所在位置即为重检测后目标的再次估计位置tpos。对该样本进行公式(14)和(15)的处理，重新得到一个检测后的跟踪置信度Confidence2，当该值满足公式(19)时，将用tpos代替pos，即得到重检测后的目标位置，若不满足则跟踪位置不进行变化。
Confidence2>1.1Confidence&&max(scorcs)>0 (19)
本发明的有益效果通过仿真实验具体说明：
1.实验条件
实验所用的CPU为Intel Core(TM)i7-4170 2.50GHz内存8GB,编程平台是MATLABR2015b。实验采用的是包含目标的真实图像序列，是从DARPA VIVID收集的数据，为一系列车辆的热红外数据，一些树木遮挡，并通过阴影。图像的大小为640×480，如图2所示。
为了有效地说明本发明的优越性，本发明与近两年较为优秀的fDSST和 HCF跟踪方法进行主客观对比。实验表明，本发明的方法在主观视觉和客观评价指标均优于对比方法。图4～6给出了本发明方法及两种对比跟踪方法对图2 的目标进行跟踪的结果。基于深度学习的HCF跟踪方法针对视频前后帧图像目标形态变化缓慢的跟踪较为有效，但当目标被长时间遮挡时，该方法容易丢失目标。fDSST跟踪虽然实时性较高，但同样不能解决目标的长时跟踪问题。本发明方法采用多层深度特征融合的自适应抗遮挡跟踪的方法，利用目标多层深度卷积特征，结合目标语义信息和细节信息，同时在跟踪过程中加入置信度评估，当置信度不满足条件时启动目标重检测模块，重新确定目标位置，在目标被长时间遮挡时，通过对目标中心位置进行校正，仍能准确地跟踪到目标。
表1给出了跟踪结果的客观评价指标，CLE为中心位置误差，计算的是跟踪方法估计的目标中心位置与真实目标中心位置的平均欧氏距离，单位是像素，值越小表示跟踪效果越好；OP表示边界框重叠比率，计算的是跟踪方法预测的目标边框与实际的目标边框面积的平均重叠度，值越大表示跟踪效果越好；DP 表示测量精度，计算的是中心位置误差小于一定阈值的帧数与视频总帧数的比值，值越大越好，在实验过程中，设定阈值为20个像素；fps表示帧频，值越大跟踪效果越好。从表1中可以看出，本发明方法比两种应用最广的跟踪方法在中心位置误差、跟踪成功率和测量精度上都具有较大优势，虽然跟踪实时性仍比fDSST略差，但基本与基于深度学***。
表1跟踪结果客观指标
方法 平均CLE(像素) 平均OP(％) 平均DP(％) 平均速度(fps)
fDSST 58.9 24 25.7 25
HCF 7.58 90.7 88 1.6
本发明方法 4.5 96.3 93 2.2
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

Claims (10)

1.一种多层深度特征融合的自适应抗遮挡红外目标跟踪方法，其特征在于，该方法为：首先，通过VGG-Net获取视频图像目标候选区域的多层深度特征图，再对所述多层深度特征图通过上采样获得一系列相同尺寸不同层级的多层深度特征图；然后，根据相关滤波将所述多层深度特征图从时域转换到频域，并且根据快速傅里叶变换进行滤波器训练和响应图计算，再根据层内特征加权融合对多层深度特征图进行合并降维处理，构建出不同层级的特征响应图并且求出最大相关响应值即为目标估计位置；最后，对目标稠密特征进行提取，并根据相关滤波获得特征最大响应值，获得通过深度卷积特征所估计的目标中心位置的响应置信度；当所述目标中心位置的响应置信度小于重检测阈值T0时，通过在线目标重检测对获得的目标估计位置进行评估并且根据评估结果对目标的位置进行自适应更新。
2.根据权利要求1所述的多层深度特征融合的自适应抗遮挡红外目标跟踪方法，其特征在于，所述通过VGG-Net获取视频图像目标候选区域的多层深度特征图，具体为：以VGG-Net-19深层卷积网络为核心网络，直接将多维图像作为网络输入；其中的“19”表示网络中需要学习的权重的层数；从Conv1到Conv5每组卷积层分别包含了2、2、4、4、4层卷积，所有卷积层均使用相同的3×3大小卷积核，通过在ImageNet数据集上进行训练，VGG-Net-19中的每一个卷积层都获得视频图像目标候选区域的多层深度特征图。
3.根据权利要求1或2所述的多层深度特征融合的自适应抗遮挡红外目标跟踪方法，其特征在于，所述对所述多层深度特征图通过上采样获得一系列相同尺寸不同层级的多层深度特征图，具体为：每个卷积层的输出都是一组多通道的特征图M，N，D分别表示特征图的宽、高和通道数；根据双线性插值对不同层级的特征图进行上采样操作，使得所有卷积层的特征图都有相同尺寸。
4.根据权利要求3所述的多层深度特征融合的自适应抗遮挡红外目标跟踪方法，其特征在于，对特征图f进行上采样，位置i处特征向量表示为公式(1)：
其中，f为特征图，x为上采样后的特征图，αik为差值权重，其值与位置i和k邻域特征向量有关。
5.根据权利要求4所述的多层深度特征融合的自适应抗遮挡红外目标跟踪方法，其特征在于，所述根据相关滤波将所述多层深度特征图从时域转换到频域，并且根据快速傅里叶变换进行滤波器训练和响应图计算，具体为：给定跟踪目标上采样后的多维特征输入x，基于相关滤波的跟踪算法通过学习训练数据得到一个最优相关滤波器w*，根据该滤波器寻找候选区域中的最大相关响应值对目标进行位置估计。
6.根据权利要求5所述的多层深度特征融合的自适应抗遮挡红外目标跟踪方法，其特征在于，所述根据相关滤波将所述多层深度特征图从时域转换到频域，并且根据快速傅里叶变换进行滤波器训练和响应图计算，进一步，具体为：在第t帧图像中，目标的多维卷积特征输入为将x在垂直及水平方向上的所有循环移位均做为对相关滤波器训练的样本，每个样本可表示为xm,n，(m,n)∈{0,1,...M-1}×{0,1,...N-1}；同时给定每个样本的期望输出y(m,n)，通过对输出误差进行最小化处理，能够得到在第t帧图像中的最优相关滤波器，见公式(2)：
其中，λ为正则化参数且λ不小于零，y(m,n)为峰值在中心位置的二维高斯核函数，其表达式可由公式(3)表示：
其中，(m×n)∈{0,1,...,M-1}×{0,1,...,N-1},σ为高斯核的宽度；根据帕萨瓦尔定理可以得到上式的频域表示为公式(4)：
其中，X，Y和W分别为x，y和w的离散傅里叶变换，为X的复数共轭，⊙为元素的点乘运算；求得每个特征通道d上的最优滤波可用公式(5)表示：
当给出第t+1帧中目标候选区域的多维卷积特征图z，其离散傅里叶变换为Z，能够得到第t帧的相关响应图H，可用公式(6)表示：
其中，F-1表示逆离散傅里叶变换操作，在H中寻找最大响应值即为第t+1帧中目标的估计位置；
在每个像素上乘一个升余弦窗使接近边缘的像素值接近于零，可用公式(7)表示：
7.根据权利要求6所述的多层深度特征融合的自适应抗遮挡红外目标跟踪方法，其特征在于，所述根据层内特征加权融合对多层深度特征图进行合并降维处理，构建出不同层级的特征响应图并且求出最大相关响应值即为目标估计位置，具体为：
通过VGG-Net提取3层Conv3-4、Conv4-4和Conv5-4的不同卷积特征并且获得每层最大响应值H3，H4，H5；对其进行加权融合得到多层特征融合后的相关响应图H：
H＝β1H3+β2H4+β3H5，其中，β1，β2，β3，分别是不同卷积层对应的融合加权值；在融合后的相关响应图H上搜索出最大响应值，该值所在位置即为目标的估计中心位置p，p＝arg maxH(m,n)；其中，(m,n)为候选区域中的像素点位置。
8.根据权利要求7所述的多层深度特征融合的自适应抗遮挡红外目标跟踪方法，其特征在于，所述对目标稠密特征进行提取，并根据相关滤波获得特征最大响应值，获得通过深度卷积特征所估计的目标中心位置的响应置信度，具体为：
首先，在t+1帧图像上，以所估计出的目标中心位置为中心坐标采样得到a×b大小的搜索区域块，作为稠密特征提取的范围，利用公式(10)和(11)计算得到每个像素在水平和垂直方向的梯度分量，由公式(12)和(13)能够得到每个像素梯度向量的长度和角度；
G1＝pixel(pos_x+1,pos_y)-pixel(pos_x-1,pos_y) (10)
G2＝pixel(pos_x,pos_y+1)-pixel(pos_x,pos_y-1) (11)
θ＝arctan(G1/G2) (13)
其中，pixel(pos_x+1,pos_y)，pixel(pos_x-1,pos_y)，pixel(pos_x,pos_y+1)，pixel(pos_x,pos_y-1)分别表示4个像素点的位置，pos_x，pos_y为估计出的目标位置，G1，G2分别表示2个像素点在水平和垂直方向上的距离，S和θ表示梯度向量的长度和梯度向量角度；
然后，将搜索区域分成大小相同的单元格，分别计算每个单元patch内像素的梯度信息，包括大小和方向，每个像素的梯度大小对其方向贡献不同的权重，然后这个权重累加到所有的梯度方向上；
对搜索区域进行单元分块，每个单元格大小为a/4×b/4像素，分为4×4的单元格，分9个方向统计每个单元格的梯度信息，从而用一个9维的向量来表示它的图像信息，统计每个单元格的特征图即可得到稠密特征
最后，对所提取的多层稠密特征进行高斯相关滤波并求最大响应值，即可得到通过上述深度卷积特征所估计的目标中心位置的响应置信度Confidence，该值反映了每一次跟踪结果的可靠程度，
Confidence＝max(F-1(E)) (15)
其中，zf，xf分别为当前帧和前一帧提取的稠密特征集合，F为傅里叶变换。
9.根据权利要求8所述的多层深度特征融合的自适应抗遮挡红外目标跟踪方法，其特征在于，所述当所述目标中心位置的响应置信度小于重检测阈值T0时，通过在线目标重检测对获得的目标估计位置进行评估，具体为：重检测模块的核心为线性二分类器，通过计算公式(16)对获得的目标估计位置进行二项分类：
f(p)＝<s_w,p>+s_b (16)
其中，<>是向量内积符号，s_w是权向量，它是超平面的法线方向，s_b为偏移，训练后得到s_w和s_b的值，通过拉格朗日方法求解，令拉格朗日函数为公式(17)：
其中，αl≥0为每个样本的拉格朗日乘子，(p1,q1),...,(pl,ql),(pk,qk)为直方图均衡后的样本，k为样本个数，ql等于1或-1，pl为d维向量；
求解后得到的最优分类函数可由公式(18)表示：
f(p)＝sgn[(s_w*·p)+s_b*] (18)
其中，s_w*，s_b*分别为对应的最优解。
10.根据权利要求9所述的多层深度特征融合的自适应抗遮挡红外目标跟踪方法，其特征在于，所述根据评估结果对目标的位置进行自适应更新，具体为：通过在线目标重检测对获得的目标估计位置进行评估获得样本一系列得分值scorcs，取其中的最大值，该值所对应的样本所在位置即为重检测后目标的再次估计位置tpos；对该样本进行公式(14)和(15)的处理，重新得到一个检测后的跟踪置信度Confidence2，当该值满足公式(19)时，将用tpos代替pos，即得到重检测后的目标位置，若不满足则跟踪位置不进行变化；
Confidence2>1.1Confidence&&max(scorcs)>0 (19)。
CN201810259132.4A 2018-03-27 2018-03-27 多层深度特征融合的自适应抗遮挡红外目标跟踪方法 Active CN108665481B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810259132.4A CN108665481B (zh) 2018-03-27 2018-03-27 多层深度特征融合的自适应抗遮挡红外目标跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810259132.4A CN108665481B (zh) 2018-03-27 2018-03-27 多层深度特征融合的自适应抗遮挡红外目标跟踪方法

Publications (2)

Publication Number Publication Date
CN108665481A true CN108665481A (zh) 2018-10-16
CN108665481B CN108665481B (zh) 2022-05-31

Family

ID=63782540

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810259132.4A Active CN108665481B (zh) 2018-03-27 2018-03-27 多层深度特征融合的自适应抗遮挡红外目标跟踪方法

Country Status (1)

Country Link
CN (1) CN108665481B (zh)

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109615640A (zh) * 2018-11-19 2019-04-12 北京陌上花科技有限公司 相关滤波目标跟踪方法及装置
CN109741366A (zh) * 2018-11-27 2019-05-10 昆明理工大学 一种融合多层卷积特征的相关滤波目标跟踪方法
CN109816689A (zh) * 2018-12-18 2019-05-28 昆明理工大学 一种多层卷积特征自适应融合的运动目标跟踪方法
CN109980781A (zh) * 2019-03-26 2019-07-05 惠州学院 一种变电站智能监控***
CN110033472A (zh) * 2019-03-15 2019-07-19 电子科技大学 一种复杂红外地面环境下的稳定目标跟踪方法
CN110084834A (zh) * 2019-04-28 2019-08-02 东华大学 一种基于快速张量奇异值分解特征降维的目标跟踪方法
CN110189365A (zh) * 2019-05-24 2019-08-30 上海交通大学 抗遮挡相关滤波跟踪方法
CN110276785A (zh) * 2019-06-24 2019-09-24 电子科技大学 一种抗遮挡红外目标跟踪方法
CN110427839A (zh) * 2018-12-26 2019-11-08 西安电子科技大学 基于多层特征融合的视频目标检测方法
CN110599519A (zh) * 2019-08-27 2019-12-20 上海交通大学 基于领域搜索策略的抗遮挡相关滤波跟踪方法
CN110782479A (zh) * 2019-10-08 2020-02-11 中国科学院光电技术研究所 一种基于高斯中心对准的视觉目标跟踪方法
WO2020102988A1 (zh) * 2018-11-20 2020-05-28 西安电子科技大学 基于特征融合和稠密连接的红外面目标检测方法
CN111260689A (zh) * 2020-01-16 2020-06-09 东华大学 一种有效的置信度增强相关滤波视觉跟踪算法
CN111291745A (zh) * 2019-01-15 2020-06-16 展讯通信（上海）有限公司 目标位置估计方法及装置、存储介质、终端
CN111738036A (zh) * 2019-03-25 2020-10-02 北京四维图新科技股份有限公司 图像处理方法、装置、设备及存储介质
CN113537241A (zh) * 2021-07-16 2021-10-22 重庆邮电大学 一种基于自适应特征融合的长时相关滤波目标跟踪方法
CN113971216A (zh) * 2021-10-22 2022-01-25 北京百度网讯科技有限公司 数据处理方法、装置、电子设备和存储器
CN114845137A (zh) * 2022-03-21 2022-08-02 南京大学 一种基于图像配准的视频光路重建方法及其装置
CN116563348A (zh) * 2023-07-06 2023-08-08 中国科学院国家空间科学中心 基于双特征模板的红外弱小目标多模态跟踪方法及***
CN117011196A (zh) * 2023-08-10 2023-11-07 哈尔滨工业大学 一种基于组合滤波优化的红外小目标检测方法及***
CN113658217B (zh) * 2021-07-14 2024-02-23 南京邮电大学 一种自适应目标跟踪方法、装置及存储介质
CN117893574A (zh) * 2024-03-14 2024-04-16 大连理工大学 基于相关滤波卷积神经网络的红外无人机目标跟踪方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103400129A (zh) * 2013-07-22 2013-11-20 中国科学院光电技术研究所 一种基于频域显著性的目标跟踪方法
CN104240542A (zh) * 2014-09-03 2014-12-24 南京航空航天大学 一种基于地磁传感器网络的机场场面机动目标识别方法
CN104730537A (zh) * 2015-02-13 2015-06-24 西安电子科技大学 基于多尺度模型的红外/激光雷达数据融合目标跟踪方法
EP3096292A1 (en) * 2015-05-18 2016-11-23 Xerox Corporation Multi-object tracking with generic object proposals
CN106447711A (zh) * 2016-05-26 2017-02-22 武汉轻工大学 一种多尺度基本几何形状特征提取方法
CN107154024A (zh) * 2017-05-19 2017-09-12 南京理工大学 基于深度特征核相关滤波器的尺度自适应目标跟踪方法
CN107644430A (zh) * 2017-07-27 2018-01-30 孙战里 基于自适应特征融合的目标跟踪
US20180053318A1 (en) * 2016-08-22 2018-02-22 Ulsee Inc Image Target Tracking Method and System Thereof

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103400129A (zh) * 2013-07-22 2013-11-20 中国科学院光电技术研究所 一种基于频域显著性的目标跟踪方法
CN104240542A (zh) * 2014-09-03 2014-12-24 南京航空航天大学 一种基于地磁传感器网络的机场场面机动目标识别方法
CN104730537A (zh) * 2015-02-13 2015-06-24 西安电子科技大学 基于多尺度模型的红外/激光雷达数据融合目标跟踪方法
EP3096292A1 (en) * 2015-05-18 2016-11-23 Xerox Corporation Multi-object tracking with generic object proposals
CN106447711A (zh) * 2016-05-26 2017-02-22 武汉轻工大学 一种多尺度基本几何形状特征提取方法
US20180053318A1 (en) * 2016-08-22 2018-02-22 Ulsee Inc Image Target Tracking Method and System Thereof
CN107154024A (zh) * 2017-05-19 2017-09-12 南京理工大学 基于深度特征核相关滤波器的尺度自适应目标跟踪方法
CN107644430A (zh) * 2017-07-27 2018-01-30 孙战里 基于自适应特征融合的目标跟踪

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
HAINAN ZHAO等: "Robust Object Tracking Using Adaptive Multi-Features Fusion Based on Local Kernel Learning", 《2014 TENTH INTERNATIONAL CONFERENCE ON INTELLIGENT INFORMATION HIDING AND MULTIMEDIA SIGNAL PROCESSING》, 29 December 2014 (2014-12-29), pages 1 - 10 *
保富: "基于局部特征提取的目标检测与跟踪技术研究", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 *
保富: "基于局部特征提取的目标检测与跟踪技术研究", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》, no. 2018, 15 January 2018 (2018-01-15), pages 138 - 1073 *
王鑫等: "基于多层卷积特征融合的目标尺度自适应稳健跟踪", 《光学学报》 *
王鑫等: "基于多层卷积特征融合的目标尺度自适应稳健跟踪", 《光学学报》, vol. 37, no. 11, 26 July 2017 (2017-07-26), pages 232 - 243 *
闫俊强: "基于图像的空中目标跟踪算法研究", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》, no. 2016, 15 August 2016 (2016-08-15), pages 138 - 1123 *

Cited By (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109615640A (zh) * 2018-11-19 2019-04-12 北京陌上花科技有限公司 相关滤波目标跟踪方法及装置
WO2020102988A1 (zh) * 2018-11-20 2020-05-28 西安电子科技大学 基于特征融合和稠密连接的红外面目标检测方法
US11055574B2 (en) 2018-11-20 2021-07-06 Xidian University Feature fusion and dense connection-based method for infrared plane object detection
CN109741366A (zh) * 2018-11-27 2019-05-10 昆明理工大学 一种融合多层卷积特征的相关滤波目标跟踪方法
CN109816689A (zh) * 2018-12-18 2019-05-28 昆明理工大学 一种多层卷积特征自适应融合的运动目标跟踪方法
CN110427839B (zh) * 2018-12-26 2022-05-06 厦门瞳景物联科技股份有限公司 基于多层特征融合的视频目标检测方法
CN110427839A (zh) * 2018-12-26 2019-11-08 西安电子科技大学 基于多层特征融合的视频目标检测方法
CN111291745B (zh) * 2019-01-15 2022-06-14 展讯通信（上海）有限公司 目标位置估计方法及装置、存储介质、终端
CN111291745A (zh) * 2019-01-15 2020-06-16 展讯通信（上海）有限公司 目标位置估计方法及装置、存储介质、终端
CN110033472A (zh) * 2019-03-15 2019-07-19 电子科技大学 一种复杂红外地面环境下的稳定目标跟踪方法
CN111738036B (zh) * 2019-03-25 2023-09-29 北京四维图新科技股份有限公司 图像处理方法、装置、设备及存储介质
CN111738036A (zh) * 2019-03-25 2020-10-02 北京四维图新科技股份有限公司 图像处理方法、装置、设备及存储介质
CN109980781B (zh) * 2019-03-26 2023-03-03 惠州学院 一种变电站智能监控***
CN109980781A (zh) * 2019-03-26 2019-07-05 惠州学院 一种变电站智能监控***
CN110084834A (zh) * 2019-04-28 2019-08-02 东华大学 一种基于快速张量奇异值分解特征降维的目标跟踪方法
CN110189365B (zh) * 2019-05-24 2023-04-07 上海交通大学 抗遮挡相关滤波跟踪方法
CN110189365A (zh) * 2019-05-24 2019-08-30 上海交通大学 抗遮挡相关滤波跟踪方法
CN110276785B (zh) * 2019-06-24 2023-03-31 电子科技大学 一种抗遮挡红外目标跟踪方法
CN110276785A (zh) * 2019-06-24 2019-09-24 电子科技大学 一种抗遮挡红外目标跟踪方法
CN110599519B (zh) * 2019-08-27 2022-11-08 上海交通大学 基于领域搜索策略的抗遮挡相关滤波跟踪方法
CN110599519A (zh) * 2019-08-27 2019-12-20 上海交通大学 基于领域搜索策略的抗遮挡相关滤波跟踪方法
CN110782479B (zh) * 2019-10-08 2022-07-19 中国科学院光电技术研究所 一种基于高斯中心对准的视觉目标跟踪方法
CN110782479A (zh) * 2019-10-08 2020-02-11 中国科学院光电技术研究所 一种基于高斯中心对准的视觉目标跟踪方法
CN111260689A (zh) * 2020-01-16 2020-06-09 东华大学 一种有效的置信度增强相关滤波视觉跟踪算法
CN111260689B (zh) * 2020-01-16 2022-10-11 东华大学 一种基于置信度增强的相关滤波视觉跟踪方法
CN113658217B (zh) * 2021-07-14 2024-02-23 南京邮电大学 一种自适应目标跟踪方法、装置及存储介质
CN113537241A (zh) * 2021-07-16 2021-10-22 重庆邮电大学 一种基于自适应特征融合的长时相关滤波目标跟踪方法
CN113537241B (zh) * 2021-07-16 2022-11-08 重庆邮电大学 一种基于自适应特征融合的长时相关滤波目标跟踪方法
CN113971216A (zh) * 2021-10-22 2022-01-25 北京百度网讯科技有限公司 数据处理方法、装置、电子设备和存储器
CN114845137A (zh) * 2022-03-21 2022-08-02 南京大学 一种基于图像配准的视频光路重建方法及其装置
CN116563348A (zh) * 2023-07-06 2023-08-08 中国科学院国家空间科学中心 基于双特征模板的红外弱小目标多模态跟踪方法及***
CN116563348B (zh) * 2023-07-06 2023-11-14 中国科学院国家空间科学中心 基于双特征模板的红外弱小目标多模态跟踪方法及***
CN117011196A (zh) * 2023-08-10 2023-11-07 哈尔滨工业大学 一种基于组合滤波优化的红外小目标检测方法及***
CN117011196B (zh) * 2023-08-10 2024-04-19 哈尔滨工业大学 一种基于组合滤波优化的红外小目标检测方法及***
CN117893574A (zh) * 2024-03-14 2024-04-16 大连理工大学 基于相关滤波卷积神经网络的红外无人机目标跟踪方法

Also Published As

Publication number Publication date
CN108665481B (zh) 2022-05-31

Similar Documents

Publication Publication Date Title
CN108665481A (zh) 多层深度特征融合的自适应抗遮挡红外目标跟踪方法
CN111062973B (zh) 基于目标特征敏感性和深度学习的车辆跟踪方法
CN104574445B (zh) 一种目标跟踪方法
CN112184752A (zh) 一种基于金字塔卷积的视频目标跟踪方法
WO2019140767A1 (zh) 安检识别***及其控制方法
Li et al. Adaptive deep convolutional neural networks for scene-specific object detection
CN107633226B (zh) 一种人体动作跟踪特征处理方法
CN109816689A (zh) 一种多层卷积特征自适应融合的运动目标跟踪方法
CN108346159A (zh) 一种基于跟踪-学习-检测的视觉目标跟踪方法
CN107481264A (zh) 一种自适应尺度的视频目标跟踪方法
CN107506702A (zh) 基于多角度的人脸识别模型训练及测试***及方法
CN107146240A (zh) 基于相关滤波和显著性检测的航拍视频目标跟踪方法
CN107316316A (zh) 基于多特征自适应融合和核相关滤波技术的目标跟踪方法
CN109461172A (zh) 人工与深度特征联合的相关滤波视频自适应跟踪方法
CN107767416B (zh) 一种低分辨率图像中行人朝向的识别方法
CN113963032A (zh) 一种融合目标重识别的孪生网络结构目标跟踪方法
CN108021869A (zh) 一种结合高斯核函数的卷积神经网络跟踪方法
CN103886325A (zh) 一种分块的循环矩阵视频跟踪方法
CN113762009B (zh) 一种基于多尺度特征融合及双注意力机制的人群计数方法
CN108257151A (zh) 基于显著性分析的PCANet图像变化检测方法
CN111027377A (zh) 一种双流神经网络时序动作定位方法
Mo et al. Background noise filtering and distribution dividing for crowd counting
CN109242883A (zh) 基于深度sr-kcf滤波的光学遥感视频目标跟踪方法
CN107944354A (zh) 一种基于深度学习的车辆检测方法
CN111027586A (zh) 一种基于新型响应图融合的目标跟踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant