CN109102521B - 一种基于并行注意力相关滤波的视频目标跟踪方法 - Google Patents

一种基于并行注意力相关滤波的视频目标跟踪方法 Download PDF

Info

Publication number
CN109102521B
CN109102521B CN201810647331.2A CN201810647331A CN109102521B CN 109102521 B CN109102521 B CN 109102521B CN 201810647331 A CN201810647331 A CN 201810647331A CN 109102521 B CN109102521 B CN 109102521B
Authority
CN
China
Prior art keywords
target
tracking
function
interference
boolean
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810647331.2A
Other languages
English (en)
Other versions
CN109102521A (zh
Inventor
宋慧慧
樊佳庆
张开华
刘青山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Information Science and Technology
Original Assignee
Nanjing University of Information Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Information Science and Technology filed Critical Nanjing University of Information Science and Technology
Priority to CN201810647331.2A priority Critical patent/CN109102521B/zh
Publication of CN109102521A publication Critical patent/CN109102521A/zh
Application granted granted Critical
Publication of CN109102521B publication Critical patent/CN109102521B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/262—Analysis of motion using transform domain methods, e.g. Fourier domain methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种基于并行注意力相关滤波的视频目标跟踪方法，属于图像处理技术领域。将跟踪问题设计为估计一个目标位置的概率，整合空间选择注意力SSA和表观选择注意力ASA，利用Log函数得到目标函数，实现视频目标的持续有效跟踪。首先进行SSA建模，产生一系列的二值图，经滤波获取位置响应图，然后在跟踪目标周围的半局部域采样一系列干扰区域，在相关视频滤波中学习抗干扰距离度量并进行抗干扰度量正则相关滤波，将干扰项推入负域，获取ASA目标图，再通过Log函数得到的目标函数，将在局部域和半局部域中处理的图像相融合对目标进行跟踪。具有处理问题时更加稳健准确、适应性强、跟踪效果好等优点。

Description

一种基于并行注意力相关滤波的视频目标跟踪方法
技术领域
本发明涉及一种基于并行注意力相关滤波的视频目标跟踪方法，属于图像处理技术领域。
背景技术
视觉跟踪在一些重要的计算机视觉应用中是一个先决条件，例如视频监控、行为识别、视频检索和人机交互等。尽管近几年视觉跟踪技术已经取得了较大进步，但还是只能给定第一帧的目标位置信息，在一些无约束的环境中，持续地跟踪一个一般目标仍然具有挑战性，这是因为目标的表观受到遮挡、快速运动和形变等干扰因素的严重影响。
目标跟踪的任务是寻找目标位置并判断目标特性，这是哪里和什么的问题，也和人类视觉感知中的注意力选择机制有关。心理学和认知学研究证据表明，人类视觉感知具有着重性和选择性，以至于人们的视觉***能够专注于快速处理相关重要的视觉信息。人类视觉感知中有两个主要的视觉注意力机制：一个是空间选择性注意力(SSA)，它能够减小一个神经元的相对领域，并提高对视觉域中一个特殊位置的敏感性；另一个是表观选择注意力(ASA)，它通过专门处理不同类型的特征以增强响应值，以此在大脑皮层的不同区域增强活性。
在离开眼睛后，这些进入前额大脑皮层的场景输入信号被分成背部流和腹部流，前者利用现存的空间关系(即哪里)，而后者则着重强调表观特征(即什么)。一些感知学研究证明，这两种类型的机能可能被并行处理，这些机理在处理目标跟踪的干扰项、模糊和遮挡时可以扮演重要角色。如何利用这些研究去处理相关滤波类***中的哪里和什么的问题，对于解决复杂环境下的目标跟踪具有重要意义。
发明内容
本发明要解决的技术问题是针对现有目标跟踪方法不能持续地跟踪一般目标的缺点，提出一种基于并行注意力相关滤波的视频目标跟踪方法，通过融合空间选择性注意力和表观选择注意力，实现对视频目标的持续有效跟踪。
为解决上述技术问题，本发明提供一种基于并行注意力相关滤波的视频目标跟踪方法，将跟踪问题设计为估计一个目标位置的概率，整合空间选择注意力(SSA)和表观选择注意力(ASA)，利用Log函数得到目标函数，实现视频目标的持续有效跟踪，包括以下步骤：
(1)获取SSA位置响应图：首先，针对跟踪目标，在跟踪目标周围的局部域，产生一系列的二值图来描述不同粒度下目标和它的周围场景之间的拓扑结构，将图片从上到下按由粗到细的描述粒度排列，得到一组跟踪目标布尔图Bi(i＝1，2，......，Nb)，粗粒度布尔图对全局形状信息进行编码描述明显的目标表观变化，细粒度的布尔图描述空间的细节结构；然后，针对跟踪目标定义一个二值滤波器F，将F作用在布尔图Bi上，获得条件位置响应图，并通过最小化线性回归函数完成学习权重，为每个布尔图学习一个最优的权重，对每个图加权得到最后的位置响应图：
(2)获取ASA目标图：首先，在跟踪目标周围的半局部域采样一系列干扰区域，将岭回归目标函数近似等价为一个度量学习的相关滤波器，在相关视频滤波中学习抗干扰距离度量，解决建模正样本间的相互关系；然后，引入抗干扰度量正则项，对经目标图像进行抗干扰度量正则相关滤波，在相关滤波中学习抗干扰距离度量，同时考虑来自真实负样本的有用的相互关系，将干扰项推入负域，获取目标跟踪图片：
(3)持续跟踪视频目标：通过Log函数建模获得整合SSA和ASA的目标函数，利用该函数对视频目标进行跟踪，并在线更新参数，实现对视频目标的有效跟踪。
所述基于并行注意力相关滤波的视频目标跟踪方法的具体步骤如下：
(1)获取SSA位置响应图
(1.1)针对跟踪目标，在跟踪目标周围的局部域，通过下式产生一系列的二值图来描述不同粒度下目标和它的周围场景之间的拓扑结构：
Figure GDA0001812976290000021
其中，I(j)表示第j个像素强度，U(·)是一个一元函数，R(·)表示一个取整函数，
Figure GDA0001812976290000022
是一个图像块的RGB颜色通道图，T表示转置；
将图片从上到下按由粗到细的描述粒度排列，得到一组跟踪目标布尔图Bi(i＝1，2，......，Nb)，粗粒度布尔图对全局形状信息进行编码描述明显的目标表观变化，细粒度的布尔图描述空间的细节结构
(1.2)进行权重学习：按常规方法，针对跟踪目标定义一个二值滤波器
Figure GDA0001812976290000023
将F作用在步骤(1.1)得到的跟踪目标布尔图Bi上，获得一组条件位置响应图，并通过以下最小化线性回归函数完成学习权重，为每个布尔图学习一个最优的权重
Figure GDA0001812976290000024
对每个图加权，得到一组最后的位置响应图P(Bi，F|I∈Ωo)：
Figure GDA0001812976290000025
其中，Ωo是场景中出现目标的区域，Ωb是场景中出现的背景区域，dw是特征的宽度，dh是特征的高度，
Figure GDA0001812976290000026
是第k帧的分类器参数向量，
Figure GDA0001812976290000027
是目标区域中非空白的像素个数，
Figure GDA0001812976290000031
是背景区域中非空白像素的个数，βk是一个待优化的权重系数，权重系数
Figure GDA0001812976290000032
需要通过
Figure GDA0001812976290000033
在线更新，以适应目标随着时间的表观变化，βt是更新之后的权重系数向量，η是融合系数，
Figure GDA0001812976290000034
是当前帧的权重系数向量；
(2)获取ASA目标图
(2.1)在跟踪目标周围的半局部域采样一系列干扰区域
Figure GDA0001812976290000035
将以下岭回归目标函数近似等价为一个度量学习的相关滤波器
Figure GDA0001812976290000036
在相关视频滤波中学习抗干扰距离度量；
Figure GDA0001812976290000037
Figure GDA0001812976290000038
其中，
Figure GDA0001812976290000039
xi是样本矩阵，
Figure GDA00018129762900000310
是向量x的DFT，
Figure GDA00018129762900000311
是
Figure GDA00018129762900000312
的第i行，wi是第i个样本矩阵xi对应的相关滤波器权重，
Figure GDA00018129762900000313
是所有wi组成的向量，y是高斯型的标签，dw′dh′分别是特征矩阵的宽度和高度，λ是正则项系数，
Figure GDA00018129762900000314
是马氏距离，
Figure GDA00018129762900000315
且
Figure GDA00018129762900000316
(2.2)在相关滤波目标函数中引入抗干扰度量正则项，获得抗干扰度量正则相关滤波模型
Figure GDA00018129762900000317
通过该模型对经步骤(2.1)得到的目标图像进一步进行抗干扰度量正则相关滤波，强化对目标特征的判别和跟踪，将滤掉的干扰项推入负域，获取正空间目标跟踪图片P(Xi，wi||∈Ωo)：
其中，
Figure GDA00018129762900000318
是抗干扰度量正则相关滤波权重中的第k个子向量，
Figure GDA00018129762900000319
是总样本向量中的第k个子向量，
Figure GDA00018129762900000320
是高斯型标签向量中的第k个子向量，wi是第i个循环样本矩阵对应的权重向量，
Figure GDA00018129762900000321
通过
Figure GDA00018129762900000322
在线更新得到，
Figure GDA00018129762900000323
是求
Figure GDA00018129762900000324
的逆FFT得到的第t帧的跟踪结果，
Figure GDA00018129762900000325
是
Figure GDA00018129762900000326
的共轭转置，I是单位矩阵，λ是正则项系数，η是融合系数；
Figure GDA00018129762900000327
被定义为：
Figure GDA0001812976290000041
Figure GDA0001812976290000042
Figure GDA0001812976290000043
其中，xi是第i个样本向量，
Figure GDA0001812976290000044
是第k个基础样本的第m个循环样本，
Figure GDA0001812976290000045
是第k个基础样本的第n个循环样本，wmn是样本差异权重(用于度量样本i和j之间的相似性，权重越大，样本的差异性越大，学到的表观特征就更有判别力)；
(4)持续跟踪视频目标
通过Log函数建模，整合SSA和ASA图像，得到如下目标函数：
Figure GDA0001812976290000046
其中，P(Bi，F|I∈Ωo)表示获得的SSA位置响应图，
Figure GDA0001812976290000047
Figure GDA0001812976290000048
表示一系列Nb通道的布尔图，
Figure GDA0001812976290000049
表示布尔图滤波器，P(Xi，wi|I∈Ωo)表示获得的ASA目标图，
Figure GDA00018129762900000410
*表示一个空间相关操作，βi表示一个待优化的权重系数，e(·)表示指数函数，Ωo∈R2表示目标区域，o表示出现在场景中的目标，
Figure GDA00018129762900000411
表示一系列Nx的循环矩阵(其中每个都是通过对移动一个基本HOG特征通道向量
Figure GDA00018129762900000412
得到，所有特征通道都是独立分布的)，
Figure GDA00018129762900000413
表示ASA滤波器；
利用该目标函数，对视频目标进行跟踪，并在线更新参数，实现对目标的有效跟踪。
所述正则项系数λ的取值为0.001，融合系数η的取值是0.006。
本发明的原理是：
本发明的核心是把跟踪问题规划为估计一个目标位置概率，无缝地整合SSA和ASA：
Figure GDA0001812976290000051
这里Ωo∈R2表示目标区域并且o表示出现在场景中的目标，
Figure GDA0001812976290000052
表示一系列Nb通道的布尔图，
Figure GDA0001812976290000053
是一系列Nx的循环矩阵，其中每个都是通过对移动一个基本HOG特征通道向量
Figure GDA0001812976290000054
得到的，
Figure GDA0001812976290000055
和
Figure GDA0001812976290000056
是它们对应的滤波器。此外，为了简化，所有特征通道假设是独立分布的。最后，在式(1)的两边利用Log函数，得到：
Figure GDA0001812976290000057
这里的P(Bi，F|I∈Ωo)和P(Xi，wi||∈Ωo)定义为：
Figure GDA0001812976290000058
这里的*是一个空间相关操作，βi是一个待优化的权重系数，并且e(·)是个指数函数。
在建模SSA中，本发明首先产生一系列的二值图，即产生BMR，描述不同粒度下目标和它的周围场景之间的拓扑结构。图2中，从上到下，布尔图描述的粒度从粗到细，其中粗粒度布尔图编码了全局形状信息，它对大的目标表观变化是鲁棒的，然而，细粒度的则描述了空间的结构细节，它对精确的目标定位是有效的。然后将一个预先定义的二值滤波器作用在这些图上，得到一组条件位置响应图，其中每个被加权来得到最后的位置响应图，目标是为每个布尔图去学习一个最优的权重。
BMR是受最近人类视觉注意力研究的启发，表现为对一个场景的短暂知觉意识能够利用一组布尔图来表示。特别地，给出的
Figure GDA0001812976290000059
是一个图像块的RGB颜色通道图，它相应的
Figure GDA00018129762900000510
由下式得到
Figure GDA0001812976290000061
这里的阈值θi来自一个在[0，255]之间的独立分布(黑白二值图)，并且这个符号≥表示元素级的不等号。为了简化，把阈值设为θi＝Nb(i-1)/255，它通过一个固定的步长δ＝Nb/255从0到255之间采样，因为固定步长的采样是和无穷δ→0统一采样完全等价的。因此，很容易证明
Figure GDA0001812976290000062
并且，第j个像素强度I(j)能够被表示成
Figure GDA0001812976290000063
这里的U(·)是一个一元函数，如U(2)＝[1；1；0]，U(3)＝[1；1；1]有3个离散的层，并且，R(·)表示一个取整函数。
Figure GDA0001812976290000064
是一个图像块的RGB颜色通道图，
在进行权重学习时，本发明通过最小化以下的线性回归函数来学习权重：
Figure GDA0001812976290000065
这里||·||F表示F范数。很显然，最小化式(6)中的
Figure GDA0001812976290000066
等价于最小化下面的目标函数：
Figure GDA0001812976290000067
这里的式(5)已经被式(7)取代了。Ωo和Ωb分别表示目标和背景区域，并且
Figure GDA0001812976290000068
通过置
Figure GDA0001812976290000069
最小化
Figure GDA00018129762900000610
得到的解{βi}能得到
Figure GDA0001812976290000071
为了自适应目标随着时间的表观变化，在线更新系数
Figure GDA0001812976290000072
Figure GDA0001812976290000073
这里的
Figure GDA0001812976290000074
通过式(8)利用在t帧时的跟踪结果计算得到。
在解决干扰问题方面，本发明利用人类视觉感知中的ASA着重于学习表观特征原理，通过学习一个抗干扰距离度量来把干扰项推到负空间里，以此增强特征的判别能力，从而产生针对干扰项时的鲁棒跟踪，可以很好地把目标从干扰项里区分出来。先将学习相关滤波近似为学习一个距离度量，解决建模正样本间的相互关系，然后在相关滤波中学习抗干扰距离度量，同时考虑来自真实负样本的有用的相互关系。
在距离度量学习中，学习CF被表示成一个空间岭回归目标函数：
Figure GDA0001812976290000075
这里的
Figure GDA0001812976290000076
是一个高斯回归目标，
Figure GDA0001812976290000077
并且，λ是一个正则项系数。注意到如果
Figure GDA0001812976290000078
被重塑到
Figure GDA0001812976290000079
对于任何a≠0，然后，式(10)能够被重规划为
Figure GDA00018129762900000710
除了以1/a的比例重塑y，它等价于式(10)并且，由于同样的最大响应位置，这将产生同样的跟踪结果。
基于此，为了清楚地展示相关滤波学习和度量学习之间的关系，在式(10)中设置
Figure GDA00018129762900000711
并且重塑
Figure GDA00018129762900000712
这等价于在里面加入约束
Figure GDA00018129762900000713
接下来，用标志
Figure GDA00018129762900000714
来表示
Figure GDA00018129762900000715
的第i行，然后，重写式(10)中的数据项为：
Figure GDA0001812976290000081
这里的
Figure GDA0001812976290000082
是马氏距离，
Figure GDA0001812976290000083
并且
Figure GDA0001812976290000084
是一个全是一的向量。因此，学习相关滤波大致可以看作是学习一个最优的距离度量。
但是在式(11)中只考虑了正样本之间的关系，因此限制了它从背景中区分出目标的判别能力。为了解决这个问题，在式(10)中添加一个抗干扰度量正则项，其由负空间的关系组成，并且作为把干扰项推到负空间的一种力量。
在进行抗干扰度量正则相关滤波时，首先从目标周围的半局部域采样一系列干扰区域
Figure GDA0001812976290000085
然后把它们之间的相互作用建模成
Figure GDA0001812976290000086
并整合进式(10)作为一个正则项：
Figure GDA0001812976290000087
Figure GDA0001812976290000088
这里的γ是一个正则项系数，并且wmn是一个权重，它度量出样本i和j之间的相似性。权重越大，样本差异性就越大，从而使得学到的表观特征更有判别力。
式(12)能够被重新规划成：
Figure GDA0001812976290000089
这里的
Figure GDA0001812976290000091
并且
Figure GDA0001812976290000092
这个
Figure GDA0001812976290000093
的最小解能够通过
Figure GDA0001812976290000094
得到：
Figure GDA0001812976290000095
这里的
Figure GDA0001812976290000096
是一个块矩阵，有Nx×Nx个块
Figure GDA0001812976290000097
这里的
Figure GDA0001812976290000098
并且
Figure GDA0001812976290000099
因为循环矩阵x满足
Figure GDA00018129762900000910
这里的F表示离散傅立叶变换(DFT)矩阵，
Figure GDA00018129762900000911
表示基准向量x的DFT，并且FH＝(F＊)T表示共轭转置。利用这个建模，式(15)能被对角化成
Figure GDA00018129762900000912
这里
Figure GDA00018129762900000913
并且
Figure GDA00018129762900000914
另外，在(14)中代入(16)，它的右边项能被重规划成
Figure GDA00018129762900000915
在式(14)中代入式(17)、(18)，得到它的解的FFT
Figure GDA00018129762900000916
这里的
Figure GDA00018129762900000917
它的第i个元素是
Figure GDA00018129762900000918
的第k个元素，而且
Figure GDA00018129762900000919
类似于式(9)，
Figure GDA00018129762900000920
是通过在线更新得到的
Figure GDA00018129762900000921
这里的
Figure GDA00018129762900000922
是通过式(19)计算的，用的是第t帧的跟踪结果。
Figure GDA00018129762900000923
被定义为
Figure GDA00018129762900000924
这里的
Figure GDA00018129762900000925
因为
Figure GDA00018129762900000926
的行数是
Figure GDA00018129762900000927
它是列数，直接计算式(19)中
Figure GDA0001812976290000101
的逆不太实际。相反，我们通过用变换
Figure GDA0001812976290000102
来计算
Figure GDA0001812976290000103
的逆。在得到所有
Figure GDA0001812976290000104
之后，它能够被并行地计算，式(14)的最优解
Figure GDA0001812976290000105
能够通过求
Figure GDA0001812976290000106
的逆FFT得到。
本发明基于人类视觉感知提出了一个相关滤波类跟踪算法，反映了在人类视觉感知中的SSA和ASA机制，通过并行地处理一个局部和半局部背景域，增强了目标跟踪的鲁棒性和抗干扰性。对于局部域，为了建模SSA，一个简单但是有效的BMR被引入相关滤波学习之中，通过随机二值化图像颜色通道来刻画目标和它的场景的局部拓扑结构，其对于各种变换是不变的。对于半局部域，为了建模ASA，一个抗干扰度量正则项被引入相关滤波的目标函数之中，它作为把干扰项推入负域的一个力量，因此在遇到有挑战性的目标相似物体干扰项时，增强了跟踪的鲁棒性。具有处理问题时更加稳健准确、适应性强、跟踪效果好等优点，可实现对视频目标的持续有效跟踪。
附图说明
图1是本发明的原理图。
图2是本发明建模SSA的流程图。
具体实施方式
下面结合附图对本发明的具体实施方式作进一步详尽描述，实施例中未注明的技术或产品，均为现有技术或可以通过购买获得的常规产品。
实施例1：如图1、2所示，本基于并行注意力相关滤波的视频目标跟踪方法是将跟踪问题设计为估计一个目标位置的概率，整合空间选择注意力(SSA)和表观选择注意力(ASA)，利用Log函数得到目标函数，实现视频目标的持续有效跟踪，包括以下步骤：
(1)获取SSA位置响应图：首先，针对跟踪目标，在跟踪目标周围的局部域，产生一系列的二值图来描述不同粒度下目标和它的周围场景之间的拓扑结构，将图片从上到下按由粗到细的描述粒度排列，得到一组跟踪目标布尔图Bi(i＝1，2，......，Nb)，粗粒度布尔图对全局形状信息进行编码描述明显的目标表观变化，细粒度的布尔图描述空间的细节结构；然后，针对跟踪目标定义一个二值滤波器F，将F作用在布尔图Bi上，获得条件位置响应图，并通过最小化线性回归函数完成学习权重，为每个布尔图学习一个最优的权重，对每个图加权得到最后的位置响应图：
(2)获取ASA目标图：首先，在跟踪目标周围的半局部域采样一系列干扰区域，将岭回归目标函数近似等价为一个度量学习的相关滤波器，在相关视频滤波中学习抗干扰距离度量，解决建模正样本间的相互关系；然后，引入抗干扰度量正则项，对经目标图像进行抗干扰度量正则相关滤波，在相关滤波中学习抗干扰距离度量，同时考虑来自真实负样本的有用的相互关系，将干扰项推入负域，获取目标跟踪图片：
(3)持续跟踪视频目标：通过Log函数建模获得整合SSA和ASA的目标函数，利用该函数对视频目标进行跟踪，并在线更新参数，实现对视频目标的有效跟踪。
本基于并行注意力相关滤波的视频目标跟踪方法的具体步骤如下：
(1)获取SSA位置响应图
(1.1)针对跟踪目标，在跟踪目标周围的局部域，通过下式产生一系列的二值图来描述不同粒度下目标和它的周围场景之间的拓扑结构：
Figure GDA0001812976290000111
其中，I(j)表示第j个像素强度，U(·)是一个一元函数，R(·)表示一个取整函数，
Figure GDA0001812976290000112
是一个图像块的RGB颜色通道图，T表示转置；
将图片从上到下按由粗到细的描述粒度排列，得到一组跟踪目标布尔图Bi(i＝1，2，......，Nb)，粗粒度布尔图对全局形状信息进行编码描述明显的目标表观变化，细粒度的布尔图描述空间的细节结构
(1.2)进行权重学习：按常规方法，针对跟踪目标定义一个二值滤波器
Figure GDA0001812976290000113
将F作用在步骤(1.1)得到的跟踪目标布尔图Bi上，获得一组条件位置响应图，并通过以下最小化线性回归函数完成学习权重，为每个布尔图学习一个最优的权重
Figure GDA0001812976290000114
对每个图加权，得到一组最后的位置响应图P(Bi，F|I∈Ωo)：
Figure GDA0001812976290000115
其中，Ωo是场景中出现目标的区域，Ωb是场景中出现的背景区域，dw是特征的宽度，dh是特征的高度，
Figure GDA0001812976290000116
是第k帧的分类器参数向量，
Figure GDA0001812976290000117
是目标区域中非空白的像素个数，
Figure GDA0001812976290000118
是背景区域中非空白像素的个数，βk是一个待优化的权重系数，权重系数
Figure GDA0001812976290000119
需要通过
Figure GDA00018129762900001110
在线更新，以适应目标随着时间的表观变化，βt是更新之后的权重系数向量，η是融合系数，
Figure GDA00018129762900001111
是当前帧的权重系数向量；
(2)获取ASA目标图
(2.1)在跟踪目标周围的半局部域采样一系列干扰区域
Figure GDA00018129762900001112
将以下岭回归目标函数近似等价为一个度量学习的相关滤波器
Figure GDA00018129762900001113
在相关视频滤波中学习抗干扰距离度量；
Figure GDA0001812976290000121
Figure GDA0001812976290000122
其中，
Figure GDA0001812976290000123
xi样本矩阵，
Figure GDA0001812976290000124
是向量x的DFT，
Figure GDA0001812976290000125
是
Figure GDA0001812976290000126
的第i行，wi是第i个样本矩阵Xi对应的相关滤波器权重，
Figure GDA0001812976290000127
是所有wi组成的向量，y是高斯型的标签，dw′dh′是特征矩阵的宽度和高度，λ是正则项系数，
Figure GDA0001812976290000128
是马氏距离，
Figure GDA0001812976290000129
且
Figure GDA00018129762900001210
(2.2)在相关滤波目标函数中引入抗干扰度量正则项，获得抗干扰度量正则相关滤波模型
Figure GDA00018129762900001211
通过该模型对经步骤(2.1)得到的目标图像进一步进行抗干扰度量正则相关滤波，强化对目标特征的判别和跟踪，将滤掉的干扰项推入负域，获取正空间目标跟踪图片P(Xi，wi|I∈Ωo)：
其中，
Figure GDA00018129762900001212
是抗干扰度量正则相关滤波模型中的第k个子向量，
Figure GDA00018129762900001213
是总样本向量中的第k个子向量，
Figure GDA00018129762900001214
是高斯型标签向量中的第k个子向量，wi是第i个循环样本矩阵对应的权重向量，
Figure GDA00018129762900001215
通过
Figure GDA00018129762900001216
在线更新得到的，
Figure GDA00018129762900001217
是求
Figure GDA00018129762900001218
的逆FFT得到的第t帧的跟踪结果，
Figure GDA00018129762900001219
是
Figure GDA00018129762900001220
的共轭转置，I是单位矩阵，λ是正则项系数，η是融合系数；
Figure GDA00018129762900001221
被定义为:
Figure GDA00018129762900001222
Figure GDA00018129762900001223
Figure GDA00018129762900001224
其中，Xi是第i个样本向量，
Figure GDA00018129762900001225
是第k个基础样本的第m个循环样本，
Figure GDA00018129762900001226
是第k个基础样本的第n个循环样本，wmn是样本差异权重(用于度量样本i和j之间的相似性，权重越大，样本的差异性越大，学到的表观特征就更有判别力)；
(4)持续跟踪视频目标
通过Log函数建模，整合SSA和ASA图像，得到如下目标函数：
Figure GDA0001812976290000131
其中，P(Bi，F|I∈Ωo)表示获得的SSA位置响应图，
Figure GDA0001812976290000132
Figure GDA0001812976290000133
表示一系列Nb通道的布尔图，
Figure GDA0001812976290000134
表示布尔图滤波器，P(Xi，wi|I∈Ωo)表示获得的ASA目标图，
Figure GDA0001812976290000135
*表示一个空间相关操作，βi表示一个待优化的权重系数，e(·)表示指数函数，Ωo∈R2表示目标区域，o表示出现在场景中的目标，
Figure GDA0001812976290000136
表示一系列Nx的循环矩阵(其中每个都是通过对移动一个基本HOG特征通道向量
Figure GDA0001812976290000137
得到，所有特征通道都是独立分布的)，
Figure GDA0001812976290000138
表示ASA滤波器；
利用该目标函数，对视频目标进行跟踪，并在线更新参数，实现对目标的有效跟踪。
本例中，正则项系数λ＝0.001，融合系数η＝0.3。
实施例2：如图1、2所示，本基于并行注意力相关滤波的视频目标跟踪方法是将跟踪问题设计为估计一个目标位置的概率，整合空间选择注意力SSA和表观选择注意力ASA，利用Log函数得到目标函数，实现视频目标的持续有效跟踪，包括以下步骤：
(1)获取SSA位置响应图：首先，针对跟踪目标产生一系列的二值图来描述不同粒度下目标和它的周围场景之间的拓扑结构，将图片从上到下按由粗到细的描述粒度排列，得到一组跟踪目标布尔图Bi，粗粒度布尔图对全局形状信息进行编码描述明显的目标表观变化，细粒度的布尔图描述空间的细节结构；然后，针对跟踪目标定义一个二值滤波器F，将F作用在布尔图Bi上，获得条件位置响应图，并通过最小化线性回归函数完成学习权重，为每个布尔图学习一个最优的权重，对每个图加权得到最后的位置响应图：
(2)获取ASA目标图：首先在跟踪目标周围的半局部域采样一系列干扰区域，将岭回归目标函数近似等价为一个度量学习的相关滤波器，在相关视频滤波中学习抗干扰距离度量，解决建模正样本间的相互关系；然后引入抗干扰度量正则项，对经目标图像进行抗干扰度量正则相关滤波，在相关滤波中学习抗干扰距离度量，同时考虑来自真实负样本的有用的相互关系，将干扰项推入负域，获取目标跟踪图片：
(3)持续跟踪视频目标：通过Log函数建模获得整合SSA和ASA的目标函数，利用该函数对视频目标进行跟踪，并在线更新参数，实现对视频目标的有效跟踪。
本例的具体步骤与实施例1相同，正则项系数λ＝0.001，融合系数η＝0.3。
上面结合附图对本发明的技术内容作了说明，但本发明的保护范围并不限于所述内容，在本领域的普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下对本发明的技术内容做出各种变化，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种基于并行注意力相关滤波的视频目标跟踪方法，其特征在于：将跟踪问题设计为估计一个目标位置的概率，整合空间选择注意力SSA和表观选择注意力ASA，利用Log函数得到目标函数，实现视频目标的持续有效跟踪，包括以下步骤：
（1）获取SSA位置响应图：首先，针对跟踪目标，在跟踪目标周围的局部域，产生一系列的二值图来描述不同粒度下目标和它的周围场景之间的拓扑结构，将图片从上到下按由粗到细的描述粒度排列，得到一组跟踪目标布尔图
Figure 985336DEST_PATH_IMAGE001
，i=1，2，......，
Figure 990201DEST_PATH_IMAGE002
，粗粒度布尔图对全局形状信息进行编码描述明显的目标表观变化，细粒度的布尔图描述空间的细节结构；然后，针对跟踪目标定义一个二值滤波器
Figure 428136DEST_PATH_IMAGE003
，将
Figure 661802DEST_PATH_IMAGE003
作用在布尔图
Figure 134372DEST_PATH_IMAGE001
上，获得条件位置响应图，并通过最小化线性回归函数完成学习权重，为每个布尔图学习一个最优的权重，对每个图加权得到最后的位置响应图：
（2）获取ASA目标图：首先，在跟踪目标周围的半局部域采样一系列干扰区域，将岭回归目标函数近似等价为一个度量学习的相关滤波器，在相关视频滤波中学习抗干扰距离度量；然后，引入抗干扰度量正则项，对经目标图像进行抗干扰度量正则相关滤波，将干扰项推入负域，获取目标跟踪图片：
（3）持续跟踪视频目标：通过Log函数建模获得整合SSA和ASA的目标函数，利用该函数对视频目标进行跟踪，并在线更新参数，实现对视频目标的有效跟踪。
2.根据权利要求1所述的基于并行注意力相关滤波的视频目标跟踪方法，其特征在于：所述视频目标跟踪方法的具体步骤如下：
（1）获取SSA位置响应图
（1.1）针对跟踪目标，在跟踪目标周围的局部域，通过下式产生一系列的二值图来描述不同粒度下目标和它的周围场景之间的拓扑结构：
Figure 44559DEST_PATH_IMAGE004
其中，
Figure 782839DEST_PATH_IMAGE005
表示第j个像素强度，
Figure 7147DEST_PATH_IMAGE006
是一个一元函数，
Figure 396540DEST_PATH_IMAGE007
表示一个取整函数，
Figure 493940DEST_PATH_IMAGE008
是一个图像块的RGB颜色通道图，T表示转置；
将图片从上到下按由粗到细的描述粒度排列，得到一组跟踪目标布尔图
Figure 906467DEST_PATH_IMAGE001
，i=1，2，......，
Figure 731203DEST_PATH_IMAGE002
，粗粒度布尔图对全局形状信息进行编码描述明显的目标表观变化，细粒度的布尔图描述空间的细节结构；
（1.2）进行权重学习：针对跟踪目标定义一个二值滤波器
Figure 912786DEST_PATH_IMAGE009
，将
Figure 181087DEST_PATH_IMAGE003
作用在步骤（1.1）得到的跟踪目标布尔图
Figure 143227DEST_PATH_IMAGE001
上，获得一组条件位置响应图，并通过以下最小化线性回归函数完成学习权重，为每个布尔图学习一个最优的权重
Figure 709338DEST_PATH_IMAGE010
，对每个图加权，得到一组最后的位置响应图
Figure 558476DEST_PATH_IMAGE011
Figure 184630DEST_PATH_IMAGE012
其中，
Figure 634065DEST_PATH_IMAGE013
是场景中出现目标的区域，
Figure 551337DEST_PATH_IMAGE014
是场景中出现的背景区域，
Figure 707512DEST_PATH_IMAGE015
是特征的宽度，
Figure 566883DEST_PATH_IMAGE016
是特征的高度，
Figure 175719DEST_PATH_IMAGE010
是第k帧的分类器参数向量，
Figure 162261DEST_PATH_IMAGE017
是目标区域中非空白的像素个数，
Figure 235259DEST_PATH_IMAGE018
是背景区域中非空白像素的个数，
Figure 203215DEST_PATH_IMAGE019
是一个待优化的权重系数，权重系数
Figure 112397DEST_PATH_IMAGE020
通过
Figure 558421DEST_PATH_IMAGE021
在线更新，
Figure 751505DEST_PATH_IMAGE022
是更新之后的权重系数向量，
Figure 703412DEST_PATH_IMAGE023
是融合系数，
Figure 286840DEST_PATH_IMAGE024
是当前帧的权重系数向量；
（2）获取ASA目标图
（2.1）在跟踪目标周围的半局部域采样一系列干扰区域
Figure 598873DEST_PATH_IMAGE025
将以下岭回归目标函数近似等价为一个度量学习的相关滤波器
Figure 584146DEST_PATH_IMAGE026
在相关视频滤波中学习抗干扰距离度量；
Figure 706954DEST_PATH_IMAGE027
其中，
Figure 839995DEST_PATH_IMAGE028
Figure 893402DEST_PATH_IMAGE029
是样本矩阵，
Figure 546231DEST_PATH_IMAGE030
是
Figure 89208DEST_PATH_IMAGE031
向量的DFT，
Figure 381649DEST_PATH_IMAGE032
是
Figure 51796DEST_PATH_IMAGE033
的第i行，
Figure 808399DEST_PATH_IMAGE034
是第i个样本矩阵
Figure 459961DEST_PATH_IMAGE029
对应的相关滤波器权重，
Figure 318326DEST_PATH_IMAGE035
是所有
Figure 713536DEST_PATH_IMAGE036
组成的向量，
Figure 324645DEST_PATH_IMAGE037
是高斯型的标签，
Figure 237455DEST_PATH_IMAGE038
分别是特征矩阵的宽度和高度，
Figure 504489DEST_PATH_IMAGE039
是正则项系数，
Figure 500126DEST_PATH_IMAGE040
是马氏距离，
Figure 982054DEST_PATH_IMAGE041
且
Figure 303314DEST_PATH_IMAGE042
（2.2）在相关滤波目标函数中引入抗干扰度量正则项，获得抗干扰度量正则相关滤波模型
Figure 792064DEST_PATH_IMAGE043
通过该模型对经步骤（2.1）得到的目标图像进一步进行抗干扰度量正则相关滤波，强化对目标特征的判别和跟踪，将滤掉的干扰项推入负域，获取正空间目标跟踪图片
Figure 607705DEST_PATH_IMAGE044
其中，
Figure DEST_PATH_IMAGE045
是抗干扰度量正则相关滤波权重中的第k个子向量，
Figure 193407DEST_PATH_IMAGE046
是总样本向量中的第k个子向量，
Figure DEST_PATH_IMAGE047
是高斯型标签向量中的第k个子向量，
Figure 170721DEST_PATH_IMAGE048
是第i个循环样本矩阵对应的权重向量，
Figure DEST_PATH_IMAGE049
通过
Figure 474664DEST_PATH_IMAGE050
在线更新得到，
Figure 828416DEST_PATH_IMAGE049
是求
Figure DEST_PATH_IMAGE051
的逆FFT得到的第t帧的跟踪结果，
Figure 268624DEST_PATH_IMAGE052
是
Figure DEST_PATH_IMAGE053
的共轭转置，
Figure 744736DEST_PATH_IMAGE054
是单位矩阵，
Figure DEST_PATH_IMAGE055
是正则项系数，
Figure 21128DEST_PATH_IMAGE056
是融合系数；
Figure DEST_PATH_IMAGE057
被定义为:
Figure 427839DEST_PATH_IMAGE058
其中，
Figure DEST_PATH_IMAGE059
是第i个样本向量，
Figure 738865DEST_PATH_IMAGE060
是第k个基础样本的第m个循环样本，
Figure DEST_PATH_IMAGE061
是第k个基础样本的第n个循环样本，
Figure 120299DEST_PATH_IMAGE062
是样本差异权重；
（4）持续跟踪视频目标
通过Log函数建模，整合SSA和ASA图像，得到如下目标函数：
Figure DEST_PATH_IMAGE063
；
其中，
Figure 398834DEST_PATH_IMAGE064
表示获得的SSA位置响应图，
Figure DEST_PATH_IMAGE065
Figure 94388DEST_PATH_IMAGE066
表示一系列
Figure DEST_PATH_IMAGE067
通道的布尔图，
Figure 509189DEST_PATH_IMAGE068
表示布尔图滤波器，
Figure DEST_PATH_IMAGE069
表示获得的ASA目标图，
Figure 999208DEST_PATH_IMAGE070
表示一个空间相关操作，
Figure DEST_PATH_IMAGE071
表示一个待优化的权重系数，
Figure 312508DEST_PATH_IMAGE072
表示指数函数，
Figure DEST_PATH_IMAGE073
表示目标区域，
Figure 61022DEST_PATH_IMAGE074
表示出现在场景中的目标，
Figure DEST_PATH_IMAGE075
表示一系列
Figure 81061DEST_PATH_IMAGE076
的循环矩阵，其中每个都是通过对移动一个基本HOG特征通道向量
Figure DEST_PATH_IMAGE077
得到，所有特征通道都是独立分布的，
Figure 256828DEST_PATH_IMAGE078
表示ASA滤波器；
利用该目标函数，对视频目标进行跟踪，并在线更新参数，实现对目标的有效跟踪。
3.根据权利要求2所述的基于并行注意力相关滤波的视频目标跟踪方法，其特征在于：所述正则项系数的取值为0.001，融合系数的取值是0.3。
CN201810647331.2A 2018-06-22 2018-06-22 一种基于并行注意力相关滤波的视频目标跟踪方法 Active CN109102521B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810647331.2A CN109102521B (zh) 2018-06-22 2018-06-22 一种基于并行注意力相关滤波的视频目标跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810647331.2A CN109102521B (zh) 2018-06-22 2018-06-22 一种基于并行注意力相关滤波的视频目标跟踪方法

Publications (2)

Publication Number Publication Date
CN109102521A CN109102521A (zh) 2018-12-28
CN109102521B true CN109102521B (zh) 2021-08-27

Family

ID=64844863

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810647331.2A Active CN109102521B (zh) 2018-06-22 2018-06-22 一种基于并行注意力相关滤波的视频目标跟踪方法

Country Status (1)

Country Link
CN (1) CN109102521B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109919114A (zh) * 2019-03-14 2019-06-21 浙江大学 一种基于互补注意力机制循环卷积解码的视频描述方法
CN109993777B (zh) * 2019-04-04 2021-06-29 杭州电子科技大学 一种基于双模板自适应阈值的目标跟踪方法及***
CN110102050B (zh) * 2019-04-30 2022-02-18 腾讯科技（深圳）有限公司 虚拟对象显示方法、装置、电子设备及存储介质
CN110335290B (zh) * 2019-06-04 2021-02-26 大连理工大学 基于注意力机制的孪生候选区域生成网络目标跟踪方法
CN110443852B (zh) * 2019-08-07 2022-03-01 腾讯科技（深圳）有限公司 一种图像定位的方法及相关装置
CN110807437B (zh) * 2019-11-08 2023-01-03 腾讯科技（深圳）有限公司 视频粒度特征确定方法、装置和计算机可读存储介质
CN112085765B (zh) * 2020-09-15 2024-05-31 浙江理工大学 结合粒子滤波及度量学习的视频目标跟踪方法
CN113704684B (zh) * 2021-07-27 2023-08-29 浙江工商大学 一种集中式融合鲁棒滤波方法
CN113808171B (zh) * 2021-09-27 2024-07-09 山东工商学院 基于特征权重池的动态特征选择的无人机视觉跟踪方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105809713A (zh) * 2016-03-03 2016-07-27 南京信息工程大学 基于在线Fisher判别机制增强特征选择的目标跟踪方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105809713A (zh) * 2016-03-03 2016-07-27 南京信息工程大学 基于在线Fisher判别机制增强特征选择的目标跟踪方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Visual Tracking via Nonlocal Similarity Learning;Qingshan Liu,etc;《IEEE Transaction on circuits and systems for video technology》;20170526;第28卷(第10期);第2826页至2835页 *
Visual Tracking With Weighted Adaptive Local Sparse Appearance Model via Spatio-Temporal Context Learning;Zhetao Li,etc;《IEEE Transcation on image processing》;20180524;第27卷(第9期);第4478页至第4489页 *
通道稳定性加权补充学习的实时视觉跟踪算法;樊佳庆等;《计算机应用》;20180610;第38卷(第6期);第1751页至1754页 *

Also Published As

Publication number Publication date
CN109102521A (zh) 2018-12-28

Similar Documents

Publication Publication Date Title
CN109102521B (zh) 一种基于并行注意力相关滤波的视频目标跟踪方法
Baldwin et al. Time-ordered recent event (tore) volumes for event cameras
Xiong et al. Spatiotemporal modeling for crowd counting in videos
Babu Sam et al. Switching convolutional neural network for crowd counting
Zhang et al. Single-image crowd counting via multi-column convolutional neural network
Smith et al. Tracking the visual focus of attention for a varying number of wandering people
CN107590427B (zh) 基于时空兴趣点降噪的监控视频异常事件检测方法
Jeong et al. Stereo saliency map considering affective factors and selective motion analysis in a dynamic environment
Hong et al. Geodesic regression on the Grassmannian
Elayaperumal et al. Robust visual object tracking using context-based spatial variation via multi-feature fusion
Luotamo et al. Multiscale cloud detection in remote sensing images using a dual convolutional neural network
Bhardwaj et al. An unsupervised information-theoretic perceptual quality metric
Cao et al. Learning spatial-temporal representation for smoke vehicle detection
Zahid et al. Pedestrian identification using motion-controlled deep neural network in real-time visual surveillance
CN113313055A (zh) 一种非重叠视域跨摄像头网络行人重识别方法
Medouakh et al. Improved object tracking via joint color-LPQ texture histogram based mean shift algorithm
CN116740418A (zh) 一种基于图重构网络的目标检测方法
Gori et al. Semantic video labeling by developmental visual agents
Javed et al. Deep bidirectional correlation filters for visual object tracking
Lei et al. Convolutional restricted Boltzmann machines learning for robust visual tracking
US20050259865A1 (en) Object classification via time-varying information inherent in imagery
Meglouli et al. A new technique based on 3D convolutional neural networks and filtering optical flow maps for action classification in infrared video
Ranganatha et al. SELECTED SINGLE FACE TRACKING IN TECHNICALLY CHALLENGING DIFFERENT BACKGROUND VIDEO SEQUENCES USING COMBINED FEATURES.
Medasani et al. Active learning system for object fingerprinting
Narayana Humanrecognition Using ‘Pso-Ofa’In Low Resolution Videos

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant