CN108921872B - 一种适用于长程跟踪的鲁棒性视觉目标跟踪方法 - Google Patents
一种适用于长程跟踪的鲁棒性视觉目标跟踪方法 Download PDFInfo
- Publication number
- CN108921872B CN108921872B CN201810463293.5A CN201810463293A CN108921872B CN 108921872 B CN108921872 B CN 108921872B CN 201810463293 A CN201810463293 A CN 201810463293A CN 108921872 B CN108921872 B CN 108921872B
- Authority
- CN
- China
- Prior art keywords
- sample
- tracking
- target
- value
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 70
- 230000000007 visual effect Effects 0.000 title claims abstract description 32
- 239000013598 vector Substances 0.000 claims abstract description 42
- 239000002245 particle Substances 0.000 claims abstract description 33
- 238000012706 support-vector machine Methods 0.000 claims abstract description 30
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 24
- 230000008569 process Effects 0.000 claims abstract description 13
- 238000005516 engineering process Methods 0.000 claims abstract description 12
- 238000007477 logistic regression Methods 0.000 claims abstract description 12
- 238000000605 extraction Methods 0.000 claims abstract 2
- 230000006870 function Effects 0.000 claims description 25
- 238000009826 distribution Methods 0.000 claims description 8
- 238000002474 experimental method Methods 0.000 claims description 8
- 238000005286 illumination Methods 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 7
- 238000012549 training Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000007476 Maximum Likelihood Methods 0.000 claims description 2
- 238000013145 classification model Methods 0.000 claims description 2
- 230000001186 cumulative effect Effects 0.000 claims description 2
- 239000011159 matrix material Substances 0.000 claims description 2
- 238000010606 normalization Methods 0.000 claims description 2
- 238000005457 optimization Methods 0.000 claims description 2
- 238000012216 screening Methods 0.000 claims description 2
- 238000000926 separation method Methods 0.000 claims 2
- 230000015572 biosynthetic process Effects 0.000 claims 1
- 238000003786 synthesis reaction Methods 0.000 claims 1
- 230000007246 mechanism Effects 0.000 abstract description 2
- 230000008859 change Effects 0.000 description 11
- 238000012360 testing method Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000007637 random forest analysis Methods 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 208000025174 PANDAS Diseases 0.000 description 1
- 208000021155 Paediatric autoimmune neuropsychiatric disorders associated with streptococcal infection Diseases 0.000 description 1
- 240000004718 Panda Species 0.000 description 1
- 235000016496 Panda oleosa Nutrition 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010219 correlation analysis Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种适用于长程跟踪的鲁棒性视觉目标跟踪方法,首先根据视频序列的初始帧图像与目标在初始帧中的位置信息提取正负样本,对样本图像块作特征提取得到低维特征向量,使用线性支持向量机技术初始化目标外观模型;然后对得到的支持向量机模型进行逻辑斯蒂回归,对目标外观模型在粒子滤波框架下估计目标位置;随后,将中值流跟踪算法与当前的粒子滤波算法结合协同跟踪,在跟踪过程中采用增量减量技术在线更新外观模型,将原始的外观模型与新样本结合在线更新外观模型,直到最后一帧结束更新,从而实现了鲁棒性的视觉目标跟踪。本发明实现了机制迥异的两路跟踪方法的并行互补,解决了跟踪进程中不断产生新信息而造成空间冗余的问题。
Description
技术领域
本发明属于光学信号处理与数字图像处理技术领域,特别是一种适用于长程跟踪的鲁棒性视觉目标跟踪方法。
背景技术
对于复杂情况下的鲁棒性目标跟踪算法研究,长久以来都在光学信号处理应用领(如军事目标打击、视频监控和机器人视觉等)中占据一席之地。由于目标跟踪具有滞后性,往往是通过前段视频序列中的信息来估计后一帧目标出现的位置,而在实际场景下,目标在二维图像中的显示的外观总是随着干扰因素而不断变化的,这些干扰因素可能是来自自身的形变、转动、姿势变化等,也可以是源于外界的光源扰动、遮挡等。因此,例如光流跟踪、模板匹配、粒子滤波等传统的跟踪方法往往只能适应一些简单场景下的目标跟踪并且存在漂移累积的问题。近年来,统计学习理论在目标跟踪领域得到了广泛的应用,利用统计学习方法构建在线模型来取代简单的模板使得原始的跟踪方法在鲁棒性和稳定性上得到了很大的提升。其中,较为常见的有基于随机森林(张丹,陈兴文,赵姝颖.基于改进的随机森林TLD目标跟踪方法[J].大连民族大学学报,2016,18(3):255-259.)、支持向量机(郑建宾.基于粒子滤波和在线训练支持向量机的目标跟踪新方法[J].电脑知识与技术,2008,4(32):1190-1193.)、boost发法(蔡明琼,郭太良,姚剑敏.基于改进On-line Boosting算法的视频目标跟踪[J].电视技术,2015,39(16):65-68.)等理论的目标跟踪方法。然而,现有的技术研究,大多只是在已有理论成果上对跟踪算法本身从单一的角度进行修正与改进以提高精度,而缺少实际应用下稳健跟踪方法的***设计。
针对稳健的跟踪任务,其关键在于建立一个鲁棒的在线外观模型及相应的更新策略,为了克服目标外观变化所产生的跟踪问题,大量基于外观模型的算法应运而生,可以分为两类:生成式模型和判别式模型。生成式模型单纯得根据目标样本建模,再在候选样本中寻找与目标函数最为匹配的样本作为跟踪结果,并在线更新模型,比较有效的几种算法是基于增量学习、PCA主成分分析、稀疏矩阵等。该些算法大多着重于通过特征分析技术来提取出目标块的显著特征信息,去除冗余的无用信息,然后在后一帧中寻找最为接近的样本。而判别式模型则是通过对正负样本同时分析来获取一个能够分辨是目标还是背景的分类器,判别式的模型由于兼顾了对背景的分析,因此在目标较大变化的情况下较生成式模型具有更好的鲁棒性。然而,无论是基于生成式模型还是判别式目标外观模型的跟踪方法,都涉及了模型的建立、更新及状态决策等诸多问题。尽管现有的理论研究已经较好的将统计学习的理论植入了视觉目标跟踪的领域中,但针对样本采集、尺度适应、模型更新、跟踪漂移等实际的问题缺少实施方案的设计,算法的改进也只是从某一单一因素进行克服,例如针对遮挡、光照的问题,但是对复杂的情况缺少可靠方法来应对实际情况下可能出现的上述问题。
发明内容
本发明的目的在于提供一种基于在线目标判别式外观模型与中值流跟踪的协同运作的适用于长程跟踪的鲁棒性视觉目标跟踪方法,解决了多变复杂情况下的鲁棒性视觉目标跟踪问题。
实现本发明目的的技术解决方案为:一种适用于长程跟踪的鲁棒性视觉目标跟踪方法,首先根据视频序列的初始帧图像与目标在初始帧中的位置信息提取大量随机的正负样本图像块用于目标外观模型的初始化训练;然后,对每个样本图像块提取特征得到一个低维特征向量,并利用定义的核函数将表示样本图像块的低维特征向量映射至高维特征空间;接着,将样本的高维特征向量集作为线性支持向量机模型的输入,计算出最优解即模型参数,从而完成目标外观模型的初始化;随后,对目标外观模型作进一步的逻辑斯蒂回归,并将建立起的目标外观模型置于粒子滤波的框架下,与中值流跟踪方法结合形成协同的跟踪回路;在跟踪过程中,对跟踪结果进行筛选选取可信度高的结果作为新样本,采用增量减量技术,将原始的外观模型与新样本结合在线更新外观模型,直到最后一帧结束更新,从而实现了鲁棒性的视觉目标跟踪。
本发明与现有技术相比,其显著优点:(1)利用支持向量机的统计学习方法,并基于统计直方图向量的特征表示方法,建立了一个鲁棒的判别式目标外观模型。(2)以逻辑斯蒂回归所定义的负样本最大后验概率值为基准,实现了机制迥异的两路跟踪方法的并行互补,从而得到形成一个稳定的跟踪***。(3)采用了增量减量学习技术用于目标模型跟新,解决了跟踪进程中不断产生新信息而造成空间冗余的问题。(4)通过模型隔帧更新的方法,并根据正样本的后验概率值以及粒子滤波粒子集后验概率的变异系数值构建置信度,对样本进行筛选,有效抑制了模型偏移的问题,使得跟踪过程不会因短暂的失败的完全漂移,从而达到长久的跟踪。
下面结合附图对本发明作进一步详细描述。
附图说明
图1是本发明的流程示意图。
图2是本发明提出的跟踪方法对目标视觉跟踪基准库中8段不同的视频序列的跟踪结果示意图。
图3是本发明同对比方法所计算的结果与真实值中心的欧式距离曲线图。
具体实施方式
结合图1,本发明适用于长程跟踪的鲁棒性视觉目标跟踪方法,首先,根据视频序列的初始帧图像与目标在初始帧中的位置信息提取大量随机的正负样本图像块用于目标外观模型的初始化训练(大量是指正负样本的取样数,根据实际情况选取,下面具体实施步骤中举例说明了);然后,对每个样本图像块提取特征得到一个低维特征向量,并利用定义的核函数将表示样本图像块的低维特征向量映射至高维特征空间;接着,将样本的高维特征向量集作为线性支持向量机模型的输入,计算出最优解即模型参数,从而完成目标外观模型的初始化;随后,对目标外观模型作进一步的逻辑斯蒂回归,并将建立起的目标外观模型置于粒子滤波的框架下,与中值流跟踪方法结合形成协同的跟踪回路;在跟踪过程中,对跟踪结果进行筛选选取可信度高的结果作为新样本,采用增量减量技术,将原始的外观模型(在更新之前的目标外观模型)与新样本结合在线更新外观模型(直到最后一帧结束更新),从而实现了鲁棒性的视觉目标跟踪。将所提出的视觉跟踪方法用于公开的测试序列集进行定性定量的实验测试并作出相关分析。
实现上述用于复杂情况下视觉跟踪的稳健跟踪策略的的具体实施步骤如下:
第一步:在目标初始帧整个画面中密集定义大量网格(一个网格即表示图像中某一块区域的位置坐标信息,及横纵方向的尺度信息),根据视频序列的初始帧图像与目标在初始帧中的位置信息提取正负样本。具体如下:根据给出的目标框尺度scale,在整幅图像上对scale*sizerate^[-m,m]的(2m+1)个尺度按照步长分别排布网格,如以m=5为例,scale*sizerate^[-5,5](在尺度缩放率sizerate=1.05下的尺度缩放度m取值为5)的11个尺度按照步长step=2分别排布网格。然后求出全部这些网格与目标的重叠度overlap:
式中,RT为目标框的区域;RG为网格框的区域。随后根据重叠度值随机采集一定数量的正样本和负样本,实验中取overlap值大于0.8(该值表示正样本采样的overlap率下限值range+,实验采用经验值0.8,取值范围为0.6~0.9)的正样本数Nobject=20,overlap值小于0.2(该值表示负样本采样的overlap率上限值range-,实验采用经验值0.2,取值范围为0.1~0.4)的负样本数Nbackground=600。
第二步:对样本图像块作特征提取得到低维特征向量。具体操作如下:对每个样本块区域在RGB颜色空间(即红、绿、蓝三个基色通道)下进行3*nbin*nbin通道(以nbin=3为例表示对单一颜色通道的划分组数)的直方图统计得到一个3*nbin*nbin(即27)维的特征向量p={p(n),n=1,...,3*nbin*nbin}(即p={p(n),n=1,...,27})。考虑到光照的影响,另外再对图像进行R*R(窗口半径R=3,即3*3)窗口的局部二值模式(简称LBP)滤波计算,并对每个样本块统计旋转等价不变特性下的直方图,加上其余的非等价模式像素(局部二值模式特征的现有技术)的分布率得到一个10维的特征向量q={q(n),n=1,...,10},将这两个分别反映了颜色及纹理分布的向量结合得到3*nbin*nbin+10(即37)维的联合特征x={p,q}用以表示每个图像块(对于灰度图像下的视觉跟踪,仅取10维的LBP特征)。
第三步:使用线性支持向量机技术初始化目标外观模型。将采集的正负样本向量拼接构成用于输出线性支持向量机的样本数据集其中,下标i表示样本序号;l表示样本数;y是样本的二值化标签,正样本为1,负样本为-1;为样本的输入空间。根据采集的样本集,用线性支持向量机的方法训练模型,即通过下述公式的优化求解参数w和b解得模型:
其中,min(·)为求取极小值;Lh为合页损失函数;C为惩罚参数,由应用问题决定,这里取值为100;f(x)=w·Φ(x)+b为目标的决策函数,其实际的物理意义是一个定义在特征空间上的分离超平面,其中w,b分别为权重向量和偏差阈值,即通过求取这两个参数来确定正负样本的分离超平面,Φ(x)为映射函数即核函数(即前面所定义的核函数),将样本样本由输入空间映射至特征空间
其中,为一个一元变换函数,可将线性支持向量近似于交叉核支持向量机。由于括号内的式子有固定取值范围,因此可在该范围内划定ρ个等级通过数值比较实现一元变换从而将向量映射至高维。在我们的实验中,ρ取50,因此得到一个1850维的向量用于分类计算。另外,x表示样本向量,下标+表示样本为正样本;exp(·)表示以e为底的幂次方求解;mean(·)为均值求解。
第四步:对得到的支持向量机模型进行逻辑斯蒂回归。由于支持向量机模型的样本决策值输出的实质意义是输入值在样本空间内至分离超平面的带符号距离,没有固定的取值范围。因此,难以直接作为后项模块的输入使用。本发明通过逻辑斯蒂回归,可拟合分类决策值至[0,1]的范围,实现了概率化输出。逻辑斯蒂回归的实质是sigmoid函数拟合,如下式:
其中,Pr为样本在外观模型下的后验概率值;P为支持向量机决策值的逻辑斯蒂回归拟合值;f为支持向量机决策函数的输出值;exp(·)是求解以e为底的幂次方;A、B为回归参数,通过求解下面的正则化最大似然问题所得:
其中,min(·)表示极小化;log(·)表示以e为底的对数求解。另外:
其中,t+、t-表示正负样本的标签值。考虑到sigmoid函数的稀疏性,采用下式定义了目标的最大后验概率值:
其中,N+、N-分别表示正负样本的数量。
第五步:对目标外观模型在粒子滤波框架下估计目标位置。将支持向量机模型决策函数引入粒子滤波框架下,用作粒子似然值即权重值的求解式,归一化后通过求解粒子均值估计目标的当前状态:
其中,E[S]为目标当前位置状态的最优估计值;为第t帧中分布的粒子集,实验中采用了四维高斯分布,采样粒子数Nparticle取值300,是粒子的状态向量,描述了粒子的中心横纵坐标位置(x,y),横向尺度s,和宽高比r,π(n)是粒子对应的权重。
第六步:将中值流跟踪算法与当前的粒子滤波算法结合协同跟踪。对于任意跟踪任务,由中值流算法对首帧图像中目标率先展开跟踪,在中值流算法的跟踪过程中,对其产生的结果提取对应特征向量并输入训练好的外观模型进行外观判别,若输出的决策值小于负样本的最大后验概率值λt-,则启用上一步粒子滤波算法求得当前帧中的目标位置代替中值流算法的结果,并在该结果的基础上继续根据中值流算法计算后续帧中目标的位置。其中t-为式(7)中定义的负样本最大后验概率值,λ为定义的补偿系数,实验中取值为3。
第七步:采用增量减量技术在线更新外观模型。利用跟踪的结果对外观模型进行更新,为了有效控制模型漂移的问题,采用每隔10帧更新一次的策略。为进行目标模型更新,首先对跟踪过程中产生的结果图像块进行筛选选取新的正样本,根据:
根据置信度抽检出较高的一部分结果作为新的正样本,其中,θ为当前分类模型的参数值;p(+|x;θ)表征了结果估计值对外观模型的后验概率;对应粒子集的变异系数,σ是粒子集后验概率Pr(+|x;St)的标准差,E为概率均值,并通过高斯累积分布对各帧结果概率值及变异系数值作了进一步的归一化处理;κ作为两个数值间的平衡系数,取0.2。每一次更新只取更新周期中的一部分,max(·)表示取最大值。
此外,每一次更新还会在距当前帧位值samplestep-(如samplestep-=100)步长内的范围随机取Nupdate(如Nupdate=100)个重叠度小于0.2(该值表示负样本采样的overlap率上限值range-,实验采用经验值0.2,取值范围为0.1~0.4)的区域作为新的负样本,新的正样本和负样本共同构成了新样本集J表示样本数。接着进行模型更新,模型更新采用了增量与减量技术,具体如下:
每更新完一次支持向量机分类器,就要将新产生的支持向量作为一个新的示例加入到示例集,并赋权值1,当示例数超过了B,就将最相似,即通过比较欧式距离,并将最为接近的两个同类型示例结合为一个新的示例Φ(x*):
下标i1和i2表示原始示例,上标*表示该特征向量或权值对应于结合生成的一个新示例,以此解决了空间冗余的问题。
结合式(2)的线性支持向量机模型,用表征了原始模型的示例集和表征新信息的新样本集更新模型:
以上是对本发明所提出的用于长程跟踪的鲁棒性视觉目标跟踪方法的详细步骤说明,此外,为验证本发明所提出方法的有效性,同时还对目标视觉跟踪基准库中8段不同的视频序列进行了实验测试并作简要效果分析。
图2是本发明提出的跟踪方法对目标视觉跟踪基准库中8段不同的视频序列的跟踪结果示意图,每组序列第一张图片中的初始框是根据视觉目标数据库提供的实际位置所决定的,并且对于各帧序列做如下说明:(另附表1,对各影响因素的字母缩写说明:尺度变换SV、遮挡OCC、平面内旋转IPR、平面外旋转OPR、形变DEF、光照影响IV、动态相机MC、背景杂波BC、快速运动FM)。
表1目标视觉跟踪基准库中8段测试视频的对应问题说明列表
利用上述跟踪模型对这些测试集进行试验。如表1中所述,8段视频对应了多种不同性质的目标,如动物、行人、人脸及刚体目标。另外,在八段视频集中分别穿插了视觉目标跟踪问题中可能存在的多种挑战因素。首先,通过这8段视频对本方法进行定性试验,得到图2的结果展示图:在Panda中,目标跟踪存在显著的旋转、尺度变化问题,验证本方法对于旋转、尺度的鲁棒性;在Dog中,存在显著的形变,验证本方法对于形变因素的鲁棒性;在Jogging-1序列中,目标被完全遮档,验证了本发明可解决遮挡漂移的问题;在Lemming序列中,存在强烈的尺度、旋转、遮档,验证本方法对于这三种挑战因素的鲁棒性;在Singer1中,有剧烈的光照变化和尺度变化,说明本方法对光照变化或尺度变化显著的跟踪任务同样有效;Dudek序列中同样存在显著的旋转,说明本方法对于旋转目标跟踪的适应性;在序列Carscale中,目标发生了剧烈的尺度变化及部分遮挡,说明本方法对尺度变化和部分遮挡因素的鲁棒性;Rubik中的目标不断旋转并出现了遮挡,表明本方法对旋转、遮挡问题的鲁棒性。综合这8段视频的测试,验证了本方法对应于视觉跟踪中尺度变换、遮挡、平面内旋转、平面外旋转、形变、光照影响、动态相机、背景杂波、快速运动等挑战因素均具有一定的鲁棒性。如图3所示,接着通过绘制跟踪结果与实际中心位置的欧式距离曲线来衡量测试结果的偏移量pixel error,距离越小,表明跟踪结果与标准结果越接近。同时,通过对比优秀的Struck算法对这8段视频的测试结果,验证说明了本发明提出的策略对于多种挑战因素共存下的复杂跟踪问题,能保持稳健长久的跟踪且具有较高的准确度。
Claims (8)
1.一种适用于长程跟踪的鲁棒性视觉目标跟踪方法,其特征在于:首先,根据视频序列的初始帧图像与目标在初始帧中的位置信息提取随机的正负样本图像块用于目标外观模型的初始化训练;然后,对每个样本图像块提取特征得到一个低维特征向量,并利用定义的核函数将表示样本图像块的低维特征向量映射至高维特征空间;接着,将样本的高维特征向量集作为线性支持向量机模型的输入,计算出最优解即模型参数,从而完成目标外观模型的初始化;随后,对目标外观模型作进一步的逻辑斯蒂回归,并将建立起的目标外观模型置于粒子滤波的框架下,与中值流跟踪方法结合形成协同的跟踪回路;在跟踪过程中,对跟踪结果进行筛选选取可信度高的结果作为新样本,采用增量减量技术,将原始的外观模型与新样本结合在线更新外观模型,直到最后一帧结束更新,从而实现了鲁棒性的视觉目标跟踪。
3.根据权利要求1所述的适用于长程跟踪的鲁棒性视觉目标跟踪方法,其特征在于对样本图像块作特征提取得到低维特征向量:对每个样本块区域在RGB颜色空间下进行3*nbin*nbin通道的直方图统计得到一个3*nbin*nbin维的特征向量p={p(n),n=1,...,3*nbin*nbin},考虑到光照的影响,另外再对图像进行R*R窗口的局部二值模式滤波计算,并对每个样本块统计旋转等价不变特性下的直方图,加上剩下的非等价模式像素的分布率得到一个10维的特征向量q={q(n),n=1,...,10},将这两个分别反映了颜色及纹理分布的向量结合得到3*nbin*nbin+10维的联合特征x={p,q}用以表示每个图像块,n是用于表征特征向量维度的变量,x表示样本向量。
4.根据权利要求1所述的适用于长程跟踪的鲁棒性视觉目标跟踪方法,其特征在于使用线性支持向量机技术初始化目标外观模型:将采集的正负样本向量按行顺序拼接为矩阵,构成用于输出线性支持向量机的样本数据集其中,下标i表示样本序号;l表示样本数;y是样本的二值化标签,正样本为1,负样本为-1;为样本的输入空间;
根据采集的样本集,用线性支持向量机的方法训练模型,即通过下述公式的优化求解参数w和b解得模型:
其中,min(·)为求取极小值;Lh为合页损失函数;C为惩罚参数;f(x)=w·Φ(x)+b为目标的决策函数,其实际的物理意义是一个定义在特征空间上的分离超平面,其中w,b分别为权重向量和偏差阈值,即通过求取这两个参数来确定正负样本的分离超平面,Φ(x)为映射函数即核函数,将样本由输入空间映射至特征空间H:
其中,K(·)为一个一元变换函数,可将线性支持向量近似于交叉核支持向量机;x表示样本向量,下标+表示样本为正样本;exp(·)表示以e为底的幂次方求解;mean(·)为均值求解。
5.根据权利要求1所述的适用于长程跟踪的鲁棒性视觉目标跟踪方法,其特征在于对得到的支持向量机模型进行逻辑斯蒂回归:逻辑斯蒂回归的实质是sigmoid函数拟合,如下式:
其中,Pr为样本在外观模型下的后验概率值;P为支持向量机决策值的逻辑斯蒂回归拟合值;f为支持向量机决策函数的输出值;exp(·)是求解以e为底的幂次方;A、B为回归参数,通过求解下面的正则化最大似然问题所得:
其中,min(·)表示极小化;log(·)表示以e为底的对数求解;另外:
其中,t+、t-表示正负样本的标签值;
考虑到sigmoid函数的稀疏性,采用下式定义了目标的最大后验概率值:
其中,N+、N-分别表示正负样本的数量,f为支持向量机决策函数的输出值,t为样本标签值,下标i用于标记不同样本。
7.根据权利要求1所述的适用于长程跟踪的鲁棒性视觉目标跟踪方法,其特征在于将中值流跟踪算法与当前的粒子滤波算法结合协同跟踪:对于任意跟踪任务,由中值流算法对首帧图像中目标率先展开跟踪,在中值流算法的跟踪过程中,对其产生的结果提取对应特征向量并输入训练好的外观模型进行外观判别,若输出的决策值小于负样本的最大后验概率值λt-,则启用上述粒子滤波算法求得当前帧中的目标位置代替中值流算法的结果,并在该结果的基础上继续根据中值流算法计算后续帧中目标的位置,t-为负样本最大后验概率值,λ为定义的补偿系数。
8.根据权利要求1所述的适用于长程跟踪的鲁棒性视觉目标跟踪方法,其特征在于在跟踪过程中采用增量减量技术在线更新外观模型:利用跟踪的结果对外观模型进行更新,首先对跟踪过程中产生的结果图像块进行筛选选取新的正样本,根据:
根据置信度抽检出一部分结果作为新的正样本,其中,θ为当前分类模型的参数值;p(+|x;θ)表征了结果估计值对外观模型的后验概率;对应粒子集的变异系数,σ是粒子集后验概率Pr(+|x;St)的标准差,E为概率均值,并通过高斯累积分布对各帧结果概率值及变异系数值作了进一步的归一化处理;κ作为两个数值间的平衡系数,每一次更新只取更新周期中x∈{x|L<0.5*maxL}的一部分,max(·)表示取最大值;
此外,每一次更新还会在距当前帧位置samplestep-步长内的范围根据重叠度随机取Nupdate个新的负样本,新的正样本和负样本共同构成了新样本集J表示样本数;接着进行模型更新,模型更新采用了增量与减量技术,具体如下:
每更新完一次支持向量机分类器,就要将新产生的支持向量作为一个新的示例加入到示例集,并赋权值1,当示例数超过了B,就将最为相似,即通过比较欧式距离,并将最为接近的两个同类型示例结合为一个新的示例Φ(x*):
下标i1和i2表示原始示例,上标*表示该特征向量或权值对应于结合生成的一个新示例;
结合式(2)的线性支持向量机模型,用表征了原始模型的示例集和表征新信息的新样本集更新模型:
其中,α+、α-是新样本的学习率,α+根据正示例的总权重值变化,即取值为示例集Q中示例的权值之和;W+和W-分别表示正样本和负样本的总权重,变量x和y分别表示样本向量及样本对应的标签值,通过下标i标记不同样本。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810463293.5A CN108921872B (zh) | 2018-05-15 | 2018-05-15 | 一种适用于长程跟踪的鲁棒性视觉目标跟踪方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810463293.5A CN108921872B (zh) | 2018-05-15 | 2018-05-15 | 一种适用于长程跟踪的鲁棒性视觉目标跟踪方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108921872A CN108921872A (zh) | 2018-11-30 |
CN108921872B true CN108921872B (zh) | 2022-02-01 |
Family
ID=64404263
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810463293.5A Active CN108921872B (zh) | 2018-05-15 | 2018-05-15 | 一种适用于长程跟踪的鲁棒性视觉目标跟踪方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108921872B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111401178B (zh) * | 2020-03-09 | 2023-06-13 | 蔡晓刚 | 一种基于深度特征融合与自适应相关滤波的视频目标实时跟踪方法及*** |
CN112950676A (zh) * | 2021-03-25 | 2021-06-11 | 长春理工大学 | 一种智能机器人回环检测方法 |
CN115953430B (zh) * | 2022-12-21 | 2023-07-25 | 贵州财经大学 | 基于改进的批量样本损失函数的视频单目标跟踪方法及*** |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101877130A (zh) * | 2009-04-29 | 2010-11-03 | 中国科学院自动化研究所 | 复杂场景下基于粒子滤波器的运动目标跟踪方法 |
CN102156983A (zh) * | 2011-03-31 | 2011-08-17 | 上海交通大学 | 基于模式识别与目标跟踪的异常行人位置检测方法 |
CN102216957A (zh) * | 2008-10-09 | 2011-10-12 | 埃西斯创新有限公司 | 图像中对象的视觉跟踪以及图像分割 |
CN103150572A (zh) * | 2012-12-11 | 2013-06-12 | 中国科学院深圳先进技术研究院 | 在线式视觉跟踪方法 |
CN103413295A (zh) * | 2013-07-12 | 2013-11-27 | 长沙理工大学 | 一种视频多目标长程跟踪方法 |
CN106056146A (zh) * | 2016-05-27 | 2016-10-26 | 西安电子科技大学 | 基于逻辑回归的视觉跟踪方法 |
CN106203513A (zh) * | 2016-07-08 | 2016-12-07 | 浙江工业大学 | 一种基于行人头肩多目标检测及跟踪的统计方法 |
CN107392210A (zh) * | 2017-07-12 | 2017-11-24 | 中国科学院光电技术研究所 | 一种基于tld算法的目标检测跟踪方法 |
-
2018
- 2018-05-15 CN CN201810463293.5A patent/CN108921872B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102216957A (zh) * | 2008-10-09 | 2011-10-12 | 埃西斯创新有限公司 | 图像中对象的视觉跟踪以及图像分割 |
CN101877130A (zh) * | 2009-04-29 | 2010-11-03 | 中国科学院自动化研究所 | 复杂场景下基于粒子滤波器的运动目标跟踪方法 |
CN102156983A (zh) * | 2011-03-31 | 2011-08-17 | 上海交通大学 | 基于模式识别与目标跟踪的异常行人位置检测方法 |
CN103150572A (zh) * | 2012-12-11 | 2013-06-12 | 中国科学院深圳先进技术研究院 | 在线式视觉跟踪方法 |
CN103413295A (zh) * | 2013-07-12 | 2013-11-27 | 长沙理工大学 | 一种视频多目标长程跟踪方法 |
CN106056146A (zh) * | 2016-05-27 | 2016-10-26 | 西安电子科技大学 | 基于逻辑回归的视觉跟踪方法 |
CN106203513A (zh) * | 2016-07-08 | 2016-12-07 | 浙江工业大学 | 一种基于行人头肩多目标检测及跟踪的统计方法 |
CN107392210A (zh) * | 2017-07-12 | 2017-11-24 | 中国科学院光电技术研究所 | 一种基于tld算法的目标检测跟踪方法 |
Non-Patent Citations (3)
Title |
---|
基于光流法的运动目标快速跟踪算法研究;胡金金;《中国优秀硕士学位论文全文数据库信息科技辑》;20141015(第10期);全文 * |
多摄像头***的目标检测与跟踪方法研究;高翔 等;《计算机技术与发展》;20150731;第25卷(第7期);全文 * |
运动目标跟踪算法研究综述;张娟 等;《计算机应用研究》;20091231;第26卷(第12期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN108921872A (zh) | 2018-11-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107506703B (zh) | 一种基于无监督局部度量学习和重排序的行人再识别方法 | |
CN109903331B (zh) | 一种基于rgb-d相机的卷积神经网络目标检测方法 | |
CN107633226B (zh) | 一种人体动作跟踪特征处理方法 | |
CN104598883B (zh) | 一种多摄像机监控网络中目标再识别的方法 | |
CN106778687B (zh) | 基于局部评估和全局优化的注视点检测方法 | |
CN110490158B (zh) | 一种基于多级模型的鲁棒人脸对齐方法 | |
CN103679186B (zh) | 检测和跟踪目标的方法和装置 | |
WO2019136591A1 (zh) | 基于弱监督时空级联神经网络的显著目标检测方法及*** | |
CN105574505A (zh) | 一种多摄像机间人体目标再识别的方法及*** | |
CN105740915B (zh) | 一种融合感知信息的协同分割方法 | |
CN108921872B (zh) | 一种适用于长程跟踪的鲁棒性视觉目标跟踪方法 | |
CN108509925B (zh) | 一种基于视觉词袋模型的行人重识别方法 | |
CN106204658A (zh) | 运动图像跟踪方法及装置 | |
CN105976397B (zh) | 一种目标跟踪方法 | |
CN108038515A (zh) | 无监督多目标检测跟踪方法及其存储装置与摄像装置 | |
CN112085765A (zh) | 结合粒子滤波及度量学习的视频目标跟踪方法 | |
CN111199245A (zh) | 油菜害虫识别方法 | |
CN108491857B (zh) | 一种视域重叠的多摄像机目标匹配方法 | |
CN112364881B (zh) | 一种进阶采样一致性图像匹配方法 | |
CN112749675A (zh) | 一种基于卷积神经网络的马铃薯病害识别方法 | |
CN107423771B (zh) | 一种两时相遥感图像变化检测方法 | |
CN114463843A (zh) | 一种基于深度学习的多特征融合鱼类异常行为检测方法 | |
CN109241932B (zh) | 一种基于运动方差图相位特征的热红外人体动作识别方法 | |
Lin et al. | Citrus segmentation for automatic harvester combined with adaboost classifier and Leung-Malik filter bank | |
CN117437691A (zh) | 一种基于轻量化网络的实时多人异常行为识别方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |