CN106650805A - 一种视觉目标跟踪方法及装置 - Google Patents
一种视觉目标跟踪方法及装置 Download PDFInfo
- Publication number
- CN106650805A CN106650805A CN201611151489.8A CN201611151489A CN106650805A CN 106650805 A CN106650805 A CN 106650805A CN 201611151489 A CN201611151489 A CN 201611151489A CN 106650805 A CN106650805 A CN 106650805A
- Authority
- CN
- China
- Prior art keywords
- tracker
- image
- target
- state
- characteristic vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 230000000007 visual effect Effects 0.000 title claims description 9
- 239000013598 vector Substances 0.000 claims abstract description 129
- 238000001514 detection method Methods 0.000 claims description 18
- 238000005457 optimization Methods 0.000 claims description 15
- 102220588434 Keratin, type I cytoskeletal 18_S34E_mutation Human genes 0.000 claims description 12
- 238000012549 training Methods 0.000 claims description 12
- 238000010606 normalization Methods 0.000 claims description 10
- 102220064657 rs786205565 Human genes 0.000 claims description 9
- 238000005065 mining Methods 0.000 claims description 7
- 102220538564 TNF receptor-associated factor 2_S11D_mutation Human genes 0.000 claims description 6
- 238000012423 maintenance Methods 0.000 claims description 6
- 238000012546 transfer Methods 0.000 claims description 6
- 102220328583 rs111822347 Human genes 0.000 claims description 5
- 102220198146 rs1057519886 Human genes 0.000 claims description 4
- 102200092683 rs371769427 Human genes 0.000 claims description 4
- 102220560149 DENN domain-containing protein 2B_S34G_mutation Human genes 0.000 claims description 3
- 102220466509 Putative histone H2B type 2-C_S11E_mutation Human genes 0.000 claims description 3
- 238000013459 approach Methods 0.000 claims description 3
- 230000003750 conditioning effect Effects 0.000 claims description 3
- 238000011478 gradient descent method Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 102200048773 rs2224391 Human genes 0.000 claims description 3
- 102220529282 Cysteine protease ATG4B_S34A_mutation Human genes 0.000 claims 1
- 238000012986 modification Methods 0.000 abstract 1
- 230000004048 modification Effects 0.000 abstract 1
- 230000006870 function Effects 0.000 description 18
- 238000005516 engineering process Methods 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 230000035807 sensation Effects 0.000 description 3
- 102220588435 Keratin, type I cytoskeletal 18_S34A_mutation Human genes 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000005352 clarification Methods 0.000 description 2
- 102220588432 Keratin, type I cytoskeletal 18_S23A_mutation Human genes 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000010977 jade Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种目标跟踪方法及装置。所述方法包括:离线训练特定目标的检测器;采用检测器检测图像中的目标;在线学习***判别模型;采用***跟踪下一帧图像中的目标;通过检测器判断***是否跟踪失败;若跟踪失败则重新检测图像中的目标,若跟踪成功则累积目标的特征向量及对应的子图像,并在线学习***判别模型;通过基于密度峰值的方法在线挖掘正支持向量,对***进行在线修正,然后采用***跟踪下一帧图像中的目标。
Description
技术领域
本发明属于计算机图像技术领域,具体地涉及一种融合检测器的鲁棒视觉目标跟踪的方法及装置。
背景技术
常见的视觉目标的跟踪方法是通过人工选取第一帧图像中的目标,然后通过在线学习目标的生成模型或在线学习判别目标和背景的判别模型来实现对目标的跟踪,在一些复杂条件下(如环境光线变化、目标被遮挡及目标不在摄像机视野内等),会导致跟踪漂移问题,进而使得跟踪失败,由于缺乏检测器的有效辅助,***丢失目标之后很难重新跟踪到目标。
发明内容
为了解决现有技术中在复杂条件下,***会产生漂移问题使得跟踪失败以及***丢失目标之后很难重新跟踪到目标等问题,本发明目的在于提供一种融合检测器的鲁棒的视觉目标跟踪方法及装置。
根据本发明的一个方面,提供了一种视觉目标跟踪方法,该方法包括步骤如下:
步骤S1:离线训练预定目标的检测器
步骤S2:采用所述检测器检测第i-1帧图像中的所述预定目标,其中i为大于等于1的正整数;
步骤S3:在线学习***判别模型;
步骤S4:采用所述***判别模型跟踪第i帧图像中的所述预定目标;
步骤S5:通过所述检测器判断所述***判别模型跟踪所述预定目标是否成功;
步骤S6:若所述***判别模型跟踪所述预定目标成功,则存储所述***判别模型跟踪得到的所述预定目标的特征向量及跟踪得到的目标图像,并在线学习***判别模型,转步骤S7;否则,i=i+1,转步骤S2重新检测所述预定目标并重新在线学习所述***判别模型;
步骤S7:通过基于密度峰值的方法在线挖掘正支持向量,并对***进行在线修正,i=i+1,然后跳转到步骤S4。
其中,步骤S1包括以下步骤:
步骤S11:计算正负样本图像的梯度方向直方图特征,生成正样本图像和负样本图像的特征向量;包括:
步骤S11A:将正样本图像通过双线性差值方法归一化为固定大小ws×hs,其中ws为归一化正样本图像的宽,hs为归一化正样本图像的高;
步骤S11B:将归一化的正样本图像划分为Nc1×Nc2个细胞单元Cij,1<i<Nc1,1<j<Nc2;每个细胞单元大小为k×k,其中k=ws/Nc1=hs/Nc2;
步骤S11C:在每个细胞单元Cij中对梯度方向进行独立统计,以梯度方向为横轴的直方图,然后将这个梯度分布平均分成多个无符号方向角度,每个方向角度范围对应方向角度范围的梯度幅值累积值,将多个梯度幅值累积值组成多个维特征向量Vij,然后通过4个归一化系数对Vii进行归一化,进而得到细胞单元Cij对应的特征向量Fij;
步骤S11D:将归一化正样本图像中所有细胞单元的梯度方向直方图特征向量Fij串联构成正样本图像的特征向量VP;
步骤S11E:采用与步骤S11A至步骤S11D相同的方式计算大小为ws×hs的负样本图像的特征向量VF;
步骤S12:采用随机梯度下降法训练检测分类器;
其中,检测分类器采用的是线性支持向量机分类器,其优化目标函数为:
其中为SVM的参数向量,yi∈{-1,+1}为样本的类别标签,其中x为正样本图像或负样本图像的特征向量;其中为检测分类器的判别函数。
其中,步骤S2包括以下步骤:
步骤S21:根据所述当前帧图像生成图像金子塔;
步骤S22:将每幅所述图像金字塔划分为多个细胞单元,;然后通过梯度直方图统计方法获取每个细胞单元的特征向量,生成图像特征金字塔;
步骤S23:在图像特征金字塔中,利用所述检测器采用滑动窗口的方式检测所述预定目标。
其中,步骤S3包括下述步骤:
步骤S31:将第i帧图像的所述预定目标进行状态化表示,得到目标状态si;其中,si=(Δxi,Δyi,sci,ri),其中Δxi、Δyi为所述检测器检测到的第i帧图像中的所述预定目标相对前一帧跟踪到的所述预定目标的中心点位置的二维平移量,sci表示所述检测器检测到的第i帧图像中的所述预定目标相对前一帧跟踪到的所述预定目标的面积大小的尺度比,ri表示目标状态si对应的图像区域的长宽比;
步骤S32:通过高斯分布对所述目标状态进行状态转移,获得采样状态集合m为采样状态集合中目标状态的个数;
步骤S33:计算采样状态集合对应的图像区域的特征向量;
步骤S34:将采样状态集合对应的图像区域的特征向量作为样本,通过优化基于状态的结构SVM分类器实现***判别模型的在线学习。
其中,所述步骤S33包括以下步骤:
步骤S33A:获取所述采样状态集合中每个状态对应的图像区域;通过所述检测器在第i帧图像中检测到的所述预定目标的位置(xCi,yCi,wi,hi),采用以下公式计算第j个状态对应的图像区域的位置
其中,xCi、yCi为所述状态si对应的图像区域的中心点位置,wi、hi分别为所述状态si对应的图像区域的宽和高;分别为第j个状态对应的图像区域的中心点位置,分别为第j个状态对应的图像区域的宽和高;表示所述状态si对应的图像区域的长宽比;
步骤S33B:计算所述采样状态集合中每个状态对应的图像区域的归一化特征向量。
其中,步骤34中基于状态的结构SVM分类器的优化问题如下表示:
其中C为惩罚系数,其中为对应状态si的特征向量,为第i帧图像中所有的状态,包括状态转移获得的采样状态和目标的状态;其中为特征向量和之间的损失函数,其中为高斯核函数,Φ为将特征向量从低维空间到高维空间的映射,其中 1≤i≤n为模型参数,n为在跟踪过程中,每帧图像中采集的状态的个数;其中,***判别模型的判别函数为其中
其中,基于状态的结构SVM分类器的在线优化过程包括如下步骤:
步骤S34A:选取第i帧图像中状态目标特征向量对应的参数作为选取其中,为步骤S34中优化目标函数 对的梯度;si+表示与参数相对应的目标状态,si-表示与参数相对应的目标状态;
步骤S34B:更新参数和首先,计算 然后,计算其中
计算然后,更新 若则将添加到支持向量集合Vsup中,即将添加到支持梯度集合G中,即若则将添加到支持向量集合Vsup中,即将添加到支持梯度集合G中,即最后,更新支持梯度集合G中的梯度
步骤S34C:进行支持向量维护;若支持向量集合Vsup中的支持向量数量大于200,则剔除支持向量集合Vsup中的支持向量xclear直到支持向量集合Vsup中的支持向量数量小于200,其中
步骤S34D:从现有的支持模式集合中,选取 其中至少包含一个支持向量的集合称为支持模式集合,采用步骤S34B更新参数和并采用步骤S34C进行支持向量维护;
步骤S34E:从现有的支持模式集合中,选取 采用步骤S34B更新参数和并采用步骤S34C进行支持向量维护;
步骤S34F:转步骤S34E,直至满足第一迭代结束条件为止;
步骤S34G:转步骤S34D,直至满足第二迭代结束条件为止。
其中,步骤S4包括以下步骤:
步骤S41:将所述预定目标在第i-1帧图像中的目标状态和采样状态做为第i帧图像的采样状态,并计算每个采样状态在第i帧图像中的图像区域,进而计算每个采样状态对应的图像区域的特征向量;
步骤S42:通过所述***判别模型的判别函数,计算每个采样状态对应的图像区域的特征向量的判别值,并将具有最大判别值的采样状态作为第i+1帧图像的目标状态。
其中,所述步骤S6中存储的所述预定目标的特征向量最多不超过200个,若超过200个,则仅保存最新得到的200个所述预定目标的特征向量。
其中,步骤S7包括下述步骤:
步骤S71:对步骤S6中存储的所述预定目标的特征向量集 进行基于密度峰值的聚类;首先,对于集合C中的每一个特征向量计算其对应的局部密度ρi及比其局部密度更高的点的距离δi;
然后,计算集合C中每个特征向量对应的γi=ρiδi,从而获得集合
最后,将集合中的数据进行降序排列,以获得集合 选择集合C中对应集合中前nr个数据构成数据集
步骤S72:将基于密度峰值聚类方法挖掘出的数据集D中的特征向量替换***判别模型中具有较低置信度的nr个正支持向量。
根据本发明第二方面,提供了一种视觉目标跟踪装置,包括:
检测器训练模块,用于离线训练预定目标的检测器
检测模块,用于采用所述检测器检测第i-1帧图像中的所述预定目标,其中i为大于等于1的正整数;
***学习模块,用于在线学习***判别模型;
跟踪模块,用于采用所述***判别模型跟踪第i帧图像中的所述预定目标;
判别模块,用于通过所述检测器判断所述***判别模型跟踪所述预定目标是否成功;若所述***判别模型跟踪所述预定目标成功,则存储所述***判别模型跟踪得到的所述预定目标的特征向量及对应的子图像,并利用***学习模块在线学习***判别模型,采用基于密度峰值的方法在线挖掘正支持向量,并对***进行在线修正,i=i+1,转跟踪模块继续跟踪下一帧图像;否则,i=i+1,转检测模块重新检测所述预定目标并重新在线学习所述***判别模型。
通过本发明上述技术方案,通过检测器和***的有效融合,实现了对特定目标的鲁棒视觉检测与跟踪,能够为视觉导航、视觉监控等提供准确的视觉目标信息。
附图说明
图1为本发明中一种视觉目标跟踪方法的流程图;
图2为本发明中离线训练特定目标的检测器的流程图;
图3为本发明中采用检测器检测图像中的目标的流程图;
图4为本发明中在线学习***判别模型的流程图;
图5为本发明中采用***跟踪下一帧图像中的目标的流程图;
图6为本发明中通过基于密度峰值的方法在线挖掘正支持向量,并对***进行在线修正的流程图;
图7为本发明中计算待检测图像的图像特征金字塔的示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,以下结合具体实施例,并参照附图,对本发明进一步详细说明。
如图1示出本发明一种融合检测器的鲁棒的视觉目标跟踪方法的流程图,其步骤包括如下:
步骤S1:离线训练特定目标的检测器;
步骤S2:采用检测器检测图像中的目标;
步骤S3:在线学习***判别模型;
步骤S4:采用***跟踪下一帧图像中的目标;
步骤S5:通过检测器判断***是否跟踪失败;
步骤S6:若跟踪成功则累积目标的特征向量及对应的子图像,并再一次采用步骤S3中的方法进行在线学习***判别模型,否则跳转到步骤S2重新检测图像中的目标;
步骤S7:通过基于密度峰值的方法在线挖掘正支持向量,并对***进行在线修正,然后跳转到步骤S4。
其中,如图2所示,步骤S1离线训练特定目标的检测器包括以下几个步骤:
步骤S11:计算正负样本图像的梯度方向直方图特征,生成正样本图像和负样本图像的特征向量。具体过程为:
步骤S11A:将正样本图像通过双线性差值方法归一化为固定大小ws×hs,其中ws为归一化正样本图像的宽,hs为归一化正样本图像的高。
步骤S11B:将归一化的正样本图像划分为Nc1×Nc2个细胞单元Cij,1<i<Nc1,1<j<Nc2。每个细胞单元大小为k×k,其中k=ws/Nc1=hs/Nc2。
步骤S11C:在每个细胞单元Cij中对梯度方向进行独立统计,以梯度方向为横轴的直方图,梯度方向取0度到180度(忽略方向符号),然后将这个梯度分布平均分成n个无符号方向角度,每个方向角度范围对应方向角度范围的梯度幅值累积值,将n个梯度幅值的累积值,组成n维特征向量Vij,然后通过m个归一化系数对Vij进行归一化,进而得到细胞单元Cij对应的特征向量Fij。其中Fij由下式求取,其中n的取值范围为5至15,优选为9,m可以为4:
其中α,β∈{-1,1}为4个归一化系数,通过下式求取:
其中Vi+α,j,Vi,j+β,Vi+α,j+β分别为细胞单元Ci+α,j,Ci,j+β,Ci+α,j+β通过步骤S11C计算出的9维特征向量。
步骤S11D:将归一化正样本图像中所有细胞单元的梯度方向直方图特征向量Fjj串联构成正样本特征向量VP。
步骤S11E:采用与步骤S11A至步骤S11D相同的方式计算大小为ws×hs的负样本图像的特征向量VF。
步骤S12:采用随机梯度下降法训练检测分类器;
其中,检测分类器采用的是线性支持向量机分类器(SVM),其优化目标函数为:
其中为SVM的参数向量,w为权重向量,b为偏移量,yi∈{-1,+1}为样本的类别标签,其中x为正样本或负样本图像对应的特征向量,C为惩罚系数,N为样本数量。其中为检测分类器的判别函数,其表达式为
其中,如图3所示,步骤S2采用检测器检测图像中的目标包括以下步骤:
步骤S21:通过平滑及下采样等步骤生成图像金子塔。过程如图7左图所示,参数λ代表图像金子塔中每个八度中图像的个数,亦代表图像的长(宽)降低到原来的一半需要下采样的次数,图7所示的图像金子塔的参数λ=2,其可以根据实际设置成不同的值,例如可以设置成λ=5。
步骤S22:将金字塔中的每幅图像划分为小的细胞单元,每个细胞单元大小为k×k大小的小图像,然后按照步骤S11C计算每个细胞单元的特征向量Fij,生成图像特征金字塔,如图7右图所示。
步骤S23:在图像特征金字塔中,视觉检测分类器采用滑动窗口的方式对锥套目标进行检测。具体过程为:
步骤S23A:采用大小为Nc1×Nc2个细胞单元的窗口在图像特征金字塔中滑动,通过检测器的判别函数计算图像特征金字塔中所有滑动位置处的分值,其中为SVM的参数向量,x为每个滑动窗口处的特征向量。
步骤S23B:通过比较得到所有滑动位置处分类分值的最大值SM,如果SM>T1,则具有最大分类分值的滑动位置为待检测图像中目标的位置,否则待检测图像中不存在目标,其中T1为分类阈值。
其中,如图4所示,步骤S3在线学习***判别模型的具体过程如下:
步骤S31:将第i帧图像的目标进行状态化表示。其中检测器检测到目标在当前帧图像中的位置为(xCi,yCi,wi,hi),xCi,yCi为目标图像区域的中心点位置,wi,hi分别为目标图像区域的宽和高。其中状态定义为si=(Δxi,Δyi,sci,ri),其中Δxi,Δyi为检测器检测到目标相对第i-1帧图像中跟踪到的目标中心点位置的二维平移量,sci表示相对目标大小的尺度比,即状态si对应图像区域的面积与第i-1帧图像中跟踪到的目标的面积比,ri表示长宽比,即状态si对应图像区域(即所述检测器检测到的第i帧图像中的所述预定目标)的高度和宽度的比值。目标在当前图像中的状态
步骤S32:通过高斯分布对目标状态进行状态转移,获得采样状态集合其中获得采样状态集合中的状态si的高斯分布为:
其中,为高斯分布的概率密度函数,符号记为N;∑ST为对角协方差矩阵,其对角元素对应着Δxi,Δyi,sci,ri的方差σΔx,σΔy,σsc,σr。
步骤S33:计算采样状态集合对应图像区域的特征向量。具体步骤如下:
步骤S33A:获取每个状态对应的图像区域。通过目标在图像中的位置(xCi,yCi,wi,hi)及采样状态集合中状态采用以下公式计算状态对应的图像区域的位置
步骤S33B:计算每个状态对应的图像区域的特征向量。将每个状态对应的图像区域归一化为X×X大小的子图像,并将子图像的像素值,按列排列成X×X维特征向量,并将特征向量除以256,使得特征向量每个维度的取值归一化在[0,1]范围。
步骤S34:通过优化基于状态的结构SVM分类器实现***判别模型的在线学习。
其中,基于状态的结构SVM分类器的优化问题为:
其中C为惩罚系数,其中为对应状态si的特征向量,为第i帧图像中所有的状态,包括状态转移获得的采样状态和目标的状态。其中为特征向量和之间的损失函数,其中为高斯核函数,Φ为将特征向量从低维空间到高维空间的映射,其中 1≤i≤n为模型参数,n为在跟踪过程中,每帧图像中采集的状态的个数。其中,***判别模型的判别函数为其中
其中,基于状态的结构SVM分类器的在线优化过程为:
步骤S34A:选取当前帧图像中目标特征向量对应的参数作为选琳其中,为步骤S34中优化目标函数 对的梯度。si+表示与参数相对应的状态,si-表示与参数相对应的状态。
步骤S34B:更新参数和首先,计算 然后,计算其中
计算然后,更新 者则将添加到支持向量集合Vsup中,即将添加到支持梯度集合G中,即若则将添加到支持向量集合Vsup中,即将添加到支持梯度集合G中,即最后,更新支持梯度集合G中的梯度
步骤S34C:进行支持向量维护。若支持向量集合Vsup中的支持向量数量大于200,剔除支持向量集合Vsup中的支持向量xclear直到支持向量集合Vsup中的支持向量数量小于200,其中
其中,代表第i帧图像中的采样状态集合中的采样状态。
步骤S34D:从现有的支持模式集合中,选取 其中至少包含一个支持向量的集合称为支持模式集合,采用步骤S34B更新参数和并采用步骤S34C进行支持向量维护。
步骤S34E:从现有的支持模式集合中,选取 采用步骤S34B更新参数和并采用步骤S34C进行支持向量维护。
步骤S34F:循环运行步骤S34E 10次。
步骤S34G:循环运行步骤S34D至S34F 10次。
其中,如图5所示,步骤S4采用***跟踪下一帧图像中的目标的步骤为:
步骤S41:将目标在上一帧图像中的目标状态和采样状态做为下一帧图像的采样状态,并通过步骤S33A计算每个状态在下一帧图像中的图像区域,通过步骤S33B计算每个状态对应的图像区域的特征向量。
步骤S42:通过步骤S34中***判别模型的判别函数计算每个状态对应的图像区域的特征向量的判别值。并将具有最大判别值的状态作为下一帧图像中目标的状态。
其中步骤S5通过检测器判断***是否跟踪失败的具体实施过程为:对具有最大判别值的状态对应的图像区域计算步骤S11中的梯度方向直方图特征,并通过步骤S12中检测分类器的判别函数计算判别值,若判别值大于阈值T2,则跟踪目标成功,否则跟踪目标失败。
其中步骤S6中所存储的目标的特征向量最多不超过200个,若超过200个则仅保存最新累积的200个目标特征向量。
其中,如图6所示,步骤S7中通过基于密度峰值的方法在线挖掘正支持向量,并对***进行在线修正的具体实施步骤如下:
步骤S71:对步骤S6中累积的目标的特征向量集进行基于密度峰值的聚类。首先,对于集合C中的每一个特征向量计算其对应的局部密度ρi,计算与比其局部密度高的点的距离,取所有距离的最小值为δi,其中
其中dij为特征向量和特征向量之间的距离,当x<0时,χ(x)=1,否则χ(x)=0,dc为距离阈值。然后,计算集合C中每个特征向量对应的密度评价系数γi=ρiδi,从而获得集合最后,将集合中的数据进行降序排列,以获得集合选择集合C中对应集合中前nr个数据构成数据集
步骤S72:将基于密度峰值聚类方法挖掘出的数据集D中的特征向量替换***判别模型中具有较低置信度的nr个正支持向量。首先,对步骤S34B中支持向量集合Vsup中对应的支持向量的状态对应的图像区域归一化为大小为ws×hs的图像。然后,对每一个归一化的图像,计算步骤S11中的梯度直方图特征向量Tpxi,将所有特征向量构成集合Tp={Tpx1,...,Tpxi,...TpxN}。通过检测器的判别函数计算集合Tp中所有特征向量的判别值。最后,将数据集D中的前nr个特征向量替换支持向量集合Vsup中具有较小检测判别值的nr个正支持向量。
以上所述,仅为本发明中的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉该技术的人在本发明所揭露的技术范围内,可理解想到的变换或替换,都应涵盖在本发明的权利要求书的保护范围之内。
Claims (10)
1.一种视觉目标跟踪方法,其特征在于,该方法包括步骤如下:
步骤S1:离线训练预定目标的检测器
步骤S2:采用所述检测器检测第i-1帧图像中的所述预定目标,其中i为大于等于1的正整数;
步骤S3:在线学习***判别模型;
步骤S4:采用所述***判别模型跟踪第i帧图像中的所述预定目标;
步骤S5:通过所述检测器判断所述***判别模型跟踪所述预定目标是否成功;
步骤S6:若所述***判别模型跟踪所述预定目标成功,则存储所述***判别模型跟踪得到的所述预定目标的特征向量及跟踪得到的目标图像,并在线学习***判别模型,转步骤S7;否则,i=i+1,转步骤S2重新检测所述预定目标并重新在线学习所述***判别模型;
步骤S7:通过基于密度峰值的方法在线挖掘正支持向量,并对***进行在线修正,i=i+1,然后跳转到步骤S4。
2.如权利要求1所述的方法,其特征在于,步骤S1包括以下步骤:
步骤S11:计算正负样本图像的梯度方向直方图特征,生成正样本图像和负样本图像的特征向量;包括:
步骤S11A:将正样本图像通过双线性差值方法归一化为固定大小ws×hs,其中ws为归一化正样本图像的宽,hs为归一化正样本图像的高;
步骤S11B:将归一化的正样本图像划分为Nc1×Nc2个细胞单元Cij,1<i<Nc1,1<j<Nc2;每个细胞单元大小为k×k,其中k=ws/Nc1=hs/Nc2;
步骤S11C:在每个细胞单元Cij中对梯度方向进行独立统计,以梯度方向为横轴的直方图,然后将这个梯度分布平均分成多个无符号方向角度,每个方向角度范围对应方向角度范围的梯度幅值累积值,将多个梯度幅值累积值组成多个维特征向量Vij,然后通过4个归一化系数对Vij进行归一化,进而得到细胞单元Cij对应的特征向量Fij;
步骤S11D:将归一化正样本图像中所有细胞单元的梯度方向直方图特征向量Fij串联构成正样本图像的特征向量VP;
步骤S11E:采用与步骤S11A至步骤S11D相同的方式计算大小为ws×hs的负样本图像的特征向量VF;
步骤S12:采用随机梯度下降法训练检测分类器;
其中,检测分类器采用的是线性支持向量机分类器,其优化目标函数为:
其中为SVM的参数向量,yi∈{-1,+1}为样本的类别标签,其中x为正样本图像或负样本图像的特征向量;其中为检测分类器的判别函数。
3.如权利要求1所述的方法,其特征在于,步骤S2包括以下步骤:
步骤S21:根据所述当前帧图像生成图像金子塔;
步骤S22:将每幅所述图像金字塔划分为多个细胞单元,;然后通过梯度直方图统计方法获取每个细胞单元的特征向量,生成图像特征金字塔;
步骤S23:在图像特征金字塔中,利用所述检测器采用滑动窗口的方式检测所述预定目标。
4.如权利要求1所述的方法,其特征在于,步骤S3包括下述步骤:
步骤S31:将第i帧图像的所述预定目标进行状态化表示,得到目标状态si;其中,Si=(Δxi,Δyi,sci,ri),其中Δxi、Δyi为所述检测器检测到的第i帧图像中的所述预定目标相对前一帧跟踪到的所述预定目标的中心点位置的二维平移量,sci表示所述检测器检测到的第i帧图像中的所述预定目标相对前一帧跟踪到的所述预定目标的面积大小的尺度比,ri表示目标状态si对应的图像区域的长宽比;
步骤S32:通过高斯分布对所述目标状态进行状态转移,获得采样状态集合m为采样状态集合中目标状态的个数;
步骤S33:计算采样状态集合对应的图像区域的特征向量;
步骤S34:将采样状态集合对应的图像区域的特征向量作为样本,通过优化基于状态的结构SVM分类器实现***判别模型的在线学习。
5.如权利要求4所述的方法,其特征在于,所述步骤S33包括以下步骤:
步骤S33A:获取所述采样状态集合中每个状态对应的图像区域;通过所述检测器在第i帧图像中检测到的所述预定目标的位置(xCi,yCi,wi,hi),采用以下公式计算第j个状态对应的图像区域的位置
其中,xCi、yCi为所述状态si对应的图像区域的中心点位置,wi、hi分别为所述状态si对应的图像区域的宽和高;分别为第j个状态对应的图像区域的中心点位置,分别为第j个状态对应的图像区域的宽和高;ri j表示所述状态si对应的图像区域的长宽比;
步骤S33B:计算所述采样状态集合中每个状态对应的图像区域的归一化特征向量。
6.如权利要求5所述的方法,其特征在于,步骤34中基于状态的结构SVM分类器的优化问题如下表示:
其中C为惩罚系数,其中为对应状态si的特征向量,为第i帧图像中所有的状态,包括状态转移获得的采样状态和目标的状态;其中为特征向量和之间的损失函数,其中为高斯核函数,Φ为将特征向量从低维空间到高维空间的映射,其中 1≤i≤n为模型参数,n为在跟踪过程中,每帧图像中采集的状态的个数;其中,***判别模型的判别函数为其中
其中,基于状态的结构SVM分类器的在线优化过程包括如下步骤:
步骤S34A:选取第i帧图像中状态目标特征向量对应的参数作为选取其中,为步骤S34中优化目标函数 对的梯度;si+表示与参数相对应的目标状态,si-表示与参数相对应的目标状态;
步骤S34B:更新参数和首先,计算 然后,计算
其中
计算然后,更新 若则将添加到支持向量集合Vsup中,即将添加到支持梯度集合G中,即若则将添加到支持向量集合Vsup中,即将添加到支持梯度集合G中,即最后,更新支持梯度集合G中的梯度
步骤S34C:进行支持向量维护;若支持向量集合Vsup中的支持向量数量大于200,则剔除支持向量集合Vsup中的支持向量xclear直到支持向量集合Vsup中的支持向量数量小于200,其中
步骤S34D:从现有的支持模式集合中,选取 其中至少包含一个支持向量的集合称为支持模式集合,采用步骤S34B更新参数和并采用步骤S34C进行支持向量维护;
步骤S34E:从现有的支持模式集合中,选取 采用步骤S34B更新参数和并采用步骤S34C进行支持向量维护;
步骤S34F:转步骤S34E,直至满足第一迭代结束条件为止;
步骤S34G:转步骤S34D,直至满足第二迭代结束条件为止。
7.如权利要求1所述的方法,其特征在于,步骤S4包括以下步骤:
步骤S41:将所述预定目标在第i-1帧图像中的目标状态和采样状态做为第i帧图像的采样状态,并计算每个采样状态在第i帧图像中的图像区域,进而计算每个采样状态对应的图像区域的特征向量;
步骤S42:通过所述***判别模型的判别函数,计算每个采样状态对应的图像区域的特征向量的判别值,并将具有最大判别值的采样状态作为第i+1帧图像的目标状态。
8.如权利要求1所述的方法,其特征在于,所述步骤S6中存储的所述预定目标的特征向量最多不超过200个,若超过200个,则仅保存最新得到的200个所述预定目标的特征向量。
9.如权利要求1所述的方法,其特征在于,步骤S7包括下述步骤:
步骤S71:对步骤S6中存储的所述预定目标的特征向量集 进行基于密度峰值的聚类;首先,对于集合C中的每一个特征向量计算其对应的局部密度ρi及比其局部密度更高的点的距离δi;
然后,计算集合C中每个特征向量对应的γi=ρiδi,从而获得集合
最后,将集合中的数据进行降序排列,以获得集合 选择集合C中对应集合中前nr个数据构成数据集
步骤S72:将基于密度峰值聚类方法挖掘出的数据集D中的特征向量替换***判别模型中具有较低置信度的nr个正支持向量。
10.一种视觉目标跟踪装置,其特征在于,包括:
检测器训练模块,用于离线训练预定目标的检测器
检测模块,用于采用所述检测器检测第i-1帧图像中的所述预定目标,其中i为大于等于1的正整数;
***学习模块,用于在线学习***判别模型;
跟踪模块,用于采用所述***判别模型跟踪第i帧图像中的所述预定目标;
判别模块,用于通过所述检测器判断所述***判别模型跟踪所述预定目标是否成功;若所述***判别模型跟踪所述预定目标成功,则存储所述***判别模型跟踪得到的所述预定目标的特征向量及对应的子图像,并利用***学习模块在线学习***判别模型,采用基于密度峰值的方法在线挖掘正支持向量,并对***进行在线修正,i=i+1,转跟踪模块继续跟踪下一帧图像;否则,i=i+1,转检测模块重新检测所述预定目标并重新在线学习所述***判别模型。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611151489.8A CN106650805B (zh) | 2016-12-13 | 2016-12-13 | 一种视觉目标跟踪方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611151489.8A CN106650805B (zh) | 2016-12-13 | 2016-12-13 | 一种视觉目标跟踪方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106650805A true CN106650805A (zh) | 2017-05-10 |
CN106650805B CN106650805B (zh) | 2019-07-30 |
Family
ID=58822032
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201611151489.8A Expired - Fee Related CN106650805B (zh) | 2016-12-13 | 2016-12-13 | 一种视觉目标跟踪方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106650805B (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107452015A (zh) * | 2017-07-28 | 2017-12-08 | 南京工业职业技术学院 | 一种具有重检测机制的目标跟踪*** |
CN107492114A (zh) * | 2017-06-12 | 2017-12-19 | 杭州电子科技大学 | 单目长时视觉跟踪方法的跟踪失败时的使用的重检方法 |
CN107680100A (zh) * | 2017-10-20 | 2018-02-09 | 重庆信络威科技有限公司 | 一种图像检测与跟踪并行协同工作的方法和装置 |
CN108921873A (zh) * | 2018-05-29 | 2018-11-30 | 福州大学 | 基于核相关滤波优化的马尔科夫决策在线多目标跟踪方法 |
CN109389137A (zh) * | 2017-08-08 | 2019-02-26 | 南京大学 | 一种基于光谱特征的视觉追踪方法 |
CN110400329A (zh) * | 2019-06-17 | 2019-11-01 | 北京百度网讯科技有限公司 | 人流计数方法及其*** |
CN111723608A (zh) * | 2019-03-20 | 2020-09-29 | 杭州海康威视数字技术股份有限公司 | 一种驾驶辅助***的报警方法、装置及电子设备 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102881024A (zh) * | 2012-08-24 | 2013-01-16 | 南京航空航天大学 | 一种基于tld的视频目标跟踪方法 |
US20130051613A1 (en) * | 2011-08-29 | 2013-02-28 | International Business Machines Corporation | Modeling of temporarily static objects in surveillance video data |
CN102982340A (zh) * | 2012-10-31 | 2013-03-20 | 中国科学院长春光学精密机械与物理研究所 | 基于半监督学习和随机蕨类分类器的目标跟踪方法 |
CN103246896A (zh) * | 2013-05-24 | 2013-08-14 | 成都方米科技有限公司 | 一种鲁棒性车辆实时检测与跟踪方法 |
-
2016
- 2016-12-13 CN CN201611151489.8A patent/CN106650805B/zh not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130051613A1 (en) * | 2011-08-29 | 2013-02-28 | International Business Machines Corporation | Modeling of temporarily static objects in surveillance video data |
CN102881024A (zh) * | 2012-08-24 | 2013-01-16 | 南京航空航天大学 | 一种基于tld的视频目标跟踪方法 |
CN102982340A (zh) * | 2012-10-31 | 2013-03-20 | 中国科学院长春光学精密机械与物理研究所 | 基于半监督学习和随机蕨类分类器的目标跟踪方法 |
CN103246896A (zh) * | 2013-05-24 | 2013-08-14 | 成都方米科技有限公司 | 一种鲁棒性车辆实时检测与跟踪方法 |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107492114A (zh) * | 2017-06-12 | 2017-12-19 | 杭州电子科技大学 | 单目长时视觉跟踪方法的跟踪失败时的使用的重检方法 |
CN107452015A (zh) * | 2017-07-28 | 2017-12-08 | 南京工业职业技术学院 | 一种具有重检测机制的目标跟踪*** |
CN107452015B (zh) * | 2017-07-28 | 2020-09-25 | 南京工业职业技术学院 | 一种具有重检测机制的目标跟踪*** |
CN109389137A (zh) * | 2017-08-08 | 2019-02-26 | 南京大学 | 一种基于光谱特征的视觉追踪方法 |
CN109389137B (zh) * | 2017-08-08 | 2022-04-22 | 南京大学 | 一种基于光谱特征的视觉追踪方法 |
CN107680100A (zh) * | 2017-10-20 | 2018-02-09 | 重庆信络威科技有限公司 | 一种图像检测与跟踪并行协同工作的方法和装置 |
CN108921873A (zh) * | 2018-05-29 | 2018-11-30 | 福州大学 | 基于核相关滤波优化的马尔科夫决策在线多目标跟踪方法 |
CN108921873B (zh) * | 2018-05-29 | 2021-08-31 | 福州大学 | 基于核相关滤波优化的马尔科夫决策在线多目标跟踪方法 |
CN111723608A (zh) * | 2019-03-20 | 2020-09-29 | 杭州海康威视数字技术股份有限公司 | 一种驾驶辅助***的报警方法、装置及电子设备 |
CN110400329A (zh) * | 2019-06-17 | 2019-11-01 | 北京百度网讯科技有限公司 | 人流计数方法及其*** |
CN110400329B (zh) * | 2019-06-17 | 2022-04-05 | 北京百度网讯科技有限公司 | 人流计数方法及其*** |
Also Published As
Publication number | Publication date |
---|---|
CN106650805B (zh) | 2019-07-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106650805A (zh) | 一种视觉目标跟踪方法及装置 | |
CN108921107B (zh) | 基于排序损失和Siamese网络的行人再识别方法 | |
CN101464950B (zh) | 基于在线学习和贝叶斯推理的视频人脸识别与检索方法 | |
CN110866287B (zh) | 一种基于权重谱生成对抗样本的点攻击方法 | |
CN105760849B (zh) | 基于视频的目标对象行为数据获取方法及装置 | |
CN103150572B (zh) | 在线式视觉跟踪方法 | |
CN104008370A (zh) | 一种视频人脸识别方法 | |
CN109800624A (zh) | 一种基于行人重识别的多目标跟踪方法 | |
CN110008913A (zh) | 基于姿态估计与视点机制融合的行人再识别方法 | |
CN101551809A (zh) | 基于高斯混合模型分类的sar图像检索方法 | |
CN107424161B (zh) | 一种由粗至精的室内场景图像布局估计方法 | |
CN103473539A (zh) | 步态识别方法和装置 | |
CN108960047A (zh) | 基于深度二次树的视频监控中人脸去重方法 | |
CN102254183B (zh) | 一种基于AdaBoost算法的人脸检测方法 | |
CN106875421A (zh) | 一种多目标跟踪方法及装置 | |
CN108256462A (zh) | 一种商场监控视频中的人数统计方法 | |
CN112541424A (zh) | 复杂环境下行人跌倒的实时检测方法 | |
CN107480585A (zh) | 基于dpm算法的目标检测方法 | |
CN106204651A (zh) | 一种基于改进的判决与生成联合模型的目标跟踪方法 | |
CN110245587B (zh) | 一种基于贝叶斯迁移学习的光学遥感图像目标检测方法 | |
CN108898623A (zh) | 目标跟踪方法及设备 | |
CN112926522B (zh) | 一种基于骨骼姿态与时空图卷积网络的行为识别方法 | |
CN105096345A (zh) | 一种基于动态测量矩阵的目标跟踪方法及*** | |
CN109711245A (zh) | 一种基于图像候选区域的闭环检测方法 | |
CN112541403A (zh) | 一种利用红外摄像头的室内人员跌倒检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20190730 |
|
CF01 | Termination of patent right due to non-payment of annual fee |