CN106997597A - 一种基于有监督显著性检测的目标跟踪方法 - Google Patents
一种基于有监督显著性检测的目标跟踪方法 Download PDFInfo
- Publication number
- CN106997597A CN106997597A CN201710173134.7A CN201710173134A CN106997597A CN 106997597 A CN106997597 A CN 106997597A CN 201710173134 A CN201710173134 A CN 201710173134A CN 106997597 A CN106997597 A CN 106997597A
- Authority
- CN
- China
- Prior art keywords
- super
- pixel
- target
- node
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 12
- 238000000034 method Methods 0.000 claims abstract description 26
- 230000011218 segmentation Effects 0.000 claims abstract description 17
- 238000005295 random walk Methods 0.000 claims abstract description 9
- 239000011159 matrix material Substances 0.000 claims description 12
- 238000004422 calculation algorithm Methods 0.000 claims description 9
- 238000012549 training Methods 0.000 claims description 8
- 235000013399 edible fruits Nutrition 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 2
- 238000000354 decomposition reaction Methods 0.000 claims description 2
- 238000009795 derivation Methods 0.000 claims description 2
- 239000000284 extract Substances 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 claims 1
- 230000000694 effects Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20156—Automatic seed setting
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于有监督显著性检测的目标跟踪方法,包含:将当前帧的搜索区域分割为超像素并提取目标和背景的超像素特征,利用SVM学习目标的判别式表观模型。每来新一帧的图像,对搜索区域进行超像素分割,利用基于图模型的流形排序进行第一阶段的显著性检测。根据判别式表观模型计算新一帧图像中每个超像素属于目标的概率,调整分类结果并结合第一阶段的显著性检测选取随机游走的种子点,通过随机游走得到第二阶段显著图。将显著图与分类结果加权得出置信图,对置信图进行处理后用积分图法估计目标新的位置和尺度。本发明能够有效处理快速运动和形变等问题,从而实现鲁棒的跟踪。
Description
技术领域
本发明涉及计算机视觉领域,更具体地,涉及到一种基于有监督显著性检测的目标跟踪方法。
背景技术
目标跟踪作为计算机视觉领域的一个重要研究方向,目前已受到了广泛的关注。该技术在安全监控、无人驾驶和军事防御等领域具有宽广的应用前景。尽管目前已经存在着相当数量的目标跟踪方法,但这些方法往往在光照变化、物体形变、快速运动和严重遮挡情况下不稳定甚至失效。因此,提出一种有效的目标跟踪算法具有重要的应用价值和现实意义。
目标跟踪近几年发展很快,有效的目标建模对跟踪有着极其重要的意义。为了设计鲁棒的外观模型,能够可靠的描述目标外观时空特点的视觉表示是必须的。一些研究采用诸如像素灰度值的低层视觉线索进行跟踪,尽管这种视觉线索在特征跟踪和场景分析等领域取得了理想的应用效果,由于缺少图像的结构化信息使其在跟踪领域受到了限制。而中层的表示可以保留图片结构,同时比图片块更加灵活,超像素作为流行的中层线索之一,在近年来得到越来越多的关注和应用。尽管以上跟踪算法取得了不错的效果,但都独立的对待每一个超像素,而忽略了超像素之间的空间结构关系。为此,基于图的方法被提出,在图片分割和显著性检测中基于图的方法被广泛应用,在目标跟踪中相对关注较少。
另一方面,表观模型是跟踪问题的重要组成部分,许多基于boosting,MIL,SVM的判别式模型得到不断发展,但这些方法多是用矩形框表示目标,通常采用全局外观模型,尽管这样可以应对一定程度的局部形变,在跟踪一些发生剧烈形变的非刚体时并不合适。
发明内容
发明目的:针对现有技术中存在的问题,本发明提供一种基于有监督显著性检测的目标跟踪方法。
为了解决上述技术问题,本发明公开了一种基于有监督显著性检测的目标跟踪方法,包含如下步骤:
步骤1:输入视频,在视频的第一帧中,对人工标记目标区域扩展后进行超像素分割,以分割后的大量超像素为训练样本训练,构建表观模型;
步骤2:获取视频的下一帧,以前一帧的目标位置为中心定义搜索区域,并对搜索区域进行超像素分割,构建以超像素为顶点的无向加权图;
步骤3:基于步骤2得到的超像素分割和无向图,分别选取搜索区域四个边界的超像素节点作为流行排序的种子节点进行排序,得到第一阶段每个超像素节点的显著性;
步骤4:基于步骤1得到的表观模型,对步骤2得到的超像素进行分类,并对分类结果做调整;
步骤5:基于步骤4得到的分类结果和步骤3得到的第一阶段的每个超像素节点的显著性,选取随机游走的前景和背景种子节点,计算得到第二阶段每个超像素节点的显著性;
步骤6:基于步骤5得到的的第二阶段每个超像素节点的显著性和步骤4得到的分类结果构建搜索区域的置信图;
步骤7:基于步骤6得到的置信图,生成大量的候选矩形框,利用积分图法计算置信度最大的候选矩形框并确定当前帧的目标状态;
步骤8:基于步骤4得到的分类结果和步骤7得到的当前帧的目标状态更新表观模型的训练样本,重新学习目标的局部表达;
步骤9:判断当前帧是否为视频的最后一帧,若是则结束;否则转入步骤2。
其中步骤1包括:
输入视频,获取视频第一帧,对以目标为中心,高和宽为目标λ倍的区域采用SLIC(simple lineariterativeclustering,简单线性迭代聚类算法)算法进行超像素分割,然后提取每个超像素的颜色特征和中心位置特征,将所有像素均在目标框内的超像素标记为正类,否则标记为负类,利用SVM(supportvectormachine,支持向量机)进行训练得到基于超像素的表观模型。
步骤2包括:
获取视频下一帧,以前一帧目标位置为中心,前一帧高和宽的λ倍作为当前的搜索区域,对此区域采用SLIC算法进行超像素分割,将得到的n个超像素表示为集合Z,Z={z1,z2,...,zn},zn表示第n个超像素,以超像素为顶点构建无向加权图G,G=(V,E),边eij∈E连接相邻的超像素zi,zj,权重wij为相邻超像素的相似度,wij定义为:
其中,σ为控制权重强度的常量,ci和cj分别表示超像素zi的特征向量和超像素zj的特征向量,采用CIELAB颜色空间(基于非线性压缩的CIEXYZ色彩空间坐标,L表示亮度,A和B表示颜色对立维度)的平均值,Z*是归一化系数;
图G的邻接矩阵表示为W=[wij]n×n,对角矩阵为D,其中对角元素定义为在此基础上定义图G的拉普拉斯矩阵Ln×n。在图G中,每个超像素不仅和其相邻的超像素相连,还与同相邻超像素有共同边界的超像素相连。另外将图中上下左右4个边界的超像素相连形成闭环。
步骤3包括:
以步骤2得到的超像素Z={z1,z2,...,zn}为节点,构建流形排序的排序函数F=[f1,f2,...,fn]T,F(i)=fi表示超像素节点zi的排序得分。给定当前帧的超像素和构建的图G,每个超像素作为一个节点,排序函数定义为:F=(D-αW)-1Y,其中,W为图G的邻接矩阵,向量Y=[y1,y2,...,yn]T表示初始节点的状态,yi=1表示种子节点,yi=0表示非种子节点。分别将搜索区域边界的超像素作为流形排序的种子点,通过F进行排序得到第一阶段的显著图。
步骤4包括:
根据基于超像素的表观模型,对视频当前帧中的每个超像素利用SVM进行分类,每个超像素产生一个类标,第i个超像素zi的类标记为l(zi),i=1,2,...,n,得到分类结果后,对每个超像素zi和它的邻接超像素调整zi的类标。
步骤5包括:
对超像素集合Z={z1,z2,...,zn},分别用代表随机游走的种子节点和待标注的非种子节点。定义种子节点的标签函数为Q(zi)=k,k∈Z,0<k<=2,令表示节点zi属于类标k的概率向量,分为其中等于时表示节点zi是种子节点,等于时表示节点zi是非种子节点,当Q(zi)=k时,对应中的值为1,否则为0。最优的pk可以通过最小化狄利克雷积分获得:
其中,L为步骤2中的拉普拉斯矩阵,LM、B、LU为L分解结果,对求导得到最优解
将步骤3第一阶段显著图中显著值低于平均值的超像素作为背景种子节点,步骤4中分类结果为正的超像素作为前景种子节点,即目标节点。将种子节点加入其中k=1表示目标,k=2表示背景,由公式计算得到非种子节点属于类标k的概率与结合得到pk,p1即为每个节点属于目标的概率,将概率值对应到每个超像素节点zi得到第二阶段显著图Cs(zi)。
步骤6包括:
利用步骤4得到的分类结果构建二值图Ct(zi),其中分类结果为正的节点取值1,否则取0。将其与步骤5中的第二阶段显著图Cs(zi)结合,得到最终的置信图,最终的置信图为Cf(zi)=ω1Cs(zi)+ω2Ct(zi),其中,权重ω1=0.3,ω2=0.8,其中每个超像素的置信值表示其属于目标的概率,另外,像素的置信值等于其所属超像素的置信值。
步骤7包括:
根据置信图,在每个像素的置信值上减去阀值t=θ*max(Cf(zi)),一般取t=0.1*max(Cf(zi)),使得目标和背景的对比度增大,接着用滑动窗口生成大量用于描述目标位置和大小的候选矩形框{X1,X2,...Xn},目标的高、宽取上一帧高、宽的0.95倍、1倍和1.05倍,共9组高、宽对目标位置进行遍历搜索,为了加速计算过程,采用积分图法快速计算每个候选矩形框的得分,并选取得分最高的候选矩形框以最终确定目标所在的位置和大小,其中的得分为矩形框中全部像素的置信值之和。
步骤8包括:
根据步骤4得到的分类结果,用属于目标的正类和步骤7中得分最高候选矩形框外的超像素做为负类更新基于超像素的表观模型。
步骤9包括:
判断当前帧是否为视频的最后一帧,若是则结束;否则转入步骤2。
本发明针对计算机视觉领域中的目标跟踪方法,本发明具有如下特征:1)本发明在采用基于中层视觉线索的分类器作为表观模型的基础上,不仅考虑了相邻帧间超像素之间的关系,还考虑了当前帧中超像素间的空间关系;2)本发明用求得的置信图做进一步的目标检测,相比于多数从原图像以矩形框提取候选图像块做最大后验估计的算法,采用置信图求目标的状态可以更好模拟决策框。
有益效果:本发明利用基于超像素的图结构作为视觉表示来引入空间信息,结合基于超像素的判别式表观模型,以显著性检测为基础,通过强化目标与背景之间的显著性差异来检测目标,从而更好的适应目标的快速运动、局部遮挡和形变,实现鲁棒的跟踪。本发明实现了高效、准确的目标跟踪,因此具有较高的使用价值。
附图说明
下面结合附图和具体实施方式对本发明做更进一步的具体说明,本发明的上述或其他方面的优点将会变得更加清楚。
图1为本发明的方法执行步骤示意图。
图2为超像素分割示意图。
图3a~图3d为本发明快速运动情况下跟踪效果示例图。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
如图1所示,本发明公开了一种基于有监督显著性检测的目标跟踪方法,包含如下步骤:
步骤1:在视频的第一帧中,将人工标记目标区域扩展后进行超像素分割,以分割后的大量超像素为训练样本,采用SVM训练、构建表观模型,学习出目标的局部表达;
步骤2:获取视频的下一帧,以前一帧的目标位置为中心定义搜索区域并对搜索区域进行超像素分割,构建以超像素为顶点的无向加权图;
步骤3:基于步骤2得到的超像素分割和无向图,分别选取搜索区域四个边界的超像素节点作为流行排序的种子节点进行排序,得到第一阶段每个超像素节点的显著性;
步骤4:基于步骤1得到的表观模型,对步骤2得到的超像素进行分类,并对分类结果做调整;
步骤5:基于步骤4得到的分类结果和步骤3得到的第一阶段的每个超像素节点的显著性,选取随机游走的前景和背景种子节点,计算得到第二阶段每个超像素节点的显著性;
步骤6:基于步骤5得到的的第二阶段每个超像素节点的显著性和步骤4得到的分类结果构建搜索区域的置信图;
步骤7:基于步骤6得到的置信图,生成大量的候选,利用积分图法计算置信度最大的候选作为当前帧的目标状态;
步骤8:基于步骤4得到的分类结果和步骤7得到的当前帧的目标状态更新表观模型的训练样本,重新学习目标的局部表达;
步骤9:判断当前帧是否为视频的最后一帧,若是则结束;否则转入步骤2。
其中步骤1包括如下步骤:
获取视频第一帧,对以目标为中心,高和宽为目标3倍的区域采用SLIC算法进行超像素分割,然后提取每个超像素的HSI颜色直方图和中心位置特征,将所有像素均在目标框内的超像素标记为正类,否则标记为负类,得到训练集并利用SVM进行训练。
步骤2包括如下步骤:
获取视频下一帧,以前一帧目标位置为中心,高宽的3倍作为当前的搜索区域,对此区域采用SLIC算法进行超像素分割,如图2所示,得到n个超像素并作为图中的节点,将得到的超像素表示为Z={z1,z2,...,zn}。以超像素为顶点构建无向加权图G=(V,E),边eij∈E连接相邻的节点zi,zj,权重wij为相邻节点的相似度。wij定义为:
其中,ci和cj表示2个节点zi和zj的特征向量,采用CIELAB颜色空间的平均值,Z*是归一化系数。
图G的邻接矩阵表示为W=[wij]n×n,对角矩阵为D,其中对角元素定义为在超像素图G中,每个超像素不仅和其相邻的超像素相连,还与同相邻超像素有共同边界的超像素相连。另外将图中上下左右4个边界的超像素相连形成闭环。定义图G的拉普拉斯矩阵Ln×n,具体的,Lij=di(i=j),若zi与zj相邻,Lij=-wij,其余元素均为0。
步骤3包括如下步骤:
构建流形排序的排序函数F=[f1,f2,...,fn]T,F(i)=fi表示超像素节点zi的排序得分。给定当前帧的超像素和构建的图G,每个超像素作为一个节点,排序函数定义为:F=(D-αW)-1Y,其中,W为图G的邻接矩阵,向量Y=[y1,y2,...,yn]T表示初始节点的状态,yi=1表示种子节点,yi=0表示非种子节点。分别将搜索区域边界的超像素作为流形排序的种子点,通过F进行排序得到第一阶段的显著图:
其中,Ft,Fb,Fl,Fr分别表示搜索区域图像上下左右4个边界的超像素作为种子点的排序结果,表示将F标准化。
步骤4包括如下步骤:
首先,根据基于超像素的表观模型,对当前帧中的超像素zi,i=1,2,...,n利用SVM进行分类,结果记为l(zi)。然后,对每个超像素zi和它的邻接超像素调整zi的类标为其中Ni为zi邻接超像素的个数,sgn()为符号函数。
步骤5包括如下步骤:
对超像素集合Z={z1,z2,...,zn},分别用代表随机游走的种子节点和待标注的非种子节点。定义种子节点的标签函数为Q(zi)=k,k∈Z,0<k<=2,令表示节点zi属于类标k的概率向量,分为其中为种子节点,当Q(zi)=k时,对应中的值为1,否则为0。最优的pk可以通过最小化狄利克雷积分获得,具体的最优解
将步骤3得到第一阶段显著性结果中显著值低于平均值得超像素作为背景种子节点,步骤4得到分类结果为正的超像素作为前景种子节点,即目标节点。将种子节点加入其中k=1表示目标,k=2表示背景,由公式计算得到非种子节点属于类标k的概率与结合得到pk,p1即为每个节点属于目标的概率,将概率值对应到每个超像素节点zi得到第二阶段显著图Cs(zi)。
步骤6包括如下步骤:
利用步骤4得到的分类结果构建二值图Ct(zi),其中分类结果为正的节点取值1,否则取0。将其与步骤5得到的第二阶段显著图Cs(zi)结合,最终的置信图为Cf(zi)=ω1Cs(zi)+ω2Ct(zi),每个超像素的置信值表示其属于目标的概率。像素的置信值等于其所属超像素的置信值。
步骤7包括如下步骤:
首先,根据置信图,在每个像素的置信值上减去阀值t=0.1*max(Cf(zi)),使得目标和背景的对比度增大。其次,为了加速计算过程,由减去阀值的置信图构建相同大小的积分图。然后在积分图上生成大量用于描述目标位置和大小的候选矩形框{X1,X2,...Xn},计算每个候选矩形框中全部像素的置信值之和作为该候选矩形框的得分,并选取得分最高的候选矩形框作为当前帧的目标状态。
步骤8包括如下步骤:
根据步骤4得到的分类结果,用属于目标的正类和步骤7得到目标框外的超像素做为负类更新SVM分类模型。
步骤9包括如下步骤:
判断当前帧是否为视频的最后一帧,若是则结束;否则转入步骤2。
图3a~图3d是跟踪具有快速运动挑战的视频“Biker”时的跟踪效果示例,图3a~图3d分别表示视频图像的第68帧至第71帧,可以看出目标发生快速的运动,位置变化明显,本发明依然能够正确跟踪到目标,该图表现出本发明的目标跟踪方法对目标快速运动的较强适应能力。
本发明提供了一种基于有监督显著性检测的目标跟踪方法,具体实现该技术方案的方法和途径很多,以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。
Claims (9)
1.一种基于有监督显著性检测的目标跟踪方法,其特征在于,包括以下步骤:
步骤1,输入视频,在视频的第一帧中,对标记目标区域扩展后进行超像素分割,以分割后的超像素为训练样本训练,构建表观模型;
步骤2,获取视频的下一帧,以前一帧的目标位置为中心定义搜索区域,并对搜索区域进行超像素分割,构建以超像素为顶点的无向加权图;
步骤3,基于步骤2得到的超像素分割和无向加权图,分别选取搜索区域四个边界的超像素节点作为流行排序的种子节点进行排序,得到第一阶段每个超像素节点的显著性;
步骤4,基于步骤1得到的表观模型,对步骤2得到的超像素进行分类,并对分类结果做调整;
步骤5,基于步骤4得到的分类结果和步骤3得到的第一阶段的每个超像素节点的显著性,选取随机游走的前景和背景种子节点,计算得到第二阶段每个超像素节点的显著性;
步骤6,基于步骤5得到的的第二阶段每个超像素节点的显著性和步骤4得到的分类结果构建搜索区域的置信图;
步骤7,基于步骤6得到的置信图,生成候选矩形框,计算置信度最大的候选矩形框并确定当前帧的目标状态;
步骤8,基于步骤4得到的分类结果和步骤7得到的当前帧的目标状态更新表观模型的训练样本,重新学习目标的局部表达;
步骤9,判断当前帧是否为视频的最后一帧,若是则结束;否则转入步骤2。
2.根据权利要求1所述的方法,其特征在于,步骤1包括:输入视频,获取视频第一帧,对以目标为中心,高和宽为目标λ倍的区域采用SLIC算法进行超像素分割,提取每个超像素的的颜色特征和中心位置特征,将所有像素均在目标框内的超像素标记为正类,否则标记为负类,得到训练集并利用SVM进行训练得到基于超像素的表观模型。
3.根据权利要求2所述的方法,其特征在于,步骤2包括:获取视频下一帧,以前一帧目标位置为中心,前一帧高宽的λ倍作为当前的搜索区域,对此区域采用SLIC算法进行超像素分割,将得到的n个超像素表示为集合Z,Z={z1,z2,...,zn},zn表示第n个超像素,以超像素为顶点构建无向加权图G,G=(V,E),其中V表示顶点,E表示边,边eij连接相邻的超像素zi和zj,eij∈E,权重wij为相邻超像素的相似度,wij定义为:
其中,σ为控制权重强度的常量,ci和cj分别表示超像素zi的特征向量和超像素zj的特征向量,采用CIELAB颜色空间的平均值,Z*是归一化系数;
图G的邻接矩阵表示为W,W=[wij]n×n,对角矩阵为D,其中对角元素定义为
定义图G的拉普拉斯矩阵Ln×n,Lij=di(i=j),若zi与zj相邻,Lij=-wij,其余元素均为0。
4.根据权利要求3所述的方法,其特征在于,步骤3包括:以步骤2得到的n个超像素为节点,构建流形排序的排序函数F,F=[f1,f2,...,fn]T,F(i)=fi表示超像素zi的排序得分,给定当前帧的超像素和构建的图G,分别将4个边界的超像素作为流形排序的种子节点,通过排序函数F进行排序得到第一阶段的显著图S(zi):
其中,Ft(zi),Fb(zi),Fl(zi),Fr(zi)分别表示搜索区域图像上、下、左、右4个边界的超像素作为种子点的排序结果,表示将F标准化。
5.根据权利要求4所述的方法,其特征在于,步骤4包括:根据基于超像素的表观模型,对视频当前帧中的每个超像素利用SVM进行分类,每个超像素产生一个类标,第i个超像素zi的类标记为l(zi),i=1,2,...,n,得到分类结果后,对每个超像素zi和它的邻接超像素调整zi的类标为其中Ni为zi邻接超像素的个数,sgn()为符号函数。
6.根据权利要求5所述的方法,其特征在于,步骤5包括:对超像素集合Z={z1,z2,...,zn},用分别代表随机游走的种子节点和待标注的非种子节点,定义种子节点的标签函数为Q(zi),Q(zi)=k,k∈Z,0<k<=2,令pk表示节点zi属于类标k的概率向量,同样分为其中等于时表示节点zi是种子节点,等于时表示节点zi是非种子节点,当节点zi属于类标k时,对应中的值为1,否则为0;最优的pk通过最小化狄利克雷积分获得:
其中,L为步骤2中的拉普拉斯矩阵,LM、B、LU为L分解结果,对求导得到最优解
将步骤3第一阶段显著图中显著值低于平均值的超像素作为背景种子节点,步骤4中分类结果为正的超像素作为前景种子节点,即目标节点;
将种子节点加入其中k=1表示目标,k=2表示背景,根据随机游走理论计算得到非种子节点属于类标k的概率与结合得到pk,p1即为每个节点属于目标的概率,将概率值对应到每个超像素节点zi得到第二阶段显著图Cs(zi)。
7.根据权利要求6所述的方法,其特征在于,步骤6包括:利用步骤4得到的分类结果构建二值图Ct(zi),其中分类结果为正的节点取值1,否则取0,将二值图Ct(zi)与第二阶段显著图Cs(zi)结合,得到最终的置信图,最终的置信图为Cf(zi)=ω1Cs(zi)+ω2Ct(zi),其中,权重ω1=0.3,ω2=0.8,每个超像素的置信值表示其属于目标的概率,而像素的置信值等于其所属超像素的置信值。
8.根据权利要求7所述的方法,其特征在于,步骤7包括:根据置信图,在每个像素的置信值上减去一个阀值t,t=0.1*max(Cf(zi)),使得目标和背景的对比度增大,接着用滑动窗口生成用于描述目标位置和大小的候选矩形框,为了适应目标的尺度变化,同时,通常情况下相邻帧间的目标尺度不会发生过大的变化,因此目标的高、宽取上一帧高、宽的0.95倍、1倍和1.05倍,共9组高、宽对目标位置进行遍历搜索,计算每个候选矩形框的得分,并选取得分最高的候选矩形框以最终确定目标所在的位置和大小,其中的得分为矩形框中全部像素的置信值之和。
9.根据权利要求8所述的方法,其特征在于,步骤8包括:根据步骤4得到的分类结果,用属于目标的正类和步骤7得到目标框外的超像素做为负类更新基于超像素的表观模型。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710173134.7A CN106997597B (zh) | 2017-03-22 | 2017-03-22 | 一种基于有监督显著性检测的目标跟踪方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710173134.7A CN106997597B (zh) | 2017-03-22 | 2017-03-22 | 一种基于有监督显著性检测的目标跟踪方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106997597A true CN106997597A (zh) | 2017-08-01 |
CN106997597B CN106997597B (zh) | 2019-06-25 |
Family
ID=59430981
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710173134.7A Active CN106997597B (zh) | 2017-03-22 | 2017-03-22 | 一种基于有监督显著性检测的目标跟踪方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106997597B (zh) |
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108427919A (zh) * | 2018-02-22 | 2018-08-21 | 北京航空航天大学 | 一种基于形状引导显著性模型的无监督油罐目标检测方法 |
CN108460786A (zh) * | 2018-01-30 | 2018-08-28 | 中国航天电子技术研究院 | 一种无人机侦察目标的高速跟踪方法 |
CN108460379A (zh) * | 2018-02-06 | 2018-08-28 | 西安电子科技大学 | 基于细化空间一致性二阶段图的显著目标检测方法 |
CN108470154A (zh) * | 2018-02-27 | 2018-08-31 | 燕山大学 | 一种大规模人群显著性区域检测方法 |
CN108876818A (zh) * | 2018-06-05 | 2018-11-23 | 国网辽宁省电力有限公司信息通信分公司 | 一种基于似物性和相关滤波的目标跟踪方法 |
CN108898618A (zh) * | 2018-06-06 | 2018-11-27 | 上海交通大学 | 一种弱监督视频物体分割方法及装置 |
CN108932729A (zh) * | 2018-08-17 | 2018-12-04 | 安徽大学 | 一种最小障碍距离加权跟踪方法 |
CN109034001A (zh) * | 2018-07-04 | 2018-12-18 | 安徽大学 | 一种基于时空线索的跨模态视频显著性检测方法 |
CN109191485A (zh) * | 2018-08-29 | 2019-01-11 | 西安交通大学 | 一种基于多层超图模型的多视频目标协同分割方法 |
CN109242885A (zh) * | 2018-09-03 | 2019-01-18 | 南京信息工程大学 | 一种基于时空非局部正则的相关滤波视频跟踪方法 |
CN109598735A (zh) * | 2017-10-03 | 2019-04-09 | 斯特拉德视觉公司 | 使用马尔科夫链跟踪和分割图像中的目标对象的方法以及使用该方法的设备 |
CN109858494A (zh) * | 2018-12-28 | 2019-06-07 | 武汉科技大学 | 一种低对比度图像中显著性目标检测方法及装置 |
CN110111338A (zh) * | 2019-04-24 | 2019-08-09 | 广东技术师范大学 | 一种基于超像素时空显著性分割的视觉跟踪方法 |
CN110910417A (zh) * | 2019-10-29 | 2020-03-24 | 西北工业大学 | 一种基于超像素邻帧特征对比的弱小运动目标检测方法 |
WO2020107716A1 (zh) * | 2018-11-30 | 2020-06-04 | 长沙理工大学 | 目标图像分割方法、装置及设备 |
CN113011324A (zh) * | 2021-03-18 | 2021-06-22 | 安徽大学 | 基于特征图匹配和超像素图排序的目标跟踪方法及装置 |
CN113192104A (zh) * | 2021-04-14 | 2021-07-30 | 浙江大华技术股份有限公司 | 一种目标特征提取方法及其设备 |
CN113362341A (zh) * | 2021-06-10 | 2021-09-07 | 中国人民解放***箭军工程大学 | 基于超像素结构约束的空地红外目标跟踪数据集标注方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103413120A (zh) * | 2013-07-25 | 2013-11-27 | 华南农业大学 | 基于物体整体性和局部性识别的跟踪方法 |
CN104298968A (zh) * | 2014-09-25 | 2015-01-21 | 电子科技大学 | 一种基于超像素的复杂场景下的目标跟踪方法 |
US20150339828A1 (en) * | 2012-05-31 | 2015-11-26 | Thomson Licensing | Segmentation of a foreground object in a 3d scene |
CN106157330A (zh) * | 2016-07-01 | 2016-11-23 | 广东技术师范学院 | 一种基于目标联合外观模型的视觉跟踪方法 |
-
2017
- 2017-03-22 CN CN201710173134.7A patent/CN106997597B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150339828A1 (en) * | 2012-05-31 | 2015-11-26 | Thomson Licensing | Segmentation of a foreground object in a 3d scene |
CN103413120A (zh) * | 2013-07-25 | 2013-11-27 | 华南农业大学 | 基于物体整体性和局部性识别的跟踪方法 |
CN104298968A (zh) * | 2014-09-25 | 2015-01-21 | 电子科技大学 | 一种基于超像素的复杂场景下的目标跟踪方法 |
CN106157330A (zh) * | 2016-07-01 | 2016-11-23 | 广东技术师范学院 | 一种基于目标联合外观模型的视觉跟踪方法 |
Non-Patent Citations (3)
Title |
---|
YUBINYANG等: "Automatic moving object detecting and tracking from astronomical CCD image sequences", 《2008 IEEE INTERNATIONAL CONFERENCE ON SYSTEMS》 * |
朱尧等: "基于多特征混合模型的视觉目标跟踪", 《南京大学学报(自然科学)》 * |
石祥滨等: "采用显著性分割与目标检测的形变目标跟踪方法", 《计算机辅助设计与图形学学报》 * |
Cited By (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109598735A (zh) * | 2017-10-03 | 2019-04-09 | 斯特拉德视觉公司 | 使用马尔科夫链跟踪和分割图像中的目标对象的方法以及使用该方法的设备 |
CN108460786A (zh) * | 2018-01-30 | 2018-08-28 | 中国航天电子技术研究院 | 一种无人机侦察目标的高速跟踪方法 |
CN108460379A (zh) * | 2018-02-06 | 2018-08-28 | 西安电子科技大学 | 基于细化空间一致性二阶段图的显著目标检测方法 |
CN108460379B (zh) * | 2018-02-06 | 2021-05-04 | 西安电子科技大学 | 基于细化空间一致性二阶段图的显著目标检测方法 |
CN108427919B (zh) * | 2018-02-22 | 2021-09-28 | 北京航空航天大学 | 一种基于形状引导显著性模型的无监督油罐目标检测方法 |
CN108427919A (zh) * | 2018-02-22 | 2018-08-21 | 北京航空航天大学 | 一种基于形状引导显著性模型的无监督油罐目标检测方法 |
CN108470154A (zh) * | 2018-02-27 | 2018-08-31 | 燕山大学 | 一种大规模人群显著性区域检测方法 |
CN108470154B (zh) * | 2018-02-27 | 2021-08-24 | 燕山大学 | 一种大规模人群显著性区域检测方法 |
CN108876818A (zh) * | 2018-06-05 | 2018-11-23 | 国网辽宁省电力有限公司信息通信分公司 | 一种基于似物性和相关滤波的目标跟踪方法 |
CN108898618A (zh) * | 2018-06-06 | 2018-11-27 | 上海交通大学 | 一种弱监督视频物体分割方法及装置 |
CN108898618B (zh) * | 2018-06-06 | 2021-09-24 | 上海交通大学 | 一种弱监督视频物体分割方法及装置 |
CN109034001A (zh) * | 2018-07-04 | 2018-12-18 | 安徽大学 | 一种基于时空线索的跨模态视频显著性检测方法 |
CN108932729A (zh) * | 2018-08-17 | 2018-12-04 | 安徽大学 | 一种最小障碍距离加权跟踪方法 |
CN108932729B (zh) * | 2018-08-17 | 2021-06-04 | 安徽大学 | 一种最小障碍距离加权跟踪方法 |
CN109191485A (zh) * | 2018-08-29 | 2019-01-11 | 西安交通大学 | 一种基于多层超图模型的多视频目标协同分割方法 |
CN109242885A (zh) * | 2018-09-03 | 2019-01-18 | 南京信息工程大学 | 一种基于时空非局部正则的相关滤波视频跟踪方法 |
CN109242885B (zh) * | 2018-09-03 | 2022-04-26 | 南京信息工程大学 | 一种基于时空非局部正则的相关滤波视频跟踪方法 |
WO2020107716A1 (zh) * | 2018-11-30 | 2020-06-04 | 长沙理工大学 | 目标图像分割方法、装置及设备 |
CN109858494A (zh) * | 2018-12-28 | 2019-06-07 | 武汉科技大学 | 一种低对比度图像中显著性目标检测方法及装置 |
CN110111338A (zh) * | 2019-04-24 | 2019-08-09 | 广东技术师范大学 | 一种基于超像素时空显著性分割的视觉跟踪方法 |
CN110910417A (zh) * | 2019-10-29 | 2020-03-24 | 西北工业大学 | 一种基于超像素邻帧特征对比的弱小运动目标检测方法 |
CN113011324A (zh) * | 2021-03-18 | 2021-06-22 | 安徽大学 | 基于特征图匹配和超像素图排序的目标跟踪方法及装置 |
CN113192104A (zh) * | 2021-04-14 | 2021-07-30 | 浙江大华技术股份有限公司 | 一种目标特征提取方法及其设备 |
CN113192104B (zh) * | 2021-04-14 | 2023-04-28 | 浙江大华技术股份有限公司 | 一种目标特征提取方法及其设备 |
CN113362341A (zh) * | 2021-06-10 | 2021-09-07 | 中国人民解放***箭军工程大学 | 基于超像素结构约束的空地红外目标跟踪数据集标注方法 |
CN113362341B (zh) * | 2021-06-10 | 2024-02-27 | 中国人民解放***箭军工程大学 | 基于超像素结构约束的空地红外目标跟踪数据集标注方法 |
Also Published As
Publication number | Publication date |
---|---|
CN106997597B (zh) | 2019-06-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106997597B (zh) | 一种基于有监督显著性检测的目标跟踪方法 | |
CN105869178B (zh) | 一种基于多尺度组合特征凸优化的复杂目标动态场景无监督分割方法 | |
CN105389584B (zh) | 基于卷积神经网络与语义转移联合模型的街景语义标注方法 | |
CN112733822B (zh) | 一种端到端文本检测和识别方法 | |
CN109858466A (zh) | 一种基于卷积神经网络的人脸关键点检测方法及装置 | |
CN107273905B (zh) | 一种结合运动信息的目标主动轮廓跟踪方法 | |
CN109064484B (zh) | 基于子群组划分与动量特征融合的人群运动行为识别方法 | |
CN103942751B (zh) | 一种视频关键帧提取方法 | |
CN108345850A (zh) | 基于超像素的笔画特征变换和深度学习的区域分类的场景文本检测方法 | |
CN106778604A (zh) | 基于匹配卷积神经网络的行人再识别方法 | |
CN106296695A (zh) | 基于显著性的自适应阈值自然目标图像分割抽取算法 | |
CN105279769B (zh) | 一种联合多特征的层次粒子滤波跟踪方法 | |
CN108182447A (zh) | 一种基于深度学习的自适应粒子滤波目标跟踪方法 | |
CN104751466B (zh) | 一种基于显著性的形变物体跟踪方法及其*** | |
CN101777184B (zh) | 基于局部距离学习和排序队列的视觉目标跟踪方法 | |
CN107169417A (zh) | 基于多核增强和显著性融合的rgbd图像协同显著性检测方法 | |
CN110956158A (zh) | 一种基于教师学生学习框架的遮挡行人再标识方法 | |
CN103605984A (zh) | 基于超图学习的室内场景分类方法 | |
CN106991686A (zh) | 一种基于超像素光流场的水平集轮廓跟踪方法 | |
CN107527054A (zh) | 基于多视角融合的前景自动提取方法 | |
CN109800756A (zh) | 一种用于中文历史文献密集文本的文字检测识别方法 | |
CN104866853A (zh) | 一种足球比赛视频中的多运动员的行为特征提取方法 | |
CN104680189B (zh) | 基于改进词袋模型的不良图像检测方法 | |
CN105631405A (zh) | 基于多级分块的交通视频智能识别背景建模方法 | |
CN106846377A (zh) | 一种基于颜色属性和主动特征提取的目标跟踪算法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |