CN110599518B - 一种基于视觉显著度的超像素分割与条件数分块的目标跟踪方法 - Google Patents
一种基于视觉显著度的超像素分割与条件数分块的目标跟踪方法 Download PDFInfo
- Publication number
- CN110599518B CN110599518B CN201910752113.XA CN201910752113A CN110599518B CN 110599518 B CN110599518 B CN 110599518B CN 201910752113 A CN201910752113 A CN 201910752113A CN 110599518 B CN110599518 B CN 110599518B
- Authority
- CN
- China
- Prior art keywords
- target
- block
- ith
- pixel
- visual saliency
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000000007 visual effect Effects 0.000 title claims abstract description 41
- 238000000034 method Methods 0.000 title claims abstract description 29
- 230000011218 segmentation Effects 0.000 title claims abstract description 25
- 230000000903 blocking effect Effects 0.000 title claims description 17
- 238000012986 modification Methods 0.000 claims description 23
- 230000004048 modification Effects 0.000 claims description 23
- 239000011159 matrix material Substances 0.000 claims description 12
- 238000005192 partition Methods 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 4
- 230000009191 jumping Effects 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 2
- 238000000638 solvent extraction Methods 0.000 abstract description 6
- 230000008569 process Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000009189 diving Effects 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 2
- 238000012804 iterative process Methods 0.000 description 2
- 241000282994 Cervidae Species 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
- G06F18/24155—Bayesian classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明属于目标跟踪的技术领域,具体涉及一种基于视觉显著度的超像素分割与条件数分块的跟踪方法,在基于视觉显著度的目标跟踪框架中,采用SLIC超像素分割算法来生成目标图像的超像素区域,并确定各个超像素区域中的最大矩形分块,引入条件数,通过平滑度和陡度用来确定分块的模糊程度,实现目标分块的选择性修改,并对分块使用中心关联拓扑模型来进行目标描述,有效的减少了用于特征描述的像素点个数,在目标外观发生运动模糊更好地分离前景与背景,提高了目标跟踪的准确率与实时性。
Description
技术领域
本发明属于目标跟踪的技术领域,具体涉及一种基于视觉显著度的超像素分割与条件数分块的跟踪方法。
背景技术
人类视觉***在面对自然场景时具有快速搜索和定位感兴趣目标的能力,通过在计算机视觉任务中引入这种视觉注意机制,即视觉显著度(Visual Saliency)。基于视觉显著度的目标跟踪***能够很好解决跟踪场景下,如何快速定位目标所有可能的样本位置,从而有效地降低目标样本区域的选择时间,相对于传统的样本选择,在样本选择时花费的时间较少,同时也可以有效地解决目标跟踪过程中的目标完全遮挡问题。但后期对样本处理时,需要对样本内的所有像素点进行特征描述,这就导致了跟踪***的算法复杂性比较高,很难实现实时跟踪;另外,基于视觉显著度的目标跟踪***在发生运动模糊时并不鲁棒,在大部分的视频目标跟踪算法中通常假定跟踪的目标是清晰的,或者模糊程度比较低,这就导致当跟踪目标发生较为严重模糊时,跟踪算法会发生严重的跟踪错误。如何降低跟踪算法的复杂性,以及跟踪过程中的目标图像模糊是一个急需解决的问题。
发明内容
为解决现有技术中跟踪算法的复杂程度高,在跟踪过程中目标图像模糊而导致跟踪错误的问题,本发明提出了一种基于视觉显著度的超像素分割与条件数分块的跟踪方法。
本发明所采用的技术方案是:一种基于视觉显著度的超像素分割与条件数分块的跟踪方法,包括以下步骤:
步骤1:读入视频流,获取当前帧图像;
步骤2:通过式(1)计算当前帧图像内所有像素点的视觉显著值,将视觉显著值大于最小视觉显著度阈值的像素点作为可能的目标图像位置中心,根据可能的目标图像位置中心提取目标样本区域;
logSZ=-log P(F,Il,Ig)+log P(F,Il,Ig|C=1)+log P(C=1|L) (1)
式中,其中,Z为像素点,L为像素点在图像中的位置,F为特征描述,Il为局部信息,Ig为全局信息,C为常数,Sz为像素点z的视觉显著值,P()为所求的概率密度;
步骤3:对目标样本区域采用SLIC超像素分割算法进行区域划分,得到若干超像素块,每个所述超像素块均具有多个矩形区域;
步骤4:选择需要用于构建外观模型的矩形区域,将用于构建外观模型的矩形区域作为目标分块;
步骤5:判断目标分块的模糊度,对模糊的目标分块进行修改;
步骤6:对所有的目标分块进行结构关联,得到目标样本;
步骤7:对目标样本进行梯度方向直方图特征提取,将提取的特征作为观测模型,为下一步的分类作出特征采样;
步骤8:采用朴素贝叶斯分类器对降维后的正负目标样本特征进行分类,分类器分数最大的位置为当前帧目标位置L;
步骤9:在目标位置L及其周围提取特征,更新至外观模型;
步骤10:判断当前帧是否为结束帧,若是,结束当前序列跟踪任务,否则读入下帧图像并跳回步骤2。
进一步的,所述最小视觉显著度阈值为需跟踪的目标图像内所有像素点的视觉显著值的最小值。
进一步的,所述步骤4具体为:通过条件数Ki最小的像素点位置来确定的需要用于构建外观模型的矩形区域,条件数Ki由式(3)计算得到:
Ki=σmax(Hi)/σmin(Hi) (3)
式中,σmax(H)为矩阵H的最大奇异值,σmin(H)为矩阵H最小奇异值,条件数Ki越小对应图像的像素点越稳定,矩阵H为海森矩阵,其计算通过式(4)实现:
其中,p为图像I的像素点,W是由像素点构成的一维向量;
若条件数Ki最小的像素点落在超像素的矩形区域内,则该矩形区域用于构建目标的外观模型,目标分块的尺度大小与该矩形区域对应的超像素区域中最大的矩形区域大小相同;若条件数Ki最小的像素点没有位于现有的分块内,则删除该像素点,并且舍弃该条件数点。
进一步的,所述步骤5中目标分块的模糊度通过判断目标分块的局部模式是否满足平滑度要求得到;
判断目标分块的局部模式是否满足平滑度要求,具体为:设置平滑度阈值θsm,若目标分块的平滑度不小于平滑度阈值θsm时,代表该目标分块满足平滑度要求,具有良好的清晰度,不需要进行修改;否则,代表该目标分块发生了模糊,需要对该目标分块进行修改;
目标分块的平滑度通过计算第i个目标分块的分块局部模式的位置方差得到,具体计算公式如下:
进一步的,所述步骤5中目标分块的模糊度还可以通过判断目标分块的局部模式是否满足陡峭度要求得到;
判断目标分块的局部模式是否满足陡峭度要求,具体为:设置陡峭度阈值θst,若分块的陡峭度不小于陡峭度阈值θst,代表该目标分块的局部模式是陡峭的,具有良好的清晰度,不需要进行修改,否则,代表该目标分块发生了模糊,需要进行修改;
目标分块的陡峭度,通过N个目标分块位置坐标和局部模式之间的平均距离来测量陡度:
进一步的,所述步骤5中的对发生模糊的分块进行修改,具体为:
通过平滑度和陡峭度判断发生模糊的分块是否满足修改条件,若满足,则使用上一帧没有发生模糊的图像帧中的第i个分块来代替需要修改的第i个分块;否则删除需要修改的第i分块,并删除上一帧没有发生模糊的图像帧中的第i个分块;
所述修改条件包括修改条件一和修改条件二中的任意一个;
所述修改条件一为:所需修改的分块与背景具有区分度,具体由下式进行确定:
其中,代表需要修改的第i个分块,F2为两个HSV直方图的贝叶斯相关系数,λ为加权系数,前景模型FM由不需要修改分块的HSV直方图平均值和背景模型构成, BM由背景局部分块的HSV直方图生成,θc1为分块与背景区分度阈值,大于这个阈值说明所需修改的分块与背景具有区分度,反之,所需修改的分块与背景没有区分度
所述修改条件二包括修改的分块与最相邻的分块的间隔满足分块距离阈值,具体表示如下:
进一步的,所述步骤6中,对所有的目标分块进行结构关联,得到目标样本,具体为对目标分块使用中心关联拓扑模型来进行目标描述,得到目标样本;所述中心关联拓扑模型表示为:其中,Xt为t时刻目标分块的状态,Xt c为目标中心点的位置坐标,为第i个局部块的中心点的位置坐标,表示目标中心点的位置坐标和第i个局部块的中心点的位置坐标的相对位置,m为分块的总数。
进一步的,所述步骤8中的朴素贝叶斯分类器,定义为:
其中,f=(f1,f2,…,fn)为当前帧图像中低维特征,y的取值为0和1,其中1表示视频序列中目标的正样本,0表示视频序列中的负样本。
有益效果:本发明能有效地降低目标样本区域的选择时间,提高了目标跟踪***的处理效率,也可以有效地解决目标跟踪过程中的目标完全遮挡问题。
附图说明
图1基本原理示意图;
图2 Diving序列初始帧与SLIC超像素分割对比图;
图3 Diving序列目标区域条件数分布与选取的目标分块;
图4分块关联模型图;
图5本发明方法与Struck,SCM,TLD,LSHT算法对模糊图像的处理对比示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面结合具体实施方式,进一步阐明本发明。
本发明提出的一种基于超像素分割和条件数分块的目标跟踪,其基本思想是:在基于视觉显著度的目标跟踪框架中,采用SLIC(Simple Linear Iterative Clustering)超像素分割算法来生成目标图像的超像素区域,并确定各个超像素区域中的最大矩形分块,通过平滑度和陡度用来确定分块的模糊程度,实现目标分块的选择性修改,并对分块使用中心关联拓扑模型来进行目标描述,有效的减少用于特征描述的像素点个数,在目标外观发生运动模糊时更好地分离前景与背景,提高目标跟踪的准确率与实时性。
实施例:
以序列Diving为例,对本发明的具体实施结合附图说明作进一步的详细描述,具体包括以下步骤:
步骤1:对初始帧图像进行初始化,具体步骤如下:
(a)根据视频序列中标记好的目标图像,通过式(1)计算出目标图像内所有像素点的视觉显著值,把那个最小的视觉显著值当做是最小视觉显著度阈值θvs;
logSZ=-log P(F,Il,Ig)+log P(F,Il,Ig|C=1)+log P(C=1|L) (1)
式中,其中,Z为像素点,L为像素点在图像中的位置,F为特征描述,Il为局部信息,Ig为全局信息,C为常数,Sz为像素点z的视觉显著值,P()为所求的概率密度;
(b)对目标图像使用SLIC(Simple Linear Iterative Clustering)超像素分割算法进行分割,充分利用目标样本的结构信息,对于包含N个像素点的彩色图像,产生同样大小的k个超像素区域,超像素区域的间距满足SLIC超像素分割算法的聚类选择3×3的邻域内梯度最小点,并将其设定为初始种子中心点C=[li,ai,bi,xi,yi]T,其中li是中心点Ci的L颜色分量值,ai是中心点Ci的A颜色分量值,bi是中心点Ci的B颜色分量值,点Ci在视频图像中的位置为坐标(xi,yi)。分割后的所有超像素块包含在集合Xt,假设分割后的超像素块有M个区域,第m个超像素块的最大矩形区域为最大矩形区域中所有的像素点都包含在集合SLIC超像素分割算法在计算超像素邻域与聚类中心的距离是通过下式计算:
残差的计算公式为E=|C′i-Ci|,用C′i不断的替代Ci并重新开始迭代过程,并给图像中的所有像素再次分配一个类中心点,重复迭代过程,直到残差E小于预先设置的阈值σ。超像素分割后的图像如图2中的(b)所示。
(c)对于初始帧分割后超像素块的矩形区域是否需要用于构建外观模型,通过条件数Ki最小的像素点位置来确定的,所述条件数Ki根据式(3)得到:
Ki=σmax(Hi)/σmin(Hi) (3)
式中,σmax(H)为矩阵H的最大奇异值,σmin(H)为矩阵H最小奇异值,σmax(H)与σmin(H)的通过除法运算得到的条件数Ki,条件数Ki越小对应图像的像素点越稳定,矩阵H为海森矩阵,其计算通过式(4)实现:
其中,p为图像I的像素点,W是由像素点构成的一维向量。
如果条件数Ki落在超像素的矩形区域内,则该矩形区域用于构建目标的外观模型,所选分块的尺度大小与超像素区域最大矩形相同,后续的分块选择同样通过条件数Ki最小值的像素来判断,如果该像素点没有位于现有的分块内,则删除该像素点,并舍弃该条件数点。
(d)对所有的目标分块进行结构关联,t时刻目标的状态用Xt来表示,Xt可以定义为:其中Xt c为目标中心点的位置坐标,为第i 个局部块的中心点的位置坐标,表示目标中心点的位置坐标和第i个局部块的中心点的位置坐标的相对位置,m为分块的总数,基于这种相对位置的结构关联模型图,如图 4,图像区域内部目标局部分块与目标图像区域的中心位置存在关联,各个局部分块之间没有任何联系,依旧相互独立,得到结构关联目标样本后,对样本进行梯度方向直方图特征提取。
(e)对初始帧中结构关联后的分块用梯度直方图(HOG)特征进行特征提取,并将提取的特征作为观测模型,这个观测模型是用来分类的时候用这些特征来判别正负样本。
步骤2:通过式(1)计算当前帧图像内所有像素点的视觉显著值,若当前帧图像中存在视觉显著值超过最小视觉显著度阈值θvs,则说明当前帧图像中存在注视区域,假定大于最小视觉显著度阈值θvs的显著像素点个数为N,将N个显著像素点按视觉显著值从大到小将其记录为Ci=(xi,yi),i∈[0,N],并将这些点作为可能的目标位置中心;然后根据这些位置中心点提取目标样本区域。否则,结束这一帧搜索下一帧图像。
步骤3:在得出目标样本区域后,参考上述步骤(b)对目标样本区域采用SLIC超像素分割算法进行区域划分,得到若干超像素块,每个超像素块均具有多个矩形区域;
步骤4:参考上述步骤(c)选择需要用于构建外观模型的矩形区域,将用于构建外观模型的矩形区域作为目标分块;
步骤5:在目标跟踪的过程中,某些目标分块会由于运动模糊导致图像质量变差,通过设置两个阈值:平滑度阈值θsm和陡峭度阈值θst。当Dsm≥θsm时,代表该分块的局部模式是平滑的,当Dst≥θst时,代表该分块的局部模式是陡峭的,这两种情况只要满足其一,就代表当前目标分块具有良好的清晰度,不需要对分块进行修改。如果Dsm≤θsm,并且Dst≤θst说明该分块发生了模糊,需要进行修改。若当前目标分块具有良好的清晰度,则执行步骤7,否则,执行步骤6。具体地:
分块模糊度的判断,通过计算第i个分块的分块局部模式的位置方差来得到平滑度:
通过N个分块样本位置坐标和局部模式之间的平均距离来测量陡峭度:
步骤6:对于通过平滑度和陡度判断为需要修改的分块,首先需要修改的分块与目标很接近,并且与背景具有很强的区分度,这可以避免整体目标样本被判定为背景导致的跟踪失败;其次对于需要修改的分块和其它分块的间隔比较大,保证目标样本的外观模型包含尽可能多的目标信息。
具体为:根据式(7)确定分块是否与背景具有很强的区分度:
其中,代表需要修改的第i个分块,F2为两个HSV直方图的贝叶斯相关系数,λ为加权系数,前景模型FM由不需要修改分块的HSV直方图平均值和背景模型构成, BM由背景局部分块的HSV直方图生成。θc1为分块与背景区分度阈值,大于这个阈值说明是可以区分分块与背景的,反之,分块与背景没有区分度。
根据式(8)确定需要修改的分块和其最邻近的分块的间隔:
如果满足两个修改条件中的一个,则使用***模板中的第i个分块来代替目标样本中的第i个分块;如果两个准则都不满足,则删除目标样本中的第i分块,并删除***模板中的第i个分块。
步骤7:对所有的目标分块进行结构关联,Xt c为目标中心点的位置坐标,为第i个局部块的中心点的位置坐标,表示目标中心点的位置坐标和第i 个局部块的中心点的位置坐标的相对位置,m为分块的总数,基于这种相对位置的结构关联模型图,图像区域内部目标局部分块与目标图像区域的中心位置存在关联,各个局部分块之间没有任何联系,依旧相互独立,得到结构关联目标样本后,对样本进行HoG 特征提取。
步骤8:采用朴素贝叶斯分类器对降维后的正负样本特征进行分类,分类器定义为:
其中,f=(f1,f2,…,fn)为视频图像中低维特征,y的取值为0和1,其中1表示视频序列中目标的正样本,0表示视频序列中的负样本。
分类器分数最大位置即为当前帧目标位置L,在目标位置L及其周围提取特征,并更新至目标分块外观模型。
步骤9:判断当前帧是否为结束帧,若不是,则读入下一帧图像并跳回步骤2,若是,结束当前序列跟踪任务。
为了更好的实现对本文目标跟踪算法的评价,采用Object tracking BenchMark(OTB) 中公开的评价标准对算法性能进行评估,选取了5组包含有图像模糊这个挑战性的视频序列进行测试,分别BlurCar2,Boy,Deer,BlurBody,BlurOwl视频序列。在跟踪序列的对比图中,红色框代表本文算法,绿色框代表Struck算法,蓝色框代表SCM算法,橙黄色框代表TLD算法,浅蓝色代表LSHT。本发明在对具有模糊图像的处理中,目标跟踪算法是基于视觉显著度的目标跟踪框架,采用SLIC超像素分割算法来生成超像素,引入条件数用于目标样本的预处理,通过平滑度和陡度用来确定分块的模糊程度,实现目标分块的选择性修改,并对分块使用中心关联拓扑模型来进行目标描述,有效的减少了用于特征描述的像素点个数,在目标外观发生运动模糊更好地分离前景与背景,达到了良好的跟踪效果。
计算本发明方法与Struck,SCM,TLD,LSHT这五个算法准确率,通过OTB评价标准中的跟踪位置的准确率PRE(Precision),准确率采用的是目标中心位置的偏差来进行度量的,在某一视频序列中所有图像的目标中心位置误差,即可代表算法在当前视频序列上跟踪的准确程度。中心位置误差一般通过欧氏距离来计算,目标跟踪结果中得到的中心位置与目标所在的真实中心位置间的欧氏距离定义为:
准确的跟踪定义为跟踪结果的中位置误差小于20图像帧为准确跟踪,跟踪准确率为序列中跟踪正确的帧数与总帧数的比值。准确度对比实验结果如表1所示。
表1 准确度对比实验结果
PRE | LSHT | TLD | SCM | Struck | 本文算法 |
BlurCar2 | 0.282 | 0.613 | 0.283 | 0.236 | 0.953 |
Boy | 0.507 | 0.429 | 0.439 | 0.935 | 0.954 |
Deer | 0.655 | 0.441 | 0.869 | 0.781 | 0.905 |
BlurBody | 0.448 | 0.687 | 0.667 | 0.733 | 0.764 |
Blurowl | 0.276 | 0.246 | 0.375 | 0.399 | 0.603 |
从表1中可以看出,本发明实验选择的测试序列中,本发明的在模糊测试序列中的准确率表现高于其它算法,同时可以实现实时的目标跟踪,达到目标跟踪的实时性标准。由此可以得出,在相同复杂的跟踪场景下,相比于其他几种跟踪算法,本发明具有较高的准确性和实时性。
Claims (8)
1.一种基于视觉显著度的超像素分割与条件数分块的跟踪方法,其特征在于:包括以下步骤:
步骤1:读入视频流,获取当前帧图像;
步骤2:通过式(1)计算当前帧图像内所有像素点的视觉显著值,将视觉显著值大于最小视觉显著度阈值的像素点作为可能的目标图像位置中心,根据可能的目标图像位置中心提取目标样本区域;
log SZ=-log P(F,Il,Ig)+log P(F,Il,Ig|C=1)+log P(C=1|L) (1)
式中,其中,Z为像素点,L为像素点在图像中的位置,F为特征描述,Il为局部信息,Ig为全局信息,C为常数,Sz为像素点z的视觉显著值,P()为所求的概率密度;
步骤3:对目标样本区域采用SLIC超像素分割算法进行区域划分,得到若干超像素块,每个所述超像素块均具有多个矩形区域;
步骤4:选择需要用于构建外观模型的矩形区域,将用于构建外观模型的矩形区域作为目标分块;
步骤5:判断目标分块的模糊度,对模糊的目标分块进行修改;
步骤6:对所有的目标分块进行结构关联,得到目标样本;
步骤7:对目标样本进行梯度方向直方图特征提取,将提取的特征作为观测模型,为下一步的分类作出特征采样;
步骤8:采用朴素贝叶斯分类器对降维后的正负目标样本特征进行分类,分类器分数最大的位置为当前帧目标位置L;
步骤9:在目标位置L及其周围提取特征,更新至外观模型;
步骤10:判断当前帧是否为结束帧,若是,结束当前序列跟踪任务,否则读入下帧图像并跳回步骤2。
2.根据权利要求1所述的一种基于视觉显著度的超像素分割与条件数分块的跟踪方法,其特征在于:所述最小视觉显著度阈值为需跟踪的目标图像内所有像素点的视觉显著值的最小值。
3.根据权利要求1所述的一种基于视觉显著度的超像素分割与条件数分块的跟踪方法,其特征在于:所述步骤4具体为:通过条件数Ki最小的像素点位置来确定的需要用于构建外观模型的矩形区域,条件数Ki由式(3)计算得到:
Ki=σmax(Hi)/σmin(Hi) (3)
式中,σmax(H)为矩阵H的最大奇异值,σmin(H)为矩阵H最小奇异值,条件数Ki越小对应图像的像素点越稳定,矩阵H为海森矩阵,其计算通过式(4)实现:
其中,p为图像I的像素点,W是由像素点构成的一维向量;
若条件数Ki最小的像素点落在超像素的矩形区域内,则该矩形区域用于构建目标的外观模型,目标分块的尺度大小与该矩形区域对应的超像素区域中最大的矩形区域大小相同;若条件数Ki最小的像素点没有位于现有的分块内,则删除该像素点,并且舍弃该条件数。
4.根据权利要求1所述的一种基于视觉显著度的超像素分割与条件数分块的跟踪方法,其特征在于:所述步骤5中目标分块的模糊度通过判断目标分块的局部模式是否满足平滑度要求得到;
判断目标分块的局部模式是否满足平滑度要求,具体为:设置平滑度阈值θsm,若目标分块的平滑度不小于平滑度阈值θsm时,代表该目标分块满足平滑度要求,具有良好的清晰度,不需要进行修改;否则,代表该目标分块发生了模糊,需要对该目标分块进行修改;
目标分块的平滑度通过计算第i个目标分块的分块局部模式的位置方差得到,具体计算公式如下:
6.根据权利要求4或5所述的一种基于视觉显著度的超像素分割与条件数分块的跟踪方法,其特征在于:所述步骤5中的对发生模糊的分块进行修改,具体为:
通过平滑度和陡峭度判断发生模糊的分块是否满足修改条件,若满足,则使用上一帧没有发生模糊的图像帧中的第i个分块来代替需要修改的第i个分块;否则删除需要修改的第i分块,并删除上一帧没有发生模糊的图像帧中的第i个分块;
所述修改条件包括修改条件一和修改条件二中的任意一个;
所述修改条件一为:所需修改的分块与背景具有区分度,具体由下式进行确定:
其中,代表需要修改的第i个分块,F2为两个HSV直方图的贝叶斯相关系数,λ为加权系数,前景模型FM由不需要修改分块的HSV直方图平均值和背景模型构成,BM由背景局部分块的HSV直方图生成,θc1为分块与背景区分度阈值,大于这个阈值说明所需修改的分块与背景具有区分度,反之,所需修改的分块与背景没有区分度
所述修改条件二包括修改的分块与最相邻的分块的间隔满足分块距离阈值,具体表示如下:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910752113.XA CN110599518B (zh) | 2019-08-15 | 2019-08-15 | 一种基于视觉显著度的超像素分割与条件数分块的目标跟踪方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910752113.XA CN110599518B (zh) | 2019-08-15 | 2019-08-15 | 一种基于视觉显著度的超像素分割与条件数分块的目标跟踪方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110599518A CN110599518A (zh) | 2019-12-20 |
CN110599518B true CN110599518B (zh) | 2022-08-26 |
Family
ID=68854317
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910752113.XA Active CN110599518B (zh) | 2019-08-15 | 2019-08-15 | 一种基于视觉显著度的超像素分割与条件数分块的目标跟踪方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110599518B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113516649B (zh) * | 2021-07-28 | 2024-02-02 | 亿嘉和科技股份有限公司 | 基于超像素分割的柜体表面检测方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108550181A (zh) * | 2018-03-12 | 2018-09-18 | 中国科学院自动化研究所 | 移动设备上在线跟踪与稠密重建方法、***及设备 |
US20180276885A1 (en) * | 2017-03-27 | 2018-09-27 | 3Dflow Srl | Method for 3D modelling based on structure from motion processing of sparse 2D images |
CN110111338A (zh) * | 2019-04-24 | 2019-08-09 | 广东技术师范大学 | 一种基于超像素时空显著性分割的视觉跟踪方法 |
-
2019
- 2019-08-15 CN CN201910752113.XA patent/CN110599518B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180276885A1 (en) * | 2017-03-27 | 2018-09-27 | 3Dflow Srl | Method for 3D modelling based on structure from motion processing of sparse 2D images |
CN108550181A (zh) * | 2018-03-12 | 2018-09-18 | 中国科学院自动化研究所 | 移动设备上在线跟踪与稠密重建方法、***及设备 |
CN110111338A (zh) * | 2019-04-24 | 2019-08-09 | 广东技术师范大学 | 一种基于超像素时空显著性分割的视觉跟踪方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110599518A (zh) | 2019-12-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7162055B2 (en) | Tracking semantic objects in vector image sequences | |
CN104573614B (zh) | 用于跟踪人脸的设备和方法 | |
EP3101594A1 (en) | Saliency information acquisition device and saliency information acquisition method | |
CN109685045B (zh) | 一种运动目标视频跟踪方法及*** | |
Sulaiman et al. | Denoising-based clustering algorithms for segmentation of low level salt-and-pepper noise-corrupted images | |
CN107633226B (zh) | 一种人体动作跟踪特征处理方法 | |
CN108629783B (zh) | 基于图像特征密度峰值搜索的图像分割方法、***及介质 | |
CN106933816A (zh) | 基于全局特征和局部特征的跨镜头目标检索***及方法 | |
WO2017181892A1 (zh) | 前景分割方法及装置 | |
JP2002288658A (ja) | 領域分割された映像の領域特徴値整合に基づいた客体抽出装置およびその方法 | |
WO2019071976A1 (zh) | 基于区域增长和眼动模型的全景图像显著性检测方法 | |
CN112184759A (zh) | 一种基于视频的运动目标检测与跟踪方法及*** | |
CN112818905B (zh) | 一种基于注意力和时空信息的有限像素车辆目标检测方法 | |
CN111310768B (zh) | 基于鲁棒性背景先验和全局信息的显著性目标检测方法 | |
CN112329784A (zh) | 一种基于时空感知及多峰响应的相关滤波跟踪方法 | |
CN110599518B (zh) | 一种基于视觉显著度的超像素分割与条件数分块的目标跟踪方法 | |
CN105139422B (zh) | 一种自解释目标跟踪方法及装置 | |
CN101567088B (zh) | 一种运动物体检测的方法和装置 | |
CN113780421B (zh) | 基于人工智能的脑部pet影像识别方法 | |
Ghahremannezhad et al. | Real-time hysteresis foreground detection in video captured by moving cameras | |
CN115311327A (zh) | 融合共现统计与fhog梯度特征的目标跟踪方法及*** | |
Chen et al. | Illumination-invariant video cut-out using octagon sensitive optimization | |
Lezoray | Supervised automatic histogram clustering and watershed segmentation. Application to microscopic medical color images | |
CN110136100B (zh) | Ct切片图像的自动分类方法和装置 | |
CN110599517A (zh) | 一种基于局部特征和全局hsv特征组合的目标特征描述方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |