CN107194408B - 一种混合块稀疏协作模型的目标跟踪方法 - Google Patents
一种混合块稀疏协作模型的目标跟踪方法 Download PDFInfo
- Publication number
- CN107194408B CN107194408B CN201710472577.6A CN201710472577A CN107194408B CN 107194408 B CN107194408 B CN 107194408B CN 201710472577 A CN201710472577 A CN 201710472577A CN 107194408 B CN107194408 B CN 107194408B
- Authority
- CN
- China
- Prior art keywords
- target
- candidate
- frame
- dictionary
- sparse
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims abstract description 61
- 230000009466 transformation Effects 0.000 claims abstract description 43
- 239000002245 particle Substances 0.000 claims abstract description 20
- 238000001914 filtration Methods 0.000 claims abstract description 17
- 238000000638 solvent extraction Methods 0.000 claims abstract description 10
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 9
- 239000011159 matrix material Substances 0.000 claims description 28
- 230000000903 blocking effect Effects 0.000 claims description 24
- 238000011176 pooling Methods 0.000 claims description 12
- YTAHJIFKAKIKAV-XNMGPUDCSA-N [(1R)-3-morpholin-4-yl-1-phenylpropyl] N-[(3S)-2-oxo-5-phenyl-1,3-dihydro-1,4-benzodiazepin-3-yl]carbamate Chemical compound O=C1[C@H](N=C(C2=C(N1)C=CC=C2)C1=CC=CC=C1)NC(O[C@H](CCN1CCOCC1)C1=CC=CC=C1)=O YTAHJIFKAKIKAV-XNMGPUDCSA-N 0.000 claims description 11
- FGUUSXIOTUKUDN-IBGZPJMESA-N C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 Chemical compound C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 FGUUSXIOTUKUDN-IBGZPJMESA-N 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 10
- GNFTZDOKVXKIBK-UHFFFAOYSA-N 3-(2-methoxyethoxy)benzohydrazide Chemical compound COCCOC1=CC=CC(C(=O)NN)=C1 GNFTZDOKVXKIBK-UHFFFAOYSA-N 0.000 claims description 6
- 238000010845 search algorithm Methods 0.000 claims description 6
- 230000005855 radiation Effects 0.000 claims description 5
- 238000002372 labelling Methods 0.000 claims description 3
- 238000002156 mixing Methods 0.000 claims description 3
- 230000009286 beneficial effect Effects 0.000 claims 1
- 238000010606 normalization Methods 0.000 claims 1
- 238000005070 sampling Methods 0.000 abstract 1
- 238000012544 monitoring process Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000001186 cumulative effect Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/513—Sparse representations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种混合块稀疏协作模型的目标跟踪方法,包括:根据第一帧图像,初始化选取目标区域,通过粒子滤波、仿射变换和图像插值,在目标区域周围进行随机采样,以获取目标的正、负样本模板及候选样本;利用k‑d树搜索最佳候选目标,作为训练的词典;采用滑动窗对词典分块,利用增量奇异值分解,求取词典的均值和特征值;通过稀疏表达模型和正、负样本模板,计算每个候选目标的置信值;用滑动窗将候选目标分块处理,建立稀疏表达模型;通过后验概率最大化,获取当前帧最佳候选目标,并间隔更新负样本模板和词典。本发明的优点在于:通过跟踪目标的整体块和局部块相结合,在跟踪目标存在复杂背景时,能够有效提高目标的跟踪精度。
Description
技术领域
本发明涉及视觉跟踪技术领域,尤其涉及一种混合块稀疏协作模型的目标跟踪方法。
背景技术
智能视频监控是计算机视觉领域近几年来发展较快,研究较多的一个应用方向,它能够利用计算机视觉技术对采集到的视频信号进行处理、分析和理解,并以此为基础对视频监控***进行控制,从而使视频监控***具有更好的智能性和鲁棒性。
在采集得到的视频序列中,跟踪目标可能发生形变、光照变化、尺度变化、遮挡、背景复杂等情况。在大多数基于稀疏表示的***的算法中只考虑整体表示,并没有充分利用稀疏系数区分目标和背景,以及因此可能会有相似的对象、部分遮挡、快速运动等;因此在跟踪目标存在复杂的背景时,跟踪就容易失败。
在已有算法中较好的解决了被跟踪目标在被跟踪过程中发生相似的对象或遮挡问题,但仍有跟踪目标被跟踪失败,在实时性方面与实际***的需求存在较大的差距,因此提高目标跟踪算法的实时性仍然是一个极富挑战性的课题。
发明内容
因此,为解决现有技术存在的技术缺陷和不足,本发明提供一种混合块稀疏协作模型的目标跟踪方法,在跟踪目标存在复杂的背景时,也能够很好地跟踪目标。
本发明是采用以下技术手段解决上述技术问题的:一种混合块稀疏协作模型的目标跟踪方法,包括候选目标的置信值和对遮挡进行处理,包括:
步骤a、从第一帧初始化目标并选取目标区域;
步骤b、利用目标的坐标通过仿射变换和图像插值的方法获取目标的正、负样本模板;
步骤c、根据上一帧视频图像的目标通过粒子滤波、仿射变换和图像插值得到候选目标;
步骤d、利用k-d树搜索得到此帧最佳的候选目标为i,确定目标区域,将最佳的候选目标作为训练的词典;
步骤e、判断i是否大于n帧,不大于重复步骤c至步骤d,大于n帧时进入步骤f;
步骤f、i大于n帧后,用滑动窗将词典分块再利用增量奇异值分解求词典的均值和特征值;
步骤g、根据上一帧视频图像的目标通过粒子滤波、仿射变换和图像插值得到候选目标;
步骤h、通过稀疏表示和正、负样本模板,计算每个候选目标的置信值;
步骤i、用滑动窗将候选目标分块处理再根据词典进行稀疏表示;
步骤j、通过后验概率最大化,获取当前帧最可靠的候选目标为i,确定目标区域;
步骤k、每隔几帧实时更新负样本模板和词典;
步骤l、重复步骤g至步骤k直到此跟踪结束。
在本发明的一个实施例中,步骤a的从第一帧初始化目标并选取目标区域,包括:
根据所述第一帧的被跟踪目标在整张图片的真实坐标,即p=[x,y,w,h,α]为第一帧的目标跟踪框的位置、仿射参数β=[β1,β2,β3,β4,β5,β6]、粒子采样数z为600个、sz=[3232],仿射参数β是已知条件,用于预测候选后目标,对所述原始的参数向量p进行处理得到p1=[x,y,w/32,α,w/h,0],其中x,y为中心点像素坐标,w和h分别为目标框的宽和长,α为目标框的旋转角度,β1和β2表示目标移动在横坐标和纵坐标方向上的步长,β3表示的步长的比例因子,β4表示目标框的旋转角度,β5表示目标框的宽高比,β6表示目标框的倾斜角,将p1仿射变换得到几何意义上的参数q,q是一个2*3的仿射变换参数矩阵,用p中的x,y,w,h初始化参数就可以确定目标在第一帧的位置将目标画出来,当跟踪目标运动时,跟踪目标的尺度变化因子、旋转变化因子等发生改变,从而使跟踪目标在视频图像中的大小发生改变,用L1表示32*32大小的一个小块,将L1用滑动窗进行分块处理并标签,用于后面将候选样本模型和词典进行分块处理的时候,能够很好的分块处理,具体如下:将L1分成尺寸为16*16的局部块,步长为8,得到9个互有重叠的局部块X1(16*16),再将局部块X1池化成一列,把每一个小块X1的坐标排到一起,返回每个块所含的坐标标签用Z表示。
在本发明的一个实施例中,步骤b的利用目标的坐标通过仿射变换和图像插值的方法获取目标的正、负样本模板,包括:
将每一帧图像都转换成灰度图像,根据p,将第一帧图像中的目标图像插值成尺寸大小为32*32的目标块L,再将目标块L池化(重排列)成一列用作训练词典。以所述第一帧目标中心x,y,以内半径r1为0,外半径r2为4个像素点,
mir=y-r2+1,mic=x-r2+1,mar=y+r2,mac=x+r2,mir为y移动的最小距离,mar为y移动的最大距离,mic为x移动的最小距离,mac为x移动的最大距离,m等于50为最多正样本个数,
pro=m/((mar-mir+1)*(mac-mic+1))
pro表示正样本个数占候选样本个数的比例,将mir到mar排列成一行,总共排列成mar-mir+1行,作为r尺寸大小为8*8,r代表的是目标y周围的坐标。将mic到mac排列成一列,总共排列成mac-mic+1列,作为c尺寸大小为8*8,c代表的是目标x周围的坐标。
di=(y-r)2+(x-c)2
di为目标中心坐标到候选正样本中心点坐标的距离,rd为(0,1)之间均匀分布的随机数其尺寸大小为(mac-mic+1)*(mar-mir+1),记录c中满足(rd<pro)同时满足(di<r22)同时满足(di>=r12)这些条件的c和对应的r作为目标中心的正样本坐标(总共有k1个)。再结合q中的参数仿射反变换成p4大小为6*k1,再将p4仿射变换为q4。根据q4,在第一帧图像上插值成尺寸大小为32*32的正样本A_p1(32*32*k1),再将A_p1中每一个样本看做一列1024维得到A_p(1024*k1)为正样本模板。同理在第一帧目标中心x,y,以内半径r1为8,外半径r2为30个像素点,最多取200个,可得到负样本模板A_n(1024*k2)。
在本发明的一个实施例中,步骤c的根据上一帧视频图像的目标通过粒子滤波、仿射变换和图像插值得到候选目标,包括:
所述将每一帧图像都转换成灰度图像,以所述在上一帧目标周围利用仿射参数β、仿射变换和粒子滤波选取600个候选目标。上一帧最佳的目标的仿射变换参数重构转换成600个一样的,再加上产生标准正态分布的随机矩阵(大小为6*600)乘以600个相同的β仿射参数,最后就得到600个候选目标,这里使用相同的仿射变换参数和放射参数,就是为了保障在构建候选目标时,确保是以上一帧目标的中心点坐标为基础进行取值。在此帧中利用每个候选目标的坐标进行图像插值成尺寸大小为32*32的候选目标,将每个候选目标池化(重排列)成一列。
在本发明的一个实施例中,步骤d的用k-d树搜索得到此帧最佳的候选目标为i,确定目标区域,将最佳的候选目标作为训练的词典,包括:
所述在公开的资源中用k-d树算法计算并结合k-d树的最近邻搜索算法得到最佳的候选目标,确定目标区域。所述对应的候选目标框参数作为所述此帧的目标跟踪,用于下一帧的预测,将所述最佳的候选目标用作所述训练词典的一部分,并且将第一帧目标也用于词典的一部分。所述我们利用前n帧作为训练词典,用于后面的稀疏表示求候选目标的稀疏系数。
在本发明的一个实施例中,步骤e的判断i是否大于n帧,不大于重复步骤c至步骤d,大于n帧时进入步骤f:
若所述帧数没有大于n(训练词典的帧数)就重复步骤c至步骤d,继续使用k-d树算法计算并结合k-d树的最近邻搜索算法得到最佳的候选目标,确定目标区域。所述对应的候选目标框参数作为所述此帧的目标跟踪,用于下一帧的预测,将所述最佳的候选目标用作所述训练词典的一部分。若所述帧数大于n从第n+1帧开始执行步骤f)。
在本发明的一个实施例中,步骤f的i大于n帧后,用滑动窗将词典分块再利用增量奇异值分解求词典的均值和特征值,包括:
所述将上边训练的所述词典先归一化,再用滑动窗池化成一列和重叠的局部块X1的标签Z将词典进行图像分块处理,然后再将词典归一化用D表示,利用增量奇异值分解算法求词典的均值和特征值。公式如下:
∑y=E(yyT)-mymy T=E[(ΦTx)(ΦTx)T]–(ΦTmx)(ΦTmx)T
=E[ΦTxxTΦ]-ΦTmxmx TΦ=ΦT[E(xxT)-mxmx T]Φ=ΦT∑xΦ
=∧=diag[λ0,λ1,…,λN-1]
其中,my表示y的平均值,y的协方差矩阵记为∑y,通过y=ΦTx可得到。做变换之后,∑y成为了对角阵也是y的特征值,也就是对于任意i不等于j,有cov(yi,yj)=0;当i等于j时,cov(yi,yj)=λi,cov是求协方差,而且,yi的方差与x的协方差矩阵的第i个特征值相等,即y就是代表了词典。
在本发明的一个实施例中,步骤g的根据上一帧视频图像的目标通过粒子滤波、仿射变换和图像插值得到候选目标,包括:
所述将每一帧图像都转换成灰度图像,以所述在上一帧目标周围利用仿射参数β、仿射变换和粒子滤波选取600个候选目标。上一帧最佳的目标的仿射变换参数重构转换成600个一样的,再加上产生标准正态分布的随机矩阵(大小为6*600)乘以600个相同的β仿射参数,最后就得到600个候选目标,这里使用相同的仿射变换参数和放射参数就是为了保障在构建候选目标时,确保是以上一帧目标的中心点坐标为基础进行取值。在此帧中利用每个候选目标的坐标进行图像插值成尺寸大小为32*32的候选目标,利用滑动窗和重叠的局部块X1的标签Z将每个候选目标分块成9个互有重叠的局部块X(16*16)。
在本发明的一个实施例中,步骤h的计算通过稀疏表示和正、负样本模板,计算每个候选目标的置信值,包括:
在这里使用的置信值有利于区分背景和前景,所述的候选目标,在此帧中利用每个候选目标在此帧的坐标进行图像插值成尺寸大小为32*32的候选目标。利用滑动窗将每一个候选目标重构成一个1024维大小的矩阵,然后再归一化。然后根据正、负样本模板特征选择,对于所述正样本特征用+1表示,对所述负样本特征用-1表示。然后用稀疏表示选取特征,稀疏表示如下:
其中A1代表的是k1行个+1和k2行个-1表示的一个矩阵标签,k1是正样本的个数,k2是负样本的个数,λ1是稀疏表示的参数,P1=[P1pP1n],P1p是正样本模板,P1n是负样本模板,α1是对应A1的稀疏系数,找到α1的数值中不等于0的项用于特征选择正、负样本模板和候选目标。然后利用稀疏表示,用特征选择后正、负样本模板稀疏表示特征选择后的候选目标,公式如下:
A2表示的是特征选择后的候选目标,P2=[P2p P2n],P2p表示的是特征选择后正样本模板,P2n表示的是特征选择后负样本模板,λ2表示稀疏表示的参数,α2=[α2pα2n],α2p是对应A2的P2p稀疏系数,α2n是对应A2的P2n稀疏系数。计算候选目标模板的置信值公式如下:
Hi=exp(-(εf-εb)/σ
εf代表的每个候选目标基于正样本模板的重构误差,εb代表的每个候选目标基于负样本模板的重构误差,σ表示是一个参数,Hi表示的是所有候选目标的置信值,正样本的重构误差越小越和目标越相似,负样本的重构误差越大越和目标越相似。
在本发明的一个实施例中,步骤i的用滑动窗将候选目标分块处理再根据词典进行稀疏表示,包括:
所述每个候选目标进行滑动窗处理并结合重叠的局部块X1的标签Z,之后得到每个互有重叠的局部块,将得到的每个重叠的局部块池化成一列并归一化用xi表示,所对应的稀疏系数的计算公式为
其中,xi为每个候选目标进行图像分块处理后得到每个互有重叠的局部块,D为词典,wi为每个候选目标进行图像分块处理后得到每个互有重叠的局部块所对应的稀疏系数,将所述候选目标的每个局部块对应的n个模板(在前n帧中共有n个最佳的候选目标作为词典)中的每个局部块的稀疏系数相加,得到每个局部块对应的稀疏系数,并归一化,再将所有的候选目标的局部块对应的稀疏系数池化(重排列)成每个候选目标对应的稀疏系数用Yi表示。根据每个候选目标重叠成9个局部块,生成一个9*9的单位矩阵,再将这个单位矩阵池化成一列并转置再与Yi相乘得到每个候选目标的直方图用yi表示。
在本发明的一个实施例中,步骤j的通过后验概率最大化,获取当前帧最可靠的候选目标为i,确定目标区域,包括:
所述在这里我们将整体块和局部块相互结合在一起,最后选择最佳的候选目标,第i个候选目标的似然函数公式如下:
mi=yi*hi
其中,hi代表的是第i个候选目标的置信值,yi代表的是第i个候选目标的直方图,mi是第i个候选目标的似然函数值,在所有候选目标的mi值最大的值就是最佳的候选目标,用最佳的候选目标跟踪目标。
在本发明的一个实施例中,步骤k的每隔几帧实时更新负样本模板和词典,包括:
由于在跟踪过程中较早的跟踪结果是更准确的,对象的外观经常发生显著的变化,更新是非常有必要的,由于计算的候选目标的置信值旨在区分背景和前景,所以必须要确保正、负样本模板必须是正确的,所以负样本要更新。若所述从第n+1帧开始,跟踪目标的帧数为5的倍数的时候更新负样本。若此帧跟踪目标,根据步骤j得到最佳的候选目标,可知此帧目标在图像中的中心点坐标利用步骤b相同的方法来求负样本模板。
由于照明和姿势的变化等不可避免的外观变化,使用固定的词典进行跟踪目标容易出现跟踪失败。然而,如果频繁的更新将使错误叠加和跟踪越来越远离目标。所述中我们使词典模板适合外观的变化和遮挡的影响,由于词典是在前n帧训练出来的,所以词典有n个模板,我们用新的目标模板去更新词典中的一个模板。所述更新词典,从第n+1开始计算是5的倍数时,使用这5帧跟踪目标的模板、词典D和词典D的均值和特征值,调用增量奇异值分解算法求词典D的均值和特征值和D的基向量。若D的基向量大于n(训练词典的帧数),只取前n个,为了保持词典D的模板个数不变,还要讲这5帧跟踪目标的模板清除用于接下来五帧的更新。计算公式如下:
s=d1*wj i+v
D1表示的是D的基向量(d1)和单位矩阵(大小为词典D的每个模板的维度);xj表示的是从第n+1开始计算是5的倍数时,使用这5帧跟踪目标的模板最后一个目标模板再减去词典D的均值(v);wj表示的是xj对应于D1的稀疏系数;wj i表示的是稀疏系数的前n个,其中n是前n帧训练词典的个数;s就是要替换词典中n个模板中的一个模板。在这里我们使用稀疏系数去重构要跟踪的目标,这样是为了避免更多的遮挡更新到模板中,从而使重构的跟踪目标图像不对遮挡敏感。重建图像后更新要替换的模板。利用越旧的模板越可靠,产生累加概率序列,概率从小到大表示词典模板从旧到新。产生随机数,用于选择要被替换的模板,该随机数定位到权值区间,该区间右边对应的模板就是要被替换的模板。
在本发明的一个实施例中,步骤l的重复步骤g至步骤k,包括:
若所述视频序列没有跟踪结束,根据步骤j所述的方法,得到最佳所述候选目标重复操作步骤g至步骤k;若所述视频序列跟踪结束,则此视频序列跟踪结束。
在本发明的一个实施例中,步骤i的用滑动窗将候选目标分块处理再根据词典进行稀疏表示,还包括:
利用所述公式
在这里主要是对ei进行判断处理用于步骤i后面的计算,其中,xi为每个候选目标进行图像分块处理后得到每个互有重叠的局部块,D为词典,wi为每个候选目标进行图像分块处理后得到每个互有重叠的局部块所对应的稀疏系数,ei为每个候选目标对应的每个局部块通过词典D和对应的稀疏系数得到的重构误差。θ是个参数用于判断目标是否遮挡,当ei值大于参数θ对应的值判断此局部块被遮挡。局部块具有较大的重构误差被视为遮挡,相应的稀疏系数xi向量被设置为零,用于处理在目标跟踪过程中目标出现遮挡的时候。
与现有技术相比,本发明的目标跟踪方法,针对稀疏表达过程中的重构误差进行了改进,再利用候选目标图像插值后的图像用正、负样本计算其置信值,通过跟踪目标的整体块和局部块相结合,在跟踪目标存在复杂背景时,能够有效提高目标的跟踪精度。
附图说明
图1为本发明实施例提供的一种混合块稀疏协作模型的目标跟踪方法的流程示意图。
具体实施方式
下面结合具体实施例对本发明做进一步详细的描述,但本发明的实施方式不限于此。
实施例1:
请参见图1,图1为本发明实施例提供的一种混合块稀疏协作模型的目标跟踪方法的流程示意图。该方法包括如下步骤:
步骤a、从第一帧初始化目标并选取目标区域;
步骤b、利用目标的坐标通过仿射变换和图像插值的方法获取目标的正、负样本模板;
步骤c、根据上一帧视频图像的目标通过粒子滤波、仿射变换和图像插值得到候选目标;
步骤d、利用k-d树搜索得到此帧最佳的候选目标为i,确定目标区域,将最佳的候选目标作为训练的词典;
步骤e、判断i是否大于n帧,不大于重复步骤c至步骤d,大于n帧时进入步骤f;
步骤f、i大于n帧后,用滑动窗将词典分块再利用增量奇异值分解求词典的均值和特征值;
步骤g、根据上一帧视频图像的目标通过粒子滤波、仿射变换和图像插值得到候选目标;
步骤h、通过稀疏表示和正、负样本模板,计算每个候选目标的置信值;
步骤i、用滑动窗将候选目标分块处理再根据词典进行稀疏表示;
步骤j、通过后验概率最大化,获取当前帧最可靠的候选目标为i,确定目标区域;
步骤k、每隔几帧实时更新负样本模板和词典;
步骤l、重复步骤g至步骤k直到此跟踪结束。
可选地,步骤a)包括:
根据所述第一帧的被跟踪目标在整张图片的真实坐标,即p=[x,y,w,h,α]为第一帧的目标跟踪框的位置、仿射参数β=[β1,β2,β3,β4,β5,β6]、粒子采样数z为600个、sz=[3232],仿射参数β是已知条件,用于预测候选后目标,对所述原始的参数向量p进行处理得到p1=[x,y,w/32,α,w/h,0],将p1仿射变换得到几何意义上的参数q,用p中的x,y,w,h初始化参数就可以确定目标在第一帧的位置将目标画出来,当跟踪目标运动时,跟踪目标的尺度变化因子、旋转变化因子等发生改变,从而使跟踪目标在视频图像中的大小发生改变,用L1表示32*32大小的一个小块,将L1用滑动窗进行分块处理并标签,用于后面将候选样本模型和词典进行分块处理的时候,能够很好的分块处理,具体如下:将L1分成尺寸为16*16的局部块,步长为8,得到9个互有重叠的局部块X1(16*16),再将局部块X1池化成一列,把每一个小块X1的坐标排到一起,返回每个块所含的坐标标签用Z表示。
可选地,步骤b)包括:
将每一帧图像都转换成灰度图像,根据p,将第一帧图像中的目标图像插值成尺寸大小为32*32的目标块L,再将目标块L池化(重排列)成一列用作训练词典。以所述第一帧目标中心x,y,以内半径r1为0,外半径r2为4个像素点,
mir=y-r2+1,mic=x-r2+1,mar=y+r2,mac=x+r2,mir为y移动的最小距离,mar为y移动的最大距离,mic为x移动的最小距离,mac为x移动的最大距离,m等于50为最多正样本个数,
pro=m/((mar-mir+1)*(mac-mic+1))
pro表示正样本个数占候选样本个数的比例,将mir到mar排列成一行,总共排列成mar-mir+1行,作为r尺寸大小为8*8,r代表的是目标y周围的坐标。将mic到mac排列成一列,总共排列成mac-mic+1列,作为c尺寸大小为8*8,c代表的是目标x周围的坐标。
di=(y-r)2+(x-c)2
di为目标中心坐标到候选正样本中心点坐标的距离,rd为(0,1)之间均匀分布的随机数其尺寸大小为(mac-mic+1)*(mar-mir+1),记录c中满足(rd<pro)同时满足(di<r22)同时满足(di>=r12)这些条件的c和对应的r作为目标中心的正样本坐标(总共有k1个)。再结合q中的参数仿射反变换成p4大小为6*k1,再将p4仿射变换为q4。根据q4,在第一帧图像上插值成尺寸大小为32*32的正样本A_p1(32*32*k1),再将A_p1中每一个样本看做一列1024维得到A_p(1024*k1)为正样本模板。同理在第一帧目标中心x,y,以内半径r1为8,外半径r2为30个像素点,最多取200个,可得到负样本模板A_n(1024*k2)。
可选地,步骤c)包括:
所述将每一帧图像都转换成灰度图像,以所述在上一帧目标周围利用仿射参数β、仿射变换和粒子滤波选取600个候选目标。上一帧最佳的目标的仿射变换参数重构转换成600个一样的,再加上产生标准正态分布的随机矩阵(大小为6*600)乘以600个相同的β仿射参数,最后就得到600个候选目标,这里使用相同的仿射变换参数和放射参数就是为了保障在构建候选目标时,确保是以上一帧目标的中心点坐标为基础进行取值。在此帧中利用每个候选目标的坐标进行图像插值成尺寸大小为32*32的候选目标,将每个候选目标池化(重排列)成一列。
可选地,步骤d)包括:
所述在公开的资源中用k-d树算法计算并结合k-d树的最近邻搜索算法得到最佳的候选目标,确定目标区域。所述对应的候选目标框参数作为所述此帧的目标跟踪,用于下一帧的预测,将所述最佳的候选目标用作所述训练词典的一部分,并且将第一帧目标也用与词典的一部分。所述我们利用前n帧作为训练词典,用于后面的稀疏表示求候选目标的稀疏系数。
可选地,步骤e)包括:
若所述帧数没有大于n就重复步骤c至步骤d,继续使用k-d树算法计算并结合k-d树的最近邻搜索算法得到最佳的候选目标,确定目标区域。所述对应的候选目标框参数作为所述此帧的目标跟踪,用于下一帧的预测,将所述最佳的候选目标用作所述训练词典的一部分。若所述帧数大于n从第n+1帧开始执行步骤f)。
可选地,步骤f)包括:
所述将上边训练的所述词典先归一化,再用滑动窗池化成一列和重叠的局部块X1的标签Z将词典进行图像分块处理,然后再将词典归一化用D表示,利用增量奇异值分解算法求词典的均值和特征值。公式如下:
∑y=E(yyT)-mymy T=E[(ΦTx)(ΦTx)T]–(ΦTmx)(ΦTmx)T
=E[ΦTxxTΦ]-ΦTmxmx TΦ=ΦT[E(xxT)-mxmx T]Φ=ΦT∑xΦ
=∧=diag[λ0,λ1,…,λN-1]
其中,my表示y的平均值,y的协方差矩阵记为∑y,通过y=ΦTx可得到。做变换之后,∑y成为了对角阵也是y的特征值,也就是对于任意i不等于j,有cov(yi,yj)=0;当i等于j时,cov(yi,yj)=λi,cov是求协方差,而且,yi的方差与x的协方差矩阵的第i个特征值相等,即σi 2=λi。y就是代表了词典。
可选地,步骤g)包括:
所述将每一帧图像都转换成灰度图像,以所述在上一帧目标周围利用仿射参数β、仿射变换和粒子滤波选取600个候选目标。上一帧最佳的目标的仿射变换参数重构转换成600个一样的,再加上产生标准正态分布的随机矩阵(大小为6*600)乘以600个相同的β仿射参数,最后就得到600个候选目标,这里使用相同的仿射变换参数和放射参数就是为了保障在构建候选目标时,确保是以上一帧目标的中心点坐标为基础进行取值。在此帧中利用每个候选目标的坐标进行图像插值成尺寸大小为32*32的候选目标,利用滑动窗和重叠的局部块X1的标签Z将每个候选目标分块成9个互有重叠的局部块X(16*16)。
可选地,步骤h)包括:
在这里使用的置信值有利于区分背景和前景,所述的候选目标,在此帧中利用每个候选目标在此帧的坐标进行图像插值成尺寸大小为32*32的候选目标。利用滑动窗将每一个候选目标重构成一个1024维大小的矩阵,然后再归一化。然后根据正、负样本模板特征选择,对于所述正样本特征用+1表示,对所述负样本特征用-1表示。然后用稀疏表示选取特征,稀疏表示如下:
其中A1代表的是k1行个+1和k2行个-1表示的一个矩阵标签,k1是正样本的个数,k2是负样本的个数,λ1是稀疏表示的参数,P1=[P1pP1n],P1p是正样本模板,P1n是负样本模板,α1是对应A1的稀疏系数,找到α1的数值中不等于0的项用于特征选择正、负样本模板和候选目标。然后利用稀疏表示,用特征选择后正、负样本模板稀疏表示特征选择后的候选目标,公式如下:
A2表示的是特征选择后的候选目标,P2=[P2p P2n],P2p表示的是特征选择后正样本模板,P2n表示的是特征选择后负样本模板,λ2表示稀疏表示的参数,α2=[α2p α2n],α2p是对应A2的P2p稀疏系数,α2n是对应A2的P2n稀疏系数。计算候选目标模板的置信值公式如下:
Hi=exp(-(εf-εb)/σ)
εf代表的每个候选目标基于正样本模板的重构误差,εb代表的每个候选目标基于负样本模板的重构误差,σ表示是一个参数,Hi表示的是所有候选目标的置信值,正样本的重构误差越小越和目标越相似,负样本的重构误差越大越和目标越相似。
可选地,步骤i)包括:
所述每个候选目标进行滑动窗处理并结合重叠的局部块X1的标签Z,之后得到每个互有重叠的局部块,将得到的每个重叠的局部块池化成一列并归一化用xi表示,所对应的稀疏系数的计算公式为
其中,xi为每个候选目标进行图像分块处理后得到每个互有重叠的局部块,D为词典,wi为每个候选目标进行图像分块处理后得到每个互有重叠的局部块所对应的稀疏系数,将所述候选目标的每个局部块对应的n个模板(在前n帧中共有n个最佳的候选目标作为词典)中的每个局部块的稀疏系数相加,得到每个局部块对应的稀疏系数,并归一化,再将所有的候选目标的局部块对应的稀疏系数池化(重排列)成每个候选目标对应的稀疏系数用Yi表示。根据每个候选目标重叠成9个局部块,生成一个9*9的单位矩阵,再将这个单位矩阵池化成一列并转置再与Yi相乘得到每个候选目标的直方图用yi表示。
可选地,步骤j)包括:
所述在这里我们将整体块和局部块相互结合在一起,最后选择最佳的候选目标,第i个候选目标的似然函数公式如下:
mi=yi*hi
其中,hi代表的是第i个候选目标的置信值,yi代表的是第i个候选目标的直方图,mi是第i个候选目标的似然函数值,在所有候选目标的mi值最大的值就是最佳的候选目标,用最佳的候选目标跟踪目标。
可选地,步骤k)包括:
由于在跟踪过程中较早的跟踪结果是更准确的,对象的外观经常发生显著的变化,更新是非常有必要的,由于计算的候选目标的置信值旨在区分背景和前景,所以必须要确保正、负样本模板必须是正确的,所以负样本要更新。若所述从第n+1帧开始,跟踪目标的帧数为5的倍数的时候更新负样本。若此帧跟踪目标,根据步骤j得到最佳的候选目标,可知此帧目标在图像中的中心点坐标利用步骤b相同的方法来求负样本模板。
由于照明和姿势的变化等不可避免的外观变化,使用固定的词典进行跟踪目标容易出现跟踪失败。然而,如果频繁的更新将使错误叠加和跟踪越来越远离目标。所述中我们使词典模板适合外观的变化和遮挡的影响,由于词典是在前n帧训练出来的,所以词典有n个模板,我们用新的目标模板去更新词典中的一个模板。所述更新词典,从第n+1开始计算是5的倍数时,使用这5帧跟踪目标的模板、词典D和词典D的均值和特征值,调用增量奇异值分解算法求词典D的均值和特征值和D的基向量。若D的基向量大于n(训练词典的帧数),只取前n个,为了保持词典D的模板个数不变,还要讲这5帧跟踪目标的模板清除用于接下来五帧的更新。计算公式如下:
s=d1*wj i+v
D1表示的是D的基向量(d1)和单位矩阵(大小为词典D的每个模板的维度);xj表示的是从第n+1开始计算是5的倍数时,使用这5帧跟踪目标的模板最后一个目标模板再减去词典D的均值(v);wj表示的是xj对应于D1的稀疏系数;wj i表示的是稀疏系数的前n个,其中n是前n帧训练词典的个数;s就是要替换词典中n个模板中的一个模板。在这里我们使用稀疏系数去重构要跟踪的目标,这样是为了避免更多的遮挡更新到模板中,从而使重构的跟踪目标图像不对遮挡敏感。重建图像后更新要替换的模板。利用越旧的模板越可靠,产生累加概率序列,概率从小到大表示词典模板从旧到新。产生随机数,用于选择要被替换的模板,该随机数定位到权值区间,该区间右边对应的模板就是要被替换的模板。
可选地,步骤l)包括:
若所述视频序列没有跟踪结束,根据步骤j所述的方法,得到最佳所述候选目标重复操作步骤g至步骤k;若所述视频序列跟踪结束,则此视频序列跟踪结束。
本实施例,利用所述公式
在这里主要是对ei进行判断处理用于步骤i后面的计算,其中,xi为每个候选目标进行图像分块处理后得到每个互有重叠的局部块,D为词典,wi为每个候选目标进行图像分块处理后得到每个互有重叠的局部块所对应的稀疏系数,ei为每个候选目标对应的每个局部块通过词典D和对应的稀疏系数得到的重构误差。θ是个参数用于判断目标是否遮挡,当ei值大于参数θ对应的值判断此局部块被遮挡。局部块具有较大的重构误差被视为遮挡,相应的稀疏系数xi向量被设置为零,用于处理在目标跟踪过程中目标出现遮挡的时候。另外,本发明的目标跟踪方法利用正负样本计算候选目标的置信值,增强了候选目标识别被跟踪目标的能力,进一步提高了实时性。
以上所述是结合具体的优选实施方式对本发明所作的进一步详细说明,不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干简单推演或替换,都应当视为属于本发明的保护范围。
Claims (7)
1.一种混合块稀疏协作模型的目标跟踪方法,其特征在于:包括候选目标的置信值和对遮挡进行处理,包括:
步骤a、从第一帧初始化目标并选取目标区域,包括:
根据所述第一帧的被跟踪目标在整张图片的真实坐标,即p=[x,y,w,h,α]为第一帧的目标跟踪框的位置、仿射参数β=[β1,β2,β3,β4,β5,β6]、粒子采样数z为600个、sz=[32 32],仿射参数β是已知条件,用于预测候选后目标,对所述原始的参数向量p进行处理得到p1=[x,y,w/32,α,w/h,0],其中x,y为中心点像素坐标,w和h分别为目标框的宽和长,α为目标框的旋转角度,β1和β2表示目标移动在横坐标和纵坐标方向上的步长,β3表示的步长的比例因子,β4表示目标框的旋转角度,β5表示目标框的宽高比,β6表示目标框的倾斜角,将p1仿射变换得到几何意义上的参数q,q是一个2*3的仿射变换参数矩阵,用p中的x,y,w,h初始化参数就可以确定目标在第一帧的位置将目标画出来,当跟踪目标运动时,跟踪目标的尺度变化因子、旋转变化因子发生改变,从而使跟踪目标在视频图像中的大小发生改变,用L1表示32*32大小的一个小块,将L1用滑动窗进行分块处理并标签,用于后面将候选样本模型和词典进行分块处理的时候,能够很好的分块处理,具体如下:将L1分成尺寸为16*16的局部块,步长为8,得到9个互有重叠的局部块X1,再将局部块X1池化成一列,把每一个小块X1的坐标排到一起,返回每个块所含的坐标标签用Z表示;
步骤b、利用目标的坐标通过仿射变换和图像插值的方法获取目标的正、负样本模板;包括:
将每一帧图像都转换成灰度图像,根据p,将第一帧图像中的目标图像插值成尺寸大小为32*32的目标块L,再将目标块L池化成一列用作训练词典,以所述第一帧目标中心x,y,以内半径r1为0,外半径r2为4个像素点,
mir=y-r2+1,mic=x-r2+1,mar=y+r2,mac=x+r2,
mir为y移动的最小距离,mar为y移动的最大距离,mic为x移动的最小距离,mac为x移动的最大距离,m等于50为最多正样本个数,
pro=m/((mar-mir+1)*(mac-mic+1))
pro表示正样本个数占候选样本个数的比例,将mir到mar排列成一行,总共排列成mar-mir+1行,r尺寸大小为8*8,r代表的是y周围的坐标,将mic到mac排列成一列,总共排列成mac-mic+1列,c尺寸大小为8*8,c代表的是x周围的坐标,
di=(y-r)2+(x-c)2
di为目标中心坐标到候选正样本中心点坐标的距离,rd为(0,1)之间均匀分布的随机数,其尺寸大小为(mac-mic+1)*(mar-mir+1),记录c中满足(rd<pro)同时满足(di<r22)同时满足(di>=r12)这些条件的c和对应的r作为目标中心的正样本坐标,再结合q中的参数仿射反变换成p4大小为6*k1,再将p4仿射变换为q4,根据q4,在第一帧图像上插值成尺寸大小为32*32的正样本A_p1,再将A_p1中每一个样本看做一列1024维得到A_p为正样本模板,同理在第一帧目标中心x,y以内半径r1为8,外半径r2为30个像素点,最多取200个,得到负样本模板A_n,其中,k1是正样本的个数;
步骤c、根据上一帧视频图像的目标通过粒子滤波、仿射变换和图像插值得到候选目标;
步骤d、利用k-d树搜索得到此帧最佳的候选目标为i,确定目标区域,将最佳的候选目标作为训练的词典,包括:
在公开的资源中用k-d树算法计算并结合k-d树的最近邻搜索算法得到最佳的候选目标,确定目标区域,对应的候选目标框参数作为此帧的目标跟踪,用于下一帧的预测,将最佳的候选目标用作训练词典的一部分,并且将第一帧目标也用于词典的一部分,利用前n帧作为训练词典,用于后面的稀疏表示求候选目标的稀疏系数;
步骤e、判断i是否大于n帧,不大于重复步骤c至步骤d,大于n帧时进入步骤f,其中n是训练词典的帧数;
步骤f、i大于n帧后,用滑动窗将词典分块,并利用增量奇异值分解求取词典的均值和特征值;
步骤g、根据上一帧视频图像的目标,通过粒子滤波、仿射变换和图像插值得到候选目标;
步骤h、通过稀疏表示和正、负样本模板,计算每个候选目标的置信值;
步骤i、用滑动窗将候选目标分块处理,再根据词典进行稀疏表示;
步骤j、通过后验概率最大化,获取当前帧最可靠的候选目标为,确定目标区域;
步骤k、每隔几帧实时更新负样本模板和词典;
步骤l、重复步骤g至步骤k直到此跟踪结束;
所述的步骤i的用滑动窗将候选目标分块处理再根据词典进行稀疏表示,还包括:
利用公式
对ei进行判断处理用于步骤i后面的计算,其中,xi为每个候选目标进行图像分块处理后得到每个互有重叠的局部块,D为词典,wi为每个候选目标进行图像分块处理后得到每个互有重叠的局部块所对应的稀疏系数,ei为每个候选目标对应的每个局部块通过词典D和对应的稀疏系数得到的重构误差,θ是个参数用于判断目标是否遮挡,当ei值大于参数θ对应的值判断此局部块被遮挡,局部块具有较大的重构误差被视为遮挡,相应的稀疏系数向量被设置为零,用于处理在目标跟踪过程中目标出现遮挡的时候。
2.根据权利要求1所述的一种混合块稀疏协作模型的目标跟踪方法,其特征在于:步骤c的根据上一帧视频图像的目标通过粒子滤波、仿射变换和图像插值得到候选目标,包括:
所述将每一帧图像都转换成灰度图像,以所述在上一帧目标周围利用仿射参数β、仿射变换和粒子滤波选取600个候选目标,上一帧最佳的目标的仿射变换参数重构转换成600个一样的,再加上产生标准正态分布的随机矩阵乘以600个相同的β仿射参数,最后就得到600个候选目标,在此帧中利用每个候选目标的坐标进行图像插值成尺寸大小为32*32的候选目标,将每个候选目标池化成一列。
3.根据权利要求2所述的一种混合块稀疏协作模型的目标跟踪方法,其特征在于:步骤e的判断i是否大于n帧,不大于重复步骤c至步骤d,大于n帧时进入步骤f:
若所述帧数没有大于n就重复步骤c至步骤d,继续使用k-d树算法计算并结合k-d树的最近邻搜索算法得到最佳的候选目标,确定目标区域,所述对应的候选目标框参数作为所述此帧的目标跟踪,用于下一帧的预测,将所述最佳的候选目标用作所述训练词典的一部分;若所述帧数大于n从第n+1帧开始执行步骤f。
4.根据权利要求3所述的一种混合块稀疏协作模型的目标跟踪方法,其特征在于:步骤g的根据上一帧视频图像的目标通过粒子滤波、仿射变换和图像插值得到候选目标,包括:
所述将每一帧图像都转换成灰度图像,以所述在上一帧目标周围利用仿射参数β、仿射变换和粒子滤波选取600个候选目标,上一帧最佳的目标的仿射变换参数重构转换成600个一样的,再加上产生标准正态分布的随机矩阵乘以600个相同的β仿射参数,最后就得到600个候选目标,这里使用相同的仿射变换参数和放射参数就是为了保障在构建候选目标时,确保是以上一帧目标的中心点坐标为基础进行取值,在此帧中利用每个候选目标的坐标进行图像插值成尺寸大小为32*32的候选目标,利用滑动窗和重叠的局部块X1的标签Z将每个候选目标分块成9个互有重叠的局部块。
5.根据权利要求4所述的一种混合块稀疏协作模型的目标跟踪方法,其特征在于:步骤h的计算通过稀疏表示和正、负样本模板,计算每个候选目标的置信值,包括:
在这里使用的置信值有利于区分背景和前景,所述的候选目标,在此帧中利用每个候选目标在此帧的坐标进行图像插值成尺寸大小为32*32的候选目标,利用滑动窗将每一个候选目标重构成一个1024维大小的矩阵,然后再归一化,然后根据正、负样本模板特征选择,对于所述正样本特征用+1表示,对所述负样本特征用-1表示,然后用稀疏表示选取特征,稀疏表示如下:
其中A1代表的是k1行个+1和k2行个-1表示的一个矩阵标签,k1是正样本的个数,k2是负样本的个数,λ1是稀疏表示的参数,P1=[P1p P1n],P1p是正样本模板,P1n是负样本模板,α1是对应A1的稀疏系数,找到α1的数值中不等于0的项用于特征选择正、负样本模板和候选目标,然后利用稀疏表示,用特征选择后正、负样本模板稀疏表示特征选择后的候选目标,公式如下:
A2表示的是特征选择后的候选目标,P2=[P2p P2n],P2p表示的是特征选择后正样本模板,P2n表示的是特征选择后负样本模板,λ2表示稀疏表示的参数,α2=[α2p α2n],α2p是对应A2的P2p稀疏系数,α2n是对应A2的P2n稀疏系数,计算候选目标模板的置信值公式如下:
Hi=exp(-(εf-εb)/σ)
εf代表的每个候选目标基于正样本模板的重构误差,εb代表的每个候选目标基于负样本模板的重构误差,σ表示是一个参数,Hi表示的是所有候选目标的置信值,正样本的重构误差越小越和目标越相似,负样本的重构误差越大越和目标越相似。
6.根据权利要求5所述的一种混合块稀疏协作模型的目标跟踪方法,其特征在于:步骤j的通过后验概率最大化,获取当前帧最可靠的候选目标为i,确定目标区域,包括:
将整体块和局部块相互结合在一起,最后选择最佳的候选目标,第i个候选目标的似然函数公式如下:
mi=yi*hi
其中,hi代表的是第i个候选目标的置信值,yi代表的是第i个候选目标的直方图,mi是第i个候选目标的似然函数值,在所有候选目标的mi值最大的值就是最佳的候选目标,用最佳的候选目标跟踪目标。
7.根据权利要求6所述的一种混合块稀疏协作模型的目标跟踪方法,其特征在于:步骤l的重复步骤g至步骤k,包括:若所述视频序列没有跟踪结束,根据步骤j所述的方法,得到最佳所述候选目标重复操作步骤g至步骤k;若所述视频序列跟踪结束,则此视频序列跟踪结束。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710472577.6A CN107194408B (zh) | 2017-06-21 | 2017-06-21 | 一种混合块稀疏协作模型的目标跟踪方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710472577.6A CN107194408B (zh) | 2017-06-21 | 2017-06-21 | 一种混合块稀疏协作模型的目标跟踪方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107194408A CN107194408A (zh) | 2017-09-22 |
CN107194408B true CN107194408B (zh) | 2021-06-01 |
Family
ID=59878899
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710472577.6A Active CN107194408B (zh) | 2017-06-21 | 2017-06-21 | 一种混合块稀疏协作模型的目标跟踪方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107194408B (zh) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107945207A (zh) * | 2017-11-20 | 2018-04-20 | 北京众绘虚拟现实技术研究院有限公司 | 一种基于视频帧间低秩关联信息一致性的实时物体追踪方法 |
CN108876816B (zh) * | 2018-05-31 | 2020-07-10 | 西安电子科技大学 | 基于自适应目标响应的目标跟踪方法 |
CN109146918B (zh) * | 2018-06-11 | 2022-04-22 | 西安电子科技大学 | 一种基于分块的自适应相关目标定位方法 |
CN108932728B (zh) * | 2018-06-20 | 2021-08-17 | 南京航空航天大学 | 基于视觉监控的跟踪方法 |
CN109003291A (zh) * | 2018-07-11 | 2018-12-14 | 上饶师范学院 | 目标跟踪方法及装置 |
CN111104831B (zh) * | 2018-10-29 | 2023-09-29 | 香港城市大学深圳研究院 | 一种视觉追踪方法、装置、计算机设备以及介质 |
CN109740470B (zh) * | 2018-12-24 | 2024-01-12 | 中国科学院苏州纳米技术与纳米仿生研究所 | 目标跟踪方法、计算机设备及计算机可读存储介质 |
CN110766698B (zh) * | 2019-10-16 | 2022-04-22 | 浙江工业大学 | 一种动态背景下振荡苹果跟踪识别方法 |
CN111860570B (zh) * | 2020-06-03 | 2021-06-15 | 成都信息工程大学 | 一种云微粒子图像提取及分类方法 |
CN112686850B (zh) * | 2020-12-24 | 2021-11-02 | 上海体素信息科技有限公司 | 基于空间位置和原型网络的ct图像的少样本分割方法和*** |
CN112700477A (zh) * | 2020-12-25 | 2021-04-23 | 北京环境特性研究所 | 基于背景抑制和记忆跟踪的红外目标跟踪方法 |
CN113627176B (zh) * | 2021-08-17 | 2024-04-19 | 北京计算机技术及应用研究所 | 一种利用主元分析计算汉语词向量的方法 |
CN116152298B (zh) * | 2023-04-17 | 2023-08-29 | 中国科学技术大学 | 一种基于自适应局部挖掘的目标跟踪方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105590328A (zh) * | 2015-12-07 | 2016-05-18 | 天津大学 | 基于稀疏表示选择性外观模型的帧自适应目标跟踪算法 |
CN106204651A (zh) * | 2016-07-11 | 2016-12-07 | 上海凌科智能科技有限公司 | 一种基于改进的判决与生成联合模型的目标跟踪方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7522163B2 (en) * | 2004-08-28 | 2009-04-21 | David Holmes | Method and apparatus for determining offsets of a part from a digital image |
-
2017
- 2017-06-21 CN CN201710472577.6A patent/CN107194408B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105590328A (zh) * | 2015-12-07 | 2016-05-18 | 天津大学 | 基于稀疏表示选择性外观模型的帧自适应目标跟踪算法 |
CN106204651A (zh) * | 2016-07-11 | 2016-12-07 | 上海凌科智能科技有限公司 | 一种基于改进的判决与生成联合模型的目标跟踪方法 |
Non-Patent Citations (5)
Title |
---|
Incremental Learning for Robust Visual Tracking;David A. Ross et al.;《Int J Comput Vis》;20081231;第125-141页 * |
K-SVD: An Algorithm for Designing Overcomplete Dictionaries for Sparse Representation;Michal Aharon et al.;《IEEE TRANSACTIONS ON SIGNAL PROCESSING》;20061130;第54卷(第11期);第4311-4322页 * |
Robust Object Tracking via Sparse Collaborative Appearance Model;Wei Zhong et al.;《IEEE TRANSACTIONS ON IMAGE PROCESSING》;20140531;第23卷(第5期);第2356-2368页 * |
基于局部外观模型的目标跟踪方法研究;贾旭;《中国优秀硕士学位论文全文数据库 信息科技辑》;20130815;第2013年卷(第8期);第I138-645页 * |
基于稀疏表示的目标跟踪算法;钟伟;《中国优秀硕士学位论文全文数据库 信息科技辑》;20130815;第2013年卷(第8期);第1-4章 * |
Also Published As
Publication number | Publication date |
---|---|
CN107194408A (zh) | 2017-09-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107194408B (zh) | 一种混合块稀疏协作模型的目标跟踪方法 | |
CN110232350B (zh) | 一种基于在线学习的实时水面多运动目标检测跟踪方法 | |
CN105335986B (zh) | 基于特征匹配和MeanShift算法的目标跟踪方法 | |
CN109740665B (zh) | 基于专家知识约束的遮挡图像船只目标检测方法及*** | |
CN107424171B (zh) | 一种基于分块的抗遮挡目标跟踪方法 | |
CN109242884B (zh) | 基于JCFNet网络的遥感视频目标跟踪方法 | |
CN107424177B (zh) | 基于连续相关滤波器的定位修正长程跟踪方法 | |
CN110766724B (zh) | 目标跟踪网络训练、跟踪方法及装置、电子设备及介质 | |
CN113255611B (zh) | 基于动态标签分配的孪生网络目标跟踪方法及移动设备 | |
CN113990384A (zh) | 一种基于深度学习的冷冻电镜原子模型结构搭建方法及***和应用 | |
Deng et al. | Infrared small target detection based on the self-information map | |
CN108428220A (zh) | 静止轨道卫星序列遥感影像海岛礁区域自动几何校正方法 | |
CN110717934B (zh) | 一种基于strcf的抗遮挡目标跟踪方法 | |
CN115375737B (zh) | 基于自适应时间与序列化时空特征的目标跟踪方法与*** | |
CN112053383A (zh) | 一种机器人实时定位的方法及装置 | |
CN111914809B (zh) | 目标对象定位方法、图像处理方法、装置和计算机设备 | |
CN109087334B (zh) | 基于显著语境稀疏表示的目标追踪方法 | |
CN112991395B (zh) | 一种基于前景条件概率优化尺度和角度的视觉跟踪方法 | |
CN111192302A (zh) | 一种基于运动平滑性和ransac算法的特征匹配方法 | |
CN107424172B (zh) | 基于前景判别和圆形搜索方法的运动目标跟踪方法 | |
Liu et al. | [Retracted] Mean Shift Fusion Color Histogram Algorithm for Nonrigid Complex Target Tracking in Sports Video | |
CN114842506A (zh) | 一种人体姿态估计方法及*** | |
CN111462177B (zh) | 一种基于多线索的在线多目标跟踪方法和*** | |
Huang et al. | Methods on visual positioning based on basketball shooting direction standardisation | |
CN110033474B (zh) | 目标检测方法、装置、计算机设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |