CN106780568B - 一种基于压缩不规则分块lbp的视频目标跟踪方法 - Google Patents
一种基于压缩不规则分块lbp的视频目标跟踪方法 Download PDFInfo
- Publication number
- CN106780568B CN106780568B CN201611185481.3A CN201611185481A CN106780568B CN 106780568 B CN106780568 B CN 106780568B CN 201611185481 A CN201611185481 A CN 201611185481A CN 106780568 B CN106780568 B CN 106780568B
- Authority
- CN
- China
- Prior art keywords
- lbp
- target
- irb
- follows
- candidate target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
- G06F18/24155—Bayesian classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
Abstract
一种基于压缩不规则分块LBP的视频目标跟踪方法，该方法采用压缩采样后的不规则分块LBP特征向量对被跟踪目标或候选目标进行表述，采用粒子滤波框架对候选目标进行搜索，采用朴素贝叶斯分类器对候选目标的压缩特征向量是否目标跟踪结果进行判别。该方法不仅促进了视频目标跟踪的处理速度，同时在重度光照改变和姿势变化、视角旋转和突然运动、背景混乱、相似目标干扰等多种复杂场景下都能保持准确的跟踪效果。
Description
技术领域
本发明涉及视频帧序列中运动目标跟踪领域，特别涉及一种基于压缩不规则分块LBP的视频目标跟踪方法。
背景技术
视频目标跟踪是指借助目标特征(如颜色、纹理、形状等)从视频序列中分析特定目标的运动参数及轨迹(如位置、大小、形状、速度、加速度等)，其是计算机视觉***的核心任务之一，在智能视频监控、人机交互、医学诊断、机器人导航等众多领域有着广泛的应用前景。然而，光照变化、阴影、遮挡、运动突变、背景混乱等各种复杂场景因素给视频目标跟踪技术带来了极大的挑战，既准确又快速的视频目标跟踪方法备受关注。
准确性：目标特征选择对跟踪准确性至关重要，纹理特征对光照变化、阴影等情况具有较好的适应性，尤其是LBP(Local Binary Pattern)特征已成为广泛采用的纹理特征之一。
快速性：压缩感知理论(Compressive Sensing，CS)可以用远远少于传统奈奎斯特采样的线性投影值，实现信号的准确或近似重构。基于压缩感知理论可以将传统高维目标特征向量无损降维以提高视频目标跟踪的速度。
1.基本LBP特征和分块LBP特征
(1)基本LBP特征
文献“Ojala T,Pietikainen M,Maenpaa T.Multiresolution gray-scale androtation invariant texture classification with local binary patterns[J].IEEETransactions on pattern analysis and machine intelligence,2002,24(7):971-987.”提出了基本LBP特征。基本LBP特征的计算涉及3*3区域，每个区域为一个像素点，计算方法如下。
(2)MB-LBP特征
文献“Zhang L,Chu R,Xiang S,et al.Face detection based on multi-blocklbp representation[C]//International Conference on Biometrics.Springer BerlinHeidelberg,2007:11-18.”在基本LBP特征基础上提出了MB-LBP特征。MB-LBP特征的计算亦涉及3*3区域，每个区域进行了扩展，可以为多个像素组成的块(Block)，计算方法如下。
2.基于压缩感知对Haar-like特征进行压缩的方法
文献“Zhang K,Zhang L,Yang M H.Fast compressive tracking[J].IEEETransactions on Pattern Analysis and Machine Intelligence,2014,36(10):2002-2015.”提出了FCT跟踪方法，该方法采用压缩Haar-like特征对目标进行表述。
(1)压缩Haar-like特征的计算方法
FCT采用稀疏随机高斯矩阵R将跟踪目标的高维Haar-like特征压缩为低维压缩测量向量的过程为y＝Rx，其中，是被跟踪目标或候选目标的高维Haar-like特征向量，是转换后的低维压缩测量向量，是作为测量矩阵的稀疏随机高斯矩阵，m×n表示测量矩阵的维数。
R矩阵(i,j)位置的元素可以表示为：其中s表示测量矩阵的稀疏程度。s＝n/(a log10(n))≈n/4～n/2.4，其中假设n＝106～1010，a＝0.4，因此，R中每行非零元素个数随机取值为2～4，m＝100。Y向量中每个元素yi可以看作R的第i个行向量和高维Haar-like特征向量x的内积，示意过程图1所示。
(2)判别特征的分类器及其更新方法
对于一个压缩Haar-like特征向量是否是跟踪目标的问题，FCT方法采用朴素贝叶斯分类器来进行判别，该分类器如下。
其中，p(z＝1)和p(z＝0)分别表示一个候选目标符合正样本分布和符合负样本分布的概率，p(z＝1)＝p(z＝0)＝0.5，z∈{0,1}。一个候选目标计算得到的H(y)值越大，该候选目标的可信度就越高。假设该公式中条件分布p(yi|z＝1)和p(yi|z＝0)符合四个参数的高斯分布：
在当前最佳候选区域即跟踪结果的周围可以得到q个目标正样本，进而可以形成q个压缩测量向量。假设这里q个测量向量的第i个测量元素符合参数为μ1和δ1的高斯分布，μ1和δ1的计算方法如下：
λ＞0是更新速率，和的更新方法如下：
对负样本而言，和的更新方法与和的更新方法类似。
(3)由粗到细——候选目标的搜索策略
FCT采用由粗到细(coarse-to-fine)的方式在当前跟踪结果位置周围对候选目标进行搜索，如图2所示。
在粗搜索阶段设置搜索半径γc＝25、搜索步长Δc＝4，找到目标的粗略位置，在细搜索阶段设置搜索半径γf＝10、搜索步长Δf＝1，找到目标的准确位置，整个搜索阶段候选目标约为436个。
然而现有技术存在如下问题：
(1)MB-LBP特征的不足之处
MB-LBP涉及3*3区域，9个区域具有相同的宽高，即一个MB-LBP特征对应图像区域(3*3区域的外边界)的宽度和高度都为3的倍数。因此，MB-LBP特征的缺点主要有以下两个：①一个MB-LBP图像区域无法涉及所有可能尺度的图像区域；②计算一个跟踪目标区域所有可能的MB-LBP特征形成高维MB-LBP特征向量非常耗时。
(2)压缩Haar-like特征向量的不足之处
压缩Haar-like特征向量计算非常省时，FCT采用压缩感知采样方法将几十甚至几百万维的Haar-like特征向量的计算简化为400次(100*2～100*4)以内的线性运算。然而，多篇文献已证实，在光照变化、尺度变化、目标旋转等场景下的视频目标跟踪应用中，③Haar-like特征的性能远远不及MB-LBP特征。FCT方法假设Haar-like特征向量维数n＝106～1010，④不能准确表述被跟踪目标区域特征向量的维数。测量矩阵R的稀疏度过高，即每行向量上非零元素的个数过少，导致⑤压缩Haar-like特征向量的信息有所损失。
(3)由粗到细搜索策略的不足之处
FCT采用由粗到细的搜索策略对候选目标进行搜索。相比常用的粒子滤波搜索策略，⑥由粗到细搜索策略在大量不可能的方向上产生的候选目标将造成不必要的计算开销。
发明内容
为解决上述现有技术存在的问题，本发明的目的在于提供一种基于压缩不规则分块LBP的视频目标跟踪方法，将基于一种称为“不规则分块LBP”的纹理特征表述目标特征，并采用压缩感知理论对该特征向量进行无损降维，进而达到准确又快速跟踪的目的。
为达到上述目的，本发明的技术方案为：
一种基于压缩不规则分块LBP的视频目标跟踪方法，
步骤如下：
步骤一.选定跟踪区域
以视频帧序列中每一帧左上角为坐标原点(1,1)，宽高分别为W和H；选定第一帧中待跟踪目标的矩形区域(x0,y0,w,h)，即左上角坐标为(x0,y0)，宽高分别为w,h；
步骤二.初始化粒子集合
根据第一帧选定的待跟踪目标复制生成k个粒子，形成初始化粒子集合每个粒子的初始权重为1/k，即
步骤三.初始化测量矩阵
压缩采样过程中使用的压缩测量矩阵是一个稀疏随机高斯矩阵，m×n表示测量矩阵的维数；
R中每行中非零元素的个数为R中所有非零元素的个数为其余元素皆为零；R中每一个非零元素值对应一个特定位置的iRB-LBP特征；矩阵R生成后，在整个跟踪过程中R的非零元素值及其对应的iRB-LBP特征位置均不再发生变化，即后续每一个候选目标的压缩特征向量都要根据此时生成的R进行计算；
R的列数n，是iRB-LBP特征向量的维数；令w'和h'表示一个iRB-LBP特征值对应区域的宽度和高度，w'取值范围为3～w，h'的取值范围为3～h，n的计算方法如下：
n＝(w-2)×(h-2) (1)
R的行数m，是压缩特征的维数；令K＝10，c＝1/logn，m的计算方法如下：
矩阵R的(i,j)位置元素计算公式为：
其中，s＝n/lnn表示测量矩阵的稀疏程度；
步骤四.初始化目标分类器
采用朴素贝叶斯分类器H(y)对后续帧序列中候选目标是否被跟踪目标进行判别，H(y)定义如下：
其中，y为被跟踪目标或候选目标区域的CiRB-LBP特征向量，p(v＝1)和p(v＝0)分别表示y符合正样本分布和符合负样本分布的概率，p(v＝1)＝p(v＝0)＝0.5，v∈{0,1}；假设条件分布p(yi|v＝1)和p(yi|v＝0)符合四个参数的高斯分布，即
步骤五.更新目标分类器
如果是第一帧，以当前选定的被跟踪目标矩形区域作为基准区域，否则，以当前最佳候选目标即跟踪结果的矩形区域作为基准区域；依据基准区域产生正样本和负样本，进而对目标分类器的各个参数进行更新；
步骤六.输入下一视频帧
步骤七.预测候选目标的粒子集合
根据上一帧的粒子集合预测生成当前帧的候选粒子集合
步骤八.计算所有候选目标的CiRB-LBP特征向量
令表示矩形区域的CiRB-LBP特征向量，m×1表示CiRB-LBP特征向量的维数，表示被跟踪目标或候选目标矩形区域的iRB-LBP特征向量，n×1表示iRB-LBP特征向量的维数，n为矩形区域中可能的iRB-LBP特征个数，x中每一个元素xj,j＝1～n对应一个iRB-LBP特征值；对于一个特定的候选目标，其CiRB-LBP特征向量y的计算方法如下：
CiRB-LBP特征向量中每一个元素在计算的过程中，当rij＝0，则rijxj＝0，因此，当rij＝0，则xj可以省略计算，直接令xj＝0；故而，只需要计算rij≠0(i＝1～m,j＝1～n)的情况下对应的xj，即计算R中每一个非零元素对应iRB-LBP特征位置提取对应的特征元素值xj，总共需要计算个iRB-LBP特征值，即可得到一个候选目标对应的CiRB-LBP特征向量y；
对于候选目标区域中一个特定位置的iRB-LBP特征，首先将一个iRB-LBP特征对应的区域划分为3*3即9个块(Block)，第i块表示为bi,i＝0～8，第i块的的宽高分别表示为
的计算方法如下：
由于iRB-LBP特征区域的宽度和高度多数情况下并不是3的倍数，因此，9个分块的宽高是不完全相同的即为不规则分块；当w’是3的倍数，9块的宽度相同，否则，中间列宽度区别于左右两列；当h'是3的倍数，9块的高度相同，否则，中间行高度区别于上下两行；当w’和h'都是3的倍数，9块的宽高皆相同，iRB-LBP特征值与MB-LBP特征值相同；
令第i块bi中所有像素灰度值的均值表示为iRB-LBP特征值计算公式如下：
步骤九.判别跟踪结果
首先，根据步骤四中H(y)的计算公式计算每一个候选目标CiRB-LBP特征向量y的评价值；由于粒子的权重必须是一个正值，而H(y)可正可负，为了正确地对候选目标权重进行更新，找到评分值最小的候选目标依据公式Hj(y)＝Hj(y)-Hminj(y)+ε将所有H(y)转化为正值，其中ε＞1.0；
对k个候选目标的评价值正则化，即根据正则化后的评价值对各个候选目标的权重进行更新，即wtj＝wtj×α+Hj(y)×(1-α),α＝0～1；对更新后的权重进行正则化，即正则化具有最大权重的候选目标即为当前帧的跟踪结果；
根据权重wtj对候选目标即粒子进行从大到小排序，依据权重较大的粒子依次重采样，舍弃权重较低的粒子；
步骤十.如果当前帧是最后一帧，跟踪结束；否则，转至步骤五重复循环。
进一步的，所述步骤一中，手工或自动选定第一帧中待跟踪目标的矩形区域(x0,y0,w,h)。
进一步的，所述步骤二中，初始化粒子集合中的
进一步的，所述步骤四中，初始化四个参数的值为：i＝1～m。
进一步的，所述步骤五中，依据基准区域产生正样本和负样本，进而对目标分类器的各个参数进行更新的具体方法如下：
对于正样本而言，与基准区域尺寸相同、与基准区域中心点距离在α＝4范围内所有的矩形区域构成了正样本待选集合；从正样本待选集合中随机选择q1＝45个矩形区域作为目标正样本；根据步骤2可以分别计算得到q1＝45个正样本矩形区域对应的CiRB-LBP特征向量；假设这里q1＝45个特征向量的第i个测量元素符合参数为μ1和δ1的高斯分布，其计算方法如下；
λ＞0是更新速率，取λ＝0.85，和的更新方法如下：
对于负样本而言，与基准区域尺寸相同、与基准区域中心点距离在β＝8～30范围内所有的矩形区域构成了负样本待选集合；从负样本待选集合中随机选择q0＝50个矩形区域作为目标负样本；根据步骤2可以分别计算得到q0＝50个负样本矩形区域对应的CiRB-LBP特征向量；假设这里q0＝50个特征向量的第i个测量元素符合参数为μ0和δ0的高斯分布，其计算方法如下；
λ＞0是更新速率，取λ＝0.85，和的更新方法公式如下：
相对于现有技术，本发明的有益效果为：
本发明基于MB-LBP特征进行改进得到“不规则分块LBP特征”(irregular BlockLocal Binary Pattern,iRB-LBP)，并且借鉴压缩感知对Haar-like特征压缩采样的方法实现了iRB-LBP特征的压缩采样得到了压缩iRB-LBP特征(Compressed iRB-LBP，CiRB-LBP)，进而采用CiRB-LBP特征对目标进行表述，实现了准确快速的跟踪效果。并解决了现有技术中下述问题：
①一个MB-LBP图像区域无法涉及所有可能尺度的图像区域；
一个MB-LBP图像区域的宽度和高度必须为3的倍数。区别于MB-LBP图像区域，本发明提出一种iRB-LBP特征，允许其图像区域的宽度范围为3～W、高度范围为3～H，其中W和H分别为被跟踪目标区域的宽高。
②计算一个跟踪目标区域所有可能的MB-LBP特征形成高维MB-LBP特征向量非常耗时；
MB-LBP特征向量需要计算所有可能的MB-LBP特征元素。本发明中提出的CiRB-LBP特征向量，对应测量矩阵零元素位置的iRB-LBP特征元素无需计算，总共需要计算的iRB-LBP特征个数为个。例如，实施例1中仅需计算64个iRB-LBP特征元素。
③FCT方法中Haar-like特征的性能远远不及MB-LBP特征；
由于Haar-like原理本身决定了Haar-like特征无法适应尺度变化、目标旋转等情况，而MB-LBP特征对于尺度变化、目标旋转都有较好的适应性。本发明的iRB-LBP特征从MB-LBP特征改进而来，保持了其尺度变化、目标旋转等优势。
④FCT方法不能准确表述被跟踪目标区域特征向量的维数；
FCT方法假设Haar-like特征向量维数n＝106～1010。本发明通过公式n＝(w-2)×(h-2)可以准确计算出iRB-LBP特征向量的维数，对于特定的跟踪目标具有准确适应性。
⑤FCT方法中压缩Haar-like特征向量的信息损失较大；
FCT方法中测量矩阵R的稀疏度过高，即每行向量上非零元素的个数最多为4个。本发明采用的测量矩阵中每行向量上非零元素个数为个，较好的保留了原有iRB-LBP特征向量的信息。
⑥FCT方法中由粗到细搜索策略在大量不可能的方向上产生的候选目标将造成不必要的计算开销。
FCT方法采用由粗到细的策略，在大量不可能方向上产生了不必要的计算开销。本发明采用粒子滤波框架对候选目标进行预测，极大地减少了不必要方向上的计算开销。
附图说明
图1为压缩Haar-like特征的计算方法示意图。
图2为FCT采用由粗到细(coarse-to-fine)的方式在当前跟踪结果位置周围对候选目标进行搜索示意图。
图3为本发明基于压缩不规则分块LBP的视频目标跟踪方法流程框图。
图4为iRB-LBP特征值计算过程示意图。
图5为视频序列第一帧跟踪区域选取情况示意图。
图6为本发明实施例中，以测量矩阵第一行第一个非零元素对应的iRB-LBP特征为例，其在候选目标区域中对应位置为(44,12,4,8)，分块情况(不规则的9块、中心块b0宽高为2*2)、各块均值、特征值计算情况示意图。
图7为本发明视频目标跟踪结果截图。
具体实施方式
下面结合附图和具体实施方式对本发明技术方案做进一步详细描述：
一种基于压缩不规则分块LBP的视频目标跟踪方法，
该方法采用压缩采样后的不规则分块LBP特征向量对被跟踪目标或候选目标进行表述，采用粒子滤波框架对候选目标进行搜索，采用朴素贝叶斯分类器对候选目标的压缩特征向量是否目标跟踪结果进行判别。该方法不仅促进了视频目标跟踪的处理速度，同时在重度光照改变和姿势变化、视角旋转和突然运动、背景混乱、相似目标干扰等多种复杂场景下都能保持准确的跟踪效果。以下将“不规则分块LBP(irregular Block Local BinaryPattern)”简称为“iRB-LBP”，将“压缩不规则分块LBP(Compressed irregular BlockLocal Binary Pattern)”简称为“CiRB-LBP”。
如图3所示，步骤如下：
步骤1.选定跟踪区域
以视频帧序列中每一帧左上角为坐标原点(1,1)，宽高分别为W和H。手工或自动选定第一帧中待跟踪目标的矩形区域(x0,y0,w,h)，即左上角坐标为(x0,y0)，宽高分别为w,h；
步骤2.初始化粒子集合
根据第一帧选定的待跟踪目标复制生成k个粒子，形成初始化粒子集合其中每个粒子的初始权重为1/k，即
步骤3.初始化测量矩阵
压缩采样过程中使用的压缩测量矩阵是一个稀疏随机高斯矩阵，m×n表示测量矩阵的维数；
R的列数n，也是iRB-LBP特征向量的维数；令w'和h'表示一个iRB-LBP特征值对应区域的宽度和高度，w'取值范围为3～w，h'的取值范围为3～h，n的计算方法如下：
n＝(w-2)×(h-2) (1)
R的行数m，也是压缩特征的维数。令K＝10，c＝1/logn，m的计算方法如下：
矩阵R的(i,j)位置元素计算公式为：
其中，s＝n/ln n表示测量矩阵的稀疏程度；
R中每行中非零元素的个数为R中所有非零元素的个数为其余元素皆为零；R中每一个非零元素值对应一个特定位置的iRB-LBP特征；矩阵R生成后，在整个跟踪过程中R的非零元素值及其对应的iRB-LBP特征位置均不再发生变化，即后续每一个候选目标的压缩特征向量都要根据此时生成的R进行计算；
步骤4.初始化目标分类器
采用朴素贝叶斯分类器H(y)对后续帧序列中候选目标是否被跟踪目标进行判别，H(y)定义如下：
其中，y为被跟踪目标或候选目标区域的CiRB-LBP特征向量，p(v＝1)和p(v＝0)分别表示y符合正样本分布和符合负样本分布的概率，p(v＝1)＝p(v＝0)＝0.5，v∈{0,1}；假设条件分布p(yi|v＝1)和p(yi|v＝0)符合四个参数的高斯分布，即
初始化四个参数的值为：
步骤5.更新目标分类器
如果是第一帧，以当前选定的被跟踪目标矩形区域作为基准区域，否则，以当前最佳候选目标即跟踪结果的矩形区域作为基准区域；依据基准区域产生正样本和负样本，进而对目标分类器的各个参数进行更新，具体方法如下：
对于正样本而言，与基准区域尺寸相同、与基准区域中心点距离在α＝4范围内所有的矩形区域构成了正样本待选集合；从正样本待选集合中随机选择q1＝45个矩形区域作为目标正样本；根据步骤2可以分别计算得到q1＝45个正样本矩形区域对应的CiRB-LBP特征向量；假设这里q1＝45个特征向量的第i个测量元素符合参数为μ1和δ1的高斯分布，其计算方法如下；
λ＞0是更新速率，取λ＝0.85，和的更新方法如下：
对于负样本而言，与基准区域尺寸相同、与基准区域中心点距离在β＝8～30范围内所有的矩形区域构成了负样本待选集合；从负样本待选集合中随机选择q0＝50个矩形区域作为目标负样本；根据步骤2可以分别计算得到q0＝50个负样本矩形区域对应的CiRB-LBP特征向量；假设这里q0＝50个特征向量的第i个测量元素符合参数为μ0和δ0的高斯分布，其计算方法如下；
λ＞0是更新速率，取λ＝0.85，和的更新方法公式如下：
步骤6.输入下一视频帧
步骤7.预测候选目标的粒子集合
根据上一帧的粒子集合预测生成当前帧的候选粒子集合
步骤8.计算所有候选目标的CiRB-LBP特征向量
令表示矩形区域的CiRB-LBP特征向量，m×1表示CiRB-LBP特征向量的维数，表示被跟踪目标或候选目标矩形区域的iRB-LBP特征向量，n×1表示iRB-LBP特征向量的维数，n为矩形区域中可能的iRB-LBP特征个数，x中每一个元素xj,j＝1～n对应一个iRB-LBP特征值；对于一个特定的候选目标，其CiRB-LBP特征向量y的计算方法如下：
CiRB-LBP特征向量中每一个元素在计算的过程中，当rij＝0，则rijxj＝0，因此，当rij＝0，则xj可以省略计算，直接令xj＝0；故而，只需要计算rij≠0(i＝1～m,j＝1～n)的情况下对应的xj，即计算R中每一个非零元素对应iRB-LBP特征位置提取对应的特征元素值xj，总共需要计算个iRB-LBP特征值，即可得到一个候选目标对应的CiRB-LBP特征向量y；
对于候选目标区域中一个特定位置的iRB-LBP特征，首先将一个iRB-LBP特征对应的区域划分为3*3即9个块(Block)，第i块表示为bi,i＝0～8，第i块的的宽高分别表示为
的计算方法如下：
由于iRB-LBP特征区域的宽度和高度多数情况下并不是3的倍数，因此，9个分块的宽高是不完全相同的即为不规则分块；当w’是3的倍数，9块的宽度相同，否则，中间列宽度区别于左右两列；当h'是3的倍数，9块的高度相同，否则，中间行高度区别于上下两行；当w’和h'都是3的倍数，9块的宽高皆相同，iRB-LBP特征值与MB-LBP特征值相同；
令第i块bi中所有像素灰度值的均值表示为iRB-LBP特征值计算公式如下：
iRB-LBP特征值计算过程的如图4所示；
步骤9.判别跟踪结果
首先，根据步骤4中H(y)的计算公式计算每一个候选目标CiRB-LBP特征向量y的评价值；由于粒子的权重必须是一个正值，而H(y)可正可负，为了正确地对候选目标权重进行更新，找到评分值最小的候选目标依据公式Hj(y)＝Hj(y)-Hminj(y)+ε将所有H(y)转化为正值，其中ε＞1.0；
对k个候选目标的评价值正则化，即根据正则化后的评价值对各个候选目标的权重进行更新，即wtj＝wtj×α+Hj(y)×(1-α),α＝0～1；对更新后的权重进行正则化，即正则化具有最大权重的候选目标即为当前帧的跟踪结果；
根据权重wtj对候选目标即粒子进行从大到小排序，依据权重较大的粒子依次重采样，舍弃权重较低的粒子；
步骤10.如果当前帧是最后一帧，跟踪结束；否则，转至步骤5重复循环。
实施例1：
按照本发明技术方案，以下对一段视频帧序列中的目标进行跟踪，场景特点为目标尺度变化、光照变化、表观变化。
步骤1.选定跟踪区域
视频帧宽高分别为W＝320和H＝240。第一帧待跟踪目标的矩形区域(121,58,51,50)，即左上角坐标为(121,58)，宽高分别为51,50，选取结果如图5所示。
步骤2.初始化粒子集合
根据第一帧选定的待跟踪目标复制生成k＝100个粒子，形成初始化粒子集合其中下表列出了前10个粒子的情况。
步骤3.初始化测量矩阵
压缩测量矩阵的行数为也是压缩特征的维数；列数为n＝(51-2)×(50-2)＝2352，也是iRB-LBP特征向量的维数。矩阵R中每行非零元素个数为R中只有个元素为非零，非零元素值为或正负概率相同，其余元素皆为零。
下表列出了测量矩阵R中每一个非零元素值及每一个非零元素值对应的iRB-LBP特征所在的位置，例如，对应R中第一行第一个非零元素17.41对应的iRB-LBP特征区域即为(a)～(d)中第一行第一列的信息：候选目标区域中距离左上角水平和垂直偏移量分别为44和12，特征区域宽高分别为4和8；以此类推即可得到R中每一个非零元素对应的iRB-LBP特征区域。
(e)R中每一个非零元素值
矩阵R生成后，在整个跟踪过程中不再发生变化，即后续每一个候选目标的压缩特征向量都要根据此时生成的R进行计算。
步骤4.初始化目标分类器
采用朴素贝叶斯分类器H(y)对后续帧序列中候选目标是否被跟踪目标进行判别，初始化H(y)四个参数的值为：
步骤5.更新目标分类器
如果是第一帧，以当前选定的被跟踪目标矩形区域作为基准区域，否则，以当前最佳候选目标即跟踪结果的矩形区域作为基准区域。依据基准区域产生正样本和负样本，进而对目标分类器的各个参数进行更新，第一帧更新后的分类器参数如下表所示：
步骤6.输入新视频帧
步骤7.预测候选目标的粒子集合
根据上一帧的粒子集合预测生成当前帧的候选粒子集合预测前10个粒子的情况如下表所示：
步骤8.计算所有候选目标的CiRB-LBP特征向量
CiRB-LBP特征向量的计算方法为y＝R×x，每个元素的计算方法为：当rij＝0时对应的xj无需计算，故只需计算非零rij对应位置的xj，即步骤3测量矩阵中每一个非零元素对应的iRB-LBP特征区域提取对应的特征元素值xj，总共需要计算64个特征元素值，即可得到最终的CiRB-LBP特征向量y。
以测量矩阵第一行第一个非零元素对应的iRB-LBP特征为例，其在候选目标区域中对应位置为(44,12,4,8)，分块情况(不规则的9块、中心块b0宽高为2*2)、各块均值、特征值计算如图6所示，其特征值为135。依此方法可以计算出第一行8个非零元素对应的iRB-LBP特征值，由此可以计算出第一个候选目标的CiRB-LBP特征向量的第一个元素-20260.8。同样的方法，可以计算出第一个候选目标的CiRB-LBP特征向量的其余元素，进而形成一个候选目标对应的CiRB-LBP特征向量。
前10个候选目标对应的CiRB-LBP特征向量如下表所示，第一列表示第一个候选目标对应的CiRB-LBP特征向量，以此类推，每列对应一个候选目标的CiRB-LBP特征向量。
| -20260.8 | -18032.8 | -9921.52 | -17928.4 | -14586.4 | -12497.6 | -12497.6 | -17928.4 | -17928.4 | -17928.4 |
| 11992.85 | 11261.79 | 13454.97 | 15891.83 | 11435.85 | 15282.62 | 15282.62 | 15891.83 | 15891.83 | 15891.83 |
| 6509.908 | 6492.502 | 1966.897 | 3690.108 | -191.468 | 3637.89 | 3637.89 | 3690.108 | 3690.108 | 3690.108 |
| 7275.78 | 8529.024 | 1984.304 | 4490.792 | 4769.291 | 4386.355 | 4386.355 | 4490.792 | 4490.792 | 4490.792 |
| 10965.89 | 5761.443 | 13454.97 | 11540.29 | 10965.89 | 13280.91 | 13280.91 | 11540.29 | 11540.29 | 11540.29 |
| -9660.43 | -8685.68 | -12880.6 | -9521.18 | -8146.09 | -13785.7 | -13785.7 | -9521.18 | -9521.18 | -9521.18 |
| 3429.016 | 4717.073 | 487.3728 | 1618.774 | 1758.023 | 1862.46 | 1862.46 | 1618.774 | 1618.774 | 1618.774 |
| 3307.173 | -2262.8 | -4612.64 | 365.5296 | -765.872 | -17.4062 | -17.4062 | 365.5296 | 365.5296 | 365.5296 |
步骤9.判别跟踪结果
根据公式计算出每一个候选目标的H(y)，前10个候选目标的评价值为：
| 8.83 | 2.73 | 16.82 | 18.21 | 7.70 | 18.40 | 18.40 | 18.21 | 18.21 | 18.21 |
100个粒子即100个候选目标的评价值H(y)中，min j＝49即第49个候选目标的评价值最小。所有评价值修正方法为：
Hj(y)＝Hj(y)-Hminj(y)+ε＝Hj(y)-H49(y)+ε＝Hj(y)-1.06+5＝Hj(y)+3.94
修正后的前10个候选目标的评价值为：
| 12.77 | 6.67 | 20.76 | 22.15 | 11.64 | 22.34 | 22.34 | 22.15 | 22.15 | 22.15 |
对100个评价值正则化，即正则化后前10个候选目标的评价值为：
| 0.007 | 0.004 | 0.0109 | 0.0116 | 0.006 | 0.012 | 0.0117 | 0.0116 | 0.0116 | 0.0116 |
更新100个候选目标的权重，令α＝0.85，即wtj＝wtj×0.85+Hj(y)×0.15，更新后前10个候选目标的评价值为：
| 0.0095 | 0.0090 | 0.0101 | 0.0102 | 0.0094 | 0.0103 | 0.0103 | 0.0102 | 0.0095 | 0.0105 |
对100个候选目标的权重进行正则化，即正则化后第32个候选目标具有最大的权重0.0106，因此，第32个候选目标即为当前帧的跟踪结果，其对应的矩形区域为(122,59,51,50)。
根据权重wtj对候选目标即粒子进行排序，依据权重较大的粒子依次重采样，舍弃权重较低的粒子。
步骤10.如果当前帧是最后一帧，跟踪结束；否则，转至步骤5。
以上跟踪过程运行在CPU:Intel Core i7-4790 CPU 3.6GHz,内存：16GB的硬件平台上，可以达到每秒钟135帧的处理速度。部分跟踪结果截图如图7所示，从图中可以看出，当被跟踪目标遭遇光照改变、姿势变化、视角旋转、突然运动等多种复杂情况下，采用本发明方法始终能够保持准确的跟踪效果。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何不经过创造性劳动想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书所限定的保护范围为准。
Claims (6)
1.一种基于压缩不规则分块LBP的视频目标跟踪方法，
其特征在于，步骤如下：
步骤一.选定跟踪区域
以视频帧序列中每一帧左上角为坐标原点(1,1)，视频帧宽高分别为W和H；选定第一帧中待跟踪目标的矩形区域(x0,y0,w,h)，即左上角坐标为(x0,y0)，待跟踪目标区域的宽高分别为w,h；
步骤二.初始化粒子集合
根据第一帧选定的待跟踪目标复制生成k个粒子，形成初始化粒子集合每个粒子的初始权重为1/k，即
步骤三.初始化测量矩阵
压缩采样过程中使用的压缩测量矩阵是一个稀疏随机高斯矩阵，m×n表示测量矩阵的维数；
R中每行中非零元素的个数为R中所有非零元素的个数为其余元素皆为零；R中每一个非零元素值对应一个特定位置的不规则分块LBP特征也就是iRB-LBP特征；矩阵R生成后，在整个跟踪过程中R的非零元素值及其对应的iRB-LBP特征位置均不再发生变化，即后续每一个候选目标的压缩特征向量都要根据此时生成的R进行计算；
R的列数n，是iRB-LBP特征向量的维数；令w'和h'表示一个iRB-LBP特征值对应区域的宽度和高度，w'取值范围为3～w，h'的取值范围为3～h，n的计算方法如下：
n＝(w-2)×(h-2) (1)
R的行数m，是压缩特征的维数；令K＝10，c＝1/logn，m的计算方法如下：
矩阵R的(i,j)位置元素计算公式为：
其中，s＝n/lnn表示测量矩阵的稀疏程度；
步骤四.初始化目标分类器
采用朴素贝叶斯分类器H(y)对后续帧序列中候选目标是否为被跟踪目标进行判别，H(y)定义如下：
其中，y为被跟踪目标或候选目标区域的压缩iRB-LBP特征向量也就是CiRB-LBP特征向量，p(v＝1)和p(v＝0)分别表示y符合正样本分布和符合负样本分布的概率，p(v＝1)＝p(v＝0)＝0.5，v∈{0,1}；假设条件分布p(yi|v＝1)和p(yi|v＝0)符合四个参数的高斯分布，即
步骤五.更新目标分类器
如果是第一帧，以当前选定的被跟踪目标矩形区域作为基准区域，否则，以当前最佳候选目标即跟踪结果的矩形区域作为基准区域；依据基准区域产生正样本和负样本，进而对目标分类器的各个参数进行更新；
步骤六.输入下一视频帧
步骤七.预测候选目标的粒子集合
根据上一帧的粒子集合预测生成当前帧的候选粒子集合
步骤八.计算所有候选目标的CiRB-LBP特征向量
令表示矩形区域的CiRB-LBP特征向量，m×1表示CiRB-LBP特征向量的维数，表示被跟踪目标或候选目标矩形区域的iRB-LBP特征向量，n×1表示iRB-LBP特征向量的维数，n为矩形区域中可能的iRB-LBP特征个数，x中每一个元素xj,j＝1～n对应一个iRB-LBP特征值；对于一个特定的候选目标，其CiRB-LBP特征向量y的计算方法如下：
步骤九.判别跟踪结果
首先，根据步骤四中H(y)的计算公式计算每一个候选目标CiRB-LBP特征向量y的评价值；由于粒子的权重必须是一个正值，而H(y)可正可负，为了正确地对候选目标权重进行更新，找到评分值最小的候选目标依据公式Hj(y)＝Hj(y)-Hminj(y)+ε将所有H(y)转化为正值，其中ε＞1.0；
对k个候选目标的评价值正则化，即根据正则化后的评价值对各个候选目标的权重进行更新，即
wtj＝wtj×φ+Hj(y)×(1-φ)，φ＝0～1；对更新后的权重进行正则化，即正则化具有最大权重的候选目标即为当前帧的跟踪结果；
根据权重wtj对候选目标即粒子进行从大到小排序，依据权重较大的粒子依次重采样，舍弃权重较低的粒子；
步骤十.如果当前帧是最后一帧，跟踪结束；否则，转至步骤五重复循环。
2.根据权利要求1所述的一种基于压缩不规则分块LBP的视频目标跟踪方法，其特征在于，所述步骤一中，手工或自动选定第一帧中待跟踪目标的矩形区域(x0,y0,w,h)。
3.根据权利要求1所述的一种基于压缩不规则分块LBP的视频目标跟踪方法，其特征在于，所述步骤二中，初始化粒子集合中的
4.根据权利要求1所述的一种基于压缩不规则分块LBP的视频目标跟踪方法，其特征在于，所述步骤四中，初始化四个参数的值为：i＝1～m
5.根据权利要求1所述的一种基于压缩不规则分块LBP的视频目标跟踪方法，其特征在于，所述步骤五中，依据基准区域产生正样本和负样本，进而对目标分类器的各个参数进行更新的具体方法如下：
对于正样本而言，与基准区域尺寸相同、与基准区域中心点距离在α＝4范围内所有的矩形区域构成了正样本待选集合；从正样本待选集合中随机选择q1＝45个矩形区域作为目标正样本；根据步骤八可以分别计算得到q1＝45个正样本矩形区域对应的CiRB-LBP特征向量；假设这里q1＝45个特征向量的第i个测量元素符合参数为μ1和δ1的高斯分布，其计算方法如下；
λ＞0是更新速率，取λ＝0.85，和的更新方法如下：
对于负样本而言，与基准区域尺寸相同、与基准区域中心点距离在β＝8～30范围内所有的矩形区域构成了负样本待选集合；从负样本待选集合中随机选择q0＝50个矩形区域作为目标负样本；根据步骤八可以分别计算得到q0＝50个负样本矩形区域对应的CiRB-LBP特征向量；假设这里q0＝50个特征向量的第i个测量元素符合参数为μ0和δ0的高斯分布，其计算方法如下；
λ＞0是更新速率，取λ＝0.85，和的更新方法公式如下：
6.根据权利要求1所述的一种基于压缩不规则分块LBP的视频目标跟踪方法，其特征在于，所述步骤八中，CiRB-LBP特征向量中每一个元素在计算的过程中，当rij＝0，则rijxj＝0，因此，当rij＝0，则xj可以省略计算，直接令xj＝0；故而，只需要计算rij≠0(i＝1～m,j＝1～n)的情况下对应的xj，即计算R中每一个非零元素对应iRB-LBP特征位置提取对应的特征元素值xj，总共需要计算个iRB-LBP特征值，即可得到一个候选目标对应的CiRB-LBP特征向量y；
对于候选目标区域中一个特定位置的iRB-LBP特征，首先将一个iRB-LBP特征对应的区域划分为3*3即9个块，第i块表示为bi,i＝0～8，第i块的宽高分别表示为
的计算方法如下：
由于iRB-LBP特征区域的宽度和高度多数情况下并不是3的倍数，因此，9个分块的宽高是不完全相同的即为不规则分块；当w’是3的倍数，9块的宽度相同，否则，中间列宽度区别于左右两列；当h'是3的倍数，9块的高度相同，否则，中间行高度区别于上下两行；当w’和h'都是3的倍数，9块的宽高皆相同，iRB-LBP特征值与MB-LBP特征值相同；
令第i块bi中所有像素灰度值的均值表示为iRB-LBP特征值计算公式如下：
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611185481.3A CN106780568B (zh) | 2016-12-20 | 2016-12-20 | 一种基于压缩不规则分块lbp的视频目标跟踪方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611185481.3A CN106780568B (zh) | 2016-12-20 | 2016-12-20 | 一种基于压缩不规则分块lbp的视频目标跟踪方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106780568A CN106780568A (zh) | 2017-05-31 |
| CN106780568B true CN106780568B (zh) | 2019-08-13 |
Family
ID=58894164
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201611185481.3A Expired - Fee Related CN106780568B (zh) | 2016-12-20 | 2016-12-20 | 一种基于压缩不规则分块lbp的视频目标跟踪方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106780568B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107527356B (zh) * | 2017-07-21 | 2020-12-11 | 华南农业大学 | 一种基于懒交互方式的视频跟踪方法 |
| CN107977982B (zh) * | 2017-11-30 | 2021-11-02 | 云南大学 | 一种基于压缩正则化块差分的视频目标跟踪方法 |
| CN108076158B (zh) * | 2018-01-08 | 2020-07-03 | 苏州大学 | 基于朴素贝叶斯分类器的最小负载路由选择方法及*** |
| CN108596954B (zh) * | 2018-04-25 | 2020-06-30 | 山东师范大学 | 一种基于压缩感知的视频车辆跟踪方法 |
| CN111741332B (zh) * | 2020-06-22 | 2022-08-26 | 稿定（厦门）科技有限公司 | 粒子群旋转视频制作方法及介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102915544A (zh) * | 2012-09-20 | 2013-02-06 | 武汉大学 | 基于纹理检测和颜色分割的视频图像运动目标提取方法 |
| CN103632382A (zh) * | 2013-12-19 | 2014-03-12 | 中国矿业大学(北京) | 一种基于压缩感知的实时多尺度目标跟踪方法 |
| CN104299247A (zh) * | 2014-10-15 | 2015-01-21 | 云南大学 | 一种基于自适应测量矩阵的视频目标跟踪方法 |
| CN104850865A (zh) * | 2015-06-05 | 2015-08-19 | 三峡大学 | 一种多特征迁移学习的实时压缩跟踪方法 |
-
2016
- 2016-12-20 CN CN201611185481.3A patent/CN106780568B/zh not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102915544A (zh) * | 2012-09-20 | 2013-02-06 | 武汉大学 | 基于纹理检测和颜色分割的视频图像运动目标提取方法 |
| CN103632382A (zh) * | 2013-12-19 | 2014-03-12 | 中国矿业大学(北京) | 一种基于压缩感知的实时多尺度目标跟踪方法 |
| CN104299247A (zh) * | 2014-10-15 | 2015-01-21 | 云南大学 | 一种基于自适应测量矩阵的视频目标跟踪方法 |
| CN104850865A (zh) * | 2015-06-05 | 2015-08-19 | 三峡大学 | 一种多特征迁移学习的实时压缩跟踪方法 |
Non-Patent Citations (2)
| Title |
|---|
| "A Fast and Accurate Unconstrained Face Detector";Shengcai Liao 等;《IEEE》;20160229;第38卷(第2期);第211-223页 |
| "粒子群优化的压缩跟踪算法";李杰 等;《中国图象图形学报》;20160831;第21卷(第8期);第1068-1077页 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106780568A (zh) | 2017-05-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106780568B (zh) | 一种基于压缩不规则分块lbp的视频目标跟踪方法 | |
| CN107292234B (zh) | 一种基于信息边缘和多模态特征的室内场景布局估计方法 | |
| CN105225226B (zh) | 一种基于图像分割的级联可变形部件模型目标检测方法 | |
| Ma et al. | Crowd density analysis using co-occurrence texture features | |
| CN103632382B (zh) | 一种基于压缩感知的实时多尺度目标跟踪方法 | |
| KR100519781B1 (ko) | 객체 추적 방법 및 그 장치 | |
| Fan et al. | Iterative particle filter for visual tracking | |
| KR101409810B1 (ko) | 파티클 필터를 이용한 움직임 카메라에서의 실시간 객체 추적 방법 | |
| CN111445497A (zh) | 一种基于尺度上下文回归的目标追踪与跟随方法 | |
| Peker | Comparison of tensorflow object detection networks for licence plate localization | |
| Guo et al. | Image classification based on SURF and KNN | |
| US11816857B2 (en) | Methods and apparatus for generating point cloud histograms | |
| Zheng et al. | Shadow removal for pedestrian detection and tracking in indoor environments | |
| Zhou et al. | Target tracking based on foreground probability | |
| Suheryadi et al. | Spatio-temporal analysis for moving object detection under complex environment | |
| Yin et al. | Research on real-time object tracking by improved CamShift | |
| Dang et al. | Fast object hypotheses generation using 3D position and 3D motion | |
| CN113963270A (zh) | 一种高分遥感影像建筑物检测方法 | |
| Wang et al. | Face detection based on color template and least square matching method | |
| Rahmaniar et al. | A novel object detection method based on Fuzzy sets theory and SURF | |
| Sun et al. | Fast and Robust RGB-D Multiple Human Tracking Based on Part Model for Mobile Robots | |
| Xie et al. | Research on a method of airport runway detection algorithm | |
| Yao et al. | RETRACTED: Moving object surveillance using object proposals and background prior prediction | |
| Zhang et al. | Efficient defect detection with sign information of Walsh Hadamard transform | |
| Chen et al. | Robust pedestrian detection and tracking with shadow removal in indoor environments |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20190813 Termination date: 20191220 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |