CN105488815B - 一种支持目标尺寸变化的实时对象跟踪方法 - Google Patents
一种支持目标尺寸变化的实时对象跟踪方法 Download PDFInfo
- Publication number
- CN105488815B CN105488815B CN201510844876.9A CN201510844876A CN105488815B CN 105488815 B CN105488815 B CN 105488815B CN 201510844876 A CN201510844876 A CN 201510844876A CN 105488815 B CN105488815 B CN 105488815B
- Authority
- CN
- China
- Prior art keywords
- target
- size
- tracking
- frame
- similarity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000008859 change Effects 0.000 title claims abstract description 25
- 238000000034 method Methods 0.000 claims abstract description 22
- 238000003384 imaging method Methods 0.000 claims abstract description 9
- 238000009826 distribution Methods 0.000 claims description 34
- 230000006870 function Effects 0.000 claims description 11
- 238000010606 normalization Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 2
- 235000015170 shellfish Nutrition 0.000 claims 1
- 238000011524 similarity measure Methods 0.000 claims 1
- 230000007306 turnover Effects 0.000 abstract description 9
- 230000000694 effects Effects 0.000 abstract description 4
- 241001269238 Data Species 0.000 abstract description 2
- 230000007246 mechanism Effects 0.000 abstract description 2
- 238000004364 calculation method Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种支持目标尺寸变化的实时对象跟踪方法，首先通过相机成像原理以及一些标定数据，对于物体在视频中成像大小建立了模型，可以通过当前目标位置及初始位置和大小准确地获取当前跟踪目标大小，有效提高跟踪效果的准确度和精度。另外，本方法联合了局部Haar‑like特征、全局颜色直方图信息以及空间位置约束，使得目标的表示模型更加鲁棒，同时计算复杂度低，能够保持实时性；其次，对于模型的更新采用了动态更新的机制，对于匹配度低的情况，更新率较低，抑制了噪音的引入，更好的对目标进行跟踪。本发明所述方法对于实时性要求较高且目标在视频中成像大小变化的场景非常适合，特别是现实的监控环境。
Description
技术领域
本发明属于计算机视觉技术领域，具体涉及一种支持目标尺寸变化的实时对象跟踪方法。
背景技术
实时目标跟踪是智能视频监控***中非常重要的功能之一，也是计算机视觉领域非常重要的研究方向之一。同时，目标跟踪也可以为计算机视觉领域其他问题，如动作识别、视频内容分析等问题提供良好的输入数据。
目标跟踪算法可以简单划分为基于轮廓的目标跟踪算法，基于特征匹配的目标跟踪算法和基于区域搜索的目标跟踪算法。基于主动轮廓跟踪的方法同时考虑了目标的灰度信息以及目标轮廓的几何信息，增强了跟踪的可靠性；但是由于跟踪过程是通过不断地寻找最优过程，计算量非常大，且对于高速运动的物体或者形变较大的情况，跟踪效果不够理想。基于特征的跟踪算法的优点在于对运动目标的尺度、形变和亮度等变化不敏感，即使目标部分被遮挡，仍可以通过其他部分特征进行匹配跟踪；但是这类方法对于视频中噪声比较敏感，图像特征的提取也依赖于各种特征算子及其参数的设置，此外，连续视频帧之间的特征也可能发生变化，难以匹配。基于区域的搜索方法的优点在于当目标未被遮挡时，跟踪精度非常高、跟踪非常稳定；但这类方法的缺点是当搜索区域较大时需要大量的计算匹配，其次，对于目标在视频中发生的形变以及遮挡等情况的处理效果也很差。
由于跟踪目标距离相机的距离不同导致其在相机内成像大小发生变化，而目前效果较好的跟踪方法几乎都没有考虑目标成像缩放的问题，如Struck算法，压缩感知算法(CT)，核协同滤波算法(KCF)，局部稀疏外观模型算法(ASLA)等，这无疑会导致跟踪框精度下降。而一些考虑缩放问题带来的精度问题一般都是通过目标检测的方式获取到目标较为准确的大小，再做关联匹配的，然而这类方法在目标受到遮挡时经常会检测不到或者检测错误，如TLD算法。针对这一问题，本发明通过建立目标位置与成像大小的映射函数来解决缩放带来的跟踪框精度问题，同时对目标提取了局部的Haar-like特征、全局的颜色直方图信息以及空间位置的约束，增强了跟踪的鲁棒性，并且由于计算复杂度不高，能够很好地达到实时性的要求。
发明内容
本发明的目的是解决目前目标跟踪算法难以解决的目标尺寸变化的情况，提出了一种支持目标尺寸变化的实时对象跟踪方法，可以达到实时性，能够准确的跟踪目标，并且跟踪框的精度非常高。
为完成本发明的目的，本发明采用的技术方案是一种支持目标尺寸变化的实时对象跟踪方法，包括以下步骤：
步骤(1)、目标跟踪预处理阶段：
a)对于运动物体在视频帧序列中成像大小的参数方程进行求解；首先根据手工标定的不同运动物体在视频帧序列中的矩形框位置及大小，利用最小二乘法对矩形框大小计算公式的参数进行求解；
b)设定模板矩形框大小s；
c)根据模板框rs大小在模板框内随机生成NH(NH为常数，一般取模板框的长度或者高度)个不同位置不同大小的Haar-like特征；
步骤(2)、可变尺度跟踪模型的初始化：
a)获取需要跟踪目标的视频序列帧ft及目标初始位置矩形框r0；
b)对每个Haar-like特征的特征值的概率分布进行初始化，对于每一个特征值作为正样本和负样本均初始化为以特征值为中心位置的正态分布；
c)计算目标矩形框r0颜色直方图Ho作为全局特征；
d)初始化跟踪目标在图像中的运动速度为Vo＝(0，0)(在图像二维平面运动速度为0)；
e)初始化跟踪目标在当前帧的匹配度S＝1；
f)跳到步骤(3)f)。
步骤(3)、可变尺度跟踪过程：
a)根据视频上一帧目标位置r，在当前帧对应位置周围进行采样，采样矩形框大小根据当前采样位置、初始位置矩形框r0以及步骤(1)a)得到的参数方程进行计算；
b)对于每一个采样框，将其缩放到模板框大小，计算NH个Haar-like特征值；利用朴素贝叶斯分类器对每一个Haar-like特征值根据其对应的正态分布计算分类并求和，然后通过sigmoid函数归一化，得到局部特征的相似度；
c)对于每一个采样框，计算其颜色直方图Hi，利用Bhattacharrya系数计算Ho和Hi的距离，利用sigmoid函数归一化，得到全局特征的相似度；
d)根据每一个采样框的位置，计算其相对于上一帧的运动速度，与当前跟踪目标运动速度Vo进行距离和角度比较，对空间运动关系进行约束，利用sigmoid函数归一化，得到空间位置相似度；
e)根据每一个采样框的局部特征相似度、全局特征相似度以及空间位置相似度计算最终的相似度，取最终相似度最大的采样框作为当前帧的跟踪目标的位置，若所有采样框的最终相似度的最大值小于一定阈值则认为跟踪丢失，跳到步骤(4)；否则，执行f)。
f)在跟踪目标的位置r临近的小范围区域生成正样本框，在跟踪目标的位置r一定距离范围的区域生成负样本框，通过将正负样本框缩放到模板框大小计算局部Haar-like特征、全局颜色直方图特征以及速度；对跟踪目标的局部特征的概率分布、全局的颜色直方图信息以及运动速度进行更新，特别的，将当前帧所有候选目标采样框中相似度最高的采样框的相似度作为学习率，进行动态的更新；
g)获取视频下一帧作为当前视频帧，跳到步骤(3)a)，若无法获取视频下一帧，则跳到步骤(4)。
步骤(4)、目标跟踪结束。
在预处理阶段对视频的成像进行了分析，得到了物体在视频中成像大小与其位置的关系。具体来说，在相机成像的图像中，假设地平面上沿深度方向直线的消失点在图像中位置为Pv,物体与地面接触点在图像中成像位置为P,则必定存在一条直线，使得物体在图像中的大小，与Pv和P连线在该直线上的投影长度成线性的正比例关系(假设物体与地平面接触并且物体各个部分的位置处于同一深度)。又因为点在直线上投影是线性变换关系，所以对于固定场景下的静态相机而言，存在常数a0、a1、a2使得同一目标在相机中成像大小有如下关系：
其中，size(u，v)表示目标处于图像中坐标(u，v)处在图像中的大小，size(u0，v0)表示目标处于图像中坐标(u0，v0)处在图像中的大小。对于常数a0、a1、a2的求解，利用最小二乘法根据标定的不同运动物体在视频帧序列中的矩形框位置及大小进行求解。
在跟踪阶段，对生成候选目标位置的采样框的大小会根据当前采样位置以及初始位置矩形框r0进行计算，得到较为准确的目标在图像中的大小。
对于特征匹配，采用了局部Haar-like特征和全局颜色直方图特征以及空间位置关系约束对目标进行跟踪。具体来说，首先通过对当前帧图像的不同颜色通道分别计算预先定义好的Haar-like特征，利用大量的Haar-like特征充分表示跟踪目标的局部特征，通过朴素贝叶斯分类器进行判别。
其中，Fi表示所有的Haar-like特征值，k表示不同颜色通道，表示在k颜色通道的第i个采样框的NH个Haar-like特征值，y表示对当前采样框的分类，y＝0表示当前采样框不是跟踪目标，y＝1表示采样框是跟踪目标，p(c|y＝0)表示特征值c作为负样本的概率分布，p(c|y＝1)表示特征值c作为正样本的概率分布函数。
然后考虑了全局的颜色直方图特征，对于跟踪框内的不同位置的像素给予不同的权重，认为越靠近跟踪框的中心的像素，其更可能属于跟踪目标，故其权重越高，位于跟踪框边缘的像素，其属于跟踪目标的可能性比较低，故为其分配较低的权重。根据这样的特点，采用二维的正态分布为矩形跟踪框的每个像素分配权重。
其中，H(x)表示第x个颜色区间Bin(x)的像素个数，r表示矩形框，rcu、rcv、rw和rh分别表示矩形框的中心位置坐标和以及矩形的宽和高，表示按照矩形框r基于正态分布生成的权重，It表示当前视频帧图像,表示处于图像(u，v)处的像素值；hx(p)表示像素p是否属于第x个颜色区间Bin(x)。
最后，对候选目标采样框的位置进行了约束，对于运动目标的位置来说，在连续视频帧中，运动目标的位置的变化具有连续性，并且变化较为平滑，不会发生突然的跳变，这对于运动目标的跟踪来说，是一个非常有用的约束条件。
其中，Vo表示当前跟踪目标的速度向量，V表示从上一帧目标矩形框中心位置指向当前矩形框中心位置的向量，可看作是当前移动速度(以一帧时间为单位)，arccos(Vo·V)为向量Vo和向量V之间通过点积计算夹角，s为候选目标采样框的范围大小的一半，π为圆周率常数，α为权重常数，取0.5。
采用动态更新跟踪目标数据的方式对跟踪模型进行更新。将当前帧所有候选目标采样框中相似度最高的采样框的相似度作为学习率，这样在动态的视频帧序列中，跟踪目标的变化会因较高的学习率而快速更新到模型中，同时对于受到干扰的跟踪目标，如被其他目标或场景中物体遮挡造成相似度较低的情况下，由于学习率较低，所以会更多地保留原来的数据，使得模型更加鲁棒。
本发明的原理在于：
首先通过相机成像原理以及一些标定数据，对于物体在视频中成像大小建立了模型，可以通过当前目标位置及初始位置和大小准确地获取当前跟踪目标大小，有效提高跟踪效果的准确度和精度。并且，本方法联合了局部Haar-like特征、全局颜色直方图信息以及空间位置约束，使得目标的表示模型更加鲁棒，同时计算复杂度低，能够保持实时性；其次，对于模型的更新采用了动态更新的机制，对于匹配度低的情况，更新率较低，抑制了噪音的引入，更好的对目标进行跟踪。
与现有技术相比，本发明可变尺度的实时目标跟踪方法还具有以下有益效果：
(1)本发明采用的可变尺度缩放的原理可以非常容易的应用于其他基于滑动窗口采样的跟踪方法，具有普适性。
(2)本发明通过动态的基于匹配度的更新方式，这样在动态的视频帧序列中，跟踪目标的变化会因较高的更新率而快速更新到模型中，同时对于受到干扰的跟踪目标，如被其他目标或场景中物体遮挡造成相似度较低的情况下，由于更新率较低，所以会更多地保留原来的数据，使得模型更加鲁棒。
附图说明
图1为本发明的一种支持目标尺寸变化的实时对象跟踪流程图示意图；
图2为本发明的物体成像大小原理示意图；
图3为本发明的目标大小转换示例图；
图4为本发明的Haar-like特征计算流程示意图；
图5为本发明的空间位置约束相似度在不同参数下比较示意图；
图6为本发明的更新阶段采样框示意图，图6(a)为正样本框的示意图，图6(b)为负样本框的。
具体实施方式
下面结合附图和实施例对本发明具体步骤进行详细描述。
本发明提出了一种支持目标尺寸变化的实时对象跟踪方法，首先结合图1一种支持目标尺寸变化的实时对象跟踪流程图示意图，详细介绍本发明的跟踪处理过程。
步骤(1)、目标跟踪预处理阶段：
a)首先对运动物体在视频帧序列中的成像的矩形框大小计算公式参数进行求解；
如图2所示，对于地平面上沿相机坐标系z轴的直线上的3个点P0、P1、P2来说，其在图像中的投影位置P′0、P′1、P′2仍位于同一直线上，并且图像中投影点和地平面上沿深度方向直线的消失点在图像中成像位置和连线在该直线上的投影长度与原始点的位置距离相机的距离成反比关系。所以在相机成像的图像中，假设地平面上沿深度方向直线的消失点在图像中位置为Pv,物体与地面接触点在图像中成像位置为P,则必定存在一条直线，使得物体在图像中的大小，与Pv和P连线在该直线上的投影长度成线性的正比例关系(假设物体与地平面接触并且物体各个部分的位置处于同一深度)。又因为点在直线上投影是线性变换关系，所以对于固定场景下的静态相机而言，存在常数a0、a1、a2使得同一目标在相机中成像大小有如下关系：
其中，size(u，v)表示目标处于图像中坐标(u，v)处在图像中成像的大小，size(u0，v0)表示目标处于图像中坐标(u0，v0)处在图像中成像的大小。
根据公式，可以利用预先在该视频序列中标定一些物体的位置及大小，通过利用最小二乘法对参数a0、a1、a2进行直线拟合求解。
其中，矩阵An×3和向量bn×1为通过标定一些物体的位置及大小的数据，An×3 +表示矩阵的广义逆。
图3展示了根据上述公式得到参数a0、a1、a2以及根据初始跟踪位置(白色实线矩形框)对目标可能处于的位置进行计算转换得到的矩形框(白色虚线矩形框)的一个例子。
b)设定模板矩形框rs的大小s；
c)根据模板框rs大小在模板框内随机生成NH(NH为常数，一般取模板框的长度或者高度)个不同位置不同大小的Haar-like特征；
步骤(2)、可变尺度跟踪模型的初始化：
a)获取需要跟踪目标的视频序列帧It及目标初始位置矩形框r0；
b)为每个Haar-like特征的特征值的概率分布进行初始化，对于每一个特征值作为正样本和负样本均初始化为以特征值为中心位置的正态分布；
c)计算目标矩形框r0颜色直方图Ho作为全局特征；
对于跟踪框内的不同位置的像素给予不同的权重，认为越靠近跟踪框的中心的像素，其更可能属于跟踪目标，故其权重越高，位于跟踪框边缘的像素，其属于跟踪目标的可能性比较低，故为其分配较低的权重。根据这样的特点，采用二维的正态分布为矩形跟踪框的每个像素分配权重。则基于正态分布权重的颜色直方图计算公式如下所示：
其中，H(x)表示第x个颜色区间Bin(x)的像素个数，r表示矩形框，rcu、rcv、rw和rh分别表示矩形框的中心位置和矩形的宽和高，表示按照矩形框r基于正态分布生成的权重，It表示当前视频帧图像,表示处于图像(u，v)处的像素值；hx(p)表示像素p是否属于第x个颜色区间Bin(x)。
d)初始化跟踪目标在图像中的运动速度为Vo＝(0,0)(在图像二维平面运动速度为0)；
e)初始化跟踪目标在当前帧的匹配度S＝1；
f)跳到步骤(3)f)。
步骤(3)、可变尺度跟踪过程：
a)根据视频上一帧目标位置rt，在当前帧对应位置周围进行采样，得到目标候选矩形框R＝{r1，r2，…rn}，采样矩形框的大小根据当前采样位置以及初始位置矩形框r0进行以及在预处理阶段得到的参数a0、a1、a2进行转换计算；
b)如图4所示，对于每一个采样框，将其缩放到模板框大小，计算NH个Haar-like特征值；利用朴素贝叶斯分类器对每一个Haar-like特征值根据其对应的正态分布计算分类并求和：
其中，Fi表示所有的Haar-like特征值，k表示不同颜色通道，表示符合Gaussian分布的随机矩阵，表示在k颜色通道的第i个采样框的NH个Haar-like特征值，y表示对当前采样框的分类，y＝0表示当前采样框不是跟踪目标，y＝1表示采样框是跟踪目标，p(c|y＝0)表示特征值c不是跟踪目标的概率分布，p(c|y＝1)表示特征值c是跟踪目标的概率分布，假设每个Haar-like特征值的是服从正态分布的，即：
为了能够协调Haar-like特征值匹配的过高或过低，将得到的分类和利用sigmoid函数归一化得到局部特征的相似度：
其中，βf为常数，一般取NH的一半，e为自然常数。
c)对于每一个采样框，计算其基于正态分布权重的颜色直方图Hi与当前跟踪目标的颜色直方图Ho，采用Bhattacharrya系数公式作为直方图距离计算相似度。
其中，Ho(u)和Hi(u)分别表示跟踪目标和当前采样框的颜色直方图中的属于第u个颜色区间的像素个数占所有像素个数的比例，NB为颜色直方图颜色区间个数。
同样的，利用sigmoid函数将颜色直方图归一化得到全局特征的相似度：
其中，βh为常数，一般取6。
d)根据每一个采样框的位置，计算其相对于上一帧的运动速度，与当前跟踪目标运动速度Vo进行距离和角度比较，对空间运动关系进行约束，因为对于运动目标的位置来说，在连续视频帧中，运动目标的位置的变化具有连续性，并且变化较为平滑，不会发生突然的跳变，这对于运动目标的跟踪来说，是一个非常有用的约束条件。
其中，Vo表示当前跟踪目标的速度向量，Vi表示从上一帧目标矩形框中心位置指向当前矩形框中心位置的向量，可看作是当前移动速度(以一帧时间为单位)，arccos(Vo·V)为向量Vo和向量V之间通过点积计算夹角，s为候选目标采样框的范围大小的一半，π为圆周率常数，α为权重常数，取0.5。
最后，利用sigmoid函数归一化得到空间位置的相似度：
其中，βp为常数，一般取6。
图5展示了不同α值对于Spos(Vo，Vi)的影响。
e)根据每一个候选目标的采样框ri的局部特征相似度、全局特征相似度以及空间位置相似度得到最终的相似度，计算公式如下：
Si＝w1SHaar(Fi)+w2Sapp(Ho，Hi)+w3Spos(Vo，Vi)
其中，SHaar(Fi)表示根据Haar-like特征计算的相似度，Fi表示第i个采样框的Haar-like特征值，Sapp(Ho，Hi)表示当前采样框与模型中的颜色直方图匹配程度，Ho表示当前跟踪目标的颜色直方图，Hi表示第i个采样框基于正态分布权重的颜色直方图，Spos(Vo，Vi)表示对采样框的位置的匹配程度，Vo表示当前跟踪目标的速度向量，Vi表示从上一帧目标矩形框中心位置指向第i个采样框中心位置的向量，w1、w2、w3为参数，且w1+w2+w3＝1。
最后取相似度最大的采样框作为当前帧的跟踪目标的位置：
当存在至少一个采样框与当前跟踪目标的相似度S超过阈值Ts时，认为相似度最大的那个采样框rt为最精确的跟踪目标位置；否则认为目标跟踪丢失，跳到步骤(4)；
f)对于正态分布模型的更新，主要对正态分布中位置参数μ和尺度参数σ进行更新。首先根据当前视频帧求得到的跟踪目标的位置，在其周围临近的小范围区域生成正样本框，通过将正样本框缩放到模板框大小计算所有正样本框的Haar-like特征值的分布，对于每一个特征值，计算所有采样框的平均分布作为当前视频帧的Haar-like特征值作为正样本的概率分布，并用得到的分布对跟踪模型正样本的概率分布进行更新；同时，在距离跟踪目标的位置一定距离范围的区域生成负样本框，通过将负样本框缩放到模板框大小计算所有负样本框的Haar-like特征值的分布，对于每一个特征值，计算所有采样框的平均分布作为当前视频帧的Haar-like特征值作为负样本的概率分布，并用得到的分布对跟踪模型负样本的概率分布进行更新，如图6所示。
μi＝(1-St)μi+Stμ′i
其中，μ′i表示根据采样框的Haar-like特征值的第个特征值的正态分布的中心位置，表示第k个采样框的第i个特征值，σ′i表示第i个特征值的正态分布的标准差，Ns表示采样框的个数，μi和σi分别表示跟踪目标的Haar-like特征值的第i个特征值的正态分布的中心位置和标准差，St表示当前视频帧采样框的最高的相似度。
对于外观颜色直方图信息来说，对于跟踪目标运动速度的更新，同样需要更新，
Ho＝(1-St)Ho+StHt
Vo＝(1-St)Vo+StVt
针对模型更新程度的更新率，采用的是动态的更新率，将当前帧所有采样框中相似度最高的采样框的相似度作为更新率，这样在动态的视频帧序列中，跟踪目标的变化会因较高的更新率而快速更新到模型中，同时对于受到干扰的跟踪目标，如被其他目标或场景中物体遮挡造成相似度较低的情况下，由于更新率较低，所以会更多地保留原来的数据，使得模型更加鲁棒。
g)获取视频下一帧作为当前视频帧，跳到步骤(3)a)，若无法获取视频下一帧，则跳到步骤(4)。
步骤(4)、目标跟踪结束。
Claims (4)
1.一种支持目标尺寸变化的实时对象跟踪方法，其特征在于，包括以下步骤：
步骤(1)、目标跟踪预处理阶段：
a)对于运动物体在视频帧序列中成像大小的参数方程进行求解；
b)设定模板矩形框大小；
c)根据模板框大小在模板框内随机生成NH个不同位置不同大小的Haar-like特征；其中NH为常数，取模板框的长度或者高度；
步骤(2)、可变尺度跟踪模型的初始化：
a)获取需要跟踪目标的视频序列帧及目标初始位置矩形框；
b)对每个Haar-like特征的特征值的概率分布进行初始化，对于每一个特征值作为正样本和负样本均初始化为以特征值为中心位置的正态分布；
c)计算目标矩形框颜色直方图HO作为全局特征；
d)初始化跟踪目标在图像中的运动速度为VO＝(0,0)，即在图像二维平面运动速度为0；
e)初始化跟踪目标在当前帧的匹配度S＝1；
f)跳到步骤(3)f)；
步骤(3)、可变尺度跟踪过程：
a)根据视频上一帧目标位置，在当前帧对应位置周围进行候选目标采样，采样矩形框大小根据当前采样位置以及初始位置矩形框以及步骤(1)a)得到的参数方程进行计算；
b)对于每一个采样框，将其缩放到模板框大小，计算NH个Haar-like特征值；利用朴素贝叶斯分类器对每一个Haar-like特征值根据其对应的正态分布计算分类并求和，然后通过sigmoid函数归一化，得到局部特征的相似度；
c)对于每一个采样框，计算其颜色直方图Hi，利用Bhattacharrya系数计算HO和Hi的距离，利用sigmoid函数归一化，得到全局特征的相似度；
d)根据每一个采样框的位置，计算其相对于上一帧的运动速度，与当前跟踪目标运动速度VO进行距离和角度比较，对空间运动关系进行约束，利用sigmoid函数归一化，得到空间位置相似度；
e)根据每一个采样框的局部特征相似度、全局特征相似度以及空间位置相似度计算最终的相似度，取最终相似度最大的采样框作为当前帧的跟踪目标的位置，若所有采样框的最终相似度的最大值小于预定阈值则认为跟踪丢失，跳到步骤(4)；否则，执行f)；
f)在跟踪目标的位置临近的小范围区域生成正样本框，在跟踪目标的位置一定距离范围的区域生成负样本框，通过将正负样本框缩放到模板框大小计算局部Haar-like特征、全局颜色直方图特征以及速度；对跟踪目标的局部特征的概率分布、全局的颜色直方图信息以及运动速度进行更新；将当前帧所有候选目标采样框中相似度最高的采样框的相似度作为学习率，进行动态的更新；
g)获取视频下一帧作为当前视频帧，跳到步骤(3)a)，若无法获取视频下一帧，则跳到步骤(4)；
步骤(4)、目标跟踪结束。
2.根据权利要求1所述的一种支持目标尺寸变化的实时对象跟踪方法，其特征在于：在预处理阶段对视频的成像进行了分析，得到了物体在视频中成像大小与其位置的关系，具体来说，在相机成像的图像中，假设地平面上沿深度方向直线的消失点在图像中位置为Pv,物体与地面接触点在图像中成像位置为P1,则必定存在一条直线，使得物体在图像中的大小，与Pv和P连线在该直线上的投影长度成线性的正比例关系，其中，假设物体与地平面接触并且物体各个部分的位置处于同一深度；又因为点在直线上投影是线性变换关系，所以对于固定场景下的静态相机而言，存在常数a0、a1、a2使得同一目标在相机中成像大小有如下关系：
其中，size(u，v)表示目标处于图像中坐标(u，v)处在图像中的大小，size(u0，v0)表示目标处于图像中坐标(u0，v0)处在图像中的大小；对于常数a0、a1、a2的求解利用最小二乘法根据标定的数据进行求解。
3.根据权利要求1所述的一种支持目标尺寸变化的实时对象跟踪方法，其特征在于：所述步骤( 3) ，在跟踪阶段，对生成候选目标位置的采样框的大小会根据当前采样位置以及初始位置矩形框r0进行计算得到准确的目标在图像中成像的大小。
4.根据权利要求1所述的一种支持目标尺寸变化的实时对象跟踪方法，其特征在于：步骤(3)f)采用动态更新跟踪目标数据的方式对跟踪模型进行更新；将当前帧所有候选目标采样框中相似度最高的采样框的相似度作为学习率，这样在动态的视频帧序列中，跟踪目标的变化会因较高的学习率而快速更新到模型中，同时对于受到干扰的跟踪目标，在被其他目标或场景中物体遮挡造成相似度较低的情况下，由于学习率较低，所以会更多地保留原来的数据，使得模型更加鲁棒。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510844876.9A CN105488815B (zh) | 2015-11-26 | 2015-11-26 | 一种支持目标尺寸变化的实时对象跟踪方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510844876.9A CN105488815B (zh) | 2015-11-26 | 2015-11-26 | 一种支持目标尺寸变化的实时对象跟踪方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105488815A CN105488815A (zh) | 2016-04-13 |
| CN105488815B true CN105488815B (zh) | 2018-04-06 |
Family
ID=55675781
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510844876.9A Expired - Fee Related CN105488815B (zh) | 2015-11-26 | 2015-11-26 | 一种支持目标尺寸变化的实时对象跟踪方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105488815B (zh) |
Families Citing this family (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106204638B (zh) * | 2016-06-29 | 2019-04-19 | 西安电子科技大学 | 一种基于尺度自适应和遮挡处理的航拍目标跟踪方法 |
| CN106127811A (zh) * | 2016-06-30 | 2016-11-16 | 西北工业大学 | 基于上下文的目标尺度自适应跟踪方法 |
| CN106303411A (zh) * | 2016-08-08 | 2017-01-04 | 三峡大学 | 一种动态目标跟踪装置 |
| CN107256561A (zh) * | 2017-04-28 | 2017-10-17 | 纳恩博（北京）科技有限公司 | 目标跟踪方法和装置 |
| CN107240117B (zh) * | 2017-05-16 | 2020-05-15 | 上海体育学院 | 视频中运动目标的跟踪方法和装置 |
| CN107255468B (zh) * | 2017-05-24 | 2019-11-19 | 纳恩博（北京）科技有限公司 | 目标跟踪方法、目标跟踪设备及计算机存储介质 |
| CN107423684A (zh) * | 2017-06-09 | 2017-12-01 | 湖北天业云商网络科技有限公司 | 一种应用于驾驶员疲劳检测的快速人脸定位方法及*** |
| CN107560653A (zh) * | 2017-07-20 | 2018-01-09 | 天津大学 | 用于柴油机活塞顶燃烧室内水平面光学测量的标定装置 |
| CN107452020B (zh) * | 2017-08-04 | 2021-04-06 | 河北汉光重工有限责任公司 | 一种自适应模板匹配的抗遮挡跟踪方法 |
| CN108446634B (zh) * | 2018-03-20 | 2020-06-09 | 北京天睿空间科技股份有限公司 | 基于视频分析和定位信息结合的航空器持续跟踪方法 |
| CN108932728B (zh) * | 2018-06-20 | 2021-08-17 | 南京航空航天大学 | 基于视觉监控的跟踪方法 |
| CN108961314B (zh) * | 2018-06-29 | 2021-09-17 | 北京微播视界科技有限公司 | 运动图像生成方法、装置、电子设备及计算机可读存储介质 |
| CN109949231B (zh) * | 2019-02-02 | 2021-05-14 | 浙江工业大学 | 一种用于城市管理信息采集和处理的方法及装置 |
| CN110148159B (zh) * | 2019-05-20 | 2021-03-26 | 厦门大学 | 一种基于事件相机的异步目标跟踪方法 |
| CN110297472A (zh) * | 2019-06-28 | 2019-10-01 | 上海商汤智能科技有限公司 | 设备控制方法、终端、受控设备、电子设备和存储介质 |
| CN110533693B (zh) * | 2019-08-29 | 2023-02-07 | 北京精英路通科技有限公司 | 一种目标跟踪方法及目标跟踪装置 |
| CN110766715B (zh) * | 2019-10-31 | 2022-05-31 | 智慧视通(杭州)科技发展有限公司 | 一种结合单目标轨迹的多目标跟踪方法 |
| CN113077511B (zh) * | 2020-01-06 | 2022-06-10 | 魔门塔(苏州)科技有限公司 | 一种用于汽车的多相机目标匹配与跟踪方法及装置 |
| CN111665490B (zh) * | 2020-06-02 | 2023-07-14 | 浙江大华技术股份有限公司 | 目标跟踪方法和装置、存储介质及电子装置 |
| CN112001412A (zh) * | 2020-07-10 | 2020-11-27 | 浙江大华技术股份有限公司 | 一种多视角车辆关联的方法及相关装置 |
| CN112232257B (zh) * | 2020-10-26 | 2023-08-11 | 青岛海信网络科技股份有限公司 | 一种交通异常确定方法、装置、设备及介质 |
| CN112419367B (zh) * | 2020-12-02 | 2023-04-07 | 中国人民解放军军事科学院国防科技创新研究院 | 特异目标物的识别方法及装置 |
| CN114755444B (zh) * | 2022-06-14 | 2022-10-21 | 天津所托瑞安汽车科技有限公司 | 目标速度测定方法、装置、电子设备及存储介质 |
| CN115953433B (zh) * | 2023-02-06 | 2023-09-19 | 宿迁学院 | 一种混合式图像目标跟踪方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101694723A (zh) * | 2009-09-29 | 2010-04-14 | 北京航空航天大学 | 一种基于全局匹配相似度函数的实时运动目标跟踪方法 |
| CN102332166A (zh) * | 2011-09-26 | 2012-01-25 | 北京航空航天大学 | 一种基于概率模型的运动摄像机自动目标跟踪方法 |
| CN103366370A (zh) * | 2013-07-03 | 2013-10-23 | 深圳市智美达科技有限公司 | 视频监控中的目标跟踪方法和装置 |
-
2015
- 2015-11-26 CN CN201510844876.9A patent/CN105488815B/zh not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101694723A (zh) * | 2009-09-29 | 2010-04-14 | 北京航空航天大学 | 一种基于全局匹配相似度函数的实时运动目标跟踪方法 |
| CN102332166A (zh) * | 2011-09-26 | 2012-01-25 | 北京航空航天大学 | 一种基于概率模型的运动摄像机自动目标跟踪方法 |
| CN103366370A (zh) * | 2013-07-03 | 2013-10-23 | 深圳市智美达科技有限公司 | 视频监控中的目标跟踪方法和装置 |
Non-Patent Citations (1)
| Title |
|---|
| A Scale Self-Adaptive Tracking Method Based on Moment Invariants;Yimei Kang等;《Journal of Signal Processing Systems》;20151130;第81卷(第2期);第197–212页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105488815A (zh) | 2016-04-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105488815B (zh) | 一种支持目标尺寸变化的实时对象跟踪方法 | |
| CN106682598B (zh) | 一种基于级联回归的多姿态的人脸特征点检测方法 | |
| CN104317391B (zh) | 一种基于立体视觉的三维手掌姿态识别交互方法和*** | |
| Liu et al. | Depth context: a new descriptor for human activity recognition by using sole depth sequences | |
| CN107481264A (zh) | 一种自适应尺度的视频目标跟踪方法 | |
| CN103325112B (zh) | 动态场景中运动目标快速检测方法 | |
| CN106600625A (zh) | 检测小型生物的图像处理方法及装置 | |
| CN105279769B (zh) | 一种联合多特征的层次粒子滤波跟踪方法 | |
| CN106682641A (zh) | 基于fhog‑lbph特征的图像行人识别方法 | |
| CN104821010A (zh) | 基于双目视觉的人手三维信息实时提取方法及*** | |
| CN103593654A (zh) | 一种人脸定位的方法与装置 | |
| Shen et al. | Adaptive pedestrian tracking via patch-based features and spatial–temporal similarity measurement | |
| Wu et al. | Recognition of Student Classroom Behaviors Based on Moving Target Detection. | |
| Amrutha et al. | Human Body Pose Estimation and Applications | |
| KR20120089948A (ko) | Ｍｈｉ의 형태 정보를 이용한 실시간 동작 인식시스템 및 실시간 동작 인식 방법 | |
| CN106023256B (zh) | 面向增强现实辅助维修***平面目标粒子滤波跟踪的状态观测方法 | |
| CN113327269A (zh) | 一种无标记颈椎运动检测方法 | |
| CN109934283A (zh) | 一种融合cnn和sift光流的自适应运动目标检测方法 | |
| Jean et al. | Body tracking in human walk from monocular video sequences | |
| Zhang et al. | Pedestrian detection with EDGE features of color image and HOG on depth images | |
| Zhang et al. | Target tracking for mobile robot platforms via object matching and background anti-matching | |
| CN108694348B (zh) | 一种基于自然特征的跟踪注册方法及装置 | |
| Xu et al. | MultiView-based hand posture recognition method based on point cloud | |
| Guo et al. | A hybrid framework based on warped hierarchical tree for pose estimation of texture-less objects | |
| Patil et al. | Indian sign language recognition |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20180406 |