CN102930558B - 一种多特征融合的红外图像目标实时跟踪方法 - Google Patents

Abstract

本发明公开了一种多特征融合的红外图像目标实时跟踪方法，包括以下步骤：初始化目标跟踪点位置；初始化目标模型；计算目标候选模型；计算的联合特征Bhattacharyya系数及特征间权重系数；计算当前帧目标跟踪新位置；估计新位置的联合特征Bhattacharyya系数；比较前后两个联合特征Bhattacharyya系数，并输出结果。本发明自适应计算多特征间的权重系数，增强了目标跟踪鲁棒性，保证了目标跟踪稳定性，解决了单一特征不稳定造成的跟踪点漂移问题，有效提高了目标跟踪精度。

Description

一种多特征融合的红外图像目标实时跟踪方法

技术领域

本发明设计一种多特征融合的红外图像目标跟踪方法，特别涉及一种适合硬件实时实现的红外图像目标跟踪方法。

背景技术

近年来，随着集成电路工艺和红外材料的发展，红外成像技术取得了很大进步，在国防建设和国民经济领域得到广泛应用。然而，与可见光图像相比，红外图像信噪比相对较低，因此在进行红外图像目标检测和跟踪时只能提供有限的信息。由于红外图像中目标特征不明显，存在大的背景杂波等问题，导致红外图像目标的精确跟踪变得更加困难。

目前，目标跟踪算法分为基于模型的跟踪方法和基于外观的跟踪方法两大类。与模型跟踪法相比，外观跟踪法避免了建立模型的复杂过程，具有更广的工程实用价值。其中，均值漂移跟踪算法因其简单、鲁棒、实时性好的特点在目标跟踪中得到广泛应用。均值漂移是一种无参密度计算方法，通过多次迭代搜索与样本分布最相似的分布模式。Comaniciu等人通过寻找目标颜色直方图与候选目标颜色直方图相似度的极大值，提出一种均值漂移目标跟踪算法。Chu等人将Kalman滤波器用于预测Mean Shift的初始迭代位置，但是当目标被严重遮挡时，由于Mean Shift算法寻找到的目标位置点不准确，存在一定偏差。Collins等提出一种能选取易辨识颜色特征的自适应跟踪方法，其中候选颜色特征集包含由像素点R、G、B值线性组合计算得到的49组特征.由于采用的候选集较大，特征选取的运算开销也很大。因此，现有的目标跟踪算法存在以下缺点：(1)经典的目标跟踪算法采用单一特征描述目标，抗干扰能力差；(2)多数现有的多特征目标跟踪算法仅仅利用当前帧计算特征间的权重系数，当目标进行复杂变化，跟踪算法鲁棒性差；(3)多数现有的跟踪算法在目标出现非刚性变形、局部遮挡及交叠的情况下，跟踪精度下降，甚至出现目标丢失；(4)多数现有的跟踪算法在提高目标跟踪精度的同时，大大增加了算法复杂度，不易硬件实时实现。

发明内容

发明目的：本发明所要解决的技术问题是针对现有技术的不足，提供一种多特征融合的红外图像目标实时跟踪方法。

为了解决上述技术问题，本发明公开了一种多特征融合的红外图像目标实时跟踪方法，包括以下步骤：

(1)初始化目标跟踪点位置y₀。初始跟踪点由人工指定；

(2)初始化目标模型，以初始跟踪点y₀为中心建立目标灰度模型q₁和目标LBP纹理模型q₂；(local binary pattern，LBP)局部二值模式。

(3)计算目标候选模型，根据目标的跟踪点位置y₀，计算候选目标灰度模型p₁(y₀)和候选目标LBP纹理模型p₂(y₀)；

(4)利用灰度特征Bhattacharyya(巴塔查里亚Bhattacharyya，参见Visual C++数字图像处理，第466页，作者：谢凤英，2008年第一版，电子工业出版社。)系数ρ₁和LBP纹理特征的Bhattacharyya系数ρ₂，以及灰度特征的权重系数α₁和LBP纹理特征的权重系数α₂，计算位置y₀处联合特征Bhattacharyya系数ρ，表达式如下：

ρ＝α₁·ρ₁+α₂·ρ₂；

(5)计算当前帧目标新位置y₁；

(6)利用灰度特征Bhattacharyya系数ρ'₁和LBP纹理特征Bhattacharyya系数ρ'₂，以及灰度特征的权重系数α'₁和LBP纹理特征的权重系数α'₂，计算位置y₁处联合特征Bhattacharyya系数ρ'，表达式如下；

ρ′＝α′₁·ρ′₁+α′₂·ρ′₂，

(7)当ρ'<ρ时，否则y₁保持不变；

(8)若|(y₀-y₁)|<ε，停止计算，否则，将y₁赋值给y₀并执行步骤(3)，其中，ε是误差常系数。

步骤(2)中，目标灰度模型q₁为：

$q_1={\left\{q_u\right\}}_{u=1...m_1},\underset{u=1}{\overset{m_1}{\mathrm{\&Sigma;}}}{q}_u=1,$

目标LBP纹理模型q₂为：

$q_2={\left\{q_v\right\}}_{v=1...m_2},\underset{v=1}{\overset{m_2}{\mathrm{\&Sigma;}}}{q}_v=1,$

其中，q_u为目标灰度模型灰度特征的各级概率密度，q_v为LBP纹理特征的各级概率密度，m₁为目标灰度模型灰度特征的最大量化级数范围，m₂为LBP纹理特征的最大量化级数范围，u表示灰度量化级数，v表示纹理量化级数。

步骤(3)中，候选目标灰度模型p₁为：

$p_1={\left\{p_u\right\}}_{u=1...m_1},\underset{u=1}{\overset{m_1}{\mathrm{\&Sigma;}}}{p}_u=1,$

候选目标LBP纹理模型p₂为：

$p_2={\left\{p_v\right\}}_{v=1...m_2},\underset{v=1}{\overset{m_2}{\mathrm{\&Sigma;}}}{p}_v=1,$

p_u为目标灰度模型灰度特征的各级概率密度，p_v为目标灰度模型灰度特征和LBP纹理特征的各级概率密度，m₁为目标灰度模型灰度特征的最大量化级数范围，m₂为LBP纹理特征的最大量化级数范围，u表示灰度量化级数，v表示纹理量化级数。

步骤(4)中灰度特征的权重系数α₁和LBP纹理特征的权重系数α₂，步骤(6)中灰度特征的权重系数α'₁和LBP纹理特征的权重系数α'₂采用迭代方式更新，计算式分别如下：

α₁＝(1-λ)·α_1,old+λ·α_1,cur，

α₂＝(1-λ)·α_2,old+λ·α_2,cur，

α'₁＝(1-λ)·α'_1,old+λ·α'_1,cur，

α'₂＝(1-λ)·α'_2,old+λ·α'_2,cur，

其中，α_1,old和α_2,old分别是步骤(4)中上一帧灰度特征和LBP纹理特征的权重系数，α_1,cur和α_2,cur分别是步骤(4)中当前帧灰度特征和LBP纹理特征的权重系数，α'_1,old和α'_2,old分别是步骤(6)中上一帧灰度特征和LBP纹理特征的权重系数，α'_1,cur和α'_2,cur是步骤(6)中当前帧灰度特征和LBP纹理特征的权重系数，λ是比例系数。0≤λ≤1，决定权重系数的收敛速度，λ值越大，收敛速度越快，跟踪机动性越强，λ值越小，收敛速度越慢，跟踪稳定性越好。

步骤(4)中当前帧灰度特征的权重系数α_1,cur和LBP纹理特征的权重系数α_2,cur，步骤(6)中当前帧灰度特征的权重系数α'_1,cur和LBP纹理特征的权重系数α'_2,cur，计算式分别如下：

${\mathrm{\&alpha;}}_{1,\mathrm{cur}}=\frac{{\mathrm{\&rho;}}_1}{\sqrt{{\mathrm{\&rho;}}_1^2+{\mathrm{\&rho;}}_2^2}},$

${\mathrm{\&alpha;}}_{2,\mathrm{cur}}=\frac{{\mathrm{\&rho;}}_2}{\sqrt{{\mathrm{\&rho;}}_1^2+{\mathrm{\&rho;}}_2^2}},$

${\mathrm{\&alpha;}}_{1,\mathrm{cur}}^{\&prime;}=\frac{{\mathrm{\&rho;}}_1^{\&prime;}}{\sqrt{{\mathrm{\&rho;}}_1^{\&prime;}\&CenterDot;{\mathrm{\&rho;}}_1^{\&prime;}+{\mathrm{\&rho;}}_2^{\&prime;}\&CenterDot;{\mathrm{\&rho;}}_2^{\&prime;}}},$

${\mathrm{\&alpha;}}_{2,\mathrm{cur}}^{\&prime;}=\frac{{\mathrm{\&rho;}}_2^{\&prime;}}{\sqrt{{\mathrm{\&rho;}}_1^{\&prime;}\&CenterDot;{\mathrm{\&rho;}}_1^{\&prime;}+{\mathrm{\&rho;}}_2^{\&prime;}\&CenterDot;{\mathrm{\&rho;}}_2^{\&prime;}}},$

其中，ρ₁是步骤(4)中灰度特征的Bhattacharyya系数，ρ₂是步骤(4)中LBP纹理特征的Bhattacharyya系数，ρ'₁是步骤(6)中灰度特征的Bhattacharyya系数，ρ'₂是步骤(6)中LBP纹理特征的Bhattacharyya系数。

步骤(6)中灰度特征Bhattacharyya系数ρ'₁和LBP纹理特征的Bhattacharyya系数ρ'₂，以及灰度特征的权重系数α'₁和LBP纹理特征的权重系数α'₂通过以下公式得到：

${\mathrm{\&rho;}}_1^{\&prime;}=\underset{u=1}{\overset{m_1}{\mathrm{\&Sigma;}}}\sqrt{p_u^{\&prime;}\&CenterDot;q_u},$

${\mathrm{\&rho;}}_2^{\&prime;}=\underset{v=1}{\overset{m_2}{\mathrm{\&Sigma;}}}\sqrt{p_v^{\&prime;}\&CenterDot;q_v},$

p'_u是位置y₁处的目标灰度模型灰度特征的各级概率密度，p'_v是位置y₁处LBP纹理特征的各级概率密度；

${\mathrm{\&alpha;}}_1^{\&prime;}=(1-\mathrm{\&lambda;})\&CenterDot;{\mathrm{\&alpha;}}_{1,\mathrm{old}}^{\&prime;}+\mathrm{\&lambda;}\&CenterDot;\frac{{\mathrm{\&rho;}}_1^{\&prime;}}{\sqrt{{\mathrm{\&rho;}}_1^{\&prime;}\&CenterDot;{\mathrm{\&rho;}}_1^{\&prime;}+{\mathrm{\&rho;}}_2^{\&prime;}\&CenterDot;{\mathrm{\&rho;}}_2^{\&prime;}}}$

${\mathrm{\&alpha;}}_2^{\&prime;}=(1-\mathrm{\&lambda;})\&CenterDot;{\mathrm{\&alpha;}}_{2,\mathrm{old}}^{\&prime;}+\mathrm{\&lambda;}\&CenterDot;\frac{{\mathrm{\&rho;}}_2^{\&prime;}}{\sqrt{{\mathrm{\&rho;}}_1^{\&prime;}\&CenterDot;{\mathrm{\&rho;}}_1^{\&prime;}+{\mathrm{\&rho;}}_2^{\&prime;}\&CenterDot;{\mathrm{\&rho;}}_2^{\&prime;}}},$

其中，α'_1,old是上一帧灰度特征的权重系数，α'_2,old是上一帧LBP纹理特征的权重系数，λ是比例系数。0≤λ≤1，决定权重系数的收敛速度，λ值越大，收敛速度越快，跟踪机动性越强，λ值越小，收敛速度越慢，跟踪稳定性越好。

本发明多特征融合的红外图像目标实时跟踪方法中，使用依潘涅切科夫(Epanechnikov)核函数计算灰度特征概率直方图和LBP纹理特征概率直方图。

本发明与现有技术相比，具有以下显著优点：(1)根据目标与背景的特征显著性和相似性，自适应计算多特征间的权重系数，增强了目标跟踪鲁棒性；(2)采用迭代方式更新多特征间的权重系数，保证了目标跟踪稳定性；(3)利用多特征融合目标跟踪方法对红外图像目标进行跟踪，解决了单一特征不稳定造成的跟踪点漂移问题，有效提高了目标跟踪精度；(4)本发明提出的多特征融合目标跟踪方法不存在高阶运算和复杂结构，算法运算量小，易于硬件实时实现。

附图说明

下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述和其他方面的优点将会变得更加清楚。

图1为本发明流程图。

图2a～2d为传统的单特征(灰度)红外图像目标跟踪结果。

图3a～3d为本发明多特征融合的红外图像目标跟踪结果。

具体实施方式

本发明多特征融合的红外图像目标实时跟踪方法中，利用灰度特征和LBP纹理特征描述红外图像目标的特征。

八邻域LBP纹理特征表达式LBP_8,1如下所示：

${\mathrm{LBP}}_{\mathrm{8,1}}=\underset{n=0}{\overset{7}{\mathrm{\&Sigma;}}}s(g_n-g_c)\&CenterDot;2^n,$

$s\left(x\right)=\left\{\begin{array}{cc}1,& x\&GreaterEqual;0\\ 0,& x<0\end{array}\right.$

其中，g_c是当前点，g_n是周围邻域点，n＝0..7。

本发明多特征融合的红外图像目标实时跟踪方法中，利用Bhattacharyya系数描述目标模型和目标候选模型间的相似性。

Bhattacharyya系数ρ_Bha表达式如下所示：

${\mathrm{\&rho;}}_{\mathrm{Bha}}=\underset{u=1}{\overset{m}{\mathrm{\&Sigma;}}}\sqrt{p\&CenterDot;q},$

其中，p是目标候选模型，q是目标模型。

本发明多特征融合的红外图像目标实时跟踪方法中，灰度特征的权重系数α₁和LBP纹理特征的权重系数α₂采用迭代方式更新，表达式如下：

α₁＝(1-λ)·α_1,old+λ·α_1,cur

α₂＝(1-λ)·α_2,old+λ·α_2,cur

其中，α_1,old和α_2,old分别是上一帧灰度特征和LBP纹理特征的权重系数，α_1,cur和α_2,cur是当前帧灰度特征和LBP纹理特征的权重系数，λ是比例系数。

本发明多特征融合的红外图像目标实时跟踪方法中，当前帧灰度特征的权重系数α_1,cur和LBP纹理特征的权重系数α_2,cur表达式分别如下：

${\mathrm{\&alpha;}}_{1,\mathrm{cur}}=\frac{{\mathrm{\&rho;}}_1}{\sqrt{{\mathrm{\&rho;}}_1^2+{\mathrm{\&rho;}}_2^2}},$

${\mathrm{\&alpha;}}_{2,\mathrm{cur}}=\frac{{\mathrm{\&rho;}}_2}{\sqrt{{\mathrm{\&rho;}}_1^2+{\mathrm{\&rho;}}_2^2}},$

其中，ρ₁是灰度特征的Bhattacharyya系数，ρ₂是LBP纹理特征的Bhattacharyya系数。

实施例1

如图1所示，下面以实例来说明本发明多特征融合的红外图像目标实时跟踪方法。红外图像的像素个数320×240，帧频25HZ。红外热像仪成像通过光纤传给DSP+FPGA架构的专用图像处理板，多特征融合的红外图像目标跟踪在DSP处理器中实现，满足实时处理的需求，具体实施步骤如下：

(1)初始化目标跟踪点位置y₀，初始跟踪点由人工指定。

人工指定初始目标跟踪点位置(i,j)，i＝80，j＝100(图2所示)，设定依潘涅切科夫(Epanechnikov)核函数带宽h＝10。

(2)初始化目标模型，根据灰度特征建立目标灰度模型q₁，计算目标的LBP纹理特征，结合LBP纹理特征建立目标纹理模型q₂；

计算以初始跟踪点位置(80,100)为中心，带宽h＝10为范围的图像I_LBP的LBP纹理特征，表达式如下所示：

$I_{\mathrm{LBP}}=\underset{k1=75}{\overset{85}{\mathrm{\&Sigma;}}}\underset{k2=95}{\overset{105}{\mathrm{\&Sigma;}}}{\mathrm{LBP}}_{\mathrm{8,1}}(k1,k2)$

八邻域LBP纹理特征表达式LBP_8,1如下所示：

${\mathrm{LBP}}_{\mathrm{8,1}}(k1,k2)=\underset{n=0}{\overset{7}{\mathrm{\&Sigma;}}}s(g_n-g_c)\&CenterDot;2^n,$

$s\left(x\right)=\left\{\begin{array}{cc}1,& x\&GreaterEqual;0\\ 0,& x<0\end{array}\right.,$

其中，g_c是当前目标点，c＝k2*320+k1，g_n是g_c周围邻域点，n＝0..7。

目标灰度模型q₁为：

$q_1={\left\{q_u\right\}}_{u=1...m_1},\underset{u=1}{\overset{m_1}{\mathrm{\&Sigma;}}}{q}_u=1,$

$q_u=C\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}k\left[{\left|\right|\frac{y_0-x_i}{h}\left|\right|}^2\right]\&CenterDot;\mathrm{\&delta;}[b_1\left(x_i\right)-\mathrm{\&mu;}],$

目标LBP纹理模型q₂为：

$q_2={\left\{q_v\right\}}_{v=1...m_2},\underset{v=1}{\overset{m_2}{\mathrm{\&Sigma;}}}{q}_v=1,$

$q_v=C\underset{i=1}{\overset{n^{\&prime;}}{\mathrm{\&Sigma;}}}k\left[{\left|\right|\frac{y_0-x_i}{h}\left|\right|}^2\right]\&CenterDot;\mathrm{\&delta;}[b_2\left(x_i\right)-v],$

其中，q_u和q_v分别表示目标模型灰度特征和LBP纹理特征的各级概率密度，m₁＝255和m₂＝255分别表示目标模型灰度特征和LBP纹理特征的量化级数，函数b₁(·)是位于x_i的像素向灰度特征索引的映像，函数b₂(·)是位于x_i的像素向LBP纹理特征索引的映像，δ是Delta函数，C是归一化系数，μ＝1...255，v＝1...255。

(3)计算目标候选模型。根据跟踪点位置y₀，计算候选目标灰度模型p₁(y₀)和目标纹理候选模型p₂(y₀)；

候选目标灰度模型p₁为：

$p_1={\left\{p_u\right\}}_{u=1...m_1},\underset{u=1}{\overset{m_1}{\mathrm{\&Sigma;}}}{p}_u=1,$

$p_u=C\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}k\left[{\left|\right|\frac{y_0-x_i}{h}\left|\right|}^2\right]\&CenterDot;\mathrm{\&delta;}[b_1\left(x_i\right)-\mathrm{\&mu;}],$

候选目标LBP纹理模型p₂为：

$p_2={\left\{p_v\right\}}_{v=1...m_2},\underset{v=1}{\overset{m_2}{\mathrm{\&Sigma;}}}{p}_v=1,$

$p_v=C\underset{i=1}{\overset{n^{\&prime;}}{\mathrm{\&Sigma;}}}k\left[{\left|\right|\frac{y_0-x_i}{h}\left|\right|}^2\right]\&CenterDot;\mathrm{\&delta;}[b_2\left(x_i\right)-v],$

p_u和p_v分别表示目标模型灰度特征和LBP纹理特征的各级概率密度，m₁＝255和m₂＝255分别表示目标模型灰度特征和LBP纹理特征的量化级数，函数b₁(·)是位于xⁱ的像素向灰度特征索引的映像，函数b₂(·)是位于xⁱ的像素向LBP纹理特征索引的映像，δ是Delta函数，C是归一化系数，μ＝1...255，v＝1...255。

(4)分别计算灰度特征和LBP纹理特征的Bhattacharyya系数ρ₁、ρ₂以及权重系数α₁、α₂，利用ρ₁、α₁、ρ₂、α₂计算位置y₀处的联合特征Bhattacharyya系数ρ；

联合特征Bhattacharyya系数ρ描述为：

ρ＝α₁·ρ₁+α₂·ρ₂，

${\mathrm{\&rho;}}_1=\underset{u=1}{\overset{m_1}{\mathrm{\&Sigma;}}}\sqrt{p_u\&CenterDot;q_u},$

${\mathrm{\&rho;}}_2^{\&prime;}=\underset{v=1}{\overset{m_2}{\mathrm{\&Sigma;}}}\sqrt{p_v^{\&prime;}\&CenterDot;q_v},$

灰度特征权重系数α₁、LBP纹理特征α₂更新表达式如下所示：

${\mathrm{\&alpha;}}_1=(1-\mathrm{\&lambda;})\&CenterDot;{\mathrm{\&alpha;}}_{1,\mathrm{old}}+\mathrm{\&lambda;}\&CenterDot;{\mathrm{\&alpha;}}_{1,\mathrm{cur}}=(1-\mathrm{\&lambda;})\&CenterDot;{\mathrm{\&alpha;}}_{1,\mathrm{old}}+\mathrm{\&lambda;}\&CenterDot;\frac{{\mathrm{\&rho;}}_1}{\sqrt{{\mathrm{\&rho;}}_1^2+{\mathrm{\&rho;}}_2^2}},$

${\mathrm{\&alpha;}}_2=(1-\mathrm{\&lambda;})\&CenterDot;{\mathrm{\&alpha;}}_{2,\mathrm{old}}+\mathrm{\&lambda;}\&CenterDot;{\mathrm{\&alpha;}}_{2,\mathrm{cur}}=(1-\mathrm{\&lambda;})\&CenterDot;{\mathrm{\&alpha;}}_{2,\mathrm{old}}+\mathrm{\&lambda;}\&CenterDot;\frac{{\mathrm{\&rho;}}_2}{\sqrt{{\mathrm{\&rho;}}_1^2+{\mathrm{\&rho;}}_2^2}},$

其中，α_1,old和α_2,old是上一帧权重系数，α_1,cur和α_2,cur是当前帧权重系数，λ是比例系数。

(5)计算当前帧目标跟踪新位置y₁；

$y_1={\mathrm{\&alpha;}}_1\&CenterDot;\frac{\underset{i=1}{\overset{n^{\&prime;}}{\mathrm{\&Sigma;}}}{x}_i\&CenterDot;w_{i,1}}{\underset{i=1}{\overset{n^{\&prime;}}{\mathrm{\&Sigma;}}}{w}_{i,1}}+{\mathrm{\&alpha;}}_2\&CenterDot;\frac{\underset{i=1}{\overset{n^{\&prime;}}{\mathrm{\&Sigma;}}}{x}_i\&CenterDot;w_{i,2}}{\underset{i=1}{\overset{n^{\&prime;}}{\mathrm{\&Sigma;}}}{w}_{i,2}},$

$w_{i,1}=\underset{u=1}{\overset{m_1}{\mathrm{\&Sigma;}}}\sqrt{\frac{q_u}{p_u\left(y_0\right)}}\&CenterDot;\mathrm{\&delta;}[b_1\left(x_i\right)-u],$

$w_{i,2}=\underset{v=1}{\overset{m_2}{\mathrm{\&Sigma;}}}\sqrt{\frac{q_v}{p_v\left(y_0\right)}}\&CenterDot;\mathrm{\&delta;}[b_2\left(x_i\right)-v],$

其中，_n'是候选目标像素点个数，h是核函数带宽，q_u、q_v、p_u、p_v、α₁、α₂、x_i、b₁(·)、b₂(·)的含义与步骤(2)、(3)、(4)中的定义相同。

(6)利用灰度特征和LBP纹理特征的Bhattacharyya系数ρ'₁、ρ'₂以及权重系数α'₁、α'₂，计算位置y₁处联合特征Bhattacharyya系数ρ'，表达式如下；

ρ′＝α′₁·ρ′₁+α′₂·ρ′₂，

${\mathrm{\&rho;}}_1^{\&prime;}=\underset{u=1}{\overset{m_1}{\mathrm{\&Sigma;}}}\sqrt{p_u^{\&prime;}\&CenterDot;q_u},$

${\mathrm{\&rho;}}_2^{\&prime;}=\underset{v=1}{\overset{m_2}{\mathrm{\&Sigma;}}}\sqrt{p_v^{\&prime;}\&CenterDot;q_v},$

灰度特征权重系数α'₁、LBP纹理特征α'₂更新表达式如下所示：

${\mathrm{\&alpha;}}_1^{\&prime;}=(1-\mathrm{\&lambda;})\&CenterDot;{\mathrm{\&alpha;}}_{1,\mathrm{old}}^{\&prime;}+\mathrm{\&lambda;}\&CenterDot;\frac{{\mathrm{\&rho;}}_1^{\&prime;}}{\sqrt{{\mathrm{\&rho;}}_1^{\&prime;}\&CenterDot;{\mathrm{\&rho;}}_1^{\&prime;}+{\mathrm{\&rho;}}_2^{\&prime;}\&CenterDot;{\mathrm{\&rho;}}_2^{\&prime;}}}$

${\mathrm{\&alpha;}}_2^{\&prime;}=(1-\mathrm{\&lambda;})\&CenterDot;{\mathrm{\&alpha;}}_{2,\mathrm{old}}^{\&prime;}+\mathrm{\&lambda;}\&CenterDot;\frac{{\mathrm{\&rho;}}_2^{\&prime;}}{\sqrt{{\mathrm{\&rho;}}_1^{\&prime;}\&CenterDot;{\mathrm{\&rho;}}_1^{\&prime;}+{\mathrm{\&rho;}}_2^{\&prime;}\&CenterDot;{\mathrm{\&rho;}}_2^{\&prime;}}},$

其中，α'_1,old和α'_2,old是上一帧权重系数，λ是比例系数。

(7)当ρ'<ρ时，否则y₁保持不变；

(8)如果abs(y₀-y₁)<0.01则停止，否则，y₀←y₁，执行步骤(3)。

图2为传统技术，图3为根据本实施例得到的仅利用单特征(灰度特征)和多特征融合的红外图像目标跟踪结果，因为为红外图像，所以不可避免出现灰度颜色。其中图2a、2b、2c、2d分别表示第20帧、第80帧、第140帧以及第200帧的图像，图3a、3b、3c、3d分别表示第20帧、第80帧、第140帧以及第200帧的图像。对比图2和图3发现：仅利用单特征对目标跟踪会引起跟踪过程不稳定，跟踪精度差，如图2跟踪波门随机摆动；利用多特征融合的跟踪方法能有效提高跟踪精度，如图3跟踪波门始终在目标型心附近。

本发明提供了一种多特征融合的红外图像目标实时跟踪方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (5)

1.一种多特征融合的红外图像目标实时跟踪方法，其特征在于，包括以下步骤：

(1)给定目标初始跟踪点位置y₀；

(2)初始化目标模型，以初始跟踪点y₀为中心建立目标灰度模型q₁和目标LBP纹理模型q₂；

(3)计算目标候选模型，根据目标的跟踪点位置y₀，计算候选目标灰度模型p₁(y₀)和候选目标LBP纹理模型p₂(y₀)；

(4)利用灰度特征Bhattacharyya系数ρ₁和LBP纹理特征的Bhattacharyya系数ρ₂，以及灰度特征的权重系数α₁和LBP纹理特征的权重系数α₂，计算位置y₀处联合特征Bhattacharyya系数ρ，表达式如下：

ρ＝α₁·ρ₁+α₂·ρ₂；

(5)计算当前帧目标新位置y₁；

(6)利用灰度特征Bhattacharyya系数ρ'₁和LBP纹理特征Bhattacharyya系数ρ'₂，以及灰度特征的权重系数α'₁和LBP纹理特征的权重系数α'₂，计算位置y₁处联合特征Bhattacharyya系数ρ'，表达式如下；

ρ′＝α′₁·ρ′₁+α′₂·ρ′₂，

(7)当ρ'＜ρ时，否则y₁保持不变；

(8)若|(y₀-y₁)|＜ε，停止计算，否则，将y₁赋值给y₀并执行步骤(3)，其中，ε是误差常系数；

步骤(4)中灰度特征的权重系数α₁和LBP纹理特征的权重系数α₂，步骤(6)中灰度特征的权重系数α'₁和LBP纹理特征的权重系数α'₂采用迭代方式更新，计算式分别如下：

α₁＝(1-λ)·α_1,old+λ·α_1,cur，

α₂＝(1-λ)·α_2,old+λ·α_2,cur，

α'₁＝(1-λ)·α'_1,old+λ·α'_1,cur，

α'₂＝(1-λ)·α'_2,old+λ·α'_2,cur，

其中，α_1,old和α_2,old分别是步骤(4)中上一帧灰度特征和LBP纹理特征的权重系数，α_1,cur和α_2,cur分别是步骤(4)中当前帧灰度特征和LBP纹理特征的权重系数，α'_1,old和α'_2,old分别是步骤(6)中上一帧灰度特征和LBP纹理特征的权重系数，α'_1,cur和α'_2,cur是步骤(6)中当前帧灰度特征和LBP纹理特征的权重系数，λ是比例系数。

2.根据权利要求1所述的一种多特征融合的红外图像目标实时跟踪方法，其特征在于，步骤(2)中，目标灰度模型q₁为：

$q_1={\left\{q_u\right\}}_{u=1...m_1},\underset{u=1}{\overset{m_1}{\mathrm{\&Sigma;}}}{q}_u=1,$

目标LBP纹理模型q₂为：

$q_2={\left\{q_v\right\}}_{v=1...m_2},\underset{v=1}{\overset{m_2}{\mathrm{\&Sigma;}}}{q}_v=1,$

其中，q_u为目标灰度模型灰度特征的各级概率密度，q_v为LBP纹理特征的各级概率密度，m₁为目标灰度模型灰度特征的最大量化级数范围，m₂为LBP纹理特征的最大量化级数范围，u表示灰度量化级数，v表示纹理量化级数。

3.根据权利要求1所述的一种多特征融合的红外图像目标实时跟踪方法，其特征在于，步骤(3)中，候选目标灰度模型p₁为：

$p_1={\left\{p_u\right\}}_{u=1...m_1},\underset{u=1}{\overset{m_1}{\mathrm{\&Sigma;}}}{p}_u=1,$

候选目标LBP纹理模型p₂为：

$p_2={\left\{p_v\right\}}_{v=1...m_2},\underset{v=1}{\overset{m_2}{\mathrm{\&Sigma;}}}{p}_v=1,$

p_u为目标灰度模型灰度特征的各级概率密度，p_v为目标灰度模型灰度特征和LBP纹理特征的各级概率密度，m₁为目标灰度模型灰度特征的最大量化级数范围，m₂为LBP纹理特征的最大量化级数范围，u表示灰度量化级数，v表示纹理量化级数。

4.根据权利要求1所述的一种多特征融合的红外图像目标实时跟踪方法，其特征在于，步骤(4)中当前帧灰度特征的权重系数α_1,cur和LBP纹理特征的权重系数α_2,cur，步骤(6)中当前帧灰度特征的权重系数α'_1,cur和LBP纹理特征的权重系数α'_2,cur，计算式分别如下：

${\mathrm{\&alpha;}}_{1,\mathrm{cur}}=\frac{{\mathrm{\&rho;}}_1}{\sqrt{{\mathrm{\&rho;}}_1^2+{\mathrm{\&rho;}}_2^2}},$

${\mathrm{\&alpha;}}_{2,\mathrm{cur}}=\frac{{\mathrm{\&rho;}}_2}{\sqrt{{\mathrm{\&rho;}}_1^2+{\mathrm{\&rho;}}_2^2}},$

${\mathrm{\&alpha;}}_{1,\mathrm{cur}}^{\&prime;}=\frac{{\mathrm{\&rho;}}_1^{\&prime;}}{\sqrt{{\mathrm{\&rho;}}_1^{\&prime;}\&CenterDot;{\mathrm{\&rho;}}_1^{\&prime;}+{\mathrm{\&rho;}}_2^{\&prime;}\&CenterDot;{\mathrm{\&rho;}}_2^{\&prime;}}},$

${\mathrm{\&alpha;}}_{2,\mathrm{cur}}^{\&prime;}=\frac{{\mathrm{\&rho;}}_2^{\&prime;}}{\sqrt{{\mathrm{\&rho;}}_1^{\&prime;}\&CenterDot;{\mathrm{\&rho;}}_1^{\&prime;}+{\mathrm{\&rho;}}_2^{\&prime;}\&CenterDot;{\mathrm{\&rho;}}_2^{\&prime;}}},$

其中，ρ₁是步骤(4)中灰度特征的Bhattacharyya系数，ρ₂是步骤(4)中LBP纹理特征的Bhattacharyya系数，ρ'₁是步骤(6)中灰度特征的Bhattacharyya系数，ρ'₂是步骤(6)中LBP纹理特征的Bhattacharyya系数。

5.根据权利要求4所述的一种多特征融合的红外图像目标实时跟踪方法，其特征在于，步骤(6)中灰度特征Bhattacharyya系数ρ'₁和LBP纹理特征的Bhattacharyya系数ρ'₂，以及灰度特征的权重系数α'₁和LBP纹理特征的权重系数α'₂通过以下公式得到：

${\mathrm{\&rho;}}_1^{\&prime;}=\underset{u=1}{\overset{m_1}{\mathrm{\&Sigma;}}}\sqrt{{\mathrm{\&rho;}}_u^{\&prime;}\&CenterDot;q_u},$

${\mathrm{\&rho;}}_2^{\&prime;}=\underset{v=1}{\overset{m_2}{\mathrm{\&Sigma;}}}\sqrt{{\mathrm{\&rho;}}_v^{\&prime;}\&CenterDot;q_v},$

p'_u是位置y₁处的目标灰度模型灰度特征的各级概率密度，p'_v是位置y₁处LBP纹理特征的各级概率密度。