CN1619593A - 基于多特征信息融合的视频运动目标自适应跟踪方法 - Google Patents

Abstract

一种基于多特征信息融合的视频运动目标自适应跟踪方法，用于计算机视觉、图像处理与模式识别领域。本发明首先提取出目标的特征信息，然后利用模糊逻辑方法对各种特征信息进行自适应融合，并将融合后的信息用于描述目标的观测信息，最后采用具有启发式搜索功能的遗传算法在当前图像目标候选区域内找出与目标模板观测信息最相似的候选目标。本发明通过自适应融合各特征信息以及在目标搜索时采用启发式搜索方法使得跟踪的可靠性大大提高，可广泛应用于视频监控***、视频会议***、机器人视觉导航***、工业产品监控***、军事目标跟踪***等各类民用及军用***中，具有广阔的市场前景和应用价值。

Description

基于多特征信息融合的视频运动目标自适应跟踪方法

技术领域

本发明涉及的是一种用于图像处理技术领域的自适应跟踪的方法，具体是一种基于多特征信息融合的视频运动目标自适应跟踪方法。

背景技术

视频目标跟踪是计算机视觉、图像处理与模式识别领域的一个研究热点。对视频图像中目标的实时准确跟踪在民用和军用上均具有广泛的应用前景。视频目标跟踪一直存在一些难点，如：跟踪期间目标的特征发生明显变化、跟踪期间目标发生遮挡、背景图像中的各种干扰等等。针对这些难点，国内外学者提出了很多种跟踪方法，这些方法包括Kalman filter、Condensation、MeanShift以及CamShift等，但是多数是利用目标的单一特征信息对目标进行跟踪，往往很难实现对目标的鲁棒跟踪，这是因为目标的特征信息在跟踪期间会由于目标的自身运动或背景图像的干扰而发生变化，如果目标的某一特征信息发生了变化，若仍利用该特征信息跟踪目标，则会造成跟踪失败。针对单一特征信息下视频目标跟踪方法存在的鲁棒性差等问题，许多学者提出了利用目标的多种特征信息对目标进行跟踪。这种方法的优点是各种特征信息间可以实现信息互补，如果其中一种特征信息在跟踪期间失效，可以利用其他特征信息继续维持对目标的跟踪。这种方法的难点在于实现各种特征信息的最优融合。目前大多数基于多特征信息融合的跟踪方法在融合各特征信息时，对各特征采用了固定权值，这种融合方法的不足是：如果跟踪期间有一个特征信息变化明显，而其权值保持不变，则融合后的信息会不可靠，利用这种信息跟踪目标会导致跟踪效果不理想，甚至会跟踪失败。

经对现有技术文献的检索发现，D.Comaniciu等在《IEEE Transactions onPattern Analysis and Machine Intelligence》(pp.564-577，2003)上发表“Kernel-based Object Tracking”(基于核的目标跟踪，模式分析与机器智能IEEE杂志)。该文提出了利用颜色和边缘特征信息跟踪目标的方法，文中的试验结果说明该方法具有较好的跟踪性能。但该方法没有考虑目标颜色发生明显变化时的情况以及没有充分利用颜色和边缘特征间的互补信息，因此该方法在实际应用中常常会由于场景的动态变化而变得不适用。

发明内容

本发明的目的在于克服现有技术中的不足，提供一种基于多特征信息融合的视频运动目标自适应跟踪方法，使其提高了对复杂环境下运动目标的跟踪能力。

本发明是通过以下技术方案实现的，本发明首先提取目标的特征信息，然后利用模糊逻辑方法对各种特征信息进行自适应融合，并将融合后的信息用于描述目标的观测信息，最后进行基于遗传算法的目标搜索，采用具有启发式搜索功能的遗传算法在当前图像目标候选区域内找出与目标模板观测信息最相似的候选目标。

以下对本发明方法作进一步的说明，具体内容如下：

(1)提取目标的特征信息

目标的特征在本发明中是颜色和形状特征。目标的颜色特征主要是由它的颜色分布反映的，在描述颜色分布时，采用了带空间位置信息的加权颜色直方图，该直方图考虑了像素的空间位置信息，提高了描述颜色特征的鲁棒性；目标形状特征的提取是通过对图像进行边缘提取以及进行距离变换后得到的，在描述目标形状特征时，采用了椭圆模板，即采用不同大小的椭圆近似描述图像中目标的形状。这主要是由于被跟踪目标为人的头部，一般情况下，人的头部轮廓形状可以用一椭圆近似描述。

(2)特征信息自适应融合

在融合颜色和形状特征信息时，采用了模糊逻辑方法自适应调节两者的权值。模糊逻辑根据当前帧目标颜色和形状信息的可信度调节下一帧融合信息中两者的权重，实现两种特征信息的自适应加权融合。

(3)基于遗传算法的目标搜索

在目标搜索时，采用了遗传算法；遗传算法是种启发式搜索方法，其搜索效率远远优于穷举搜索法。遗传算法在当前帧图像目标候选区域内不断迭代寻优搜索出与目标模板观测信息最相似的候选目标。在利用遗传算法搜索目标时，首先对候选目标所在区域的中心及半径进行编码，然后利用交叉和变异算子不断产生新的个体，最后利用选择算子找出适应度最好的个体，该个体解码得到的实数即对应当前帧目标的位置及其所在区域的半径大小。

本发明采用了颜色和形状的融合信息描述目标的观测信息；在融合颜色和形状信息时，采用了自适应融合的方法，大大提高了目标观测信息的可靠性；在该融合方法中，模糊逻辑根据当前帧目标颜色和形状信息的可信度在线调节下一帧观测信息中两者的权重，实现了颜色和形状信息的自适应加权融合；在目标搜索与跟踪期间，采用具有启发式搜索功能的遗传算法，提高了搜索效率。本发明通过自适应融合各特征信息以及在目标搜索时采用启发式搜索方法使得跟踪的可靠性大大提高，可以广泛应用于视频监控***、视频会议***、机器人视觉导航***、工业产品监控***、军事目标跟踪***等各类民用及军用***中，具有广阔的市场前景和应用价值。

附图说明

图1为本发明处理方法总体框图。

其中图1(a)为颜色和形状信息加权融合框图；图1(b)为在线调节权值框图；图1(c)为目标搜索过程框图。

图2为本发明中模糊逻辑***输入、输出变量的隶属度函数图。

图3为目标的跟踪效果图。

其中图3(a)为单独利用颜色信息的跟踪效果图；图3(b)为单独利用形状信息的跟踪效果图；图3(c)为非自适应融合的跟踪效果图；图3(d)为本发明的跟踪效果图。

图4为跟踪期间各特征信息权值的变化曲线图。

具体实施方式

为了更好地理解本发明的技术方案，以下结合附图对本发明的实施方式作进一步描述。

图1为本发明提出的一种基于多特征信息融合的视频运动目标自适应跟踪方法的总体框图。各部分具体实施细节如下：

图1(a)颜色和形状信息的加权融合框图

1.颜色信息

在描述目标颜色分布时，采用了带空间位置信息的颜色直方图方法，这种方法考虑了像素的空间位置信息，因此对颜色分布的描述更加鲁棒。如果已知目标区域(椭圆区域)的中心位置为x＝(x，y)；半径为h＝(h_x，h_y)，h_x、h_y分别为椭圆的长轴和短轴，目标区域内像素的位置为xi＝(x_i，y_i)，i＝1…n_h，则目标的颜色分布可以用如下公式描述：

${\hat{p}}^{\left(u\right)}(x,h)=C_h\underset{i=1}{\overset{n_h}{\mathrm{\Σ}}}g\left({\left|\right|\frac{x-x_i}{h}\left|\right|}^2\right)\mathrm{\δ}[b\left(x_i\right)-u]----\left(1\right)$

其中δ是Delta函数，n_h为目标区域内像素的总个数，函数b(x_i)是位于x_i处的像素在直方图上颜色级索引的映象，u为直方图中颜色级索引，u＝1，…，L，L为直方图上颜色级的总数，C_h为归一化常数，在 $\underset{u=1}{\overset{L}{\mathrm{\Σ}}}{\hat{p}}^{\left(u\right)}(x,h)=1$ 条件下，可得 $c_h=1/\underset{i=1}{\overset{n_h}{\mathrm{\Σ}}}g\left({\left|\right|\frac{x-x_i}{h}\left|\right|}^2\right),$ g(·)为权值函数：

函数g(·)将目标区域内不同位置上的像素赋予不同权值，与目标中心越近的像素，赋予的权值越大，这是由于目标的***像素可能被遮挡或属于背景像素，是相对不可靠的缘故。

2.颜色相似度

在评价颜色相似性时，采用Bhattacharyya距离来衡量。假设目标模板的颜色分布为 $\hat{q}={\left\{{\hat{q}}^{\left(u\right)}\right\}}_{u=1...L},$ 候选目标的颜色分布为 $\hat{p}(x,h)={\left\{{\hat{p}}^{\left(u\right)}(x,h)\right\}}_{u=1...L},$ 则候选目标与目标模板在颜色上的相似系数为：

$\mathrm{\ρ}[\hat{p}(x,h),\hat{q}]=\underset{u=1}{\overset{L}{\mathrm{\Σ}}}\sqrt{{\hat{p}}^{\left(u\right)}(x,h){\hat{q}}^{\left(u\right)}}----\left(3\right)$

该系数为Bhattacharyya系数，Bhattacharyya距离为：

$d_c[\hat{p}(x,h),\hat{q}]=\sqrt{1-\mathrm{\ρ}[\hat{p}(x,h),\hat{q}]}----\left(4\right)$

得到两颜色直方图的Bhattacharyya距离后，定义如下的颜色似然函数：

$p\left(z_c\right|x,h)=\frac{1}{\sqrt{2\mathrm{\π}}{\mathrm{\σ}}_c}\exp (-\frac{d_c^2[\hat{q},\hat{p}(x,h)]}{2{\mathrm{\σ}}_c^2})----\left(5\right)$

其中σ_c为高斯协方差，当(5)式中的值越大说明候选目标的颜色与目标模板的颜色越相似。

3.形状信息

本发明中被跟踪的目标为人的头部。一般情况下，人头部的轮廓形状近似于椭圆形状，因此可以用一椭圆近似表示目标的形状，即人头的形状模板为一椭圆。

4.形状相似度

在评价形状相似性时，采用Chamfer距离来衡量。如果已知目标形状模板的二值图为T，当前帧图像的二值图为I，当前帧的距离图像为DI。则候选目标与目标模板之间的Chamfer距离可通过如下公式计算，

$d_s[T(x,h),I]=\sqrt{\frac{1}{\left|T\right|}\underset{t\∈T}{\mathrm{\Σ}}\mathrm{DI}\left(t\right)}----\left(6\right)$

其中，T(x，h)表示形状模板在当前帧中的中心位置和大小分别为x和h，|T|代表图像T中像素值为“1”的像素总个数，t表示图像T中第t个像素值为“1”的像素，DI(t)表示当把图像T放于距离图像DI上时，位于图像T中第t个像素值为“1”的像素位置下的DI中的灰度值。得到两种形状之间的Chamfer距离后，定义如下的形状似然函数：

$p\left(z_s\right|x,h)=\frac{1}{\sqrt{2\mathrm{\π}}{\mathrm{\σ}}_s}\exp (-\frac{d_s^2[T(x,h),I]}{2{\mathrm{\σ}}_s^2})----\left(7\right)$

其中σ_s为高斯协方差，当(7)式中的值越大，说明候选目标的形状与形状模板越相似。

5.融合

目标的观测信息由颜色和形状信息共同描述，如果已知第n个候选目标的中心位置为x_n＝(x⁽ⁿ⁾，y⁽ⁿ⁾)及其所在区域的半径为 $h_n=(h_x^{\left(n\right)},h_y^{\left(n\right)}),$ 则该候选目标的观测似然函数定义如下：

     p(z|x_n，h_n)＝αp(z_c|x_n，h_n)+βp(z_s|x_n，h_n)，α+β＝1    (8)

其中p(z_c|x_n，h_n)和p(z_s|x_n，h_n)分别为颜色和形状的似然函数，0≤α≤1和0≤β≤1分别为颜色和形状信息的权值。如果(8)式中的值越大，则该候选目标与目标模板在颜色和形状上越相似，该候选目标为真实目标的可能性就越大。

图1(b)在线调节权值框图

1.颜色和形状信息的可信度

如果已知当前帧目标的中心位置为x＝(x，y)及其所在区域的半径为h＝(h_x，h_y)，则目标的颜色可信度定义为：

$e_c=\frac{1}{\sqrt{2\mathrm{\π}}{\mathrm{\σ}}_c}\exp (-\frac{d_c^2[\hat{q},\hat{p}(x,h)]}{2{\mathrm{\σ}}_c^2})----\left(9\right)$

目标的形状可信度定义为：

$e_s=\frac{1}{\sqrt{2\mathrm{\π}}{\mathrm{\σ}}_s}\exp (-\frac{d_s^2[T(x,h),I]}{2{\mathrm{\σ}}_s^2})----\left(10\right)$

2.模糊逻辑

多数基于多特征信息融合的目标跟踪方法在融合各个特征信息时，对各特征信息采用了固定的权值，即(8)式中的α和β在目标跟踪期间固定不变，这种融合方法在实际应用中会由于场景的动态变化以及目标的自身运动而变得不合适，常常会由于某个特征信息的突然变化，而导致跟踪效果不理想，甚至会跟踪失败。本发明为了克服这一缺点，采用模糊逻辑自适应调节各个特征信息的权值，实现了各特征信息的自适应加权融合。

模糊逻辑主要由四部分组成，即：模糊化、模糊规则基、模糊推理机制及解模糊。本发明采用了单点模糊化、乘积推理和重心解模糊，模糊规则采用了(11)式中的形式。

$R^j:\mathrm{if}{e}_1\mathrm{is}{A}_1^j\mathrm{and}{e}_2\mathrm{is}{A}_2^j\·\·\·\mathrm{and}{e}_N\mathrm{is}{A}_N^i\mathrm{thenuis}{B}^j----\left(11\right)$

其中R^j为第j条模糊规则，j＝1，…，k是模糊规则数，e_i为模糊逻辑的第i个输入(i＝1，…，N)，N为模糊逻辑输入的总数，u为模糊推理的结果，A_i ^j和B^j为输入和输出变量的模糊语言值，由隶属度函数表征。

模糊逻辑的输入为颜色信息可信度e_c和形状信息可信度e_s；模糊逻辑的输出为颜色信息权值α，形状信息权值β由(8)式计算得到。将e_c和e_s模糊化为{SR，S，M，B，BR}，α模糊化为{ST，VS，SR，S，M，B，BR，VB，BT}；各模糊语言变量含义为：ST(很小)、VS(小)、SR(较小)、S(微小)、M(中等)、B(微大)、BR(较大)、VB(大)、BT(很大)。输入和输出变量的隶属度函数以及模糊规则表分别如图2和表1所示。

        表1.模糊规则表

α		ec
			SR    S    M    B    BR
		es		SRSMBBR	M     B    BR   VB   BTS     M    B    BR   VBSR    S    M    B    BRVS    SR   S    M    BST    VS   SR   S    M

目标搜索过程如图1(c)

本发明中目标的搜索是由遗传算法来实现的，遗传算法具有启发式的搜索功能，在搜索效率上远远优于穷尽搜索法。

1.确定搜索空间

搜索空间是遗传算法初始个体分布的空间范围。假设前一帧图像中目标的中心位置及其所在区域的半径分别为x＝(x，y)和h＝(h_x，h_y)，则在当前帧中遗传算法的搜索空间为：在x上为[x-a，x+a]，在y上为[y-b，y+b]，在h_x上为[h_x-h_a，h_x+h_a]，在h_y上为[h_y-h_b，h_y+h_b]，其中a，b，h_a和h_b均为常数，这些参数的大小与目标的运动状态有关，当目标运动剧烈时，则a和b取大点，当目标大小变化剧烈时，则h_a和h_b取大点，反之，则均取小点。

2.产生初始个体

在利用遗传算法进行目标搜索时，首先要产生一些初始个体，这些个体在搜索空间内通过计算机随机产生，每个个体均为一二进制字符串，即对个体采用了二进制编码方式，其中每个个体对应着一种可能的解，遗传算法通过遗传操作不断作用于这些个体，并根据“适者生存”的自然原理选择出优良的个体。

3.交叉和变异

交叉和变异是遗传算法的两个重要参数，遗传算法通过这两个算子不断产生新的个体，并将父代个体的优秀特性遗传给子代个体。本发明中，采用了单点交叉方法和均匀变异方法；交叉率为p_c＝0.8，变异率为p_m＝0.01。

4.解码

由于群体中的个体是一二进制字符串，不能直接作为实际的解，因此必须将这些二进制字符串转换为实数。解码就是将这些二进制字符串转换为实数，这些实数分别对应一组可能的解。

5.颜色和形状信息的加权融合

群体中的每一个体通过解码得到一组实数，该组实数对应一候选目标的中心位置和其所在区域的半径。得到候选目标的中心位置和区域半径后，利用(5)式和(7)式计算出该候选目标与目标模板在颜色和形状上的相似度，然后利用(8)式将它们加权融合。加权融合具体过程如图1(a)所示。

6.适应度函数计算

适应度函数设计的依据是：当候选目标与目标模板在颜色和形状上越相似，则赋予该候选目标的适应度函数值越大。定义群体中第n个个体的适应度函数如下：

           f(x_n，h_n)＝p(z|x_n，h_n)                  (12)

其中x_n＝(x⁽ⁿ⁾，y⁽ⁿ⁾)和 $h_n=(h_x^{\left(n\right)},h_y^{\left(n\right)})$ 分别为第n个个体解码后所对应的实数，它们对应第n个候选目标的中心位置和其所在区域的半径，p(z|x_n，h_n)为该个体对应的候选目标的观测似然函数，在(8)式中作过定义。

7.终止条件

遗传算法搜索终止条件是其迭代次数，迭代次数越多，则搜索精度会越高，即目标的跟踪精度越高，但迭代次数越多，实时性越差，因此在实际中，只能在两者之间进行折中考虑来选择迭代次数。采用了15次迭代。

8.输出目标位置

在遗传算法终止条件满足后，适应度最好的个体被保留并解码，解码得到的实数即为该帧中目标的中心位置和其所在区域的半径。

9.计算颜色和形状信息的可信度

在得到当前帧目标位置和其所在区域的半径后，利用(9)式和(10)式计算出目标颜色和形状信息的可信度。

10.下一帧权值的计算

在得到当前帧目标颜色和形状信息的可信度后，利用模糊逻辑调节下一帧中颜色和形状信息在融合信息中的权重，具体调节过程如图1(b)所示。

图3为目标的跟踪效果图，其中图3(a)为单独利用颜色信息的跟踪效果图；图3(b)为单独利用形状信息的跟踪效果图；图3(c)为非自适应融合的跟踪效果图；图3(d)为本发明的跟踪效果图。从图中结果可以看出，本发明中的方法大大提高了对复杂环境下运动目标的跟踪能力。

图4为跟踪期间各特征信息权值的变化曲线图。从图中可以看出，在颜色信息或形状信息变得不可靠时，本发明中的融合方法可以通过降低其权值来削弱它们在融合信息中的影响。

Claims (4)

1、一种基于多特征信息融合的视频运动目标自适应跟踪方法，其特征在于，首先提取目标的特征信息，然后利用模糊逻辑方法对各种特征信息进行自适应融合，并将融合后的信息用于描述目标的观测信息，最后进行基于遗传算法的目标搜索，采用具有启发式搜索功能的遗传算法在当前图像目标候选区域内找出与目标模板观测信息最相似的候选目标。

2、根据权利要求1所述的基于多特征信息融合的视频运动目标自适应跟踪方法，其特征是，所述的提取目标的特征信息，具体如下：

目标的特征是颜色和形状特征，目标的颜色特征主要是由它的颜色分布反映的，在描述颜色分布时，采用了带空间位置信息的加权颜色直方图，该直方图考虑了像素的空间位置信息，提高了描述颜色特征的鲁棒性；目标形状特征的提取是通过对图像进行边缘提取以及进行距离变换后得到的，在描述目标形状特征时，采用了椭圆模板，即采用椭圆近似描述图像中目标的形状。

3、根据权利要求1所述的基于多特征信息融合的视频运动目标自适应跟踪方法，其特征是，所述的特征信息的自适应融合，具体如下：

在融合颜色和形状特征信息时，采用了模糊逻辑方法自适应调节两者的权值，模糊逻辑根据当前帧目标颜色和形状信息的可信度调节下一帧融合信息中两者的权重，实现两种特征信息的自适应加权融合。

4、根据权利要求1所述的基于多特征信息融合的视频运动目标自适应跟踪方法，其特征是，所述的基于遗传算法的目标搜索，具体如下：

在目标搜索时，采用了具有启发式搜索功能的遗传算法，遗传算法在当前帧图像目标候选区域内不断迭代寻优搜索出与目标模板观测信息最相似的候选目标，该候选目标即为要跟踪的目标，在利用遗传算法搜索目标时，首先对候选目标所在区域的中心及半径进行编码，然后利用交叉和变异算子不断产生新的个体，最后利用选择算子找出适应度最好的个体，该个体解码得到的实数即对应当前帧目标的位置及其所在区域的半径大小。

Images