CN102609722A - 视频图像中形状的局部与全局特征结构融合方法 - Google Patents

Abstract

本发明公开了一种视频图像中形状的局部与全局特征结构融合方法，采用形状轮廓上下文描述形状局部特征，采用轮廓点分布直方图描述形状全局特征；用x²测度分别进行形状局部结构和全局特征结构的度量；最终通过矩阵谱优化求解的方法进行形状局部特征结构和全局特征结构的融合映射，获得特征表征。本发明填补了现有技术的空白，能获得无监督聚类和分类判别能力强的特征表征。

Description

视频图像中形状的局部与全局特征结构融合方法

技术领域

本发明属于视频监控图像处理领域，具体涉及一种视频图像中形状的局部与全局特征结构融合方法。

背景技术

近年来，基于内容分析的智能视频监控***的应用越来越多，要实现视频监控图像的智能分析和识别目标，形状的表征与认知是需要解决的重要问题。由于单一特征表征不充分，使得形状的表征具有多样性，多特征可以从多个视角挖掘形状的独特判别特性，而多特征从结构难以融合，导致特征的表征不精确。这种情况当前的方法无法进行特征的结构融合，进而无法更加准确的表征形状轮廓特征。因此，提出形状的局部与全局特征结构融合方法，进而获得分类判别能力强的特征表征，是急需解决的问题。

发明内容

本发明的目的是提供一种视频图像中形状的局部与全局特征结构融合方法，填补了现有技术的空白，能获得无监督聚类和分类判别能力强的特征表征。

本发明所采用的技术方案是，一种视频图像中形状的局部与全局特征结构融合方法，其特征在于，包括以下步骤：

步骤1、采用形状轮廓上下文描述形状局部特征，采用轮廓点分布直方图描述形状全局特征；

步骤2、用x²测度分别进行形状局部结构和全局特征结构的度量；

步骤3、最终通过矩阵谱优化求解的方法进行形状局部特征结构和全局特征结构的融合映射，获得特征表征。

其中，步骤1的具体方法为：

设I为形状轮廓图像，I(x，y)为I在坐标(x，y)处的像素值，x和y分别表示点的横纵坐标，c(x，y)为I的重心，x_c和y_c分别是c(x，y)的横纵坐标：

$x_c=\frac{\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}x\×I(x,y)}{\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}I(x,y)},$

$y_c=\frac{\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}y\×I(x,y)}{\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}I(x,y)},$

描述设有n个点，n取值为20，在形状轮廓上以等间隔采样的方法获得形状轮廓的关键点集p＝{p₁(x，y)，p₂(x，y)，...，p_n(x，y)}；获得轮廓上关键点后，以每个关键点p_k(x，y)(1≤k≤20)为中心，以距离p_k(x，y)最远轮廓上关键点的欧氏距离为半径形成形状轮廓外接圆；

以p_k(x，y)为原点建立极坐标，极坐标的起点为p_k(x，y)和c(x，y)的连接线方向；在角度上分18等份，径向上分等5份，使轮廓外接圆上形成90个区域，统计在每个区域上关键点的个数，根据角度从小到大和径向距离从小到大形成90维的向量h_x1(k)，统计的起点为极坐标的起点；通过向量除以向量的均值进行归一化处理；形状可表征成90×n的向量x1，即为形状轮廓上下文描述形状局部特征；

以c(x，y)为原点建立极坐标，形状轮廓外接圆的中心在c(x，y)上，在角度上分18等份，径向上分等5份，使轮廓外接圆上形成90个区域，统计在每个区域上关键点的个数，根据角度从小到大和径向距离从小到大形成90维的向量h_x2(c)，统计的起点为极坐标角度为0度的方向，形状表征为90维的向量x2，即为轮廓点分布直方图描述形状全局特征。

步骤2的具体方法为：

设有m个形状，根据步骤1得到该m个形状的局部特征集和全局特征集分别为X1＝[x1₁，X1₂，...，X1_m]^T和X2＝[x2₁，x2₂，...，X2_m]^T，形状的局部特征结构度量为d_X1(x1_i，x1_j)，x1_i和x1_j为形状i和形状j的局部特征表征；形状的全局特征结构度量为d_X2(x2_i，x2_j)，x2_i和x2_j为形状i和形状j的全局特征表征，分别由下式计算：

$d_{X1}({x1}_i,{x1}_j)=\frac{1}{2}\underset{1\≤k\≤n}{\mathrm{\Σ}}\frac{{[h_{{x1}_i}\left(k\right)-h_{{x1}_j}\left(k\right)]}^2}{h_{{x1}_i}\left(k\right)+h_{{x1}_j}\left(k\right)},$

和

为形状i和形状j的轮廓点p_k(x，y)处的h_x1(k)，

$d_{X2}({x2}_i,{x2}_j)=\frac{1}{2}\frac{{[h_{{x2}_i}\left(c\right)-h_{{x2}_j}\left(c\right)]}^2}{h_{{x2}_i}\left(c\right)+h_{{x2}_j}\left(c\right)},$

和

为形状i和形状j的重心点c(x，y)处的h_x2(c)。

步骤3的具体方法为：

定义X1＝[x1₁，x1₂..，x1_m]^T和X2＝[x2₁，x2₂，...，x2_m]^T特征结构测度相似矩阵，以步骤  2  计算得到度量的相似矩阵为W1＝{W1_i，j}和W2＝{W2_i，j}(i＝1，2，...，mj＝1，2，...，m)如下式：

x1_i的近邻定义为d_X1(x1_i，x1_j)最小的5个特征表征；x2_i的近邻定义为d_X2(x2_i，x2_j)最小的5个特征表征：

X＝[X1 X2]，

W_i，j＝W1_i，j+W2_i，j，

W_i，j为W矩阵在i行j列的元素

L＝D-W，

其中， $D_{\mathrm{ii}}=\underset{j}{\mathrm{\Σ}}{W}_{i,j},$

XLX^Tα＝λXX^Tα，

通过矩阵谱优化求解方法，求解最小的d个广义特征值λ₁＜λ₂＜...＜λ_d对应的特征向量α₁，α₂，...，α_d，则保持近邻相似度特性的线性变换矩阵为：

A＝[α₁，α₂，...，α_d]，

最终结构融合的特征为Y：

Y＝A^TX  。

本发明方法在获取形状轮廓的前提下，针对形状单一特征表征不充分，多特征难以结构融合，不能显现特征本质的分辨特性，提出形状的局部与全局特征结构融合方法，这种方法不仅从不同角度的特征描述中提取了更近似的数据本质结构，而且在计算量变化不大的前提下降低了数据特征的维度。其结构融合理论方法的思想不局限于形状的特征结构融合，对于各种特征结构融合普遍适用。

具体实施方式

本发明视频图像中形状的局部与全局特征结构融合方法，包括以下步骤：

步骤1、采用形状轮廓上下文描述形状局部特征，采用轮廓点分布直方图描述形状全局特征。局部和全局特征表征有多种方法，能充分表现轮廓空间点分布的特征为形状上下文描述局部点特征和轮廓点分布直方图，因为其在特征描述时不仅考虑到相对距离，还考虑到了相关角度。

具体方法为：

设I为形状轮廓图像，I(x，y)为I在坐标(x，y)处的像素值，x和y分别表示点的横纵坐标，c(x，y)为I的重心，x_c和y_c分别是c(x，y)的横纵坐标：

$x_c=\frac{\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}x\×I(x,y)}{\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}I(x,y)},$

$y_c=\frac{\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}y\×I(x,y)}{\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}I(x,y)},$

描述设有n个点，n取值为20，n取值能根据形状的复杂程度调整。在形状轮廓上以等间隔采样的方法获得形状轮廓的关键点集p＝{p₁(x，y)，p₂(x，y)，...，p_n(x，y)}，获得轮廓上关键点后，以每个关键点p_k(x，y)(1≤k≤20)为中心，以距离p_k(x，y)最远轮廓上关键点的欧氏距离为半径形成形状轮廓外接圆；

以p_k(x，y)为原点建立极坐标，极坐标的起点为p_k(x，y)和c(x，y)的连接线方向；在角度上分18等份，径向上分等5份，使轮廓外接圆上形成90个区域，统计在每个区域上关键点的个数，根据角度从小到大和径向距离从小到大形成90维的向量h_x1(k)，统计的起点为极坐标的起点；为了保证尺度不变，通过向量除以向量的均值进行归一化处理。因为参考点在轮廓上，所以特征具有天然的平移不变性。描述设有n个点，形状可表征成90×n的向量x1，即为形状轮廓上下文描述形状局部特征。

全局特征表征为轮廓空间点分布的特征，以c(x，y)为原点建立极坐标，形状轮廓外接圆的中心在c(x，y)上，在角度上分18等份，径向上分等5份，使轮廓外接圆上形成90个区域，统计在每个区域上关键点的个数，根据角度从小到大和径向距离从小到大形成90维的向量h_x2(c)，统计的起点为极坐标角度为0度的方向，形状表征为90维的向量x2，即为轮廓点分布直方图描述形状全局特征。对于几何变换和非线性变换，和局部特征表征有相似的性质。

步骤2、用x²测度分别进行形状局部结构和全局特征结构的度量。因为选取的局部和全局特征描述都是分布特征，而且分布值特征因旋转变换产生周期性平移，欧氏距离不能直接测度偏移的分布值特征，所以选用x²测度。具体方法为：

设有m个形状，根据步骤1得到该m个形状的局部特征集和全局特征集分别为X1＝[x1₁，x1₂，...，x1_m]^T和X2＝[x2₁，x2₂，...，x1_m]^T，形状的局部特征结构度量为d_X1(x1_i，x1_j)，x1_i和x1_j为形状i和形状j的局部特征表征；形状的全局特征结构度量为d_X2(x2_i，x2_j)，x2_i和x2_j为形状i和形状j的全局特征表征，分别由下式计算：

$d_{X1}({x1}_i,{x1}_j)=\frac{1}{2}\underset{1\≤k\≤n}{\mathrm{\Σ}}\frac{{[h_{{x1}_i}\left(k\right)-h_{{x1}_j}\left(k\right)]}^2}{h_{{x1}_i}\left(k\right)+h_{{x1}_j}\left(k\right)},$

和为形状i和形状j的轮廓点p_k(x，y)处的h_x1(k)，

$d_{X2}({x2}_i,{x2}_j)=\frac{1}{2}\frac{{[h_{{x2}_i}\left(c\right)-h_{{x2}_j}\left(c\right)]}^2}{h_{{x2}_i}\left(c\right)+h_{{x2}_j}\left(c\right)},$

和

为形状i和形状j的重心点c(x，y)处的h_x2(c)。

步骤3、最终通过矩阵谱优化求解的方法进行形状局部特征结构和全局特征结构的融合映射，获得特征表征。具体方法为：

定义X1＝[x1₁，x1₂，...，x1_m]^T和X2＝[x2₁，x2₂，...，x2_m]^T特征结构测度相似矩阵，以步骤  2  计算得到度量的相似矩阵为W1＝{W1_i，j}和W2＝{W2_i，j}(i＝1，2，...，mj＝1，2，...，m)如下式：

x1_i的近邻定义为d_X1(x1_i，x1_j)最小的5个特征表征；x2_i的近邻定义为d_X2(x2_i，x2_j)最小的5个特征表征：

X＝[x1 X2]，

W_i，j＝W1_i，j+W2_i，j，

W_i，j为W矩阵在i行j列的元素

L＝D-W，

其中， $D_{\mathrm{ii}}=\underset{j}{\mathrm{\Σ}}{W}_{i,j},$

XLX^Tα＝λXX^Tα，

通过矩阵谱优化求解方法，求解最小的d个广义特征值λ₁＜λ₂＜...＜λ_d对应的特征向量α₁，α₂，...，α_d，则保持近邻相似度特性的线性变换矩阵为：

A＝[α₁，α₂，...，α_d]，

最终结构融合的特征为Y：

Y＝A^TX。

Claims (4)

1.一种视频图像中形状的局部与全局特征结构融合方法，其特征在于，包括以下步骤：

步骤1、采用形状轮廓上下文描述形状局部特征，采用轮廓点分布直方图描述形状全局特征；

步骤2、用x²测度分别进行形状局部结构和全局特征结构的度量；

步骤3、最终通过矩阵谱优化求解的方法进行形状局部特征结构和全局特征结构的融合映射，获得特征表征。

2.按照权利要求1所述的视频图像中形状的局部与全局特征结构融合方法，其特征在于，所述步骤1的具体方法为：

设I为形状轮廓图像，I(x，y)为I在坐标(x，y)处的像素值，x和y分别表示点的横纵坐标，c(x，y)为I的重心，x_c和y_c分别是c(x，y)的横纵坐标：

$x_c=\frac{\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}x\×I(x,y)}{\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}I(x,y)},$

$y_c=\frac{\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}y\×I(x,y)}{\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}I(x,y)},$

描述设有n个点，n取值为20，在形状轮廓上以等间隔采样的方法获得形状轮廓的关键点集p＝{p₁(x，y)，p₂(x，y)，...，p_n(x，y)}；获得轮廓上关键点后，以每个关键点p_k(x，y)(1≤k≤20)为中心，以距离p_k(x，y)最远轮廓上关键点的欧氏距离为半径形成形状轮廓外接圆；

以p_k(x，y)为原点建立极坐标，极坐标的起点为p_k(x，y)和c(x，y)的连接线方向；在角度上分18等份，径向上分等5份，使轮廓外接圆上形成90个区域，统计在每个区域上关键点的个数，根据角度从小到大和径向距离从小到大形成90维的向量h_x1(k)，统计的起点为极坐标的起点；通过向量除以向量的均值进行归一化处理；形状可表征成90×n的向量x1，即为形状轮廓上下文描述形状局部特征；

以c(x，y)为原点建立极坐标，形状轮廓外接圆的中心在c(x，y)上，在角度上分18等份，径向上分等5份，使轮廓外接圆上形成90个区域，统计在每个区域上关键点的个数，根据角度从小到大和径向距离从小到大形成90维的向量h_x2(c)，统计的起点为极坐标角度为0度的方向，形状表征为90维的向量x2，即为轮廓点分布直方图描述形状全局特征。

3.按照权利要求2所述的视频图像中形状的局部与全局特征结构融合方法，其特征在于，所述步骤2的具体方法为：

设有m个形状，根据步骤1得到该m个形状的局部特征集和全局特征集分别为X1＝[x1₁，x1₂，...，x1_m]^T和X2＝[x2₁，x2₂，...，x2_m]^T，形状的局部特征结构度量为d_X1(x1_i，x1_j)，x1_i和x1_j为形状i和形状j的局部特征表征；形状的全局特征结构度量为d_X2(x2_i，x2_j)，x2_i和x2_j为形状i和形状j的全局特征表征，分别由下式计算：

$d_{X1}({x1}_i,{x1}_j)=\frac{1}{2}\underset{1\≤k\≤n}{\mathrm{\Σ}}\frac{{[h_{{x1}_i}\left(k\right)-h_{{x1}_j}\left(k\right)]}^2}{h_{{x1}_i}\left(k\right)+h_{{x1}_j}\left(k\right)},$

和

为形状i和形状j的轮廓点p_k(x，y)处的h_x1(k)，

$d_{X2}({x2}_i,{x2}_j)=\frac{1}{2}\frac{{[h_{{x2}_i}\left(c\right)-h_{{x2}_j}\left(c\right)]}^2}{h_{{x2}_i}\left(c\right)+h_{{x2}_j}\left(c\right)},$

和

为形状i和形状j的重心点c(x，y)处的h_x2(c)。

4.按照权利要求3所述的视频图像中形状的局部与全局特征结构融合方法，其特征在于，所述步骤3的具体方法为：

定义X1＝[x1₁，x1₂..，x1_m]^T和X2＝[x2₁，x2₂，...，x2_m]^T特征结构测度相似矩阵，以步骤2计算得到度量的相似矩阵为W1＝{W1_i，j}和W2＝{W2_i，j}(i＝1，2，...，mj＝1，2，...，m)如下式：

x1_i的近邻定义为d_X1(x1_i，x1_j)最小的5个特征表征；x2_i的近邻定义为d_X2(x2_i，x2_j)最小的5个特征表征：

X＝[X1 X2]，

W_i，j＝W1_i，j+W2_i，j，

W_i，j为W矩阵在i行j列的元素

L＝D-W，

其中， $D_{\mathrm{ii}}=\underset{j}{\mathrm{\Σ}}{W}_{i,j},$

XLX^Tα＝λXX^Tα，

通过矩阵谱优化求解方法，求解最小的d个广义特征值λ₁＜λ₂＜...＜λ_d对应的特征向量α₁，α₂，...，α_d，则保持近邻相似度特性的线性变换矩阵为：

A＝[α₁，α₂，...，α_d]，

最终结构融合的特征为Y：

Y＝A^TX。