CN102708589B - 一种基于特征聚类的三维目标多视点视图建模方法 - Google Patents

Abstract

一种基于特征聚类的三维目标多视点视图建模方法，它有四大步骤：一：获取测试目标的全姿态图像。二：从获取的全姿态图像集中提取目标特征向量集合{x_i|i＝1，2，…N}。采用综合了仿射不变矩和几何不变矩并进一步规则化后形成的7维不变矩描述目标全姿态图像外形特征。三：确定最优聚类数C_op。四：采用k-均值聚类法将目标特征向量集聚为C_op类，将最终得到的少量聚类中心作为建模结果。本发明针对不同视点下目标图像差异导致的单一目标视图描述不能识别目标的缺点，构建了一种描述数量小、冗余信息少、能较好描述目标全姿态特征向量集的三维目标多视点视图建模方法。它在模式识别领域里具有较好的实用价值和广阔的应用前景。

Description

一种基于特征聚类的三维目标多视点视图建模方法

技术领域

本发明涉及一种基于特征聚类的三维目标多视点视图建模方法，属于模式识别领域，具体涉及到目标识别、目标建模和数据约简等方面。用于三维目标多视点建模，适用于不同视点下目标图像差异导致的单一目标视图描述不能识别目标的问题。

背景技术

三维目标识别是计算机视觉领域内一个重要的研究方向。目前在实际应用中获取目标的三维信息往往十分困难，识别三维目标仍然主要通过识别目标二维投影形成的图像完成。目标二维成像（投影）过程导致了部分信息丢失，且在不同视点下，复杂目标的外形差异明显，使得快速稳定的三维目标识别难度很大。

通过对三维目标进行建模以形成对目标外形的全面描述，是解决该问题的手段之一。这就需要研究三维目标的多视点视图建模方法。直观的想法是将多个视点下对目标图像的描述综合起来作为目标的描述。然而对于同一目标，其姿态数目无法穷举，不同描述间也包含了很多冗余信息。因此，需要在约简冗余描述的同时尽可能保留重要的描述。

经典的三维目标多视点视图建模方法基于目标几何结构和可见关系的视点球面分割算法，主要基于目标图像的几何拓扑特征，最终得到的建模结果是关于目标的多姿态特征视图集。但这类方法对目标特征视图集的构建依赖于目标的几何结构和特征，一般只能针对一定复杂程度的某一类特定物体，如回转体、二次曲面体等，实际中难以应用。

发明内容

本发明的目的在于：提供一种基于特征聚类的三维目标多视点视图建模方法，它针对不同视点下目标图像差异导致的单一目标视图描述不能识别目标的缺点，构建了一种描述数量小、冗余信息少、能较好描述目标全姿态特征向量集的三维目标多视点视图建模方法。

其技术方案如下：

本发明一种基于特征聚类的三维目标多视点视图建模方法，它包括以下步骤：

步骤一：获取测试目标的全姿态图像。将目标置于视点球中心，目标姿态变化等效于摄像机在视点球面上的不同点观察目标。在视点球面上均匀采样，获取数量为N的三维目标的全姿态图像集。

步骤二：从获取的全姿态图像集中提取目标特征向量集合{x_i|i＝＝1，2，…N}。采用综合了仿射不变矩和几何不变矩并进一步规则化后形成的7维不变矩描述目标全姿态图像外形特征。

步骤三：确定最优聚类数C_op。通过分析聚类总误差平方和J_e与聚类数C之间的关系曲线（J_e-c曲线）和J_e-c二阶导数曲线过零点，确定最优聚类数C_op。

步骤四：采用k-均值聚类法将目标特征向量集聚为C_op类，将最终得到的少量聚类中心作为建模结果。

其中，步骤一所述的获取测试目标的全姿态图像，具体实现过程如下：

首先创建需要进行多视点视图建模的目标三维模型。然后将目标模型置于假想视点球的球心，由于目标姿态变化等效于摄像机在视点球面上的不同点观察目标，因此获取摄像机观察视点的过程即为划分视点球面的过程。采用类似划分地球经纬度的方式，以相同间隔均匀划分视点球面，并在对应的划分点处对目标成像，即可获取目标全姿态图像集。

其中，步骤二所述的仿射不变矩由(1)式求出，其中μ_pq表示图像的p+q阶中心矩。

$\left\{\begin{array}{c}{I}_1=\frac{({\mathrm{\μ}}_{20}{\mathrm{\μ}}_{02}-{\mathrm{\μ}}_{11}^2)}{{\mathrm{\μ}}_{00}^4}\\ I_2=\frac{{\mathrm{\μ}}_{30}^2{\mathrm{\μ}}_{03}^2-6{\mathrm{\μ}}_{30}{\mathrm{\μ}}_{03}{\mathrm{\μ}}_{21}{\mathrm{\μ}}_{12}+4{\mathrm{\μ}}_{30}{\mathrm{\μ}}_{12}^3+4{\mathrm{\μ}}_{21}^3{\mathrm{\μ}}_{03}-3{\mathrm{\μ}}_{12}^2{\mathrm{\μ}}_{21}^2}{{\mathrm{\μ}}_{00}^{10}}\\ I_3=\frac{{\mathrm{\μ}}_{20}({\mathrm{\μ}}_{21}{\mathrm{\μ}}_{03}-{\mathrm{\μ}}_{12}^2)-{\mathrm{\μ}}_{11}({\mathrm{\μ}}_{30}{\mathrm{\μ}}_{03}-{\mathrm{\μ}}_{21}{\mathrm{\μ}}_{12})+{\mathrm{\μ}}_{02}({\mathrm{\μ}}_{30}{\mathrm{\μ}}_{12}-{\mathrm{\μ}}_{21}^2)}{{\mathrm{\μ}}_{00}^7}\end{array}\right.---\left(1\right)$

用于与上述仿射不变矩进行综合的几何不变矩前四个分量由(2)式求出

$\left\{\begin{array}{c}{\mathrm{\Φ}}_1={\mathrm{\η}}_{20}+{\mathrm{\η}}_{02}\\ {\mathrm{\Φ}}_2={({\mathrm{\η}}_{20}-{\mathrm{\η}}_{02})}^2+{4\mathrm{\η}}_{11}^2\\ {\mathrm{\Φ}}_3={({\mathrm{\η}}_{30}-3{\mathrm{\η}}_{12})}^2+{(3{\mathrm{\η}}_{21}-{\mathrm{\η}}_{03})}^2\\ {\mathrm{\Φ}}_4={({\mathrm{\η}}_{30}+{\mathrm{\η}}_{12})}^2+{({\mathrm{\η}}_{21}+{\mathrm{\η}}_{03})}^2\end{array}\right.---\left(2\right)$

为解决上述不变矩间数量级的差异，需要进一步对上述不变矩进行规则化运算

$\stackrel{\‾}{I_k}=\mathrm{sign}\left(I_k\right){\left|I_k\right|}^{2/S}---\left(3\right)$

式中I_k表示未规则化的组合不变矩，表示规则化组合不变矩，Sign表示赫维赛德函数，S表示各个矩分量中矩因子阶数的总和。最终得到描述目标外形信息的7维规则化不变矩。

其中，步骤三所述的确定最优聚类数C_op，具体实现过程如下：

采用k-均值聚类法对上述目标全姿态特征向量集进行聚类，使类别数c逐步增加，c=2，c=3，…，记录每次聚类的总误差平方和J_e，最终根据得到J_e-c曲线，进一步计算得到J_e-c二阶导数曲线，在考虑一定数值波动的情况下，选择J_e-c二阶导数曲线上第一个接近于零点且相对平缓区间的中点作为最优的聚类数c_op的估计值。

本发明具有的优点是：通过特征聚类，用少数聚类中心代表目标全姿态特征向量在特征空间中的分布，实现了数据约简，方法通用性强，可以方便确定最优聚类数。

附图说明

图1为本发明的处理流程图；

图2为本发明中涉及的视点球示意图；

图3为本发明中J_e-c曲线示意图；

图4为本发明确定最优聚类数C_op的示意图。

具体实施方式

本发明针对三维目标多视点视图建模问题，提出了一种基于支持向量数据描述的三维目标多视点视图建模方法。

见图1，本发明一种基于特征聚类的三维目标多视点视图建模方法，它包括以下步骤：

步骤一：获取测试目标的全姿态图像。将目标置于视点球中心，目标姿态变化等效于摄像机在视点球面上的不同点观察目标。在视点球面上均匀采样，获取数量为N的三维目标的全姿态图像集。

步骤二：从获取的全姿态图像集中提取目标特征向量集合{x_i|i＝1，2，…N}。采用综合了仿射不变矩和几何不变矩并进一步规则化后形成的7维不变矩描述目标全姿态图像外形特征。

步骤三：确定最优聚类数C_op。通过分析聚类总误差平方和J_e与聚类数C之间的关系曲线（J_e-c曲线）和J_e-c二阶导数曲线过零点，确定最优聚类数C_op。

步骤四：采用k-均值聚类法将目标特征向量集聚为C_op类，将最终得到的少量聚类中心作为建模结果。

首先，获取目标全姿态图像需要创建待建模的目标三维模型。见图2，将目标模型置于视点球的球心。视点球是定义在三维欧氏空间中的假想单位球，不同视点下目标的成像过程可看作目标以球心为起点向不同方向投影的过程，视点球面上每一点P对应一个投影方向向量P，沿投影方向P的正交投影对应于从视点球面上P点看目标。因此获取摄像机观察视点的过程即为划分视点球面的过程。采用类似划分地球经纬度的方式，以相同间隔均匀划分视点球面，并在对应的划分点处对目标成像，即可获取元素个数为N的目标全姿态图像集。

对姿态图像集提取目标特征，获得描述该目标全姿态外形信息的特征向量集合{x_i|i＝1，2，…N}。采用了综合仿射不变矩和几何不变矩形成的7维不变矩描述目标外形。仿射不变矩由(1)式求出，其中μ_pq表示图像的p+q阶中心矩。

$\left\{\begin{array}{c}{I}_1=\frac{({\mathrm{\μ}}_{20}{\mathrm{\μ}}_{02}-{\mathrm{\μ}}_{11}^2)}{{\mathrm{\μ}}_{00}^4}\\ I_2=\frac{{\mathrm{\μ}}_{30}^2{\mathrm{\μ}}_{03}^2-6{\mathrm{\μ}}_{30}{\mathrm{\μ}}_{03}{\mathrm{\μ}}_{21}{\mathrm{\μ}}_{12}+4{\mathrm{\μ}}_{30}{\mathrm{\μ}}_{12}^3+4{\mathrm{\μ}}_{21}^3{\mathrm{\μ}}_{03}-3{\mathrm{\μ}}_{12}^2{\mathrm{\μ}}_{21}^2}{{\mathrm{\μ}}_{00}^{10}}\\ I_3=\frac{{\mathrm{\μ}}_{20}({\mathrm{\μ}}_{21}{\mathrm{\μ}}_{03}-{\mathrm{\μ}}_{12}^2)-{\mathrm{\μ}}_{11}({\mathrm{\μ}}_{30}{\mathrm{\μ}}_{03}-{\mathrm{\μ}}_{21}{\mathrm{\μ}}_{12})+{\mathrm{\μ}}_{02}({\mathrm{\μ}}_{30}{\mathrm{\μ}}_{12}-{\mathrm{\μ}}_{21}^2)}{{\mathrm{\μ}}_{00}^7}\end{array}\right.$

用于与上述仿射不变矩进行综合的几何不变矩前四个分量由(2)式求出

$\left\{\begin{array}{c}{\mathrm{\Φ}}_1={\mathrm{\η}}_{20}+{\mathrm{\η}}_{02}\\ {\mathrm{\Φ}}_2={({\mathrm{\η}}_{20}-{\mathrm{\η}}_{02})}^2+{4\mathrm{\η}}_{11}^2\\ {\mathrm{\Φ}}_3={({\mathrm{\η}}_{30}-3{\mathrm{\η}}_{12})}^2+{(3{\mathrm{\η}}_{21}-{\mathrm{\η}}_{03})}^2\\ {\mathrm{\Φ}}_4={({\mathrm{\η}}_{30}+{\mathrm{\η}}_{12})}^2+{({\mathrm{\η}}_{21}+{\mathrm{\η}}_{03})}^2\end{array}\right.$

为解决上述不变矩间数量级的差异，需要进一步对上述不变矩进行规则化运算

$\stackrel{\‾}{I_k}=\mathrm{sign}\left(I_k\right){\left|I_k\right|}^{2/S}$

其中Ik表示未规则化的组合不变矩，表示规则化组合不变矩，Sign表示赫维赛德函数，S表示各个矩分量中矩因子阶数的总和。例如对于几何不变矩第二个分量Ф₂，S=(2+0)×2=4，其中(2+0)表示矩因子η₂₀的阶数和，×2表示对矩因子η₂₀的乘方运算。

最终得到了描述目标外形信息的7维规则化不变矩。

对上述目标全姿态特征向量集进行聚类，将最终得到的少量聚类中心作为建模结果。采用了k-均值聚类法。k-均值的基础是误差平方和准则。设N_i是第i聚类Γ_i中的样本数目，m_i是这些样本的均值。把Γ_i中的各样本y与均值m_i间的误差平方和对所有类相加后为：

$J_e=\underset{i=1}{\overset{c}{\mathrm{\Σ}}}\underset{y\∈{\mathrm{\Γ}}_i}{\mathrm{\Σ}}{\left|\right|y-m_i\left|\right|}^2---\left(4\right)$

J_e度量了用c个聚类中心m₁，m₂，…，m_c代表c个样本子集时所产生的总的误差平方。对不同的聚类J_e的值是不同的，使J_e极小的聚类即为误差平方和准则下的最优结果。

采用以下方法确定最优聚类数c_op：见图3所示，使类别数c逐步增加，对c=2，c=3，...分别使用k-均值算法，理论上误差平方和将随着c的增加而减小。则存在某个临界点OP，当聚类数为c_op个时，J_e随着聚类数c从1增加到c_op而迅速减小，当c再增加时J_e虽有所减小，但减小的速度减缓。见图4所示，根据计算得到J_e-c曲线，进一步计算得到J_e-c二阶导数曲线，在考虑一定数值波动的情况下，选择J_e-c二阶导数曲线上第一个接近于零点且相对平缓区间的中点作为最优的聚类数c_op的估计值。

最终，采用k-均值聚类算法，将目标全姿态特征向量集聚类为c_op个类别，将各个子类的聚类中心作为三维目标多视点视图建模结果。

Claims (1)

1.一种基于特征聚类的三维目标多视点视图建模方法，其特征在于：它包括以下步骤： 

步骤一：获取测试目标的全姿态图像；将目标置于视点球中心，目标姿态变化等效于摄像机在视点球面上的不同点观察目标，在视点球面上均匀采样，获取数量为N的三维目标的全姿态图像集； 

步骤二：从获取的全姿态图像集中提取目标全姿态特征向量集合{x_i|i＝1,2,…N}，采用综合了仿射不变矩和几何不变矩并进一步规则化后形成的7维不变矩描述目标全姿态图像外形特征； 

步骤三：确定最优聚类数C_op；通过分析聚类总误差平方和J_e与聚类数C之间的关系曲线即J_e-c曲线和J_e-c二阶导数曲线过零点，确定最优聚类数C_op； 

步骤四：采用k-均值聚类法将目标全姿态特征向量集合聚为C_op类，将最终得到的少量聚类中心作为建模结果； 

其中，步骤一所述的获取测试目标的全姿态图像，具体实现过程如下：首先创建需要进行多视点视图建模的目标三维模型，然后将目标模型置于假想视点球的球心，由于目标姿态变化等效于摄像机在视点球面上的不同点观察目标，因此获取摄像机观察视点的过程即为划分视点球面的过程；采用类似划分地球经纬度的方式，以相同间隔均匀划分视点球面，并在对应的划分点处对目标成像，即获取目标全姿态图像集； 

其中，步骤二所述的仿射不变矩由(1)式求出，其中μ_pq表示图像的p+q阶中心矩； 

用于与上述仿射不变矩进行综合的几何不变矩前四个分量由(2)式求出 

为解决仿射不变矩和几何不变矩间数量级的差异，需要进一步对上述不变矩进行规则化运算 

式中，I_k表示未规则化的组合不变矩，表示规则化组合不变矩，sign表示赫维赛德函数，S表示各个矩分量中矩因子阶数的总和，最终得到描述目标外形信息的7维规则化不变矩； 

其中，步骤三所述的确定最优聚类数C_op，具体实现过程如下： 

采用k-均值聚类法对上述目标全姿态特征向量集进行聚类，使类别数c逐步增加，c＝2,c＝3,…，记录每次聚类的总误差平方和J_e，最终根据得到J_e-c曲线，进一步计算得到J_e-c二阶导数曲线，在考虑一定数值波动的情况下，选择J_e-c二阶导数曲线上第一个接近于零点且相对平缓区间的中点作为最优的聚类数c_op的估计值。