CN103810271A

CN103810271A - 基于路径跟随的三维点云物体形状特征匹配方法

Info

Publication number: CN103810271A
Application number: CN201410042499.2A
Authority: CN
Inventors: 孙晓鹏; 韩枫
Original assignee: Liaoning Normal University
Current assignee: Liaoning Normal University
Priority date: 2014-01-29
Filing date: 2014-01-29
Publication date: 2014-05-21

Abstract

本发明公开一种可有效提高计算效率及匹配准确性的基于路径跟随的三维点云物体形状特征匹配方法，按如下步骤进行：采用主成分分析方法从三维点云物体模型中随机选取定量的关键点；采用乘积型参数域上单值二次曲面拟合方法拟合关键点邻域，定义并提取关键点上的局部形状特征；对关键点集合进行优化三角剖分，并基于映射关系建立关键点的三维无向加权网格图；定义关键点的三维无向加权网格图结构相似测度以及局部形状特征的相似测度，并以此两种相似测度构建组合测度；采用路径跟随算法求解组合测度。

Description

基于路径跟随的三维点云物体形状特征匹配方法

技术领域

本发明涉及一种三维点云物体形状匹配技术，尤其是一种可有效提高计算效率及匹配准确性的基于路径跟随的三维点云物体形状特征匹配方法。

背景技术

以往，对于三维点云物体的识别大多采用ICP的变形算法。如2005年Chen等提出了轮廓匹配方法，采用两步ICP方法进行物体匹配：首先从三维扫描点云中检测物体，利用改进ICP算法建立初始变换；然后用ICP算法对齐数据库中的三维模型及待测试物体模型，两步ICP算法得到了更加精准的匹配结果。2007年Chen等提出了物体识别的曲面匹配方法并基于曲面拟合构造物体的局部形状特征，前者先利用四元组计算初始变换进行粗对齐，再利用ICP算法进行精确匹配；后者利用直方图描述物体的局部形状特征。基于ICP算法的物体匹配识别精度较高，但对ICP算法初始变换敏感且计算复杂度高。

近年来出现了一些基于图匹配的物体识别算法，图匹配是图论的核心问题，常用于视觉计算、模式识别以及生物信息识别等领域。图匹配即寻找给定两图的结点或边之间对应关系的过程，其根本目的是基于约束条件和目标函数确定两图结点或边之间的最大或最优对应关系。图匹配算法可分类为精确的图匹配和近似的图匹配两种。精确求解两图的匹配关系一般包括图同构、子图同构和最大公关子图等，其算精度较高，致力于求解最优匹配，时间复杂度均随顶点数呈指数级增长，仅适用于处理小规模的图匹配问题，不适用于物体结点数量大的实时匹配问题。近似的图匹配则求解两图的近似匹配关系，效率较高，在适当赋予权值后，能够得到理想的匹配精度。近似的图匹配算法一般包括路径跟随算法、传播算法、谱算法、优化算法等，允许边的缺失，近似求解基于边的最大公共子图，而不是基于点的公共诱导子图，是约束强度最低的图匹配方法。此类算法虽然不能获得全局最优解，匹配结果虽然与最优匹配之间存在差距，但可避免差的局部最优解，算法复杂度较低，速度较快。当图的结点多，匹配工作量大时，运用近似算法求解图匹配可以节省很多时间，大大提高了工作效率。

2008年Mian等首先基于PCA主轴差异提取关键点，并对关键点邻域进行曲面拟合，以构造关键点上的局部形状特征向量，构造关键点集合的三维空间分布图，通过比较关键点图之间的形状特征向量来确定两图结点间的对应关系，通过计算结点匹配点对数、关键点对之间的距离、对应的边长差异等计算两图之间的相似测度。2011年Syed等给出了不同的关键点选取和特征提取方法，通过计算关键点对特征向量的RMS距离确定两图结点的对应关系，基于关键点对的距离、对应特征的差异以及基于关键点的距离一致性和基于特征的旋转一致性等几何信息计算两图的相似测度；选取最为相似的物体之后再进行ICP精确匹配。

目前，在近似的图匹配算法中，路径跟随算法利用凸凹松弛方法能够有效、快速地求解加权无向图匹配问题，该算法适用解决结点数较多的大图，计算效率及匹配准确性较高。但是，迄今为止还没有关于利用路径跟随算法求解三维物体的形状特征匹配问题的相关报道。

发明内容

本发明是为了解决现有技术所存在的上述技术问题，提供一种可有效提高计算效率及匹配准确性的基于路径跟随的三维点云物体形状特征匹配方法。

本发明的技术解决方案是：一种基于路径跟随的三维点云物体形状特征匹配方法，其特征在于按如下步骤进行：

a. 采用主成分分析方法从三维点云物体模型中随机选取定量的关键点；

b. 采用乘积型参数域上单值二次曲面拟合方法拟合关键点邻域，定义并提取关键点上的局部形状特征；

c. 对关键点集合进行优化三角剖分，并基于映射关系建立关键点的三维无向加权网格图；

d. 定义关键点的三维无向加权网格图结构相似测度以及局部形状特征的相似测度，并以此两种相似测度构建组合测度；

e. 采用路径跟随算法求解组合测度。

所述a步骤如下：随机选取三维点云物体模型一点为球心做球，得到球内所有点的位置矢量矩阵，对该矢量矩阵的协方差矩阵进行主成分分析，得到特征向量矩阵和特征值矩阵；将球内所有的点均投影到较大的两个特征值对应的特征向量方向上，在两个特征向量上投影的最大值和最小值之差若大于指定阈值，则该点为关键点。

所述b步骤如下：对关键点邻域内的全部点在乘积型参数域上进行单值曲面拟合；在乘积型参数域的两个参数方向分别进行均匀采样，求解采样点上的单值拟合曲面的深度值；记任意关键点上全部采样深度集合为该关键点上的局部形状特征。

所述c步骤如下：将所选取的关键点集合投影到二维空间，在二维空间内进行优化三角剖分，生成三角网格并投影回三维空间，从而得到关键点的三维无向加权网格图；以关键点局部形状特征为该图结点的权值、以邻接关系定义该图的边权。

所述d步骤如下：将两个三维点云物体的关键点的局部形状特征相似测度定义为

；将两个三维点云物体的结构差异测度定义为

；将上述测度规范化，使其值域为[0, 1]，则两个点云物体的组合相似测度定义为结构相似测度F ₀(P)与局部形状特征相似测度F ₀(S)线性组合，即

Figure 2014100424992100002DEST_PATH_IMAGE005

。

所述e步骤如下：通过对凹松弛和凸松弛函数进行线性组合形成路径跟随算法；令

F _λ(P)=(1-λ)F ₀(P)+λF ₁(P)其中0≤λ≤1；增加凹松弛函数的权重，找到源于最小化的F _λ的局部最小值的F _λ +d _λ的局部极小值；当d _λ足够小时，得到F _λ(P)的一条解路径P ^*(λ)，其中，跟随这条解路径即可找到F _λ(P)的局部极小值P ^*(1)。

本发明是以三维点云物体的关键点为匹配数据，避免了大规模点云的冗余处理，提高了计算效率；构造物体关键点的三维网络图，将点云物体的形状匹配问题转化为图的匹配问题；基于局部形状特征和图的结构特征构造组合的相似测度，提高匹配精度；以近似匹配中的路径跟随方法求解点云物体组合测度，可进一步提高计算效率。

具体实施方式

a. 采用主成分分析方法从三维点云物体模型中随机选取定量的关键点：

设任意三维物体的点云模型为V={v_i|v_i=(x_i,y_i,z_i), i=1, 2, …, n}，随机选取一点v_i=(x_i,y_i,z_i)，以v_i为球心、以r为半径做球R，记球内所有点构成的矩阵为R_j=(x_j,y_j,z_j)^T, j=1, 2, …,，记R_j的均值向量为m、协方差矩阵为C；对协方差矩阵C进行主成分分析（PCA）得到C的特征向量矩阵L和特征值矩阵D；记较大的两个特征值对应的特征向量为L_x和L_y，将R中所有的点投影到L_x和L_y方向上，并记在L_x方向上投影最大值和最小值之差为d_x，记在L_y方向上投影最大值和最小值之差为d_y，从而得d=|d_x-d_y|，若d大于指定阈值，则选v_i作为关键点，记作kv_i；重复该过程，直到获得指定的关键点数目，记该物体的关键点集合为KV={kv_i|kv_i=(kx_i, ky_i, kz_i), i=1, 2, …, n}。

b. 采用乘积型参数域上单值二次曲面拟合方法拟合关键点邻域，定义并提取关键点上的局部形状特征：

对于关键点集KV={ kv_i|kv_i=(kx_i, ky_i, kz_i), i=1, 2, …, n}内的任意关键点kv_i，对其邻域N(kv_i, 2σ)内的全部点在乘积型参数域上进行单值曲面拟合，拟合曲面片在乘积型参数域uv上单值投影为矩形区域；首先在参数平面uv的参数区域上沿u方向和v方向分别进行均匀的nu采样和nv采样，得到均匀分布的nu×nv个参数采样点，求解nu×nv采样点上的单值拟合曲面的深度值Z_uv，则记任意关键点kv_i上由nu×nv个采样深度集合{Z_uv}为kv_i上的局部形状特征，记为LSF_i={Z_uv, u=1, 2, …, nu, v=1, 2, …, nv}，从而定义在关键点集KV上的局部形状特征集合{LSF_i, i=1, 2, …, n}。

设任意三维物体的点云模型为V=

Figure 2014100424992100002DEST_PATH_IMAGE008

，将其关键点集合KV投影到二维空间，在二维空间内进行Delaunay剖分生成三角网格并投影回三维空间，从而得到物体上关键点的三维无向加权网格图，即关键点图G=(KV, E, w)，其中KV={ kv_i|kv_i=(kx_i, ky_i, kz_i), i=1, 2, …, n}为图G的结点集合；E为图G的边集合，即，若对于任意的kv_i∈KV和kv_j∈KV，如果有边e_ij=(kv_i, kv_j)相连，则记E={e_ij}；w为边权集合，即，若对于任意的kv_i∈KV和kv_j∈KV，如果存在e_ij∈E，则记边e_ij的权值为w_ij，且有w_ij=w_ji，令w_ii=0；记关键点图G的邻接矩阵为AG，显然AG为对称矩阵，且有AG_ij=w_ij。

设图G表示待检测物体上的关键点的三维无向加权网格图，图H表示数据库中已有物体的关键点的三维无向加权网格图，且图G和图H的结点数目相同，则待检测物体与数据库中任意物体的匹配问题，转化为寻找图G和图H结点间的最优匹配问题。设两图G和H结点间的对应关系为置换矩阵P，若图G的结点kv_Gi和图H的结点kv_Hj之间存在对应关系，则P _ij=1，否则P _ij=0。

d. 定义关键点的三维无向加权网格图结构相似测度以及局部形状特征的相似测度，并以此两种相似测度构建组合测度：

设，某两物体 G和H的局部形状特征向量集合分别为LSF_G={LSF_Gi, i=1, 2, …, n}和LSF_H={LSF_Hj, j=1, 2, …, n}，其中LSF_Gi和LSF_Hj分别为物体G的第i个关键点kv_Gi=(kx_Gi, ky_Gi, kz_Gi)和物体H的第j个关键点kv_Hj=(kx_Hj, ky_Hj, kz_Hj)上的局部形状特征向量（压缩后的11维向量）。则，关键点kv_Gi和关键点kv_Hj间局部形状特征向量的相似测度根据文献可以定义为S _ij=1-arccos(LSF_Gi(LSF_Hj)^T)，S_ij值越大表示两个关键点上的局部形状特征越相似，称S={S _ij}为两只物体的形状相似矩阵。于是代表两只物体的图G和H间的局部形状特征相似测度可以定义为

(1)

对图H的结点应用置换矩阵P之后，可得与图H同构的新图P(H)。

令图H的邻接矩阵为AH，则图P(H)的邻接矩阵AP(H)可以表示为PAHP ^T。则，图G和H之间的结构差异测度可以定义为

Figure 2014100424992100002DEST_PATH_IMAGE002

(2)

其中||*||_F为福罗宾尼斯矩阵范数，

Figure 2014100424992100002DEST_PATH_IMAGE009

。为了确保目标函数的取值范围均在0-1之间，分别对公式(1)和公式(2)规范化得到：

Figure 2014100424992100002DEST_PATH_IMAGE010

，于是，物体图G和图H之间的组合相似测度可以定义为结构相似测度F ₀(P)与局部形状特征相似测度F ₀(S)线性组合，即

Figure 2014100424992100002DEST_PATH_IMAGE004

其中0≤α≤1，α取值越小，表示越强调图G和H之间的结构相似度；α取值越大，越强调物体的局部形状特征相似度。F(P)值越小两图越相似，于是求解图G和图H的最佳匹配问题即转化为求F(P)的最小值问题。由于置换矩阵P是正交阵（PPT=I且PTP=I），故F ₀(P)可以改写为以下形式：

Figure 2014100424992100002DEST_PATH_IMAGE011

根据参考文献[1]，求解F(P)，只需求解F ₀(P)即可。

e. 采用路径跟随算法求解组合测度：

令D为A的对角矩阵，则L=D-A为拉普拉斯矩阵，故F ₀(P)可以进一步改写为

Figure 2014100424992100002DEST_PATH_IMAGE012

,其中矩阵Δi,j=(DH(j,j)- DG(i,i))²，⊕表示两个矩阵的张量乘，vec(P)表示矩阵P的列向量，则凸松弛问题就是求F0(P)的最小值。令

Figure 2014100424992100002DEST_PATH_IMAGE013

，表示F ₀(P)的一部分，则凹松弛问题就是求F ₁(P)的最小值。

通过对凹松弛和凸松弛函数进行线性插值形成路径跟随算法，F _λ(P)=(1-λ)F ₀(P)+λF ₁(P)其中0≤λ≤1。算法始于凸松弛函数（λ=0），应用Frank-Wolfe算法迭代地解决凹凸松弛的线性组合，通过逐渐地增加λ值，增加凹松弛函数的权重，找到源于最小化的F _λ的局部最小值的F _λ +d _λ的局部极小值。当d _λ足够小时，就获得了F _λ(P)的一条解路径P ^*(λ)，其中

Figure 2014100424992100002DEST_PATH_IMAGE014

，跟随这条解路径即可找到F _λ(P)的局部极小值P ^*(1)。P ^*(1)为可反映两图结点之间对应关系的置换矩阵，即图匹配的近似解。求得F ₀(P)，代入组合相似测度公式，即可求得图G和图H间的组合相似测度F(P)，继而可以判断两个三维点云物体的形状特征相似性高低。

参考文献：

[1] Mikhail Zaslavskiy, Francis Bach, Jean-Philippe Vert. A path following algorithm for graph matching problem [J]. IEEE Transaction on Pattern Analysis and Machine Intelligence, 2009, 31(12):2227-2242

米哈伊尔·扎思拉夫斯基，弗朗西斯·巴赫，让-菲利普·沃尔特，图匹配的路径跟随算法，IEEE通讯《模式分析与机器智能》，2009年，第31卷，第12期，2227-2242页

Claims

1.一种基于路径跟随的三维点云物体形状特征匹配方法，其特征在于按如下步骤进行：

e. 采用路径跟随算法求解组合测度。

2.根据权利要求1所述的基于路径跟随的三维点云物体形状特征匹配方法，其特征在于所述a步骤如下：随机选取三维点云物体模型一点为球心做球，得到球内所有点的位置矢量矩阵，对该矢量矩阵的协方差矩阵进行主成分分析，得到特征向量矩阵和特征值矩阵；将球内所有的点均投影到较大的两个特征值对应的特征向量方向上，在两个特征向量上投影的最大值和最小值之差若大于指定阈值，则该点为关键点。

3.根据权利要求2所述的基于路径跟随的三维点云物体形状特征匹配方法，其特征在于所述b步骤如下：对关键点邻域内的全部点在乘积型参数域上进行单值曲面拟合；在乘积型参数域的两个参数方向分别进行均匀采样，求解采样点上的单值拟合曲面的深度值；记任意关键点上全部采样深度集合为该关键点上的局部形状特征。

4.根据权利要求3所述的基于路径跟随的三维点云物体形状特征匹配方法，其特征在于所述c步骤如下：将所选取的关键点集合投影到二维空间，在二维空间内进行优化三角剖分，生成三角网格并投影回三维空间，从而得到关键点的三维无向加权网格图；以关键点局部形状特征为该图结点的权值、以邻接关系定义该图的边权。

5.根据权利要求4所述的基于路径跟随的三维点云物体形状特征匹配方法，其特征在于所述d步骤如下：将两个三维点云物体的关键点的局部形状特征相似测度定义为

；将两个三维点云物体的结构差异测度定义为

Figure 2014100424992100001DEST_PATH_IMAGE002

Figure 2014100424992100001DEST_PATH_IMAGE004

。

6.根据权利要求5所述的基于路径跟随的三维点云物体形状特征匹配方法，其特征在于所述e步骤如下：通过对凹松弛和凸松弛函数进行线性组合形成路径跟随算法；令F _λ(P)=(1-λ)F ₀(P)+λF ₁(P)其中0≤λ≤1；增加凹松弛函数的权重，找到源于最小化的F _λ的局部最小值的F _λ +d _λ的局部极小值；当d _λ足够小时，得到F _λ(P)的一条解路径P ^*(λ)，其中

Figure 2014100424992100001DEST_PATH_IMAGE006

，跟随这条解路径即可找到F _λ(P)的局部极小值P ^*(1)。