CN105678833A - 一种基于多视点图像三维建模的点云几何数据的自动拼接算法 - Google Patents

Abstract

本发明公开了一种基于多视点图像三维建模的点云几何数据的自动拼接算法，包括：步骤1，在不同视点下，计算需要建模的三维物体的点云几何数据，并构建点云几何数据的特征匹配点对；步骤2，随机选取一个视点作为参考视点，利用点云几何数据的特征匹配点对，计算表征各个视点与参考视点相对位置关系的关系对应矩阵；步骤3，对关系对应矩阵进行奇异值分解，求取各个视点与参考视点之间特征匹配点对的关系平移向量和关系旋转向量；步骤4，依据关系平移向量和关系旋转向量，将各个视点中的点云几何数据在参考视点坐标系下进行表示，完成点云几何数据的自动拼接。本发明简单可靠，易于实现，操作方便，并能达到较高的建模精度。

Description

一种基于多视点图像三维建模的点云几何数据的自动拼接算法

技术领域

本发明涉及计算机建模技术领域，具体涉及一种基于多视点图像三维建模的点云几何数据的自动拼接算法。

背景技术

在多视点图像三维几何建模***中对三维外形构建的过程中，相邻视点图像之间的几何建模仅仅能够获取被测物体表面局部区域的几何点云几何数据，要想获得整个三维外形数据需要进行多视点获取图像，同时针对每两个相邻视点进行几何建模，这导致不同视点下计算得到的点云几何数据的几何坐标系不同。

为了得到被测物体表面的整个三维外形几何数据，需要将不同坐标系下的局部几何数据变换到同一个统一坐标系下。多个相邻视点图像建模得到的不同坐标系下的三维点云几何数据的自动拼接和配准一直是一个棘手的问题。现有的方法主要包括以下几种：

1)通过在被测量的物体表面粘贴辅助的标记点，对几次不同测量的标记点进行搜索构建匹配的标记点对，同时保证在两个视点间至少有三个以上的共同标记点，然后通过这些匹配的共同标记点，计算多次不同视点测量得到的点云几何数据之间的坐标变换关系，从而实现多视点点云几何数据的自动拼接。

但是在被测量物体表面粘贴辅助标记点不但会破坏被测量物体表面的纹理信息，同时无法对标记点粘贴覆盖处的被测量物体表面几何和纹理数据进行建模。此外该方法不适合在某些特殊的被测量物体(例如历史文物表面)上粘贴标记点，因此其使用具有一定的范围限制性。

2)利用一些云台确定被测量物体与多视点之间的位置变化关系，通过云台的运动参数直接计算多视点下点云几何数据之间的坐标变化关系。

该方法稳定可靠，而且有较高的精度，但需要附加的高精度机械设备，从而导致多视点获取设备结构复杂，不能对较大的物体进行测量。

3)手工选取匹配的特征点进行预先匹配，接着通过现有的商业软件处理算法完成对点云几何数据的拼接。

此类方法首先需通过人工预先干预实现数据的匹配，但人工匹配误差过大无法达到理想的拼接效果，无法实现对多视点图像三维建模后的点云几何数据的全自动拼接。

发明内容

本发明提供了一种基于多视点图像三维建模的点云几何数据的自动拼接算法，无需借助机械硬件辅助设备，也不需要在建模的三维物体表面粘贴辅助标记点，即可完成多视点图像三维建模的点云几何数据的自动拼接和匹配，简单可靠，易于实现，能够提供较高的建模精度，具有广泛的适用性和实用性。

一种基于多视点图像三维建模的点云几何数据的自动拼接算法，包括：

步骤1，在不同视点下，计算需要建模的三维物体的点云几何数据，并构建点云几何数据的特征匹配点对；

步骤2，随机选取一个视点作为参考视点，利用点云几何数据的特征匹配点对，计算表征各个视点与参考视点相对位置关系的关系对应矩阵；

步骤3，对关系对应矩阵进行奇异值分解，求取各个视点(不包括参考视点)与参考视点之间特征匹配点对的关系平移向量和关系旋转向量；

步骤4，依据关系平移向量和关系旋转向量，将各个视点中的点云几何数据在参考视点坐标系下进行表示，完成点云几何数据的自动拼接。

不同视点的数目越多，自动拼接和匹配后得到的点云几何数据越准确，但相应计算量也会大大地增加，优选地，不同视点的数目至少为6个。

在不同视点中随机选取一个视点作为参考视点，将其他视点下的点云几何数据转换为在参考视点坐标系下表示。

步骤3中对关系对应矩阵进行奇异值分解后，可以得到特征匹配点对的关系平移向量和关系旋转向量，特征匹配点对的关系平移向量和关系旋转向量也即所有点云几何数据的关系平移向量和关系旋转向量。

不同视点下的点云几何数据通过关系平移向量和关系旋转向量可以转换为参考视点的坐标系下表示。

作为优选，特征匹配点对的数目为100～120个。进一步优选，特征匹配点对的数目为100个。

在计算关系对应矩阵时，由除参考视点之外的其他视点与参考视点的点云几何数据的特征匹配点对中随机选取100个特征匹配点对进行计算。(每个视点选取100个特征匹配点对)

对n个不同的视点分别进行编号，依次为1,2,3......n，参考视点，即n＝1，计算第k(k＝2，3......n)个视点与参考视点之间的相对几何关系时，从第k(k＝2，3……n)个视点与参考视点的点云几何数据的特征匹配点对中随机选取100个特征匹配点对，进行计算。

第k(k＝2，3……n)个视点与参考视点的相对几何关系共同构成关系对应矩阵M。

作为优选，所述步骤2中计算关系对应矩阵时使用优化机制。使用优化机制可以进一步保证计算得到的关系对应矩阵的鲁棒性，增加对误特征匹配点对的容错性。

假设优化机制在特征匹配点对中进行多次随机选取，每次选取百对特征匹配点对，对于某一视点中的图像1中的100个特征匹配点，针对这100个特征匹配点p_{(i＝1。。。。100)}，通过极线几何约束关系，寻找其在该视点图像2中对应的极线L_{(i＝1。。。。100)}，然后计算p_{(i＝1。。。。20)}对应的该视点图像2中的特征点到L_{(i＝1。。。。100)}的距离D_{(i＝1。。。。100)}，并计算总的距离D＝D₁+D₂+D₃+……+D₉₉+D₁₀₀，最后选取总的距离D值最小的一组匹配点对作为最终特征匹配点对。采用这种优化方法一方面可以通过极限几何约束提高特征匹配点对的容错性，另一方面也能够保证算法的鲁棒性。

所述步骤3中对关系对应矩阵M进行奇异值分解，奇异值SVD分解(SingularValueDecomposition)可以计算两个不同视点之间的归一化的关系平移向量T和关系旋转矩阵R，然后利用多视点中的其它各个视点与参考视点之间特征匹配点对的关系平移向量T和关系旋转矩阵R，求出各个视点对应的点云几何数据相对参考视点的实际关系平移向量T′。

本发明基于多视点图像三维建模的点云几何数据的自动拼接算法，只需利用不同视点下的特征匹配点对，即可实现基于多视点图像三维建模的点云几何数据的自动拼接，简单可靠，易于实现，操作方便，并能达到较高的建模精度。

附图说明

图1为本发明基于多视点图像三维建模的点云几何数据的自动拼接算法的流程图。

具体实施方式

下面结合附图，对本发明做详细描述。

如图1所示，一种基于多视点图像三维建模的点云几何数据的自动拼接算法，包括如下步骤：

(1)计算关系对应矩阵M

在不同视点下，拍摄得到被建模物体的多幅图像，不同视点依次标记为1,2,3……n，随机选取一个视点为参考视点，例如取n＝1为参考视点。

建立第k(k＝2,3……n)个视点与参考视点之间随机图像I^k和随机图像I¹之间稳定的特征匹配点对，假设随机图像I^k和随机图像I¹中的特征点在各自视点的相机坐标系下对应的图像坐标分别为I^k和I¹，利用三维向量分别表示为(I₁ ^k，I₂ ^k，I₃ ^k)，(I₁ ¹，I₂ ¹，I₃ ¹)。

根据几何约束关系能够得到极限约束方程

(I¹)^TFI^k＝0(1)

其中：F为基本矩阵，是极线几何的一种代数表示，也是多视点三维建模中一个十分重要的矩阵。

同时，F还满足下列关系

F＝K₂ ^-TEK₁ ^-1(2)

K₁和K₂分别为3×3的上三角矩阵，分别表示两个摄像机的内部参数，E为矩阵，包含了相邻两视点之间的结构参数。

将公式(2)带入到公式(1)中可得到下式

(I¹)^TK₁ ^-TFK₁ ^－1I^k＝0(3)

假设随机图像I^k和随机图像I¹中的特征点在各自测量视点的相机坐标系下对应的归一化后三维齐次图像坐标分别为I_l ^k和I_l ¹，令

Q_l ^k＝K₁ ^-1I^k(4)

I_l ¹＝K₁ ^-1I¹(5)

则极线约束方程可简化为

(I_l ¹)^TEQ_l ^k＝0(6)

基本矩阵F一般是一个3×3的非零矩阵，其行列式的值为0，即

Det(F)＝0(7)

根据公式(2)可知，矩阵E也满足公式(7)，同时矩阵E有下列性质

$EETE-\frac{1}{2}trace\left(EET\right)E=0---\left(8\right)$

利用公式(7)和(8)，通过百点算法，即在第k个视点与参考视点之间的随机图像I^k和随机图像I¹之间选取100对匹配像素点求得矩阵E。

利用百点算法计算关系对应矩阵M，百点算法是用于计算不同视点之间的几何坐标变换关系的迭代求值方法，主要步骤如下：

从随机图像I^k和随机图像I¹建立的稳定特征匹配点对集合中任意选取100组，则这100组特征匹配点对全部满足公式(6)，因此，极线约束方程又可表示为

其中： ${\tilde{I}}^T={\[I_1^1{I}_1^2{I}_2^1{I}_1^2{I}_3^1{I}_1^2{I}_1^1{I}_2^2{I}_1^1{I}_1^2{I}_2^1{I}_2^2{I}_3^1{I}_2^2......I_{98}^1{I}_{20}^2{I}_{99}^1{I}_{100}^2{I}_{100}^1{I}_{100}^2\]}^T---\left(10\right)$

堆积百对特征匹配点对的向量可以得到100×9关系对应矩阵M。

求取关系对应矩阵M的零空间后，分别计算公式(7)和公式(8)的展开式。

(2)采用矩阵的奇异值SVD分解(参见戴华.矩阵论.北京,科学出版社,2001)的方法对关系对应矩阵M进行奇异值矩阵分解，得到关系旋转矩阵R和关系平移向量T的值。

假设在参考视点建立的几何坐标系下的点云几何数据为X＝{X_i,i＝1,2,......}，在第k(k＝2,3……n)个视点建立的几何坐标系下的点云几何数据为X′＝{X′_i,j＝1,2,......}。

为了得到整体的点云几何数据，对第k(k＝2,3…...n)个视点的点云几何数据通过几何变换坐标，变换为利用参考视点的统一几何坐标系表示。

假设将第k(k＝2,3……n)个视点的点云几何数据经过几何坐标变换，利用参考视点的坐标系表示后得到的点云几何数据为则点云几何数据集合X′中任意一个几何数据点X′_i的坐标变换公式为

其中：R表示第k(k＝2,3……n)个视点的几何坐标系到参考视点的几何坐标系的关系旋转矩阵；

T表示第k(k＝2,3……n)个视点的几何坐标系到参考视点的几何坐标系的关系平移向量。

要实现不同视点的点云几何数据的拼接和匹配，必须计算出两个视点几何坐标系的关系旋转矩阵R和关系平移向量T。

利用表示两个视点之间相对几何位置的关系对应矩阵M以及关系对应矩阵M同关系旋转矩阵R和关系平移向量T之间的关系，能够得到关系旋转矩阵R和关系平移向量T。

关系对应矩阵M、关系旋转矩阵R和关系平移向量T之间的关系如下所示

$M=R\left[\begin{array}{ccc}0& -t^3& t^2\\ t^3& 0& -t^1\\ -t^2& t^1& 0\end{array}\right]---\left(13\right)$

其中，T＝(t¹，t²，t³)(14)

在已计算得出关系对应矩阵M的情况下，对关系对应矩阵M进行矩阵奇异值分解即可得到关系旋转矩阵R和关系平移向量T的值。

(3)利用各个视点与参考视点之间特征匹配点对的关系平移向量T和关系旋转矩阵R，能够计算出各个视点中的点云几何数据相对参考视点的实际关系平移向量T′，实际关系平移向量T′与关系平移向量T相同。

(4)根据关系旋转矩阵R和关系实际平移向量T′，对各个视点下的点云几何数据进行几何坐标变换，利用公式(15)将所有点云几何数据在参考视点坐标系下统一表示，实现不同视点下点云几何数据的自动拼接和匹配。

X＝RX′+T′(15)

其中，X为参考视点建立的几何坐标系下的点云几何数据；

X′为第k(k＝2,3……n)个视点建立的几何坐标系下的点云几何数据；

R为关系旋转矩阵；

T′为实际关系平移向量。

Claims (5)

1.一种基于多视点图像三维建模的点云几何数据的自动拼接算法，其特征在于，包括：

步骤1，在不同视点下，计算需要建模的三维物体的点云几何数据，并构建点云几何数据的特征匹配点对；

步骤2，随机选取一个视点作为参考视点，利用点云几何数据的特征匹配点对，计算表征各个视点与参考视点相对位置关系的关系对应矩阵；

步骤3，对关系对应矩阵进行奇异值分解，求取各个视点与参考视点之间特征匹配点对的关系平移向量和关系旋转向量；

步骤4，依据关系平移向量和关系旋转向量，将各个视点中的点云几何数据在参考视点坐标系下进行表示，完成点云几何数据的自动拼接。

2.如权利要求1所述的基于多视点图像三维建模的点云几何数据的自动拼接算法，其特征在于，不同视点的数目至少为6个。

3.如权利要求2所述的基于多视点图像三维建模的点云几何数据的自动拼接算法，其特征在于，特征匹配点对的数目为100～120个。

4.如权利要求3所述的基于多视点图像三维建模的点云几何数据的自动拼接算法，其特征在于，特征匹配点对的数目为100个。

5.如权利要求4所述的基于多视点图像三维建模的点云几何数据的自动拼接算法，其特征在于，所述步骤2中计算关系对应矩阵时使用优化机制。