CN101908231B - 处理含有主平面场景的三维点云重建方法和*** - Google Patents

Abstract

本发明提出了一种处理含有主平面场景的三维点云重建方法和***，该方法包括以下步骤：用内参已知的相机获取静态场景的多视角图像；检测所述图像的特征点，并对任意两幅图像进行特征点匹配以得到匹配点对，和由同一个场景点投影所得的匹配点序列；对包括预定数目匹配点对的图像对根据所述匹配点获取所述图像对间的基本矩阵，且保存相应的空间平面点集；由所述基本矩阵求得所述图像对间的相对位置关系；根据所述图像对间的相对位置关系，在标准坐标系中实现所述相机融合、三维点云重构；和优化所述三维点云重构结果。通过本发明的处理含有主平面场景的三维点云重建方法，解决了现有三维点云重建方法的一些不足，实现了无场景依赖的三维重建。

Description

处理含有主平面场景的三维点云重建方法和***

技术领域

本发明属于计算机视觉领域，尤其涉及由多视角二维图像重建场景的三维点云模型的方法。

背景技术

对现实物体和场景建立真实、可靠的三维点云模型是很多三维***的重要环节。建立模型的质量对3D技术在遗产保护、虚拟现实、电子游戏等诸多应用的实际效果有着相当重要的作用。其中人们对基于普通光二维图像的三维重建做了大量的研究，目前仍存在许多有待改进的地方。

DEGENSAC(DEGENerate SAmple Consensus)能够处理一般场景和含有主平面场景的图像对的对极几何计算的问题，是RANSAC(RANdom SAmple comsensus)的一种改进算法。该算法的基本思想是在随机选取数对匹配点后，由它们计算得到图像对之间的基本矩阵；若该矩阵拥有到目前为止最多的支持点，则检查随机选取的匹配点中是否有一定数目的匹配点满足某一平面单应关系；若不满足直接进入新一次的计算，否则由平面单应和额外的两对匹配点可计算得到新的基本矩阵，计算该矩阵的支持点数目；算法根据选取准确模型的概率要求决定循环的次数，结束时选取拥有最多支持点的基本矩阵作为输出结果。

SIFT(Scale-Invariant Feature Transform)算法是一种对特征点进行检测及匹配的方法，该算法在多尺度空间进行特征检测，确定特征点的位置和特征点所在的尺度；然后使用一个高维向量作为特征描述符，描述特征点邻域的梯度情况。由于该特征描述符不随图像尺度和方向而变化，因此有较强的匹配能力，但因其需要在各个尺度上进行技术，时间复杂度相对较高。

捆集调整(Bundle Adjustment)是在给定由不同视点拍摄得到场景图像集的情况下，按最小化重投影误差的标准同时优化场景几何关系与相机参数的方法。它经常作为基于特征点的三维重建算法的最后优化步骤。

发明内容

本发明旨在至少解决上述技术问题之一。

为此，本发明的一个目的在于提出一种处理含有主平面场景的三维点云重建方法，通过该方法能够解决现有三维点云重建方法的一些不足，从而实现了无场景依赖的三维重建。

本发明的一个方面提出了一种处理含有主平面场景的三维点云重建方法，包括以下步骤：用内参数已知的相机获取静态场景的多视角图像；检测所述图像的特征点，并对任意两幅图像进行特征点匹配以得到匹配点对，和由同一个场景点投影所得的匹配点序列；对包括预定数目匹配点对的图像对根据所述匹配点获取所述图像对间的基本矩阵，且保存相应的空间平面点集；由所述基本矩阵求得所述图像对间的相对位置关系；根据所述图像对间的相对位置关系，在标准坐标系中实现所述相机融合、三维点云重构；和优化所述三维点云重构的结果。

在本发明的一个实施例中，所述用内参数已知的相机获取静态场景的多视角图像进一步包括：每次摄像前对相机进行标定或对所述相机标定一次后保持所述相机内参不变以获取相机内参数；根据所述内参数已知的相机以任意多个视角拍摄获取含有一定重叠区域的图像集。

在本发明的一个实施例中，所述检测所述图像的特征点，并对任意两幅图像进行特征点匹配以得到匹配点对和由同一个场景点投影所得的匹配点序列进一步包括：根据所述图像的颜色特征并用特征点选取算法以从所述图像中选择若干特征点；记录所述特征点在相应图像中的像素坐标和以所述特征点为中心的局部区域的颜色特征；根据所述图像的每个特征点在剩余的每一张图像中寻找匹配点以得到若干组匹配点对，其中，在匹配过程中，根据局部区域的颜色特征把所述颜色特征最相近的特征点组成匹配点对。

在本发明的一个实施例中，所述一组匹配点对为一个场景点在两幅图像上投影所得到的相同特征点的集合，所述一个匹配点序列为一个场景点在多幅图像上投影所得到的每组匹配点对的集合。

在本发明的一个实施例中，对包括预定数目匹配点对的图像对根据所述匹配点获取所述图像对间的基本矩阵，且保存相应的空间平面点集进一步包括：步骤1、计算所述图像对的匹配点数目以确定是否满足预定数目；步骤2、在满足预定数目匹配点的图像对中随机抽取一定数目的匹配点，并根据抽取的匹配点计算得到所述图像对之间的基本矩阵和支持点数；步骤3、判断所述基本矩阵是否拥有最多的支持点数，如果拥有最多的支持点数则标记所述基本矩阵为最优解，并判断在抽取的匹配点中是否有多于预定数目的点满足平面单应关系；步骤4、如果满足所述平面单应关系，则根据所述抽取的匹配点和额外不满足平面单应的两对匹配点求得新的基本矩阵，计算新基本矩阵的支持点数；如果所述新基本矩阵有最多的支持点数，则更新标记所述新基本矩阵为最优解、记录平面单应点集，结束本次计算且判断是否满足预定循环结束条件；步骤5、如果不满足所述平面单应关系，则直接结束本次计算且判断是否满足预定循环结束条件。如果判断不满足预定循环结束条件，则重复操作步骤2至步骤5直至满足预定循环结束条件，当满足所述预定循环结束条件时输出基本矩阵，同时如果所述基本矩阵有平面单应关系则保存平面单应和满足所述平面单应的匹配点集。

在本发明的一个实施例中，对满足所述平面单应关系的匹配点还包括记录所述单应的支持点数，且判决满足平面单应关系的匹配点的三维重构在一个空间平面上。

在本发明的一个实施例中，所述由所述基本矩阵F₁₂求得所述图像对间的相对位置关系进一步包括：根据所述基本矩阵和标定所得的内参矩阵求得相机对间的本质矩阵其中K₁、K₂为相机的内参矩阵，且根据E₁₂＝[t]_xR分解得到所述相机对间的相对旋转矩阵和平移向量。

在本发明的一个实施例中，根据所述图像对间的相对位置关系在标准坐标系中实现所述相机融合、三维点云重构进一步包括：适当选取标准坐标系，依照一定顺序确定各图像在所述标准坐标系中的位置以实现图像逐一添加，并逐步实现三维空间点云的重构，其中，在重构三维点云的过程中，平面点集的空间重构点须在某个特定空间平面上。

在本发明的一个实施例中，优化所述三维点云的重构结果为在添加完成所有图像且重建三维点云后对重建模型应用优化算法以优化，或在一幅或多幅图像的添加过程中和在空间点云重构过程中运用优化算法进行优化。

在本发明的另一个方面还提出了一种处理含有主平面场景的三维点云重建***，包括：相机，所述相机内参已知，用于获取静态场景的多视角图像；和三维重建装置，所述三维重建装置用于检测所述图像的特征点，并对任意两幅图像进行特征点匹配以得到匹配点对，和由同一个场景点投影所得的匹配点序列；然后对包括预定数目匹配点对的图像对，根据所述匹配点获取所述图像对间的基本矩阵，且保存相应的空间平面点集；之后由所述基本矩阵求得所述图像对间的相对位置关系；且根据所述图像对间的相对位置关系，在标准坐标系中实现所述相机融合、三维点云重构；最后对所述三维点云重构的结果进行优化。根据本发明实施例的处理含有主平面场景的三维点云重建方法，解决了现有三维点云重建方法的一些不足，该方法实现了无场景依赖的三维重建，并且能够由含有主平面的图像集重建三维点云模型。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本发明实施例的处理含有主平面场景的三维点云重建方法的整体流程图；以及

图2为本发明实施例的三维点云重建装置的结构图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

下面参考附图描述本发明实施例的处理含有主平面场景的三维点云重建方法。

如图1所示，为本发明实施例的处理含有主平面场景的三维点云重建方法的整体流程图，包括以下步骤：

步骤S101，用内参数已知的相机获取静态场景的多视角图像。作为本发明的一个实施例中，用内参数已知的相机获取静态场景的多视角图像包括：

每次摄像前对相机进行标定或对所述相机标定一次后保持所述相机内参不变以获取相机内参数；

根据所述内参数已知的相机以任意多个视角拍摄获取含有一定重叠区域的图像集。

为了能够更清楚的理解本发明提出的获取静态场景的多视角图像方式，以下就具体举例方式进行描述。

在本发明的一个实施例中，首先标定相机的内参，进而保持相机内参不变，然后应用该相机从多个视角拍摄场景得到场景不同视角的图像，把所有图像保存在一个图像集中。

步骤S102，检测所述图像的特征点，并对任意两幅图像进行特征点匹配以得到匹配点对，和由同一个场景点投影所得的匹配点序列。作为本发明的一个实施例，获取匹配点对和由同一个场景点投影所得的匹配点序列包括：

根据所述图像的颜色特征并用特征点选取算法以从所述图像中选择若干特征点；

记录所述特征点在相应图像中的像素坐标和以所述特征点为中心的局部区域的颜色特征；

根据所述图像的每个特征点在剩余的每一张图像中寻找匹配点以得到若干组匹配点对，其中，在匹配过程中，根据局部区域的颜色特征把所述颜色特征最相近的特征点组成匹配点对。

其中，在本发明的一个实施例中，所述一组匹配点对为一个场景点在两幅图像上投影所得到的相同特征点的集合，所述一个匹配点序列为一个场景点在多幅图像上投影所得到的每组匹配点对的集合。

具体地，为了能够更清楚的理解获取匹配点对的方式，以具体举例描述，在本发明的一个实施例中，应用SIFT算法求得该图像集中各个图像的特征点和匹配点，具体地包括：

运用SIFT算法处理各视角所得的二维图像，得到图像的特征点和特征描述符；根据所得特征描述符，对各图像对特征点匹配操作；根据图像的特征点数目和图像对的匹配点数等确定图像和图像对是否进入后续流程的算法计算处理。

但是本领域的普通技术人员知道，所述特征点匹配算法并不局限于采用SIFT算法，只要能够有效的实现特征点的匹配的任何算法，或者对SIFT算法的多种变化算法都应该属于本发明的保护范围。

步骤S103，对包括预定数目匹配点对的图像对根据所述匹配点获取所述图像对间的基本矩阵，且保存相应的空间平面点集。在本发明的一个实施例中，获取基本矩阵，且保存可能存在的空间平面点集包括：

根据所述图像的特征点数目和所述图像对的匹配点数目以确定是否对所述图像对进行处理；

步骤1、在需要处理的图像对中随机抽取一定数目的匹配点，并根据抽取的匹配点计算得到所述图像对之间的基本矩阵和支持点数；

步骤2、判断所述基本矩阵是否拥有最多的支持点数，如果拥有最多的支持点数则标记所述基本矩阵为最优解，并判断在抽取的匹配点中是否有多于预定数目的点满足平面单应关系；

步骤3、如果满足所述平面单应关系，则根据所述抽取的匹配点和额外不满足平面单应的两对匹配点求得新的基本矩阵，计算新基本矩阵的支持点数；如果所述新基本矩阵有最多的支持点数，则更新标记所述新基本矩阵为最优解、记录平面单应点集，结束本次计算且判断是否满足预定循环结束条件；

步骤4、如果不满足所述平面单应关系，则直接结束本次计算且判断是否满足预定循环结束条件。

如果判断不满足预定循环结束条件，则重复操作步骤1至步骤4直至满足循环预定条件，当满足所述循环预定条件时输出基本矩阵，同时如果所述基本矩阵有平面单应关系则保存平面单应和满足所述平面单应的匹配点集。

同时，对满足所述平面单应关系的匹配点还包括记录所述单应的支持点数，且判决满足平面单应关系的匹配点的三维重构在一个空间平面上。为了更清楚的理解步骤S103的获取基本矩阵，且保存可能存在的空间平面点集的方式，以下就本发明实施例的具体举例方式进行描述。

具体地，作为本发明的一个实施例中，采用DEGENSAC算法计算从步骤S102保留下来的图像对之间的对极几何关系，在这里即指基本矩阵F₁₂，同时保存可能得到的若干个平面点集。

步骤S104，由所述基本矩阵F₁₂求得所述图像对间的相对位置关系。在本发明的一个实施例中，由所述基本矩阵F₁₂求得所述图像对间的相对位置关系包括：

根据所述基本矩阵和标定所得的内参矩阵求得相机对间的本质矩阵

其中K₁、K₂为相机的内参矩阵，且根据E₁₂＝[t]_xR分解得到所述相机对间的相对旋转矩阵和平移向量。

更为具体地，作为本发明的一个优选实施例的具体例子，包括由基本矩阵和标定所得的内参矩阵求得图像对间的本质矩阵

其中K₁、K₂为相机的内参矩阵；根据E₁₂＝[t]_xR分解得到该对图像间的相对旋转矩阵和平移向量。其中，R、t代表空间点在第一幅图像坐标系中的坐标做R旋转、t平移后得到空间点在第二幅图像坐标系中的坐标。

步骤S105，根据所述图像对间的相对位置关系在标准坐标系中实现所述相机融合、三维点云重构。作为本发明的一个实施例，实现三维点云重构的方式为适当选取标准坐标系，依照一定顺序确定各图像在所述标准坐标系中的位置以实现图像逐一添加，并逐步实现三维空间点云的重构，其中，在重构三维点云的过程中，应用平面点集的空间重构点须满足在特定空间平面上。

以下就具体举例的方式描述本发明实施例中步骤S105提出的三维点云重构的方法。选择含有最多匹配点的图像作为基础图像，以该图像的坐标系为标准坐标系；选择与基础图像有最多匹配点的图像，设其与基础图像有N个匹配点；将与基础图像有一定匹配点数(如0.9N个)以上的图像一起加入标准坐标系，并应用三角化方法重构得到三维空间点。重构空间点时，根据步骤S103得到的平面点集约束，即平面点集中匹配点的重构点应该在同一个空间平面上。具体来说，首先重构平面点集中所有匹配点的三维点云；然后根据距离最小化原理，由这个点云中的点计算得到一个空间平面，保证该点云中的点到空间平面的总距离最小；最后以该三维点云中的点在此平面上的投影作为平面点集中匹配点的三维重构。

类似以上添加图像的方法，加入与已重构空间点有最多匹配点的数张图像，并更新空间点。该算法直到没新的图像需要加入时停止。

其中，加入图像在标准坐标系中的旋转矩阵和平移向量按以下方法求得。旋转矩阵根据旋转矩阵的传递性求得，即在已知第j个相机在标准坐标系下的旋转矩阵R_j和i到j的相对旋转矩阵R_ij的情况下，由下式求得相机i在标准坐标系下的旋转矩阵R_i，

R_j＝R_ijR_i，R_i为正交矩阵

当某一图像在标准坐标系中的旋转与平移由多个图像对求得且所得结果不一致时，按以下方式选取：以该图像与各图像的匹配点数为权值，对多解做加权平均来确定。具体方法简述如下：设R_j、t_j为待求的第j幅图像在标准坐标系中的位置关系，

分别为由第i幅图像求得的图像j的旋转平移关系，

为图像i与图像j之间的匹配点数，i＝1，...，k，则有：

${\mathrm{\α}}_i=N_i/\underset{i=1}{\overset{k}{\mathrm{\Σ}}}{N}_i$

$R_j=\underset{\mathrm{ki}=1}{\overset{k}{\mathrm{\Π}}}{\left(R_j^i\right)}^{{\mathrm{\α}}_i},$

$t_j=\underset{i=1}{\mathrm{\Σ}}{\mathrm{\α}}_i{t}_j^i.$

步骤S106，优化所述三维点云重构的结果。在本发明的一个实施例中，运用捆集调整对重构的三维点云进行整体优化。

本发明的另一方面提出一种处理含有主平面场景的三维点云重建***，该***包括相机和三维点云重建装置，其中所述相机内参已知，用于获取静态场景的多视角图像。

本发明实施例提出的三维点云重建装置如图2所示，为本发明实施例的三维点云重建装置的结构图。该三维点云重建装置100包括图像匹配模块110，图像对极几何计算模块120，图像位置关系计算模块130，三维点云重构模块140和图像优化模块150。其中，图像匹配模块110，用于检测所述图像的特征点，并对任意两幅图像进行特征点匹配以得到匹配点对，和由同一个场景点投影所得的匹配点序列，图像对极几何计算模块120，用于对包括预定数目匹配点对的图像对，根据所述匹配点获取所述图像对间的基本矩阵，且保存相应的空间平面点集，图像位置关系计算模块130，用于由所述基本矩阵求得所述图像对间的相对位置关系，三维点云重构模块140，用于根据所述图像对间的相对位置关系，在标准坐标系中实现所述相机融合、三维点云重构，和图像优化模块150，用于优化所述三维点云重构的结果。

通过本发明实施例的处理含有主平面场景的三维点云重建方法，解决了现有三维点云重建方法的一些不足，该方法实现了无场景依赖的三维重建，并且能够由含有主平面的图像集重建三维点云模型。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同限定。

Claims (6)

1.一种处理含有主平面场景的三维点云重建方法，其特征在于，包括以下步骤：

用内参数已知的相机获取静态场景的多视角图像；

检测所述图像的特征点，并对任意两幅图像进行特征点匹配以得到匹配点对，和由同一个场景点投影所得的匹配点序列，其中，所述对任意两幅图像进行特征点匹配以得到匹配点对，和由同一个场景点投影所得的匹配点序列进一步包括：

根据所述图像的颜色特征并用特征点选取算法以从所述图像中选择若干特征点；

记录所述特征点在相应图像中的像素坐标和以所述特征点为中心的局部区域的颜色特征；以及

根据所述图像的每个特征点在剩余的每一张图像中寻找匹配点以得到若干组匹配点对，其中，在匹配过程中，根据局部区域的颜色特征把所述颜色特征最相近的特征点组成匹配点对；

并且，其中，所述一组匹配点对为一个场景点在两幅图像上投影所得到的相同特征点的集合，所述一个匹配点序列为一个场景点在多幅图像上投影所得到的每组匹配点对的集合；

对包括预定数目匹配点对的图像对，根据所述匹配点获取所述图像对间的基本矩阵F₁₂，且保存相应的空间平面点集，其中，进一步包括：

步骤1、计算所述图像对的匹配点数目以确定是否满足预定数目；

步骤2、在满足预定数目匹配点的图像对中随机抽取一定数目的匹配点，并根据抽取的匹配点计算得到所述图像对之间的基本矩阵和支持点数；

步骤3、判断所述基本矩阵是否拥有最多的支持点数，如果拥有最多的支持点数则标记所述基本矩阵为最优解，并判断在抽取的匹配点中是否有多于预定数目的点满足平面单应关系；

步骤4、如果满足所述平面单应关系，则根据所述抽取的匹配点和额外不满足平面单应的两对匹配点求得新的基本矩阵，计算新基本矩阵的支持点数；如果所述新基本矩阵有最多的支持点数，则更新标记所述新基本矩阵为最优解、记录平面单应点集，结束本次计算且判断是否满足预定循环结束条件；以及

步骤5、如果不满足所述平面单应关系，则直接结束本次计算且判断是否满足预定循环结束条件，如果判断不满足预定循环结束条件，则重复操作步骤2至步骤5直至满足预定循环结束条件，当满足所述预定循环结束条件时输出基本矩阵，同时如果所述基本矩阵有平面单应关系则保存平面单应和满足所述平面单应的匹配点集；

由所述基本矩阵求得所述图像对间的相对位置关系，其中：根据所述基本矩阵F₁₂和标定所得的内参矩阵求得相机对间的本质矩阵

其中K₁、K₂为相机的内参矩阵，且根据E₁₂＝[t]_×R分解得到所述相机对间的相对旋转矩阵和平移向量，其中，R、t代表空间点在第一幅图像坐标系中的坐标做R旋转、t平移后得到空间点在第二幅图像坐标系中的坐标；

根据所述图像对间的相对位置关系，在标准坐标系中实现所述相机融合、三维点云重构，其中，包括：

选择含有最多匹配点的图像作为基础图像，以该图像的坐标系作为标准坐标系；

选择与基础图像有最多匹配点的图像；以及，

将与基础图像有一定匹配点数以上的图像一起加入标准坐标系，并应用三角化方法重构得到三维空间点；

并且，其中，在重构三维点云的过程中，平面点集的空间重构点必须满足在特定空间平面上；和

优化所述三维点云重构的结果。

2.如权利要求1所述的处理含有主平面场景的三维点云重建方法，其特征在于，所述用内参数已知的相机获取静态场景的多视角图像进一步包括：

每次摄像前对相机进行标定或对所述相机标定一次后保持所述相机内参数不变以获取相机内参数；

根据所述内参数已知的相机以任意多个视角拍摄获取含有一定重叠区域的图像集。

3.如权利要求1所述的处理含有主平面场景的三维点云重建方法，其特征在于，对满足所述平面单应关系的匹配点还包括记录所述单应的支持点数，且判决满足平面单应关系的匹配点的三维重构在一个空间平面上。

4.如权利要求1所述的处理含有主平面场景的三维点云重建方法，其特征在于，优化所述三维点云的重构结果为在添加完成所有图像且重建三维点云后对重建模型应用优化算法以优化，或在一幅或多幅图像的添加过程中和在空间点云重构过程中运用优化算法进行优化。

5.一种处理含有主平面场景的三维点云重建***，其特征在于，包括：

相机，所述相机内参数已知，用于获取静态场景的多视角图像；和

三维重建装置，所述三维重建装置用于检测所述图像的特征点，并对任意两幅图像进行特征点匹配以得到匹配点对，和由同一个场景点投影所得的匹配点序列，其中，所述对任意两幅图像进行特征点匹配以得到匹配点对，和由同一个场景点投影所得的匹配点序列进一步包括：

根据所述图像的颜色特征并用特征点选取算法以从所述图像中选择若干特征点；

记录所述特征点在相应图像中的像素坐标和以所述特征点为中心的局部区域的颜色特征；以及

根据所述图像的每个特征点在剩余的每一张图像中寻找匹配点以得到若干组匹配点对，其中，在匹配过程中，根据局部区域的颜色特征把所述颜色特征最相近的特征点组成匹配点对；

并且，其中，所述一组匹配点对为一个场景点在两幅图像上投影所得到的相同特征点的集合，所述一个匹配点序列为一个场景点在多幅图像上投影所得到的每组匹配点对的集合；

然后对包括预定数目匹配点对的图像对，根据所述匹配点获取所述图像对间的基本矩阵，且保存相应的空间平面点集，其中，进一步包括：

步骤1、计算所述图像对的匹配点数目以确定是否满足预定数目；

步骤2、在满足预定数目匹配点的图像对中随机抽取一定数目的匹配点，

并根据抽取的匹配点计算得到所述图像对之间的基本矩阵和支持点数；

步骤3、判断所述基本矩阵是否拥有最多的支持点数，如果拥有最多的支持点数则标记所述基本矩阵为最优解，并判断在抽取的匹配点中是否有多于预定数目的点满足平面单应关系；

步骤4、如果满足所述平面单应关系，则根据所述抽取的匹配点和额外不满足平面单应的两对匹配点求得新的基本矩阵，计算新基本矩阵的支持点数；如果所述新基本矩阵有最多的支持点数，则更新标记所述新基本矩阵为最优解、记录平面单应点集，结束本次计算且判断是否满足预定循环结束条件；以及

步骤5、如果不满足所述平面单应关系，则直接结束本次计算且判断是否满足预定循环结束条件，如果判断不满足预定循环结束条件，则重复操作步骤2至步骤5直至满足预定循环结束条件，当满足所述预定循环结束条件时输出基本矩阵，同时如果所述基本矩阵有平面单应关系则保存平面单应和满足所述平面单应的匹配点集；

之后由所述基本矩阵求得所述图像对间的相对位置关系，其中：根据所述基本矩阵F₁₂和标定所得的内参矩阵求得相机对间的本质矩阵

其中K₁、K₂为相机的内参矩阵，且根据E₁₂＝[t]_×R分解得到所述相机对间的相对旋转矩阵和平移向量，其中，R、t代表空间点在第一幅图像坐标系中的坐标做R旋转、t平移后得到空间点在第二幅图像坐标系中的坐标；

且根据所述图像对间的相对位置关系，在标准坐标系中实现所述相机融合、三维点云重构，其中，包括：选择含有最多匹配点的图像作为基础图像，以该图像的坐标系作为标准坐标系；选择与基础图像有最多匹配点的图像；将与基础图像有一定匹配点数以上的图像一起加入标准坐标系，并应用三角化方法重构得到三维空间点；其中，在重构三维点云的过程中，平面点集的空间重构点必须满足在特定空间平面上；

最后对所述三维点云重构的结果进行优化。

6.如权利要求5所述的处理含有主平面场景的三维点云重建***，其特征在于，所述三维重建装置进一步包括：

图像匹配模块，用于检测所述图像的特征点，并对任意两幅图像进行特征点匹配以得到匹配点对，和由同一个场景点投影所得的匹配点序列；

图像对极几何计算模块，用于对包括预定数目匹配点对的图像对，根据所述匹配点获取所述图像对间的基本矩阵，且保存相应的空间平面点集；

图像位置关系计算模块，用于根据所述基本矩阵求得所述图像对间的相对位置关系；

三维点云重构模块，用于根据所述图像对间的相对位置关系，在标准坐标系中实现所述相机融合、三维点云重构；和

图像优化模块，用于对所述三维点云重构的结果进行优化。

Images