CN101350101A

CN101350101A - 多幅深度图像自动配准方法

Info

Publication number: CN101350101A
Application number: CNA2008102220956A
Authority: CN
Inventors: 齐越; 赵沁平; 侯飞; 沈旭昆
Original assignee: Beihang University
Current assignee: Beihang University; Beijing University of Aeronautics and Astronautics
Priority date: 2008-09-09
Filing date: 2008-09-09
Publication date: 2009-01-21
Anticipated expiration: 2028-09-09
Also published as: CN101350101B

Abstract

多幅深度图像自动配准方法。(1)使用SIFT特征对任意两幅深度图像配准并判断结果正确性。首先计算两幅深度图像的SIFT特征，双向交叉匹配对应点，然后用RANSAC算法求极线约束，过滤错误匹配，之后用ICP算法精确配准并判断结果正确性(2)搜索模型图的圈空间，计算全局一致的配准结果。首先求得模型图的导出圈基并构建导出圈基的邻接关系图，然后，求得一致圈空间的一组基，进而得到一致的配准结果。该方法可以有效地提高圈空间的搜索速度，理想情况下，可以将指数时间复杂度提高到线性时间复杂度。(3)圈的一致性判断，使用一种相对误差判断方法判断圈中配准结果的一致性。本发明可以可靠的自动配准多幅深度图像，通过搜索一致圈，去掉错误配准，得到一致的配准结果。

Description

多幅深度图像自动配准方法

技术领域

本发明属于计算机虚拟现实技术领域，具体地说是涉及多幅深度图像自动配准，得到完整模型，该方法可用于三维模型的几何建模。

背景技术

近些年来，三维扫描技术快速发展，使得自动配准技术变得越来越重要。深度图像是三维扫描设备扫描后得到的带有深度信息的图像。配准是指将从不同位置、不同角度扫描到的深度图像通过刚性变换变到同一坐标系的过程。通过配准，将多幅深度图像拼接到一起，从而获得完整的三维模型。配准计算过程主要可分为两幅深度图像配准和多幅深度图像配准。两幅深度图像配准是计算两幅图像之间的相对位置关系进行配准；多幅深度图像配准也称全局配准是在两幅深度图像配准的基础上，去除错误的两两配准结果，计算全局一致的配准结果，然后优化全局配准的总体误差。

两幅深度图像配准主要包括粗略两两配准和精确两两配准两步。精确两两配准主要采用ICP(Iterative Closest Point)算法(参见P.J.Besl，N.D.McKay.A Method for Registration of 3DShapes.IEEE Trans.Pattern Anal[J].and Machine Intell.Vol.14，pp.239-256，1992和Y.Chen，G.Medioni.Object Modeling by Registration of Multiple Range Images[J].IEEE Conference onRobotics and Automation，pp.2724-2729，1991.和[Rusinkiewicz 2001]Rusinkiewicz，S.，Levoy，M.Efficient Variants of the ICP Algorithm[J].In International Conference on 3D Digital Imagingand Modeling，2001.)，已经取得了很好的效果，但是，由于ICP算法是局部收敛的，所以在采用ICP算法之前，先要进行两两粗略配准，以获得较好的初始位置，避免陷入局部最优。两两粗略配准主要利用特征描述符，如旋转图像、积分球体等，匹配至少三对或者更多对应点，进而求得刚性变换。

全局匹配是在两两配准基础上，判断两两配准的正确性，去掉错误结果，得到整体一致的配准结果。Huber(参见Huber D.Automatic Three-dimensional Modeling from Reality.CarnegieMellon University，2002)提出了第一个全局匹配算法。他利用可见性标准，判断深度图像之间是否存在遮挡，进而判断配准是否正确，并利用贝叶斯概率得到每个配准的可靠性系数，然后，使用贪心法，生成一颗配准整个模型的最小生成树。但每次遮挡判断之前都要优化总体误差，而且遮挡计算复杂度也比较高，因此计算效率比较低。而且在计算生成树开始阶段，由于只有较少的深度图像聚合到一起，所以遮挡性判断的可靠性也较低。Hunag(参见HuangQ X，Flory S，Gelfand N，Hofer M，Pottmann H.Reassembling fractured objects by geometricmatching.ACM Transactions on Graphics(SIGGRAPH)，2006：569-578)改进了Huber的方法，他注意到两个多幅深度图像合并的子模型之间可能存在多个两两配准关系，这比单一关系要可靠，因此他优先合并有更多相容配准关系的子图，而不是仅仅依赖单一配准结果求最小生成树，但该方法还是要多次优化总误差，计算复杂度高，在模型合并初期同样可靠性不高。注意到子模型间的多个相容配准关系，实质上是构成了回路，而且两两配准结果在回路中要满足一致性约束。

全局匹配后需要优化总体误差。与ICP算法类似，通过迭代逐渐减小误差，但由于涉及到多幅深度图像，所以计算更为复杂。全局配准算法主要分为两类，两两优化Bergevin和Pulli(参见Bergevin R.，Soucy M.，Gagnon H.，et al.Towards a General Multi-View RegistrationTechnique.IEEE Trans.Pattern Anal.and Machine Intell，1996，18(5)：540-547和Pulli K.Multiview Registration for Large Data Sets.nternational Conference on 3D Digital Imaging andModeling)和同时优化Krishnan和Neugebauer算法(参见Krishnan S.，Lee P.Y.，Moore J.，etal.Global Registration of Multiple 3D Point Sets via Optimization-on-a-Manifold.Proc.ofSymposium on Geometry Processing，2005：187-196和Neugebauer P.J.Geometrical Cloning of3D Objects via Simultaneous Registration of Multiple Range Images[C].Proceed-ings of the 1997International Conference on Shape Modeling and Applications(SMA’97)，1997，130)。两两优化反复采用ICP算法优化两幅图像，因此收敛速度慢而且可能无法收敛，同时优化的方法直接优化总误差，收敛速度较快，但复杂的优化计算稳定性较差。

发明内容

本发明的技术解决问题：克服现有技术的不足，提供一种多幅深度图像自动配准方法，该方法进行多幅深度图像配准速度快，且匹配准确。

本发明的技术解决方案：多幅深度图像自动配准方法，包括两幅深度图像配准和多幅深度图像全局匹配过程，其中：

所述的两幅深度图像配准如下：

(1)在两幅图像上分别计算SIFT特征，得到每个特征点对应一个128维特征向量；

(2)根据步骤(1)所述的特征向量，匹配对应点；

(3)确定匹配对应点之后，采用RANSAC算法求解基础矩阵，然后采用基础矩阵剔除匹配错误的对应点；

(4)将剔除匹配错误后的对应点按SIFT特征距离排序，去掉两幅图像的特征向量之间距离最大的20％的对应点；

(5)根据两幅图像的对应点采用四元数法求得变换矩阵，从而得到两两粗略配准；

(6)两两粗略配准后，使用ICP算法精确配准两幅深度图像；

所述的多幅深度图像全局匹配过程如下：

(7)根据步骤(6)得到的两两精确配准的两幅深度图像，建立多幅图像的模型图；

(8)求得模型图的导出圈基，建立导出圈基的邻接关系图Г，所述的导出圈基是指没有弦的导出圈构成的基；

(9)搜索圈空间，所述的圈空间为模型图中所有回路的集合，在搜索时只搜索导出圈基的邻接关系图Г中的连通顶点生成的圈，并且得到一个一致圈时，就删掉一个圈基，直到Г所剩余的顶点个数小于要搜索的顶点个数为止，得到多幅图像的全局匹配。

所述步骤(2)中采用双向交叉方法匹配对应点，其步骤为：匹配对应点时，对于第一幅图像上的特征点p，其有一个特征向量，在第二幅深度图像的所有特征向量中找到距离特征点p的特征向量最近的特征点p′，反过来对于p′，在第一幅深度图像的所有特征向量中找到距离特征点p′的特征向量最近的特征点p″，如果p＝p″，则p与p′为匹配对应点。

所述的步骤(6)后还要判断两两配准结果是否正确，判断步骤为：首先，在根据SIFT特征匹配对应点时，如果匹配成功的对应点数小于设定阈值，则判定配准不正确；其次，使用ICP算法精确配准时，如果误差过大，大于设定阈值，则判定配准不正确；如果以上两个条件均无法判定配准结果错误，则认为结果正确。

所述步骤(7)中所述的模型图G＝<V，E>是一个无向图，V是顶点的集合，E是边的集合，每个顶点v_i∈V表示一幅深度图像，每一条边e_ij＝(v_i，v_j)∈E，当且仅当深度图像v_i和v_j的两两配准结果T_ij存在，并且T_ij作为边e_ij的属性，其中v_i和v_j是模型图的两个顶点。

所述步骤(8)中的对于得到一个一致圈的判断方法：从圈中任取一幅深度图像，求得它的直径d，将该深度图像沿着圈中的两两变换变换一周，得到一幅新的深度图像，计算新的深度图像和初始深度图像对应点之间的误差e，将e/d作为圈的误差，如果圈的误差小于设定阈值圈就是一致的，否则，是不一致的。

本发明与现有技术相比的优点在于：

(1)本发明基于SIFT的特征配准计算速度快，交叉匹配对应点可靠性高，用RANSAC算法过滤对应点，最大程度提高了对应点的可靠性。

(2)本发明建立多幅图像的模型图，求得模型图的导出圈基，建立导出圈基的邻接关系图Г，在搜索圈空间时只搜索导出圈基的邻接关系图Г中的连通顶点生成的圈，并且得到一个一致圈时，就删掉一个圈基，直到Г所剩余的顶点个数小于要搜索的顶点个数为止，得到多幅图像的全局匹配，大大提高了搜索速度，从而快速可靠地得到多幅图像全局一致的配准结果。

(3)而且本发明通过圈的一致性判断，进一步提高了多幅图像的可靠性。

附图说明

图1为本发明方法的流程图；

图2为本发明中建立模型图的示意图；

图3为本发明中采用64个圈的误差分布图；

图4为图3的局部放大图；

图5为采用本发明方法进行自动配准的弥勒下生经变相窟图。

具体实施方式

如图1所示，本发明分为两幅深度图像配准和多幅深度图像全局匹配过程。

1、两幅深度图像配准

两幅深度图像粗略配准是对处在任意位置的部分重叠的两幅深度图像粗略配准的过程。目的是为精确配准提供较好的初始位置，以确保其收敛。由于深度图像中包含颜色信息，因此本发明采用图像对应点匹配方法进行配准，其步骤为：

(1)首先，分别在两幅图像上计算SIFT特征，每个特征点对应一个128维特征向量，采用欧氏距离度量两个SIFT特征之间的距离；在此步骤中计算SIFT特征采用Lowe，D.Distinctive image features from scale-invariant keypoints.Int.J.of Computer Vision 60，2，91-110.2004.文中介绍了方法即可。

(2)采用双向交叉匹配对应点，即匹配对应点时，对于第一幅图像上的特征点p，其有一个特征向量，在第二幅深度图像的所有特征向量中找到距离特征点p的特征向量最近的特征点p′，反过来对于p′，在第一幅深度图像的所有特征向量中找到距离特征点p′的特征向量最近的特征点p″，如果p＝p″，则p与p′为匹配对应点。

(3)匹配之后，采用RANSAC算法求解基础矩阵，以剔除误差点，采用RANSAC算法求解基础矩阵可以参见Hartley，R.I.，AND ZISSERMAN，A.2004.Multiple View Geometry inComputer Vision.Cambridge University Press，Cambridge，UK。

(4)然后，将对应点按SIFT特征距离排序，去掉距离最大的20％的对应点。

(5)最后，根据对应点使用四元数法求得变换矩阵，使用四元数法的求解变换矩阵的过程可以参见Horn，B.Closed Form Solutions of Absolute Orientation Using Unit Quaternions.Journal of the Optical Society，Vol.4，629-642，1987。

(6)两两粗略配准后，使用ICP(Iterative Closest Point)算法精确配准两幅深度图像。ICP算法参见P.J.Besl，N.D.McKay.A Method for Registration of 3D Shapes.IEEE Trans.Pattern Anal[J].and Machine Intell.Vol.14，pp.239-256，1992.，每次迭代根据误差动态修改距离阈值，这样得到了两幅深度图像精确的配准的结果。

(7)对两幅深度图像精确的配准的结果进行两两配准的一致性判断。特征点匹配错误或两幅深度图像没有部分重叠，都可能造成两两配准结果错误。因此要两两配准是要判断其结果是否正确，判断步骤为：首先，在根据SIFT特征匹配对应点时，如果匹配成功的对应点数小于设定阈值，则判定配准不正确；其次，使用ICP算法精确配准时，如果误差过大，大于设定阈值，则判定配准不正确。如果以上两个条件均无法判定配准结果错误，则认为结果正确，并且将两两配准结果加入到后面多幅图像全局匹配的模型图中。

2、多幅深度图像全局匹配

(1)根据得到的两两精确配准的两幅深度图像，建立多幅图像的模型图；

两两配准之后，得到模型图G，但仅仅依靠两两配准的一致性判断得到的结果是不可靠的，例如由于模型的自对称性，造成配准错误，但通过两两配准难以判断出来。因此，两两配准之后，要进行全局一致性判断。由于模型图G的任意回路都应满足一致性约束，否则就是不正确的，这样在一条回路中的配准结果可以自我校验，本发明提出基于回路的全局匹配方法。

模型图G＝<V，E>是一个无向图，每个顶点v_i∈V表示一幅深度图像，边e_ij＝(v_i，v_j)∈E当且仅当深度图像v_i和v_j的两两配准结果T_ij存在，并且T_ij作为边e_ij的属性。值得注意的是，任何一条回路都要满足一致性约束，即总的变换应为单位变换。如图2，在回路16521中，应满足T₁₂·T₂₅·T₅₆·T₆₁＝I。一条回路如果满足一致性约束，则称为一致回路，否则称为不一致。

(2)求得模型图的导出圈基，建立导出圈基的邻接关系图Г；

先简单介绍有关图、圈和圈空间的概念。一个图G＝<V，E>，其中V＝v(G)表示顶点集合，E＝ε(G)表示边的集合。每个顶点出现不超过一次的通路称为基本通路(Path)。起点和终点为同一顶点的基本通路称为圈(Cycle)。一条边连接一个圈中的两个顶点，但它并不是圈中的边，称为弦(Chord)。一个没有弦的圈称为导出圈(Induced Cycle)。如果图G₁和G₂没有公共边，则

G_{1} \cup G_{2}

称为图G₁和G₂的边不重并。环路是指圈与圈的边不重并。显然圈是环路，圈是连通的，但环路不一定连通。图G₁和G₂的对称差(Symmetric Difference)运算定义为

G_{1} &CirclePlus; G_{2} = (G_{1} \cup G_{2}) - (G_{1} {\cap G}_{2}) .

对称差运算满***换律和结合律。

连通图G＝<V，E>的所有环路及空集组成的集合为C＝{C₁，C₂…，C_n)，在其上定义对称差运算与数乘运算0C_i＝Φ，1·C_i＝C_i，则其构成数域上的一个|E|-|V|+1维线性空间，记作C(G)，称为圈空间(Cycle Space)。任何圈空间都可以由导出圈基以生成整个圈空间。

(3)搜索圈空间；

设模型图G的导出圈基为

整个圈空间C(G)由

张成，因此C(G)的大小为2^|E|-|V|+1，是指数复杂度，搜索效率太低。模型图中所有一致圈构成了一个线性子空间，称为一致子空间。本发明提出一种快速求得一致子空间的一组基的方法，大大提高了圈空间的搜索效率，理想情况下是线性复时间杂度。

注意到如果两个圈的对称差仍为圈，那么这两个圈必有公共边。为了加速搜索，首先定义圈基的邻接关系图

边(B_i，B_j)∈L当且仅当ε(B_i)⌒ε(B_j)≠Φ。因此有以下结论：设

C = B_{k_{1}} &CirclePlus; B_{k_{2}} &CirclePlus; \cdot \cdot \cdot &CirclePlus; B_{k_{n}},

如果C是圈，那么在中

是连通的。注意由Г中连通的顶点所对应的圈基生成的环路也可能不是圈，因此还要检验其是不是圈。这样在搜索圈空间时，只要搜索由任意多个连通的基生成的所有圈，判断它们的一致性，这样可以大大减少搜索次数。

在搜索一致圈时，首先根据两两配准的模型图G求出导出圈基

并且生成的邻接关系图采用导出圈基是因为它的长度较小，因而一致的可能性较大，有助于提高搜索效率。然后求S(G)的一组基，首先，判断每个圈C＝B_i是否一致，如果一致，则将C加入到S(G)的基中，并从Г中删除B_i；然后判断由任何两个连通的圈基生成的圈

C = B_{i} &CirclePlus; B_{j}

是否一致，如果一致，将C加入到S(G)的基中，并从Г中删除B_i；然后判断由任何三个连通的圈基生成的圈，这样下去，直到Г中剩余的顶点小于要搜索的连通顶点个数为止。然后，将所有一致圈的边合并得到一致模型图G′，详细算法在算法1中给出。该算法在最好情况下是线性复杂度，与指数复杂度相比，大大提高了计算效率。如果G′只有一个连通子图，则全局配准计算完成。如果G′有多个连通子图，则连通子图之间不再存在一致回路，本发明采用基于可见性的判断方法——自由空问冲突(Free Space Violation)继续全局配准[Huber 2002]，生成连通子图之间的最小生成树，以合并更多的子图。因为一般情况下，每个连通子图都含有多幅深度图像，所以，相对于单幅图像而言，可见性判断具有更高的可靠性。

算法1：

输入：两两配准的模型图G输出：全局一致的模型图G’Procedure求出G的导出圈基B建立B的邻接关系图Г<B，L>consistent_cycle←ΦN←1while Г中顶点数＞＝Nfor each Г中N个连通顶点生成的圈Cif C一致then将C***到consistent_cycle中删除这N个顶点中的一个IfГ中顶点数＜Nthenbreakend ifend ifend forN←N+1end whileG’←Φ将G中的顶点加到G’中将consistent_cycle中所有圈的所有边加到G’中

(4)圈的一致性判断；

求得一个圈之后，要判断其是否一致。一个圈是一致的，是指圈中的总的两两变换近似单位变换。设圈C＝V₁V₂…V_nV₁，任取一幅深度图像V_i，求得V_i到V_i回路中总变换T＝T_i，i+1…T_n，1…T_i-1，i，T_i，j表示V_j到V_i的变换矩阵。计算圈中总的变换误差为

ϵ = \frac{1}{n} Σ_{k = 1}^{n} | | p_{k} - {Tp}_{k} | |,

其中p_k∈V_i为深度图像V_i中的点，n表示V_i中点的个数。

设深度图像V_i的包围球直径为d。如果ε＜＜d，那么圈C是一致的，否则圈C是不一致的。定义r＝ε/d为圈中的误差，r是缩放不变的，这样它与深度图像的缩放变换无关。如果r小于设定阈值圈就是一致的，否则，是不一致的。

(5)试验结果；

圈的一致性判断时，每个回路的误差分布如图3、4所示，可以看出误差分布在0.03和0.3之间存在明显断裂，因此，本发明设定判断一致圈的误差阈值为0.03。

如图5所示，大足石刻弥勒下生经变相窟模型共有81幅深度图像，包含22477248个点，平均每幅深度图像约27.7万个点。采用同上的参数设定，共进行了3240次两两配准后，得到模型图包含217条边，因此圈空间的维数为137。搜索圈空间时，共搜索了140个圈后完成搜索，得到124个一致圈，即一致子空间为124维，得到的一致模型图包含184条边且已经连通，搜索圈空间用时42.5秒。整个配准计算用时约35分钟，可见绝大部分时间都用于两两配准，最后得到的完整模型。

总之，本发明可以可靠的自动配准多幅深度图像，通过搜索一致圈，去掉错误配准，得到一致的配准结果。

本发明说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims

1、多幅深度图像自动配准方法，两幅深度图像配准和多幅深度图像全局匹配过程，其特征在于步骤如下：

所述的两幅深度图像配准如下：

(2)根据步骤(1)所述的特征向量，匹配对应点；

(6)两两粗略配准后，使用ICP算法精确配准两幅深度图像；

所述的多幅深度图像全局匹配过程如下：

(8)求得模型图的导出圈基，建立导出圈基的邻接关系图Γ，所述的导出圈基是指没有弦的导出圈构成的基；

(9)搜索圈空间，所述的圈空间为模型图中所有回路的集合，在搜索时只搜索导出圈基的邻接关系图Γ中的连通顶点生成的圈，并且得到一个一致圈时，就删掉一个圈基，直到Γ所剩余的顶点个数小于要搜索的顶点个数为止，得到多幅图像的全局匹配。

2、根据权利要求1所述多幅深度图像自动配准方法，其特征在于：所述步骤(2)中采用双向交叉方法匹配对应点，其步骤为：匹配对应点时，对于第一幅图像上的特征点p，其有一个特征向量，在第二幅深度图像的所有特征向量中找到距离特征点p的特征向量最近的特征点p′，反过来对于p′，在第一幅深度图像的所有特征向量中找到距离特征点p′的特征向量最近的特征点p″，如果p＝p″，则p与p′为匹配对应点。

3、根据权利要求1所述多幅深度图像自动配准方法，其特征在于：所述的步骤(6)后还要判断两两配准结果是否正确，判断步骤为：首先，在根据SIFT特征匹配对应点时，如果匹配成功的对应点数小于设定阈值，则判定配准不正确；其次，使用ICP算法精确配准时，如果误差过大，大于设定阈值，则判定配准不正确；如果以上两个条件均无法判定配准结果错误，则认为结果正确。

4、根据权利要求1所述多幅深度图像自动配准方法，其特征在于：所述步骤(7)中所述的模型图G＝<V，E>是一个无向图，V是顶点的集合，E是边的集合，每个顶点v_i∈V表示一幅深度图像，每一条边e_ij＝(v_i，v_j)∈E，当且仅当深度图像v_i和v_j的两两配准结果T_ij存在，并且T_ij作为边e_ij的属性，其中v_i和v_j是模型图的两个顶点。

5、根据权利要求1所述多幅深度图像自动配准方法，其特征在于：所述步骤(8)中的对于得到一个一致圈的判断方法：从圈中任取一幅深度图像，求得它的直径d，将该深度图像沿着圈中的两两变换变换一周，得到一幅新的深度图像，计算新的深度图像和初始深度图像对应点之间的误差e，将e/d作为圈的误差，如果圈的误差小于设定阈值圈就是一致的，否则，是不一致的。

6、根据权利要求1所述多幅深度图像自动配准方法，其特征在于：所述步骤(9)中搜索圈空间的方法如下：

输入：两两配准的模型图G

输出：全局一致的模型图G’

Procedure

求出G的导出圈基B

建立B的邻接关系图Г<B，L>

consistent_cycle←Φ

N←1

while Γ中顶点数＞＝N

for each Γ中N个连通顶点生成的圈C

ifC一致then

将C***到consistent_cycle中

删除这N个顶点中的一个

IfΓ中顶点数＜N then

break

end if

end for

N←N+1

end while

G’←Φ

将G中的顶点加到G’中

将consistent_cycle中所有圈的所有边加到G’中。