CN102682468A - 一种基于平行平面和无穷远点的仿射重构的方法 - Google Patents

Abstract

本发明涉及一种基于平行平面和无穷远点的仿射重构的方法，对场景中包含一组平行平面和一对无穷远点的情况实现仿射重构，拍摄两幅包含三个可视面(其中一组为平行平面)的图像；提取图像中所需各点的图像坐标，确定场景中平行平面所对应的单应矩阵，在利用无穷远点对无穷远单应矩阵的约束，建立对无穷远单应的线性约束方程，并线性解出该矩阵。最后，建立摄像机矩阵，求出空间点的世界坐标，完成对场景中物体的仿射重建。本发明在求解过程中所涉及的运算，全部是线性运算，避免了一定的误差，具有一定的精度。

Description

一种基于平行平面和无穷远点的仿射重构的方法

技术领域

本发明属于计算机视觉中的三维重建的领域，是一种利用一组平行平面和一对无穷远点来对空间物体仿射重构的新方法。

背景技术

三维重建是计算机视觉领域中一个重要的研究领域，它是指从两幅或者多幅图像的像点坐标来恢复与之对应的空间点的世界坐标，即，恢复物体的三维空间结构。一般来说，在摄像机内参数不变的情况下，重构的框架可以分为两大类：第一类是基于基本矩阵和对极几何来计算内参数，最常见的是在两幅图像之间建立Kruppa方程；第二类是分层逐步自标定重构，即：首先对序列图像做射影重构，在此基础之上，进行仿射重构和欧式重构。

由于三维重建涉及到计算机视觉，计算机图形学，图像处理，虚拟现实等技术领域，因此，近些年一直是研究的热点。目前对其的研究主要是从特征检测，特征点匹配和摄像机标定这3个方面进行的。在分层重构过程中，射影重构的关键是确定基本矩阵，仿射重构则是确定无穷远平面的单应矩阵，而度量重构一般则是在仿射重构的基础之上来完成的。三维重建的过程就是根据上述的方法来确定摄像机外部参数的过程，即物体空间点的世界坐标。

随着计算机视觉技术的不断发展，三维重构技术也出现了多种多样的算法。1992年Hartley和Faugeras提出了由未标定的图像序列进行三维重构的算法，即先仅由二维图像上的对应点对三维物体进行射影重构，然后根据场景信息、摄像机的运动参数信息进行仿射重构，最后由摄像机内部结构信息得到度量重构。文献“基于两幅图像的三维物体分层重构”中(赵为民，梁栋，唐俊.计算机工程与应用，2003，36：78-80)提出了基于摄像机内参数不变的实验靶标为两个长方体的分层重构算法，其采用的内参数模型是5参数模型，在摄像机标定过程中至少需要两幅图像。

文献“由平行平面的投影确定无穷远平面的单应矩阵”(孙凤梅，胡占义，吴福朝.软件学报，2003，14(5)：936-948)中提出了利用平行平面来确定无穷远平面的单应矩阵，进而可以对三维物体直接仿射重构，但是该文的算法是需要两组平行平面，由于不是所有的物体都可以包含两组平行平面，而有的空间物体只含有一组平行平面，所以这种算法具有一定的局限性，有待于进一步研究。针对能否使用一幅图像就可以线性的高精度的恢复物体的三维空间结构，就是我们目前的研究重点。

发明内容

本发明采用了正三棱柱为靶标，利用一组平行平面和一对无穷远点来线性的确定无穷远平面的单应矩阵，进而完成对空间物体的仿射重构，该方法具有运算简单，且精度较高等优点。

本发明的技术解决方案

一种基于平行平面和无穷远点的仿射重构的方法，其主要是用于包含一组平行平面和一对无穷远点的场景中，我们取场景中所包含的一组平行平面，利用单应矩阵对无穷远平面形成一个约束，然后在利用无穷远点来完成无穷远单应的求解，最后利用三角原理来确定空间点的世界坐标，进而完成仿射重建。具体步骤包括：平行平面所对应的单应矩阵的求解，无穷远单应矩阵的求解和空间点的世界坐标的求解。

(1)计算平行平面所对应的单应矩阵

对任一平面中任意四点，其中三点不共线的，分别找到其在两幅图像上的所对应的象点，利用m₂＝Hm₁，求出H，则H即为平面所对应的单应矩阵。

(2)利用平行平面的单应矩阵来求解α(α＝K^-Tn)

根据前面知识单应矩阵可以表示为：

(n_d＝n/d)当d→∞，H_∞＝K′RK^-1，所以，任意的单应矩阵都可以用无穷远平面的单应矩阵表示出来，即：

设π₁，π₂为一组平行平面，H¹，H²为其对应的一组单应矩阵，故可以用无穷远平面的单应矩阵表示出来，

(s₁，s₂为非零常数)，将上面两个式子做差，可以得到

则上式可以转化为xH¹+e′y^T＝H²，利用线性方程组可以求出x，y，在相差一个非零常数数因子的意义下可以线性确定向量α。

(3)利用无穷远点来确定无穷远单应矩阵H_∞

在场景中找到一对对应的无穷远点，并且满足P′＝H_∞P，带入式子H_∞＝s₁H¹-λe′y^T中，所以P′＝H_∞P＝(s₁H¹-λe′y^T)P，这样在利用一组无穷远点就可以线性的确定s₁和λ。即：可以求出无穷远平面的单应矩阵H_∞。

(4)构建仿射重建矩阵，利用三角原理来确定空间点的世界坐标

根据前面的步骤，在求出无穷远平面的单应矩阵之后，我们可以得出所对应的摄像机矩阵P，P′，则，任意空间点X的世界坐标可以表示为λ₁m＝pX，λ₂m′＝p′X，由于像点坐标我们在角点提取中可以得到，故X的世界点坐标可以得到。

本发明的优点是：

(1)本发明主要适用于拍摄场景中含有一组平行平面和一对无穷远点的情况，属于非接触式测量方法，可以直接提取图像中相关点的信息。

(2)本发明采用的算法采用的是一组平行平面和一对无穷远点的有关性质，来完成对无穷远单应矩阵的求解，进而完成对空间物体的仿射重建。

(3)在求解过程中，全是线性求解，计算量比较小，结果精度也比较高。

附图说明

图1本发明利用空间正三棱柱靶标完成仿射重建的流程图。

图2本发明采用的标定靶标结构示意图。

图3正三棱柱仿射重建示意图。

具体实施方式

下面是对本发明做进一步的详细说明。提出了一种基于平行平面和无穷远点的仿射重构的方法，其特征在于它适用于包含一组平行平面和一对无穷远点的场景中，我们首先利用平行平面的单应矩阵来对无穷远平面的单应矩阵形成约束，在利用一对无穷远点来进一步求出无穷远平面的单应矩阵。这样，我们就可以得到摄像机矩阵，从而可以利用三角原理来完成三维空间物体的仿射重构。

(1)计算平行平面所对应的单应矩阵

设X是空间平面上的任意一点，其在两摄像机下的像点坐标分别是m，m′，由于空间平面与两个像平面之间存在两个矩阵H₁，H₂，且满足m＝H₁X，m′＝H₂X，(H₁，H₂为可逆矩阵)，因此m，m′也存在一个变换

即m′＝Hm。其中H为两幅图像之间的单应矩阵。故，选取平面上任意四点，其中三点不共线，就可以分别求出平行平面所对应的单应矩阵。

(2)利用平行平面的单应矩阵来求解α(α＝K^-Tn)

根据前面知识单应矩阵可以表示为：

(n_d＝n/d)当d→∞，H_∞＝K′RK^-1，所以，任意的单应矩阵都可以用无穷远平面的单应矩阵表示出来，即：

设π₁，π₂为一组平行平面，H¹，H²为其对应的一组单应矩阵，故可以用无穷远平面的单应矩阵表示出来，

(s₁，s₂为非零常数)，将上面两个式子做差，可以得到则上式可以转化为xH¹+e′y^T＝H²，利用线性方程组可以求出x，y，在相差一个非零常数数因子的意义下可以线性确定向量α。

(3)利用无穷远点来确定无穷远单应矩阵H_∞

在场景中找到一对对应的无穷远点，并且满足P′＝H_∞P，带入式子H_∞＝s₁H¹-λe′y^T中，所以P′＝H_∞P＝(s₁H¹-λe′y^T)P，这样在利用一组无穷远点就可以线性的确定s₁和λ。即：可以求出无穷远平面的单应矩阵H_∞。

(4)构建仿射重建矩阵，利用三角原理来确定空间点的世界坐标

根据前面的步骤，在求出无穷远平面的单应矩阵之后，我们可以得出所对应的摄像机矩阵P，P′，则，任意空间点X的世界坐标可以表示为λ₁m＝pX，λ₂m′＝p′X，由于像点坐标我们在角点提取中可以得到，故X的世界点坐标可以得到。

实施例

本发明提出了一种基于平行平面和无穷远点的仿射重构的方法，具体操作如流程如图1所示：本发明所选用的实验靶标是一个任意棱长的正三棱柱，如图2所示，不妨设其棱长为30cm，取点A₁为坐标系原点，在三角形A₁B₁C₁所在平面分别取B₁C₁的中点所在直线和与其相互垂直直线为y轴和x轴，以通过点A₁且与xy平面相互垂直直线为z轴，建立右手直角坐标系A₁-xyz，则估计出A，B，C，D，E，F，G及A₁，B₁，C₁，D₁，O，O₁(如图2)的坐标分别为：A(0，0，30)，

具体的步骤如下：

(1)制作正三棱柱模型，摄像机拍摄两组图像，选择包含三个可视面(其中一组为平行平面)的图像。

(2)用OpenCV中的函数cvGoodFeaturesToTrack提取出图像中角点坐标。

(3)求解平行平面对应的单应矩阵

设m_a，m_b，m_c，m_e，m′_a，m′_b，m′_c，m′_e分别是空间正三棱柱ABC-A₁B₁C₁中点A，B，C，E所对应的两幅图像上的像点坐标，根据m′＝Hm，分别将对应的像点坐标带入，就可以求得对应平面的单应矩阵。下面以求解三角形ABC所在平面的单应矩阵为例，给出求解过程。在三角形ABC所在平面任选取四点以A，B，C，E为例，其中任三点不共线，选取任意一幅包含三个可视面(其中一组为平行平面)的图像，提取出特征点A，B，C，E的在两幅图像上的像点坐标，分别为：m_a(397，50)，m_b(83，34)，m_c(225，234)，m_e(278，81)，m′_a(528，121)，m′_b(262，104)，m′_c(399，281)，m′_e(436，149)，由m′＝Hm，分别将对应点的坐标带入，就可以求出H。

即三角形ABC所在平面的单应矩阵为：

$H=\left[\begin{array}{ccc}0.00462949691813& 0.0011204595031& 0.93333434221046\\ 0.00004873037849& 0.00515245651261& 0.35890366552717\\ 0.00000015263793& 0.00000205447535& 0.00509182320132\end{array}\right]$

(4)利用平行平面的单应矩阵来求解α(α＝K^-Tn)

设正三棱柱中三角形ABC所在平面和三角形A₁B₁C₁所在平面对应的单应矩阵分别为H¹，H²，则存在非零常数s₁，s₂，满足

由于e′≈Kt，α＝K^-Tn，存在非零常数λ，使得e′＝λKt，将上面两个式子相减可得：

$\frac{s_1}{s_2}{H}^1+e^{\′}{\left(\frac{\mathrm{\λ}(d_1-d_2)}{d_1{d}_2}\mathrm{\α}\right)}^T=H^2{s}_1{H}^1-s_2{H}^2=\mathrm{\λ}\left(\frac{d_1-d_2}{d_1{d}_2}\right)e^{\′}{\mathrm{\α}}^T,$

于是有： $\frac{s_1}{s_2}{H}^1+e^{\′}{\left(\frac{\mathrm{\λ}(d_1-d_2)}{d_1{d}_2}\mathrm{\α}\right)}^T=H^2$

则上式可以转化为xH¹+e′y^T＝H²，利用线性方程组可以求出x，y，在相差一个非零常数因子的意义下可以线性确定向量α。

(5)利用无穷远点来确定无穷远单应矩阵H_∞。

设P，P′图像中中一对对应的无穷远点，其坐标分别为P＝(u，v，1)，P′＝(u′，v′，1)，则满足P′＝H_∞P；

又 $s_1{H}^1=H_{\∞}+K\frac{{\mathrm{tn}}^T}{d_1}{K}^{-1}=H_{\∞}+{\mathrm{\λe}}^{\′}{y}^T,$

所以H_∞＝s₁H¹-λe′y^T，

故有P′＝H_∞P＝(s₁H¹-λe′y^T)P；这样在利用一组无穷远点就可以线性的确定s₁和λ。进而可以求出无穷远单应矩阵，

(6)构建仿射重建矩阵，利用三角原理来确定空间点的世界坐标

构造摄像机对P，P′，设X_a为正三棱柱中一顶点A的世界坐标：X_a＝(X，Y，Z，1)^T，在摄像机P下的坐标为m_a＝(u，v，1)^T，在摄像机P′下的坐标为m′_a＝(u′，v′，1)^T，根据λ₁m_a＝pX_a，λ₂m′_a＝p′X_a，将上面的式子转换成线性方程组可得：AX＝B，

其中 $A=\left(\begin{array}{c}{p}_{31}u-p_{11},p_{32}u-p_{12},p_{33}u-p_{13}\\ p_{31}v-p_{21},p_{32}v-p_{22},p_{33}v-p_{23}\\ p_{31}^{\′}{u}^{\′}-p_{11}^{\′},p_{32}^{\′}{u}^{\′}-p_{12}^{\′},p_{33}^{\′}{u}^{\′}-p_{13}^{\′}\\ p_{31}^{\′}{v}^{\′}-p_{21}^{\′},p_{32}^{\′}{v}^{\′}-p_{22}^{\′},p_{33}^{\′}{v}^{\′}-p_{23}^{\′}\end{array}\right),$ X＝(X，Y，Z)^T， $B=\left(\begin{array}{c}{p}_{14}-{\mathrm{vp}}_{34}\\ p_{24}-{\mathrm{vp}}_{34}\\ p_{14}^{\′}-{\mathrm{vp}}_{24}^{\′}\\ p_{24}^{\′}-{\mathrm{vp}}_{24}^{\′}\end{array}\right),$

解此线性方程组可以确定空间点X_a的世界坐标，

Xa＝(-251553.949843553，18840.725385731，1)。

类似的，可以求出正三棱柱其他顶点的坐标。进而可以完成正三棱柱的仿射重建，如图3所示。

本发明提出的仿射重建方法比较简单易行，鲁棒性好，只需要场景中包含一组平行平面和一对无穷远点即可。

Claims (1)

1.一种基于平行平面和无穷远点的仿射重构的方法。该方法的特征在于场景中包含一组平行平面和一对无穷远点，我们根据一对平行平面可以求出其对应的单应矩阵，利用无穷远点可以对无穷远单应矩阵形成约束，将上面的结合在一起就可以求解出无穷远单应矩阵。最后，根据所求出的无穷远单应构建摄像机矩阵，求出空间点的世界坐标，进而完成放射重建。具体步骤包括：所需平行平面的单应矩阵的求解，利用无穷远点的约束和平行平面的单应矩阵来求解无穷远单应矩阵，空间点的世界坐标的求解。

(1)利用无穷远点的约束和平行平面的单应矩阵来求解无穷远单应矩阵

设一组平行平面所对应的单应矩阵分别是H¹，H²，则存在非零常数s₁，s₂，

使得： $s_1{H}^1=H_{\∞}+K\frac{{\mathrm{tn}}^T}{d_1}{K}^{-1},$ $s_2{H}^2=H_{\∞}+K\frac{{\mathrm{tn}}^T}{d_2}{K}^{-1},$

将上面两个式子做差，可以得到 $\frac{s_1}{s_2}{H}^1+e^{\′}{\left(\frac{\mathrm{\λ}(d_1-d_2)}{d_2{d}_2}\mathrm{\α}\right)}^T=H^2,$

则上式可以转化为xH¹+e′y^T＝H²，利用线性方程组可以求出x，y，在相差一个非零常数因子的意义下可以线性确定向量α，

另外在设P，P′为图像上相对应的无穷远点，其坐标分别为P＝(u，v，1)，P′＝(u′，v′，1)，则满足P′＝H_∞P；

又 $s_1{H}^1=H_{\∞}+K\frac{{\mathrm{tn}}^T}{d_1}=K^{-1}=H_{\∞}+\mathrm{\λ}{e}^{\′}{y}^T,$

所以H_∞＝s₁H¹-λe′y^T，

故有P′＝H_∞P＝(s₁H¹-λe′y^T)P；这样在利用一组无穷远点的像点坐标就可以线性的确定s₁和λ；进而可以求解出无穷远单应矩阵。

Images