CN105894574A - 一种双目三维重建方法 - Google Patents

Abstract

本发明公开了一种双目三维重建方法，包括以下步骤：1)采用两台相同型号的图像采集设备采集待重构的物体的图像分别获得左图像和右图像；2)采用棋盘法标定所述图像采集设备，计算所述图像采集设备的内外参数和镜头畸变系数，对两图像分别进行处理，去除图像中的畸变；3)对步骤2)处理后的两图像进行特征提取，得到两幅图像的特征点；4)利用步骤3)中两幅图像中的特征点，进行特征点匹配，得到特征点对；5)对得到的特征点对，进行对极几何约束检测，去除误匹配的特征点对；6)利用保留的特征点对的二维坐标计算得到特征点对在世界坐标系中的对应点的三维坐标。本发明的三维重建方法，可有效降低非正常点，获得准确的三维重构模型。

Description

一种双目三维重建方法

【技术领域】

本发明涉及计算机视觉，特别是涉及一种双目三维重建方法。

【背景技术】

三维模型重建是计算机视觉中一个非常重要的研究领域，已经开始被广泛应用于工业、医疗、娱乐三大领域。当前，三维模型重建，按照技术方法分为四大类，采用结构光重建方法、采用断层扫描的重建方法、采用飞行时间的重建方法、采用立体成像的重建方法。其中，立体成像重建方法主要分为两类，即采用单幅图像的重建方法和采用多幅图像的重建方法。采用单幅图像重建的方法可以归纳为shape from X类，如shape from contour(基于轮廓的重构)，shape from shading(基于阴影的重构)，shapefrom focusing(基于焦距的重构)。但采用单幅图像重建的方法，受制于图像信息量不足，图像深度还原准确度不足。采用多幅图像重建的方法可以避免这一问题。双目三维模型重建方法，即属于采用多幅图像的重构方法。通常的双目三维重建方法，基本过程包括：(1)图像采集、(2)特征提取、(3)特征匹配、(4)三维坐标计算，其重建后存在的问题是步骤(4)三维坐标计算中容易出现非正常点，进而影响三维模型重建效果。

【发明内容】

本发明所要解决的技术问题是：弥补上述现有技术的不足，提出一种双目三维重建方法，可有效降低非正常点，获得准确的三维重构模型。

本发明的技术问题通过以下的技术方案予以解决：

一种双目三维重建方法，包括以下步骤：1)采用两台相同型号的图像采集设备采集待重构的物体的图像分别获得左图像和右图像；2)采用棋盘法标定所述图像采集设备，计算所述图像采集设备的内外参数和镜头畸变系数，并根据所述内外参数和镜头畸变系数对两图像分别进行处理，去除图像中的畸变；3)对步骤2)处理后的两图像进行特征提取，得到两幅图像的特征点；4)利用步骤3)中两幅图像中的特征点，进行特征点匹配，得到特征点对；5)对步骤4)中得到的特征点对，进行对极几何约束检测，去除误匹配的特征点对；6)利用步骤5)后保留的特征点对的二维坐标计算得到特征点对在世界坐标系中的对应点的三维坐标。

本发明与现有技术对比的有益效果是：

本发明的双目三维重建方法，通过进行特征点对的极几何匹配约束检测，标定不符合对极几何约束的特征点对为误匹配点，去除这些误匹配的特征点对后进行三维模型重构，从而有效降低误匹配率，减少三维坐标计算过程中的非正常点，得到较为准确的三维重构模型。

【附图说明】

图1是本发明具体实施方式的双目三维重建方法的流程图；

图2是本发明具体实施方式的双目三维重建方法中所涉及的对极几何的原理示意图。

【具体实施方式】

下面结合具体实施方式并对照附图对本发明做进一步详细说明。

本发明的构思是：双目三维模型重建方法中，三维模型重建主要的误差来自于三维模型中不符合实际情况的点。在重建过程中，特征提取过程容易受到环境中广泛存在的各种噪声及双镜头畸变校正误差影响，导致特征匹配过程中由于特征相似而出现误匹配，进而导致重构时出现上述不符合实际情况的点。本发明中通过采用对极几何约束检测，从而有效去除误匹配的特征点对。

如图1所示，为本具体实施方式的三维模型重建方法的流程图，包括以下步骤：

1)采用两台相同型号的图像采集设备采集待重构的物体的图像分别获得左图像和右图像。

具体地，设置双目成像***，图像采集设备可为相机或者投影仪。采集图像时，确保两台图像采集设备具有相同的CCD尺寸、相同镜头参数，其镜头水平平行放置，摆放时，镜头的光轴在同一平面内，且在平面内两镜头光轴之间的夹角小于等于30°，且采集的两图像中均包含所述待重构的物体。

2)标定并校准：采用棋盘法标定所述图像采集设备，计算图像采集设备的内外参数和镜头畸变系数，并根据所述内外参数和镜头畸变系数对两图像分别进行处理，去除图像中的畸变。

3)提取特征点：对步骤2)处理后的两图像进行特征提取，得到两幅图像的特征点。

该步骤中，提取图像中的特征点，可采用亮度函数的自相关矩阵检测图像兴趣点作为特征点。具体地：

每幅图像中，给定图像点(x，y)，其灰度值用I(x，y)表示，设定局部平移向量(Δx，Δy)，则自相关函数为：

G(x,y)＝∑[I(x,y)-I(x+Δx,y+Δy)]²

其中，[I(x,y)-I(x+Δx,y+Δy)]²为亮度图像梯度值。给定g(x,y)为高斯窗函数，则特征点检测函数为：

R(Δx,Δy)＝∑g(x,y)[I(x,y)-I(x+Δx,y+Δy)]²

在窗函数g(x,y)内，如果特征值R(Δx,Δy)大于设定阈值，则说明发现特征点。需说明的是，提取特征点的方法较多，不限于上述亮度函数的自相关矩阵检测方法，其它方法不再一一列举。

4)匹配特征点：利用步骤3)中两幅图像中的特征点，进行特征点匹配，得到特征点对。例如可采用最近邻域匹配方法进行特征点匹配，得到特征点对。

5)对步骤4)中得到的特征点对，进行极线约束检测，去除误匹配的特征点对。

该步骤中，对前述匹配后得到的特征点对进行对极几何约束检测，去除由噪声或者畸变引起的不满足约束的特征点对，从而提高后续三维重建的准确性。

本具体实施方式中，对极几何约束检测包含极线约束过程。具体地，判断特征点对中两个特征点的极线约束值是否均小于设定阈值，如是，则保留；如否，则为误匹配的特征点对。

如图2所示，为三维重建方法中所涉及的对极几何的基本原理图。其中，m₁，m₂为匹配得到的一对特征点对，Xw为特征点对m₁，m₂在世界坐标系中的对应点，则点Xw在左右两视图图像中的投影点分别为m₁，m₂。x₁-y₁是左视图中的对极几何坐标系，x₂-y₂是右视图中的对极几何坐标系。L1、L2分别为两图像采集设备的镜头的光轴，O₁、O₂为镜头光心所在位置，e₁、e₂分别为O₁、O₂在另一视图中的投影点(也称极点)，即e₁为O₂在左视图图像中的投影点，e₂为O₁在右视图图像中的投影点。分别为极线，为基线。极线约束条件即是：点Xw在左视图图像上投影点m₁在右侧视图图像上的投影点(设为m₁′)必然在右侧视图极线上或与极线间隔一较短距离，点Xw在右视图图像上投影点m₂在左侧视图图像上的投影点(设为m₂′)必然在左侧视图极线上或与极线上间隔一较短距离。如果距离超出一定范围，则视为误匹配的特征点对。

根据对极几何原理，将特征点对m₁，m₂的坐标进行归一化，m₁＝[x_l,y_l]^T归一化为m₂＝[x_r,y_r]^T归一化为同理，将特征点在另一视图中的投影点坐标进行归一化，m₁′、m₂′归一化为将特征点对在世界坐标系中的对应点X_W的三维坐标进行归一化，X_W＝[X,Y,Z]^T归一化为将投影点e₁、e₂的坐标也归一化为根据步骤2)校准及标定相机过程中得到的内外参数，内部参数中的基础矩阵F₁、F₂和外部参数矩阵Q₁、Q₂，可得如下关系式：

根据图2所示位置关系可知，存在平面线性方程矩阵P₁、P₂使得：

为便于计算，定义向量p₁＝P₁(1 1 0)^T，p₂＝P₂(1 1 0)^T，则得到特征点m₁所在的左视图图像上极线值C₁以及特征点所在的右视图图像上的极线值C₂分别为：

设定C_thres为极线约束阈值，当其满足C₁≤C_thres，C₂≤C_thres时，判定该特征点对满足极线约束，予以保留。反之，则认为该特征点对为误匹配特征点对，去除。

综上，通过对极几何约束检测中极线约束检测，根据特征点m₁在右侧视图图像上的投影点(设为m₁′)必然在右侧视图极线上或与极线间隔一较短距离，特征点m₂在左侧视图图像上的投影点(设为m₂′)必然在左侧视图极线上或与极线上间隔一较短距离的原则，进行上述过程的检测判断，可将不符合上述原则的特征点对进行去除，从而去除误匹配的特征点对。

优选地，对极几何约束检测还包括特征点的深度连续性检测过程。具体地，判断特征点对中两个特征点是否均满足深度连续条件，如是，则保留；如否，超出误差允许范围，则视为误匹配的特征点对。

本具体实施方式中，设定基准视图为特征点m₁所在的视图，参考视图为特征点m₂所在的视图。对于基准视图上的给定特征点m₁，设其坐标为(x_l,y_l)，计算深度信息，可得到该点的深度值为d(x_l,y_l)。同样地，对于参考视图上的特征点m₂，设其坐标为(x_r,y_r)，计算深度信息，可得到该点的深度值为d(x_r,y_r)。

设置k个特征方向，在第s个特征方向上，假定给定特征点m₁周围存在的具有深度信息的点在(x_l+Δx_s,y_l+Δy_s)的范围内，计算ΔE_i＝(Δx_s+Δy_s)²，标定使ΔE_s值最小的点为该第s个特征方向上的待检测点。如有k个特征方向，则有k个待检测点，分别对应第1个特征方向，第2个特征方向，……，第s个特征方向，……，第k个特征方向，其中s＝1,2,3,……k。

定义为第s个特征方向上的连续性约束方向特征，设定T_thres作为方向阈值，计算出满足T_s≤T_thres条件的最大n，将具有最大n值时对应的n组Δx_i，Δy_i的值作为待求解的各Δx_i，Δy_i的值。此处的n即表示特征点对m₁，m₂在世界坐标系中的对应点在第s个特征方向上对应的可满足上述T_s≤T_thres条件时所能选取偏移点的最大个数，Δx_i表示n个点中的第i个点的横向偏移量，Δy_i表示n个点中的第i个点的纵向偏移量。

在第s个特征方向上，定义基准图像特征点m₁，坐标为(x_l,y_l)的深度连续性检测值为：

$D_s(x_l,y_l)={\mathrm{\Σ}}_1^{i=n}{\[\frac{d(x_l,y_l)-d(x_l+{\mathrm{\Δx}}_i,y_l+{\mathrm{\Δy}}_i)}{{\mathrm{\Δx}}_i+{\mathrm{\Δy}}_i}\]}^2$

定义参考图像上特征点m₂，坐标为(x_r,y_r)的深度连续性检测值为：

$D_s(x_r,y_r)={\mathrm{\Σ}}_1^{i=n}{\[\frac{d(x_r,y_r)-d(x_r+{\mathrm{\Δx}}_i,y_r+{\mathrm{\Δy}}_i)}{{\mathrm{\Δx}}_i+{\mathrm{\Δy}}_i}\]}^2$

其中，d(x_l+Δx_i,y_l+Δy_i)表示求解得到的n个点中的第i个点在基准视图上的深度值，d(x_r+Δx_i,y_r+Δy_i)表示求解得到n个点中的第i个点在参考视图上的深度值。

设定D_thres为深度连续性检测阈值。在第s个特征方向上，当满足D_s(x_l,y_l)≤D_thres，则基准图像上的特征点m₁在第s个特征方向上具有深度连续性；当其满足D_s(x_r,y_r)≤D_thres，则参考图像上的特征点m₂在第s个特征方向上具有深度连续性。

当特征点对m₁，m₂，在s＝1,2,3,……k情况下，均满足相同的深度连续性时，判定该对特征点对满足连续性约束。反之，则认为该对特征点对为误匹配特征点对，予以去除。

一般地，若特征点m₁在基准图像上满足在某特征方向上深度连续，则特征点m₂在参考图像上满足在该特征方向上深度连续；若特征点m₂在参考图像上满足在某特征方向上深度连续，则特征点m₁在基准图像上也满足在该特征方向上深度连续。根据这一原则，进行上述进一步设置的连续性检测判断，可将不符合上述原则的特征点对进行去除，从而可去除误匹配的特征点对。

进一步优选地，对极几何约束检测还包括顺序约束检测过程：对两对特征点对m₁，m₂和w₁，w₂，判断当特征点m₁的横坐标大于特征点w₁的横坐标时，是否存在特征点m₂的横坐标大于特征点w₂的横坐标；且当特征点m₁的纵坐标大于特征点w₁的纵坐标，是否存在特征点m₂的纵坐标大于特征点w₂的纵坐标。如均是，则保留特征点对m₁，m₂；如否，则特征点对m₁，m₂为误匹配的特征点对。由于在基准图像与参考图像的无遮挡部分，任意两对特征点，满足具有相同的相对位置关系，因此根据该原则进行上述过程的顺序约束检测判断，可将不符合上述原则的特征点对进行去除，从而去除误匹配的特征点对。

综上，通过步骤5)中设置的对极几何约束检测过程，可有效去除误匹配的特征点对，从而提高后续重构结果的准确性。

6)利用步骤5)后保留的特征点对的二维坐标计算得到特征点对在世界坐标系中的对应点的三维坐标。计算得到的三维坐标后，即可重构出三维模型。

综上，本具体实施方式的双目三维重建方法，通过进行特征点对的极几何匹配约束检测，标定不符合对极几何约束的特征点对为误匹配点，去除这些误匹配的特征点对后进行三维模型重构，从而有效降低误匹配率，减少三维坐标计算过程中的非正常点，得到较为准确的三维重构模型。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下做出若干替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。

Claims (9)

1.一种双目三维重建方法，其特征在于：包括以下步骤：1)采用两台相同型号的图像采集设备采集待重构的物体的图像分别获得左图像和右图像；2)采用棋盘法标定所述图像采集设备，计算所述图像采集设备的内外参数和镜头畸变系数，并根据所述内外参数和镜头畸变系数对两图像分别进行处理，去除图像中的畸变；3)对步骤2)处理后的两图像进行特征提取，得到两幅图像的特征点；4)利用步骤3)中两幅图像中的特征点，进行特征点匹配，得到特征点对；5)对步骤4)中得到的特征点对，进行对极几何约束检测，去除误匹配的特征点对；6)利用步骤5)后保留的特征点对的二维坐标计算得到特征点对在世界坐标系中的对应点的三维坐标。

2.根据权利要求1所述的双目三维重建方法，其特征在于：所述步骤5)中，对极几何约束检测包括极线约束检测：判断特征点对中两个特征点的极线约束值是否均小于设定阈值，如是，则保留；如否，则为误匹配的特征点对。

3.根据权利要求2所述的双目三维重建方法，其特征在于：根据如下公式计算特征点对m₁，m₂的极线约束值C₁，C₂：

$\left\{\begin{array}{c}{C}_1={\[P_1({\widetilde{m_2}}^{\′}-\widetilde{e_1})\]}^2/tr\left(p_1{p_1}^T\right)\\ C_2={\[P_2({\widetilde{m_1}}^{\′}-\widetilde{e_2})\]}^2/tr\left(p_2{p_2}^T\right)\end{array}\right.$

其中，表示对极几何中左视图中极点的归一化坐标，表示对极几何中右视图中极点的归一化坐标；

根据如下公式计算得到：

$\left\{\begin{array}{c}{\widetilde{m_2}}^{\′}=F_1{Q}_1\widetilde{X_W}\\ {\widetilde{m_1}}^{\′}=F_2{Q}_2\widetilde{X_W}\end{array}\right.$

F₁，F₂分别为步骤2)中计算得到的两台图像采集设备的内部参数中的基础矩阵，Q₁，Q₂分别为步骤2)中计算得到的两台图像采集设备的外部参数矩阵；Xw为特征点对m₁，m₂在世界坐标系中的对应点；为点Xw的三维坐标归一化后得到的矩阵；

P₁，P₂根据如下方程求解得到计算得到：

$\left\{\begin{array}{c}{P}_1(\widetilde{m_1}-\widetilde{e_1})=0\\ P_2(\widetilde{m_2}-\widetilde{e_2})=0\end{array}\right.$

为特征点m₁的二维坐标归一化后得到的矩阵；为特征点m₂的二维坐标归一化后得到的矩阵；

向量p₁＝P₁(1 1 0)^T，向量p₂＝P₂(1 1 0)^T。

4.根据权利要求1所述的双目三维重建方法，其特征在于：所述步骤5)中，对极几何约束检测还包括特征点的深度连续性检测：判断特征点对中两个特征点是否均满足深度连续条件，如是，则保留；如否，则为误匹配的特征点对。

5.根据权利要求4所述的双目三维重建方法，其特征在于：根据如下公式计算特征点对m₁，m₂在选取的第s个特征方向的深度连续性检测值：

$D_s(x_l,y_l)={\mathrm{\Σ}}_1^{i=n}{\[\frac{d(x_l,y_l)-d(x_l+{\mathrm{\Δx}}_i,y_l+{\mathrm{\Δy}}_i)}{{\mathrm{\Δx}}_i+{\mathrm{\Δy}}_i}\]}^2$

$D_s(x_r,y_r)={\mathrm{\Σ}}_1^{i=n}{\[\frac{d(x_r,y_r)-d(x_r+{\mathrm{\Δx}}_i,y_r+{\mathrm{\Δy}}_i)}{{\mathrm{\Δx}}_i+{\mathrm{\Δy}}_i}\]}^2$

其中，s取1～k之间的正整数，k表示选取的特征方向的个数；(x_l,y_l)表示特征点m₁的坐标，(x_r,y_r)表示特征点m₂的坐标；d(x_l,y_l)表示特征点m₁的深度值，d(x_r,y_r)表示特征点m₂的深度值；

求解方程得到n，Δx_i，Δy_i的值，将使n取到最大值时的一组解作为最终的n，Δx_i，Δy_i的值；(Δx_s,Δy_s)为在第s个特征方向上存在深度信息的点中使(Δx_s+Δy_s)²具有最小值的点的坐标偏移量，T_thres为第s个特征方向上的设定阈值；

d(x_l+Δx_i,y_l+Δy_i)表示求解得到的n个点中的第i个点在基准视图上的深度值，d(x_r+Δx_i,y_r+Δy_i)表示求解得到n个点中的第i个点在参考视图上的深度值；其中，基准视图为特征点m₁所在的视图，参考视图为特征点m₂所在的视图。

计算后，判断特征点对m₁，m₂的k个特征方向上的深度连续性检测值是否均小于设定阈值，如是，则保留；如否，则为误匹配的特征点对。

6.根据权利要求1所述的双目三维重建方法，其特征在于：所述步骤5)中，对极几何约束检测还包括顺序约束检测过程：对两对特征点对m₁，m₂和w₁，w₂，判断当特征点m₁的横坐标大于特征点w₁的横坐标时，是否存在特征点m₂的横坐标大于特征点w₂的横坐标；且当特征点m₁的纵坐标大于特征点w₁的纵坐标，是否存在特征点m₂的纵坐标大于特征点w₂的纵坐标，如均是，则保留特征点对m₁，m₂；如否，则特征点对m₁，m₂为误匹配的特征点对。

7.根据权利要求1所述的双目三维重建方法，其特征在于：所述步骤3)中，采用亮度函数的自相关矩阵检测图像兴趣点作为特征点。

8.根据权利要求7所述的双目三维重建方法，其特征在于：计算图像中像素点(x，y)的特征值R(Δx,Δy)，

R(Δx,Δy)＝∑g(x,y)[I(x,y)-I(x+Δx,y+Δy)]²

其中，g(x，y)表示高斯窗函数；I(x，y)表示像素点(x，y)的灰度值；(△x，△y)表示设定的局部平移向量；I(x+△x，y+△y)表示像素点(x+△x，y+△y)的灰度值；

计算后，判断像素点(x，y)的特征值R(Δx,Δy)是否大于设定阈值，如是，则为特征点；如否，则不是特征点。

9.根据权利要求1所述的双目三维重建方法，其特征在于：所述步骤4)中采用最近邻域匹配方法进行特征点匹配，得到特征点对。