CN104240294B - 基于双目单视界的三维重建方法 - Google Patents

Abstract

本发明公开了一种双目三维重建方法，包括以下步骤：步骤A采集图像：使用两台同型号的彩色摄像机水平放置，使目标物体处于相机视场之内，其中左相机获得原始左图像，右相机获得原始右图像；步骤B相机标定和图像预校正：采用棋盘法标定两台相机的内外参数，对原始左右图像进行校正并进行预处理；步骤C图像坐标转换：将图像坐标转换成角度坐标；步骤D确定基本双目单视面：通过类似卷积或相关的运算来确定图像的基本双目单视面；步骤E坐标转换：根据步骤D确定的各点的双目单视面的位置及各点的角度坐标，求出各点的空间直角坐标。步骤F三维重建：采用平面插值方法，完成三维重建。本方法具有算法简单、三维重建稠密性好等优点。

Description

基于双目单视界的三维重建方法

技术领域

本发明涉及一种机器视觉和图像匹配技术，特别涉及一种基于双目单视界的三维重建方法。

背景技术

双目三维重建是机器视觉中的一个非常重要的领域，广泛应用于机器人、逆向工程、机械制造、医学整容、考古等领域。双目三维重建有多种方法，在寻找双目图像中的对应点时，最广泛使用的思路是图像特征点和特征线提取，而后进行特征匹配。这样的思路所导致的问题包括：(1)复杂的特征提取算法增加了软硬件的复杂度和制造开发成本；(2)由特征匹配所或得的结果，使得最后复原的结果图像缺乏稠密性，即最后所获得的三维图像的匹配点在空间不够稠密和均匀，甚至会导致无法还原所摄物体的立体形貌。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提供一种基于双目单视界的三维重建方法，该三维重建方法采用模仿人眼的双目单视面所给出的规律，避开特征提取的步骤，大大简化了运算的复杂程度，并且能使最后的复原结果稠密。

本发明的目的通过下述技术方案实现：一种基于双目单视界的三维重建方法，该三维重建方法实现了图像的匹配过程的运算，并最后重建三维图像，主要可以包括以下步骤：

步骤A：采用水平放置的左右两同型号相机，使两相机视场包含目标物体，并计算基线和相机光轴与基线的夹角；

步骤B:相机标定和图像预校正：采用棋盘法标定获得两台相机的内外参数，对原始左右图像进行校正并进行预处理；

步骤C：图像坐标转换：将图像坐标转换成角度坐标；

步骤D:确定校正后的图像的基准双目单视面：通过卷积或相关运算来确定双目单视面；(以下的双目单视面用Horopter面表示)；

步骤E：根据步骤D确定的各点的Horopter面的位置及各点的角度坐标，求出各点的空间直角坐标。

步骤F：三维重建：再采用平面插值方法，将各点结果连续化，完成三维重建。

步骤C包括：

步骤C1：依靠相机焦距、图像预校正后的放大率和像距，推导出每台相机上的成像像素点所对应的角度坐标的转换关系；

步骤C2：将两幅相机所成图像的每一像素，根据C1的结果转换成角度坐标。

步骤D包括：

步骤D1：依靠horopter集合的定义，将图像表达成horopter集合元素对应图像的叠加；

步骤D2：通过类似相关运算或卷积运算的运算，确定相关或卷积参数为极值的方法获得基本Horopter面；或者人为指定基本的Horopter面；

步骤D3：以基本指定的Horopter面为基础，设定Horopter集合的取值范围。

步骤D4：根据取值范围，利用满足取值范围的左右矫正后图像内的参数对减，获得位于Horopter面上的各个参数。

本发明的工作原理：本方法的三维重建基于视差原理，通过两台摄像机采集同一物体。在匹配过程中，本发明利用一种特殊的Horopter面，即由类似Veith-Muller圆展成的Horopter面，来计算左右校正后图像在Horopter面形成的集合上的对应位置，从而恢复出三维图像。而本法明采用卷积和相关算法来求取基本的Horopter面，并在此基础上利用简单的加乘运算，来计算确定图像上的点与Horopter集合上不同的Horopter面的对应关系，在利用Horopter本身的直角坐标，就可以计算出图像上每个存在左右图像的点的空间三维直角坐标，恢复出三维图像。

本发明相对于现有技术具有如下的优点及效果：

1、采用Horopter面的寻找左右图像上的对应点，直接避开了常用的双目视觉中常用的特征识别的方法，使算法的复杂度大大降低。

2、采用卷积运算，直接进行全局的匹配算法，使得算法本身得以简化；

3、算法主要是加乘运算，大大降低了运算的要求，特别适用于DSP或FPGA进行运算。

4、本发明的三维重建的结果，数据点具有稠密性。

附图说明

图1是双相机的摆放与图标注明图；其中，LR为基线，并且把L和R分别定义为左相机和右相机这两台相机的光学***的节点，且O是LR的中点。LA和RA分别是左右相机的光轴，α_L和α_R分别是两光轴和基线LR的夹角。以A、L、R三点定出一个平面，在极几何(epipolargeometry)中，称为一个极平面，在极平面上过基线LR做圆，这些圆就是Veith-Muller圆。比如图中A点和B点就是在极平面ALR上的Veith-Muller圆ALR的两个点。LA、RA、LB、RB与基线的夹角分别用α_L、α_R、χ_L和χ_R表示，角度的标记方法都是从基线出发向相应线条趋向目标点(比如图中的A、B点)旋转记为正向。C是不在平面ALR内的目标所在空间中的一点，平面CLR则是与平面ALR相异的另外一个极平面，其与ALR的夹角记为β，标记方法为从OA出发，在目标一侧向上旋转记为正向。

图2是双目测量***的参数校正示意图。

图3是Horopter集合的定义说明图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例

一种基于双目单视界的三维重建方法，包括以下步骤：

步骤A、如图1所示，采用水平放置的左右两同型号相机，使两相机视场包含目标物体。图中基线为LR；L和R分别为左相机和右相机这两台相机的节点，在实验中，可以简单认定为两相机前镜片表面的中心(但不限于此简单认定)，以直尺等方式(但不限于直尺的测量方式)测量L和R之间的距离，作为***设定的基本参数。

步骤B、如图2所示，采用棋盘法标定获得两台相机的内外参数，对原始左右图像进行校正并进行预处理；并且通过测量获得测量***的几何参数，包括图1中LR参数的精确校正。

步骤C、图像坐标转换：将图像坐标转换成角度坐标；步骤C具体包括如下步骤：

步骤C1、依靠图像预校正后的等效放大率和等效焦距，推导出每台相机上的成像像素点所对应的角度坐标的转换关系；即根据图1所示坐标，通过换算确定左右相机的图像像素坐标(分别记为X_LY_L和X_RY_R)和左相机角度坐标(β_L，χ_L)和右相机角度坐标(β_R，χ_R)之间的转换关系(其中，β_L和β_R是按照图1所示的β角的取角方式分别在左相机图像和右相机图像计算的结果)，表达为如下函数关系：

β_L＝f_Lβ(X_L，Y_L，α_L，α_R，l_RL，f，A)，(1)

χ_L＝f_Lχ(X_L，Y_L，α_L，α_R，l_RL，f，A)，(2)

β_R＝f_Rβ(X_R，Y_R，α_L，α_R，l_RL，f，A)，(3)

χ_R＝f_Rχ(X_R，Y_R，α_L，α_R，l_RL，f，A)，(4)

其中，l_RL是基线RL的长度，是相机的等效焦距，A是相机的等效放大率。

步骤C2、将两幅相机所成图像的每一像素，根据C1的公式转换成角度坐标。

步骤D、确定校正后的图像的基准双目单视面：通过卷积或相关运算来确定双目单视面(以下简称Horopter面)。详细步骤和相关定义如下：

(1)Horopter面：

如图1所示，任取一极平面，其与基准极平面ALR的夹角为β；这个极平面如图3所示，在这个平面上，作出一系列经过L和R两点的圆，即得一系列Veith-Muller圆；显然，以基线为界限，在目标物体一侧同一圆上任一点(如图3中的D和E)，总有：

其中，l_RL为基线长度；r为此Veith-Muller圆的半径。显然，公式(5)与β无关。则，一经过点L和点R、半径为r、球心位于图1中的ALR平面的球，其球面的点也可以满足方程(5)，将这样的球面在目标物体一侧的部分，称为Horopter面，记为F(l_RL；r，Center)。

为推导方便记，定义参数：

根据公式(5)和(6)，则有：

χ_L+χ_R＝H(l_RL；r，Center)，(7)

以下把H(l_RL；r，Center)简记为H。

(2)Horopter集合：

目标物体一侧空间中的一点，总是属于某个Horopter面。而在l_RL的值给定，ARL面确定的条件下，我们称其对应的Horopter面的全体为一个Horopter集合，记为：

Horopter{F(l_RL；r，Center)|l_RL＝给定值，ARL面确定}，

在这样的条件和定义下，目标侧空间的一个图像点可以用以下坐标唯一确定：

(χ_L，β_L，H)；(χ_R，β_R，H)；(χ_L，β，H)；(χ_R，β，H)。

(3)步骤D具体包括以下步骤：

步骤D1、依靠Horopter集合的定义，将图像表达成Horopter集合元素对应图像的叠加。

则，步骤C即表示图像坐标转换完成后，不失一般性，图像信息皆以灰度值表示，将左相机图像记为I_L(χ_L，β_L)，右相机图像记为I_R(χ_L，β_L)，其中，I表示灰度；按照Horopter面和Horopter集合的有关分析，如果给定“同一个物点在左右相机所形成的图像的灰度相同”的理想条件，左相机的图像和右相机的图像可以按以下公式表示：

I_L(χ_L，β_L)＝I(χ_L，β，H)，(8)

I_R(χ_R，β_R)＝I(χ_R，β，H)＝I(H-χ_L，β，H)，(9)

参与运算的图像分量不限于灰度，也包括YUV、YCbCr、RGB等彩色制式所表达的各种图像分量。

步骤D2、通过类似相关运算或卷积运算的运算，确定相关或卷积参数取极值的结果为基本Horopter面；或者人为指定基本的Horopter面。

在理想情况下，即公式(8)，(9)成立的情况下，采用如下公式：

I_R(χ，β)－I_L(h－χ，β)＝I(χ，β，H)－I(h－H﹢χ，β，H),(10)

当h＝H时，上式为零；实际的情况，当h＝H时，上式接近于零。

因此，在实际应用中，使用判决函数R_C来判定基本Horopter面；判决函数如下：

在一定范围内取h值(h值的理论值最大范围为0到π)，使得R_C最小，即求出基本Horopter面，其参数记为h₀。

本运算在公式(11)中含有I_R(χ，β)和I_L(h-χ，β)项，并有相应的求和累加过程，实际类似一个卷积运算或者相关运算。本发明含盖所有利用角度坐标平移进行求和或积分来求取基本Horopter面的运算的各种运算。根据设备摆设状况，和目标物情况，人为设定h₀值，也在本发明的保护范围之内。

步骤D3、以基本指定的Horopter面为基础，设定Horopter集合的取值范围。控制h的取值范围，包括取最大理论值范围[0,π]，或者根据h₀指定其附近的相应范围。

步骤D4、根据取值范围，利用满足取值范围的左右矫正后图像内的参数对减，获得位于Horopter面上的各个参数。

首先求取h₀的相关图像，即如果某对图像点满足(t是一个人为或者通过某种算法标准指定的阈值)：

|I_R(χ，β)-I_L(h₀-χ，β)|＜t，(12)

则从像点中标记扣除此像点对(为运算简单计，最简单的办法是将此像点对的坐标赋予0值，以便方便后面的计算，但是发明覆盖并不限于这种办法)，并且此像点对被看作是基本Horopter面上的点，其结果被按照符合“Horopter集合”处说明的坐标方式或者类似方式被记录。

在扣除了以上满足基本Horopter面上的所有点对以后，剩下的左、右图像分别记为I_NL和I_NR，再选取最靠近h₀的小于h₀或者大于h₀的h值，采用类似公式(12)的办法来确定h对应的Horopter面上的点对，即这些点对满足：

|I_NR(χ，β)-I_NL(h-χ，β)|＜t_N，(13)

则被选为符合h对应的Horopter面的点。其中t_N为对应h的阈值，它可以与t相同，也可以根据具体参数(比如根据h到h₀的远近)另行选取。

这样从h₀开始，逐步选取距离h₀越来越远的h，多次重复，就可以完全求取目标物上在两相机内有图像点对对应的各点的坐标，而求取出来的各点的坐标符合“Horopter集合”处说明。

步骤E、根据步骤D确定的各点的Horopter面的位置及各点的角度坐标，求出各点的空间直角坐标。

步骤F、三维重建；再采用平面插值方法，将各点结果连续化，完成三维重建。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (2)

1.一种双目三维重建方法，其特征在于，包括以下步骤：

步骤A、采用水平放置的型号相同的左相机和右相机，使左相机和右相机的视场均包含目标物体，并计算基线和相机光轴的夹角；

步骤B、相机标定和图像预校正；采用棋盘法标定获得左相机和右相机这两台相机的内外参数，并对左相机和右相机的原始图像进行校正并进行预处理；

步骤C、图像坐标转换；具体包括：

步骤C1、依据相机焦距、图像预校正后的放大率和像距，推导出左相机和右相机上的成像像素点所对应的角度坐标的转换关系；

步骤C2、将左相机和右相机所成图像的每一像素，利用步骤C1中的转换关系，转换成角度坐标；

步骤D、确定校正后的图像的基准双目单视面，并利用基准双目单视面通过卷积运算或相关运算、利用角度坐标平移进行求和的运算或利用角度坐标平移进行积分的运算来确定各点的双目单视面；

步骤E、利用步骤D确定的各点的双目单视面的位置以及各点的角度坐标，求出各点的空间直角坐标；

步骤F、三维重建；采用平面插值方法，将各点结果连续化，完成三维重建。

2.根据权利要求1所述的双目三维重建方法，其特征在于，所述步骤D包括以下步骤：

步骤D1、采用Horopter集合的定义，将表达左相机和右相机的图像色彩与灰度的各个分量的矩阵或者函数写成Horopter集合元素对应图像的叠加的形式，并得出各个分量的方程；

步骤D2、通过卷积运算或相关运算、利用角度坐标平移进行求和的运算或利用角度坐标平移进行积分的运算，并利用运算结果的极值来确定基准双目单视面或者指定的基准双目单视面；

步骤D3、以基准双目单视面为基础，在两个图像的各个对应的分量的表达式中，逐步扣除各对应双目单视面上的相应的叠加成分，以完全将各个分量相关的方程解出，即确定了图像上每个点在空间的角度坐标。