CN103292733A - 一种基于相移和三视张量的对应点查找方法 - Google Patents

Abstract

本发明属于动态物体三维测量领域，具体为一种基于相移和三视张量的对应点查找方法，本发明包括利用视差约束排除误匹配点、光栅边界点的对应优化、混合一致性检查，最后为了进一步提高对应点精度，还提出了利用极线约束改善对应点精度的方法，最终实现了全时间分辨率、全空间分辨率的动态物体三维测量。该方法在三维重建的过程中无需相位展开，直接利用三视张量的约束来求得源匹配点的对应点，从而无需考虑被测物体的表面不连续状况。同时，无需相位展开还使得数据处理的速度得到了较大的提高，从而满足变形物体实时监控的要求。该方法可以测量任意形状的动态物体，并且不需要额外的图像来确定对应点。

Description

一种基于相移和三视张量的对应点查找方法

技术领域

本发明属于动态物体三维测量领域，具体涉及一种任意复杂形状的动态物体三维测量过程中的对应点查找方法，该方法能直接在相对相位图中对每个像素的对应点进行独立的搜索，无需相位展开，因此该方法能实现全空间分辨率与全时间分辨率任意复杂形状的动态物体三维面形测量。

背景技术

目前三维面形测量技术已在航空航天、武器装备和汽车等领域得到广泛应用，这些领域的核心零部件(如发动机缸体缸盖、叶轮叶片、进排气管道等)大多结构复杂、曲面不规则，在其设计制造过程中，采用三维面形测量技术不仅能够充分利用现有的设计制造成果，提高设计速度、缩短开发周期；还可精确检测产品精度、提高产品质量。然而，现有的三维面形测量技术大多只能测量静态物体，对于诸如飞行器风洞实验中关键部件的动态三维变形、电磁成形过程中板料的连续三维变形等动态过程尚缺少有效的三维面形测量手段。这些动态过程的连续三维面形测量数据有助于描绘和分析物体运动过程中表面形态的变化规律，为研究变形机理和改进相关工艺参数提供基础资料，对上述领域的科学研究和工程应用具有重要基础支撑作用。

本发明所涉及的动态物体三维面形测量是目前三维测量技术中的研究热点之一，其实现的关键是在数据采样时间间隔内，必须一次或数次完成对被测物体表面形貌数据的获取、处理及三维模型的重建。为了实现这一目标，国内外研究人员提出了飞行时间法、立体视觉法、结构光法等解决方案。其中，结构光法使用主动光源向被测物体投射编码图像，然后使用一个或多个相机拍摄经被测物体表面三维形貌调制而变形的编码图像，最后根据变形的编码图像利用立体视觉原理重建被测物体表面的三维形貌。此方法具有环境纹理的无关性、三维重建算法的健壮性等优点，是目前使用最为广泛的方法之一。根据投射的编码图像的数目，结构光法主要可以分为两大类：1)使用单幅图像进行三维重建；2)使用多幅图像进行三维重建。使用单幅图像进行三维重建的结构光三维测量方法可分为使用彩色信息和使用灰度信息对图像进行唯一性编码，此类方法，测量过程中仅需拍摄一幅编码图像即可重建被测物体表面的三维数据，测量所需的数据量小，图像投影装置和采集装置无需严格同步，因此易于实施。但是此类方法具有以下局限：1)译码过程易受被测物体表面颜色和阴影的影响，算法的精度和稳定性差；2)译码和计算过程中需要借助图像的空间编码信息，像素间的耦合性强，算法复杂度高，因此计算效率普遍较低；3)除基于频域分析的相位轮廓术外，其它编码方法受编码空间分辨率的影响，无法实现全分辨率的三维测量，空间分辨率低；4)基于频域分析的相位轮廓术，由于受测量原理本身的限制，无法测量物体表面的细节信息，且需借助空间相位展开方法进行相位展开，只能测量表面连续的物体。

通常测量过程中使用的编码图像数目越多，三维重建的精度和稳定性越高，因此很多研究人员尝试在短时间内快速拍摄多幅编码图像来实现动态物体的三维测量。美国普林斯顿大学的Rusinkiewicz等开发了一种基于4帧黑白光条图像的结构光三维测量***，该***通过跟踪光条的边界进行三维重建，在测量过程中允许测量***或被测物体做缓慢的运动。美国华盛顿大学的Li Zhang提出了一种基于时空立体视觉算法(spacetime stereoalgorithm)的动态人脸三维测量方法，该方法利用一组黑白编码图像，根据时空立体匹配法计算动态物体的三维数据。这两种方法与其它使用二进制编码的测量方法一样，测量的空间分辨率受编码精度的影响，无法实现高分辨率的动态物体三维测量，并且由于译码算法较为复杂，计算效率很难进一步提升。

为了实现动态物体全分辨率的三维测量，美国爱荷华州立大学的SongZhang等人基于三步相移提出了一系列的空间相位展开算法、相位误差补偿算法和***标定算法，开发了一套实时、全分辨率(full resolution)的结构光三维测量***。与前述使用单幅图像进行三维重建的方法相比，SongZhang等人开发的三维测量***需要三幅图像才能完成三维重建，测量效率相对较低。但是由于三步相移算法能够稳定、精确地计算每个像素的相对相位值，因此该***在测量精度、稳定性和空间分辨率上均有优势。然而，由于该***采用的空间相位展开算法只能对表面连续的物体进行相位展开，因此无法测量表面不连续的物体。为了解决这个问题，Song Zhang的研究小组提出了时间相位展开方法，其中包括Gray编码加相移算法、多频外差原理、复合光相移算法和相位编码法。但这些方法通常都需要额外添加一幅或一幅以上的光栅图像来提供足够的约束去计算空间点的绝对相位值。由此看来，现有的方法除三幅相移图像外，每个相机至少要额外添加一幅图像才能实现逐点解相，计算出全空间分辨率的三维数据，这将减慢动态测量的速度。另一方面，Christian Brauer-Burchardt，Ruiishiyama andThibaut Weise试图采用几何约束的方法来进行相位展开。虽然这些方法能将图像数量限制在三幅，但稳定性还有待提高，并且计算过程较为复杂，不能满足实时测量的要求。

综上所述：全空间和全时间分辨率的结构光动态三维测量在航空航天、工业加工、医学、动漫等领域都有着广泛的应用前景。但目前，在利用结构光法对复杂形貌的动态物体进行三维测量时，无论是使用单幅还是多幅图像进行三维重建都存在一定问题。在采用单幅图像进行重建时，测量数据的精度较差，译码算法的稳定性也有待提高，且不具有全空间分辨率。若基于三步相移法使用多幅图像进行重建，虽然一定程度上提高了测量精度，也实现了全空间分辨率，但无法测量表面不连续的物体。若要解决这个问题又需要在三幅图像的基础上额外添加光栅图像，减慢了测量速度，无法满足实时测量的要求。因此，现有的三维重建方法还不能实现全空间分辨率与全时间分辨率任意复杂形状的动态物体的三维面形测量。

发明内容

本发明提供了一种用于动态物体三维测量的对应点查找方法，该方法能直接对相对相位图中每个像素的对应点进行独立的搜索，无需相位展开，因此能实现全空间分辨率与全时间分辨率任意复杂形状的动态物体三维面形测量。

本发明提供的一种基于相移和三视张量的对应点查找方法，其特征在于，该方法包括下述步骤：

第1步利用三视张量初步搜索对应点：

首先计算源匹配点p的相对相位值，所述源匹配点p为第一相机平面上的任一点；再计算出源匹配点p在投影仪平面上的对应垂直线l′_k，设确定出的对应垂直线存在f条；最后计算出源匹配点在第二相机平面上的对应点p″，由f条对应垂直线得到f个对应点p″；

第2步利用视差约束来排除误匹配：

对于源匹配点p在经第一相机平面校正后的平面上的相应点p_rect，确定该点在第二相机平面校正后的平面上的相应视差范围R，将该视差范围逆向投影到第二相机图像上确定出对应点范围；最后利用确定出的对应点范围对第1步得到的f个对应点进行筛选，排除对应点的范围外的误匹配点；

第3步光栅边界点的对应优化：

对第一相机平面上的像素点进行分类，划分出边界点；如果源匹配点p不属于边界点，直接进入第4步，否则，通过三视张量计算出它在第二相机平面上的对应点p″₂，再调整p″₂的邻近像素点p″_2i，i＝1，2，3，4的相位值φ′(p″_2i)，使邻近点的相位值更为精准；再对调整相位值后的邻近点作线性插值法计算来调整最初对应点p″₂的相位值，对应点调整后的相位值将更接近源匹配点的相位值；

第4步利用混合一致性检查进行对应点的最后筛选：

将剩余对应点的相位值和灰度值与源匹配点进行比较，将与源匹配点相位值和灰度值相近的对应点作为正确对应点p″₂。

作为上述技术方案的改进，该方法还包括第5步，该步骤是将第4步得到的正确对应点p″₂沿着极线l在其附近寻找更精确的对应点，极线l是指极平面与第二相机图像平面的交线。

作为上述技术方案的进一步改进，第4步具体包括下述过程：

通过将剩余对应点的相位值和灰度值与源匹配点进行比较，分析两者的差异大小确定出正确的对应点，将剩余对应点中有最小混合值的点为正确的对应点，其具体评判标准为：

$D^i=w_1{\left(\frac{{\mathrm{\φ}}_2^i-{\mathrm{\φ}}_1}{2\mathrm{\π}}\right)}^2+w_2{\left(\frac{I_2^i-I_1}{255/2}\right)}^2,$

其中，Dⁱ表示第i个对应点的混合值，

和φ₁分别是对应点和源匹配点的相位值，

和I₁分别是对应点和源匹配点的灰度；

和

为归一化的相位差值和灰度差值；w₁和w₂是描述两个差值成分的权重因子，它们的和为1。

作为上述技术方案更进一步改进，第2步中，利用下式确定出该点在第二相机平面校正后的平面上的相应视差范围R：

$\left\{\begin{array}{c}{(x_{\mathrm{rect}}-x_{\mathrm{rect}}^{\′\′})}_{\min }=F_{\mathrm{rect}}{B}_l/Z_{\max }\\ {(x_{\mathrm{rect}}-x_{\mathrm{rect}}^{\′\′})}_{\max }=F_{\mathrm{rect}}{B}_l/Z_{\min }\end{array}\right.,$

B_l是第一、第二两相机光心的连线的长度，F_rect为相机校正后的焦距，点p_rect和点p″_rect为点P在经校正后的第一平面和第二平面上的映射点；x_rect和x″_rect分别是点p_rect和点p″_rect在经校正后的第一平面和第二平面上的水平位置，Z_min和Z_max是测量体系中最***面和最远平面的深度，R即为(x_rect-x″_rect)_min到(x_rect-x″_rect)_max的区间范围。

作为上述技术方案再进一步改进，第3步中，按下述方式调整p″₂的邻近像素点p″_2i，i＝1，2，3，4的相位值φ′(p″_2i)：

${\mathrm{\&phi;}}^{\&prime;}\left(p_{2i}^{\&prime;\&prime;}\right)=\left\{\begin{array}{cc}\mathrm{\&phi;}\left(p_{2i}^{\&prime;\&prime;}\right)+2\mathrm{\&pi;}& \mathrm{\&phi;}\left(p\right)-\mathrm{\&phi;}\left(p_{2i}^{\&prime;\&prime;}\right)>2\mathrm{\&pi;}-\mathrm{Thr}1\\ \mathrm{\&phi;}\left(p_{2i}^{\&prime;\&prime;}\right)& |\mathrm{\&phi;}\left(p\right)-\mathrm{\&phi;}\left(p_{2i}^{\&prime;\&prime;}\right)|\&le;\mathrm{Thr}1\\ \mathrm{\&phi;}\left(p_{2i}^{\&prime;\&prime;}\right)-2\mathrm{\&pi;}& \mathrm{\&phi;}\left(p\right)-\mathrm{\&phi;}\left(p_{2i}^{\&prime;\&prime;}\right)<-(2\mathrm{\&pi;}-\mathrm{Thr}1)\end{array}\right.i=\mathrm{1,2,3,4}$

其中，Thr1是阈值，用于判断邻近点相位误差的大小及误差偏离方向，其取值范围为0.8～1.2rad，φ(p″_2i)i＝1，2，3，4为邻近点p″_2i的原始相位值。

本发明针对三维重建出现的问题提出了一种基于相移和三视张量的全新对应点查找方法。该方法在三维重建的过程中无需相位展开，直接利用三视张量的约束来求得源匹配点的对应点，从而无需考虑被测物体的表面不连续状况。同时，无需相位展开还使得数据处理的速度得到了较大的提高，从而满足变形物体实时监控的要求。然而，测量时相位误差可能导致对应点的误匹配，继而提出了一系列的改善措施，提高了对应点查找的准确性，最后利用极线约束优化对应点精度，使得高精度高稳定性的动态物体三维测量成为了现实。具体而言，本发明与现有技术相比具有以下技术特点：

(1)对于每个像素，直接利用三视张量而不通过相位展开独立地确定对应点以实现三维重建。该方法与一般的寻找对应点的方法相比，不需要对每个像素点进行相位展开，从而可以避免一般相位展开算法无法测量表面不连续性物体的问题，所以应用范围更为广泛。另一方面，该方法无需展开相位，所以能提高测量速度，满足工业、动漫、航空航天、医学等领域对动态物体三维形貌实时测量的要求。

(2)在利用三视张量进行对应点搜索的过程中，考虑了各种因素对寻找对应点的影响，提出了相应的解决方案。针对相位误差导致的误匹配现象，本发明提出了视差范围约束和混合一致性检查来提高对应点查找的准确性。视差范围限制利用测量范围和对应点视差范围的关系，排除了大量误匹配点，最后采用混合一致性检查在剩下的对应点中进行筛选，确定出正确的对应点。

(3)为了消除实验数据中的垂直空白行，本发明采用双线性插值法来调整光栅边界点对应点的相位值，使得***能选择出正确的对应点。即通过对边界点的对应过程进行优化能有效避免光栅边界处的空白行。

(4)为了进一步消除相位误差的影响，根据双目立体视觉中的极线几何的约束，本发明通过沿着极线方向在较小的范围内(该范围由最初的对应点决定)寻找更精确对应点的方法来提高数据的准确性。该方法能有效地抑制高频水波纹，获得高质量的3D数据。

(5)本发明能弥补现有技术的不足，实现高速度、高准确性、高稳定性的三维重建，满足全时间、全空间分辨率任意复杂物体动态三维测量的要求。

附图说明

图1为利用三视张量法确定对应点的整体流程图；

图2为三视张量的对应关系图；

图3为源匹配点，对应点和空间点的关系示意图；

图4为利用视差范围来排除误匹配点的示意图；

图5为光栅边界点的优化示意图；

图6为通过极线约束优化对应点精度的示意图。

具体实施方式

基于面结构光的动态物体三维测量技术利用工业相机高速同步采集经被测物体表面调制而发生变形的结构光图像，然后从含有被测物体表面三维形貌信息的图像中计算出被测物体的三维形貌数据。测量过程中，利用拍摄的光栅图像进行三维重建是动态物体测量的关键技术之一，它通常包括相位解相、相位展开、立体匹配和三维重构四个步骤。其中，相位解相是采用相移原理来计算每个像素点的相对相位值，该值由于测量空间中的多条光栅数而具有2π不连续性，所以通常采用相位展开算法来计算图像点的绝对相位值，再利用绝对相位值唯一地确定出两幅图像中的对应点进而完成立体匹配。但现有的空间相位展开算法要求被测物体表面连续，如果处于不连续表面边界的相邻像素的绝对相位值相差超过2π，则相位值无法正确展开，进而无法找到正确对应点。若采用时间相位展开算法来解决物体表面不连续的问题，又需额外的添加图像来进行约束，降低了测量速度。倘若，在进行三维重建的过程中，能跳过相位展开，直接在相对相位图中查找对应点来进行立体匹配，则一方面能解决当前相位展开算法无法对表面不连续物体进行正确立体匹配的问题，以实现任意复杂形状物体的形貌测量；另一方面也不需要额外地添加图像来进行约束，节省了三维重建的时间，提高了测量的速度。

下面结合附图对本发明的具体实施方式作进一步说明。在此需要说明的是，对于这些实施方式的说明用于帮助理解本发明，但并不构成对本发明的限定。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

测量时，向被测物体投射一系列的正弦光栅图像，用相机同步捕捉经物体表面调制变形后的图像，通过采集多帧有一定相移的光栅图像来计算包含有被测物体表面三维信息的相位初值。

本发明采用标准N步相移算法来计算光栅图像的相位主值(即相对相位值)。其投影光栅图案的光强分布函数为：

$I_n^P(x,y)=A^P(x,y)+B^P(x,y)\cos (2\mathrm{\&pi;fx}+{\mathrm{\&delta;}}_n),---\left(1\right)$

其中，(x，y)表示图像中任意点的像素坐标，A^P(x，y)和B^P(x，y)为常数，在本实例中，A^P(x，y)和B^P(x，y)均为0.5。f为光栅图像的频率，即光栅的总数。

代表当前光栅图像的相位移，N为标准相移模式下光栅图像的总数，n＝1，2…N。本发明采用的是标准三步相移算法，即N取为3，n取1，2，3。

经相机捕获的光栅图像的理想强度为：

$I_n^C(x,y)=A^C(x,y)+B^C(x,y)\cos (\mathrm{\&phi;}(x+y)+{\mathrm{\&delta;}}_n),---\left(2\right)$

其中，A^C(x，y)为一组光栅图像的灰度平均值，B^C(x，y)为调制光的光强，φ(x，y)为待计算的相对相位值(也称为相位主值)，它可以通过最小二乘法来求解：

$\mathrm{\&phi;}(x,y)=-\arctan (\underset{n=1}{\overset{N}{\mathrm{\&Sigma;}}}{I}_n^C(x,y)\sin \left({\mathrm{\&delta;}}_n\right)/\underset{n=1}{\overset{N}{\mathrm{\&Sigma;}}}{I}_n^C(x,y)\cos \left({\mathrm{\&delta;}}_n\right)),---\left(3\right)$

该相位值在一个相位周期内是唯一的，但由于在整个测量范围内有多条光栅，φ(x，y)呈锯齿状分布，所以该值存在2π不连续性。为了消除不连续性，通常采用相位展开算法求得像素的绝对相位值。本发明采用的是基于相移和三视张量的全新对应点查找方法。该方法的具体步骤为利用三视张量初步搜索对应点、视差约束排除误匹配点、光栅边界点的对应优化、混合一致性检查、利用极线约束优化对应点精度(如图1)。下面对其整体流程做一个详细的说明。

第1步利用三视张量初步搜索对应点

三视张量是三视几何的数学表达，它对三幅图像上的同名点、同名线都存在严格的约束关系。其在三视图中的作用和两视图中的基本矩阵相似，它积累了三个独立视图之间的所有几何关系。其具体原理如图2所示，P为被测物体上的点，它在第一相机图像平面101和第二相机图像平面102上的投影点分别是p和p″。同时，P在空间线L上，L在投影仪平面103上的投影直线为l′。通过分析P，p，l′，L和p″的几何关系将p，l′和p″构建成对应组。令第一相机，投影仪和第二相机的投影矩阵为M，M′，M″。根据小孔成像模型则有：

$\left\{\begin{array}{c}\mathrm{sp}=\mathrm{MP}\\ l^{\&prime;}{M}^{\&prime;}P=0\\ s^{\&prime;\&prime;}{p}^{\&prime;\&prime;}=M^{\&prime;\&prime;}P\end{array}\right.,---\left(4\right)$

其中s和s″为比例因子。P、p、p″和l′分别是被测物体三维点P、二维图像点p与p″和直线l′的齐次坐标。将式(4)写成矩阵形式：

$\left[\begin{array}{ccc}M& p& 0\\ l^{\&prime;}{M}^{\&prime;}& 0& 0\\ M^{\&prime;\&prime;}& 0& p^{\&prime;\&prime;}\end{array}\right]\left[\begin{array}{c}P\\ s\\ s^{\&prime;\&prime;}\end{array}\right]=Q\left[\begin{array}{c}P\\ s\\ s^{\&prime;\&prime;}\end{array}\right]=0.---\left(5\right)$

由于式(5)有非零解，因此Q(7×6)矩阵的秩最大是5，故Q的任意6×6子矩阵的行列式均为零。为方便表达，以下方程中的部分矩阵与向量用张量形式表达。取第一个相机矩阵的三行(分别用用m^x，m^y，m^z表示)，投影仪矩阵的一行(用m′^j表示)，第二个相机矩阵的两行(分别用m″^k，m″^r表示)构建一个子矩阵W，则有：

$W=\left[\begin{array}{ccc}M& p& 0\\ l_j^{\&prime;}{m}^{\&prime;j}& 0& 0\\ m^{\&prime;\&prime;k}& 0& p^{\&prime;\&prime;k}\\ m^{\&prime;\&prime;r}& 0& p^{\&prime;\&prime;r}\end{array}\right],$ det(W)＝0.    (6)

其中，det(W)表示求矩阵W的行列式。对行列式(6)进行分解，则有：

$\det \left(W\right)=\frac{1}{2}{\mathrm{\&epsiv;}}_{\mathrm{xyz}}{p}^x\det \left(\left[\begin{array}{cc}{m}^y& 0\\ m^z& 0\\ l_j^{\&prime;}{m}^{\&prime;j}& 0\\ m^{\&prime;\&prime;k}& p^{\&prime;\&prime;k}\\ m^{\&prime;\&prime;r}& p^{\&prime;\&prime;r}\end{array}\right]\right)=\frac{1}{2}{\mathrm{\&epsiv;}}_{\mathrm{xyz}}{p}^x{l}_j^{\&prime;}{\mathrm{\&epsiv;}}_{\mathrm{krs}}{p}^{\&prime;\&prime;k}\det \left(\left[\begin{array}{c}{m}^y\\ m^z\\ m^{\&prime;j}\\ m^{\&prime;\&prime;r}\end{array}\right]\right).---\left(7\right)$

其中，下标s为三阶张量ε_krs(该式中表示为协变张量)的一个下指标。令三视张量为：

$t_x^{\mathrm{jr}}=\frac{1}{2}{\mathrm{\&epsiv;}}_{\mathrm{xyz}}\det \left(\left[\begin{array}{c}{m}^y\\ m^z\\ m^{\&prime;j}\\ m^{\&prime;\&prime;r}\end{array}\right]\right),---\left(8\right)$

则有：

$t_x^{\mathrm{jr}}{p}^x{l}_j^{\&prime;}{\mathrm{\&epsiv;}}_{\mathrm{krs}}{p}^{\&prime;\&prime;k}=0_s.---\left(9\right)$

方程(9)以张量的形式表达了p、l′和p″三者之间的对应关系。其中，x，y，z为第一个相机矩阵的行向量指标，k，r为第二个相机矩阵的行向量指标(取三行中的任意二行)，j为投影仪矩阵的行向量指标(取三行中的任意一行)，s为变换出的三阶张量ε_krs的一个下标。由该式可知，只要已知对应组p，l′，p″中的两个数量，便可以计算出剩余一个数量。其中第一相机平面101上的点p为源匹配点，为已知点，我们需查找其在第二相机平面102上的对应点p″，则还需确定l′。它可由下式求得第k条对应垂直线：

其中，w是投影仪图像的像素宽度(即图片在横向上划分的像素点的数量)，

为源匹配点p的相位主值。k表示存在f条相应垂直线。这是因为方程(3)计算出的相位值在整个测量空间中不唯一。因此，若频率为f，即测量空间内有f条光栅，则能确定出f条有相同相位值

的对应垂直线l′。针对每一条垂线l′，又可由式(9)计算出一个对应点，所以总共将计算出f个对应点。具体步骤为：

(1)利用式(3)求得源匹配点p的相对相位值。

(2)利用式(10)计算出源匹配点p在投影仪平面上的对应垂直线l′_k，其中确定出的对应垂直线存在f条。

(3)使用式(9)初步计算出源匹配点p在第二相机平面102上的对应点p″，由于有f条对应垂直线，则将确定出f个对应点。

理想状态下，在这f个对应点中，相位值与源匹配点的相位值相同或最接近的点将是正确的对应点。但由于在使用三视张量确定对应点时，由于三步相移计算出的相位值存在一定误差，导致对应直线的计算不是很准确，进而降低了通过三视张量计算其对应点的准确性。所以为了减小相位误差的影响，在众多初步计算出的对应点中选择出正确的对应点，本发明相继提出了一系列的对应改善措施。

第2步利用视差约束来排除误匹配

首先参照图3和图4对视差范围约束作详细说明：

图3为视差范围约束的原理图。其原则是：测量空间V的大小能限制第二相机平面102上对应点在极线方向的范围。测量空间通常是指立体视觉***的公共区域空间，在该空间内相机与投影仪都能清晰聚焦。由图中对应点和相应空间测量点之间的几何关系可知，如果利用所有计算出的对应点来进行三维空间测量点的坐标计算，重建的3D数据中将有一部分三维空间测量点处于测量范围V之外而被排除，相应地用以计算该部分三维空间测量点的错误对应点也将被排除掉，所以可通过测量空间确定的视差范围来约束对应点从而降低错误匹配的对应点数目。其具体操作过程如图4。在测量空间中，本发明将投影图像聚焦最清晰的平面203作为测量空间的中间平面，在平行该平面的基础上确定出离投影仪最近的平面205和最远的平面204，平面205和平面204之间的区域为测量空间。通常，将投影仪的散焦程度作为最近和最远平面的依据。设备在经过***标定后，投影仪的最佳聚焦平面可被确定下来，再通过投影图像在不同位置的聚焦情况确定出***的最近和最远平面。经过多次试验，本实例选择将中间平面203前后平移100～150mm来确定最近的平面205和最远的平面204。

图4中，平面201和平面202为第一相机平面101和第二相机平面102经校正后的图像平面，校正的具体做法为调整第一相机和第二相机之间的角度和距离，输出行对准(行对准是指两图像在同一个平面上，并且图像的每一行是严格对齐的)的图像。P为测量空间中的任意一点，点p_rect和点p″_rect为点P在经校正后的平面201和平面202上的映射点。点P的深度可由式(11)表示：

P_z＝F_rectB_t/(x_rect-x″_rect)，    (11)

其中P_z是点P的深度，B_l是左右两相机光心O，O″的连线(即基线)的长度，F_rect为相机校正后的焦距，x_rect和x″_rect分别是点p_rect和点p″_rect在经校正后的平面201和平面202上的水平位置，视差可简单的定义为d＝x_rect-x″_rectR为视差d的范围。通常，B_l的长度在***标定好后是不变的。分别以最***面205和最远平面204为边界条件，可确定出点p″_rect的视差范围R，其对应关系可由式(12)表示。

$\left\{\begin{array}{c}{(x_{\mathrm{rect}}-x_{\mathrm{rect}}^{\&prime;\&prime;})}_{\min }=F_{\mathrm{rect}}{B}_l/Z_{\max }\\ {(x_{\mathrm{rect}}-x_{\mathrm{rect}}^{\&prime;\&prime;})}_{\max }=F_{\mathrm{rect}}{B}_l/Z_{\min }\end{array}\right.,---\left(12\right)$

其中Z_min和Z_max是测量体系中最***面205和最远平面204的深度。R即为(x_rect-x″_rect)_min到(x_rect-x″_rect)_max的区间范围。将该式与图4结合分析可知，对于不同的点p_rect，计算出的R虽区间长度不变，但由于x_rect的值不同，R在202平面上的位置不同。计算出视差范围R后，将该范围逆向投影到第二相机平面上确定出对应点范围，最后对剩余对应点进行筛选，不在对应点范围内的点将被排除掉。

在使用该方法进行对应点筛选时，随着投影图像光栅数的增加，视差范围内的对应点也将增多，将降低对应点的查找准确性，所以在测量时希望图像的光栅数越少越好。但是为了减少相位误差又往往希望使用较多的光栅数。因此，在决定最佳光栅数时要综合考虑两者的影响。本发明的原则是在保证对应点的正确查找稳定性的同时采用最多的光栅数以获得更好的精度。

利用视差约束排除误匹配的具体步骤为：

(1)对于已知点p_rect(该点为源匹配点p在经校正后的平面201上的相应点)，可利用式(12)确定出该点在经校正后的平面202上的相应视差范围R，将该范围逆向投影到真实相机图像102上确定出对应点的范围。

(2)利用确定出的对应点范围对三视张量法中计算出的众多对应点进行筛选，排除范围外的误匹配点。

第3步光栅边界点的对应优化

对应优化是为了消除数据中的多条垂直空白行。通过分析发现，第一相机图像101上正弦光栅边界的点，具体是指光栅图像上分布在2π相位线左右的点(后简称边界点)由于相位变化过快，该部分点的位置不精确，从而使求出的对应点的相位值和源匹配点的相位值有很大差距，导致了边界点无法找到正确对应点从而无法进行三维重构，出现了空白行。实际上，边界点有相邻的光栅级数。基于这个规律，本发明提出了全新的边界点对应优化方法(如图5)。

具体操作为：

(1)为了避免边界点相位值的计算错误，通过式(13)对相机平面101上的像素点进行分类，划分出边界点，，其具体的判别标准如下：

p_edge＝{p|φ(p)＜Thr，(2π-φ(p))＜Thr}，    (13)

其中，p_edge表示边界点，φ(p)为源匹配点p的相位值，Thr为阈值，限定了光栅边界的宽度，取值范围为2×(2π/w_p)～5×(2π/w_p)，其中，w_p指每个光栅周期的像素数。

(2)在确定第一相机图像中的源匹配点p属于边界点(p_edge)后，通过三视张量计算出它在相机平面102上的对应点p″₂，再对p″₂的邻近像素点p″_2i(i＝1，2，3，4)的相位值做如下调整：

${\mathrm{\&phi;}}^{\&prime;}\left(p_{2i}^{\&prime;\&prime;}\right)=\left\{\begin{array}{cc}\mathrm{\&phi;}\left(p_{2i}^{\&prime;\&prime;}\right)+2\mathrm{\&pi;}& \mathrm{\&phi;}\left(p\right)-\mathrm{\&phi;}\left(p_{2i}^{\&prime;\&prime;}\right)>2\mathrm{\&pi;}-\mathrm{Thr}1\\ \mathrm{\&phi;}\left(p_{2i}^{\&prime;\&prime;}\right)& |\mathrm{\&phi;}\left(p\right)-\mathrm{\&phi;}\left(p_{2i}^{\&prime;\&prime;}\right)|\&le;\mathrm{Thr}1\\ \mathrm{\&phi;}\left(p_{2i}^{\&prime;\&prime;}\right)-2\mathrm{\&pi;}& \mathrm{\&phi;}\left(p\right)-\mathrm{\&phi;}\left(p_{2i}^{\&prime;\&prime;}\right)<-(2\mathrm{\&pi;}-\mathrm{Thr}1)\end{array}\right.(i=\mathrm{1,2,3,4})---\left(14\right)$

其中，Thr1是阈值，判断邻近点相位误差的大小及误差偏离方向，从而针对不同的情况给予不同的调整方式，其取值范围为0.8～1.2rad。φ(p″_2i)(i＝1，2，3，4)为邻近点p″_2i的原始相位值，φ′(p″_2i)为它们调整后的相位值。4个邻近点在调整后其相位值更加准确，有助于后续调整相应对应点p″₂的相位值。

(3)对调整相位值后的邻近点作线性插值法计算来调整最初对应点p″₂的相位值，对应点调整后的相位值将更接近源匹配点的相位值。再利用后续的改善措施在已调整的对应点中进行筛选。

经实验证明，该优化方法可有效地避免测量结果中的多条垂直空白行。第4步利用混合一致性检查进行对应点的最后筛选

混合一致性检查是完善对应点选择的最后准则。混合一致性检查的原理为：正确对应点和源匹配点之间应有一致的相位值和灰度值。通过将剩余对应点的相位值和灰度值与源匹配点进行比较，分析两者的差异大小可确定出正确的对应点。分析可知，剩余对应点中有最小混合值的点为正确的对应点，其具体评判标准如等式(15)所示：

$D^i=w_1{\left(\frac{{\mathrm{\&phi;}}_2^i-{\mathrm{\&phi;}}_1}{2\mathrm{\&pi;}}\right)}^2+w_2{\left(\frac{I_2^i-I_1}{255/2}\right)}^2,---\left(15\right)$

其中，Dⁱ表示第i个对应点的混合值，

和φ₁分别是对应点和源匹配点的相位值，

和I₁分别是对应点和源匹配点的灰度。和

为归一化的相位差值和灰度差值。w₁和w₂是描述两个差值成分的权重因子，它们的和为1。测量时，可根据不同的被测物体调整权重因子。当测量物体表面纹理较为丰富时，两个权重因子都为0.5；当被测物表面色调单一时可适当增大w₁，相应减小w₂。在剩余对应点中，混合值Dⁱ最小的点将作为正确的对应点。

第五步利用极线约束优化对应点精度

由于基于三视张量的对应点计算方法对相位误差较为敏感，影响了对应点查找精度。根据双目立体视觉中的极线几何约束，本发明提出了优化对应精度的方法。如图6，极线l为极平面(指被测物体点P、两相机光心决定的平面)与第二相机图像平面的交线。对于第一相机图像中的源匹配点p，按前述步骤确定出来的正确对应点p″₂可能和真正的对应点p″₁有少量差距。由于真正对应点p″₁必在极线l上，所以可沿着极线l在较小的范围内寻找更精确的对应点。

具体步骤为：

(1)利用确定出的正确对应点p″₂的x值(水平坐标)定义查找范围[(p″₂)_x-δ，(p″₂)_x+δ]，其中(p″₂)_x表示p″₂的水平坐标，δ表示查找范围大小，其取值范围为2～3个像素。

(2)在查找范围内沿着极线l寻找距离点p″₂最近的点，如图6，可在极线上找到点p″₃，该点表示最终精确后的对应点，它将更接近真正对应点p″₁。

在利用极线约束优化对应点精度后，可发现3D数据中的水波纹已基本消失。

总之，采用基于相移和三视张量的对应点搜索方法能避免其他三维重建方法中出现的精度低、稳定性差、无法测量不连续物体、不具有全时间分辨率和全空间分辨率的问题。同时，本发明还为了进一步提高对应点搜索的稳定性和准确性，相应地提出了一系列的改善措施，极大地提高了动态物体三维面形测量的性能。

以上所述为本发明的较佳实施例而已，但本发明不应该局限于该实施例和附图所公开的内容。所以凡是不脱离本发明所公开的精神下完成的等效或修改，都落入本发明保护的范围。

Claims (5)

1.一种基于相移和三视张量的对应点查找方法，其特征在于，该方法包括下述步骤：

第1步利用三视张量初步搜索对应点：

首先计算源匹配点p的相对相位值，所述源匹配点p为第一相机平面上的任一点；再计算出源匹配点p在投影仪平面上的对应垂直线l′_k，设确定出的对应垂直线存在f条；最后计算出源匹配点在第二相机平面上的对应点p″，由f条对应垂直线得到f个对应点p″；

第2步利用视差约束来排除误匹配：

对于源匹配点p在经第一相机平面校正后的平面上的相应点p_rect，确定该点在第二相机平面校正后的平面上的相应视差范围R，将该视差范围逆向投影到第二相机图像上确定出对应点范围；最后利用确定出的对应点范围对第1步得到的f个对应点进行筛选，排除对应点的范围外的误匹配点；

第3步光栅边界点的对应优化：

对第一相机平面上的像素点进行分类，划分出边界点；如果源匹配点p不属于边界点，直接进入第4步，否则，通过三视张量计算出它在第二相机平面上的对应点p″₂，再调整p″₂的邻近像素点p″_2i，i＝1，2，3，4的相位值φ′(p″_2i)，使邻近点的相位值更为精准；再对调整相位值后的邻近点作线性插值法计算来调整最初对应点p″₂的相位值，对应点调整后的相位值将更接近源匹配点的相位值；

第4步利用混合一致性检查进行对应点的最后筛选：

将剩余对应点的相位值和灰度值与源匹配点进行比较，将与源匹配点相位值和灰度值相近的对应点作为正确对应点p″₂。

2.根据权利要求1所述的对应点查找方法，其特征在于，该方法还包括第5步，该步骤是将第4步得到的正确对应点p″₂沿着极线l在其附近寻找更精确的对应点，极线l是指极平面与第二相机图像平面的交线。

3.根据权利要求1或2所述的对应点查找方法，其特征在于，第4步具体包括下述过程：

通过将剩余对应点的相位值和灰度值与源匹配点进行比较，分析两者的差异大小确定出正确的对应点，将剩余对应点中有最小混合值的点为正确的对应点，其具体评判标准为：

$D^i=w_1{\left(\frac{{\mathrm{\&phi;}}_2^i-{\mathrm{\&phi;}}_1}{2\mathrm{\&pi;}}\right)}^2+w_2{\left(\frac{I_2^i-I_1}{255/2}\right)}^2,$

其中，Dⁱ表示第i个对应点的混合值，

和φ₁分别是对应点和源匹配点的相位值，

和I₁分别是对应点和源匹配点的灰度；和

为归一化的相位差值和灰度差值；w₁和w₂是描述两个差值成分的权重因子，它们的和为1。

4.根据权利要求1或2所述的对应点查找方法，其特征在于，第2步中，利用下式确定出该点在第二相机平面校正后的平面上的相应视差范围R：

$\left\{\begin{array}{c}{(x_{\mathrm{rect}}-x_{\mathrm{rect}}^{\&prime;\&prime;})}_{\min }=F_{\mathrm{rect}}{B}_l/Z_{\max }\\ {(x_{\mathrm{rect}}-x_{\mathrm{rect}}^{\&prime;\&prime;})}_{\max }=F_{\mathrm{rect}}{B}_l/Z_{\min }\end{array}\right.,$

B_l是第一、第二两相机光心的连线的长度，F_rect为相机校正后的焦距，点p_rect和点p″_rect为点P在经校正后的第一平面和第二平面上的映射点；x_rect和x″_rect分别是点p_rect和点p″_rect在经校正后的第一平面和第二平面上的水平位置，Z_min和Z_max是测量体系中最***面和最远平面的深度，R即为(x_rect-x″_rect)_min到(x_rect-x″_rect)_max的区间范围。

5.根据权利要求1或2所述的对应点查找方法，其特征在于，第3步中，按下述方式调整p″₂的邻近像素点p″_2i，i＝1，2，3，4的相位值φ′(p″_2i)：

${\mathrm{\&phi;}}^{\&prime;}\left(p_{2i}^{\&prime;\&prime;}\right)=\left\{\begin{array}{cc}\mathrm{\&phi;}\left(p_{2i}^{\&prime;\&prime;}\right)+2\mathrm{\&pi;}& \mathrm{\&phi;}\left(p\right)-\mathrm{\&phi;}\left(p_{2i}^{\&prime;\&prime;}\right)>2\mathrm{\&pi;}-\mathrm{Thr}1\\ \mathrm{\&phi;}\left(p_{2i}^{\&prime;\&prime;}\right)& |\mathrm{\&phi;}\left(p\right)-\mathrm{\&phi;}\left(p_{2i}^{\&prime;\&prime;}\right)|\&le;\mathrm{Thr}1\\ \mathrm{\&phi;}\left(p_{2i}^{\&prime;\&prime;}\right)-2\mathrm{\&pi;}& \mathrm{\&phi;}\left(p\right)-\mathrm{\&phi;}\left(p_{2i}^{\&prime;\&prime;}\right)<-(2\mathrm{\&pi;}-\mathrm{Thr}1)\end{array}\right.i=\mathrm{1,2,3,4}$

其中，Thr1是阈值，用于判断邻近点相位误差的大小及误差偏离方向，其取值范围为0.8～1.2rad，φ(p″_2i)i＝1，2，3，4为邻近点p″_2i的原始相位值。

Images