CN106504284B - 一种基于立体匹配与结构光相结合的深度图获取方法 - Google Patents

Abstract

本发明涉及立体视觉领域，其公开了一种基于立体匹配与结构光相结合的深度图获取方法，解决图像弱纹理区域与图像曝光量不足情况下的立体匹配问题。在本发明中，当外部环境光充足且拍摄场景中不存在弱纹理区域时，直接利用自然光下拍摄的图像获取三维场景的深度信息；当采集的纹理信息稀少或者采集过程中外部环境光强较弱时，则主动投影编码结构光，以增加环境光强与物体纹理信息。由于结构光在增强场景纹理信息的同时受到场景调制，可直接利用结构光测量法获取场景深度信息。本发明适用于准确获取物体深度信息。

Description

一种基于立体匹配与结构光相结合的深度图获取方法

技术领域

本发明涉及立体视觉领域，具体涉及一种基于立体匹配与结构光相结合的深度图获取方法。

背景技术

立体视觉是计算机视觉中的一个关键性问题，其获取的深度信息被广泛应用于工业产品的外观设计、艺术雕塑、建筑、机器人视觉、无人机避障、医学整形与美容、航空测绘和军事应用等领域。立体匹配是获取深度信息的一种重要方法，该方法通过计算空间点在两幅图像中的偏差，获得视差图，然后根据视差图来获取物体的深度信息。物体各点的视差通过寻找左右图像平面中的匹配点对获取，因此图像匹配成为了最终获取三维场景深度信息的关键。立体匹配中常见的问题有遮挡区域、视差不连续区域、高纹理区域、低纹理区域、重复纹理区域等。弱纹理区域由于其像素区分度低通常会导致误匹配。现有的算法中，区域匹配法以扩大窗口来增强弱纹理区域的可区分性，全局约束通过能量函数的平滑项来提高弱纹理的匹配率，基于颜色的分割算法在预处理中利用图像的颜色关系划分深度区域。上述算法都在小面积弱纹理匹配上取得了良好的效果。

然而，当图像中弱纹理区域面积较大或者图像曝光量不足时，现有算法的优越性能降低。利用增大窗口的局部算法匹配大面积弱纹理区域，容易引起视差不连续区域的过分平滑，出现“前景肥大”效应；而基于能量函数优化的全局算法与基于颜色分割的算法在大面积弱纹理区域的匹配精度降低。同时，在图像曝光量不足的环境下(如黑暗环境)，采集图像特征信息无法满足匹配需求，运用现有的匹配算法无法获取物体深度信息。

发明内容

本发明所要解决的技术问题是：提出一种基于立体匹配与结构光相结合的深度图获取方法，解决图像弱纹理区域与图像曝光量不足情况下的立体匹配问题。

本发明解决上述技术问题所采用的方案是：

一种基于立体匹配与结构光相结合的深度图获取方法，其包括以下步骤：

A、对结构光进行编码；

B、标定双目摄像机；

C、根据外部环境光强和三维场景纹理信息判断是否需要主动投影结构光；

D、若不需要主动投影结构光，则利用标定后的双目摄像机拍摄左右图像，直接记录自然光下的图像信息，获取视差图，然后根据视差与深度之间的映射关系获取三维场景的深度图；

E、若需要主动投影结构光，则利用投影仪投影编码后的结构光，并利用标定后的双目摄像机拍摄左右图像，若结构光用于增强外部环境光强，则记录结构光下的图像信息，择优选取立体匹配法或者结构光测量法获取视差图或相位图，进入步骤F；

若结构光用于增强三维场景的纹理信息，则分别记录结构光下与自然光下的图像信息，选取立体匹配法或者结构光测量法恢复弱纹理区域的深度信息，进而获取三维场景的视差图或相位图，进入步骤F；

F、根据视差与深度之间的映射关系获取三维场景的深度图，或者，根据相位与深度之间的映射关系获取三维场景的深度图。

作为进一步优化，步骤A中，当利用立体匹配法获取三维场景深度信息时，选用特征信息较为明显的编码方式编码结构光，包括：De Bruijn编码、基于图形信息的编码或基于几何特征的M-marry编码方式；当利用结构光测量法获取三维场景深度信息时，选用受场景调制具有一定变化规律的编码方式编码结构光，包括：正弦条纹图编码方式、格雷码条纹图编码方式。

作为进一步优化，步骤B中，利用棋盘格对双目摄像机进行标定获得两个摄像机的内部参数与外部参数，内部参数包括主点、焦距以及相机的畸变参数，用于校正摄像机拍摄图像的切向畸变与径向畸变，外部参数用于确定相机在三维空间中的朝向和位置。

作为进一步优化，步骤C中，根据外部环境光强和三维场景纹理信息判断是否需要主动投影结构光，具体包括：

C1、通过摄像机获取自然光照下图像，通过该图像灰度直方图分布特征与图像信噪比判断外部环境光强是否充足，若外部环境光强充足，则进入步骤C2，若外部环境光强不充足，则主动投影编码结构光以增加环境光强信息；

C2、在外部环境光强充足的情况下，判断图像的纹理信息，若存在弱纹理区域，则主动投影编码结构光以增加纹理信息，同时利用标号记录下弱纹理区域位置。

作为进一步优化，步骤C1中，所述通过该图像灰度直方图分布特征与图像信噪比判断外部环境光强是否充足的方法是：

C11.基于图像灰度直方图分布特征计算图像曝光量，并判断图像是否为欠曝光图像，若为欠曝光图像，则进入步骤C12进一步判断；

C12.对图像信噪比进行验证，若图像信噪比小于设定阈值，则判定为外部环境光不充足。

作为进一步优化，步骤C11中，所述基于图像灰度直方图分布特征计算图像曝光量，并判断图像是否为欠曝光图像的方法是：

通过灰度直方图两端像素值个数为空的区域所占的比例F_rat，直方图峰值灰度g_peak与灰度直方图的均值灰度g_mean来估计图像曝光量：

F_rat＝(g_min+1)/(255-g_max+g_min+1) (1)

其中，g_max为灰度直方图左边缘处的像素数量为零的最大灰度值数，g_min为灰度直方图右边缘处的像素数量为零的最小灰度值数；

设定阈值M<0.5，当g_peak或g_mean小于128，F_rat<M时，判定该图像为欠曝光图像。

作为进一步优化，步骤C12中，所述对图像信噪比进行验证的方法是：

采用无参考峰值信噪比的方法来衡量图像的信噪比，将图像平坦区域的标准差作为噪声标准差，用该标准差代替均方误差，噪声标准差公式为：

其中，N为图像的总个数，I(x,y)表示像素点的灰度值，像素均值μ的表达式为：

将整幅图像分成多个小区域，分别求出各个区域的噪声标准差，升序排列各个区域的方差值，求出前的方差的均值视为整幅图像的噪声标准差，则图像的无参考峰值信噪比公式为：

其中，L为图像最大灰阶数；

设定阈值W，若求取的无操控峰值信噪比NPSNR小于设定阈值W，则判定为外部环境光不充足，则主动投影编码结构光以增加环境光强信息。

作为进一步优化，步骤C2中，所述在外部环境光强充足的情况下，判断图像的纹理信息的方法是：

基于图像像素灰度的梯度特性和特定窗口下像素灰度的统计特性判断图像的纹理信息：

其中，N表示窗口中的像素个数，W_(x,y)表示以像素(x,y)为中心的窗口，I_(u,v)表示灰度图像中的像素点灰度值，s为窗口中像素的方差，k为窗口中像素的梯度值之和；

设定阈值s_r与k_r，若s²<s_r且k<k_r，则判定该区域为弱纹理区域，则主动投影结构光以增加纹理信息。

作为进一步优化，步骤E中，若结构光用于增强三维场景的纹理信息，选取立体匹配法恢复弱纹理区域的深度信息的方法是：

根据弱纹理区域的标号信息分割弱纹理区域和非弱纹理区域，将结构光辅助得到的立体匹配视差信息作为弱纹理区域的视差信息，自然光下得到的立体匹配视差信息作为非弱纹理的视差信息，利用动态规划缝合线法与加权叠加法融合弱纹理区域和非弱纹理区域的视差信息，得到最终该场景的视差图：

其中，在动态规划路径中融合代价的计算公式为：

E(x,y)＝E_diff(x,y)+λE_color(x,y) (7)

其中，d₁表示结构光辅助下得到的视差图，d₂自然光下得到的视差图，I₁表示结构光辅助下采集得到的灰度图，I₂表示自然光下得到的灰度图，E_color用周围矩形区域V内的像素之差，表示区域V内像素点色彩上的强度关系，E_diff取两幅图像结构变化较小的位置处的梯度值来表示几何结构的相似性，λ是一个调节系数，N_V为区域V内像素的总数，E为融合代价，E越小选择该点作为缝合线上点的机率越大；

路径规划完成后，沿着缝合线利用加权叠加的方法对视差图进行融合，融合方式为：

d_end(x,y)＝ω₁d₁(x,y)+ω₂d₂(x,y) (10)

其中，ω₁和ω₂为加权叠加的权重系数，ω₁+ω₂<1，d_end为最终融合得到的视差图。

作为进一步优化，步骤E中，若结构光用于增强三维场景的纹理信息，选取结构光测量法恢复弱纹理区域的深度信息的方法是：直接利用受场景深度调制的编码图像求取整个三维场景的相位信息，具体包括：

投影N帧正弦条纹至待测场景表面，再利用摄像机采集N帧受场景调制的变形条纹，采集得到的变形条纹变化强度表示为：

I_n＝R(x,y){1+B(x,y)cos[φ(x,y)+2πn/N]}(n＝1,2…N) (11)

其中R(x,y)为物体表面反射率系数，B(x,y)为条纹对比度，φ(x,y)为受场景深度调制后的相位信息，N为投影条纹帧数，其中N大于等于3；

根据N步等步相移计算公式：

即可获得场景的截断相位信息φ(x,y)，再通过解相算法后获得场景的连续相位信息θ(x,y)。

本发明的有益效果是：

可自动判定拍摄环境光强信息与三维场景纹理信息是否满足立体匹配需求，并依据判定结果决定是否投影编码结构光，利用主动投影方式增加外部环境光强与立体匹配所需的场景纹理信息，或利用场景深度信息调制编码结构光。该方法即保证了双目视觉方法低功耗的特点，又解决了外部环境光强较弱条件下深度图获取困难和三维场景弱纹理区域的深度图的精度较低的问题。

附图说明

图1为是否需要对三维场景投影结构光的判断流程图；

图2为立体匹配与结构光相结合的深度图获取方法流程图；

图3为直接利用结构光测量法获取深度图方法流程图。

具体实施方式

本发明提供一种基于立体匹配与结构光相结合的深度图获取方法，旨在解决图像弱纹理区域与图像曝光量不足情况下的立体匹配问题。利用该方法可自动判定拍摄环境光强信息与三维场景纹理信息是否满足立体匹配需求，并依据判定结果决定是否投影编码结构光，利用主动投影方式增加外部环境光强与立体匹配所需的场景纹理信息，或利用场景深度信息调制编码结构光。该方法即保证了双目视觉方法低功耗的特点，又解决了外部环境光强较弱条件下深度图获取困难和三维场景弱纹理区域的深度图的精度较低的问题。

在本发明中，利用投影仪投影编码结构光，左右摄像机采集待匹配图像，并将图像传输至计算机，计算机运用立体匹配算法即可获取到三维场景的视差图，进而可以获得对应的深度图。当外部环境光充足且拍摄场景中不存在弱纹理区域时，直接利用自然光下拍摄的图像获取三维场景的深度信息；当采集的纹理信息稀少或者采集过程中外部环境光强较弱时，则主动投影编码结构光，以增加环境光强与场景纹理信息，提高立体匹配精度。由于结构光在增强场景纹理信息的同时受场景调制，可直接利用结构光测量法恢复出场景的深度信息，因此在纹理信息稀少或者外部环境光强较弱的场景中，择优选取立体匹配法或结构光测量法恢复其深度信息。

在具体实现上，本发明中基于立体匹配与结构光相结合的深度图获取方法，具体包括以下几个实现步骤：

1、结构光编码：

本发明利用基于空间的结构光编码方式，在场景存在弱纹理区域(如白色墙面)时，主动投影结构光，利用投影图像的灰度信息，增强三维场景的纹理信息，或利用场景自身的深度信息调制投影结构光。而在外部环境光不足(如黑暗环境)也通过主动投影结构光方式增加外部环境的光强信息。

在利用立体匹配法获取三维场景深度信息时，为了增强三维场景弱纹理区域的特征信息，最大程度提高立体匹配时的精度，优选地，选用特征信息较为明显的编码方式编码结构光，如De Bruijn编码、基于图形信息的编码或基于几何特征的M-marry编码方式等；利用结构光测量法获取深度信息时，优选地，选用受场景调制具有一定变化规律的编码方式编码结构光，如正弦条纹图编码、格雷码条纹图编码等。

2、标定双目摄像机：

该过程用于获取摄像机内部参数与外部参数，内部参数包括主点、焦距以及相机的畸变参数，用于校正摄像机拍摄图像的切向畸变与径向畸变等，外部参数用于确定相机在三维空间中的朝向和位置。利用立体匹配法获取场景深度信息时，通过标定可获得(x,y,d)-(X_C,Y_C,Z_C)的映射关系，其中(x,y)为图像像素坐标，d为该坐标的视差值，(X_C,Y_C,Z_C)为(x,y,d)对应的空间点的三维坐标。视差d可以通过极线对齐后左右视图中相同点横坐标的差值求取。利用结构光测量法获取场景深度信息时，通过标定可获得(x,y,θ)-(X_C,Y_C,Z_C)的映射关系,其中θ为像素坐标(x,y)的相位值，可通过相位测量轮廓术、傅里叶变换轮廓术等方法获取。

3、环境判决与处理：

该步骤流程如附图1所示，包括外部环境光强判断，三维场景纹理信息判断以及根据判断结果决策是否主动投影结构光三个部分。

第一，通过摄像机获取自然光照下图像，通过该图像直方图分布特征与图像信噪比SNR判断外部环境光强是否充足；

第二，若图像直方图分布集中在灰度低的区域且SNR值小于给定阈值W，则判定该拍摄条件下外部环境光强较弱，投影编码结构光；

第三，若外部环境光强达到立体匹配需求，再通过原始拍摄图像判定拍摄物体是否存在弱纹理区域。本发明定义弱纹理为图像中像素灰度不发生变换或者变换很微弱的区域，该变换体现在像素灰度的梯度和特定窗口下像素灰度的统计特性上。根据梯度特性或统计特性判定图像是否存在弱纹理区域，若存在弱纹理区域，则投影编码结构光，增强场景中的纹理信息，同时利用标号记录下弱纹理区域位置，用以后续步骤区分图像中弱纹理区域和非弱纹理区域的像素位置。

4、利用标定后的摄像机拍摄左右图像，若无需结构光辅助，则直接记录自然光下的图像信息，获取视差图，然后根据视差与深度之间的映射关系获取三维场景的深度图；若需要结构光辅助且主动投影结构光用于增强外部环境光强，则记录结构光下的图像信息，择优选取立体匹配法或结构光测量法获取视差图或相位图，执行步骤6；

若需要结构光辅助且主动投影结构光是用于增强三维场景中的纹理信息，则分别记录结构光下与自然光下的图像信息，执行步骤5。

5、若利用立体匹配法获取弱纹理区域的深度信息，则根据弱纹理区域的标号信息，分割弱纹理区域和非弱纹理区域。将结构光辅助得到的立体匹配视差信息作为弱纹理区域的视差信息，自然光下得到的立体匹配视差信息作为非弱纹理的视差信息。利用动态规划缝合线法与加权叠加法融合弱纹理区域和非弱纹理区域的视差信息，得到最终该场景的视差图。

本发明定义在缝合线上两幅视差图的视差差值最小，且缝合线上的邻域内像素值最相近。为较好的满足上述条件，定义融合代价计算公式如下：

E(x,y)＝E_diff(x,y)+λE_color(x,y)

其中，d₁表示结构光辅助下得到的视差图，d₂自然光下得到的视差图，I₁表示结构光辅助下采集得到的灰度图，I₂表示自然光下得到的灰度图。E_color用周围矩形区域V内的像素之差，表示区域V内像素点色彩上的强度关系，E_diff取两幅图像结构变化较小的位置处的梯度值来表示几何结构的相似性，λ是一个调节系数，N_V为区域V内像素的总数，E为融合代价，E越小选择该点作为缝合线上点的机率越大。

路径规划完成后，沿着缝合线利用加权叠加的方法对视差图进行融合。融合方式如下：

d_end(x,y)＝ω₁d₁(x,y)+ω₂d₂(x,y)

其中，ω₁和ω₂为加权叠加的权重系数，ω₁+ω₂<1，d_end最终融合得到的视差图。

若利用结构光测量法获取弱纹理区域的深度信息，直接利用受场景深度调制的编码图像求取整个三维场景的相位信息。

6、获取场景深度图：

若选用立体匹配法获取场景的深度信息，本步骤中利用(x,y,d)-(X_C,Y_C,Z_C)的映射关系恢复场景的深度信息。若选用结构光测量法获取场景的深度信息，本步骤中利用(x,y,θ)-(X_C,Y_C,Z_C)的映射关系恢复场景的深度信息。

实施例：

本例分别阐述利用立体匹配法和结构光测量法恢复弱纹理区域的深度信息的过程。

1、利用立体匹配法恢复弱纹理区域的深度信息：

该方法中，投影结构光用于增强弱纹理区域的纹理信息。优选地，由于本例中使用数字投影仪投影结构光，因此只需对投影图像进行编码；同时本例中采用局部算法进行立体匹配，而伪随机编码具有窗口唯一性，因此本例中利用伪随机编码方式编码投影图像。通过数字投影仪投影编码图像后即可获得编码结构光。具体流程图如附图2所示，根据立体匹配原理，首先利用棋盘格对双目摄像机进行标定获得两个摄像机的内部参数与外部参数。通过摄像机获取图像后，对拍摄环境进行判决，即判定外部环境光强与场景纹理信息是否符合立体匹配需求，判定过程如下：

1)首先求取图像直方图与图像信噪比SNR判断外界环境光强是否充足：

11)判断图像曝光量大小：图像在欠曝光时，在对应的灰度直方图中，像素大多集中在灰度低的区域，并且有明显的溢出现象，而在灰度高的区域很少出现。通过灰度直方图两端像素值个数为空的区域所占的比例F_rat，直方图峰值灰度g_peak与灰度直方图的均值灰度g_mean来估计图像曝光量。

F_rat＝(g_min+1)/(255-g_max+g_min+1)

其中，g_max为灰度图左边缘处的像素数量为零的最大灰度值数，g_min为灰度图右边缘处的像素数量为零的最小灰度值数；

设定阈值M<0.5，当g_peak或g_mean小于128，F_rat<M时，该图像为欠曝光图像。

12)为排除黑色物体对判断的干扰，本发明利用信噪比对判定结果进行再次验证。优选地，采用无参考峰值信噪比的方法来衡量图像的信噪比，将图像平坦区域的标准差作为噪声标准差，用该标准差代替均方误差，噪声标准差公式为：

其中，N为图像的总个数，I(x,y)表示像素点的灰度值，像素均值μ的表达式为：

将整幅图像分成多个小区域，分别求出各个区域的噪声标准差，升序排列各个区域的方差值，求出前的方差的均值视为整幅图像的噪声标准差，则图像的无参考峰值信噪比公式为：

其中，L为图像最大灰阶数。

设定阈值W，若求取的NPSNR小于设定阈值，则确定该条件下外部环境光不足，主动投影结构光增加光强信息。

2)在外部环境光充足的情况下，对图像纹理信息进行判断，由于图像像素灰度的梯度和特定窗口下像素灰度的统计特性可以反应图像的纹理信息，优选地，为了判断过程更为精准，选用两者结合的方式进行判定，判定准则如下：

其中，N表示窗口中的像素个数，W_(x,y)表示以像素(x,y)为中心的窗口，I_(u,v)表示灰度图像中的像素点灰度值，s为窗口中像素的方差，k为窗口中像素的梯度值之和。设定阈值s_r与k_r，若s²<s_r且k<k_r，则判定该区域为弱纹理区域，主动投影结构光增加纹理信息。

决策完成之后，利用左右摄像头采集图像，当前环境为弱纹理区域，则通过立体匹配算法获得自然光下的视差图与结构光辅助下的视差图，并记录下弱纹理区域像素位置。优选地，为了实现匹配过程中精度与速度的均衡化，采用自适应权重(ASW)方法计算视差图。通过动态规划路径与加权叠加的方法获得最终融合的视差图d_end。本例中动态规划路径中融合代价计算方式为：

E(x,y)＝E_diff(x,y)+0.3*E_color(x,y)

融合计算公式为：

d_end(x,y)＝0.5*d₁(x,y)+0.5*d₂(x,y)

最后通过视差与深度的映射关系求取三维场景深度图。

2、利用结构光测量法恢复弱纹理区域的深度信息：

选用结构光测量法恢复弱纹理区域的深度信息时，直接利用结构光测量法恢复整个场景的三维信息。优选地，选取正弦编码条纹作为编码图像，采用相位测量轮廓术获取场景的相位信息。相位测量轮廓术利用N步相移法，投影N帧具有2π/N相移间隔的正弦编码条纹至待测场景表面。

采用结构光测量法获取弱纹理区域场景深度图的具体流程参见图3，首先对环境进行判决，判决过程与立体匹配法相同。若场景中存在弱纹理区域，则投影N帧正弦条纹至待测场景表面，再利用摄像机采集N帧受场景调制的变形条纹，采集得到的变形条纹变化强度表示为：

I_n＝R(x,y){1+B(x,y)cos[φ(x,y)+2πn/N]}(n＝1,2…N)

其中R(x,y)为物体表面反射率系数，B(x,y)为条纹对比度，φ(x,y)为受场景深度调制后的相位信息，N为投影条纹帧数，其中N大于等于3。根据N步等步相移计算公式：

即可获得场景的截断相位信息φ(x,y)，再通过解相算法后获得场景的连续相位信息θ(x,y)，最后通过相位与深度的映射关系求取三维场景深度图。

Claims (9)

1.一种基于立体匹配与结构光相结合的深度图获取方法，其特征在于，包括以下步骤：

A、对结构光进行编码；

B、标定双目摄像机；

C、根据外部环境光强和三维场景纹理信息判断是否需要主动投影结构光；

D、若不需要主动投影结构光，则利用标定后的双目摄像机拍摄左右图像，直接记录自然光下的图像信息，获取视差图，然后根据视差与深度之间的映射关系获取三维场景的深度图；

E、若需要主动投影结构光，则利用投影仪投影编码后的结构光，并利用标定后的双目摄像机拍摄左右图像，若结构光用于增强外部环境光强，则记录结构光下的图像信息，择优选取立体匹配法或者结构光测量法获取视差图或相位图，进入步骤F；

若结构光用于增强三维场景的纹理信息，则分别记录结构光下与自然光下的图像信息，选取立体匹配法或者结构光测量法恢复弱纹理区域的深度信息，进而获取三维场景的视差图或相位图，进入步骤F；

F、根据视差与深度之间的映射关系获取三维场景的深度图，或者，根据相位与深度之间的映射关系获取三维场景的深度图；

步骤E中，若结构光用于增强三维场景的纹理信息，选取立体匹配法恢复弱纹理区域的深度信息的方法是：

根据弱纹理区域的标号信息分割弱纹理区域和非弱纹理区域，将结构光辅助得到的立体匹配视差信息作为弱纹理区域的视差信息，自然光下得到的立体匹配视差信息作为非弱纹理的视差信息，利用动态规划缝合线法与加权叠加法融合弱纹理区域和非弱纹理区域的视差信息，得到最终该场景的视差图：

其中，在动态规划路径中融合代价的计算公式为：

E(x,y)＝E_diff(x,y)+λE_color(x,y) (7)

其中，d₁表示结构光辅助下得到的视差图，d₂自然光下得到的视差图，I₁表示结构光辅助下采集得到的灰度图，I₂表示自然光下得到的灰度图，E_color用周围矩形区域V内的像素之差，表示区域V内像素点色彩上的强度关系，E_diff取两幅图像结构变化较小的位置处的梯度值来表示几何结构的相似性，λ是一个调节系数，N_V为区域V内像素的总数，E为融合代价，E越小选择该点作为缝合线上点的机率越大；

路径规划完成后，沿着缝合线利用加权叠加的方法对视差图进行融合，融合方式为：

d_end(x,y)＝ω₁d₁(x,y)+ω₂d₂(x,y) (10)

其中，ω₁和ω₂为加权叠加的权重系数，ω₁+ω₂<1，d_end为最终融合得到的视差图。

2.如权利要求1所述的一种基于立体匹配与结构光相结合的深度图获取方法，其特征在于，步骤A中，当利用立体匹配法获取三维场景深度信息时，选用特征信息较为明显的编码方式编码结构光，包括：De Bruijn编码、基于图形信息的编码或基于几何特征的M-marry编码方式；当利用结构光测量法获取三维场景深度信息时，选用受场景调制具有一定变化规律的编码方式编码结构光，包括：正弦条纹图编码方式、格雷码条纹图编码方式。

3.如权利要求1所述的一种基于立体匹配与结构光相结合的深度图获取方法，其特征在于，步骤B中，利用棋盘格对双目摄像机进行标定获得两个摄像机的内部参数与外部参数，内部参数包括主点、焦距以及相机的畸变参数，用于校正摄像机拍摄图像的切向畸变与径向畸变，外部参数用于确定相机在三维空间中的朝向和位置。

4.如权利要求1所述的一种基于立体匹配与结构光相结合的深度图获取方法，其特征在于，步骤C中，根据外部环境光强和三维场景纹理信息判断是否需要主动投影结构光，具体包括：

C1、通过摄像机获取自然光照下图像，通过该图像灰度直方图分布特征与图像信噪比判断外部环境光强是否充足，若外部环境光强充足，则进入步骤C2，若外部环境光强不充足，则主动投影编码结构光以增加环境光强信息；

C2、在外部环境光强充足的情况下，判断图像的纹理信息，若存在弱纹理区域，则主动投影编码结构光以增加纹理信息，同时利用标号记录下弱纹理区域位置。

5.如权利要求4所述的一种基于立体匹配与结构光相结合的深度图获取方法，其特征在于，步骤C1中，所述通过该图像灰度直方图分布特征与图像信噪比判断外部环境光强是否充足的方法是：

C11.基于图像灰度直方图分布特征计算图像曝光量，并判断图像是否为欠曝光图像，若为欠曝光图像，则进入步骤C12作进一步判断；

C12.对图像信噪比进行验证，若图像信噪比小于设定阈值，则判定为外部环境光不充足。

6.如权利要求5所述的一种基于立体匹配与结构光相结合的深度图获取方法，其特征在于，步骤C11中，所述基于图像灰度直方图分布特征计算图像曝光量，并判断图像是否为欠曝光图像的方法是：

通过灰度直方图两端像素值个数为空的区域所占的比例F_rat，直方图峰值灰度g_peak与灰度直方图的均值灰度g_mean来估计图像曝光量：

F_rat＝(g_min+1)/(255-g_max+g_min+1) (1)

其中，g_max为灰度直方图左边缘处的像素数量为零的最大灰度值数，g_min为灰度直方图右边缘处的像素数量为零的最小灰度值数；

设定阈值M<0.5，当g_peak或g_mean小于128，F_rat<M时，判定该图像为欠曝光图像。

7.如权利要求6所述的一种基于立体匹配与结构光相结合的深度图获取方法，其特征在于，步骤C12中，所述对图像信噪比进行验证的方法是：

采用无参考峰值信噪比的方法来衡量图像的信噪比，将图像平坦区域的标准差作为噪声标准差，用该标准差代替均方误差，噪声标准差公式为：

其中，N为图像的总个数，I(x,y)表示像素点的灰度值，像素均值μ的表达式为：

将整幅图像分成多个小区域，分别求出各个区域的噪声标准差，升序排列各个区域的方差值，求出前的方差的均值视为整幅图像的噪声标准差，则图像的无参考峰值信噪比公式为：

其中，L为图像最大灰阶数；

设定阈值W，若求取的无操控峰值信噪比NPSNR小于设定阈值W，则判定为外部环境光不充足，则主动投影编码结构光以增加环境光强信息。

8.如权利要求7所述的一种基于立体匹配与结构光相结合的深度图获取方法，其特征在于，步骤C2中，所述在外部环境光强充足的情况下，判断图像的纹理信息的方法是：

基于图像像素灰度的梯度特性和特定窗口下像素灰度的统计特性判断图像的纹理信息：

其中，N表示窗口中的像素个数，W_(x,y)表示以像素(x,y)为中心的窗口，I_(u,v)表示灰度图像中的像素点灰度值，s为窗口中像素的方差，k为窗口中像素的梯度值之和；

设定阈值s_r与k_r，若s²<s_r且k<k_r，则判定该区域为弱纹理区域，则主动投影结构光以增加纹理信息。

9.如权利要求1所述的一种基于立体匹配与结构光相结合的深度图获取方法，其特征在于，步骤E中，若结构光用于增强三维场景的纹理信息，选取结构光测量法恢复弱纹理区域的深度信息的方法是：直接利用受场景深度调制的编码图像求取整个三维场景的相位信息，具体包括：

投影N帧正弦条纹至待测场景表面，再利用摄像机采集N帧受场景调制的变形条纹，采集得到的变形条纹变化强度表示为：

I_n＝R(x,y){1+B(x,y)cos[φ(x,y)+2πn/N]} (n＝1,2…N) (11)

其中R(x,y)为物体表面反射率系数，B(x,y)为条纹对比度，φ(x,y)为受场景深度调制后的相位信息，N为投影条纹帧数，其中N大于等于3；

根据N步等步相移计算公式：

即可获得场景的截断相位信息φ(x,y)，再通过解相算法后获得场景的连续相位信息θ(x,y)。