CN103440653A - 双目视觉立体匹配方法 - Google Patents

Abstract

双目视觉立体匹配方法，首先对视图组中待匹配点进行基于稠密特征描述方法的视差先验估计，而后使用汉明间距方法计算视图组中候选匹配点之间的匹配代价，然后使用基于自适应窗口代价聚集方法求取候选匹配点的代价聚集值，然后再使用基于最大后验概率模型的视差估计方法计算视图组中每个像素点的视差值，最后对立体匹配结果进行求精处理。本发明可以有效抑制左右视图光照不同或曝光时间不同对立体匹配的影响，获得了较高的立体匹配精度，算法快速、稳定、可靠。

Description

双目视觉立体匹配方法

所属技术领域

本发明涉及一种双目视觉数字图像的处理方法，特别是双目视觉立体匹配方法。

背景技术

立体匹配是由二维图像信息获得三维物体信息的主要技术手段，在三维场景重构、自动驾驶、虚拟现实等许多双目视觉应用中，立体匹配一直是一个极具挑战性的核心问题。立体匹配一般假设匹配像素之间具有相似的亮度或者颜色信息，并基于这些信息进行视差估计。然而，实际应用场景中由于左右视图存在辐射变化导致这种假设并不成立。光照变化和摄像机的曝光时间变化是影响立体匹配主要的辐射变化因素，大多数立体匹配方法面临这些变化时其表现都会明显下降。调试好的立体匹配方法只能在输入图像辐射不变的条件下使用，否则会产生很大的匹配误差。

目前立体匹配方法主要分为局部匹配方法和全局匹配方法两种。局部匹配方法通过固定尺寸窗口进行代价聚集，运算速度快，但在低纹理和深度不连续区域匹配效果差；全局匹配方法虽然能够通过构建复杂的能量函数模型得到高精度的匹配结果，但计算速度慢，并且对计算机的内存需求较大。此外，上述两种方法大都没有考虑左右视图辐射变化这一因素，其理想的匹配效果获取的前提条件是参与匹配的左右视图是在同一条件下得到的，即左右视图的辐射变化一致。然而，双目视觉在实际应用中经常会面临光照变化或者摄像机曝光时间变化等辐射因素带来的挑战，上述两种立体匹配方法的性能往往会随着辐射变化的增强而急剧下降，导致双目视觉无法正常使用。

发明内容

本发明的技术解决问题：为了解决现有立体匹配方法对左右视图的光照变化或曝光时间变化敏感、匹配精度低、运算速度慢等缺点，本发明提供一种双目视觉立体匹配方法，用于在左右视图辐射变化较大、图像成像质量较差的情况下采用。该方法不仅匹配速度快、对左右视图辐射变化鲁棒，而且可以获得较好的匹配精度和抗噪声能力。

本发明的技术方案是：双目视觉立体匹配方法，其特征在于：首先对视图组中待匹配点进行基于稠密特征描述方法的视差先验估计，而后使用汉明间距方法计算视图组中候选匹配点之间的匹配代价，然后使用基于自适应窗口代价聚集方法求取候选匹配点的代价聚集值，然后再使用基于最大后验概率模型的视差估计方法计算视图组中每个像素点的视差值，最后对立体匹配结果进行求精处理。

上述的基于稠密特征描述方法的视差先验估计实现步骤：首先对视图组中的左右视图进行Canny边缘检测和固定步长网格抽样，得到一组抽样待匹配点。而后对左右视图分别进行Census变换和DAISY特征描述，并基于特征描述对得到的抽样待匹配点进行特征匹配，获得一组鲁棒匹配点的视差。最后根据这些鲁棒点的视差对视差空间进行三角化，得到待匹配点的视差先验估计值。

上述的自适应窗口代价聚集方法实现步骤：首先设置初始代价聚集窗口的尺寸，而后求取聚集窗口内像素的灰度均值，然后根据灰度均值计算聚集窗口内每个像素点的二值权重，最后根据权重设计自适应代价聚集函数，并求取候选匹配点之间的代价聚集值。

上述的基于最大后验概率模型的视差估计方法实现步骤：首先将视差的求解表示为求解最大条件概率的形式，而后将条件概率分解为先验概率与释然概率之积，并建立各自的函数模型，然后根据求解的条件概率函数模型构建视差能量函数，最后通过最小化能量函数求解视图组中每个像素点的视差值。

本发明主要有两大创新：(1)为提高匹配效率并实现对辐射变化鲁棒，本发明将DAISY和Census变换结合计算一组鲁棒匹配点的视差，通过对视差空间三角化为剩余待匹配点的视差估计提供先验信息；(2)为同时在深度不连续区域和低纹理区域获得正确的视差估计，本发明提出一种简单高效的基于Census变换的自适应窗口代价聚集方法。

本发明与现有技术相比的优点在于：本发明可以有效抑制左右视图光照不同或曝光时间不同对立体匹配的影响，获得了较高的立体匹配精度，算法快速、稳定、可靠。

附图说明

图1为本发明的流程图；

图2为视图组1中的左视图；

图3为视图组1中的右视图1；

图4为视图组1中的右视图2；

图5为视图组1的理想立体匹配结果；

图6为现有技术中的视图组1中的左视图与右视图1立体匹配结果；

图7为现有技术中的视图组1中的左视图与右视图2立体匹配结果；

图8为本发明中的视图组1中的左视图Canny边缘检测结果；

图9为本发明中的视图组1中的左视图Census变换结果；

图10为本发明中的视图组1中的鲁棒匹配点检测结果；

图11为本发明中的视图组1中的左视图与右视图1立体匹配结果；

图12为本发明中的视图组1中的左视图与右视图2立体匹配结果；

图13为视图组2中的左视图；

图14为视图组2中的右视图1；

图15为视图组2中的右视图2；

图16为视图组2的真实视差图；

图17为现有技术中的视图组2中的左视图与右视图1立体匹配结果；

图18为本发明中视图组2中的左视图与右视图1立体匹配结果；

图19为现有技术中的视图2中的左视图与右视图2立体匹配结果；

图20为本发明中视图组2中的左视图与右视图2立体匹配结果。

具体实施方式

如图1所示，本发明的方法过程是，首先对视图组中待匹配点进行基于稠密特征描述方法的视差先验估计，而后使用基于汉明间距方法计算视图组中候选匹配点之间的匹配代价，然后使用基于自适应窗口代价聚集方法求取候选匹配点的代价聚集值，然后再使用基于最大后验概率模型的视差估计方法计算视图组中每个像素点的视差值，最后对立体匹配结果进行求精处理。

图2和图3分别为视图组1中的左视图和右视图1，这两幅视图的拍摄条件相同。图4是视图组1中的右视图2，该视图与右视图1相比，只有光照差异，其他完全一致。从图中可以看出，场景中的同一个物体在图2和图3中的亮度基本一致，而在图4中亮度明显偏高。

图5是视图组1中的左视图与右视图1(或右视图2)立体匹配的理想结果。从图中可以看出，越靠近摄像机的物体，在图中的亮度越高，反之越低。通过亮度能够有效探知场景中物体的实际深度，这是双目立体视觉最为重要的功能。

图6是现有技术中的视图组1中的左视图与右视图1立体匹配结果。将该图与图5进行对比可以看出，当左视图与右视图的光照条件一致时，现有技术能够计算出的立体匹配结果与理想匹配结果接近，结果比较令人满意。

图7为现有技术中的视图组1中的左视图与右视图2立体匹配结果。将该图与图5进行对比可以看出，一旦左视图与右视图的光照条件不一致，现有技术计算出的立体匹配结果与理想匹配结果相差较大，一些局部区域的匹配误差过大，难以满足双目视觉的应用要求。

本发明主要分为视差先验估计、匹配代价计算、代价聚集、视差估计和视差求精五部分，并将视图组中的左右视图分别称为参考图像和目标图像。本发明假设参考图像与目标图像经过了立体校正，即消除了图像畸变并实现了行对准。

视差先验估计是指在参考图像中找到一组能够鲁棒匹配点，并根据这些点的视差构建分段线性视差平面，为剩余点的匹配提供一个先验估计值。图8是视图组1中的左视图Canny边缘检测结果。从图中可以看出，图像边缘包含了图像的大部分关键信息。这些边缘对辐射变化不敏感，可以找到对应的鲁棒匹配点。实际上除了边缘点之外，图像中仍有许多点能够鲁棒匹配。基于这一图像特点，本发明提出基于稠密特征描述方法的视差先验估计方法，具体实现步骤如下：首先对视图组中的左右视图进行Canny边缘检测，并将检测到的边缘点作为第一组抽样点。而后进行固定步长网格采样，获得第二组覆盖图像大部分区域的抽样点。本发明将得到的上述两组抽样点称为候选鲁棒匹配点。为实现对辐射变化鲁棒，本发明对视图进行Census变换，如图9所示，而后采用稠密特征描述子DAISY对变换后的图像进行特征描述，最后基于特征描述对候选鲁棒匹配点进行严格的特征匹配。

设视差搜索范围为D_r，I_RCensus、I_TCensus分别表示经过Census变换后的参考图像和目标图像，DAISY(u,v)表示I_RCensus中像素点p(u,v)的描述子，d表示其视差值。由于图像为校正后的图像，那么该点在I_TCensus中的匹配点可以表示为p′(u-d,v)，对应的特征描述子可以表示为DAISY(u-d,v)。本发明将p(u,v)具有视差值d的概率表示为：

$P\left(d\right)=\frac{\exp (-\frac{{\left|\right|\mathrm{DAISY}(u,v)-\mathrm{DAISY}(u-d,v)\left|\right|}^2}{\mathrm{\δ}})}{\underset{d\∈D_r}{\mathrm{\Σ}}{\left|\right|\mathrm{DAISY}(u,v)-\mathrm{DAISY}(u-d,v)\left|\right|}^2}$

其中δ控制着高斯分布的形状。本发明使用“胜者为王”的策略选择最终可信的视差值：

d(u,v)＝argmaxP(d),d∈D_r

为了克服模糊匹配，本发明计算两个最大概率的比率。只有这个比率大于0.95时我们才认为该视差值可信在本文所有的试验中，我们将该比率设置为0.95.此外，本发明也进行了左右一致性检测去掉遮挡区域点。最终得到的鲁棒匹配点如图10所示，从图中可以看出，鲁棒匹配点不仅包含了边缘点，还包含了分布于图像各个区域的非边缘点。

得到鲁棒匹配点之后，通过视差空间三角化实现视差先验估计的步骤如下：设p_o(u_o,v_o)为参考图像中待匹配的点，d_s(u_s,v_s),s∈{i,j,k}为p_o(u_o,v_o)邻域鲁棒匹配点p_s(u_s,v_s)的视差值，通过三个鲁棒匹配点p_i(u_i,v_i)，p_j(u_j,v_j)，p_k(u_k,v_k)能够很容易建立一个视差平面，本发明将该平面定义为：

d_plane(u,v)＝au+bv+c

其中(a,b,c)表示平面参数，d_plane(u,v)表示参考图像中像素点(u,v)的视差先验估计值。对于一个未匹配的点p_o(u_o,v_o)，其视差先验估计d_plane能够很容易的从视差平面中求解出。实际上，p_o(u_o,v_o)周围邻域内不止有三个鲁棒匹配点，本发明只考虑边长为17的方形窗口内的鲁棒匹配点。设p_o(u_o,v_o)的一组视差先验估计值为D_plane(u_o,v_o)＝{d_pane1,d_plane2,...,d_planeN}，N表示在窗口中构建的视差平面的数量。这样，p_o(u_o,v_o)具有视差值d的先验概率可以表示为：

$P_{\mathrm{prior}}\left(d\right)=k_1+\frac{1}{2\mathrm{\π}{\mathrm{\σ}}^2}\exp (-\frac{{(d-d_{\mathrm{plane}})}^2}{2{\mathrm{\σ}}^2})$

其中d_plane∈(minD_plane(u_o,v_o),maxD_plane(u_o,v_o),σ表示高斯核的方差，k₁为常数。为了能够很好的处理图像边缘处视差不连续区域，本发明也将窗口内每一个鲁棒匹配点的视差值作为上述方程中的d_plane。从上述方程可以看出，对于一个未匹配的点，它的视差搜索空间非常的小，这是后续能够快速获得正确的稠密匹配的关键。

完成视差先验估计后，使用汉明间距方法计算匹配代价的具体实现步骤如下：设I(q_l)表示参考图像中像素点q_l(u,v)的亮度，N(q_l)表示以q_l(u,v)为中心的9x7的窗口内的像素集，设布尔量η(q_l,q′_l)为1如果I(q_i)＞I(q_i′)，否则为0.那么Census滤波I(q_i)＞I(q_i′)可以定义如下：

$R\left(q_l\right)=\underset{[i,j\∈N\left(q_l\right)]}{\⊗}\mathrm{\η}(q_l,q_l+[i,j\left]\right)$

其中符号表示串联。在目标图像中，本发明采用同样的方式可以获得Census滤波结果R(q_r)。然后，本发明将匹配代价C_census(u,v,d)定义如下：

C_census(u,v,d)＝H(R(q_l),R(q_r))

其中H表示两个像素的R(q_l)、R(q_r)之间的汉明距离。

本发明的基于自适应窗口代价聚集方法求取候选匹配点的代价聚集值的具体实现步骤如下：设初始代价聚集窗口的尺寸设置为a×a，聚集窗口中像素个数设为S，I_l(u,v)为待匹配像素p_l(u,v)的灰度，I_i(u_i,v_i)为聚集窗口内的任意像素点p_i(u_i,v_i)的灰度值，聚集窗口内的像素灰度平均值u_mean表示为：

$u_{\mathrm{mean}}=\frac{\underset{i\∈S}{\mathrm{\Σ}}{I}_i(u_i,v_i)}{S}$

在得到灰度均值后，本发明根据图像中相近灰度像素具有相似深度假设计算初始聚集窗口中每个像素的二值权重w_i(u_i,v_i)：

$w_i(u_i,v_i,d)=\left\{\begin{array}{cc}1,& (I_l(u,v)-u_{\mathrm{mean}})(I_i(u_i,v_i)-u_{\mathrm{mean}})>0\\ 0,& \mathrm{otherwise}\end{array}\right.$

之后，任意像素点p_i(u_i,v_i)处的代价聚集函数可定义为：

$C_{\mathrm{agg}}(u,v,d)=\underset{i\∈S}{\mathrm{\Σ}}w(u_i,v_i,d)C_{\mathrm{census}}(u_i,v_i,d)$

在构建了匹配代价聚集函数后，本发明的基于最大后验概率模型的视差估计方法实现步骤如下：

(1)将视差的求解表示为求解最大条件概率的形式。在参考图像中，令q_l(u,v)表示一个未匹配的像素点，假设其视差值为d。设以q_l(u,v)为中心的17x17的窗口内的鲁棒匹配点集为O(u,v,d)＝{o₁(u₁,v₁,d₁),...,o_N(u_N,v_N,d_N)}。在目标图像中，本发明假设q_r(u-d,v)为q_l(u,v)的匹配点，那么，q_l(u,v)的视差估计为：

d^*＝argmaxP(d|q_l,q_r,O)

(2)将条件概率分解为先验概率与释然概率之积，并建立各自的函数模型。从数学的角度讲，上述方程右边的条件概率正比于先验概率和释然概率之积：

P(d|q_l,q_r,O)∝P(d|q_l,O)P(q_r|q_l,d)

本发明将之前计算的P_prior(d)代替P(d|q_l,O)，得到先验概率的函数模型。为求解释然概率P(q_r|q_l,d)，本发明利用前述的代价聚集方法，将释然概率表示为一个拉普拉斯分布函数：

$P\left(q_r\right|q_l,d)=\frac{1}{\mathrm{\πN}}\exp (-\frac{k_2{C}_{\mathrm{agg}}(u,v,d)}{N})$

其中N表示代价聚集窗口中最终参与代价聚集的像素数量，k₂为常数。

(3)根据求解的条件概率函数模型构建视差能量函数，通过最小化能量函数求解视差值。本发明首先将先验概率函数与释然概率函数相乘，得到一个关于条件概率的等式，而后对函数的两边取负对数得到：

$\log \left(\frac{1}{p\left(d\right|q_l,q_r,O)}\right)\∝\log \left(\mathrm{\πN}\right)+\frac{k_2{C}_{\mathrm{agg}}(u,v,d)}{N}-\log (k_1+\frac{1}{2\mathrm{\π}{\mathrm{\σ}}^2}\exp (-\frac{{(d-d_{\mathrm{prior}})}^2}{2{\mathrm{\σ}}^2}))$

为了计算最终的视差值，本发明将上述方程的左侧看成一种能量函数，并将上述方程重新定义为：

$E\left(d\right)=\log \left(\mathrm{\πN}\right)+\frac{k_2{C}_{\mathrm{agg}}(u,v,d)}{N}-\log [k_1+\frac{1}{2\mathrm{\π}{\mathrm{\σ}}^2}\exp (-\frac{{(d-d_{\mathrm{prior}})}^2}{2{\mathrm{\σ}}^2})]$

通过最小化上述能量方程，本发明能够计算出基于参考图像的立体匹配结果，即左视差图。该图不仅未对遮挡区域进行处理，而且包含空洞和一些错误匹配点。

为了解决上述问题并得到高精度稠密视差图，本发明对立体匹配结果进行求精处理，其具体步骤如下：首先对视差图进行左右一致性检测，去除误匹配点和遮挡区域，而后进行奇异值去除，得到一幅具有孔洞的视差图像。然后使用线性插值的方法弥补视差图中的孔洞，最后采用双边滤波器对视差图进行去噪，得到一幅稠密的立体匹配视差图。

图11是本发明中的视图组1中的左视图与右视图1立体匹配结果。将该图与图5对比可以发现，本发明对于无辐射变化的视图组具有较高的匹配精度。无论是在低纹理区域还是在图像的边缘区域，本发明一直保持着令人满意的匹配效果。

图12是本发明中的视图组1中的左视图与右视图2立体匹配结果。将该图与图5、图7对比可以发现，本发明对左右视图的光照变化鲁棒，有效抑制左右视图光照不同对立体匹配的影响，获得了较高的立体匹配精度。

视图组2中的左视图、右视图1、右视图2、真实立体匹配结果分别如图13、图14、图15和图16所示。其中左视图与右视图1的光照条件不同，左视图与右视图2的相机曝光时间不同。图17是现有技术中的视图组2中的左视图与右视图1立体匹配结果。从图中可以看出，现有技术对左右视图的光照辐射变化非常敏感，匹配效果特别差。图18是本发明中视图组2中的左视图与右视图1立体匹配结果。将该图与图16对比可以发现，本发明左右视图的光照变化鲁棒，匹配精度较高。

图19是现有技术中的视图组2中的左视图与右视图2立体匹配结果。将该图与图16对比可以发现，当左右视图的摄像机曝光时间不同时，现有技术在图像的一部分区域匹配效果较高，但在图像的大部分区域匹配误差较大，并引入了较大的噪声。图20是本发明中视图组2中的左视图与右视图2立体匹配结果。将该图与图16对比可以发现，本发明对左右视图的摄像机曝光时间变化鲁棒，匹配精度较高，算法稳定、可靠。

Claims (4)

1.双目视觉立体匹配方法，其特征在于：首先对视图组中待匹配点进行基于稠密特征描述方法的视差先验估计，而后使用汉明间距方法计算视图组中候选匹配点之间的匹配代价，然后使用基于自适应窗口代价聚集方法求取候选匹配点的代价聚集值，然后再使用基于最大后验概率模型的视差估计方法计算视图组中每个像素点的视差值，最后对立体匹配结果进行求精处理。 

2.根据权利要求1所述的双目视觉立体匹配方法，其特征在于：所述的基于稠密特征描述方法的视差先验估计实现步骤：首先对视图组中的左右视图进行Canny边缘检测和固定步长网格抽样，得到一组抽样待匹配点。而后对左右视图分别进行Census变换和DAISY特征描述，并基于特征描述对得到的抽样待匹配点进行特征匹配，获得一组鲁棒匹配点的视差。最后根据这些视差对视差空间三角化，得到待匹配点的视差先验估计值。 

3.根据权利要求1所述的双目视觉立体匹配方法，其特征在于：所述的自适应窗口代价聚集方法实现步骤：首先设置初始代价聚集窗口的尺寸，而后求取聚集窗口内像素的灰度均值，然后根据灰度均值计算聚集窗口内每个像素点的二值权重，最后根据权重设计自适应代价聚集函数，并求取候选匹配点之间的代价聚集值。 

4.根据权利要求1所述的双目视觉立体匹配方法，其特征在于：所述的基于最大后验概率模型的视差估计方法实现步骤：首先将视差的求解表示为求解最大条件概率的形式，而后将条件概率分解为先验概率与释然概率之积，并建立各自的函数模型，然后根据求解的条件概率函数模型构建视差能量函数，最后通过最小化能量函数求解视图组中每个像素点的视差值。 

Images