CN102136136A - 基于自适应Census变换的光度不敏感立体匹配方法 - Google Patents

Abstract

本发明公开了一种基于自适应Census变换的光度不敏感立体匹配方法，首先，根据图像的结构和色彩信息确定一种基于十字骨架的自适应区域，以此获得任意形状和大小的Census变换窗口；其次，利用Census变换后的汉明距作为匹配代价，采用局部优化方法计算初始视差；最后，提出一种基于视差统计直方图和左右一致性校验的两步提精方法，将基于十字骨架的自适应区域有机的融入提精过程，获得高精度的视差图。本发明可以对存在光照强度和曝光时间差异的立体图像对获得高精度的视差图，兼顾匹配精度和对幅度失真的鲁棒性，能够更好的适应无人机视觉导航的应用场景。

Description

基于自适应Census变换的光度不敏感立体匹配方法

技术领域

本发明涉及立体视觉***中的立体匹配方法，属于计算机视觉领域，用于在左右视图存在光照和曝光差异的条件下，获得高精度的稠密视差信息，从而为基于立体视觉的三维深度信息恢复提供可靠保证。

背景技术

立体匹配是计算机视觉领域中的一个重要任务，它通过双目或多目图像匹配得到稠密视差图，从而感知场景中的三维深度信息。国内外许多学者对这个领域进行了深入研究。当前的稠密立体匹配算法可以划分为匹配代价的计算、匹配代价的累积、视差的计算/优化、视差提精四个步骤来分析研究。这四个步骤中，匹配代价的计算作为立体匹配的基础，其重要程度不言而喻，只有选择合适的匹配代价才能获得高精度的视差图，常见的匹配代价可以分为两类：

第一类匹配代价是基于亮度/色彩一致性的假设，即场景中的特征在不同图像中具有相同的亮度/色彩信息，如灰度差的绝对值、灰度差的平方、截断的灰度差绝对值等都是基于该假设。

然而，由于图像间存在全局亮度变化、局部亮度变化以及噪声等因素的影响，导致对应特征的亮度/色彩信息不相同，该现象称之为幅度失真。尽管基于亮度/色彩一致性的匹配算法对于满足该假设的图像能够获得高精度的视差图，但对于幅度失真却相当敏感。

另一类匹配代价通过松弛或放弃亮度/色彩一致性的假设来达到对幅度失真不敏感的目的，如归一化互相关、Rank和Census非参数变化、互信息和拉普拉斯高斯和中值滤波等。研究表明Census非参数变换在各种幅度失真的条件下都具有很好的鲁棒性。但是，传统基于固定窗口的Census变换，存在窗口大小的选择问题。若变换窗口太小，则信噪比过低，导致匹配代价区分度低，容易对低纹理区域造成误匹配；若变换窗口过大，则会引入过多的离群值(Outlier)，影响匹配精度。

此外，研究也表明通过全局方法优化基于Census变换的匹配代价，将导致高昂的计算代价；利用基于固定支持窗口的局部方法优化基于Census变换的匹配代价，将难以得到高精度的视差图像，使得视差不连续区域存在明显的前景放大现象。

发明内容

本发明所要解决的技术问题是提供一种立体匹配方法，在左右视图存在光照和曝光差异的条件下得到高精度的视差图像。

为解决上述技术问题，本发明是采取以下的技术方案来实现的：

一种基于自适应Census变换的光度不敏感立体匹配方法，其特征在于包括以下步骤：

(1)确定基于十字骨架的自适应区域，以此获得任意形状和大小的Census变换窗口；

(2)利用Census变换后的汉明距作为匹配代价，采用局部优化方法(Winner-Take-all)计算初始视差；

(3)获得初始视差后，利用视差两步提精的方法进一步提高视差精度。

前述基于自适应Census变换的光度不敏感立体匹配方法，其特征在于将立体匹配过程中的匹配代价计算和匹配代价聚合有机的融合。

前述基于自适应Census变换的光度不敏感立体匹配方法，其特征在于所述的任意形状和大小的Census变换窗口的获得方法包括如下步骤：

(1)根据图像的结构和色彩信息分别构建参考图像和目标图像中各像素基于十字骨架的自适应区域；

(2)将待匹配点在参考图像中的自适应区域、对应点在目标图像中的自适应区域通过逻辑与运算获得Census变换窗口。

前述基于自适应Census变换的光度不敏感立体匹配方法，其特征在于所述的基于十字骨架的自适应区域的具体算法是：

(1)对图像中任意一个像素p确定一个十字形状的骨架，该骨架包括了水平和垂直两个方向，分别用H(p)和V(p)表示，骨架的四个方向的长度可表示为(h_p ^-，h_p ⁺，v_p ^-，v_p ⁺)，像素p基于十字骨架的自适应区域可以表示为：

$U\left(p\right)=\underset{q\∈V\left(p\right)}{\∪}H\left(q\right)---\left(1\right)$

(2)根据图像中相似色彩对应相同结构的假设，采用下式：

$r^{*}=\underset{r\∈[1,L]}{\max }\left(r\underset{i\∈[1,r]}{\mathrm{\Π}}\mathrm{\δ}(p,p_i)\right)---\left(2\right)$

分别确定中心像素p十字骨架四个方向的长度(h_p ^-，h_p ⁺，v_p ^-，v_p ⁺)，式(2)中，δ是一个指示函数，用来衡量不同像素间的色彩差异程度，p_i为p某十字方向上的一个像素，p在图像中的坐标表示为(x_p，y_p)，r^*为某十字方向的臂长，L为沿着p某十字方向的搜索范围，当p_i在p的水平左侧，则p_i在图像中的坐标可以表示为(x_p-i，y_p)，L为沿着像素p水平左侧方向的搜索范围，则r^*的计算结果为h_p ^-，同理确定其它三个方向的长度h_p ⁺，v_p ^-，v_p ⁺。

前述基于自适应Census变换的光度不敏感立体匹配方法，其特征在于所述的基于视差统计直方图和左右一致性校验的两步提精方法包括如下步骤：

(1)根据视差在相似色彩区域内平滑变化的假设，在能够反映图像结构和色彩信息的自适应区域内对初始视差进行基于统计直方图的第一步提精；

(2)为了排除不可信视差，对第一步提精后的左右视差图进行左右一致性校验，建立视差置信矩阵，随后在自适应区域内对可信视差采用基于视差统计直方图的优化，排除遮挡区域和不可信视差对统计结果的影响。

前述基于自适应Census变换的光度不敏感立体匹配方法，其特征在于所述的视差统计直方图优化具体实施方法为：对于任意一个待匹配像素，统计在其基于十字骨架的自适应区域内不同视差的出现频次，选择具有最大出现概率的视差值作为优化结果。

至此，基于自适应Census变换的光度不敏感立体匹配方法执行完毕。

本发明专利的有益效果是：本发明不仅保留了Census变换对于幅度失真的鲁棒性，而且在未采用全局优化的前提下，解决了现有立体匹配方法难以在左右视图存在曝光和光照差异的前提下获得高精度的视差图的问题，能够更好的适应基于立体视觉的真实导航场景。

附图说明

图1为本发明的算法流程图；

图2为基于十字骨架的自适应区域的原理图；

图3为视差第二步提精流程图。

具体实施方式

下面结合附图和实例对本发明专利进一步说明。

如图1所示，一种基于色彩分割和自适应窗口的快速立体匹配方法包括以下步骤：

第一步：确定一种基于十字骨架的自适应区域，以此获得任意形状和大小的Census变换窗口。

1.如图2所示，首先确定参考图像和目标图像中每个像素基于十字骨架的自适应区域。对图像中任意一个像素p确定一个十字形状的骨架，该骨架包括了水平和垂直两个方向，分别用H(p)和V(p)表示，像素p基于十字骨架的自适应区域可以表示为：

$U\left(p\right)=\underset{q\∈V\left(p\right)}{\∪}H\left(q\right)---\left(1\right)$

骨架的四个方向的长度可表示为(h_p ^-，h_p ⁺，v_p ^-，v_p ⁺)；根据图像中相似色彩对应相同结构的假设，采用下式：

$r^{*}=\underset{r\∈[1,L]}{\max }\left(r\underset{i\∈[1,r]}{\mathrm{\Π}}\mathrm{\δ}(p,p_i)\right)---\left(2\right)$

分别确定中心像素p十字骨架四个方向的长度(h_p ^-，h_p ⁺，v_p ^-，v_p ⁺)，式(2)中，δ是一个指示函数，用来衡量不同像素间的色彩差异程度，p_i为p某十字方向上的一个像素，p在图像中的坐标表示为(x_p，y_p)，r^*为某十字方向的臂长，L为沿着p某十字方向的搜索范围(实验中L＝17)，当p_i在p的水平左侧，则p_i在图像中的坐标可以表示为(x_p-i，y_p)，L为沿着像素p水平左侧方向的搜索范围，则r^*的计算结果为h_p ^-，同理确定其它三个方向的长度h_p ⁺，v_p ^-，v_p ⁺。

2.最后，确定任意像素的Census变换窗口。若U_ref(m)和U_tar(n)分别表示在视差假设d下对应点m，n基于十字骨架的自适应区域，则m，n在对应图像中的任意形状和大小的Census变换窗口可表示为U_d(m)和U_d(n)：

U_d(m)＝{(x，y)|(x，y)∈U_ref(m)，(x-d，y)∈U_tar(n)}(2)

U_d(n)＝{(x，y)|(x，y)∈U_tar(n)，(x+d，y)∈U_ref(m)}(3)

由于m＝(x，y)，n＝(x-d，y)，所以U_d(m)和U_d(n)具有相同的形状和大小，并令N(m，n)表示其大小。

第二步：利用Census变换后的汉明距作为匹配代价，采用局部优化方法计算初始视差。这一过程将匹配代价计算和匹配代价累积两步骤进行了有机融合，是因为上一步已根据图像的结构和色彩信息选择了适当的Census变换窗口，该窗口对图像中低纹理区域、视差不连续区域等具有良好的自适应性；若进一步采用固定窗口对Census变换的匹配代价进行聚合，不仅会重新导致低纹理区域和视差不连续区域匹配的两难，还会增加相当的计算量。

第三步：获得初始视差后，提出一种视差两步提精的方法进一步提高视差精度。

1.在局部优化过程中，由于将匹配代价的计算和匹配代价的累积进行了有机融合，所以初始视差中会存在一定的噪声，而第二步提精过程中的左右一致性校验对噪声相当敏感。为此，根据视差在相似色彩区域内平滑变化的假设，采用能够反映图像结构和色彩信息的U_ref对初始视差进行第一步提精。如图1所示，对参考图像中的任意像素m，建立一个初始视差的统计直方图

统计U_ref(m)内所有不同初始视差出现的频次，并选择

的峰值作为第一步提精后的视差结果d₁，可表示为：

d∈[d_min，d_max]          (4)

2.为了进一步检测视差图像中的遮挡区域，排除不可信视差，按图3流程进行第二步提精，其中d_1L和d_1R分别表示以左图和右图为参考图像得到的第一步提精后的视差，U_left和U_right分别表示左图和右图中各像素基于十字骨架的自适应区域。

首先，采用左右一致性校验检测d_1L和d_1R中视差的置信度，建立视差置信矩阵，若|d_1L(x，y)-d_1R(x+d_1L(x，y)，y)|＜T(实验中，T为1个像素)，则认为视差可信，反之则不可信；其次，选择d_1L和d_1R中的任意一个进一步处理(实验中，选择了d_1L)，处理方式仍是基于视差统计直方图，不过此时只统计U_left内的可信视差，从而可以排除遮挡区域和不可信视差对于统计结果的影响，进一步提高视差精度。

综上所述，针对现有立体匹配算法难以在幅度失真的真实视觉导航场景下获得高精度视差，本发明提出了一种将匹配代价计算和匹配代价累积有机融合的基于自适应Census变换的局部匹配方法。实验结果表明，本算法对存在光照强度和曝光时间差异的左右视图能够获得更高精度的视差图，兼顾了匹配精度和对幅度失真的鲁棒性，能够更好的适应无人机视觉导航的应用场景。

上述具体实施方式不以任何形式限制本发明的技术方案，凡是采用等同替换或等效变换的方式所获得的技术方案均落在本发明的保护范围。

Claims (5)

1.一种基于自适应Census变换的光度不敏感立体匹配方法，其特征在于包括以下步骤：

(1)确定一种基于十字骨架的自适应区域，以此获得任意形状和大小的Census变换窗口；

(2)利用Census变换后的汉明距作为匹配代价，采用局部优化方法计算初始视差；

(3)获得初始视差后，利用视差两步提精的方法进一步提高视差精度。

2.根据权利要求1所述的基于自适应Census变换的光度不敏感立体匹配方法，其特征在于：所述的任意形状和大小的Census变换窗口的获得方法包括如下步骤：

(1)根据图像的结构和色彩信息分别构建参考图像和目标图像中各像素基于十字骨架的自适应区域；

(2)将待匹配点在参考图像中的自适应区域、对应点在目标图像中的自适应区域通过逻辑与运算获得Census变换窗口。

3.根据权利要求2所述的基于自适应Census变换的光度不敏感立体匹配方法，其特征在于：所述基于十字骨架的自适应区域的具体算法是：

(1)对图像中任意一个像素p确定一个十字形状的骨架，该骨架包括了水平和垂直两个方向，分别用H(p)和V(p)表示，骨架的四个方向的长度可表示为(h_p ^-，h_p ⁺，v_p ^-，v_p ⁺)，像素p基于十字骨架的自适应区域可以表示为：

$U\left(p\right)=\underset{q\∈V\left(p\right)}{\∪}H\left(q\right)---\left(1\right)$

(2)根据图像中相似色彩对应相同结构的假设，采用下式：

$r^{*}=\underset{r\∈[1,L]}{\max }\left(r\underset{i\∈[1,r]}{\mathrm{\Π}}\mathrm{\δ}(p,p_i)\right)---\left(2\right)$

分别确定中心像素p十字骨架四个方向的长度(h_p ^-，h_p ⁺，v_p ^-，v_p ⁺)，式(2)中，δ是一个指示函数，用来衡量不同像素间的色彩差异程度，p_i为p某十字方向上的一个像素，p在图像中的坐标表示为(x_p，y_p)，r^*为某十字方向的臂长，L为沿着p某十字方向的搜索范围，当p_i在p的水平左侧，则p_i在图像中的坐标可以表示为(x_p-i，y_p)，L为沿着像素p水平左侧方向的搜索范围，则r^*的计算结果为h_p ^-，同理确定其它三个方向的长度h_p ⁺，v_p ^-，v_p ⁺。

4.根据权利要求1所述的基于自适应Census变换的光度不敏感立体匹配方法，其特征在于：所述的基于视差统计直方图和左右一致性校验的两步提精方法包括如下步骤：

(1)根据视差在相似色彩区域内平滑变化的假设，在能够反映图像结构和色彩信息的自适应区域内对初始视差进行基于统计直方图的第一步提精；

(2)为了排除不可信视差，对第一步提精后的左右视差图进行左右一致性校验，建立视差置信矩阵，随后在自适应区域内对可信视差采用基于视差统计直方图的优化，排除遮挡区域和不可信视差对统计结果的影响。

5.根据权利要求4所述的基于自适应Census变换的光度不敏感立体匹配方法，其特征在于所述的视差统计直方图优化具体实施方法为：对于任意一个待匹配像素，统计在其基于十字骨架的自适应区域内不同视差的出现频次，选择具有最大出现概率的视差值作为优化结果。

Images