CN109741389A - 一种基于区域基匹配的局部立体匹配方法 - Google Patents

Abstract

本发明涉及一种基于区域基匹配的局部立体匹配方法，包括以下步骤：S1：利用双目立体采集***获取一对图像；S2：对获取到的图像进行变换；S3：计算像素对的匹配代价；S4：对步骤S3中的匹配代价进行代价值聚合；S5：在步骤S4的基础上，进行局部优化，获得视差图；S6：对步骤S5中得到的视差图进行后处理；S7：对经过步骤S6处理后的视差图进行匹配检验。本发明基于区域基匹配，使全局方法时效性低及局部方法在画面不连续时准确性低等问题得到解决。

Description

一种基于区域基匹配的局部立体匹配方法

技术领域

本发明涉及数字图像处理与计算机视觉的技术领域，尤其涉及到一种基于区域基匹配的局部立体匹配方法。

背景技术

立体匹配是基于双目立体采集***，从稍微不同位置，同时获得的一个场景的两个图像中提取三维环境信息的关键方法。将立体匹配方法按层次结构分组可分为：局部方法和全局方法。局部方法包括特征匹配和区域匹配；全局方法包括置信度传播、动态规划、图割法、非线性扩散、尺度空间法、张量投票法六种。全局方法在优化过程中使用全部代价值来确定视差值和遮挡，其中很多种全局方法使用局部方法来进行视差图计算，所以全局方法和局部方法之间存在联系。

全局方法的主要优点是，对遮挡(即不连续)通常能产生质量更好的视差图(即更少的错误)，这是由于全局方法通常对于纹理不足区域的无误匹配，性能更好。但是，全局方法实时性差，不能应用在同步性比较高的场合下，局部方法则具有高效性和实时性，综合两种方法的优缺点，本专利提出基于区域基匹配的局部立体匹配方法。

简单的局部匹配方法是基于单个像素对的匹配有较小的分辨能力，这是单个像素对的匹配仅有较小的分辨能力，这是单个像素只能传达局部信息的结果，其单个像素通常只用有限个比特表达，这种值的小动态范围导致用单个像素进行匹配时，结果具有模糊性。而区域基匹配包括匹配图像的像素间的关联度的测量，是一组像素跟另一组像素进行匹配，在这种情况下，重要的不仅仅是它们的值，还考虑它们的空间位置，因此准确性更高。

发明内容

本发明的目的在于克服现有技术的不足，提供一种能解决全局方法时效性低及局部方法在画面不连续时准确性低等问题的基于区域基匹配的局部立体匹配方法，并提出弹性匹配的方法，利用图像的尺度空间对其进行由粗到精的图像匹配

为实现上述目的，本发明所提供的技术方案包括以下步骤：

S1：利用双目立体采集***获取一对图像，通常为相同大小的RGB彩色图像或者单色图像；

S2：对获取到的图像进行变换；

S3：计算像素对的匹配代价；

S4：对步骤S3中的匹配代价进行代价值聚合；

S5：在步骤S4的基础上，进行局部优化，获得视差图；

S6：对步骤S5中得到的视差图进行后处理；

S7：对经过步骤S6处理后的视差图进行匹配检验。

进一步地，所述步骤S3计算像素对匹配代价的具体步骤如下：

通过向量的方法处理，考虑图像信号P_r和P_t相关，经过高斯差分滤波使其具备零均值P_r’和P_t’：

P_r′＝P_r-μ_r，P_t′＝P_t-μ_t；

式中，μ_r，μ_t为图像信号和Dog滤波后具备零值间的数学期望；

方程简化为：

式中，σ_r′；σ_t′分别为两图像块的标准差；

把块P_r和P_t当作向量，标准偏移σ’的方程变为：

由上式可得：

即，信号P_r和P_t的相关性等于它们的向量的点乘：

最后，代入归一化项，简化计算为：

依据向量是否在相反位置还是相同位置，cos(θ)的取范围为[-1，+1]，此时得到一个相似性度量，将其当作是表示图像块的向量之间的夹角余弦，以此提供统一的度量标准。

进一步地，所述步骤S4采用高斯滤波进行代价聚合，二维高斯核函数如下：

式中，x，y为坐标，σ为参数。

进一步地，所述步骤S5进行局部优化，获得视差图的具体步骤如下：

决定两个图像I₁和I₂的匹配的基本等式为：

I₁(x,y)＝I₂(φ(x,y))；

式中，φ(x,y)为定义局部变形模型的函数，即该式成立的初始坐标网格的变形；计算立体匹配即为计算φ(x,y)；

在区域基匹配中，对于左边图像I_R的每一个像素，区域基匹配的目的是在右边图像I_R中找到相应的位置；

定义一个位移场或视差图D_xy(x,y)，使D_xy(x,y)把I_L中的每个像素映射到I_R中唯一的对应位置；

在理想状态下，视差图构成一个双射映射，但在实际中存在不成功的情况，如匹配错误或表面特征被投射到被匹配图像的奇点上，即

I_L(x,y)→I_R(x′,y′)

将视差场结构化为两个图D_x(x,y)和D_y(x,y),分别储存水平和垂直位移；位移为实数，表示匹配图像之间的亚像素对应；

结合上述两式有：

I_R(x′,y′)＝I_L(x+D_x(x,y),y+D_y(x,y))

式中：D_x(x,y)和D_y(x,y)分别为水平和垂直视差值；

为了恢复稠密视差场，进行二维搜索，即在参考图像的每个位置x，y，恢复视差值D(x,y)，在被比较的图像块中找到对应的位置；

首先在I_L的像素位置上放置一个局部邻域N，然后使用同样的邻域，在I_R中搜索，找到x,y的对应位置；使用局部搜索过程在I_R中找到同左图像中的参考邻域最相似的局部测试邻域，重复这个过程；为了实现的简单性，匹配区域是同样大小的矩形；

对于不同的图像区域，增加区域的大小以增加其分辨能力，计算出较不模糊的匹配，输出视差图。

进一步地，所述步骤S6中，利用步骤S5中的方法对视差图进行重复采样，进行视差累积，采用各向异性扩散滤波获得平滑表面的同时解决平面边界模糊的问题。

进一步地，所述步骤S6中采用各向异性扩散滤波获得平滑表面的同时解决平面边界模糊的问题的具体过程为：

采用各向异性扩散来保持表面边缘的视差，即将整张图像看作是个热量场，每个像素当作热流，热流的流动取决于当前像素与周围像素的关系，如果碰到邻域像素为边缘像素，其流动扩散系数会比较小，即热流不想邻域像素扩散了，或者扩散减弱了，如果不是边缘像素，那扩散系数向着流动的方向改变，流过的地方变的平滑，通过如此，使在保留边缘的同时平滑噪声区域；

假设图像为I(x,y)，滤波公式如下：

式中，为梯度算子；c为扩散系数，控制扩散速率；t为迭代次数；N_x,y、S_x,y、E_x,y、W_x,y分别为四个方向上的像素点；

四个方向的梯度公式如下：

c表示扩散系数，K表示热传导系数，四个方向上的扩散系数计算如下：

在各向异性扩散中，在其他参数给定的情况下，热传导系数K越大，图像越平滑；λ越大，图像越平滑；迭代次数t越多，图像滤波效果越明。

进一步地，所述步骤S7对经过步骤S6处理后的视差图进行匹配检验的具体步骤如下：

通过匹配和变形，把测试图像拉伸到和参考图像一样的形状，引出均方根ε来测试这些图像的拟合好坏，若匹配过程完美，则参考图像和变形后的测试图像的均方根ε为零：

上式中ε表示均方根；x和y为坐标值；D_x(x,y)和D_y(x,y)分别为水平和垂直视差值；X·Y为点样本个数。

与现有技术相比，本方案原理和优点如下：

本方案通过区域基匹配，只需要进行比较的案例，都可以被用于寻找图像间的对应性。这把它的应用邻域扩展到不仅仅是立体问题，还有多视图匹配、运动分析和模式检测。

区域基匹配可以对广泛的带像素的输入图像进行操作，这些像素可以被变换或未被变换，也可以是标量、矢量和张量等。像素的不同表示的接口是对单个像素对的匹配度量，若只比较特定类型的像素值，那么使用区域基匹配，只需重载像素比较接口即可。

区域基匹配产生一个稠密视差图，但它的质量很大程度取决于输入图像的内容和所选择的控制参数。因此，区域基可以为更先进匹配方案，构建一个预匹配模块，这是一个分层匹配方法。为了初始匹配，在尺度金字塔的每个阶段，使用区域基匹配，然后在粗糙层找到视差图，在下一个细致层优化视差图，以此类推，直到建立最终的视差图。

如果输入信号(像素)的信息以某种方式被用于控制或修改算法的行为，则情况变得更复杂。例如，使用张量表示可以从匹配中排除那些小相关值的区域，即其没有展示出足够的信号变化用于可靠的匹配。此时，匹配区域的形状和大小可以相应地根据图像内容进行调整，通过这种方法，创建更强有力的方法以便更容易地应对匹配任务中的一些固有问题。

同时本方案还提出了循环匹配的方法，以弥补单次匹配的不准确性，建立了拟合程度的评判机制，并将P-M扩散概念与区域基匹配相结合，以处理局部匹配边界模糊或断裂的问题。

附图说明

图1为本发明一种基于区域基匹配的局部立体匹配方法的流程图；

图2为本发明中区域基匹配中的一般二维搜索示意图；

(a)图像的一个块与(b)图像中一系列的尝试块进行尝试比较，再通过匹配值的插补选择最佳位置；图2展示了图(b)中寻找位于左图像中块的相对位移的二维搜索；

图3为视差滤波的匹配——变形处理的匹配估计相结合的流程图，D₁(x,y)+D₂(x,y)+…在每次匹配——弯曲循环中加上初始视差估计D₀(x,y)。

具体实施方式

下面结合具体实施例对本发明作进一步说明：

参见附图1所示，本实施例所述的一种基于区域基匹配的局部立体匹配方法，包括以下步骤：

S1：利用双目立体采集***获取一对大小相同的RGB彩色图像；

S2：对获取到的图像进行变换：

将双目相机采集到的左右图像进行一致的旋转和裁剪，去除不必要的部分。

S3：计算像素对的匹配代价，具体计算方法如下：

为了达到以(i,j)索引的参考图像块P_r(i,j)和测试图像块P_t(i,j)的最佳匹配，需确定其相对偏移，因此需要一个标准去度量它们的相似性或相关系数C_rt；

为了计算的方便性和准确性，采用向量的方法处理，首先考虑图像信号(即块)P_r和P_t是相关的，经过DoG滤波使其具备零均值P_r’和P_t’：

P_r′＝P_r-μ_r，P_t′＝P_t-μ_t；

式中，μ_r，μ_t为图像信号和Dog滤波后具备零值间的数学期望；

方程简化为：

式中，σ_r′；σ_t′分别为两图像块的标准差；

把块P_r和P_t当作向量，标准偏移σ’的方程变为：

由上式可得：

即，信号P_r和P_t的相关性等于它们的向量的点乘：

最后，代入归一化项，简化计算为：

依据向量是否在相反位置还是相同位置，cos(θ)的取范围为[-1，+1]，此时得到一个相似性度量，将其当作是表示图像块的向量之间的夹角余弦，以此提供统一的度量标准，它与两图像块(或向量)的增益和黑电平无关，因此，对于零均值信号，统计相关性和归一化向量的点乘是相同的。

S4：对步骤S3中的匹配代价进行代价值聚合；

实际应用中只取光强值进行匹配代价存在很多限制。第一是在实际中光强值表现为有限数量的比特(通常每像素8～10个比特)，导致分辨力有限；第二是强度信号上叠加的噪声会在匹配值上产生额外的误差。此外，图像通过不同相机拍摄，会导致它们的一些图像处理过程中的参数不同，最常见的是相机传输信道的偏置增益系数的不同。因此本实施例需要收集一些从一个像素的局部领域收集到的信息，即代价聚合。

本步骤采用高斯滤波进行代价聚合，二维高斯核函数如下：

式中，x，y为坐标，σ为参数。

S5：在步骤S4的基础上，进行局部优化，获得视差图，具体过程如下：

决定两个图像I₁和I₂的匹配的基本等式为：

I₁(x,y)＝I₂(φ(x,y))；

式中，φ(x,y)为定义局部变形模型的函数，即该式成立的初始坐标网格的变形；计算立体匹配即为计算φ(x,y)；

在区域基匹配中，对于左边图像I_R的每一个像素，区域基匹配的目的是在右边图像I_R中找到相应的位置；

本实施例定义一个位移场或视差图D_xy(x,y)，使D_xy(x,y)把I_L中的每个像素映射到I_R中唯一的对应位置；

在理想状态下，视差图构成一个双射映射，但在实际中存在不成功的情况，如匹配错误或表面特征被投射到被匹配图像的奇点上，即

I_L(x,y)→I_R(x′,y′)；

将视差场结构化为两个图D_x(x,y)和D_y(x,y),分别储存水平和垂直位移；位移为实数，表示匹配图像之间的亚像素对应；

结合上述两式有：

I_R(x′,y′)＝I_L(x+D_x(x,y),y+D_y(x,y))

式中：D_x(x,y)和D_y(x,y)分别为水平和垂直视差值；

为了恢复稠密视差场，进行二维搜索，即在参考图像的每个位置x，y，恢复视差值D(x,y)，在被比较的图像块中找到对应的位置。

首先在I_L的像素位置上放置一个局部邻域N(参照块)，然后使用同样的邻域(测试块)，在I_R中搜索，找到x,y的对应位置；使用局部搜索过程在I_R中找到同左图像中的参考邻域最相似的局部测试邻域，重复这个过程，为了实现的简单性，匹配区域是同样大小的矩形，如图2完成一个完整的二维搜索。

然而即使对一个被比较的像素区域，不能总是保证都能为区域找到唯一的匹配，这是由于投影非唯一性的问题，因此对于不同的图像区域，增加区域的大小以增加其分辨能力，计算出较不模糊的匹配，输出视差图。

S6：对步骤S5中得到的视差图进行后处理：

步骤S5中在把一幅图像匹配另一个的过程，若把测试图像如橡皮片一样拉伸(即配准)以和参考图像吻合，此时结果会造成偏差，对精密的测量不利。因此需要对步骤S5中得到的视差图进一步处理，利用S5中的方法对视差图进行重复采样，进行视差累积，采用各向异性扩散滤波获得平滑表面的同时解决平面边界模糊的问题，具体流程如图3，方法如下：

局部匹配方法最大的问题就是遇到遮挡不连续的情况，一般人们采用左右视图交叉检查的方法，我们希望获得的视差估计是局部连续的。此外本专利通过使用参考图像匹配得到的视差图，对测试图像使用S5中的公式重新取样，可以把测试图像弯曲为参考图像的形状。使用双线性或双三次插值可得到指向参考图像亚像素位置，并定位到整数位置，因为使用了实数，匹配是亚像素的精度，因此可以直接与参考图像比较。这个变形过程，在计算上等效于把测试图像拉伸到何参考图像一样的形状。若图像存在断层，则会大大影响匹配的准确性。稠密视差场的基本性质为：表示参考图像的每个点与相应的测试图像的点的偏移，在亚像素精度下有S5中的

I_R(x′,y′)＝I_L(x+D_x(x,y),y+D_y(x,y))

采用平滑约束可以获得局部规则表面，以增强视差表面的平滑性以提高匹配的准确度。但是平滑约束不适用于平面边界，需要额外的一种机制来抑制在边缘处的平滑，以避免其模糊性。

本专利采用P-M扩散(各向异性扩散)来保持表面边缘的视差。即将整张图像看作是个热量场，每个像素当作热流，热流的流动取决于当前像素与周围像素的关系，如果碰到邻域像素是边缘像素，那么，它的流动扩散系数会比较小，也就是热流不想邻域像素扩散了，或者扩散减弱了，如果不是边缘像素，那扩散系数向着流动的方向改变，流过的地方也就变的平滑，如此一来，就在保留边缘的同时，平滑了噪声区域；

假设图像为I(x,y)，滤波公式如下：

式中是梯度算子；c是扩散系数，控制扩散速率；t为迭代次数；N_x,y、S_x,y、E_x,y、W_x,y分别为四个方向上的像素点。

表示梯度算子，I(x,y)表示图像点集合，四个方向的梯度公式如下：

c表示扩散系数，K表示热传导系数，四个方向上的扩散系数计算如下：

在各向异性扩散中，在其他参数给定的情况下，热传导系数K越大，图像越平滑；λ越大，图像越平滑；迭代次数t越多，图像滤波效果越明。

S7：对S6中获得的视差图进行匹配检验。具体方法如下：

通过匹配和变形，把测试图像拉伸到和参考图像一样的形状，引出均方根ε来测试这些图像的拟合好坏，若匹配过程完美，则参考图像和变形后的测试图像的均方根ε为零：

上式中ε表示均方根；x和y为坐标值；D_x(x,y)和D_y(x,y)分别为水平和垂直视差值；X·Y为点样本个数。

上述度量可以被用于评价匹配的整体质量；它通常不会达到零，但在实际匹配中我们可以把ε最小化。实际应用中，匹配被重复使用，测试图像被逐步变形与参考图像拟合，直到整体拟合误差降到ε值以下时停止。

在整体残余视差误差ε降到某一项设阈值之下的第n个迭代后，匹配过程停止。这一迭代重匹配过程迫使测试图像与参考图像对应，这个过程有利于减少每个图像的不同透视影响，使用当前视差场和变形处理，测试图像变为参考图像的“形状”，同时反向变形过程保证了迭代优化。

区域基匹配是一个非常简单但很强大的匹配技术，只需要进行比较的案例，都可以被用于寻找图像间的对应性。这把它的应用邻域扩展到不仅仅是立体问题，还有多视图匹配、运动分析和模式检测。

区域基匹配可以对广泛的带像素的输入图像进行操作，这些像素可以被变换或未被变换，也可以是标量、矢量和张量等。像素的不同表示的接口是对单个像素对的匹配度量，若只比较特定类型的像素值，那么使用区域基匹配，只需重载像素比较接口即可。

区域基匹配产生一个稠密视差图，但它的质量很大程度取决于输入图像的内容和所选择的控制参数。因此，区域基可以为更先进匹配方案，构建一个预匹配模块，这是一个分层匹配方法。为了初始匹配，在尺度金字塔的每个阶段，使用区域基匹配，然后在粗糙层找到视差图，在下一个细致层优化视差图，以此类推，直到建立最终的视差图。

如果输入信号(像素)的信息以某种方式被用于控制或修改算法的行为，则情况变得更复杂。例如，使用张量表示可以从匹配中排除那些小相关值的区域，即其没有展示出足够的信号变化用于可靠的匹配。此时，匹配区域的形状和大小可以相应地根据图像内容进行调整，通过这种方法，创建更强有力的方法以便更容易地应对匹配任务中的一些固有问题。

同时本实施例还提出了循环匹配的方法，以弥补单次匹配的不准确性，建立了拟合程度的评判机制，并将P-M扩散概念与区域基匹配相结合，以处理局部匹配边界模糊或断裂的问题。

以上所述之实施例子只为本发明之较佳实施例，并非以此限制本发明的实施范围，故凡依本发明之形状、原理所作的变化，均应涵盖在本发明的保护范围内。

Claims (7)

1.一种基于区域基匹配的局部立体匹配方法，其特征在于，包括以下步骤：

S1：利用双目立体采集***获取一对图像；

S2：对获取到的图像进行变换；

S3：计算像素对的匹配代价；

S4：对步骤S3中的匹配代价进行代价值聚合；

S5：在步骤S4的基础上，进行局部优化，获得视差图；

S6：对步骤S5中得到的视差图进行后处理；

S7：对经过步骤S6处理后的视差图进行匹配检验。

2.根据权利要求1所述的一种基于区域基匹配的局部立体匹配方法，其特征在于，所述步骤S3计算像素对匹配代价的具体步骤如下：

通过向量的方法处理，考虑图像信号P_r和P_t相关，经过高斯差分滤波使其具备零均值P_r’和P_t’：

P_r’＝P_r-μ_r，P_t’＝P_t-μ_t；

式中，μ_r，μ_t为图像信号和Dog滤波后具备零值间的数学期望；

方程简化为：

把块P_r和P_t当作向量，标准偏移σ’的方程变为：

由上式可得：

即，信号P_r和P_t的相关性等于它们的向量的点乘：

最后，代入归一化项，简化计算为：

依据向量是否在相反位置还是相同位置，cos(θ)的取范围为[-1，+1]，此时得到一个相似性度量，将其当作是表示图像块的向量之间的夹角余弦，以此提供统一的度量标准。

3.根据权利要求1所述的一种基于区域基匹配的局部立体匹配方法，其特征在于，所述步骤S4采用高斯滤波进行代价聚合，二维高斯核函数如下：

式中，x，y为坐标，σ为参数。

4.根据权利要求1所述的一种基于区域基匹配的局部立体匹配方法，其特征在于，所述步骤S5进行局部优化，获得视差图的具体步骤如下：

决定两个图像I₁和I₂的匹配的基本等式为：

I₁(x,y)＝I₂(φ(x,y))；

式中，φ(x,y)为定义局部变形模型的函数，即该式成立的初始坐标网格的变形；计算立体匹配即为计算φ(x,y)；

在区域基匹配中，对于左边图像I_R的每一个像素，区域基匹配的目的是在右边图像I_R中找到相应的位置；

定义一个位移场或视差图D_xy(x,y)，使D_xy(x,y)把I_L中的每个像素映射到I_R中唯一的对应位置；

在理想状态下，视差图构成一个双射映射，但在实际中存在不成功的情况，如匹配错误或表面特征被投射到被匹配图像的奇点上，即

I_L(x,y)→I_R(x′,y′)

将视差场结构化为两个图D_x(x,y)和D_y(x,y),分别储存水平和垂直位移；位移为实数，表示匹配图像之间的亚像素对应；

结合上述两式有：

I_R(x′,y′)＝I_L(x+D_x(x,y),y+D_y(x,y))；

式中：D_x(x,y)和D_y(x,y)分别为水平和垂直视差值；

为了恢复稠密视差场，进行二维搜索，即在参考图像的每个位置x，y，恢复视差值D(x,y)，在被比较的图像块中找到对应的位置；

首先在I_L的像素位置上放置一个局部邻域N，然后使用同样的邻域，在I_R中搜索，找到x,y的对应位置；使用局部搜索过程在I_R中找到同左图像中的参考邻域最相似的局部测试邻域，重复这个过程；为了实现的简单性，匹配区域是同样大小的矩形；

对于不同的图像区域，增加区域的大小以增加其分辨能力，计算出较不模糊的匹配，输出视差图。

5.根据权利要求1所述的一种基于区域基匹配的局部立体匹配方法，其特征在于，所述步骤S6中，利用步骤S5中的方法对视差图进行重复采样，进行视差累积，采用各向异性扩散滤波获得平滑表面的同时解决平面边界模糊的问题。

6.根据权利要求5所述的一种基于区域基匹配的局部立体匹配方法，其特征在于，所述步骤S6中采用各向异性扩散滤波获得平滑表面的同时解决平面边界模糊的问题的具体过程为：

采用各向异性扩散来保持表面边缘的视差，即将整张图像看作是个热量场，每个像素当作热流，热流的流动取决于当前像素与周围像素的关系，如果碰到邻域像素为边缘像素，其流动扩散系数会比较小，即热流不想邻域像素扩散了，或者扩散减弱了，如果不是边缘像素，那扩散系数向着流动的方向改变，流过的地方变的平滑，通过如此，使在保留边缘的同时平滑噪声区域；

假设图像为I(x,y)，滤波公式如下：

式中，为梯度算子；c为扩散系数，控制扩散速率；t为迭代次数；N_x,y、S_x,y、E_x,y、W_x,y分别为四个方向上的像素点；

四个方向的梯度公式如下：

c表示扩散系数，K表示热传导系数，四个方向上的扩散系数计算如下：

在各向异性扩散中，在其他参数给定的情况下，热传导系数K越大，图像越平滑；λ越大，图像越平滑；迭代次数t越多，图像滤波效果越明。

7.根据权利要求1所述的一种基于区域基匹配的局部立体匹配方法，其特征在于，所述步骤S7对经过步骤S6处理后的视差图进行匹配检验的具体步骤如下：

通过匹配和变形，把测试图像拉伸到和参考图像一样的形状，引出均方根ε来测试这些图像的拟合好坏，若匹配过程完美，则参考图像和变形后的测试图像的均方根ε为零：

上式中ε表示均方根；x和y为坐标值；D_x(x,y)和D_y(x,y)分别为水平和垂直视差值；X·Y为点样本个数。