CN104318576B - 一种超像素级别的图像全局匹配方法 - Google Patents

Abstract

一种超像素级别的图像全局匹配方法，由双目立体摄像机获取经过极线矫正的输入图像对，通过为图像对的每个像素计算自适应十字架来得到当前像素的自适应窗，并为其计算匹配代价，结合一种替换策略处理遮掩区域和一种次优策略处理图像边界；为图像创建超像素，对每块超像素区域的视差值进行平面拟合，确定可靠像素，并删除明显的错误平面以确定初始视差平面集；根据已经得到像素匹配代价来计算超像素的匹配代价，构建数据项与平滑项，利用Graph‑Cut最优化算法对能量方程进行不断迭代，获取最终视差平面。本发明能有效避免在弱纹理区域、视差不连续区域以及遮挡区域容易产生的图像噪声、失真或像素值异常等情况，且鲁棒性良好，能获取更加接近真实场景的深度信息。

Description

一种超像素级别的图像全局匹配方法

技术领域

本发明涉及计算机视觉、图像处理等技术领域，尤其是基于全局优化框架的立体视觉匹配方法。

背景技术

图像全局匹配方法，也称为基于全局优化框架的立体匹配方法。它将立体匹配问题通过建模的方式转化成一个最优化问题，并通过建立能量函数构造全局优化框架，最后在该全局优化框架下，利用最优化算法求解能量函数的最优解，得到一个全局意义上的立体匹配最优解。目前，解决此类问题比较流行的模型有马尔可夫随机场模型和贝叶斯模型及其衍生模型；常见的最优化方法有图割算法和置信度传播算法。相比于局部匹配算法，基于全局优化框架的立体匹配方法往往精度较高，且结果整体比较平滑；但是也存在着细节信息不够丰富，边缘地带会出现模糊，且执行效率较低等等缺点。

发明内容

为了克服已有图像全局匹配方法在弱纹理区域、视差不连续区域以及遮挡区域容易产生噪声、失真或异常值等的不足，本发明提供一种能有效避免这些情况，鲁棒性良好，且能获取更加接近真实场景的深度信息的超像素级别的图像全局匹配方法。

本发明解决其技术问题所采用的技术方案是：

一种超像素级别的图像全局匹配方法，所述匹配方法包括如下步骤：

1)、利用标定板对双目摄像机进行标定并获取立体图像对；

2)、过分割处理，将输入图像对分别分解成颜色或灰度均匀区域，并假定在这些区域中视差值平滑过渡，且视差不连续现象只出现在区域边界上；

3)、为立体图像对中每个像素计算它的自适应十字架，四元组表示像素的左臂长、右臂长、上臂长和下臂长。

以计算为例，对位于像素p左侧水平线上的一组连续的像素进行颜色相似度计算，p_i＝(x_p-i,y_p)，表示像素p左侧水平线上第i个元素(i从1递增到L，L是预先设定的最大臂长，它负责控制像素p的最大匹配窗大小)；当时，i停止递增，令否则，令同理，可得到I_c表示对应颜色分量的强度值，τ为控制颜色相似性的置信度。

根据已有的四元组为像素p计算得到它的H(p)和V(p)，H(p)表示像素p在它的水平线上的积分，V(p)表示像素p在它的垂直线上的积分；

H(p)和V(p)共同决定了像素p的自适应十字架；

4)、根据自适应十字架为每个像素评估它的自适应匹配窗。根据已经计算得到的自适应十字架，为每个像素p构造一个自适应匹配窗口U(p)，构建匹配窗U(p)的关键步骤是沿着像素p的垂直分割块V(p)滑动，对多个水平分割块H(q)做一个区域积分操作；

其中，q是一个位于垂直分割块V(p)上的像素；

5)、利用自适应匹配窗获取匹配代价

分别计算左图像素p的自适应匹配窗U(p)以及右图像素p'的自适应匹配窗U'(p')，其中，左图中拥有视差d的像素p＝(x_p,y_p)在右图中找到对应像素p'＝(x_p-d,y_p)，像素p和像素p'之间的匹配代价计算公式如下，

式中，U_d(p)＝{(x,y)|(x,y)∈U(p),(x-d,y)∈U'(p')}，e_d(t)表示拥有视差d的像素t的未加工匹配代价，U_d(p)是仅包含有效像素的联合匹配窗；||U_d(p)||表示U_d(p)中像素的数量，它被用于规格化已聚类完成的匹配代价利用对应像素对，计算未加工匹配代价，当视差为d时，左图中t与右图中t′之间的匹配代价计算公式如下：

其中，T控制了匹配代价的截断上限，I_c(t)表示t像素对应颜色分量c的颜色值，I_c'(t')表示像素t′对应颜色分量c的颜色值；

6)通过处理遮挡区域和图像边界来优化匹配代价

d(p)表示左图中像素p＝(x_p,y_p)的视差，同时d′(p′)表示右图中像素p'＝(x_p-d(p),y_p)的视差，假如d(p)、d′(p′)和d(p″)同时满足条件d(p)＞d'(p')和d'(p')≤d(p″)，其中p″＝(x_p-d(p)+d'(p'),y_p)，运用这样一个替换策略：用右图中像素p′的匹配代价替换原来左图中像素p的匹配代价；

当(x_p-d(p))＜1时，对应像素p′将位于右图的外侧，这就意味着我们不能利用对应像素来获取匹配代价C_d(p)，转而寻找一种次优的匹配代价C_d^(p)，

其中，d^{^}表示次优标记，d^*表示最优标记，它们的计算公式如下：

最后，当(x_p-d(p))＜1时，用C_d^(p)表示像素p的匹配代价；

7)、确定初始平面集，视差平面可以用三个参数a，b，c来表征，共同决定图中某个像素p(x,y)的视差d＝ax+by+c，采用三元组{a,b,c}来表示视差平面；

8)、计算超像素的匹配代价

根据得到的像素级别的匹配代价来计算超像素级别的匹配代价，像素级别匹配代价指的是像素p(x,y)当它取视差d时对应的匹配代价C_d(p)，而超像素级别匹配代价指的是超像素S取视差平面P{a,b,c}时所得到的匹配代价C_s(P)；

先对每块超像素做一个可靠性判断，如果通过它拟合出来的视差平面式错误的，那么就认定这块超像素是不可靠的；反之，则认为它是可靠的，当超像素是可靠时，它的匹配代价计算公式如下：

其中O表示超像素S中遮挡像素的集合，当超像素是不可靠时，它的匹配代价计算公式如下：

其中U表示经过修复的像素集合；

9)、构造数据项

有了超像素的匹配代价后，就能找到一个唯一标签f，给每块超像素S∈R一个对应的视差平面f(S)∈D，R是指输入图像的超像素集合，D表示视差平面集合，数据项E_data(f)是一个可靠像素匹配代价的集合，它的构造公式如下：

10)、构造平滑项

用超像素内的所有像素颜色信息的平均值来表征这块超像素的颜色信息，平滑项E_smooth(f)的构造公式如下：

其中，S_N表示输入图内所有相邻超像素的集合，ColorD(S_i,S_j)表示相邻超像素间的颜色差异，即求相邻超像素在RGB颜色空间上的欧式距离；PlaneD(S_i,S_j)表示相邻超像素间的视差平面差异，即求{a,b,c}平面空间上的欧式距离；CommonD(S_i,S_j)表示相邻超像素间共同边界的长度；

11)、利用Graph-Cut最优化算法对能量方程进行能量最小化，能量方程包含数据项和平滑项，获得最终视差信息。

更进一步，所述步骤11)中，利用最小割操作实现全局能量方程的最小化，步骤如下：当前标记值α的取值范围是从最小视差d_min到最大视差d_max，对α的每个取值做下述操作，对标签f做α-expansion处理，找到标签f*，使得f*的能量E(f*)最小，当E(f*)<E(f)时，更新f＝f*。据此，当遍历完取值范围[d_min,d_max]，发现并未对f做更新操作，则最小化过程结束；否则，重复开始步骤。

再进一步，所述步骤1)中，设定平面标定板是位于世界坐标系里z＝0的位置，根据相机线性成像模型得出：

其中，s为任意比例因子，A为相机内参数，[R,t]是旋转和平移矩阵的组合，它表征世界坐标系与相机坐标系的关系，r_i表示旋转矩阵R的第i列；

令H＝A[r₁ r₂ t]，根据标定板上标志点的坐标与其成像对应点我们可以求出H，设h_i表示H的第i列，因此

[h₁ h₂ h₃]＝A[r₁ r₂ t] (1.2)

由于r₁与r₂为旋转矩阵R的两列，它们相互正交且模长均为1，由此得到内参的两个约束条件为:

令其中为对称矩阵满足B＝B^T，定义六维向量b＝[B₁₁ B₁₂ B₂₂ B₁₃ B₂₃ B₃₃]，再令H矩阵的第i列h_i＝[h_i1,h_i2,h_i3]^T，从而得到：

其中，vi_j＝[h_i1h_j1,h_i1h_j2+h_i2h_j1,h_i2h_j2,h_i3h_j1+h_i1h_j3,h_i3h_j2+h_i2h_j3,h_i3h_j3]；

从给出的关系矩阵H得出的两个基本约束方程(1.3)写成两个齐次方程如下：

如果观测n张不同位置的平面标定板，可以得到n个如式(1.5)这样的方程：

Vb＝0 (1.6)

这里V是一个2n×6的矩阵，如果n>＝3，得到一个唯一解b；当b一旦算出来，通过进一步分解就能计算相机的所有内部参数，然后对这些参数进行Levenberg-Marquardt的非线性优化，从而求解得到最终的摄相机内外参数，最后利用双目摄像机获取图像对。

本发明的有益效果主要表现在：通过双目立体视觉方法求取图像深度信息，在此过程中结合了超像素的方法，使得结果更加鲁棒且有着更加丰富的细节信息；并且相比于传统的红外线、雷达***等等获取空间深度信息的方法有着对设备要求更加廉价的特性，表现出更好的实用能力。

附图说明

图1是H(p)和V(p)的示意图。水平黑格表示H(p)，它的长度是垂直黑格表示V(p)，它的长度是

图2是像素p的自适应匹配窗。垂直黑格表示V(p)，水平黑格表示H(p)，虚线框表示自适应区域。

图3是分割块的构图。S是源点，T是汇点，N_i代表超像素基团。

具体实施方式

下面结合附图对本发明作进一步描述。

参照图1～图3，一种超像素级别的图像全局匹配方法，包括如下步骤：

1)、利用标定板对双目摄像机进行标定并获取立体图像对。我们假定平面标定板是位于世界坐标系里z＝0的位置，根据相机线性成像模型得出：

其中，s为任意比例因子，A为相机内参数，[R,t]是旋转和平移矩阵的组合，它表征世界坐标系与相机坐标系的关系，r_i表示旋转矩阵R的第i列。

令H＝A[r₁ r₂ t]，根据标定板上标志点的坐标与其成像对应点我们可以求出H，设h_i表示H的第i列，因此

[h₁ h₂ h₃]＝A[r₁ r₂ t] (1.2)

由于r₁与r₂为旋转矩阵R的两列，它们相互正交且模长均为1，由此得到内参的两个约束条件为:

令其中为对称矩阵满足B＝B^T。定义六维向量b＝[B₁₁ B₁₂ B₂₂ B₁₃ B₂₃ B₃₃]，再令H矩阵的第i列h_i＝[h_i1,h_i2,h_i3]^T，从而得到：

其中，vi_j＝[h_i1h_j1,h_i1h_j2+h_i2h_j1,h_i2h_j2,h_i3h_j1+h_i1h_j3,h_i3h_j2+h_i2h_j3,h_i3h_j3]。

从给出的关系矩阵H得出的两个基本约束方程(1.3)可以写成两个齐次方程如下：

如果观测n张不同位置的平面标定板，可以得到n个如式(1.5)这样的方程：

Vb＝0 (1.6)

这里V是一个2n×6的矩阵。如果n>＝3，我们就能得到一个唯一解b；当b一旦算出来，通过进一步分解就能计算相机的所有内部参数。然后对这些参数进行Levenberg-Marquardt的非线性优化，从而求解得到最终的摄相机内外参数。最后利用双目摄像机获取图像对。

2)、过分割处理。将输入图像对分别分解成颜色或灰度均匀区域，并假设，在这些区域中视差值平滑过渡，且视差不连续现象只出现在区域边界上。我们之所以结合超像素，正是因为它有助于满足真实场景中的这个假设。我们采用由Comaniciu和Meer提出的均值转移颜色分割算法，这种方法原本定义作为一种梯度上升搜索策略，该策略能够最大化一个定义在高维特征空间上的密度函数。这个特征空间定义了一个高维空间坐标系，而所有涉及的相关属性则关联该高维空间的各个维度。基于边界信息是均值转移方法最大的一个优势。

3)、为立体图像对中每个像素计算它的自适应十字架，四元组表示像素的左臂长、右臂长、上臂长和下臂长。

以计算为例，我们对位于像素p左侧水平线上的一组连续的像素进行颜色相似度计算，p_i＝(x_p-i,y_p)，表示像素p左侧水平线上第i个元素(i从1递增到L，L是预先设定的最大臂长，它负责控制像素p的最大匹配窗大小)。当时，i停止递增，令否则，令同理，可得到I_c表示对应颜色分量的强度值，τ控制颜色相似性的置信度。

根据已有的四元组我们可以为像素p计算得到它的H(p)和V(p)。H(p)表示像素p在它的水平线上的积分，V(p)表示像素p在它的垂直线上的积分。

如附图1所示，H(p)和V(p)共同决定了像素p的自适应十字架。

4)、根据自适应十字架为每个像素评估它的自适应匹配窗。根据已经计算得到的自适应十字架，我们可以很容易地为每个像素p构造一个自适应匹配窗口U(p)。构建匹配窗U(p)的关键步骤是沿着像素p的垂直分割块V(p)滑动，对多个水平分割块H(q)做一个区域积分操作，如附图2所示。

其中，q是一个位于垂直分割块V(p)上的像素。

5)、利用自适应匹配窗获取匹配代价。为了获得可靠的匹配代价集合，我们分别计算了左图像素p的自适应匹配窗U(p)以及右图像素p'的自适应匹配窗U'(p')。

其中，左图中拥有视差d的像素p＝(x_p,y_p)可以在右图中找到对应像素p'＝(x_p-d,y_p)。像素p和像素p'之间的匹配代价计算公式如下，

式中，U_d(p)＝{(x,y)|(x,y)∈U(p),(x-d,y)∈U'(p')}，e_d(t)表示拥有视差d的像素t的未加工匹配代价，U_d(p)是仅包含有效像素的联合匹配窗。||U_d(p)||表示U_d(p)中像素的数量，它被用于规格化已聚类完成的匹配代价利用对应像素对，计算未加工匹配代价。例如，当视差为d时，左图中t与右图中t′之间的匹配代价计算公式如下：

其中，T控制了匹配代价的截断上限。I_c(t)表示t像素对应颜色分量c的颜色值，I_c'(t')表示像素t′对应颜色分量c的颜色值。

6)、通过处理遮挡区域和图像边界来优化匹配代价。受Geoffrey Egnal等人提出的五种遮挡区域处理方法的启发，在处理遮挡区域时我们采用了一种替换策略。由于存在一个常见的假设：一块临近区域内，带有相似强度值的像素拥有相似的视差值。因此遮挡区域的匹配代价可以被所谓的“对应”像素的匹配代价所替换。

例如，d(p)表示左图中像素p＝(x_p,y_p)的视差，同时d′(p′)表示右图中像素p'＝(x_p-d(p),y_p)的视差。假如d(p)、d′(p′)和d(p″)同时满足条件d(p)＞d'(p')和d'(p')≤d(p″)，其中p″＝(x_p-d(p)+d'(p'),y_p)，我们可以运用这样一个替换策略：用右图中像素p′的匹配代价替换原来左图中像素p的匹配代价。

为了得到精确的视差图像边界，我们既不使用左右一致性检查来评估两幅视差图，也不使用一种简单的边界推断步骤，而是采用了一种次优策略。当(x_p-d(p))＜1时，对应像素p′将位于右图的外侧，这就意味着我们不能利用对应像素来获取匹配代价C_d(p)，转而寻找一种次优的匹配代价C_d^(p)，

其中d^{^}表示我们需要的次优标记，d^*表示最优标记，它们的计算公式如下：

最后，当(x_p-d(p))＜1时，我们用C_d^(p)表示像素p的匹配代价。

7)、确定初始平面集。在我们算法中，真实场景结构是用一组二维的视差平面集合来模拟。视差平面可以用三个参数a，b，c来表征，它们可以共同决定图中某个像素(x,y)的视差d＝ax+by+c，因此，本章采用三元组{a,b,c}来表示视差平面。

根据前面的介绍，像素的视差取值其实就是离散的正整数，数量是有限的且是人为设定的，因此在找寻时可以遍历。而视差平面{a,b,c}中的三个分量都是连续的，且无法人为设定，如果要全部遍历，计算量就会趋于无穷大，所以需要提前计算出一个初始平面集来减少计算量，而这个平面集则需要能够充分表征整个场景的结构。

我们通过对每块超像素的初始视差值进行平面拟合，最后得到的视差平面集合作为初始平面集。因为是依靠超像素内的可靠像素进行拟合的，所以需要确定每块超像素内的可靠像素，本章采用了Cross-Checking的方法来确定可靠像素。拟合后，还需要删除掉那些存在明显错误的视差平面，比如视差平面(0,0,0)等。在最后的迭代优化中，视差平面集会不断收敛，直到变成最合理平面集，即用最少的平面来最全面地表征整个场景结构。

接下来介绍平面拟合过程，即计算三元组{a,b,c}的过程。尽管视差平面是由每块超像素中可靠像素的视差拟合而成，但在可靠像素中依然可能存在着异值点。一种直接确定视差平面参数的方法被用来确定一个最小平面解决方案。众所周知，最小平面解决方案对异值点非常敏感，比较而言，线性或中值解决方案更具鲁棒性。

这里我们通过应用一种分别解决各个参数的分解方法，来产生一种具有鲁棒性的解决方案。首先，在超像素内，利用一组位于同一水平线上的可靠像素视差集合计算水平倾斜率。将所有导数全部***一个列表中，通过对该列表进行排序和应用高斯卷积得到一个具有鲁棒性的水平倾斜率。接着，用类似的方法，依靠位于同一条垂直线的可靠像素视差集合来生成垂直倾斜率。最后，在超像素的中心，利用得到的倾斜率来获得一个具有鲁棒性的视差值。通过倾斜率得到的每个可靠像素的对应中心视差都被***一个列表，正如前面所解释的那样得到一个具有鲁棒性的视差值。

8)、计算超像素的匹配代价。超像素级别的全局匹配算法中，每个无向图节点对应的是一块超像素，如图3。像素的取值是一组人为设定的离散整数集，而超像素的取值则是一组计算得到的视差平面集合。因此两者在应用图割算法时，也是有很大的区别的。而对应的标签f也由原来的像素到视差映射变成了超像素到视差平面映射。

首先当然是计算匹配代价，前面已经计算了像素级别匹配代价，这里需要根据得到的像素级别的匹配代价来计算超像素级别的匹配代价。像素级别匹配代价指的是像素p(x,y)当它取视差d时对应的匹配代价C_d(p)。而超像素级别匹配代价指的是超像素S取视差平面P{a,b,c}时所得到的匹配代价C_s(P)。在这里，先对每块超像素做一个可靠性判断，如果通过它拟合出来的视差平面式错误的，那么就认定这块超像素是不可靠的，反之，则认为它是可靠的。当超像素是可靠时，它的匹配代价计算公式如下：

其中O表示超像素S中遮挡像素的集合。当超像素是不可靠时，它的匹配代价计算公式如下：

其中U表示经过修复的像素集合。

9)、构造数据项。有了超像素的匹配代价后，就能找到一个标签f，可以给每块超像素S∈R一个对应的视差平面f(S)∈D。R是指输入图像的超像素集合，D表示视差平面集合。这里的数据项E_data(f)是一个可靠像素匹配代价的集合，它的构造公式如下：

10)、构造平滑项。本章在构造平滑项时，主要考虑了相邻超像素间的三个因素：a.相邻超像素间共同边界的长度；b.相邻超像素间的视差平面的差异；c.相邻超像素间的颜色信息的差异。在这里为简单起见，用超像素内的所有像素颜色信息的平均值来表征这块超像素的颜色信息。平滑项E_smooth(f)的构造公式如下：

其中S_N表示输入图内所有相邻超像素的集合，ColorD(S_i,S_j)表示相邻超像素间的颜色差异，即求相邻超像素在RGB颜色空间上的欧式距离；PlaneD(S_i,S_j)表示相邻超像素间的视差平面差异，即求{a,b,c}平面空间上的欧式距离；CommonD(S_i,S_j)表示相邻超像素间共同边界的长度。

11)利用Graph-Cut最优化算法对能量方程(包含数据项和平滑项)进行能量最小化，获得最终视差信息。如果要利用Graph-Cut来完成整个能量方程的最小化，那么能量方程里的所有能量项都必须同时满足子模态。根据递增原则，假如能量方程里的每个能量项分别满足子模态，那么整个能量方程就能满足子模态。

最终，我们利用在图上的最小割操作，实现了全局能量方程的最小化，如附图3所示。通过α-expansion移动算法，我们高效地得到最小割结果。

详细的最小化步骤如下：当前标记值α的取值范围是从最小视差d_min到最大视差d_max，对α的每个取值做下述操作，对标签f做α-expansion处理，找到标签f*，使得f*的能量E(f*)最小，当E(f*)<E(f)时，更新f＝f*。据此，当遍历完取值范围[d_min,d_max]，发现并未对f做更新操作，则最小化过程结束；否则，重复开始步骤。

本实施例中，由双目立体摄像机获取经过极线矫正的输入图像对，通过为图像对的每个像素计算自适应十字架来得到当前像素的自适应窗，并为其计算匹配代价，结合一种替换策略处理遮掩区域和一种次优策略处理图像边界；为图像创建超像素，对每块超像素区域的视差值进行平面拟合，使用Cross-Checking的方法来确定可靠像素，并删除明显的错误平面以确定初始视差平面集；根据已经得到像素匹配代价来计算超像素的匹配代价，并构建数据项与平滑项，利用Graph-Cut最优化算法对能量方程进行不断迭代，获取最终视差平面，即图像深度，为基于立体视觉的三维重建提供更加平滑更加鲁棒更加精确的深度信息。

Claims (3)

1.一种超像素级别的图像全局匹配方法，其特征在于：所述匹配方法包括如下步骤：

1)、利用标定板对双目摄像机进行标定并获取立体图像对；

2)、过分割处理，将输入图像对分别分解成颜色或灰度均匀区域，并假定在这些区域中视差值平滑过渡，且视差不连续现象只出现在区域边界上；

3)、为立体图像对中每个像素计算它的自适应十字架，四元组表示像素的左臂长、右臂长、上臂长和下臂长；

以计算为例，对位于像素p左侧水平线上的一组连续的像素进行颜色相似度计算，p_i＝(x_p-i,y_p)，表示像素p左侧水平线上第i个元素，i从1递增到L，L是预先设定的最大臂长，它负责控制像素p的最大匹配窗大小；当时，i停止递增，令否则，令同理，可得到I_c表示对应颜色分量的强度值，τ为控制颜色相似性的置信度；

根据已有的四元组为像素p计算得到它的H(p)和V(p)，H(p)表示像素p在它的水平线上的积分，V(p)表示像素p在它的垂直线上的积分；

$\left\{\begin{array}{c}H\left(p\right)=\left\{(x,y)\right|x\&Element;\&lsqb;x_p-h_p^{-},x_p+h_p^{+}\&rsqb;,y=y_p\}\\ V\left(p\right)=\left\{(x,y)\right|x=x_p,y\&Element;\&lsqb;y_p-v_p^{-},y_p+v_p^{+}\&rsqb;\}\end{array}\right.---\left(3.1\right)$

H(p)和V(p)共同决定了像素p的自适应十字架；

4)、根据自适应十字架为每个像素评估它的自适应匹配窗，根据已经计算得到的自适应十字架，为每个像素p构造一个自适应匹配窗口U(p)，构建匹配窗U(p)的关键步骤是沿着像素p的垂直分割块V(p)滑动，对多个水平分割块H(q)做一个区域积分操作：

$U\left(p\right)=\underset{q\&Element;V\left(p\right)}{\&cup;}H\left(q\right)---\left(4\right)$

其中，q是一个位于像素p在它的垂直线上的积分V(p)上的像素；

5)、利用自适应匹配窗获取匹配代价

分别计算左图像素p的自适应匹配窗U(p)以及右图像素p'的自适应匹配窗U'(p')，其中，左图中拥有视差d的像素p＝(x_p,y_p)在右图中找到对应像素p'＝(x_p-d,y_p)，像素p和像素p'之间的匹配代价计算公式如下，

$C_d\left(p\right)=\frac{1}{\left|\right|U_d\left(p\right)\left|\right|}*\underset{t\&Element;U_d\left(p\right)}{\&Sigma;}{e}_d\left(t\right)*(log\mathrm{\&theta;}+1)---\left(5\right)$

式中，U_d(p)＝{(x,y)|(x,y)∈U(p),(x-d,y)∈U'(p')}，e_d(t)表示拥有视差d的像素t的未加工匹配代价，U_d(p)是仅包含有效像素的联合匹配窗；||U_d(p)||表示U_d(p)中像素的数量，它被用于规格化已聚类完成的匹配代价利用对应像素对，计算未加工匹配代价，当视差为d时，左图中t与右图中t′之间的匹配代价计算公式如下：

$e_d\left(t\right)=min\left(\underset{c\&Element;\{R,G,B\}}{\&Sigma;}\right|I_c\left(t\right)-I_c^{\&prime;}\left(t^{\&prime;}\right)|,T)---\left(5.2\right)$

其中，T控制了匹配代价的截断上限，I_c(t)表示t像素对应颜色分量c的颜色值，I_c'(t')表示像素t′对应颜色分量c的颜色值；

6)、通过处理遮挡区域和图像边界来优化匹配代价

d(p)表示左图中像素p＝(x_p,y_p)的视差，同时d′(p′)表示右图中像素p'＝(x_p-d(p),y_p)的视差，假如d(p)、d′(p′)和d(p″)同时满足条件d(p)＞d'(p')和d'(p')≤d(p”)，其中p”＝(x_p-d(p)+d'(p'),y_p)，运用这样一个替换策略：用右图中像素p′的匹配代价替换原来左图中像素p的匹配代价；

当(x_p-d(p))＜1时，对应像素p′将位于右图的外侧，这就意味着我们不能利用对应像素来获取匹配代价C_d(p)，转而寻找一种次优的匹配代价C_d^(p)，

$d^{^}=\underset{d\&Element;\&lsqb;d_{\min },d_{\max }\&rsqb;,(x_d-d)>0,d\&NotEqual;d^{*}}{\arg \min }{C}_d\left(p\right)---\left(6.1\right)$

其中，d^{^}表示次优标记，d^*表示最优标记，它们的计算公式如下：

$d^{*}=\underset{d\&Element;\&lsqb;d_{\min },d_{\max }\&rsqb;,(x_d-d)>0}{\arg \min }{C}_d\left(p\right)---\left(6.2\right)$

最后，当(x_p-d(p))＜1时，用C_d^(p)表示像素p的匹配代价；

7)、确定初始平面集，视差平面可以用三个参数a，b，c来表征，共同决定图中某个像素p(x,y)的视差d＝ax+by+c，采用三元组P{a,b,c}来表示视差平面；

8)、计算超像素的匹配代价

根据得到的像素级别的匹配代价来计算超像素级别的匹配代价，像素级别匹配代价指的是像素p(x,y)当它取视差d时对应的匹配代价C_d(p)，而超像素级别匹配代价指的是超像素S取视差平面P{a,b,c}时所得到的匹配代价C_s(P)；

先对每块超像素做一个可靠性判断，如果通过它拟合出来的视差平面是错误的，那么就认定这块超像素是不可靠的；反之，则认为它是可靠的，当超像素是可靠时，它的匹配代价计算公式如下：

$C_s\left(P\right)=\underset{p\&Element;S-O}{\mathrm{\&Sigma;}}{C}_{\mathrm{ax}+\mathrm{by}+c}\left(p\right)---\left(8.1\right)$

其中O表示超像素S中被遮挡像素的集合，当超像素是不可靠时，它的匹配代价计算公式如下：

$C_s\left(P\right)=\underset{p\&Element;S-O+U}{\mathrm{\&Sigma;}}{C}_{\mathrm{ax}+\mathrm{by}+c}\left(p\right)---\left(8.2\right)$

其中U表示经过修复的像素集合；

9)、构造数据项

有了超像素的匹配代价后，就能找到一个唯一标签f，给每块超像素S∈R一个对应的视差平面f(S)∈D，R是指输入图像的超像素集合，D表示视差平面集合，数据项E_data(f)是一个可靠像素匹配代价的集合，它的构造公式如下：

$E_{data}\left(f\right)=\underset{S\&Element;R}{\&Sigma;}{C}_S\left(f\right(S\left)\right)---\left(9\right)$

10)、构造平滑项

用超像素内的所有像素颜色信息的平均值来表征这块超像素的颜色信息，平滑项E_smooth(f)的构造公式如下：

$E_{smooth}\left(f\right)=\underset{\&ForAll;(S_i,S_j)\&Element;S_N|f\left(S_i\right)\&NotEqual;f\left(S_j\right)}{\&Sigma;}ColorD(S_i,S_j)*PlaneD(S_i,S_j)*CommonB(S_i,S_j)---\left(10\right)$

其中，S_N表示输入图内所有相邻超像素的集合，ColorD(S_i,S_j)表示相邻超像素间的颜色差异，即求相邻超像素在RGB颜色空间上的欧式距离；PlaneD(S_i,S_j)表示相邻超像素间的视差平面差异，即求{a,b,c}平面空间上的欧式距离；CommonD(S_i,S_j)表示相邻超像素间共同边界的长度；

11)、利用Graph-Cut最优化算法对能量方程进行能量最小化，能量方程包含数据项和平滑项，获得最终视差信息。

2.如权利要求1所述一种超像素级别的图像全局匹配方法，其特征在于：所述步骤11)中，利用最小割操作实现全局能量方程的最小化，步骤如下：当前标记值α的取值范围是从最小视差d_min到最大视差d_max，对α的每个取值做下述操作，对标签f做α-expansion处理，找到标签f*，使得f*的能量E(f*)最小，当E(f*)<E(f)时，更新f＝f*，据此，当遍历完取值范围[d_min,d_max]，发现并未对f做更新操作，则最小化过程结束；否则，重复开始步骤。

3.如权利要求1或2所述的一种超像素级别的图像全局匹配方法，其特征在于：所述步骤1)中，设定平面标定板是位于世界坐标系里z＝0的位置，根据相机线性成像模型得出：

$s\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=A\&lsqb;\begin{array}{cccc}{r}_1& r_2& r_3& t\end{array}\&rsqb;\left[\begin{array}{c}X\\ Y\\ 0\\ 1\end{array}\right]=A\&lsqb;\begin{array}{ccc}{r}_1& r_2& t\end{array}\&rsqb;\left[\begin{array}{c}X\\ Y\\ 1\end{array}\right]---\left(1.1\right)$

其中，s为任意比例因子，A为相机内参数，[R,t]是旋转和平移矩阵的组合，它表征世界坐标系与相机坐标系的关系，r_i表示旋转矩阵R的第i列；

令H＝A[r₁ r₂ t]，根据标定板上标志点的坐标与其成像对应点我们可以求出H，设h_i表示H的第i列，因此

[h₁ h₂ h₃]＝A[r₁ r₂ t] (1.2)

由于r₁与r₂为旋转矩阵R的两列，它们相互正交且模长均为1，由此得到内参的两个约束条件为:

$\begin{array}{c}{h}_1^T{A}^{-T}{A}^{-1}{h}_2=0\\ h_1^T{A}^{-T}{A}^{-1}{h}_1=h_2^T{A}^{-T}{A}^{-1}{h}_2\end{array}---\left(1.3\right)$

令其中为对称矩阵满足B＝B^T，定义六维向量b＝[B₁₁ B₁₂B₂₂ B₁₃ B₂₃ B₃₃]，再令H矩阵的第i列h_i＝[h_i1,h_i2,h_i3]^T，从而得到：

$h_i^T{\mathrm{Bh}}_j=v_{ij}b---\left(1.4\right)$

其中，v_ij＝[h_i1h_j1,h_i1h_j2+h_i2h_j1,h_i2h_j2,h_i3h_j1+h_i1h_j3,h_i3h_j2+h_i2h_j3,h_i3h_j3]；

把从给出的关系矩阵H得出的两个基本约束方程(1.3)写成两个齐次方程如下：

$\left[\begin{array}{c}{v}_{12}^T\\ {(v_{11}-v_{22})}^T\end{array}\right]b=0---\left(1.5\right)$

如果观测n张不同位置的平面标定板，可以得到n个如式(1.5)这样的方程：

Vb＝0 (1.6)

这里V是一个2n×6的矩阵，如果n>＝3，得到一个唯一解b；当b一旦算出来，通过进一步分解就能计算相机的所有内部参数，然后对这些参数进行Levenberg-Marquardt的非线性优化，从而求解得到最终的摄相机内外参数，最后利用双目摄像机获取图像对。