CN104820991A - 一种基于代价矩阵的多重软约束立体匹配方法 - Google Patents

Abstract

本发明公开了一种基于代价矩阵的多重软约束立体匹配方法，首先计算一个三维匹配代价矩阵并对其进行多尺度降采样，构成代价矩阵金字塔；同时对影像也进行相应的多尺度降采样，构成影像金字塔，并对其各层影像分别进行图像分割；然后逐层进行自适应权重的代价积聚和“投票式”分割约束下的代价积聚，并通过将上层代价积聚结果传递给下层代价矩阵，实现多尺度约束下的代价积聚；最后在底层代价矩阵中结合可靠点代价扩散方法实现立体匹配。本发明增强了匹配结果的稳定性和可靠性，大大改善了弱纹理和重复纹理区域以及视差不连续处的匹配问题，可用于改进基于图像的建模等涉及立体匹配的工程应用问题。

Description

一种基于代价矩阵的多重软约束立体匹配方法

技术领域

本发明属于计算视觉和摄影测量技术领域，涉及一种基于代价矩阵的立体匹配方法，尤其是涉及一种基于代价矩阵进行多重软约束的立体匹配方法。

背景技术

立体匹配是计算视觉和摄影测量领域的一个基础和关键问题。立体匹配的概念最早在摄影测量领域提出，用于解决数字航空摄影测量自动化测图的问题。立体匹配也是计算机视觉领域的关键问题，影响到对人的视觉***建模，机器人导航和操作，3D模型建立以及在计算机中生成的影像中混合实景动作等。

立体匹配是个病态问题，尤其对于缺乏纹理和重复纹理区域以及视差不连续的误匹配问题一直难以全面解决。为取得更好的匹配结果，需要合理纳入更多的先验条件约束。匹配算法一般采用局部基于窗口的匹配，匹配过程中利用影像局部信息改善窗口匹配，同时利用金字塔分层匹配策略等提高稳定性和正确率。然而这些方法往往需要较大的匹配窗口，导致很难保留影像的细节。也有一些算法纳入影像分割约束，但是对于图像分割结果有很强的依赖性。总之，传统的立体匹配方法往往直接用各种约束条件减小视差搜索范围，因此对于先验条件依赖性很强，容易产生误匹配。

近年来出现一些通过改进代价积聚方法实现匹配的算法，例如采用自适应代价积聚方法改善局部窗口匹配算法，采用多尺度代价积聚方法解决重复纹理的匹配问题，采用半全局代价积聚方法解决视差不连续的匹配问题。这些算法的共同点都是在代价矩阵中实现各自的约束，但是由于纳入的约束不够充分，因此难以较全面地解决误匹配问题。

发明内容

本发明主要是解决现有技术所存在对于先验条件约束依赖性过强的问题；提供了一种能同时纳入多重先验约束条件的基于代价矩阵的多重软约束代价积聚方法来完成立体匹配，可以有效解决缺乏纹理和重复纹理区域以及边缘的误匹配问题。

本发明所采用的技术方案是：一种基于代价矩阵的多重软约束立体匹配方法，其特征在于，包括以下步骤：

步骤1：在原始影像集中选择其中一幅核线影像作为基准影像，并对其中每个像素利用AD-Census-Sobel作为相似性测度，计算每个候选视差值的匹配代价，生成一个三维匹配代价矩阵；

步骤2：对步骤1中得到的代价矩阵进行多尺度降采样，构成代价矩阵金字塔；

步骤3：对基准影像也进行相应的多尺度降采样，构成影像金字塔；

步骤4；对步骤3中得到的影像金字塔各层影像分别进行图像分割；

步骤5：对步骤2中得到的代价矩阵金字塔，从顶层代价矩阵开始对各层代价矩阵进行自适应权重的代价积聚；

步骤6：根据步骤4中所述的图像分割结果，对步骤5中处理后的代价矩阵进一步进行“投票式”分割约束下的代价积聚；

步骤7：将该层代价积聚结果传递给下层代价矩阵；

步骤8：从上往下对金字塔代价矩阵重复进行步骤5至步骤7的操作，直至原始代价矩阵，最后对原始代价矩阵进行步骤5和步骤6操作；

步骤9：对步骤8中处理后得到的代价矩阵，对每个像素取代价最小且匹配置信度大于预定阈值的视差作为最终视差，然后用已取得视差的点作为控制在代价矩阵中对未匹配点进行代价扩散，最后采用“赢家通吃”方法生成视差图；

步骤10：在原始影像集中选择另一张影像作为基准影像，重复执行上述步骤1至步骤9，生成另一幅视差图，通过对比两幅视差图对应像素的视差一致性检测误匹配点，得到去除误匹配点视差图；对去除误匹配点视差图进行视差内插，填补误匹配造成的黑洞，生成完整视差图；利用完整视差图和影像外方位元素，根据前方交会原理计算深度图和数字表面模型。

作为优选，步骤1中，

所述的AD-Census-Sobel相似性测度的定义如下：

cost(p,d)＝exp(α*AD(p,d)+β*Census(p,d)+γ*Sobel(p,d))  (式壹)；

其中，p表示基准影像上的像素坐标p(x,y)，d是视差值，α，β和γ是权重系数，一般要求均为正数且α+β+γ＝1，AD(p,d)是指基准影像像素p及其在匹配影像上的共轭像素p+d的灰度差绝对值，Census(p,d)是指基准影像像素p及其在匹配影像上的共轭像素p+d的Census匹配测度值，Sobel(p,d)是指基准影像像素p及其在匹配影像上的共轭像素p+d的Sobel匹配测度值；

根据式壹对基准影像逐像素计算不同视差d对应的匹配代价值，构成一个由影像横坐标W，纵坐标H以及视差值D表示的三维匹配代价矩阵。

作为优选，步骤2中所述的代价矩阵金字塔的生成方法为，对步骤1中得到的三维匹配代价矩阵保持视差值D方向不变而在横坐标W和纵坐标H方向采用高斯金字塔进行降采样，按照此方法经过多次降采样即可生成多尺度代价矩阵。

作为优选，步骤3中所述的多尺度降采样的方法为，对原始影像在横坐标W和纵坐标H方向采用高斯金字塔进行降采样，按照此方法经过多次降采样即可生成影像金字塔。

作为优选，步骤4中所述的图像分割方法为首先采用现有的图像分割方法，然后在图像分割完成之后进行分割块聚类，而对于其元素数目大于预定阈值的类别再次进行分割，直至每个类别的元素数目不大于预定阈值。

作为优选，步骤5中所述的自适应权重的代价积聚方法为，根据每个像素点p为中心一定窗口内的像素q与该点的欧氏距离dist(p,q)和灰度值差异|I_p-I_q|确定像素点q对于像素点p代价的贡献值，如此累加窗口所有像素对于像素p代价的贡献而得到p最终的代价值cost(p,d)，具体的计算方法如下：

$\cos t(p,d)=\underset{q\∈W_p}{\mathrm{\Σ}}\cos t(q,d)*\mathrm{weight}(q,d)$   (式贰)；

weight(q,d)＝exp(α*dis(p,q)+β*|I_p-I_q|)

其中，weight(q,d)表示进行代价积聚时邻域像素的权重值，α、β是计算该权重值时涉及的参数，分别对应欧氏距离dist(p,q)和灰度值差异|I_p-I_q|的权重系数，一般要求均为正数且α+β＝1。

作为优选，步骤6的具体实现包括以下子步骤：

步骤6.1：对每个图像分割块，分别累加该图像分割块中所有像素点的每个视差值对应的总代价，得到整个图像分割块中，匹配代价随视差值变化的视差-代价直方图；

步骤6.2：根据直方图计算匹配代价均值，每个视差值与均值的差值以及这些差值的均值，并对其差值为负且绝对值大于差值均值的视差值赋以惩罚，即赋以一个负的代价值，按此方法得到一个对应于步骤6.1中所述的视差-代价直方图的视差-代价惩罚直方图；

步骤6.3：对图像分割块逐像素地施加上述代价惩罚，即根据步骤6.2中所述的视差-代价惩罚直方图，对每个像素的视差值加上相应的代价惩罚；

其中代价惩罚的计算方法如下：

$p\left(d\right)=\left\{\begin{array}{cc}0,& c_d>\stackrel{\&OverBar;}{c_d}\\ \mathrm{\&alpha;}*(c_d-\stackrel{\&OverBar;}{c_d})/\stackrel{\&OverBar;}{|c_d-\stackrel{\&OverBar;}{c_d}|},& c_d<\stackrel{\&OverBar;}{c_d}\end{array}\right.$   (式叁)；

其中，c_d为分割块对应于视差d的代价，α为权重系数。

作为优选，步骤7中所述的将该层代价积聚结果传递给下层代价矩阵，其具体实现包括以下子步骤：

步骤7.1：分别对每个像素点在视差范围内的代价值进行一维最小平方卷积；注意，这里卷积的目的是使得上层匹配代价随视差变化更加平滑，因此也可以采用最小和卷积或其他卷积方法；

步骤7.2：根据金字塔像素对应关系，将该层每个像素的代价值累加到下层对应像素相应视差的代价值。

作为优选，步骤9中所述的匹配置信度即匹配代价次小值和最小值之比，对于只有匹配置信度大于预定阈值的像素才能首次取得视差；根据已取得视差的点作为控制在代价矩阵中对未匹配点进行代价扩散的方法如下：标记已匹配点和未匹配点，然后对每个已匹配点一定窗口邻域内的未匹配像素对应于该已匹配点的视差代价减去一定惩罚值，具体如下公式所示：

$\cos t(q,d)=\left\{\begin{array}{c}\cos t(q,d)-P,D\left(p\right)=d\\ \cos t(q,d),D\left(p\right)\&NotEqual;d\end{array}\right.,q\&Element;N_p,D\left(q\right)=\mathrm{NULL}$   (式肆)；

其中，p表示已匹配点，q表示未匹配点，P表示惩罚值，D(p)表示初始视差图D在p点处的取值。

本发明具有如下优点：在立体匹配过程中考虑了局部纹理结构和灰度信息，增强了同名点可区分性；纳入了多尺度约束，增强了重复纹理区域的匹配能力；纳入了分割约束，增强了弱纹理区域的匹配能力；根据初级可靠匹配结果进行代价扩散，增强了匹配稳定性；在代价矩阵中完成以上所有约束，每种约束都是不能直接决定最终匹配结果的软约束，进一步增强了匹配结果的稳定性和可靠性。

附图说明

图1：为本发明实施例的总体流程图；

图2：为本发明实施例的对代价矩阵进行多尺度降采样方法示意图；

图3：为本发明实施例的基于代价矩阵的“投票式”分割约束代价积聚方法示意图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。

请见图1，本发明提供的一种基于代价矩阵的多重软约束立体匹配方法，包括以下步骤：

步骤1：在原始影像集中选择其中一幅核线影像作为基准影像，并对其中每个像素利用AD-Census-Sobel作为相似性测度，计算每个候选视差值的匹配代价，生成一个三维匹配代价矩阵；

AD-Census-Sobel相似性测度的定义如下：

cost(p,d)＝exp(α*AD(p,d)+β*Census(p,d)+γ*Sobel(p,d))  (式壹)；

其中，p表示基准影像上的像素坐标p(x,y)，d是视差值，α，β和γ是权重系数，一般要求均为正数且α+β+γ＝1，AD(p,d)是指基准影像像素p及其在匹配影像上的共轭像素p+d的灰度差绝对值，Census(p,d)是指基准影像像素p及其在匹配影像上的共轭像素p+d的Census匹配测度值，Sobel(p,d)是指基准影像像素p及其在匹配影像上的共轭像素p+d的Sobel匹配测度值；

根据式壹对基准影像逐像素计算不同视差d对应的匹配代价值，构成一个由影像横坐标W，纵坐标H以及视差值D表示的三维匹配代价矩阵，大小为W*H*D。

步骤2：对步骤1中得到的代价矩阵进行多尺度降采样，构成代价矩阵金字塔；

请见图2，代价矩阵金字塔的生成方法为，对步骤1中得到的三维匹配代价矩阵保持视差值D方向不变而在横坐标W和纵坐标H方向采用高斯金字塔进行降采样，按照此方法经过多次降采样即可生成多尺度代价矩阵。

步骤3：对基准影像也进行相应的多尺度降采样，构成影像金字塔；其中多尺度降采样的方法为，对原始影像在横坐标W和纵坐标H方向采用高斯金字塔进行降采样，按照此方法经过多次降采样即可生成影像金字塔。

步骤4；对步骤3中得到的影像金字塔各层影像分别进行图像分割；图像分割方法为首先采用现有的图像分割方法，然后在图像分割完成之后进行分割块聚类，而对于其元素数目大于预定阈值的类别再次进行分割，直至每个类别的元素数目不大于预定阈值。

步骤5：对步骤2中得到的代价矩阵金字塔，从顶层代价矩阵开始对各层代价矩阵进行自适应权重的代价积聚；自适应权重的代价积聚方法为，根据每个像素点p为中心一定窗口内的像素q与该点的欧氏距离dist(p,q)和灰度值差异|I_p-I_q|确定像素点q对于像素点p代价的贡献值，如此累加窗口所有像素对于像素p代价的贡献而得到p最终的代价值cost(p,d)，具体的计算方法如下：

$\cos t(p,d)=\underset{q\&Element;W_p}{\mathrm{\&Sigma;}}\cos t(q,d)*\mathrm{weight}(q,d)$   (式贰)；

weight(q,d)＝exp(α*dis(p,q)+β*|I_p-I_q|)

其中，weight(q,d)表示进行代价积聚时邻域像素的权重值，α、β是计算该权重值时涉及的参数，分别对应欧氏距离dist(p,q)和灰度值差异|I_p-I_q|的权重系数，一般要求均为正数且α+β＝1。

步骤6：根据步骤4中所述的图像分割结果，对步骤5中处理后的代价矩阵进一步进行“投票式”分割约束下的代价积聚；

请见图3，具体实现包括以下子步骤：

步骤6.1：对每个图像分割块，分别累加该图像分割块中所有像素点的每个视差值对应的总代价，得到整个图像分割块中，匹配代价随视差值变化的视差-代价直方图；

步骤6.2：根据直方图计算匹配代价均值，每个视差值与均值的差值以及这些差值的均值，并对其差值为负且绝对值大于差值均值的视差值赋以惩罚，即赋以一个负的代价值，按此方法得到一个对应于步骤6.1中所述的视差-代价直方图的视差-代价惩罚直方图；

步骤6.3：对图像分割块逐像素地施加上述代价惩罚，即根据步骤6.2中所述的视差-代价惩罚直方图，对每个像素的视差值加上相应的代价惩罚；

其中代价惩罚的计算方法如下：

$p\left(d\right)=\left\{\begin{array}{cc}0,& c_d>\stackrel{\&OverBar;}{c_d}\\ \mathrm{\&alpha;}*(c_d-\stackrel{\&OverBar;}{c_d})/\stackrel{\&OverBar;}{|c_d-\stackrel{\&OverBar;}{c_d}|},& c_d<\stackrel{\&OverBar;}{c_d}\end{array}\right.$   (式叁)；

其中，c_d为分割块对应于视差d的代价，α为权重系数。

步骤7：将该层代价积聚结果传递给下层代价矩阵；其具体实现包括以下子步骤：

步骤7.1：分别对每个像素点在视差范围内的代价值按照式肆进行一维最小平方卷积；

${\cos t}^{\&prime;}\left(d\right)=\underset{d}{\min }(\cos t\left(d\right)+{(d-d^{\&prime;})}^2)$   (式肆)；

其中，cost'(d)代表卷积后视差d对应的代价值，d'为视差搜索范围内其他视差值；

步骤7.2：根据金字塔像素对应关系，将该层每个像素的代价值累加到下层对应像素相应视差的代价值。

步骤8：从上往下对金字塔代价矩阵重复进行步骤5至步骤7的操作，直至原始代价矩阵，最后对原始代价矩阵进行步骤5和步骤6操作；

步骤9：对步骤8中处理后得到的代价矩阵，按式伍对每个像素取代价最小且匹配置信度大于预定阈值的视差作为最终视差，匹配置信度T_conf即匹配代价次小值和最小值之比，对于只有匹配置信度大于预定阈值的像素才能首次取得视差。

  (式伍)；

然后标记已匹配点和未匹配点，然后按式陆对每个已匹配点8邻域内的未匹配像素对应于该已匹配点的视差代价减去一定惩罚值P，从而将已匹配结果以代价的惩罚的形式扩散到邻域未匹配点。

$\cos t(q,d)=\left\{\begin{array}{c}\cos t(q,d)-P,D\left(p\right)=d\\ \cos t(q,d),D\left(p\right)\&NotEqual;d\end{array}\right.,q\&Element;N_p,D\left(q\right)=\mathrm{NULL}$   (式陆)；

其中，p表示已匹配点，q表示未匹配点，P表示惩罚值，D(p)表示初始视差图D在p点处的取值。

最后采用式柒所示的“赢家通吃”方法生成视差图。

$D\left(p\right)=\arg \underset{d}{\min }\left(\cos t(p,d)\right)$   (式柒)；

步骤10：在原始影像集中选择另一张影像作为基准影像，重复执行上述步骤1至步骤9，生成另一幅视差图，通过对比两幅视差图对应像素的视差一致性检测误匹配点，得到去除误匹配点视差图；对去除误匹配点视差图进行视差内插，填补误匹配造成的黑洞，生成完整视差图；利用完整视差图和影像外方位元素，根据前方交会原理计算深度图和数字表面模型。

左右视差一致性检测的数学度量为：

LRC(p)＝|D_L-R(p)-D_R-L(p+D_L-R(p))|  (式捌)；

其中，D_L-R表示以左图为参考影像的匹配结果，D_R-L为以右图为参考影像的匹配结果，LRC(p)大于一定阈值的匹配点被认为是非法点。

对上述视差图进行遮挡检测和视差内插，利用已有正确匹配点视差填补其邻域误匹配造成的黑洞，生成完整的视差图；

其中，遮挡检测方法为：对于基准影像上的一个非法点p，在匹配影像上沿水平核线方向进行搜索，如果存在一个视差d使得D(p+d)-d<T_d，则该点为误匹配，否则为遮挡，如式玖所示：

$\mathrm{flag}\left(p\right)=\left\{\begin{array}{c}\mathrm{occluded},D(p+d)-d<T_d\\ \mathrm{mismatch},D(p+d)-d<T_d\end{array}\right.$   (式玖)；

视差内插方法为：

$D\left(p\right)=\left\{\begin{array}{c}{D}_{\mathrm{low}}(q\&Element;N_p),\mathrm{flag}\left(p\right)=\mathrm{occluded}\\ D_{\mathrm{median}}(q\&Element;N_p),\mathrm{flag}\left(p\right)=\mathrm{mismatched}\\ D\left(p\right),\mathrm{otherwise}\end{array}\right.$   (式拾)；

其中，D_low(q∈N_p)表示从邻域中选择较小的视差，D_median(q∈N_p)表示从邻域中选择视差中值。

利用上述视差图和影像外方位元素可以通过前方交会计算深度图或数字表面模型。

应当理解的是，本说明书未详细阐述的部分均属于现有技术。

应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (9)

1.一种基于代价矩阵的多重软约束立体匹配方法，其特征在于，包括以下步骤：

步骤1：在原始影像集中选择其中一幅核线影像作为基准影像，并对其中每个像素利用AD-Census-Sobel作为相似性测度，计算每个候选视差值的匹配代价，生成一个三维匹配代价矩阵；

步骤2：对步骤1中得到的代价矩阵进行多尺度降采样，构成代价矩阵金字塔；

步骤3：对基准影像也进行相应的多尺度降采样，构成影像金字塔；

步骤4；对步骤3中得到的影像金字塔各层影像分别进行图像分割；

步骤5：对步骤2中得到的代价矩阵金字塔，从顶层代价矩阵开始对各层代价矩阵进行自适应权重的代价积聚；

步骤6：根据步骤4中所述的图像分割结果，对步骤5中处理后的代价矩阵进一步进行“投票式”分割约束下的代价积聚；

步骤7：将该层代价积聚结果传递给下层代价矩阵；

步骤8：从上往下对金字塔代价矩阵重复进行步骤5至步骤7的操作，直至原始代价矩阵，最后对原始代价矩阵进行步骤5和步骤6操作；

步骤9：对步骤8中处理后得到的代价矩阵，对每个像素取代价最小且匹配置信度大于预定阈值的视差作为最终视差，然后用已取得视差的点作为控制在代价矩阵中对未匹配点进行代价扩散，最后采用“赢家通吃”方法生成视差图；

步骤10：在原始影像集中选择另一张影像作为基准影像，重复执行上述步骤1至步骤9，生成另一幅视差图，通过对比两幅视差图对应像素的视差一致性检测误匹配点，得到去除误匹配点视差图；对去除误匹配点视差图进行视差内插，填补误匹配造成的黑洞，生成完整视差图；利用完整视差图和影像外方位元素，根据前方交会原理计算深度图和数字表面模型。

2.根据权利要求1所述的基于代价矩阵的多重软约束立体匹配方法，其特征在于：步骤1中，

所述的AD-Census-Sobel相似性测度的定义如下：

cost(p,d)＝exp(α*AD(p,d)+β*Census(p,d)+γ*Sobel(p,d))  (式壹)；

其中，p表示基准影像上的像素坐标p(x,y)，d是视差值，α，β和γ是权重系数，一般要求均为正数且α+β+γ＝1，AD(p,d)是指基准影像像素p及其在匹配影像上的共轭像素p+d的灰度差绝对值，Census(p,d)是指基准影像像素p及其在匹配影像上的共轭像素p+d的Census匹配测度值，Sobel(p,d)是指基准影像像素p及其在匹配影像上的共轭像素p+d的Sobel匹配测度值；

根据式壹对基准影像逐像素计算不同视差d对应的匹配代价值，构成一个由影像横坐标W，纵坐标H以及视差值D表示的三维匹配代价矩阵。

3.根据权利要求2所述的基于代价矩阵的多重软约束立体匹配方法，其特征在于：步骤2中所述的代价矩阵金字塔的生成方法为，对步骤1中得到的三维匹配代价矩阵保持视差值D方向不变而在横坐标W和纵坐标H方向采用高斯金字塔进行降采样，按照此方法经过多次降采样即可生成多尺度代价矩阵。

4.根据权利要求2所述的基于代价矩阵的多重软约束立体匹配方法，其特征在于：步骤3中所述的多尺度降采样的方法为，对原始影像在横坐标W和纵坐标H方向采用高斯金字塔进行降采样，按照此方法经过多次降采样即可生成影像金字塔。

5.根据权利要求1所述的基于代价矩阵的多重软约束立体匹配方法，其特征在于：步骤4中所述的图像分割方法为首先采用现有的图像分割方法，然后在图像分割完成之后进行分割块聚类，而对于其元素数目大于预定阈值的类别再次进行分割，直至每个类别的元素数目不大于预定阈值。

6.根据权利要求1所述的基于代价矩阵的多重软约束立体匹配方法，其特征在于：步骤5中所述的自适应权重的代价积聚方法为，根据每个像素点p为中心一定窗口内的像素q与该点的欧氏距离dist(p,q)和灰度值差异|I_p-I_q|确定像素点q对于像素点p代价的贡献值，如此累加窗口所有像素对于像素p代价的贡献而得到p最终的代价值cost(p,d)，具体的计算方法如下：

$\cos t(p,d)=\underset{q\&Element;W_p}{\mathrm{\&Sigma;}}\cos t(q,d)*\mathrm{weight}(q,d)$   (式贰)；

weight(q,d)＝exp(α*dis(p,q)+β*|I_p-I_q|)

其中，weight(q,d)表示进行代价积聚时邻域像素的权重值，α、β是计算该权重值时涉及的参数，分别对应欧氏距离dist(p,q)和灰度值差异|I_p-I_q|的权重系数，一般要求均为正数且α+β＝1。

7.根据权利要求1所述的基于代价矩阵的多重软约束立体匹配方法，其特征在于：步骤6的具体实现包括以下子步骤：

步骤6.1：对每个图像分割块，分别累加该图像分割块中所有像素点的每个视差值对应的总代价，得到整个图像分割块中，匹配代价随视差值变化的视差-代价直方图；

步骤6.2：根据直方图计算匹配代价均值，每个视差值与均值的差值以及这些差值的均值，并对其差值为负且绝对值大于差值均值的视差值赋以惩罚，即赋以一个负的代价值，按此方法得到一个对应于步骤6.1中所述的视差-代价直方图的视差-代价惩罚直方图；

步骤6.3：对图像分割块逐像素地施加上述代价惩罚，即根据步骤6.2中所述的视差-代价惩罚直方图，对每个像素的视差值加上相应的代价惩罚；

其中代价惩罚的计算方法如下：

$P\left(d\right)=\left\{\begin{array}{cc}0,& c_d>\stackrel{\&OverBar;}{c_d}\\ \mathrm{\&alpha;}*(c_d-\stackrel{\&OverBar;}{c_d})/\stackrel{\&OverBar;}{|c_d-\stackrel{\&OverBar;}{c_d}|},& c_d<c_d\end{array}\right.$   (式叁)；

其中，c_d为分割块对应于视差d的代价，α为权重系数。

8.根据权利要求1所述的基于代价矩阵的多重软约束立体匹配方法，其特征在于：步骤7中所述的将该层代价积聚结果传递给下层代价矩阵，其具体实现包括以下子步骤：

步骤7.1：分别对每个像素点在视差范围内的代价值进行一维最小平方卷积；

步骤7.2：根据金字塔像素对应关系，将该层每个像素的代价值累加到下层对应像素相应视差的代价值。

9.根据权利要求1所述的基于代价矩阵的多重软约束立体匹配方法，其特征在于：步骤9中所述的匹配置信度即匹配代价次小值和最小值之比，对于只有匹配置信度大于预定阈值的像素才能首次取得视差；根据已取得视差的点作为控制在代价矩阵中对未匹配点进行代价扩散的方法如下：标记已匹配点和未匹配点，然后对每个已匹配点一定窗口邻域内的未匹配像素对应于该已匹配点的视差代价减去一定惩罚值，具体如下公式所示：

$\cos t(q,d)=\left\{\begin{array}{c}\cos t(q,d)-P,D\left(p\right)=d\\ \cos t(q,d),D\left(p\right)\&NotEqual;d\end{array}\right.,q\&Element;N_d,D\left(q\right)=\mathrm{NULL}$   (式肆)；

其中，p表示已匹配点，q表示未匹配点，P表示惩罚值，D(p)表示初始视差图D在p点处的取值。