CN104252701A - 校正视差图的方法和*** - Google Patents

Abstract

公开提供了一种视差图的校正方法和***。该方法包括：检测步骤，检测第一视差图的一个或多个第一边缘和参考图像的一个或多个第二边缘；以及校正步骤，基于所检测的一个或多个第一边缘和一个或多个第二边缘的匹配，校正所述第一视差图以得到校正后的第二视差图。

Description

校正视差图的方法和***

技术领域

本申请一般涉及校正视差图的方法和***，且更具体地，涉及基于视差图像和参考图像中的边缘的分布来校正视差图的方法和***。

背景技术

立体视觉技术已广泛应用于三维电影、虚拟现实、自动车辆控制、智能机器人控制等诸多领域。

随着三维重建技术、虚拟现实等领域的兴起，人们对立体视觉中的视差图的精度和密度的要求越来越高，期望得到图像中的每一个像素点的可靠的深度信息。立体匹配的目的就是在相同三维场景的两幅成像平面中找到匹配的像素点对，计算出每个像素点坐标对应的视差值d，进而可以准确地描述场景的三维空间信息。但是现有技术中已有的技术得到的视差图不够精确，需要进行改善、提高视差精度。

由YANG QIONG等人于2012年10月30日公开的专利申请No.US8,300,085B2提出了一个基于图像分割来处理立体匹配中遮挡问题的算法。该方法首先对双目摄像机拍摄的左图和右图进行图像分割，基于图像分割的结果，找到两分割块间的边界，从而发现遮挡区域，接着利用一个能量方程优化得到图像像素的视差值。然而，这种方法需要做多次图像分割，而且利用图像分割找到的边界有可能是错误的，可能并不一定是遮挡引起的。另外，这种方法单独考虑边界，忽视了边界间的关系，因此在很多情况下并不能取得令人满意的效果。

Ramya Narasimha、Elise Arnaud、Florence Forbes、Radu Horaud:Cooperative disparity and object boundary estimation.ICIP2008:1784-1787的参考文献提出一种综合视差计算和目标边界估计为一体的算法，该方法利用统一的马尔科夫架构把两个任务统一起来，提出一个联合概率模型，利用马尔科夫随机场来估算视差。然而该方法是针对图像的每一个像素视差的估算，一方面计算量较大，另一方面，从单一像素逐点估算势必会带来噪声，也无法取得令人满意的视差图。

发明内容

有鉴于上述问题，本公开提供了一种视差图的校正方法和***。

根据本公开的一个方面，提供一种校正视差图的方法，包括：检测步骤，检测第一视差图的一个或多个第一边缘和参考图像的一个或多个第二边缘；以及校正步骤，基于所检测的一个或多个第一边缘和一个或多个第二边缘的匹配，校正所述第一视差图以得到校正后的第二视差图。

根据本公开的另一方面，提供一种校正视差图的***，包括检测装置，被配置为检测第一视差图的一个或多个第一边缘和参考图像的一个或多个第二边缘；以及校正装置，被配置为基于所检测的一个或多个第一边缘和一个或多个第二边缘的匹配，校正所述第一视差图以得到校正后的第二视差图。

附图说明

在附图的引用的图中例示了本发明的实施例，附图中，对图的描述通篇中相同的数字指代相同的要素。

图1示出应用根据本发明的一个实施例的校正视差图的方法时的一个应用场景示例。

图2示出根据本发明的一个实施例的校正视差图的方法的示例流程图。

图3示出应用图1所示的校正视差图的方法时的效果示例。

图4示出了根据本发明的另一个实施例的校正视差图的方法的详细的示例流程图。

图5(a)和(b)示出在根据本发明的实施例的校正视差图的方法中根据初始视差图建立初步匹配度矩阵的示意过程。

图6(a)和(b)示出在根据本发明的实施例的校正视差图的方法中根据初始视差图建立相似度矩阵的示意过程。

图7示出根据本发明的另一实施例的校正视差图的***的方框图。

具体实施方式

下面结合具体的实施例及附图进行详细的描述。

图1示出应用根据本发明的一个实施例的校正视差图的方法时的一个应用场景示例。

在图1中，装置100是双目立体摄像机，图像102(1)和102(2)分别是双目摄像机输出的两个匹配图像（通常也称为左/右图像，在该例子中是灰度图）；图像103是基于匹配图像（左/右图像）得到的一个视差图；然后，该视差图103、以及两个匹配图像之一（例如左图像102(1)）被输入到用于校正视差图的***101（或执行方法的软件、硬件、固件、芯片等等），这可以通过芯片104来实现，然后，得到校正后的视差图105。

图2示出根据本发明的一个实施例的校正视差图的方法200的示例流程图。该方法200可以是在图1示例的场景中由芯片104运行的方法101。

该校正视差图的方法200包括：检测步骤S201，检测第一视差图的一个或多个第一边缘和参考图像的一个或多个第二边缘；以及校正步骤S202，基于所检测的一个或多个第一边缘和一个或多个第二边缘的匹配，校正所述第一视差图以得到校正后的第二视差图。

在该实施例中，该第一视差图的例子可以是一个初始视差图。即。视差图的校正可以是基于一个初始视差图来进行的。当然，该初始视差图的效果同样也能影响视差图的改善精度。该初始的视差图可以利用各种传统的计算视差值的方法得出，例如块匹配、动态规划法、图割法、半全局匹配法（Semi-Global Matching，SGM）等等。当然，本发明不限于此，该第一视差图也可以是初始视差图或校正后的视差图（以便进行进一步地校正）或其他任何视差图。本公开对该第一视差图并不限制。

该参考图像可以是双目摄像机拍摄的左图像或右图像，也可以是其他类型的参考图像，只要其可以用来描述所拍摄场景的边缘特征即可。

在该方法200中，检测第一视差图的一个或多个第一边缘和参考图像的一个或多个第二边缘的方式也可以使用传统的边缘检测的方式，例如，基于搜索和基于零交叉的传统边缘检测方法。在此不赘述该边缘检测的细节。

在本实施例中的校正视差图的提出可以基于两个假设：1）初始视差的跳变区域一般是真正的视差不连续区域；2）真正的视差不连续区域一般处于目标物体的边界或边缘地方。基于上述两项假设，可以通过使得初始视差图中的检测的边界或边缘与（通常可以从拍摄的灰度图中得到的）目标物体边界或边缘一致，来校正初始的视差值。为了这个目的，本实施例可以利用参考图像的边缘去校正初始视差值，简单地说，可以，针对初始视差图中每一条边缘，在参考图像中选择一条匹配的边缘来修正为一致，来校正该初始视差图。

在一个实施例中，所述一个或多个第一边缘和一个或多个第二边缘中的至少一个的长度可以大于预定长度阈值。也就是说，可以针对参考图像和诸如初始视差图的第一视差图分别提取各个边缘，然后过滤短边缘，只保留长边缘（例如，长度大于预定长度阈值的边缘）。预定长度阈值的选取一般跟实际的需求相关，例如，如果要改善的视差图的场景包括较大型的人工建筑物，如高楼、电线杆等，阈值一般选取较大，一般在例如15个像素以上；如果要改善的视差图的场景包括小型物体，如汽车等，阈值一般选取8-9个像素以上。当然，这些阈值的选取仅是例子而非限制。保留长边缘的好处可以包括：减少匹配短边缘的计算量，同时，利用长边缘来进行匹配，由于长边缘的匹配较不容易出错，因此可以使得匹配更加准确。

有时候为了实际需求，需要着重处理又长又直的边缘（因为，利用长直边缘更容易进行更准确的匹配），所以在实际中，可能除了需要计算边缘的长度，还需要考虑边缘的弯曲程度，这里边缘的弯曲程度用曲线的曲率来衡量。关于曲率的意义，可参见网页http://baike.***.com/view/562504.htm。即边缘的长度大于预定长度阈值且边缘的曲率小于预定曲率阈值的边缘可以认为是长直边缘。进而，通过匹配这些长直边缘来更准确地校正视差图。

在本公开中，仅以长边缘为例进行描述，但这不是限制。

在该方法200中，所述校正步骤S202可以包括:步骤S2021(未示出)，基于所检测的一个或多个第一边缘和一个或多个第二边缘的大小和位置，确定各个第一边缘与各个第二边缘的匹配程度；步骤S2022(未示出)，基于具体的第一边缘与所有第二边缘的匹配程度中最大的一个，确定与各个第一边缘匹配的相应的第二边缘；步骤S2023(未示出)，将所述各个第一边缘修正为与其相应的第二边缘一致；以及步骤S2024(未示出)，基于修正后的各个第一边缘，来校正所述第一视差图。

另外，不论长边缘还是短边缘的匹配可以采用各种已知方法，例如，传统的图像匹配方法，例如二维图像匹配中通过比较目标区和搜索区中相同大小的窗口的相关系数，取搜索区中相关系数最大所对应的窗口中心点作为匹配点等等。以下将描述本发明人构思的一种新颖的边缘的匹配方式。

在方法200中，所述基于所检测的一个或多个第一边缘和一个或多个第二边缘的大小和位置，确定各个第一边缘与各个第二边缘的匹配程度的步骤S2021可以包括：

针对每个具体的第一边缘v_i：在参考图像中选择与所述具体的第一边缘v_i在第一方向上有重合的一个或多个具体的第二边缘；计算所述具体的第一边缘v_i和所述选择的一个或多个具体的第二边缘的在与第一方向不同的第二方向上的距离，作为所述具体的第一边缘分别与所述一个或多个具体的第二边缘的各个初步匹配度；以及

建立初步匹配度矩阵Y_(m×n){y_ij}，这里m和n分别是所述第一边缘和第二边缘的数目，其中所述初步匹配度矩阵Y_(m×n){y_ij}中的元素y_ij是第一视差图中第i个第一边缘和参考图像中第j个第二边缘的初步匹配度，其中，i是正整数，且i<=m，且j是正整数，且j<=n。

该第一方向可以是高度方向，该第二方向可以是宽度方向。但是，本发明不限于此，第一方向和第二方向也可以取其他方向。

实际上，通过该初步匹配度矩阵Y_(m×n)已经可以得到第一视差图中的各个第一边缘与参考图像中的各个第二边缘的初步匹配度，可以将其作为在步骤S2021中的匹配程度了。在步骤S2022中，利用这些初步匹配度，可以得知哪个第一边缘与哪个第二边缘最匹配（即，通过比较一个具体的第一边缘与所有第二边缘的所有初步匹配度中哪个最大，或比较所有初步匹配度中大于预定匹配程度阈值），则将它们视为是互相匹配的。从而，在步骤S2023中，将所述各个第一边缘修正为与其相应的第二边缘一致；以及在步骤S2024，基于修正后的各个第一边缘，来校正所述第一视差图。

因此，利用上述初步匹配度矩阵，已经可以校正初始视差图来得到较为准确的视差图，从而为日后的基于视差图的立体匹配或其他立体视觉应用奠定基础。

但是，由于该初步匹配度仅是涉及第一视差图中的各个第一边缘与参考图像中的各个第二边缘之间在宽度方向上的距离，因此，如果通过边缘检测得到的各个第一边缘或各个第二边缘中存在错误检测的边缘，例如，原本是物体的一条边缘，被边缘检测后错误的地检测为两条位置相近的边缘，或原本是两个物体的两条边缘，被边缘检测后错误的地检测为一条边缘，在这种情况下，可能某一物体的边缘原本应该与某一第二边缘匹配，但是由于被错误地检测为两条边缘，则可能导致匹配结果是这两条边缘中一条与该某一第二边缘匹配，而另一条与另一第二边缘匹配。因此，可能需要进一步修改该初步匹配度矩阵。

例如，在一个实施例中，所述基于所检测的一个或多个第一边缘和一个或多个第二边缘的大小和位置，确定各个第一边缘与各个第二边缘的匹配程度的步骤S2021还可以包括：基于所述第一视差图中的第一边缘的分布特性和所述参考图像中的第二边缘的分布特性中的至少一个，修改所述初步匹配度矩阵，以得到修改后的匹配程度。

如果通过分析所述第一视差图中的第一边缘的分布特性和所述参考图像中的第二边缘的分布特性中的至少一个，可以得知哪些第一/二边缘可能应该是相互相关的一个边缘，或者哪些第一/二边缘可能是应该是两个或多个边缘，从而进一步改善各个第一边缘与各个第二边缘的匹配关系。

在一个实施例中，所述第一视差图中的第一边缘的分布特性可以通过以下步骤得到：针对每两个第一边缘V_i′和V_j′计算它们的中心点cp_i′和cp_j′在第一方向上的最小距离；如果该第一方向上的最小距离小于一距离阈值，则计算中心点cp_i′和cp_j′在第二方向的距离，作为所述两个第一边缘v_i′和v_j′的相似度；建立相似度矩阵W_(m×m){w_i′i′}用于修改所述初步匹配度矩阵，这里m是第一视差图中的边缘的数目，其中的元素w_i′j′是第一视差图中第i′个边缘和第j′个边缘的相似程度，其中i′、j′是正整数，且i′<=m和j′<=m。这里，由于相似度矩阵是依据第一视差图中的两个边缘之间的距离来建立的，根据离得越近的两个边缘越有可能是同一条边缘，因此该相似度矩阵在一定程度上可以反映第一视差图中的第一边缘的分布特性，例如，哪些第一边缘可能应该是相互相关的一个边缘，或者哪些第一边缘可能是应该是两个或多个边缘。

在另一实施例中，所述参考图像中的第二边缘的分布特性可以通过以下步骤得到：针对每两个第二边缘u_i′′和u_j′′，计算它们的中心点cp_i′′和cp_j′′在第一方向上的最小距离；如果该第一方向上的最小距离小于一距离阈值，则计算中心点cp_i′′和cp_j′′在第二方向的距离，作为所述两个第二边缘u_i′′和u_j′′的一致度；建立一致度矩阵X_(n×n){x_{i′′j′′}}用于修改所述初步匹配度矩阵，这里n是参考图像中的边缘的数目，其中的元素x_{i‘’j‘’}是参考图像中的第i′′个边缘和第j′′个边缘的一致性程度，其中i′′、j′′是正整数，且i′′<=n和j′′<=n。这里，由于一致度矩阵是依据参考图像中的两个边缘之间的距离来建立的，根据离得越近的两个边缘越有可能是同一条边缘，因此该一致度矩阵在一定程度上可以反映参考图像中的第二边缘的分布特性，例如，哪些第二边缘可能应该是相互相关的一个边缘，或者哪些第二边缘可能是应该是两个或多个边缘。

上述，第一视差图的第一边缘的分布特性和参考图像的第二边缘的分布特性的得到方法仅是示例，可以构思其他方式来得到这些分布特性，只要能够体现各个边缘在空间上的位置和大小之间的关系即可。

上述对初步匹配度的修改可以基于上述第一视差图的第一边缘的分布特性和参考图像的第二边缘的分布特性中的一个，或基于其两者。在基于两者来修改初步匹配度的情况下，可以得到更准确的修改后的匹配程度。

在一个实施例中，所述基于所述第一视差图中的第一边缘的分布特性和所述参考图像中的第二边缘的分布特性中的至少一个，修改所述初步匹配度矩阵，以得到修改后的匹配程度的步骤还可以包括：基于初步匹配度矩阵、以及所述初始视差图中的边缘的分布特性和所述参考图像中的第二边缘的分布特性中的至少一个，构建能量方程；最小化所述能量方程，得出初始视差图中每一个边缘的修改后的匹配程度；构建修正后的匹配度矩阵F_(m×n)，该矩阵的每一行是初始视差图中的一个边缘与参考图像的每一个边缘的修改后的匹配程度。

在一个实施例中，在基于初步匹配度矩阵、以及所述初始视差图中的边缘的分布特性和所述参考图像中的第二边缘的分布特性两者来构建所述能量方程时，可以通过如下公式构建：

E(F)=E_l(F)+αE_s(F)+βE_c(F)，

其中，E_l(F)=tr{(F-Y)^T(F-Y)}，E_s(F)=tr{F^TLF}，E_c(F)=tr{FCF^T}，α和β为常数，其中，L=D^-1/2ΔD^-1/2，其中Δ=D-W，D是一个对角矩阵，每一个对角元素等于矩阵W每一行元素之和；其中，C=D′^-1/2Δ′D′^-1/2，其中Δ′=D′-X,D′是一个对角矩阵，每一个对角元素等于矩阵X每一行元素之和。这里，tr{·}是矩阵的迹，如果F和Y相似，E_l(F)的值就比较小。该能量方程实际上是考虑第一视差图的相似度矩阵W和参考图像的一致度矩阵X对初步匹配度矩阵Y的影响。

然后，最小化所述能量方程E(F)，使得求出匹配度矩阵F在取何值时，E(F)最小，从而得出修改后的匹配度矩阵F，从而得出初始视差图中每一个边缘的修改后的匹配程度；构建修正后的匹配度矩阵F_(m×n)，该矩阵的每一行是初始视差图中的一个边缘与参考图像的每一个边缘的修改后的匹配程度。

如此，通过上述公式可以求得修改后的匹配度矩阵F_(m×n)，该矩阵的每一行是初始视差图中的一个边缘与参考图像的每一个边缘的修改后的匹配程度。从而，继续步骤S2022(未示出)，基于具体的第一边缘与所有第二边缘的匹配程度中最大的一个，确定与各个第一边缘匹配的相应的第二边缘；步骤S2023(未示出)，将所述各个第一边缘修正为与其相应的第二边缘一致；以及步骤S2024(未示出)，基于修正后的各个第一边缘，来校正所述第一视差图。

因此，利用上述修改后的匹配度矩阵，可以得到更为准确的视差图，从而为日后的基于视差图的立体匹配或其他立体视觉应用奠定更好的基础。

图3示出应用图1所示的校正视差图的方法时的效果示例。

从图3可见，首先，对参考图像和初始视差图分别提取（或检测）边缘，并优选地，过滤短边缘，只保留长边缘。从而利用参考图像的与初始视差图中的边缘匹配的边缘，来指导并修正初始视差图的各个边缘，以此来改善初始视差图。从图3中可以看到具体的参考图像和初始视差图的例子，具体的参考图像的边缘和初始视差图的边缘的例子，以及如何过滤短边缘，保留长边缘的例子，以及如何利用参考图像中的匹配的边缘来修正初始视差图中的边缘，来得到改善后的视差图的例子。

从图3也可以看出，根据本发明的各个实施例能够得到改善的视差图，从而为日后的基于视差图的立体匹配或其他立体视觉应用奠定基础。

图4示出了根据本发明的另一个实施例的校正视差图的方法400的详细的示例流程图。

在图4中，首先，输入的是参考图像401和初始视差图402以及它们边缘检测的结果403。然后，可选地，通过计算边缘的长度（例如，边缘的像素的数目）与长度阈值的比较，把短边缘过滤404，从而只保留了长边缘。然后，计算初始视差图和参考图像中边缘的初步匹配度矩阵4011。可选地，计算初始视差图边缘的相似度矩阵4012。可选地，计算参考图像中边缘的一致度矩阵4013。优选地，基于上述初步匹配度、相似度和一致度，最小化能量方程，并计算修改后的每一条边缘的匹配程度（分数）405，基于上述匹配程度，得出初始视差图的每条边缘，对应于参考图像的匹配边缘，然后基于匹配的各个边缘，得出校正后的视差图406。

具体地，初步的匹配度的计算和初始匹配度矩阵Y的构建4011可参考图5所示，图5示出在根据本发明的实施例的校正视差图的方法中根据初始视差图建立初步匹配度矩阵的示意过程。

具体地，在图5中，以v_i(i=0,1,…,m)和u_j(j=0,1,…,n)来分别表示初始视差图和参考图像中的作为示例的长的第一边缘和第二边缘，其中i和j分别是初始视差图和参考图像中的长边缘的索引号，m和n是初始视差图和参考图中长边缘的数目。针对初始视差图的每一条长边缘v_i，主要的步骤例如：

1）计算长边缘v_i的中心点cp_i，这里可以选择任何中心点计算方法，例如计算线段的重心、中心等。

在以下的步骤中，也可以计算边缘的方向。优选地，当两条待计算的边缘与高度方向呈45度以下的角度时（即，可以只针对近似在高度方向Y上的边缘，而忽略宽度方向X上的边缘），按下面的步骤计算；否则（即，大多数是宽度方向上的边缘），Y坐标（高度方向的坐标）可以和X坐标（宽度方向的）互换。

在这里，优选地，只考虑近似在高度方向Y上的边缘的匹配的原因在于，由于双目摄像机一般是平行于地面设置，即平行于宽度方向设置，因此其产生的视差图和参考图像灰度图在宽度方向上的边缘通常不会产生偏移，因此，可以重点修正在高度方向上的边缘的偏移。当然，本发明不限于此，如果在需要的情况下，将双目摄像机垂直于地面而设置，即平行于高度方向设置时，则可以通过将本公开中的高度方向Y和宽度方向X进行互换，则可以适应这种情况。在此，不赘述。

2）在参考图像中，选择与第一长边缘v_i在Y方向（第一方向的例子）有重合的长边缘u_j；

3）计算所述具体的第一边缘v_i和所述选择的一个或多个具体的第二边缘u_j的在与第一方向不同的第二方向上的距离。例如，可以计算该第一长边缘v_i的中心点cp_i和选择出来的参考图像中的长边缘u_j之间的在X方向（第二方向的例子）的距离（这可以通过求第一长边缘v_i的中心点cp_i和选择出来的参考图像中的长边缘u_j的中心点cp_j之间在X方向上的距离），如图5（a）所示。当然该利用中心点求距离的方式仅是例子，还可以构思其他方式来求距离。

4）构建初步匹配度矩阵Y_(m×n){y_ij}，这里m和n分别是初始视差图和参考图像中的边缘的数目，其中的元素y_ij是初始视差图中的第i条边缘和参考图像中的第j条边缘的初步匹配度，其定义可以是如下公式：

$y_{\mathrm{ij}}=\exp \{-\frac{d_x(v_i,u_j)}{{2\mathrm{\&sigma;}}_y^2}\}$

这里d_x(v_i,u_j)表示边缘v_i和u_j的在X方向的距离，σ_y是高斯模型中的参数，为了控制d_x(v_i,u_j)取值的分散程度。当然，该公式y_ij仅是示例而非限制，其主要表示边缘v_i和u_j的在X方向的距离带来的影响。

如此，可以得到初步匹配度矩阵。

实际上，通过该初步匹配度矩阵Y_(m×n)已经可以得到第一视差图中的各个第一边缘与参考图像中的各个第二边缘的初步匹配度，可以将其作为在步骤S2021中的匹配程度了。在步骤S2022中，利用这些初步匹配度，可以得知哪个第一边缘与哪个第二边缘最匹配（即，通过比较一个具体的第一边缘与所有第二边缘的所有初步匹配度中哪个最大，或比较所有初步匹配度中大于预定匹配程度阈值），则将它们视为是互相匹配的。从而，在步骤S2023中，将所述各个第一边缘修正为与其相应的第二边缘一致；以及在步骤S2024，基于修正后的各个第一边缘，来校正所述第一视差图。

但是，由于该初步匹配度仅是涉及第一视差图中的各个第一边缘与参考图像中的各个第二边缘之间在宽度方向上的距离，因此，如果通过边缘检测得到的各个第一边缘或各个第二边缘中存在错误检测的边缘，在这种情况下，可能导致错误的匹配结果。因此，可能需要进一步修改该初步匹配度矩阵。

下面举例、但不作为限制、如何得到第一视差图中的第一边缘的分布特性和所述参考图像中的第二边缘的分布特性的具体例子。

图6示出在根据本发明的实施例的校正视差图的方法中根据初始视差图建立相似度矩阵作为第一视差图中的第一边缘的分布特性的一个例子的示意过程。

在初始视差图中各个边缘之间的相似度可以简单地参考各个边缘之间在宽度方向上的距离来衡量。这是考虑，两条在宽度方向上相近的边缘很可能实际上应该是一条边缘。

基于此，在初始视差图中各个边缘之间的相似度的计算可以如图6所示，假设v_i′和v_j′为初始视差图中两条长边缘，示例的主要步骤如下：

1）计算两条长边缘的中心点cp_i′和cp_j′；

在以下的步骤中，可以计算边缘的方向。如前所述，只有当两条待计算的边缘与高度方向（第一方向的例子）呈45度以下的角度（即，说明这些边缘几乎是垂直的）时，才按下面的步骤计算；否则，Y坐标可以和X坐标进行替换。

在这里，优选地，只考虑近似在高度方向Y上的边缘的匹配的原因在于，由于双目摄像机一般是平行于地面设置，即平行于宽度方向设置，因此其产生的视差图在宽度方向上的边缘通常不会产生偏移，因此，可以重点修正在高度方向上的边缘的偏移。当然，本发明不限于此，如果在需要的情况下，将双目摄像机垂直于地面而设置，即平行于高度方向设置时，则可以通过将本公开中的高度方向Y和宽度方向X进行互换，则可以适应这种情况。在此不赘述。

2）计算v_i′和v_j′在Y方向（高度方向）最小的距离，如果该距离小于一个阈值，则计算两个中心点的X方向（宽度方向，作为第二方向的例子）距离，如图6(a)所示。如此，通过初始视差图的两个边缘的中心点在宽度方向上的距离来简单地表示这两个边缘的相似度。相似度越高，说明这两个边缘越有可能实际上是同一条边缘。

3）构建相似度矩阵W_(m×m){w_i′j′}，这里m是初始视差图中边缘的数目，其中的元素w_i′j′是初始视差图中第i′条边缘和第j′条边缘的相似度，其定义如下：

$w_{i\&prime;j\&prime;}=\exp \{-\frac{d_x(v_{i\&prime;},v_{j\&prime;})}{{2\mathrm{\&sigma;}}_w^2}\}$

这里d_x(v_i′，v_j′)表示边缘v_i′和v_j′的X方向的距离，σ_w是高斯模型中的参数。该公式w_i′j′仅是示例而非限制，其主要表示边缘v_i′和v_j′的在X方向的距离带来的影响。

当然图6所示的简单地参考各个边缘之间在宽度方向上的距离来衡量初始视差图中各个边缘之间的相似度的方式仅是示例，可构思其他方式来体现初始视差图的各个边缘之间的相似度，以避免将实际中的一条边缘错误地检测为两条边缘。

同理，在参考图像中也有可能存在将实际中的一条边缘错误地检测为两条边缘，或者将实际中的两条边缘错误的检测为一条边缘的这类情况，因此可以通过与上述在初始视差图中进行的相似度计算类似地，计算参考图像中的边缘之间的一致度。同理，该一致度越高，说明这两个边缘越有可能实际上是同一条边缘。

参考图像中的边缘的一致度的计算（图中未示出）与初始视差图中边缘的相似度的计算非常相似。即设u_i′′和u_j′′为参考图中两条长边缘，

1）计算两条长边缘的中心点cp_i′′和cp_j′′；

在以下的步骤中，可以计算边缘的方向。如前所述，只有当两条待计算的边缘与高度方向（第一方向的例子）呈45度以下的角度（即，说明这些边缘几乎是垂直的）时，才按下面的步骤计算；否则，Y坐标可以和X坐标进行替换。

2）计算u_i′′和u_j′′在Y方向（高度方向）最小的距离，如果该距离小于一个阈值，则计算两个中心点的X方向（宽度方向，作为第二方向的例子）距离，如图6(a)所示。如此，通过初始视差图的两个边缘的中心点在宽度方向上的距离来简单地表示这两个边缘的相似度。相似度越高，说明这两个边缘越有可能实际上是同一条边缘。

3)构建一致度矩阵X_(n×n){x_{i′′j′′}}，其中的元素x_{i‘’j‘’}是参考图中第i′′条边缘和第j′′条边缘的一致度，其定义如下：

$x_{i\&prime;\&prime;j\&prime;\&prime;}=\exp \{-\frac{d_x(u_{i\&prime;\&prime;},u_{j\&prime;\&prime;})}{{2\mathrm{\&sigma;}}_c^2}\}$

这里d_x(u_i′′,u_j′′)表示边缘u_i′′和u_j′′的X方向的距离，σ_c是高斯模型中的参数。该d_x(u_i′′,u_j′′)仅是示例而非限制，其主要表示边缘u_i′′和u_j′′在X方向的距离带来的影响。

如此，通过初始视差图的相似度矩阵可以进一步体现初始视差图中的检测的边缘之间的相似度，即，它们是否可能是实际上的同一条边缘。而通过参考图像的一致度矩阵可以进一步体现参考图像中的检测的边缘之间的相似度，即，它们是否可能是实际上的同一条边缘。因此，可以考虑初始视差图的相似度矩阵和参考图像的一致度矩阵中的至少一个（即，单独的相似度矩阵、或单独的一致度矩阵、或两者）来进一步地修改之前计算得到的初始视差图的边缘与参考图像的边缘之间的匹配度矩阵。

下面给出仅基于初始视差图的相似度矩阵来修改初步匹配度矩阵F的例子。

能量方程（或者损失方程）可定义为：E(F)=E_l(F)+αE_s(F)。该能量方程的定义也是本领域公知的，本领域技术人员可以根据其原理来构造与本公开中公开的公式不同的其他公式。

在本公开中，

E_l(F)=tr{(F-Y)^T(F-Y)}

E_s(F)=tr{F^TLF}

Δ=D-W,L=D^-1/2ΔD^-1/2

E(F)=tr{(E-Y)^T(F-Y)}+αtr{F^TLF}

目标方程为：F=argmin{E(F)}。在此，该argmin{E(F)}求E(F)的最小值的意思。α是常数参数。

对上式E(F)以F求偏微分，并使得偏微分后的结果等于0（即，计算F取何值时E（F）取最小值），可得到

(αL+I)F=Y

I是对角线上是1，其他为0的单位矩阵。

当αL+I可逆时，有唯一解，即F=(αL+I)^-1Y。

如此，可以计算得到修正后的匹配度矩阵F。

下面，给出仅基于初始视差图的相似度矩阵和参考图像的一致度矩阵两者来修改初步匹配度矩阵F的例子。

即，基于上述初始匹配度、相似度和一致度三者，最小化如下能量方程，来解出每一条长边缘的匹配程度（分数），其中在该情况下的能量方程可以定义如下：

E(F)=E_l(F)+αE_s(F)+βE_c(F)

这里的损失方程E_l(F)，是为了与“匹配假设”相一致，即修改的匹配程度分数须与初始的匹配度（分数）有一定的关联，初始的匹配度（分数）即使不够精确，但也有一定的指导作用。

用矩阵形式表示，E_l(F)可定义如下：

E_l(F)=tr{(F-Y)^T(F-Y)}

这里tr{·}是矩阵的迹，如果F和Y相似，E_l(F)的值就比较小。

损失方程E_s(F)是一个正则化项，目的是为了与“相似性假设”一致，即在初始视差图相距比较近的边缘的匹配度应该比较相似。我们使用上述初始视差图的相似度矩阵W来评价初始视差图中边缘的相似度，对W归一化，得到L=D^-1/2ΔD^-1/2，其中Δ=D-W，D是一个对角矩阵，每一个对角元素等于矩阵W每一行元素之和。

从而，损失方程E_s(F)定义为：

E_s(F)=tr{F^TLF}

与E_s(F)类似的，损失方程E_c(F)也是一个正则化项，目的是满足“一致性假设”，即参考图像中的两条边缘如果相距比较近，这两条边缘与初始视差图中的边缘之间的匹配度也应该比较相似。用一致度矩阵X来评价参考图像中的边缘的一致度（类似于初始视差图的相似度的概念），对X归一化，得到C=D′^-1/2Δ′D′^-1/2，其中Δ′=D′-X，D′是一个对角矩阵，每一个对角元素等于矩阵X每一行元素之和。

从而，损失方程E_c(F)定义为：

E_c(F)=tr{FCF^T}

基于上述公式，能量方程定义如下：

E(F)=tr{(F-Y)^T(F-Y)}+αtr{F^TLF}+βtr{FCF^T}

目标方程为：

F=argmin{E(F)}

对上式E(F)以F求偏微分，并使得求偏微分后的结果为0（即，F取何值时E(F)取最小），可得到，

(αL+I)F+βFC=Y

上述公式本质上属于Sylvester方程（可参见网页http://en.wikipedia.org/wiki/Sylvester_equation），该方程在控制理论里经常用到，在此不赘述。设P=αL+1。其中，I是对角线上为1，其他为0的对角矩阵。众所周知，上述当且仅当P的本征值η₁,η₂,…η_m和C的本征值ζ₁,ζ₂,…ζ_n，满足η_i+ζ_j≠0(i=1,2,…,m;j=1,2,…,n)时，有唯一解。而这个条件在实际当中是很容易满足的。

对矩阵F向量化（向量化的具体步骤可参见网页http://en.wikipedia.org/wiki/Vectorization_(mathematics)），上述公式能转化成线性方程，如下所示：

$(I_m\&CircleTimes;P+C^T\&CircleTimes;I_n)\mathrm{vec}\left(F\right)=\mathrm{vec}\left(Y\right)$

这里是Kronecker乘法算子，I_m和I_n分别是n×n和m×m的单位矩阵。vec(·)是矩阵的向量化算子。最终，我们可以从vec(F)解得F，如下所示：

$F={(I_m\&CircleTimes;P+C^T\&CircleTimes;I_n)}^{+}\mathrm{vec}\left(Y\right)$

此处的加号逆()⁺叫做矩阵的广义逆。传统的矩阵求逆，必须满足两个条件：1.矩阵是方阵；2.矩阵可逆这样的矩阵才能求逆。不满足这两个条件的时候，矩阵就没有逆，但是有所谓的“广义逆”。即可以把它看成是逆矩阵的推广，它有很多和逆矩阵相类似的性质。广义逆的严格定义是：对于矩阵A，存在矩阵G，使得G满足下面4个方程：AGA=A;GAG=G;(AG)'=AG;(GA)'=GA其中上标'表示共轭转置，则称G是A的广义逆矩阵。该加号逆也是本领域公知的，在此不过多描述。

如此，可以求得修改后的匹配度矩阵F。

最后，基于上述修改后的匹配度矩阵F_(m×n)，（每一行表示初始视差图中的一个边缘与参考图像的每个边缘的分别的匹配度）即找出该矩阵中每一行（初始视差图的每个边缘）的最大匹配度（得分），具有最大匹配度（得分）相对应的参考图像的边缘，即为在参考图像中的匹配的边缘，根据上述得到的匹配的边缘，将初始视差图的每个边缘修正为与参考图像中的匹配的边缘一致，来校正初始视差图。即，通过根据初始视差图的原来的每个边缘两侧的视差值，修正为匹配得到的新边缘两侧的视差值（使得其一致）。这样，就可以得到校正后的视差图。

当然，上述公式仅是示例，而不是限制。本领域技术人员可根据本发明的原理来构思新的公式，这些新的公式也落入本发明的保护范围内。

图7示出根据本发明的另一实施例的校正视差图的***700的方框图。

该校正视差图的***700包括：检测装置701，被配置为检测第一视差图的一个或多个第一边缘和参考图像的一个或多个第二边缘；以及校正装置702，被配置为基于所检测的一个或多个第一边缘和一个或多个第二边缘的匹配，校正所述第一视差图以得到校正后的第二视差图。

在一个实施例中，所述一个或多个第一边缘和一个或多个第二边缘中的至少一个的长度可以大于预定长度阈值。

在一个实施例中，所述校正装置702可以包括：基于所检测的一个或多个第一边缘和一个或多个第二边缘的大小和位置，确定各个第一边缘与各个第二边缘的匹配程度的装置；基于具体的第一边缘与所有第二边缘的匹配程度中最大的一个，确定与各个第一边缘匹配的相应的第二边缘的装置；将所述各个第一边缘修正为与其相应的第二边缘一致的装置；以及基于修正后的各个第一边缘，来校正所述第一视差图的装置。

在一个实施例中，所述基于所检测的一个或多个第一边缘和一个或多个第二边缘的大小和位置，确定各个第一边缘与各个第二边缘的匹配程度的装置可以被配置为：针对每个具体的第一边缘v_i：在参考图像中选择与所述具体的第一边缘v_i在第一方向上有重合的一个或多个具体的第二边缘；计算所述具体的第一边缘v_i和所述选择的一个或多个具体的第二边缘的在与第一方向不同的第二方向上的距离，作为所述具体的第一边缘分别与所述一个或多个具体的第二边缘的各个初步匹配度；以及建立初步匹配度矩阵Y_(m×n){y_ij}，这里m和n分别是所述第一边缘和第二边缘的数目，其中所述初步匹配度矩阵Y_(m×n){y_ij}中的元素y_ij是第一视差图中第i个第一边缘和参考图像中第j个第二边缘的初步匹配度，其中，i是正整数，且i<=m，且j是正整数，且j<=n。

在一个实施例中，所述基于所检测的一个或多个第一边缘和一个或多个第二边缘的大小和位置，确定各个第一边缘与各个第二边缘的匹配程度的装置还被配置为：基于所述第一视差图中的第一边缘的分布特性和所述参考图像中的第二边缘的分布特性中的至少一个，修改所述初步匹配度矩阵，以得到修改后的匹配程度。

在一个实施例中，所述第一视差图中的第一边缘的分布特性可以通过以下步骤得到：针对每两个第一边缘v_i′和v_j′，计算它们的中心点cp_i′和cp_j′在第一方向上的最小距离；如果该第一方向上的最小距离小于一距离阈值，则计算中心点cp_i′和cp_j′在第二方向的距离，作为所述两个第一边缘v_i′和v_j′的相似度；建立相似度矩阵W_(m×m){w_i′j′}用于修改所述初步匹配度矩阵，这里m是第一视差图中的边缘的数目，其中的元素w_i′j′是第一视差图中第i′个边缘和第j′个边缘的相似程度，其中i′、j′是正整数，且i′<=m和j′<=m。

在一个实施例中，所述参考图像中的第二边缘的分布特性可以通过以下步骤得到：针对每两个第二边缘u_i′′和u_j′′，计算它们的中心点cp_i′′和cp_j′′在第一方向上的最小距离；如果该第一方向上的最小距离小于一距离阈值，则计算中心点cp_i′′和cp_j′′在第二方向的距离，作为所述两个第二边缘u_i′′和u_j′′的一致度；建立一致度矩阵X_(n×n){x_{i′′j′′}}用于修改所述初步匹配度矩阵，这里n是参考图像中的边缘的数目，其中的元素x_{i‘’j‘’}是参考图像中的第i′′个边缘和第j′′个边缘的一致性程度，其中i′′、j′′是正整数，且i′′<=n和j′′<=n。

在一个实施例中，所述基于所述第一视差图中的第一边缘的分布特性和所述参考图像中的第二边缘的分布特性中的至少一个，修改所述初步匹配度矩阵，以得到修改后的匹配程度的装置还被配置为：基于初步匹配度矩阵、以及所述第一视差图中的第一边缘的分布特性和所述参考图像中的第二边缘的分布特性中的至少一个，构建能量方程；最小化所述能量方程，得出第一视差图中每一个边缘的修改后的匹配程度；构建修正后的匹配度矩阵F_(m×n),该矩阵的每一行是第一视差图中的一个边缘与参考图像的每一个边缘的修改后的匹配程度。

在一个实施例中，在基于所述第一视差图中的第一边缘的分布特性和所述参考图像中的第二边缘的分布特性两者，修改所述初步匹配度矩阵，以得到修改后的匹配程度的情况下,所述能量方程可以通过如下公式构建：

E(F)=E_l(F)+αE_s(F)+βE_c(F)，

其中，E_l(F)=tr{(F-Y)^T(F-Y)}，E_s(F)=tr{F^TLF}，E_c(F)=tr{FCF^T}，α和β为常数，其中，L=D^-1/2ΔD^1-/2，其中Δ=D-W，D是一个对角矩阵，每一个对角元素等于矩阵W每一行元素之和；其中，C=D′^-1/2Δ′D′^-1/2，其中Δ′=D′-X，D′是一个对角矩阵，每一个对角元素等于矩阵X每一行元素之和。

在以上公式中，省略的部分矩阵F、Y、C、I、P、L、X、W等的下标，但是通过上下文可以得出这些矩阵的维度。

该***700还可以包括被配置为执行上述根据本发明的实施例的各个方法的各个装置，在此不再赘述。

应当注意的是，前述一系列处理可通过硬件或软件执行。在通过软件执行前述一些处理的情况下，构成这种软件的程序从网络或记录介质安装。

上面已经参考附图描述了根据本发明实施例的用于计算匹配测度的方法和***。应当注意的是，上述实施例仅是示例性的，而并非限制性的。本领域技术人员完全可以对本发明实施例进行各种修改和替换，而不背离本发明的范围。

Claims (10)

1.一种校正视差图的方法，包括：

检测步骤，检测第一视差图的一个或多个第一边缘和参考图像的一个或多个第二边缘；以及

校正步骤，基于所检测的一个或多个第一边缘和一个或多个第二边缘的匹配，校正所述第一视差图以得到校正后的第二视差图。

2.如权利要求1的方法，其中，所述一个或多个第一边缘和一个或多个第二边缘中的至少一个的长度大于预定长度阈值。

3.如权利要求1或2的方法，其中，所述校正步骤包括：

基于所检测的一个或多个第一边缘和一个或多个第二边缘的大小和位置，确定各个第一边缘与各个第二边缘的匹配程度；

基于具体的第一边缘与所有第二边缘的匹配程度中最大的一个，确定与各个第一边缘匹配的相应的第二边缘；

将所述各个第一边缘修正为与其相应的第二边缘一致；以及

基于修正后的各个第一边缘，来校正所述第一视差图。

4.如权利要求3的方法，所述基于所检测的一个或多个第一边缘和一个或多个第二边缘的大小和位置，确定各个第一边缘与各个第二边缘的匹配程度的步骤包括：

针对每个具体的第一边缘v_i：

在参考图像中选择与所述具体的第一边缘v_i在第一方向上有重合的一个或多个具体的第二边缘；

计算所述具体的第一边缘v_i和所述选择的一个或多个具体的第二边缘的在与第一方向不同的第二方向上的距离，作为所述具体的第一边缘分别与所述一个或多个具体的第二边缘的各个初步匹配度；以及

建立初步匹配度矩阵Y_（m×n){y_ij}，这里m和n分别是所述第一边缘和第二边缘的数目，其中所述初步匹配度矩阵Y_(m×n){y_ij}中的元素y_ij是第一视差图中第i个第一边缘和参考图像中第j个第二边缘的初步匹配度，其中，i是正整数，且i<=m，且j是正整数，且j<=n。

5.如权利要求4的方法，其中，所述基于所检测的一个或多个第一边缘和一个或多个第二边缘的大小和位置，确定各个第一边缘与各个第二边缘的匹配程度的步骤还包括：

基于所述第一视差图中的第一边缘的分布特性和所述参考图像中的第二边缘的分布特性中的至少一个，修改所述初步匹配度矩阵，以得到修改后的匹配程度。

6.如权利要求5的方法，其中，所述第一视差图中的第一边缘的分布特性通过以下步骤得到：

针对每两个第一边缘v_i′和v_j′，计算它们的中心点cp_i′和cp_j′在第一方向上的最小距离；

如果该第一方向上的最小距离小于一距离阈值，则计算中心点cp_i′和cp_j′在第二方向的距离，作为所述两个第一边缘v_i′和v_j′的相似度；

建立相似度矩阵W_(m×m){w_i′j′}用于修改所述初步匹配度矩阵，这里m是第一视差图中的边缘的数目，其中的元素w_i′j′是第一视差图中第i′个边缘和第j′个边缘的相似程度，其中i′、j′是正整数，且i′<=m和j′<=m。

7.如权利要求5的方法，其中，所述参考图像中的第二边缘的分布特性通过以下步骤得到：

针对每两个第二边缘u_i′′和u_j′′，计算它们的中心点cp_i′′和cp_j′′在第一方向上的最小距离；

如果该第一方向上的最小距离小于一距离阈值，则计算中心点cp_i′′和cp_j′′在第二方向的距离，作为所述两个第二边缘u_i′′和u_j′′的一致度；

建立一致度矩阵X_(n×n){x_{i′′j′′}}用于修改所述初步匹配度矩阵，这里n是参考图像中的边缘的数目，其中的元素x_{i‘’j‘’}是参考图像中的第i′′个边缘和第j′′个边缘的一致性程度，其中i′′、j′′是正整数，且i′′<=n和j′′<=n。

8.如权利要求5的方法，所述基于所述第一视差图中的第一边缘的分布特性和所述参考图像中的第二边缘的分布特性中的至少一个，修改所述初步匹配度矩阵，以得到修改后的匹配程度的步骤还包括：

基于初步匹配度矩阵、以及所述第一视差图中的第一边缘的分布特性和所述参考图像中的第二边缘的分布特性中的至少一个，构建能量方程；

最小化所述能量方程，得出第一视差图中每一个边缘的修改后的匹配程度；

构建修正后的匹配度矩阵F_(m×n)，该矩阵的每一行是第一视差图中的一个边缘与参考图像的每一个边缘的修改后的匹配程度。

9.如权利要求8的方法，在基于所述第一视差图中的第一边缘的分布特性和所述参考图像中的第二边缘的分布特性两者，修改所述初步匹配度矩阵，以得到修改后的匹配程度的情况下,所述能量方程通过如下公式构建：

E(F)=E_l(F)+αE_s(F)+βE_c(F)，

其中，E_l(F)=tr{(F-Y)^T(F-Y)}，E_s(F)=tr{F^TLF}，E_c(F)=tr{FCF^T}，α和β为常数，

其中，L=D^-1/2ΔD^-1/2，其中Δ=D-W，D是一个对角矩阵，每一个对角元素等于矩阵W每一行元素之和；其中，C=D′^-1/2Δ′D′^-1/2，其中Δ′=D′-X，D′是一个对角矩阵，每一个对角元素等于矩阵X每一行元素之和。

10.一种校正视差图的***，包括

检测装置，被配置为检测第一视差图的一个或多个第一边缘和参考图像的一个或多个第二边缘；以及

校正装置，被配置为基于所检测的一个或多个第一边缘和一个或多个第二边缘的匹配，校正所述第一视差图以得到校正后的第二视差图。