CN102982334B - 基于目标边缘特征与灰度相似性的稀疏视差获取方法 - Google Patents

Abstract

本发明涉及一种基于目标边缘特征与灰度相似性的稀疏视差获取方法，属于立体视觉技术领域。本发明方法通过Canny图像边缘检测方法提取图像边缘特征，选取图像中目标的强边缘特征点作为待匹配点，将图像的特征相似性与灰度相似性相结合，运用灰度及灰度Census变换融合的相似性检测方法，通过交叉检测排除误匹配点，进一步提高匹配的正确率。为恢复物体的三维位置和姿态信息，提供必要的稀疏视差信息；具有正确率高、匹配速度快及匹配稳定的特点，能有效的为运用双目视觉***测量，特别是主动测量物体的姿态信息提供所需要的稀疏视差信息。

Description

基于目标边缘特征与灰度相似性的稀疏视差获取方法

技术领域

本发明涉及一种基于目标边缘特征与灰度相似性的稀疏视差获取方法，属于立体视觉技术领域。

背景技术

立体匹配是双目立体视觉中恢复场景三维信息的关键步骤。三维空间场景通过摄像机的透视投影作用形成二维平面图像，在由高维空间向低维空间投影的过程中损失了大量的信息，造成由平面图像恢复三维场景信息的本身的歧义性。受摄像机的参数、场景光照不均、物体表面在不同方向的反射率等因素影响，两幅图像中对应点不可能具有完全一样的灰度和颜色特性，给恢复三维场景信息带来额外的困难。各种挑战性难题使得立体匹配成为制约双目立体视觉三维场景恢复的一个长久性的技术难题。

已有的立体匹配方法主要分为全局对应匹配法和局部模板相关匹配法。全局对应匹配方法以得到图像的稠密视差为目的，将立体匹配问题转化为优化问题，以立体匹配中的各种约束条件建立匹配代价函数，利用动态规划、图切法、模拟退火以及各种仿生智能优化方法寻找使匹配代价函数最小的对应关系作为匹配的结果。全局对应匹配方法将建立起图像中每个像素点的视差，得到稠密视差图，但是具有计算密集、运算时间长等缺点。一般用于对整个三维场景进行恢复和立体重构。

局部模板相关匹配方法以求取图像的稀疏视差为目的，从局部出发，利用对应点局部灰度的相似性，逐像素进行比较，取相似度最高的点作为对应点。局部模板相关法可以根据需要，只针对某些点进行比较，具有运算量小，匹配时间短的优势。特别是选择图像中的特征点作为待匹配点，将匹配点周围的灰度与特征相结合，进一步提高局部相关匹配的准确性。主要用于恢复场景中某些物体的深度、三维姿态等信息。

以恢复场景中目标物体的姿态信息为目的的双目立体匹配方法都采用稀疏匹配方法，已有的稀疏匹配算法普遍存在的问题是正确匹配率不高。

发明内容

本发明为解决待匹配特征点的选取以及准确快速稀疏匹配问题，提出一种基于目标边缘特征与灰度相似性的稀疏视差获取方法，为双目视觉主动测量目标物体的姿态信息提供所需的稀疏视差信息。

本发明方法通过选取图像中目标的强边缘特征点作为待匹配点，将图像的特征相似性与灰度相似性相结合，运用灰度及灰度Census变换融合的相似性检测方法，通过交叉检测排除误匹配点，达到快速、稳定、准确完成立体匹配的目的。

基于目标边缘特征与灰度相似性的稀疏视差获取方法，具体包括如下步骤：

步骤1，通过左右摄像机得到被测场景的立体图像对I_L(x，y)和I_R(x，y)，其中I_L(x，y)为左图像，I_R(x，y)为右图像，x、y是像素坐标。对I_L(x，y)、I_R(x，y)进行极线校正，使其只存在水平方向上的视差。

采用Canny图像边缘检测方法对两幅图像分别进行边缘检测，得到左右边缘图像分别为eI_L，eI_R。

步骤2，确定待匹配特征点。

得到边缘图像eI_L，eI_R后，以I_L(x，y)为参考匹配图像，选择eI_L中待匹配物体表面包含边缘点最多的多个边缘连通分量作为多个待匹配边缘特征点，并组成集合E_C，其中包含N个待匹配边缘特征点，坐标分别为(x₁,y₁)、(x₂,y₂)、......、(x_N,y_N)。

步骤3，在I_R(x，y)中搜索待匹配边缘特征点的对应点，通过边缘特征和灰度相似性匹配方法对每一个对应点进行初始匹配。

已知被测场景的深度范围对应的最小视差为d_min，最大视差为d_max。特征和相似性匹配的具体过程为：

①初始化匹配点的计数参数k=1；

②分别将候选视差d、当前最小相似性代价preCost和匹配得到的视差d_M初始化为d=d_min，preCost=∞，d_M=0；

③在待匹配边缘特征点集E_c中选择一个未匹配特征点，其在左图像中的像素坐标为(x₁,y₁)；

④若右图像中的候选对应点(x_k,y_k-d)的左右loc个像素内没有边缘像素，则该点不是可能的对应点，跳到⑧；否则进入下一步；通常取loc小于等于10；

⑤计算待匹配边缘特征点和候选对应点的灰度相似性代价：

$C_{\mathrm{corr}}(k,d)=\underset{m=-W}{\overset{W}{\mathrm{\Σ}}}\underset{n=-W}{\overset{W}{\mathrm{\Σ}}}\mathrm{\ρ}(c_{\mathrm{corr}}(k,d,m,n),{\mathrm{\λ}}_{\mathrm{corr}})$

其中W表示计算相似性代价时的领域大小，通常取值为2到4，c_corr(k，m,n)是两幅图像对应像素灰度值的绝对差，即

c_corr(k，d，m，n)=|I_L(m，n)-I_R(m,n-d)|,-W≤m，n≤W

函数ρ(c，λ)=e^(-c/λ)是指数函数，λ_corr为灰度相似性代价的权重因子。

⑥对分别以待匹配点和候选对应点为中心的领域内的每一点进行Census变换，得到I_L(x，y)、I_R(x，y)的Census变换cI_L(x，y)、cI_R(x，y)。计算对应点的Census相似性代价：

$C_{\mathrm{cen}}(k,d)=\underset{m=-W}{\overset{W}{\mathrm{\Σ}}}\underset{n=-W}{\overset{W}{\mathrm{\Σ}}}\mathrm{\ρ}(c_{\mathrm{cen}}(k,d,m,n),{\mathrm{\λ}}_{\mathrm{cen}})$

其中λ_cen是Census相似性代价的权重因子，c_cen(k，d，m,n)是两幅图像待匹配点和候选对应点的Census变换值的汉明距离，即

c_cen(k，m,n)=d_H(cI_L(m,n),cI_R(m,n-d)),-W≤m,n≤W。

所述Census变换具体过程为：以待求取Census变换的像素点(i，j)为中心像素，取宽度为(2W_c+1)像素的正方形区域；将除中心像素外的正方形区域中的每一像素灰度值，与中心像素(i，j)的灰度值进行比较，若小于中心像素灰度值，则对应位置置1；否则，对应位置为0。将比较后得到的只含0和1的窗口按行依次排列，得到只含0和1的二进制位串，即为像素(i，j)的Census变换。

⑦计算总的相似性代价：

C(k，d)=C_corr(k，d)+C_cen(k，d)

若C(k，d)小于preCost，则d_M=d；否则保持d_M不变；

⑧令d=d+1，如果d>d_max，取当前d_M的值作为当前待匹配像素的视差，取I_R(x_k,y_k-d_M)作为I_L(x_k,y_k)的对应点，进入下一步；若d≤d_max，返回到④；

⑨令k=k+1，如果k>N，则结束匹配，将得到的对应点作为初始匹配对应点；否则，跳到第②步。

步骤4，通过交叉检测器排除误匹配点。

由步骤1至步骤3得到的待匹配点的初始匹配对应点中，可能含有误匹配点，利用交叉检测去除误匹配的点，将剔除后剩下的待匹配边缘特征点及其对应点作为稀疏匹配的结果。

交叉检测去除误匹配的点的具体方法为：将由步骤3得到的所有对应点I_R(x_k,y_k-d_M)分别作为待匹配点，在左图像中进行匹配搜索，具体的搜索方法采用步骤3所述的特征和相似性匹配方法。若得到的对应点不是I_L(x_k,y_k)，则放弃I_L(x_k,y_k)和I_R(x_k,y_k-d_M)；若得到的对应点即为I_L(x_k,y_k)，则保留作为稀疏匹配的结果。

有益效果

本发明能为恢复物体的三维位置和姿态信息，提供必要的稀疏视差信息，解决了双目立体视觉中物体特征点的稀疏匹配问题，并具有以下优点：

（1）采用Canny图像边缘检测算法提取图像边缘特征，选择较强的边缘特征作为待匹配特征点，稳定性好。

（2）选用包含边缘点多的连通分量作为待匹配点且在匹配时运用边缘特征提前排除非匹配点，缩小搜索范围；同时，相似性检测只涉及加减、比较和逻辑运算，很大的提高了稀疏匹配的速度。

（3）采用基于灰度和灰度Census边缘的相似性检测方法，前者直接根据图像局部区域的灰度进行相似性检测，对灰度相似性进行精确的检测，对纹理不规则、不均匀的图像区域能实现比较好的区分；后者将灰度经过Census变换，描述图像局部的结构特征，并用汉明距离来测度灰度的相似性，是灰度相似性的模糊描述，对噪声和环境光照的不均匀性等影响因素不敏感，容易对纹理规则且相似的区域进行区分。将上述两类相似性检测方法通过具有鲁棒性的指数函数进行融合，扬长避短，降低误匹配，使达到最佳的匹配效果。

（4）通过交叉检测，排除误匹配点，进一步提高匹配的正确率。

本发明具有正确率高、匹配速度快及匹配稳定的特点，能有效的为运用双目视觉***测量，特别是主动测量物体的姿态信息提供所需要的稀疏视差信息。

附图说明

图1为具体实施方式中稀疏立体匹配器的结构框图。

图2为本发明基于图像边缘特征的稀疏立体匹配技术流程图；

图3为实施例中标准测试采用的左图像；

图4为实施例中标准测试采用的右图像；

图5为实施例中以左图像为参考的真实视差图；

图6为实施例中左图像的边缘特征图；

图7为实施例中右图像的边缘特征图；

图8为实施例中待匹配边缘特征点区域选择图；

图9为实施例图8中待匹配边缘特征点区域放大图；

图10为实施例得到的真实匹配的边缘特征点图像。

具体实施方式

为了更好的说明本发明的目的和优点，下面结合具体的实施例加以说明。

本发明方法首先以左图像为参考，右图像为匹配搜索图像进行匹配，利用边缘特征相似性约束来尽快的排除非对应点；然后，利用基于灰度和灰度Census变换的相似性检测方法找到最佳的匹配对应点。最后，将以右图像为参考，左图像为匹配搜索图像对匹配结果进行交叉检测，排除误匹配点，进一步提高匹配的准确性，具体流程如图2所示。

根据本发明方法设计的稀疏立体匹配器的结构如图1所示，包括Canny边缘检测器、边缘特征与灰度相似性匹配器和交叉检测器。首先通过左右摄像机得到双目立体视觉图像对中的左右图像，然后通过Canny边缘检测器得到左右图像的边缘特征，再将左右图像及其边缘特征送入边缘特征与灰度相似性匹配器中得到初始的稀疏匹配结果，最后通过交叉检测剔除误匹配点，对初始匹配结果求精得到以边缘特征点为匹配点的稀疏视差信息。

本实施例运用本发明方法对双目立体视觉标准图像对进行立体匹配。具体匹配过程为：

首先，获得左右图像对，并进行极线校正。本实例采用标准测试图像对，即已经经过极线校正的图像对。其中校正后的左图像如图3，校正后的有图像如图4，其中左图像的真实视差如图5。并通过Canny边缘检测器对校正后的图像对进行边缘检测，得到左右图像的边缘特征分别如图6和图7，其中白色表示边缘特征。

其次，在左图像中选取待匹配的目标区域，本实例选取如图8中矩形框所示的区域为待匹配区域。为了更清楚的观察待匹配区域中的边缘特征点，图9给出了待匹配区域的放大图。矩形框中的所有边缘点构成待匹配边缘特征点集E_c，共有N=334个待匹配边缘特征点。

然后，进行本发明方法中的步骤3，即图2所示，本发明流程图中特征匹配模块部分，d_min=1，d_max=70,λ_corr=5,λ_cen=5，相似性检测邻域窗口大小W取值为2，Census变换时邻域窗口大小W_c取值为2。对每一待匹配点和每一待考察视差处的灰度相似性代价和基于Census变换的相似性代价计算如下：

$C_{\mathrm{corr}}(k,d)=\underset{m=-5}{\overset{5}{\mathrm{\Σ}}}\underset{n=-5}{\overset{5}{\mathrm{\Σ}}}\mathrm{\ρ}(c_{\mathrm{corr}}(k,d,m,n),5)$

$C_{\mathrm{cen}}(k,d)=\underset{m=-5}{\overset{5}{\mathrm{\Σ}}}\underset{n=-5}{\overset{5}{\mathrm{\Σ}}}\mathrm{\ρ}(c_{\mathrm{cen}}(k,d,m,n),5)$

并计算总的相似性代价如下：

C(k，d)=C_corr(k，d)+C_cen(k，d)

通过步骤3得到待匹配边缘特征点集E_c的334对匹配结果。

然后，将上一步得到的334对初始匹配结果按照本发明中步骤4的方法进行交叉检测，剔除334对初始匹配结果中可能误匹配的点。经过交叉检测，剔除了124对误匹配点，得到210对匹配结果，如图10所示。

最后，对交叉检测得到的210对匹配结果的正确性进行验证。以图5所示的本实施例图像对的标准视差图作为对照，进行比较，最终表明210对匹配结果完全正确。

本实施例得到的匹配效果为：图9矩形区域中总共的边缘特征点数N=334个，通过交叉检测后，真实匹配的边缘特征点数为210个，正确匹配的边缘特征点数为210个，正确匹配率为100%。图10给出了交叉检测后，真实匹配的210个边缘点，与图9相比，交叉检测剔出了334-210=124个误匹配的点，最终达到完全正确匹配。

本实施例证明本发明能解决图像特征点的稀疏匹配问题，为双目视觉中恢复物体的深度信息和三维姿态信息提供所需的稀疏视差信息。同时，匹配效果非常好，匹配正确率高，能够达到完全正确实现双目图像对稀疏立体匹配。

Claims (2)

1.基于目标边缘特征与灰度相似性的稀疏视差获取方法，其特征在于：包括以下步骤：

步骤1，通过左右摄像机得到被测场景的立体图像对I_L(x,y)和I_R(x,y)，其中I_L(x,y)为左图像，I_R(x,y)为右图像，x、y是像素坐标；对I_L(x,y)、I_R(x,y)进行极线校正，使其只存在水平方向上的视差；

采用Canny图像边缘检测方法对两幅图像分别进行边缘检测，得到左右边缘图像分别为eI_L，eI_R；

步骤2，确定待匹配特征点；

得到边缘图像eI_L，eI_R后，以I_L(x,y)为参考匹配图像，选择eI_L中待匹配物体表面包含边缘点最多的多个边缘连通分量作为多个待匹配边缘特征点，并组成集合E_C，其中包含N个待匹配边缘特征点，坐标分别为(x₁,y₁)、(x₂,y₂)、......、(x_N,y_N)；

步骤3，在I_R(x,y)中搜索待匹配边缘特征点的对应点，通过边缘特征和灰度相似性匹配方法对每一个对应点进行初始匹配；

所述特征和相似性匹配的具体过程为：

①初始化匹配点的计数参数k＝1；

②分别将候选视差d、当前最小相似性代价preCost和匹配得到的视差d_M初始化为d＝d_min，preCost＝∞，d_M＝0；其中d_min为被测场景的深度范围对应的最小视差，d_max为最大视差；

③在待匹配边缘特征点集E_c中选择一个未匹配特征点，其在左图像中的像素坐标为(x_k,y_k)；

④若右图像中的候选对应点(x_k,y_k-d)的左右loc个像素内没有边缘像素，则该点不是可能的对应点，跳到⑧；否则进入下一步；

⑤计算待匹配边缘特征点和候选对应点的灰度相似性代价：

$C_{corr}(k,d)=\underset{m=-W}{\overset{W}{\Σ}}\underset{n=-W}{\overset{W}{\Σ}}\mathrm{\ρ}\left(c_{corr}\right(k,d,m,n),{\mathrm{\λ}}_{corr})$

其中W表示计算相似性代价时的领域大小，c_corr(k,d,m,n)是两幅图像对应像素灰度值的绝对差：

c_corr(k,d,m,n)＝|I_L(m,n)-I_R(m,n-d)|,-W≤m,n≤W

函数ρ(c,λ)＝e(^-c/λ)是指数函数，λ_corr为灰度相似性代价的权重因子；

⑥分别以待匹配点和候选对应点为中心像素，进行Census变换，得到I_L(x,y)、I_R(x,y)的Census变换cI_L(x,y)、cI_R(x,y)；计算对应点的Census相似性代价：

$C_{cen}(k,d)=\underset{m=-W}{\overset{W}{\Σ}}\underset{n=-W}{\overset{W}{\Σ}}\mathrm{\ρ}\left(c_{cen}\right(k,d,m,n),{\mathrm{\λ}}_{cen})$

其中λ_cen是Census相似性代价的权重因子，c_cen(k,d,m,n)是两幅图像待匹配点和候选对应点的Census变换值的汉明距离：

c_cen(k,d,m,n)＝d_H(cI_L(m,n),cI_R(m,n-d)),-W≤m,n≤W；

所述Census变换具体过程为：以待求取Census变换的像素点(i,j)为中心像素，取宽度为(2W_c+1)像素的正方形区域；将除中心像素外的正方形区域中的每一像素灰度值，与中心像素(i,j)的灰度值进行比较，若小于中心像素灰度值，则对应位置置1；否则，对应位置为0；将比较后得到的只含0和1的窗口按行依次排列，得到只含0和1的二进制位串，作为像素(i,j)的Census变换；

⑦计算总的相似性代价：

C(k,d)＝C_corr(k,d)+C_cen(k,d)

若C(k,d)小于preCost，则d_M＝d,并更新preCost；否则保持d_M不变；

⑧令d＝d+1，如果d>d_max，取当前d_M的值作为当前待匹配像素的视差，取I_R(x_k,y_k-d_M)作为I_L(x_k,y_k)的对应点，进入下一步；若d≤d_max，返回到④；

⑨令k＝k+1，如果k>N，则结束匹配，将得到的对应点作为初始匹配对应点；否则，跳到第②步；

步骤4，通过交叉检测器排除误匹配点；将剔除后剩下的待匹配边缘特征点及其对应点作为稀疏匹配的结果；

交叉检测去除误匹配点的具体方法为：将由步骤3得到的所有对应点I_R(x_k,y_k-d_M)分别作为待匹配点，在左图像中进行匹配搜索，具体的搜索方法采用步骤3所述的特征和相似性匹配方法；若得到的对应点不是I_L(x_k,y_k)，则放弃I_L(x_k,y_k)和I_R(x_k,y_k-d_M)；若得到的对应点即为I_L(x_k,y_k)，则保留作为稀疏匹配的结果。

2.根据权利要求1所述的基于目标边缘特征与灰度相似性的稀疏视差获取方法，其特征在于：loc小于等于10。