CN112991421A - 一种机器人视觉立体匹配方法 - Google Patents

Abstract

本发明公开了一种机器人视觉立体匹配方法，首先在代价计算部分，通过SAD和MCT匹配代价计算方式，可以在保证图像在弱纹理与重复纹理效果的同时，兼顾窗口像素点相关性与的全局性，避免引入噪声；其次在代价聚合阶段，引入基于图像梯度而改变尺寸大小与方向的自适应窗口，利用基于梯度变化的自适应窗口，充分的考虑到图像的梯度信息，即在梯度平缓区域窗口尺寸增大，梯度变化剧烈区域窗口尺寸减小，使图像的边缘部分得到最大程度的保持，同时，在自适应窗口内进行引导滤波以代价聚合，在此基础之上进一步使用多尺度聚合的方法，得到更优的代价聚合结果；最终在进行视差计算与视差优化，得到最优视差结果，具有机器人视觉立体匹配度高的优点。

Description

一种机器人视觉立体匹配方法

技术领域

本发明属于工业机器人及移动机器人视觉感知技术领域，具体涉及一种机器人视觉立体匹配方法，尤其设计一种基于改进代价计算与梯度自适应窗口多尺度聚合的机器人视觉立体匹配方法。

背景技术

立体匹配技术是立体视觉极其关键的一步，匹配的精度与速度是立体视觉应用与发展的关键制约因素，立体匹配技术在摄影测量，三维重建，虚拟现实，无人驾驶，移动机器人，移动小车，火星车，月球车等多个领域有着广泛的应用。立体匹配的精度直接影响移动机器人深度估计与地形三维重构的精度，对移动机器人基于立体视觉的视觉导航的精度提升起着非常关键作用，直接影响移动机器人视觉感知任务是否能够完成。

立体匹配根据最优化方法的不同，可分为全局算法与局部算法两类。全局算法是在全局范围内建立一个能量函数，在对能量函数进行最优化，得到每个像素的代价值，再进行代价计算与视差优化，得到最终的视差图。全局算法精度较高，但是计算复杂度高，实时性差，在实际应用场景中会有很大的限制。局部算法则包括代价计算，代价聚合，视差计算，视差优化四个步骤，代价计算的目的是计算待匹配像素对的相关性，Xing Mei在《OnBuilding an Accurate Stereo Matching System on Graphics Hardware》中提出了像素绝对值AD与census-transform相结合的代价计算方式，对图像的弱纹理与重复纹理区域的匹配效果有所提高，但是像素绝对值AD为单像素的相关性，容易引入噪声，传统的census-transform只是以窗口中每个像素与中心像素做对比，忽略了整个窗口的全局性。代价聚合是在局部立体匹配算法中最重要的一步，本质上可以看作对初始匹配代价滤波的过程，传统的利用盒子滤波器与高斯滤波器在代价聚合阶段进行滤波，不能很好的保护图像中的边缘信息，Pauline Tan在《Stereo Disparity through Cost Aggregation with GuidedFilter》一文中提出了用引导滤波器进行代价聚合，边缘保护性能有所提升，但是其是在图象全局范围内进行引导滤波，在深度不连续，图像梯度变化较大区域仍不能得到更好的结果。Kang Zhang在《Cross-Scale Cost Aggregation for Stereo Matching》一文中首先提出跨尺度融合进行代价聚合的思想，但是其在单尺度的代价聚合效果比较一般。

发明内容

本发明的目的在于避免现有技术中的不足而提供一种机器人视觉立体匹配方法，首先在代价计算部分，可以在兼顾像素点相关性与全局性，在充分考虑到像素点相关性的同时不会过多的引入噪声。其次在代价聚合阶段，利用基于梯度变化的自适应窗口，充分的考虑到图像的梯度信息，使图像的边缘部分得到最大程度的保持，在此基础之上进一步使用多尺度聚合的方法，得到更优的代价聚合结果。最终在进行视差计算与视差优化，得到最优视差结果，具有机器人视觉立体匹配度高的优点。

本发明的目的通过以下技术方案实现：提供一种机器人视觉立体匹配方法，包括以下步骤：

步骤1、获取畸变校正与立体校正后的待匹配双目图像；

步骤2、改进传统的基于梯度的匹配代价计算方式，将x,y方向的梯度进行融合；

步骤3、将SAD和MCT匹配代价计算方式进行融合，其中，SAD表示待匹配像素邻域内所有像素的灰度差绝对值之和，MCT表示待匹配双目图像中支持窗口中心像素为像素均值的改进的census变换；

步骤4、将改进的基于梯度的匹配代价计算方式与SAD和MCT匹配代价计算方式进行再一次融合，得到最终的匹配代价计算方式；

步骤5、将待匹配双目图像进行下采样，生成图像金字塔；

步骤6、在生成的图像金字塔的每个尺度的图像上，生成基于梯度而尺寸大小变化的自适应窗口；

步骤7、通过步骤4的匹配代价计算方式，得到每个尺度的图像对应的视差空间图，对每个视差空间图利用步骤6得到的自适应窗口进行滑动，并在自适应窗口内进行引导滤波，即为每个尺度的代价聚合过程；

步骤8、将步骤7得到的每个尺度的代价聚合结果进行多尺度聚合，得到最终的代价聚合结果；

步骤9、利用胜者为王WTA的方法计算步骤8中代价聚合结果，得到像素的视差值；

步骤10、利用自适应权重中值滤波，左右一致性检测方法对得到的视差值进行优化，得到最终的视差结果，该视差结果即为最终的立体匹配结果。

作为进一步的改进，所述步骤2具体表现如下：

设定已知x,y方向的梯度为

其中，

为在x方向的计算梯度操作，

为在y方向的计算梯度操作，G_R为在三通道图像中像素在R通道的值，G_G为在三通道图像中像素在G通道的值,G_B为在三通道图像中像素在B通道的值,进而得到改进的基于梯度的匹配代价计算公式：

式中，p表示像素，d表示视差值，α表示在梯度代价中y方向的梯度所占的比重，为设定值，

表示像素p在左图中在x方向的梯度值，

表示像素p-d在右图中在x方向的梯度值，

表示像素p在左图中在y方向的梯度值，

表示像素p-d在右图中在y方向的梯度值，τ₁、τ₂均表示设置的截断值。

作为进一步的改进，所述步骤3中SAD匹配代价计算为

其中，I_l(p)表示像素p在左图中三个通道数值之和，I_r(p-d)表示像素p-d在右图中三个通道数值之和，N_P表示以像素p为中心的邻域，MCT的匹配代价计算为C_mcent(p,d)＝Hamming(C_cl(p),C_cr(p-d))，其中，Hamming表示汉明距离，具体操作为对C_cl(p)与C_cr(p-d)进行异或运算，统计结果为1的个数，C_cl(p)表示像素p在左图进行变换后得到的字符串，C_cr(p-d)表示像素p-d在右图进行变换后得到的字符串。

作为进一步的改进，所述MCT匹配代价计算方法过程如下：

首先，将邻域像素与中心像素比较得到布尔值，并将布尔值映射到一个比特串中，中心像素值为邻域窗口内所有像素的均值，得到

C_c(p)表示对像素p进行变换操作之后得到的字符串，

表示按位连接，N_P表示p的邻域，

表示邻域所有像素的均值，I(p)表示像素p的值，为三个通道数值之和；

然后，取两个比特串的汉明距离得到MCT匹配代价计算，其中汉明距离即两个比特串的对应位不相同的数量，具体为将两个比特串进行异或运算，在统计异或运算结果的比特位中不为1的个数，得到的MCT匹配代价计算方式为

C_mcent(p,d)＝Hamming(C_cl(p),C_cr(p-d))。

作为进一步的改进，所述步骤4中得到的最终的匹配代价计算方式为：

式中，λ_SAD表示SAD匹配代价计算方式的调控参数，λ_mcent表示MCT匹配代价计算方式的调控参数，λ_g表示改进的基于梯度的匹配代价计算方式的调控参数，λ_SAD、λ_mcent和λ_g均为设定值。

作为进一步的改进，所述步骤6具体表现为：

步骤a:对待匹配双目图像分别计算出水平方向与竖直方向的梯度g_x与g_y，计算方式为

以像素p为中心的初始平滑窗口的方向为θ⁰(i,j)，其计算方式为θ⁰(i,j)＝arctan(g_(y)(i,j)/g_(x)(i,j))，i表示像素p的横坐标值，j表示像素p的纵坐标值，g_(x)(i,j)表示像素p在x方向的梯度，g_(y)(i,j)表示像素p在y方向的梯度，设初始窗口的尺寸为w⁰(i,j)与H⁰(i,j)，w⁰(i,j)表示初始窗口的宽，H⁰(i,j)表示初始窗口的高，其计算方式为

a表示平滑窗口中最大的方形窗口尺寸；

步骤b：计算窗口内水平方向与竖直方向的梯度代数和

和

计算方式为

其中，k表示水平方向单位数值，l表示竖直方向单位数值，g_x(i+k,j+l)表示坐标为(i+k,j+l)的像素在水平方向的梯度，g_y(i+k,j+l)表示坐标为(i+k,j+l)的像素在竖直方向的梯度，L为该自适应窗口，窗口方向依据梯度代数和更新，计算方式为，

步骤c：计算窗口内水平方向与竖直方向的梯度绝对值和

与

窗口尺寸依据梯度绝对值和更新，梯度绝对值和计算方式为

窗口尺寸计算方式为

其中，w^m(i,j)表示自适应窗口在水平方向的尺寸，H^m(i,j)表示自适应窗口在竖直方向的尺寸，θ^m(i,j)表示自适应窗口的方向；

步骤d：当自适应窗口尺寸满足条件

时，停止更新窗口的尺寸与方向，其中，w^m+1(i,j)表示自适应窗口邻域水平方向的尺寸，H^m+1(i,j)表示自适应窗口邻域竖直方向的尺寸。

作为进一步的改进，所述步骤7在自适应窗口内进行引导滤波，具体通过如下步骤实现：

首先，建立引导滤波算法的能量函数优化模型

式中，a_k和b_k表示引导滤波的线性系数，I_i表示输入图像，P_i表示待滤波图像，i与k表示图像索引，

为正则项，放在能量函数方程中防止a_k过大，N_k表示像素k的自适应支持窗口；

其次，通过对能量函数优化模型最小化计算得到基于自适应窗口的引导滤波的线性系数a_k与b_k分别为

式中，μ_k表示I_i的均值，

表示待滤波图像在自适应窗口中的均值,σ_k表示I_i的标准差；

最后，滤波后得到的代价函数为

其中a_kI_i+b_k表示输出图像，在以像素k为中心的窗口中，输出图像与I_i存在局部线性关系。

作为进一步的改进，所述步骤8中得到最终的代价聚合结果为

表示最终的聚合代价，S表示向下采样层数，A表示求解过程中的系数矩阵，s表示具体的每一层，

表示第0层的匹配代价矩阵。

本发明提供的机器人视觉立体匹配方法，首先在代价计算部分，通过SAD和MCT匹配代价计算方式，可以在保证图像在弱纹理与重复纹理效果的同时，兼顾窗口像素点相关性与的全局性，避免引入噪声；其次在代价聚合阶段，引入基于图像梯度而改变尺寸大小与方向的自适应窗口，利用基于梯度变化的自适应窗口，充分的考虑到图像的梯度信息，即在梯度平缓区域窗口尺寸增大，梯度变化剧烈区域窗口尺寸减小，使图像的边缘部分得到最大程度的保持，同时，在自适应窗口内进行引导滤波以代价聚合，在此基础之上进一步使用多尺度聚合的方法，得到更优的代价聚合结果；最终在进行视差计算与视差优化，得到最优视差结果，具有机器人视觉立体匹配度高的优点。

附图说明

利用附图对本发明作进一步说明，但附图中的实施例不构成对本发明的任何限制，对于本领域的普通技术人员，在不付出创造性劳动的前提下，还可以根据以下附图获得其它的附图。

图1是机器人视觉立体匹配方法的流程图。

具体实施方式

为了使本领域的技术人员更好地理解本发明的技术方案，下面结合附图和具体实施例对本发明作进一步详细的描述，需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

图1为本发明一实施例提供的机器人视觉立体匹配方法。参见图1，该机器人视觉立体匹配方法包括以下步骤：

步骤1、获取畸变校正与立体校正后的待匹配双目图像；

步骤2、改进传统的基于梯度的匹配代价计算方式，将x,y方向的梯度进行融合；该步骤具体表现为：设定已知x,y方向的梯度为

其中

为在x方向的计算梯度操作，

为在y方向的计算梯度操作，G_R为在三通道图像中像素在R通道的值，G_G为在三通道图像中像素在G通道的值,G_B为在三通道图像中像素在B通道的值,,进而得到改进的基于梯度的匹配代价计算公式：

式中，p表示像素，d表示视差值，α表示在梯度代价中y方向的梯度所占的比重，为设定值，

表示像素p在左图中在x方向的梯度值，

表示像素p-d在右图中在x方向的梯度值，

表示像素p在左图中在y方向的梯度值，

表示像素p-d在右图中在y方向的梯度值，τ₁、τ₂表示设置的截断值。

步骤3、将SAD(sum of absolute diffenence绝对差值的和)和MCT(mean censustransform均值变换)匹配代价计算方式进行融合，其中，SAD表示待匹配像素邻域内所有像素的灰度差绝对值之和，MCT表示待匹配双目图像中支持窗口中心像素为像素均值的改进的census(统计)变换；

具体地，该步骤中SAD匹配代价计算为

其中，I_l(p)表示像素p在左图中三个通道数值之和，I_r(p-d)表示像素p-d在右图中三个通道数值之和，N_P表示以像素p为中心的邻域；MCT的匹配代价计算方法为，首先，将邻域像素与中心像素比较得到布尔值，并将布尔值映射到一个比特串中，中心像素值为邻域窗口内所有像素的均值，得到

其中C_c(p)表示对像素p进行变换操作之后得到的字符串，

表示按位连接，N_P表示p的邻域，

表示邻域所有像素的均值，I(p)表示像素p的值，为三个通道数值之和；然后，取两个比特串的汉明距离得到MCT匹配代价计算，其中汉明距离即两个比特串的对应位不相同的数量，具体为将两个比特串进行异或运算，在统计异或运算结果的比特位中不为1的个数，得到的MCT匹配代价计算方式为C_mcent(p,d)＝Hamming(C_cl(p),C_cr(p-d))，其中，其中，Hamming表示汉明距离，具体操作为对C_cl(p)与C_cr(p-d)进行异或运算，统计结果为1的个数，C_cl(p)表示像素p在左图进行变换后得到的字符串，C_cr(p-d)表示像素p-d在右图进行变换后得到的字符串。

步骤4、将改进的基于梯度的匹配代价计算方式与SAD和MCT匹配代价计算方式进行再一次融合，得到最终的匹配代价计算方式

式中，λ_SAD表示SAD计算方法的调控参数，λ_mcent表示MCT计算方法的调控参数，λ_g表示改进梯度方法的调控参数，均为设定值；

步骤5、将待匹配双目图像进行下采样，生成图像金字塔；

步骤6、在生成的图像金字塔的每个尺度的图像上，生成基于梯度而尺寸大小变化的自适应窗口；需要说明的是，该窗口的尺寸，形状与方向会随图像结构信息的变化而变化。其中生成自适应窗口的具体步骤为：

步骤a:对待匹配双目图像分别计算出水平方向与竖直方向的梯度g_x与g_y，计算方式为

以像素p为中心的初始平滑窗口的方向为θ⁰(i,j)，其计算方式为θ⁰(i,j)＝arctan(g_(y)(i,j)/g_(x)(i,j))，i表示像素p的横坐标值，j表示像素p的纵坐标值，g_(x)(i,j)表示像素p在x方向的梯度，g_(y)(i,j)表示像素p在y方向的梯度，设初始窗口的尺寸为w⁰(i,j)与H⁰(i,j)，w⁰(i,j)表示初始窗口的宽，H⁰(i,j)表示初始窗口的高，其计算方式为

a表示平滑窗口中最大的方形窗口尺寸；

步骤b：计算窗口内水平方向与竖直方向的梯度代数和

和

计算方式为

其中，k表示水平方向单位数值，l表示竖直方向单位数值，g_x(i+k,j+l)表示坐标为(i+k,j+l)的像素在水平方向的梯度，g_y(i+k,j+l)表示坐标为(i+k,j+l)的像素在竖直方向的梯度，L为该自适应窗口，窗口方向依据梯度代数和更新，计算方式为，

步骤c：计算窗口内水平方向与竖直方向的梯度绝对值和

与

窗口尺寸依据梯度绝对值和更新，梯度绝对值和计算方式为

窗口尺寸计算方式为

其中，w^m(i,j)表示自适应窗口在水平方向的尺寸，H^m(i,j)表示自适应窗口在竖直方向的尺寸，θ^m(i,j)表示自适应窗口的方向；

步骤d：当自适应窗口尺寸满足条件

时，停止更新窗口的尺寸与方向，其中，w^m+1(i,j)表示自适应窗口邻域水平方向的尺寸，H^m+1(i,j)表示自适应窗口邻域竖直方向的尺寸。

步骤7、通过步骤4的匹配代价计算方式，得到每个尺度的图像对应的视差空间图，对每个视差空间图利用步骤6得到的自适应窗口进行滑动，并在自适应窗口内进行引导滤波，即为每个尺度的代价聚合过程；即本步骤中自适应窗口只是一个窗口，进行引导滤波是在自适应窗口之内的，对象为之前匹配代价计算得到的结果(为视差空间图)，不同尺度的图像会得到自己的视差空间图，分别进行自适应窗口引导滤波后，再进行汇总，在每个视差空间图上进行自适应窗口引导滤波的过程为代价聚合。

具体地，该步骤中，首先，建立引导滤波算法的能量函数优化模型

式中，a_k和b_k表示引导滤波的线性系数，I_i表示输入图像，P_i表示待滤波图像，i与k表示图像索引，

为正则项，放在能量函数方程中防止a_k过大，N_k表示像素k的自适应支持窗口；

其次，通过对能量函数优化模型最小化计算得到基于自适应窗口的引导滤波的线性系数a_k与b_k分别为

μ_k表示I_i的均值，

表示待滤波图像在自适应窗口中的均值,σ_k表示I_i的标准差；

最后，滤波后得到的代价函数为

其中a_kI_i+b_k表示输出图像，在以像素k为中心的窗口中，输出图像与I_i存在局部线性关系。

步骤8、将步骤7得到的每个尺度的代价聚合结果进行多尺度聚合，得到最终的代价聚合结果

表示最终的聚合代价，S表示向下采样层数，A表示求解过程中的系数矩阵，s表示具体的每一层，

表示第0层的匹配代价矩阵。需要说明的是，由于之前在每个尺度的图像上进行了代价聚合，本步骤是把每个尺度得到的结果进行汇总，故叫多尺度聚合。

步骤9、利用胜者为王WTA(winner take all在某个像素的所有视差下的代价值中，选择最小代价对应的视差作为最优视差)的方法计算步骤8中代价聚合结果，得到像素的视差值；

步骤10、利用自适应权重中值滤波，左右一致性检测方法对得到的视差值进行优化，得到最终的视差结果，该视差结果即为最终的立体匹配结果。

综上所述，本发明机器人视觉立体匹配方法的具体过程为(1)获取畸变校正与立体校正后的待匹配双目图像；(2)改进传统的基于梯度的匹配代价计算方式，将x,y方向的梯度进行合理有效的归一化融合；(3)将待匹配像素邻域内所有像素的灰度差绝对值之和SAD与支持窗口中心像素为像素均值的改进的census变换MCT的匹配代价计算方式进行融合；(4)将改进的基于梯度的匹配代价计算方式与SAD和MCT匹配代价计算方式进行再一次融合，得到最终的匹配代价计算方式；(5)将待匹配双目图像进行下采样，生成图像金字塔；(6)在每个尺度的图像上，生成基于梯度自动控制尺寸大小的自适应窗口；(7)在每个窗口内进行引导滤波；(8)再将图像金字塔的不同尺度的结果进行聚合得到最终的代价聚合结果；(9)利用胜者为王WTA的方法计算步骤8中代价聚合结果，得到像素的视差值；(10)利用自适应权重中值滤波，左右一致性检测方法对视差计算得到的结果进行视差优化，得到最终的立体匹配结果。通过上述过程，本发明在立体匹配的代价聚合过程中，引入了基于梯度变化的自适应窗口，可以随梯度的变化改变窗口尺寸的大小，梯度变化平缓则窗口较大，梯度变化剧烈则窗口较小，并在自适应窗口内进行引导滤波代价聚合。相比在整张图片全局范围内进行引导滤波代价聚合，本发明的方法可以更着重计算局部，在深度不连续的区域等立体匹配容易出错的区域，可以削弱其影响，在深度变化平缓等立体匹配效果比较好的区域，可以增大其影响，同时在此基础之上，本发明引入了多尺度聚合的方法，会在深度不连续区域得到更优的立体匹配效果。

故此，与现有技术相比，本发明的优点在于：

(1)有效的减弱计算过程中噪声的引入，提高立体匹配的精度

本发明在代价计算过程改进传统的AD-Census(absolute diffenence census绝对差值与census变换相结合)代价计算方式，提出了SAD和MCT的匹配代价计算方式，利用邻域支持窗口的像素和的代价与中心像素为邻域支持窗口均值的Census变换代价相融合，在兼顾像素相关性的同时，考虑到了邻域窗口内其它像素的作用，更具有全局性，所以在计算过程中会削弱噪声的影响，减少噪声的引入。

(2)在深度不连续及纹理变化比较丰富区域得到更优的效果，提高立体匹配的精度。

上面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，不能理解为对本发明保护范围的限制。

总之，本发明虽然列举了上述优选实施方式，但是应该说明，虽然本领域的技术人员可以进行各种变化和改型，除非这样的变化和改型偏离了本发明的范围，否则都应该包括在本发明的保护范围内。

Claims (8)

1.一种机器人视觉立体匹配方法，其特征在于，包括以下步骤：

步骤1、获取畸变校正与立体校正后的待匹配双目图像；

步骤2、改进传统的基于梯度的匹配代价计算方式，将x,y方向的梯度进行融合；

步骤3、将SAD和MCT匹配代价计算方式进行融合，其中，SAD表示待匹配双目图像中待匹配像素邻域内所有像素的灰度差绝对值之和，MCT表示待匹配双目图像中支持窗口中心像素为像素均值的改进的census变换；

步骤4、将改进的基于梯度的匹配代价计算方式与SAD和MCT匹配代价计算方式进行再一次融合，得到最终的匹配代价计算方式；

步骤5、将待匹配双目图像进行下采样，生成图像金字塔；

步骤6、在生成的图像金字塔的每个尺度的图像上，生成基于梯度而尺寸大小变化的自适应窗口；

步骤7、通过步骤4的匹配代价计算方式，得到每个尺度的图像对应的视差空间图，对每个视差空间图利用步骤6得到的自适应窗口进行滑动，并在自适应窗口内进行引导滤波，即为每个尺度的代价聚合过程；

步骤8、将步骤7得到的每个尺度的代价聚合结果进行多尺度聚合，得到最终的代价聚合结果；

步骤9、利用胜者为王WTA的方法计算步骤8中代价聚合结果，得到像素的视差值；

步骤10、利用自适应权重中值滤波，左右一致性检测方法对得到的视差值进行优化，得到最终的视差结果，该视差结果即为最终的立体匹配结果。

2.根据权利要求1所述的机器人视觉立体匹配方法，其特征在于，所述步骤2具体表现如下：

设定已知x,y方向的梯度为

其中，

为在x方向的计算梯度操作，

为在y方向的计算梯度操作，G_R为在三通道图像中像素在R通道的值，G_G为在三通道图像中像素在G通道的值,G_B为在三通道图像中像素在B通道的值,进而得到改进的基于梯度的匹配代价计算公式：

式中，p表示像素，d表示视差值，α表示在梯度代价中y方向的梯度所占的比重，为设定值，

表示像素p在左图中在x方向的梯度值，

表示像素p-d在右图中在x方向的梯度值，

表示像素p在左图中在y方向的梯度值，

表示像素p-d在右图中在y方向的梯度值，τ₁、τ₂均表示设置的截断值。

3.根据权利要求2所述的机器人视觉立体匹配方法，其特征在于，所述步骤3中SAD匹配代价计算为

其中，I_l(p)表示像素p在左图中三个通道数值之和，I_r(p-d)表示像素p-d在右图中三个通道数值之和，N_P表示以像素p为中心的邻域，MCT的匹配代价计算为C_mcent(p,d)＝Hamming(C_cl(p),C_cr(p-d))，其中，Hamming表示汉明距离，具体操作为对C_cl(p)与C_cr(p-d)进行异或运算，统计结果为1的个数，C_cl(p)表示像素p在左图进行变换后得到的字符串，C_cr(p-d)表示像素p-d在右图进行变换后得到的字符串。

4.根据权利要求3所述的机器人视觉立体匹配方法，其特征在于，所述MCT匹配代价计算方法过程如下：

首先，将邻域像素与中心像素比较得到布尔值，并将布尔值映射到一个比特串中，中心像素值为邻域窗口内所有像素的均值，得到

其中C_c(p)表示对像素p进行变换操作之后得到的字符串，

表示按位连接，N_P表示p的邻域，

表示邻域所有像素的均值，I(p)表示像素p的值，为三个通道数值之和；

然后，取两个比特串的汉明距离得到MCT匹配代价计算，其中汉明距离即两个比特串的对应位不相同的数量，具体为将两个比特串进行异或运算，在统计异或运算结果的比特位中不为1的个数，得到的MCT匹配代价计算方式为

C_mcent(p,d)＝Hamming(C_cl(p),C_cr(p-d))。

5.根据权利要求4所述的机器人视觉立体匹配方法，其特征在于，所述步骤4中得到的最终的匹配代价计算方式为：

式中，λ_SAD表示SAD匹配代价计算方式的调控参数，λ_mcent表示MCT匹配代价计算方式的调控参数，λ_g表示改进的基于梯度的匹配代价计算方式的调控参数，λ_SAD、λ_mcent和λ_g均为设定值。

6.根据权利要求5所述的机器人视觉立体匹配方法，其特征在于，所述步骤6具体表现为：

步骤a:对待匹配双目图像分别计算出水平方向与竖直方向的梯度g_x与g_y，计算方式为

以像素p为中心的初始平滑窗口的方向为θ⁰(i,j)，其计算方式为θ⁰(i,j)＝arctan(g_(y)(i,j)/g_(x)(i,j))，i表示像素p的横坐标值，j表示像素p的纵坐标值，g_(x)(i,j)表示像素p在x方向的梯度，g_(y)(i,j)表示像素p在y方向的梯度，设初始窗口的尺寸为w⁰(i,j)与H⁰(i,j)，w⁰(i,j)表示初始窗口的宽，H⁰(i,j)表示初始窗口的高，其计算方式为

a表示平滑窗口中最大的方形窗口尺寸；

步骤b：计算窗口内水平方向与竖直方向的梯度代数和

和

计算方式为

其中，k表示水平方向单位数值，l表示竖直方向单位数值，g_x(i+k,j+l)表示坐标为(i+k,j+l)的像素在水平方向的梯度，g_y(i+k,j+l)表示坐标为(i+k,j+l)的像素在竖直方向的梯度，L为该自适应窗口，窗口方向依据梯度代数和更新，计算方式为，

步骤c：计算窗口内水平方向与竖直方向的梯度绝对值和

与

窗口尺寸依据梯度绝对值和更新，梯度绝对值和计算方式为

窗口尺寸计算方式为

其中，w^m(i,j)表示自适应窗口在水平方向的尺寸，H^m(i,j)表示自适应窗口在竖直方向的尺寸，θ^m(i,j)表示自适应窗口的方向；

步骤d：当自适应窗口尺寸满足条件

时，停止更新窗口的尺寸与方向，其中，w^m+1(i,j)表示自适应窗口邻域水平方向的尺寸，H^m+1(i,j)表示自适应窗口邻域竖直方向的尺寸。

7.根据权利要求6所述的机器人视觉立体匹配方法，其特征在于，所述步骤7在自适应窗口内进行引导滤波，具体通过如下步骤实现：

首先，建立引导滤波算法的能量函数优化模型

式中，a_k和b_k表示引导滤波的线性系数，I_i表示输入图像，P_i表示待滤波图像，i与k表示图像索引，

为正则项，放在能量函数方程中防止a_k过大，N_k表示像素k的自适应支持窗口；

其次，通过对能量函数优化模型最小化计算得到基于自适应窗口的引导滤波的线性系数a_k与b_k分别为

式中，μ_k表示I_i的均值，

表示待滤波图像在自适应窗口中的均值,σ_k表示I_i的标准差；

最后，滤波后得到的代价函数为

其中a_kI_i+b_k表示输出图像，在以像素k为中心的窗口中，输出图像与I_i存在局部线性关系。

8.根据权利要求7所述的机器人视觉立体匹配方法，其特征在于，所述步骤8中得到最终的代价聚合结果为

表示最终的聚合代价，S表示向下采样层数，A表示求解过程中的系数矩阵，s表示具体的每一层，

表示第0层的匹配代价矩阵。

Images