CN102567964A - 一种用于立体视觉视差图的滤波方法 - Google Patents

Abstract

一种用于立体视觉视差图的滤波方法，应用于从图像中恢复的视差数据的滤波处理，去除噪声点，以利于后续应用，如三维重建、场景分析和路径规划等。包括以下步骤：处理视差数据，将其转换为连续和整型的图像数据；根据视差图的分布特点设计处理方法求取视差图的梯度；对梯度图进行自动分割，识别其中的噪声种子点；以种子点为起点，滤除与其连通的噪声区域；对滤除噪声的视差图进行连续性滤波，完善视差图效果；最后根据滤除噪声后的视差图恢复视差数据。本发明有效减少了视差数据中的噪点，提高了视差数据的可用性。

Description

一种用于立体视觉视差图的滤波方法

技术领域

本发明属于机器视觉领域，特别是一种用于立体视觉视差图的滤波方法。

背景技术

现有视觉理论和视觉技术中，针对提高立体视觉匹配效果的方法有很多种，对视差图的滤波方法也有很多研究。但是多数方法还是在通用的层面上，并没有针对视差特征及其噪声特殊考虑的方法。

如文献《立体视觉中误匹配滤波方法的研究》中，针对稠密匹配的视差图提出了两种滤波方法：基于视差均值的滤波法和基于真实控制点的滤波法。其中第一种方法是将小窗口内超过视差均值的点滤掉，第二种方法是滤掉通过松弛迭代和最小中值平方法后的稀疏匹配点对。文献《双目立体匹配图像对的预处理研究》中，采用了通用的高斯模板、平滑模板和中值模板对视差图进行了滤波。文献《Reliability-aware Cross Multilateral Filtering for Robust DisparityMap Refinement》中介绍了一种可靠的多边交叉滤波方法，利用了左右图像正向和反向匹配视差值的函数来进行视差的滤波。

发明内容

本发明要解决的技术问题是：克服现有技术的不足，提供一种立体视觉输出视差数据的滤波方法，有效减少了视差数据中的噪点，提高了视差数据的可用性，满足了三维恢复和规划的需求。

本发明的技术解决方案包括以下步骤：一种用于立体视觉视差图的滤波方法，实现步骤如下：

第一步，将立体视觉输出的视差数据转换为整型图像数据，所述立体视觉输出的视差数据包括无效点和有效点，无效点灰度为0，有效点按照最大视差和最小视差进行整形化，完成后最大的视差点灰度为255，最小的视差点灰度为1；

第二步，对第一步得到的图像数据，求其像素中邻域的灰度差值，并剔除无效点的影响，计算得到视差图的梯度图；

第三步，采用自适应的分割方法分割梯度图，梯度变化剧烈的位置提取为噪声种子点；

第四步，以所述噪声种子点为起点，在噪声种子点上下左右四个方面进行遍历搜索，找到的相邻点与噪声种子点灰度差值小于设定阈值的区域认为是噪声连通区域，予以剔除，得到噪声滤除后的图像；

第五步，对噪声滤除后的图像进行连通域滤波，对噪声剔除形成的空缺区域进行填补，得到新的更平滑连续的视差图；

第六步，根据填补后的视差图恢复视差数据。

所述第二步梯度图的计算过程为：

(21)以图像数据中的当前点A₀为中心坐标，取其周围的8个相邻点A₁…A₈，其中设定中间值m为1，则A₁＝I_D(i-m，j-m)，A₂＝I_D(i-m，j)，A₃＝I_D(i-m，j+m)，A₄＝I_D(i，j-m)，A₅＝I_D(i，j+m)，A₆＝I_D(i+m，j-m)，A₇＝I_D(i+m，j)，A₈＝I_D(i+m，j+m)，I_D(i，j)表示(i，j)这一点的视差灰度值，统计8个相邻点中灰度为零的点的总数num；i表示该点的像素横坐标，j表示该点的像素纵坐标；

(22)如果总数num大于设定的数目的阈值V_ZN则转到(23)，否则计算当前点的梯度T_D＝|A₀×(8-num)-A₁-A₂-A₃-A₄-A₅-A₆-A₇-A₈|；

(23)将A₀点当前的相邻点向外扩展一圈，m增加1，用以剔除无效点的影响，更新新的A₁…A₈和总数num，如果扩展的圈数小于圈数设定的阈值V_QN，则转到(22)，否则转到(24)；

(24)将当前点的梯度值T_D值设为255；

(25)对图像进行遍历，计算得到视差图的梯度图。

所述第三步具体实现为：

(31)将视差图的梯度图分为均等的上下左右四个区域；

(32)在每个区域内分别统计灰度为1～255的个数N(i)，i＝1～255，计算像素个数占整个图像总像素的比值

i＝1～255，Width为图像的像素宽度，Height为图像的像素高度；

(33)设定分割目标前景和背景的分割阈值为t，计算中间变量 $\left\{\begin{array}{c}{\mathrm{\μ}}_1\left(t\right)=\underset{i=1}{\overset{t}{\mathrm{\Σ}}}P\left(i\right)i/\mathrm{\θ}\left(t\right)\\ {\mathrm{\μ}}_2\left(t\right)=\underset{i=t+1}{\overset{G}{\mathrm{\Σ}}}P\left(i\right)i/(1-\mathrm{\θ}\left(t\right))\end{array}\right.$ 和 $\left\{\begin{array}{c}{\mathrm{\σ}}_1^2=\underset{i=1}{\overset{t}{\mathrm{\Σ}}}{[i-{\mathrm{\μ}}_1\left(t\right)]}^{2}P\left(i\right)/\mathrm{\θ}\left(t\right)\\ {\mathrm{\σ}}_2^2=\underset{i=t+1}{\overset{G}{\mathrm{\Σ}}}{[i-{\mathrm{\μ}}_1\left(t\right)]}^{2}P\left(i\right)/[1-\mathrm{\θ}\left(t\right)]\end{array}\right.,$ 选取Fisher的分割准则，

当J(i)最大时对应的t值即为最佳分割阈值；

(34)根据分割阈值将梯度图像进行分割，大于分割阈值的点认为是梯度变化剧烈的点，设为255，小于分割阈值的设为零。灰度为255的点即为噪声种子点。

所述的第四步具体实现：

(41)将噪声种子点标记为已找到点，其余点标记为未找到点；

(42)从噪声种子点开始向其左方、右方、上方和下方四个方向进行搜索，如果该方向上的下一点灰度值和噪声种子点的灰度值差异小于设定的噪声阈值V_TN且标记为未找到点，则认为该点是噪声连通区域，将该点标记为已找到点，并用该找到点坐标更新种子点位置；噪声种子点和该找到点对应的视差图上的灰度设为0，从视差图中予以剔除；

(43)重复步骤(42)，直至整个图像被遍历，得到噪声滤除后的图像。

所述的第五步中，对滤除噪声的视差图采用中值滤波进行平滑，中值滤波是在图像中提取滤波窗口大小的数据区域，对区域里的灰度分布进行排列，取排列的中间值来代替该窗口中心的灰度值。

本发明的优点是：

(1)本发明将立体视觉计算得到的视差值转换为视差图像，并考虑到视差图灰度分布的不同特性，以梯度的分割形式提取区域噪点，对视差数据进行了有效滤波，减少了视差数据中的噪点，提高了视差数据的可用性，在一定程度上解决了利用立体视觉数据进行环境感知的难题。

(2)本发明充分考虑了视差图中出现的离散块状噪声，排除无效点参与计算，扩大寻找范围，以保证梯度计算的准确性，对无效区域中的独立噪声块也可有效去除。

附图说明

图1为本发明实现流程图；

图2为本发明中的相机拍摄的原始图像；

图3为本发明中的由原始图像匹配视差数据形成的视差图；

图4为本发明中的噪声滤除后视差效果图；

图5为本发明中的连续性滤波后视差效果图。

具体实施方式

如图1所示，本发明具体实现如下：

第一步，对左右相机拍摄的立体图像对(左相机图像如图2所示，为8位灰度图像)进行内参数和极线校正，对校正后的图像进行匹配和插值，得到每个点浮点型的视差数据Df(i，j)，最大的视差为D_max，除零外的最小视差为D_min。设定无效的视差点灰度为零，其余点进行整型化，公式如下：i＝0～Width-1 j＝0～Height-1，Width为图像的像素宽度，该图为256。Height为图像的像素高度，该图为256。得到每一点的整型视差Di(i，j)，形成视差图如图3所示，图中每个像素对应原始图像的像素位置，灰度值表示的是该目标点成像在左右相机中的横向坐标差异整型化的结果，黑色的边缘对应原始图像中剔除不进行匹配的部分。

第二步，以视差图中的当前点A₀为中心坐标，取其周围的8个相邻点A₁…A₈，设定中间量m为1，令A₁＝I_D(i-m，j-m)，A₂＝I_D(i-m，j)，A₃＝I_D(i-m，j+m)，A₄＝I_D(i，j-m)，A₅＝I_D(i，j+m)，A₆＝I_D(i+m，j-m)，A₇＝I_D(i+m，j)，A₈＝I_D(i+m，j+m)，统计8个相邻点中灰度为零的点的总数num；如果num小于设定值4，则计算T_D＝|A₀×(8-num)-A₁-A₂-A₃-A₄-A₅-A₆-A₇-A₈|，否则将A₀点当前的相邻点向外扩展一圈，令m＝m+1，更新新的A₁…A₈和num，如果扩展的圈数小于设定值10，num也满足条件，则计算T_D＝|A₀×(8-num)-A₁-A₂-A₃-A₄-A₅-A₆-A₇-A₈|(A₁…A₈为当前圈上的更新值)，否则将当前点的T_D值设为255。

第三步将梯度图分为均等的上下左右四个区域，按照256×256的梯度图分为左上角i＝0～127 j＝0～127，右上角i＝128～255 j＝0～127，左下角i＝0～127 j＝128～255，右下角i＝128～255 j＝128～255；在每个区域内统计灰度为1～255的个数N(k)，k＝1～255，计算像素个数占整个图像总像素的比值

k＝1～255；计算中间量

$\left\{\begin{array}{c}{\mathrm{\μ}}_1\left(t\right)=\underset{i=1}{\overset{t}{\mathrm{\Σ}}}P\left(i\right)i/\mathrm{\θ}\left(t\right)\\ {\mathrm{\μ}}_2\left(t\right)=\underset{i=t+1}{\overset{G}{\mathrm{\Σ}}}P\left(i\right)i/(1-\mathrm{\θ}\left(t\right))\end{array}\right.,$ $\left\{\begin{array}{c}{\mathrm{\σ}}_1^2=\underset{i=1}{\overset{t}{\mathrm{\Σ}}}{[i-{\mathrm{\μ}}_1\left(t\right)]}^{2}P\left(i\right)/\mathrm{\θ}\left(t\right)\\ {\mathrm{\σ}}_2^2=\underset{i=t+1}{\overset{G}{\mathrm{\Σ}}}{[i-{\mathrm{\μ}}_1\left(t\right)]}^{2}P\left(i\right)/[1-\mathrm{\θ}\left(t\right)]\end{array}\right.,$ 按照公式 $J\left(t\right)=\frac{{|\mathrm{\θ}\left(t\right){\mathrm{\μ}}_1\left(t\right)-[1-\mathrm{\θ}\left(t\right)\left]{\mathrm{\μ}}_2\left(t\right)\right|}^2}{\mathrm{\θ}\left(t\right){\mathrm{\σ}}_1^2\left(t\right)+[1-\mathrm{\θ}\left(t\right)]{\mathrm{\σ}}_2^2\left(t\right)},$ 计算最大值，将J(t)最大时对应的t值记为D_th；根据D_th将梯度图像进行分割，大于D_th的设为255，小于分割阈值的设为零。

第四步，在分割后的图像上取灰度等于255的点，对应到视差图中该位置的点设为种子点；将种子点标记为已找到点，其余点标记为未找到点；从种子点开始向其左方、右方、上方和下方四个方向进行搜索，如果该方向上的下一点灰度值和种子点的灰度值差异小于设定阈值8且标记为未找到点，则将该点标记为已找到点，并用其坐标更新种子点位置；重复该过程，直至整个图像被遍历。得到噪声滤除后的视差效果图如图4，图中每个像素对应原始图像的像素位置，灰度值表示的是该目标点成像在左右相机中的横向坐标差异整型化的结果，黑色的边缘对应原始图像中剔除不进行匹配的部分。相比图3，梯度变化较大的点，包括白色的噪声块、地形起伏高低处的交线部分被滤除。

第五步，对滤除噪声的视差图采用中值滤波进行平滑，中值滤波是在图像中提取滤波窗口大小的数据区域，对区域里的灰度分布进行排列，取排列的中间值来代替该窗口中心的灰度值。得到中值滤波的视差效果如图5所示，图中每个像素对应原始图像的像素位置，灰度值表示的是该目标点成像在左右相机中的横向坐标差异整型化的结果，黑色的边缘对应原始图像中剔除不进行匹配的部分。相比图4，噪点滤除形成的空缺区域得到填充，新的视差图更平滑，更连续。

第六步，对每一个像点的视差进行整型到浮点的变换，Di(i，j)为当前点的整型视差值，则其浮点视差值为

i＝0～Width-1 j＝0～Height-1。利用Df(i，j)和立体相机对的参数进行三维地形值的恢复，基本公式为

i＝0～Width-1 j＝0～Height-1，

i＝0～Width-1 j＝0～Height-1，

i＝0～Width-1 j＝0～Height-1，其中Baseline为立体相机对之间的基线，f为相机焦距，dx为像元横向尺寸，dy为像元纵向尺寸，Width和Height分别为相机图像的像素宽度和高度，此处取Width＝256和Height＝256。

经过本发明，由视差图恢复的三维地形去除了大面积的噪声块，与真实地形更加吻合，数据可直接用于路径规划，解决了三维地形存在噪声块而导致无法规划的问题。

本发明未详细阐述部分属于本领域技术人员的公知技术。

Claims (5)

1.一种用于立体视觉视差图的滤波方法，其特征在于实现步骤如下：

第一步，将立体视觉输出的视差数据转换为整型图像数据，所述立体视觉输出的视差数据包括无效点和有效点，无效点灰度为0，有效点按照最大视差和最小视差进行整形化，完成后最大的视差点灰度为255，最小的视差点灰度为1；

第二步，对第一步得到的图像数据，求其像素中邻域的灰度差值，并剔除无效点的影响，计算得到视差图的梯度图；

第三步，采用自适应的分割方法分割所述梯度图，梯度图中梯度变化剧烈的位置提取为噪声种子点；

第四步，以所述噪声种子点为起点，在噪声种子点上下左右四个方面进行遍历搜索，找到的相邻点与噪声种子点灰度差值小于设定阈值的区域认为是噪声连通区域，予以剔除，得到噪声滤除后的图像；

第五步，对噪声滤除后的图像进行连通域滤波，对噪声剔除形成的空缺区域进行填补，得到新的更平滑连续的视差图；

第六步，根据填补后的视差图恢复视差数据。

2.根据权利要求1的用于立体视觉视差图的滤波方法，其特征在于：所述第二步中计算得到视差图的梯度图过程为：

(21)以图像数据中的当前点A₀为中心坐标，取A₀周围的8个相邻点A₁…A₈，其中设定中间值m为1，则A₁＝I_D(i-m，j-m)，A₂＝I_D(i-m，j)，A₃＝I_D(i-m，j+m)，A₄＝I_D(i，j-m)，A₅＝I_D(i，j+m)，A₆＝I_D(i+m，j-m)，A₇＝I_D(i+m，j)，A₈＝I_D(i+m，j+m)，I_D(i，j)表示(i，j)这一点的视差灰度值，统计8个相邻点中灰度为零的点的总数num；i表示该点的像素横坐标，j表示该点的像素纵坐标；

(22)如果总数num大于设定的数目的阈值V_ZN则转到(23)，否则计算当 前点的梯度T_D＝|A₀×(8-num)-A₁-A₂-A₃-A₄-A₅-A₆-A₇-A₈|；

(23)将A₀点当前的相邻点向外扩展一圈，m增加1，用以剔除无效点的影响，更新新的A₁…A₈和总数num，如果扩展的圈数小于圈数设定的阈值V_QN，则转到(22)，否则转到(24)；

(24)将当前点的梯度值T_D值设为255；

(25)对图像进行遍历，计算得到视差图的梯度图。

3.根据权利要求1的用于立体视觉视差图的滤波方法，其特征在于：所述第三步具体实现为：

(31)将视差图的梯度图分为均等的上下左右四个区域；

(32)在每个区域内分别统计灰度为1～255的个数N(i)，i＝1～255，计算像素个数占整个图像总像素的比值 

i＝1～255，Width为图像的像素宽度，Height为图像的像素高度；

(33)设定分割目标前景和背景的分割阈值为t，计算中间变量 

和

选取Fisher的分割准则， 当J(t)最大时对应的t值即为最佳分割阈值；

(34)根据分割阈值将梯度图像进行分割，大于分割阈值的点认为是梯度变化剧烈的点，设为灰度255，小于分割阈值的设为零，灰度为255的点即为噪声种子点。

4.根据权利要求1的用于立体视觉视差图的滤波方法，其特征在于：所述的第四步具体实现：

(41)将噪声种子点标记为已找到点，其余点标记为未找到点； 

(42)从噪声种子点开始向其左方、右方、上方和下方四个方向进行搜索，如果该方向上的下一点灰度值和噪声种子点的灰度值差异小于设定的噪声阈值V_TN且标记为未找到点，则认为该点是噪声连通区域，将该点标记为已找到点，并用该找到点坐标更新种子点位置；噪声种子点和该找到点对应的视差图上的灰度设为0，从视差图中予以剔除；

(43)重复步骤(42)，直至整个图像被遍历，得到噪声滤除后的图像。

5.根据权利要求1的用于立体视觉视差图的滤波方法，其特征在于：所述的第五步中，对滤除噪声的视差图采用中值滤波进行平滑，中值滤波是在图像中提取滤波窗口大小的数据区域，对区域里的灰度分布进行排列，取排列的中间值来代替该窗口中心的灰度值。 

Images