CN102567964A - 一种用于立体视觉视差图的滤波方法 - Google Patents
一种用于立体视觉视差图的滤波方法 Download PDFInfo
- Publication number
- CN102567964A CN102567964A CN2011104123844A CN201110412384A CN102567964A CN 102567964 A CN102567964 A CN 102567964A CN 2011104123844 A CN2011104123844 A CN 2011104123844A CN 201110412384 A CN201110412384 A CN 201110412384A CN 102567964 A CN102567964 A CN 102567964A
- Authority
- CN
- China
- Prior art keywords
- point
- noise
- filtering
- image
- parallax
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Processing (AREA)
Abstract
一种用于立体视觉视差图的滤波方法,应用于从图像中恢复的视差数据的滤波处理,去除噪声点,以利于后续应用,如三维重建、场景分析和路径规划等。包括以下步骤:处理视差数据,将其转换为连续和整型的图像数据;根据视差图的分布特点设计处理方法求取视差图的梯度;对梯度图进行自动分割,识别其中的噪声种子点;以种子点为起点,滤除与其连通的噪声区域;对滤除噪声的视差图进行连续性滤波,完善视差图效果;最后根据滤除噪声后的视差图恢复视差数据。本发明有效减少了视差数据中的噪点,提高了视差数据的可用性。
Description
技术领域
本发明属于机器视觉领域,特别是一种用于立体视觉视差图的滤波方法。
背景技术
现有视觉理论和视觉技术中,针对提高立体视觉匹配效果的方法有很多种,对视差图的滤波方法也有很多研究。但是多数方法还是在通用的层面上,并没有针对视差特征及其噪声特殊考虑的方法。
如文献《立体视觉中误匹配滤波方法的研究》中,针对稠密匹配的视差图提出了两种滤波方法:基于视差均值的滤波法和基于真实控制点的滤波法。其中第一种方法是将小窗口内超过视差均值的点滤掉,第二种方法是滤掉通过松弛迭代和最小中值平方法后的稀疏匹配点对。文献《双目立体匹配图像对的预处理研究》中,采用了通用的高斯模板、平滑模板和中值模板对视差图进行了滤波。文献《Reliability-aware Cross Multilateral Filtering for Robust DisparityMap Refinement》中介绍了一种可靠的多边交叉滤波方法,利用了左右图像正向和反向匹配视差值的函数来进行视差的滤波。
发明内容
本发明要解决的技术问题是:克服现有技术的不足,提供一种立体视觉输出视差数据的滤波方法,有效减少了视差数据中的噪点,提高了视差数据的可用性,满足了三维恢复和规划的需求。
本发明的技术解决方案包括以下步骤:一种用于立体视觉视差图的滤波方法,实现步骤如下:
第一步,将立体视觉输出的视差数据转换为整型图像数据,所述立体视觉输出的视差数据包括无效点和有效点,无效点灰度为0,有效点按照最大视差和最小视差进行整形化,完成后最大的视差点灰度为255,最小的视差点灰度为1;
第二步,对第一步得到的图像数据,求其像素中邻域的灰度差值,并剔除无效点的影响,计算得到视差图的梯度图;
第三步,采用自适应的分割方法分割梯度图,梯度变化剧烈的位置提取为噪声种子点;
第四步,以所述噪声种子点为起点,在噪声种子点上下左右四个方面进行遍历搜索,找到的相邻点与噪声种子点灰度差值小于设定阈值的区域认为是噪声连通区域,予以剔除,得到噪声滤除后的图像;
第五步,对噪声滤除后的图像进行连通域滤波,对噪声剔除形成的空缺区域进行填补,得到新的更平滑连续的视差图;
第六步,根据填补后的视差图恢复视差数据。
所述第二步梯度图的计算过程为:
(21)以图像数据中的当前点A0为中心坐标,取其周围的8个相邻点A1…A8,其中设定中间值m为1,则A1=ID(i-m,j-m),A2=ID(i-m,j),A3=ID(i-m,j+m),A4=ID(i,j-m),A5=ID(i,j+m),A6=ID(i+m,j-m),A7=ID(i+m,j),A8=ID(i+m,j+m),ID(i,j)表示(i,j)这一点的视差灰度值,统计8个相邻点中灰度为零的点的总数num;i表示该点的像素横坐标,j表示该点的像素纵坐标;
(22)如果总数num大于设定的数目的阈值VZN则转到(23),否则计算当前点的梯度TD=|A0×(8-num)-A1-A2-A3-A4-A5-A6-A7-A8|;
(23)将A0点当前的相邻点向外扩展一圈,m增加1,用以剔除无效点的影响,更新新的A1…A8和总数num,如果扩展的圈数小于圈数设定的阈值VQN,则转到(22),否则转到(24);
(24)将当前点的梯度值TD值设为255;
(25)对图像进行遍历,计算得到视差图的梯度图。
所述第三步具体实现为:
(31)将视差图的梯度图分为均等的上下左右四个区域;
(34)根据分割阈值将梯度图像进行分割,大于分割阈值的点认为是梯度变化剧烈的点,设为255,小于分割阈值的设为零。灰度为255的点即为噪声种子点。
所述的第四步具体实现:
(41)将噪声种子点标记为已找到点,其余点标记为未找到点;
(42)从噪声种子点开始向其左方、右方、上方和下方四个方向进行搜索,如果该方向上的下一点灰度值和噪声种子点的灰度值差异小于设定的噪声阈值VTN且标记为未找到点,则认为该点是噪声连通区域,将该点标记为已找到点,并用该找到点坐标更新种子点位置;噪声种子点和该找到点对应的视差图上的灰度设为0,从视差图中予以剔除;
(43)重复步骤(42),直至整个图像被遍历,得到噪声滤除后的图像。
所述的第五步中,对滤除噪声的视差图采用中值滤波进行平滑,中值滤波是在图像中提取滤波窗口大小的数据区域,对区域里的灰度分布进行排列,取排列的中间值来代替该窗口中心的灰度值。
本发明的优点是:
(1)本发明将立体视觉计算得到的视差值转换为视差图像,并考虑到视差图灰度分布的不同特性,以梯度的分割形式提取区域噪点,对视差数据进行了有效滤波,减少了视差数据中的噪点,提高了视差数据的可用性,在一定程度上解决了利用立体视觉数据进行环境感知的难题。
(2)本发明充分考虑了视差图中出现的离散块状噪声,排除无效点参与计算,扩大寻找范围,以保证梯度计算的准确性,对无效区域中的独立噪声块也可有效去除。
附图说明
图1为本发明实现流程图;
图2为本发明中的相机拍摄的原始图像;
图3为本发明中的由原始图像匹配视差数据形成的视差图;
图4为本发明中的噪声滤除后视差效果图;
图5为本发明中的连续性滤波后视差效果图。
具体实施方式
如图1所示,本发明具体实现如下:
第一步,对左右相机拍摄的立体图像对(左相机图像如图2所示,为8位灰度图像)进行内参数和极线校正,对校正后的图像进行匹配和插值,得到每个点浮点型的视差数据Df(i,j),最大的视差为Dmax,除零外的最小视差为Dmin。设定无效的视差点灰度为零,其余点进行整型化,公式如下:i=0~Width-1 j=0~Height-1,Width为图像的像素宽度,该图为256。Height为图像的像素高度,该图为256。得到每一点的整型视差Di(i,j),形成视差图如图3所示,图中每个像素对应原始图像的像素位置,灰度值表示的是该目标点成像在左右相机中的横向坐标差异整型化的结果,黑色的边缘对应原始图像中剔除不进行匹配的部分。
第二步,以视差图中的当前点A0为中心坐标,取其周围的8个相邻点A1…A8,设定中间量m为1,令A1=ID(i-m,j-m),A2=ID(i-m,j),A3=ID(i-m,j+m),A4=ID(i,j-m),A5=ID(i,j+m),A6=ID(i+m,j-m),A7=ID(i+m,j),A8=ID(i+m,j+m),统计8个相邻点中灰度为零的点的总数num;如果num小于设定值4,则计算TD=|A0×(8-num)-A1-A2-A3-A4-A5-A6-A7-A8|,否则将A0点当前的相邻点向外扩展一圈,令m=m+1,更新新的A1…A8和num,如果扩展的圈数小于设定值10,num也满足条件,则计算TD=|A0×(8-num)-A1-A2-A3-A4-A5-A6-A7-A8|(A1…A8为当前圈上的更新值),否则将当前点的TD值设为255。
第三步将梯度图分为均等的上下左右四个区域,按照256×256的梯度图分为左上角i=0~127 j=0~127,右上角i=128~255 j=0~127,左下角i=0~127 j=128~255,右下角i=128~255 j=128~255;在每个区域内统计灰度为1~255的个数N(k),k=1~255,计算像素个数占整个图像总像素的比值k=1~255;计算中间量 按照公式 计算最大值,将J(t)最大时对应的t值记为Dth;根据Dth将梯度图像进行分割,大于Dth的设为255,小于分割阈值的设为零。
第四步,在分割后的图像上取灰度等于255的点,对应到视差图中该位置的点设为种子点;将种子点标记为已找到点,其余点标记为未找到点;从种子点开始向其左方、右方、上方和下方四个方向进行搜索,如果该方向上的下一点灰度值和种子点的灰度值差异小于设定阈值8且标记为未找到点,则将该点标记为已找到点,并用其坐标更新种子点位置;重复该过程,直至整个图像被遍历。得到噪声滤除后的视差效果图如图4,图中每个像素对应原始图像的像素位置,灰度值表示的是该目标点成像在左右相机中的横向坐标差异整型化的结果,黑色的边缘对应原始图像中剔除不进行匹配的部分。相比图3,梯度变化较大的点,包括白色的噪声块、地形起伏高低处的交线部分被滤除。
第五步,对滤除噪声的视差图采用中值滤波进行平滑,中值滤波是在图像中提取滤波窗口大小的数据区域,对区域里的灰度分布进行排列,取排列的中间值来代替该窗口中心的灰度值。得到中值滤波的视差效果如图5所示,图中每个像素对应原始图像的像素位置,灰度值表示的是该目标点成像在左右相机中的横向坐标差异整型化的结果,黑色的边缘对应原始图像中剔除不进行匹配的部分。相比图4,噪点滤除形成的空缺区域得到填充,新的视差图更平滑,更连续。
第六步,对每一个像点的视差进行整型到浮点的变换,Di(i,j)为当前点的整型视差值,则其浮点视差值为i=0~Width-1 j=0~Height-1。利用Df(i,j)和立体相机对的参数进行三维地形值的恢复,基本公式为i=0~Width-1 j=0~Height-1,i=0~Width-1 j=0~Height-1,i=0~Width-1 j=0~Height-1,其中Baseline为立体相机对之间的基线,f为相机焦距,dx为像元横向尺寸,dy为像元纵向尺寸,Width和Height分别为相机图像的像素宽度和高度,此处取Width=256和Height=256。
经过本发明,由视差图恢复的三维地形去除了大面积的噪声块,与真实地形更加吻合,数据可直接用于路径规划,解决了三维地形存在噪声块而导致无法规划的问题。
本发明未详细阐述部分属于本领域技术人员的公知技术。
Claims (5)
1.一种用于立体视觉视差图的滤波方法,其特征在于实现步骤如下:
第一步,将立体视觉输出的视差数据转换为整型图像数据,所述立体视觉输出的视差数据包括无效点和有效点,无效点灰度为0,有效点按照最大视差和最小视差进行整形化,完成后最大的视差点灰度为255,最小的视差点灰度为1;
第二步,对第一步得到的图像数据,求其像素中邻域的灰度差值,并剔除无效点的影响,计算得到视差图的梯度图;
第三步,采用自适应的分割方法分割所述梯度图,梯度图中梯度变化剧烈的位置提取为噪声种子点;
第四步,以所述噪声种子点为起点,在噪声种子点上下左右四个方面进行遍历搜索,找到的相邻点与噪声种子点灰度差值小于设定阈值的区域认为是噪声连通区域,予以剔除,得到噪声滤除后的图像;
第五步,对噪声滤除后的图像进行连通域滤波,对噪声剔除形成的空缺区域进行填补,得到新的更平滑连续的视差图;
第六步,根据填补后的视差图恢复视差数据。
2.根据权利要求1的用于立体视觉视差图的滤波方法,其特征在于:所述第二步中计算得到视差图的梯度图过程为:
(21)以图像数据中的当前点A0为中心坐标,取A0周围的8个相邻点A1…A8,其中设定中间值m为1,则A1=ID(i-m,j-m),A2=ID(i-m,j),A3=ID(i-m,j+m),A4=ID(i,j-m),A5=ID(i,j+m),A6=ID(i+m,j-m),A7=ID(i+m,j),A8=ID(i+m,j+m),ID(i,j)表示(i,j)这一点的视差灰度值,统计8个相邻点中灰度为零的点的总数num;i表示该点的像素横坐标,j表示该点的像素纵坐标;
(22)如果总数num大于设定的数目的阈值VZN则转到(23),否则计算当 前点的梯度TD=|A0×(8-num)-A1-A2-A3-A4-A5-A6-A7-A8|;
(23)将A0点当前的相邻点向外扩展一圈,m增加1,用以剔除无效点的影响,更新新的A1…A8和总数num,如果扩展的圈数小于圈数设定的阈值VQN,则转到(22),否则转到(24);
(24)将当前点的梯度值TD值设为255;
(25)对图像进行遍历,计算得到视差图的梯度图。
3.根据权利要求1的用于立体视觉视差图的滤波方法,其特征在于:所述第三步具体实现为:
(31)将视差图的梯度图分为均等的上下左右四个区域;
(34)根据分割阈值将梯度图像进行分割,大于分割阈值的点认为是梯度变化剧烈的点,设为灰度255,小于分割阈值的设为零,灰度为255的点即为噪声种子点。
4.根据权利要求1的用于立体视觉视差图的滤波方法,其特征在于:所述的第四步具体实现:
(41)将噪声种子点标记为已找到点,其余点标记为未找到点;
(42)从噪声种子点开始向其左方、右方、上方和下方四个方向进行搜索,如果该方向上的下一点灰度值和噪声种子点的灰度值差异小于设定的噪声阈值VTN且标记为未找到点,则认为该点是噪声连通区域,将该点标记为已找到点,并用该找到点坐标更新种子点位置;噪声种子点和该找到点对应的视差图上的灰度设为0,从视差图中予以剔除;
(43)重复步骤(42),直至整个图像被遍历,得到噪声滤除后的图像。
5.根据权利要求1的用于立体视觉视差图的滤波方法,其特征在于:所述的第五步中,对滤除噪声的视差图采用中值滤波进行平滑,中值滤波是在图像中提取滤波窗口大小的数据区域,对区域里的灰度分布进行排列,取排列的中间值来代替该窗口中心的灰度值。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201110412384.4A CN102567964B (zh) | 2011-12-08 | 2011-12-08 | 一种用于立体视觉视差图的滤波方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201110412384.4A CN102567964B (zh) | 2011-12-08 | 2011-12-08 | 一种用于立体视觉视差图的滤波方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102567964A true CN102567964A (zh) | 2012-07-11 |
CN102567964B CN102567964B (zh) | 2014-08-27 |
Family
ID=46413316
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201110412384.4A Active CN102567964B (zh) | 2011-12-08 | 2011-12-08 | 一种用于立体视觉视差图的滤波方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102567964B (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104123715A (zh) * | 2013-04-27 | 2014-10-29 | 株式会社理光 | 配置视差值的方法和*** |
CN104915943A (zh) * | 2014-03-12 | 2015-09-16 | 株式会社理光 | 用于在视差图中确定主要视差值的方法和装置 |
CN104574342B (zh) * | 2013-10-14 | 2017-06-23 | 株式会社理光 | 视差深度图像的噪声识别方法和噪声识别装置 |
CN108182666A (zh) * | 2017-12-27 | 2018-06-19 | 海信集团有限公司 | 一种视差校正方法、装置和终端 |
CN109427043A (zh) * | 2017-08-25 | 2019-03-05 | 国家测绘地理信息局卫星测绘应用中心 | 一种立体影像全局优化匹配的平滑项参数计算方法及设备 |
CN110110645A (zh) * | 2019-04-30 | 2019-08-09 | 北京控制工程研究所 | 一种适用于低信噪比图像的障碍快速识别方法及*** |
CN110455502A (zh) * | 2019-08-15 | 2019-11-15 | 广东海洋大学 | 基于物像视差判断透镜及透镜组焦点和像点位置的方法 |
-
2011
- 2011-12-08 CN CN201110412384.4A patent/CN102567964B/zh active Active
Non-Patent Citations (6)
Title |
---|
FRANCISCO ROVIRA-MÁS ET AL: "Noise Reduction in Stereo Disparity Images based on Spectral Analysis", 《2009 ASABE ANNUAL INTERNATIONAL MEETING》 * |
JORN JACHALSKY ET AL: "Reliability-aware cross multilateral filtering for robust disparity map refinement", 《3DTV-CONFERENCE: THE TRUE VISION - CAPTURE, TRANSMISSION AND DISPLAY OF 3D VIDEO》 * |
LI LI ET AL: "Stereo Matching Algorithm Based on a Generalized Bilateral Filter Model", 《JOURNAL OF SOFTWARE》 * |
刘庆华 等: "双目立体匹配图像对的预处理研究", 《计算机工程与设计》 * |
苏永芝: "立体视觉中大视差图像误匹配滤波研究", 《物联网》 * |
高宏伟 等: "立体视觉中误匹配滤波方法的研究", 《计算机工程》 * |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104123715A (zh) * | 2013-04-27 | 2014-10-29 | 株式会社理光 | 配置视差值的方法和*** |
CN104123715B (zh) * | 2013-04-27 | 2017-12-05 | 株式会社理光 | 配置视差值的方法和*** |
CN104574342B (zh) * | 2013-10-14 | 2017-06-23 | 株式会社理光 | 视差深度图像的噪声识别方法和噪声识别装置 |
CN104915943A (zh) * | 2014-03-12 | 2015-09-16 | 株式会社理光 | 用于在视差图中确定主要视差值的方法和装置 |
CN104915943B (zh) * | 2014-03-12 | 2018-03-06 | 株式会社理光 | 用于在视差图中确定主要视差值的方法和装置 |
CN109427043A (zh) * | 2017-08-25 | 2019-03-05 | 国家测绘地理信息局卫星测绘应用中心 | 一种立体影像全局优化匹配的平滑项参数计算方法及设备 |
CN108182666A (zh) * | 2017-12-27 | 2018-06-19 | 海信集团有限公司 | 一种视差校正方法、装置和终端 |
CN108182666B (zh) * | 2017-12-27 | 2021-11-30 | 海信集团有限公司 | 一种视差校正方法、装置和终端 |
CN110110645A (zh) * | 2019-04-30 | 2019-08-09 | 北京控制工程研究所 | 一种适用于低信噪比图像的障碍快速识别方法及*** |
CN110455502A (zh) * | 2019-08-15 | 2019-11-15 | 广东海洋大学 | 基于物像视差判断透镜及透镜组焦点和像点位置的方法 |
Also Published As
Publication number | Publication date |
---|---|
CN102567964B (zh) | 2014-08-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102567964B (zh) | 一种用于立体视觉视差图的滤波方法 | |
CN111832655B (zh) | 一种基于特征金字塔网络的多尺度三维目标检测方法 | |
CN101901343B (zh) | 基于立体约束的遥感影像道路提取方法 | |
CN103985108B (zh) | 一种利用边界检测和多尺度形态学清晰度度量的多聚焦图像融合方法 | |
CN102074014B (zh) | 一种利用基于图论的图像分割算法的立体匹配方法 | |
CN103455991B (zh) | 一种多聚焦图像融合方法 | |
CN101312539B (zh) | 用于三维电视的分级图像深度提取方法 | |
CN102609917B (zh) | 一种基于聚类算法的图像边缘拟合b样条生成方法 | |
CN112801022A (zh) | 一种无人驾驶矿卡作业区道路边界快速检测更新的方法 | |
CN101765019B (zh) | 一种用于运动模糊和光照变化图像的立体匹配方法 | |
CN104850850A (zh) | 一种结合形状和颜色的双目立体视觉图像特征提取方法 | |
CN103714549B (zh) | 基于快速局部匹配的立体图像对象分割方法 | |
CN103578092A (zh) | 一种多聚焦图像融合方法 | |
CN106022259A (zh) | 一种基于激光点云三维特征描述模型的山区道路提取方法 | |
CN104820991A (zh) | 一种基于代价矩阵的多重软约束立体匹配方法 | |
CN103364410A (zh) | 一种基于模板搜索的水工混凝土结构水下表面裂缝检测方法 | |
CN107240073A (zh) | 一种基于梯度融合与聚类的三维视频图像修复方法 | |
CN103106658A (zh) | 一种海岛、礁岸线快速提取方法 | |
KR20130120730A (ko) | 변이 공간 영상의 처리 방법 | |
CN111640128A (zh) | 一种基于U-Net网络的细胞图像分割方法 | |
CN104537342A (zh) | 一种结合山脊边界检测及霍夫变换的快速车道线检测方法 | |
CN105809673A (zh) | 基于surf算法和合并最大相似区域的视频前景分割方法 | |
CN112184725B (zh) | 一种沥青路面图像的结构光光条中心提取方法 | |
CN109903379A (zh) | 一种基于点云优化采样的三维重建方法 | |
CN111209779A (zh) | 可行驶区域检测及智能驾驶控制方法、装置和*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |