CN103383776B - 一种基于分段匹配和贝叶斯估计的递进式立体匹配算法 - Google Patents
一种基于分段匹配和贝叶斯估计的递进式立体匹配算法 Download PDFInfo
- Publication number
- CN103383776B CN103383776B CN201310296015.2A CN201310296015A CN103383776B CN 103383776 B CN103383776 B CN 103383776B CN 201310296015 A CN201310296015 A CN 201310296015A CN 103383776 B CN103383776 B CN 103383776B
- Authority
- CN
- China
- Prior art keywords
- matching
- cost
- depth
- value
- probability
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于分段匹配和贝叶斯估计的递进式立体匹配算法,包含以下步骤:1)基于Sobel滤波器响应将图像分割为边缘区域和分段区域,分别使用基于窗口的立体匹配策略和分段匹配策略进行匹配,并合并得到预匹配深度图;2)对于预匹配深度图中的无效点,使用其支持窗口内有效点拟合最小二乘平面,从而估计出无效点处的深度,将预匹配图稠密化;3)对于得到的预匹配图,使用贝叶斯最大后验概率的方法对每一点处的深度进行修正,考虑预匹配值作为先验概率,同时考虑图像的相似度和深度的平滑性作为后验概率。本发明以递进的结构完成从稀疏到稠密,从粗糙到精细的深度图像提取,同时考虑到了边缘特性和平滑性,从而得到精确而平滑的深度图像。
Description
技术领域
本发明涉及计算机视觉领域的立体匹配方法,特别是涉及一种计算机视觉领域的递进式立体匹配算法。
背景技术
立体匹配技术是从对场景从不同视角拍摄的两幅或多幅图像中寻找对应的匹配点,从而计算出图像中每个像素点处的深度,是立体视觉技术的重要部分。立体匹配是目前计算机视觉研究中的热点和难点,在三维重构、三维物体建模和识别、机器人路径规划中得到了广泛的应用。
立体匹配算法从优化方式上可以分为全局立体匹配算法和局部立体匹配算法。其中,全局立体匹配算法通过搜索整幅图像的全局最优解计算出整个图像的深度图,具有较高的准确性,但是运算量较大,不能实时运算。局部立体匹配算法一般是在像素点附近的窗口内定义评价函数,搜索局部最优解,运算速度快,但是在纹理不清晰和物体遮挡的情况下会出现误匹配,而且结果的深度图像不够平滑,不能完好的保持边缘特征,丢失了较多的环境信息。
发明内容
本发明为了克服现有技术的不足,提供了一种基于分段匹配和贝叶斯估计的递进式立体匹配算法,该方法在保证运算速度的同时,可以有效地处理场景中的弱纹理和遮挡,得到平滑的深度图像,良好的保持边缘特性。
一种基于分段预匹配和贝叶斯估计的递进式立体匹配算法,用于从双目图像中稠密地提取深度信息,使用一种从粗到细、从稀疏到稠密的匹配策略,包括了分段预匹配、无效点估计以及贝叶斯估计三个步骤,具体如下:
1)分段预匹配:将图像基于Sobel滤波器响应分割成边缘区域和分段区域;其中所述的分段区域分为横向和纵向分段,对所述的边缘区域和横向/纵向分段区域分别进行预匹配;所述的边缘区域的预匹配使用基于窗口的立体匹配方法,边缘区域预匹配的评价函数考虑以像素点为中心的窗口内的像素值和Sobel滤波响应的差异;所述的分段区域的预匹配使用平移的策略,分段区域预匹配的评价函数考虑两个分段重合部分的颜色差异、重合比例、长度差异以及分段内平均颜色差异;将所述的横向/纵向分段区域预匹配结果进行合并,再与边缘区域预匹配的结果合并得到较稠密的预匹配深度图;
2)无效点估计:所述的预匹配深度图中匹配失败的点成为无效点,对于每一个无效点在其周围搜索与其颜色差异在一定阈值内的像素点,组成支持窗口;在所述的支持窗口内拟合最小二乘平面,三维坐标分别为图像行、列和深度值;将所述的无效点的图像坐标代入最小二乘平面得到估计深度值,从而将所述的预匹配深度图稠密化;
3)贝叶斯估计:根据贝叶斯条件概率原理,计算每一点处关于深度值的概率分布,以所述的预匹配深度图稠密化结果作为先验知识,以图像相似度以及深度平滑程度作为后验概率;定义先验概率为以预匹配值为均值的高斯分布;定义图像相似度为以考虑点为中心的窗口内的census函数;定义平滑程度为以考虑点为中心的窗口内深度的差值和;根据得到的关于深度值的概率分布,使用最大后验概率方法取概率最大的深度后获取深度图。
步骤1)中所述的边缘区域预匹配评价函数使用公式(2)定义,公式(2)为:
cost=costedge+costdata
其中,cost为评价函数值,costedge,costdata分别为Sobel滤波值和像素值对应的评价函数分量,(row,col)表示考虑点的坐标,Ws为与考虑点距离小于wsize的点组成的集合,d为深度值,i表示RGB空间的任一分量,IL i,IR i分别为左右图像在i分量上的像素值,SL i,SR i分别为左右图像在RGB空间i分量上的Sobel滤波响应,λdata,λedge为设定的常数值。
步骤1)中所述的横向/纵向分段区域预匹配的评价函数对于左右两个分段SegL,SegR使用公式(3)定义,公式(3)为:
cost=costad+costco_length+costlength_diff+costaver_color
其中,cost为评价函数结果,costad,costco_length,costlength_diff,costaver_color分别表示考虑重合部分颜色差异、重合比例、两个分段长度差异和两个分段内平均颜色差异的评价函数分量。PO为SegR向右平移d个像素后与SegL的重合部分,length()为计算长度的函数,i表示RGB空间的任一分量,分别为两个分段在i分量上的平均像素值,λad,λco_length,λlength_diff,λaver_color分别为设定的常数。
步骤1)横向/纵向分段区域预匹配结果进行合并根据公式(5)进行,公式(5)为:
其中d为深度结果,dh,dv分别为横向和纵向的匹配结果,τd为最大容许差距。
步骤2)中所述的组成支持窗口的颜色差异阈值根据公式(6)确定,公式(6)为:
所述步骤3)中计算每一点处关于深度值的概率分布根据公式(9)和(11)进行,公式(9)和(11)分别为:
p(d,Il,Ir)∝p(d)p(Il,Ir|d)
p(Il,Ir|d)=pd·ps
其中,p(d)是以预匹配值为均值的高斯分布,pd为关于图像相似度的概率,是关于相似度评价函数的高斯分布,ps为关于深度值平滑程度的概率,是关于平滑程度评价函数的高斯分布。
本发明与现有技术对比的有益效果是:本发明是一种递进式的立体匹配算法,基于分段匹配的预匹配策略可以有效地解决弱纹理地匹配问题,并且横向、纵向分别进行匹配并合并的方法可以捕获更多的图像特征,减少误匹配的情况。另外,在贝叶斯估计的过程中,综合考虑图像相似度和深度的平滑性,优化得到准确而平滑的深度图。
附图说明
图1是本发明中立体匹配算法的框架图。
图2是图像分段的示意图。
图3是图像分段匹配的示意图。
图4是实际例具体实施的流程图。
具体实施方式
以下结合具体实施方式并对照附图对本发明加以详细说明。
一种基于分段匹配和贝叶斯估计的立体匹配算法,根据从双目相机获取的左图和右图,将左图中每一个像素点与右图中的像素点进行匹配,得到场景的稠密深度图。基本思路是使用从粗到细、从稀疏到稠密的递进式结构,先进行稀疏而粗略的分段预匹配,再使用最小二乘的方法估计无效点的深度值将其稠密化,最后使用贝叶斯条件概率方法综合考虑预匹配值、图像相似度、深度平滑性对每一点的深度进行修正,从而得到稠密而精确的深度图。本发明的立体匹配方法的流程图如图1所示,为:
步骤1,分段预匹配,包含以下步骤:
1)计算图像在RGB颜色空间上的Sobel滤波器响应,如式(1):
其中,i表示图像RGB的任一分量,Ii表示图像在i分量上的像素值,Gi表示在i分量上的滤波结果,Gx i,Gy i分别表示在x和y方向上i分量的滤波结果。
2)根据滤波器响应值,使用阈值对图像分别进行横向和纵向的分割,将图像分为边缘区域和分段区域,如图2。边缘区域是指具有较大颜色变化的区域,即该点处的滤波器响应大于一定阈值,Sobel(I)>τedge。同一行的两个相邻的边缘区域之间即为横向分段,同理同一列的两个相邻边缘区域之间即为纵向分段。
3)对边缘区域的点使用局部匹配算法进行匹配,其评价函数如式(2):
其中IL i,SL i和IR i,SR i分别表示左图像和右图像的在i分量上的像素值和Sobel滤波值。
4)对横向分段进行匹配,主要方法是对于左图像的每一个分段SegL,在右图像中同一行搜索候选的分段SegR,候选条件如式(3):
其中MaxDisp为最大的深度值,row,startCol,endCol分别表示该分段的行坐标、开始列和结束列。对于每一个候选分段,假设对其向右平移为d,则d即为候选的深度值,如图3,评价函数如式(4):
该评价函数综合考虑了重合部分Po的颜色差异、重合比例、两个分段的长度差异以及分段内平均颜色差异,通过对d在[0,maxDisp]区间搜索得到最优的评价函数值,即得到该分段的深度值。
5)同理对纵向分段进行匹配。
6)将横向和纵向的分段匹配结果合并,如式(5):
式中,dh,dv分别为横向和纵向的匹配结果,通过这种策略可以去除误匹配的点,并结合两种匹配的结果,提高精确性。
7)将边缘匹配结果与分段匹配结果合并,得到预匹配深度图。
步骤2,对步骤1得到的预匹配深度图中的无效点进行估计,对于每一个左图像中的无效点(row,col),进行如下步骤:
1)在(row,col)周围搜索与其颜色差异在一定阈值内的有效点(i,j)作为支持点,组成支持窗口SW,该阈值定义如式(6):
其中,τmax,Lmax分别为最大阈值和最大距离。
2)对于所有的支持点,拟合最小二乘平面,每一点的三维坐标分别为图像行row、图像列col、深度值d。平面方程如式(7):
d=a0·row+a1·col+a2(7)参数的估计方法可以通过求解下列线性方程组获得:
3)将无效点的图像坐标代入平面方程,得到深度值。
步骤3,对步骤2生成的稠密预匹配深度图进行修正。基于贝叶斯条件概率公式,对于左图像中一点Il,在右图像中对应的点为Ir,关于深度值d的概率分布如式(9):
p(d,Il,Ir)∝p(d)p(Il,Ir|d)(9)
p(d)为基于预匹配值的先验概率,为以预匹配值de为中心的高斯分布,如式(10):
后验概率p(Il,Ir|d)考虑对应点之间的相似度以及点周围的深度平滑程度,其概率分布如式(11):
p(Il,Ir|d)=pd·ps(11)
其中,pd为相似度概率分布,ps为考虑平滑性的概率分布,分别如式(12),(13):
dSW为支持窗口内所有深度值的集合,census(Il,Ir)表示census评价函数,用来描述左右图像中两点的相似度:
对于每一点求取最大后验概率的深度值d,如式(15):
对图像中每一点进行步骤3的处理,得到结果深度图像。
实施例
如图4表示了基于分段预匹配和贝叶斯估计的递进式立体匹配算法具体实施的流程。首先获取双目图像;在所述的分段预匹配步骤中,先进行横向预匹配和纵向预匹配,再合并为较为稀疏而粗糙的预匹配深度图;在所述的无效值估计步骤中,将预匹配深度图中的无效点根据所述的最小二乘估计法进行估计,将其稠密化;在所述的贝叶斯估计步骤中,使用所述的方法对深度值进行修正,得到稠密又精确的深度图。从结果可以看出,本发明中的算法从粗到细、从稀疏到稠密地从双目图像中提取到深度图,具有较好的效果。
Claims (6)
1.一种基于分段预匹配和贝叶斯估计的递进式立体匹配算法,用于从双目图像中稠密地提取深度信息,其特征在于,使用从粗到细、从稀疏到稠密的递进式结构,先进行稀疏而粗略的分段预匹配,再使用最小二乘的方法估计无效点的深度值将其稠密化,最后使用贝叶斯条件概率方法综合考虑预匹配值、图像相似度、深度平滑性对每一点的深度进行修正,从而得到稠密而精确的深度图,包括了分段预匹配、无效点估计以及贝叶斯估计三个步骤,具体如下:
1)分段预匹配:将图像基于Sobel滤波器响应分割成边缘区域和分段区域;其中所述的分段区域分为横向和纵向分段,对所述的边缘区域和横向/纵向分段区域分别进行预匹配;所述的边缘区域的预匹配使用基于窗口的立体匹配方法,边缘区域预匹配的评价函数考虑以像素点为中心的窗口内的像素值和Sobel滤波响应的差异;所述的分段区域的预匹配使用平移的策略,分段区域预匹配的评价函数考虑两个分段重合部分的颜色差异、重合比例、长度差异以及分段内平均颜色差异;将所述的横向/纵向分段区域预匹配结果进行合并,再与边缘区域预匹配的结果合并得到较稠密的预匹配深度图;
2)无效点估计:所述的预匹配深度图中匹配失败的点成为无效点,对于每一个无效点在其周围搜索与其颜色差异在一定阈值内的像素点,组成支持窗口;在所述的支持窗口内拟合最小二乘平面,三维坐标分别为图像行、列和深度值;将所述的无效点的图像坐标代入最小二乘平面得到估计深度值,从而将所述的预匹配深度图稠密化;
3)贝叶斯估计:根据贝叶斯条件概率原理,计算每一点处关于深度值的概率分布,基于所述的预匹配深度图稠密化结果得到先验概率,根据图像相似度以及深度平滑程度得到后验概率;定义先验概率为以预匹配值为均值的高斯分布;定义图像相似度为以考虑点为中心的窗口内的census函数;定义平滑程度为以考虑点为中心的窗口内深度的差值和;根据得到的关于深度值的概率分布,使用最大后验概率方法取概率最大的深度后获取深度图。
2.根据权利要求1所述的算法,其特征在于:步骤1)中所述的边缘区域预匹配评价函数使用公式(2)定义,公式(2)为:
cost=costedge+costdata
其中,cost为评价函数值,costedge,costdata分别为Sobel滤波值和像素值对应的评价函数分量,(row,col)表示考虑点的坐标,Ws为与考虑点距离小于wsize的点组成的集合,d为深度值,i表示RGB空间的任一分量,IL i,IR i分别为左右图像在i分量上的像素值,SL i,SR i分别为左右图像在RGB空间i分量上的Sobel滤波响应,λdata,λedge为设定的常数值。
3.根据权利要求1所述的算法,其特征在于:步骤1)中所述的横向/纵向分段区域预匹配的评价函数对于左右两个分段SegL,SegR使用公式(3)定义,公式(3)为:
cost=costad+costco_length+costlength_diff+costaver_color
其中,cost为评价函数结果,costad,costco_length,costlength_diff,costaver_color分别表示考虑重合部分颜色差异、重合比例、两个分段长度差异和两个分段内平均颜色差异的评价函数分量;PO为SegR向右平移d个像素后与SegL的重合部分,length()为计算长度的函数,i表示RGB空间的任一分量,分别为两个分段在i分量上的平均像素值,λad,λco_length,λlength_diff,λaver_color分别为设定的常数。
4.根据权利要求1所述的算法,其特征在于:步骤1)横向/纵向分段区域预匹配结果进行合并根据公式(5)进行,公式(5)为:
其中d为深度结果,dh,dv分别为横向和纵向的匹配结果,τd为最大容许差距。
5.根据权利要求1所述的算法,其特征在于:步骤2)中所述的组成支持窗口的颜色差异阈值根据公式(6)确定,公式(6)为:
6.根据权利要求1所述的算法,其特征在于:所述步骤3)中计算每一点处关于深度值的概率分布根据公式(9)和(11)进行,公式(9)和(11)分别为:
p(d,Il,Ir)∝p(d)p(Il,Ir|d)
p(Il,Ir|d)=pd·ps
其中,p(d)是以预匹配值为均值的高斯分布,pd为关于图像相似度的概率,是关于相似度评价函数的高斯分布,ps为关于深度值平滑程度的概率,是关于平滑程度评价函数的高斯分布。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310296015.2A CN103383776B (zh) | 2013-07-14 | 2013-07-14 | 一种基于分段匹配和贝叶斯估计的递进式立体匹配算法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310296015.2A CN103383776B (zh) | 2013-07-14 | 2013-07-14 | 一种基于分段匹配和贝叶斯估计的递进式立体匹配算法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103383776A CN103383776A (zh) | 2013-11-06 |
CN103383776B true CN103383776B (zh) | 2016-06-15 |
Family
ID=49491559
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310296015.2A Expired - Fee Related CN103383776B (zh) | 2013-07-14 | 2013-07-14 | 一种基于分段匹配和贝叶斯估计的递进式立体匹配算法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103383776B (zh) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103729882B (zh) * | 2013-12-30 | 2016-09-28 | 浙江大学 | 一种基于三维曲线匹配的点云相对位姿估计方法 |
US9589359B2 (en) * | 2014-04-24 | 2017-03-07 | Intel Corporation | Structured stereo |
US9582888B2 (en) * | 2014-06-19 | 2017-02-28 | Qualcomm Incorporated | Structured light three-dimensional (3D) depth map based on content filtering |
CN104902253B (zh) * | 2015-02-09 | 2016-11-09 | 北京理工大学 | 一种基于改进贝叶斯模型的立体图像生成方法 |
CN104807465B (zh) * | 2015-04-27 | 2018-03-13 | 安徽工程大学 | 机器人同步定位与地图创建方法及装置 |
CN105686936B (zh) * | 2016-01-12 | 2017-12-29 | 浙江大学 | 一种基于rgb‐ir相机的声音编码交互*** |
CN108604371A (zh) * | 2016-02-25 | 2018-09-28 | 深圳市大疆创新科技有限公司 | 成像***和方法 |
CN106097336B (zh) * | 2016-06-07 | 2019-01-22 | 重庆科技学院 | 基于置信传播和自相似差异测度的前后景立体匹配方法 |
CN107563656B (zh) * | 2017-09-11 | 2020-06-16 | 东北大学 | 金湿法冶金氰化浸出过程运行状态的评价方法 |
CN108765486A (zh) * | 2018-05-17 | 2018-11-06 | 长春理工大学 | 基于颜色内相关的立体匹配稀疏块聚合策略方法 |
CN110322518B (zh) * | 2019-07-05 | 2021-12-17 | 深圳市道通智能航空技术股份有限公司 | 立体匹配算法的评价方法、评价***及测试设备 |
CN116844732B (zh) * | 2023-07-27 | 2024-02-02 | 北京中益盛启科技有限公司 | 基于大数据分析的高血压诊疗数据分布式调控***及方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101833762A (zh) * | 2010-04-20 | 2010-09-15 | 南京航空航天大学 | 基于对象间粗大边缘和拟合的异源图像匹配的方法 |
CN102881021A (zh) * | 2012-10-25 | 2013-01-16 | 上海交通大学 | 基于概率分布和连续最大流的主动脉瓣超声图像分割方法 |
-
2013
- 2013-07-14 CN CN201310296015.2A patent/CN103383776B/zh not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101833762A (zh) * | 2010-04-20 | 2010-09-15 | 南京航空航天大学 | 基于对象间粗大边缘和拟合的异源图像匹配的方法 |
CN102881021A (zh) * | 2012-10-25 | 2013-01-16 | 上海交通大学 | 基于概率分布和连续最大流的主动脉瓣超声图像分割方法 |
Also Published As
Publication number | Publication date |
---|---|
CN103383776A (zh) | 2013-11-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103383776B (zh) | 一种基于分段匹配和贝叶斯估计的递进式立体匹配算法 | |
Li et al. | Simultaneous video defogging and stereo reconstruction | |
Klappstein et al. | Moving object segmentation using optical flow and depth information | |
Wedel et al. | Detection and segmentation of independently moving objects from dense scene flow | |
CN101765019B (zh) | 一种用于运动模糊和光照变化图像的立体匹配方法 | |
CN110189339A (zh) | 深度图辅助的主动轮廓抠图方法及*** | |
CN108986150B (zh) | 一种基于非刚性稠密匹配的图像光流估计方法及*** | |
Nurunnabi et al. | Robust segmentation for multiple planar surface extraction in laser scanning 3D point cloud data | |
Zhu et al. | Robustness meets deep learning: An end-to-end hybrid pipeline for unsupervised learning of egomotion | |
CN108629809B (zh) | 一种精确高效的立体匹配方法 | |
El Ansari et al. | Temporal consistent real-time stereo for intelligent vehicles | |
CN103473743A (zh) | 一种获取图像深度信息的方法 | |
CN102740096A (zh) | 一种基于时空结合的动态场景立体视频匹配方法 | |
Sizintsev et al. | Spatiotemporal stereo and scene flow via stequel matching | |
Zhang et al. | Robust stereo matching with surface normal prediction | |
Zhang et al. | Image sequence segmentation using 3-D structure tensor and curve evolution | |
Schauwecker et al. | A comparative study of stereo-matching algorithms for road-modeling in the presence of windscreen wipers | |
Le Besnerais et al. | Dense height map estimation from oblique aerial image sequences | |
Cigla et al. | Gaussian mixture models for temporal depth fusion | |
El Ansari et al. | A new regions matching for color stereo images | |
Mandici et al. | Aggregate road surface based environment representation using digital elevation maps | |
da Silva Vieira et al. | Stereo vision methods: from development to the evaluation of disparity maps | |
Chowdhury et al. | Fast window based stereo matching for 3D scene reconstruction. | |
US9384417B1 (en) | System and method for object dimension estimation | |
Akshay | Single moving object detection and tracking using Horn-Schunck optical flow method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20160615 Termination date: 20180714 |
|
CF01 | Termination of patent right due to non-payment of annual fee |