CN104318576B - 一种超像素级别的图像全局匹配方法 - Google Patents
一种超像素级别的图像全局匹配方法 Download PDFInfo
- Publication number
- CN104318576B CN104318576B CN201410618019.2A CN201410618019A CN104318576B CN 104318576 B CN104318576 B CN 104318576B CN 201410618019 A CN201410618019 A CN 201410618019A CN 104318576 B CN104318576 B CN 104318576B
- Authority
- CN
- China
- Prior art keywords
- pixel
- super
- matching
- power flow
- parallax
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000005457 optimization Methods 0.000 claims abstract description 17
- 239000011159 matrix material Substances 0.000 claims description 21
- 230000003044 adaptive effect Effects 0.000 claims description 19
- 230000006978 adaptation Effects 0.000 claims description 12
- 230000011218 segmentation Effects 0.000 claims description 9
- 230000010354 integration Effects 0.000 claims description 8
- 238000004040 coloring Methods 0.000 claims description 6
- 238000002372 labelling Methods 0.000 claims description 6
- 238000000354 decomposition reaction Methods 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 230000000903 blocking effect Effects 0.000 claims description 2
- 230000004075 alteration Effects 0.000 claims 1
- 238000009499 grossing Methods 0.000 abstract 1
- 239000007787 solid Substances 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
一种超像素级别的图像全局匹配方法,由双目立体摄像机获取经过极线矫正的输入图像对,通过为图像对的每个像素计算自适应十字架来得到当前像素的自适应窗,并为其计算匹配代价,结合一种替换策略处理遮掩区域和一种次优策略处理图像边界;为图像创建超像素,对每块超像素区域的视差值进行平面拟合,确定可靠像素,并删除明显的错误平面以确定初始视差平面集;根据已经得到像素匹配代价来计算超像素的匹配代价,构建数据项与平滑项,利用Graph‑Cut最优化算法对能量方程进行不断迭代,获取最终视差平面。本发明能有效避免在弱纹理区域、视差不连续区域以及遮挡区域容易产生的图像噪声、失真或像素值异常等情况,且鲁棒性良好,能获取更加接近真实场景的深度信息。
Description
技术领域
本发明涉及计算机视觉、图像处理等技术领域,尤其是基于全局优化框架的立体视觉匹配方法。
背景技术
图像全局匹配方法,也称为基于全局优化框架的立体匹配方法。它将立体匹配问题通过建模的方式转化成一个最优化问题,并通过建立能量函数构造全局优化框架,最后在该全局优化框架下,利用最优化算法求解能量函数的最优解,得到一个全局意义上的立体匹配最优解。目前,解决此类问题比较流行的模型有马尔可夫随机场模型和贝叶斯模型及其衍生模型;常见的最优化方法有图割算法和置信度传播算法。相比于局部匹配算法,基于全局优化框架的立体匹配方法往往精度较高,且结果整体比较平滑;但是也存在着细节信息不够丰富,边缘地带会出现模糊,且执行效率较低等等缺点。
发明内容
为了克服已有图像全局匹配方法在弱纹理区域、视差不连续区域以及遮挡区域容易产生噪声、失真或异常值等的不足,本发明提供一种能有效避免这些情况,鲁棒性良好,且能获取更加接近真实场景的深度信息的超像素级别的图像全局匹配方法。
本发明解决其技术问题所采用的技术方案是:
一种超像素级别的图像全局匹配方法,所述匹配方法包括如下步骤:
1)、利用标定板对双目摄像机进行标定并获取立体图像对;
2)、过分割处理,将输入图像对分别分解成颜色或灰度均匀区域,并假定在这些区域中视差值平滑过渡,且视差不连续现象只出现在区域边界上;
3)、为立体图像对中每个像素计算它的自适应十字架,四元组表示像素的左臂长、右臂长、上臂长和下臂长。
以计算为例,对位于像素p左侧水平线上的一组连续的像素进行颜色相似度计算,pi=(xp-i,yp),表示像素p左侧水平线上第i个元素(i从1递增到L,L是预先设定的最大臂长,它负责控制像素p的最大匹配窗大小);当时,i停止递增,令否则,令同理,可得到Ic表示对应颜色分量的强度值,τ为控制颜色相似性的置信度。
根据已有的四元组为像素p计算得到它的H(p)和V(p),H(p)表示像素p在它的水平线上的积分,V(p)表示像素p在它的垂直线上的积分;
H(p)和V(p)共同决定了像素p的自适应十字架;
4)、根据自适应十字架为每个像素评估它的自适应匹配窗。根据已经计算得到的自适应十字架,为每个像素p构造一个自适应匹配窗口U(p),构建匹配窗U(p)的关键步骤是沿着像素p的垂直分割块V(p)滑动,对多个水平分割块H(q)做一个区域积分操作;
其中,q是一个位于垂直分割块V(p)上的像素;
5)、利用自适应匹配窗获取匹配代价
分别计算左图像素p的自适应匹配窗U(p)以及右图像素p'的自适应匹配窗U'(p'),其中,左图中拥有视差d的像素p=(xp,yp)在右图中找到对应像素p'=(xp-d,yp),像素p和像素p'之间的匹配代价计算公式如下,
式中,Ud(p)={(x,y)|(x,y)∈U(p),(x-d,y)∈U'(p')},ed(t)表示拥有视差d的像素t的未加工匹配代价,Ud(p)是仅包含有效像素的联合匹配窗;||Ud(p)||表示Ud(p)中像素的数量,它被用于规格化已聚类完成的匹配代价利用对应像素对,计算未加工匹配代价,当视差为d时,左图中t与右图中t′之间的匹配代价计算公式如下:
其中,T控制了匹配代价的截断上限,Ic(t)表示t像素对应颜色分量c的颜色值,Ic'(t')表示像素t′对应颜色分量c的颜色值;
6)通过处理遮挡区域和图像边界来优化匹配代价
d(p)表示左图中像素p=(xp,yp)的视差,同时d′(p′)表示右图中像素p'=(xp-d(p),yp)的视差,假如d(p)、d′(p′)和d(p″)同时满足条件d(p)>d'(p')和d'(p')≤d(p″),其中p″=(xp-d(p)+d'(p'),yp),运用这样一个替换策略:用右图中像素p′的匹配代价替换原来左图中像素p的匹配代价;
当(xp-d(p))<1时,对应像素p′将位于右图的外侧,这就意味着我们不能利用对应像素来获取匹配代价Cd(p),转而寻找一种次优的匹配代价Cd^(p),
其中,d^表示次优标记,d*表示最优标记,它们的计算公式如下:
最后,当(xp-d(p))<1时,用Cd^(p)表示像素p的匹配代价;
7)、确定初始平面集,视差平面可以用三个参数a,b,c来表征,共同决定图中某个像素p(x,y)的视差d=ax+by+c,采用三元组{a,b,c}来表示视差平面;
8)、计算超像素的匹配代价
根据得到的像素级别的匹配代价来计算超像素级别的匹配代价,像素级别匹配代价指的是像素p(x,y)当它取视差d时对应的匹配代价Cd(p),而超像素级别匹配代价指的是超像素S取视差平面P{a,b,c}时所得到的匹配代价Cs(P);
先对每块超像素做一个可靠性判断,如果通过它拟合出来的视差平面式错误的,那么就认定这块超像素是不可靠的;反之,则认为它是可靠的,当超像素是可靠时,它的匹配代价计算公式如下:
其中O表示超像素S中遮挡像素的集合,当超像素是不可靠时,它的匹配代价计算公式如下:
其中U表示经过修复的像素集合;
9)、构造数据项
有了超像素的匹配代价后,就能找到一个唯一标签f,给每块超像素S∈R一个对应的视差平面f(S)∈D,R是指输入图像的超像素集合,D表示视差平面集合,数据项Edata(f)是一个可靠像素匹配代价的集合,它的构造公式如下:
10)、构造平滑项
用超像素内的所有像素颜色信息的平均值来表征这块超像素的颜色信息,平滑项Esmooth(f)的构造公式如下:
其中,SN表示输入图内所有相邻超像素的集合,ColorD(Si,Sj)表示相邻超像素间的颜色差异,即求相邻超像素在RGB颜色空间上的欧式距离;PlaneD(Si,Sj)表示相邻超像素间的视差平面差异,即求{a,b,c}平面空间上的欧式距离;CommonD(Si,Sj)表示相邻超像素间共同边界的长度;
11)、利用Graph-Cut最优化算法对能量方程进行能量最小化,能量方程包含数据项和平滑项,获得最终视差信息。
更进一步,所述步骤11)中,利用最小割操作实现全局能量方程的最小化,步骤如下:当前标记值α的取值范围是从最小视差dmin到最大视差dmax,对α的每个取值做下述操作,对标签f做α-expansion处理,找到标签f*,使得f*的能量E(f*)最小,当E(f*)<E(f)时,更新f=f*。据此,当遍历完取值范围[dmin,dmax],发现并未对f做更新操作,则最小化过程结束;否则,重复开始步骤。
再进一步,所述步骤1)中,设定平面标定板是位于世界坐标系里z=0的位置,根据相机线性成像模型得出:
其中,s为任意比例因子,A为相机内参数,[R,t]是旋转和平移矩阵的组合,它表征世界坐标系与相机坐标系的关系,ri表示旋转矩阵R的第i列;
令H=A[r1 r2 t],根据标定板上标志点的坐标与其成像对应点我们可以求出H,设hi表示H的第i列,因此
[h1 h2 h3]=A[r1 r2 t] (1.2)
由于r1与r2为旋转矩阵R的两列,它们相互正交且模长均为1,由此得到内参的两个约束条件为:
令其中为对称矩阵满足B=BT,定义六维向量b=[B11 B12 B22 B13 B23 B33],再令H矩阵的第i列hi=[hi1,hi2,hi3]T,从而得到:
其中,vij=[hi1hj1,hi1hj2+hi2hj1,hi2hj2,hi3hj1+hi1hj3,hi3hj2+hi2hj3,hi3hj3];
从给出的关系矩阵H得出的两个基本约束方程(1.3)写成两个齐次方程如下:
如果观测n张不同位置的平面标定板,可以得到n个如式(1.5)这样的方程:
Vb=0 (1.6)
这里V是一个2n×6的矩阵,如果n>=3,得到一个唯一解b;当b一旦算出来,通过进一步分解就能计算相机的所有内部参数,然后对这些参数进行Levenberg-Marquardt的非线性优化,从而求解得到最终的摄相机内外参数,最后利用双目摄像机获取图像对。
本发明的有益效果主要表现在:通过双目立体视觉方法求取图像深度信息,在此过程中结合了超像素的方法,使得结果更加鲁棒且有着更加丰富的细节信息;并且相比于传统的红外线、雷达***等等获取空间深度信息的方法有着对设备要求更加廉价的特性,表现出更好的实用能力。
附图说明
图1是H(p)和V(p)的示意图。水平黑格表示H(p),它的长度是垂直黑格表示V(p),它的长度是
图2是像素p的自适应匹配窗。垂直黑格表示V(p),水平黑格表示H(p),虚线框表示自适应区域。
图3是分割块的构图。S是源点,T是汇点,Ni代表超像素基团。
具体实施方式
下面结合附图对本发明作进一步描述。
参照图1~图3,一种超像素级别的图像全局匹配方法,包括如下步骤:
1)、利用标定板对双目摄像机进行标定并获取立体图像对。我们假定平面标定板是位于世界坐标系里z=0的位置,根据相机线性成像模型得出:
其中,s为任意比例因子,A为相机内参数,[R,t]是旋转和平移矩阵的组合,它表征世界坐标系与相机坐标系的关系,ri表示旋转矩阵R的第i列。
令H=A[r1 r2 t],根据标定板上标志点的坐标与其成像对应点我们可以求出H,设hi表示H的第i列,因此
[h1 h2 h3]=A[r1 r2 t] (1.2)
由于r1与r2为旋转矩阵R的两列,它们相互正交且模长均为1,由此得到内参的两个约束条件为:
令其中为对称矩阵满足B=BT。定义六维向量b=[B11 B12 B22 B13 B23 B33],再令H矩阵的第i列hi=[hi1,hi2,hi3]T,从而得到:
其中,vij=[hi1hj1,hi1hj2+hi2hj1,hi2hj2,hi3hj1+hi1hj3,hi3hj2+hi2hj3,hi3hj3]。
从给出的关系矩阵H得出的两个基本约束方程(1.3)可以写成两个齐次方程如下:
如果观测n张不同位置的平面标定板,可以得到n个如式(1.5)这样的方程:
Vb=0 (1.6)
这里V是一个2n×6的矩阵。如果n>=3,我们就能得到一个唯一解b;当b一旦算出来,通过进一步分解就能计算相机的所有内部参数。然后对这些参数进行Levenberg-Marquardt的非线性优化,从而求解得到最终的摄相机内外参数。最后利用双目摄像机获取图像对。
2)、过分割处理。将输入图像对分别分解成颜色或灰度均匀区域,并假设,在这些区域中视差值平滑过渡,且视差不连续现象只出现在区域边界上。我们之所以结合超像素,正是因为它有助于满足真实场景中的这个假设。我们采用由Comaniciu和Meer提出的均值转移颜色分割算法,这种方法原本定义作为一种梯度上升搜索策略,该策略能够最大化一个定义在高维特征空间上的密度函数。这个特征空间定义了一个高维空间坐标系,而所有涉及的相关属性则关联该高维空间的各个维度。基于边界信息是均值转移方法最大的一个优势。
3)、为立体图像对中每个像素计算它的自适应十字架,四元组表示像素的左臂长、右臂长、上臂长和下臂长。
以计算为例,我们对位于像素p左侧水平线上的一组连续的像素进行颜色相似度计算,pi=(xp-i,yp),表示像素p左侧水平线上第i个元素(i从1递增到L,L是预先设定的最大臂长,它负责控制像素p的最大匹配窗大小)。当时,i停止递增,令否则,令同理,可得到Ic表示对应颜色分量的强度值,τ控制颜色相似性的置信度。
根据已有的四元组我们可以为像素p计算得到它的H(p)和V(p)。H(p)表示像素p在它的水平线上的积分,V(p)表示像素p在它的垂直线上的积分。
如附图1所示,H(p)和V(p)共同决定了像素p的自适应十字架。
4)、根据自适应十字架为每个像素评估它的自适应匹配窗。根据已经计算得到的自适应十字架,我们可以很容易地为每个像素p构造一个自适应匹配窗口U(p)。构建匹配窗U(p)的关键步骤是沿着像素p的垂直分割块V(p)滑动,对多个水平分割块H(q)做一个区域积分操作,如附图2所示。
其中,q是一个位于垂直分割块V(p)上的像素。
5)、利用自适应匹配窗获取匹配代价。为了获得可靠的匹配代价集合,我们分别计算了左图像素p的自适应匹配窗U(p)以及右图像素p'的自适应匹配窗U'(p')。
其中,左图中拥有视差d的像素p=(xp,yp)可以在右图中找到对应像素p'=(xp-d,yp)。像素p和像素p'之间的匹配代价计算公式如下,
式中,Ud(p)={(x,y)|(x,y)∈U(p),(x-d,y)∈U'(p')},ed(t)表示拥有视差d的像素t的未加工匹配代价,Ud(p)是仅包含有效像素的联合匹配窗。||Ud(p)||表示Ud(p)中像素的数量,它被用于规格化已聚类完成的匹配代价利用对应像素对,计算未加工匹配代价。例如,当视差为d时,左图中t与右图中t′之间的匹配代价计算公式如下:
其中,T控制了匹配代价的截断上限。Ic(t)表示t像素对应颜色分量c的颜色值,Ic'(t')表示像素t′对应颜色分量c的颜色值。
6)、通过处理遮挡区域和图像边界来优化匹配代价。受Geoffrey Egnal等人提出的五种遮挡区域处理方法的启发,在处理遮挡区域时我们采用了一种替换策略。由于存在一个常见的假设:一块临近区域内,带有相似强度值的像素拥有相似的视差值。因此遮挡区域的匹配代价可以被所谓的“对应”像素的匹配代价所替换。
例如,d(p)表示左图中像素p=(xp,yp)的视差,同时d′(p′)表示右图中像素p'=(xp-d(p),yp)的视差。假如d(p)、d′(p′)和d(p″)同时满足条件d(p)>d'(p')和d'(p')≤d(p″),其中p″=(xp-d(p)+d'(p'),yp),我们可以运用这样一个替换策略:用右图中像素p′的匹配代价替换原来左图中像素p的匹配代价。
为了得到精确的视差图像边界,我们既不使用左右一致性检查来评估两幅视差图,也不使用一种简单的边界推断步骤,而是采用了一种次优策略。当(xp-d(p))<1时,对应像素p′将位于右图的外侧,这就意味着我们不能利用对应像素来获取匹配代价Cd(p),转而寻找一种次优的匹配代价Cd^(p),
其中d^表示我们需要的次优标记,d*表示最优标记,它们的计算公式如下:
最后,当(xp-d(p))<1时,我们用Cd^(p)表示像素p的匹配代价。
7)、确定初始平面集。在我们算法中,真实场景结构是用一组二维的视差平面集合来模拟。视差平面可以用三个参数a,b,c来表征,它们可以共同决定图中某个像素(x,y)的视差d=ax+by+c,因此,本章采用三元组{a,b,c}来表示视差平面。
根据前面的介绍,像素的视差取值其实就是离散的正整数,数量是有限的且是人为设定的,因此在找寻时可以遍历。而视差平面{a,b,c}中的三个分量都是连续的,且无法人为设定,如果要全部遍历,计算量就会趋于无穷大,所以需要提前计算出一个初始平面集来减少计算量,而这个平面集则需要能够充分表征整个场景的结构。
我们通过对每块超像素的初始视差值进行平面拟合,最后得到的视差平面集合作为初始平面集。因为是依靠超像素内的可靠像素进行拟合的,所以需要确定每块超像素内的可靠像素,本章采用了Cross-Checking的方法来确定可靠像素。拟合后,还需要删除掉那些存在明显错误的视差平面,比如视差平面(0,0,0)等。在最后的迭代优化中,视差平面集会不断收敛,直到变成最合理平面集,即用最少的平面来最全面地表征整个场景结构。
接下来介绍平面拟合过程,即计算三元组{a,b,c}的过程。尽管视差平面是由每块超像素中可靠像素的视差拟合而成,但在可靠像素中依然可能存在着异值点。一种直接确定视差平面参数的方法被用来确定一个最小平面解决方案。众所周知,最小平面解决方案对异值点非常敏感,比较而言,线性或中值解决方案更具鲁棒性。
这里我们通过应用一种分别解决各个参数的分解方法,来产生一种具有鲁棒性的解决方案。首先,在超像素内,利用一组位于同一水平线上的可靠像素视差集合计算水平倾斜率。将所有导数全部***一个列表中,通过对该列表进行排序和应用高斯卷积得到一个具有鲁棒性的水平倾斜率。接着,用类似的方法,依靠位于同一条垂直线的可靠像素视差集合来生成垂直倾斜率。最后,在超像素的中心,利用得到的倾斜率来获得一个具有鲁棒性的视差值。通过倾斜率得到的每个可靠像素的对应中心视差都被***一个列表,正如前面所解释的那样得到一个具有鲁棒性的视差值。
8)、计算超像素的匹配代价。超像素级别的全局匹配算法中,每个无向图节点对应的是一块超像素,如图3。像素的取值是一组人为设定的离散整数集,而超像素的取值则是一组计算得到的视差平面集合。因此两者在应用图割算法时,也是有很大的区别的。而对应的标签f也由原来的像素到视差映射变成了超像素到视差平面映射。
首先当然是计算匹配代价,前面已经计算了像素级别匹配代价,这里需要根据得到的像素级别的匹配代价来计算超像素级别的匹配代价。像素级别匹配代价指的是像素p(x,y)当它取视差d时对应的匹配代价Cd(p)。而超像素级别匹配代价指的是超像素S取视差平面P{a,b,c}时所得到的匹配代价Cs(P)。在这里,先对每块超像素做一个可靠性判断,如果通过它拟合出来的视差平面式错误的,那么就认定这块超像素是不可靠的,反之,则认为它是可靠的。当超像素是可靠时,它的匹配代价计算公式如下:
其中O表示超像素S中遮挡像素的集合。当超像素是不可靠时,它的匹配代价计算公式如下:
其中U表示经过修复的像素集合。
9)、构造数据项。有了超像素的匹配代价后,就能找到一个标签f,可以给每块超像素S∈R一个对应的视差平面f(S)∈D。R是指输入图像的超像素集合,D表示视差平面集合。这里的数据项Edata(f)是一个可靠像素匹配代价的集合,它的构造公式如下:
10)、构造平滑项。本章在构造平滑项时,主要考虑了相邻超像素间的三个因素:a.相邻超像素间共同边界的长度;b.相邻超像素间的视差平面的差异;c.相邻超像素间的颜色信息的差异。在这里为简单起见,用超像素内的所有像素颜色信息的平均值来表征这块超像素的颜色信息。平滑项Esmooth(f)的构造公式如下:
其中SN表示输入图内所有相邻超像素的集合,ColorD(Si,Sj)表示相邻超像素间的颜色差异,即求相邻超像素在RGB颜色空间上的欧式距离;PlaneD(Si,Sj)表示相邻超像素间的视差平面差异,即求{a,b,c}平面空间上的欧式距离;CommonD(Si,Sj)表示相邻超像素间共同边界的长度。
11)利用Graph-Cut最优化算法对能量方程(包含数据项和平滑项)进行能量最小化,获得最终视差信息。如果要利用Graph-Cut来完成整个能量方程的最小化,那么能量方程里的所有能量项都必须同时满足子模态。根据递增原则,假如能量方程里的每个能量项分别满足子模态,那么整个能量方程就能满足子模态。
最终,我们利用在图上的最小割操作,实现了全局能量方程的最小化,如附图3所示。通过α-expansion移动算法,我们高效地得到最小割结果。
详细的最小化步骤如下:当前标记值α的取值范围是从最小视差dmin到最大视差dmax,对α的每个取值做下述操作,对标签f做α-expansion处理,找到标签f*,使得f*的能量E(f*)最小,当E(f*)<E(f)时,更新f=f*。据此,当遍历完取值范围[dmin,dmax],发现并未对f做更新操作,则最小化过程结束;否则,重复开始步骤。
本实施例中,由双目立体摄像机获取经过极线矫正的输入图像对,通过为图像对的每个像素计算自适应十字架来得到当前像素的自适应窗,并为其计算匹配代价,结合一种替换策略处理遮掩区域和一种次优策略处理图像边界;为图像创建超像素,对每块超像素区域的视差值进行平面拟合,使用Cross-Checking的方法来确定可靠像素,并删除明显的错误平面以确定初始视差平面集;根据已经得到像素匹配代价来计算超像素的匹配代价,并构建数据项与平滑项,利用Graph-Cut最优化算法对能量方程进行不断迭代,获取最终视差平面,即图像深度,为基于立体视觉的三维重建提供更加平滑更加鲁棒更加精确的深度信息。
Claims (3)
1.一种超像素级别的图像全局匹配方法,其特征在于:所述匹配方法包括如下步骤:
1)、利用标定板对双目摄像机进行标定并获取立体图像对;
2)、过分割处理,将输入图像对分别分解成颜色或灰度均匀区域,并假定在这些区域中视差值平滑过渡,且视差不连续现象只出现在区域边界上;
3)、为立体图像对中每个像素计算它的自适应十字架,四元组表示像素的左臂长、右臂长、上臂长和下臂长;
以计算为例,对位于像素p左侧水平线上的一组连续的像素进行颜色相似度计算,pi=(xp-i,yp),表示像素p左侧水平线上第i个元素,i从1递增到L,L是预先设定的最大臂长,它负责控制像素p的最大匹配窗大小;当时,i停止递增,令否则,令同理,可得到Ic表示对应颜色分量的强度值,τ为控制颜色相似性的置信度;
根据已有的四元组为像素p计算得到它的H(p)和V(p),H(p)表示像素p在它的水平线上的积分,V(p)表示像素p在它的垂直线上的积分;
H(p)和V(p)共同决定了像素p的自适应十字架;
4)、根据自适应十字架为每个像素评估它的自适应匹配窗,根据已经计算得到的自适应十字架,为每个像素p构造一个自适应匹配窗口U(p),构建匹配窗U(p)的关键步骤是沿着像素p的垂直分割块V(p)滑动,对多个水平分割块H(q)做一个区域积分操作:
其中,q是一个位于像素p在它的垂直线上的积分V(p)上的像素;
5)、利用自适应匹配窗获取匹配代价
分别计算左图像素p的自适应匹配窗U(p)以及右图像素p'的自适应匹配窗U'(p'),其中,左图中拥有视差d的像素p=(xp,yp)在右图中找到对应像素p'=(xp-d,yp),像素p和像素p'之间的匹配代价计算公式如下,
式中,Ud(p)={(x,y)|(x,y)∈U(p),(x-d,y)∈U'(p')},ed(t)表示拥有视差d的像素t的未加工匹配代价,Ud(p)是仅包含有效像素的联合匹配窗;||Ud(p)||表示Ud(p)中像素的数量,它被用于规格化已聚类完成的匹配代价利用对应像素对,计算未加工匹配代价,当视差为d时,左图中t与右图中t′之间的匹配代价计算公式如下:
其中,T控制了匹配代价的截断上限,Ic(t)表示t像素对应颜色分量c的颜色值,Ic'(t')表示像素t′对应颜色分量c的颜色值;
6)、通过处理遮挡区域和图像边界来优化匹配代价
d(p)表示左图中像素p=(xp,yp)的视差,同时d′(p′)表示右图中像素p'=(xp-d(p),yp)的视差,假如d(p)、d′(p′)和d(p″)同时满足条件d(p)>d'(p')和d'(p')≤d(p”),其中p”=(xp-d(p)+d'(p'),yp),运用这样一个替换策略:用右图中像素p′的匹配代价替换原来左图中像素p的匹配代价;
当(xp-d(p))<1时,对应像素p′将位于右图的外侧,这就意味着我们不能利用对应像素来获取匹配代价Cd(p),转而寻找一种次优的匹配代价Cd^(p),
其中,d^表示次优标记,d*表示最优标记,它们的计算公式如下:
最后,当(xp-d(p))<1时,用Cd^(p)表示像素p的匹配代价;
7)、确定初始平面集,视差平面可以用三个参数a,b,c来表征,共同决定图中某个像素p(x,y)的视差d=ax+by+c,采用三元组P{a,b,c}来表示视差平面;
8)、计算超像素的匹配代价
根据得到的像素级别的匹配代价来计算超像素级别的匹配代价,像素级别匹配代价指的是像素p(x,y)当它取视差d时对应的匹配代价Cd(p),而超像素级别匹配代价指的是超像素S取视差平面P{a,b,c}时所得到的匹配代价Cs(P);
先对每块超像素做一个可靠性判断,如果通过它拟合出来的视差平面是错误的,那么就认定这块超像素是不可靠的;反之,则认为它是可靠的,当超像素是可靠时,它的匹配代价计算公式如下:
其中O表示超像素S中被遮挡像素的集合,当超像素是不可靠时,它的匹配代价计算公式如下:
其中U表示经过修复的像素集合;
9)、构造数据项
有了超像素的匹配代价后,就能找到一个唯一标签f,给每块超像素S∈R一个对应的视差平面f(S)∈D,R是指输入图像的超像素集合,D表示视差平面集合,数据项Edata(f)是一个可靠像素匹配代价的集合,它的构造公式如下:
10)、构造平滑项
用超像素内的所有像素颜色信息的平均值来表征这块超像素的颜色信息,平滑项Esmooth(f)的构造公式如下:
其中,SN表示输入图内所有相邻超像素的集合,ColorD(Si,Sj)表示相邻超像素间的颜色差异,即求相邻超像素在RGB颜色空间上的欧式距离;PlaneD(Si,Sj)表示相邻超像素间的视差平面差异,即求{a,b,c}平面空间上的欧式距离;CommonD(Si,Sj)表示相邻超像素间共同边界的长度;
11)、利用Graph-Cut最优化算法对能量方程进行能量最小化,能量方程包含数据项和平滑项,获得最终视差信息。
2.如权利要求1所述一种超像素级别的图像全局匹配方法,其特征在于:所述步骤11)中,利用最小割操作实现全局能量方程的最小化,步骤如下:当前标记值α的取值范围是从最小视差dmin到最大视差dmax,对α的每个取值做下述操作,对标签f做α-expansion处理,找到标签f*,使得f*的能量E(f*)最小,当E(f*)<E(f)时,更新f=f*,据此,当遍历完取值范围[dmin,dmax],发现并未对f做更新操作,则最小化过程结束;否则,重复开始步骤。
3.如权利要求1或2所述的一种超像素级别的图像全局匹配方法,其特征在于:所述步骤1)中,设定平面标定板是位于世界坐标系里z=0的位置,根据相机线性成像模型得出:
其中,s为任意比例因子,A为相机内参数,[R,t]是旋转和平移矩阵的组合,它表征世界坐标系与相机坐标系的关系,ri表示旋转矩阵R的第i列;
令H=A[r1 r2 t],根据标定板上标志点的坐标与其成像对应点我们可以求出H,设hi表示H的第i列,因此
[h1 h2 h3]=A[r1 r2 t] (1.2)
由于r1与r2为旋转矩阵R的两列,它们相互正交且模长均为1,由此得到内参的两个约束条件为:
令其中为对称矩阵满足B=BT,定义六维向量b=[B11 B12B22 B13 B23 B33],再令H矩阵的第i列hi=[hi1,hi2,hi3]T,从而得到:
其中,vij=[hi1hj1,hi1hj2+hi2hj1,hi2hj2,hi3hj1+hi1hj3,hi3hj2+hi2hj3,hi3hj3];
把从给出的关系矩阵H得出的两个基本约束方程(1.3)写成两个齐次方程如下:
如果观测n张不同位置的平面标定板,可以得到n个如式(1.5)这样的方程:
Vb=0 (1.6)
这里V是一个2n×6的矩阵,如果n>=3,得到一个唯一解b;当b一旦算出来,通过进一步分解就能计算相机的所有内部参数,然后对这些参数进行Levenberg-Marquardt的非线性优化,从而求解得到最终的摄相机内外参数,最后利用双目摄像机获取图像对。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410618019.2A CN104318576B (zh) | 2014-11-05 | 2014-11-05 | 一种超像素级别的图像全局匹配方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410618019.2A CN104318576B (zh) | 2014-11-05 | 2014-11-05 | 一种超像素级别的图像全局匹配方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104318576A CN104318576A (zh) | 2015-01-28 |
CN104318576B true CN104318576B (zh) | 2017-04-12 |
Family
ID=52373802
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410618019.2A Active CN104318576B (zh) | 2014-11-05 | 2014-11-05 | 一种超像素级别的图像全局匹配方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104318576B (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104966303B (zh) * | 2015-07-21 | 2018-02-06 | 兰州理工大学 | 一种基于马尔可夫随机场的视差图精化方法 |
CN105528785B (zh) * | 2015-12-03 | 2018-06-15 | 河北工业大学 | 一种双目视觉图像立体匹配方法 |
CN106651897B (zh) * | 2016-10-12 | 2019-12-31 | 成都快眼科技有限公司 | 一种基于超像素分割的视差修正方法 |
CN106780579B (zh) * | 2017-01-17 | 2019-08-13 | 华中科技大学 | 一种超大规模图像特征点匹配方法及*** |
CN107578429B (zh) * | 2017-07-14 | 2021-07-20 | 武汉市工程科学技术研究院 | 基于动态规划和全局代价累积路径的立体影像密集匹配方法 |
CN108629809B (zh) * | 2018-04-26 | 2020-08-28 | 浙江大学 | 一种精确高效的立体匹配方法 |
CN109816711B (zh) * | 2019-01-07 | 2020-10-27 | 华南理工大学 | 一种采用自适应结构的立体匹配方法 |
CN110263918A (zh) * | 2019-06-17 | 2019-09-20 | 北京字节跳动网络技术有限公司 | 训练卷积神经网络的方法、装置、电子设备和计算机可读存储介质 |
CN112215876B (zh) * | 2020-10-22 | 2022-10-04 | 烟台艾睿光电科技有限公司 | 一种双光谱图像配准融合方法、装置、设备及存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101625761A (zh) * | 2009-08-06 | 2010-01-13 | 浙江工业大学 | 一种基于全局和局部算法的计算机双目视觉匹配方法 |
CN102881014A (zh) * | 2012-09-07 | 2013-01-16 | 航天恒星科技有限公司 | 一种基于图割的快速立体匹配方法 |
CN103440681A (zh) * | 2013-09-12 | 2013-12-11 | 浙江工业大学 | 非接触无损全方位三维建模方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7720282B2 (en) * | 2005-08-02 | 2010-05-18 | Microsoft Corporation | Stereo image segmentation |
KR101373718B1 (ko) * | 2012-10-31 | 2014-03-14 | 성균관대학교산학협력단 | 3차원 영상에 대한 깊이 추정을 위한 스테레오 매칭 장치 및 방법, 및 상기 스테레오 매칭을 통한 3차원 영상 스트림 전송 장치 및 재생 장치 |
-
2014
- 2014-11-05 CN CN201410618019.2A patent/CN104318576B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101625761A (zh) * | 2009-08-06 | 2010-01-13 | 浙江工业大学 | 一种基于全局和局部算法的计算机双目视觉匹配方法 |
CN102881014A (zh) * | 2012-09-07 | 2013-01-16 | 航天恒星科技有限公司 | 一种基于图割的快速立体匹配方法 |
CN103440681A (zh) * | 2013-09-12 | 2013-12-11 | 浙江工业大学 | 非接触无损全方位三维建模方法 |
Non-Patent Citations (1)
Title |
---|
Selt-Adaptive Matching in Local Windows for Depth Estimation;Haiqiang Jin et al.;《Proceedings 27th European Conference on Modelling and Simulation》;20131231;第831-837页 * |
Also Published As
Publication number | Publication date |
---|---|
CN104318576A (zh) | 2015-01-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104318576B (zh) | 一种超像素级别的图像全局匹配方法 | |
CN103236082B (zh) | 面向捕获静止场景的二维视频的准三维重建方法 | |
Li et al. | Simultaneous video defogging and stereo reconstruction | |
CN105513064B (zh) | 一种基于图像分割和自适应权重的立体匹配方法 | |
CN102930530B (zh) | 一种双视点图像的立体匹配方法 | |
CN103996202A (zh) | 一种基于混合匹配代价和自适应窗口的立体匹配方法 | |
CN103996201A (zh) | 一种基于改进梯度和自适应窗口的立体匹配方法 | |
Mordohai et al. | Stereo using monocular cues within the tensor voting framework | |
CN104065946B (zh) | 基于图像序列的空洞填充方法 | |
CN104639933A (zh) | 一种立体视图的深度图实时获取方法及*** | |
CN108629809B (zh) | 一种精确高效的立体匹配方法 | |
CN102892021A (zh) | 一种合成虚拟视点图像的新方法 | |
CN108510529A (zh) | 一种基于自适应权值的图割立体匹配方法 | |
CN104331890B (zh) | 一种全局视差估计方法和*** | |
CN102740096A (zh) | 一种基于时空结合的动态场景立体视频匹配方法 | |
CN103268604B (zh) | 双目视频深度图求取方法 | |
CN109887008B (zh) | 基于前后向平滑和o(1)复杂度视差立体匹配方法、装置和设备 | |
CN103700104B (zh) | 一种利用先验知识的人类外侧膝状体自动分割方法 | |
Shivakumar et al. | Real time dense depth estimation by fusing stereo with sparse depth measurements | |
CN101765019A (zh) | 一种用于运动模糊和光照变化图像的立体匹配方法 | |
CN104537668A (zh) | 一种快速视差图像计算方法及装置 | |
Ni et al. | Second-order semi-global stereo matching algorithm based on slanted plane iterative optimization | |
CN112991421B (zh) | 一种机器人视觉立体匹配方法 | |
CN106097336B (zh) | 基于置信传播和自相似差异测度的前后景立体匹配方法 | |
CN102567992B (zh) | 遮挡区域的图像匹配方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right |
Effective date of registration: 20180321 Address after: The international center of Hangzhou City, Zhejiang province 310000 Jianggan District Rd room 1501-1 Patentee after: Zhongcheng Green Building Technology Co., Ltd. Address before: The city Zhaohui six districts Chao Wang Road Hangzhou City, Zhejiang province 310014 18 Patentee before: Zhejiang University of Technology |
|
TR01 | Transfer of patent right |