CN103942802A - 基于随机模板的结构光动态场景深度获取方法 - Google Patents

基于随机模板的结构光动态场景深度获取方法 Download PDF

Info

Publication number
CN103942802A
CN103942802A CN201410178911.3A CN201410178911A CN103942802A CN 103942802 A CN103942802 A CN 103942802A CN 201410178911 A CN201410178911 A CN 201410178911A CN 103942802 A CN103942802 A CN 103942802A
Authority
CN
China
Prior art keywords
pixel
coordinate
random mask
window
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410178911.3A
Other languages
English (en)
Inventor
石光明
李芹
张少飞
李甫
高山
杨莉莉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN201410178911.3A priority Critical patent/CN103942802A/zh
Publication of CN103942802A publication Critical patent/CN103942802A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Image Processing (AREA)

Abstract

本发明公开了一种基于随机模板的结构光动态场景深度获取方法,主要解决现有技术计算深度空间分辨率低,深度精度低的问题。其实现步骤为:设计随机模板P,经投影仪T将该随机模板P投射到三维场景中,用摄像机C记录经场景调制过的变形图像U;分别对随机模板P、变形图像U滑窗求均值得到类条纹图像Q和变形条纹图像B;使用Gabor滤波器求取这两类图像中像素点的相位;由相位关系得到变形条纹图像B中像素点与类条纹图像Q中像素点的粗略匹配结果;对粗略匹配结果进行补偿,得到最终的精确匹配结果;用匹配点坐标与线面相交几何关系求出对应场景的深度。本发明具有深度空间分辨率高、计算复杂度低的优点,可用于对动态场景的精确三维重建。

Description

基于随机模板的结构光动态场景深度获取方法
技术领域
本发明属于计算机图像处理技术领域,涉及结构光动态场景深度的获取,可用于三维重建或目标识别。
背景技术
随着科学技术、工业生产的快速发展,在许多领域中,都需要获取物体的形状或空间位置等三维信息。在诸如人机交互、机器人深度感知、质量检测、逆向工程、数字化建模等众多领域,都有着十分重要的应用。目前,三维测量方法主要包括被动测量法和主动测量法。
被动式测距方法不需要对场景中添加可控光源,仅由环境中本身的光源来提供照明。可大体分为立体视觉法、聚焦法、阴影测量法等。虽然被动式测量方法对成像设备要求不高,不需要额外光源,且操作简便,容易实现,但是对于不存在明显特征的图像,该方法计算量大,匹配精度低,难以获得精细的测量结果。
在主动式测量中,需要使用一个特定的光源对被测物体进行照明,并在被测物体上形成相应的形变信息,进而通过对形变信息的解码可得到被测物体的深度信息。这种方法测量精度较高,应用广泛。目前此类方法主要可分为激光扫描法、飞行时间法、结构光法。
激光扫描法,是激光技术的应用之一,运用激光测距原理,实现待测目标的深度测量。但是激光测量法所用的设备价格昂贵,测量精度受发射噪声以及杂光的影响较大。
飞行时间法,其原理是通过计算接收到的光波的延时实现场景深度的求取。该方法原理简单,测量速度快,基于该方法所设计的产品携带方便,但是需要多次测量数据来求取深度数据,***的实时性差,无法适用于动态场景。
结构光法,其原理是利用投射设备将具有一定规律的结构光模板投射到被测目标表面,将采集到的图像数据结合三角测距原理以及图形处理技术计算出物体表面的深度数据信息。利用结构光法实现深度数据的测量具有原理简单、易于实现、抗干扰能力强等优点,因而引起各界学者的广泛关注。基于结构光的测量方法又分为基于时间编码和基于空间编码两种方法。基于时间编码的方法因其需要一组投射模板,适用于静态场景;基于空间编码的方法将所有的编码信息压缩到一幅图中,因而只需投射一幅编码图案即可获得三维数据,适用于动态场景的检测。因此,为精确获取动态场景的深度值,基于空间编码的方法比较合适。
目前较多的结构光空间编码方式为基于颜色的编码方式,将不同颜色按照一定的编码方式进行排列进而产生一个彩色结构光模板。如江苏大学提出的一种基于彩色伪随机编码投影的特征点匹配方法,专利号为201010018212.4。此发明将不同颜色按照伪随机序列进行排列产生模板。通过像素点颜色的阈值不同进行特征区域区分,进而得到图像与模板的对应关系。但是,这种方法由于受到CCD摄像机颜色保真度及分辨率的影响而无法得到理想的效果和精度,而且不同颜色的场景对各个颜色的响应不同,所以摄像机记录下的颜色不能完全反映模板的颜色,导致在解码过程中容易产生错误。
发明内容
本发明的目的在于针对上述已有技术的不足,提出一种基于随机模板的结构光动态场景深度获取方法,以在不增加设备复杂性以及计算复杂性的情况下,避免颜色解码错误和匹配点定位不准确的问题,获取高精度的动态场景深度值。
为实现上述目的,本发明的技术方案包括如下步骤:
(1)生成随机模板P,并经投影仪T将该随机模板P投射到三维场景中,用摄像机C记录经场景调制过的变形图像U;
(2)分别对随机模板P和变形图像U分别进行滑窗求均值,分别得到类条纹图像Q和变形条纹图像B,条纹周期为M;
(3)将类条纹图像Q和变形条纹图像B分别与Gabor滤波器卷积,分别得到卷积结果Rq(xq,k1)和Rb(xb,k2):
R q ( x q , k 1 ) = ρ 1 e j ( [ k 1 x q + φ 1 ] 2 π ) R b ( x b , k 2 ) = ρ 2 e j ( [ k 2 x b + φ 2 ] 2 π ) - - - 1 )
其中,[·]为求余算子,k1为类条纹图像Q中像素点xq处的局部频率,k2为变形条纹图像B中像素点xb处的局部频率,φ1和φ2分别为像素点xq和xb处的初始相位,ρ1和ρ2分别表示Gabor滤波器响应的幅值,xq和xb为一对匹配像素点对;
(4)由式1)得到类条纹图像Q中像素点xq处的截断相位为[k1xq1],变形条纹图像B中像素点xb处的截断相位为[k2xb2];根据匹配像素点对xq和xb处的截断相位相等得到周期延拓相位的关系为:
k2xb2=[k2xb2]+2πC0=k1xq1   2)
其中,C0为待确定的周期数;
(5)根据随机模板P中亮像素点分布的随机性,对随机模板P和变形图像U进行块匹配,确定步骤(4)中的周期数C0
其中,c'为块匹配所得坐标值,M为条纹周期,为向下取整算子;
(6)由步骤(5)得到的周期C0,利用步骤(4)中的式2),得到变形条纹图像B中像素点xb在类条纹图像Q中的粗略匹配结果xqn
x qn = [ k 2 x b + φ 2 ] 2 π + 2 π C 0 k 1
(7)对步骤(6)得到的粗略匹配结果xqn的误差进行补偿,得到精确匹配结果xq
xq=xqn+Δxp
其中, Δ x p = [ k 2 x b + φ 2 ] 2 π - [ k 1 x pn + φ 1 ] 2 π k 1 为补偿的误差;
(8)对变形条纹图像B中每个像素点,结合步骤(7)得到的精确匹配结果,用线面相交几何关系求得对应场景的深度值D。
本发明与现有技术相比具有以下优点:
第一,本发明在求匹配点坐标过程中选用相位差,可以得到亚像素级精度的匹配点坐标;
第二,本发明对变形条纹图像中的每个像素点均进行匹配,有效地提高了深度的空间分辨率;
第三,本发明使用区域相关匹配算法辅助相位匹配,在计算复杂度上得到大幅度降低。
附图说明
图1为本发明的实现流程图;
图2为本发明使用的随机模板图;
图3为本发明使用的光深度***示意图;
图4为本发明使用的线面相交三角原理图。
具体实施方式
本发明是对现有结构光法空间编码方式的动态场景深度获取算法的改进,未增加设备复杂性,提高了所获取深度的空间分辨率,增加了所获取深度的精度。
参照图1,本发明是基于随机模板的结构光动态场景深度获取方法,步骤如下:
步骤1,设计随机模板P。
(1a)随机生成一张黑色图像,将该图像分成若干8*8的单元块,每个块的第x列白色像素点个数:
c ( x ) = 0,0 &le; [ x ] n < N 5 N 3 , N 5 &le; [ x ] N < 2 N 5 2 N 3 , 2 N 5 &le; [ x ] n < 3 N 5 N 3 , 3 N 5 &le; [ x ] n < 4 N 5 0 , 4 N 5 &le; [ x ] n < N ,
其中,N=8,[·]为求余算子;
(1b)根据上式确定单元块内每列的白色像素点的个数,并用随机序列生成器为每一列的白色像素点确定随机位置,完成对单元块的赋值;
(1c)对图像中第一行的单元块按照步骤(1a)-(1b)赋值,对第一行之后的各行单元块直接复制第一行单元块的值进行赋值,直至整个图像被赋值,即生成随机模板P,如图2所示。
步骤2,获取变形图像U。
参照图3,将设计好的随机模板P经投影仪T投射到三维场景H中,由于场景中各点深度的不同,使得随机模板发生变形,产生变形图像U,并用摄像机C对该变形图像进行记录。
步骤3,分别对随机模板P、变形图像U滑窗求均值,得到类条纹图像Q和变形条纹图像B。
(3a)获取类条纹图像Q:
(3a1)对随机模板P选用4*8大小的窗口进行滑窗求均值,得到随机模板P中坐标为(r,c)的像素点所在窗口内的像素点灰度值均值I0(r,c):
I 0 ( r , c ) = 2 N &CenterDot; 1 N &CenterDot; &Sigma; i &Sigma; j I ( r + i , c + j )
其中,N=8,i=0…3,j=0…7,I(r+i,c+j)表示随机模板P中坐标为(r+i,c+j)的像素点的灰度值;
(3a2)生成一张和随机模板P同样大小的空白图像,把得到的均值I0(r,c)赋给该图像中坐标为(r,c)的像素点,作为该像素点的灰度值,对每一个像素点赋值后得到图像,由于该图像在竖直方向上的像素点的灰度值是相等的,在水平方向上因为白色像素点的密度的不同,在该方向上呈现类似方波的规律,故称为类条纹图像Q,其条纹周期M=8;
(3b)获取变形条纹图像B:
(3b1)对变形图像U选用4*8大小的窗口进行滑窗求均值,得到变形图像U中坐标为(r,c)的像素点所在窗口内的像素点灰度值均值
I &OverBar; 0 ( r , c ) = 2 N &CenterDot; 1 N &CenterDot; &Sigma; i &Sigma; j I &OverBar; ( r + i , c + j )
其中,N=8,i=0…3,j=0…7,表示变形图像U中坐标为(r+i,c+j)的像素点的灰度值;
(3b2)生成一张与变形图像U同样大小的空白图像,把得到的均值赋给该图像中坐标为(r,c)的像素点,作为该像素点的灰度值,对每一个像素点赋值后得到变形条纹图像B。
步骤4,将类条纹图像Q和变形条纹图像B分别与Gabor滤波器卷积求相位。
(4a)假设类条纹图像Q与变形条纹图像B中各个像素点的灰度值的关系为:
I(xb)=λ(xq)I(xq),3)其中,I(xq)表示类条纹图像Q中像素点xq处的灰度值,I(xb)为变形条纹图像B中像素点xb处的灰度值,λ(xq)为在局部区域内近似为常数的比例系数,xq和xb为一对匹配点对,并且满足xb=a1·xq+a0,a0和a1是用于表示xq和xb之间关系的两个系数;
(4b)将类条纹图像Q与Gabor滤波器G1(x1,y1,k1)进行卷积,得到在类条纹图像Q中xq点处的卷积结果为:
R p ( x p , k 1 ) = &rho; 1 e j ( [ k 1 x p + &phi; 1 ] 2 &pi; ) ,
其中, G 1 ( x 1 , y 1 , k 1 ) = 1 2 &pi; &sigma; 2 e - x 1 2 + y 1 2 2 &pi; &sigma; 2 ( e jk 1 x 1 - e - k 1 2 &sigma; 2 2 ) , (x1,y1)为类条纹图像Q中像素点的坐标,σ为高斯函数的标准差,取值为1,ρ1为卷积结果的幅值,k1为类条纹图像Q中xq的局部频率,φ1为类条纹图像Q中xq的初始相位,[·]为求余算子,Gabor滤波器的波长为M;
(4c)将变形条纹图像B与Gabor滤波器G2(x2,y2,k2)进行卷积,得到在变形条纹图像B中像素点xb处的卷积结果为:
R b ( x b , k 2 ) = &rho; 2 e j ( [ k 2 x b + &phi; 2 ] 2 &pi; ) ,
其中, G 2 ( x 2 , y 2 , k 2 ) = 1 2 &pi; &sigma; 2 e - x 2 2 + y 2 2 2 &pi; &sigma; 2 ( e jk 2 x 2 - e - k 2 2 &sigma; 2 2 ) , (x2,y2)为变形条纹图像B中像素点的坐标,ρ2为卷积结果的幅值,k2为变形条纹图像B中xb处的局部频率,φ2为变形条纹图像B中xb处的初始相位,[·]为求余算子;
(4d)根据类条纹图像Q和变形条纹图像B中各像素点的灰度值之间的关系式3),得到类条纹图像Q和变形条纹图像B与Gabor滤波器卷积后的结果之间的关系为:
&rho; 2 e j ( [ k 2 x b + &phi; 2 ] 2 &pi; ) = &lambda; 1 &rho; 1 e j ( [ k 1 x q + &phi; 1 ] 2 &pi; ) , 其中, &lambda; 1 = a 1 &CenterDot; &lambda; ( x q ) ,
由该等式两边相位相等,得到类条纹图像Q中xq处的截断相位[k1xq1]和变形条纹图像B中xb处的截断相位[k2xb2]相等,即:
[k2xb2]=[k1xq1],4)
对式4)中的截断相位进行周期延拓,消去求余算子,得到周期延拓后的相位关系为:
k2xb2=[k2xb2]+2πC0=k1xq1,5)
其中C0为待确定的周期数。
步骤5,根据随机模板P中亮像素点分布的随机性,对随机模板P和变形图像U进行块匹配,确定步骤4中的周期数C0
(5a)选用归一化相关系数法作为匹配窗口相似度衡量准则,匹配窗口的大小选为8*8,在变形图像U中找到与变形条纹图像B中像素点xb对应位置的像素点xu,设像素点xu坐标为(r,c),以像素点xu为中心确定8*8匹配窗口,搜索随机模板P,计算为归一化相关系数D(r,c):
D ( r , c ) = max r ' , c ' &Sigma; i &Sigma; j A ( r , c , i , j ) B ( r ' , c ' , i , j ) &Sigma; i &Sigma; j A 2 ( r , c , i , j ) &Sigma; i &Sigma; j B 2 ( r ' , c ' , i , j ) ,
其中,i=0…7J=0…7,A(r,c,i,j)=I(r+i,c+j)-I0I(r+i,c+j)表示变形图像U中坐标为(r+i,c+j)的像素点的灰度值,表示随机模板P中坐标为(r'+i,c'+j)的像素点的灰度值,I0表示变形图像U中坐标为(r,c)的像素点所在窗口内像素点灰度值的均值,表示随机模板P中坐标为(r',c')的像素点所在窗口内像素点灰度值的均值;
(5b)当归一化相关系数D(r,c)最大时,将随机模板P中坐标为(r',c')的像素点作为变形图像U中坐标为(r,c)像素点xu的匹配点;
(5c)计算随机模板P中坐标为(r',c')像素点xc的相位周期数C1
其中,c'为像素点xc的列坐标,M为条纹周期,为向下取整算子;
根据变形条纹图像B中像素点xb和变形图像U中像素点xu坐标位置相等,变形图像U中像素点xu和随机模板P中像素点xc为匹配点对,得到变形条纹图像B中像素点xb所在的相位周期数C0
步骤6,将相位周期数C0代入步骤4中的式5),同时令初始相位φ1=0,得到变形条纹图像B中像素点xb与类条纹图像Q中像素点的粗略匹配结果xpn
x qn = [ k 2 x b + &phi; 2 ] 2 &pi; + 2 &pi; C 0 k 1 . - - - ( 6 )
步骤7,对步骤6得到的粗略匹配结果xpn的误差进行补偿,得到变形条纹图像B中像素点xb与类条纹图像Q中像素点的精确匹配结果xq
(7a)根据步骤4得到变形条纹图像B中像素点xb处的截断相位[k1xq1],以及像素点xb在类条纹图像Q中粗略匹配结果xpn处的截断相位[k1xpn1],得到粗略匹配结果xpn存在的误差Δxp
&Delta; x p = [ k 2 x b + &phi; 2 ] 2 &pi; - [ k 1 x pn + &phi; 1 ] 2 &pi; k 1 , - - - ( 7 )
(7b)将粗略匹配结果xpn的误差Δxp与该粗略匹配结果xpn相加,得到变形条纹图像B中像素点xb与类条纹图像Q中像素点的精确匹配结果:
xq=xpn+Δxp。8)
步骤8,利用精确匹配结果,根据线面相交几何关系求得变形条纹图像B中像素点对应场景处的深度值D。
参照图4,本步骤的具体实现如下:
(8a)根据摄像机C、变形条纹图像B中的像素点xb和三维场景中点G的共线性,将点G的坐标(Gx,Gy,Gz)表示为:
(Gx,Gy,Gz)=(Cx,Cy,Cz)+γ1[(bx,by,bz)-(Cx,Cy,Cz)],9)
其中,(Cx,Cy,Cz)为摄像机C光心的三维坐标,(bx,by,bz)为变形条纹图像B中像素点xb的三维坐标,γ1为点C到点G的距离,
(8b)把γ1代入式9),得到三维场景中点G的坐标(Gx,Gy,Gz)中的Gx为:
G x = G x + D - C z b z - C z ( b x - C x ) - - - 10 )
(8c)由步骤7得到的精确匹配结果xq,根据三维场景中的点G、投影仪T和类条纹图像Q中的像素点xq的共线性,将点G的坐标(Gx,Gy,Gz)中的Gx表示为:
G x = D f &CenterDot; q x ; - - - 11 )
其中,qx为类条纹图像Q中像素点xq的三维坐标(qx,qy,qz)中x轴坐标值。
(8d)将式10)与式11)联立为方程组,求解该方程组,确定场景的深度值D:
D = f &CenterDot; ( C x z b - C z b x ) q x &CenterDot; ( z b - C z ) - ( b x - C x ) .
以上描述仅是本发明的一个具体事例,并不构成对本发明的任何限制。显然对于本领域的专业人员来说,在了解了本发明内容和原理后,都可能在不背离本发明原理、结构的情况下,进行形式和细节上的各种修正和改变,但是这些基于本发明思想的修正和改变仍在本发明的权利要求保护范围之内。

Claims (6)

1.一种基于随机模板的结构光动态场景深度获取方法,包括如下步骤:
(1)生成随机模板P,并经投影仪T将该随机模板P投射到三维场景中,用摄像机C记录经场景调制过的变形图像U;
(2)分别对随机模板P和变形图像U分别进行滑窗求均值,分别得到类条纹图像Q和变形条纹图像B,条纹周期为M;
(3)将类条纹图像Q和变形条纹图像B分别与Gabor滤波器卷积,分别得到卷积结果Rq(xq,k1)和Rb(xb,k2):
R q ( x q , k 1 ) = &rho; 1 e j ( [ k 1 x q + &phi; 1 ] 2 &pi; ) R b ( x b , k 2 ) = &rho; 2 e j ( [ k 2 x b + &phi; 2 ] 2 &pi; ) - - - 1 )
其中,[·]为求余算子,k1为类条纹图像Q中像素点xq处的局部频率,k2为变形条纹图像B中像素点xb处的局部频率,φ1和φ2分别为像素点xq和xb处的初始相位,ρ1和ρ2分别表示Gabor滤波器响应的幅值,xq和xb为一对匹配像素点对;
(4)由式1)得到类条纹图像Q中像素点xq处的截断相位为[k1xq1],变形条纹图像B中像素点xb处的截断相位为[k2xb2];根据匹配像素点对xq和xb处的截断相位相等得到周期延拓相位的关系为:
k2xb2=[k2xb2]+2πC0=k1xq1   2)其中,C0为待确定的周期数;
(5)根据随机模板P中亮像素点分布的随机性,对随机模板P和变形图像U进行块匹配,确定步骤(4)中的周期数C0
其中,c'为块匹配所得坐标值,M为条纹周期,为向下取整算子;
(6)由步骤(5)得到的周期C0,利用步骤(4)中的式2),令初始相位φ1=0,得到变形条纹图像B中像素点xb与类条纹图像Q中像素点的粗略匹配结果xqn
x qn = [ k 2 x b + &phi; 2 ] 2 &pi; + 2 &pi; C 0 k 1
(7)对步骤(6)得到的粗略匹配结果xqn的误差进行补偿,得到精确匹配结果xq
xq=xqn+Δxp
其中, &Delta; x p = [ k 2 x b + &phi; 2 ] 2 &pi; - [ k 1 x pn + &phi; 1 ] 2 &pi; k 1 为补偿的误差;
(8)对变形条纹图像B中每个像素点,结合步骤(7)得到的精确匹配结果,用线面相交几何关系求得对应场景的深度值D。
2.根据权利要求1所述的基于随机模板的结构光动态场景深度获取方法,其中步骤(1)所述的生成随机模板P,按如下步骤进行:
(1a)随机生成一张黑色图像,将该图像分成若干8*8的单元块,每个块的第x列白色像素点个数c(x)为:
c ( x ) = 0,0 &le; [ x ] n < N 5 N 3 , N 5 &le; [ x ] N < 2 N 5 2 N 3 , 2 N 5 &le; [ x ] n < 3 N 5 N 3 , 3 N 5 &le; [ x ] n < 4 N 5 0 , 4 N 5 &le; [ x ] n < N ,
其中,N=8,[·]为求余算子;
(1b)根据上式确定单元块内每列的白色像素点的个数,并用随机序列生成器为每一列的白色像素点确定随机位置,完成对单元块的赋值;
(1c)对图像中第一行的单元块按照步骤(1a)-(1b)赋值,对第一行之后的各行单元块直接复制第一行单元块的值进行赋值,直至整个图像被赋值,即生成随机模板P。
3.根据权利要求1所述的基于随机模板的结构光动态场景深度获取方法,其中所述步骤(2)中对随机模板P进行滑窗求均值,是选用4*8大小的窗口按如下公式对随机模板P进行滑窗求均值:
I 0 ( r , c ) = 2 N &CenterDot; 1 N &CenterDot; &Sigma; i &Sigma; j I ( r + i , c + j )
其中,N=8,i=0…3,j=0…7,I0(r,c)表示随机模板P中坐标为(r,c)的像素点所在窗口内像素点灰度值的均值,I(r+i,c+j)表示随机模板P中坐标为(r+i,c+j)的像素点的灰度值;
经局部滑窗求均值所得的图像在竖直方向的像素值是相等的,在水平方向上因为白色像素点的密度的不同,在该方向上呈现类似方波的规律,故得到类条纹图像Q,条纹周期为M=8。
4.根据权利要求1所述的基于随机模板的结构光动态场景深度获取方法,其中所述步骤(2)的对变形图像U进行滑窗求均值,是选用4*8大小的窗口按如下公式对变形图像U进行局部滑窗求均值:
I &OverBar; 0 ( r , c ) = 2 N &CenterDot; 1 N &CenterDot; &Sigma; i &Sigma; j I &OverBar; ( r + i , c + j )
其中,N=8,i=0…3,表示变形图像U中坐标为(r,c)的像素点所在窗口内像素点灰度值的均值,表示变形图像U中坐标为(r+i,c+j)的像素点的灰度值,经局部滑窗求均值得到图像为变形条纹图像B。
5.根据权利要求1所述的基于随机模板的结构光动态场景深度获取方法,其中步骤(5)所述的对随机模板P和变形图像U进行块匹配,确定步骤(5)中的相位周期C0,按如下步骤进行:
(5a)选用归一化相关系数法作为匹配窗口相似度衡量准则,匹配窗口的大小选为8*8,在变形图像U中找到与变形条纹图像B中像素点xb对应位置的像素点xu,设像素点xu坐标为(r,c),以像素点xu为中心确定8*8匹配窗口,搜索随机模板P,计算为归一化相关系数D(r,c):
D ( r , c ) = max r ' , c ' &Sigma; i &Sigma; j A ( r , c , i , j ) B ( r ' , c ' , i , j ) &Sigma; i &Sigma; j A 2 ( r , c , i , j ) &Sigma; i &Sigma; j B 2 ( r ' , c ' , i , j ) ,
其中,i=0…7,j=0…7,A(r,c,i,j)=I(r+i,c+j)-I0I(r+i,c+j)表示变形图像U中坐标为(r+i,c+j)的像素点的灰度值,表示随机模板P中坐标为(r'+i,c'+j)的像素点的灰度值,I0表示变形图像U中坐标为(r,c)的像素点所在窗口内像素点灰度值的均值,表示随机模板P中坐标为(r',c')的像素点所在窗口内像素点灰度值的均值;
(5b)当归一化相关系数D(r,c)最大时,将随机模板P中坐标为(r',c')的像素点作为变形图像U中坐标为(r,c)像素点xu的匹配点;
(5c)计算随机模板P中坐标为(r',c')像素点xc的相位周期数C1
其中,c'为像素点xc的列坐标,M为条纹周期,为向下取整算子;
根据变形条纹图像B中像素点xb和变形图像U中像素点xu坐标位置相等,变形图像U中像素点xu和随机模板P中像素点xc为匹配点对,得到变形条纹图像B中像素点xb所在的相位周期数C0
6.根据权利要求1所述的基于随机模板的结构光动态场景深度获取方法,其中所述步骤(8)用线面相交几何关系求得对应场景的深度值D,通过如下公式进行:
D = f &CenterDot; ( C x z b - C z x b ) x q &CenterDot; ( z b - C z ) - ( x b - C x ) ,
其中,(xb,yb,zb)为变形条纹图像B像素点的三维坐标,xq为xb处的匹配点坐标,(Cx,Cy,Cz)为摄像机C的光心坐标,f为投影仪T的焦距。
CN201410178911.3A 2014-04-29 2014-04-29 基于随机模板的结构光动态场景深度获取方法 Pending CN103942802A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410178911.3A CN103942802A (zh) 2014-04-29 2014-04-29 基于随机模板的结构光动态场景深度获取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410178911.3A CN103942802A (zh) 2014-04-29 2014-04-29 基于随机模板的结构光动态场景深度获取方法

Publications (1)

Publication Number Publication Date
CN103942802A true CN103942802A (zh) 2014-07-23

Family

ID=51190453

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410178911.3A Pending CN103942802A (zh) 2014-04-29 2014-04-29 基于随机模板的结构光动态场景深度获取方法

Country Status (1)

Country Link
CN (1) CN103942802A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105844623A (zh) * 2016-03-21 2016-08-10 西安电子科技大学 基于De序列混合编码的目标物体深度信息获取方法
CN105844633A (zh) * 2016-03-21 2016-08-10 西安电子科技大学 基于De序列和相位编码的单帧结构光深度获取方法
CN105974427A (zh) * 2016-06-24 2016-09-28 上海图漾信息科技有限公司 结构光测距装置及方法
CN107424186A (zh) * 2016-05-19 2017-12-01 纬创资通股份有限公司 深度信息测量方法及装置
CN108648222A (zh) * 2018-04-27 2018-10-12 华中科技大学 结构光深度数据空间分辨率的提升方法及装置
CN113703467A (zh) * 2021-08-04 2021-11-26 电子科技大学 一种用于涡轮叶片检测的多足机器人
CN117635729A (zh) * 2023-11-28 2024-03-01 钛玛科(北京)工业科技有限公司 一种线相机背光标定器及方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102884397A (zh) * 2010-05-07 2013-01-16 深圳泰山在线科技有限公司 结构光测量方法以及***
CN103400366A (zh) * 2013-07-03 2013-11-20 西安电子科技大学 基于条纹结构光的动态场景深度获取方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102884397A (zh) * 2010-05-07 2013-01-16 深圳泰山在线科技有限公司 结构光测量方法以及***
US20130050476A1 (en) * 2010-05-07 2013-02-28 Shenzhen Taishan Online Technology, Co., Ltd. Structured-Light Based Measuring Method and System
CN103400366A (zh) * 2013-07-03 2013-11-20 西安电子科技大学 基于条纹结构光的动态场景深度获取方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ZHE YANG等: "Depth Acquisition from Density Modulated Binary Patterns", 《IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105844623A (zh) * 2016-03-21 2016-08-10 西安电子科技大学 基于De序列混合编码的目标物体深度信息获取方法
CN105844633A (zh) * 2016-03-21 2016-08-10 西安电子科技大学 基于De序列和相位编码的单帧结构光深度获取方法
CN105844633B (zh) * 2016-03-21 2019-03-26 西安电子科技大学 基于De序列和相位编码的单帧结构光深度获取方法
CN107424186A (zh) * 2016-05-19 2017-12-01 纬创资通股份有限公司 深度信息测量方法及装置
CN105974427A (zh) * 2016-06-24 2016-09-28 上海图漾信息科技有限公司 结构光测距装置及方法
CN108648222A (zh) * 2018-04-27 2018-10-12 华中科技大学 结构光深度数据空间分辨率的提升方法及装置
CN113703467A (zh) * 2021-08-04 2021-11-26 电子科技大学 一种用于涡轮叶片检测的多足机器人
CN117635729A (zh) * 2023-11-28 2024-03-01 钛玛科(北京)工业科技有限公司 一种线相机背光标定器及方法
CN117635729B (zh) * 2023-11-28 2024-06-11 钛玛科(北京)工业科技有限公司 一种线相机背光标定器及方法

Similar Documents

Publication Publication Date Title
CN103942802A (zh) 基于随机模板的结构光动态场景深度获取方法
Xu et al. Line structured light calibration method and centerline extraction: A review
Fanello et al. Hyperdepth: Learning depth from structured light without matching
JP6426968B2 (ja) 情報処理装置およびその方法
CN103649674B (zh) 测量设备以及信息处理设备
CN103971406B (zh) 基于线结构光的水下目标三维重建方法
CN103400366B (zh) 基于条纹结构光的动态场景深度获取方法
JP5029618B2 (ja) パターン投影法による3次元形状計測装置、方法およびプログラム
CN103697815B (zh) 基于相位编码的混频结构光三维信息获取方法
Takimoto et al. 3D reconstruction and multiple point cloud registration using a low precision RGB-D sensor
Luo et al. A simple calibration procedure for structured light system
US20180091798A1 (en) System and Method for Generating a Depth Map Using Differential Patterns
CN103900494B (zh) 用于双目视觉三维测量的同源点快速匹配方法
WO2014020823A1 (ja) 画像処理システムおよび画像処理方法
CN104075659B (zh) 一种基于rgb结构光源的三维成像识别方法
WO2011145285A1 (ja) 画像処理装置、画像処理方法およびプログラム
Yang et al. Flexible and accurate implementation of a binocular structured light system
CN104111038A (zh) 利用相位融合算法修复饱和产生的相位误差的方法
CN105303572B (zh) 基于主被动结合的深度信息获取方法
JP2016217941A (ja) 3次元データ評価装置、3次元データ測定システム、および3次元計測方法
CN105306922A (zh) 一种深度相机参考图的获取方法和装置
CN107990846A (zh) 基于单帧结构光的主被动结合深度信息获取方法
CN103940370A (zh) 基于周期互质混合编码的目标物体三维信息获取方法
CN106091987A (zh) 基于散斑时域相关的大尺寸光学毛坯三维测量方法
CN101996416A (zh) 3d人脸捕获方法和设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20140723

WD01 Invention patent application deemed withdrawn after publication