CN103793911A - 一种基于集成图像技术的场景深度获取方法 - Google Patents

Abstract

本发明提供了一种基于集成图像技术的场景深度获取方法，该方法包括以下步骤：（1）获取集成图像；（2）抽取视图；（3）对视图进行视差分析和深度计算；（4）多基线匹配和计算。该方法属于被动视觉的深度获取方法，不需要利用特殊光源，在自然光照下就能够完成深度信息的获取的方法。和传统的双目机器视觉设备相比，本***结构紧凑，小巧，成像方便，不需要进行不同相机之间的标定和校准。景深要大于在同样镜头孔径的传统相机，在主透镜辅助调节的作用下，对远场场景也可具有较好成像效果。采用多基线算法，可进一步提高获取深度信息的可靠性和稳定性。

Description

一种基于集成图像技术的场景深度获取方法

技术领域

本发明涉及一种基于集成图像技术的场景深度获取方法，属于光学领域的视觉测量技术分支。

背景技术

三维空间场景深度信息的获取在工业测量、安全监控、模式识别及三维显示等方面有着广泛的应用。非接触式场景深度信息的获取可分为被动测距传感器和主动测距传感器两大类。主动测距传感器是指视觉***主动向场景发射能量，通过接受场景的反射能量计算深度信息。像超声测距、雷达成像、结构光源、Moire技术、全息干涉测量法等都属于主动测距法。主动测距技术总体上具有测量精度高、抗干扰性能强和实时性好的优点，但由于需要特殊光源及控制的环境，应用范围受到限制。被动测距法只不需要利用特殊光源，在自然光照下就能够完成深度信息的获取的方法，因而也有着广泛的应用。

双目立体视觉技术是被动测距方法中最常见的一种。其基本原理与人眼测距原理类似。***中两摄像头的光轴平行，图1，Z_I和Z_r分别表示左右摄像机的光轴，f代表相机焦距，b是左右两图像坐标系原点间的距离，称为基线。D为目标物点P到成像平面的距离，P_I和P_r分别为目标物点P在左右两图像中的成像点，对应x方向取值分别为x_l,x_r，x_r-x_l为该点在左右两幅图间的视差，用d表示，则由三角关系可知

$D=\frac{\mathrm{bf}}{d}$     公式1）

其中，b和f需要通过摄像机标定得到，视差可以通过立体匹配方法得到。因此，在已知摄像机的参数的情况下，通过计算目标物点在左、右两幅图像上的视差，就可以确定出该目标物点距相机平面的距离，从而实现对目标距离的测量。

公式1）是在两摄像头的光轴平行，且两台摄像机的焦距都一致的情况下得出的。在两摄像头的光轴不平行或两台摄像机的焦距不一致的情况需要根据摄像机的参数对左右两幅视图进行空间几何变换。所以在具体应用时，一般需要知道两台摄像机的参数并对左右两组图像进行相应的标定，给使用带来麻烦。在完成摄像机标定的基础上，双目立体视觉中获取的深度信息的准确性和基线的长度以及由立体匹配获取的视差的准确度和可靠性有关。其量化误差

测量精度随着基线的增加和物体深度的增加而下降。

集成成像技术(Integral Imaging)源于Lippmann 1908的工作。该技术采用一张由微透镜阵列组成的薄片来记录三维物体空间场景；由于每个微透镜都从不同的方向记录一部分物体空间，空间任意一点的视差信息都被这许许多多的元素图像扩散记录于整个记录胶片。当将记录胶片放在一张具有同样参数的微透镜阵列薄片后时，可再现原来的三维场景。

受到理论研究和光电制造工艺的限制，早期的集成成像技术并没有受到重视。1994年，英国的Davies和McCormick等人设计了一种由两极光学传输网络的构成的集成成像成像***[Optical Engineering,33(11):“Design and analysis of an image transfer system usingmicrolens arrays”]。该***克服了Lippmann提出的集成成像技术存在的再现的三维场景相对于原来的场景存在空间上深度的反转、元素图像之间的窜扰等问题。1998年，日本NHK广播公司的Arai和Okano等人进一步使用渐变型多模光纤阵列来代替传输透镜阵列，并成功地实现了三维彩色图像的实时显示，验证了由集成成像实现三维电视的可能性。[“Gradient-index lens-array method based on real-time integral photography forthree-dimensional images”,Appl.Opt37(11)]。此后，集成成像技术在三维显示技术领域引起关注。

1991年Adelson等对空间光线进行了形式化描述，提出了“全光函数”的理论。物体的三维属性可以通过以全光函数所表达的光线分布及变化来获取和表达。[“The PlenopticFunction and the Elements of Early Vision”,Computation Models of Visual Processing,MIT Press,Cambridge,1991]全光函数可以比做是联系三维空间“光场”分布和二维图像间的中介。我们传统意义上的不同图像获取手段只是对“光场”的特定维度的记录，是全光函数的一个子集或者切片。

相对于传统的二维图像只是空间场景对个特定视点的透射投影后形成的信息，集成成像技术能够实现对微透镜阵列所在位置处的光场信息的记录，是光场成像的一种方式。具体来说，集成成像技术不仅记录了微透镜阵列所在位置的光线强度信息，还记录了相应位置的方向信息。Ng的手持式光场相机[Ng R et al,“Light field photography with a hand-heldplenoptic camera”,Tech Rep CSTR:Stanford Computer Science Tech ReportCSTR,2005]，Levoy的光场显微镜[Light field microscopy,SIGGRAPH2006:924-934.]都是基于集成成像技术的。Ng的光场相机主要利用数字重聚焦技术解决图像的失焦问题，可实现相机先拍照和调焦的能力。Levoy的光场显微镜利用一次曝光得到多个视角多组焦平面图像，从而得到大景深的显微图片。

本发明提出了一种在以集成成像技术为基础的光场相机上通过视图提取和多基线立体匹配方法来获取场景深度信息的方法。本方法首先可以考虑应用于医疗方面，如内窥镜等要求镜头较小的成像***。增加的深度信息不仅有助于观察内部结构，对进一步的图像分析、理解及模式识别等方面有潜在的应用。该相机的景深要大于在相同孔径下的传统相机，在主透镜的辅助调节作用下，对远场场景也可具有较好成像效果，可用于交通控制，智能监控，遥感，测量等领域，还可应用于手机，数码相机等便携式娱乐产品。

发明内容

虽然集成成像是以类似于多目视觉的方法来记录空间场景的，但是不同于传统的多目视觉中采用的透镜阵列，集成成像记录过程中采用的是很多非常小尺寸的微透镜。因此，对应于每个透镜下的元素图像的分辨率非常低。企图用传统的多目视觉方法从每个透镜下的元素图像间的视差信息来直接获取深度信息成为几乎不可能的事情。

本发明提出了一种以光场相机为基础，通过视图提取和多基线匹配方法来获取场景的深度信息的方法。该方法在获取深度信息时不需要特殊光源，也无需要标定，在同样条件下采用多基线立体匹配方法可以有效的增强视差获取过程中匹配的准确性和可靠性，去除场景中周期性纹理的对匹配的影响。基于该方法的深度获取装置还将具有结构简单小巧，成像方便，使用灵活，同等成像条件下景深大的优点。

本发明包括集成图像的获取、“视图”抽取、视差分析和深度计算、多基线计算几部分，方案框图见图2。

1.集成图像的获取

集成图像可通过图3所示原理的光场相机装置来获取，由光学主透镜组（图3中部件2）、微透镜阵列（图3中部件3）和感光元件（图3中部件4）几部分构成。

该光场相机和传统相机的主要不同之处是在感光元件前增加了一个微透镜阵列（图3中部件3）。主透镜组起到成像***中的光学传输的作用，其作用和工作方式和传统相机相同，主透镜组的焦距可以调节。微透镜阵列可设置于主透镜组的成像面。感光元件所在平面位于在微透镜阵列的焦平面上。

2.“视图”抽取方法。

将不同微透镜下相同位置的点抽提出来形成一幅幅新“视图”。

如果由数码相机获得的集成图像中单个微透镜下面在水平方向有4个像素点，在只考虑水平方向视图的抽提时，可提取出4幅视图，图4。

通过这种抽样方法形成的“视图”，包含对原物空间场景沿某一特定方向的平行投影的记录。一幅“视图”类似于用传统相机从某一个特定角度拍摄的图像。不同“视图”，对应于不同角度拍摄的图像。

3.视差分析和深度计算

视差为对同一物空间点在两幅不同“视图”中相应位置的距离差。可采用各种匹配的方法通过搜索在对应的视图中寻找。

物体深度可由视图间视差和相机参数来计算：

    公式2)

公式2）中，α为主透镜的放大系数，

和f分别是微透镜阵列中微透镜的孔径和焦距，b为不同视图间的抽样距离，d表示该物点在不同视图间的视差。D为计算出的物点的深度。

根据公式2)，如果微透镜阵列的参数和对应两幅视图的抽样距离已知，则空间任意一点的深度可以通过求解该点在对应视图间的视差来获得。

4.多基线匹配和计算

在匹配中，一幅图像上的每一个特征点只能与另一幅图像上的唯一一个特征点对应，这一性质称为唯一性约束。在实际中，由于大多数特征点不是十分明显，特别是重复纹理的出现，常常会产生对应多义性。即一幅图像上的一个特征点对应另一幅图像的若干个对应点。在这种情况下，由于记录噪声等其他原因，真正的对应点可能被其它假对应点所掩盖。

由于集成图像在一次成像的过程中同时包含了来自多个不同方向的“视图”的信息。可采用多幅具有不同长度的基线的“视图对”来消除匹配中对应点多义性的问题。多基线匹配该方法的实质在于将不同基线长度的多幅视图计算的深度的总相关性进行积累，然后再做出匹配判断，图5。多基线方法可以有效地减少由于场景中周期性的纹理引起的误匹配。

附图说明

图1双目视觉测距原理图

图2整体方案框图

图3基于微透镜阵列的光场相机原理图，其中，1物体，2主透镜组，3微透镜阵列，4感光元件

图4从集成图像中通过采抽提取视图的方法示意图

图5多基线匹配原理图，其中，（a）-（g）对应不同基线长度的视图对匹配的结果，（h）为采用多基线方法匹配的结果

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例并配合附图1-5，对本发明进一步详细说明。

1.在传统相机的成像面位置处***微透镜阵列，新的成像面（感光元件）向后移至微透镜阵列的焦平面上。也可用柱状光栅板代替微透镜阵列。

2.从记录形成集成图像中通过采样提取“视图”。不同微透镜下相同位置的点可抽提出来形成一幅“视图”。如果整个图像大小为6000*4000像素，每个微透镜下有10*10个像素，可以提取出100幅“视图”，每幅“视图”的大小为600*400。如果设置上采用的是柱状光栅板，“视图”只须在水平方向按上面方法采样即可，如果整个图像大小为6000*4000像素，每个柱状光栅下单方向有10个像素，可以提取出10幅“视图”，每幅“视图”的大小为600*4000。

3.对指定物点，通过搜索寻找两幅“视图”间的视差并估算深度。

寻找匹配的代价函数可以有很多种，如SSD(sum of the squared ifference),SAD(sumof absolute difference)和CC(cross correlation)函数等：

$\mathrm{SSD}:\mathrm{score}\left(d\right)=\mathrm{SSD}\left(d\right)=\underset{x,y\∈w}{\mathrm{\Σ}}[I_1(x,y)-I_2(x+d,y){]}^2$     公式3)

$\mathrm{SAD}:\mathrm{score}\left(d\right)=\mathrm{SAD}\left(d\right)=\underset{x,y\∈w}{\mathrm{\Σ}}|I_1(x,y)-I_2(x+d,y)|$    公式4)

$\mathrm{CC}:\mathrm{score}\left(d\right)=-\mathrm{CC}\left(d\right)=\frac{-\underset{x,y\∈w}{\mathrm{\Σ}}[I_1(x,y)\·I_2(x+d,y)]}{\sqrt{\underset{x,y\∈w}{\mathrm{\Σ}}{I}_1^2(x,y)\·\underset{x,y\∈w}{\mathrm{\Σ}}{I}_2^2(x+d,y)}}$     公式5)

I₁和I₂,分别代表左右两幅视图，(x,y)为图像中待匹配点的坐标值，I₁(x,y)，I₂(x,y)为对应点的灰度值，w是以待匹配点为中心的一个小窗口。w大小的选取和图像大小和图像内容纹理的复杂度有关。一般可选3*3，5*5，7*7，9*9这几种。d为待匹配点的可能视差值。

估计视差为使记分函数有最小值的位置：

$d^{*}=\arg \left\{\underset{d\∈R}{\min }\right\{\mathrm{score}\left(d\right)\left\}\right\}$     公式6)

R是求匹配时的搜索范围。一般需根据物点可能的深度范围来确定，最大不超过图像。当选用柱状光栅时搜索范围被限定在水平方向上。如果采用微透镜阵列，在垂直方向可用相同方法搜索。

物体深度可由方案中的公式2）来估算。这里，

和f是固定值，α和主透镜的成像放大系数有关，b和两幅视图的抽样位置有关。

4.多基线匹配方法计算深度

更可靠的物体深度可由多基线匹配方法来计算。将公式2）中有关深度D和视差d的关系带入多基线的累积函数中，得到适用于从集成图像的多基线深度计算的记分函数：

    公式7)

    公式8)

    公式9)

N为提取的“视图”的个数。最后得到的测量的深度值是使记分函数取最小值的位置D： $D^{*}=\arg \left\{\underset{D\∈R^{\′}}{\min }\right\{\mathrm{score}\left(D\right)\left\}\right\}$     公式10)

优点或积极效果：

本发明公开了一种利用集成成像技术构成的光场相机获取场景深度信息的方法。

主要优点：

本方法属于主动视觉的深度获取方法。不需要采用红外，超声，结构光源等特殊光源和控制的环境。

和传统的双目机器视觉相比，本***结构紧凑，小巧，成像方便，不需要进行不同相机之间的标定和校准。

该相机的景深要大于在同样镜头孔径的传统相机，在主透镜聚焦调节的辅助作用下，对远场场景也可具有较好成像效果。

通过特殊采样方式获得的“视图”对应于来自不同方向的平行投影记录，其深度计算的量化错是一个和深度无关的固定值。有别于传统的立体匹配相对于传统立体匹配中量化误差和深度的平方成正比的关系，可以在一定程度上改善测量的深度范围。

采用多基线算法，还可以进一步提高立体匹配的可靠性，消除场景中周期性纹理对匹配的影响，提高获取的深度信息的可靠性和稳定性。

适用范围：

本方法首先可考虑应用于医疗方面，如内窥镜等要求镜头较小的成像***。增加的深度信息不仅有助于直观的观察内部结构，对于进一步的图像分析、理解及模式识别方面有很对潜在的应用。也可应用于手机，数码相机等便携式娱乐产品。还可用于交通控制，智能监控，遥感测量等广泛的应用领域。

以上所述仅是本发明优选实施方式，应当指出，对于本技术领域的普通技术员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变型，这些改进和变型也应该视为本发明的保护范围。

Claims (1)

1.一种基于集成图像技术的场景深度获取方法，该方法包括以下步骤：

（1）.获取集成图像

由光场相机装置来获取集成图像，该光场相机装置包括从物侧到像侧依次设置的光学主透镜组、微透镜阵列和感光元件；

（2）.抽取视图

将不同微透镜下相同位置的点抽提出来形成多幅视图；

（3）.对视图进行视差分析和深度计算

寻找对同一物空间点在两幅不同视图中相应位置的距离差，该距离差为视差，并对其进行分析，由以下公式来确定视图深度：

其中，α为主透镜的放大系数，

和f分别是微透镜阵列中微透镜的孔径和焦距，b为不同视图间的抽样距离，d表示该物点在不同视图间的视差，D为计算出的物点的深度；

（4）.多基线匹配和计算

将不同基线长度的多幅视图计算的深度的总相关性进行积累，然后再做出匹配判断，具体步骤为：将上述公式中深度D和视差d的关系带入多基线的累积函数中，得到适用于从集成图像的多基线深度计算的记分函数，最后得到的测量的深度值是使记分函数取最小值的位置。

Images