CN104463949A - 一种基于光场数字重聚焦的快速三维重建方法及其*** - Google Patents

Abstract

本发明提供一种基于光场数字重聚焦的快速三维重建方法，包含以下步骤：首先，采用光场数据获取设备获取空间四维光场数据；其次，数字重聚焦模块对空间四维光场数据进行数字重聚焦处理，得到聚焦平面序列图像；最后，三维重建模块对聚焦平面序列图像进行三维重建。本发明还提供一种基于光场数字重聚焦的快速三维重建***，包括光场数据获取设备、数字重聚焦模块和三维重建模块。本发明仅需拍摄一次，不需要移动相机和目标，结果可以任意视角查看；降低了拍摄难度和重建算法的复杂度，减短了获取图像的时间，适合运动目标的三维重建，拓展了DFF算法的适用深度范围，适合大景深场景的三维重建。

Description

一种基于光场数字重聚焦的快速三维重建方法及其***

技术领域

本发明属于计算成像、图像处理和计算机视觉等技术领域，尤其涉及一种基于光场数字重聚焦的快速三维重建方法及其***。

背景技术

三维重建是指对三维物体建立适合计算机表示和处理的数学模型,是在计算机中建立表达客观世界的虚拟现实的关键技术，广泛应用于计算机动画、虚拟现实、工业检测等领域。基于视觉的三维重建技术形成了多种理论方法，如主动视觉法和被动视觉法；单目视觉法、双目视觉法、三目视觉或多目视觉法；单视图法和多视图法等。多视图三维重建通过照相机对某个目标物进行拍摄，然后利用拍摄到的图像序列来恢复目标物的三维结构模型，该方法可基于图像序列和视频。目前多视图三维重建方法主要有轮廓法、纹理法、变焦法、亮度法、明暗法等。

变焦法通过获取目标物不同焦深的图像，利用聚焦分析或者离焦分析的方法来实现三维重建。聚焦深度测量(Depth_From_Focus，DFF)就是目标平面与摄像机的图像传感器平面共轭，根据像距由透镜成像公式求得被测面相对于摄像机的距离，即深度。获取目标图像有单相机和相机阵列两种方法。聚焦深度测量(DFF)方法采用单相机方式拍摄图像时，需要多次反复拍摄目标，或者每次拍摄改变相机焦距等参数，或者每次改变相机和目标的相对位置。三维重建时，单相机聚焦深度测量方法拍摄时间长，过程复杂，不适于运动目标。单相机的镜头孔径大小受限，此方法同样不适于远距离目标的重建。基于相机阵列的聚焦深度测量方法突破了拍摄次数和镜头孔径的限制，通过一次拍摄便可获得目标物不同焦深的序列图像，简化了拍摄过程。

光场是指空间中每一个点和每一个方向的辐射函数总和。1996年，美国斯坦福大学教授Levoy(LEVOY,M.,AND HANRAHAN,P.Light field rendering.InSIGGRAPH 96,31–42,1996.)和微软研究院的GORTLER等(The Lumigraph.In SIGGRAPH 96,43–54,1996.)提出光场四维参数化方法，Levoy教授并进一步提出了光场渲染理论。光场数字重聚焦是光场成像技术的重要应用，指的是一次曝光后获得的照片利用数字图像处理技术将模糊离焦图像进行反演，从而重建出聚焦准确的清晰目标图像。光场数字重聚焦由美国斯坦福大学博士Ng提出并实现(NG,R.,LEVOY,M.,BR′EDIF,M.,DUVAL,G.,HOROWITZ,M.,AND HANRAHAN,P.2005.Light field photography with a hand-held plenoptic camera.Tech.Rep.CSTR2005-02,Stanford Computer Science；Ng,R Fourier slice photography ACM Transactions on Graphics 2005NO.3735-744)。

Halcon是德国MVtec公司开发的一套完善的标准的机器视觉算法包，拥有应用广泛的机器视觉集成开发环境，主要集中在字符识别、质量检测、标定、定位等，而且具有非常强大的3d视觉功能。Halcon软件中的DFF(depth_from_focus，聚焦深度测量)三维重建的基本原理是：首先沿Z轴不断调整摄像机的位置，获取目标的序列图像，从而保证整个序列图像覆盖了物体在摄像机中Z轴方向的全部信息，每幅图像有模糊和聚焦清晰区域；然后通过一定的算法(包括菲波拉齐搜索法、金字塔结构搜索法、拉普拉斯算子搜索法以及动态规划搜索法等)获取每一个像素对应在序列图像中聚焦清晰的位置，从而重建出一幅每一景深部位均十分清晰的图像，为全聚焦图；再通过聚焦分析恢复深度信息，最后恢复出比较精确的物体深度信息，全聚焦图和深度信息相结合便可以实现三维重建。DFF算法的基本原理图如图3所示。

目前，还没有一种能够将光场数据获取设备、数字重聚焦技术和DFF技术三者结合对目标物进行快速三维重建的方法和***。

发明内容

本发明要解决的技术问题在于提供一种拍摄快捷、不需要移动相机和目标、三维重建效果好的基于光场数字重聚焦的快速三维重建方法及其***，以解决现有技术存在的问题。

为解决上述技术问题，本发明采用以下技术方案：

一种基于光场数字重聚焦的快速三维重建方法，包含以下步骤：

首先，采用光场数据获取设备获取空间四维光场数据；

其次，数字重聚焦模块对所述空间四维光场数据进行数字重聚焦处理，得到聚焦平面序列图像；

最后，三维重建模块对所述聚焦平面序列图像进行三维重建，得到三维重建图像。

所述光场数据获取设备可采用Lytro光场相机、光场显微镜、Adobe光场2.0光场结构、raytrix相机、相机阵列、canon光场相机模块、西班牙光场镜头、鹈鹕成像阵列相机、皮克斯超级光场镜头、英伟达近眼光场显示器或光场传感器。

所述空间四维光场数据包括空间的二维位置信息和二维方向信息。

所述数字重聚焦处理包括：(1)对空间四维光场数据进行四维参数化表示：定义光学***出瞳面的坐标平面为u-v平面，定义图像传感器所在平面为x-y平面，所述两个平面均垂直于***光轴；光线进入相机***后，经过u-v平面上的点(u,v)投射到x-y平面上的点(x,y)，将所述光线记为L_F(u,v,x,y)，F为x-y平面相对于u-v平面的距离，即相机***的工作焦距；采用公式 $E_F(x,y)=\frac{1}{F^2}{\∫\∫L}_F(u,v,x,y)\×A(u,v)\·{\cos }^4\left(\mathrm{\θ}\right)\mathrm{dudv},$ 得到像距为F处的像面上的成像，式中E_F(x,y)是像距为F的像面上坐标点(x,y)处图像传感器接受到的能量，即入射光通量，L_F(u,v,x,y)表示光线(u，v，x，y)携带的能量，A(u，v)是接受光线的传感器像元面积，θ是光线L_F(u,v,x,y)与像面法线方向的夹角，所述公式可以简化为E_F(x,y)＝∫∫L_F(u,v,x,y)dudv；(2)对空间四维光场数据进行数字重聚焦：假设光场相机***在像距为l＝F处得到的像E_F(x,y)不清晰，在像距l'＝αF像面上的像是清晰的，其中α是一个调节像距大小的系数，采用公式 $E_{\mathrm{\αF}}(x,y)L_{\mathrm{\αF}}(u,v,x,y)\mathrm{dudv}==L_F(u,v,u(1-\frac{1}{\mathrm{\α}})+\frac{x}{\mathrm{\α}},v(1-\frac{1}{\mathrm{\α}})+\frac{y}{\mathrm{\α}})\mathrm{dudv},$ 通过改变位置参数α的值，得到相机***在不同像距αF处的像面上的成像。

所述三维重建采用聚焦深度测量DFF算法实现。

一种实施上述方法的三维重建***，包括：

光场数据获取设备，用于获取空间四维光场数据；

数字重聚焦模块，用于对空间四维光场数据进行数字重聚焦处理，得到聚焦平面序列图像；

三维重建模块，将数字重聚焦模块处理得到的聚焦平面序列图像进行三维重建，得到三维重建图像。

本发明的有益效果：1、仅需拍摄一次，不需要移动相机和目标就可以实现三维重建，结果可以任意视角查看；2、***拍摄装置小巧，拍摄过程快捷；3、将光场相机、数字重聚焦技术和DFF技术三者结合，降低了拍摄难度和重建算法的复杂度，减短了获取图像的时间，适合运动目标的三维重建，拓展了DFF算法的适用深度范围，适合大景深场景的三维重建。4、本发明支持转化成VC、matlab等常用语言，可移植性强，同时支持芯片级程序开发，能够进一步用于实现微小型化三维测量重建***。

附图说明

图1为本发明的光场的四维参数化示意图。

图2为本发明的数字重聚焦原理示意图。

图3为本发明的DFF算法的基本原理示意图。

图4为本发明的DFF算法三维重建流程图。

图5为本发明的光场相机结构示意图。

图6为本发明获取的带有两个凹槽的支架的光场原始图像。

图7为本发明对带有两个凹槽的支架的数字重聚焦的序列图像。

图8为本发明对带有两个凹槽的支架的不同视角的三维重建效果图。

图9为本发明对连续深度变化的人脸以及离散深度的电池、U盘、花的三维重建效果图。

图10为本发明在目标物处于强烈反光下的原始图像和重建效果图。

图11为本发明分别在目标物处于黑色背景下、灰色背景下以及蓝色背景下的重建效果图。

图12为本发明的三维重建***原理框图。

具体实施方式

下面结合附图和具体实施方式对本发明作进一步详细说明。

本发明将光场数据获取设备、数字重聚焦技术和DFF技术整合，提供一种基于光场数字重聚焦的快速三维重建方法，即光场数字重聚焦聚焦法(Light_Field Digital_Refocus Depth_From_Focus，LFDRDFF)，该方法包含以下步骤：

首先，采用光场数据获取设备获取空间四维光场数据。

光场数据获取设备可采用美国Lytro公司的光场相机、光场显微镜(Light Field Microscopy)、Adobe光场2.0光场结构、raytrix相机、相机阵列、canon光场相机模块(Toshiba LightField Camera Module)、西班牙光场镜头(cafafis lens)、鹈鹕成像阵列相机(Pelican Imaging Array Camera)、皮克斯超级光场镜头(pixar-super-lightfield-lens)、英伟达近眼光场显示器(nvidia-near-eye-light-field-display)、光场传感器等。空间四维光场数据包括空间的二维位置信息和二维方向信息。

其次，数字重聚焦模块对所述空间四维光场数据进行数字重聚焦处理，得到聚焦平面序列图像。

所述聚焦平面序列图像可采用美国Lytro公司的Lytro Desktop软件、Matlab的光场工具箱、LFDisplay、LFP File Viewer、LFP File Reader、python-lfp-reader、Lytro File Reader、lfptools、Lytro.Splitte或者lfpsplitter得到。

数字重聚焦方法如下：

(1)光场的四维参数化表示

光场是指空间中每一个点和每一个方向的辐射函数总和。光场成像理论雏形源自1903年Ives的发明专利US 725567：Parallax stereogram and process of making same和1908年Lippman发明的集成照相术(integral photography,IP)。1936年Cershun提出光场的概念。1996年，美国斯坦福大学教授Levoy和微软研究院的GORTLER等提出了光场四维参数化方法，Levoy教授并进一步提出了光场渲染理论。光场的四维参数化表示如图1所示。图中定义了两个坐标平面：第一个坐标平面为u-v平面，表示光学***出瞳面；第二个坐标平面为x-y平面，表示图像传感器所在的平面，所述两个平面均垂直于***光轴。

光线进入相机***后，经过u-v平面上的点(u,v)投射到x-y平面上的点(x,y)，将这束光线记为L_F(u,v,x,y)，其中L_F(u,v,x,y)的数值表示光线携带的能量大小，坐标点(u,v)和(x,y)的连线表示光线的传播方向，角标F表示x-y平面相对于u-v平面的距离大小，即透镜焦距。在x-y平面上点(x,y)所接受的总的辐射能量计算如下：

$E_F(x,y)=\frac{1}{F^2}{\∫\∫L}_F(u,v,x,y)\×A(u,v)\·{\cos }^4\left(\mathrm{\θ}\right)\mathrm{dudv}---\left(1\right)$

式(1)中，F是光学***像方主面到像面之间的距离，E_F(x,y)是像距为F的像面上坐标点(x,y)处的入射光通量，A(u，v)是接受光线的传感器像元面积。假定x-y平面和u-v平面无限大，在光学***入瞳和CCD光电传感器面积之外传播的光线L_F(u,v,x,y)＝0，θ是光线L_F(u,v,x,y)与像面法线方向的夹角，与其它量无关。为分析方便，忽略比例因子等参数，公式可以简化为：

$E_F(x,y)=\∫\∫L_F(u,v,x,y)\mathrm{dudv}---\left(2\right)$

式(2)中描述了光场摄像***在像距为F的像面上的成像表达式。

(2)光场数字重聚焦

美国斯坦福大学博士Ng提出光场数字重聚焦理论并实现。参见图2，假设光场相机***在像距为l＝F处得到的像E_F(x,y)不清楚，在像距l'＝αF像面上的像是清晰的，α是一个调节像距大小的系数。图2中沿某一方向传播的一条光线在像距为F的像面上的投射点坐标为(x,y)，所述光线记为L_F(u,v,x,y)。所述光线在像距为αF的像面上的投射坐标将发生变化，此时记为L_αF。

为计算方便，假定光线在像距为αF的像面上的透射点坐标用(x,y)表示，由图2的几何关系可知，这条光线在像距为F的像面上的投射点坐标为光线L_αF和L_F是在不同像面上记录的同一条光线，所以存在下式：

$\begin{array}{c}{L}_{\mathrm{\αF}}(u,v,x,y)=L_F(u,v,u+\frac{(x-u)}{\mathrm{\α}},v+\frac{y-v}{\mathrm{\α}})\\ =L_F(u,v,u(1-\frac{1}{\mathrm{\α}})+\frac{x}{\mathrm{\α}},v(1-\frac{1}{\mathrm{\α}})+\frac{y}{\mathrm{\α}})\end{array}---\left(3\right)$

将式(3)带入式(2)中，可得像距l'为αF的像面上相机的成像表达式：

$\begin{array}{c}{E}_{\mathrm{\αF}}(x,y)={\∫\∫L}_{\mathrm{\αF}}(u,v,x,y)\mathrm{dudv}\\ ={\∫\∫L}_F(u,\mathrm{vu}(1-\frac{1}{\mathrm{\α}})+\frac{x}{\mathrm{\α}},v(1-\frac{1}{\mathrm{\α}})+\frac{y}{\mathrm{\α}})\mathrm{dudv}\end{array}---\left(4\right)$

通过式(4)可以计算目标景物在不同像距l'＝αF处像面上所成的目标景物像。改变位置参数_α的值，就可以得到相机在不同像距αF处目标景物所成的像。得到αF处像面的过程就是光场相机的数字重聚焦过程。

最后，三维重建模块对所述聚焦平面序列图像进行三维重建，得到三维重建图像。所述三维重建可采用德国MVTec公司机器视觉软件包Halcon软件的DFF算法对所述聚焦平面序列图像进行三维重建，也可以采用其他机器视觉和图像处理软件的DFF算法对聚焦平面序列图像进行三维重建。

DFF算法支持并行计算，效率高，速度快；该方法支持转化成VC、matlab等常用语言，可移植性强，同时支持芯片级程序开发，有利于用于实现微小型化三维测量重建***。

参见图12，本发明还提供一种实施上述方法的三维重建***，即LFDRDFF三维重建***，包括：光场数据获取设备，用于获取空间四维光场数据；数字重聚焦模块，用于对空间四维光场数据进行数字重聚焦处理，得到聚焦平面序列图像；三维重建模块，将数字重聚焦模块处理得到的聚焦平面序列图像进行三维重建，得到三维重建图像。

本实施例使用Lytro光场相机获取空间四维光场数据。Lytro光场相机主要由主镜头、微透镜阵列和数字图像传感器三部分组成，结构示意图如图5所示。微透镜的作用是将主透镜的光瞳成像在图像传感器上并覆盖若干个传感器单元，相当于将整个光瞳分割成若干个子孔径。微透镜的位置反映了二维空间位置信息，微透镜覆盖的传感器像元位置反映了二维方向信息，这些信息与传感器单元的输出信号相对应，从而得到空间四维光场数据。

本发明***组成简单，显著简化了三维数据采集装置；目标三维数据获取过程简单快捷，不需要相机和目标物的移动，不需要多次拍摄，显著地提高了数据获取速度。

本发明选用了带有两个凹槽的支架作为目标物，目标物背景为黑色，采用基于光场数字重聚焦的快速三维重建实现的具体实施例如下：

首先利用Lytro相机获取目标物的光场数据，通过Lytro光场相机对目标物进行一次拍摄，获得其原始图像，如图6所示，图6(a)为目标(支架)原始图，图6(b)为目标的Lytro光场图像局部图(图6(a)白框所示)，图6(c)为图6(b)光场图像局部放大图的微透镜图像(图6(b)白框所示)。

然后将Lytro相机所得光场原始图像导入数字重聚焦模块中，通过Lytro Desktop软件的数字重聚焦方法完成数字重聚焦处理，得到目标物不同焦平面(以参数λ表示)的序列清晰图像，结果如图7所示。重构出的序列图像共有9幅，其中λ取正值的5幅，λ取负值的4幅。当λ＝-6.92时，聚焦平面最远，当λ＝18.25时，聚焦平面最近。

最后三维重建模块通过Halcon软件中的DFF算法对重构出的序列图像进行三维重建，得到三维重建图像。该方法需要输入λ取不同数值的多幅图像，其工作流程图如图4所示，便可快速重构出目标物的三维图像，其三维图像可以通过任意视角进行查看。图8为实验获得的不同视角的三维重建图。

本发明还针对两种不同结构层次的目标物体：连续深度变化的人脸，以及离散深度的电池、U盘和花进行了三维重建，重建结果如图9所示，其中，图9(a)为连续深度人脸的不同视角三维重建图，图9(b)为离散深度电池、u盘和花的不同视角三维重建图。实验结果表明，LFDRDFF方法对不同深度结构的目标都可以正确重建，重建深度范围可以达到目视距离，拓展了DFF算法深度范围，适合大景深场景和运动目标的三维重建。

以下对影响三维重建效果的因素进行分析：

(1)参数λ的取值对重建效果的影响

光场重构平面参数λ表征了重构平面的深度信息，λ的离散程度、数量和正负对称性就意味着序列重构平面的深度特征，因此λ是正确三维重建的关键因素。本发明针对凹槽进行了多次重复实验，部分实验中λ取值见表1所示，整体实验的λ数据统计如表2所示。

实验证明：λ数量多于8、正负λ数目相当时，三维重建结果正确性越高；Lytro相机拍摄焦平面是目标深度范围的中间平面时，重建结果正确性较高；当拍摄焦平面偏离中间平面时，重构结果就会失真。

(2)拍摄条件对重建效果的影响

拍摄过程中目标物的强烈反光和目标物背景也对重建效果产生不同的影响。强烈反光下所拍摄的目标物及重建图如图10所示。原始图(如图10(a)所示)中未反光区域对应重建图(如图10(b)所示)中黑色部分，该部分反映了正确的深度信息，原始图中白色反光区域对应着重建图中白色区域，该部分未正确获得深度信息，因此导致重建错误。

不同背景下(图11I为黑背景、图11II为灰背景、图11III为蓝背景)所拍摄的目标物的原始图像(图11I(a)、图11II(a)、图11III(a))及重建图(图11I(c)、图11II(c)、图11III(c))如图11所示。Halcon软件的DFF算法将目标物的原始图像转化为灰度图像(图11I(b)、图11II(b)、图11III(b))，不同背景转化为灰度图像时其灰度值也不相同，其中蓝背景转化为灰度图像时基本为黑色，灰度值最低，其对重建图的影响最大，重建效果最不理想。黑背景和灰背景转化为灰度图像时均为灰色，黑背景下重建效果最好，灰背景次之。

表1：

表2：

Claims (6)

1.一种基于光场数字重聚焦的快速三维重建方法，其特征在于包含以下步骤：

首先，采用光场数据获取设备获取空间四维光场数据；

其次，数字重聚焦模块对所述空间四维光场数据进行数字重聚焦处理，得到聚焦平面序列图像；

最后，三维重建模块对所述聚焦平面序列图像进行三维重建，得到三维重建图像。

2.根据权利要求1所述的基于光场数字重聚焦的快速三维重建方法，其特征在于：所述光场数据获取设备可采用Lytro光场相机、光场显微镜、Adobe光场2.0光场结构、raytrix相机、相机阵列、canon光场相机模块、西班牙光场镜头、鹈鹕成像阵列相机、皮克斯超级光场镜头、英伟达近眼光场显示器或光场传感器。

3.根据权利要求1所述的基于光场数字重聚焦的快速三维重建方法，其特征在于：所述空间四维光场数据包括空间的二维位置信息和二维方向信息。

4.根据权利要求1所述的基于光场数字重聚焦的快速三维重建方法，其特征在于：所述数字重聚焦处理包括：

(1)对空间四维光场数据进行四维参数化表示：定义光学***出瞳面的坐标平面为u-v平面，定义图像传感器所在平面为x-y平面，所述两个平面均垂直于***光轴；光线进入相机***后，经过u-v平面上的点(u,v)投射到x-y平面上的点(x,y)，将所述光线记为L_F(u,v,x,y)，F为x-y平面相对于u-v平面的距离，即相机***的工作焦距；采用公式 $E_F(x,y)=\frac{1}{F^2}{\∫\∫L}_f(u,v,x,y)\×A(u,v)\·{\cos }^4\left(\mathrm{\θ}\right)\mathrm{dudv},$ 得到像距为F处的像面上的成像，式中E_F(x,y)是像距为F的像面上坐标点(x,y)处图像传感器接受到的能量，即入射光通量，L_F(u,v,x,y)表示光线(u，v，x，y)携带的能量，A(u，v)是接受光线的传感器像元面积，θ是光线L_F(u,v,x,y)与像面法线方向的夹角，所述公式可以简化为E_F(x,y)＝∫∫L_F(u,v,x,y)dudv；(2)对空间四维光场数据进行数字重聚焦：假设光场相机***在像距为l＝F处得到的像E_F(x,y)不清晰，在像距l'＝αF像面上的像是清晰的，其中α是一个调节像距大小的系数，采用公式 $E_{\mathrm{\αF}}(x,y)=\∫\∫L_{\mathrm{\αF}}(u,v,x,y)\mathrm{dudv}=\∫\∫L_F(u,v,u(1-\frac{1}{\mathrm{\α}})+\frac{x}{\mathrm{\α}},v(1-\frac{1}{\mathrm{\α}})+\frac{y}{\mathrm{\α}})\mathrm{dudv},$ 通过改变位置参数α的值，得到相机***在不同像距αF处的像面上的成像。

5.根据权利要求1所述的基于光场数字重聚焦的快速三维重建方法，其特征在于：所述三维重建采用聚焦深度测量DFF算法实现。

6.一种实施权利要求1所述方法的三维重建***，其特征在于包括：

光场数据获取设备，用于获取空间四维光场数据；

数字重聚焦模块，用于对空间四维光场数据进行数字重聚焦处理，得到聚焦平面序列图像；

三维重建模块，用于将数字重聚焦模块处理得到的聚焦平面序列图像进行三维重建，得到三维重建图像。