CN106934110A - 一种由聚焦堆栈重建光场的滤波反投影方法和装置 - Google Patents

Abstract

本发明公开了一种由聚焦堆栈重建光场的滤波反投影方法和装置，主要包括：给出四维光场与聚焦堆栈的几何关系，建立由光场形成聚焦堆栈的投影模型，形成投影算子；以投影模型为基础，建立四维光场与聚焦堆栈的频域关系，形成傅立叶切片关系；基于傅立叶切片关系，建立由聚焦堆栈重建光场的滤波反投影和卷积反投影方法；选取优化的滤波函数和卷积函数重建光场。本发明的聚焦堆栈是探测器和镜头相对移动采集得到的图像序列，通过选取优化的滤波函数和卷积函数，可重建出高精度的四维光场。四维光场可实现相机拍摄视角下的三维重构，可以为虚拟现实和几何测量提供精确的三维结构信息。

Description

一种由聚焦堆栈重建光场的滤波反投影方法和装置

技术领域

本发明涉及计算机视觉与数字图像处理领域，尤其涉及一种由聚焦堆栈重建光场的滤波反投影方法和装置。

背景技术

光场成像已成为计算成像和计算机视觉的重要手段。光场采集与获取已成为一个重要的研究领域。近年来，对光场数据获取方法不断涌现：一类是直接获取手段，即通过设计光学器件，如基于微透镜阵列的光场相机、相机阵列和镜头阵列等，直接获取光场；另一类是间接获取手段，即用普通相机采集图像数据，再对图像数据进行后处理，以重建光场。但是，对于现有的直接获取手段，需要建立的采集设备的体积庞大，参数固定，成本偏高。急需一种便携性好灵活性高的获取方式。

发明内容

本发明的目的在于提供一种由聚焦堆栈重建光场的滤波反投影方法和装置，由聚焦堆栈重建四维光场的滤波反投影和卷积反投影方法。

为实现上述目的，本发明提供一种由聚焦堆栈重建光场的滤波反投影方法，所述方法包括：建立四维光场，形成聚焦堆栈的投影模型，以形成投影算子，其中的所述聚焦堆栈是所述四维光场的二维投影；建立四维光场与聚焦堆栈的频域关系，形成聚焦堆栈平面图像的傅立叶变换对应频域的切片关系；聚焦堆栈重建四维光场的滤波反投影方法得到滤波函数，聚焦堆栈重建四维光场的卷积反投影方法得到卷积函数；根据所述滤波函数和所述卷积函数，重建四维光场。

进一步地，所述投影算子通过下述关系式获得：

其中，E(D_x,x′,y′)为聚焦堆栈平面图像，为四维光场，(u,v)为光轴移动透镜坐标，(x,y)为探测器坐标，(u,v)平面移动到(u′,v′)平面，(x,y)平面移动到(x′,y′)平面，D₀为(u,v)平面和(x,y)平面的距离，D_x为(u,v)平面和(x’,y’)平面的距离，D_u为(u‘,v’)平面和(x,y)平面的距离，为双平面(u′,v′)和(x′,y′)参数化表示下的光场。

进一步地，所述聚焦堆栈平面图像的傅立叶变换对应频域的切片关系为：

其中，表示聚焦堆栈平面图像E(D_x,x′,y′)关于x′和y′的二维傅立叶变换；

表示是四维光场的四维傅立叶变换；

聚焦堆栈平面图像的傅立叶变换是四维光场傅立叶变换的二维切片，聚焦堆栈平面图像的傅立叶变换对应频域的切片选取为和

进一步地，所述聚焦堆栈重建四维光场的滤波反投影方法为：

其中， 表示傅立叶变换，表示傅立叶逆变换，|ω_x′|和|ω_y′|分别表示ω_x′和ω_y′的绝对值。

进一步地，所述由聚焦堆栈重建四维光场的卷积反投影方法为：

其中，**表示空域中的二维卷积。

本发明还提供一种由聚焦堆栈重建光场的滤波反投影装置，所述装置包括：第一构建模块，用于建立四维光场形成聚焦堆栈的投影模型，所述聚焦堆栈是所述四维光场的二维投影，形成投影算子；第二构建模块，用于建立四维光场与聚焦堆栈的频域关系，形成聚焦堆栈平面图像的傅立叶变换对应频域的切片关系；投影模块，用于根据所述第二构建模块得到的切片关系，聚焦堆栈重建四维光场的滤波反投影方法得到滤波函数，聚焦堆栈重建四维光场的卷积反投影方法得到卷积函数；重建模块，用于根据所述投影模块得到所述滤波函数和所述卷积函数，重建四维光场。

进一步地，所述投影算子通过下述关系式获得：

其中，E(D_x,x′,y′)为聚焦堆栈平面图像，为四维光场，(u,v)为光轴移动透镜坐标，(x,y)为探测器坐标，(u,v)平面移动到(u′,v′)平面，(x,y)平面移动到(x′,y′)平面，D₀为(u,v)平面和(x,y)平面的距离，D_x为(u,v)平面和(x’,y’)平面的距离，D_u为(u‘,v’)平面和(x,y)平面的距离，

进一步地，第二构建模块形成的所述聚焦堆栈平面图像的傅立叶变换对应频域的切片关系为：

其中，表示聚焦堆栈平面图像E(D_x,x′,y′)关于x′和y′的二维傅立叶变换；

表示是四维光场的四维傅立叶变换；

聚焦堆栈平面图像的傅立叶变换是四维光场傅立叶变换的二维切片，聚焦堆栈平面图像的傅立叶变换对应频域的切片选取为和

进一步地，所述投影模块包括滤波反投影单元和卷积反投影单元，所述滤波反投影单元中的四维光场重建公式为：

其中，

是待重建的四维光场，E(D_x,x′,y′)是采集到的聚焦堆栈，|ω_x′||ω_y′|是滤波函数。

进一步地，所述所述投影模块包括滤波反投影单元和卷积反投影单元，所述卷积反投影单元中的四维光场重建公式为：

其中，

是待重建的四维光场，E(D_x,x′,y′)是采集到的聚焦堆栈，是卷积函数。

本发明提供的方案，聚焦堆栈重建四维光场的滤波反投影方和卷积反投影方法，聚焦堆栈重建四维光场的滤波反投影方法和卷积反投影方法，得到用滤波函数和卷积函数，利用滤波函数和卷积函数构建四维光场，重建出高精度的四维光场。四维光场可实现相机拍摄视角下的三维重构，可以为虚拟现实和几何测量提供精确的三维结构信息。本发明对数据的采集更加灵活，可不同场景设计采集方式，且可重建任意角度分辨率的光场。利用由聚焦堆栈重建光场的滤波(卷积)反投影方法和装置，满足现有技术中对现有光场成像技术中对光场的需求。

附图说明

图1是根据本发明第一实施例提供的由聚焦堆栈重建光场的滤波反投影方法的流程图。

图2是根据本发明第一实施例提供的相机拍摄的聚焦堆栈的示意图。

图3是根据本发明第一实施例提供的光场形成聚焦堆栈的原理图；

图4是根据本发明第二实施例提供的由聚焦堆栈重建光场的滤波反投影装置的结构示意图。

具体实施方式

在附图中，使用相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面结合附图对本发明的实施例进行详细说明。

在本发明的描述中，术语“中心”、“纵向”、“横向”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明保护范围的限制。

如图1所示，本实施例所提供的由聚焦堆栈重建光场的滤波反投影方法包括：

步骤101，建立四维光场形成聚焦堆栈的投影模型，形成投影算子的定义为

其中：光场重建的正问题为由四维光场形成聚焦堆栈，聚焦堆栈是一组聚焦在不同成像平面或采用不同参数拍摄的成像序列，本实施方式中的聚焦堆栈为一组聚焦在不同成像平面的成像序列。具体地，本实施方式以沿光轴同步移动透镜和/或探测器完成聚焦堆栈采集为例，说明重建光场的具体实施方法。

如图2所示，图2的左侧包括Focus Plane1和Focus Plane2，示出的是场景中的两个物面位置，Focus Plane1对应的物面位置是(x,y)平面，Focus Plane2对应的物面位置是(x′,y′)平面。右侧包括S1和S2，示出的是像方的两个平面。中间包括Lens1和Lens2，示出的是透镜所在的两个平面位置，Lens1对应的物面是(u,v)平面，Lens2对应的物面是(u‘,v’)平面。

如图2所示，采集聚焦堆栈的过程为：通过沿着光轴移动透镜或探测器，即如图2中示出地，透镜从(u,v)平面移动到(u′,v′)平面，探测器对应的物面从(x,y)平面移动到(x′,y′)平面，(u,v)平面经由(u,v)平面在S1平面上成像，(u′,v′)平面经由(u′,v′)平面在S2平面上成像。当然，本实施例提供的方法同样可以应用于其他类似方式聚焦堆栈采集的场景。

如图3所示，(u,v)平面和(x,y)平面的距离为D₀，(u,v)平面和(x’,y’)平面的距离为D_x，(u‘,v’)平面和(x,y)平面的距离为D_u。例如，聚焦堆栈E(D_x,x′,y′)是四维光场在(x′,y′)平面的二维投影。是光线的辐亮度，

不同的双平面参数化可以表示同一光场，(u,v)平面上的一点和(x,y)平面上的一点确定光场中的一条光线，因此与表示同一条光线，并且可通过公式表示为：

四维光场形成聚焦堆栈E(D_x,x′,y′)的过程对应的投影算子为：

根据上述公式，可得到聚焦堆栈E(D_x,x′,y′)与四维光场的投影关系。

步骤102，建立四维光场与聚焦堆栈E(D_x,x′,y′)的频域关系，形成聚焦堆栈平面图像的傅立叶变换对应频域的切片关系。

该步骤中，需要利用步骤101中获得的四维光场与聚焦堆栈E(D_x,x′,y′)对应的投影算子获得聚焦堆栈平面图像的傅立叶变换对应频域的切片关系，具体获得方法如下：

根据上式，得到聚焦堆栈平面图像的傅立叶变换对应频域的切片关系式为：

F[E(D_x,x′,y′)]表示聚焦堆栈平面图像E(D_x,x′,y′)关于x′和y′的二维傅立叶变换，表示是四维光场的四维傅立叶变换。

聚焦堆栈平面图像的傅立叶变换是四维光场傅立叶变换的二维切片。聚焦堆栈平面图像的傅立叶变换对应频域的切片选取为：

步骤103：聚焦堆栈重建四维光场的滤波反投影方法得到滤波函数，聚焦堆栈重建四维光场的卷积反投影方法得到卷积函数。

因为dω_udω_x＝|J₁|dω_x′dD_x,dω_vdω_y＝|J₂|dω_y，dD_x，J₁和J₂为雅克比行列式，具体为：

再利用步骤102中获得的聚焦堆栈平面图像的傅立叶变换对应频域的切片关系，获得滤波函数和卷积函数，具体获得方法如下：

根据上述公式，建立由聚焦堆栈重建四维光场的滤波反投影方法，得到滤波函数，滤波函数的表达式为：

其中，

根据上述公式，建立由聚焦堆栈重建四维光场的卷积反投影方法，得到卷积函数，卷积函数的表达式为：

其中，

步骤104：根据滤波函数或卷积函数，重建四维光场。

比如：利用滤波函数，重建四维光场，重建公式为：

是待重建的四维光场。E(D_x,x′,y′)是采集到的聚焦堆栈，该聚焦堆栈的采集方法与步骤101中给出的方法相同，也可以采用其它的现有方法获得。|ω_x′||ω_y′|是步骤103中获得滤波函数。

还比如：利用卷积函数，重建四维光场，重建公式为：

该重建公式中，是待重建的四维光场。E(D_x,x′,y′)是采集到的聚焦堆栈，该聚焦堆栈的采集方法与步骤101中给出的方法相同，也可以采用其它的现有方法获得。是卷积函数。

具体地，本实施方式选取优化的滤波函数和卷积函数，重建高精度光场，具体通过选取正弦滤波器及对应的卷积函数实现。

需要指出的是在实际计算中，理想的频域滤波函数H(ω_x′,ω_y′)＝|ω_x′||ω_y′|是频带无限的滤波函数，理想的空域反卷积函数 在x＝0和y＝0处无界，无法实现，需要采用近似的滤波函数。

本发明提供的一种由聚焦堆栈重建光场的滤波反投影方法，选取优化的滤波函数或卷积函数，能够重建出高精度的四维光场，可以为现有的成像技术提供光场数据。四维光场可实现相机拍摄视角下的三维重构，可以为虚拟现实和几何测量提供精确的三维结构信息。

如图4所示，本实施方式还提供一种由聚焦堆栈重建光场的滤波反投影装置，所述装置包括：

第一构建模块201，用于建立四维光场形成聚焦堆栈的投影模型，聚焦堆栈是所述四维光场的二维投影，形成投影算子；

第二构建模块202，用于建立四维光场与聚焦堆栈的频域关系，形成聚焦堆栈平面图像的傅立叶变换对应频域的切片关系；

投影模块203，用于根据第二构建模块202得到的切片关系，聚焦堆栈重建四维光场的滤波反投影方法得到滤波函数，聚焦堆栈重建四维光场的卷积反投影方法得到卷积函数；

重建模块204，用于根据投影模块203得到滤波函数和卷积函数，重建四维光场。

其中，投影算子的具体内容、第二构建模块形成的所述聚焦堆栈平面图像的傅立叶变换对应频域的切片关系参见上述实施例，此次不再赘述。

其中，投影模块203包括滤波反投影单元和卷积反投影单元，所述滤波反投影单元中的四维光场重建公式为：

其中，

是待重建的四维光场，E(D_x,x′,y′)是采集到的聚焦堆栈，|ω_x′||ω_y′|是滤波函数。

所述卷积反投影单元中的四维光场重建公式为：

其中，

是待重建的四维光场，E(D_x,x′,y′)是采集到的聚焦堆栈，是卷积函数。

本发明提供的一种由聚焦堆栈重建光场的滤波反投影装置，聚焦堆栈重建四维光场的滤波反投影方法和卷积反投影方法，得到用滤波函数和卷积函数，利用滤波函数和卷积函数构建四维光场，重建出高精度的四维光场。四维光场可实现相机拍摄视角下的三维重构，可以为虚拟现实和几何测量提供精确的三维结构信息。

最后需要指出的是：以上实施例仅用以说明本发明的技术方案，而非对其限制。本领域的普通技术人员应当理解：可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种由聚焦堆栈重建光场的滤波反投影方法，其特征在于，所述方法包括：

建立四维光场，形成聚焦堆栈的投影模型，以形成投影算子，其中的所述聚焦堆栈是所述四维光场的二维投影；

建立四维光场与聚焦堆栈的频域关系，形成聚焦堆栈平面图像的傅立叶变换对应频域的切片关系；

聚焦堆栈重建四维光场的滤波反投影方法得到滤波函数，聚焦堆栈重建四维光场的卷积反投影方法得到卷积函数；

根据所述滤波函数和所述卷积函数，重建四维光场。

2.如权利要求1所述的方法，其特征在于，所述投影算子通过下述关系式获得：

$\begin{array}{c}E(D_x,x^{\′},y^{\′})=P_{D_x}\[L_{(D_0,D_0)}(u,v,x,y)\]=\∫\∫L_{(D_u,D_x)}(u^{\′},v^{\′},x^{\′},y^{\′}){\mathrm{du}}^{\′}{\mathrm{dv}}^{\′}\\ =\∫\∫\∫\∫L_{(D_0,D_0)}(u,v,x,y)\mathrm{\δ}(\frac{D_x}{D_0}x+(1-\frac{D_x}{D_0})u-x^{\′},\frac{D_x}{D_0}y+(1-\frac{D_x}{D_0})v-y^{\′})dudvdxdy\end{array}$

其中，E(D_x,x′,y′)为聚焦堆栈平面图像，为四维光场，(u,v)为光轴移动透镜坐标，(x,y)为探测器坐标，(u,v)平面移动到(u′,v′)平面，(x,y)平面移动到(x′,y′)平面，D₀为(u,v)平面和(x,y)平面的距离，D_x为(u,v)平面和(x’,y’)平面的距离，D_u为(u‘,v’)平面和(x,y)平面的距离，为双平面(u′,v′)和(x′,y′)参数化表示下的光场。

3.如权利要求2所述的方法，其特征在于，所述聚焦堆栈平面图像的傅立叶变换对应频域的切片关系为：

其中，表示聚焦堆栈平面图像E(D_x,x′,y′)关于x′和y′的二维傅立叶变换；

表示是四维光场的四维傅立叶变换；

聚焦堆栈平面图像的傅立叶变换是四维光场傅立叶变换的二维切片，聚焦堆栈平面图像的傅立叶变换对应频域的切片选取为和

4.如权利要求2所述的方法，其特征在于，所述聚焦堆栈重建四维光场的滤波反投影方法为：

其中， 表示傅立叶变换，表示傅立叶逆变换，|ω_x′|和|ω_y′|分别表示ω_x′和ω_y′的绝对值。

5.如权利要求2所述的方法，其特征在于，所述由聚焦堆栈重建四维光场的卷积反投影方法为：

其中，**表示空域中的二维卷积。

6.一种由聚焦堆栈重建光场的滤波反投影装置，其特征在于，所述装置包括：

第一构建模块，用于建立四维光场形成聚焦堆栈的投影模型，所述聚焦堆栈是所述四维光场的二维投影，形成投影算子；

第二构建模块，用于建立四维光场与聚焦堆栈的频域关系，形成聚焦堆栈平面图像的傅立叶变换对应频域的切片关系；

投影模块，用于根据所述第二构建模块得到的切片关系，聚焦堆栈重建四维光场的滤波反投影方法得到滤波函数，聚焦堆栈重建四维光场的卷积反投影方法得到卷积函数；

重建模块，用于根据所述投影模块得到所述滤波函数和所述卷积函数，重建四维光场。

7.如权利要求6所述的装置，其特征在于，所述投影算子通过下述关系式获得：

$\begin{array}{c}E(D_x,x^{\′},y^{\′})=P_{D_x}\[L_{(D_0,D_0)}(u,v,x,y)\]=\∫\∫L_{(D_u,D_x)}(u^{\′},v^{\′},x^{\′},y^{\′}){\mathrm{du}}^{\′}{\mathrm{dv}}^{\′}\\ =\∫\∫\∫\∫L_{(D_0,D_0)}(u,v,x,y)\mathrm{\δ}(\frac{D_x}{D_0}x+(1-\frac{D_x}{D_0})u-x^{\′},\frac{D_x}{D_0}y+(1-\frac{D_x}{D_0})v-y^{\′})dudvdxdy\end{array}$

其中，E(D_x,x′,y′)为聚焦堆栈平面图像，为四维光场，(u,v)为光轴移动透镜坐标，(x,y)为探测器坐标，(u,v)平面移动到(u′,v′)平面，(x,y)平面移动到(x′,y′)平面，D₀为(u,v)平面和(x,y)平面的距离，D_x为(u,v)平面和(x’,y’)平面的距离，D_u为(u‘,v’)平面和(x,y)平面的距离，

8.如权利要求6所述的装置，其特征在于，第二构建模块形成的所述聚焦堆栈平面图像的傅立叶变换对应频域的切片关系为：

其中，表示聚焦堆栈平面图像E(D_x,x′,y′)关于x′和y′的二维傅立叶变换；

表示是四维光场的四维傅立叶变换；

聚焦堆栈平面图像的傅立叶变换是四维光场傅立叶变换的二维切片，聚焦堆栈平面图像的傅立叶变换对应频域的切片选取为和

9.如权利要求6所述的装置，其特征在于，所述投影模块包括滤波反投影单元和卷积反投影单元，所述滤波反投影单元中的四维光场重建公式为：

其中，

是待重建的四维光场，E(D_x,x′,y′)是采集到的聚焦堆栈，|ω_x′||ω_y′|是滤波函数。

10.如权利要求6所述的装置，其特征在于，所述所述投影模块包括滤波反投影单元和卷积反投影单元，所述卷积反投影单元中的四维光场重建公式为：

其中，

是待重建的四维光场，E(D_x,x′,y′)是采集到的聚焦堆栈，是卷积函数。