CN106303228A - 一种聚焦型光场相机的渲染方法和*** - Google Patents

Abstract

本发明公开了一种聚焦型光场相机的渲染方法和***，该方法包括：S1.输入聚焦型光场相机拍摄的图片，记录每个微透镜和子孔径图的位置信息和中心位置；S2.根据需要重聚焦的平面图像，计算其景深，根据景深确定半径R的大小；S3.在每一个子孔径图的中心位置，取一个半径为R的正六边形区域块；S4.将正六边形区域块，按子孔径图的顺序平铺合并得合并图；S4.对合并图进行处理，得到最终渲染图。该方法利用微透镜阵列的六边形排列特性，通过对微透镜子孔径图取正六边形的区域块，在渲染过程中，无需经过坐标系的变换，能有效减少聚焦型光场相机的渲染方法的计算量。

Description

一种聚焦型光场相机的渲染方法和***

技术领域

本发明属于光场相机的渲染技术领域，特别涉及一种聚焦光场相机的渲染方法和***。

背景技术

光场相机是一种能记录光线方向和位置信息的装置，与传统相机相比，在结构上多一个微透镜阵列，采用这种装置得到图像的过程即为光场成像。光场成像作为成像技术中的一个新的方向，它可以实现拍摄后无需机械对焦，而是通过图像处理计算实现再聚焦，并且可以实现3D重建和多目标点聚焦等，这些特点都使得它在未来的生活中将会有很大的发展空间。

光场相机可以同时捕捉到场景的空间(或位置)和方向(或角度)信息，即光场的四维信息。这样，在一次曝光后记录到的光场利用软件就可以聚焦在任意位置，也就是再聚焦。第一代手持式光场相机于2005年出现，但是这种装置得到的最终图像分辨率受微透镜个数影响，其最大空间分辨率为其微透镜数目，限制了传统光场相机的发展。为提高图像分辨率，提出了第二代光场相机，又称为聚焦型光场相机。第二代与第一代的主要区别是微透镜阵列与图像传感器的间距可调，这样就可以使微透镜聚焦在主透镜的像面上，而不是主透镜平面上。这种装置可以使图像空间分辨率和方向分辨率之间有个很好的权衡关系，同时可以提高图像的空间分辨率，使图像看起来更加清晰。

光场相机中必不可少的一步是后期图像的处理，一般采用光场渲染技术。光场相机渲染技术是指基于图像渲染技术的场景的获取及重现的一种实现方法，后期渲染处理的好坏直接影响图像的最终成像质量。从原始图像的每一个微透镜子孔径图像中选取中间一个区域块得到的图像，即为渲染处理的过程。区域块的大小与场景的深度有关，可以人为确定，也可以由其深度信息确定，在不同的场景中使用不同的大小。

在传统的渲染方法中，区域块所取的形状为正方形，而聚焦型光场相机的微透镜阵列通常采用正六边形的排列方式，故在渲染过程中，需要先经过一个正六边形坐标系到正交坐标系的转换，其渲染方法的计算量大，影响渲染的速率。

发明内容

为解决上述问题，本发明提供了一种聚焦型光场相机的渲染方法和***，其能避免坐标系的转换，减少渲染方法的计算量。

本发明提供一种聚焦型光场相机的渲染方法，该方法包括如下步骤：S1.输入聚焦型光场相机拍摄的图片，记录每个微透镜和子孔径图的位置信息和中心位置；S2.根据需要重聚焦的平面图像，计算其景深，根据景深确定半径R的大小；S3.在每一个子孔径图的中心位置，取一个半径为R的正六边形区域块；S4.将正六边形区域块，按子孔径图的顺序平铺合并得合并图；S5.对合并图进行处理，得到最终渲染图。

优选地，所述步骤S2需要重聚焦的平面图像为单个时，在不同景深处选取相同的半径R，该重聚焦平面图像的景深人为确定。

优选地，所述步骤S2需要重聚焦的平面图像为全平面时，在不同景深处选取不同的半径R，各平面图像的景深根据深度估计的方法计算得到，再通过深度值与R的关系表中查找确定R的大小。

优选地，所述步骤S2需要重聚焦的平面图像为单个时，在不同景深处选取相同的半径R，该重聚焦平面图像的深度根据深度估计的方法计算得到，再通过深度值与R的关系表中查找确定R的大小。

优选地，所述步骤S3的正六边形为纵向正六边形。

正六边形的方向根据微透镜排列方式进行调整。如微透镜排列方式为横向，则正六边形的方向为纵向；如微透镜排列方式为纵向，则正六边形的方向为横向。

优选地，步骤S4的正六边形区域块的边缘像素通过四舍五入的方法进行整数化。

优选地，步骤S5对对合并图的处理为：取出其中最大的矩形块，舍弃多余的边角信息。

优选地，步骤S5对合并图的处理为：对合并图中六边形区域块内的每个像素，对其原始图像中像素点相隔(μ-R)处的值求平均得到输出图像给定的一点像素值，其中μ为微透镜的大小；再对合并图取出其中最大的矩形块，舍弃多余的边角信息。进一步地优选，对其原始图像中像素点相隔(μ-R)处的值求平均的表达公式如下：

其中，f_i(x)＝p_i+q′

$\begin{array}{c}{q}^{\′}=q+\frac{\mathrm{\μ}-R}{2}\\ =(\frac{x}{\mathrm{\μ}}-p)R+\frac{\mathrm{\μ}-R}{2}\end{array}$

μ＝R(a/b)

i＝0,±1,±2,L i的绝对值有一个确定的上限值；

a,b分别为微透镜平面到传感器平面、主透镜成像平面的距离，p_i为微透镜位置，f_i(x)为输出图像中一点x在原始图像中所对应的偏移数为i处的位置，为f_i(x)处所对应的像素值，ω_i为其权重，与f_i(x)有关，q为偏移量，q′为实际偏移量。

本发明还提供一种聚焦型光场相机的渲染***，该***包含如下模块：记录模块、半径模块、分块模块、合并模块、处理模块；记录模块用于记录每个微透镜和子孔径图的位置信息及其中心位置；半径模块用于根据需要重聚焦的平面图像，计算其景深，根据景深确定半径R的大小；分块模块用于将每一个子孔径图中心位置，取一个半径为R的正六边形区域块；合并模块用于将正六边形区域块，按子孔径图的顺序平铺合并得合并图；处理模块用于对合并图进行处理，得到最终渲染图。

本发明的有益效果为：利用微透镜阵列的六边形排列特性，通过对微透镜子孔径图取正六边形的区域块，在渲染过程中，无需经过坐标系的变换，能减少聚焦型光场相机的渲染方法的计算量。

在本发明的优选的方案中，还具有如下的有益效果：通过人为确定图形景深，在不同景深处选取相同的半径R，可以实现单个平面图像的重聚焦。通过深度估计计算各平面图像的景深，在不同景深处选取不同的半径R，可以实现全图像清晰，有效消除图像中的Artifacts，改善最终渲染图的图像质量。通过深度估计计算各平面图像的景深，在不同景深处选取相同的半径R，再对合并图中六边形区域块内的每个像素，对其原始图像中像素点相隔(μ-R)处的值求平均得到输出图像给定的一点像素值，可以实现单个平面图像，即特定深度的图像重聚焦，且无Artifacts。通过对正六边形区域块的边缘像素进行四舍五入的方法进行整数化，使平铺合并时，相对两条边上的像素能很好地互补，减少最终渲染出图像的像差。

附图说明

图1为本发明实施例流程示意图。

图2为本发明实施例聚焦光场相机光学结构示意图，A为传感器，B为微透镜阵列，C为像平面，D为主透镜，E为物体。

图3为本发明实施例微透镜实际排列方式示意图。

图4为本发明实施例对单个子孔径图取正六边形区域块方法示意图。

图5为本发明实施例对所有子孔径图取正六边形区域块示意图。

图6为本发明实施例正六边形区域块排列示意图。

图7为本发明实施例边界处理示意图。

具体实施方式

下面结合附图对本发明的实施方式做进一步的说明，具体过程如下，其流程示意图如图1所示。

S1.输入聚焦型光场相机拍摄的图片，记录每个微透镜和子孔径图的位置信息和中心位置。

S2.根据需要重聚焦的平面图像，计算其景深，根据景深确定半径R的大小。

S3.在每一个子孔径图的中心位置，取一个半径为R的正六边形区域块。

S4.将正六边形区域块，按子孔径图的顺序平铺合并得合并图；

S5.对合并图进行处理，得到最终渲染图。

光场相机是获取光场信息的装置，包信息含空间位置和方向的四维光辐射场。因此每个传感器单元捕捉到的是物体从特定角度发出的光线，不仅记录了光线的位置信息，也记录了其方向信息，实际上是四维全光函数的采样。但传统光场相机存在空间分辨率太低的缺点，聚焦光场相机则提供了一种空间分辨率和角度分辨率的折中，其光学结构示意图如图2所示。

微透镜排列方式通常采用六边形排列方式，如图3所示，其填充因子最大为90％。相比最大填充因子为78.5％的正交排列方式，采用六边形排列方式，其填充因子要大很多。微透镜的填充因子是指单位元件的有效通光面积与单元总面积之比，表征了元件对光能的汇聚和发散能力，通常与元件形状和排列方式有关。

对于区域块，R的大小对应着不同的聚焦面，因此对应着不同的深度。根据所需要重聚焦的平面图像的景深来确定其半径R的大小。根据重聚焦的平面的对象不同，以及其深度计算方法的不同，可以采取如下3种方式。

(1)当需要重聚焦的平面图像为单个时，在不同景深处选取相同的半径R；该重聚焦平面图像的景深人为确定。

人为确定是根据经验确定，在不同景深处，采用的都是相同的R，因此得到的是特定平面的聚焦图。该方法能够实现某个深处度的图像聚焦，但不在聚焦面的部分有可能会产生Artifacts。

(2)当要重聚焦的平面图像为全平面时，在不同景深处选取不同的半径R；各平面图像的景深根据深度估计的方法计算得到，再通过深度值与R的关系表中查找确定R的大小。

利用深度估计的方法，可以得到更精确的深度值，再通过深度值数组中查表得到R的大小，此方法可以有效减少方法(1)所产生的图像Artifacts，得出所有的图像都清晰、无Artifacts的最终渲染图，该方法可以实现图像的全聚焦。

(3)当需要重聚焦的平面图像为单个时，在不同景深处选取相同的半径R；该重聚焦平面图像的深度根据深度估计的方法计算得到，再通过深度值与R的关系表中查找确定R的大小。

该方法产生的不是全聚焦图像，而是特定深度的聚焦图，与(1)中方法不同的是，对于不在聚焦面的部分，此方法不会产生Artifacts。

在图2所示光学结构中，微透镜阵列上的每个微透镜对应传感器平面上的一块区域，对应一个子孔径图。利用微透镜本身的正六边形排列方式，对每个子孔径图取一个正六边形的区域块。值得注意的是，图3中微透镜排列方式是横向正六边形，故所取的正六边形区域块的形状为纵向正六边形，对单个子孔径图取正六边形的区域块方法如图4所示，对所有子孔径图的取块方式如图5所示。

对于步骤S3中的所取出的所有纵向的正六边形块，由步骤S1中所确定的位置信息，按原来的位置排列并平铺所有的子孔径图中心块，其示意图如图6所示。其中，由于传感器像素的形状为正方形，而每一个六边形块图边缘难免有非整数像素，对于边缘的这些像素，需要整数化，这里可以采取四舍五入的方法。由于正六边形相对的两条边是平行的，因此相对两条边上的整数化后像素依然能够很好地互补。

对于如上的方法(1)和方法(2)，合并图进行如下的处理：如图7所示，经上述步骤平铺合并得到的合并图是一个不规则的图形，由于微透镜数目较多，相邻微透镜所成的子孔径图有较多相似部分，因此对于最后的图形，取出其中所能找到的一个最大矩形块。矩形块中已经都是整数像素了，然后舍弃多余的边角信息。最终结果示意图即图7中阴影所示部分。

对于如上的方法(3)，对合并图的处理需要先对合并图中六边形区域块内的每个像素，对其原始图像中像素点相隔(μ-R)处的值求平均得到输出图像给定的一点像素值；然后再对合并图取出其中最大的矩形块，舍弃多余的边角信息。

对于尺寸为μ的微透镜，R的图像块，被平均的像素值的间隔为(μ-R),位置为f_i(x)的所有对应像素被平均：其中，为f_i(x)处所对应的像素值。

f_i(x)＝p_i+q′，f_i(x)为输出图像中一点x在原始图像中所对应的偏移数为i处的位置；

p_i为微透镜位置；

$\begin{array}{c}{q}^{\′}=q+\frac{\mathrm{\μ}-R}{2}\\ =(\frac{x}{\mathrm{\μ}}-p)R+\frac{\mathrm{\μ}-R}{2}\end{array}$

μ＝R(a/b)

这里i＝0,±1,±2,L，a,b分别表示微透镜平面到传感器平面和微透镜平面到主透镜成像平面的距离。因为μ是一个常数，因此对于给定图像块尺寸R的采样，i的绝对值有一个确定的上限值，

对于不同点，R可以不同，但对于每个点都有一个积分值。

不同视角的贡献可以用权重来表示，可以把一个微透镜每个像素规定一个权重值，即对不同位置的f_i(x)进行加权平均，最后得到在固定深度处聚焦的无Artifacts的结果。

Claims (10)

1.一种聚焦型光场相机的渲染方法，其特在于，包括如下步骤：

S1.输入聚焦型光场相机拍摄的图片，记录每个微透镜和子孔径图的位置信息和中心位置；

S2.根据需要重聚焦的平面图像，计算其景深，根据景深确定半径R的大小；

S3.在每一个子孔径图的中心位置，取一个半径为R的正六边形区域块；

S4.将正六边形区域块，按子孔径图的顺序平铺合并得合并图；

S5.对合并图进行处理，得到最终渲染图。

2.如权利要求1所述的方法，其特征在于，所述步骤S2需要重聚焦的平面图像为单个时，在不同景深处选取相同的半径R，重聚焦平面图像的景深人为确定。

3.如权利要求1所述的方法，其特征在于，所述步骤S2需要重聚焦的平面图像为全平面时，在不同景深处选取不同的半径R，各平面图像的景深根据深度估计的方法计算得到，再通过深度值与R的关系表中查找确定R的大小。

4.如权利要求1所述的方法，其特征在于，所述步骤S2需要重聚焦的平面图像为单个时，在不同景深处选取相同的半径R，该重聚焦平面图像的深度根据深度估计的方法计算得到，再通过深度值与R的关系表中查找确定R的大小。

5.如权利要求1所述的方法，其特征在于，所述步骤S3的正六边形为纵向正六边形。

6.如权利要求1所述的方法，其特征在于，所述步骤S4的正六边形区域块的边缘像素通过四舍五入的方法进行整数化。

7.如权利要求2或3所述的方法，其特征在于，所述步骤S5对合并图的处理为：取出其中最大的矩形块，舍弃多余的边角信息。

8.如权利要求4所述的方法，其特征在于，所述步骤S5对合并图的处理为：对合并图中六边形区域块内的每个像素，对其原始图像中像素点相隔(μ-R)处的值求平均得到输出图像给定的一点像素值，其中μ为微透镜的大小；再对合并图取出其中最大的矩形块，舍弃多余的边角信息。

9.如权利要求8所述的方法，其特征在于，所述步骤S5中对其原始图像中像素点相隔(μ-R)处的值求平均的表达公式如下：

$I\left(x\right)=\underset{i}{\Σ}{\mathrm{\ω}}_i{I}_{f_i\left(x\right)}$

其中，

f_i(x)＝p_i+q′

$\begin{array}{c}{q}^{\′}=q+\frac{\mathrm{\μ}-R}{2}\\ =(\frac{x}{\mathrm{\μ}}-p)R+\frac{\mathrm{\μ}-R}{2}\end{array}$

μ＝R(a/b)

i＝0,±1,±2,L i的绝对值有一个确定的上限值；

a,b分别为微透镜平面到传感器平面、主透镜成像平面的距离，p_i为微透镜位置，f_i(x)为输出图像中一点x在原始图像中所对应的偏移数为i处的位置，I_fi(x)为f_i(x)处所对应的像素值，ω_i为其权重，与f_i(x)有关，q为偏移量，q′为实际偏移量。

10.一种聚焦型光场相机的渲染***，其特征在于，包含如下模块：记录模块、半径模块、分块模块、合并模块、处理模块；记录模块用于记录每个微透镜和子孔径图的位置信息及其中心位置；半径模块用于根据需要重聚焦的平面图像，计算其景深，根据景深确定半径R的大小；分块模块用于将每一个子孔径图中心位置，取一个半径为R的正六边形区域块；合并模块用于将正六边形区域块，按子孔径图的顺序平铺合并得合并图；处理模块用于对合并图进行处理，得到最终渲染图。