CN108564620A - 一种针对光场阵列相机的场景深度估计方法 - Google Patents

Abstract

本发明公开了一种针对光场阵列相机的场景深度估计方法，由于三维场景中不同深度的物体对应不同的视差，本发明方法利用光场阵列相机所获取的子图像，通过纵向方差分析来得到当前场景的初始深度图与对应的置信度分布图。随后，本发明设计了一种“置信度引导下的深度传播”算法来对初始深度图进行去噪滤波和边缘保持。通过采用本发明的方法，当前场景的深度可以有效地被估计出来。本发明的方法在深度难以估计的弱纹理区域能够取得较好的结果。

Description

一种针对光场阵列相机的场景深度估计方法

技术领域

本发明涉及图像处理、计算机视觉、光场计算成像领域，特别是一种针对光场阵列相机的场景深度估计方法。

背景技术

近几年来，基于光场和计算成像理论的光场相机成为了研究的热点。它通过采集现实世界的光场，在单次曝光中就可以获得当前场景的三维信息，通过对采集到的数据进行处理，可以实现超分辨率计算成像、场景三维重建等诸多传统相机无法实现的功能。而大多数功能的实现都需要对当前场景的深度进行较为准确的估计。

作为计算机视觉研究领域的一个重要分支，深度估计在过去的十几年里被广泛研究。然而大多数的研究都是针对双目相机提出的，如果仅仅利用阵列相机中的两个子相机来进行深度估计，则无法充分利用捕获到的当前场景的有效信息。最近几年，也有学者提出基于微透镜型光场相机的深度估计方法，并取得了较好的效果。但是微透镜型光场相机的等效基线较窄，其获得的光场采样在角度方向上较为密集，角度分辨率相对较高，从而导致这些基于微透镜阵列的深度估计算法对角度分辨率的要求也相对较高，而阵列相机往往具有较宽的基线，其在角度方向上的采样也较为稀疏，这种较低的角度分辨率往往会导致深度估计的结果具有较大的噪声和深度误匹配。如果直接将基于微透镜的深度估计算法应用到阵列相机上来，其效果便会有所损失。因此，我们需要充分利用阵列相机所捕获的场景信息，通过对这些信息的充分利用来抑制噪声和深度误匹配，从而实现在稀疏角度采样的条件下较好地估计出当前场景的深度。

发明内容

本发明所要解决的技术问题是，针对现有技术不足，提供一种针对光场阵列相机的场景深度估计方法，充分利用阵列相机所捕获的场景信息，通过对这些信息的充分利用来抑制噪声和深度误匹配，实现在稀疏角度采样的条件下较好地估计出当前场景的深度。

为解决上述技术问题，本发明所采用的技术方案是：一种针对光场阵列相机的场景深度估计方法，其特征在于，包括以下步骤：

1)在重聚焦过程中通过比较角度方向上的方差估计初始深度估计中的场景深度；

2)在重聚焦过程中通过分析角度方向上的二阶方差计算场景深度的置信度分布；

3)利用所述置信度分布滤除初始深度估计图中的噪声和深度误匹配；

4)对经步骤3)处理后的深度估计图的边缘进行加强，得到当前场景的精确深度估计图。

步骤1)中，所述场景深度的估计值其中，x为场景深度图中某一像素的横坐标值，W_D是x周围的一个邻域，|W_D|代表窗口中像素的总数；

u＝{u₁,u₂,L,u_U}是阵列中相机的位置；N是深度分辨率；U是在u方向上的相机总数； s＝{s₁,s₂,L,s_N}为聚焦因子；L(u,x-s_iu)表示坐标为u的相机获取的图像在横坐标为x-s_iu处的图像灰度值。

步骤2)中，置信度分布R(x)的计算公式为：

其中，a是衰减系数；b为平移系数；η(x)＝L_W(x)/max{L_W(x)}，ε是一个小量， 是V'(x,s_i)的均值。

a取值为0.3；b取值为0.5。

步骤3)的具体实现过程包括以下步骤：

1)从初始深度估计图X中提取一个以(i，j)为中心、大小为ρ×ρ的块P_X；从置信度分布中提取相应的块P_R；(i，j)初始化为(1，1)；

2)通过归一化其中P_R(x,y)为块P_R中第x行第 y列的置信度的值；经过归一化，生成掩膜M；

3)将P_X与M的内积填入滤波后的深度图X_f中，即

4)判断X中的所有像素是否被遍历，若是，则输出滤波后的深度图X_f；否则，返回步骤1)。

步骤4)的具体实现过程包括：

1)从滤波后的深度图X_f中提取一个以(i,j)为中心的大小为ρ×ρ的块P_X；从膨胀后的置信度分布R_e中提取相应的块P_R；

2)通过置信度翻转和能量归一化生成掩膜M_b；

3)将P_X与M_b的内积填入精确深度估计图X_b中，即

4)若X_f中所有像素都被遍历，则输出精确深度估计图X_b；否则，返回步骤1)。

与现有技术相比，本发明所具有的有益效果为：本发明可以利用光场阵列相机对当前场景的深度分布进行准确估计，从而可以对当前场景的三维结构进行分析，对基于光场阵列相机的场景三维重建、超分辨计算成像等诸多功能的精度提升具有促进作用。随着光场相机的不断推广与普及，本发明方法有着较大的意义与实用价值。

附图说明

图1为针对光场阵列相机的场景深度估计算法结构框图；

图2为光场的双平面模型示意图。其中，(a)为光场的双平面立体模型：光线穿过像平面Π＝{(x,y)}与相机平面Ω＝{(u,v)}，其位置和方向可以通过这两个平面的坐标值来表示。其中，(u,v)代表了阵列相机中相机的位置坐标，(x,y)代表着某一个相机获得的二维图像中的一个像素，这样，通过u，v，x，y这四个坐标，整个阵列相机所获得的数据就可以被表示出来，我们用L(u,v,x,y)来表示坐标为(u,v)处的相机所获得的图像在其坐标(x,y)处的像素的灰度值(取值范围为0-255)，由相机所拍摄的场景来决定，L可以理解为光场的四维坐标(两维相机坐标，两维图像坐标)到相机阵列所获取的图像灰度值之间的一个映射关系。从而L(u,v,x,y)就可以表示相机阵列所拍摄到的当前光场。 (b)为光场立体模型在xu方向上的投影：由于四维光场模型在u与v，x与y两对方向上具有对称性，为了简化对模型的分析并且不失一般性，我们固定y＝y^*与v＝v^*，将光场投影到xu空间进行分析。通过分析图2(b)中的光场的二维投影，我们可以得到场景的深度γ与该深度下图像对应像素的位移偏差d＝L₁-L₂满足关系d＝fB/γ，从而深度估计的问题可以归结为阵列子图像中对应深度的像素之间位移差异估计的问题。

图3为本发明算法取得的效果图，(a)为实验采用的场景图，(b)为通过本发明的方法计算得到的场景置信度分布图，(c)为利用本发明公开的方法得到的场景深度图。

具体实施方式

由于深度估计主要是通过不同位置像素在角度方向上的位移差异估计来实现的，而位移差异和深度具有一一对应的关系。因此我们在本发明中将位移差异的估计统称为深度估计。不失一般性，本发明在介绍步骤的过程中将四维光场模型L(u,v,x,y)简化为二维模型L(u,x)，以方便对算法进行介绍。本发明通过在角度方向上分析阵列相机获取的子图像，通过比较方差的大小来进行初步的深度估计，通过分析二阶方差来估计出初始深度对应的置信度。之后，本发明通过采用“置信度引导下的深度传播”算法来对初始深度估计中的噪声和深度误匹配进行滤除。在本算法中，初始深度首先在置信度的引导下进行顺向流动，使得低置信度区域内的噪声和深度误匹配被周围高置信度的区域替代；而后深度在膨胀后的置信度引导下反向流动，在进一步滤波的同时，对深度图中的边缘进行增强。经过置信度引导下的深度传播算法，可以得到当前场景较为理想和精确的深度分布图。本发明算法的流程图如图1所示，具体包括以下步骤：

1.在重聚焦过程中通过比较角度方向上的方差来对场景深度进行初始估计。重聚焦过程可以表示为：

式中，u＝{u₁,u₂,L,u_U}是阵列中相机的位置(一般设置中间位置的相机为参考相机)； s＝{s₁,s₂,L,s_N}为聚焦因子，N是深度分辨率(即深度方向上总共划分的深度层数)，U是在u方向上的相机总数。阵列子图像在角度方向上的方差可以表示为：

因为聚焦区域在角度方向上往往对应着较小的方差，而非聚焦区域在角度方向上往往对应着较大的方差，所以可以通过计算每一个聚焦因子下的方差，通过进行比较，挑选出最小的方差对应的聚焦因子即为这个像素所在深度对应的聚焦因子。为了增加算法的鲁棒性，我们采用下式来计算初始的深度估计值：

此处，W_D是x周围的一个邻域，通常可以设置为7×7的窗口；|W_D|代表窗口中像素的总数；D(x)即为初始的位移估计值。

2.在重聚焦过程中通过分析角度方向上的二阶方差来对场景深度的置信度进行计算。通过计算下式得到光场阵列子图像角度方向上的二阶方差值：

式中，是方差V'(x,s_i)的均值，W(x)可以用来度量V'(x)的波动情况，从而来衡量该深度值的可信赖程度。然而，W(x)的尺度过大，不适合直接应用，我们对其进行处理,。首先采用下式进行对数化处理：

式中ε是一个小量以防止分母等于0，而后再根据下式进行归一化处理：

η(x)＝L_W(x)/max{L_W(x)}

经过归一化，η的取值范围被限制到了0到1之间。最后，为了将η分为高置信区域与低置信区域，采用sigmoid函数来进行映射。如下所示：

式中，a是衰减系数，控制曲线的灵敏度，取值为0.3；b为平移系数，控制阈值的大小，取值为0.5。通过以上计算，即获得当前场景深度估计的置信度分布R。

3.采用“置信度引导的深度传播”算法，对初始深度估计图中的噪声和深度误匹配进行滤除。利用计算得到的置信度分布R，我们可以通过最小化如下目标函数来实现全局优化。

式中，X₀是向量化的初始位移估计，X为变量，R代表置信度分布，为全1向量。X，X₀，R和具有相同的维度。优化的深度估计图可以通过最小化目标函数的方式来求得。而目标函数中由保真项E_R(X)和正则项J_R(X)组成。λ为正则化系数，用来控制滤波作用的力度。矩阵H为在置信度引导下控制深度值从高置信度区域传播到低置信度区域的算子，HX可以由算法1来实现。

注:边界通过填充边缘值来处理

4.通过采用“置信度引导下的深度回流”算法，对深度图的边缘进行加强。具体实施方法为：

通过最小化目标函数，虽然在弱纹理区域的噪声和深度误匹配可以被有效地抑制，但是会导致高置信度区域边缘周围发生位移值扩散。为了保持边缘处的强度，此处需要介绍一个边缘强化措施。该措施又分为置信域膨胀与深度回流。

置信域膨胀可以由最大值滤波器来实现。我们定义R_e为膨胀之后的置信度分布图，其中任意一个像素可以通过下式计算来得到。

式中，P_i,j是以R(i,j)为中心的块，最大值滤波器的作用是提取R(i,j)的邻域P_i,j内的最大值作为滤波器输出的结果。通过最大值滤波器的运算，原来置信度分布图中置信度较高的区域就会膨胀，置信度较低的区域就会收缩。

由于边缘的模糊效应主要集中在边缘的低置信度的一侧，而另外一侧由于被保真项保护，在优化的过程中并没有受到很大的损失，此处可以采用置信度引导下的深度回流策略来进行边缘加强，具体可以通过最小化下面的目标函数来实现：

式中，λ_b是正则化权值，矩阵H_b为空变滤波算子，在其中低置信度区域占有更大的权重。滤波过程详见如下算法2.

注:边界通过填充边缘值来处理。

Claims (6)

1.一种针对光场阵列相机的场景深度估计方法，其特征在于，包括以下步骤：

1)在重聚焦过程中通过比较角度方向上的方差估计初始深度估计中的场景深度；

2)在重聚焦过程中通过分析角度方向上的二阶方差计算场景深度的置信度分布；

3)利用所述置信度分布滤除初始深度估计图中的噪声和深度误匹配；

4)对经步骤3)处理后的深度估计图的边缘进行加强，得到当前场景的精确深度估计图。

2.根据权利要求1所述的针对光场阵列相机的场景深度估计方法，其特征在于，步骤1)中，所述场景深度的估计值其中，x为场景深度图中某一像素的横坐标值，W_D是x周围的一个邻域，|W_D|代表窗口中像素的总数； u＝{u₁,u₂,L,u_U}是阵列中相机的位置；N是深度分辨率；U是在u方向上的相机总数；s＝{s₁,s₂,L,s_N}为聚焦因子；L(u,x-s_iu)表示坐标为u的相机获取的图像在横坐标为x-s_iu处的图像灰度值。

3.根据权利要求2所述的针对光场阵列相机的场景深度估计方法，其特征在于，步骤2)中，置信度分布R(x)的计算公式为：

其中，a是衰减系数；b为平移系数；η(x)＝L_W(x)/max{L_W(x)}，ε是一个小量， 是V'(x,s_i)的均值。

4.根据权利要求3所述的针对光场阵列相机的场景深度估计方法，其特征在于，a取值为0.3；b取值为0.5。

5.根据权利要求1所述的针对光场阵列相机的场景深度估计方法，其特征在于，步骤3)的具体实现过程包括以下步骤：

1)从初始深度估计图X中提取一个以(i，j)为中心、大小为ρ×ρ的块P_X；从置信度分布中提取相应的块P_R；(i，j)初始化为(1，1)；

2)通过归一化其中P_R(x,y)为块P_R中第x行第y列的置信度的值；经过归一化，生成掩膜M；

3)将P_X与M的内积填入滤波后的深度图X_f中，即

4)判断X中的所有像素是否被遍历，若是，则输出滤波后的深度图X_f；否则，返回步骤1)。

6.根据权利要求5所述的针对光场阵列相机的场景深度估计方法，其特征在于，步骤4)的具体实现过程包括：

1)从滤波后的深度图X_f中提取一个以(i,j)为中心的大小为ρ×ρ的块P_X；从膨胀后的置信度分布R_e中提取相应的块P_R；

2)通过置信度翻转和能量归一化生成掩膜M_b；

3)将P_X与M_b的内积填入精确深度估计图X_b中，即

4)若X_f中所有像素都被遍历，则输出精确深度估计图X_b；否则，返回步骤1)。