CN106384338A - 一种基于形态学的光场深度图像的增强方法 - Google Patents

Abstract

本发明公开了一种基于形态学的光场深度图像的增强方法，包括：A1.输入原始图像数据，进行深度估计，得到初始深度图像；A2.提取子孔径中心视角图像的纹理特征，得到纹理特征区域；A3.对步骤A2提取出的纹理特征区域进行形态学操作和去噪处理，得到置信区域R；A4.根据步骤A3的置信区域R，将初始深度图像D_raw划分为置信深度区域和非置信深度区域；A5.提取置信区域R，即置信深度区域的深度值，建立优化模型，对非置信深度区域进行优化，填充非置信深度点，得到增强的深度图像。通过该方法能使图像纹理稀少处的深度更加准确，深度层次的变化较原始深度更加明显，深度图像得到增强。

Description

一种基于形态学的光场深度图像的增强方法

技术领域

本发明涉及计算机视觉与数字图像处理领域，特别涉及一种基于形态学的光场深度图像的增强方法。

背景技术

光场这一概念早在二十世纪四十年代就被提出，自此以后人们基于光场理论设计了光场采集设备，最著名的当属斯坦福大学的相机阵列，其利用多个普通相机铺成一个二维的相机阵列，可实现采集多个视角的图像，但是其开销过于庞大。基于光场成像理论，近几年发明的光场相机无论是在民用或者工业界都取得了巨大的商业价值。相对于传统的相机而言，其最大的特点就是用户可以先拍照后对焦，这也是其最大的卖点之一；也可以利用其采集的数据实现二次开发，通过电脑端软件借助一定算法实现视角的切换以及计算场景景深信息，这一点对于科研人员而言具有很大的意义。

现有基于光场相机的深度估计的策略主流算法是立体匹配算法。该算法主要思想是利用相机采集的多个视角的子孔径图像之间的相关性构造能量函数，通过最小化能量函数是来实现深度的估计。但是由于光场相机的基线太短，导致的匹配误差会过大，无法满足算法匹配的精度要求。另外一种比较新颖的方法是基于极面图像(Epipolar Plane Image)的方法，该算法充分分析了光场图像的水平方向和竖直方向的斜率与深度的关系，从而实现了一种快速深度估计算法。

现有的深度估计的算法对实际场景的深度估计并不准确，错误经常出现在纹理稀少的平滑区域，立体匹配算法会计算出错误的代价函数，EPI算法会计算出错误的直线斜率而出现算法失效。计算错误的原因在于这种区域匹配特征过少。

发明内容

为解决上述问题，本发明提供一种基于形态学的光场深度图像的增强方法，该方法使图像纹理稀少处的深度更加准确，深度层次的变化较原始深度更加明显，深度图像得到增强。

本发明提供一种基于形态学的光场深度图像的增强方法，包括步骤如下：A1.输入原始图像数据，进行深度估计，得到初始深度图像D_raw；A2.提取子孔径中心视角图像的纹理特征，得到纹理特征区域；A3.对步骤A2提取出的纹理特征区域进行形态学操作和去噪处理，得到置信区域R；A4.根据步骤A3的置信区域R，将初始深度图像D_raw划分为置信深度区域和非置信深度区域；A5.提取取置信区域R，即置信深度区域的深度值，建立优化模型，对非置信深度区域进行优化，填充非置信深度点，得到增强的深度图像。

优选地，所述步骤A2中所述提取子孔径中心视角图像的纹理特征采用Canny算子，包括步骤如下：A21.用高斯滤波器平滑图像；A22.计算滤波后图像梯度的幅值和方向；A23.对梯度幅值应用非极大值抑制，其过程为找出图像梯度中的局部极大值点，把其它局部极大值点置零以得到细化的边缘；A24.用双阈值算法检测和连接边缘，使用两个阈值T1和T2，T1＞T2，T1用来找到每条线段，T2用来在线段的两个方向上延伸寻找边缘断裂处，并连接这些边缘。进一步地优选，T2＝0.4T1。

优选地，所述步骤A3中所述形态学操作包括膨胀和填充封闭区域。

优选地，所述步骤A3中所述去噪处理包括：标记纹理特征连通区，设定阈值τ；纹理特征连通区内像素点个数≥τ，所述纹理特征连通区被保留；纹理特征连通区内像素点个数＜τ，所述纹理特征连通区则被去除。

优选地，所述优化模型为基于像素点的像素值、梯度和平滑度的优化模型。进一步地优选，所述优化模型为：其中λ和γ为比例系数。

J₁(D)表示深度图像中像素r与其邻域内像素s的深度值加权平均的误差函数，D表示最终得到的深度图，s表示位于像素点r邻域N(r)内的像素点，w_rs表示像素s与r之间的权重系数，I_c表示置信深度区域的图像，Ic(r)表示置信深度区域图像像素点r的深度值。

J₂(D)表示深度图像中像素r与置信深度区域的图像I_c的梯度保持误差函数，g_D和g_Ic分别表示D和I_c的梯度，

J3(D)表示深度图像中非置信深度区域的平滑度，ΔD表示D的二阶倒数，

优选地，在所述步骤A5之后还包括步骤A6：使用边缘保持滤波器对增强的深度图像再进行优化。进一步地优选，所述边缘保持滤波器包括双边滤波器，加权中值滤波器和导向滤波器等。

本发明的有益效果为：通过提取纹理特征并对其进行形态学操作和去噪处理，得到包含最终置信深度点的置信区域R；依据置信区域R，即置信深度区域的深度值建立优化模型，对非置信深度区域进行优化，填充非置信深度点，使得原始深度图像的纹理稀少处的深度更加准确，深度层次的变化较原始深度更加明显，从而得到增强的深度图像。

附图说明

图1为本发明实施例深度图像增强方法的流程示意图。

图2为本发明实施例形态学操作填充原理示意图，图2a为未被填充处理的原始二值图像，图2b为被填充处理的二值图像。

具体实施方式

下面结合具体实施方式并对照附图对本发明作进一步详细说明，应该强调的是，下述说明仅仅是示例性的，而不是为了限制本发明的范围及其应用。

一种深度图像的增强方法，其流程示意图如图1所示，具体步骤如下。

A1.输入原始图像数据，进行深度估计，得到初始深度图像D_raw。

光场图像的获取一般借助手持式光场相机如Lytro，Illum或者Raytrix等设备。由Lytro或者Illum得到的原始光场图像格式为lfp或者lfr，借助MATLAB光场工具包(不限于此方式)对数据进行解码，从而获得原始场景图像，但此时的图像一般是灰度图，一般要进行Demosaic操作，从而将原始的图像转化成为原始输入光场图像。

根据已有的光场重聚焦技术，将原始输入图像聚焦在不同的深度层次上，通过分析不同的深度层次图像角度域内像素强度的变化情况，得到初始深度图像D_raw。

A2.提取子孔径中心视角图像的纹理特征得到纹理特征区域。

纹理特征的提取采用Canny算子，其主要包括如下步骤：

A21.用高斯滤波器平滑图像。

H(x,y)表示高斯平滑函数，其表达式为：

对于输入的原始图像f(x,y)，用H和f的卷积形成一幅平滑后的图像G(x,y)：

G(x,y)＝H(x,y)*f(x,y) 公式(2)

A22.计算滤波后图像梯度的幅值和方向。

首先构造一阶卷积模版：

g_x＝M*f 公式(4)

g_y＝M^T*f 公式(5)

其中，

在(x,y)的梯度方向为：θ＝tan-¹(g_y/g_x) 公式(6)

A23.对梯度幅值应用非极大值抑制，其过程为找出图像梯度中的局部极大值点，把其它局部极大值点置零以得到细化的边缘。

对于图像中的每一个像素r，比较其沿着梯度线两侧像素进行比较，若r处的梯度值小于两个相邻像素的梯度值，则该点被抑制。

A24.用双阈值算法检测和连接边缘，使用两个阈值T1和T2，T1＞T2，T1用来找到每条线段，T2用来在线段的两个方向上延伸寻找边缘断裂处，并连接这些边缘。

T1＝0.4T2，图像灰度值小于T₁的像素设置为0，否则为1，得到图像一，该图像去除了原图中大部分噪声，但是细节会有缺失；图像灰度值小于T2的像素设置为0，否则为1，得到图像二，该图像会保留大量的细节，但是会有大量噪声。接下来就是边缘的连接，大的阈值用来控制强边缘的原始分割，小阈值控制边缘连接。

A3.对步骤A2提取出的纹理特征区域进行形态学操作和去噪处理，得到置信区域R。

形态学操作包括膨胀和填充封闭区域，进行形态学操作可以填充未被边缘提取出来的可能准确的深度区域。如图2所示，图2a是未被填充处理的原始二值图像，其中白色圆环表示一个闭合区域(一定是闭合区域才可以)，填充操作可以将闭合区域内部填充成与其边缘一致的颜色，图2b为填充处理之后的二值图像。

经过上述处理之后也会引起小区域噪点被错误填充，接下来进行去噪处理。首先标记所有不相邻的纹理特征连通区域Ω＝{Ω₁,Ω₂...Ω_N}，其中Ω_i(i＝1,2…N)代表每个闭合区域，接下来统计每个区域中像素点的个数，例如Ω_i中包含的像素点个数记为：#(Ω_i)。设置一定的阈值τ，判断是否保留该闭合域的条件是：

经过以上处理之后就可以得到置信区域R。

A4.根据步骤A3的置信区域R，将初始深度图像D_raw划分为置信深度区域和非置信深度区域

通过将初始深度图像D_raw进行划分，得到像素点深度值准确的深度区域和深度值不准确的非置信深度区域；深度值准确的置信深度区域的像素点与置信区域R的像素点一一对应。

A5.提取置信区域R，即置信深度区域的深度值，建立优化模型，对非置信深度区域进行优化，填充非置信深度点，得到增强的深度图像。

利用准确性高的深度值修正不准确的深度值，提升同质区域深度估计的一致性并保留清晰的边界特征。

首先确保最终深度图像中在像素r处的深度值是其邻域内像素点深度值的加权平均从而保证其一致性，设计误差函数：

其中D表示最终要得到的深度图，s是位于像素点r邻域N(r)内的像素点；w_rs表示像素s与r之间的权重系数，其中I_c表示置信深度区域的图像，Ic(r)表示置信深度区域图像像素点r的深度值。

为了保证优化出的深度图保持更多的边界信息，假设最终深度图像的梯度与置信深度区域的图像I_c在像素r处应该保持一致，设计误差函数：

其中分别表示D和I的梯度。

为了保证优化后的深度图在非置信深度区域保持好的平滑性，设计了如下函数：

其中的表示D的二阶导数。

最终，其优化模型为：其中λ和γ为比例系数，调节后两项的权重。约束条件为在置信区域R处的初始深度等于优化后的深度，即D(R)＝D_raw(R)。通过最小化以上三个函数的加权和从而得到最终的深度值。从而实现了利用准确性高的深度值修正不准确的深度值，提升同质区域深度估计的一致性并保留清晰的边界特征。

在优化结束之后，再使用边缘保持滤波器对深度图D^*进行再优化，这样操作可以进一步使深度图质量得到改善。边缘保持滤波器包含如双边滤波器，加权中值滤波器，导向滤波器等。

以上内容是结合具体/优选的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，其还可以对这些已描述的实施方式做出若干替代或变型，而这些替代或变型方式都应当视为属于本发明的保护范围。

Claims (9)

1.一种基于形态学的光场深度图像的增强方法，其特征在于，包括如下步骤：

A1.输入原始图像数据，进行深度估计，得到初始深度图像D_raw；

A2.提取子孔径中心视角图像的纹理特征，得到纹理特征区域；

A3.对步骤A2提取出的纹理特征区域进行形态学操作和去噪处理，得到置信区域R；

A4.根据步骤A3的置信区域R，将初始深度图像D_raw划分为置信深度区域和非置信深度区域；

A5.提取置信区域R，即置信深度区域的深度值，建立优化模型，对非置信深度区域进行优化，填充非置信深度点，得到增强的深度图像。

2.如权利要求1所述的方法，其特征在于，所述步骤A2中所述提取子孔径中心视角图像的纹理特征采用Canny算子，包括如下步骤：

A21.用高斯滤波器平滑图像；

A22.计算滤波后图像梯度的幅值和方向；

A23.对梯度幅值应用非极大值抑制，其过程为找出图像梯度中的局部极大值点，把其它局部极大值点置零以得到细化的边缘；

A24.用双阈值算法检测和连接边缘，使用两个阈值T1和T2，T1＞T2，T1用来找到每条线段，T2用来在线段的两个方向上延伸寻找边缘断裂处，并连接这些边缘。

3.如权利要求2所述的方法，其特征在于，所述步骤A24中，T2＝0.4T1。

4.如权利要求1所述的方法，其特征在于，所述步骤A3中所述形态学操作包括膨胀和填充封闭区域。

5.如权利要求1所述的方法，其特征在于，所述步骤A3中所述去噪处理包括：标记纹理特征连通区，设定阈值τ；纹理特征连通区内像素点个数≥τ，所述纹理特征连通区被保留；纹理特征连通区内像素点个数＜τ，所述纹理特征连通区则被去除。

6.如权利要求1所述的方法，其特征在于，所述步骤A5中所述优化模型为基于像素点的深度值、梯度和平滑度的优化模型。

7.如权利要求6所述的方法，其特征在于，所述步骤A5中所述优化模型为：

$D^{*}=\underset{D}{\arg \min }{J}_1\left(D\right)+{\mathrm{\λJ}}_2\left(D\right)+{\mathrm{\γJ}}_3\left(D\right);$

其中，

J₁(D)表示深度图像中像素r与其邻域内像素s的深度值加权平均的误差函数，D表示最终得到的深度图，s表示位于像素点r邻域N(r)内的像素点，w_rs表示像素s与r之间的权重系数，I_c表示置信深度区域的图像，I_c(r)表示置信深度区域图像像素点r的深度值；

$J_2\left(D\right)=\underset{r}{\Σ}{\left(g_D\right(r)-g_{I_c}(r\left)\right)}^2$

J₂(D)表示深度图像中像素r与置信深度区域的图像I_c的梯度保持误差函数，g_D和g_Ic分别表示D和I_c的梯度,

$J_3\left(D\right)=\underset{r}{\Σ}{\left(\mathrm{\Δ}D\right(r\left)\right)}^2$

J₃(D)表示深度图像中非置信深度区域的平滑度，△D表示D的二阶倒数，

λ和γ为比例系数。

8.如权利要求1所述的方法，其特征在于，在所述步骤A5之后还包括步骤A6：使用边缘保持滤波器对增强的深度图像再进行优化。

9.如权利要求8所述的方法，其特征在于，所述边缘保持滤波器包括双边滤波器，加权中值滤波器和导向滤波器。