CN106023189A - 一种基于匹配优化的光场数据深度重建方法 - Google Patents

Abstract

本发明公开了一种基于匹配优化的光场数据深度重建方法，包括：在四维光场中基于加权的区域匹配算法建立视差的目标函数，求解所述目标函数得到初步视差图；建立置信函数，根据所述置信函数的取值将所述初步视差图中的匹配像素分为准确匹配像素和误匹配像素；对所述目标函数设置阈值，根据所述阈值将所述误匹配像素分为平滑误匹配像素和边缘遮挡误匹配像素；以及对所述平滑误匹配像素进行平滑处理，对所述遮挡误匹配像素进行自适应匹配，以便优化所述视差图，并根据优化后的视差图输出场景深度。通过采用本发明提供的方法，能够在四维光场理论下实现高精度的深度重建。

Description

一种基于匹配优化的光场数据深度重建方法

技术领域

本发明涉及计算机视觉与数字图像处理领域，尤其涉及光场成像中一种基于匹配优化的光场数据深度重建方法。

背景技术

光场包含光线的空间和角度信息，是对场景中光线的福照度刻画，广泛应用于场景渲染、深度信息获取、计算摄影与三维重构。七维全光函数L(x,y,z,θ,λ,t)最早被提出用来形式化描述光场，描述了空间中任意时刻任意波长的光线辐照度信息。Levoy，Gortler等人提出了光场的双平面参数化表示，即四维光场L(x,y,u,v)。基于四维光场的理论，Ng和Levoy等人设计基于微透镜阵列采集***的手持相机，实现了单次曝光下的四维光场数据采集和重聚焦成像。

由光场数据获取场景深度信息当前有三类方法。基于多视点像素匹配的深度获取方法，基于极线图的深度获取方法和基于聚焦堆栈深度获取方法。光场可以看作一组不同视点下的透视图，基于多视点像素匹配的深度获取方法通过像素匹配获取任意物点在所有视点下的视差信息。基于极线图的深度获取方法计算梯度方向或者尺度变换求极值得到极线图中直线的斜率。基于聚焦堆栈深度获取方法通过清晰度评价和聚焦堆栈的其他特性估计深度。

高精度的深度重建方法可用于光场相机的深度信息获取，以及为三维场景重构提供精确的深度信息。但是，现有技术中缺少高精度的深度重建方法。

发明内容

本发明的目的在于提供一种基于匹配优化的深度重建方法，为基于光场的数字重聚焦和三维场景重构提供高精度的深度信息。

为实现上述目的，本发明提供一种基于匹配优化的光场数据深度重建方法，包括：

在四维光场中基于加权的区域匹配算法建立视差的目标函数，求解所述目标函数得到初步视差图；

建立置信函数，根据所述置信函数的取值将所述初步视差图中的匹配像素分为准确匹配像素和误匹配像素；

对所述目标函数设置阈值，根据所述阈值将所述误匹配像素分为平滑误匹配像素和边缘遮挡误匹配像素；以及

对所述平滑误匹配像素进行平滑处理，对所述遮挡误匹配像素结合梯度图进行自适应匹配，以便优化所述视差图，并根据优化后的视差图输出场景深度。

优选的，设四维光场中第一平面为视点平面，物点处的光线经过第一平面后通过像点然后到达第二平面，

在四维光场中基于加权的区域匹配算法建立视差的目标函数包括：

根据所述四维光场中视差与深度的关系得到视差和视点位移的关系：

$\frac{s}{\mathrm{\Δ}u}=\frac{F}{d^{\′}}-1---\left(1\right)$

s为视差，Δu为视点位移，F为第一平面和第二平面之间的距离，d′为第一平面到像点的距离；

根据式(1)结合高斯公式得到场景的深度函数d(x,y)：

$d(x,y)=\frac{f\·F\·\mathrm{\Δ}u}{F\·\mathrm{\Δ}u-f\left(s\right(x,y)+\mathrm{\Δ}u)}---\left(2\right)$

令s(x,y)为相邻视点的视差图，则考虑所有视点得到视差s(x,y)的目标函数：

$E\left(s\right)=\underset{u_i,v_j}{\Σ}\left|\right|L(x+{\mathrm{\Δu}}_{i}s,y+{\mathrm{\Δv}}_{j}s,u_i,v_j)-L(x,y,u_0,v_0)\left|\right|---\left(3\right)$

其中，Δu_i＝u_i-u₀，Δv_j＝v_j-v₀，L(x,y,u₀,v₀)为参考图像，

使用加权区域代替单像素，并以目标像素为中心的加权区域作为匹配基元，得到基于加权的区域匹配算法建立的视差的目标函数：

$\hat{E}\left(s\right)=\underset{u_i,v_j}{\Σ}\underset{x^{\′},y^{\′}\∈W}{\Σ}h(x^{\′},y^{\′})\left|\right|L(x^{\′}+{\mathrm{\Δu}}_{i}s,y^{\′}+{\mathrm{\Δv}}_{j}s,u_i,v_j)-L(x^{\′},y^{\′},u_0,v_0)\left|\right|---\left(4\right),$

其中，W为像素(x,y)的加权区域，h(x′,y′)为权重系数。

优选的，求解所述目标函数得到初步视差图包括：

所述h具有中心对称结构，对公式(4)求解优化问题得到初步视差图s(x,y)：

优选的，建立视差图的置信函数如下：

$Conf(x,y)=\frac{D\left(\hat{E}\right(s)>\mathrm{\λ}\hat{E}\left(s\right(x,y\left)\right))}{D(x,y)}$

其中，(x,y)为第二平面上的坐标，D(x,y)为(x,y)对应匹配基元的像素个数，为匹配基元内满足约束条件的像素个数，λ为调整参数；

根据所述置信函数的将所述初步视差图中的匹配像素分为准确匹配像素和误匹配像素包括：设置置信函数Conf(x,y)的阈值τ₁，当置信函数Conf(x,y)的值小于τ₁时，则(x,y)的像素为准确匹配像素，否则为误匹配像素。

优选的，对所述误匹配像素的目标函数设置阈值，根据所述阈值将所述误匹配像素分为平滑误匹配像素和边缘遮挡误匹配像素包括：

对设置阈值τ₂，当的值小于τ₂时，(x,y)的像素为平滑误匹配像素，否则为边缘遮挡误匹配像素。

优选的，对所述平滑误匹配像素进行平滑处理包括：

采用TV-L1模型优化所述平滑误匹配像素。

优选的，对所述遮挡误匹配像素进行自适应匹配包括：

结合梯度图像对所述遮挡误匹配像素进行自适应匹配。

通过采用本发明提供的方法，能够在四维光场理论下实现高精度的深度重建。

附图说明

当结合附图考虑时，通过参照下面的详细描述，能够更完整更好地理解本发明以及容易得知其中许多伴随的优点，但此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定，其中：

图1是本发明实施例提供的基于匹配优化的光场数据深度重建方法的流程图。

图2示出光场中视差与深度的关系示意图。

图3a示出示例图片的中心视图。

图3b示出根据初步视差图函数得到的初步视差图像。

图3c是经过优化误匹配像素后的图像。

图4a和图4b示出对于遮挡误匹配区域进行自适应匹配的示意图。

图5示出根据本发明提供的方法进行深度重建的效果示例。

图6示出根据本发明提供的方法进行深度重建和相应的三维点云图的效果示例。

具体实施方式

在附图中，使用相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。为使上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

本发明实施例提供一种基于匹配优化的光场数据深度重建方法，如图1所示，包括以下步骤：

步骤101，基于加权的区域匹配算法建立目标函数，求解优化问题得到初步视差图。

步骤102，建立置信函数并设置第一阈值，根据置信函数及其第一阈值将匹配像素分为准确匹配像素和误匹配像素。

步骤103，根据误差来源设置第二阈值将误匹配像素分为平滑误匹配像素和边缘遮挡误匹配像素。

步骤104，对平滑误匹配像素利用TV方法优化，对边缘遮挡误匹配像素结合梯度图像进行自适应匹配实现优化。

下面分别就本发明的四个步骤进行详细阐述。

(1)基于加权的区域匹配算法建立目标函数，求解优化问题得到初步视差图

图2示出光场中视差与深度的关系示意图。其中，A为实际场景中物体上的点(简称物点)，(u,v)平面为视点(viewpoint)平面，其中点u₁和u₂为视点，Δu为视点位移；A′为物点A对应的像点，s为物点A在视点u₁和u₂下在(x,y)平面上的视差。从图2中可以推导出A点的视差s和视点位移Δu的关系：

$\frac{s}{\mathrm{\Δ}u}=\frac{F}{d^{\′}}-1$

由该式可知，若物点固定,F和d′不变，则物点的视差正比于视点位移。由上式和高斯成像公式可得到场景的深度函数d(x,y)，

$d(x,y)=\frac{f\·F\·\mathrm{\Δ}u}{F\·\mathrm{\Δ}u-f\left(s\right(x,y)+\mathrm{\Δ}u)}$

在四维光场L(x,y,u,v)中，令s(x,y)为相邻视点的视差图。考虑所有视点建立视差s(x,y)的目标函数：

$E\left(s\right)=\underset{u_i,v_j}{\Σ}\left|\right|L(x+{\mathrm{\Δu}}_{i}s,y+{\mathrm{\Δv}}_{j}s,u_i,v_j)-L(x,y,u_0,v_0)\left|\right|$

其中，Δu_i＝u_i-u₀，Δv_j＝v_j-v₀，L(x,y,u₀,v₀)为参考图像。

本发明中，使用加权区域代替单像素来提高匹配结果的鲁棒性，以目标像素为中心的加权区域作为匹配基元。基于加权的区域匹配算法，视差s(x,y)的目标函数为：

$\hat{E}\left(s\right)=\underset{u_i,v_j}{\Σ}\underset{x^{\′},y^{\′}\∈W}{\Σ}h(x^{\′},y^{\′})\left|\right|L(x^{\′}+{\mathrm{\Δu}}_{i}s,y^{\′}+{\mathrm{\Δv}}_{j}s,u_i,v_j)-L(x^{\′},y^{\′},u_0,v_0)\left|\right|$

其中，W为像素(x,y)的加权区域，h(x′,y′)为权重系数。

h应具有中心对称结构，对于一个选定的参考模板，当其对应的物体面元的深度均匀变化时，随着像素到模板中心点的距离增大，因为其视差变化造成的匹配误差也同样增大。例如在5×5窗口下对h的选取为

$H=\left[\begin{array}{ccccc}1& 1& 2& 1& 1\\ 1& 2& 4& 2& 1\\ 2& 4& 8& 4& 2\\ 1& 2& 4& 2& 1\\ 1& 1& 2& 1& 1\end{array}\right],h=\frac{H}{\left|H\right|}$

视差计算问题被转化为目标优化问题。求解优化问题可得到初步视差图s(x,y)：

$s(x,y)=\mathrm{argmin}\left(\hat{E}\right(s\left(x,y\right)\left)\right).$

(2)建立置信函数，并设置第一阈值，根据置信函数和第一阈值将匹配像素分为准确匹配像素和误匹配像素

图3a示出示例图片的中心视图，图3b为根据上述s(x,y)得到的初步视差图像。由图3(b)可以看出，初步视差图在平滑区域和边缘遮挡区域存在误匹配现象。由于平滑区域像素值分布是光滑函数，容易发生误匹配。边缘遮挡区域在有些视点下遮挡，同样容易发生误匹配。

为了区分误匹配像素，本发明中建立关于视差的置信函数来刻画区域匹配结果的置信度。

误匹配发生的原因是在平滑区域和边缘遮挡区域目标函数非常接近，本发明实施例中，建立视差图s(x,y)的置信函数如下：

$Conf(x,y)=\frac{D\left(\hat{E}\right(s)>\mathrm{\λ}\hat{E}\left(s\right(x,y)\left)\right)}{D(x,y)}$

其中，D(x,y)为(x,y)对应匹配基元的像素个数，为匹配基元内满足约束条件的像素个数，λ为调整参数。

在具体实施中，参数λ需根据光场场景调整。在图3的例子中，调整参数λ＝1.5。

对置信函数设立阈值(为便于与下文的阈值区分，称为第一阈值)，区分准确匹配像素和误匹配像素。例如，对置信函数设置阈值τ₁，将视差图s(x,y)分为准确匹配区域和误匹配区域。

(3)对误匹配像素的目标函数设置阈值，将误匹配像素分为平滑误匹配像素和边缘遮挡误匹配像素

进一步对误匹配像素的目标函数设立阈值(为便于与上文的阈值区分，称为第二阈值)，将误匹配像素分成平滑误匹配和边缘遮挡误匹配。对平滑误匹配的像素进行平滑处理，对遮挡像素进行自适应匹配改进匹配精度。

在平滑区域相对较小，在遮挡区域相对较大。对设置阈值τ₂，可将误匹配区域分为平滑区域和遮挡区域。

整体上对于准确匹配像素和误匹配像素、平滑误匹配像素和边缘遮挡误匹配像素的区分如下式所示：

其中，0为准确匹配区域，1为平滑区域，2为遮挡区域。

在具体实施中，阈值需根据光场场景调整。在图3的例子中，阈值选取为:τ₁＝0.9,τ₂＝500。

(4)优化误匹配像素

对平滑误匹配区域进行平滑处理，对遮挡误匹配区域结合梯度图像进行自适应匹配改进匹配精度。

对于平滑误匹配区域，采用TV-L1模型进行优化：

$s^{*}=\underset{\mathrm{\μ}}{\arg \min }\∫\∫|\mathrm{\μ}-s|dxdy+\mathrm{\λ}|\▿\mathrm{\μ}{|}_{L1}$

其中，为μ的TV-L1范数。

对于遮挡误匹配区域，自适应地筛选出可用于遮挡区域深度计算的视点，由筛选后的视点图像获取视差。遮挡误匹配产生的原因是匹配区域中的像素对应的物点在某些视点下被遮挡。本发明提出的解决方法是选取特定的包含该像素的参考模板区域，使得该区域内的像素对应的物点在一部分视点下全部可见。选取这些全部可见的视点图像进行自适应匹配，有效地抑制遮挡造成的误匹配。

自适应筛选遮挡区域的过程，分为三个步骤提高匹配精度，如图4所示(图4a为视点阵列，图4b为像素阵列)。

第一步，将所有视点分为左上、左下、右上、右下四组视点，每组视点均包含中心视点。如图4a所示，视点阵列为9×9阵列，中心处的大圆点表示中心视点，每组视点阵列为5×5。对于边缘遮挡区域，当目标像素对应的物体在中心视点处是不被遮挡的，则在四组视点中，目标像素必在其中一组视点下均不被遮挡。

第二步，选取含目标像素的不同区域作为匹配区域。如图4b所示，匹配基元大小为5×5，中心处的大方块表示目标像素。根据目标像素在窗口中的不同位置，共有25种匹配区域。

第三步，选取目标像素不被遮挡的视点组，考虑所有匹配区域，计算目标函数选取出最优值为目标像素的视差。在图4所示中，每组视点组合需计算25个匹配区域对应的

此外，本发明充分利用遮挡区域的边缘轮廓信息，利用梯度图像对对于遮挡误匹配区域的视差计算进行优化。选取的优化函数为

${\mathrm{\μ}}_{x,y}=\frac{\underset{x^{\′},y^{\′}}{\Σ}{C}_{x^{\′},y^{\′}}{g}_{x^{\′},y^{\′}}{\hat{s}}_{x^{\′},y^{\′}}}{\underset{x^{\′},y^{\′}}{\Σ}{C}_{x^{\′},y^{\′}}{g}_{x^{\′},y^{\′}}}$

其中，g是关于梯度的递减函数，定义为

$g_{x^{\′},y^{\′}}=\frac{1}{\sqrt{G_{x^{\′},y^{\′}}^2+{\mathrm{\ϵ}}^2}}$

G_x′,y′为中心视图在(x′,y′)处的梯度，在具体实施中梯度算子的选取有多种选择。

图3c是经过优化误匹配像素后的图像。可以看出，其图像效果明显优于图3b。

图5示出根据本发明提供的方法进行深度重建的效果示例，其中(a)为中心视图，(b)为准确深度图，(c)为重建的深度图。图6示出根据本发明提供的方法进行深度重建和相应的三维点云图的效果示例，其中(a)为中心视图，(b)为重建的深度图，(c)为三维点云图。其中，在图5和图6的示例中，梯度算子均为Sobel算子。

最后需要指出的是：以上实施例仅用以说明本发明的技术方案，而非对其限制。本领域的普通技术人员应当理解：可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (7)

1.一种基于匹配优化的光场数据深度重建方法，其特征在于，包括：

在四维光场中基于加权的区域匹配算法建立视差的目标函数，求解所述目标函数得到初步视差图；

建立置信函数，根据所述置信函数的取值将所述初步视差图中的匹配像素分为准确匹配像素和误匹配像素；

对所述目标函数设置阈值，根据所述阈值将所述误匹配像素分为平滑误匹配像素和边缘遮挡误匹配像素；以及

对所述平滑误匹配像素进行平滑处理，对所述遮挡误匹配像素结合梯度图进行自适应匹配，以便优化所述视差图，并根据优化后的视差图输出场景深度。

2.如权利要求1所述的基于匹配优化的光场数据深度重建方法，其特征在于，设四维光场中第一平面为视点平面，物点处的光线经过第一平面后通过像点然后到达第二平面，

在四维光场中基于加权的区域匹配算法建立视差的目标函数包括：

根据所述四维光场中视差与深度的关系得到视差和视点位移的关系：

$\frac{s}{\mathrm{\Δ}u}=\frac{F}{d^{\′}}-1---\left(1\right)$

s为视差，Δu为视点位移，F为第一平面和第二平面之间的距离，d′为第一平面到像点的距离；

根据式(1)结合高斯公式得到场景的深度函数d(x,y)：

$d(x,y)=\frac{f\·F\·\mathrm{\Δ}u}{F\·\mathrm{\Δ}u-f\left(S\right(x,y)+\mathrm{\Δ}u)}---\left(2\right)$

令s(x,y)为相邻视点的视差图，则考虑所有视点得到视差s(x,y)的目标函数：

$E\left(s\right)=\underset{u_i,v_j}{\Σ}\left|\right|L(x+{\mathrm{\Δu}}_{i}s,y+{\mathrm{\Δv}}_{j}s,u_i,v_j)-L(x,y,u_0,v_0)\left|\right|---\left(3\right)$

其中，Δu_i＝u_i-u₀，Δv_j＝v_j-v₀，L(x,y,u₀,v₀)为参考图像，

使用加权区域代替单像素，并以目标像素为中心的加权区域作为匹配基元，得到基于加权的区域匹配算法建立的视差的目标函数：

$\hat{E}\left(s\right)=\underset{u_i,v_j}{\Σ}\underset{x^{\′},y^{\′}\∈W}{\Σ}h(x^{\′},y^{\′})\left|\right|L(x^{\′}+{\mathrm{\Δu}}_{i}s,y^{\′}+{\mathrm{\Δv}}_{j}s,u_i,v_j)-L(x^{\′},y^{\′},u_0,v_0)\left|\right|---\left(4\right),$

其中，W为像素(x,y)的加权区域，h(x′,y′)为权重系数。

3.如权利要求2所述的基于匹配优化的光场数据深度重建方法，其特征在于，求解所述目标函数得到初步视差图包括：

所述h具有中心对称结构，对公式(4)求解优化问题得到初步视差图s(x,y)：

4.如权利要求1所述的基于匹配优化的光场数据深度重建方法，其特征在于，建立视差图的置信函数如下：

$Conf(x,y)=\frac{D\left(\hat{E}\right(s)>\mathrm{\λ}\hat{E}(s\left(x,y\right)\left)\right)}{D(x,y)}$

其中，(x,y)为第二平面上的坐标，D(x,y)为(x,y)对应匹配基元的像素个数，为匹配基元内满足约束条件的像素个数，λ为调整参数；

根据所述置信函数的将所述初步视差图中的匹配像素分为准确匹配像素和误匹配像素包括：设置置信函数Conf(x,y)的阈值τ₁，当置信函数Conf(x,y)的值小于τ₁时，则(x,y)的像素为准确匹配像素，否则为误匹配像素。

5.如权利要求4所述的基于匹配优化的光场数据深度重建方法，其特征在于，对所述误匹配像素的目标函数设置阈值，根据所述阈值将所述误匹配像素分为平滑误匹配像素和边缘遮挡误匹配像素包括：

对设置阈值τ₂，当的值小于τ₂时，(x,y)的像素为平滑误匹配像素，否则为边缘遮挡误匹配像素。

6.如权利要求1所述的基于匹配优化的光场数据深度重建方法，其特征在于，对所述平滑误匹配像素进行平滑处理包括：

采用TV-L1模型优化所述平滑误匹配像素。

7.如权利要求1所述的基于匹配优化的光场数据深度重建方法，其特征在于，对所述遮挡误匹配像素，结合梯度图进行自适应匹配包括：

利用梯度图像对所述遮挡误匹配像素进行自适应匹配。