CN104598744A - 一种基于光场的深度估计方法 - Google Patents

Abstract

本发明公开了一种基于光场的深度估计方法，其能够解决初始深度可靠性问题、能量优化过平滑问题。包括步骤：(1)初始深度估计；(2)检测可计算像素；(3)基于水平和垂直方向光场的深度计算；(4)深度信息融合；(5)深度信息传播；(6)重复步骤(3)-(5)，直到当前分辨率的EPI上所有M_e值为1的置信像素都得到计算或在传播中得到深度值；(7)将低分辨率下计算得到的深度值逐层复制到高分辨率图像，直到最高分辨率图像中所有像素都有深度值。

Description

一种基于光场的深度估计方法

技术领域

本发明属于多媒体技术与计算机图形学的技术领域，具体地涉及一种基于光场的深度估计方法。

背景技术

光场的概念最早出现在计算机图形学中，Gershun在其经典文章“三维空间光的无线电特性”里正式使用“光场”这个术语，用以描述光在三维空间中的辐射传输特性。光场描述空间中任意点在给定方向上的辐射度，是一个五维函数I(x,y,z,θ,φ)，其中(x,y,z)描述点的位置，(θ,φ)描述当前光辐射度值对应的光线方向。光场的优势在于其绘制时间独立于场景复杂度，可以表现任意光照效果，并且可以针对场景独立获取。如果只考虑光线在空间中的自由传输，它的颜色(波长)一般不会发生改变，所以在某一时刻的自由空间光线可由五维函数I(x,y,z,θ,φ)来描述。Levoy和Hanraham忽略光线在传输过程中的衰减将五维的全光函数(光场)降至四维，提出了四维光场的概念。

四维光场利用两个相互平行的平面进行参数化表示，即穿过像面(u,v,)和视点面(s,t)的一条直线描述三维场景中某个物理点发出的光线的方向，相应地光辐射度是这条直线的函数。普通相机所拍摄的二维图像可以认为是光场的一个二维切片，它包含了投影到当前像素位置的物理点发射光线的强度及方向信息，因此物理点的位置信息可以基于光场估计得到。已有的基于光场估计深度信息的方法主要基于能量优化函数估计，通常将深度分为多个等级，将对应最小能量值的深度等级作为估计深度值，这种基于深度等级估计深度值的方法往往会造成深度过平滑问题。

发明内容

本发明的技术解决问题是：克服现有技术的不足，提供一种基于光场的深度估计方法，其能够解决初始深度可靠性问题、能量优化过平滑问题。

本发明的技术解决方案是：这种基于光场的深度估计方法，包括以下步骤：

(1)初始深度估计：通过公式(3)、(4)计算得到视差的初值d₀：

d₀＝J_xx-J_yy            (3)

$J=\left[\begin{array}{c}{G}_{\mathrm{\σ}}*\left(S_x{S}_x\right)G_{\mathrm{\σ}}*\left(S_x{S}_y\right)\\ G_{\mathrm{\σ}}*\left(S_x{S}_y\right)G_{\mathrm{\σ}}*\left(S_y{S}_y\right)\end{array}\right]=\left[\begin{array}{c}{J}_{\mathrm{xx}}{J}_{\mathrm{xy}}\\ J_{\mathrm{xy}}{J}_{\mathrm{yy}}\end{array}\right]---\left(4\right)$

其中G_σ是尺度为σ的高斯平滑算子，S_x、S_y为是尺度为ρ的梯度算子；

(2)检测可计算像素：

边缘置信系数C_e通过公式(5)获得：

$C_e(x,s)=\underset{(x^{\′},s)\∈N(x,s)}{\mathrm{\Σ}}{\left|\right|E(x,s)-E(x^{\′},s)\left|\right|}^2---\left(5\right)$

其中N(x,s)是像素(x,s)的一维邻域像素集合，E(u,s)表示像素(x,s)的光线辐射值，所有系数C_e大构成一个二值模板M_e，C_e于阈值大于0.02则模板对应位置取值1，否则取值0，其中值为1表示对应像素进行深度估计运算；

(3)基于水平和垂直方向光场的深度计算：通过公式(11)获得EPI面上像素和(y,t^*)

$\begin{array}{c}D(x^{\&prime;\&prime;},\hat{s})=\mathrm{Medium}\left\{D(x^{\&prime;},y^{\&prime;})\right|(x^{\&prime;},y^{\&prime;})\&Element;W(x^{\&prime;\&prime;},y,\hat{s},t^{*}),\\ \left|\right|E(x^{\&prime;},y^{\&prime;})-E(x^{\&prime;\&prime;},\hat{s})\left|\right|<\mathrm{\&epsiv;},\\ M_e(x^{\&prime;},y^{\&prime;})=1\}\end{array}---\left(11\right)$

其中(x′,y′)为视点下像素7*7邻域窗口上的像素，D(x′,y′)为其对应的深度值，E(x′,y′)是它的光线辐射值，M_e(x′,y′)是其对应二值模版值；

(4)深度信息融合：通过公式(14)获得最终深度值

$d(x,y)=\frac{C_{d_t}(x,s)}{C_{d_t}(x,s)+C_{d_s}(y,t)}{d}_t+\frac{C_{d_s}(y,t)}{C_{d_t}(x,s)+C_{d_s}(y,t)}{d}_s---\left(14\right)$

其中是水平3D光场下深度d_t对应的可信评分系数，是垂直3D光场下深度d_s对应的可信评分系数；

(5)深度信息传播：

将最终深度值d(x,y)保存在线段元组其中m＝1/d,表示公式(9)所求的(x,y)辐射均值，对经过像素点(x,y)且斜率为m的线段上的点(x′,s′)，判断是否成立，ε为指定的相似程度，对使得上式成立的像素(x′,s′)赋以深度值d

$\frac{{\mathrm{\&Sigma;}}_{r\&Element;R(x^{\&prime;\&prime;},d)}K(r-\stackrel{\&OverBar;}{r})r}{{\mathrm{\&Sigma;}}_{r\&Element;R(x^{\&prime;\&prime;},d)}K(r-\stackrel{\&OverBar;}{r})}\&RightArrow;\stackrel{\&OverBar;}{r}---\left(9\right)$

其中R(x″,d)如公式(6)所示为像素(x″,s)的光线颜色值集合，通过改进的mean-shift算法求得作为像素(x″,s)的光线辐射值；

(6)重复步骤(3)-(5)，直到当前分辨率的EPI上所有M_e值为1的置信像素都得到计算或在传播中得到深度值；

(7)将低分辨率下计算得到的深度值逐层复制到高分辨率图像，直到最高分辨率图像中所有像素都有深度值。

本发明通过初始深度估计、检测可计算像素、计算水平和垂直方向光场的深度、深度信息融合、深度信息传播、深度信息逐层复制，最终得到深度信息，从而能够解决初始深度可靠性问题、能量优化过平滑问题。

附图说明

图1是4D光场的示意图。

图2a示出了光场图像集；图2b示出了水平3D光场；图2c示出了水平EPI。

图3是根据本发明的基于光场的深度估计方法的流程图。

具体实施方式

如图3所示，这种基于光场的深度估计方法，包括以下步骤：

(1)初始深度估计：通过公式(3)、(4)计算得到视差的初值d₀：

d₀＝J_xx-J_yy               (3)

$J=\left[\begin{array}{c}{G}_{\mathrm{\&sigma;}}*\left(S_x{S}_x\right)G_{\mathrm{\&sigma;}}*\left(S_x{S}_y\right)\\ G_{\mathrm{\&sigma;}}*\left(S_x{S}_y\right)G_{\mathrm{\&sigma;}}*\left(S_y{S}_y\right)\end{array}\right]=\left[\begin{array}{c}{J}_{\mathrm{xx}}{J}_{\mathrm{xy}}\\ J_{\mathrm{xy}}{J}_{\mathrm{yy}}\end{array}\right]---\left(4\right)$

其中G_σ是尺度为σ的高斯平滑算子，S_x、S_y为是尺度为ρ的梯度算子；

(2)检测可计算像素：

边缘置信系数C_e通过公式(5)获得：

$C_e(x,s)=\underset{(x^{\&prime;},s)\&Element;N(x,s)}{\mathrm{\&Sigma;}}{\left|\right|E(x,s)-E(x^{\&prime;},s)\left|\right|}^2---\left(5\right)$

其中N(x,s)是像素(x,s)的一维邻域像素集合，E(u,s)表示像素(x,s)的光线辐射值，所有系数C_e大构成一个二值模板M_e，C_e于阈值大于0.02则模板对应位置取值1，否则取值0，其中值为1表示对应像素进行深度估计运算；

(3)基于水平和垂直方向光场的深度计算：通过公式(11)获得EPI面上像素和(y，t^*)

$\begin{array}{c}D(x^{\&prime;\&prime;},\hat{s})=\mathrm{Medium}\left\{D(x^{\&prime;},y^{\&prime;})\right|(x^{\&prime;},y^{\&prime;})\&Element;W(x^{\&prime;\&prime;},y,\hat{s},t^{*}),\\ \left|\right|E(x^{\&prime;},y^{\&prime;})-E(x^{\&prime;\&prime;},\hat{s})\left|\right|<\mathrm{\&epsiv;},\\ M_e(x^{\&prime;},y^{\&prime;})=1\}\end{array}---\left(11\right)$

其中(x′,y′)为视点下像素7*7邻域窗口上的像素，D(x′,y′)为其对应的深度值，E(x′,y′)是它的光线辐射值，M_e(x′,y′)是其对应二值模版值；

(4)深度信息融合：通过公式(14)获得最终深度值

$d(x,y)=\frac{C_{d_t}(x,s)}{C_{d_t}(x,s)+C_{d_s}(y,t)}{d}_t+\frac{C_{d_s}(y,t)}{C_{d_t}(x,s)+C_{d_s}(y,t)}{d}_s---\left(14\right)$

其中是水平3D光场下深度d_t对应的可信评分系数，是垂直3D光场下深度d_s对应的可信评分系数；

(5)深度信息传播：

将最终深度值d(x,y)保存在线段元组其中m＝1/d,表示公式(9)所求的(x,y)辐射均值，对经过像素点(x,y)且斜率为m的线段上的点(x′,s′)，判断是否成立，ε为指定的相似程度，对使得上式成立的像素(x′,s′)赋以深度值d

$\frac{{\mathrm{\&Sigma;}}_{r\&Element;R(x^{\&prime;\&prime;},d)}K(r-\stackrel{\&OverBar;}{r})r}{{\mathrm{\&Sigma;}}_{r\&Element;R(x^{\&prime;\&prime;},d)}K(r-\stackrel{\&OverBar;}{r})}\&RightArrow;\stackrel{\&OverBar;}{r}---\left(9\right)$

其中R(x″,d)如公式(6)所示为像素(x″,s)的光线颜色值集合，通过改进的mean-shift算法求得作为像素(x″,s)的光线辐射值；

(6)重复步骤(3)-(5)，直到当前分辨率的EPI上所有M_e值为1的置信像素都得到计算或在传播中得到深度值；

(7)将低分辨率下计算得到的深度值逐层复制到高分辨率图像，直到最高分辨率图像中所有像素都有深度值。

本发明通过初始深度估计、检测可计算像素、计算水平和垂直方向光场的深度、深度信息融合、深度信息传播、深度信息逐层复制，最终得到深度信息，从而能够解决初始深度可靠性问题、能量优化过平滑问题。

优选地，所述步骤(7)中对于未获得最终深度值的像素，搜索其所在扫描线上与该像素相邻最近的可靠深度值作为上下限，然后下采样原图像，并用5x5的高斯滤波做平滑处理避免失真。

优选地，所述步骤(7)中高斯滤波σ²＝0.5。

优选地，针对新的空间分辨率图像，重复步骤(2)-(6)，直到图像小于10x10时赋予其公式(14)计算的深度值。

以下具体说明本发明：

本发明所提出的光场深度估计方法利用结构张量预置初始深度,避免了基于能量优化方法的深度计算中的过平滑现象。本发明主要分为以下步骤：

光场记录空间中一个点在各个方向上的光线辐射度，是一个五维函数I(x,y,z,θ,φ)，其中(x,y,z)描述点的位置，(θ,φ)描述当前光辐射度值对应的光线方向。在假定光线传播区域无遮挡的前提下，Leovy和Hanrahan等人给出了光场的四维表示模型L(u,v,s,t),即三维场景中某个物理点发出的光线可以用穿过空间两个平行面即视点面Π(s,t)和像面Ω(x,y)的一条直线描述，如图1所示。

其中，视点面Π包含视点信息，像面Ω包含辐射度信息，一个4D光场可以描述为：

L:Π(s,t)*Ω(x,y)(x,y,s,t)→L(x,y,s,t)  (1)

普通相机拍摄的二维图像是光场的一个二维切片，可以理解成密集的光线R_x,y,s,t穿过视点面Π(s,t)和像面Ω(x,y)在像面的投影。将在一组水平视点{(s₁,t^*),(s₂,t^*),(s₃,t^*),……(s_n,t^*)}下获取的图像(图2a)按照视点顺序顺次叠放在一起构成3D光场(如图2b所示)，3D光场的水平横切面构成一个极平面图像(EPI)(图2c)。EPI面可参数化为p(x,s)，其中x为像平面的水平分辨率，s为视点面水平方向的视点个数。类似地，在垂直视点方向也可获得EPI。

1、初始深度估计

由于任意空间场景点在不同视点下的投影对应EPI上的一条线段，因此该场景点的深度计算公式为：

$m=\frac{1}{d}=\frac{z}{\mathrm{fb}}---\left(2\right)$

其中d为视差，m为EPI上线段的斜率，f为相机焦距，b为相邻相机间距，z为所求深度，也就是说利用EPI求得视差就可以计算点的深度为叙述方便，后续内容中视差d即视为深度值。

视差的初值利用式(3)计算得到：

d₀＝J_xx-J_yy                 (3)

其中，J_xx和J_yy利用式(4)定义的结构张量获得：

$J=\left[\begin{array}{c}{G}_{\mathrm{\&sigma;}}*\left(S_x{S}_x\right)G_{\mathrm{\&sigma;}}*\left(S_x{S}_y\right)\\ G_{\mathrm{\&sigma;}}*\left(S_x{S}_y\right)G_{\mathrm{\&sigma;}}*\left(S_y{S}_y\right)\end{array}\right]=\left[\begin{array}{c}{J}_{\mathrm{xx}}{J}_{\mathrm{xy}}\\ J_{\mathrm{xy}}{J}_{\mathrm{yy}}\end{array}\right]---\left(4\right)$

G_σ是尺度为σ的高斯平滑算子，S_x、S_y为是尺度为ρ的梯度算子。

2、检测可计算像素

定义边缘置信系数C_e如式(5)：

$C_e(x,s)=\underset{(x^{\&prime;},s)\&Element;N(x,s)}{\mathrm{\&Sigma;}}{\left|\right|E(x,s)-E(x^{\&prime;},s)\left|\right|}^2---\left(5\right)$

其中N(x,s)是像素(x,s)的一维邻域像素集合，E(u,s)表示像素(x,s)的光线辐射值。所有系数C_e大构成一个二值模板M_e，C_e于阈值大于0.02则模板对应位置取值1，否则取值0，其中值为1表示对应像素可以进行深度估计运算。

3、基于水平/垂直方向光场的深度计算

对EPI中参数为的扫描线逐点计算C_e值得到模板选择中值为1的像素进行深度计算，像素的光线颜色值集合R表示如下：

$R(x^{\&prime;\&prime;},d)=\left\{E(x^{\&prime;\&prime;}+(\hat{s}-s)d,s)\right|s=1,...,n\}---\left(6\right)$

其中n为3 D光场水平方向视点个数，R(x″,d)为辐射度值。

定义S(x″,d)作为深度打分函数如式(7)：

$S(x^{\&prime;\&prime;},d)=\frac{1}{\left|R(x^{\&prime;\&prime;},d)\right|}\underset{r\&Element;R(x^{\&prime;\&prime;},d)}{\mathrm{\&Sigma;}}K(r-\stackrel{\&OverBar;}{r})---\left(7\right)$

其中核函数K(w)如公式(8)定义：

$K\left(w\right)=\left\{\begin{array}{cc}1-{\left|\right|w/h\left|\right|}^2& \left(\right||w/h||\&le;0)\\ 0& \mathrm{otherwise}\end{array}\right.---\left(8\right)$

其中的计算如公式(9)，核函数带宽h为0.02是利用mean-shift算法迭代计算得到的，一般迭代数次(本文为10次)即可。

$\frac{{\mathrm{\&Sigma;}}_{r\&Element;R(x^{\&prime;\&prime;},d)}K(r-\stackrel{\&OverBar;}{r})r}{{\mathrm{\&Sigma;}}_{r\&Element;R(x^{\&prime;\&prime;},d)}K(r-\stackrel{\&OverBar;}{r})}\&RightArrow;\stackrel{\&OverBar;}{r}---\left(9\right)$

针对参数为的扫描线上每个可信像素计算其在原图像的11*11邻域W是以像素为中心的11*11像素方阵，应用公式(3)计算该像素视差的可能取值区间，对区间内的每个d计算相应打分函数值S(x″,d)，其中打分函数值最高的d值作为像素的深度估计：

$D(x^{\&prime;\&prime;},\hat{s})=\underset{d}{\arg \max }S(x^{\&prime;\&prime;},d)---\left(10\right)$

对每个可信像素计算其与邻域中其它可信像素(x′,y′)的颜色值差，将颜色差值小于指定阈值ε的可信像素深度值排序，取该序列的中值作为深度估计

$\begin{array}{c}D(x^{\&prime;\&prime;},\hat{s})=\mathrm{Medium}\left\{D(x^{\&prime;},y^{\&prime;})\right|(x^{\&prime;},y^{\&prime;})\&Element;W(x^{\&prime;\&prime;},y,\hat{s},t^{*}),\\ \left|\right|E(x^{\&prime;},y^{\&prime;})-E(x^{\&prime;\&prime;},\hat{s})\left|\right|<\mathrm{\&epsiv;},\\ M_e(x^{\&prime;},y^{\&prime;})=1\}\end{array}---\left(11\right)$

条件只考虑辐射度值比较接近的像素点，以减少噪声和离群值带来的影响。

4、深度信息融合

基于步骤3可以利用水平(或垂直)3D光场计算得到EPI面上像素(或(y,t^*))的深度估计值d_t和d_s。

对水平3D光场中计算的深度定义深度可信评分系数

$C_{d_t}(x,\hat{s})=C_e(x,\hat{s})\left|\right|S_{\max }^t-\stackrel{\&OverBar;}{S^t}\left|\right|---\left(12\right)$

其中 $S_{\max }^t={\max }_{d}S(x,d),$ 平均打分值 ${\stackrel{\&OverBar;}{S}}^t={\mathrm{\&Sigma;}}_{d}S(x,d).$

类似地，对垂直3D光场上计算得到的深度值定义可信评分系数

$C_{d_s}(y,t^{*})=C_e(y,t^{*})\left|\right|S_{\max }-\stackrel{\&OverBar;}{S}\left|\right|---\left(13\right)$

其中 $S_{\max }^s={\max }_{d}S(y,d),$ 平均打分值 ${\stackrel{\&OverBar;}{S}}^s={\mathrm{\&Sigma;}}_{d}S(x,d).$

如果像素(x,y)的评分系数满足且则该像素获得最终深度值，记为可信估计，最终深度值由公式(14)计算：

$d(x,y)=\frac{C_{d_t}(x,s)}{C_{d_t}(x,s)+C_{d_s}(y,t)}{d}_t+\frac{C_{d_s}(y,t)}{C_{d_t}(x,s)+C_{d_s}(y,t)}{d}_s---\left(14\right)$

5、深度信息传播

将最终深度值d(x,y)保存在线段元组其中m＝1/d,表示公式(9)所求的(x,y)辐射均值。对经过像素点(x,y)且斜率为m的线段上的点(x′,s′)，判断(ε为指定的相似程度)是否成立，对使得上式成立的像素(x′,s′)赋以深度值d。

重复步骤3-4直到当前分辨率的EPI上所有M_e值为1的置信像素都得到计算或在传播中得到深度值。

6、最终深度值

对于未获得最终深度值的像素，搜索其所在扫描线上与该像素相邻最近的可靠深度值作为上下限。然后下采样原图像，并用5x5的高斯滤波(σ²＝0.5)做平滑处理避免失真。针对新的空间分辨率图像重复步骤2-5，直到图像小于10x10时直接赋予其公式(14)计算的深度值。

将低分辨率下计算得到的深度值逐层复制到高分辨率图像，直到最高分辨率图像中所有像素都有深度值。

本发明对上述方法进行了实验验证，并取得了明显的效果。在实验中，所需光场数据为4D HCI light field data，数据为多幅9x9x768x768(9x9的多视角相机矩阵数据集，每张图像大小为768x768，根据以上计算流程得到较好的结果。

以上所述，仅是本发明的较佳实施例，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属本发明技术方案的保护范围。

Claims (4)

1.一种基于光场的深度估计方法，其特征在于，包括以下步骤：

(1)初始深度估计：通过公式(3)、(4)计算得到视差的初值d₀：

d₀＝J_xx-J_yy   (3)

其中G_σ是尺度为σ的高斯平滑算子，S_x、S_y为是尺度为ρ的梯度算子；

(2)检测可计算像素：

边缘置信系数C_e通过公式(5)获得：

其中N(x,s)是像素(x,s)的一维邻域像素集合，E(u,s)表示像素(x,s)的光线辐射值，所有系数C_e大构成一个二值模板M_e，C_e于阈值大于0.02则模板对应位置取值1，否则取值0，其中值为1表示对应像素进行深度估计运算；

(3)基于水平和垂直方向光场的深度计算：通过公式(11)获得EPI面上像素和(y,t^*)的最终深度值

其中(x′,y′)为视点下像素7*7邻域窗口上的像素，D(x′,y′)为其对应的深度值，E(x′,y′)是它的光线辐射值，M_e(x′,y′)是其对应二值模版值；

(4)深度信息融合：通过公式(14)获得最终深度值

其中是水平3D光场下深度d_t对应的可信评分系数，是垂直3D光场下深度d_s对应的可信评分系数；

(5)深度信息传播：

将最终深度值d(x,y)保存在线段元组其中m＝1/d,表示公式(9)所求的(x,y)辐射均值，对经过像素点(x,y)且斜率为m的线段上的点(x′,s′)，判断是否成立，ε为指定的相似程度，对使得上式成立的像素(x′,s′)赋以深度值d

其中R(x″,d)如公式(6)所示为像素(x″,s)的光线颜色值集合，通过改进的mean-shift算法求得作为像素(x″,s)的光线辐射值；

(6)重复步骤(3)-(5)，直到当前分辨率的EPI上所有M_e值为1的置信像素都得到计算或在传播中得到深度值；

(7)将低分辨率下计算得到的深度值逐层复制到高分辨率图像，直到最高分辨率图像中所有像素都有深度值。

2.根据权利要求1所述的基于光场的深度估计方法，其特征在于，所述步骤(7)中对于未获得最终深度值的像素，搜索其所在扫描线上与该像素相邻最近的可靠深度值作为上下限，然后下采样原图像，并用5x5的高斯滤波做平滑处理避免失真。

3.根据权利要求2所述的基于光场的深度估计方法，其特征在于，所述步骤(7)中高斯滤波σ²＝0.5。

4.根据权利要求3所述的基于光场的深度估计方法，其特征在于，针对新的空间分辨率图像，重复步骤(2)-(6)，直到图像小于10x10时赋予其公式(14)计算的深度值。