CN103927717A - 基于改进型双边滤波的深度图像恢复方法 - Google Patents

Abstract

本发明公开了一种基于改进型双边滤波的深度图像恢复方法，该方法先使用局部自适应双边滤波对原始深度图像进行平滑去噪，然后对深度图像中的错误深度像素进行校正，最后结合于深度图像对应的RGB图像，采用选择性联合双边滤波对深度图像进行空洞填充，最终恢复的深度图像中的噪音得到了有效地抑制，错误深度像素得到了有效地校正，并且有清晰的深度边界。本发明能有效地抑制深度图中的局部不均匀噪音和填充深度图像中的空洞，同时能使得恢复后的深度图像中的边缘清晰整齐，有利于后续的诸如三维场景识别和重建等处理。

Description

基于改进型双边滤波的深度图像恢复方法

技术领域

本发明涉及图像处理技术领域，特别涉及RGB-D图像，即与之对应的RGB图像的深度图像恢复方法。

背景技术

随着新的深度测量技术的诞生，获得场景深度图像已经变得非常容易，且测量装置也很便宜，并可同时获得与深度图像相对应的场景的RGB图像，与深度图像合起来被称作RGB-D图像。然而这类装置由于测量原理简单，因此得到的深度图像质量也存在问题，主要包括：局部不均匀噪音，空洞现象和错误深度像素。目前对这类装置获得的深度图像恢复的方法主要包括两大类：(1)只利用深度图像信息进行恢复，(2)结合深度图像和与之对应的RGB图像信息进行的恢复，这两大类方法又可以根据只使用当前帧信息和使用多帧信息两种情况各分为两类。

下面对现有的部分RGB-D深度图像恢复算法按上述分类方法进行简要介绍。M.Andrew等人与2012年提出(“Enhanced personal autostereoscopic telepresence system usingcommodity depth cameras”)使用两个改进型中值滤波器近利用当前帧深度信息进行深度图像恢复；W.Jakob等人与2011年提出(“Real-time preprocessing for dense3-d rangeimaging on the GPU:defect interpolation,bilateral temporal averaging and guided filtering”)考虑多帧相邻帧深度信息，采用归一化卷积技术和导向滤波器（guided filter）。上述两种方法虽然运算速度很高，但是只使用了深度信息，因此对深度图像恢复效果很有限，只适用于对深度图像质量要求不高的算法，可作为简单预处理算法。Y.Jingyu等人与2012年提出(“Depth recovery using an adaptive color-guided auto-regressive model”)使用能量最小化方法，先对图像中的空洞进行插值填充，然后迭代优化能量函数，达到空洞填充和去噪的效果，该方法使用了当前帧的RGB-D图像信息，其缺陷是恢复后的深度图像边缘很模糊；Massimo Camplani等人与2012年提出(“Accurate depth-color scenemodeling for3d contents generation with low cost depth cameras”)使用多帧RGB-D图像建立场景模型，并用该模型进行深度图像恢复，但是该方法要求图像中的场景为静态的，因此很大程度限制了其应用性。

然而上述方法还有一个共同的缺陷就是没有强调错误深度像素问题和提出很好的解决方法。

发明内容

针对现有技术中的缺陷，本发明目的是提供一种基于改进型双边滤波的深度图像恢复方法，该方法提出了错误深度像素的概念，能有效地抑制深度图中的噪音和填充深度图像中的空洞，同时使得恢复后的深度图像中的深度边缘清晰整齐。

为实现上述目的，本发明提供一种基于改进型双边滤波的深度图像恢复方法，该方法先使用局部自适应双边滤波对原始深度图像进行平滑去噪，然后对深度图像中的错误深度像素进行校正，最终结合于深度图像对应的彩色RGB图像，采用选择性联合双边滤波对深度图像进行空洞填充。最终恢复的深度图像噪音得到了有效地抑制，错误深度像素得到了有效地校正，并且有清晰的深度边界。

本发明具体包括以下步骤：

(1)对原始深度图像进行局部自适应双边滤波，对深度图像中的区域不均匀噪声进行平滑；

(2)对深度图像和与该深度图像相对应的RGB图像分别进行边缘检测，分别得到相应的边缘图像；

(3)然后对深度图像的边缘图像进行形态学膨胀，将膨胀后的边缘图像与RGB图像的边缘图像进行逻辑交运算，得到深度边界图像的初始图像；

(4)再对深度边界图像初始图像中的边界像素进行校正，去掉伪边界的边界像素，最终的到真正深度边界图像的近似图像；

(5)结合校正后的深度边界图像，对平滑后的深度图像中错误深度值像素进行校正；

(6)利用深度图像边缘与RGB图像纹理边缘之间的联系，采用选择性联合双边滤波并结合(4)中得到的校正的深度边界图像，对校正后的深度图像中的空洞进行填充。

与现有技术相比，本发明具有如下收益效果：

本发明不同于背景技术中所有的方法，提出了错误深度像素的概念，并提出了相应的解决方案。同时本发明有效地使用双边滤波的变型——局部自适应双边滤波和选择性联合双边滤波两种滤波器分别对深度图像进行去噪和空洞填充，能有效地恢复深度图像，并且与Y.Jingyu等人的方法(“Depth recovery using an adaptive color-guidedauto-regressive model”)相比，本发明恢复后的深度图像错误深度像素更少，深度边缘清晰。

本发明能有效地抑制深度图中的噪音和填充深度图像中的空洞，同时使得恢复后的深度图像中的深度边缘清晰整齐，有利于后续的诸如三维场景识别和重建等处理。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明一实施例原始深度图像（左）和与之对应的RGB彩色图像（右）；

图2为本发明一实施例原始深度图像的边缘图像（左），深度边界图像初始图像（中）和校正后的深度边界图像（右）；

图3为本发明一实施例原始深度图像的部分方法图（左），该部分中的错误深度像素用粉红色标记（中）和经过错误深度像素校正后的深度图像（右）；

图4为本发明一实施例所恢复的结果（左）和Y.Jingyu等人的方法恢复的结果（右）。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

图1显示了一张深度图像和与之对应的RGB彩色图像，即RGB-D图像，其中深度图像中黑色区域为无深度信息像素点，为深度图像的“空洞”。图3中显示了将图1中深度图像部分放大图（图2左），并将该放大图覆盖到与之对应的彩色图像部分（图2中），可以看出，粉色部分应该属于人体后面的墙，但是其深度值为人体所在位置的深度，这样的像素即为错误深度像素。然而深度图像同时还有区域不均匀噪音，即靠近深度图像边缘部分的深度值有较高的噪音，而远离深度图像边缘部分的深度值的噪音早相对较小，因此对给定的RGB-D图像做如下处理。

(1)采用局部自适应双边滤波对输入深度图像中的噪音进行平滑，得到噪音相对较小的深度图像。

本步骤中：对原始深度图像进行边缘检测得到边缘图像，对边缘图像进行形态学膨胀，对于原始深度图像中被膨胀后的边缘所覆盖的深度图像像素，当平滑这些像素时，其双边滤波的方差设为一常数，对于不在覆盖范围内的，双边滤波的方差设为另一常数，公式如下：

${\hat{D}}_i=\frac{1}{Z_i}\underset{D_j\∈N_i}{\mathrm{\Σ}}{D}_j\·e^{-(a\·\frac{{|D_i-D_j|}^2}{f\left(\mathrm{\θ}\right)}+b\·{|i-j|}^2)}$

其中i,j表示像素坐标，为归一化因子，N_i表示以D_i为中心的w×w的图像块，a,b为常数，f(θ)为局部自适应方差，其定义如下：

θ表示被平滑像素到最近深度边缘的距离，单位为像素，r表示膨胀深度图像边缘图像中圆形基本元素的半径，单位为像素。

本实施例中，上述参数可做如下选择：b＝2a＝2，C₁＝1.3，C₂＝0.8，r＝10～15像素，w＝11～15像素。

(2)分别对RGB图像和平滑后的深度图像进行边缘检测，得到相应的边缘图像；

(3)将原始深度图像的边缘图像进行形态学膨胀后与RGB图像的边缘图像进行二值交运算，得到深度边界图像的初始图像；

(4)对初始图像进行校正以去除该图像中伪深度边界。图2分别显示了原始深度图像的边缘图像（左），深度边界图像的初始图像（中）和校正后的深度边界图像（右）。

本步骤中：校正公式如下：

$g\left(E_i\right)=\mathrm{sgn}\left(\underset{j\∈{\mathrm{\Ω}}_i}{\max }\right|D_j^{\mathrm{\Δ}}|-T_{\mathrm{\Δ}}),i\∈\mathrm{\Λ}$

其中：Λ为深度边界图像初始图像中二值像素值为1的坐标的集合。E_i表示该初始图像中坐标i处的像素。sgn(·)为符号函数，当x＜0时有sgn(x)＝0，当x≥0时有sgn(x)＝1。T_Δ为给定阈值。为经过平滑去噪后深度图像的Laplacian图像在坐标j处的值。Ω_i是平滑后的深度图像中通过坐标i并垂直于在i处的深度边界的长度为[-R,R]的直线段，其中-R和R表示该线段在深度边界两侧。对深度边界图像初始图像中所有E_i(i∈Λ)计算上式，当g(E_i)＝0时表示E_i属于伪深度边界，将E_i去掉，即E_i←0；当g(E_i)＝1时表示E_i属于深度边界，将E_i保留。

上述参数可做如下选择：T_Δ＝0.08，R＝5～10像素。

最终经过上述计算，得到校正的深度边界图像的校正图像，并将该图像作为真正深度边界图像的近似图像。

(5)结合校正后的深度边界图像，对平滑后深度图像中的错误深度像素进行校正。图3显示了部分深度图像（左），并将该图像中的错误深度像素用粉红色标记（中）和校正错误深度像素后的深度图像（右）。

本步骤中：对于步骤(4)中如果g(E_i)＝1时，将对平滑处理后的深度图像中的错误深度像素进一步校正。令则对平滑后的深度图像中Ω_i中的深度像素做如下校正：对所有s∈Ω_i，并且s在i和j之间，令D_s←D_k。其中D_s和D_k是平滑后深度图像中与和所在位置相对应的深度像素的值。

(6)利用深度图像边缘与RGB图像纹理边缘之间的联系，采用选择性联合双边滤波并结合校正的深度边界图像，对校正后的深度图像中的空洞进行填充，最终的到恢复后的深度图像，结果如图4（左）所示。

本步骤中：具体公式如下：

${\hat{D}}_i=\frac{1}{{Z_i}^{\′}}\underset{D_j\∈S{N}_i}{\mathrm{\Σ}}{D}_j\·e^{-(c\·\underset{z\∈C}{\mathrm{\Σ}}{|I_i^z-I_j^z|}^2+d\·{|i-j|}^2)}$

其中i,j表示像素坐标，为归一化因子，c,d为常数，表示与深度图像相对应的彩色图像中位于i,j处像素z通道的像素值z∈{R,G,B}。SN_i表示在以D_i为中心的w×w的图像块中的像素经下述公式选择后的像素的集合：

${\mathrm{SN}}_i=\left\{D_j\right|e^{-{({\tilde{D}}_i-D_j)}^2<T}\}$

其中为深度图像中位置i处的8近邻深度值的均值，T为给定阈值，衡量所选择的D_j与D_i的相似度。

上述参数可做如下选择：d＝2c＝2，T＝0.1～0.15。

将使用本发明方法恢复的深度图像与Y.Jingyu等人的方法恢复的深度图像（图4右）相比，本发明恢复后的深度图像边缘整齐清晰，同时在肘部下方可以看出，本发明恢复的深度图像明显比Y.Jingyu等人的错误深度像素少。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (5)

1.一种基于改进型双边滤波的深度图像恢复方法，其特征在于，所使用的局部自适应双边滤波能有效的抑制深度图像中的区域不均匀噪音，同时结合与深度图像相对应的RGB图像，采用选择性联合双边滤波对深度图像进行空洞填充，并利用深度图像边缘与RGB图像纹理边缘之间的联系，使得恢复后的深度图像边缘清晰整齐；

所述方法具体包括如下步骤：

第一步，对原始深度图像进行局部自适应双边滤波，对深度图像中的区域不均匀噪声进行平滑；

第二步，对深度图像和与该深度图像相对应的RGB图像分别进行边缘检测，分别得到相应的边缘图像；

第三步，对深度图像的边缘图像进行形态学膨胀，将膨胀后的边缘图像与RGB图像的边缘图像进行逻辑交运算，得到深度边界图像的初始图像；

第四步，对深度边界图像初始图像中的边界像素进行校正，去掉伪边界的边界像素，最终的到真正深度边界图像的近似图像；

第五步，结合校正后的深度边界图像，对平滑后的深度图像中错误深度像素进行校正；

第六步，利用深度图像边缘与RGB图像纹理边缘之间的联系，采用选择性联合双边滤波并结合第四步中得到的校正的深度边界图像，对校正后的深度图像中的空洞进行填充。

2.根据权利要求1所述的基于双边滤波的深度图像恢复方法，其特征在于，所述第一步中对深度图像中的区域不均匀噪音进行局部自适应双边滤波平滑，其具体为：

对原始深度图像进行边缘检测得到边缘图像，对边缘图像进行形态学膨胀，对于原始深度图像中被膨胀后的边缘所覆盖的深度图像像素，当平滑这些像素时，双边滤波的方差设为常数，对于不在覆盖范围内的，双边滤波的方差设为另一常数，公式如下：

${\hat{D}}_i=\frac{1}{Z_i}\underset{D_j\&Element;N_i}{\mathrm{\&Sigma;}}{D}_j\&CenterDot;e^{-(a\&CenterDot;\frac{{|D_i-D_j|}^2}{f\left(\mathrm{\&theta;}\right)}+b\&CenterDot;{|i-j|}^2)}$

其中i,j表示像素在深度图像中的坐标，为归一化因子，N_i表示以D_i为中心的w×w图像块，a,b为常数，f(θ)为局部自适应方差，其定义如下：

θ表示被平滑像素到最近深度边缘的距离，单位为像素，r表示膨胀深度图像边缘图像中圆形基本元素的半径，单位为像素。

3.根据权利要求1所述的基于改进型双边滤波的深度图像恢复方法，其特征在于，所述第四步中，校正公式如下：

$g\left(E_i\right)=\mathrm{sgn}\left(\underset{j\&Element;{\mathrm{\&Omega;}}_i}{\max }\right|D_j^{\mathrm{\&Delta;}}|-T_{\mathrm{\&Delta;}}),i\&Element;\mathrm{\&Lambda;}$

其中Λ为深度边界图像初始图像中二值像素值为1的坐标的集合，E_i表示该初始图像中坐标i处的像素；sgn(·)为符号函数，当x＜0时有sgn(x)＝0，当x≥0时有sgn(x)＝1；T_Δ为给定阈值；为经过平滑去噪后深度图像的Laplacian图像在坐标j处的值；Ω_i是平滑后的深度图像中通过坐标i并垂直于在i处的深度边界的长度为[-R,R]的直线段，其中-R和R表示该线段在深度边界两侧；对深度边界图像初始图像中所有E_i(i∈Λ)计算上式，当g(E_i)＝0时表示E_i属于伪深度边界，将E_i去掉，即E_i←0；当g(E_i)＝1时表示E_i属于深度边界，将E_i保留。

4.根据权利要求3所述的基于改进型双边滤波的深度图像恢复方法，其特征在于，所述第五步中：如果g(E_i)＝1时，对平滑处理后的深度图像中的错误深度像素进一步校正，令则对平滑后的深度图像中Ω_i中的深度像素做如下校正：

对所有s∈Ω_i，并且s在i和j之间，令D_s←D_k；

其中D_s和D_k是平滑后深度图像中与和所在位置相对应的深度像素的值。

5.根据权利要求1-4任一项所述的基于改进型双边滤波的深度图像恢复方法，其特征在于，所述第六步中：利用深度图像边缘与RGB图像纹理边缘之间的联系，采用选择性联合双边滤波对深度图像中的空洞进行填充，公式如下：

${\hat{D}}_i=\frac{1}{{Z_i}^{\&prime;}}\underset{D_j\&Element;S{N}_i}{\mathrm{\&Sigma;}}{D}_j\&CenterDot;e^{-(c\&CenterDot;\underset{z\&Element;C}{\mathrm{\&Sigma;}}{|I_i^z-I_j^z|}^2+d\&CenterDot;{|i-j|}^2)}$

其中i,j表示像素坐标，为归一化因子，c,d为常数，表示与深度图像相对应的RGB图像中位于i,j处像素z通道的像素值，其中z∈{R,G,B}；SN_i表示在以D_i为中心的w×w图像块中的像素经下述公式选择后的像素的集合：

${\mathrm{SN}}_i=\left\{D_j\right|e^{-{({\tilde{D}}_i-D_j)}^2<T}\}$

其中为深度图像中位置i处的8近邻深度值的均值，T为给定阈值，衡量所选择的D_j与D_i的相似度。