CN103955954B - 一种结合同场景立体图对的高分辨率深度图像重建方法 - Google Patents

Abstract

本发明涉及一种结合同场景立体图对的高分辨率深度图像重建方法。越来越多的应用依赖于对真实场景深度图像准确且快速的观测和分析。飞行时间深度相机可以实时的获取场景的深度图像，但是由于硬件条件的限制，采集的深度图像分辨率比较低，无法满足实际应用的需要。立体匹配算法是获得深度图像的经典方法，但是由于左右图像之间遮挡以及无纹理区域的影响，立体匹配算法在实际应用中存在很大的局限性。本发明方法充分发掘飞行时间深度相机和立体匹配算法各自的优点，提出了一种结合飞行时间深度相机和同场景立体图对的高分辨率深度图像重建方法，能很好的克服现有技术的不足，重建高分辨率高质量的深度图像。

Description

一种结合同场景立体图对的高分辨率深度图像重建方法

技术领域

本发明属于计算机视觉领域，具体涉及一种结合同场景立体图对的高分辨率深度图像重建方法。

背景技术

获取场景的深度图像是计算机视觉的重要任务。深度图像中的每一个像素值表示的是场景中的点与相机之间的距离。越来越多的应用如三维重建、碰撞检测、手势识别、机器人导航、工业自动化以及在电影和游戏中对虚拟场景的设计建模等，都依赖于对真实场景深度图像准确的观测和分析。目前，深度图像的获取手段主要有：1）通过立体匹配的方法计算得到深度图像；2）通过直接的测量仪器观测得到深度图像。

立体匹配算法计算左右图像之间各对应点的视差关系从而得到场景的深度图像，立体匹配算法是获得场景深度图像的一类经典方法。但是由于左右图像之间遮挡以及无纹理区域的影响，立体匹配算法在实际应用中存在很大的局限性。飞行时间深度相机是直接测量深度图像的主要设备，它通过给场景发送光脉冲，运用高速快门计算光脉冲的往返时间来确定场景中目标物的距离，飞行时间相机可以快速得到整幅场景的深度信息。但是，由于硬件的限制飞行时间相机得到的场景深度图分辨率比较低，很难满足实际应用的需要。

发明内容

本发明的目的就是克服现有技术的不足，提出了一种结合同场景立体图对的高分辨率深度图像重建方法。本方法结合飞行时间深度相机采集得到的低分辨率深度图像和同场景的高分辨率彩色立体图对来重建高分辨率高质量的深度图像。具体步骤是：

步骤(1)构造非局部滤波权值,对输入的低分辨率深度图像进行滤波：

G表示飞行时间深度相机采集得到的低分辨率深度图像，大小为n×m；L表示CCD左相机采集的同场景高分辨率彩色左图像，大小为rn×rm；R表示对应的CCD右相机采集的高分辨率彩色右图像，大小为rn×rm；

按如下方式构造非局部滤波权值：

$w_{\mathrm{ij}}^N=\exp (-\frac{{\left|\right|M_{i}L-M_{j}L\left|\right|}_2^2}{K\·h_L^2})\·\exp (-\frac{{\left|\right|M_{i}I-M_{j}I\left|\right|}_2^2}{K\·h_I^2})$

其中I是输入的低分辨率深度图像进行双线性插值后的结果，大小为rn×rm；M_iL表示以L_i为中心的局部块，M_iI表示以I_i为中心的局部块，K是局部块内含有的像素点个数，h_L,h_I是滤波器的参数，用来控制加权计算的指数表达式的衰减速度；

由上述计算得到非局部滤波权值，按下式对双线性插值结果I进行滤波：

$F_i^{\′}=\frac{\mathrm{\Σ}{w}_{\mathrm{ij}}^N\·I_j}{\mathrm{\Σ}{w}_{\mathrm{ij}}^N}$

得到的初始高分辨率深度图像记为F′，大小为rn×rm；

步骤(2)以左图像为参考图像，右图像为目标图像，结合初始高分辨率深度图像F′，构造局部立体匹配权值，计算左图像的视差图D^L：

(a)结合F′按如下方式构造局部立体匹配权值：

$W_{\mathrm{ij}}^L=\left\{\begin{array}{c}\exp (-\frac{{\left|\right|L_i-L_j\left|\right|}_2^2}{{\mathrm{\σ}}_c^2})\·\exp (-\frac{{\left|\right|F_i^{\′}-F_j^{\′}\left|\right|}_2^2}{{\mathrm{\σ}}_d^2}),j\∈\mathrm{\Ω}\left(i\right)\\ 0,\mathrm{else}\end{array}\right.$

其中j∈Ω(i)表示j在i的局部窗内，参数σ_c和σ_d用来控制指数表达式的衰减速度，按如下方式选取：

①计算L当前局部窗内其他点和中心点之间的颜色值差异以当前颜色差异的中值作为当前σ_c；

②计算F′当前局部窗内其他点和中心点之间的深度差异以当前深度差异的中值作为当前σ_d；

(b)按如下方式构造左图像L和右图像R之间的匹配代价函数：

$E(i,{\stackrel{\‾}{i}}_d)=\frac{{\mathrm{\Σ}}_{j\∈\mathrm{\Ω}\left(i\right),{\stackrel{\‾}{j}}_d\∈\mathrm{\Ω}\left({\stackrel{\‾}{i}}_d\right)}{W}_{\mathrm{ij}}^L\·e(j,{\stackrel{\‾}{j}}_d)}{{\mathrm{\Σ}}_{j\∈\mathrm{\Ω}\left(i\right),{\stackrel{\‾}{j}}_d\∈\mathrm{\Ω}\left({\stackrel{\‾}{i}}_d\right)}{W}_{\mathrm{ij}}^L}$

其中匹配代价表示左图像中的点i视差为d时，i和右图像中的对应点之间的匹配度，j∈Ω(i)表示j在i的局部窗内，表示在的局部窗内，选取对应点之间的彩色和梯度差来定义匹配误差：

$e(j,{\stackrel{\‾}{j}}_d)=\mathrm{\α}\min \left(\right||L_j-R_{{\stackrel{\‾}{j}}_d}||,{\mathrm{\τ}}_1)+(1-\mathrm{\α})\min \left(\right||\▿L_j-\▿R_{{\stackrel{\‾}{j}}_d}||,{\mathrm{\τ}}_2)$

其中参数α用来平衡彩色和梯度误差，τ₁,τ₂为误差阈值；

(c)根据匹配代价函数，按如下的方式计算得到左图像内各点的视差：

$d^{*}={\arg \min }_{d\∈S_d}E(i,{\stackrel{\‾}{i}}_d)$

其中S_d＝{d_min,...,d_max}表示视差范围；从而得到左图像的视差图像D^L；

步骤(3)以右图像为参考图像，左图像为目标图像，计算右图像内各点的视差值,利用计算得到的右图像视差图D^R对D^L进行左右遮挡检测：

以右图像为参考图，左图像为目标图时，由于F′是与左图像配准的，以右图像为参考图时，无法利用F′来构造匹配权值，故以右图像为参考图时按如下方式构造局部匹配权值：

$W_{\mathrm{ij}}^R=\begin{array}{}\end{array}\left\{\begin{array}{c}\exp (-\frac{{\left|\right|R_i-R_j\left|\right|}_2^2}{{\mathrm{\σ}}_c^2})\·\exp (-\frac{{\left|\right|i-j\left|\right|}_2^2}{{\mathrm{\σ}}_s^2}),j\∈\mathrm{\Ω}\left(i\right)\\ 0,\mathrm{else}\end{array}\right.$

其中j∈Ω(i)表示j在i的局部窗内，参数σ_s和σ_c按如下方式选取：

①σ_s选为局部窗口的半径大小；

②计算R当前局部窗内其他点和中心点的颜色值差异以当前颜色差异的中值作为当前σ_c；

利用计算得到的局部匹配权值构造右图像R和左图像L之间的匹配代价函数，计算得到以右图像为参考图时的视差图，记为D^R；

运用D^R对D^L进行左右遮挡检测，若视差点满足如下公式，则将该点标记为满足左右遮挡检测：

$D_i^L=D_{i-D_i^L}^R$

用集合S表示D^L内所有满足左右遮挡检测的点；

步骤(4)结合滤波得到的深度图像F′和匹配得到视差图像D^L融合得到最终的高分辨率深度图像：

(a)按如下方式将F′和D^L进行融合：

$F_i=\left\{\begin{array}{cc}\frac{b-f}{D_i^L},& i\∈S\\ F_i^{\′},& \mathrm{else}\end{array}\right.$

其中b为左右相机之间基线距，f为CCD相机的焦距；

(b)构造局部滤波权值对融合得到的深度图像进行修正：

基于如下的两点观察：

①彩色图像中有相似颜色的两个区域，很有可能有相似的深度值；

②真实场景的表面基本都是分段光滑的；

将局部滤波权值分解为三个部分：颜色相似性、距离相似性和深度相似性，按如下方式构造局部滤波权值：

$w_{\mathrm{ij}}=\left\{\begin{array}{c}\exp (-\frac{{\left|\right|L_i-L_j\left|\right|}_2^2}{{\mathrm{\σ}}_c^2})\·\exp (-\frac{{\left|\right|i-j\left|\right|}_2^2}{{\mathrm{\σ}}_s^2})\·\exp (-\frac{{\left|\right|F_i-F_j\left|\right|}_2^2}{{\mathrm{\σ}}_d^2}),j\∈\mathrm{\Ω}\left(i\right)\\ 0,\mathrm{else}\end{array}\right.$

其中j∈Ω(i)表示j在i的局部窗内，参数σ_c,σ_s和σ_d按如下方式选取：

①σ_s选为局部窗口的半径大小；

②计算L当前局部窗内其他点和中心点的颜色值差异以当前颜色差异的中值作为当前σ_c；

③计算F当前局部窗内其他点和中心点的深度差异以当前深度差异的中值作为当前σ_d；

由上述计算得到局部滤波权值w_ij，按如下方式对融合结果F进行滤波：

$F_i^{*}=\frac{\mathrm{\Σ}{w}_{\mathrm{ij}}\·F_j}{\mathrm{\Σ}{w}_{\mathrm{ij}}}$

从而得到最终的高分辨率深度图像，记为F^*，大小为rn×rm。

本发明通过结合飞行时间深度相机采集得到的低分辨率深度图像和同场景高分辨率的左右彩色立体图对，可以重建得到高质量高分辨率的深度图像。

根据本发明的第一方面，公开了一种非局部权值滤波器的构造方法。

根据本发明的第二方面，公开了一种结合初始深度图像来构造局部立体匹配权值的方法。

根据本发明的第三方面，公开了一种将飞行时间深度相机采集得到的深度图像和立体匹配算法计算得到的视差图像进行融合的方法。

根据本发明的第四方面，公开了一种结合同场景立体图对的高分辨率深度图像重建方法的具体流程。主要包括：构造非局部滤波权值对飞行时间深度相机采集得到的深度图像进行滤波；构造局部立体匹配权值计算得到基于立体匹配算法的视差图像；最终融合得到高分辨率高质量的深度图像。

本发明的有益效果：本发明方法很好的结合立体匹配技术和飞行时间深度相机各自的优势，通过一种融合方法很好的克服了现有技术的不足，能够重建高质量高分辨率的深度图像。

具体实施步骤

步骤(1)构造非局部滤波权值,对输入的低分辨率深度图像进行滤波：

G表示飞行时间深度相机采集得到的低分辨率深度图像，大小为n×m；L表示CCD左相机采集的同场景高分辨率彩色左图像，大小为rn×rm；R表示对应的CCD右相机采集的高分辨率彩色右图像，大小为rn×rm；

按如下方式构造非局部滤波权值：

$w_{\mathrm{ij}}^N=\exp (-\frac{{\left|\right|M_{i}L-M_{j}L\left|\right|}_2^2}{K\·h_L^2})\·\exp (-\frac{{\left|\right|M_{i}I-M_{j}I\left|\right|}_2^2}{K\·h_I^2})$

其中I是输入的低分辨率深度图像进行双线性插值后的结果，大小为rn×rm，M_iL表示以L_i为中心的局部块，M_iI表示以I_i为中心的局部块，K是局部块内含有的像素点个数，局部块大小选为5×5；参数h_L选为15，参数h_I选为20；

根据按下式对双线性插值结果I进行滤波：

$F_i^{\′}=\frac{\mathrm{\Σ}{w}_{\mathrm{ij}}^N\·I_j}{\mathrm{\Σ}{w}_{\mathrm{ij}}^N}$

得到的初始高分辨率深度图像记为F′，大小为rn×rm；

步骤(2)以左图像为参考图像，右图像为目标图像，结合初始高分辨率深度图像F′，构造局部立体匹配权值，计算左图像的视差图D^L：

(a)结合F′按如下方式构造局部立体匹配权值：

$W_{\mathrm{ij}}^L=\left\{\begin{array}{c}\exp (-\frac{{\left|\right|L_i-L_j\left|\right|}_2^2}{{\mathrm{\σ}}_c^2})\·\exp (-\frac{{\left|\right|F_i^{\′}-F_j^{\′}\left|\right|}_2^2}{{\mathrm{\σ}}_d^2}),j\∈\mathrm{\Ω}\left(i\right)\\ 0,\mathrm{else}\end{array}\right.$

其中j∈Ω(i)表示j在i的局部窗内，局部窗大小选为9×9，参数σ_c和σ_d按如下方式选取：

①计算L当前局部窗内其他点和中心点之间的颜色值差异以当前颜色差异的中值作为当前σ_c；

②计算F′当前局部窗内其他点和中心点之间的深度差异以当前深度差异的中值作为当前σ_d；

(b)按如下方式构造左图像L和右图像R之间的匹配代价函数：

$E(i,{\stackrel{\‾}{i}}_d)=\frac{{\mathrm{\Σ}}_{j\∈\mathrm{\Ω}\left(i\right),{\stackrel{\‾}{j}}_d\∈\mathrm{\Ω}\left({\stackrel{\‾}{i}}_d\right)}{W}_{\mathrm{ij}}^L\·e(j,{\stackrel{\‾}{j}}_d)}{{\mathrm{\Σ}}_{j\∈\mathrm{\Ω}\left(i\right),{\stackrel{\‾}{j}}_d\∈\mathrm{\Ω}\left({\stackrel{\‾}{i}}_d\right)}{W}_{\mathrm{ij}}^L}$

其中匹配代价表示左图像中的点i视差为d时，i和右图像中的对应点之间的匹配度，j∈Ω(i)表示j在i的局部窗内，表示在的局部窗内，选取对应点之间的彩色和梯度差来定义匹配误差：

$e(j,{\stackrel{\‾}{j}}_d)=\mathrm{\α}\min \left(\right||L_j-R_{{\stackrel{\‾}{j}}_d}||,{\mathrm{\τ}}_1)+(1-\mathrm{\α})\min \left(\right||\▿L_j-\▿R_{{\stackrel{\‾}{j}}_d}||,{\mathrm{\τ}}_2)$

其中参数α用来平衡彩色和梯度误差，选为0.2；τ₁,τ₂为误差阈值，分别选为7和2；

(c)根据匹配代价函数，按如下的方式计算得到左图像内各点的视差：

$d^{*}={\arg \min }_{d\∈S_d}E(i,{\stackrel{\‾}{i}}_d)$

其中S_d＝{d_min,...,d_max}表示视差范围；从而得到左图像的视差图像D^L；

步骤(3)以右图像为参考图像，左图像为目标图像，计算右图像的视差图D^R，对D^L进行左右遮挡检测：

以右图像为参考图，左图像为目标图时，由于F′是与左图像配准的，以右图像为参考图时，无法利用F′来构造匹配权值，故以右图像为参考图时按如下方式构造局部匹配权值：

$W_{\mathrm{ij}}^R=\begin{array}{}\end{array}\left\{\begin{array}{c}\exp (-\frac{{\left|\right|R_i-R_j\left|\right|}_2^2}{{\mathrm{\σ}}_c^2})\·\exp (-\frac{{\left|\right|i-j\left|\right|}_2^2}{{\mathrm{\σ}}_s^2}),j\∈\mathrm{\Ω}\left(i\right)\\ 0,\mathrm{else}\end{array}\right.$

其中j∈Ω(i)表示j在i的局部窗内，局部窗大小选为9×9，参数σ_s和σ_c按如下方式选取：

①σ_s大小选为4；

②计算R当前局部窗内其他点和中心点的颜色值差异以当前颜色差异的中值作为当前σ_c；

利用计算得到的局部立体匹配权值构造右图像R和左图像L之间的匹配代价函数，计算得到以右图像为参考图时的视差图，记为D^R；

运用D^R对D^L进行左右遮挡检测，若视差点满足如下公式，则将该点标记为满足左右遮挡检测：

$D_i^L=D_{i-D_i^L}^R$

用集合S表示D^L内所有满足左右遮挡检测的点；

步骤(4)结合滤波得到的深度图像F′和匹配得到视差图像D^L融合得到最终的高分辨率深度图像：

(a)按如下方式将F′和D^L进行融合：

$F_i=\left\{\begin{array}{cc}\frac{b-f}{D_i^L},& i\∈S\\ F_i^{\′},& \mathrm{else}\end{array}\right.$

其中b为左右相机之间基线距，f为CCD相机的焦距；

(b)构造局部滤波权值对融合得到的深度图像进行修正：

按如下方式构造局部滤波权值：

$w_{\mathrm{ij}}=\left\{\begin{array}{c}\exp (-\frac{{\left|\right|L_i-L_j\left|\right|}_2^2}{{\mathrm{\σ}}_c^2})\·\exp (-\frac{{\left|\right|i-j\left|\right|}_2^2}{{\mathrm{\σ}}_s^2})\·\exp (-\frac{{\left|\right|F_i-F_j\left|\right|}_2^2}{{\mathrm{\σ}}_d^2}),j\∈\mathrm{\Ω}\left(i\right)\\ 0,\mathrm{else}\end{array}\right.$

其中j∈Ω(i)表示j在i的局部窗内，局部窗大小选为9×9，参数σ_c,σ_s和σ_d按如下方式选取：

①σ_s大小选为4；

②计算L当前局部窗内其他点和中心点的颜色值差异以当前颜色差异的中值作为当前σ_c；

③计算F当前局部窗内其他点和中心点的深度差异以当前深度差异的中值作为当前σ_d；

由上述计算得到局部滤波权值w_ij，按如下方式对融合结果F进行滤波：

$F_i^{*}=\frac{\mathrm{\Σ}{w}_{\mathrm{ij}}\·F_j}{\mathrm{\Σ}{w}_{\mathrm{ij}}}$

从而得到最终的高分辨率深度图像F^*，大小为rn×rm。

Claims (1)

1.一种结合同场景立体图对的高分辨率深度图像重建方法，其特征在于该方法的具体步骤是：

步骤1、构造非局部滤波权值,对输入的低分辨率深度图像进行滤波：

G表示飞行时间深度相机采集得到的低分辨率深度图像，大小为n×m；L表示CCD左相机采集的同场景高分辨率彩色左图像，大小为rn×rm；R表示对应的CCD右相机采集的高分辨率彩色右图像，大小为rn×rm；

按如下方式构造非局部滤波权值：

$w_{ij}^N=\exp \left(-\frac{\left|\right|M_{i}L-M_{j}L|{|}_2^2}{K\·h_L^2}\right)\·\exp \left(-\frac{\left|\right|M_{i}I-M_{j}I|{|}_2^2}{K\·h_I^2}\right)$

其中I是输入的低分辨率深度图像进行双线性插值后的结果，大小为rn×rm；M_iL表示以L_i为中心的局部块，M_iI表示以I_i为中心的局部块，K是局部块内含有的像素点个数，h_L,h_I是滤波器的参数，用来控制加权计算的指数表达式的衰减速度；

由上述计算得到非局部滤波权值按下式对双线性插值结果I进行滤波：

$F_i^{\′}=\frac{{\mathrm{\Σw}}_{ij}^N\·I_j}{{\mathrm{\Σw}}_{ij}^N}$

得到的初始高分辨率深度图像记为F′,大小为rn×rm；

步骤2、以左图像为参考图像，右图像为目标图像，结合初始高分辨率深度图像F′，构造局部立体匹配权值，计算左图像的视差图D^L：

2-1.结合F′按如下方式构造局部立体匹配权值：

$W_{ij}^L=\left\{\begin{array}{c}\exp (-\frac{\left|\right|L_i-L_j|{|}_2^2}{{\mathrm{\σ}}_c^2})\·\exp (-\frac{\left|\right|F_i^{\′}-F_j^{\′}|{|}_2^2}{{\mathrm{\σ}}_d^2}),j\∈\mathrm{\Ω}\left(i\right)\\ 0,else\end{array}\right.$

其中j∈Ω(i)表示像素点j在像素点i的局部窗内，参数σ_c和σ_d用来控制指数表达式的衰减速度，按如下方式选取：

①计算L当前局部窗内其他点和中心点之间的颜色值差异以当前颜色差异的中值作为当前σ_c；

②计算F′当前局部窗内其他点和中心点之间的深度差异以当前深度差异的中值作为当前σ_d；

2-2.按如下方式构造左图像L和右图像R之间的匹配代价函数：

$E(i,{\stackrel{\‾}{i}}_d)=\frac{{\mathrm{\Σ}}_{j\∈\mathrm{\Ω}\left(i\right),{\stackrel{\‾}{j}}_d\∈\mathrm{\Ω}\left({\stackrel{\‾}{i}}_d\right)}{W}_{ij}^L\·e(j,{\stackrel{\‾}{j}}_d)}{{\mathrm{\Σ}}_{j\∈\mathrm{\Ω}\left(i\right),{\stackrel{\‾}{j}}_d\∈\mathrm{\Ω}\left({\stackrel{\‾}{i}}_d\right)}{W}_{ij}^L}$

其中匹配代价表示左图像中的像素点i视差为d时，i和右图像中的对应点之间的匹配度，表示在的局部窗内，选取对应点之间的彩色和梯度差来定义匹配误差：

$e(j,{\stackrel{\‾}{j}}_d)=\mathrm{\α}min\left(\right||L_j-R_{{\stackrel{\‾}{j}}_d}||,{\mathrm{\τ}}_1)+(1-\mathrm{\α})min\left(\right||\▿L_j-\▿R_{{\stackrel{\‾}{j}}_d}||,{\mathrm{\τ}}_2)$

其中参数α用来平衡彩色和梯度误差，τ₁,τ₂为误差阈值；

2-3.根据匹配代价函数，按如下的方式计算得到左图像内各点匹配代价达到最小的时候的视差d^*：

$d^{*}=\arg {\min }_{d\∈S_d}E(i,\stackrel{\‾}{i_d});$

其中S_d＝{d_min,...,d_max}表示视差范围；从而得到左图像的视差图像D^L；

步骤3、以右图像为参考图像，左图像为目标图像，计算右图像内各点的视差值,利用计算得到的右图像视差图D^R对D^L进行左右遮挡检测：

以右图像为参考图，左图像为目标图时，由于F′是与左图像配准的，以右图像为参考图时，无法利用F′来构造匹配权值，故以右图像为参考图时按如下方式构造局部立体匹配权值：

$W_{ij}^R=\left\{\begin{array}{c}\exp (-\frac{\left|\right|R_i-R_j|{|}_2^2}{{\mathrm{\σ}}_c^2})\·\exp (-\frac{\left|\right|i-j|{|}_2^2}{{\mathrm{\σ}}_s^2}),j\∈\mathrm{\Ω}\left(i\right)\\ 0,else\end{array}\right.$

其中j∈Ω(i)表示j在i的局部窗内，参数σ_s和σ_c按如下方式选取：

(1)σ_s选为局部窗口的半径大小；

(2)计算R当前局部窗内其他点和中心点的颜色值差异以当前颜色差异的中值作为当前σ_c；

利用计算得到的局部匹配权值构造右图像R和左图像L之间的匹配代价函数，计算得到以右图像为参考图时的视差图，记为D^R；

运用D^R对D^L进行左右遮挡检测，若视差点满足如下公式，则将该视差点标记为满足左右遮挡检测：

$D_i^L=D_{i-D_i^L}^R$

用集合S表示D^L内所有满足左右遮挡检测的点；

步骤4、结合滤波得到的深度图像F′和匹配得到视差图像D^L融合得到最终的高分辨率深度图像：

4-1按如下方式将F′和D^L进行融合：

$F_i=\left\{\begin{array}{cc}\frac{b-f}{D_i^L},& i\∈S\\ F_i^{\′},& else\end{array}\right.$

其中b为左右相机之间基线距，f为CCD相机的焦距；

4-2构造局部滤波权值对融合得到的深度图像进行修正：

基于如下的两点观察：

a.彩色图像中有相似颜色的两个区域有相似的深度值；

b.真实场景的表面是分段光滑的；

将局部滤波权值分解为三个部分：颜色相似性、距离相似性和深度相似性，按如下方式构造局部滤波权值：

$w_{ij}=\left\{\begin{array}{c}\exp (-\frac{\left|\right|L_i-L_j|{|}_2^2}{{\mathrm{\σ}}_c^2})\·\exp (-\frac{\left|\right|i-j|{|}_2^2}{{\mathrm{\σ}}_s^2})\·\exp (-\frac{\left|\right|F_i-F_j|{|}_2^2}{{\mathrm{\σ}}_d^2}),j\∈\mathrm{\Ω}\left(i\right)\\ 0,else\end{array}\right.$

其中j∈Ω(i)表示j在i的局部窗内，参数σ_c,σ_s和σ_d按如下方式选取：

(a)σ_s选为局部窗口的半径大小；

(b)计算L当前局部窗内其他点和中心点的颜色值差异以当前颜色差异的中值作为当前σ_c；

(c)计算F当前局部窗内其他点和中心点的深度差异以当前深度差异的中值作为当前σ_d；

由上述计算得到局部滤波权值w_ij，按如下方式对融合结果F进行滤波：

$F_i^{*}=\frac{{\mathrm{\Σw}}_{ij}\·F_j}{{\mathrm{\Σw}}_{ij}};$

从而得到最终的高分辨率深度图像F^*,大小为rn×rm。