CN106780383A - Tof相机的深度图像增强方法 - Google Patents

Abstract

本发明涉及一种TOF相机的深度图像增强方法，属于深度图像处理方法。将深度图像首先进行噪声抑制处理，然后利用图像中的像素间距离和边缘方向信息，对低分辨率的TOF深度图像进行插值放大。本发明提高了深度图像分辨率，改善了深度图像视觉质量，可以应用于TOF相机等采集的深度图像增强场合，其中的深度图像插值算法也可推广应用于其它图像的插值放大场合。

Description

TOF相机的深度图像增强方法

技术领域

本发明涉及一种对TOF相机采集的深度图像进行增强的方法，特别涉及一种利用图像中像素间距离和边缘方向信息进行TOF深度图像插值放大的方法。

背景技术

深度图像中的每一个像素表示场景中的某个点到相机成像平面的距离，它描述三维场景的几何信息，一直是计算机视觉领域的研究的重点和热点。

基于飞行时间(TOF)原理的三维测距相机，通过测量主动光线发射到物体表面后反射回来的时间差计算出物体表面的距离信息，可以实时地采集到物体表面的三维几何信息，是对传统三维信息获取方法的一种突破,势必促进相关领域的发展。与立体视觉技术相比,其不受基线长度限制,成像速度快,受纹理影响小；与扫描激光雷达相比,其成像速度快、体积小。TOF三维相机获取的深度信息可以应用于人机交互、3D重建、导航、测距、3D自由视频等诸多领域。

由此可见，TOF三维相机获取的深度信息起着举足轻重的作用，深度图像的质量对于后续工作的处理效果具有很大的影响。高质量的深度图为更加精细的人机交互奠定基础。

但TOF相机所获得深度图像有以下的一些缺陷：深度图像的分辨率远不及普通彩色图像的分辨率；深度图像的深度值受到显著的噪声干扰；深度图像在物体的边缘处的深度值易出现误差。这些缺陷给TOF相机的市场推广与应用带来了一些限制。因此，针对TOF相机深度图像分辨率较低，深度值受噪声干扰显著等问题，研究深度图像的增强技术，提高TOF深度图像质量具有重要意义。

发明内容

本发明提出一种TOF相机的深度图像增强方法，目的是提高深度图像分辨率，改善深度图像视觉质量。

本发明采取的技术方案是，包括下列步骤：

(一)、利用图像平均法对TOF相机采集的深度图像进行噪声抑制，改善深度图像质量；

(二)利用图像中的像素间距离和边缘方向信息，对低分辨率的TOF深度图像进行插值放大，提高深度图像分辨率，设深度图像插值放大为原来分辨率的N×N倍，首先进行2倍插值放大；

这一过程包括两个部分：一是判断低分辨率深度图像中各像素属于边缘区域还是平滑区域；二是根据判断结果，采用不同的插值方法，步骤如下：

(1).判断低分辨率深度图像中各像素是否属于边缘区域

以低分辨率图像像素点(i,j)为中心的3×3邻域做为边缘检测窗口，利用四个方向模板检测该像素是否属于边缘区域，并检测出边缘方向；W¹、W²、W³、W⁴是分别检测0°、45°、90°、135°方向边缘的3×3模板，具体形式如下：

检测模板与3×3边缘检测窗口的卷积值R为：

R^m＝f(i-1,j-1)·W^m(1,1)+f(i-1,j)·W^m(1,2)+f(i-1,j+1)·W^m(1,3)

+f(i,j-1)·W^m(2,1)+f(i,j)·W^m(2,2)+f(i,j+1)·W^m(2,3)

+f(i+1,j-1)·W^m(3,1)+f(i+1,j)·W^m(3,2)+f(i+1,j+1)·W^m(3,3)

m∈{1,2,3,4} (1)

设定边缘检测阈值T，将|R^m|的最大值与T进行比较：当max(|R^m|)>T时，像素点(i,j)属于边缘区域，|R^m|最大值对应的方向即为边缘方向；当max(|R^m|)≤T时，该像素点属于平滑区域；

(2).如果像素点(i,j)属于平滑区域，采用如下公式计算A、B、C三个待插值像素值：

(3).如果像素点(i,j)属于边缘区域，根据边缘方向，利用如下公式计算A、B、C三个待插值像素点的值：

其中，α_K为插值过程中3×3白色像素点参与运算的加权系数。本发明利用待插值像素与周围3×3像素的距离信息和3×3像素邻域中的边缘方向确定加权系数；

其中，α_{K_Dis}为基于距离的加权系数，为基于边缘方向的加权系数；

1)α_{K_Dis}：

待插值像素与3×3窗口中白色像素点的距离越近，其像素值的权重越大，计算待插值像素与3×3窗口中白色像素的欧式距离平方值，用其倒数作为权重系数，即：

K∈{A,B,C} (7)

其中，D_e为欧式距离，对于像素p和q，坐标分别为(x,y)和(s,t)，p和q之间的欧式距离定义如下：

D_e(p,q)＝[(x-s)²+(y-t)²]^1/2 (8)

2)

为了保持插值图像的边缘清晰，根据边缘方向选择部分邻域像素参与插值运算，采用3×3的二值mask矩阵标明参与插值运算的像素位置，即mask矩阵中“1”对应的像素参与插值运算，在四种边缘方向下，计算A、B、C待插值像素值所采用的形式分别如下：

(4).对低分辨率深度图像中的所有像素重复执行以上步骤，完成每个像素所对应的待插值像素A、B、C的插值，即可获得放大2倍的插值目标图像；

(三)当放大倍数N是2的整数次幂，即N＝2^k，k为正整数，将步骤(二)中迭代k次，即可获得相应的插值图像；当放大倍数不是2的整数次幂，即2^k-1<N<2^k，则先将步骤(二)中迭代k次，获得放大倍数为2^k的图像，再按照公式(10)进行降采样即可获得放大倍数为N的图像；

其中，g(i,j)为降采样的图像，插值放大倍数为原来TOF相机采集深度图像的N倍。

本发明提出的利用图像中像素间距离和边缘方向信息进行TOF深度图像插值方法，与其他深度图像插值方法相比，本发明的深度图像插值方法具有显著的技术效果：

(1)传统深度图像插值算法中，最近邻插值是利用最邻近的1个像素点进行插值，算法思想简单，速度相当快，但是容易产生马赛克现象；双线性插值是利用4个邻近像素插值，计算复杂度稍微大些，克服了马赛克现象，但是会造成深度边缘过度平滑；双三次插值是利用周围16个邻近像素插值，更好地保持了边缘结构，但是计算较复杂。本发明提出的方法利用周围9个邻近像素插值，计算复杂度比双三次插值降低，但可以获得更好的插值效果。

(2)对于深度图像的边缘区域和平滑区域，采用不同的插值算法，既能减少运算量又能保证插值质量。在边缘区域像素的插值过程中，同时考虑待插值像素与周围3×3已知像素的距离和边缘方向两个因素，自适应改变参与插值的像素和权重系数，能够更好地保持插值图像边缘特征，获得良好的插值效果。

本发明提高了深度图像分辨率，改善了深度图像视觉质量，可以应用于TOF相机等采集的深度图像增强场合，其中的深度图像插值算法也可推广应用于其它图像的插值放大场合。

附图说明

图1是2倍放大的目标图像示意图；

图2是2倍放大的目标图像简化示意图；

图3是实验场景示意图；

图4是TOF相机采集的深度图像；

图5是图像平均后的深度图像；

图6是本发明方法2倍插值后的深度图像；

图7是不同插值方法8倍放大的深度图像；图中(a)本发明插值方法，(b)最近邻插值方法，(c)双线性插值方法，(d)双三次插值方法，每个部分边上的小图是大图中的局部放大图。

具体实施方式

包括下列步骤：

(一)、利用图像平均法对TOF相机采集的深度图像进行噪声抑制，改善深度图像质量；

(二)利用图像中的像素间距离和边缘方向信息，对低分辨率的TOF深度图像进行插值放大，提高深度图像分辨率，设深度图像插值放大为原来分辨率的N×N倍，首先进行2倍插值放大；

这一过程包括两个部分：一是判断低分辨率深度图像中各像素属于边缘区域还是平滑区域；二是根据判断结果，采用不同的插值方法；

图1为2倍放大后的目标图像，白色像素点来自低分辨率源图像，黑色像素点为高分辨率目标图像中的待插值像素点，本方法就是利用以(i,j)为中心的3×3窗口中9个白色像素值，求出像素点(i,j)右方、下方的A、B、C三个待插值像素值，以此类推，可以完成源图像的2倍插值放大；

为了说明清楚，对图1进行简化，只画出已知的3×3白色像素点(取自低分辨率源图像)和待插值的A、B、C三个黑色像素点，简化图如图2所示；

详细步骤如下：

(1).判断低分辨率深度图像中各像素是否属于边缘区域

以低分辨率图像像素点(i,j)为中心的3×3邻域做为边缘检测窗口，利用四个方向模板检测该像素是否属于边缘区域，并检测出边缘方向；W¹、W²、W³、W⁴是分别检测0°、45°、90°、135°方向边缘的3×3模板，具体形式如下：

检测模板与3×3边缘检测窗口的卷积值R为：

R^m＝f(i-1,j-1)·W^m(1,1)+f(i-1,j)·W^m(1,2)+f(i-1,j+1)·W^m(1,3)

+f(i,j-1)·W^m(2,1)+f(i,j)·W^m(2,2)+f(i,j+1)·W^m(2,3)

+f(i+1,j-1)·W^m(3,1)+f(i+1,j)·W^m(3,2)+f(i+1,j+1)·W^m(3,3)

m∈{1,2,3,4} (1)

设定边缘检测阈值T，将|R^m|的最大值与T进行比较：当max(|R^m|)>T时，像素点(i,j)属于边缘区域，|R^m|最大值对应的方向即为边缘方向；当max(|R^m|)≤T时，该像素点属于平滑区域；

(2).如果像素点(i,j)属于平滑区域，采用如下公式计算A、B、C三个待插值像素值：

(3).如果像素点(i,j)属于边缘区域，根据边缘方向，利用如下公式计算A、B、C三个待插值像素点的值：

其中，α_K为插值过程中3×3白色像素点参与运算的加权系数。本发明利用待插值像素与周围3×3像素的距离信息和3×3像素邻域中的边缘方向确定加权系数；

其中，α_{K_Dis}为基于距离的加权系数，为基于边缘方向的加权系数；

1)α_{K_Dis}：

待插值像素与3×3窗口中白色像素点的距离越近，其像素值的权重越大，计算待插值像素与3×3窗口中白色像素的欧式距离平方值，用其倒数作为权重系数，即：

K∈{A,B,C} (7)

其中，D_e为欧式距离，对于像素p和q，坐标分别为(x,y)和(s,t)，p和q之间的欧式距离定义如下：

D_e(p,q)＝[(x-s)²+(y-t)²]^1/2 (8)

2)

为了保持插值图像的边缘清晰，本专利方法不是采用全部邻域像素参加插值运算，而是根据边缘方向选择部分邻域像素参与插值运算，采用3×3的二值mask矩阵标明参与插值运算的像素位置，即mask矩阵中“1”对应的像素参与插值运算，在四种边缘方向下，计算A、B、C待插值像素值所采用的形式分别如下：

(4).对低分辨率深度图像中的所有像素重复执行以上步骤，完成每个像素所对应的待插值像素A、B、C的插值，即可获得放大2倍的插值目标图像；

(三)当放大倍数N是2的整数次幂，即N＝2^k，k为正整数，将步骤(二)中迭代k次，即可获得相应的插值图像；当放大倍数不是2的整数次幂，即2^k-1<N<2^k，则先将步骤(二)中迭代k次，获得放大倍数为2^k的图像，再按照公式(10)进行降采样即可获得放大倍数为N的图像；

其中，g(i,j)为降采样的图像，插值放大倍数为原来TOF相机采集深度图像的N倍。

下边结合具体实施例来进一步说明本发明。

本发明实施例中采用TOF深度相机SR4000，对图3中场景采集深度图像，如图4所示，分辨率为176*144。

实施例1：设深度图像的插值放大倍数N＝8

(一)、利用图像平均法对采集的深度图像进行噪声抑制，10幅深度图像平均后的结果如图5所示；

(二)、对低分辨率深度图像中的每个像素按照下面步骤进行操作，完成深度图像的2倍插值放大。

1.判断像素点(i,j)是否属于边缘区域。

根据公式(1)，利用图3中四个方向模板分别进行运算。本例边缘检测阈值T设定为50，当max(|R¹|,|R²|,|R³|,|R⁴|)>50时，该像素属于边缘区域，最大值对应的方向为边缘方向；否则，该像素属于平滑区域。

2.如果像素点(i,j)属于平滑区域，采用公式(2)、(3)、(4)分别计算A、B、C三个待插值像素值。

3.如果像素点(i,j)属于边缘区域，根据步骤1记录的边缘方向，在公式(9)中选择计算A、B、C待插值像素值的形式。另外，根据公式(7)、(8)计算α_{K_Dis}，结果如下：

然后利用公式(6)，计算加权系数α_A、α_B、α_C；

最后根据公式(5)，计算A、B、C三个待插值像素的值；

完成(二)中操作之后，得到2倍插值后的深度图像，如图6所示；

(三)、将(二)中步骤一共迭代3次，即可获得2³＝8倍的插值放大图像，如图7(a)所示；

为了对比插值效果，下面对图5采用几种传统插值算法进行仿真实验，图7(b)(c)(d)分别为采用最近邻插值、双线性插值、双三次插值放大8倍的图像。在四幅插值图像中分别选取玩具耳朵位置的一块区域，给出该区域的插值算法放大效果，可以看出，本方明插值算法锐化了图像的边缘，使图像看起来更清晰，可以获得良好的TOF深度图像增强效果。

实施例2：设深度图像的插值放大倍数N＝10

(一)、利用图像平均法对采集的深度图像进行噪声抑制，本例采用10幅深度图像进行平均；

(二)、对低分辨率深度图像中的每个像素按照下面步骤进行操作，完成深度图像的2倍插值放大；

1.判断像素点(i,j)是否属于边缘区域；

根据公式(1)，利用图3中四个方向模板分别进行运算。本例边缘检测阈值T设定为50，当max(|R¹|,|R²|,|R³|,|R⁴|)>50时，该像素属于边缘区域，最大值对应的方向为边缘方向；否则，该像素属于平滑区域；

2.如果像素点(i,j)属于平滑区域，采用公式(2)、(3)、(4)分别计算A、B、C三个待插值像素值；

3.如果像素点(i,j)属于边缘区域，根据步骤1记录的边缘方向，在公式(9)中选择计算A、B、C待插值像素值的形式。另外，根据公式(7)、(8)计算α_{K_Dis}，结果如下：

然后利用公式(6)，计算加权系数α_A、α_B、α_C；

最后根据公式(5)，计算A、B、C三个待插值像素的值；

完成(二)中操作之后，得到2倍插值后的深度图像；

(三)、将步骤(二)中一共迭代4次，即可获得2⁴倍的插值放大图像，根据公式(10)对16倍插值放大的深度图像进行降采样，即可获得10倍插值放大的深度图像，其中，k＝4，N＝10。

Claims (3)

1.一种TOF相机的深度图像增强方法，其特征在于包括下列步骤：

(一)、利用图像平均法对TOF相机采集的深度图像进行噪声抑制，改善深度图像质量；

(二)利用图像中的像素间距离和边缘方向信息，对低分辨率的TOF深度图像进行插值放大，提高深度图像分辨率，设深度图像插值放大为原来分辨率的N×N倍，首先进行2倍插值放大；

这一过程包括两个部分：一是判断低分辨率深度图像中各像素属于边缘区域还是平滑区域；二是根据判断结果，采用不同的插值方法，

(三)当放大倍数N是2的整数次幂，即N＝2^k，k为正整数，将步骤(二)中迭代k次，即可获得相应的插值图像；当放大倍数不是2的整数次幂，即2^k-1<N<2^k，则先将步骤(二)中迭代k次，获得放大倍数为2^k的图像，再按照公式(10)进行降采样即可获得放大倍数为N的图像；

$g(i,j)=f(i\&CenterDot;\frac{2^k}{N},j\&CenterDot;\frac{2^k}{N})---\left(10\right)$

其中，g(i,j)为降采样的图像，插值放大倍数为原来TOF相机采集深度图像的N倍。

2.根据权利要求1所述的一种TOF相机的深度图像增强方法，其特征在于步骤(二)中判断低分辨率深度图像中各像素是否属于边缘区域的步骤如下：

以低分辨率图像像素点(i,j)为中心的3×3邻域做为边缘检测窗口，利用四个方向模板检测该像素是否属于边缘区域，并检测出边缘方向；W¹、W²、W³、W⁴是分别检测0°、45°、90°、135°方向边缘的3×3模板，具体形式如下：

$W^1=\left[\begin{array}{ccc}1& 1& 1\\ 0& 0& 0\\ -1& -1& -1\end{array}\right],W^2=\left[\begin{array}{ccc}1& 1& 0\\ 1& 0& -1\\ 0& -1& -1\end{array}\right],W^3=\left[\begin{array}{ccc}1& 0& -1\\ 1& 0& -1\\ 1& 0& -1\end{array}\right],W^4=\left[\begin{array}{ccc}0& 1& 1\\ -1& 0& 1\\ -1& -1& 0\end{array}\right];$

检测模板与3×3边缘检测窗口的卷积值R为：

R^m＝f(i-1,j-1)·W^m(1,1)+f(i-1,j)·W^m(1,2)+f(i-1,j+1)·W^m(1,3)

+f(i,j-1)·W^m(2,1)+f(i,j)·W^m(2,2)+f(i,j+1)·W^m(2,3)

+f(i+1,j-1)·W^m(3,1)+f(i+1,j)·W^m(3,2)+f(i+1,j+1)·W^m(3,3)

m∈{1,2,3,4} (1)

设定边缘检测阈值T，将|R^m|的最大值与T进行比较：当max(|R^m|)>T时，像素点(i,j)属于边缘区域，|R^m|最大值对应的方向即为边缘方向；当max(|R^m|)≤T时，该像素点属于平滑区域。

3.根据权利要求1所述的一种TOF相机的深度图像增强方法，其特征在于步骤(二)中根据判断结果，采用不同的插值方法，步骤如下：

如果像素点(i,j)属于平滑区域，采用如下公式计算A、B、C三个待插值像素值：

$f\left(A\right)=\frac{1}{2}\left(f\right(i,j)+f(i,j+1\left)\right)---\left(2\right)$

$f\left(B\right)=\frac{1}{2}\left(f\right(i,j)+f(i+1,j\left)\right)---\left(3\right)$

$f\left(C\right)=\frac{1}{4}\left(f\right(i,j)+f(i,j+1)+f(i+1,j)+f(i+1,j+1\left)\right)---\left(4\right)$

(3).如果像素点(i,j)属于边缘区域，根据边缘方向，利用如下公式计算A、B、C三个待插值像素点的值：

$f\left(K\right)=\underset{m=-1}{\overset{1}{\&Sigma;}}\underset{n=-1}{\overset{1}{\&Sigma;}}f(i+m,j+n)\&CenterDot;{\mathrm{\&alpha;}}_K(m+2,n+2),K\&Element;\{A,B,C\}---\left(5\right)$

其中，α_K为插值过程中3×3白色像素点参与运算的加权系数。本发明利用待插值像素与周围3×3像素的距离信息和3×3像素邻域中的边缘方向确定加权系数；

${\mathrm{\&alpha;}}_K={\mathrm{\&alpha;}}_{K\_Dis}\&CenterDot;{\mathrm{mask}}_K^{\mathrm{\&theta;}},K\&Element;\{A,B,C\},\mathrm{\&theta;}\&Element;\{0,45,90,135\}---\left(6\right)$

其中，α_{K_Dis}为基于距离的加权系数，为基于边缘方向的加权系数；

1)α_{K_Dis}：

待插值像素与3×3窗口中白色像素点的距离越近，其像素值的权重越大，计算待插值像素与3×3窗口中白色像素的欧式距离平方值，用其倒数作为权重系数，即：

$\begin{array}{c}{\mathrm{\&alpha;}}_{K\_Dis}=\left[\begin{array}{ccc}\frac{1}{D_e^2\left(\right(i-1,j-1),K)}& \frac{1}{D_e^2\left(\right(i-1,j),K)}& \frac{1}{D_e^2\left(\right(i-1,j+1),K)}\\ \frac{1}{D_e^2\left(\right(i,j-1),K)}& \frac{1}{D_e^2\left(\right(i,j),K)}& \frac{1}{D_e^2\left(\right(i,j+1),K)}\\ \frac{1}{D_e^2\left(\right(i+1,j-1),K)}& \frac{1}{D_e^2\left(\right(i+1,j),K)}& \frac{1}{D_e^2\left(\right(i+1,j+1),K)}\end{array}\right],\\ K\&Element;\{A,B,C\}\end{array}---\left(7\right)$

其中，D_e为欧式距离，对于像素p和q，坐标分别为(x,y)和(s,t)，p和q之间的欧式距离定义如下：

D_e(p,q)＝[(x-s)²+(y-t)²]^1/2 (8)

2)

为了保持插值图像的边缘清晰，根据边缘方向选择部分邻域像素参与插值运算，采用3×3的二值mask矩阵标明参与插值运算的像素位置，即mask矩阵中“1”对应的像素参与插值运算，在四种边缘方向下，计算A、B、C待插值像素值所采用的形式分别如下：

${\mathrm{mask}}_A^0=\left[\begin{array}{ccc}0& 0& 0\\ 1& 1& 1\\ 0& 0& 0\end{array}\right],{\mathrm{mask}}_B^0=\left[\begin{array}{ccc}0& 0& 0\\ 1& 1& 1\\ 1& 1& 1\end{array}\right],{\mathrm{mask}}_C^0=\left[\begin{array}{ccc}0& 0& 0\\ 1& 1& 1\\ 1& 1& 1\end{array}\right];$

${\mathrm{mask}}_A^{45}=\left[\begin{array}{ccc}0& 0& 1\\ 0& 1& 1\\ 1& 1& 0\end{array}\right],{\mathrm{mask}}_B^{45}=\left[\begin{array}{ccc}0& 0& 1\\ 0& 1& 1\\ 1& 1& 0\end{array}\right],{\mathrm{mask}}_C^{45}=\left[\begin{array}{ccc}0& 0& 0\\ 0& 0& 1\\ 0& 1& 0\end{array}\right];$

${\mathrm{mask}}_A^{90}=\left[\begin{array}{ccc}0& 1& 1\\ 0& 1& 1\\ 0& 1& 1\end{array}\right],{\mathrm{mask}}_B^{90}=\left[\begin{array}{ccc}0& 1& 0\\ 0& 1& 0\\ 0& 1& 0\end{array}\right],{\mathrm{mask}}_C^{90}=\left[\begin{array}{ccc}0& 1& 1\\ 0& 1& 1\\ 0& 1& 1\end{array}\right];$

${\mathrm{mask}}_A^{135}=\left[\begin{array}{ccc}1& 1& 0\\ 0& 1& 1\\ 0& 0& 1\end{array}\right],{\mathrm{mask}}_B^{135}=\left[\begin{array}{ccc}1& 0& 0\\ 1& 1& 0\\ 0& 1& 1\end{array}\right],{\mathrm{mask}}_C^{135}=\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right]---\left(9\right)$

(4).对低分辨率深度图像中的所有像素重复执行以上步骤，完成每个像素所对应的待插值像素A、B、C的插值，即可获得放大2倍的插值目标图像。