CN103198486A - 一种基于各向异性扩散的深度图像增强方法 - Google Patents

Abstract

本发明公开了一种基于各向异性扩散的深度图像增强方法。利用与深度图像对应的彩色图像的像素点间的相似性作为深度扩散的依据，基于深度图像的已知深度，完成对深度图像的深度缺失区域的填充。本发明克服了传统的基于内插的深度增强方法中存在的物体边缘模糊的问题，同时突破了基于滤波的深度增强方法中滤波窗口大小的限制，具备通用性强，鲁棒性强等优点。其可广泛应用于各类存在深度区域缺失的深度图像，在实际的应用中基于相互对应的彩色图像和深度图像能够获得良好的深度图像缺失区域填充效果。

Description

一种基于各向异性扩散的深度图像增强方法

技术领域

本发明涉及深度图像增强方法，具体涉及一种基于各向异性扩散的对深度图像缺失区域进行填充的增强方法。

背景技术

深度图像用来表达场景中各点相对于摄像机之间的距离。深度图像在计算机视觉的各种应用中有着广泛的应用，其为计算机视觉中诸如跟踪、分类、识别等方法提供了更多的可能性。

深度图像的获取包括了主动式获取和被动式获取。其中被动式获取中常用的是双目立体视觉方法，其使用两个相隔一定距离的摄像机同时获取场景图像，利用两个相机之间的几何关系最终生成深度图像；而主动式获取包括了激光雷达、结构光等方法，其特点在于设备本身需要发射能量来完成深度信息的获取。但是通过各种现有设备获得的深度图像大都存在深度信息缺失的问题：基于双目立体匹配获得的深度图像由于基线长度的限制无法获得在远距离处的准确深度信息，与此同时，在两个相机的视野非重叠区域无法获得准确深度信息；微软公司的Kinect获取的深度图像受到特殊材质表面、测距范围、物体遮挡等因素的影响往往会存在部分深度缺失区域；而通过激光雷达获取三维数据，经过坐标转换得到的深度图像拥有准确的深度值，但激光雷达扫描点体现在深度图像上表现为离散稀疏的深度值，深度图像上存在大量深度缺失区域。因此在获得彩色图像与深度图像对时，彩色图像是通常是完好的，而深度图像中往往存在部分深度缺失区域，深度图像的缺失区域给后续的机器视觉算法引来了诸多不变，如何对缺失深度区域的深度进行合理的估计成为了一个亟待解决的问题。

在已提出的对深度图像深度缺失区域进行填充的方法包括了内插，滤波等。各种算法往往都是通过已知的深度对缺失深度区域的深度进行合理估计。传统的内插方法利用缺失深度像素点周围的已知深度信息对该点的深度进行适当的估计。该方法填充完成的深度图像在物体边缘十分模糊，得到的深度图像往往无法达到后续应用的使用要求。

而某些滤波算法利用与深度图像对应的彩色图像来辅助深度图像的缺失区域填充。经常被采用的方法是联合双边滤波器。然而，这种基于滤波的深度图像增强往往对深度缺失区域大小非常敏感，如果深度缺失区域较大，而滤波采用的窗口尺寸较小，就会出现深度缺失区域无法被填充的情况。而如果窗口尺寸较大，就会导致深度图像中的细节信息难以保留。

发明内容

本发明的目的在于提供一种基于各向异性扩散的深度图像增强方法，该方法利用深度图像的已知深度信息与彩色图像信息，克服了先前方法中物体边缘模糊、对深度缺失区域大小敏感等问题，实现了对深度图像中深度缺失区域的合理填充。

本发明采用的技术方案是：

本发明以与深度图像对应的彩色图像作引导，基于深度图像的已知深度区域，完成对深度图像的深度缺失区域的填充；该方法具体步骤如下：

步骤1）利用摄像机拍摄得到彩色图像，并利用深度传感器得到相同场景的深度信息，进而将深度信息映射到彩色图像坐标系得到深度图像，将两幅图像中具有相同行列位置的像素点进行一一对应；

步骤2）将深度图像中深度缺失的像素点的值设为0；

步骤3）对经步骤2）处理的深度图像进行逐列扫描，得到含有N个元素的列向量b，其中N表示深度图像的像素点个数；

步骤4）构建一个大小为N×N的矩阵M，矩阵M的第i行、第j列元素Μ_ij的表达式如式(1)所示：

其中σ表示衡量颜色相似性大小的参数，I_i为b中的第i个元素b_i所对应的彩色图像像素点的RGB三通道颜色值，I_j为b中的第j个元素b_j所对应的彩色图像像素点的RGB三通道颜色值，b_i与b_j对应的像素点是否相邻通过四邻域的概念进行判断；

步骤5）构建一个大小为N×N的矩阵A，矩阵A的第i行、第j列元素A_ij的表达式如式(2)所示：

式(2)中，L表示一个N×N的单位矩阵，L_ij表示矩阵L的第i行、第j列元素；

步骤6）求解如式(3)所示的线性方程组，得到含有N个元素的列向量Y的解：

AY＝b    (3)

步骤7）利用列向量Y完成对与深度图像同尺寸矩阵的逐列赋值，得到深度图像增强结果。

所述式(1)中||I_i-I_j||²用式(4)进行计算

||I_i-I_j||²＝(R_i-R_j)²+(G_i-G_j)²+(B_i-B_j)²    (4)

其中，R_i为b_i所对应的彩色图像像素点的R通道的值，R_j为b_j所对应的彩色图像像素点的R通道的值；G_i为b_i所对应的彩色图像像素点的G通道的值，G_j为b_j所对应的彩色图像像素点的G通道的值；B_i为b_i所对应的彩色图像像素点的B通道的值，B_j为b_j所对应的彩色图像像素点的B通道的值。

所述式(3)通过对线性方程组的求解软件得到列向量Y的解。

本发明具有的有益效果是：

本发明克服了传统的基于内插的深度增强方法中存在的物体边缘模糊的问题，同时突破了基于滤波的深度增强方法中滤波窗口大小的限制，具备通用性强，鲁棒性强等优点。其可广泛应用于各类存在深度区域缺失的深度图像，在实际的应用中基于相互对应的彩色图像与深度图像能够获得良好的深度图像缺失区域填充效果。

附图说明

图1是带有激光雷达点阵的深度图像示意图。

图2是本发明的方法的步骤示意图。

图3是对深度图像进行逐列扫描的示意图。

具体实施方式

下面结合附图与实施例对本发明进行进一步说明。

本发明的理论依据如下所述：

考虑到在一定范围中具有相似颜色的区域往往对应于相似的深度，本发明所提出的方法将拥有深度信息的像素点视作“热源”，这些“热源”通过颜色信息提供的线索向深度缺失区域扩散，最终完成对深度图像缺失区域的填充。

本发明的方法将各向异性扩散方程用于深度图像的增强，并且以求解线性方程组的方式得到最终的深度图像增强结果。在该方法中，线性方程组的构建可由式(1)所示的各向异性扩散方程推导得到：

$\frac{\∂D(p;t)}{\∂t}=\mathrm{div}(W(p;t)\▿D(p;t)),s.t.D(p;0)=D_0\left(p\right)---\left(1\right)$

式(4)中，t表示深度图像进行各向异性扩散的时刻，D(p;t)表示深度图像的像素点p在t时刻的深度值，W(p;t)表示深度图像的像素点p在t时刻的扩散系数，D₀(p)表示深度图像的像素点p在初始深度图像中的深度值。本发明希望求解得到t趋向于无穷大时，深度图像中每个像素点D(p;t)的值。

将深度图像以图的形式表示为G＝(V,E)，其中V表示深度图中的像素点集合，而E表示像素间的四邻域连接关系集合。E中的每一条的连接关系在本发明中被赋予一个扩散系数，该扩散系数使得深度在彩色图像中相似的两个像素点之间扩散系数较高，而深度在彩色图像中不相似的两个像素点之间扩散系数较低。当深度图像所有像素点的扩散系数不随时间变化且各向异性扩散达到稳定状态的条件下，可将如式(1)所示的各向异性扩散方程转换为的随机行走模型，在引入初始深度图像的条件下，进一步将该问题转换为求解线性方程组的问题。

本发明基于理论推导所提出的深度图像增强方法以与深度图像对应的彩色图像作引导，基于深度图像的已知深度区域，完成对深度图像的深度缺失区域的填充。其步骤如图2所示，本发明在实施过程中的深度图像通过激光雷达获得，彩色图像通过摄像机进行采集，通过Matlab实现本发明的算法。具体实施方式如下所述：

步骤1）利用摄像机拍摄得到彩色图像，并用深度获取设备得到相同场景的深度信息，进而将深度信息映射到彩色图像坐标系得到深度图像，将两幅图像中具有相同行列位置的像素点进行一一对应；

激光雷达所获的深度信息可利用激光雷达坐标系到彩色图像坐标系之间的旋转平移关系得到与彩色图像对应的像素点数长宽相同的深度图像。在深度图像中，激光点以离散稀疏的形式呈现，如图1所示。图1中由黑色边框展示的矩形图像内的黑色小点代表有深度信息的区域，其他白色区域代表深度缺失区域。

步骤2）将深度图像中深度缺失的像素点的值设为0；

步骤3）对经步骤二处理的深度图像进行逐列扫描，如图3所示。在图3中，每个方形代表一个像素点，以图3中1,2,3,4,5的扫描顺序对每列的深度值进行提取，最终可得到含有25个元素的列向量。而在实际应用中，针对一副深度图像可得到含有N个元素的列向量b，其中N表示深度图像的像素点个数，该像素点个数可由深度图像的宽度像素点乘以高度像素点个数得到。

在Matlab软件中通过reshape(Depth,N,1);语句来完成对深度图像的逐列扫描，其中Depth代表经过步骤二处理的深度图像。

步骤4）构建一个大小为N×N的矩阵M，矩阵M的第i行、第j列元素Μ_ij的表达式如式(2)所示：

其中σ表示衡量颜色相似性大小的参数，其一般可取作10，I_i为b中的第i个元素b_i所对应的彩色图像像素点的RGB三通道颜色值，I_j为b中的第j个元素b_j所对应的彩色图像像素点的RGB三通道颜色值；由于b中的每个元素对应于深度图像中的一个像素点，而根据步骤一所述深度图像中点的每个像素点对应于彩色图像中的一个像素点，因此b中的每个元素也对应于彩色图像中的一个点。b_i,b_j对应的像素点相邻与否根据基于图像处理领域中的四邻域概念判断；式(2)中||I_i-I_j||²用式(3)进行计算

||I_i-I_j||²＝(R_i-R_j)²+(G_i-G_j)²+(B_i-B_j)²    (3)

其中，R_i为b_i所对应的彩色图像像素点的R通道的值，R_j为b_j所对应的彩色图像像素点的R通道的值；G_i为b_i所对应的彩色图像像素点的G通道的值，G_j为b_j所对应的彩色图像像素点的G通道的值；B_i为b_i所对应的彩色图像像素点的B通道的值，B_j为b_j所对应的彩色图像像素点的B通道的值。

在Matlab软件中可以采用For语句循环的方式将彩色图像中所有相邻像素点的||I_i-I_j||²计算得到，随后再对矩阵M中的每个非零元素进行赋值，得到稀疏的矩阵M。

步骤5）构建一个大小为N×N的矩阵A，矩阵A的第i行、第j列元素A_ij的表达式如式(4)所示：

式(4)中，L表示一个N×N的单位矩阵，单位矩阵在对角线上的元素均为1，L_ij表示矩阵L的第i行、第j列元素；

在Matlab软件中矩阵A的获得是一个对矩阵元素的进行赋值操作。

步骤6）求解如式(5)所示的线性方程组，得到含有N个元素的列向量Y的解：

AY＝b    (5)

在如式(5)所示的线性方程组中，矩阵A是一个稀疏的正定对称矩阵，要得到Y的解是一个求解大型稀疏线性方程组的问题。

在Matlab软件中通过Y=A\b得到Y的解。在本发明中，含有N个元素的向量Y的每个元素都根据向量b中的已知深度和彩色图像中的颜色信息以求解线性方程组的方式推算得到了一个合理的深度估计结果。

步骤7）利用Y完成对与深度图像同尺寸矩阵的逐列赋值，得到深度图像增强结果。此时得到的深度图像增强结果中深度缺失区域已被填充完成。

在Matlab软件中使用result=full(reshape(Y,height,width))语句得到最终的深度图像增强结果，在该语句中height代表图像的高度像素值个数，而width代表图像的宽度像素值个数，result代表最终完成对未知区域填充的深度图像。

Claims (3)

1.一种基于各向异性扩散的深度图像增强方法，其特征在于：以与深度图像对应的彩色图像作引导，基于深度图像的已知深度区域，完成对深度图像的深度缺失区域的填充；该方法具体步骤如下：

步骤1）利用摄像机拍摄得到彩色图像，并利用深度传感器得到相同场景的深度信息，进而将深度信息映射到彩色图像坐标系得到深度图像，将两幅图像中具有相同行列位置的像素点进行一一对应；

步骤2）将深度图像中深度缺失的像素点的值设为0；

步骤3）对经步骤2）处理的深度图像进行逐列扫描，得到含有N个元素的列向量b，其中N表示深度图像的像素点个数；

步骤4）构建一个大小为N×N的矩阵M，矩阵M的第i行、第j列元素Μ_ij的表达式如式(1)所示：

其中σ表示衡量颜色相似性大小的参数，I_i为b中的第i个元素b_i所对应的彩色图像像素点的RGB三通道颜色值，I_j为b中的第j个元素b_j所对应的彩色图像像素点的RGB三通道颜色值，b_i与b_j对应的像素点是否相邻通过四邻域的概念进行判断；

步骤5）构建一个大小为N×N的矩阵A，矩阵A的第i行、第j列元素A_ij的表达式如式(2)所示：

式(2)中，L表示一个N×N的单位矩阵，L_ij表示矩阵L的第i行、第j列元素；

步骤6）求解如式(3)所示的线性方程组，得到含有N个元素的列向量Y的解：

AY＝b    (3)

步骤7）利用列向量Y完成对与深度图像同尺寸矩阵的逐列赋值，得到深度图像增强结果。

2.根据权利要求1所述的一种基于各向异性扩散的深度图像增强方法，其特征在于：所述式(1)中||I_i-I_j||²用式(4)进行计算

||I_i-I_j||²＝(R_i-R_j)²+(G_i-G_j)²+(B_i-B_j)²    (4)

其中，R_i为b_i所对应的彩色图像像素点的R通道的值，R_j为b_j所对应的彩色图像像素点的R通道的值；G_i为b_i所对应的彩色图像像素点的G通道的值，G_j为b_j所对应的彩色图像像素点的G通道的值；B_i为b_i所对应的彩色图像像素点的B通道的值，B_j为b_j所对应的彩色图像像素点的B通道的值。

3.根据权利要求1所述的一种基于各向异性扩散的深度图像增强方法，其特征在于：所述式(3)通过对线性方程组的求解软件得到列向量Y的解。

Images