CN109903322A - 一种深度摄像头深度图像修复方法 - Google Patents

Abstract

本发明提出一种深度摄像头深度图像修复方法，首先将采集到的深度图像和彩色图像进行配准；通过SLIC超像素分割算法将彩色图像像素点分成一个个像素块；依次扫描深度图像中的每个像素块，若像素块内存在小空洞，则采用快速行进法进行修复，若像素块内存在大空洞，则选取邻近相似像素块，并判别其与待修复超像素块是否同为前景或背景，并选取其中相似度最高的纹理块对待修复超像素块进行填补修复，若大空洞邻近像素块内无有效像素值，则暂不修复；检查深度图像中是否仍存在无效像素点，若存在，则直至所有像素点修复完毕，若不存在，则采用联合双边滤波结合彩色图像对每个存在大空洞的像素块进行修复。该方法能够在保证修复效果的同时提高修复速度。

Description

一种深度摄像头深度图像修复方法

技术领域

本发明涉及一种适用于修复Realsense深度摄像头的深度图像空洞点的算法，属于图像处理技术领域。

背景技术

Realsense深度摄像头是Intel公司在2014年国际消费类电子产品展览会上推出的，以致力于人机交互技术，是全世界首款集成了3D深度模块和2D镜头模块的设备，给予了设备以类似于人眼的视觉深度。本发明采用的是Realsense d435深度摄像头，其深度图像成像原理是结构光原理，通过深度传感器捕捉红外线信号在物体表面的变化从而计算深度值，因其受光照影响小，性价比高，所以被广泛使用。

然而，这种成像原理由于特征匹配失误或反射光线被吸收等原因，深度图像通常存在空洞或深度边缘模糊等现象，不利于进行后续实验，于是要对其深度图像先进行修复工作。到目前为止，许多研究者均对深度图像的修复技术进行了研究，对于深度边缘模糊现象，有研究者提出了利用基于边界保留的滤波技术改善深度图像，还有学者提出了利用基于深度图像上采样的修复算法，然而，均无法对Realsense特有的误差进行有效的修复；对于深度图像存在空洞现象，有研究者提出了利用帧间运动补偿和中值滤波进行黑洞填充，但是没有考虑边界对齐并且当遇到大面积的空洞时会出现深度值修复错误的现象，还有研究者提出改善后的快速行进法，利用彩色图像作为引导信息对空洞进行填充，但是该方法同样无法消除边界周围的干扰深度值，且修复后的物体边缘存在伪影现象。至今为止，国内外对深度图像的修复算法的研究已经颇为成熟，然而却或多或少存在着某些缺陷。

发明内容

本发明的目的是修复Realsense深度摄像头深度图像的空洞和深度边缘模糊等现象，为此提出通过一种超像素分割再填充的方式对深度图像进行修复，克服了现有技术方案的不足，有效的减少了修复时间，提高了修复效率。

本发明采用的技术方案为：一种深度摄像头深度图像修复算法，包括如下步骤：

步骤1，通过深度摄像头实时采集目标场景中深度图像和彩色图像；步骤2，将深度图像和彩色图像的坐标进行配准；步骤3，通过SLIC超像素分割算法将彩色图像像素点分成一个个像素块，并将像素块坐标映射到深度图像中；步骤4，依次扫描深度图像中的每个像素块，若像素块内存在小空洞，则采用快速行进法进行修复，若像素块内存在大空洞，则选取邻近相似像素块，并判别其与待修复超像素块是否同为前景或背景，若同为前景或背景，则选取其中相似度最高的纹理块对待修复超像素块进行填补修复，若大空洞邻近像素块内无有效像素值，则暂不修复；步骤5，检查深度图像中是否仍存在无效像素点，若存在，则继续执行步骤4直至所有像素点修复完毕，若不存在，则采用联合双边滤波结合彩色图像对每个存在大空洞的像素块进行修复。该方法能够在保证修复效果的同时提高修复速度。

进一步，所述步骤3具体包括：

在进行超像素分割的时候，使用lab彩色空间，设定最终分割的超像素个数最大为400个，lab空间距离的最大的可能值为5，设定迭代次数为4次，最终分割后的像素点以像素块形式保存。

进一步，所述步骤4的具体过程为：

步骤4.1，基于快速行进法的小空洞修复：利用深度图像中小空洞区域边界的邻域内的有效像素点，计算出邻域像素点与中心点空间的位置权重和梯度值，随后获得需填补的无效像素点值，算法每次从小空洞的边界开始修复，然后逐层向内进行修复，最终修复完成。

步骤4.2，基于像素块填补法的大空洞修复：若是超像素块内无有效像素点，则先判别超像素块所属区域为前景或背景，然后选取邻近同为前景或背景的没有无效像素点的超像素块，选取其彩色图像内超像素块的纹理，将其分割为一个个小像素块，并与待修复的超像素块边界内优先级最高的待修复像素点周围的小像素块纹理相匹配，选取其中纹理相似度最高的小像素块认作是与待修复的超像素块为同一物体的邻近表面，所以理应深度值相近，然后将纹理相似度最高的小像素块所对应的深度值用作于插值修复优先级最高的待修复像素点周围的小像素块的深度值。

进一步，计算超像素块是否为前景或背景的具体方法是：

首先将超像素块的邻域设定为待修复像素点p周围θ范围内的所有含有效像素点的超像素块，然后计算这些超像素块各自的平均深度值，选取其中最大和最小的深度值分别记作D_BG和D_FG，并计算各自的平均像素值为C_BG和C_FG，定义邻域超像素块分别属于背景和前景的概率E_BG和E_FG为：

其中：C表示一个超像素块的平均像素值；D表示一个超像素块的平均深度值；α、β为自定义常数；

最后选取较大的概率作为超像素块所属前景或背景的概率。

进一步，所述待修复的超像素块边界内优先级最高的待修复像素点周围的小像素块纹理相匹配的具体方法是：

首先计算边界上待修复像素点p的深度优先级P_d:

其中：N_p表示待修复像素点p的邻近像素块；D(p)表示修复像素点p的深度值；ε(p)表示待修复像素点p是否为无效像素点，若是则ε(p)＝0，若不是则ε(p)＝1。

最后选取深度优先级P_d最大的修复像素点p作为最先修复的像素点。

进一步，所述将纹理相似度最高的小像素块所对应的深度值用作于插值修复优先级最高的待修复像素点周围的小像素块的深度值的具体方法是：

先选取小像素块的大小S，随后对小像素块与待修复超像素块内待修复像素点p的邻近像素块N_p进行相似度比较，选取其中相似程度最高的小像素块进行填充修复，其中相似度χ计算方法为：

其中：C_S(p*)和D_S(p*)分别表示小像素块S中任一像素点p*的色彩值和深度值；δ为自定义常数；

然后选取χ(S)最小的小像素块用作修复待修复像素点p的邻近像素块，并扫描待修复超像素块是否仍存在无效像素点，若不存在则表面修复完全，若仍然存在则重新计算优先级最高的待修复像素点，并对其进行修复。

进一步，所述步骤5的联合双边滤波中，深度图像作为输入图，彩色图像被引用作为导向图，使得深度图像中像素的权重不仅与距离有关，还和像素值有关。

本发明的有益效果是：

传统深度图像修复算法通常存在大空洞无法修复，边界不对齐等问题，影响后续深度图像的使用。这里提出了一种通过超像素分割再填充的方式对深度图像进行修复。利用邻近超像素块内的相似纹理块对待修复超像素块进行填充，既可以保证修复的效率，又解决了大空洞难以修复的问题，之后采用联合双边滤波对已修复图像进行再修复，可以解决边缘模糊和边界不对齐的问题，同时只对存在大空洞的超像素块进行滤波，降低了双边滤波的扫描时间，提高了修复的效率。如图2所示，这种通过超像素分割彩色图像，利用邻近相似纹理块填充空洞，最后联合双边滤波修复深度图像的方法，既能有效的处理Realsense深度摄像头在采集深度数据时出现的空洞和边缘模糊现象，又能保证处理图像的实时性，对Realsense深度摄像头的开发和使用提供了有利的帮助。

附图说明

下面结合附图和具体实施方式对本发明做进一步详细说明：

图1是深度图像修复的流程图。

图2为采用本发明的算法修复后的图像。(a)为修复前的图像；(b)为修复后的图像。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

图1为深度图像修复的流程图，其中采用SLIC超像素分割彩色图像，并把每个超像素块对应的坐标映射到深度图像中；小空洞采用快速行进法进行修复，大空洞采用邻近像素块内相似纹理块进行修复；边缘模糊和边界不对齐问题采用联合双边滤波进行修复。

步骤1：通过Realsense深度摄像头实时采集目标场景中深度图像和彩色图像。

步骤2：将深度图像和彩色图像的坐标进行配准。

步骤3：通过SLIC超像素分割算法将彩色图像像素点分成一个个像素块，并将像素块坐标映射到深度图像中。

其中SLIC超像素分割算法主要过程如下：

1)初始化种子点。设定超像素个数，在图像内均匀的分配种子点。

2)筛选种子点。计算该邻域内所有像素点的梯度值，将种子点移到该邻域内梯度最小的地方。

3)分配类标签。在每个种子点周围的邻域内为每个像素点分配类标签。

4)度量颜色、空间距离。对于每个搜索到的像素点，分别计算它和该种子点的颜色距离和空间距离，取最小值对应的种子点作为该像素点的聚类中心。

5)迭代优化。

在进行超像素分割的时候，使用lab彩色空间，设定最终分割的超像素个数最大为400个，lab空间距离的最大的可能值为5，设定迭代次数为4次，最终分割后的像素点以超像素块形式保存。

步骤4：依次扫描深度图像中的每个像素块，若像素块内存在小空洞，则采用快速行进法进行修复，若像素块内存在大空洞，则选取邻近相似像素块，并判别其与待修复超像素块是否同为前景或背景，若同为背景或前景，则选取其中相似度最高的纹理块对待修复超像素块进行插值计算，填充像素点，若大空洞邻近像素块内无有效像素值，则暂不修复。

(1)基于快速行进法的小空洞修复：

利用深度图像中小空洞区域边界的邻域N(p)内的有效像素点p*，计算出邻域像素点与中心点空间的位置权重w(p,p*)和梯度值随后计算得到待修复像素点的像素值C_p，算法每次从小空洞的边界开始修复，然后逐层向内进行修复，最终修复完成。

具体计算公式如下：

其中：邻域像素点与中心点空间的位置权重w(p,p*)被定义为方向参数dir(p,p*)、几何距离参数dst(p,p*)和水平集参数lev(p,p*)的乘积。具体计算公式如下：

w(p,p*)＝dir(p,p*)·dst(p,p*)·lev(p,p*)

其中：方向参数dir(p,p*)将权重大的像素点集中在接近其法线的方向上；几何距离参数dst(p,p*)将权重大的像素点集中在离待修复像素点几何距离较近的区域内；水平集参数lev(p,p*)将权重大的像素点集中在接近待修复像素点所在轮廓的区域内。具体计算公式如下：

其中：T表示像素点与初始修补边界的距离值，在小空洞内满足而所有在小空洞边界上的像素点的T均为0；d₀、T₀为自定义常数。

(2)基于像素块填补法的大空洞修复：

1)邻近超像素块归类。首先判别该像素块所属区域为前景或背景，然后选取邻近同为前景或背景的没有无效像素点的超像素块作为同类像素块。具体计算超像素块是否为前景或背景的方法如下：

首先将超像素块的邻域设定为待修复像素点p周围θ范围内的所有含有效像素点的超像素块，然后计算这些超像素块各自的平均深度值，选取其中最大和最小的深度值分别记作D_BG和D_FG，并计算各自的平均像素值为C_BG和C_FG，定义邻域超像素块分别属于背景和前景的概率E_BG和E_FG为：

其中：C表示一个超像素块的平均像素值；D表示一个超像素块的平均深度值；α、β为自定义常数。

最后选取较大的概率作为超像素块所属前景或背景的概率。

2)确定修复优先级。计算待修复超像素块边界上所有待修复像素点的优先级，选取优先级最高的像素点先进行修复。具体计算边界上待修复像素点p的深度优先级P_d的公式如下：

其中：N_p表示待修复像素点p的邻近像素块；D(p)表示修复像素点p的深度值；ε(p)表示待修复像素点p是否为无效像素点，若是则ε(p)＝0，若不是则ε(p)＝1。

最后选取深度优先级P_d最大的修复像素点p作为最先修复的像素点。

3)相似纹理块填充。选取同类超像素块的彩色图像内超像素块的纹理，将其分割为一个个小像素块，并与待修复的超像素块边界内优先级最高的待修复像素点周围的小像素块纹理相匹配，选取其中纹理相似度最高的小像素块认作是与待修复的超像素块为同一物体的邻近表面，所以理应深度值相近，然后将纹理相似度最高的小像素块所对应的深度值用作于插值修复优先级最高的待修复像素点周围的小像素块的深度值。具体利用邻近超像素块内相似度最高的小像素块对空洞进行填充的方法如下：

先选取小像素块的大小S，随后对小像素块与待修复超像素块内待修复像素点p的邻近像素块N_p进行相似度比较，选取其中相似程度最高的小像素块进行填充修复，其中相似度χ计算方法为：

其中：C_S(p*)和D_S(p*)分别表示小像素块S中任一像素点p*的色彩值和深度值；δ为自定义常数。

然后选取χ(S)最小的小像素块用作修复待修复像素点p的邻近像素块，并扫描待修复超像素块是否仍存在无效像素点，若不存在则表面修复完全，若仍然存在则重新计算优先级最高的待修复像素点，并对其进行修复。

步骤5：检查深度图像中是否仍存在无效像素点，若存在，则继续执行步骤4直至所有像素点修复完毕，若不存在，则采用联合双边滤波结合彩色图像对每个存在大空洞的像素块进行修复。

其中联合双边滤波算法具体计算公式如下：

其中：f是滤波器空域的权重，它将权重大的像素点集中在空间距离小的区域内；g是滤波器值域的权重，它赋予像素值相似的像素点更大的权重；C是深度图像的像素值；是引入的彩色图像的像素值；k_p是自定义常数。

综上，本发明的提出一种深度摄像头深度图像修复算法，包括如下步骤：1、通过Realsense深度摄像头实时采集目标场景中深度图像和彩色图像；2、将深度图像和彩色图像进行配准；3、通过SLIC超像素分割算法将彩色图像像素点分成一个个像素块，并将像素块坐标映射到深度图像中；4、依次扫描深度图像中的每个像素块，若像素块内存在小空洞，则采用快速行进法进行修复，若像素块内存在大空洞，则选取邻近相似像素块，并判别其与待修复超像素块是否同为前景或背景，若同为前景或背景，则选取其中相似度最高的纹理块对待修复超像素块进行填补修复，若大空洞邻近像素块内无有效像素值，则暂不修复；5、检查深度图像中是否仍存在无效像素点，若存在，则继续执行步骤4直至所有像素点修复完毕，若不存在，则采用联合双边滤波结合彩色图像对每个存在大空洞的像素块进行修复。该方法能够在保证修复效果的同时提高修复速度。

Claims (7)

1.一种深度摄像头深度图像修复算法，其特征在于，包括如下步骤：

步骤1，通过深度摄像头实时采集目标场景中深度图像和彩色图像；步骤2，将深度图像和彩色图像的坐标进行配准；步骤3，通过SLIC超像素分割算法将彩色图像像素点分成一个个像素块，并将像素块坐标映射到深度图像中；步骤4，依次扫描深度图像中的每个像素块，若像素块内存在小空洞，则采用快速行进法进行修复，若像素块内存在大空洞，则选取邻近相似像素块，并判别其与待修复超像素块是否同为前景或背景，若同为前景或背景，则选取其中相似度最高的纹理块对待修复超像素块进行填补修复，若大空洞邻近像素块内无有效像素值，则暂不修复。步骤5，检查深度图像中是否仍存在无效像素点，若存在，则继续执行步骤4直至所有像素点修复完毕，若不存在，则采用联合双边滤波结合彩色图像对每个存在大空洞的像素块进行修复。该方法能够在保证修复效果的同时提高修复速度。

2.根据权利要求1所述的一种深度摄像头深度图像修复算法，其特征在于：所述步骤3具体包括：

在进行超像素分割的时候，使用lab彩色空间，设定最终分割的超像素个数最大为400个，lab空间距离的最大的可能值为5，设定迭代次数为4次，最终分割后的像素点以像素块形式保存。

3.根据权利要求1所述的一种深度摄像头深度图像修复算法，其特征在于：所述步骤4的具体过程为：

步骤4.1，基于快速行进法的小空洞修复：利用深度图像中小空洞区域边界的邻域内的有效像素点，计算出邻域像素点与中心点空间的位置权重和梯度值，随后获得需填补的无效像素点值，算法每次从小空洞的边界开始修复，然后逐层向内进行修复，最终修复完成。

步骤4.2，基于像素块填补法的大空洞修复：若是超像素块内无有效像素点，则先判别超像素块所属区域为前景或背景，然后选取邻近同为前景或背景的没有无效像素点的超像素块，选取其彩色图像内超像素块的纹理，将其分割为一个个小像素块，并与待修复的超像素块边界内优先级最高的待修复像素点周围的小像素块纹理相匹配，选取其中纹理相似度最高的小像素块认作是与待修复的超像素块为同一物体的邻近表面，所以理应深度值相近，然后将纹理相似度最高的小像素块所对应的深度值用作于插值修复优先级最高的待修复像素点周围的小像素块的深度值。

4.根据权利要求3所述的一种深度摄像头深度图像修复算法，其特征在于：计算超像素块是否为前景或背景的具体方法是：

首先将超像素块的邻域设定为待修复像素点p周围θ范围内的所有含有效像素点的超像素块，然后计算这些超像素块各自的平均深度值，选取其中最大和最小的深度值分别记作D_BG和D_FG，并计算各自的平均像素值为C_BG和C_FG，定义邻域超像素块分别属于背景和前景的概率E_BG和E_FG为：

其中：C表示一个超像素块的平均像素值；D表示一个超像素块的平均深度值；α、β为自定义常数；

最后选取较大的概率作为超像素块所属前景或背景的概率。

5.根据权利要求3所述的一种深度摄像头深度图像修复算法，其特征在于：所述待修复的超像素块边界内优先级最高的待修复像素点周围的小像素块纹理相匹配的具体方法是：

首先计算边界上待修复像素点p的深度优先级P_d:

其中：N_p表示待修复像素点p的邻近像素块；D(p)表示修复像素点p的深度值；ε(p)表示待修复像素点p是否为无效像素点，若是则ε(p)＝0，若不是则ε(p)＝1。

最后选取深度优先级P_d最大的修复像素点p作为最先修复的像素点。

6.根据权利要求3所述的一种深度摄像头深度图像修复算法，其特征在于：所述将纹理相似度最高的小像素块所对应的深度值用作于插值修复优先级最高的待修复像素点周围的小像素块的深度值的具体方法是：

先选取小像素块的大小S，随后对小像素块与待修复超像素块内待修复像素点p的邻近像素块N_p进行相似度比较，选取其中相似程度最高的小像素块进行填充修复，其中相似度χ计算方法为：

其中：C_S(p*)和D_S(p*)分别表示小像素块S中任一像素点p*的色彩值和深度值；δ为自定义常数；

然后选取χ(S)最小的小像素块用作修复待修复像素点p的邻近像素块，并扫描待修复超像素块是否仍存在无效像素点，若不存在则表面修复完全，若仍然存在则重新计算优先级最高的待修复像素点，并对其进行修复。

7.根据权利要求1所述的一种深度摄像头深度图像修复算法，其特征在于：所述步骤5的联合双边滤波中，深度图像作为输入图，彩色图像被引用作为导向图，使得深度图像中像素的权重不仅与距离有关，还和像素值有关。