CN108399632B - 一种联合彩色图像的rgb-d相机深度图像修复方法 - Google Patents

Abstract

本发明涉及一种联合彩色图像的RGB‑D相机深度图像修复方法，属于深度图像修复领域。该方法包括：采用张氏标定法对彩色、深度摄像头进行标定，获取相机的内外参数；根据小孔成像原理以及坐标变换实现彩色、深度摄像头坐标对齐；分别获取场景彩色、深度图像，采用深度阈值法将其二值化；判断空洞连通域的大小以确定存在空洞；进行膨胀操作获取空洞邻域；计算空洞领域像素点的深度值方差，根据其大小将空洞分为遮挡、平面内空洞；分别采用颜色一致性和领域相似性对两类空洞进行修复；对修复后的图像采用局部滤波法进行滤波，去除噪声。本发明在保证深度图像修复的同时，尽可能的保持了深度图像的原始信息，并提高了深度图像的修复效率。

Description

一种联合彩色图像的RGB-D相机深度图像修复方法

技术领域

本发明属于深度图像修复领域，涉及一种联合彩色图像的RGB-D深度图像修复方法。

背景技术

随着视觉技术的发展，越来越多种类的摄像头被应用于显示场景中，例如：普通彩色相机用于人脸识别，CCD相机用于障碍物检测，Kinect用于人体骨骼跟踪等。普通二维平面相机能够获取场景二维信息，对于三维显示空间而言，二维平面相机显然无法满足现实应用需求，虽然可以利用两个或多个二维平面相机组合使用可实现场景三维信息获取，但其使用不方便且计算量大。这一情况随着RGB-D相机的出现初步得到改善，例如微软发布的Kinect，在获取场景彩色图像的同时非常方便的获取深度信息。随着微软Kinect(natal)的发展，深度摄像头吸引越来越多人的目光，深度摄像头可以用在人体跟踪，三维重建，人机交互，SLAM等领域。但由于RGB-D相机获取的深度图像一般含有较多的空洞，无法将深度信息直接适用于现实应用中，这极大地影响了RGB-D相机的应用范围。

因此，亟需一种有效的深度图像修复方法来解决RGB-D获取的深度图像信息存在空洞而无法直接使用的问题。

发明内容

有鉴于此，本发明的目的在于提供一种联合彩色图像的RGB-D相机深度图像修复方法，针对RGB-D获取的深度图像信息存在空洞而无法直接使用的问题，提出一种有效的深度图像修复方法。

为达到上述目的，本发明提供如下技术方案：

一种联合彩色图像的RGB-D相机深度图像修复方法，包括以下步骤：

S1：采用经典的张氏标定法对彩色摄像头和深度摄像头进行标定，获取相机的内外参数；

S2：根据小孔成像原理以及坐标变换实现彩色摄像头和深度摄像头坐标对齐；

S3：分别获取场景彩色图像和深度图像，根据深度阈值法将深度图像进行二值化；

S4：判断深度图像空洞连通域的大小以确定存在空洞；

S5：对深度图像进行膨胀操作获取空洞邻域；

S6：计算空洞领域像素点的深度值方差，根据方差的大小将空洞分为遮挡空洞和平面内空洞；

S7：根据不同的空洞类型分别采用颜色一致性和领域相似性对两类空洞进行修复；

S8：对修复后的图像采用局部滤波的方法进行滤波，在保证深度值原始性的同时去除噪声。

进一步，所述步骤S2具体包括以下步骤：

S21：经步骤S1得到彩色相机的旋转矩阵R_rgb和平移向量T_rgb，深度相机的旋转矩阵R_ir和平移向量T_ir；设P为世界坐标系下的一点，P_rgb与P_ir分别为P在彩色相机和深度相机下的投影坐标点，由小孔成像模型得到关系式：

P_rgb＝R_rgbP+T_rgb

P_ir＝R_irP+T_ir

S22：设p_rgb和p_ir分别为该点在RGB像平面和深度像平面上的投影坐标，由相机的内参矩阵A_rgb和A_ir得到：

p_rgb＝A_rgbP_rgb

p_ir＝A_irP_ir

S23：深度摄像头的坐标和RGB摄像头的坐标不同，P_rgb和P_ir用一个旋转矩阵R和一个平移矩阵T联系起来，二者的关系为：

P_rgb＝RP_ir+T

S24：由S21等式消去P得到：

S25：联立S23和S24等式对应项相等得到R和T：

S26：联立S22和S23等式，最终得到彩色图像像素点与深度图像像素点的对应关系为：

进一步，所述步骤S3具体包括以下步骤：

S31：根据对齐后的彩色相机和深度相机同时获取场景图像；

S32：对原始深度数据进行量化，将深度值转换到灰度级0～255，量化公式如下：

其中depth为量化后的深度值，D_p为每个像素点的深度值，D_max为最大深度值；

S33：对获取的深度图像根据深度阈值法进行二值化，公式表达如下：

其中I(x,y)是二值化后的图像，depth(x,y)代表像素点量化后的深度值，D_thr为二值化深度阈值。

进一步，所述步骤S4具体包括：经过S3二值化处理后，判断空洞连通域的大小，以区分时空洞和噪声点；若连通域判断是空洞，则继续后续的处理；若不是，则不进行后续的处理。

进一步，所述步骤S5具体包括以下步骤：

S51：对S4判断出的空洞进行膨胀操作H_ep；

S52：获取空洞领域H_np，表达式如下：

H_np＝H_ep-H_o

其中H_o为空洞区域。

进一步，所述步骤S6具体包括以下步骤：

S61：根据S5获取的空洞邻域，计算邻域内像素点量化后深度值的方差Δ_depth，计算公式如下：

其中D_i表示空洞领域内i像素点的深度值，

表示空洞领域深度值均值，i表示像素点编号，N表示空洞邻域像素点总个数；

S62：利用S61计算得到的邻域方差Δ_depth与空洞判断阈值Δ_th相比较，若空洞邻域深度方差Δ_depth小于Δ_th则判断为平面内空洞，若大于等于Δ_th则判断为遮挡空洞。

进一步，所述步骤S7具体包括：对于判断为平面内空洞，即该空洞为物体平面内由于不反射红外光而产生的空洞，由于是存在于一个平面内，该空洞区域的深度值与其邻域像素点的深度相似，利用领域像素点深度值对齐进行修补；而对于判断为遮挡空洞，是由于物体相互遮挡而产生的空洞，对于这类空洞修复则利用彩色图像进行修复，即找出空洞邻域内与空洞区域内彩色图像颜色较为接近的像素点的深度值进行修复。

进一步，所述步骤S8具体包括：由于经过S7修复后的空洞仍存在细小噪声，为了尽可能保证深度数据的原始性，同时能够去除噪声，采用局部上边滤波方法进行图像滤波。

本发明的有益效果在于：本发明根据空洞邻域方差阈值法将空洞分为两类，联合彩色图像分别采用领域相似性和颜色一致性进行空洞修复，空洞修复后的图像采用局部滤波的方法去除噪声。相比传统的采用双边滤波算法的粗暴修复方法，本发明在保证深度图像修复的有效性同时尽可能的保证了深度图像信息的原始性。

附图说明

为了使本发明的目的、技术方案和有益效果更加清楚，本发明提供如下附图进行说明：

图1为本发明的***流程图；

图2为空洞邻域计算原理图；

图3为遮挡空洞形成的原理图。

具体实施方式

下面将结合附图，对本发明的优选实施例进行详细的描述。

图1为本发明的***流程图，如图1所示，一种联合彩色图像的RGB-D相机深度图像修复方法，首先要实现彩色相机与深度相机坐标的对齐，根据深度阈值法对量化后的深度图像进行二值化，通过膨胀操作获取空洞邻域，计算邻域方差以判断空洞类型，对于不同的空洞分别采用领域相似性和颜色一致性进行修复，最后采用局部双边滤波法进行图像滤波。

该方法具体包括以下步骤：

S1：采用经典的张氏标定法对彩色摄像头和深度摄像头进行标定，获取相机的内外参数；

S2：根据小孔成像原理以及坐标变换实现彩色摄像头和深度摄像头坐标对齐；

S3：分别获取场景彩色图像和深度图像，根据深度阈值法将深度图像进行二值化；

S4：判断深度图像空洞连通域的大小以确定存在空洞：经过S3二值化处理后，判断空洞连通域的大小，以区分时空洞和噪声点；若连通域判断是空洞，则继续后续的处理；若不是，则不进行后续的处理。

S5：对深度图像进行膨胀操作获取空洞邻域；

S6：计算空洞领域像素点的深度值方差，根据方差的大小将空洞分为遮挡空洞和平面内空洞；

S7：根据不同的空洞类型分别采用颜色一致性和领域相似性对两类空洞进行修复；

对于判断为平面内空洞，即该空洞为物体平面内由于不反射红外光而产生的空洞，由于是存在于一个平面内，该空洞区域的深度值与其邻域像素点的深度相似，利用领域像素点深度值对齐进行修补；而对于判断为遮挡空洞，是由于物体相互遮挡而产生的空洞，如图3所示，对于这类空洞修复则利用彩色图像进行修复，即找出空洞邻域内与空洞区域内彩色图像颜色较为接近的像素点的深度值进行修复。

S8：对修复后的图像采用局部滤波的方法进行滤波，在保证深度值原始性的同时去除噪声；

由于经过S7修复后的空洞仍存在细小噪声，为了尽可能保证深度数据的原始性，同时能够去除噪声，采用局部上边滤波方法进行图像滤波。

步骤S2具体包括以下步骤：

S21：经步骤S1得到彩色相机的旋转矩阵R_rgb和平移向量T_rgb，深度相机的旋转矩阵R_ir和平移向量T_ir；设P为世界坐标系下的一点，P_rgb与P_ir分别为P在彩色相机和深度相机下的投影坐标点，由小孔成像模型得到关系式：

P_rgb＝R_rgbP+T_rgb

P_ir＝R_irP+T_ir

S22：设p_gbr和p_ir分别为该点在RGB像平面和深度像平面上的投影坐标，由相机的内参矩阵A_rgb和A_ir得到：

p_rgb＝A_rgbP_rgb

p_ir＝A_irP_ir

S23：深度摄像头的坐标和RGB摄像头的坐标不同，P_rgb和P_ir用一个旋转矩阵R和一个平移矩阵T联系起来，二者的关系为：

P_rgb＝RP_ir+T

S24：由S21等式消去P得到：

S25：联立S23和S24等式对应项相等得到R和T：

S26：联立S22和S23等式，最终得到彩色图像像素点与深度图像像素点的对应关系为：

步骤S3具体包括以下步骤：

S31：根据对齐后的彩色相机和深度相机同时获取场景图像；

S32：对原始深度数据进行量化，将深度值转换到灰度级0～255，量化公式如下：

其中depth为量化后的深度值，D_p为每个像素点的深度值，D_max为最大深度值；

S33：对获取的深度图像根据深度阈值法进行二值化，公式表达如下：

其中I(x,y)是二值化后的图像，depth(x,y)代表像素点量化后的深度值，D_thr为二值化深度阈值。

步骤S5具体包括以下步骤：

S51：对S4判断出的空洞进行膨胀操作H_ep；

S52：获取空洞领域H_np，表达式如下：

H_np＝H_ep-H_o

其中H_o为空洞区域。如图2所示，采用3×3的“十”字形结构元素对空洞进行膨胀操作，把膨胀后的图像减去原始空洞图像即可得到空洞邻域。

步骤S6具体包括以下步骤：

S61：根据S5获取的空洞邻域，计算邻域内像素点量化后深度值的方差Δ_depth，计算公式如下：

其中D_i表示空洞领域内i像素点的深度值，

表示空洞领域深度值均值，i表示像素点编号，N表示空洞邻域像素点总个数；

S62：利用S61计算得到的邻域方差Δ_depth与空洞判断阈值Δ_th相比较，若空洞邻域深度方差Δ_depth小于Δ_th则判断为平面内空洞，若大于等于Δ_th则判断为遮挡空洞。

最后说明的是，以上优选实施例仅用以说明本发明的技术方案而非限制，尽管通过上述优选实施例已经对本发明进行了详细的描述，但本领域技术人员应当理解，可以在形式上和细节上对其作出各种各样的改变，而不偏离本发明权利要求书所限定的范围。

Claims (5)

1.一种联合彩色图像的RGB-D相机深度图像修复方法，其特征在于，该方法包括以下步骤：

S1：采用经典的张氏标定法对彩色摄像头和深度摄像头进行标定，获取相机的内外参数；

S2：根据小孔成像原理以及坐标变换实现彩色摄像头和深度摄像头坐标对齐；具体包括以下步骤：

S21：经步骤S1得到彩色相机的旋转矩阵R_rgb和平移向量T_rgb，深度相机的旋转矩阵R_ir和平移向量T_ir；设P为世界坐标系下的一点，P_rgb与P_ir分别为P在彩色相机和深度相机下的投影坐标点，由小孔成像模型得到关系式：

P_rgb＝R_rgbP+T_rgb

P_ir＝R_irP+T_ir

S22：设p_rgb和p_ir分别为该点在RGB像平面和深度像平面上的投影坐标，由相机的内参矩阵A_rgb和A_ir得到：

p_rgb＝A_rgbP_rgb

p_ir＝A_irP_ir

S23：深度摄像头的坐标和RGB摄像头的坐标不同，P_rgb和P_ir用一个旋转矩阵R和一个平移矩阵T联系起来，二者的关系为：

P_rgb＝RP_ir+T

S24：由S21等式消去P得到：

S25：联立S23和S24等式对应项相等得到R和T：

S26：联立S22和S23等式，最终得到彩色图像像素点与深度图像像素点的对应关系为：

S3：分别获取场景彩色图像和深度图像，根据深度阈值法将深度图像进行二值化；

S4：判断深度图像空洞连通域的大小以确定存在空洞；

S5：对深度图像进行膨胀操作获取空洞邻域；S6：计算空洞领域像素点的深度值方差，根据方差的大小将空洞分为遮挡空洞和平面内空洞；具体包括以下步骤：

S61：根据S5获取的空洞邻域，计算邻域内像素点量化后深度值的方差Δ_depth，计算公式如下：

其中D_i表示空洞领域内i像素点的深度值，

表示空洞领域深度值均值，i表示像素点编号，N表示空洞邻域像素点总个数，H_np为空洞领域；

S62：利用S61计算得到的邻域方差Δ_depth与空洞判断阈值Δ_th相比较，若空洞邻域深度方差Δ_depth小于Δ_th则判断为平面内空洞，若大于等于Δ_th则判断为遮挡空洞；

S7：根据不同的空洞类型分别采用颜色一致性和领域相似性对两类空洞进行修复；具体包括：对于判断为平面内空洞，即该空洞为物体平面内由于不反射红外光而产生的空洞，由于是存在于一个平面内，该空洞区域的深度值与其邻域像素点的深度相似，利用领域像素点深度值对齐进行修补；而对于判断为遮挡空洞，是由于物体相互遮挡而产生的空洞，对于这类空洞修复则利用彩色图像进行修复，即找出空洞邻域内与空洞区域内彩色图像颜色接近的像素点的深度值进行修复；

S8：对修复后的图像采用局部滤波的方法进行滤波，在保证深度值原始性的同时去除噪声。

2.根据权利要求1所述的一种联合彩色图像的RGB-D相机深度图像修复方法，其特征在于，所述步骤S3具体包括以下步骤：

S31：根据对齐后的彩色相机和深度相机同时获取场景图像；

S32：对原始深度数据进行量化，将深度值转换到灰度级0～255，量化公式如下：

其中depth为量化后的深度值，D_p为每个像素点的深度值，D_max为最大深度值；

S33：对获取的深度图像根据深度阈值法进行二值化，公式表达如下：

其中I(x，y)是二值化后的图像，depth(x,y)代表像素点量化后的深度值，D_thr为二值化深度阈值。

3.根据权利要求1所述的一种联合彩色图像的RGB-D相机深度图像修复方法，其特征在于，所述步骤S4具体包括：经过S3二值化处理后，判断空洞连通域的大小，以区分时空洞和噪声点；若连通域判断是空洞，则继续后续的处理；若不是，则不进行后续的处理。

4.根据权利要求1所述的一种联合彩色图像的RGB-D相机深度图像修复方法，其特征在于，所述步骤S5具体包括以下步骤：

S51：对S4判断出的空洞进行膨胀操作H_ep；

S52：获取空洞领域H_np，表达式如下：

H_np＝H_ep-H_o

其中H_o为空洞区域。

5.根据权利要求1所述的一种联合彩色图像的RGB-D相机深度图像修复方法，其特征在于，所述步骤S8具体包括：由于经过S7修复后的空洞仍存在细小噪声，为了尽可能保证深度数据的原始性，同时能够去除噪声，采用局部滤波方法进行图像滤波。

Images