CN109889799B - 基于rgbir摄像头的单目结构光深度感知方法及装置 - Google Patents

Abstract

本发明提供了一种基于RGBIR摄像头的单目结构光深度感知方法及装置，采用红外激光散斑编码投射器投射红外散斑图像，或利用红外泛光源照射出红外图像，然后用RGBIR摄像头按帧采集RGBIR RAW数据并进行分离，对分离出来的RGB图进行图像信号处理，对红外散斑图进行深度感知解码得到深度值或3D点云，对红外图进行红外图像增强处理，最后可选择输出深度图、RGB图、红外图、RGBD联合数据或XYZRGB点云数据，本发明的装置结构间凑，可获得多种图像信息，包括深度图、RGB图、红外图或点云信息，且无需进行RGBD配准即可获得一一对应的XYZRGB点云数据。

Description

基于RGBIR摄像头的单目结构光深度感知方法及装置

技术领域

本发明属于计算机视觉、人机交互和集成电路技术领域，具体涉及一种基于RGBIR摄像头的单目结构光深度感知方法及装置。

背景技术

当前虚拟世界正无限接近于现实世界，人机交互技术将成为连接虚拟与现实的“桥梁”。随着计算机性能的不断提升，人们也在不断地探索更加简单便捷的方式与机器交流。其中视觉感官则是人类观察、认识、体验的最直接也是最重要的手段。

基于结构光主动视觉的深度感知技术可以获取较为准确的深度信息，且不受环境光的影响、算法和硬件实现相对简单。但目前的结构光深度感知装置中RGB摄像头和IR摄像头是分离的，RGB摄像头可以获得纹理信息，IR摄像头可以获得红外图像和深度信息，两者需要通过同步和RGBD精确配准才能建立一对一的对应关系，参见专利CN204481940U，双目摄像头拍照移动终端，就是利用一RGB彩色摄像头，一IR红外摄像头的双摄像头配置进行深度信息获取。但由于装配精度、标定精度和使用过程的影响，往往很难实现远近不同距离的RGB图像素与深度图或3D点云能一一对应。

发明内容

鉴于此，本发明提供了一种基于RGBIR摄像头的单目结构光深度感知方法及装置，采用红外激光散斑编码投射器投射红外散斑图像，或用红外泛光源照射出红外图像，用单一的RGBIR摄像头采集RGBIR图，深度感知解码模块对输入的RGBIR RAW数据进行分离，包括RGB图、IR图(红外散斑图或红外图)，其中对RGB图进行传统图像信号处理(Image SignalProcessing，ISP)，对红外散斑图进行深度感知解码得到深度值或3D点云，对红外图则进行红外图像增强处理，最后可选择输出深度图、RGB图、红外图、RGBD联合数据或XYZRGB点云数据。

为实现以上发明目的，本发明提供了一种基于RGBIR摄像头的单目结构光深度感知方法，具体地包括以下步骤：

步骤1：RGBIR图像投射，利用红外激光散斑编码投射器投射红外散斑图像或利用红外泛光源照射出红外图像到目标物体或投射空间上；

步骤2：RGBIR图像采集，利用单一RGBIR摄像头将步骤1发出的红外散斑图像或者红外图像，和可见光RGB图像一起采集进来，获得RGBIR RAW数据；

步骤3：RGBIR图像分离，将步骤2采集到的RGBIR RAW数据进行图像分离，形成RGB图像，红外散斑图像或红外图像，为后面各自的图像处理做好准备；

步骤4：分离后图像处理，将分离出来的RGB图像进行常规信号处理ISP，分离出来的红外图像进行红外增强处理，分离出来的红外散斑图则进行深度感知解码，其处理过程包括：预处理，图像旋转，块匹配，深度计算，后处理，三维点云生成；

步骤5：数据选择输出，将经过图像信号处理后的RGB图像、红外图像、深度图或点云进行选择性的输出，可选择输出深度图，RGB图像，红外图像，RGBD数据或者XYZRGB点云数据。

此外，本发明还提供了一种基于RGBIR摄像头的单目结构光深度感知装置，具体包括：RGBIR图像产生模块，RGBIR图像采集模块，RGBIR图像分离模块，RGBIR图像处理模块，和选择输出模块：

RGBIR图像产生模块，用于通过红外激光散斑编码投射器投射出红外散斑图像到目标物体或投射空间，或利用红外泛光源照射出红外图像；

RGBIR图像采集模块，用于利用单一RGBIR摄像头将红外激光散斑编码投射器投射的所述红外散斑图像或红外泛光源照射出的所述红外图像，和可见光RGB图像一起采集进来，获得RGBIR RAW数据；RGBIR图像分离模块，用于将采集到的RGBIR RAW数据进行图像分离，形成RGB图像，红外散斑图像或红外图像，分离后的RGB图像、红外散斑图像或红外图像可进行存储或分别送给后续模块进行处理；

RGBIR图像处理模块，用于对RGB图像和红外散斑图像，或者红外图像分别处理；

选择输出模块，用于将经过处理后的RGB图像、红外图像、深度图或点云进行选择性的输出，可选择输出深度图，RGB图像，红外图像，RGBD数据或者XYZRGB点云数据。

本发明采用了单目RGBIR摄像头统一采集图像，并对图像分离，最后对分离后的RGB图像和IR图像(红外散斑图像或红外图像)分别处理再融合配准，相比其他现有技术中的双目摄像头结构光深度感知装置，本发明的单目结构光深度感知装置可以减少装配精度、标定精度和使用过程的影响，并且可以实现远近不同距离的RGB图像素与深度图或3D点云一一对应。

此外，本发明对分离后的红外图像采用了改进的红外图像增强方法，可以对红外图像的噪声进行去除，而且很好的保护图像的边缘，轮廓等细节。在对分离后红外散斑图像进行处理的时候，本发明还会对图像进行旋转操作，从而使图像方便的读取和储存，解决实际使用中摄像头因为人们的需要而进行旋转时，数据按图像的短边进行读取，会破坏图像的数据结构的问题。上述的多个有益效果将通过以下实施例的阐述而得到具体的体现。

附图说明

图1是基于RGBIR摄像头的单目结构光深度感知装置结构框架图；

图2是基于RGBIR摄像头的单目结构光深度感知方法流程图；

图3是RGB图像的图像信号处理ISP流程图；

图4是红外散斑图的深度感知解码框架图；

图5是新型鱼眼校正模块框架图；

图6(a)和图6(b)是图像旋转参考图。

具体实施方式

下面结合附图1-6对本发明进行进一步的详细说明。

图1是一种基于RGBIR摄像头的单目结构光深度感知装置的结构框架图，该深度感知装置包括RGBIR图像产生模块，RGBIR图像采集模块，RGBIR图像分离模块，RGBIR图像处理模块，和选择输出模块。

RGBIR图像产生模块是利用红外激光散斑编码投射器投射红外散斑图像或利用红外泛光源照射出红外图像，并利用RGBIR摄像头投射出可见光RGB图像。

RGBIR图像采集模块是利用单一RGBIR摄像头将红外激光散斑编码投射器投射的红外散斑图像或红外泛光源照射出的红外图像，和可见光RGB图像一起采集进来，获得RGBIR RAW数据。所述的RGBIR摄像头、红外激光散斑编码投射器或红外泛光源处于同一基线上排列，水平排列或垂直排列。

RGBIR图像分离模块是将采集到的RGBIR RAW数据进行图像分离，具体地，可以利用滤光片等现有装置将RGBIR RAW数据分离，形成RGB图像，红外散斑图像或红外图像，分离后的RGB图像、红外散斑图像或红外图像可进行存储并/或分别送给后续模块进行处理。

RGBIR图像处理模块是将RGBIR图像分离模块分离出的RGB图像，红外散斑图像/或红外图像分开进行图像处理。其中，对RGB图像进行传统的图像信号处理ISP处理，对红外图像进行红外图像增强处理，对红外散斑图像的处理则包括：预处理，图像旋转，块匹配，深度计算，后处理，三维点云生成等处理操作。红外图像增强处理的具体方法和对红外散斑图像的处理具体操作的见后详述。

选择输出模块是将经过ISP处理的RGB图像，经过红外图像增强处理的红外图像，以及经过预处理，图像旋转，块匹配，深度计算，后处理，三维点云生成的红外散斑图像进行选择输出。RGB图像经过ISP处理后能够得到效果良好的RGB彩色图，与此同时红外散斑图像通过预处理，图像旋转，块匹配之后再通过结构光单目计算公式得到图像深度值D，结合深度值D和内外相机标定参数三维重建得到XYZ数据。而RGB图像可以用来对点云配准或者进行选择输出。选择输出模块根据不同的需求可选择输出深度图、RGB图像、红外图像、RGBD数据或XYZRGB数据。

图2是本发明的基于RGBIR摄像头的单目结构光深度感知方法的流程图，为了更加详细清楚的解释该方法，下面将结合图2-6来描述该方法。

步骤1：接通电源让电源驱动正常工作，使红外激光散斑编码投射器发出红光。进一步地，红外激光散斑编码投射器射出准直后的激光束，通过光学衍射元件(DOE)进行散射，进而得到所需的红外散斑图。在另一个实施例中，也可以利用红外泛光源照射出红外图像。同时驱动RGBIR摄像头，使RGBIR摄像头投射出RGB彩色图。

步骤2：利用RGBIR摄像头将红外激光散斑编码投射器投射的红外散斑图像或红外泛光源照射出的红外图像，和由RGBIR摄像头投射出的RGB彩色图按帧采集，获得RGBIR RAW数据。

步骤3：将经过步骤2采集到的RGBIR RAW数据进行图像分离，对分离后的红外散斑图像或红外图像和RGB彩色图进行分开读取和储存。RGB彩色图，红外散斑图像或红外图像进行分离后，为后面的图像处理做好准备。

步骤4：将经过图像分离得到的RGB彩色图和红外散斑图像或红外图像分别进行图像处理。

(1)对RGB彩色图进行图像信号处理ISP处理。具体的处理方式如图3所示。通过对前端图像传感器输出的信号做后期处理，对图像进行线性纠正、噪声去除、坏点去除的作用，从而得到效果良好的RGB彩色图。

(2)对红外散斑图像进行如下步骤的图像处理操作，见图4所示：

预处理。本发明采用鱼眼校正的方法把输入的畸变，图像进行校正。如图5所示，利用DDR、QPI Flash的外部存储功能，存储畸变图像坐标与理想图像坐标的位移差值，然后与实时图像坐标同步运算，达到鱼眼畸变校正的目的，很好的满足实时性处理要求。将经过鱼眼校正的图像采用平均值法将彩色图像转换为灰度图，然后利用阈值转化算法将灰度图转化为黑白图，接着使用梯度锐化法使图像更加清晰便于分析。

图像旋转。现有技术中对图像进行读取是按行进行读取的，也就是按图像的长边进行读取，而实际操作中摄像头经常会随着人们的需要而进行旋转，此时图像如果不进行旋转就会按图像的短边进行读取，从而破坏了图像的数据结构。图像旋转是为了更方便的进行图像的读取和储存。本发明中当摄像头进行旋转的时候，此时图像传感器会给图像处理模块一个信号，从而在图像处理的时候进行图像旋转，否则不旋转。图6(a)和图6(b)是图像旋转参考图，现有的图像信息的读取方式为从第一行1，2，3，4开始读取和存储，如图6(a)所示。图6(b)是图6(a)经过顺时针旋转90度后图像的读取方式，此时图像从第一行9，5，1开始读取和储存。

块匹配。输入红外散斑图像与已固化的参考散斑图像进行块匹配运动估计，通过块匹配相似度比较计算，按图像块方式得到输入红外散斑图像中的每个像素点与参考散斑图像中的最优匹配块中心点之间的偏移量，即运动估计矢量。其中，所述的参考散斑图像是作为参考比较基准，事先投射到与红外散斑编码图案投射器的光轴垂直的平面上采集并经相同的预处理得到，其离投射器的垂直参考距离d是已知的。

深度计算。根据结构光单目深度计算公式获得红外散斑图像每个像素点对应的深度值信息，计算公式如下：

其中f是摄像机的焦距，s是基线，d是参考距离，Δx是偏移量，μ为像素大小，dis为深度值。

后处理。对经过深度计算得到的深度图像进行后处理。对深度图像进行去噪，平滑，和空洞修补。去噪平滑：减少误匹配、边缘空洞带来的噪声，可采用时空3D去噪或采用滑动窗去噪平滑、插值的方式。空洞修补：采用双边滤波器进行空洞修补，作为一种非线性滤波器，能将空间距离考虑进去，不但能去除噪声，还能保持图像的边缘，同时，它对缺失的深度值也能进行填充。

点云生成。三维点云生成是将深度图的像素坐标转换到空间坐标。结合P_d＝dis·In_d ^-1·p_d其中p_d＝[i_d，j_d，1]^T表示深度图像素点的齐次坐标，In_i表示深度感知器DepthSensor的内参矩阵，dis表示每个点到摄像头的距离值。

(3)对红外图像进行红外图像增强处理。

如果采用传统的红外图像增强技术，不能很好的对红外图像的噪声进行去除，而且无法很好的保护图像的边缘，轮廓等细节，不能很好实现对红外图像增强的效果。本发明除了可以应用传统红外图像增强处理外，也提供了一种改进的直方图均衡算法，对比起现有技术的图像增强技术，可以使图像的对比度得到很大的提升，并且比较好的对目标，背景，噪声等信号进行调节，突出了目标的灰度级，提升了目标灰度空间，保护了大量细节，使红外图得到很好的增强效果。

具体步骤如下：

步骤s1：分析加权直方图，剔除零单元，剩下的单元保持前后位置关系不变，构成一个集合{N(i)|1≤i≤K}，K为非零单元个数。

步骤s2：求出集合的极大值和最大值。具体地，首先判断M(i-1)＜M(i)并且M(i)＞M(i+1)时，(2≤i≤K-1)，得出极大值，接着再分析M(1)与M(K)。

步骤s3：把上一步骤s2中的值构成另一个集合，{N(i)|1≤i≤L}，L为该集合极大值的个数。

步骤s4：接着对步骤s3中得到的集合{N(i)|1≤i≤L}再进行求极大值和最大值，得到一个新的集合{Z(j)|1≤j≤S}，S为这个新集合的个数，并且S＜L。

步骤s5：求出步骤s4得到的集合{Z(j)|1≤j≤S}的中值

平台阈值

步骤s6：计算出新加权直方图：

其中P_t(k)是新加权直方图，P_r(k)是原来的直方图。图像灰度值在区间[0，255]，0表示黑色，255表示白色，n_k表示数字图像的灰度级k出现的次数，其中，

P_r(k)＝n_k k＝0，1，2……255

步骤s7：计算累积直方图并得出灰度映射。

累积直方图计算公式为：

其中F_t(k)是累积直方图。

灰度映射计算公式为：

R_t(k)是原有k灰度级对应的新灰度级。

通过对直方图均衡化算法的改进，可以使图像的对比度得到很大的提升，并且比较好的对目标，背景，噪声等信号进行调节，突出了目标的灰度级，提升了目标灰度空间，保护了大量细节，使红外图像得到很好的增强效果。

步骤5：将经过图像处理后的RGB图像，红外散斑图像或红外图像进行选择性的输出，可选择输出深度图，RGB图像，红外图像，RGBD数据或者XYZRGB数据。

本发明不仅支持不同种激光源产生的结构光模式，如红外、可见光、紫外线、不可见光等，也可使用不同形状发光元件的投射方案，如圆点状、块状、十字状、条纹状等的。因而在不脱离本发明的精神和范围内的修改和完善，均应包含在上述的权利要求范围内。

Claims (10)

1.一种基于RGBIR摄像头的单目结构光深度感知装置，其特征在于：

该深度感知装置包括：

RGBIR图像产生模块，用于通过红外激光散斑编码投射器投射红外散斑图像或利用红外泛光源照射出红外图像，并通过RGBIR摄像头投射出可见光RGB图像；

RGBIR图像采集模块，用于通过单一RGBIR摄像头将所述红外散斑图像或所述红外图像，和所述可见光RGB图像一起采集，获得RGBIR RAW数据；

RGBIR图像分离模块，将采集到的RGBIR RAW数据进行图像分离，得到分离的RGB图像，红外散斑图像或红外图像；

RGBIR图像处理模块，将RGBIR图像分离模块分离出的RGB图像，红外散斑图像或红外图像分开进行图像处理；

选择输出模块是将经过RGBIR图像处理模块处理后的RGB图像，红外散斑图像或红外图像，进行选择输出。

2.如权利要求1所述的单目结构光深度感知装置，其特征在于：所述红外散斑图像进行的图像处理为预处理，图像旋转，块匹配，深度计算，后处理，三维点云生成。

3.如权利要求1所述的单目结构光深度感知装置，其特征在于：

所述选择输出模块的选择输出，进一步选择输出深度图，RGBD数据，或XYZRGB数据。

4.如权利要求2所述的单目结构光深度感知装置，其特征在于：

所述图像旋转具体为当摄像头进行旋转的时候，图像传感器传给所述RGBIR图像处理模块一个信号，使得图像处理时图像进行旋转，否则不旋转。

5.如权利要求1所述的单目结构光深度感知装置，其特征在于：

所述对红外图像进行的图像处理是红外图像增强操作，具体为：

分析加权直方图，剔除零单元，剩下的单元保持前后位置关系不变，构成一个集合{N(i)|1≤i≤K}，K为非零单元个数；

求出集合N(i)的极大值和最大值；

将上一步骤中的值构成另一个集合，{N(i)|1≤i≤L}，L为该集合极大值的个数；

接着对集合{N(i)|1≤i≤L}再进行极大值和最大值计算，得到一个新的集合{Z(j)|1≤j≤S}，S为这个新集合的个数，并且S＜L；

求出集合{Z(j)|1≤j≤S}的中值

平台阈值

计算出新加权直方图：

其中P_t(k)是新直方图，P_r(k)是原来的直方图，数字图像的灰度级k出现的次数为n_k

P_r(k)＝n_k k＝0，1，2……255

计算累积直方图并得出灰度映射；

累积直方图计算公式为：

灰度映射计算公式为：

Rt(k)是原有k灰度级对应的新灰度级。

6.一种基于RGBIR摄像头的单目结构光深度感知方法，其特征在于：

所述单目结构光深度感知方法包括：

步骤1：接通电源让电源驱动正常工作，使红外激光散斑编码投射器投射出红外散斑图像或利用红外泛光源照射出红外图像，并同时驱动RGBIR摄像头，使RGBIR摄像头投射出RGB彩色图；

步骤2：利用一RGBIR摄像头将所述红外散斑图像或所述红外图像，和所述RGB彩色图按帧采集，获得RGBIR RAW数据；

步骤3：将经过步骤2采集到的RGBIR RAW数据进行图像分离；

步骤4：将经过图像分离得到的RGB彩色图，红外散斑图像或红外图像分别进行图像处理；

步骤5：将经过图像处理后的RGB彩色图，红外散斑图像或红外图像进行选择性的输出。

7.如权利要求6所述的单目结构光深度感知方法，其特征在于：

步骤5中的选择性输出，进一步选择输出深度图，RGBD数据或者XYZRGB数据。

8.如权利要求6所述的单目结构光深度感知方法，其特征在于：

步骤4中的所述对红外散斑图像进行的图像处理是预处理，图像旋转，块匹配，深度计算，后处理，三维点云生成。

9.如权利要求8所述的单目结构光深度感知方法，其特征在于：

所述图像旋转具体为当摄像头进行旋转的时候，图像传感器传给图像处理模块一个信号，使得图像处理时图像进行旋转，否则不旋转。

10.如权利要求6所述的单目结构光深度感知方法，其特征在于：

步骤4中的所述对红外图像进行的图像处理是红外图像增强操作，具体为：

步骤s1：分析加权直方图，剔除零单元，剩下的单元保持前后位置关系不变，构成一个集合{N(i)|1≤i≤K}，K为非零单元个数；

步骤s2：求出集合的极大值和最大值；

步骤s3：把上一步骤s2中的值构成另一个集合，{N(i)|1≤i≤L}，L为该集合极大值的个数；

步骤s4：接着对{N(i)|1≤i≤L}再进行求极大值和最大值，得到一个新的集合{Z(j)|1≤j≤S}，S为这个新集合的个数，并且S＜L；

步骤s5：求出集合{Z(j)|1≤j≤S}的中值

平台阈值

步骤s6：计算出新加权直方图：

其中P_t(k)是新直方图，P_r(k)是原来的直方图，n_k表示数字图像的灰度级k出现的次数，其中P_r(k)＝n_k k＝0，1，2……255

步骤s7：计算累积直方图并得出灰度映射；

累积直方图计算公式为：

灰度映射计算公式为：

R_t(k)是原有k灰度级对应的新灰度级。

Images