CN110009672A - 提升ToF深度图像处理方法、3D图像成像方法及电子设备 - Google Patents

Abstract

本发明公开了一种提升ToF深度图像处理方法，包括：（1）获取TOF相机采集的深度图像和RGB相机采集的两彩色图像；（2）获取深度图像中每个像素的深度误差，依据双目视觉技术计算彩色图像中像素的深度数值；（3）将每个像素的深度误差和彩色图像中对应像素的深度数值之和作为每个像素的最大距离值；（4）依据最大距离值对深度图像进行相位展开以生成与彩色图像分辨率相同的重建深度图像。本发明依据对应像素的误差以及深度数值校正深度图像中每个像素的最大距离值，并以此对深度图像展开生成与彩色图像分辨率一致的重建深度图像，有效解决分辨率采集上的不足，保证深度图像的准确性。本发明还公开了对应的3D图像成像方法以及电子设备、可读存储介质。

Description

提升ToF深度图像处理方法、3D图像成像方法及电子设备

技术领域

本发明涉及一种图像处理方法，尤其涉及一种提升ToF深度图像处理方法、3D图像成像方法及电子设备。

背景技术

ToF技术是通过分析从光源到物体的飞行和返回时间的已知飞行时间的相机***用于提供关于到物体的距离（深度）的信息。ToF技术的基本操作原理是用调制光（例如脉冲）照射场景。诸如这些光脉冲的调制光从场景中的物体反射回来，并且反射光透镜在图像传感器上，特别是在传感器的传感器表面上聚焦在场景中的物体上以形成图像。ToF技术的一个基本应用是三维（3D）图像的拍摄场景，即能够捕获二维信息并同时获取场景深度或距离信息的相机模组。

理论上来讲，如果利用ToF相机***获取一系列的特定场景的不同角度的图像序列，并配合空间点云的匹配技术，既能够还原整个拍摄场景的3D空间信息，进而实现3D重建的效果。

ToF相机***的另一个关键部件是成像传感器。成像传感器通常包括形成场景图像的像素阵列。另外，像素的输出是从照射单元到场景中的物体的光，并且从物体反射回到成像传感器的光可以用于确定飞行时间。但是由于硬件发展的限制，现有的成像传感器普遍单位面积上的像素数量较低，进而限制了ToF相机的尺寸，所以现在多数移动设备上的ToF相机普遍分辨率较低（目前能作为移动设备相机的ToF分辨率最高的也不过320*240）

为此，长春理工大学提出一种ToF相机的深度图像增强方法（CN 106780383 A，ToF相机的深度图像增强方法），属于深度图像处理方法。将深度图像首先进行噪声抑制处理，然后利用图像中的像素间距离和边缘方向信息，对滴分辨率的ToF深度图像进行插值放大。然而，CN 106780383 A提到的技术虽然提高了深度图像的分辨率，但是仅从ToF获取的深度图像本身来进行插值计算，不能解决ToF深度图像根本的辨析度低的问题，原本ToF相机硬件精度导致的深度图像不能体现的细节，依然不能得到改善。

天津大学提出了一种基于主被动融合的高分辨率深度图获取方法(CN 105869167A，基于主被动融合的高分辨率深度图获取方法)，首先对ToF低分辨率深度图进行稀疏式上采样和视差图计算，将ToF相机产生的低分辨率深度图映射到3D场景的世界坐标系，再将三维点投影到与左彩色相机或右彩色相机坐标系形成ToF视差点阵；进行立体匹配和ToF深度融合，计算得到弱纹理区域的视差图、纹理区域的视差图和其他区域的视图差。CN105869167 A虽然能够提升深度图的质量，并且在细节上，尤其是边界区域会有很好的保留和增强，但由于其方法限制，未通过双目差异计算视觉差，不能在深度细节上提升质量；而且，此发明中，未有对色彩与深度点云的融合做计算，所以在模型重建中，对模型的细节表达不足够。

故，急需一种可解决上述问题的深度图像处理方法。

发明内容

本发明的目的是提供一种提升ToF深度图像处理方法以及3D图像成像方法，可有效提升TOF相机在分辨率采集上的不足，获取分辨率高的像素深度图像。

为了实现上有目的，本发明公开了一种提升ToF深度图像处理方法，包括：（1）获取ToF相机采集目标对象生成的一深度图像，获取RGB相机依据双目视觉方式采集所述目标对象生成的两彩色图像；（2）获取所述深度图像中每个像素的深度误差，依据双目视觉技术计算所述彩色图像中像素的深度数值；（3）将所述深度图像中每个像素的深度误差和彩色图像中对应像素的深度数值之和作为深度图像中每个像素的最大距离值；（4）依据所述最大距离值对深度图像进行相位展开以生成与所述彩色图像分辨率相同的重建深度图像。

与现有技术相比，本发明采用双目视觉三角关系计算彩色图像的像素深度数据，依据对应像素的误差以及深度数值校正深度图像中每个像素的最大距离值，并以此对深度图像展开生成与彩色图像分辨率一致的重建深度图像，不但解决了分辨率采集上的不足，还保证了深度图像的准确性。

较佳地，所述步骤（2）中，使用深度图像中预设尺寸的每个窗口中的像素深度计算标准偏差，并将每一窗口中的最小标准偏差作为该窗口中每个像素的深度误差。

较佳地，所述步骤（4）具体为：比较每一像素的最大距离值与相邻像素的最大距离值的相似关系，获得每一像素的最大距离倍数，依据每一像素的最大距离倍数对所述深度图像进行相位展开生成重建深度图像。

较佳地，所述深度图像处理方法还包括步骤：（5）依据所述ToF相机、RGB相机的位置关系对所述重建深度图像和两彩色图像进行立体匹配，从而生成分别与两所述彩色图像对应且以所述重建深度图像为基准的第一视差图像和第二视差图像；（6）两所述彩色图像中的一致区域的视差值校正所述重建深度图像中相应区域的像素深度。该方案使得两彩色图像对应的视差图像的视差值对重建深度图像进行校正，使得处理后的像素深度图像深度精度高，利用RGB相机获取空间差异，弥补ToF相机在深度精度上的不足。

更佳地，所述步骤（5）具体包括：分析识别两所述彩色图像的区别区域、一致区域和不一致区域，对两所述彩色图像、重建深度图像进行空间立体匹配从而生成第一视差图像和第二视差图像，若目标区域为区别区域和一致区域，则依据第一视差图像和第二视差图像在目标区域的视差值来获得目标区域的估计视差值，若目标区域为区别区域和不一致区域，则使用重建深度图像计算目标区域的视差值以获得目标区域的估计视差值，使用目标区域的估计视差值校正所述第一视差图像和第二视差图像，所述区别区域包括两所述彩色图像中的平坦非纹理区域和密集纹理区域。本方案先对第一视差图像和第二视差图像进行校正，然后通过校正厚度 第一视差图像和第二视差图像的视差值对重建深度图像进行校正，通过两次校正提高深度图像的像素深度精度。

较佳地，所述RGB相机为双目RGB相机，所述双目RGB相机的两RGB摄像头以预设位置关系设置，所述ToF相机与所述双目RGB相机以预设位置关系设置，步骤（1）中依据双目视觉方式采集目标对象具体为：使用双目RGB相机采集所述目标对象以生成两彩色图像。

较佳地，将所述RGB相机和ToF相机按照预设位置设置，步骤（1）中依据双目视觉方式采集目标对象具体为：将RGB相机连续采集的2帧彩色图作为依据双目视觉方式采集的两所述彩色图像，并通过陀螺仪记录采集两所述彩色图像时的RGB相机的空间位置信息。

较佳地，所述步骤（1）之前还包括步骤：设置校准RGB相机和ToF相机的参数，所述参数包括ToF相机和RGB相机的内参数，以及ToF相机和RGB相机间的相对位置关系。

本发明还公开了一种3D图像成像方法，包括步骤：依据深度图像处理方法获得处理后的像素深度图像和两彩色图像，所述深度图像处理方法如上所述；将所述深度图像和两所述彩色图像分别进行深度和彩色像素的匹配以生成对应的两彩色点云图。

本发明还公开了一种电子设备，包括：ToF相机和RGB相机；一个或多个处理器；存储器；以及一个或多个程序，其中所述一个或多个程序被存储在所述存储器中，并且被配置成由一个或多个处理器执行，所述程序包括用于执行如上所述的像素深度图像处理方法的指令。

本发明还公开了一种计算机可读存储介质，包括与ToF相机和RGB相机结合使用的计算机程序，所述计算机程序可被处理器执行以实现如上所述的像素深度图像处理方法。

附图说明

图1是本发明第一实施例中深度图像处理方法的流程图。

图2a是本发明第一实施例的相机模组的结构示意图。

图2b是本发明另一相机模组的结构示意图。

图2c是本发明又一相机模组的结构示意图。

图3是本发明基于第一实施例的一优选实施例中深度图像处理方法的流程图。

图4是本发明深度图像处理方法中步骤（15）的具体流程图。

图5是本发明3D图像成像方法的 流程图。

图6是本发明第二实施例中相机模组的结构示意图。

图7是本发明对应电子设备的结构框图。

具体实施方式

为详细说明本发明的技术内容、构造特征、所实现目的及效果，以下结合实施方式并配合附图详予说明。

参考图1，本发明公开了一种提升ToF深度图像处理方法100，包括以下步骤：（11）获取ToF相机采集目标对象生成的一深度图像，获取RGB相机依据双目视觉方式采集所述目标对象生成的两彩色图像；（12）计算所述深度图像中每个像素的深度误差，依据双目视觉技术计算所述彩色图像中像素的深度数值；（13）将所述深度图像中每个像素的深度误差和彩色图像中对应像素的深度数值之和作为深度图像中每个像素的最大距离值；（14）依据所述最大距离值对深度图像进行相位展开以生成与所述彩色图像分辨率相同的重建深度图像。

具体地，步骤（11）之前，还包括步骤：提供特定的ToF相机31和双目RGB相机32的相机模组（如图2a所示），该ToF相机31和双目RGB相机32的参数和位置关系已知，在第一次使用时，进行参数设置，参数具体包括ToF相机31和双目RGB相机32的内参数（包括焦距、像素大小等），以及ToF相机31和双目RGB相机32的外参数，外参数包括ToF相机31和RGB相机32的平移向量和旋转向量，以及相互间的相对距离等，双目RGB相机32之间的的平移向量和旋转向量，以及相互间的相对距离等。参考图2a，所述TOF相机31位于中间位置，双目RGB相机32的两摄像头分别位于ToF相机31的两侧。当然，ToF相机31和双目RGB相机32的位置还可以依据需要进行其他设置，并不限于图2a的方式，如将双目RGB相机32的两摄像头设置于ToF相机31的一侧（如图2b所示），双目RGB相机32的两摄像头设置于ToF相机31的上方（如图2c所示）。

所述步骤（11）中，使用ToF相机和双目RGB相机同步采集目标对象的图像，ToF相机采集获得深度图像，双目RGB相机采集获得两彩色图像，将两彩色图像称为左彩色图像和右彩色图像（也可以称之为第一位置彩色图像和第二位置彩色图像），获取所述ToF相机和双目RGB相机采集的像素深度图像和两彩色图像。本实施例中，双目视觉方式指的是，使用两个RGB相机摄像头在不同的预设位置上采集同一目标获得的两个彩色图像，两RGB相机摄像头之间的位置关系已知。本实施例中，RGB相机与ToF相机通过硬件或者软件控制同步，实现同步拍摄和RGB与ToF的采集对齐，同时，利用采集图像文件中的时间戳，实现RGB相机采集的彩色图像和ToF相机采集的深度图像的时钟同步及对齐，从而进行相关的匹配点对。

所述步骤（12）中，估计深度图像中每个像素的误差的具体方法为：使用深度图像中预设尺寸的每个窗口中的像素深度计算标准偏差，并将每一窗口中的最小标准偏差作为该窗口中每个像素的深度误差。具体地，按照预定尺寸将深度图像分割为若干个窗口单元，计算每个窗口单元中每个像素的标准偏差，取同一窗口单元中标准偏差最小的值作为该窗口中每个像素的深度误差。

步骤（12）中，依据双目视觉技术计算所述彩色图像中像素的深度数值具体为：利用双目RGB相机双目间的内参数和外参数，通过双目视觉三角关系计算彩色图像中像素的像素深度数据。其中依据双目视觉技术和双目相机拍摄的两彩色图像计算彩色图像中像素的像素深度数据为本领域公知常识。具体地，依据双目相机双目间的内参数和外参数对拍摄的两彩色图像进行双目匹配，然后通过双目视觉三角关系计算彩色图像中像素的像素深度数据。

其中，对两彩色图像进行双目匹配包括：利用双目RGB相机双目间的内参数和外参数进行图像预处理，然后进行角点检测获取初始特征角点，然后进行二次角点检测，完成特征角点的筛选，然后进行归一化相关图像匹配，最终得到相对应的图像匹配点对。

所述步骤（14）中：比较每一像素的最大距离值与相邻像素的最大距离值的相似关系，获得每一像素的最大距离倍数，依据每一像素的最大距离倍数对所述深度图像进行相位展开生成重建深度图像。其中，相似关系包括矢量值的相似关系。

较佳者，参考图3，所述深度图像处理方法100还包括步骤：（15）对所述重建深度图像和两彩色图像进行立体匹配，并生成两所述彩色图像的第一视差图像和第二视差图像；（16）依据一致区域中所述第一视差图像和第二视差图像的视差值校正所述重建深度图像中相应区域的像素深度，所述一致区域是指存在于对的两个所述彩色图像中的区域。其中，分析第一视差图像和第二视差图像中的每一像素以识别一致区域和不一致区域，此处一致区域指的是存在于第一视差图像和第二视差图像对应的视差图像中对的两个彩色图像（左彩色图像和右彩色图像）的区域。不一致区域是参考存在于第一视差图像和第二视差图像中对的一个彩色图像（左彩色图像或右彩色图像）中的区域。

具体地，步骤（15）中：依据所述ToF相机、RGB相机的位置关系对所述重建深度图像和两彩色图像进行立体匹配，从而生成分别与两所述彩色图像对应且以所述重建深度图像为基准的第一视差图像和第二视差图像。

参考图4，步骤（15）中，具体包括（51）通过分析左色彩图像和右色彩图像，***识别色彩图像中具有独特的密集纹理和平坦非纹理区域，将之称为区别区域，此外还识别做色彩图像和右色彩图像中的一致区域和不一致区域，一致区域可以指存在于与左彩色图像和右彩色图像的区域（即两个彩色图像中对应区域色彩相同或相似的区域），不一致区域可以指存在于左彩色图像和右彩色图像的其中之一的区域（即两个彩色图像中对应区域色彩不一致或不对应的区域，例如对两个图像中某一个图像部分区域由于光线亮度反光原因造成缺失的问题）。

（52）基于ToF相机和一RGB相机之间的内参数和外参数，进行空间立体匹配从而获得左彩色图像的第一视差图像，基于ToF相机和另一RGB相机之间的内参数和外参数，进行空间立体匹配从而获得右彩色图像的第二视差图像。

（53）若目标区域为区别区域和一致区域，则依据第一视差图像和第二视差图像在目标区域的视差值来获得目标区域的估计视差值；

（54）若目标区域为区别区域和不一致区域，则使用重建深度图像计算目标区域的视差值以获得目标区域的估计视差值。

（55）使用目标区域的估计视差值校正所述第一视差图像和第二视差图像。

步骤（53）中，依据第一视差图像和第二视差图像在目标区域的视差值来获得目标区域的估计视差值的具体步骤包括：利用双目视觉的三角关系原理对左彩色图像和右彩色图像进行差异计算，从而确定彩色图像中不同像素所表示的区域在空间中的相对位置关系，从而获得第一视差图像和第二视差图像之间的视差值。

步骤（54）中，使用重建深度图像计算目标区域的视差值以获得目标区域的估计视差值的具体步骤包括：使用左彩色图像和右彩色图像中对的一个图像的目标区域的像素与对应的深度图像的对应区域的像素进行融合计算，以获得目标区域的估计视差值。

参考图5，本发明还公开了一种3D图像成像方法200，包括步骤：（21）依据深度图像处理方法100获得处理后的像素深度图像、左彩色图像和右彩色图像；（22）将所述深度图像和左彩色图像进行深度和彩色像素的匹配以生成对应的左彩色点云图，（23）将所述深度图像和右彩色图像进行深度和彩色像素的匹配以生成对应的右彩色点云图。其中，处理后的深度图像即为最后完成的重建深度图像，其余彩色图像具有相同分辨率。

参考图6，为本发明第二实施例，区别于第一实施例，在该实施例中，提供特定的ToF相机31和单RGB相机33的相机模组，该ToF相机31和单RGB相机33的参数和位置关系已知，在第一次使用时，进行参数设置，参数具体包括ToF相机31和单RGB相机33的内参数（包括焦距、像素大小等），以及ToF相机31和单RGB相机33的外参数，外参数包括ToF相机31和单RGB相机33的平移向量和旋转向量，以及相互间的相对距离等，单RGB相机33之间的的平移向量和旋转向量，以及相互间的相对距离等。本实施例中，ToF相机31和单RGB相机33排成一排列，当然，也可以进行其他分布排列，例如上下排列、对角排列等等。其中，该相机模组30’中还具有陀螺仪（图中未示），陀螺仪用于记录RGB相机的空间位置信息。

步骤（11）中，中依据双目视觉方式采集目标对象具体为：将RGB相机连续采集的2帧彩色图作为依据双目视觉方式采集的两所述彩色图像，并通过陀螺仪记录采集两所述彩色图像时的RGB相机的空间位置信息，从而获得两彩色图像拍摄时RGB相机的相对位置，便于后续使用双目视觉技术进行相关计算。

具体地，单RGB相机33可采集连续的N帧的彩色图像，N＞0，将N帧的彩色图像在录入时，按照时序两两一组录入，将连续的两帧作为依据双目视觉方式采集的两所述彩色图像进行相关处理，使用陀螺仪采集两帧对应时间的空间位置信息以获得两所述彩色图像采集时相机的相对位置，以用于双目视觉计算，具体双目视觉计算见第一实施例所述，在此不予详述。

综上，本申请可依据需要组合设置不同的RGB相机和ToF相机，可以直接固定于一个固定板上，也可以通过支架固定至不同位置关系后，由数据线连接到CPU上，构成自组3D应用方案，针对不同的RGB相机和ToF相机组合需求，依据RGB相机和ToF相机间的位置关系对参数进行校正，可有效保证***的鲁棒性。

参考图7，本发明还公开了一种电子设备300，包括：ToF相机31和RGB相机32；一个或多个处理器41；存储器42；以及一个或多个程序，其中所述一个或多个程序被存储在所述存储器42中，并且被配置成由一个或多个处理器41执行，所述程序包括用于执行如上所述的像素深度图像处理方法100的指令。

以上所揭露的仅为本发明的优选实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明申请专利范围所作的等同变化，仍属本发明所涵盖的范围。

Claims (11)

1.提升ToF深度图像处理方法，其特征在于：包括：

（1）获取TOF相机采集目标对象生成的一深度图像，获取RGB相机依据双目视觉方式采集所述目标对象生成的两彩色图像；

（2）计算所述深度图像中每个像素的深度误差，依据双目视觉技术计算所述彩色图像中像素的深度数值；

（3）将所述深度图像中每个像素的深度误差和彩色图像中对应像素的深度数值之和作为深度图像中每个像素的最大距离值；

（4）依据所述最大距离值对深度图像进行相位展开以生成与所述彩色图像分辨率相同的重建深度图像。

2.如权利要求1所述的提升ToF深度图像处理方法，其特征在于：所述步骤（2）中，使用深度图像中预设尺寸的每个窗口中的像素深度计算像素深度的标准偏差，并将每一窗口中的最小标准偏差作为该窗口中像素的深度误差。

3.如权利要求1所述的提升ToF深度图像处理方法，其特征在于：所述步骤（4）具体为：比较每一像素的最大距离值与相邻像素的最大距离值的相似关系，获得每一像素的最大距离倍数，依据每一像素的最大距离倍数对所述深度图像进行相位展开生成重建深度图像。

4.如权利要求1所述的提升ToF深度图像处理方法，其特征在于：还包括步骤：

（5）对所述重建深度图像和两彩色图像进行立体匹配，并生成两所述彩色图像的第一视差图像和第二视差图像；

（6）依据一致区域中所述第一视差图像和第二视差图像的视差值校正所述重建深度图像中相应区域的像素深度，所述一致区域是指存在于对的两个所述彩色图像中的区域。

5.如权利要求4所述的提升ToF深度图像处理方法，其特征在于：所述步骤（5）具体包括：分析识别两所述彩色图像的区别区域、一致区域和不一致区域，对两所述彩色图像、重建深度图像进行空间立体匹配从而生成第一视差图像和第二视差图像，若目标区域为区别区域和一致区域，则依据第一视差图像和第二视差图像在目标区域的视差值来获得目标区域的估计视差值，若目标区域为区别区域和不一致区域，则使用重建深度图像计算目标区域的视差值以获得目标区域的估计视差值，使用目标区域的估计视差值校正所述第一视差图像和第二视差图像，所述区别区域是指两所述彩色图像中的平坦非纹理区域和密集纹理区域，所述不一致区域是指存在于对的一个所述彩色图像中的区域。

6.如权利要求1所述的提升ToF深度图像处理方法，其特征在于：所述RGB相机为双目RGB相机，所述ToF相机、双目RGB相机以预设位置关系设置，步骤（1）中依据双目视觉方式采集目标对象具体为：使用双目RGB相机采集所述目标对象以生成两彩色图像。

7.如权利要求1所述的提升ToF深度图像处理方法，其特征在于：将所述RGB相机和ToF相机按照预设位置设置，步骤（1）中依据双目视觉方式采集目标对象具体为：将RGB相机连续采集的2帧彩色图作为依据双目视觉方式采集的两所述彩色图像，并通过陀螺仪记录采集两所述彩色图像时的RGB相机的空间位置信息。

8.如权利要求1所述的提升ToF深度图像处理方法，其特征在于：所述步骤（1）之前还包括步骤：设置校准RGB相机和ToF相机的参数，所述参数包括ToF相机和RGB相机的内参数，以及ToF相机和RGB相机间的相对位置关系。

9.一种3D图像成像方法，其特征在于：包括步骤：

依据深度图像处理方法获得处理后的像素深度图像和两彩色图像，所述深度图像处理方法如权利要求1-8中任一项所述；

将所述深度图像和两所述彩色图像分别进行深度和彩色像素的匹配以生成对应的两彩色点云图。

10.一种电子设备，包括：

ToF相机和RGB相机；

一个或多个处理器；

存储器；以及

一个或多个程序，其中所述一个或多个程序被存储在所述存储器中，并且被配置成由一个或多个处理器执行，所述程序包括用于执行如权利要求1-8中任一项所述的像素深度图像处理方法的指令。

11.一种计算机可读存储介质，包括与ToF相机和RGB相机结合使用的计算机程序，其特征在于：所述计算机程序可被处理器执行以实现如权利要求1-8中任一项所述的像素深度图像处理方法。