CN112446836A - 用于tof深度相机的数据处理方法及其*** - Google Patents

Abstract

本发明提供一种用于TOF深度相机的数据处理方法及其***。所述数据处理方法包括：对当前帧的深度数据进行异常点检测，以识别所述深度数据中的异常点；对所述深度数据进行帧间滤波处理，以获得帧间滤波后的深度数据；对所述帧间滤波后的深度数据进行自适应滤波处理，以获得自适应滤波后的深度数据；基于所述异常点对所述自适应滤波后的深度数据进行处理，以滤波所述深度数据中的无效点和填充所述深度数据中的孔洞，以获得有效深度数据；基于所述TOF深度相机的标定参数，将所述TOF深度相机中的所述RGB摄像模组采集的所述RGB图像转换到所述TOF摄像模组所设定的坐标系中，以获得一RGB映射图像；以及基于所述RGB映射图像对所述有效深度数据进行联合双边滤波处理，以获得滤波后的有效深度数据。

Description

用于TOF深度相机的数据处理方法及其***

技术领域

本发明涉及TOF深度相机领域，进一步涉及一种用于TOF深度相机的数据处理方法及其***。

背景技术

随着科技的发展，深度相机得到了广泛的应用与发展。目前市场上，应用TOF深度相机的智能产品如扫地机器人、激光雷达或者人脸检测和识别设备等等，在实际应用中，TOF深度相机的精度越高，检测数据就越稳定，检测结果的准确度就越高。

而就目前的TOF深度相机而言，其相对于结构光相机均存在精度不够理想，检测数据抖动较大的问题，特别在人脸应用环境如人脸检测或人脸识别等应用中，所述TOF深度相机在采集人脸数据时的点云分布不够平滑，深度信息质量较差，甚至存在无法分辨人脸的现象，因此传统的所述TOF深度相机在人脸检测或者人脸识别的应用中无法提供精准的检测结果，体验效果较差。

因此，如何合理地处理TOF深度相机的深度数据，滤除无效像素点，对深度图像中的有效像素区域中的孔洞点或小块区域进行修补填充，使有效深度数据更加完整，平滑在计算深度数据时由于噪声或者背景的干扰而造成的深度数据波动，提升深度信息质量，是目前急需解决的问题。

发明内容

本发明的一个目的在于提供一用于TOF深度相机的数据处理方法及其***，其中所述数据处理方法及其***能够提升所述TOF深度相机的深度信息质量，克服精度不理想的缺陷，尤其针对于人脸应用场景如人脸检测或者人脸识别等，在采集人脸时的点云分布平滑，检测准度较高，清晰分辨人脸，体验效果较好。

本发明的另一个目的在于提供一用于TOF深度相机的数据处理方法及其***，其中所述数据处理方法及其***能够有效地分离出深度图像中高质量的数据，去除有效深度数据之外的飞点及边缘部分的突起，滤除无效像素点。

本发明的另一个目的在于提供一用于TOF深度相机的数据处理方法及其***，其中所述数据处理方法及其***能够有效地将深度图像中的有效像素区域中的孔洞点或者小块区域进行修补或者填充，使有效深度数据更加完整。

本发明的另一个目的在于提供一用于TOF深度相机的数据处理方法及其***，其中所述数据处理方法及其***能够有效地平滑TOF深度相机在计算深度数据时由于噪声或背景的干扰而造成的深度数据波动。

本发明的另一个目的在于提供一用于TOF深度相机的数据处理方法及其***，其中所述数据处理方法及其***结合TOF深度数据和灰度数据以及RGB彩色图像进行联合滤波优化，保证深度数据损失在可接受范围以内，达到滤除噪声平滑图像的效果。

本发明的另一个目的在于提供一用于TOF深度相机的数据处理方法及其***，其中所述数据处理方法及其***对TOF深度相机的深度信息进行后处理，优化深度信息，处理速度较快，应用方便。

依本发明的一个方面，本发明进一步提供一种用于TOF深度相机的数据处理方法，其中，所述TOF深度相机包括TOF摄像模组和RGB摄像模组，其中所述数据处理方法包括：

对当前帧的深度数据进行异常点检测，以识别出所述深度数据中的异常点；

对所述深度数据进行帧间滤波处理，以获得帧间滤波后的深度数据；

对帧间滤波后的所述深度数据进行自适应滤波处理，以获得自适应滤波后的深度数据；

基于所述异常点对所述适应滤波后的深度数据的深度数据进行处理，以滤除所述深度数据中的无效点和填充所述深度数据中的孔洞，以获得有效深度数据；

基于所述TOF深度相机的标定参数，将所述TOF深度相机中RGB摄像模组所采集的RGB图像转化到所述TOF摄像模组所设定的坐标系下，以获得RGB映射图像；以及

基于所述RGB映射图像对所述有效深度数据进行联合双边滤波，以获得滤波后的有效深度数据。

在一些实施例中，其中，对当前帧的深度数据进行异常点检测，以识别出所述深度数据中的异常点，包括：

获得当前帧中像素点的深度值分别与相邻像素点的深度值之间的差值；

响应于所述差值中存在一个差值大于第一预设阈值，将当前像素点标记为异常点。

在一些实施例中，其中，对当前帧的深度数据进行异常点检测，以识别出所述深度数据中的异常点，还包括：

获得当前帧中像素点的深度值与灰度值之间的乘积；

响应于所述乘积小于第二预设阈值，将当前像素点标记为异常点。

在一些实施例中，其中，对所述深度数据进行帧间滤波处理，以获得帧间滤波后的深度数据，包括：

对前一帧的灰度数据G1和当前帧的灰度数据G2进行边缘检测，以获得所述前一帧的灰度数据G1的第一边缘和所述当前帧的灰度数据G2的第二边缘；

响应于所述第一边缘与所述第二边缘之间的差异大于预设阈值，设定当前帧的深度数据D2为帧间滤波后的深度数据；以及

响应于所述第一边缘与所述第二边缘之间的差异小于预设阈值，对当前帧的所述深度数据进行帧间滤波处理，以得到帧间滤波后的深度数据，其中，帧间滤波处理的过程，用公式可表示为：D3＝k*D2+(1-k)*D1，其中，D3表示帧间滤波后的深度数据，D2表示当前帧的深度数据，D1表示前一帧的深度数据D1，k表示在0-1区间内的实数。

在一些实施例中，其中，对帧间滤波后的所述深度数据进行自适应滤波处理，以获得自适应滤波后的深度数据，包括：

获取帧间滤波后的深度数据和灰度数据中每个像素点的噪声值；以及

将帧间滤波后的深度数据减去对应像素的噪声值，以获得自适应滤波后的深度数据和灰度数据。

在一些实施例中，其中，获取帧间滤波后的深度数据和灰度数据中每个像素点的噪声值，包括：

以预设大小的窗口划过所述帧间滤波后的灰度数据，以分别获得所述预设大小的窗口内所有像素点的灰度值的标准差；

基于所述标准差，获得当前帧的灰度值的全局标准差；

以相同预设大小的窗口划过所述帧间滤波后的深度数据，以分别获得所述预设大小的窗口内所有像素的深度值的平均值和标准差；以及

基于所述深度值的平均值、所述深度值的标准差、所述灰度值的标准差和所述灰度值的全局标准差，获得帧间滤波后的深度数据和灰度数据中每个像素的噪声。

在一些实施例中，其中，基于所述TOF深度相机的标定参数，将所述TOF深度相机中RGB摄像模组所采集的RGB图像转化到所述TOF深度相机中所述TOF摄像模组所设定的坐标系下，以获得RGB映射图像后，包括：

对所述RGB映射图像进行下采样处理，以使得所述RGB映射图像与所述深度数据的分辨率相同。

在一些实施例中，进一步包括：

将滤波后的有效深度数据转化为点云。

在一些实施例中，进一步包括：

对所述点云进行下采样处理。

依本发明的另一方面，进一步提供了一种用于TOF深度相机的数据处理***，其中所述TOF深度相机包括TOF摄像模组和RGB摄像模组，其中所述数据处理***包括：

一异常点检测模块，其中所述异常点检测模块用于对当前帧的深度数据进行异常点检测，以识别所述深度数据中的异常点；

一帧间滤波处理模块，其中所述帧间滤波处理模块用于对所述深度数据进行帧间滤波处理，以获得帧间滤波后的深度数据；

一自适应滤波处理模块，其中所述自适应滤波处理模块用于对所述帧间滤波后的深度数据进行自适应滤波处理，以获得自适应滤波后的深度数据；

一深度数据处理模块，其中所述深度数据处理模块用于基于所述异常点对所述自适应滤波后的深度数据进行处理，以滤波所述深度数据中的无效点和填充所述深度数据中的孔洞，以获得有效深度数据；

一图像映射模块，基于所述TOF深度相机的标定参数，其中所述图像映射模块用于将所述TOF深度相机中的RGB摄像模组所采集的RGB图像转换到TOF摄像模组所设定的坐标系中，以获得一RGB映射图像；以及

一双边滤波处理模块，其中所述双边滤波处理模块用于基于所述RGB映射图像对所述有效深度数据进行联合双边滤波处理，以获得滤波后的有效深度数据。

在一些实施例中，所述异常点检测模块包括一差值计算模块和一异常点标记模块，其中所述差值计算模块用于计算获得当前帧中像素点的深度值分别与其相邻像素点深度值之间的差值，其中所述异常点标记模块用于响应于所述差值中存在一个差值大于第一预设阈值，将当前像素点标记为无效点。

在一些实施例中，所述异常点检测模块进一步包括一乘积计算模块，其中所述乘积计算模块用于计算获得当前帧中像素点的深度值与灰度值之间的乘积，其中所述异常点标记模块用于响应于所述乘积小于第二预设阈值，将当前像素点标记为无效点。

在一些实施例中，所述自适应滤波处理模块包括一噪声获取模块和一算法模块，其中所述噪声获取模块用于获取帧间滤波后的深度数据和灰度数据中每个像素点的噪声值，其中所述算法模块用于将帧间滤波后的深度数据减去对应像素的噪声值，以获得自适应滤波后的深度数据和灰度数据。

在一些实施例中，所述噪声获取模块包括：

以预设大小的窗口划过所述帧间滤波后的灰度数据，以分别获得所述预设大小的窗口内所有像素点的灰度值的标准差；

基于所述标准差，获得当前帧的灰度值的全局标准差；

以相同预设大小的窗口划过所述帧间滤波后的深度数据，以分别获得所述预设大小的窗口内所有像素的深度值的平均值和标准差；以及

基于所述深度值的平均值、所述深度值的标准差、所述灰度值的标准差和所述灰度值的全局标准差，获得帧间滤波后的深度数据和灰度数据中每个像素的噪声。

在一些实施例中，进一步包括一点云转化模块，其中所述点云转化模块用于将滤波后的有效深度数据转化为点云。

附图说明

图1是根据本发明的一个优选实施例的一数据处理方法的流程框图。

图2是根据本发明的上述优选实施例的所述数据处理方法的根据相邻像素点之间的差值标记异常点的流程框图。

图3是根据本发明的上述优选实施例的所述数据处理方法的根据像素点的深度值与灰度值之间的乘积标记异常点的流程框图。

图4是根据本发明的上述优选实施例的所述数据处理方法的帧间滤波的流程框图。

图5是根据本发明的上述优选实施例的所述数据处理方法的自适应滤波的流程框图。

图6是根据本发明的上述优选实施例的所述数据处理方法的获得每个像素的噪声值的流程框图。

图7是根据本发明的上述优选实施例的应用所述数据处理方法的一数据处理***的模块框图。

图8是根据本发明的上述优选实施例的应用所述数据处理方法的所述数据处理***的异常点检测模块的模块框图。

图9是根据本发明的上述优选实施例的应用所述数据处理方法的所述数据处理***的自适应滤波处理模块的模块框图。

图10是根据本发明的上述优选实施例的应用所述数据处理方法的所述数据处理***的点云转化模块的模块框图。

图11是根据本发明的上述优选实施例的应用所述数据处理方法的所述数据处理***的数据流程图。

具体实施方式

以下描述用于揭露本发明以使本领域技术人员能够实现本发明。以下描述中的优选实施例只作为举例，本领域技术人员可以想到其他显而易见的变型。在以下描述中界定的本发明的基本原理可以应用于其他实施方案、变形方案、改进方案、等同方案以及没有背离本发明的精神和范围的其他技术方案。

本领域技术人员应理解的是，在本发明的揭露中，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系是基于附图所示的方位或位置关系，其仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此上述术语不能理解为对本发明的限制。

可以理解的是，术语“一”应理解为“至少一”或“一个或多个”，即在一个实施例中，一个元件的数量可以为一个，而在另外的实施例中，该元件的数量可以为多个，术语“一”不能理解为对数量的限制。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

如图1至图6所示为本发明的一个优选实施例的用于TOF深度相机500的一数据处理方法，其中所述TOF深度相机500包括一TOF摄像模组510和一RGB摄像模组520，其中所述TOF摄像模组510用于对目标进行拍摄，并采集获取多帧的深度数据和灰度数据，或者所述TOF摄像模组510经配置TOF图像传感器的寄存器完成后对原始数据采集获得所述深度数据和所述灰度数据。所述RGB摄像模组520用于对目标进行拍摄，根据所述TOF深度相机500的标定参数，所述RGB摄像模组520用于采集获取RGB图像，其中所述RGB图像被转换到所述TOF摄像模组510所设定的坐标系中。根据所述TOF摄像模组510获取的所述深度数据和所述灰度数据以及所述RGB摄像模组获取的所述RGB图像，所述数据处理方法经一系列处理得到有效深度数据，保证所述TOF深度相机500的深度数据损失在可接受范围之内，达到滤除噪声平滑图像的效果，从而提高所述TOF深度相机500的深度信息质量，克服精度不理想的缺陷。

优选地，如图1所示，所述数据处理方法包括：

S10、对当前帧的深度数据进行异常点检测，以识别所述深度数据中的异常点；

S20、对所述深度数据进行帧间滤波处理，以获得帧间滤波后的深度数据；

S30、对所述帧间滤波后的深度数据进行自适应滤波处理，以获得自适应滤波后的深度数据；

S40、基于所述异常点对所述自适应滤波后的深度数据进行处理，以滤波所述深度数据中的无效点和填充所述深度数据中的孔洞，以获得有效深度数据；

S50、基于所述TOF深度相机500的标定参数，将所述TOF深度相机500中的所述RGB摄像模组520采集的所述RGB图像转换到所述TOF摄像模组510所设定的坐标系中，以获得一RGB映射图像；以及

S60、基于所述RGB映射图像对所述有效深度数据进行联合双边滤波处理，以获得滤波后的有效深度数据。

作为举例地，所述TOF摄像模组510基于人脸应用场景包括但不限于人脸检测或者人脸识别等进行深度信息的获取。具体地，所述TOF摄像模组510对人脸进行拍摄以采集获取所述深度数据和所述灰度数据，其中所述TOF摄像模组510包括配置TOF图像传感器的寄存器，其中所述TOF摄像模组510配置完成所述TOF图像传感器的寄存器后对原始数据进行多帧采集以获得多帧的所述深度数据和所述灰度数据。

所述TOF摄像模组510利用TOF(Time-of-Flight飞行时间)算法计算获得所述深度数据和所述灰度数据。可选地，所述深度数据和所述灰度数据可由第三方深度数据获取单元获取并储存，或者所述深度数据和所述灰度数据被储存于云端服务器中，等等，在此不受限制。

由于人脸的深度、人脸边缘或者人脸移动等信息的差异化，所述TOF摄像模组510获得所述深度数据中，存在异常点的像素，例如flying pixel或者杂散光导致而形成的所述异常点，其中所述异常点包括但不限于所述深度数据中的小区域白点、小区域孔洞或者边缘突起等像素。因此，所述异常点被定义为所述深度数据中的包括但不限于小区域白点、小区域孔洞或者边缘突起等像素。

通常情况下，根据所述TOF深度相机500获取深度信息的原理和实验经验值，正常的深度数据应当满足以下两个条件：

第一、除边缘外，当前像素点深度值应与其周围相邻像素点深度值无较大差值；

第二、在同一反射率下，所述像素点的深度值与灰度值应当近似于反比关系。

若不满足所述正常的深度数据的两个条件中的其中一个，则当前像素点被判断为所述异常点，并在所述步骤S10中将其标记为所述无效点，否则当前像素点为正常像素点，其中所述正常像素点具备正常的深度数据。

进一步地，如图2所示，所述步骤S10包括：

S11、获得当前帧中像素点的深度值分别与其相邻像素点深度值之间的差值；和

S12、响应于所述差值中存在一个差值大于第一预设阈值，将当前像素点标记为无效点。

进一步地，如图3所示，所述步骤S10还包括：

S13、获得当前帧中像素点的深度值与灰度值之间的乘积；

S14、响应于所述乘积小于第二预设阈值，将当前像素点标记为无效点。

可以理解的是，所述第一预设阈值或者所述第二预设阈值均能够根据所述TOF深度相机500的标定参数或者实验经验值分别进行预先设置，在此不受限制。

相应地，所述步骤S10还包括，响应于所述差值中的任意一个差值均不大于所述第一预设阈值和所述乘积不小于所述第二预设阈值，将当前像素点标记为正常像素点。可以理解的是，由所述深度数据中的所述正常像素点组成的图像区域被定义为所述深度数据的有效像素区域。

也就是说，经所述步骤S10标记所述无效点后，所述数据处理方法能够获得标记所述无效点的深度数据或者深度图，在计算机***中，能够有效地识别出所述深度数据中的无效点与正常像素点。

在本实施例中，由于所述TOF深度相机500在检测物体如人脸时，所述物体可能存在运动而影响对深度数据检测的准确性，为避免这种情况，所述数据处理方法可采用帧间卡尔曼滤波方法对每一帧的深度数据进行帧间滤波。

进一步地，如图4所示，所述步骤S20包括：

S21、对前一帧的灰度数据G1和当前帧的灰度数据G2进行边缘检测，以获得所述前一帧的灰度数据G1的第一边缘和所述当前帧的灰度数据G2的第二边缘；

S22、响应于所述第一边缘与所述第二边缘之间的差异大于预设阈值，设定当前帧的深度数据D2为帧间滤波后的深度数据；以及

S23、响应于所述第一边缘与所述第二边缘之间的差异小于预设阈值，对当前帧的所述深度数据进行帧间滤波处理，以得到帧间滤波后的深度数据，其中，帧间滤波处理的过程，用公式可表示为：D3＝k*D2+(1-k)*D1，其中，D3表示帧间滤波后的深度数据，D2表示当前帧的深度数据，D1表示前一帧的深度数据D1，k表示在0-1区间内的实数。

在所述步骤S21中，利用边缘检测算法计算获得所述前一帧的灰度数据G1的第一边缘和所述当前帧的灰度数据G2的第二边缘。或者说，利用边缘检测算法能够计算获得对应于每一帧的灰度数据的边缘。

在所述步骤S22中，所述预设阈值能够根据所述TOF深度相机500的标定参数或者实验经验值进行预先设置。若所述第一边缘与所述第二边缘之间的差异大于所述预设阈值时，则输出检测结果为物体存在运动，即所述数据处理方法设定当前帧的深度数据为帧间滤波后的深度数据。可选地，所述第一边缘与所述第二边缘之间的差异通过差值进行判断，即响应于所述第一边缘与所述第二边缘之间的差值大于所述预设阈值，设定当前帧的深度数据D2为帧间滤波后的深度数据。

相应地，在所述步骤S23中，若所述第一边缘与所述第二边缘之间的差异小于或者等于所述预设阈值时，则输出检测结果为物体无明显运动，即所述数据处理方法对当前帧的所述深度数据进行帧间滤波处理，以得到帧间滤波处理后的深度数据。

具体地，在对下一帧的深度数据进行帧间滤波时，其中所述帧间滤波处理后的深度数据D3作为前一帧的深度数据并被保存。可以理解的是，在计算机程序中，在对下一帧的深度数据进行帧滤波时，输入D1＝D3和G1＝G2，采用相同的算法计算得出下一帧的帧间滤波处理后的深度数据。以此往复，所述步骤S20能够实现对每一帧的深度数据进行帧间滤波，并得到相应帧的帧间滤波处理后的深度数据。

在本实施例中，如图5所示，所述步骤S30包括：

S31、获取帧间滤波后的深度数据D3和灰度数据G2中每个像素点的噪声值δ(i,j),i和j表示像素坐标；以及

S32、将帧间滤波后的深度数据D3减去对应像素的噪声值δ(i,j)，以获得自适应滤波后的深度数据和灰度数据。

进一步地，如图6所示，所述步骤S31包括：

S311、以预设大小的窗口划过所述帧间滤波后的灰度数据G2，以分别获得所述预设大小的窗口内所有像素点的灰度值的标准差STD；

S312、基于所述标准差，获得当前帧的灰度值的全局标准差STD(i,j)；

S313、以相同预设大小的窗口划过所述帧间滤波后的深度数据D3，以分别获得所述预设大小的窗口内所有像素的深度值的平均值Mean和标准差Mean(i,j)；以及

S314、基于所述深度值的平均值Mean、所述深度值的标准差Mean(i,j)、所述灰度值的标准差STD和所述灰度值的全局标准差STD(i,j)，获得帧间滤波后的深度数据和灰度数据中每个像素的噪声值δ(i,j)。

优选地，所述预设大小的窗口被实施为为选区3x3的窗口。熟知本领域的技术人员应当理解的是，所述预设大小的窗口可以根据实际需求进行预设调整。例如所述预设大小的窗口包括但不限于选区4x4、5x5、3x4、3x5、6x6等等尺寸的窗口，在此不受限制。

在所述步骤S314中，当前帧的所述噪声值δ(i,j)的计算方法为：δ(i,j)＝(D3(i,j)-Mean(i,j))*(STD_G/STD(i,j))。

值得一提的是，在所述步骤S30中，利用下一帧的帧间滤波处理后的深度数据和灰度数据，即可获得下一帧的每个像素的噪声值，以此类推，即可获得对应于每一帧的所有像素的噪声值，并由相应帧的帧间滤波后的深度数据减去该帧的所有像素的噪声值，即可获得对应帧的自适应滤波后的深度数据和灰度数据，在此不做赘述，应均属于本发明的保护范围。

优选地，在所述步骤S40中，其中滤除所述深度数据中的无效点包括但不限于：对小区域白点的像素值进行过滤、对小区域孔洞的像素值进行过滤以及对边缘突起的像素值进行滤除，从而去除所述深度数据中的飞点、孔洞或者边缘突起的像素值，以得到高质量的像素值。

进一步地，在所述步骤S40中，其中填充所述深度数据中的孔洞包括但不限于：对所述深度数据中的孔洞点或者小块孔洞区域等进行像素值填充。一般情况下，所述孔洞表示所述深度数据中的像素值为0的点或者小块区域，所述数据处理方法通过对无效点滤除和对所述深度数据中的孔洞进行填充，从而有效地降低了所述TOF深度相机500在计算深度时由于噪声或者背景的干扰而造成的深度数据波动，有效地减少了有效像素值的丢失，使得有效像素值更加完整。

优选地，所述步骤S50包括：对所述RGB映射图像进行下采样处理，以使得所述RGB映射图像与所述深度数据的分辨率相同。

在所述步骤S50中，通过预设所述RGB摄像模组520的内部参数、所述TOF摄像模组510的内部参数以及所述RGB摄像模组520与所述TOF摄像模组510之间的外部参数，将所述RGB摄像模组520所采集的RGB图像转化到所述TOF深度相机500中所述TOF摄像模组510所设定的坐标系中，以获得所述RGB映射图像。

也就是说，通过上述各参数的设置，使得所述RGB摄像模组520与所述TOF摄像模组510的分辨率基本相同，然后通过对所述RGB映射图像进行下采样处理，以使所述RGB映射图像与所述深度数据的分辨率相同。

可以理解的是，所述步骤S50与所述步骤S10、S20、S30以及S40之间的先后顺序可以调换，其中所述步骤S50可以单独进行，其中所述步骤S10、S20、S30以及S40也可以单独进行，彼此之间可以互不干扰。

在所述步骤S60中，所述联合双边滤波方法是一种非线性的滤波方法，是结合图像的空间邻近度和像素值相似度的一种折衷处理方法，同时考虑空域信息和灰度相似性，达到保边去噪的目的，其中所述联合双边滤波方法具有简单、非迭代以及局部的特点，使得所述TOF深度相机500的深度数据损失在可接受范围之内，达到滤除噪声平滑图像的效果。

可选地，在所述步骤S60中，可采用一双边滤波器或者模块基于所述RGB映射图像对所述有效深度数据进行联合双边滤波，以获得滤波后的有效深度数据。

进一步地，所述数据处理方法还包括：

S70、将所述滤波后的有效深度数据转化为点云。

具有地，在所述步骤S70中，根据所述TOF深度相机500的标定参数，通过对所述滤波后的有效深度数据进行坐标系转换，以得到所述点云。

进一步地，所述数据处理方法还包括：

S80、对所述点云进行下采样处理。

也就是说，在所述步骤S80中，通过对所述点云进行下采样处理，以得到处理结果并进行输出。尤其针对于人脸应用场景中，本方法得到的所述处理结果的深度信息质量更高，在采集人脸时的点云分布平滑，检测准度较高，清晰分辨人脸，体验效果较好。

进一步地，如图7至图11所示，本优选实施例还提供了应用所述数据处理方法的一数据处理***100，其中所述数据处理***100被应用于所述TOF深度相机500，其中所述数据处理***100与所述TOF摄像模组510和所述RGB摄像模组520分别相通信连接，其中所述TOF摄像模组510将采集的所述深度数据和所述灰度数据传输至所述数据处理***100，其中所述RGB摄像模组520将采集的所述RGB图像传输至所述数据处理***100，以使所述数据处理***100根据所述深度数据和所述灰度数据与所述RGB图像，通过一***地处理后得到有效深度数据，以保证所述TOF深度相机500的深度数据损失在可接受范围之内，达到滤除噪声平滑图像的效果，从而提高所述TOF深度相机500的深度信息质量，克服精度不理想的缺陷。

具体地，如图7所示，所述数据处理***100包括：

一异常点检测模块10，其中所述异常点检测模块10用于对当前帧的深度数据进行异常点检测，以识别所述深度数据中的异常点；

一帧间滤波处理模块20，其中所述帧间滤波处理模块20用于对所述深度数据进行帧间滤波处理，以获得帧间滤波后的深度数据；

一自适应滤波处理模块30，其中所述自适应滤波处理模块30用于对所述帧间滤波后的深度数据进行自适应滤波处理，以获得自适应滤波后的深度数据；

一深度数据处理模块40，其中所述深度数据处理模块40用于基于所述异常点对所述自适应滤波后的深度数据进行处理，以滤波所述深度数据中的无效点和填充所述深度数据中的孔洞，以获得有效深度数据；

一图像映射模块50，基于所述TOF深度相机500的标定参数，其中所述图像映射模块50用于将所述TOF深度相机500中的所述RGB摄像模组520采集的所述RGB图像转换到所述TOF摄像模组510所设定的坐标系中，以获得一RGB映射图像；以及

一双边滤波处理模块60，其中所述双边滤波处理模块60用于基于所述RGB映射图像对所述有效深度数据进行联合双边滤波处理，以获得滤波后的有效深度数据。

在本实施例中，所述数据处理***100能够被实施为一处理芯片、一处理电路或者一数据处理器如CPU等。进一步地，所述异常点检测模块10、所述帧间滤波处理模块20、所述自适应滤波处理模块30、所述深度数据处理模块40、所述图像映射模块50以及所述双边滤波模块60均被集成于同一芯片或者处理器。

进一步地，如图8所示，所述异常点检测模块10包括一差值计算模块11、一乘积计算模块12以及一异常点标记模块13，其中所述差值计算模块11用于计算获得当前帧中像素点的深度值分别与其相邻像素点深度值之间的差值，其中所述异常点标记模块13用于响应于所述差值中存在一个差值大于第一预设阈值，将当前像素点标记为无效点。所述乘积计算模块12用于计算获得当前帧中像素点的深度值与灰度值之间的乘积，其中所述异常点标记模块13用于响应于所述乘积小于第二预设阈值，将当前像素点标记为无效点。

可以理解的是，所述TOF摄像模组510采集的当前帧的所述深度数据被传输至所述异常点检测模块10，经所述异常点检测模块10对所述深度数据中的异常点进行标记后，所述异常点检测模块10输出标记所述异常点的深度数据或者深度图。

进一步地，所述帧间滤波处理模块20采用边缘检测算法对所述深度数据和所述灰度数据进行处理。具体地，所述帧间滤波处理模块20包括：

对前一帧的灰度数据G1和当前帧的灰度数据G2进行边缘检测，以获得所述前一帧的灰度数据G1的第一边缘和所述当前帧的灰度数据G2的第二边缘；

响应于所述第一边缘与所述第二边缘之间的差异大于预设阈值，设定当前帧的深度数据D2为帧间滤波后的深度数据；以及

响应于所述第一边缘与所述第二边缘之间的差异小于预设阈值，对当前帧的所述深度数据进行帧间滤波处理，以得到帧间滤波后的深度数据，其中，帧间滤波处理的过程，用公式可表示为：D3＝k*D2+(1-k)*D1，其中，D3表示帧间滤波后的深度数据，D2表示当前帧的深度数据，D1表示前一帧的深度数据D1，k表示在0-1区间内的实数。

需要指出的是，所述帧间滤波处理模块20的算法公式能够被预先设定，其中所述帧间滤波处理模块20计算处理得到所述帧间滤波后的深度数据的计算公式并不限定于上述一种公式，也就是说，在另外可行的情况下，所述公式可以被变换或者替代等，在此不受限制。

换句话说，在所述帧间滤波处理模块20中，输入前一帧的灰度数据G1和当前帧的灰度数据G2，输入前一帧的深度数据D1和当前帧的深度数据D2，计算并判断所述第一边缘与所述第二边缘之间的差异是否大于所述预设阈值，若是，则D3＝D2并输出D3，即输出当前帧的深度数据D2为所述帧间滤波后的深度数据D3，若否，则D3＝k*D2+(1-k)*D1并输出D3，即输出所述帧间滤波后的深度数据D3。

相应地，所述帧间滤波处理模块20在对下一帧的深度数据进行帧间滤波处理时，其中所述帧间滤波处理后的深度数据D3作为前一帧的深度数据并被保存，其中输入D1＝D3和G1＝G2，和输入该帧的深度数据和灰度数据，然后进行帧间滤波处理。

进一步地，如图9所示，所述自适应滤波处理模块30包括一噪声获取模块31和一算法模块32，其中所述噪声获取模块31用于获取帧间滤波后的深度数据D3和灰度数据G2中每个像素点的噪声值δ(i,j),i和j表示像素坐标，其中所述算法模块32用于将帧间滤波后的深度数据D3减去对应像素的噪声值δ(i,j)，以获得自适应滤波后的深度数据和灰度数据。

进一步地，所述噪声获取模块31包括：

以预设大小的窗口划过所述帧间滤波后的灰度数据G2，以分别获得所述预设大小的窗口内所有像素点的灰度值的标准差STD；

基于所述标准差，获得当前帧的灰度值的全局标准差STD(i,j)；

以相同预设大小的窗口划过所述帧间滤波后的深度数据D3，以分别获得所述预设大小的窗口内所有像素的深度值的平均值Mean和标准差Mean(i,j)；以及

基于所述深度值的平均值Mean、所述深度值的标准差Mean(i,j)、所述灰度值的标准差STD和所述灰度值的全局标准差STD(i,j)，获得帧间滤波后的深度数据和灰度数据中每个像素的噪声值δ(i,j)。

优选地，所述噪声获取模块31计算获得当前帧的所述噪声值的计算公式为：δ(i,j)＝(D3(i,j)-Mean(i,j))*(STD_G/STD(i,j))。

优选地，所述预设大小的窗口为选区3x3的窗口。

可选地，所述自适应滤波处理模块30进一步包括一窗口预设模块33，其中所述窗口预设模块33用于对所述预设大小的窗口进行选区设置，其中所述窗口预设模块33包括但不限于对所述预设大小的窗口的大小的设置、对所述预设大小的窗口的位置的设置或者对所述预设大小的窗口的数量的设置等等，在此不受限制。换句话说，用户可以通过所述窗口预设模块33根据实际需求对所述预设大小的窗口进行预先设置，使得所述噪声获取模块31能够按照用户的实际需求计算获得相应的噪声值，使得计算结果更加切合实际需求，提高可控性，更具人性化。

进一步地，所述深度数据处理模块40滤除所述深度数据中的无效点包括但不限于：对小区域白点的像素值进行过滤、对小区域孔洞的像素值进行过滤以及对边缘突起的像素值进行滤除，从而去除所述深度数据中的飞点、孔洞或者边缘突起的像素值，以得到高质量的像素值。

进一步地，所述深度数据处理模块40填充所述深度数据中的孔洞包括但不限于：对所述深度数据中的孔洞点或者小块孔洞区域等进行像素值填充。一般情况下，所述孔洞表示所述深度数据中的像素值为0的点或者小块区域，所述数据处理方法通过对无效点滤除和对所述深度数据中的孔洞进行填充，从而有效地降低了所述TOF深度相机500在计算深度时由于噪声或者背景的干扰而造成的深度数据波动，有效地减少了有效像素值的丢失，使得有效像素值更加完整。

优选地，所述图像映射模块50包括对所述RGB映射图像进行下采样处理，以使得所述RGB映射图像与所述深度数据的分辨率相同。

进一步地，通过预设所述RGB摄像模组520的内部参数、所述TOF摄像模组510的内部参数以及所述RGB摄像模组520与所述TOF摄像模组510之间的外部参数，使得所述RGB摄像模组520与所述TOF摄像模组510的分辨率基本相同，然后由所述图像映射模块50将所述RGB摄像模组520所采集的RGB图像转化到所述TOF深度相机500中所述TOF摄像模组510所设定的坐标系中，以获得所述RGB映射图像。

进一步地，所述深度数据处理模块40和所述图像映射模块50均被通信连接于所述双边滤波处理模块60，其中所述深度数据处理模块40获得的有效深度数据和所述图像印映射模块50获得的所述RGB映射图像作为所述双边滤波处理模块60的输入，经联合双边滤波处理后，所述双边滤波处理模块60输出滤波后的有效深度数据。

进一步地，如图10所示，所述数据处理***100还包括一点云转化模块70，其中所述点云转化模块70用于将所述滤波后的有效深度数据转化为点云。

进一步地，所述数据处理***100还包括一下采样处理模块80，其中所述下采样处理模块80用于对所述点云进行下采样处理，并输出处理结果。

如图11所示为本发明的应用所述数据处理方法的所述数据处理***100的数据流程图，其中所述TOF摄像模组510采集的所述深度数据和所述灰度数据与所述RGB摄像模组520采集的所述RGB图像输入所述数据处理***100，经所述数据处理***100处理后，输出所述处理结果。

本领域的技术人员应明白，本发明的实施例可提供为所述方法、所述***或者计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。如本发明的所述数据处理方法或者所述数据处理***100能够被应用于所述TOF深度相机500中。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘储存器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一个流程和/或方框、以及流程图和/或方框图中的流程和/或方框图的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或者其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或者其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图的一个流程或者多个流程和/或方框图中的一个方框或者多个方框中指定的功能的装置。

这些计算机程序指令也可储存在能引导计算机或者其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读储存器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或者其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

本领域的技术人员应理解，上述描述及附图中所示的本发明的实施例只作为举例而并不限制本发明。本发明的目的已经完整并有效地实现。本发明的功能及结构原理已在实施例中展示和说明，在没有背离所述原理下，本发明的实施方式可以有任何变形或修改。

Claims (15)

1.一种用于TOF深度相机的数据处理方法，其中，所述TOF深度相机包括TOF摄像模组和RGB摄像模组，其特征在于，包括：

对当前帧的深度数据进行异常点检测，以识别出所述深度数据中的异常点；

对所述深度数据进行帧间滤波处理，以获得帧间滤波后的深度数据；

对帧间滤波后的所述深度数据进行自适应滤波处理，以获得自适应滤波后的深度数据；

基于所述异常点对所述适应滤波后的深度数据的深度数据进行处理，以滤除所述深度数据中的无效点和填充所述深度数据中的孔洞，以获得有效深度数据；

基于所述TOF深度相机的标定参数，将所述TOF深度相机中RGB摄像模组所采集的RGB图像转化到所述TOF摄像模组所设定的坐标系下，以获得RGB映射图像；以及

基于所述RGB映射图像对所述有效深度数据进行联合双边滤波，以获得滤波后的有效深度数据。

2.根据权利要求1所述的数据处理方法，其中，对当前帧的深度数据进行异常点检测，以识别出所述深度数据中的异常点，包括：

获得当前帧中像素点的深度值分别与相邻像素点的深度值之间的差值；

响应于所述差值中存在一个差值大于第一预设阈值，将当前像素点标记为异常点。

3.根据权利要求1或2所述的数据处理方法，其中，对当前帧的深度数据进行异常点检测，以识别出所述深度数据中的异常点，还包括：

获得当前帧中像素点的深度值与灰度值之间的乘积；

响应于所述乘积小于第二预设阈值，将当前像素点标记为异常点。

4.根据权利要求3所述的数据处理方法，其中，对所述深度数据进行帧间滤波处理，以获得帧间滤波后的深度数据，包括：

对前一帧的灰度数据G1和当前帧的灰度数据G2进行边缘检测，以获得所述前一帧的灰度数据G1的第一边缘和所述当前帧的灰度数据G2的第二边缘；

响应于所述第一边缘与所述第二边缘之间的差异大于预设阈值，设定当前帧的深度数据D2为帧间滤波后的深度数据；以及

响应于所述第一边缘与所述第二边缘之间的差异小于预设阈值，对当前帧的所述深度数据进行帧间滤波处理，以得到帧间滤波后的深度数据，其中，帧间滤波处理的过程，用公式可表示为：D3＝k*D2+(1-k)*D1，其中，D3表示帧间滤波后的深度数据，D2表示当前帧的深度数据，D1表示前一帧的深度数据D1，k表示在0-1区间内的实数。

5.根据权利要求1所述的数据处理方法，其中，对帧间滤波后的所述深度数据进行自适应滤波处理，以获得自适应滤波后的深度数据，包括：

获取帧间滤波后的深度数据和灰度数据中每个像素点的噪声值；以及

将帧间滤波后的深度数据减去对应像素的噪声值，以获得自适应滤波后的深度数据和灰度数据。

6.根据权利要求5所述的数据处理方法，其中，获取帧间滤波后的深度数据和灰度数据中每个像素点的噪声值，包括：

以预设大小的窗口划过所述帧间滤波后的灰度数据，以分别获得所述预设大小的窗口内所有像素点的灰度值的标准差；

基于所述标准差，获得当前帧的灰度值的全局标准差；

以相同预设大小的窗口划过所述帧间滤波后的深度数据，以分别获得所述预设大小的窗口内所有像素的深度值的平均值和标准差；以及

基于所述深度值的平均值、所述深度值的标准差、所述灰度值的标准差和所述灰度值的全局标准差，获得帧间滤波后的深度数据和灰度数据中每个像素的噪声。

7.根据权利要求1所述的数据处理方法，其中，基于所述TOF深度相机的标定参数，将所述TOF深度相机中RGB摄像模组所采集的RGB图像转化到所述TOF深度相机中所述TOF摄像模组所设定的坐标系下，以获得RGB映射图像后，包括：

对所述RGB映射图像进行下采样处理，以使得所述RGB映射图像与所述深度数据的分辨率相同。

8.根据权利要求1-7任一所述的数据处理方法，进一步包括：

将滤波后的有效深度数据转化为点云。

9.根据权利要求8所述的数据处理方法，进一步包括：

对所述点云进行下采样处理。

10.一种用于TOF深度相机的数据处理***，其中所述TOF深度相机包括TOF摄像模组和RGB摄像模组，其特征在于，包括：

一异常点检测模块，其中所述异常点检测模块用于对当前帧的深度数据进行异常点检测，以识别所述深度数据中的异常点；

一帧间滤波处理模块，其中所述帧间滤波处理模块用于对所述深度数据进行帧间滤波处理，以获得帧间滤波后的深度数据；

一自适应滤波处理模块，其中所述自适应滤波处理模块用于对所述帧间滤波后的深度数据进行自适应滤波处理，以获得自适应滤波后的深度数据；

一深度数据处理模块，其中所述深度数据处理模块用于基于所述异常点对所述自适应滤波后的深度数据进行处理，以滤波所述深度数据中的无效点和填充所述深度数据中的孔洞，以获得有效深度数据；

一图像映射模块，基于所述TOF深度相机的标定参数，其中所述图像映射模块用于将所述TOF深度相机中的RGB摄像模组所采集的RGB图像转换到TOF摄像模组所设定的坐标系中，以获得一RGB映射图像；以及

一双边滤波处理模块，其中所述双边滤波处理模块用于基于所述RGB映射图像对所述有效深度数据进行联合双边滤波处理，以获得滤波后的有效深度数据。

11.根据权利要求10所述的数据处理***，所述异常点检测模块包括一差值计算模块和一异常点标记模块，其中所述差值计算模块用于计算获得当前帧中像素点的深度值分别与其相邻像素点深度值之间的差值，其中所述异常点标记模块用于响应于所述差值中存在一个差值大于第一预设阈值，将当前像素点标记为无效点。

12.根据权利要求11所述的数据处理***，所述异常点检测模块进一步包括一乘积计算模块，其中所述乘积计算模块用于计算获得当前帧中像素点的深度值与灰度值之间的乘积，其中所述异常点标记模块用于响应于所述乘积小于第二预设阈值，将当前像素点标记为无效点。

13.根据权利要求10所述的数据处理***，所述自适应滤波处理模块包括一噪声获取模块和一算法模块，其中所述噪声获取模块用于获取帧间滤波后的深度数据和灰度数据中每个像素点的噪声值，其中所述算法模块用于将帧间滤波后的深度数据减去对应像素的噪声值，以获得自适应滤波后的深度数据和灰度数据。

14.根据权利要求13所述的数据处理***，所述噪声获取模块包括：

以预设大小的窗口划过所述帧间滤波后的灰度数据，以分别获得所述预设大小的窗口内所有像素点的灰度值的标准差；

基于所述标准差，获得当前帧的灰度值的全局标准差；

以相同预设大小的窗口划过所述帧间滤波后的深度数据，以分别获得所述预设大小的窗口内所有像素的深度值的平均值和标准差；以及

基于所述深度值的平均值、所述深度值的标准差、所述灰度值的标准差和所述灰度值的全局标准差，获得帧间滤波后的深度数据和灰度数据中每个像素的噪声。

15.根据权利要求10至14任一所述的数据处理***，进一步包括一点云转化模块，其中所述点云转化模块用于将滤波后的有效深度数据转化为点云。

Images