CN110490829B - 一种深度图像的滤波方法及*** - Google Patents

Abstract

本发明公开了深度图像的滤波方法及***，包括：确定根据原始深度图像扩展得到的第二图像中的目标像素，并基于设定的动态阈值获得目标像素的属性特征信息；如果目标像素位于平面区域，计算目标像素的邻域区域的像素深度值的均值，并将邻域区域内的所有像素深度值更新为均值，得到平面区域的滤波结果；如果位于边缘区域，计算目标像素的邻域区域内所有像素点的权重值，并根据权重值计算获得目标像素的目标深度值，将目标像素的深度值更新为目标深度值，得到边缘区域的滤波结果；基于平面区域的滤波结果和边缘区域的滤波结果，获得滤波后的深度图像。本发明解决了对深度图滤波过程中无法同时达到对平面区域滤波效果明显和保留边缘信息的问题。

Description

一种深度图像的滤波方法及***

技术领域

本发明涉及图像处理技术领域，特别是涉及一种深度图像的滤波方法及***。

背景技术

深度图像也称为距离影像，是指将从图像采集器到场景中各点的距离(深度)作为像素值的图像，它直接反映了景物可见表面的几何形状。目前深度图像的获取方式通常有两种，一种是通过硬件设备直接测量，主要的设备是基于结构光的深度摄像机和基于TOF(Time Of Flight，光飞行时间)的深度摄像机；另一种是通过双目算法的软件测量来计算得到。

在硬件测量过程中，由于受到硬件设备制造工艺和性能的影响得到的深度图像存在一定的测量误差，并且测量误差随着深度值的增大而增大；而软件测量过程中，由于双目设备分辨率、算法匹配精度等影响得到的深度图像也存在一定的误差。

虽然现有技术中会通过滤波算法来解决深度图像中的误差问题，但是传统的滤波算法对深度图像的平面区域的滤波效果不明显，或者无法保留边缘信息。

发明内容

针对于上述问题，本发明提供一种深度图像的滤波方法及***，解决了对深度图滤波过程中无法同时达到对平面区域滤波效果明显和保留边缘信息的问题。

为了实现上述目的，本发明提供了如下技术方案：

一种深度图像的滤波方法，该方法包括：

根据预设滑动窗口对第一图像进行图像扩展，获得第二图像，其中，所述第一图像表征原始深度图像，所述第二图像的大小与所述第一图像的大小和所述预设滑动窗口的大小具有预设对应关系；

确定所述第二图像中的目标像素，并基于设定的动态阈值对所述目标像素进行属性判断，获得目标像素的属性特征信息，所述属性特征信息包括所述目标像素位于边缘区域或者所述目标像素位于平面区域；

如果所述目标像素位于平面区域，计算所述目标像素的邻域区域的像素深度值的均值，并将所述邻域区域内的所有像素深度值更新为所述均值，实现对所述平面区域的各个像素点的滤波处理，得到平面区域的滤波结果；

如果所述目标像素位于边缘区域，计算所述目标像素的邻域区域内所有像素点的权重值，并根据所述权重值计算获得所述目标像素的目标深度值，将所述目标像素的深度值更新为所述目标深度值，实现对所述边缘区域的像素点的滤波处理，得到边缘区域的滤波结果；

基于所述平面区域的滤波结果和所述边缘区域的滤波结果，获得滤波后的深度图像。

可选地，所述根据预设滑动窗口对第一图像进行图像扩展，获得第二图像，包括：

根据预设滑动窗口的大小，对第一图像的上下左右四个边各扩展第一数值个像素，其中，预设滑动窗口的大小为N*N，且N为大于等于3的正奇数，第一数值＝(N-1)/2，且扩展后的每个像素深度值等于与其相邻像素的深度值；

根据第一图像的大小和所述滑动窗口的大小，计算获得第二图像的大小，其中，若所述第一图像的宽度为W1，高度为H1，所述第二图像的宽度W2＝W1+N-1，所述第二图像的高度H2＝H1+N-1；

根据第一图像的像素点的深度值和预设滑动窗口的大小，对所述第二图像中的像素点进行赋值，获得赋值后的第二图像。

可选地，所述确定所述第二图像中的目标像素，并基于设定的动态阈值对所述目标像素进行属性判断，获得目标像素的属性特征信息，包括：

根据所述第二图像的目标像素的参考参数，确定与所述目标像素相匹配的动态阈值，所述参考参数包括参考百分比和参考深度值；

获取所述目标像素的邻域区域；

计算所述邻域区域内各个像素的梯度，获得梯度集合；

将所述梯度集合中的每一个梯度值与所述动态阈值进行比较，若有一个梯度值大于所述动态阈值，则判断所述目标像素位于边缘区域，否则，所述目标像素位于平面区域。

可选地，所述如果所述目标像素位于平面区域，计算所述目标像素的邻域区域的像素深度值的均值，并将所述邻域区域内的所有像素深度值更新为所述均值，包括：

如果所述目标像素位于平面区域，计算所述目标像素的邻域区域内所有像素的和；

根据所述所有像素的和，计算得到所述邻域区域内所有像素的均值；

将所述邻域区域内所有像素的深度值更新为所述均值；

更新所述目标像素的坐标值，对更新后的目标像素进行滤波处理。

可选地，所述如果所述目标像素位于边缘区域，计算所述目标像素的邻域区域内所有像素点的权重值，并根据所述权重值计算获得所述目标像素的目标深度值，将所述目标像素的深度值更新为所述目标深度值，实现对所述边缘区域的像素点的滤波处理，得到边缘区域的滤波结果，包括：

如果所述目标像素位于边缘区域，计算所述目标像素的领域区域内所有像素点的权重；

对所述像素点的权重进行归一化处理，获得归一化后的权重值；

基于所述归一化后的权重值计算所述目标像素的目标深度值；

将所述目标像素的深度值更新为所述目标深度值，且所述边缘区域中的除所述目标像素之外的像素的深度值为与之对应的原始深度值，实现对所述边缘区域的像素点的滤波处理，得到边缘区域的滤波结果。

可选地，该方法还包括：

若所述邻域区域内的像素点的深度值为0，则剔除掉所述深度值为0的像素点。

一种深度图像的滤波***，该***包括：

扩展单元，用于根据预设滑动窗口对第一图像进行图像扩展，获得第二图像，其中，所述第一图像表征原始深度图像，所述第二图像的大小与所述第一图像的大小和所述预设滑动窗口的大小具有预设对应关系；

属性判断单元，用于确定所述第二图像中的目标像素，并基于设定的动态阈值对所述目标像素进行属性判断，获得目标像素的属性特征信息，所述属性特征信息包括所述目标像素位于边缘区域或者所述目标像素位于平面区域；

平面区域处理单元，用于如果所述目标像素位于平面区域，计算所述目标像素的邻域区域的像素深度值的均值，并将所述邻域区域内的所有像素深度值更新为所述均值，实现对所述平面区域的各个像素点的滤波处理，得到平面区域的滤波结果；

边缘区域处理单元，用于如果所述目标像素位于边缘区域，计算所述目标像素的邻域区域内所有像素点的权重值，并根据所述权重值计算获得所述目标像素的目标深度值，将所述目标像素的深度值更新为所述目标深度值，实现对所述边缘区域的像素点的滤波处理，得到边缘区域的滤波结果；

生成单元，用于基于所述平面区域的滤波结果和所述边缘区域的滤波结果，获得滤波后的深度图像。

可选地，所述扩展单元包括：

扩展子单元，用于根据预设滑动窗口的大小，对第一图像的上下左右四个边各扩展第一数值个像素，其中，预设滑动窗口的大小为N*N，且N为大于等于3的正奇数，第一数值＝(N-1)/2，且扩展后的每个像素深度值等于与其相邻像素的深度值；

第一计算子单元，用于根据第一图像的大小和所述滑动窗口的大小，计算获得第二图像的大小，其中，若所述第一图像的宽度为W1，高度为H1，所述第二图像的宽度W2＝W1+N-1，所述第二图像的高度H2＝H1+N-1；

赋值子单元，用于根据第一图像的像素点的深度值和预设滑动窗口的大小，对所述第二图像中的像素点进行赋值，获得赋值后的第二图像。

可选地，所述属性判断单元包括：

确定子单元，用于根据所述第二图像的目标像素的参考参数，确定与所述目标像素相匹配的动态阈值，所述参考参数包括参考百分比和参考深度值；

第一获取子单元，用于获取所述目标像素的邻域区域；

第二计算子单元，用于计算所述邻域区域内各个像素的梯度，获得梯度集合；

比较子单元，用于将所述梯度集合中的每一个梯度值与所述动态阈值进行比较，若有一个梯度值大于所述动态阈值，则判断所述目标像素位于边缘区域，否则，所述目标像素位于平面区域。

可选地，所述平面处理单元包括：

第三计算子单元，用于如果所述目标像素位于平面区域，计算所述目标像素的邻域区域内所有像素的和；

第四计算子单元，用于根据所述所有像素的和，计算得到所述邻域区域内所有像素的均值；

第一更新子单元，用于将所述邻域区域内所有像素的深度值更新为所述均值；

第一处理子单元，用于更新所述目标像素的坐标值，对更新后的目标像素进行滤波处理；

所述边缘区域处理单元包括：

第五计算子单元，用于如果所述目标像素位于边缘区域，计算所述目标像素的领域区域内所有像素点的权重；

归一化子单元，用于对所述像素点的权重进行归一化处理，获得归一化后的权重值；

第六计算子单元，用于基于所述归一化后的权重值计算所述目标像素的目标深度值；

第二更新子单元，将所述目标像素的深度值更新为所述目标深度值，且所述边缘区域中的除所述目标像素之外的像素的深度值为与之对应的原始深度值，实现对所述边缘区域的像素点的滤波处理，得到边缘区域的滤波结果。

相较于现有技术，本发明提供了一种深度图像的滤波方法及***，通过对原始深度图像进行扩展，得到第二图像，然后基于动态阈值对第二图像中的目标图像的属性进行判断，采用动态阈值可以对不同深度值均具有自适应和鲁棒性，根据动态阈值对深度像素值进行分类，实现了能够针对不同的属性特征进行不同的滤波处理，即对平面区域内采用均值更新邻域内所有像素的深度值，而对边缘区域采用重新计算深度值来更新目标像素的深度值。从而解决了对深度图滤波过程中无法同时达到对平面区域滤波效果明显和保留边缘信息的问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例提供的一种深度图像的滤波方法的流程示意图；

图2为本发明实施例提供的原始深度图像的示意图；

图3为本发明实施例提供的原始深度图在matlab中三维显示图；

图4为本发明实施例提供的进行滤波后的深度图的示意图；

图5为本发明实施例提供的进行滤波后的深度图在matlab中三维显示图；

图6为本发明实施例提供的一种深度图像的滤波***的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”和“第二”等是用于区别不同的对象，而不是用于描述特定的顺序。此外术语“包括”和“具有”以及他们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、***、产品或设备没有设定于已列出的步骤或单元，而是可包括没有列出的步骤或单元。

在本发明实施例中提供了一种深度图像的滤波方法，参见图1，该方法包括以下步骤：

S101、根据预设滑动窗口对第一图像进行图像扩展，获得第二图像。

其中，第一图像表征原始深度图像，第二图像的大小与第一图像的大小和预设滑动窗口的大小具有预设对应关系。为了能够避免对边缘信息的损失，需要对原始深度图像的上下左右四个边进行扩展，可以扩展预设数量的像素，使得扩展后的第二图像满足处理需求。对应的，也可以根据设定的滑动窗口大小对原始图像进行扩展。

在本申请实施例中还提供了一种图像扩展的方法，可以包括以下步骤：

S1011、根据预设滑动窗口的大小，对第一图像的上下左右四个边各扩展第一数值个像素；

S1012、根据第一图像的大小和所述滑动窗口的大小，计算获得第二图像的大小；

S1013、根据第一图像的像素点的深度值和预设滑动窗口的大小，对所述第二图像中的像素点进行赋值，获得赋值后的第二图像。

其中，将预设滑动窗口的大小设置为N*N，且N为大于等于3的正奇数，需要说明的是将N的取值设置为奇数是为了保证滑动窗口中心像素两边具有相同个数的像素。第一数值＝(N-1)/2，即对原始深度图像上下左右四个边各扩展(N-1)/2个像素，且扩展后的每个像素深度值等于与其相邻像素的深度值。具体的：

若所述第一图像的宽度为W1，高度为H1，所述第二图像的宽度W2＝W1+N-1，所述第二图像的高度H2＝H1+N-1；

对第二图像中的像素的深度值进行赋值，其中，赋值公式如式(1)所示。

其中，d2(i,j)表示第二图像中行坐标为i列坐标为j的深度坐标值，同样d1(i,j)表示第一图像中行坐标为i列坐标为j的深度坐标值，max(a,b)表示取a、b两个数中最大的数，min(a,b)表示取a、b两个数中最小的数。

需要说明的是，N的取值需要根据图像的分辨率、滤波精度、算法耗时等因素进行取值，为了便于计算，优选取值为3～11，但是也不排除其他取值，依据具体情况进行选取。例如，在本发明中，具体实施过程中参数的取值为W1＝552，H1＝664，N＝7，(N-1)/2＝3；本发明中以下部分中，第二图像的像素点用d(i,j)表示，d(i,j)表示第二图像的第i行第j列的像素坐标同时也表示该像素点的深度值。

S102、确定第二图像中的目标像素，并基于设定的动态阈值对目标像素进行属性判断，获得目标像素的属性特征信息。

得到原始深度图像的扩展图像后，需要对第二图像中待进行滤波处理的像素d(i,j)进行属性判断，即判断该像素是位于边缘区域还是平面区域。

在本发明实施例中还提供了一种属性判断方法，包括：

S1021、根据所述第二图像的目标像素的参考参数，确定与所述目标像素相匹配的动态阈值，所述参考参数包括参考百分比和参考深度值；

S1022、获取所述目标像素的邻域区域；

S1023、计算所述邻域区域内各个像素的梯度，获得梯度集合；

S1024、将所述梯度集合中的每一个梯度值与所述动态阈值进行比较，若有一个梯度值大于所述动态阈值，则判断所述目标像素位于边缘区域，否则，所述目标像素位于平面区域。

具体的，第二图像中的待处理像素d(i,j)起始坐标值为i＝(N-1)/2，j＝(N-1)/2；属性判断的过程如下：

首先根据动态阈值计算公式得到像素d(i,j)属性判断的参考阈值。动态阈值计算公式如式(2)所示：

其中，DT(i,j)表示像素d(i,j)属性判断的参考动态阈值，base为基础参考百分比，ref_depth为参考深度值，例如，在实施过程中参数的取值为base＝5，ref_depth＝1000。

获取像素d(i,j)的邻域区域。把像素点d(i,j)作为滑动窗口的中心，在深度图像上滑动窗口内所有元素组成的集合记为像素d(i,j)的邻域区域，因此该邻域区域包括该目标像素点d(i,j)；

计算邻域区域内每一个像素与d(i,j)的梯度，并且对所有梯度值进行绝对值运算，绝对值运算后所有梯度值组成的集合记为d(i,j)的梯度集合GS。GS中元素的计算公式为式(3)：

grad(r,c)＝abs(d(i+r,j+c)-d(i,j)) (3)

其中，grad(r,c)表示GS中第(r+a)*N+(c+a)个元素，r＝-a,-(a-1),…(a-1),a；c＝-a,-(a-1),…(a-1),a；a＝(N-1)/2；abs表示绝对值运算。例如，实施过程中参数的取值分别为N＝7,a＝3。

GS中的每一个梯度值与参考动态阈值进行比较，若有一个梯度值大于该阈值，则说明d(i,j)位于深度图像边缘区域；反之，则说明d(i,j)位于深度图像平面区域。

S103、如果目标像素位于平面区域，计算目标像素的邻域区域的像素深度值的均值，并将邻域区域内的所有像素深度值更新为均值，实现对平面区域的各个像素点的滤波处理，得到平面区域的滤波结果；

S104、如果目标像素位于边缘区域，计算目标像素的邻域区域内所有像素点的权重值，并根据权重值计算获得目标像素的目标深度值，将目标像素的深度值更新为目标深度值，得到边缘区域的滤波结果；

S105、基于平面区域的滤波结果和边缘区域的滤波结果，获得滤波后的深度图像。

在获得了目标像素d(i,j)的属性信息后，需要对该目标像素进行滤波处理。

当像素d(i,j)位于深度图像平面区域时，采用均值滤波的方法计算窗口内所有像素深度值的均值并用该均值更新窗口内所有像素的深度值，具体实施过程包括：

计算d(i,j)邻域区域内所有像素的和，计算公式如式(4)所示：

其中，sum(i,j)表示d(i,j)邻域区域内所有元素的深度和，r＝-a,-(a-1),…(a-1),a；c＝-a,-(a-1),…(a-1),a；a＝(N-1)/2。

计算d(i,j)邻域区域内所有像素的均值，计算公式为式(5)：

mean(i,j)＝sum(i,j)/(N*N) (5)

如式(6)所示，更新d(i,j)邻域区域内所有像素的深度值：

d(i+r,j+c)＝mean(i,j) (6)

其中，r＝-a,-(a-1),…(a-1),a；c＝-a,-(a-1),…(a-1),a；a＝(N-1)/2。

当对当前的目标像素d(i,j)进行滤波处理完成后，需要更新i,j的值，即实现对下一像素的滤波处理。在平面区域中滑动窗口的滑动步长为a，令j＝j+a；若j<W1，则i＝i；否则，i＝i+a；若i<H1,则令j＝(N-1)/2，重新对下一个待处理的像素点d(i,j)进行滤波；否则，说明第二图像已完成滤波。

当像素d(i,j)位于深度图像边缘区域时，采用改进的双边滤波方法计算新的深度值，然后用新的深度值对该d(i,j)进行更新，具体过程如下：

在深度图中深度值为0的像素点表示深度无效的点，所以在计算新的深度值时需要剔除这些深度值为0的像素点。根据改进的双边滤波方法计算d(i,j)邻域区域内所有像素点的权重。权重计算公式为式(7)所示：

其中，abs表示取绝对值运算，min(a,b)表示a、b中最小值的运算。

对d(i,j)邻域区域内所有像素点权重进行归一化处理，归一化计算公式为式(8)所示：

重新计算d(i,j)的深度值，计算公式如式(9)所示：

更新i，j的值。在边缘区域中为了保留边缘处的细节信息滑动窗口的滑动步长为1，令j＝j+1；若j<W1,则i＝i；否则，i＝i+1；若i<H1,则令j＝(N-1)/2,重新对下一个待处理的像素点d(i,j)进行滤波；否则，说明第二图像已完成滤波。

例如，参见图2，其示出了原始深度图的示意图，图2是一张滤波前的552*664大小的深度图像，图像前景是一个张开双臂的人，图像背景是水平墙面，图像中黑色部分代表无效深度值的像素点；图像3是图2在matlab中三维显示图，从图3中可以看出，由深度摄像头抓取的深度图在平面区域存在较大的波动，因而需要对深度图像进行滤波处理。采用本发明实施例中提供的上述滤波方法，其中，第一图像中的W1＝552，H1＝664，N＝7，(N-1)/2＝3，a＝3。对第二图像进行滤波后得到的深度图像如图4所示，图5是图4在matlab里的三维显示图，由图5可以看出平面区域相对图3变平滑了。此外，图5与图2对比，保留了图2中的细节信息，如图2中手指边缘在图4中仍然清晰可见。另外滤波后对图2中的部分空洞进行了有效的填充，如图2中椭圆中部分黑色孔洞在图4中对应的位置有了深度值。

在本发明实施例中提供的深度图像的滤波方法，根据深度图像的像素深度值来动态确定判断像素分类的阈值，动态阈值增强了该方法对不同深度值的自适应性和鲁棒性；其次，该方法根据动态阈值对深度像素值进行分类，根据不同的类别采用不同的滤波方式即平面区域采用均值滤波而边缘区域采用改进型双边滤波，分类滤波的方式既能对平面区域达到平滑的效果，也能保留深度图像边缘的细节信息；在平面滤波过程中，采用更新窗口内所有像素深度值的方式同时可加大滑动窗口的步长，该方式既可传递平面平整度同时可减少滤波时间；最后，在边缘滤波过程中采用改进型的双边滤波，对双边滤波同样做了改进，包括在计算位置权重时，用像素间隔数代替位置的距离，在计算图像深度值权重时，对深度梯度值进行比例缩小，这样通过指数变换的权重分布更合理，在计算权重时，剔除深度值为0的像素点；使得改进后的双边滤波减少了滤波耗时并且对深度图边缘处理有较好的滤波效果，同时可填充深度图像中的部分空洞。

参见图6，在本申请实施例中还提供了一种深度图像的滤波***，包括：

扩展单元10，用于根据预设滑动窗口对第一图像进行图像扩展，获得第二图像，其中，所述第一图像表征原始深度图像，所述第二图像的大小与所述第一图像的大小和所述预设滑动窗口的大小具有预设对应关系；

属性判断单元20，用于确定所述第二图像中的目标像素，并基于设定的动态阈值对所述目标像素进行属性判断，获得目标像素的属性特征信息，所述属性特征信息包括所述目标像素位于边缘区域或者所述目标像素位于平面区域；

平面区域处理单元30，用于如果所述目标像素位于平面区域，计算所述目标像素的邻域区域的像素深度值的均值，并将所述邻域区域内的所有像素深度值更新为所述均值，实现对所述平面区域的各个像素点的滤波处理，得到平面区域的滤波结果；

边缘区域处理单元40，用于如果所述目标像素位于边缘区域，计算所述目标像素的邻域区域内所有像素点的权重值，并根据所述权重值计算获得所述目标像素的目标深度值，将所述目标像素的深度值更新为所述目标深度值，实现对所述边缘区域的像素点的滤波处理，得到边缘区域的滤波结果；

生成单元50，用于基于所述平面区域的滤波结果和所述边缘区域的滤波结果，获得滤波后的深度图像。

在上述实施例的基础上，所述扩展单元包括：

扩展子单元，用于根据预设滑动窗口的大小，对第一图像的上下左右四个边各扩展第一数值个像素，其中，预设滑动窗口的大小为N*N，且N为大于等于3的正奇数，第一数值＝(N-1)/2，且扩展后的每个像素深度值等于与其相邻像素的深度值；

第一计算子单元，用于根据第一图像的大小和所述滑动窗口的大小，计算获得第二图像的大小，其中，若所述第一图像的宽度为W1，高度为H1，所述第二图像的宽度W2＝W1+N-1，所述第二图像的高度H2＝H1+N-1；

赋值子单元，用于根据第一图像的像素点的深度值和预设滑动窗口的大小，对所述第二图像中的像素点进行赋值，获得赋值后的第二图像。

在上述实施例的基础上，所述属性判断单元包括：

确定子单元，用于根据所述第二图像的目标像素的参考参数，确定与所述目标像素相匹配的动态阈值，所述参考参数包括参考百分比和参考深度值；

第一获取子单元，用于获取所述目标像素的邻域区域；

第二计算子单元，用于计算所述邻域区域内各个像素的梯度，获得梯度集合；

比较子单元，用于将所述梯度集合中的每一个梯度值与所述动态阈值进行比较，若有一个梯度值大于所述动态阈值，则判断所述目标像素位于边缘区域，否则，所述目标像素位于平面区域。

在上述实施例的基础上，所述平面处理单元包括：

第三计算子单元，用于如果所述目标像素位于平面区域，计算所述目标像素的邻域区域内所有像素的和；

第四计算子单元，用于根据所述所有像素的和，计算得到所述邻域区域内所有像素的均值；

第一更新子单元，用于将所述邻域区域内所有像素的深度值更新为所述均值；

第一处理子单元，用于更新所述目标像素的坐标值，对更新后的目标像素进行滤波处理；

所述边缘区域处理单元包括：

第五计算子单元，用于如果所述目标像素位于边缘区域，计算所述目标像素的领域区域内所有像素点的权重；

归一化子单元，用于对所述像素点的权重进行归一化处理，获得归一化后的权重值；

第六计算子单元，用于基于所述归一化后的权重值计算所述目标像素的目标深度值；

第二更新子单元，用于将所述目标像素的深度值更新为所述目标深度值，且所述边缘区域中的除所述目标像素之外的像素的深度值为与之对应的原始深度值，实现对所述边缘区域的像素点的滤波处理，得到边缘区域的滤波结果。

在上述实施例的基础上，所述边缘区域处理单元还包括

剔除子单元，用于若所述邻域区域内的像素点的深度值为0，则剔除掉所述深度值为0的像素点。

本发明提供了一种深度图像的滤波***，通过对原始深度图像进行扩展，得到第二图像，然后基于动态阈值对第二图像中的目标图像的属性进行判断，采用动态阈值可以对不同深度值均具有自适应和鲁棒性，根据动态阈值对深度像素值进行分类，实现了能够针对不同的属性特征进行不同的滤波处理，即对平面区域内采用均值更新邻域内所有像素的深度值，而对边缘区域采用重新计算深度值来更新目标像素的深度值。从而解决了对深度图滤波过程中无法同时达到对平面区域滤波效果明显和保留边缘信息的问题。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (8)

1.一种深度图像的滤波方法，其特征在于，该方法包括：

根据预设滑动窗口对第一图像进行图像扩展，获得第二图像，其中，所述第一图像表征原始深度图像，所述第二图像的大小与所述第一图像的大小和所述预设滑动窗口的大小具有预设对应关系；

确定所述第二图像中的目标像素，并基于设定的动态阈值对所述目标像素进行属性判断，获得目标像素的属性特征信息，所述属性特征信息包括所述目标像素位于边缘区域或者所述目标像素位于平面区域；所述确定所述第二图像中的目标像素，并基于设定的动态阈值对所述目标像素进行属性判断，获得目标像素的属性特征信息，包括：

根据所述第二图像的目标像素的参考参数，确定与所述目标像素相匹配的动态阈值，所述参考参数包括参考百分比和参考深度值；所述动态阈值的计算公式为：

其中，DT(i,j)表示像素d(i,j)属性判断的动态阈值，base表示参考百分比，ref_depth表示参考深度值；

获取所述目标像素的邻域区域；

计算所述邻域区域内各个像素的梯度，获得梯度集合；

将所述梯度集合中的每一个梯度值与所述动态阈值进行比较，若有一个梯度值大于所述动态阈值，则判断所述目标像素位于边缘区域，否则，所述目标像素位于平面区域；

如果所述目标像素位于平面区域，计算所述目标像素的邻域区域的像素深度值的均值，并将所述邻域区域内的所有像素深度值更新为所述均值，实现对所述平面区域的各个像素点的滤波处理，得到平面区域的滤波结果；

如果所述目标像素位于边缘区域，计算所述目标像素的邻域区域内所有像素点的权重值，并根据所述权重值计算获得所述目标像素的目标深度值，将所述目标像素的深度值更新为所述目标深度值，实现对所述边缘区域的像素点的滤波处理，得到边缘区域的滤波结果；

基于所述平面区域的滤波结果和所述边缘区域的滤波结果，获得滤波后的深度图像。

2.根据权利要求1所述的方法，其特征在于，所述根据预设滑动窗口对第一图像进行图像扩展，获得第二图像，包括：

根据预设滑动窗口的大小，对第一图像的上下左右四个边各扩展第一数值个像素，其中，预设滑动窗口的大小为N*N，且N为大于等于3的正奇数，第一数值＝(N-1)/2，且扩展后的每个像素深度值等于与其相邻像素的深度值；

根据第一图像的大小和所述滑动窗口的大小，计算获得第二图像的大小，其中，若所述第一图像的宽度为W1，高度为H1，所述第二图像的宽度W2＝W1+N-1，所述第二图像的高度H2＝H1+N-1；

根据第一图像的像素点的深度值和预设滑动窗口的大小，对所述第二图像中的像素点进行赋值，获得赋值后的第二图像。

3.根据权利要求1所述的方法，其特征在于，所述如果所述目标像素位于平面区域，计算所述目标像素的邻域区域的像素深度值的均值，并将所述邻域区域内的所有像素深度值更新为所述均值，包括：

如果所述目标像素位于平面区域，计算所述目标像素的邻域区域内所有像素的和；

根据所述所有像素的和，计算得到所述邻域区域内所有像素的均值；

将所述邻域区域内所有像素的深度值更新为所述均值；

更新所述目标像素的坐标值，对更新后的目标像素进行滤波处理。

4.根据权利要求1所述的方法，其特征在于，所述如果所述目标像素位于边缘区域，计算所述目标像素的邻域区域内所有像素点的权重值，并根据所述权重值计算获得所述目标像素的目标深度值，将所述目标像素的深度值更新为所述目标深度值，实现对所述边缘区域的像素点的滤波处理，得到边缘区域的滤波结果，包括：

如果所述目标像素位于边缘区域，计算所述目标像素的领域区域内所有像素点的权重；

对所述像素点的权重进行归一化处理，获得归一化后的权重值；

基于所述归一化后的权重值计算所述目标像素的目标深度值；

将所述目标像素的深度值更新为所述目标深度值，且所述边缘区域中的除所述目标像素之外的像素的深度值为与之对应的原始深度值，实现对所述边缘区域的像素点的滤波处理，得到边缘区域的滤波结果。

5.根据权利要求4所述的方法，其特征在于，该方法还包括：

若所述邻域区域内的像素点的深度值为0，则剔除掉所述深度值为0的像素点。

6.一种深度图像的滤波***，其特征在于，该***包括：

扩展单元，用于根据预设滑动窗口对第一图像进行图像扩展，获得第二图像，其中，所述第一图像表征原始深度图像，所述第二图像的大小与所述第一图像的大小和所述预设滑动窗口的大小具有预设对应关系；

属性判断单元，用于确定所述第二图像中的目标像素，并基于设定的动态阈值对所述目标像素进行属性判断，获得目标像素的属性特征信息，所述属性特征信息包括所述目标像素位于边缘区域或者所述目标像素位于平面区域；所述属性判断单元包括：

确定子单元，用于根据所述第二图像的目标像素的参考参数，确定与所述目标像素相匹配的动态阈值，所述参考参数包括参考百分比和参考深度值；所述动态阈值的计算公式为：

其中，DT(i,j)表示像素d(i,j)属性判断的动态阈值，base表示参考百分比，ref_depth表示参考深度值；

第一获取子单元，用于获取所述目标像素的邻域区域；

第二计算子单元，用于计算所述邻域区域内各个像素的梯度，获得梯度集合；

比较子单元，用于将所述梯度集合中的每一个梯度值与所述动态阈值进行比较，若有一个梯度值大于所述动态阈值，则判断所述目标像素位于边缘区域，否则，所述目标像素位于平面区域；

平面区域处理单元，用于如果所述目标像素位于平面区域，计算所述目标像素的邻域区域的像素深度值的均值，并将所述邻域区域内的所有像素深度值更新为所述均值，实现对所述平面区域的各个像素点的滤波处理，得到平面区域的滤波结果；

边缘区域处理单元，用于如果所述目标像素位于边缘区域，计算所述目标像素的邻域区域内所有像素点的权重值，并根据所述权重值计算获得所述目标像素的目标深度值，将所述目标像素的深度值更新为所述目标深度值，实现对所述边缘区域的像素点的滤波处理，得到边缘区域的滤波结果；

生成单元，用于基于所述平面区域的滤波结果和所述边缘区域的滤波结果，获得滤波后的深度图像。

7.根据权利要求6所述的***，其特征在于，所述扩展单元包括：

扩展子单元，用于根据预设滑动窗口的大小，对第一图像的上下左右四个边各扩展第一数值个像素，其中，预设滑动窗口的大小为N*N，且N为大于等于3的正奇数，第一数值＝(N-1)/2，且扩展后的每个像素深度值等于与其相邻像素的深度值；

第一计算子单元，用于根据第一图像的大小和所述滑动窗口的大小，计算获得第二图像的大小，其中，若所述第一图像的宽度为W1，高度为H1，所述第二图像的宽度W2＝W1+N-1，所述第二图像的高度H2＝H1+N-1；

赋值子单元，用于根据第一图像的像素点的深度值和预设滑动窗口的大小，对所述第二图像中的像素点进行赋值，获得赋值后的第二图像。

8.根据权利要求6所述的***，其特征在于，所述平面区域处理单元包括：

第三计算子单元，用于如果所述目标像素位于平面区域，计算所述目标像素的邻域区域内所有像素的和；

第四计算子单元，用于根据所述所有像素的和，计算得到所述邻域区域内所有像素的均值；

第一更新子单元，用于将所述邻域区域内所有像素的深度值更新为所述均值；

第一处理子单元，用于更新所述目标像素的坐标值，对更新后的目标像素进行滤波处理；

所述边缘区域处理单元包括：

第五计算子单元，用于如果所述目标像素位于边缘区域，计算所述目标像素的领域区域内所有像素点的权重；

归一化子单元，用于对所述像素点的权重进行归一化处理，获得归一化后的权重值；

第六计算子单元，用于基于所述归一化后的权重值计算所述目标像素的目标深度值；

第二更新子单元，用于将所述目标像素的深度值更新为所述目标深度值，且所述边缘区域中的除所述目标像素之外的像素的深度值为与之对应的原始深度值，实现对所述边缘区域的像素点的滤波处理，得到边缘区域的滤波结果。

Images