CN110490829B - 一种深度图像的滤波方法及*** - Google Patents
一种深度图像的滤波方法及*** Download PDFInfo
- Publication number
- CN110490829B CN110490829B CN201910789404.6A CN201910789404A CN110490829B CN 110490829 B CN110490829 B CN 110490829B CN 201910789404 A CN201910789404 A CN 201910789404A CN 110490829 B CN110490829 B CN 110490829B
- Authority
- CN
- China
- Prior art keywords
- target pixel
- image
- pixel
- depth
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001914 filtration Methods 0.000 title claims abstract description 116
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000012545 processing Methods 0.000 claims description 48
- 238000004364 calculation method Methods 0.000 claims description 12
- 238000010606 normalization Methods 0.000 claims description 7
- 230000000694 effects Effects 0.000 abstract description 7
- 230000002146 bilateral effect Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 238000005259 measurement Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20028—Bilateral filtering
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了深度图像的滤波方法及***,包括:确定根据原始深度图像扩展得到的第二图像中的目标像素,并基于设定的动态阈值获得目标像素的属性特征信息;如果目标像素位于平面区域,计算目标像素的邻域区域的像素深度值的均值,并将邻域区域内的所有像素深度值更新为均值,得到平面区域的滤波结果;如果位于边缘区域,计算目标像素的邻域区域内所有像素点的权重值,并根据权重值计算获得目标像素的目标深度值,将目标像素的深度值更新为目标深度值,得到边缘区域的滤波结果;基于平面区域的滤波结果和边缘区域的滤波结果,获得滤波后的深度图像。本发明解决了对深度图滤波过程中无法同时达到对平面区域滤波效果明显和保留边缘信息的问题。
Description
技术领域
本发明涉及图像处理技术领域,特别是涉及一种深度图像的滤波方法及***。
背景技术
深度图像也称为距离影像,是指将从图像采集器到场景中各点的距离(深度)作为像素值的图像,它直接反映了景物可见表面的几何形状。目前深度图像的获取方式通常有两种,一种是通过硬件设备直接测量,主要的设备是基于结构光的深度摄像机和基于TOF(Time Of Flight,光飞行时间)的深度摄像机;另一种是通过双目算法的软件测量来计算得到。
在硬件测量过程中,由于受到硬件设备制造工艺和性能的影响得到的深度图像存在一定的测量误差,并且测量误差随着深度值的增大而增大;而软件测量过程中,由于双目设备分辨率、算法匹配精度等影响得到的深度图像也存在一定的误差。
虽然现有技术中会通过滤波算法来解决深度图像中的误差问题,但是传统的滤波算法对深度图像的平面区域的滤波效果不明显,或者无法保留边缘信息。
发明内容
针对于上述问题,本发明提供一种深度图像的滤波方法及***,解决了对深度图滤波过程中无法同时达到对平面区域滤波效果明显和保留边缘信息的问题。
为了实现上述目的,本发明提供了如下技术方案:
一种深度图像的滤波方法,该方法包括:
根据预设滑动窗口对第一图像进行图像扩展,获得第二图像,其中,所述第一图像表征原始深度图像,所述第二图像的大小与所述第一图像的大小和所述预设滑动窗口的大小具有预设对应关系;
确定所述第二图像中的目标像素,并基于设定的动态阈值对所述目标像素进行属性判断,获得目标像素的属性特征信息,所述属性特征信息包括所述目标像素位于边缘区域或者所述目标像素位于平面区域;
如果所述目标像素位于平面区域,计算所述目标像素的邻域区域的像素深度值的均值,并将所述邻域区域内的所有像素深度值更新为所述均值,实现对所述平面区域的各个像素点的滤波处理,得到平面区域的滤波结果;
如果所述目标像素位于边缘区域,计算所述目标像素的邻域区域内所有像素点的权重值,并根据所述权重值计算获得所述目标像素的目标深度值,将所述目标像素的深度值更新为所述目标深度值,实现对所述边缘区域的像素点的滤波处理,得到边缘区域的滤波结果;
基于所述平面区域的滤波结果和所述边缘区域的滤波结果,获得滤波后的深度图像。
可选地,所述根据预设滑动窗口对第一图像进行图像扩展,获得第二图像,包括:
根据预设滑动窗口的大小,对第一图像的上下左右四个边各扩展第一数值个像素,其中,预设滑动窗口的大小为N*N,且N为大于等于3的正奇数,第一数值=(N-1)/2,且扩展后的每个像素深度值等于与其相邻像素的深度值;
根据第一图像的大小和所述滑动窗口的大小,计算获得第二图像的大小,其中,若所述第一图像的宽度为W1,高度为H1,所述第二图像的宽度W2=W1+N-1,所述第二图像的高度H2=H1+N-1;
根据第一图像的像素点的深度值和预设滑动窗口的大小,对所述第二图像中的像素点进行赋值,获得赋值后的第二图像。
可选地,所述确定所述第二图像中的目标像素,并基于设定的动态阈值对所述目标像素进行属性判断,获得目标像素的属性特征信息,包括:
根据所述第二图像的目标像素的参考参数,确定与所述目标像素相匹配的动态阈值,所述参考参数包括参考百分比和参考深度值;
获取所述目标像素的邻域区域;
计算所述邻域区域内各个像素的梯度,获得梯度集合;
将所述梯度集合中的每一个梯度值与所述动态阈值进行比较,若有一个梯度值大于所述动态阈值,则判断所述目标像素位于边缘区域,否则,所述目标像素位于平面区域。
可选地,所述如果所述目标像素位于平面区域,计算所述目标像素的邻域区域的像素深度值的均值,并将所述邻域区域内的所有像素深度值更新为所述均值,包括:
如果所述目标像素位于平面区域,计算所述目标像素的邻域区域内所有像素的和;
根据所述所有像素的和,计算得到所述邻域区域内所有像素的均值;
将所述邻域区域内所有像素的深度值更新为所述均值;
更新所述目标像素的坐标值,对更新后的目标像素进行滤波处理。
可选地,所述如果所述目标像素位于边缘区域,计算所述目标像素的邻域区域内所有像素点的权重值,并根据所述权重值计算获得所述目标像素的目标深度值,将所述目标像素的深度值更新为所述目标深度值,实现对所述边缘区域的像素点的滤波处理,得到边缘区域的滤波结果,包括:
如果所述目标像素位于边缘区域,计算所述目标像素的领域区域内所有像素点的权重;
对所述像素点的权重进行归一化处理,获得归一化后的权重值;
基于所述归一化后的权重值计算所述目标像素的目标深度值;
将所述目标像素的深度值更新为所述目标深度值,且所述边缘区域中的除所述目标像素之外的像素的深度值为与之对应的原始深度值,实现对所述边缘区域的像素点的滤波处理,得到边缘区域的滤波结果。
可选地,该方法还包括:
若所述邻域区域内的像素点的深度值为0,则剔除掉所述深度值为0的像素点。
一种深度图像的滤波***,该***包括:
扩展单元,用于根据预设滑动窗口对第一图像进行图像扩展,获得第二图像,其中,所述第一图像表征原始深度图像,所述第二图像的大小与所述第一图像的大小和所述预设滑动窗口的大小具有预设对应关系;
属性判断单元,用于确定所述第二图像中的目标像素,并基于设定的动态阈值对所述目标像素进行属性判断,获得目标像素的属性特征信息,所述属性特征信息包括所述目标像素位于边缘区域或者所述目标像素位于平面区域;
平面区域处理单元,用于如果所述目标像素位于平面区域,计算所述目标像素的邻域区域的像素深度值的均值,并将所述邻域区域内的所有像素深度值更新为所述均值,实现对所述平面区域的各个像素点的滤波处理,得到平面区域的滤波结果;
边缘区域处理单元,用于如果所述目标像素位于边缘区域,计算所述目标像素的邻域区域内所有像素点的权重值,并根据所述权重值计算获得所述目标像素的目标深度值,将所述目标像素的深度值更新为所述目标深度值,实现对所述边缘区域的像素点的滤波处理,得到边缘区域的滤波结果;
生成单元,用于基于所述平面区域的滤波结果和所述边缘区域的滤波结果,获得滤波后的深度图像。
可选地,所述扩展单元包括:
扩展子单元,用于根据预设滑动窗口的大小,对第一图像的上下左右四个边各扩展第一数值个像素,其中,预设滑动窗口的大小为N*N,且N为大于等于3的正奇数,第一数值=(N-1)/2,且扩展后的每个像素深度值等于与其相邻像素的深度值;
第一计算子单元,用于根据第一图像的大小和所述滑动窗口的大小,计算获得第二图像的大小,其中,若所述第一图像的宽度为W1,高度为H1,所述第二图像的宽度W2=W1+N-1,所述第二图像的高度H2=H1+N-1;
赋值子单元,用于根据第一图像的像素点的深度值和预设滑动窗口的大小,对所述第二图像中的像素点进行赋值,获得赋值后的第二图像。
可选地,所述属性判断单元包括:
确定子单元,用于根据所述第二图像的目标像素的参考参数,确定与所述目标像素相匹配的动态阈值,所述参考参数包括参考百分比和参考深度值;
第一获取子单元,用于获取所述目标像素的邻域区域;
第二计算子单元,用于计算所述邻域区域内各个像素的梯度,获得梯度集合;
比较子单元,用于将所述梯度集合中的每一个梯度值与所述动态阈值进行比较,若有一个梯度值大于所述动态阈值,则判断所述目标像素位于边缘区域,否则,所述目标像素位于平面区域。
可选地,所述平面处理单元包括:
第三计算子单元,用于如果所述目标像素位于平面区域,计算所述目标像素的邻域区域内所有像素的和;
第四计算子单元,用于根据所述所有像素的和,计算得到所述邻域区域内所有像素的均值;
第一更新子单元,用于将所述邻域区域内所有像素的深度值更新为所述均值;
第一处理子单元,用于更新所述目标像素的坐标值,对更新后的目标像素进行滤波处理;
所述边缘区域处理单元包括:
第五计算子单元,用于如果所述目标像素位于边缘区域,计算所述目标像素的领域区域内所有像素点的权重;
归一化子单元,用于对所述像素点的权重进行归一化处理,获得归一化后的权重值;
第六计算子单元,用于基于所述归一化后的权重值计算所述目标像素的目标深度值;
第二更新子单元,将所述目标像素的深度值更新为所述目标深度值,且所述边缘区域中的除所述目标像素之外的像素的深度值为与之对应的原始深度值,实现对所述边缘区域的像素点的滤波处理,得到边缘区域的滤波结果。
相较于现有技术,本发明提供了一种深度图像的滤波方法及***,通过对原始深度图像进行扩展,得到第二图像,然后基于动态阈值对第二图像中的目标图像的属性进行判断,采用动态阈值可以对不同深度值均具有自适应和鲁棒性,根据动态阈值对深度像素值进行分类,实现了能够针对不同的属性特征进行不同的滤波处理,即对平面区域内采用均值更新邻域内所有像素的深度值,而对边缘区域采用重新计算深度值来更新目标像素的深度值。从而解决了对深度图滤波过程中无法同时达到对平面区域滤波效果明显和保留边缘信息的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的一种深度图像的滤波方法的流程示意图;
图2为本发明实施例提供的原始深度图像的示意图;
图3为本发明实施例提供的原始深度图在matlab中三维显示图;
图4为本发明实施例提供的进行滤波后的深度图的示意图;
图5为本发明实施例提供的进行滤波后的深度图在matlab中三维显示图;
图6为本发明实施例提供的一种深度图像的滤波***的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”和“第二”等是用于区别不同的对象,而不是用于描述特定的顺序。此外术语“包括”和“具有”以及他们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、***、产品或设备没有设定于已列出的步骤或单元,而是可包括没有列出的步骤或单元。
在本发明实施例中提供了一种深度图像的滤波方法,参见图1,该方法包括以下步骤:
S101、根据预设滑动窗口对第一图像进行图像扩展,获得第二图像。
其中,第一图像表征原始深度图像,第二图像的大小与第一图像的大小和预设滑动窗口的大小具有预设对应关系。为了能够避免对边缘信息的损失,需要对原始深度图像的上下左右四个边进行扩展,可以扩展预设数量的像素,使得扩展后的第二图像满足处理需求。对应的,也可以根据设定的滑动窗口大小对原始图像进行扩展。
在本申请实施例中还提供了一种图像扩展的方法,可以包括以下步骤:
S1011、根据预设滑动窗口的大小,对第一图像的上下左右四个边各扩展第一数值个像素;
S1012、根据第一图像的大小和所述滑动窗口的大小,计算获得第二图像的大小;
S1013、根据第一图像的像素点的深度值和预设滑动窗口的大小,对所述第二图像中的像素点进行赋值,获得赋值后的第二图像。
其中,将预设滑动窗口的大小设置为N*N,且N为大于等于3的正奇数,需要说明的是将N的取值设置为奇数是为了保证滑动窗口中心像素两边具有相同个数的像素。第一数值=(N-1)/2,即对原始深度图像上下左右四个边各扩展(N-1)/2个像素,且扩展后的每个像素深度值等于与其相邻像素的深度值。具体的:
若所述第一图像的宽度为W1,高度为H1,所述第二图像的宽度W2=W1+N-1,所述第二图像的高度H2=H1+N-1;
对第二图像中的像素的深度值进行赋值,其中,赋值公式如式(1)所示。
其中,d2(i,j)表示第二图像中行坐标为i列坐标为j的深度坐标值,同样d1(i,j)表示第一图像中行坐标为i列坐标为j的深度坐标值,max(a,b)表示取a、b两个数中最大的数,min(a,b)表示取a、b两个数中最小的数。
需要说明的是,N的取值需要根据图像的分辨率、滤波精度、算法耗时等因素进行取值,为了便于计算,优选取值为3~11,但是也不排除其他取值,依据具体情况进行选取。例如,在本发明中,具体实施过程中参数的取值为W1=552,H1=664,N=7,(N-1)/2=3;本发明中以下部分中,第二图像的像素点用d(i,j)表示,d(i,j)表示第二图像的第i行第j列的像素坐标同时也表示该像素点的深度值。
S102、确定第二图像中的目标像素,并基于设定的动态阈值对目标像素进行属性判断,获得目标像素的属性特征信息。
得到原始深度图像的扩展图像后,需要对第二图像中待进行滤波处理的像素d(i,j)进行属性判断,即判断该像素是位于边缘区域还是平面区域。
在本发明实施例中还提供了一种属性判断方法,包括:
S1021、根据所述第二图像的目标像素的参考参数,确定与所述目标像素相匹配的动态阈值,所述参考参数包括参考百分比和参考深度值;
S1022、获取所述目标像素的邻域区域;
S1023、计算所述邻域区域内各个像素的梯度,获得梯度集合;
S1024、将所述梯度集合中的每一个梯度值与所述动态阈值进行比较,若有一个梯度值大于所述动态阈值,则判断所述目标像素位于边缘区域,否则,所述目标像素位于平面区域。
具体的,第二图像中的待处理像素d(i,j)起始坐标值为i=(N-1)/2,j=(N-1)/2;属性判断的过程如下:
首先根据动态阈值计算公式得到像素d(i,j)属性判断的参考阈值。动态阈值计算公式如式(2)所示:
其中,DT(i,j)表示像素d(i,j)属性判断的参考动态阈值,base为基础参考百分比,ref_depth为参考深度值,例如,在实施过程中参数的取值为base=5,ref_depth=1000。
获取像素d(i,j)的邻域区域。把像素点d(i,j)作为滑动窗口的中心,在深度图像上滑动窗口内所有元素组成的集合记为像素d(i,j)的邻域区域,因此该邻域区域包括该目标像素点d(i,j);
计算邻域区域内每一个像素与d(i,j)的梯度,并且对所有梯度值进行绝对值运算,绝对值运算后所有梯度值组成的集合记为d(i,j)的梯度集合GS。GS中元素的计算公式为式(3):
grad(r,c)=abs(d(i+r,j+c)-d(i,j)) (3)
其中,grad(r,c)表示GS中第(r+a)*N+(c+a)个元素,r=-a,-(a-1),…(a-1),a;c=-a,-(a-1),…(a-1),a;a=(N-1)/2;abs表示绝对值运算。例如,实施过程中参数的取值分别为N=7,a=3。
GS中的每一个梯度值与参考动态阈值进行比较,若有一个梯度值大于该阈值,则说明d(i,j)位于深度图像边缘区域;反之,则说明d(i,j)位于深度图像平面区域。
S103、如果目标像素位于平面区域,计算目标像素的邻域区域的像素深度值的均值,并将邻域区域内的所有像素深度值更新为均值,实现对平面区域的各个像素点的滤波处理,得到平面区域的滤波结果;
S104、如果目标像素位于边缘区域,计算目标像素的邻域区域内所有像素点的权重值,并根据权重值计算获得目标像素的目标深度值,将目标像素的深度值更新为目标深度值,得到边缘区域的滤波结果;
S105、基于平面区域的滤波结果和边缘区域的滤波结果,获得滤波后的深度图像。
在获得了目标像素d(i,j)的属性信息后,需要对该目标像素进行滤波处理。
当像素d(i,j)位于深度图像平面区域时,采用均值滤波的方法计算窗口内所有像素深度值的均值并用该均值更新窗口内所有像素的深度值,具体实施过程包括:
计算d(i,j)邻域区域内所有像素的和,计算公式如式(4)所示:
其中,sum(i,j)表示d(i,j)邻域区域内所有元素的深度和,r=-a,-(a-1),…(a-1),a;c=-a,-(a-1),…(a-1),a;a=(N-1)/2。
计算d(i,j)邻域区域内所有像素的均值,计算公式为式(5):
mean(i,j)=sum(i,j)/(N*N) (5)
如式(6)所示,更新d(i,j)邻域区域内所有像素的深度值:
d(i+r,j+c)=mean(i,j) (6)
其中,r=-a,-(a-1),…(a-1),a;c=-a,-(a-1),…(a-1),a;a=(N-1)/2。
当对当前的目标像素d(i,j)进行滤波处理完成后,需要更新i,j的值,即实现对下一像素的滤波处理。在平面区域中滑动窗口的滑动步长为a,令j=j+a;若j<W1,则i=i;否则,i=i+a;若i<H1,则令j=(N-1)/2,重新对下一个待处理的像素点d(i,j)进行滤波;否则,说明第二图像已完成滤波。
当像素d(i,j)位于深度图像边缘区域时,采用改进的双边滤波方法计算新的深度值,然后用新的深度值对该d(i,j)进行更新,具体过程如下:
在深度图中深度值为0的像素点表示深度无效的点,所以在计算新的深度值时需要剔除这些深度值为0的像素点。根据改进的双边滤波方法计算d(i,j)邻域区域内所有像素点的权重。权重计算公式为式(7)所示:
其中,abs表示取绝对值运算,min(a,b)表示a、b中最小值的运算。
对d(i,j)邻域区域内所有像素点权重进行归一化处理,归一化计算公式为式(8)所示:
重新计算d(i,j)的深度值,计算公式如式(9)所示:
更新i,j的值。在边缘区域中为了保留边缘处的细节信息滑动窗口的滑动步长为1,令j=j+1;若j<W1,则i=i;否则,i=i+1;若i<H1,则令j=(N-1)/2,重新对下一个待处理的像素点d(i,j)进行滤波;否则,说明第二图像已完成滤波。
例如,参见图2,其示出了原始深度图的示意图,图2是一张滤波前的552*664大小的深度图像,图像前景是一个张开双臂的人,图像背景是水平墙面,图像中黑色部分代表无效深度值的像素点;图像3是图2在matlab中三维显示图,从图3中可以看出,由深度摄像头抓取的深度图在平面区域存在较大的波动,因而需要对深度图像进行滤波处理。采用本发明实施例中提供的上述滤波方法,其中,第一图像中的W1=552,H1=664,N=7,(N-1)/2=3,a=3。对第二图像进行滤波后得到的深度图像如图4所示,图5是图4在matlab里的三维显示图,由图5可以看出平面区域相对图3变平滑了。此外,图5与图2对比,保留了图2中的细节信息,如图2中手指边缘在图4中仍然清晰可见。另外滤波后对图2中的部分空洞进行了有效的填充,如图2中椭圆中部分黑色孔洞在图4中对应的位置有了深度值。
在本发明实施例中提供的深度图像的滤波方法,根据深度图像的像素深度值来动态确定判断像素分类的阈值,动态阈值增强了该方法对不同深度值的自适应性和鲁棒性;其次,该方法根据动态阈值对深度像素值进行分类,根据不同的类别采用不同的滤波方式即平面区域采用均值滤波而边缘区域采用改进型双边滤波,分类滤波的方式既能对平面区域达到平滑的效果,也能保留深度图像边缘的细节信息;在平面滤波过程中,采用更新窗口内所有像素深度值的方式同时可加大滑动窗口的步长,该方式既可传递平面平整度同时可减少滤波时间;最后,在边缘滤波过程中采用改进型的双边滤波,对双边滤波同样做了改进,包括在计算位置权重时,用像素间隔数代替位置的距离,在计算图像深度值权重时,对深度梯度值进行比例缩小,这样通过指数变换的权重分布更合理,在计算权重时,剔除深度值为0的像素点;使得改进后的双边滤波减少了滤波耗时并且对深度图边缘处理有较好的滤波效果,同时可填充深度图像中的部分空洞。
参见图6,在本申请实施例中还提供了一种深度图像的滤波***,包括:
扩展单元10,用于根据预设滑动窗口对第一图像进行图像扩展,获得第二图像,其中,所述第一图像表征原始深度图像,所述第二图像的大小与所述第一图像的大小和所述预设滑动窗口的大小具有预设对应关系;
属性判断单元20,用于确定所述第二图像中的目标像素,并基于设定的动态阈值对所述目标像素进行属性判断,获得目标像素的属性特征信息,所述属性特征信息包括所述目标像素位于边缘区域或者所述目标像素位于平面区域;
平面区域处理单元30,用于如果所述目标像素位于平面区域,计算所述目标像素的邻域区域的像素深度值的均值,并将所述邻域区域内的所有像素深度值更新为所述均值,实现对所述平面区域的各个像素点的滤波处理,得到平面区域的滤波结果;
边缘区域处理单元40,用于如果所述目标像素位于边缘区域,计算所述目标像素的邻域区域内所有像素点的权重值,并根据所述权重值计算获得所述目标像素的目标深度值,将所述目标像素的深度值更新为所述目标深度值,实现对所述边缘区域的像素点的滤波处理,得到边缘区域的滤波结果;
生成单元50,用于基于所述平面区域的滤波结果和所述边缘区域的滤波结果,获得滤波后的深度图像。
在上述实施例的基础上,所述扩展单元包括:
扩展子单元,用于根据预设滑动窗口的大小,对第一图像的上下左右四个边各扩展第一数值个像素,其中,预设滑动窗口的大小为N*N,且N为大于等于3的正奇数,第一数值=(N-1)/2,且扩展后的每个像素深度值等于与其相邻像素的深度值;
第一计算子单元,用于根据第一图像的大小和所述滑动窗口的大小,计算获得第二图像的大小,其中,若所述第一图像的宽度为W1,高度为H1,所述第二图像的宽度W2=W1+N-1,所述第二图像的高度H2=H1+N-1;
赋值子单元,用于根据第一图像的像素点的深度值和预设滑动窗口的大小,对所述第二图像中的像素点进行赋值,获得赋值后的第二图像。
在上述实施例的基础上,所述属性判断单元包括:
确定子单元,用于根据所述第二图像的目标像素的参考参数,确定与所述目标像素相匹配的动态阈值,所述参考参数包括参考百分比和参考深度值;
第一获取子单元,用于获取所述目标像素的邻域区域;
第二计算子单元,用于计算所述邻域区域内各个像素的梯度,获得梯度集合;
比较子单元,用于将所述梯度集合中的每一个梯度值与所述动态阈值进行比较,若有一个梯度值大于所述动态阈值,则判断所述目标像素位于边缘区域,否则,所述目标像素位于平面区域。
在上述实施例的基础上,所述平面处理单元包括:
第三计算子单元,用于如果所述目标像素位于平面区域,计算所述目标像素的邻域区域内所有像素的和;
第四计算子单元,用于根据所述所有像素的和,计算得到所述邻域区域内所有像素的均值;
第一更新子单元,用于将所述邻域区域内所有像素的深度值更新为所述均值;
第一处理子单元,用于更新所述目标像素的坐标值,对更新后的目标像素进行滤波处理;
所述边缘区域处理单元包括:
第五计算子单元,用于如果所述目标像素位于边缘区域,计算所述目标像素的领域区域内所有像素点的权重;
归一化子单元,用于对所述像素点的权重进行归一化处理,获得归一化后的权重值;
第六计算子单元,用于基于所述归一化后的权重值计算所述目标像素的目标深度值;
第二更新子单元,用于将所述目标像素的深度值更新为所述目标深度值,且所述边缘区域中的除所述目标像素之外的像素的深度值为与之对应的原始深度值,实现对所述边缘区域的像素点的滤波处理,得到边缘区域的滤波结果。
在上述实施例的基础上,所述边缘区域处理单元还包括
剔除子单元,用于若所述邻域区域内的像素点的深度值为0,则剔除掉所述深度值为0的像素点。
本发明提供了一种深度图像的滤波***,通过对原始深度图像进行扩展,得到第二图像,然后基于动态阈值对第二图像中的目标图像的属性进行判断,采用动态阈值可以对不同深度值均具有自适应和鲁棒性,根据动态阈值对深度像素值进行分类,实现了能够针对不同的属性特征进行不同的滤波处理,即对平面区域内采用均值更新邻域内所有像素的深度值,而对边缘区域采用重新计算深度值来更新目标像素的深度值。从而解决了对深度图滤波过程中无法同时达到对平面区域滤波效果明显和保留边缘信息的问题。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (8)
1.一种深度图像的滤波方法,其特征在于,该方法包括:
根据预设滑动窗口对第一图像进行图像扩展,获得第二图像,其中,所述第一图像表征原始深度图像,所述第二图像的大小与所述第一图像的大小和所述预设滑动窗口的大小具有预设对应关系;
确定所述第二图像中的目标像素,并基于设定的动态阈值对所述目标像素进行属性判断,获得目标像素的属性特征信息,所述属性特征信息包括所述目标像素位于边缘区域或者所述目标像素位于平面区域;所述确定所述第二图像中的目标像素,并基于设定的动态阈值对所述目标像素进行属性判断,获得目标像素的属性特征信息,包括:
根据所述第二图像的目标像素的参考参数,确定与所述目标像素相匹配的动态阈值,所述参考参数包括参考百分比和参考深度值;所述动态阈值的计算公式为:
获取所述目标像素的邻域区域;
计算所述邻域区域内各个像素的梯度,获得梯度集合;
将所述梯度集合中的每一个梯度值与所述动态阈值进行比较,若有一个梯度值大于所述动态阈值,则判断所述目标像素位于边缘区域,否则,所述目标像素位于平面区域;
如果所述目标像素位于平面区域,计算所述目标像素的邻域区域的像素深度值的均值,并将所述邻域区域内的所有像素深度值更新为所述均值,实现对所述平面区域的各个像素点的滤波处理,得到平面区域的滤波结果;
如果所述目标像素位于边缘区域,计算所述目标像素的邻域区域内所有像素点的权重值,并根据所述权重值计算获得所述目标像素的目标深度值,将所述目标像素的深度值更新为所述目标深度值,实现对所述边缘区域的像素点的滤波处理,得到边缘区域的滤波结果;
基于所述平面区域的滤波结果和所述边缘区域的滤波结果,获得滤波后的深度图像。
2.根据权利要求1所述的方法,其特征在于,所述根据预设滑动窗口对第一图像进行图像扩展,获得第二图像,包括:
根据预设滑动窗口的大小,对第一图像的上下左右四个边各扩展第一数值个像素,其中,预设滑动窗口的大小为N*N,且N为大于等于3的正奇数,第一数值=(N-1)/2,且扩展后的每个像素深度值等于与其相邻像素的深度值;
根据第一图像的大小和所述滑动窗口的大小,计算获得第二图像的大小,其中,若所述第一图像的宽度为W1,高度为H1,所述第二图像的宽度W2=W1+N-1,所述第二图像的高度H2=H1+N-1;
根据第一图像的像素点的深度值和预设滑动窗口的大小,对所述第二图像中的像素点进行赋值,获得赋值后的第二图像。
3.根据权利要求1所述的方法,其特征在于,所述如果所述目标像素位于平面区域,计算所述目标像素的邻域区域的像素深度值的均值,并将所述邻域区域内的所有像素深度值更新为所述均值,包括:
如果所述目标像素位于平面区域,计算所述目标像素的邻域区域内所有像素的和;
根据所述所有像素的和,计算得到所述邻域区域内所有像素的均值;
将所述邻域区域内所有像素的深度值更新为所述均值;
更新所述目标像素的坐标值,对更新后的目标像素进行滤波处理。
4.根据权利要求1所述的方法,其特征在于,所述如果所述目标像素位于边缘区域,计算所述目标像素的邻域区域内所有像素点的权重值,并根据所述权重值计算获得所述目标像素的目标深度值,将所述目标像素的深度值更新为所述目标深度值,实现对所述边缘区域的像素点的滤波处理,得到边缘区域的滤波结果,包括:
如果所述目标像素位于边缘区域,计算所述目标像素的领域区域内所有像素点的权重;
对所述像素点的权重进行归一化处理,获得归一化后的权重值;
基于所述归一化后的权重值计算所述目标像素的目标深度值;
将所述目标像素的深度值更新为所述目标深度值,且所述边缘区域中的除所述目标像素之外的像素的深度值为与之对应的原始深度值,实现对所述边缘区域的像素点的滤波处理,得到边缘区域的滤波结果。
5.根据权利要求4所述的方法,其特征在于,该方法还包括:
若所述邻域区域内的像素点的深度值为0,则剔除掉所述深度值为0的像素点。
6.一种深度图像的滤波***,其特征在于,该***包括:
扩展单元,用于根据预设滑动窗口对第一图像进行图像扩展,获得第二图像,其中,所述第一图像表征原始深度图像,所述第二图像的大小与所述第一图像的大小和所述预设滑动窗口的大小具有预设对应关系;
属性判断单元,用于确定所述第二图像中的目标像素,并基于设定的动态阈值对所述目标像素进行属性判断,获得目标像素的属性特征信息,所述属性特征信息包括所述目标像素位于边缘区域或者所述目标像素位于平面区域;所述属性判断单元包括:
确定子单元,用于根据所述第二图像的目标像素的参考参数,确定与所述目标像素相匹配的动态阈值,所述参考参数包括参考百分比和参考深度值;所述动态阈值的计算公式为:
第一获取子单元,用于获取所述目标像素的邻域区域;
第二计算子单元,用于计算所述邻域区域内各个像素的梯度,获得梯度集合;
比较子单元,用于将所述梯度集合中的每一个梯度值与所述动态阈值进行比较,若有一个梯度值大于所述动态阈值,则判断所述目标像素位于边缘区域,否则,所述目标像素位于平面区域;
平面区域处理单元,用于如果所述目标像素位于平面区域,计算所述目标像素的邻域区域的像素深度值的均值,并将所述邻域区域内的所有像素深度值更新为所述均值,实现对所述平面区域的各个像素点的滤波处理,得到平面区域的滤波结果;
边缘区域处理单元,用于如果所述目标像素位于边缘区域,计算所述目标像素的邻域区域内所有像素点的权重值,并根据所述权重值计算获得所述目标像素的目标深度值,将所述目标像素的深度值更新为所述目标深度值,实现对所述边缘区域的像素点的滤波处理,得到边缘区域的滤波结果;
生成单元,用于基于所述平面区域的滤波结果和所述边缘区域的滤波结果,获得滤波后的深度图像。
7.根据权利要求6所述的***,其特征在于,所述扩展单元包括:
扩展子单元,用于根据预设滑动窗口的大小,对第一图像的上下左右四个边各扩展第一数值个像素,其中,预设滑动窗口的大小为N*N,且N为大于等于3的正奇数,第一数值=(N-1)/2,且扩展后的每个像素深度值等于与其相邻像素的深度值;
第一计算子单元,用于根据第一图像的大小和所述滑动窗口的大小,计算获得第二图像的大小,其中,若所述第一图像的宽度为W1,高度为H1,所述第二图像的宽度W2=W1+N-1,所述第二图像的高度H2=H1+N-1;
赋值子单元,用于根据第一图像的像素点的深度值和预设滑动窗口的大小,对所述第二图像中的像素点进行赋值,获得赋值后的第二图像。
8.根据权利要求6所述的***,其特征在于,所述平面区域处理单元包括:
第三计算子单元,用于如果所述目标像素位于平面区域,计算所述目标像素的邻域区域内所有像素的和;
第四计算子单元,用于根据所述所有像素的和,计算得到所述邻域区域内所有像素的均值;
第一更新子单元,用于将所述邻域区域内所有像素的深度值更新为所述均值;
第一处理子单元,用于更新所述目标像素的坐标值,对更新后的目标像素进行滤波处理;
所述边缘区域处理单元包括:
第五计算子单元,用于如果所述目标像素位于边缘区域,计算所述目标像素的领域区域内所有像素点的权重;
归一化子单元,用于对所述像素点的权重进行归一化处理,获得归一化后的权重值;
第六计算子单元,用于基于所述归一化后的权重值计算所述目标像素的目标深度值;
第二更新子单元,用于将所述目标像素的深度值更新为所述目标深度值,且所述边缘区域中的除所述目标像素之外的像素的深度值为与之对应的原始深度值,实现对所述边缘区域的像素点的滤波处理,得到边缘区域的滤波结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910789404.6A CN110490829B (zh) | 2019-08-26 | 2019-08-26 | 一种深度图像的滤波方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910789404.6A CN110490829B (zh) | 2019-08-26 | 2019-08-26 | 一种深度图像的滤波方法及*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110490829A CN110490829A (zh) | 2019-11-22 |
CN110490829B true CN110490829B (zh) | 2022-03-15 |
Family
ID=68553945
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910789404.6A Active CN110490829B (zh) | 2019-08-26 | 2019-08-26 | 一种深度图像的滤波方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110490829B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111323756B (zh) * | 2019-12-30 | 2022-05-13 | 北京海兰信数据科技股份有限公司 | 一种基于深度学习的航海雷达目标检测方法及装置 |
CN111415310B (zh) * | 2020-03-26 | 2023-06-30 | Oppo广东移动通信有限公司 | 一种图像处理方法及装置、存储介质 |
CN111986124B (zh) * | 2020-09-07 | 2024-05-28 | 凌云光技术股份有限公司 | 一种深度图像缺失像素的填充方法及装置 |
CN113570530B (zh) * | 2021-06-10 | 2024-04-16 | 北京旷视科技有限公司 | 图像融合方法、装置、计算机可读存储介质和电子设备 |
CN114066779B (zh) * | 2022-01-13 | 2022-05-06 | 杭州蓝芯科技有限公司 | 一种深度图滤波方法及装置、电子设备、存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103581633A (zh) * | 2012-07-24 | 2014-02-12 | 索尼公司 | 图像处理装置、图像处理方法、程序以及成像设备 |
CN103854257A (zh) * | 2012-12-07 | 2014-06-11 | 山东财经大学 | 一种基于自适应三边滤波的深度图像增强方法 |
CN104683783A (zh) * | 2015-01-08 | 2015-06-03 | 电子科技大学 | 一种自适应深度图滤波方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20120003147A (ko) * | 2010-07-02 | 2012-01-10 | 삼성전자주식회사 | 루프 필터를 이용한 깊이 영상 부호화 장치 및 복호화 장치 |
-
2019
- 2019-08-26 CN CN201910789404.6A patent/CN110490829B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103581633A (zh) * | 2012-07-24 | 2014-02-12 | 索尼公司 | 图像处理装置、图像处理方法、程序以及成像设备 |
CN103854257A (zh) * | 2012-12-07 | 2014-06-11 | 山东财经大学 | 一种基于自适应三边滤波的深度图像增强方法 |
CN104683783A (zh) * | 2015-01-08 | 2015-06-03 | 电子科技大学 | 一种自适应深度图滤波方法 |
Non-Patent Citations (3)
Title |
---|
保留边缘信息和特定目标的高密脉冲噪声滤波算法;赵伟舟 等;《西北师范大学学报(自然科学版)》;20141231;第50卷(第4期);第46页 * |
基于时空联合滤波的高清视频降噪算法;陈潇红 等;《浙江大学学报(工学版)》;20130531;第47卷(第5期);第854-855页 * |
基于边缘检测的Kinect 深度图像去噪算法;邹星星 等;《湖南工业大学学报》;20131130;第27卷(第6期);第37-39页 * |
Also Published As
Publication number | Publication date |
---|---|
CN110490829A (zh) | 2019-11-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110490829B (zh) | 一种深度图像的滤波方法及*** | |
US8818077B2 (en) | Stereo image matching apparatus and method | |
CN107507239B (zh) | 一种图像分割方法及移动终端 | |
CN106504276B (zh) | 非局部立体匹配方法 | |
CN107636727A (zh) | 一种目标检测的方法及装置 | |
KR100859210B1 (ko) | 인물검출장치, 인물검출방법 및 인물검출프로그램을 저장한 컴퓨터 판독가능 기록매체 | |
US20150003740A1 (en) | Image processing device, method of controlling image processing device, and program for enabling computer to execute same method | |
CN107578430B (zh) | 一种基于自适应权值和局部熵的立体匹配方法 | |
CN102665086B (zh) | 利用基于区域的局部立体匹配获取视差的方法 | |
CN108446694B (zh) | 一种目标检测方法及装置 | |
CN111402170B (zh) | 图像增强方法、装置、终端及计算机可读存储介质 | |
CN104616278B (zh) | 三维点云兴趣点检测方法和*** | |
CN105069804B (zh) | 基于智能手机的三维模型扫描重建方法 | |
CN104899853A (zh) | 图像区域的划分方法及装置 | |
CN103826032B (zh) | 深度图后期处理方法 | |
WO2014073670A1 (ja) | 画像処理方法及び画像処理装置 | |
JP6307873B2 (ja) | 対象線検出装置、方法、及びプログラム | |
Kaewaramsri et al. | Improved triangle box-counting method for fractal dimension estimation | |
US9959672B2 (en) | Color-based dynamic sub-division to generate 3D mesh | |
CN106991697A (zh) | 胸部数字影像的心胸比测量方法 | |
JP4631973B2 (ja) | 画像処理装置、画像処理装置の制御方法、および画像処理装置の制御プログラム | |
US11256949B2 (en) | Guided sparse feature matching via coarsely defined dense matches | |
CN111161288B (zh) | 图像处理方法和装置 | |
JP2013073598A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
CN108182666A (zh) | 一种视差校正方法、装置和终端 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |