CN106485678A - 一种基于时空滤波的景深时空一致性及精度增强的方法 - Google Patents

Abstract

本发明公开了一种基于时空滤波的景深时空一致性及精度增强的方法，通过采用景深时空一致性及精度增强滤波器进行时空滤波实现，该景深时空一致性及精度增强滤波器为三维时空滤波器，维度分别是时间维度和图像平面维度，通过在时间维度以及图像平面维度滑动滤波核对景深流进行时空滤波，滤波核大小固定，且该滤波核的值由像素点的静止概率、景深可靠度、像素空间距离和像素色彩差值所对应的滤波权重因子共同组成，可以自适应变化，用于提升通过立体匹配得到的景深质量。

Description

一种基于时空滤波的景深时空一致性及精度增强的方法

技术领域

本发明涉及一种基于时空滤波的景深时空一致性及精度增强的方法，用于提升通过立体匹配算法得到的景深流质量，属于计算机视觉领域和图像处理领域。

背景技术

景深(场景深度)是计算机视觉领域一个非常重要的概念，表示场景中物体与摄像机之间的距离，它为传统的二维图像增加了三维信息，在人机交互、虚拟现实、3D打印等领域具有广泛应用。

景深提取有主动和被动两种方式。主动方式是指利用Kinect或者ToF等深度传感器直接采集，这种方式的优点是速度快，精度高；缺点是景深图像分辨率低，不能和色彩图像完全匹配，一般用于室内环境。被动方式是指通过立体匹配找到空间中同一点在左右图像上投影位置的坐标对应关系，计算对应点在校准后图像上的水平方向的视差，然后根据摄像机参数和三角测量原理，把视差值转换为深度值。立体匹配提取景深的优点是景深图分辨率能与原图一致，并且这种方法在室内和室外场景都适用；但是由于立体匹配算法的复杂性和不稳定性，目前通过立体匹配算法获得的景深流通常存在时空不一致的问题。时间不一致表现为静止区域的在景深流的不同帧之间存在的高频闪烁问题；空间不一致表现为平面物体的景深噪声或是物体边界轮廓不准确的问题。

为了解决景深流的时空不一致问题，传统方法是对景深流进行平滑滤波处理以消除时域中景深流的跳变以及景深平面中的噪声，但是这类方法存在两个缺点：1)运动区域和静止区域采用相同的平滑滤波策略，容易导致运动区域的景深精度遭到破坏；2)平滑景深的时候没有考虑到景深的可靠度，容易导致不可靠景深在时空域中传播，从而使得滤波后的景深精度下降。总之，传统的景深增强方法尽管能够解决景深流的时空不一致问题，但是它们会导致滤波后景深精度的下降。传统的景深增强方法尚不能同时解决景深流的时空不一致，以及景深流精度提升这两个问题。

发明内容

本发明所要解决的技术问题是提出一种时空滤波器用于景深流的增强处理，通过在时空滤波器中引入像素的静止概率和景深可靠度作为滤波权重因子，达到同时提升景深流时空一致性及景深精度的目的。

为了解决上述技术问题，本发明提供了一种基于时空滤波的景深时空一致性及精度增强的方法，通过采用景深时空一致性及精度增强滤波器进行时空滤波实现，该景深时空一致性及精度增强滤波器为三维时空滤波器，维度分别是时间维度和图像平面维度，通过在时间维度以及图像平面维度滑动滤波核对景深流进行时空滤波，滤波核的维度由时间维度和图像平面维度组成，滤波核大小固定，且该滤波核的值由像素点的静止概率、景深可靠度、像素空间距离和像素色彩差值所对应的滤波权重因子共同组成，可以自适应变化；

通过在景深图中滑动滤波核完成对景深的时空滤波。

进一步的，在滤波核空间的滤波过程由式10定义：

其中，d表示像素的原始景深，d′表示像素通过时空滤波器增强之后的景深，w_kernl(x+Δx,y+Δy,t+Δt)代表由像素点的静止概率、景深可靠度、像素空间距离和像素色彩差值所对应的滤波权重因子所综合而成的滤波核的值。

具体包括以下步骤：

A检测视频流中每个像素点的静止概率；

B检测景深流中每个像素点的景深可靠度；

C计算景深时空一致性及精度增强滤波器的权重因子；

D对景深流进行时空滤波。

步骤A中所述的检测视频流中每个像素点的静止概率，具体步骤如下：

A1首先把彩***流转换为灰度视频流；

A2然后计算以每个像素点为中心的矩形窗口内相邻两帧灰度图像之间的SSIM值。

步骤B中所述的检测景深流中每个像素点的景深可靠度，具体步骤如下：

B1首先根据三角测距原理把左、右两路景深流转换为视差流；

B2然后检测每个像素点是否在左、右视差图中存在相互映射的关系，如果相互映射的关系存在，即像素点通过左右一致性检测，那么就表示像素点的可靠度高；反之，如果不能通过左右一致性检测，那么就表示该像素点可靠度低。

步骤C中所述的计算景深时空一致性及精度增强滤波器的权重因子，具体步骤如下：

C1计算像素点静止概率所对应的滤波权重，计算原则为：如果滤波窗口内任意像素点静止的概率越大，那么景深随时间变化的可能性就越低，也就是说该像素点与滤波中心点景深一致的可能性越大，那么该像素点对滤波中心点提供的支持就越多，即滤波权重更大；

C2计算像素点景深可靠度所对应的权重因子，计算原则为：如果滤波窗口内任意像素点的景深可靠度越高，那么该像素点对滤波中心点景深提供的有效支持就越多，即滤波权重更大；

C3计算像素点空间距离所对应的权重因子，计算原则为：如果滤波窗口内任意像素点与滤波中心点的距离越近，那么像素之间景深的相似度就越高，从而该像素点对滤波中心点提供的有效支持就越多，即滤波权重更大，像素空间距离由X坐标的偏移Δx、Y坐标的偏移Δy和时间间隔Δt共同组成；

C4计算像素点色彩差值所对应的权重因子，计算原则为：如果滤波窗口内任意像素点与滤波中心点的色彩差值越小，那么像素之间景深的相似度就越高，从而该像素点对滤波中心点提供的有效支持就越多，即滤波权重更大。

步骤D中所述的对景深流进行时空滤波，通过在景深图中滑动滤波核进行滤波完成，以提升景深的时空一致性及景深精度，滤波核的值由像素的静止概率、景深可靠度、像素空间距离和像素色彩差值所对应的滤波权重因子共同组成。

至此，一种基于时空滤波的景深时空一致性及精度增强的方法执行完毕。

本发明的有益效果是：相比现有的景深增强方法，本发明不仅可以解决景深流的时空不一致问题，同时还能提升景深流的精度。

附图说明

图1为一种基于时空滤波的景深时空一致性及精度增强的方法的流程图；

图2为时空滤波器时空域信息的示意图；

图3为左右一致性检测通过和不通过情况的示意图；

图4为根据左右一致性检测得到的左路景深二值化可靠度的示意图，黑色表示不可靠区域，白色表示可靠区域。

具体实施方式

以下结合附图和实施例对本发明专利做进一步说明。参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

如图1所示，本发明提出的一种基于时空滤波的景深时空一致性及精度增强的方法包括以下步骤：

A检测视频流中每个像素点的静止概率；

B检测景深流中每个像素点的景深可靠度；

C计算景深时空一致性及精度增强滤波器的权重因子；

D对景深流进行时空滤波。

步骤A：检测视频流中每个像素点的静止概率，静止概率由局部结构相似性指标(SSIM)表示。首先把彩***流转换为灰度视频流，然后计算以每个像素点为中心的矩形窗口内相邻两帧灰度图像之间的SSIM值，SSIM越大，表示静止概率越高；SSIM越小，表示静止概率越低。在本实施例中，步骤A的具体实施步骤如下：

A1将彩***流转换为灰度视频流，对任意转换成灰度的视频流的方法都适用，本实施例的转换公式由式1定义：

Gray＝0.299×R+0.587×G+0.114×B (1)

A2计算以每个像素点为中心的矩形窗口内相邻两帧灰度图像之间的SSIM值。具体的实施步骤为：首先以(x,y)为中心划定一个大小为5×5的局部窗口，分别计算两帧灰度图像在窗口内平均值μ_t+Δt(x,y)，μ_t(x,y)和标准差σ_t+Δt(x,y)，σ_t(x,y)；然后计算两帧灰度图像之间的协方差σ_t+Δt,t(x,y)；最后，根据式2求结构相似性指标：

其中，Δt∈[-4,0]，C₁，C₂皆为常数。SSIM_t+Δt,t(x,y)表示像素(x,y)在t与t+Δt两帧灰度图像之间的结构相似性指标。值得注意的是，当Δt＝0时，即当前帧自身比较时，SSIM_t+Δt,t(x,y)＝1。

步骤B：检测景深流中每个像素点的景深可靠度，景深可靠度通过对视差进行左右一致性检测间接获得。首先根据三角测距原理把左、右两路景深流转换为视差流，然后检测每个像素点是否在左、右视差图中存在相互映射的关系，如果相互映射的关系存在，即像素点通过左右一致性检测，那么就表示像素点的可靠度高；反之，如果不能通过左右一致性检测，那么就表示该像素点可靠度低。在本实施例中，步骤B的具体实施方案如下：

B1根据三角测距原理把左、右两路景深流转换为视差流，三角测距由式3定义：

其中d表示景深，b表示左右摄像机光心之间的距离，f表示摄像机的焦距，disparity为视差。通过式3可以得到左右两路景深图对应的视差图，分别用dis_LR和dis_RL表示。

B2在左视差图和右视差图的基础上，检测每个像素点能否通过左右一致性检测。左右一致性检测由式4定义：

其中，Mask_L(x,y,t)表示t时刻左路景深图在(x,y)处的可靠度，T为阈值，是常量。MaskL(x,y,t)为1表示可靠，为0表示不可靠。

图3是左右一致性检测通过和不通过情况的示意图。P_L1表示通过左右一致性检测的像素点，该点首先通过视差dis_LR(P_L1,t)在右图中找到对应的像素点P_R1，然后P_R1也能通过视差dis_RL(P_R1,t)在左图中找到对应的像素点P’_L1，如果P’_L1与P_L1重合，即视差差值等于0，小于阈值T(在本实施例中阈值T＝1)，所以P_L1可以通过左右一致性检测，即Mask_L(x,y,t)＝1，在如图4所示的景深可靠度图中标记为“●”，表示景深可靠。同理，P_L2表示不能通过左右一致性检测的像素点，该点通过视差dis_LR(P_L2,t)在右图中找到的对应像素点为P_R2，但是P_R2通过视差dis_RL(P_R2,t)在左图中找到对应的像素点是P_L2‘，P_L2’与P_L2不重合，即不满足阈值条件，所以P_L2不能通过左右一致性检测，即Mask _L(x,y,t)＝0，在如图4所示的景深可靠度二值化图中标记为“×”，表示景深不可靠。

步骤C：计算景深时空一致性及精度增强滤波器的权重因子。滤波器的权重因子有四种，分别是像素点的静止概率、景深可靠度、像素空间距离以及像素色彩差值对应的滤波权重因子。在本实施例中，时空滤波器大小定义为5×5×5，如图2所示，其中像素p(x,y,t)表示滤波中心点，像素q(x+Δx,y+Δy,t+Δt)表示滤波空间中的任意一点。像素q对滤波中心点p的权重计算步骤如下：

C1像素q静止的概率对应的权重计算原则为：如果滤波窗口内任意像素q静止的概率越大，那么景深随时间变化的可能性就越低，也就是说像素q与滤波中心点p景深一致的可能性越大，那么像素q对滤波中心点p提供的支持就越多，即滤波权重更大。具体的权重由式5定义：

其中，Δx∈[-2,2]，Δy∈[-2,2]，Δt∈[-4,0]，式中常数0.04和20可根据实际情况作出调整直至达到最佳时空滤波效果。

C2像素q的景深可靠度所对应的权重计算原则为：如果像素q的景深可靠度越高，那么其对滤波中心点p提供的有效支持也就越多，从而对应的滤波权重就更大。具体的权重由式6定义：

其中，Mask(x+Δx,y+Δy，t+Δt)表示t+Δt时刻景深图在(x+Δx,y+Δy)处的可靠度，式中，滤波权重值1和0.01可根据实际情况进行调整直至时空效果最佳。

C3像素q与像素p之间的距离所对应的权重计算原则为：如果q与p的距离越近，那么像素之间景深的相似度就越高，从而像素q对滤波中心点p提供的有效支持就越多，即滤波权重更大。具体的权重由式7定义：

其中，distance表示空间距离，式中的distance可以采用任意形式的距离表达，本实施例的空间距离的定义为distance＝|Δx|+|Δy|+|Δt|，σ_d是一个常数，用于控制空间距离对应的权重大小。

C4像素q与像素p之间的色彩差值所对应的权重计算原则为：如果q与p的色彩差值越小，那么像素之间景深的相似度就越高，从而像素q对滤波中心点p提供的有效支持就越多，即滤波权重更大。具体的权重由式8定义：

其中，I_c表示c通道的颜色值，σ_I是一个常数，用于控制像素色彩差值对应的权重大小。

步骤D：根据步骤C得到的四种滤波权重因子计算滤波核的值，可以是乘与加的任意组合的表现形式，本实施例计算滤波核的值，定义如下

w_kernal(x+Δx,y+Δy,t+Δt)＝w_s·w_r·w_d·w_c (9)

通过在景深图中滑动滤波核完成对景深的时空滤波，以提升景深的时空一致性及景深精度。在本实施例中，在滤波核空间的滤波过程由式10定义：

其中，d表示像素q(x+Δx,y+Δy,t+Δt)的原始景深，d′表示像素p(x,y,t)通过时空滤波器增强之后的景深。

至此，前面的步骤完成了一帧景深图的增强处理，通过循环可以完成景深流的增强处理。

综上所述，本发明针对目前的景深增强方法在解决时空不一致问题的同时不能保证景深的精度不遭到破坏的不足之处，提出了一种基于时空滤波的景深时空一致性及精度增强的方法，用于对立体匹配算法得到的景深流进行增强处理。本发明的创新点在于使用了一种时空滤波器对景深流进行增强处理，并且引入静止概率和景深可靠度作为滤波权重因子。本发明的优点是不仅可以解决景深流的时空不一致问题，而且还能提升景深的精度。本发明适用于人机交互、虚拟现实等3D应用。

本说明书中描述了本发明的实施例，本领域的技术人员可以理解为：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变形，本发明的范围由权利要求及其等同物限定。

Claims (16)

1.一种基于时空滤波的景深时空一致性及精度增强的方法，其特征在于，通过采用景深时空一致性及精度增强滤波器进行时空滤波实现，该景深时空一致性及精度增强滤波器为三维时空滤波器，维度分别是时间维度和图像平面维度，通过在时间维度以及图像平面维度滑动滤波核对景深流进行时空滤波，滤波核的维度由时间维度和图像平面维度组成，滤波核大小固定，且该滤波核的值由像素点的静止概率、景深可靠度、像素空间距离和像素色彩差值所对应的滤波权重因子共同组成，可以自适应变化；

通过在景深图中滑动滤波核完成对景深的时空滤波。

2.根据权利要求1所述的一种基于时空滤波的景深时空一致性及精度增强的方法，其特征在于，在滤波核空间的滤波过程由式10定义：

其中，d表示像素的原始景深，d′表示像素通过时空滤波器增强之后的景深，w_kernl(x+Δx,y+Δy,t+Δt)代表滤波核的值。

3.根据权利要求1或2所述的一种基于时空滤波的景深时空一致性及精度增强的方法，其特征在于，根据四种滤波权重因子计算滤波核的值，定义如下：

w_kernal(x+Δx,y+Δy,t+Δt)＝w_s·w_r·w_d·w_c (9)

其中，w_kernl(x+Δx,y+Δy,t+Δt)代表滤波核的值，w_s代表像素点的静置概率所对应的滤波权重，w_r代表景深可靠度所对应的滤波权重，w_d代表像素空间距离所对应的权重，w_c代表像素色彩差值所对应的滤波权重；所述的滤波因子的计算，由w_s w_r w_d w_c构成的任何代数形式都适用。

4.根据权利要求1、2或3所述的一种基于时空滤波的景深时空一致性及精度增强的方法，其特征在于，

该方法实现包括以下步骤，

A检测视频流中每个像素点的静止概率；

B检测景深流中每个像素点的景深可靠度；

C计算景深时空一致性及精度增强滤波器的权重因子；

D对景深流进行时空滤波；

其中，步骤A中的视频流中每个像素点的静止概率由相邻两帧灰度图像之间的局部结构相似性指标SSIM值表示；

其中，步骤B中的景深流中每个像素点的可靠度通过对视差进行左右一致性检测间接获得。

5.根据权利要求4所述的一种基于时空滤波的景深时空一致性及精度增强的方法，其特征在于，所述的局部结构相似性指标值计算方法为：首先把彩***流转换为灰度视频流，然后计算以每个像素点为中心的矩形窗口内相邻两帧灰度图像之间的局部结构相似性指标值。

6.根据权利要求4所述的一种基于时空滤波的景深时空一致性及精度增强的方法，其特征在于，视差左右一致性检测步骤为：首先根据三角测距原理把左、右两路景深流转换为视差流，然后检测每个像素点是否在左、右视差图中存在相互映射的关系，如果相互映射的关系存在，即像素点通过左右一致性检测，表示像素点的可靠度高；反之，如果不能通过左右一致性检测，表示该像素点可靠度低。

7.根据权利要求4所述的一种基于时空滤波的景深时空一致性及精度增强的方法，其特征在于，像素点的静止概率对应的滤波权重计算原则为：如果滤波窗口内任意像素点静止的概率越大，那么景深随时间变化的可能性就越低，该像素点与滤波中心点景深一致的可能性越大，该像素点对滤波中心点提供的支持就越多，即滤波权重更大。

8.根据权利要求4所述的一种基于时空滤波的景深时空一致性及精度增强的方法，其特征在于，景深可靠度对应的滤波权重计算原则为：如果滤波窗口内任意像素点的景深可靠度越高，那么该像素点对滤波中心点景深提供的有效支持就越多，滤波权重更大。

9.根据权利要求4所述的一种基于时空滤波的景深时空一致性及精度增强的方法，其特征在于，像素空间距离对应的滤波权重计算原则为：如果滤波窗口内任意像素点与滤波中心点的距离越近，那么像素之间景深的相似度就越高，该像素点对滤波中心点提供的有效支持就越多，滤波权重更大。

10.根据权利要求4所述的一种基于时空滤波的景深时空一致性及精度增强的方法，其特征在于，所述的像素色彩差值对应的权重计算原则为：如果滤波窗口内任意像素点与滤波中心点的色彩差值越小，那么像素之间景深的相似度就越高，该像素点对滤波中心点提供的有效支持就越多，滤波权重更大。

11.根据权利要求5所述的一种基于时空滤波的景深时空一致性及精度增强的方法，其特征在于，所述步骤A具体实施步骤如下：

A1所述的将彩***流转换为灰度视频流；A2计算以每个像素点为中心的矩形窗口内相邻两帧灰度图像之间的局部结构相似性指标，根据式2求结构相似性指标：

其中，C₁，C₂皆为常数。SSIM_t+Δt,t(x,y)表示像素(x,y)在t与t+Δt两帧灰度图像之间的结构相似性指标，μ_t+Δt(x,y)，μ_t(x,y)表示两帧灰度图像在窗口内平均值，σ_t+Δt(x,y)，σ_t(x,y)表示两帧灰度图像在窗口内标准差，σ_t+Δt,t(x,y)表示两帧灰度图像之间的协方差。

12.根据权利要求6所述的一种基于时空滤波的景深时空一致性及精度增强的方法，其特征在于，所述步骤B具体实施步骤如下：

B1根据三角测距原理把左、右两路景深流转换为视差流，三角测距由式3定义：

其中d表示景深，b表示左右摄像机光心之间的距离，f表示摄像机的焦距，disparity为视差；通过式3可以得到左右两路景深图对应的视差图，分别用dis_LR和dis_RL表示；

B2在左视差图和右视差图的基础上，检测每个像素点能否通过左右一致性检测，左右一致性检测由式4定义：

其中，Mask_L(x,y,t)表示t时刻左路景深图在(x,y)处的可靠度，T为阈值，是常量；MaskL(x,y,t)为1表示可靠，为0表示不可靠。

13.根据权利要求7所述的一种基于时空滤波的景深时空一致性及精度增强的方法，其特征在于，像素点的静止概率对应的滤波权重由式5定义：

其中，SSIM_t+Δt,t(x+Δx,y+Δy)表示像素(x+Δx,y+Δy)在t与t+Δt两帧灰度图像之间的结构相似性指标，常数0.04、20的取值可根据实际情况进行调整直至时空滤波效果最佳，与SSIM取值范围有关。

14.根据权利要求8所述的一种基于时空滤波的景深时空一致性及精度增强的方法，其特征在于，像素点的景深可靠度对应的滤波权重由式6定义：

其中，Mask(x+Δx,y+Δy，t+Δt)表示t+Δt时刻景深图在(x+Δx,y+Δy)处的可靠度，式中，滤波权重值1和0.01可根据实际情况进行调整直至时空效果最佳。

15.根据权利要求9所述的一种基于时空滤波的景深时空一致性及精度增强的方法，其特征在于，像素空间距离对应的滤波权重由式7定义：

其中，distance表示空间距离，σ_d是一个常数，用于控制空间距离对应的权重大小。

16.根据权利要求10所述的一种基于时空滤波的景深时空一致性及精度增强的方法，其特征在于，所述的像素色彩差值对应的权重由式8定义：

其中，I_c表示c通道的颜色值，σ_I是一个常数，用于控制像素色彩差值对应的权重大小。