CN101873509A - 消除深度图序列背景和边缘抖动的方法 - Google Patents

Abstract

本发明提出了一种消除深度图序列背景和边缘抖动的方法和装置，其中，该方法包括以下步骤：读取源图像序列的背景图像对并计算得到所述背景图像的深度图；计算所述源图像序列和所述背景图像的帧差以得到帧差数组；计算以得到所述源图像序列每一帧的深度图；根据预设阈值判断所述源图像深度图的前景和背景，且消除背景抖动；对所述源图像深度图的前景赋值以消除前景轮廓抖动；通过中值滤波和双边滤波以优化得到最终所述源图像深度图。通过本发明提出的消除深度图序列背景和边缘抖动的方法，克服了已有技术的不足，能够有效地消除图像抖动，消除干扰噪声，平滑边缘。

Description

消除深度图序列背景和边缘抖动的方法

技术领域

本发明涉及计算机视觉技术领域，特别涉及一种消除深度图序列背景和边缘抖动的方法。

背景技术

三维图像和显示是未来信息***的一种重要表现形式，三维图像和显示一方面层次分明色彩鲜艳，具有很强的视觉冲击力，让观看的人驻景时间更长，留下深刻的印象；另外三维图像和显示给人以真实、栩栩如生，人物呼之欲出，有身临其境的感觉，有很高的艺术欣赏价值。正因为三维图像和视频具有这些平面图像和视频所不具备的特点，所以在诸如电脑显示、电视、视频、机器人、测量、斟察、医疗、广告传媒、电子游戏等领域具有广阔的应用前景。

人眼看世界之所以有立体感，是因为左眼和右眼看世界的视角有少许不同而存在视差(disparity)。视差是指左视图和右视图对应于同一个世界点的两个象素点的水平位移。计算机视觉领域的定理指出，某点的视差和它所对应的世界点的深度(depth，即距离感)成反比；也就是说，离观看点越远的点的视差值越小，无穷远点的视差为0。一张图像所有点的深度值组成了深度图(depth map)。

基于双目立体视觉的深度图生成技术的发展使得快速生成高质量的深度图成为了可能，但是由于现有技术没有考虑时间上的相关性，在对图像序列进行操作的时候，每一幅深度图都是独立生成的，这就导致生成的深度图序列在连续播放的时候会出现严重的背景和边缘的抖动，影响了整体演示效果。

发明内容

本发明旨在至少解决上述技术问题之一。

为此，本发明的一个目的在于提出了一种消除深度图序列背景和边缘抖动的方法，该方法克服了已有技术的不足，能够有效地消除图像抖动，消除干扰噪声，平滑边缘。

本发明的一个方面提出了一种消除深度图序列背景和边缘抖动的方法，包括以下步骤：读取源图像序列的背景图像对并计算得到所述背景图像的深度图；计算所述源图像序列和所述背景图像的帧差以得到帧差数组；计算以得到所述源图像序列每一帧的深度图；根据预设阈值判断所述源图像深度图的前景和背景，且消除背景抖动；对所述源图像深度图的前景赋值以消除前景轮廓抖动；通过中值滤波和双边滤波以优化得到最终所述源图像深度图。

在本发明的一个实施例中，利用灰度变换公式将所述背景图像和所述源图像的每个像素点的数据变为灰度值后，以计算得到所述背景图像和所述源图像的深度图。

在本发明的一个实施例中，所述计算所述源图像序列和所述背景图像的帧差以得到帧差数组进一步包括：读取所述源图像序列每一帧图像对；对所述源图像序列每一帧图像做灰度变换；对灰度变换后的所述源图像参考视图和所述背景图参考视图做差，以得到所述帧差数组。

在本发明的一个实施例中，所述根据预设阈值判断所述源图像深度图的前景和背景，且消除背景抖动进一步包括：通过预设阈值对所述帧差数组进行阈值判断，以区分所述源图像深度图的前景和背景；用所述背景深度图对应的值为所述源图像深度图的背景赋值。

在本发明的一个实施例中，所述对所述源图像深度图的前景赋值以消除前景轮廓抖动进一步包括：统计所述前景范围内所有的像素点；通过计算得到统一值作为深度值以对所述前景赋予所述深度值。

在本发明的一个实施例中，所述通过中值滤波和双边滤波以优化得到最终所述源图像深度图进一步包括：对消除背景抖动和前景轮廓抖动的所述源图像序列的深度图进行中值滤波，以去除所述背景中的干扰噪声；对所述去除背景中干扰噪声的深度图进行双边滤波以平滑所述深度图的边缘，得到最终优化后的源图像序列的深度图。

本发明的另一方面提出了一种消除深度图序列背景和边缘抖动的装置，包括：图像获取模块，用于读取源图像序列的背景图像对并计算得到所述背景图像的深度图；帧差数组计算模块，用于计算所述源图像序列和所述背景图像的帧差以得到帧差数组；计算模块，用于计算以得到所述源图像序列每一帧的深度图；前景背景判断模块，用于根据预设阈值判断所述源图像深度图的前景和背景，且消除背景抖动；前景图像处理模块，用于对所述源图像深度图的前景赋值以消除前景轮廓抖动；图像优化模块，用于通过中值滤波和双边滤波以优化得到最终所述源图像深度图。

根据本发明实施例的消除深度图序列背景和边缘抖动的方法，克服了已有技术的不足，能够有效地消除图像抖动，消除干扰噪声，平滑边缘。另外本发明实施简单，便于操作。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本发明实施例的消除深度图序列背景和边缘抖动的方法的整体流程框图；

图2为采用本发明实施例的方法处理之前的深度图；

图3为图2采用本发明实施例的方法优化后的深度图；

图4为用本发明实施例的方法处理得到的其他图像的立体渲染图像；和

图5为本发明实施例的消除深度图序列背景和边缘抖动的装置整体结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

下面参考附图描述本发明实施例的消除深度图序列背景和边缘抖动的方法，该方法克服了已有技术的不足，能够有效地消除图像抖动，消除干扰噪声，平滑边缘。另外本发明实施简单，便于操作。

如图1所示，为本发明实施例的消除深度图序列背景和边缘抖动的方法的整体流程框图。包括以下步骤：

步骤S101，读取源图像序列的背景图像对并计算得到所述背景图像的深度图。

1.1，定义图像接口，包括：图像数据指针，图像宽度，高度，位深，图像格式。

1.2，根据所述图像接口定义图像读取函数，用图像读取函数从硬盘打开源图像序列的背景图像对文件，以便获取背景图像数据，并且把所述背景图像数据保存在***内存中。

1.3，利用灰度变换公式，将所述背景图像数据转变为相应背景图像的灰度图像数据。

具体地，在本发明的一个实施例中，利用RGB(Red Green Blue，红绿蓝)图像变换公式对源图像对进行灰度变换，以得到对应的灰度图像对。其中，本发明实施例中RGB图像变换公式如下：

Y＝0.212671×R+0.715160×G+0.072169×B    (1)

其中，Y是灰度图像每个像素点的灰度值，R、G、B分别是平面视频帧图像中每个像素点的R、G、B分量。

1.4，利用置信传播的立体匹配算法计算得到源图像序列的背景图像的深度图。在本发明的一个实施例中，背景图像的深度图记为：reDepth。

步骤S102，计算所述源图像序列和所述背景图像的帧差以得到帧差数组。

2.1，根据图像接口定义图像读取函数，用图像读取函数从硬盘打开源图像序列每一帧图像对文件，以便获取源图像的图像数据，并且把源图像的图像数据保存在内存中。

2.2，利用灰度变换公式，将源图像序列每一帧图像数据变为灰度图像数据。

2.3，把2.2中灰度变换后的源图像参考视图和1.4中灰度变换后的背景图参考视图做差，并取绝对值以得到源图像参考视图与背景图参考视图之间的帧差数组。

具体地，在本发明的一个实施例中，把灰度变换后的源图像参考视图记为：depth1，背景图参考视图记为：depth2，帧差数组记为：cha。运用如下公式：

cha＝|depth1-depth2|                      (2)

得到相应的帧差数组cha。

步骤S103，计算以得到所述源图像序列每一帧的深度图。

3.1，得到2.2中灰度变换后的源图像序列数据。

3.2，运用1.4中提出的置信传播的立体匹配算法计算3.1中的数据以得到源图像序列每一帧的深度图。在本发明的一个实施例中，把源图像序列每一帧图像的深度图记为：depth。如图2所示，为本发明实施例的源图像序列每一帧图像的深度图。

步骤S104，根据预设阈值判断所述源图像深度图的前景和背景，且消除背景抖动。

4.1，定义阈值，对2.3中得到的帧差数组进行阈值判断，因为相机不动，则认为背景是不动的，所以可以把其中小于阈值的点作为背景，其他的点作为前景。在本发明的一个实施例中，阈值定义为20。

4.2，对分为背景的区域，用背景深度图对应的值来为源图像深度图赋值，运用如下公式：

$\left\{\begin{array}{cc}\begin{array}{cc}\mathrm{if}& \mathrm{cha}<20\end{array}& \mathrm{depth}=\mathrm{reDepth}\\ \mathrm{else}& \mathrm{depth}=\mathrm{depth}\end{array}\right.---\left(3\right)$

在本发明的一个实施例中，从公式(3)中能够看出，如果帧差数组cha小于阈值20，则把源图像序列每一帧图像的深度图depth的颜色赋值为背景图像的深度图reDepth的颜色。否则为前景，保持原有值。

步骤S105，对所述源图像深度图的前景赋值以消除前景轮廓抖动。

5.1，对前景范围内所有的像素点进行统计。

5.3，统计计算得到的统一值作为前景的深度值，对所述前景的深度图赋予统一值用以消除前景轮廓的抖动。在本发明的一个实施例中，采用对所有点求和再平均的方法计算得到统一值。

步骤S106，通过中值滤波和双边滤波以优化得到最终所述源图像深度图。

6.1，对5.3中处理过的源图像序列的深度图进行中值滤波，通过中值滤波能够去除背景中的干扰噪声。

6.2，对6.1处理过源图像序列的深度图进行双边滤波，通过双边滤波能够平滑边缘。

6.3，得到源图像每一帧的深度图。在本发明的一个实施例中，如图3所示，为最终优化好的图2所示的深度图。

在本发明的的另外一个实施例中。如图4所示，为用其他图像序列通过本发明提出的消除深度图序列背景和边缘抖动的方法检验效果，通过图4能够看出此立体渲染图像，仍没有明显的背景和边缘抖动。

本发明的另一方面提出了一种消除深度图序列背景和边缘抖动的装置，该消除深度图序列背景和边缘抖动的装置100包括图像获取模块110，帧差数组计算模块120，前景背景判断模块130，前景图像处理模块140，和图像优化模块150。其中，图像获取模块110用于读取源图像序列的背景图像对并计算得到所述背景图像的深度图，帧差数组计算模块120用于计算所述源图像序列和所述背景图像的帧差以得到帧差数组，前景背景判断模块130用于根据预设阈值判断所述源图像深度图的前景和背景，且消除背景抖动，前景图像处理模块140用于对所述源图像深度图的前景赋值以消除前景轮廓抖动，图像优化模块150用于通过中值滤波和双边滤波以优化得到最终所述源图像深度图。

其中，图像获取模块110包括背景图像获取模块1101，灰度变换模块1102，计算模块1103。背景图像获取模块1101用于获取背景图，灰度变换模块1102采用灰度变换公式将所述背景图像和所述源图像的每个像素点的数据变为灰度值，计算模块1103用于把灰度变换后的所述背景图像和所述源图像，以计算得到所述背景图像和所述源图像的深度图。

但是本领域的普通技术人员知道，本发明提出的消除深度图序列背景和边缘抖动的装置100的图像优化模块150还可以细分为中值滤波模块和双边滤波模块，当然还可以有其他形式的组合，这些也应该认为在本发明的保护范围之内。

通过本发明提出的消除深度图序列背景和边缘抖动的方法，克服了已有技术的不足，能够有效地消除图像抖动，消除干扰噪声，平滑边缘。另外本发明实施简单，便于操作。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同限定。

Claims (8)

1.一种消除深度图序列背景和边缘抖动的方法，其特征在于，包括以下步骤：

读取源图像序列的背景图像对并计算得到所述背景图像的深度图；

计算所述源图像序列和所述背景图像的帧差以得到帧差数组；

计算以得到所述源图像序列每一帧的深度图；

根据预设阈值判断所述源图像深度图的前景和背景，且消除背景抖动；

对所述源图像深度图的前景赋值以消除前景轮廓抖动；

通过中值滤波和双边滤波以优化得到最终所述源图像深度图。

2.如权利要求1所述的消除深度图序列背景和边缘抖动的方法，其特征在于，利用灰度变换公式将所述背景图像和所述源图像的每个像素点的数据变为灰度值后，以计算得到所述背景图像和所述源图像的深度图。

3.如权利要求2所述的消除深度图序列背景和边缘抖动的方法，其特征在于，所述计算所述源图像序列和所述背景图像的帧差以得到帧差数组进一步包括：

读取所述源图像序列每一帧图像对；

对所述源图像序列每一帧图像做灰度变换；

对灰度变换后的所述源图像参考视图和所述背景图参考视图做差，以得到所述帧差数组。

4.如权利要求3所述的消除深度图序列背景和边缘抖动的方法，其特征在于，所述根据预设阈值判断所述源图像深度图的前景和背景，且消除背景抖动进一步包括：

通过预设阈值对所述帧差数组进行阈值判断，以区分所述源图像深度图的前景和背景；

用所述背景深度图对应的值为所述源图像深度图的背景赋值。

5.如权利要求4所述的消除深度图序列背景和边缘抖动的方法，其特征在于，所述对所述源图像深度图的前景赋值以消除前景轮廓抖动进一步包括：

统计所述前景范围内所有的像素点；

通过计算得到统一值作为深度值以对所述前景赋予所述深度值。

6.如权利要求5所述的消除深度图序列背景和边缘抖动的方法，其特征在于，所述通过中值滤波和双边滤波以优化得到最终所述源图像深度图进一步包括：

对消除背景抖动和前景轮廓抖动的所述源图像序列的深度图进行中值滤波，以去除所述背景中的干扰噪声；

对所述去除背景中干扰噪声的深度图进行双边滤波以平滑所述深度图的边缘，得到最终优化后的源图像序列的深度图。

7.一种消除深度图序列背景和边缘抖动的装置，其特征在于，包括：

图像获取模块，用于读取源图像序列的背景图像对并计算得到所述背景图像的深度图；

帧差数组计算模块，用于计算所述源图像序列和所述背景图像的帧差以得到帧差数组；

计算模块，用于计算以得到所述源图像序列每一帧的深度图；

前景背景判断模块，用于根据预设阈值判断所述源图像深度图的前景和背景，且消除背景抖动；

前景图像处理模块，用于对所述源图像深度图的前景赋值以消除前景轮廓抖动；合

图像优化模块，用于通过中值滤波和双边滤波以优化得到最终所述源图像深度图。

8.如权利要求7所述的消除深度图序列背景和边缘抖动的装置，其特征在于，利用灰度变换公式将所述背景图像和所述源图像的每个像素点的数据变为灰度值后，以计算得到所述背景图像和所述源图像的深度图。

Images