CN103997653A - 一种基于边缘的面向虚拟视绘制的深度视频的编码方法 - Google Patents

Abstract

本发明公开了一种基于边缘的面向虚拟视绘制的深度视频的编码方法，其步骤是：(1)、边缘检测：采用Sobel边缘检测算法对深度图的宏块作处理，检测出深度图的宏块的边缘值；(2)、划分深度图的宏块类型：设定用于划分宏块的阈值 _，将上述步骤(1)所述的每个深度图的宏块得到的边缘值G与设定的阈值作比较，将宏块划分为边缘区域和平坦区域；(3)、对深度图的宏块编码获得编码后的深度图的宏块，采用不同的编码预测模式。(4)、中值三边滤波：采用中值三边滤波器对上述步骤(3)所述的编码后的边缘区域的深度图的宏块去除块效应，保护边缘。该算法在保证虚拟视视频主观质量基本不变的前提下，提高深度图的压缩速率、虚拟视的深度图编码质量。

Description

一种基于边缘的面向虚拟视绘制的深度视频的编码方法

技术领域

本发明涉及一种深度视频的编码方法，特别是一种基于边缘的面向虚拟视绘制的深度视频的编码方法。

背景技术

3D视频能给观众提供三维深度的视觉效果，增强视觉现实感和逼真感。现有的一种基于深度的多视立体***，该***首先利用深度估计算法从两路彩***中得到深度信息；然后对一路或多路彩***和深度信息编码、传输；最后，在解码端，利用基于深度图像的绘制（Depth Image Based Rending, DIBR）技术合成8个视点。因此基于深度的多视立体***与彩***的多视立体***相比，传输的数据量明显下降，可以在有限带宽内实现实时传输。

深度视频是由一帧帧的深度图组成的。深度图是8比特量化的灰度图像，灰度值为0到255，表示场景物体的距离信息，即每个像素的灰度值表示该像素与摄像机的相对距离。灰度值255（白色）表示像素距离摄像机最近；灰度值0（黑色）表示像素距离摄像机最远。与传统的彩***相比，深度图纹理单一、边缘锐利、特征点少。在3DV***中深度图不直接用于显示，而是用于解码端虚拟视点的合成，因此深度图的质量对于终端合成视的质量至关重要。

针对深度视频的编码方法可分为两种，一种是将深度视频作为独立的灰度视频来编码的方法，该方法直接用编码纹理视频的方法对深度视频编码；另一种是将深度视频和纹理视频联合起来编码的方法。由于深度图和纹理图的特点不同，因此将深度视频作为独立的灰度视频来编码的方法其编码效率低，并且编码后的深度图质量差；而将深度视频和纹理视频联合起来编码的方法虽然克服了将深度视频独立编码的不足，但是算法复杂度太高。例如，文献[1]提出一种基于自适应的空间变换框架的深度视频编码算法，该方法属于将深度视频和纹理视频联合起来编码的方法，它利用深度图与纹理图中边缘结构的相似性，使用彩色图中的边缘分解深度图。这种方法充分利用了深度图中边缘与平滑区域的尖锐过渡，从而在保证虚拟视质量的前提下提高了深度图的编码效率，但是对编码效率的提升有限。

文献[1]: Kwan-Jung Oh; Vetro A, Yo-Sung H. Depth Coding Using a Boundary Reconstruction Filter for 3-D Video Systems[J].  IEEE Transactions on Circuits and Systems for Video Technology, March 2011,vol.21, no.3, 350-359

发明内容

本发明的目的是提供一种基于边缘的面向虚拟视绘制的深度视频的编码方法。与传统的将深度视频作为独立的灰度视频来编码的方法相比， 本发明是针对虚拟绘制视提出的一种深度视频的编码方法，利用边缘检测算法检测出深度图的宏块的边缘值，将深度图划分为边缘区域和平坦区域，再对边缘区域和平坦区域分别选择编码预测模式，最后用中值三边滤波处理深度图，该算法在保证虚拟视视频主观质量基本不变的前提下，提高深度图的压缩速率、虚拟视的质量。

为达到上述目的，本发明的构思是：首先用边缘检测算法将深度图的宏块（Microblock，MB）划分为边缘区域和平坦区域， 对边缘区域和平坦区域分别采用不同的编码预测模式；然后利用深度图与纹理图边缘的相似性，构建中值三边滤波器，以提高编码效率和深度图编码质量。

根据上述构思，实现本发明的技术方案是：

一种基于边缘的面向虚拟视绘制的深度视频的编码方法，其具体步骤是：

(1)、边缘检测：采用Sobel边缘检测算法对深度图的宏块作处理，检测出深度图的宏块的边缘值；

(2)、划分深度图的宏块类型：设定用于划分宏块的的阈值                                                ，将上述步骤(1)所述的每个深度图的宏块得到的边缘值G与设定的阈值作比较，如果边缘值G大于阈值，则将该深度图的宏块判定为边缘区域；如果边缘值G小于阈值，则将该深度图的宏块判定为平坦区域，将宏块划分为边缘区域和平坦区域，如果深度图宏块是边缘区域，转步骤(3-1)，如果是平坦区域，则转步骤(3-2)；

(3)、对深度图的宏块编码获得编码后的深度图的宏块，具体如下 ：

(3-1)． 对上述步骤(2)所述的被判为边缘区域的深度图的宏块采用SKIP的预测模式或16×16块的编码预测模式或16×8块编码预测模式或8×16块编码预测模式或4×4块预测模式编码，获得编码后的边缘区域的深度图宏块；

(3-2). 对上述步骤(2)所述的被判为平坦区域的深度图的宏块采用SKIP预测模式或者16×16块的编码预测模式编码，获得编码后的平坦区域的深度图的宏块；

(4)、对深度图的宏块中值三边滤波：构造中值三边滤波器，该滤波器对像素位置空域滤波函数、深度值滤波函数、纹理图滤波滤波函数归一化，然后采用该中值三边滤波器对上述步骤(3)所述的编码后的边缘区域的深度图的宏块去除块效应，保护边缘。

本发明与已有技术相比较，具有如下显而易见的实质性突出特点和显著优点：

由深度视频的深度图快速编码方法得到的深度图，经过绘制后得到的虚拟视质量会明显下降，本发明提供的面向虚拟视绘制的深度视频的编码方法，通过像素位置空域滤波函数、深度值滤波函数、纹理图滤波滤波函数归一化，得到中值三边滤波器，有效的保护了深度图的边缘信息，能提高重建虚拟视的质量；在虚拟视质量不变的同时，通过编码预测模式选择，使得编码效率得到明显提高，测试中可使编码时间缩短54.1%；另外，该多视点视频编码方法没有增加特别复杂的编码过程，以较小的复杂度提高视频编码压缩效率。

附图说明

图1是测试序列为Akko&Kayo序列、Breakdancers序列和Ballet序列的参数。

图2是一种基于边缘的面向虚拟视绘制的深度视频的编码方法的流程框图。

图3a是本发明中用Sobel算法检测出视频序列Ballet的边缘图像。

图3b是本发明中用Sobel算法检测出视频序列Ballet的边缘图像。

图4是利用JM方法和本发明重建的深度图所绘制的虚拟视图像客观质量比较。

图5是利用JM方法与本发明所绘制虚拟视的PSNR变化（dB）。

图6是不同测试序列在不同QP值下本发明与JM方法的加速性能。

图7a是Ballet序列的原始未压缩的深度图。

图7b是Ballet序列经过JM方法压缩重建的深度图。

图7c是本发明压缩重建的Ballet序列深度图。

图8a是原始未压缩的Ballet序列的深度图细节部分。

图8b是经过JM方法压缩重建的Ballet序列深度图细节部分。

图8c是经过本发明压缩重建的Ballet序列深度图细节部分。

图9a是Ballet序列用原始未压缩的深度图合成的虚拟视。

图9b是Ballet序列用经过JM方法压缩重建的深度图合成的虚拟视。

图9c是Ballet序列用本发明方法压缩重建的深度图合成的虚拟视。

图10a是Ballet序列原始未压缩的深度图合成的虚拟视细节。

图10b是Ballet序列经过JM方法压缩的深度图合成的虚拟视细节。

图10c是Ballet序列用本发明方法压缩的深度图合成的虚拟视细节。

具体实施方式

本发明的一个实施如下所述。

本发明以编码参考软件JM18.0和虚拟视合成参考软件VSRS3.5为实验平台，测试中视频序列如图1所示，表中为Akko&Kayo序列、Breakdancers序列和Ballet序列的参数，上述三个视频序列分别为50帧、100帧和100帧， 分辨率依次为640×480、1024×768和1024×768， Akko&Kayo序列的编码视点为视点27和视点29， Breakdancers序列和Ballet序列的编码视点均为视点0和视点2。

参见图2，本发明的一种基于边缘的面向虚拟视绘制的深度视频的编码方法，其步骤是： 

(1)、边缘检测：采用Sobel边缘检测算法对深度图的宏块（Microblock,MB）作处理，检测出视频序列Ballet的深度图的宏块的边缘值；例如图3a和3b所示，具体步骤如下：

(1-1)、设Sobel算子的横向矩阵，记为：

； 

设Sobel算子的纵向矩阵，记为：

 ；

设深度图的宏块MB，记为：

，

将Sobel算子的横向矩阵和纵向矩阵分别与深度图的宏块MB作平面卷积，得出深度图的宏块横向亮度差分值G _x 和深度图的宏块纵向的亮度差分值G _y ，其表达式如下： 

                                (1)

                               (2)

得到G _x 和G _y 具体如下，

其中，表示深度图的宏块的位置(i,j)上的深度值；

    (1-2)、计算深度图的宏块的边缘值记为G， 其计算式为：

                                   (3)

(2)、划分深度图的宏块类型：设定用于划分宏块的的阈值，将上述步骤(1)所述的每个深度图的宏块得到的边缘值G与设定的阈值作比较，如果边缘值G大于阈值，则将该深度图的宏块判定为边缘区域，如果边缘值G小于阈值，则将该深度图的宏块判定为平坦区域， 将宏块划分为边缘区域和平坦区域，如果深度图宏块是边缘区域， 转步骤(3-1)，如果是平坦区域，则转步骤(3-2)；

(3)、对深度图的宏块编码获得编码后的深度图的宏块，具体如下 ：

(3-1)． 对上述步骤(2)所述的被判为边缘区域的深度图的宏块采用SKIP的预测模式或16×16块的编码预测模式或16×8块编码预测模式或8×16块编码预测模式或4×4块预测模式编码，获得编码后的边缘区域的深度图宏块；

(3-2). 对上述步骤(2)所述的被判为平坦区域的深度图的宏块采用SKIP预测模式或者16×16块的编码预测模式编码，获得编码后的平坦区域的深度图的宏块；

(4)、对深度图的宏块作中值三边滤波：构造中值三边滤波器，该滤波器对像素位置空域滤波函数、深度值滤波函数、纹理图滤波滤波函数归一化，然后采用该中值三边滤波器对上述步骤(3)所述的编码后的边缘区域的深度图的宏块去除块效应，保护边缘，具体步骤如下：

(4-1)、设置像素位置空域滤波函数、深度值滤波函数、纹理图滤波函数，具体如下：设置像素位置空域滤波函数，记为，其表达式为：

其中，p为深度图的中心像素， q为邻域内的像素， 为像素位置空域滤波函数的阈值，

设置深度值滤波函数，记为，其表达式为：

其中， 为深度图中心像素的深度值， 为邻域内的像素q的深度值， 为深度值滤波函数的阈值，                                                                          

设置纹理图滤波函数，记为，其表达式为：

其中， 为与深度图相对应的纹理图在p处的像素值， 为邻域内与深度图相对应的纹理图在q处的像素值， 为纹理图滤波函数的阈值。，

(4-2)、设置矩形函数，记为，表达式如下：

其中，为滤波函数计算得到的数值， 为阈值；

(4-3)、将像素位置空域滤波函数、深度值滤波函数、纹理图滤波滤波函数归一化，得到中值三边滤波器，记为，其表达式为：

                    (3) 

其中，为归一化系数，为深度图中心像素p的邻域；

(4-4)、采用中值滤波器对上述步骤(3)所述的编码后的深度图的宏块去除块效应，保护边缘。

为了验证本发明的算法效果，将本发明的方法与现有的标准编码方法JM方法和未压缩方法作比较：测试序列为Akko&Kayo序列、Breakdancers序列和Ballet序列。

图4列出了利用JM方法和本发明的方法对三个测试视频序列重建的深度图所绘制的虚拟视图像客观质量的测试比较，表中，第一列表示三个序列的编码；第二列表示测试序列在不同QP的值，在本实验中，QP的值取22、27、32和37；第三列和第四列分别是JM方法和本发明提出的方法的实验结果，其中PSNR是峰值信噪比，SSIM是结构相似性指数。PSNR和SSIM都是衡量图像质量的指标，值越大说明质量越好；第五列表示由未压缩的深度图绘制得到的图像的质量。第六列表示本发明的方法与JM方法相比所节约的比特率；第六列表示本发明的方法与JM方法相比所节约的时间。

图5表示利用本发明的方法在不同的QP下所绘制虚拟视的PSNR变化和JM方法在不同的QP下所绘制虚拟视的PSNR变化。结果表明，本发明的方法相对于JM方法相比，在绘制视的客观质量上均有提高，其中PSNR分别提高了0.226dB、0.050dB、0.039dB尤其是相对于Akko&Kayo序列，绘制视的客观质量有明显的提高。

图6示出了不同测试序列在不同QP值下，本发明相对于JM方法，本发明的压缩速率大约是JM方法的2倍，提高了编码速度。图7a、图7b、图7c和图8a、图8b、图8c表示Ballet序列的不同编码方法所得深度图主观质量比较，相对于原始深度图，JM方法对边缘和本发明的方法对边缘均有较好的平滑效果，能够去掉边缘的高频部分。图9a、图9b、图9c和图10a、图10b、图10c为Ballet序列不同编码方法的绘制虚拟视主观质量比较，相对于未压缩方法和JM方法，本发明的方法在边缘处和纹理复杂处能获得比较清晰的绘制结果。

Claims (5)

1.一种基于边缘的面向虚拟视绘制的深度视频的编码方法，其特征在于，首先用边缘检测算法将深度图的宏块（MB）划分为边缘区域和平坦区域， 对边缘区域和平坦区域分别采用不同的编码预测模式；然后利用深度图与纹理图边缘的相似性，构建中值三边滤波器，以提高编码效率和深度图编码质量，其具体步骤是：

(1)、边缘检测：采用Sobel边缘检测算法对深度图的宏块作处理，检测出深度图的宏块的边缘值；

(2)、划分深度图的宏块类型：设定用于划分宏块的的阈值                                                ，将上述步骤(1)所述的每个深度图的宏块得到的边缘值G与设定的阈值作比较，如果边缘值G大于阈值，则将该深度图的宏块判定为边缘区域；如果边缘值G小于阈值，则将该深度图的宏块判定为平坦区域，将宏块划分为边缘区域和平坦区域，如果深度图宏块是边缘区域，转步骤(3-1)，如果是平坦区域，则转步骤(3-2)；

(3)、对深度图的宏块编码获得编码后的深度图的宏块；

(4)、对深度图的宏块中值三边滤波：构造中值三边滤波器，该滤波器对像素位置空域滤波函数、深度值滤波函数、纹理图滤波滤波函数归一化，然后采用该中值三边滤波器对上述步骤(3)所述的编码后的边缘区域的深度图的宏块去除块效应，保护边缘。

2.根据权利要求1所述的一种基于边缘的面向虚拟视绘制的深度视频的编码方法，其特征在于所述步骤（1）中的边缘检测： 采用Sobel边缘检测算法对深度图的宏块（Microblock,MB）作处理，检测出视频序列Ballet的深度图的宏块的边缘值；例如图3a和3b所示，具体步骤如下：

(1-1)、设Sobel算子的横向矩阵，记为：

； 

   设Sobel算子的纵向矩阵，记为：

 ；

设深度图的宏块MB，记为：

，

将Sobel算子的横向矩阵和纵向矩阵分别与深度图的宏块MB作平面卷积，得出深度图的宏块横向亮度差分值G _x 和深度图的宏块纵向的亮度差分值G _y ，其表达式如下： 

                                (1)

                               (2)

得到G _x 和G _y 具体如下，

其中，表示深度图的宏块的位置(i,j)上的深度值；

(1-2)、计算深度图的宏块的边缘值记为G， 其计算式为：

                                   (3)  。

3.根据权利要求1所述的一种基于边缘的面向虚拟视绘制的深度视频的编码方法，其特征在于所述步骤（2）中的划分深度图的宏块类型，其具体步骤是：

设定用于划分宏块的的阈值，将上述步骤(1)所述的每个深度图的宏块得到的边缘值G与设定的阈值作比较，如果边缘值G大于阈值，则将该深度图的宏块判定为边缘区域，如果边缘值G小于阈值，则将该深度图的宏块判定为平坦区域， 将宏块划分为边缘区域和平坦区域，如果深度图宏块是边缘区域， 转步骤(3-1)，如果是平坦区域，则转步骤(3-2)。

4.根据权利要求1所述的一种基于边缘的面向虚拟视绘制的深度视频的编码方法，其特征在于所述步骤（3）中的对深度图的宏块编码获得编码后的深度图的宏块，具体步骤如下 ：

(3-1)． 对上述步骤(2)所述的被判为边缘区域的深度图的宏块采用SKIP的预测模式或16×16块的编码预测模式或16×8块编码预测模式或8×16块编码预测模式或4×4块预测模式编码，获得编码后的边缘区域的深度图宏块；

(3-2). 对上述步骤(2)所述的被判为平坦区域的深度图的宏块采用SKIP预测模式或者16×16块的编码预测模式编码，获得编码后的平坦区域的深度图的宏块。

5.根据权利要求1所述的一种基于边缘的面向虚拟视绘制的深度视频的编码方法，其特征在于所述步骤（4）中的对深度图的宏块作中值三边滤波：构造中值三边滤波器，该滤波器对像素位置空域滤波函数、深度值滤波函数、纹理图滤波滤波函数归一化，然后采用该中值三边滤波器对上述步骤(3)所述的编码后的边缘区域的深度图的宏块去除块效应，保护边缘，具体步骤如下：

(4-1)、设置像素位置空域滤波函数、深度值滤波函数、纹理图滤波函数，具体如下：设置像素位置空域滤波函数，记为，其表达式为：

其中，p为深度图的中心像素， q为邻域内的像素， 为像素位置空域滤波函数的阈值，

设置深度值滤波函数，记为，其表达式为：

其中， 为深度图中心像素的深度值， 为邻域内的像素q的深度值， 为深度值滤波函数的阈值，      

设置纹理图滤波函数，记为，其表达式为：

其中， 为与深度图相对应的纹理图在p处的像素值， 为邻域内与深度图相对应的纹理图在q处的像素值， 为纹理图滤波函数的阈值；

(4-2)、设置矩形函数，记为，表达式如下：

其中，为滤波函数计算得到的数值， 为阈值；

(4-3)、将像素位置空域滤波函数、深度值滤波函数、纹理图滤波滤波函数归一化，得到中值三边滤波器，记为，其表达式为：

             (3) 

其中，为归一化系数，为深度图中心像素p的邻域；

(4-4)、采用中值滤波器对上述步骤(3)所述的编码后的深度图的宏块去除块效应，保护边缘。