CN103763564B - 基于边缘无损压缩的深度图编码方法 - Google Patents

Abstract

一种基于边缘无损压缩的深度图编码方法，属于3D视频编码领域，其特征是包括下列步骤：基于阈值的边缘检测；链码分别编码前景、背景边缘；前向差分预测编码边缘像素值；下采样；前向差分预测编码种子图像；算术编码残差序列和链码序列；传输二进制码流；算术解码；链码解码前景、背景边缘；前向预测差分解码；复原种子图像；稀疏表示种子图像；采用基于偏微分方程重建方法和自然邻近插值重建方法进行重建，即可得到恢复图像。其优点是能够有效地发掘深度图本身的平滑区域被锐利边缘分割的特性，能够明显地提高深度图编码性能，同时也提高了虚拟视点的绘制质量。

Description

基于边缘无损压缩的深度图编码方法

技术领域

本发明属于3D视频编码技术领域，具体涉及一种基于边缘无损压缩的深度图编码方法。

背景技术

随着电子产品的发展，3D视频(Three dimensional video，3DV)已成为生活娱乐不可缺少的一部分,一般而言，3DV有3D电视(3D Television，3DTV)和自由视点视频(Freeviewpoint video，FVV)两种应用。传统的3D视频利用两台不同位置的摄像机采集视频场景，然后将两个摄像机的视频分别呈现给两只眼睛，左、右两个眼睛即可看到具有视差的不同视角的视频，从而在人脑中呈现立体感。然而，一方面，传统3D***只有两个视点的视频，并且两台摄像机之间的基线距离往往远大于我们的眼瞳距离，这样使得两个视点视频上物体视差很大从而造成人眼的视觉疲劳和不适感；另一方面，越来越多的家庭3D娱乐消费者要求在任意多个不同的角度下观看3D视频，对此，需要采集传输20个甚至多达50个不同视点的视频，这样庞大的数据对传输带宽和存储容量造成很大压力，为了满足上述两方面的需要，实际中，我们经常采用只需要传输少数几个视点视频数据，而在接收端采用绘制技术来合成其他未知虚拟视点，从而减少需要传输的视频数据量。

最近出现一种新的3D视频格式即多视点视频加深度(即MVD，Multi-View Videoplus Depth)，它通过增加一个深度信息来更好描述3D场景的几何信息，并能在减少所需的视频信息条件下，利用深度信息合成满意的虚拟视点，因此得到学术界和工业界的广泛关注。MVD具体包括描述多视点视频的两种信息：纹理视频和深度视频，其中纹理视频是指常规的视频信息，包括场景的色度和亮度信息；而深度视频描述场景与摄像机之间的距离，通常每帧深度图的每个像素用8比特表示。虽然利用深度信息可以实现虚拟视点的绘制，但是MVD视频格式比传统的3D视频格式多了一个维度的信息即深度图信息，因此除了要压缩多视点视频，也需要对深度图进行压缩，而传统的图像编码方法在压缩深度图中存在很多局限。

对深度图编码方法，目前大家都把深度图当做一副灰度图进行编码，使用传统的基于变换技术的编码算法(如JPEG2000、H.264/AVC)来压缩深度图。然而基于变换的编码器不能够保证编码后深度图不连续信息的保留，为了保留更多感兴趣区域的信息，有文章针对深度图编码提出了基于感兴趣区域的JPEG2000的扩展编码器。但是基于变换的所有方法本质上都会导致边缘处的震荡伪影，这种伪影会导致在视点绘制过程中不能够正确投影，进而影响绘制质量。

另一类深度图编码方法把深度图分割为网格，使用分段线性函数来描述每个分割区域，同时通过相应的树结构来描述分割。尽管这些方法可以很好表示锐利的边缘，但是仍然不能提供深度图边界像素的准确表示。为了实现对深度不连续区域的更加准确的描述，这种方法需要把图像分割为像素级，然而最终导致描述树结构的码率增加。

还有一类深度图的编码方法采用基于边缘无损的深度编码方法，它需要边缘检测或分割，然而经典的边缘检测方法不能够很好检测到所需要的边缘，尽管有文章提出使用索贝尔边缘检测，然而这种边缘检测方法检测出来的边缘数量比较多，而且在边缘描述的时候不能够简单有效地描述真实的边缘信息。

发明内容

本发明的目的是提供一种能够有效利用深度图的特性来编码深度图新方法，能够实现解码图像边缘无损重建从而提高深度图编码的率失真性能和虚拟视点的绘制质量。

本发明是这样实现的，其特征是包括下列步骤：

1.第一步：读入一幅深度图D，其分辨率为p×q，设定边缘检测阈值为λ₁，下采样率为1/(m×n)即在D中每个m×n大小的图像块中采样一个像素点，其中λ₁取值范围为λ₁≥2，而m和n的取值范围分别为2≤m≤16和2≤n≤16；

第二步：对深度图D边缘的编码，包括下列步骤

[1].求取前景边缘图像E_foreground和背景边缘图像E_background：

根据设定的边缘检测阈值λ₁，对深度图D的当前像素D(x,y)及其上相邻像素D(x，y-1)、下相邻像素D(x，y+1)、左相邻像素D(x-1,y)、右相邻像素D(x+，1y)利用公式(1)进行比较，保留大的像素值得到前景边缘图像E_foreground，保留小的像素值得到背景边缘图像E_background,即：

[2].采用链码描述E_foreground的每个边缘，并将所有链码连接，得到前景边缘链码序列chain-foreground，用同样方法得到背景边缘E_background的链码序列chain-background，并将每条链码的初始位置和链码长度记录在数组t中；

[3].对E_foreground和E_background中非零值像素分别进行前向差分编码，得到对应的边缘残差序列residual-foreground和residual-background；

[4].对chain-foreground和chain-background以及residual-foreground和residual-background进行算术编码，得到二进制比特流bitstream-edge；

第三步：对深度图D种子像素的编码，包括下列步骤：

[1].根据设定的采样模板m×n，对原始深度图D进行均匀下采样，即在m×n大小的像素块中只采样左上角第一像素点，得到种子图像seedy；

[2].将种子图像seedy所有像素按行或列扫描为一个行向量seed，然后对seed采用前向预测差分编码，得到种子图像的残差序列residual-seed；

[3].对residual-seed进行算术编码，得到bitstream-seed；

第四步：把bitstream-edge和bitstream-seed以及数组t传输到无损信道；

第五步：解码部分，包括下列步骤：

[1].求bitstream-seed与bitstream-edge的长度比，记为k；

[2].对收到的比特流bitstream-edge和bitstream-seed进行算术解码，得到恢复的前景边缘链码序列chain-foreground、背景边缘链码序列chain-background、前景边缘残差序列residual-foreground和背景边缘残差序列residual-background，以及种子图像残差序列residual-seed；

[3].对恢复的residual-foreground、residual-background、以及residual-seed分别进行前向预测差分解码得到恢复的前景边缘像素值、背景边缘像素值、以及种子图像像素值；利用数组t，按照链码的规则进行边缘图像的对应边缘像素值恢复，最后得到恢复的边缘图像E_decode；

[4].把种子图像按行或列展成round(p/m)×round(q/n)大小的种子图像seedy，再把seedy进行稀疏表示，即将seedy的像素赋值给一个零像素图像seed-sparse，使得seed-sparse(m*i+1,n*j+1)＝seedy(i,j)，而seed-sparse的其他位置像素值仍为零，得到一个稀疏的种子图像seed-sparse，其中round指四舍五入运算，(i，j)表示像素位置；

[5].将E_decode中的非零像素赋值给seed-sparse相同位置的像素，即seed-sparse(i,j)＝E_decode(i,j)，(i，j)表示非零值像素的位置，得到深度图的稀疏表达图S＝seed-sparse；

[6].进行深度图重建：

(1)当k≤1时，用自然临近插值法对S中的未知像素即零值像素S～(x,y)进行估值：

1)用S中的非零像素点构建已知像素组P，并构建P对应的Delaunay三角网，再对三角网中每个三角形的每条边作垂直平分线，由垂直平分线围成的多边形形成原始泰森多边形；

2)找出每个未知像素点的已知自然邻近点集合S_N(x_i,y_i)，其中i＝1,2,3......N，N是集合S_N(x_i,y_i)中像素点的个数,S_N(x_i,y_i)∈P；

3)对每个未知像素点与其自然邻近集合S_N(x_i,y_i)中N个像素点S(x_i,y_i)再进行三角剖分得到一个三角网，求取一个新泰森多边形；

4)根据原始泰森多边形的边将这个新泰森多边形分割成几个区域，根据区域面积比来计算每个未知像素点的自然邻接点的权值w_i，即每个区域面积和区域总面积和之比；

5)用公式(2)对S中的每个未知像素即零值像素进行估算：

$\tilde{S}(x,y)=\underset{i=1}{\overset{N}{\Σ}}{w}_{i}S(x_i,y_i);---\left(2\right)$

(2)当k＞1时，用公式(3)所示的偏微分方程进行深度图重建：

$\{\begin{array}{c}{\tilde{S}}_{L=0}=S;\\ {\tilde{S}}_{L=i}(x,y)=\frac{1}{4}\left({\tilde{S}}_{L=i-1}\right(x-1,y)+{\tilde{S}}_{L=i-1}(x+1,y)+{\tilde{S}}_{L=i-1}(x,y-1)+{\tilde{S}}_{L=i-1}(x,y+1\left)\right);\end{array}---\left(3\right)$

其中L指迭代次数，指未知像素，而迭代终止条件为 ${\tilde{S}}_{L=i}(x,y)-{\tilde{S}}_{L=i-1}(x,y)\≤\mathrm{0.0001.}$

最后从码率优化的角度考虑来分配边缘和种子所占比特，通过实验表明在低码率情况下，分配给边缘的比特数应该多于种子的比特数，而在高码率情况下分配种子的比特数应该多于边缘的比特数，因为在高码率的情况下，在保证基本边缘情况，越多分配给种子，那么就可以在保证边缘无损情况下控制未知像素的深度值在很小的范围内变化，保证解码后平滑区域的深度值和原图平滑区域的对应值尽可能的近似，从而减小失真。

本发明的优点及积极效果是：

1、本发明采用阈值法进行边缘检测，保留前景背景边缘，检测出来的边缘包括前景和背景边缘，因此不同于传统的单像素边缘，同时比索贝尔边缘检测算法更加适合利用偏微分方程进行图像重建。

2、与标准编码器JPEG2000，重建深度图边缘质量更加好，更加接近原图。同时不会出现边缘模糊伪影。

3、从压缩性能上考虑，压缩比超过了JPEG2000，同时在同样的码率情况下绘制质量优于JPEG2000。

附图说明

图1是本发明的***实施框图；

图2是利用本发明方法提出的边缘检测方法得到的边缘和种子图像。

图3是图2局部放大图。

图4中(a)是背景边缘图像，(b)是前景边缘图像；

图5是对Ballet序列相机3的第35帧深度图的率失真性能对比图。

图6是对Ballet序列相机4的第35帧绘制图的率失真性能对比，在绘制过程都使用未压缩的参考视点纹理图，分别用不同编码方法(包括本专利方法和JPEG2000)进行深度图编码、解码重建的深度图绘制出相机4的纹理图，采用最简单的DIBR(Depth Image BasedRendering)绘制方法，绘制过程包括：3D变换(3D Warping)、中值滤波、空洞填补、高斯低通滤波。

图7中(c)是根据本发明解码的深度图(bpp＝0.1)绘制出来的cam4的纹理图，(d)是JPEG2000解码的深度图(bpp＝0.1)绘制出来的cam4的纹理图。

图8是自然邻近插值计算权值示意图，(e)是已知像素的初始三角剖分网格和初始泰森多边形，(f)是加入未知像素后的三角剖分网格，(g)是加入未知像素后的新泰森多边形，(h)是初始泰森多边形分割新泰森多边形后形成的分割区域。

具体实施方式

对本发明提出的图像编码方案，我们做了初步的测试实验。采用Ballet序列作为输入图像。假设在无损信道下进行传输。使用华硕笔记本电脑作编码处理，笔记本参数为：Intel(R),Core(TM)i5CPU，3230，@2.6GHz，4.00GB内存。软件平台为MatlabR2012a，用Matlab语言编程实现了深度图编码方案。

图1给出了本发明流程图，其特征在于具体步骤如下：

第一步：读入一幅深度图D(分辨率是768×1024)，设定a≥18以及m＝9和n＝9；

第二步：对深度图D边缘的编码，包括下列步骤

1.求取前景边缘图像E_foreground和背景边缘图像E_background：

根据设定的边缘检测阈值λ₁，对深度图D的当前像素D(x，y)及其相邻像素(分别表示为D(x-1，y)、D(x+1，y)、D(x，y-1))和D(x，y+1))利用公式(1)进行比较，保留大的像素值得到前景边缘图像E_foreground，保留小的像素值得到背景边缘图像E_background,即：

2.采用链码描述E_foreground的每个边缘，并将所有链码连接，得到前景边缘链码序列chain-foreground，用同样方法得到背景边缘E_background的链码序列chain-background；将每条链码的初始位置和链码长度记录在数组t中；

3.对E_foreground和E_background中的非零值像素分别进行前向差分编码，得到对应的边缘残差序列residual-foreground和residual-background；

4.对chain-foreground和chain-background以及residual-foreground和residual-background进行算术编码，得到二进制比特流bitstream-edge；

第三步：对深度图D种子像素的编码，包括下列步骤：

1.根据设定的采样模板m×n，对原始深度图D进行均匀下采样(即在m×n大小的像素块中只采样左上角第一像素点)，得到种子图像seedy；

2.将种子图像seedy所有像素按行或列扫描为一个行向量seed，然后对seed采用前向预测差分编码，得到种子图像的残差序列residual-seed；

3.对residual-seed进行算术编码，得到bitstream-seed；

第四步：把bitstream-edge和bitstream-seed以及数组t传输到无损信道；

第五步：解码部分，包括下列步骤：

1.求bitstream-seed与bitstream-edge的长度比，记为k＝0.5；

2.对收到的比特流bitstream-edge和bitstream-seed进行算术解码，得到恢复的前景边缘链码序列chain-foreground、背景边缘链码序列chain-background、前景边缘残差序列residual-foreground和背景边缘残差序列residual-background，以及种子图像残差序列residual-seed；

3.对恢复的residual-foreground、residual-background、以及residual-seed分别进行前向预测差分解码得到恢复的前景边缘像素值、背景边缘像素值、以及种子图像像素值；利用数组t，按照链码的规则进行边缘图像的对应边缘像素值恢复，最后得到恢复的边缘图像E_decode；

4.把种子图像按行或列(行或列恢复方式与编码端一致)展成round(p/m)×round(q/n)大小的种子图像seedy，再把seedy进行稀疏表示(即将seedy的像素赋值给一个零像素图像seed-sparse，使得seed-sparse(m*i+1,n*j+1)＝seedy(i,j)，(i,j)表示像素位置，而seed-sparse的其他位置像素值仍为零)，得到一个稀疏的种子图像seed-sparse，其中round指四舍五入运算；

5.将E_decode中的非零像素赋值给seed-sparse相同位置的像素(即seed-sparse(i,j)＝E_decode(i，j)，(i,j)表示非零值像素的位置)，得到深度图的稀疏表达图S＝seed-sparse；

6.进行深度图重建：

由于k＝0.5＜1，用如下自然临近插值法对S中的未知像素(即零值像素)进行估值：

1)构建已知像素组P对应的Delaunay三角网，再对三角网中每个三角形的每条边作垂直平分线，由垂直平分线围成的多边形即为泰森多边形；

2)找出未知像素点的自然邻近点集合P(其中S(x_i，y_i)∈P，N是集合像素的个数)；

3)加入未知像素点，对未知像素点与其自然临近像素点再进行三角剖分得到三角网，最后求取新泰森多边形；

4)根据旧泰森多边形的边将新泰森多边形分割成几个区域，根据区域面积比来计算各个邻接点的权值w_i即每个区域面积和区域总面积和之比；

5)用公式(2)对S中的未知像素(即零值像素)进行估值：

$\tilde{S}(x,y)=\underset{i=1}{\overset{N}{\Σ}}{w}_{i}S(x_i,y_i);---\left(2\right)$

举个例子来演示自然邻近插值法，具体步骤如下(假设这里只插值一个像素即如图8(f)黄色像素点，下图中一个小方格代表一个像素)：

1)构建已知像素组P(如图8(e)中红色部分)对应的Delaunay三角网(如8(e)的绿色线)，再对三角网中每个三角形的每条边作垂直平分线，由垂直平分线围成的多边形即为泰森多边形(即如图8(e)中蓝色线所示)；

2)找出未知像素点(如图8(f)中黄色像素点)的自然邻近点集合(图8(f)中所示的深绿色像素点)；

3)加入未知像素点，对未知像素点与其自然临近像素点(如图8(f)中的黄色像素点和深绿色像素点)再进行三角剖分得到三角网(如图8(f)粉色线所示)，最后求取新泰森多边形(如图8(g)褐色线所示)；

4)根据图8(e)中对应的蓝色线将新泰森多边形分割成四个区域，根据区域面积比来计算各个邻接点(P1、P2、P3、P4)的权值(如图8(h)，P1像素点的权值w1即斜杠阴影面积和阴影总面积和之比、P2像素点的权值w2即米粒阴影面积和阴影总面积和之比、P3像素点的权值w3即横杠阴影面积和阴影总面积和之比、P4像素点的权值w4即竖杠阴影面积和阴影总面积和之比。)

5)用公式(3)对S中的未知像素(即零值像素)进行估值：

$\tilde{S}(x,y)=w1\×S\left(P1\right)+w2\×S\left(P2\right)+w3\×S\left(P3\right)+w4\×S\left(P4\right)---\left(3\right)$

在实验中，我们使用了峰值信噪比(PSNR)作为实验结果的质量评价测度。图2是本发明提出的基于阈值的边缘检测和下采样得到的稀疏表达深度图。图3是图2局部图。图4是采用本专利提出的边缘检测方法得到的前景背景边缘(图2局部)。图5是对Ballet序列相机3的第35帧深度图的率失真性能对比图，可以看出，本发明方案的PSNR值比JPEG2000有明显提高，且本专利中的方法可以在保证平滑区域近似无损的情况下无失真地恢复深度图边缘。图6是对Ballet序列相机4的第35帧绘制图的率失真性能对比，在绘制过程都使用未压缩的参考视点纹理图，分别用不同编码方法(包括本专利方法和JPEG2000)进行深度图编码、解码重建的深度图绘制出相机4的纹理图，采用最简单的DIBR(Depth Image BasedRendering)绘制方法，绘制过程包括：3D变换(3D Warping)、中值滤波、空洞填补、高斯低通滤波。图7是根据本专利解码的深度图(bpp＝0.1)绘制出来的cam4的纹理图和JPEG2000解码的深度图(bpp＝0.1)绘制出来的cam4的纹理图，可以明显看到JEPG2000这种基于变换方法带来绘制图的边缘震荡伪影，而本专利绘制出来的边缘更接近真实的边缘。可见，本专利方案能够明显提高恢复深度图质量和基于深度图绘制的虚拟视点质量。

Claims (1)

1.一种基于边缘无损压缩的深度图编码方法，可以有效地利用深度图的本质特征来编码深度图，其特征在于操作步骤为：

第一步：读入一幅深度图D，其分辨率为p×q，设定边缘检测阈值为λ₁，下采样率为1/(m×n)即在D中每个m×n大小的图像块中采样一个像素点，其中λ₁取值范围为λ₁≥2，而m和n的取值范围分别为2≤m≤16和2≤n≤16；

第二步：对深度图D边缘的编码，包括下列步骤

[1].求取前景边缘图像E_foreground和背景边缘图像E_background：

根据设定的边缘检测阈值λ₁，对深度图D的当前像素D(x,y)及其上相邻像素D(x，y-1)、下相邻像素D(x，y+1)、左相邻像素D(x-1,y)、右相邻像素D(x+1，y)利用公式(1)进行比较，保留大的像素值得到前景边缘图像E_foreground，保留小的像素值得到背景边缘图像E_background,即：

[2].采用链码描述E_foreground的每个边缘，并将所有链码连接，得到前景边缘链码序列chain-foreground，用同样方法得到背景边缘E_background的链码序列chain-background，并将每条链码的初始位置和链码长度记录在数组t中；

[3].对E_foreground和E_background中非零值像素分别进行前向差分编码，得到对应的边缘残差序列residual-foreground和residual-background；

[4].对chain-foreground和chain-background以及residual-foreground和residual-background进行算术编码，得到二进制比特流bitstream-edge；

第三步：对深度图D种子像素的编码，包括下列步骤：

[1].根据设定的采样模板m×n，对原始深度图D进行均匀下采样，即在m×n大小的像素块中只采样左上角第一像素点，得到种子图像seedy；

[2].将种子图像seedy所有像素按行或列扫描为一个行向量seed，然后对seed采用前向预测差分编码，得到种子图像的残差序列residual-seed；

[3].对residual-seed进行算术编码，得到bitstream-seed；

第四步：把bitstream-edge和bitstream-seed以及数组t传输到无损信道；

第五步：解码部分，包括下列步骤：

[1].求bitstream-seed与bitstream-edge的长度比，记为k；

[2].对收到的比特流bitstream-edge和bitstream-seed进行算术解码，得到恢复的前景边缘链码序列chain-foreground、背景边缘链码序列chain-background、前景边缘残差序列residual-foreground和背景边缘残差序列residual-background，以及种子图像残差序列residual-seed；

[3].对恢复的residual-foreground、residual-background、以及residual-seed分别进行前向预测差分解码得到恢复的前景边缘像素值、背景边缘像素值、以及种子图像像素值；利用数组t，按照链码的规则进行边缘图像的对应边缘像素值恢复，最后得到恢复的边缘图像E_decode；

[4].把种子图像按行或列展成round(p/m)×round(q/n)大小的种子图像seedy，再把seedy进行稀疏表示，即将seedy的像素赋值给一个零像素图像seed-sparse，使得seed-sparse(m*i+1,n*j+1)＝seedy(i,j)，而seed-sparse的其他位置像素值仍为零，得到一个稀疏的种子图像seed-sparse，其中round指四舍五入运算，(i，j)表示像素位置；

[5].将E_decode中的非零像素赋值给seed-sparse相同位置的像素，即seed-sparse(i,j)＝E_decode(i,j)，(i，j)表示非零值像素的位置，得到深度图的稀疏表达图S＝seed-sparse；

[6].进行深度图重建：

(1)当k≤1时，用自然临近插值法对S中的未知像素即零值像素进行估值：

1)用S中的非零像素点构建已知像素组P，并构建P对应的Delaunay三角网，再对三角网中每个三角形的每条边作垂直平分线，由垂直平分线围成的多 边形形成原始泰森多边形；

2)找出每个未知像素点的已知自然邻近点集合S_N(x_i,y_i)，其中i＝1,2,3......N，N是集合S_N(x_i,y_i)中像素点的个数,S_N(x_i,y_i)∈P；

3)对每个未知像素点与其自然邻近集合S_N(x_i,y_i)中N个像素点S(x_i,y_i)再进行三角剖分得到一个三角网，求取一个新泰森多边形；

4)根据原始泰森多边形的边将这个新泰森多边形分割成几个区域，根据区域面积比来计算每个未知像素点的自然邻接点的权值w_i，即每个区域面积和区域总面积和之比；

5)用公式(2)对S中的每个未知像素即零值像素进行估算：

(2)当k＞1时，用公式(3)所示的偏微分方程进行深度图重建：

其中L指迭代次数，指未知像素，而迭代终止条件为