CN102209243A

CN102209243A - 基于线性模型的深度图帧内预测方法

Info

Publication number: CN102209243A
Application number: CN 201110140471
Authority: CN
Inventors: 元辉; 刘琚; 孙建德
Original assignee: Shandong University
Current assignee: Shandong University
Priority date: 2011-05-27
Filing date: 2011-05-27
Publication date: 2011-10-05
Anticipated expiration: 2031-05-27
Also published as: CN102209243B

Abstract

本发明公开了一种基于线性模型的深度图帧内预测方法，利用当前编码块的上一行和左侧一列的相邻像素的灰度值及其坐标确定线性模型参数；依据该参数以及当前编码块的像素坐标对当前编码块的像素灰度值进行预测。本发明利用了深度图的空间特性，具有预测准确的优点；同时由于本发明采用当前编码块的上一行和左侧一列的邻近像素计算模型参数，因此编码端不必对模型参数进行编码，解码端就可以直接确定模型参数。本发明可应用于三维立体视频的编码标准中。

Description

基于线性模型的深度图帧内预测方法

技术领域

本发明涉及一种三维立体视频编码标准中的深度图帧内预测方法，属于通信技术领域。

背景技术

三维立体视频作为未来主要的视频应用技术，是指用户通过三维立体视频显示设备可以享受到真实的三维立体视频内容。三维视频的相关技术，比如，三维立体视频采集、三维立体视频编码、三维立体视频的显示等技术已经得到广泛的关注。为了推动三维立体视频技术的标准化，2002年，运动图像专家组(Motion Picture Experts Group，MPEG)提出任意视点电视(Free View Television，FTV)的概念，它能够提供生动真实的、交互式的三维立体视听***。用户可以从不同的角度观看该角度的三维立体视频，使得用户有融入视频场景中的真实感受。FTV可广泛应用于广播通信、娱乐、教育、医疗和视频监控等领域。为了使用户可以观看到任意角度的三维立体视频，FTV***服务端使用已标定好的摄像机阵列获得一定视点上的视频。并对不同视点上的视频校正，利用校正过的视频信息通过虚拟视图合成技术生成虚拟视点的虚拟视图。目前MPEG建议具体使用基于深度-图像(Depth-Image Based Rendering，DIBR)的虚拟视图合成技术。深度信息一般通过深度图表示。虚拟视图合成的主要过程如下：

1).确定要虚拟视点在摄像机阵列中的相对位置。

2).确定用于合成虚拟视点的纹理视频

3).确定步骤2)的纹理视频对应的深度图

4).依据步骤2)与3)中的纹理视频和深度图，采用DIBR技术，合成虚拟视图。

FTV的标准化工作分为两个阶段进行。第一阶段是2006年至2008年由JVT(Joint Video Team，联合视频编码组)制定的H.264/AVC的扩展方案：MVC(Multi-View Video Coding，模型-视图-控制器)。MVC可以对多视点纹理视频进行编码。但是要最终实现FTV***的功能，还必须要对深度信息进行编码。目前FTV的标准化制定工作已经进入第二阶段，即3DVC(Three Dimensional Video Coding)。3DVC主要关注深度信息的表示与编码，以及纹理视频与深度信息的联合编码。3DVC中，深度信息通过深度图表示。

衡量3DVC性能的主要指标是合成虚拟视图的质量，以及纹理视频、深度图的编码码率。虚拟视图的质量：通常采用峰值信噪比(Peak Signal-to-Noise Ratio，PSNR)来衡量视频的质量，PSNR的计算公式如①式所示，

PSNR = 10 \times \log (\frac{255^{2}}{MSE})

①

其中MSE表示原始视图与合成虚拟视图之间的均方误差，用来衡量虚拟视图的失真，以及纹理视频的编码失真、深度图的编码失真。

在实际应用中，虚拟视点的视图是不存在的，也即不存在原始视图。但是由于3DVC主要关注编码性能，因此为衡量3DVC的性能，首先采用未经编码的已有纹理视频及其对应的深度图合成虚拟视图V_orig，然后采用经过编码后的重建的纹理视频以及编码后重建的深度图合成虚拟视图V_rec，最后通过计算V_rec与V_orig之间的的MSE，进而得到PSNR，以衡量3DVC的性能。

纹理视频、深度图的编码码率：

编码码率R是指纹理视频、深度图编码的总比特数(B_T，B_D)除以视频帧率F(即每秒显示多少幅图像)，如②式所示。

R = \frac{R_{T} + B_{D}}{F}

②

编码码率R也可以表示为纹理视频的编码码率R_T与深度图编码码率R_D的和，如③式所示，

R＝R_T+R_D ③

其中R_T与R_D可以分别表示为④、⑤式所示的形式，

R_{T} = \frac{B_{T}}{F}

④

R_{D} = \frac{B_{D}}{F}

⑤

本发明关注深度图的帧内预测技术，提高深度图的编码效率，使得在合成虚拟视图质量相同的条件下，尽可能降低深度图的编码率。

现有的深度图帧内预测技术为H.264/AVC采用的帧内预测技术，在H.264/AVC视频编码标准中，每帧图像被划分为多个宏块(macroblock，MB)，而每个MB又可以被划分为16个4×4子块，或4个8×8子块，或者保持原有大小(16×16)。不同类型的块的预测模式，如图1所示。

图1(a)所示为亮度4×4、8×8块的8种帧内预测模式。0、1、3～8分别表示8种预测方向，也分别对应8种编码序号(Code Number，CN)，A～L为用于预测当前块的邻近像素称为预测像素。直流(DC)预测模式(CN为2)将像素A～L的亮度均值作为预测结果。亮度8×8块的预测模式与亮度4×4块的预测模式相同。图1(b)为亮度16×16块的4种预测模式，对应的CN分别为：0(垂直)、1(水平)、2(直流)、3(平面)。V与H分别表示当前块的左邻近与上邻近像素。色度块(大小为8×8)的预测模式与亮度16×16块的预测模式相同，但CN不同：0(直流)、1(水平)、2(垂直)、3(平面)。通过率失真优化(Rate Distortion Optimization，RDO)可以选择最优的预测模式[2]。在编码亮度4×4，8×8块的预测模式时，首先依据邻近块的预测模式推测当前块最可能的编码模式(most probable mode，MPM)[1]，若当前块预测模式的CN与MPM对应的CN相同，只需编码1比特的标记信息；若当前块预测模式的CN小于MPM对应的CN，编码当前块预测模式的CN；否则编码CN-1。H.264/AVC将亮度16×16块的预测模式与编码块样式(Coded Block Pattern，CBP，用于标识当前块的量化系数是否被编码)联合编码[1]，而对色度块，则直接编码其预测模式的CN。

H.264/AVC采用的帧内预测方法没有考虑到深度图的固有特性，因此深度图的编码效率有待进一步提高。

发明内容

针对现有深度图采用H.264/AVC的帧内预测方法存在的没有考虑到深度图的固有特性而造成编码效率低的问题，本发明依据深度图的空间特性，提出一种编码效率高的基于线性模型的深度图帧内预测方法。

本发明的基于线性模型的深度图帧内预测方法，是依据当前编码块的邻近像素灰度值及其像素坐标，计算出线性模型参数；进而依据模型参数以及当前编码块的像素坐标，计算出当前编码块的像素灰度预测值；具体步骤如下：

①获得当前编码块的左侧相邻一列以及上面相邻一行的像素的坐标(x_i，y_i)及其亮度值L_i；

②依据步骤①获得的像素的坐标及其灰度值，建立以下方程组：

并采用线性回归计算出参数a，b，c，其中n表示邻近像素的数量；

所述的采用线性回归计算参数a，b，c的过程是通过解以下方程组来进行的，

\{\begin{matrix} Σ_{i = 0}^{n} L_{i} = n \cdot c + a \cdot Σ_{i = 0}^{n} x_{i} + b \cdot Σ_{i = 0}^{n} y_{i} \\ Σ_{i = 0}^{n} (x_{i} \cdot L_{i}) = c Σ_{i = 0}^{n} x_{i} + a \cdot Σ_{i = 0}^{n} {x_{i}}^{2} + b \cdot Σ_{i = 0}^{n} (x_{i} \cdot y_{i}) \\ Σ_{i = 0}^{n} (y_{i} \cdot L_{i}) = c Σ_{i = 0}^{n} y_{i} + a \cdot Σ_{i = 0}^{n} (x_{i} \cdot y_{i}) + b \cdot Σ_{i = 0}^{n} {y_{i}}^{2} \end{matrix} .

③依据步骤②求得的参数a，b，c，以及当前编码块中的像素的坐标(x_i′，y_i′)计算出当前块每个像素的灰度预测值L_i′，

其中m表示当前编码块中的像素的数量；

④用当前编码块中的像素灰度值减去步骤③计算出的灰度预测值，得到当前编码块的差值；

⑤对步骤④所得的差值信号进行离散余弦变换、量化和熵编码，计算码率R_D；

⑥对步骤(5)中产生的熵编码数据进行解码，并进行反量化和反离散余弦变换，重建当前块的像素灰度值；

⑦将步骤(6)的重建的像素灰度值减去当前编码块的原始像素灰度值，计算失真D_D；

⑧依据步骤⑤和⑦所得的码率R_D和失真D_D，计算当前编码块的率失真代价J，J＝D_D+λ·R_D，其中，λ为拉格朗日乘子；

⑨将步骤⑧中计算出的当前编码块的率失真代价与H.264视频编码标准中定义的其他预测方法的率失真代价进行比较，选择率失真代价最小的预测方法作为最终的预测方法，并在码流中标记最终选择的预测方法。

本发明与现有技术相比具有以下优点：

1)本发明由于利用了深度图的空间分布特性，使得当前编码块的预测值更加准确，使得编码码率更小，提高了深度图的编码效率。

2)本发明由于采用当前块的上一行以及左侧一列的邻近像素计算模型参数，使计算得到的参数a，b，c比较准确。

3)本发明由于采用当前块的上一行以及左侧一列的邻近像素计算模型参数，使得解码端可以通过计算直接获得参数a，b，c。

附图说明

图1是现有H.264/AVC帧内预测方法的说明图。

图2是本发明编码步骤的流程图；

图3是本发明解码步骤的流程图；

图4是分别采用本发明的方法与H.264/AVC的方法对深度图进行编码后的率失真曲线比较图。

具体实施方式

本发明的基于线性模型的深度图帧内预测方法，是依据当前编码块的邻近像素灰度值及其像素坐标，计算出线性模型参数；进而依据模型参数以及当前编码块的像素坐标，计算出当前编码块的像素灰度预测值；需要同时改变编码器和解码器，包括编码端和解码端的实施过程。

编码端的实施过程如图2所示，包括如下步骤：

步骤1，通过分析得知，深度图的空间分布特征可以用以下模型表示，

L＝a·x+b·y+c，

其中，L表示深度图中像素的灰度值，(x，y)表示像素坐标，a，b，c为模型参数。

步骤2，获得当前编码块的左侧相邻一列以及上面相邻一行的像素的坐标(x_i，y_i)及其亮度值L_i，的坐标及其灰度值。

步骤3，依据步骤2获得的像素的坐标及其灰度值，建立方程组：

并采用线性回归计算出参数a，b，c，其中n表示邻近像素的数量；线性回归计算参数a，b，c的过程即解以下方程组的过程，

\{\begin{matrix} Σ_{i = 0}^{n} L_{i} = n \cdot c + a \cdot Σ_{i = 0}^{n} x_{i} + b \cdot Σ_{i = 0}^{n} y_{i} \\ Σ_{i = 0}^{n} (x_{i} \cdot L_{i}) = c Σ_{i = 0}^{n} x_{i} + a \cdot Σ_{i = 0}^{n} {x_{i}}^{2} + b \cdot Σ_{i = 0}^{n} (x_{i} \cdot y_{i}) \\ Σ_{i = 0}^{n} (y_{i} \cdot L_{i}) = c Σ_{i = 0}^{n} y_{i} + a \cdot Σ_{i = 0}^{n} (x_{i} \cdot y_{i}) + b \cdot Σ_{i = 0}^{n} {y_{i}}^{2} \end{matrix} .

步骤4，依据步骤3求得的参数a，b，c，以及当前编码块中的像素的坐标(x_i′，y_i′)计算出当前块每个像素的灰度预测值L_i′，

其中m表示当前编码块中的像素的数量。

步骤5，用当前编码块中的像素灰度值减去步骤4计算出的灰度预测值，得到当前编码块的差值。

步骤6，对步骤5所得的差值信号进行离散余弦变换，量化，熵编码，计算码率R_D。

步骤7，对步骤6中产生的熵编码数据进行解码，并进行反量化，反离散余弦变换，重建当前块的像素灰度值。

步骤8，将步骤7的重建的像素灰度值减去当前编码块的原始像素灰度值，得到失真D_D。

步骤9，依据步骤6和8所得的码率R_D和失真D_D，计算当前编码块在采用本发明预测方法的条件下的率失真代价J，J＝D_D+λ·R_D，其中，λ为拉格朗日乘子。

步骤10，将步骤9计算出的当前编码块的率失真代价与已有预测方法的率失真代价进行比较，选择率失真代价最小的预测方法作为最终的预测方法。

本发明的解码端步骤如图3所示，的具体实施包括如下步骤：

步骤1，解析码流，获得当前解码块的预测方法。

步骤2，如果当前解码块采用本发明的预测方法，则读取当前解码块的左侧相邻一列以及上面相邻一行的像素的坐标(x_i，y_i)及其亮度值L_i，的坐标及其灰度值。

\{\begin{matrix} Σ_{i = 0}^{n} L_{i} = n \cdot c + a \cdot Σ_{i = 0}^{n} x_{i} + b \cdot Σ_{i = 0}^{n} y_{i} \\ Σ_{i = 0}^{n} (x_{i} \cdot L_{i}) = c Σ_{i = 0}^{n} x_{i} + a \cdot Σ_{i = 0}^{n} {x_{i}}^{2} + b \cdot Σ_{i = 0}^{n} (x_{i} \cdot y_{i}) \\ Σ_{i = 0}^{n} (y_{i} \cdot L_{i}) = c Σ_{i = 0}^{n} y_{i} + a \cdot Σ_{i = 0}^{n} (x_{i} \cdot y_{i}) + b \cdot Σ_{i = 0}^{n} {y_{i}}^{2} \end{matrix} .

步骤4，依据步骤3求得的参数a，b，c，以及当前解码块中的像素的坐标(x_i′，y_i′)计算出当前块每个像素的灰度预测值L_i′，

其中m表示当前解码块中的像素的数量；

步骤5，将步骤4计算出的灰度预测值与解码所得的当前解码块的差值信号相加，重建当前解码块。

本发明的效果可以通过实验进一步说明。

实验测试了在不同的量化参数的条件下，采用本发明对深度图进行编码后的编码码率和合成虚拟视图的客观质量PSNR。图4比较了采用本发明和H.264/AVC的方法对深度图进行帧内预测编码后的率失真曲线。其中图4(a)是对三维视频序列Balloons的深度图进行编码的实验结果，图4(b)是对三维视频序列Dancer的深度图进行编码的实验结果。由图4可见，与H.264/AVC的帧内预测方法编码结果相比，采用本发明的帧内预测方进行编码后，在合成的虚拟视图的客观质量相同的条件下，深度图的编码码率更低，说明本发明提高了深度图的编码效率。对三维视频序列Balloons而言，深度图的编码码率平均下降5.81％，对三维视频序列Dancer而言，深度图的编码码率平均下降7.68％。

Claims

1.一种基于线性模型的深度图帧内预测方法，依据当前编码块的邻近像素灰度值及其像素坐标，计算出线性模型参数；进而依据模型参数以及当前编码块的像素坐标，计算出当前编码块的像素灰度预测值；具体步骤如下：

\{\begin{matrix} Σ_{i = 0}^{n} L_{i} = n \cdot c + a \cdot Σ_{i = 0}^{n} x_{i} + b \cdot Σ_{i = 0}^{n} y_{i} \\ Σ_{i = 0}^{n} (x_{i} \cdot L_{i}) = c Σ_{i = 0}^{n} x_{i} + a \cdot Σ_{i = 0}^{n} {x_{i}}^{2} + b \cdot Σ_{i = 0}^{n} (x_{i} \cdot y_{i}) \\ Σ_{i = 0}^{n} (y_{i} \cdot L_{i}) = c Σ_{i = 0}^{n} y_{i} + a \cdot Σ_{i = 0}^{n} (x_{i} \cdot y_{i}) + b \cdot Σ_{i = 0}^{n} {y_{i}}^{2} \end{matrix} .

其中m表示当前编码块中的像素的数量；

⑧依据步骤⑤和⑦所得的码率R_D和失真DD，计算当前编码块的率失真代价J，J＝D_D+λ·R_D，其中，λ为拉格朗日乘子；