CN106060567A - 一种基于分层wz帧的小波域分布式多视点视频编码 - Google Patents

Abstract

本发明提供了一种基于分层WZ帧的小波域分布式多视点视频编码方案。在编码端将K帧进行传统的帧内编解码，对WZ帧进行N层离散小波变换后，进行量化，比特面提取，信道编码。在解码端，本发明充分考虑了视频序列的运动特性，提出了基于分层WZ帧的边信息预测结构，当前层视频帧的初始边信息由相邻最近的两个更高级别层次的已解码帧进行MCTI得到。解码时，根据当前帧的前向和后向参考帧及生成的初始边信息，由低分辨率图像到高分辨率图像逐步更新运动矢量和质量越来越高的边信息进行迭代解码。实验结果表明，本发明与传统的小波域DMVC***相比，生成的边信息质量更好，提高了DMVC***的RD性能。

Description

一种基于分层WZ帧的小波域分布式多视点视频编码

技术领域

本发明涉及图像通信领域中的分布式多视点视频编码(DMVC)边信息预测问题，尤其是涉及一种基于小波域的分布式多视点视频编码的边信息预测结构。

背景技术

随着计算机视觉、计算机图形学和视频编码技术的日益发展与融合，处理器能力与网络传输能力的飞速提升，现代视频技术逐渐向数字化、立体化发展。3D视频由于能够提供更加真实和自然的视觉体验而逐渐成为当前视频编码领域的研究热点之一。

多视点视频指的是多个摄像机从不同视角拍摄同一场景得到的一组视频信号，能够形象生动地再现场景，提供立体感与交互感。它是一种有效的3D视频表示方法，被广泛的应用于立体电视、交融式会议电视、虚拟现实以及视频监控等多媒体领域。然而与单视点视频相比，多视点视频的数据量由于视点的增多而成倍增加，如何高效压缩数据量已成为多视点视频技术需要攻克的难关。ITU-T和MPEG的联合视频组(JVT)提出了多视点视频编(MVC)，MVC标准采用了基于H.264/AVC的结构，在原来的时域预测的基础上增加了视点域的预测，需要在不同视点间进行交叉预测。因此要求各个摄像机进行信息的交互，同时由于编码节点的运算复杂度高，所以它并不适合真正地布置在摄像机阵列中。

基于Slepian-Wolf和Wyner-Ziv理论的分布式多视点视频编码(DMVC)与传统MVC相比，具有编码复杂度低，抗误码能力良好，使用灵活和延迟较低等特点。视频序列在编码端进行独立编码，无需运动估计；在解码端进行联合解码，生成用于解码和重建的边信息。这样就可以将大部分的计算量从编码端转移到解码端，从而实现低复杂度编码，且DMVC理论上可达到MVC的压缩效率。边信息的生成技术是DMVC的重要组成部分，它的精确度直接影响***的R-D性能。目前，对DMVC的框架及边信息生成算法的研究有很多。OguzBici M等人提出了一种分布式视频编码结合三维网络的DMVC结构，根据三维网格理论得到视频帧的几何参数，只对几何参数进行编解码。吕慧提出了一种基于特征提取和匹配的边信息生成方案，进一步提高了DMVC***性能。上述方法研究的都是基于离散余弦变换(DCT)的DMVC***，不仅存在“方块效应”，且在DCT域中随着时间轴上GOP的增大，生成的边信息质量逐渐下降。所以，国外学者提出了基于离散小波变换(DWT)的分布式视频编码方案，不仅克服了“方块效应”，并且也具有能量集中的特点。但是在传统基于DWT域的DMVC***中，当前帧最低频带的边信息直接采用前一解码帧的最低频带图像，在运动剧烈的情况下存在很大的误差，并且随着运动矢量的更新，误差会累积到下一频带，从而影响解码质量。本发明考虑了视频序列的运动特性，提出了基于分层WZ帧的小波域分布式多视点视频编码，采用当前帧相邻的两个已解码帧生成初始边信息，从而提高边信息的质量及***的整体性能。

发明内容

针对传统基于DWT域的DMVC***中当前帧最低频带的边信息直接采用前一解码帧的最低频带图像而忽略物体运动特性的问题，提出了基于分层WZ帧的DWT域DMVC***，本发明不仅提高了边信息的质量，还改善了DMVC***的整体性能。

本发明的基本思想是利用视频帧的运动特性及DWT的多尺度多分辨率特性，在基于分层WZ帧的DWT域DMVC***中，在时间轴上把视频帧分为不同的时间层，每一层视频帧最低频带的边信息由相邻最近的两个更高级别层次视频帧的重建帧进行预测，并且由低分辨率图像到高分辨率图像逐步进行迭代解码，进而达到提高DMVC***整体性能的目的。

在本发明提出的基于分层WZ帧的DWT域DMVC***中，在编码端将各视点的视频序列划分成K帧与WZ帧，K帧采用H.264编解码，对WZ帧首先进行N级的离散小波变换，得到3N+1个不同频带的图像，分别记为HH_n、LH_n、HL_n,(n＝1,2,...,N)和LL_N。然后对每一个频带的数据分别进行均匀量化，比特面分解，信道编码。

在解码端，边信息辅助信道解码和WZ帧重构，边信息的质量直接影响DMVC***的整体性能。本发明提出的基于分层WZ帧的DWT域DMVC***中，时间轴上视频序列GOP长度为8，K₀、WZ₁、WZ₂、WZ₃、WZ₄、WZ₅、WZ₆、WZ₇分别表示一个GOP内的视频帧，K₈表示下一个GOP的K帧。K₀和K₈为第0级时间层(TL₀)的视频帧，WZ₄为第1级时间层(TL₁)的视频帧，WZ₂和WZ₆为第2级时间层(TL₂)的视频帧，WZ₁、WZ₃、WZ₅、WZ₇为第3级时间层(TL₃)的视频帧，TL₀～TL₃级别逐渐降低。K帧进行传统帧内编解码，WZ帧最低频带的时间边信息由相邻最近的两个更高级别层次视频帧的已解码帧进行运动补偿时域内插(MCTI)得到，然后时间边信息与空间边信息进行融合得到初始边信息，其它频带则采用基于多分辨率细化(MRMR)的方法。与传统的基于DWT域的DMVC***相比，本发明提出的基于分层WZ帧的边信息预测结构充分考虑了视频帧的运动特性，也使基于DWT的DMVC***具有更好的RD性能。

本发明采用的是基于MRMR的小波域DMVC框架，每一个WZ帧的解码，都是由低分辨率图像到高分辨率图像逐步进行迭代解码。利用本发明提出的分层WZ的边信息预测结构得到当前帧的边信息SI(t)，前向和后向参考帧分别为f(t-m)和f(t+m)，t表示当前时刻。首先采用SI(t)的最低频带作为当前WZ帧最低频带LL_N(t)的边信息，解码得到LL'_N(t)，然后利用LL'_N(t)与LL_N(t-m)、LL_N(t+m)进行运动估计，得到当前分辨率下图像的运动矢量。利用该运动矢量对f(t-m)和f(t+m)的相同频带图像进行运动补偿，得到各高频带图像的边信息，从而可以解码出当前分辨率下所有频带的图像。最后，将当前分辨率下的图像作小波反变换得到高分辨率下的低频带图像，依次循环直到解码出原始分辨率下的图像。由于在解码过程中用当前帧先解码得到的低分辨率图像与两个参考帧进行运动估计，因此高频带的边信息质量将会逐步提升，从而提高解码的质量。

本发明改进的是基于DWT域的DMVC***中边信息的生成质量。在DMVC***的解码端，边信息的精确度越高，与待解码WZ帧就越接近，信道传输的校验比特就越少，重建的质量也更好。本发明最关键的是根据视频帧的运动特性，利用WZ帧分层的思想，逐层生成WZ帧的边信息，逐渐提高边信息的质量，进而改善DMVC***的性能。

附图说明

图1为本发明的基于小波域的分布式多视点视频编码***结构图。

图2为本发明的基于分层WZ帧的小波域分布式多视点视频编码***的边信息预测结构。

图3～8为本发明提出的基于分层WZ帧的小波域DMVC***与传统的小波域DMVC***的率失真曲线对比结果。其中，图3为kendo的率失真曲线；图4为Newspaper的率失真曲线；图5为PoznanHall2的率失真曲线；图6为PoznanStreet的率失真曲线；图7为Dancer的率失真曲线；图8为race1的率失真曲线。

具体实施方式

下面结合附图及实施例对本发明作进一步的详细说明，有必要指出的是，以下的实施例只用于对本发明做进一步的说明，不能理解为对本发明保护范围的限制，所属领域技术熟悉人员根据上述发明内容，对本发明做出一些非本质的改进和调整进行具体实施，应仍属于本发明的保护范围。

如图1所示，本发明提出的基于分层WZ帧的小波域DMVC***结构图中，每个视点的视频序列分为K帧和WZ帧，对K帧进行帧内编解码。对WZ帧则先进行N层小波变换，再对各频带进行量化，比特面提取，信道编码。在解码端，利用如图2所示的边信息预测结构，逐步更新当前帧各频带的边信息并辅助解码与重构，直到小波反变换得到原始分辨率下的图像。假设某视点内，当前t时刻的待解码帧为WZ(t)，其编码端和解码端具体主要包括以下过程步骤：

1、在编码端，将每个视点的视频序列按GOP长度为8分为多个图像组，其编码过程如下：

(1)先对每个GOP内的K帧进行传统的帧内编码，再进行传统的帧内解码。

(2)对WZ(t)进行N级离散小波变换，得到3N+1个不同频带的图像，分别记为HH_n、LH_n、HL_n,(n＝1,2,...,N)和LL_N。

(3)对每个频带按照设定的量化步长进行均匀量化，由低频带向高频带依次进行比特面分解，再将比特面依次送入编码器进行编码。

2、在解码端，如图2所示，本发明提出了基于分层WZ帧的边信息预测结构，当前层WZ帧最低频带LL_N的时间边信息由相邻最近的两个更高级别视频帧的已解码帧进行MCTI得到，具体的边信息预测步骤如下：

(1)如图2所示，GOP长度为8。K₀和K₈为第0级时间层(TL₀)的视频帧，WZ₄为第1级时间层(TL₁)的视频帧，WZ₂和WZ₆为第2级时间层(TL₂)的视频帧，WZ₁、WZ₃、WZ₅、WZ₇为第3级时间层(TL₃)的视频帧，TL₀～TL₃级别逐渐降低。

(2)TL₀层，对关键帧K₀、K₈先进行帧内编解码，得到K₀'、K₈'。

(3)TL₁层，根据已解码的更高级别视频帧预测WZ₄的时间边信息

${\mathrm{SI}}_4^t=MCTI(K_0^{\′},K_8^{\′})$

与根据左右视点已解码帧生成的空间边信息进行融合得到初始边信息，最终解码得到WZ'₄。

(4)TL₂层，根据已解码的更高级别视频帧预测WZ₂、WZ₆的时间边信息

$\left\{\begin{array}{c}S{I}_2^t=MCTI(K_0^{\′},W{Z}_4^{\′})\\ S{I}_6^t=MCTI(W{Z}_4^{\′},K_8^{\′})\end{array}\right.$

时间边信息与根据左右视点已解码帧生成的空间边信息进行融合得到初始边信息，最终解码得到WZ'₂、WZ'₆

(5)TL₃层，根据已解码的更高级别视频帧预测WZ₁、WZ₃、WZ₅、WZ₇的时间边信息

$\left\{\begin{array}{c}{\mathrm{SI}}_1^t=MCTI(K_0^{\′},{\mathrm{WZ}}_2^{\′})\\ {\mathrm{SI}}_3^t=MCTI({\mathrm{WZ}}_2^{\′},{\mathrm{WZ}}_4^{\′})\\ {\mathrm{SI}}_5^t=MCTI({\mathrm{WZ}}_4^{\′},{\mathrm{WZ}}_6^{\′})\\ {\mathrm{SI}}_7^t=MCTI({\mathrm{WZ}}_6^{\′},K_8^{\′})\end{array}\right.$

时间边信息与根据左右视点已解码帧生成的空间边信息进行融合得到初始边信息，辅助WZ帧的解码重建。

本发明提出基于分层WZ帧的边信息预测结构，不仅具有更好的伸缩性，而且与传统DWT域中最低频带边信息直接采用前一解码帧最低频带图像的结构相比，生成的边信息质量更高，即与WZ帧的相似度更高。

3、本发明采用的是基于多分辨率运动细化(MRMR)的小波域DMVC框架，解码时从低频带到高频带逐步更新运动矢量，从而得到不断更新的各频带边信息。当前t时刻待解码帧WZ(t)的初始边信息SI(t)由上述2中的基于分层WZ帧的边信息预测结构生成，前向和后向参考帧分别为f(t-m)和f(t+m)，WZ(t)的边信息更新及解码过程具体如下：

(1)对SI(t)进行N级离散小波变换，采用最低频带作为WZ(t)中最低频带LL_N(t)的边信息对LL_N(t)进行WZ解码与重建得到LL_N(t)'，并设n＝N。

(2)对LL_N(t)'与LL_n(t-m)和LL_n(t+m)之间进行运动估计得到当前分辨率下高频频带HH_n(t)、HL_n(t)、LH_n(t)的运动矢量MV_nf、MV_nb。

(3)利用更新的运动矢量，分别与f(t-m)和f(t+m)的相同频带进行运动补偿，得到前后向补偿图像HH_nf(t)与HH_nb(t)、HL_nf(t)与HL_nb(t)、LH_nf(t)与LH_nb(t)，进而求得当前分辨率下各高频频带的边信息

$\left\{\begin{array}{c}H{H}_n^{SI}\left(t\right)=\[H{H}_{nf}\left(t\right)+H{H}_{nb}\left(t\right)\]/2\\ H{L}_n^{SI}\left(t\right)=\[H{L}_{nf}\left(t\right)+H{L}_{nb}\left(t\right)\]/2\\ L{H}_n^{SI}\left(t\right)=\[L{H}_{nf}\left(t\right)+L{H}_{nb}\left(t\right)\]/2\end{array}\right.$

(4)利用更新后的边信息对三个高频频带HH_n(t)、HL_n(t)、LH_n(t)分别进行解码和重建得到HH_n(t)'、HL_n(t)'、LH_n(t)'，即已得到当前分别率下所有频带的解码信息，然后利用小波反变换得到上一级分解中的最低频带信息LL_n-1(t)。

(5)依次将n的值减1，进行步骤(2)到(4)直到n的值为0，最终解码出原始分辨率下的WZ帧。

为了验证本发明的算法，我们对其进行了实验验证，其结果如图3～8所示。图3～8为本发明提出的基于分层WZ帧的小波域DMVC***与传统小波域DMVC***的率失真曲线对比结果，本发明采用提出的基于分层WZ的边信息预测结构，传统DWT域的边信息由前一解码帧进行预测(最低频带的边信息直接采用前一解码帧的最低频带图像)。具体过程如下：

1、测试的多视点视频序列的名称、大小、帧率分别为：kendo(256×192，30帧/秒)、Newspaper(256×192，30帧/秒)、PoznanHall2(480×272，25帧/秒)、PoznanStreet(480×272，25帧/秒)、Dancer(480×272，25帧/秒)、race1(640×480，15帧/秒)。

2、关键帧K帧采用H.264编解码，量化步长取22。

3、WZ帧的量化步长分别取5、10、15、20、25。本发明与传统小波域DMVC***进行比较，对其两种视频性能：峰值信噪比(PSNR)和比特率进行比较分析，其中PSNR能体现视频的客观视频质量。***的性能差距用以下两个指标进行评估：

ΔPSNR＝PSNR_new-PSNR_ref

$\mathrm{\Δ}Rate=\frac{{\mathrm{Rate}}_{new}-{\mathrm{Rate}}_{ref}}{{\mathrm{Rate}}_{ref}}\×100\%$

其中，ΔPSNR表示本发明算法与传统小波域DMVC***峰值信噪比的差值，ΔRate表示本发明算法与传统小波域DMVC***的比特率差值的百分比。

4、输入2个相同的视频序列；

5、分别对2个不同的视频序列在本发明提出的基于分层WZ帧的小波域DMVC***和传统小波域DMVC***中进行视频编解码；

6、两个***分别输出视频编解码后的视频序列以及各自的比特率和PSNR值，上述的2个指标的结果如表1-2所示。统计显示本发明的基于分层WZ帧的小波域DMVC***与传统的小波域DMVC***在比特率方面变化了-11.1338％～-1.0471％，在PSNR方面提高了0.0362dB～1.5527dB。从总体来看，本发明的基于分层WZ帧的小波域DMVC***与传统的小波域DMVC***相比，比特率平均下降6.0096％，峰值信噪比PSNR平均提高了0.6038dB，本发明的基于分层WZ帧的小波域DMVC***具有更好的RD性能。

表1 本发明算法与传统算法之间比特率的比较

表2 本发明算法与传统算法之间PSNR的比较

Claims (4)

1.一种基于分层WZ帧的小波域分布式多视点视频编码，其特征在于主要包括以下过程步骤：

(1)在编码端，按照GOP长度为8将每个视点的视频序列分为多个图像组。在每个GOP内，K帧进行传统的帧内编解码，WZ帧按照传统DWT域的编码方式进行。

(2)在解码端采用基于分层WZ帧的边信息预测结构，K₀、WZ₁、WZ₂、WZ₃、WZ₄、WZ₅、WZ₆、WZ₇分别表示一个GOP内的视频帧，K₈表示下一个GOP的K帧。K₀和K₈为第0级时间层(TL₀)的视频帧，WZ₄为第1级时间层(TL₁)的视频帧，WZ₂和WZ₆为第2级时间层(TL₂)的视频帧，WZ₁、WZ₃、WZ₅、WZ₇为第3级时间层(TL₃)的视频帧，TL₀～TL₃级别逐渐降低。具体边信息预测过程如下：

a)TL₀层，对关键帧K₀、K₈进行帧内编解码，得到K₀'、K₈'。

b)TL₁层，对K₀'和K₈'进行MCTI获得WZ₄的时间边信息与根据左右视点已解码帧生成的空间边信息进行融合得到初始边信息，最终解码得到WZ'₄。

c)TL₂层，对K₀'和WZ'₄、WZ'₄和K₈'进行MCTI获得WZ₂、WZ₆的时间边信息与根据左右视点已解码帧生成的空间边信息进行融合得到初始边信息，最终解码得到WZ'₂、WZ'₆。

d)TL₃层，对K₀'和WZ'₂、WZ'₂和WZ'₄、WZ'₄和WZ'₆、WZ'₆和K₈'进行MCTI获得WZ₁、WZ₃、WZ₅、WZ₇的时间边信息与根据左右视点已解码帧生成的空间边信息进行融合得到初始边信息，辅助WZ帧的解码重建。

(3)在解码端进行WZ帧的解码重建，当前t时刻的视频帧WZ(t)的初始边信息SI(t)由前向和后向参考帧f(t-m)和f(t+m)预测得到。对SI(t)进行N级离散小波变换，采用最低频带图像作为WZ(t)中最低频带图像LL_N(t)的边信息对LL_N(t)进行WZ解码与重建得到LL_N(t)'。

(4)对LL_N(t)'与LL_N(t-m)和LL_N(t+m)之间进行运动估计得到新的运动矢量，利用更新的运动矢量对f(t-m)和f(t+m)的相同频带进行运动补偿，得到当前分辨率下高频频带HH_N(t)、HL_N(t)、LH_N(t)的边信息并辅助解码与重建。利用当前分别率下所有频带的解码信息进行小波反变换得到上一级分解中的最低频带信息LL_N-1(t)。重复本步骤，直到N的值被减为0，即解码出原始分辨率下的WZ帧。

2.如权利要求1所述基于分层WZ帧的小波域分布式多视点视频编码,其特征在于在步骤(2)中所述的当前层WZ帧最低频带的边信息由相邻最近的两个更高级别层次的已解码帧进行预测，从而避免了传统小波域DMVC***中最低频带的边信息直接采用前一解码帧的最低频带图像而忽视了视频序列运动特性的问题。

3.如权利要求1所述基于分层WZ帧的小波域分布式多视点视频编码,其特征在于在步骤(3)～(4)中所述的根据多分辨率运动细化，参考相邻的两个已解码帧，在已解码的低频带图像上得到高频带图像的高质量边信息。

4.一种用于执行权利要求1-3之一所述基于分层WZ帧的小波域分布式多视点视频编解码器。