CN102256133B - 一种基于边信息精化的分布式视频编码及解码方法 - Google Patents

Abstract

本发明公开了一种基于边信息精化的分布式视频编码及解码方法，编码方法包括小波变换、格雷码编码及LDPC编码步骤，其技术特点是：还包括在小波变换前对WZ帧进行分类编码步骤，解码方法包括LDPC解码、格雷码译码、小波反变换和重构步骤，其技术特点是：在重构后还包括边信息精化处理步骤，即采用运动补偿加权内插方法得到初始边信息，使用部分解码WZ帧的运动补偿精化更新边信息；将精化后的边信息送入解码器进行解码得到运补偿精化的重建帧。本发明设计合理，在编码端对WZ帧进行分类编码，在解码端采用运动补偿加权内插和部分解码的WZ帧来提高边信息的质量，进而提高重建帧的性能，在保持较低编码复杂度的情况下，提高了分布式视频编码的率失真性能。

Description

一种基于边信息精化的分布式视频编码及解码方法

技术领域

本发明属于无线视频传感器网络领域，尤其是一种基于边信息精化的分布式视频编码及解码方法。

背景技术

分布式视频编码(Distributed Video Coding，DVC)是一种全新的视频编码模式，它基于Slepian-Wolf和Wyner-Ziv多信源信息编码理论，采用帧内编码加帧间解码，将计算复杂度从编码端转移到解码端，具有编码器复杂度低、编码端耗电量低、容错性好等特点。使其特别适合于一些计算能力、内存容量、耗电量都受限的无线视频终端(如无线视频监控***、视频传感器网络等)，并随着这些新视频应用的成长在近几年快速发展起来。

近年来越来越多的学者、组织已经开始对DVC进行深入研究，并建立了相应的DVC应用***。典型的DVC模型包括：斯坦福模型和伯克利模型。其中视频序列通常被分成关键帧和WZ帧。在此基础上，现广泛研究的两种方法分别为基于像素域编码和基于变换域编码，其区别在于对WZ帧的预处理和后处理上，基于变换域编码相对于基于像素域编码需要对视频图像进行离散余弦变换(Discrete Cosine Transform，DCT)或离散小波变换(DiscreteWavelet Transform，DWT)及其反变换，相应地编码器能利用视频图像的空间统计相关性，因此其率失真性能优于基于像素域编码，但编码复杂度有所增加。此外，由于DWT还可以克服DCT块变换带来的块效应，同时取得更好的图像编码性能。

在DVC***中，编码器的编码效率很大程度取决于边信息的重建质量。边信息重建质量越高，解码端成功译码所需要的奇偶校验比特就越少，编码器的压缩效率也就越高。通常对连续的关键帧进行运动补偿时域内插来得到边信息，但是，运动补偿时域内插中的运动矢量并非常常与实际物体的运动相一致，因此边信息的重建质量就不够理想。针对此问题，Klomp，S.和Vatis，Y.提出了一种使用运动补偿的亚像素精度的边信息生成技术，Liu Rongke等提出一种基于分级运动估计的边信息生成算法。然而，这些技术中并没有考虑已解码的WZ帧，实际上解码的WZ帧包含有比参考帧更多的附加信息。综上所述，现有的分布式视频编码方法存在边信息质量差的问题且率失真性能低的问题。

发明内容

本发明的目的在于克服现有技术的不足，提出一种能够提高边信息质量和率失真性能的基于边信息精化的分布式视频编码及解码方法。

本发明解决其技术问题是采取以下技术方案实现的：

一种基于边信息精化的分布式视频编码方法，包括小波变换、格雷码编码及LDPC编码步骤，还包括在小波变换前对WZ帧进行分类编码步骤，其具体处理方法为：

(1)计算当前宏块的绝对误差和SAD值和所有周围块的绝对误差和SAD_n值；

(2)根据周围块的绝对误差和SAD_n对信源进行分类：如果SAD_n值小于设定的阈值，则认为当前块与边信息中相应位置的块相关性强，定义此块为skip模式，如果SAD_n值大于设定的阈值，则认为当前块与边信息中相应位置的块相关性弱，则当前块定义为帧间模式。

而且，所述的当前宏块的绝对误差和SAD值采用如下公式计算：

$\mathrm{SAD}=\underset{x=1}{\overset{M}{\mathrm{\Σ}}}\underset{y=1}{\overset{N}{\mathrm{\Σ}}}|B(x,y)-B_{\mathrm{re}}(x,y)|$

式中，B表示当前块，B_re表示参考帧中与当前块位置相同的块，M、N表示块大小；

所述的所有周围块的绝对误差和SAD_n值采用如下公式计算：

${\mathrm{SAD}}_n=\frac{({\mathrm{SAD}}_0+\mathrm{\λ}\·{\mathrm{SAD}}_1)}{1+\mathrm{\λ}}$

式中，λ是权重值，SAD₀表示当前块的SAD，而SAD₁表示周围块的平均SAD值。

而且，所述的帧间模式块被更进一步分类，如果B和B_re之间高频系数的SAD_n低于设定的阈值，则认为解码端的估计值足够精确而舍弃高频系数，否则将它们编码后送到解码端。

一种基于边信息精化的分布式视频解码，包括LDPC解码、格雷码译码、小波反变换和重构步骤，在重构后还包括边信息精化处理步骤，其具体处理方法为：

(1)采用运动补偿加权内插方法得到初始边信息；

(2)使用部分解码WZ帧的运动补偿精化更新边信息；

(3)将精化后的边信息送入解码器进行解码得到运动补偿精化的重建帧。

而且，所述的运动补偿加权内插方法包括如下步骤：

(1)在关键帧X’_2i+2中搜索与前一帧X’_2i中的宏块S_2i相匹配的宏块S_2i+2，得到相应的运动矢量MV_f；

(2)以X’_2i中的宏块S_2i为参考，用MV_f/2得到内插块B₁₁，以X’_2i+2中的宏块S_2i+2为参考，用-MV_f/2得到内插块B₁₂；

(3)在关键帧X’_2i中搜索与后一帧X’_2i+2中的宏块S_2i+2相匹配的宏块S_2i，得到相应的运动矢量MV_b；以X’_2i+2中的宏块S_2i+2为参考，用MV_b/2得到内插块B₂₁，以X’_2i中的宏块S_2i为参考，用-MV_b/2得到内插块B₂₂，从而得到运动补偿后的初始边信息：

$y_{2i+1}=\frac{(b_{11}+b_{12}+b_{21}+b_{22})}{4}$

式中，y_2i+1，b₁₁，b₁₂，b₂₁，b₂₂分别为Y_2i+1，B₁₁，B₁₂，B₂₁，B₂₂的像素值。

而且，所述的使用部分解码WZ帧的运动补偿精化更新边信息方法包括如下步骤：

(1)在前一帧X’_2i中寻找部分解码的WZ帧WZ_d的匹配块，得出前向运动补偿帧Z_F，在后一帧X’_2i+2中寻找WZ_d的匹配块，得出后向运动补偿帧Z_B；

(2)按照下式计算WZ_d与Z_F，Z_B的残差：

R_F(x，y)＝Z_F(x，y)-WZ_d(x，y)

R_B(x，y)＝Z_B(x，y)-WZ_d(x，y)

(3)根据残差大小，按照下式计算加权系数p：

$U=e^{-R_F{(x,y)}^2}$

$V=e^{-R_B{(x,y)}^2}$

$p=\frac{U}{U+V}$

(4)按照下式计算得到运动补偿精化后的边信息：

Y＝pZ_F+(1-p)Z_B。

本发明的优点和积极效果是：

本发明设计合理，在编码端对WZ帧进行分类编码，在解码端采用运动补偿加权内插和部分解码的WZ帧来提高边信息的质量，进而提高重建帧的性能，该方法能在保持较低编码复杂度的情况下，更有效地提高了分布式视频编码的率失真性能。

附图说明

图1为本发明所提出的分布式视频编码及解码的处理过程示意图；

图2为初始边信息的生成示意图；

图3为率失真性能比较示意图；

图4为本实施例Foreman序列的主观质量比较示意图。

具体实施方式

以下结合附图对本发明实施例做进一步详述：

一种基于边信息精化的分布式视频编码及解码方法，如图1所示，在编码端增加了WZ帧分类编码处理用于提高分布式视频编码的编码增益，在解码端增加边信息精化处理用来提高边信息的质量。下面分别对编码端的分布式视频编码方法和和解码端的分布式视频解码方法进行说明。

一种基于边信息精化的分布式视频编码方法，包括：对WZ帧进行分类编码步骤、小波变换步骤、格雷码编码步骤及LDPC编码步骤，其中，对WZ帧进行分类编码步骤是本发明的创新之处。WZ帧分类编码的核心是采用新的判决准则对WZ帧进行分类编码，其具体方法如下：

对于一个给定的块，采用下式计算绝对误差和(SAD)：

$\mathrm{SAD}=\underset{x=1}{\overset{M}{\mathrm{\Σ}}}\underset{y=1}{\overset{N}{\mathrm{\Σ}}}|B(x,y)-B_{\mathrm{re}}(x,y)|---\left(1\right)$

其中，B表示当前块，B_re表示参考帧中与当前块位置相同的块，M，N表示块大小。

考虑到时域方向性和空间相关性，采用如下公式计算出当前宏块的SAD值和所有周围块的SAD_n值，SAD_n定义式为：

${\mathrm{SAD}}_n=\frac{({\mathrm{SAD}}_0+\mathrm{\λ}\·{\mathrm{SAD}}_1)}{1+\mathrm{\λ}}---\left(2\right)$

其中，λ是权重值，SAD₀表示当前块的SAD，而SAD₁表示周围块的平均SAD值。

根据SAD_n值对信源进行分类，具体分类原则如下：

如果SAD_n值小于某一设定的阈值，则认为当前块与边信息中相应位置的块相关性强，定义此块为skip模式，在解码端直接用估计的边信息值代替；

如果SAD_n值大于某一设定的阈值，则认为当前块与边信息中相应位置的块相关性弱，则当前块定义为帧间模式，然后进行小波变换。

为了减小相关信息的表示代价，帧间模式块可被更进一步分类。如果B和B_re之间高频系数的SAD_n低于设定的阈值，就假定解码端的估计值足够精确而舍弃高频系数，否则将它们编码后送到解码端。

在上述对WZ帧进行分类编码方法中，块模式反映了运动信息，因而它有助于运动估计和高频系数恢复。另一方面，那些skip模式块认为是不变的并且可以被用作LDPC编码的约束条件以便提高性能。解码端边信息估计越好，skip模式块和能丢弃的高频系数就越多。同样，块分类越精确，边信息的估计也越准确。因此，编码端的信源分类可以显著提高编码增益。

一种基于边信息精化的分布式视频解码方法，包括LDPC解码步骤、格雷码译码步骤、小波反变换步骤、重构步骤和边信息精化处理步骤，其中，边信息精化处理是本发明的创新之处。由于分布式视频编码器中边信息的重建质量直接影响整个编码器的RD性能，解码端的边信息越精确则表明需要纠错的编码误差越少，需要发送到解码端的校验比特也越少，这样在取得同样的解码WZ帧质量时，所需的比特率便降低了。下面对边信息精化处理进行详细说明：

(1)采用运动补偿加权内插方法得到初始边信息。

如图2所示，运动搜索是在关键帧X’_2i和X’_2i+2之间进行的。运动补偿加权内插方法的具体步骤为：

首先，在关键帧X’_2i+2中搜索与前一帧X’_2i中的宏块S_2i相匹配的宏块S_2i+2，得到相应的运动矢量MV_f；其次，以X’_2i中的宏块S_2i为参考，用MV_f/2得到内插块B₁₁，同理，以X’_2i+2中的宏块S_2i+2为参考，用-MV_f/2得到内插块B₁₂；最后，在关键帧X’_2i中搜索与后一帧X’_2i+2中的宏块S_2i+2相匹配的宏块S_2i，得到相应的运动矢量MV_b；同样，以X’_2i+2中的宏块S_2i+2为参考，用MV_b/2得到内插块B₂₁，以X’_2i中的宏块S_2i为参考，用-MV_b/2得到内插块B₂₂。因此，边信息的初始值即为：

$y_{2i+1}=\frac{(b_{11}+b_{12}+b_{21}+b_{22})}{4}---\left(3\right)$

其中，y_2i+1，b₁₁，b₁₂，b₂₁，b₂₂分别为Y_2i+1，B₁₁，B₁₂，B₂₁，B₂₂的像素值。

(2)使用部分解码WZ帧的运动补偿精化更新边信息

运动补偿精化的目的是从当前解码WZ帧中获得更加精确的重建帧。基于初始边信息是通过WZ解码器产生一个部分解码的WZ帧，即WZ_d，并利用WZ_d来精化边信息。其具体步骤如下所述：

首先，在前一帧X’_2i中寻找WZ_d的匹配块，得出前向运动补偿帧Z_F，在后一帧X’_2i+2中寻找WZ_d的匹配块，得出后向运动补偿帧Z_B；

其次，计算WZ_d与Z_F，Z_B的残差

R_F(x，y)＝Z_F(x，y)-WZ_d(x，y)    (4)

R_B(x，y)＝Z_B(x，y)-WZ_d(x，y)    (5)

然后，根据残差大小，计算加权系数

$U=e^{-R_F{(x,y)}^2}---\left(6\right)$

$V=e^{-R_B{(x,y)}^2}---\left(7\right)$

$p=\frac{U}{U+V}---\left(8\right)$

最后，按照下式计算得到运动补偿精化后的边信息：

Y＝pZ_F+(1-p)Z_B       (9)

(3)将精化后的边信息送入解码器进行解码得到运动补偿精化的重建帧，从而提高了整个***的率失真性能。

下面使用一个实例对本发明进行验证。实例验证中采用的仿真环境为matlab.R2007b，仿真实验分别选用标准视频序列库中运动较剧烈细节较丰富的Foreman序列和运动剧烈程度较轻的Hall序列进行测试，这两个视频序列都采用QCIF(176×144)格式，速率为30fps，故奇数帧的速率为15fps。奇数帧被编码为WZ帧而偶数帧为关键帧，每个WZ帧被分解为16x16的宏块，作3级Daubechies′9-7小波变换。在解码端，已解码的偶数帧将用来插值生成边信息用于奇数帧的解码，解码端误码门限设定为P_e＝10^-3。本发明采用1/2码率的非规则LDPC码(n＝10000，k＝5000)。LDPC码的生成多项式为：

λ(x)＝0.234029x+0.212425x²+0.146898x⁵+0.10284x⁶+0.303808x¹⁹ (10)

ρ(x)＝0.71875x⁷+0.28125x⁸                                   (11)

在实验过程中整个率失真(RD：Rate Distortion)曲线只考虑Wyner-Ziv帧亮度分量的平均码率及平均峰值信噪比(PSNR)值，并且为不失一般性，测试结果与H.264帧内编码和帧间编码进行了对比，其中，Key帧统一采用H.264/JVTJM16编码器编码。

图3显示了Foreman和Hall QCIF序列的失真性能。对于运动缓慢的Hall序列，采用边信息精化方法对***性能提高并不是很明显；但是对于运动较剧烈的Foreman序列。本发明提出的方案比传统的变换域TDWZ编码方案，总体率失真性能最大提高了2dB左右。

图4为Foreman序列的主观质量比较结果。其中图4(a)为原始图，图4(b)为运动补偿内插图，图4(c)为经过运动补偿净化后的处理效果图，从图中可以看出运动补偿精化后的重建图像效果更好。在图4(b)中，鼻子和嘴的部分存在明显的失真。通过运动补偿精化后，运动区域变得非常清晰。

需要强调的是，本发明所述的实施例是说明性的，而不是限定性的，因此本发明并不限于具体实施方式中所述的实施例，凡是由本领域技术人员根据本发明的技术方案得出的其他实施方式，同样属于本发明保护的范围。

Claims (2)

1.一种基于边信息精化的分布式视频编码方法，包括小波变换、格雷码编码及LDPC编码步骤，其特征在于：还包括在小波变换前对WZ帧进行分类编码步骤，其具体处理方法为：

⑴计算当前宏块的绝对误差和SAD值和所有周围块的绝对误差和SAD_n值；

⑵根据周围块的绝对误差和SAD_n对信源进行分类：如果SAD_n值小于设定的阈值，则认为当前块与边信息中相应位置的块相关性强，定义此块为skip模式，如果SAD_n值大于设定的阈值，则认为当前块与边信息中相应位置的块相关性弱，则当前块定义为帧间模式；

所述的当前宏块的绝对误差和SAD值采用如下公式计算：

$\mathrm{SAD}=\underset{x=1}{\overset{M}{\mathrm{\Σ}}}\underset{y=1}{\overset{N}{\mathrm{\Σ}}}|B(x,y)-B_{\mathrm{re}}(x,y)|$

式中，B表示当前块，B_re表示参考帧中与当前块位置相同的块，M、N表示块大小；

所述的所有周围块的绝对误差和SAD_n值采用如下公式计算：

${\mathrm{SAD}}_n=\frac{({\mathrm{SAD}}_0+\mathrm{\λ}\·{\mathrm{SAD}}_1)}{1+\mathrm{\λ}}$

式中，λ是权重值，SAD₀表示当前块的SAD，而SAD₁表示周围块的平均SAD值。

2.根据权利要求1所述的一种基于边信息精化的分布式视频编码方法，其特征在于：所述的帧间模式块被更进一步分类，如果B和B_re之间高频系数的SAD_n低于设定的阈值，则认为解码端的估计值足够精确而舍弃高频系数，否则将它们编码后送到解码端。

Images