CN101106695A

CN101106695A - 基于h.264实时精细粒度可伸缩编码方法

Info

Publication number: CN101106695A
Application number: CN 200710038784
Authority: CN
Inventors: 张兆杨; 姜钦华; 刘志; 刘海鹰; 刘鹏飞; 张颖; 沈礼权; 王国中
Original assignee: Central Academy of SVA Group Co Ltd; University of Shanghai for Science and Technology
Current assignee: Central Academy of SVA Group Co Ltd; University of Shanghai for Science and Technology
Priority date: 2007-03-29
Filing date: 2007-03-29
Publication date: 2008-01-16
Anticipated expiration: 2027-03-29
Also published as: CN100568952C

Abstract

本发明涉及基于H.264实时精细粒度可伸缩编码方法。根据当前残差帧的全局性与当前残差块的局部性分布来进行分析，在全局分析中找出奇异点，并通过对奇异值进行下移位使得比特平面数全局均衡，在解码端作相应的上移位；在局部分析中做全零块的判决。本发明在编码过程中的增强层变换部分将采用4×4整数变换。本方法与一般的FGS方法相比，复杂度明显降低，视频质量更高，整体PSNR(峰值信噪比)变化更加平滑。实验表明，与MPEG－4的FGS方法相比，在保持相近的码率时，本发明能够在平均亮度PSNR上提高0.37dB，平均编码速度快13.86fps，即提高97％。

Description

基于H.264实时精细粒度可伸缩编码方法

技术领域

本发明涉及一种视频编解码的方法，特别是一种基于H.264实时精细粒度可伸缩编码(FGS)方法。

背景技术

自从ITU-T颁布了H.261、H.263、MPEG-1、MPEG-2、MPEG-4等国际标准后极大推动了多媒体技术的应用。然而，随着新服务的大量增加和高清电视的即将普及，以及现有传输网络如Cable Modem、Xdsl、UMTS较低的传输带宽，迫切需要提高视频编码效率；同时还要求视频编码标准能够适应现有或未来的网络。这些问题为新视频编码标准H.264的产生提供了切实的依据。

随着网络多媒体应用的增加，基于网络的视频编解码技术也相应显得非常重要。位平面编码是精细可伸缩性(FGS)编码中的关键技术，它使得增强层码流可以在任何位置点截断，从而具有可伸缩性。在服务器向客户端发送视频流的应用中，FGS的伸缩性可以根据网络带宽的变化调整码率，当网络状况差时，只发送基本层，当网络带宽比较充裕时，传输增强层的码流，提高视频质量。这种可伸缩性技术适合用在Internet或无线通信的环境下传输视频信息的流媒体服务。但是由于增强层采用的低分辨率的运动信息预测，所以FGS的编码效率较低。对此通常有两种不同的解决方案，一是结构上的调整，例如采用多次量化或单环、多环结构；二是对增强层的变换方法作改进，例如微软亚洲研究院Jungong Han提出的基于MPFG-4的8×8DCT和4×4DCT模式选择方法。

基于H.264实时精细可伸缩编码面临两个问题：编码效率和编码复杂度。虽然H.264编码效率很高，但扩展为FGS后其增强层的编码带来了编码效率不高的新问题，传统的8×8DCT模式，没有考虑比特平面编码中层与层之间的相关性，减低了效率。Jungong Han等人提出8×8DCT与4×4DCT变换模式选择的方法考虑了比特平面层间的相关性，编码效率有较明显地提高，但是它的复杂度较高，所以不适合用于快速编码。多次量化编码方法目前采用的比较多，但是同样也是以增加复杂度为代价。此外，Kenji Matsuo等提出一种新的位比特编码方案，以避免增强层在低比特平面编码效率下降的情况，主要是把每一位数据划分为显著比特位和精细比特位，它可以根据重要性不同对这两组采用不同的保护措施，再分别传输。但这属于后端处理，并没有对全局分布特性进行分析，而且未考虑变换等耗时模块。

基于MPEG-4精细粒度可伸缩编码方法。如附图1所示，由原始图像和基本层重构信息相减获得的残差信息经过变换量化和比特移位后找最大值，最后采用比特平面编码。这种方法可以获得较好的编码效果，但是它没有考虑在增强层编码的变换/量化之前作前端预处理，编码复杂度较大，不能达到实时编码。本发明针对于此，提出一种基于H.264实时精细粒度可伸缩编码方法，如图2所示，在增强层的编码中，通过前端预处理，做全局性分布统计分析和提前做全零块判决，可有效减少编码时间并达到实时编码。并在增强层中采用4×4整数变换以使增强层的变换模式与基本层中H.264的变换模式匹配，加入预处理虽然会引入些额外比特但可大幅减少其后续的编码比特，从而总体上可明显提高编码效率。

发明内容

本发明的目的在于提供一种基于H.264实时精细粒度可伸缩编码方法，相比于基于MPEG-4的FGS编解码方法，它可以在考虑额外的开销比特的同时，提高视频质量，大大降低编解码时间。

为达到上述目的，本发明采用下述技术方案：

一种基于H.264实时精细粒度可伸缩编码方法，其特征在于根据当前残差帧的全局性与当前残差块的局部性分布来进行分析，编码器中的增强层变换部分采用4×4整数变换；在全局分析中找出奇异点，并通过对奇异值进行下移位使得比特平面数全局均衡，在解码端作相应的上移位；在局部分析中做全零块的判决。

实现步骤如下：

(1)对当前残差帧进行全局性分布统计，在基于H.264的基本层的重构值与原始值的差值中统计奇异点的分布情况，对全局奇异值进行下移位，在头信息中对记录奇异点的位置和下移值信息进行编码；

(2)对当前残差块进行局部性分布统计，在完成(1)后得到最大比特位数为L，设截取比特平面数为N，使用条件值T＝2^L-N-1来判决当前残差块是否为全零子块，因为全零子块不需要做后面的变换量化，所以对全零子块的处理可以大大节省编码时间和码率；对全零子块不做变换量化，仅对非全零子块进行变换，量化和编码；

(3)在增强层中对非零子块采用4×4整数变换，并对变换量化系数采用比特平面编码；

(4)在解码端，从头信息中提步骤(1)中全局部分下移位置和下移值信息，并做相应的上移位。

上述的步骤(1)中对当前残差帧进行全局性分布统计的具体步骤如下：

①对输入的当前残差帧全局扫描，记录奇异点值大小；

②根据分布信息，确定奇异点，对奇异点绝对值下移操作，当奇异点绝对值大于64，对其下移2位，当其介于32-64之间，对其下移1位；

③在头信息中记录奇异点值位置(X，Y)和下移值大小S；

④分析后得到最大值M，则最大比特位数为L＝[Log2M+0.5]。

上述的步骤(2)中对当前残差块进行局部性分布统计的具体步骤如下：

①对输入的当前残差块进行循环扫描；

②判断是否满足全零子块条件：全局分析完成后得到最大比特位数为L，设截取比特平面数为N，使用条件值O＝2^L-N-1来判决当前残差块是否为全零子块，如果这个4×4子块为全零子块则不用做变换量化，并将当前块的blocK_cbp设置为ALL_ZERO，否则设置为1；

③重复步骤②，完成全部的全零块判决，当有一个组Group为全零组，则group_cbp设置为ALL_ZERO，否则设置为1。这里对全零组的判决虽会增加一些额外比特和计算量，但是可提高编码头信息的效率和整体编码效率；此后，仅对设置为1的子块在增强层中进行变换、量化和编码。

实现时其中的两段伪码如下：

1.8×8块全零组判决伪码：

8×8块循环

{

4×4子块全零判决；

if(全零子块个数＝16)

group_cbp＝ALL_ZERO；

else

group_cbp＝1；

跳出循环；

}

2.4×4子块全零判决伪码：

4×4子块循环

{

if(残差绝对值小于等于2^L-N-1)

零点个数加1；

else

跳出循环；

}

if(零点个数＝16)

{

block cbp＝ALL_ZERO；

}

else

block_cbp＝1；

上述的步骤(3)中在增强层对非全零子块进行变换、量化和编码的具体步骤如下：

①在增强层将16×16的宏块划分为4个8×8的亮度块和2个8×8的色度块，然后将8×8块划分为4个4×4的子块；

②把4个4×4的子块称为一个组Group，每个宏块共6个Group，划分的方法如附图4；

③对非零子块的变换采用4×4整数变换，在头信息编码时，先编码组头信息，再编码子块头信息，引入组模式可提高头信息编码效率；

④采用QPL量化后的系数进行16即4×4长度的比特平面编码。

本发明与已有技术相比，具有如下的突出特点和显著优点：通常在MPEG-4中的FGS增强层采用8×8DCT变换模式，这与H.264基本层编码模式不匹配，而本发明以4×4整数变换替代可以和基本层的变换模式有效的匹配；采用全局性分析和局部性分析相结合的方法，不仅大大减少了编码时间，而且与原有的方法相比较，其视频重建质量更高。本发明和基于MPEG-4的FGS相比，亮度信噪比(Y-PSNR)提高了0.37dB，编码速度快13.86fps。

附图说明

图1是基于MPEG-4的FGS增强层编码框图

图2是本方法基于H.264的FGS增强层编码框图

图3是全零块判决程序框图

图4是块单元的模式划分图

具体实施方式

本发明的一个实施例如下所述：

基于H.264实时FGS增强层变换模式的改进方法是在编码过程中的增强层变换采用4×4整数变换，根据当前残差帧的全局性与当前残差块的局部性分布来进行分析。在全局分析中找出奇异点，并通过对奇异值进行下移位使得比特平面数全局均衡，在解码端作相应的上移位；在局部分析中做全零块的判决。

其实现步骤如下：

a)如附图2所示的预处理模块中对当前残差帧进行全局性分布统计，在基本层的重构值与原始值的差值中统计奇异点的分布情况，对全局奇异值进行下移位，在头信息中对记录奇异点的位置和下移值信息进行编码；

b)在预处理模块中对当前残差块进行局部性分布统计，设在完成a)后得到最大比特位数为L，设截取比特平面数为N，使用条件值O＝2^L-N-1来判决当前残差块是否为全零子块，若是全零子块则跳过后续的变换/量化模块；

c)若当前块不为全零子块，在增强层变换部分采用4×4整数变换，并接着对变换量化系数采用比特平面编码；

d)解码是上述编码的逆过程，但须从头信息中提取a)中全局部分下移位置和下移值信息，并做相应的上移位。

上述a)的全局性统计分析具体步骤如下：

(1)对输入的当前残差帧全局扫描，记录奇异点值大小为32和64。

(2)根据分布信息，确定奇异点，对奇异点绝对值下移操作，例如奇异点绝对值大于64，对其下移2位，如介于32-64之间，对其下移1位。

(3)在头信息中记录奇异点值位置(X，Y)和下移值大小S。

(4)设分析后得到最大值为M，则最大比特位数为L＝[Log₂M+0.5]。

如附图3所示，上述b)的局部性统计分析具体步骤如下：

(1)对输入的当前残差块进行循环扫描。

(2)判断是否满足全零子块条件。全局分析完成后得到最大比特位数为L，设截取比特平面数为N，使用条件值O＝2^L-N-1来判决当前残差块是否为全零块，如果这个4×4子块为全零子块则不用做后面的变换量化过程，并将当前块的block_cbp设置为ALL_ZERO，否则设置为1。

(3)重复第(2)步，完成全部的全零子块判决，当有一个组(Group)为全零组，则group_cbp设置为ALL_ZERO，否则设置为1。

如附图4所示，上述c)的具体步骤如下：

(1)对增强层的每个16×16的宏块划分为4个8×8的亮度(Y)块和2个8×8的色度块(U，V)，然后将每个8×8块划分为4个4×4的子块；

(2)把4个4×4的子块称为一个组(Group)，每个宏块共6个Group，划分的方法如附图4的底下图；

(3)对非零子块采用4×4整数变换，在头信息编码时，先编码组头信息group_cbp()，再编码子块头信息block_cbp()；

(4)在实例中采用QP_L＝30量化后的系数进行16(即4×4)长度的比特平面编码。

上述d)的上移位操作具体步骤如下：

(1)解码头信息获得全局部分下移位置和下移值信息；

(2)根据头信息中记录奇异点值位置(X，Y)和下移值大小S做相应上移位。

本例方法与MPEG-4的FGS方法进行了测试比较，测试环境两者均为3.0GHzIntel CPU，512M内存；GOP结构为IPPP..；编码器主要参数为：熵编码采用CABAC，运动估计采用全搜索，搜索范围为16，1/4搜索精度，参考帧个数为2，量化参数为30。

表1给出在Foreman、Tempete和Stefan三个不同特性的测试序列下，在CIF格式时本方法相对于MPEG-4的FGS的亮度PSNR及与编码速度比较。可见相比基于MPEG-4的FGS，本发明方法在CIF格式下，Y-PSNR平均增益有0.37dB；且编码速度平均快13.86fps，即速度增加97％；而两者的平均码率仅变化0.67％，几乎不变。

表1 3种序列CIF格式，两种方法的比较(352×288@30fps，300Frames)

基于MPEG-4的FGS编码器

本发明的实时FGS编码器

增益

测试序列	亮度峰值信噪比(dB)	编码速度(fps)	实际比特率(kbit/s)	亮度峰值信噪比(dB)	编码速度(fps)	实际比特率(kbit/s)	亮度峰值信噪比增益(dB)	编码速度增益(fps)
测试序列	亮度峰值信噪比(dB)	编码速度(fps)	实际比特率(kbit/s)	亮度峰值信噪比(dB)	编码速度(fps)	实际比特率(kbit/s)	亮度峰值信噪比增益(dB)	编码速度增益(fps)	Foreman	33.45	14.28	354.7240	33.81	28.15	356.9824	0.36	13.87
Tempete	31.75	14.06	431.6550	32.16	28.07	435.4478	0.41	14.01	Foreman	33.45	14.28	354.7240	33.81	28.15	356.9824	0.36	13.87
Tempete	31.75	14.06	431.6550	32.16	28.07	435.4478	0.41	14.01	Stefan	30.16	14.58	485.6410	30.50	28.28	488.1588	0.34	13.70
平均	31.79	14.31	424.0067	32.16	28.17	426.8630	0.37	13.86	Stefan	30.16	14.58	485.6410	30.50	28.28	488.1588	0.34	13.70

Claims

1.一种基于H.264实时精细粒度可伸缩编码方法，其特征在于根据当前残差帧的全局性与当前残差块的局部性分布来进行分析，编码器中的增强层变换部分采用4x4整数变换；在全局分析中找出奇异点，并通过对奇异值进行下移位使得比特平面数全局均衡，在解码端作相应的上移位；在局部分析中做全零块的判决；其步骤是：

(1)对当前残差帧进行全局性分布统计，在基于H.264的基本层的重构值与原始值的差值中统计奇异点的分布，对全局奇异值进行下移位，在头信息中对记录奇异点的位置和下移值信息进行编码；

(2)对当前残差块进行局部性分布统计，设在完成(1)后得到最大比特位数为L，截取比特平面数为N，使用条件值O＝2^L-N-1来判决当前残差子块是否为全零子块，对全零子块不做变换量化，仅对非全零子块进行变换，量化和编码；

(3)在增强层中对非零子块采用4x4整数变换，并对变换量化系数采用比特平面编码；

(4)在解码端，从头信息中提取步骤(1)中全局部分下移位置和下移值信息，并做相应的上移位。

2.根据权利要求1所述的一种基于H.264实时精细粒度可伸缩编码方法，其特征在于所述的步骤(1)中对当前残差帧进行全局性分布统计的具体步骤如下：

①对输入的当前残差帧全局扫描，记录奇异点值大小；

③在头信息中记录奇异点值位置(X，Y)和下移值大小S；

④分析后得到最大值M，则最大比特位数为L＝[Log₂M+0.5]。

3.根据权利要求1所述的一种基于H.264实时精细粒度可伸缩编码方法，其特征在于所述的步骤(2)中对当前残差块进行局部性分布统计的具体步骤如下：

①对输入的当前残差块进行循环扫描；

②判断是否满足全零子块条件：全局分析完成后得到最大比特位数为L，设截取比特平面数为N，使用条件值O＝2^L-N-1来判决当前残差子块是否为全零子块，如果这个4x4子块为全零子块则不用做变换量化，并将当前块的block_cbp设置为ALL_ZERO，否则设置为1；

③重复步骤②，完成全部的全零子块判决，当有一个组Group为全零组，则group_cbp设置为ALL_ZERO，否则设置为1。此后，仅对设置为1的子块在增强层中进行变换，量化和编码。

4.根据权利要求1所述的一种基于H.264实时精细粒度可伸缩编码方法，其特征在于所述的步骤(3)中在增强层对非全零子块进行变换，量化和编码；其具体步骤如下：

①在增强层将16x16的宏块划分为4个8x8的亮度块和2个8x8的色度块，然后将8x8块划分为4个4x4的子块；

②把4个4x4的子块称为一个组Group，每个宏块共6个Group；

③对非零子块的变换采用4x4整数变换；在头信息编码时，先编码组头信息，再编码子块头信息；

④采用QPL量化后的系数进行16即4x4长度的比特平面编码。