CN101621688A - 一种实现avs视频标准时域分级的编解码方法 - Google Patents

Abstract

本发明属于图像处理技术领域，特别涉及一种实现AVS视频标准时域分级的方法，其特征在于：在P帧的图像头添加长度为1比特的语法元素non_reference_flag，设定当non_reference_flag的值为0时，该P帧被允许作为后续帧编解码的参考帧，即为可参考P帧；当non_reference_flag的值为1，该P帧不被允许作为后续帧编解码的参考帧，既为非参考P帧。本发明可以在现有AVS视频标准基础上实现时域分级功能，保证AVS视频码流具有至少两个帧率，并且与原编码标准相比，不会带来编码效率的明显降低。

Description

一种实现AVS视频标准时域分级的编解码方法

技术领域

本发明属于图像处理技术领域，特别涉及一种实现AVS视频标准时域分级功能的编解码方法。

背景技术

AVS标准是我国自主制定的音视频编码技术标准，AVS标准第二部分，即AVS视频基准档次于2006年成为国家标准，其核心技术包括8×8整数变换及量化、帧内预测、四分之一精度的亚像素插值、对称的B帧模式、二维熵编码及去块效应环路滤波等。在码流结构上，AVS视频基准档次包括序列头结构、图像头结构、条带数据、宏块数据等多个层次的数据信息。

随着AVS视频标准的推广使用以及实际应用的需要，一些新的档次逐渐制定，这些新的档次包括AVS视频伸展档次、AVS视频移动档次等，这些新的标准档次所对应的需求中明确提出，视频码流应具有时域分级的功能，同时兼容AVS视频基准档次，即以AVS视频基准档次为最小集合，在此基础上扩充新的功能。

时域分级功能是指码流具有多个帧率，能够通过简单的码流截取操作，即可从高帧率的码流得到低帧率的码流，而不需要复杂的转码操作，时域分级编码主要解决的是对帧率有不同要求的多个用户同时对同一视频源进行访问时的视频内容分配问题。在一些应用中，时域分级功能还能应用于降帧率存储、视频的快进快退等应用中来。

因此，如何高效地实现AVS视频标准的时域分级功能，成为待解决的重要问题。

发明内容

本发明目的在于解决现有技术不足，提供一种实现AVS视频标准时域分级的编解码方法，并且使得具有时域分级功能的AVS视频标准的编码效率与原来保持相当，不会带来明显的降低。

本发明的技术方案是：在P帧的图像头添加长度为1比特的语法元素non_reference_flag，设定当non_reference_flag的值为0时，该P帧被允许作为后续帧编解码的参考帧，即为可参考P帧；当non_reference_flag的值为1，该P帧不被允许作为后续帧编解码的参考帧，既为非参考P帧。

而且，编码时若当前帧为P帧，根据当前帧的时域距离，确定当前帧为可参考P帧或非参考P帧，具体方式如下，

设当前帧的时域距离为tr，在编码过程要求的最高帧率为max，最低帧率为min，则非参考P帧的周期为max/min；

如果tr％(max/min)不为0，则当前帧为非参考P帧，语法元素non_reference_flag的值设为1；如果tr％(max/min)为0，则当前帧为可参考P帧，语法元素non_reference_flag的值设为0；其中％表示取余。

而且，所述编码操作包括根据参考帧所含宏块对当前帧所含宏块的量化操作，如果当前帧为非参考P帧，将当前编码宏块的量化参数设置为大于参考宏块的量化参数。

本发明可以实现AVS视频标准时域分级功能，保证AVS视频码流具有至少两个帧率并且与原编码标准相比，不会带来编码效率的明显降低。

附图说明

图1为AVS视频的编码图像参考关系示意图；

图2为本发明的编码图像参考关系示意图；

图3为本发明对于测试序列cloverleaf的编码效率测试结果图。

具体实施方式

本发明对于AVS标准P帧的图像头添加长度为1比特的语法元素non_reference_flag。如果non_reference_flag的值为0，说明该P帧可以作为后续帧编解码的参考帧，该帧被称为可参考P帧；如果non_reference_flag的值为1，说明该P帧不能作为后续帧编解码的参考帧，该帧被称为非参考P帧。后续帧可能为B帧或P帧。具体实施时，也可为语法元素non_reference_flag赋予其它值来设定可参考P帧或非参考P帧，例如采用多个比特，01代表可参考P帧，10代表非参考P帧；或者相反设定，1代表可参考P帧，0代表非参考P帧。这些都属于等同替换方式，在本发明技术方案保护范围内。

参见图1，现有技术中，按照AVS视频标准，从初始的I帧开始到后续P帧，帧信号之间编码图像参考关系采用的是串行关系。而本发明的编码图像参考关系参见图2，由于将P帧分为可参考P帧和非参考P帧，打破了原有AVS视频标准中P帧之间参考的串行关系，使可参考P帧只能以可参考P帧作为参考帧，非参考P帧也以可参考P帧作为参考帧，这样就形成了可参考P帧和非参考P帧两个层次，在这样的码流中，可以直接截取可参考P帧生为低帧率的码流，提供两个帧率，使得AVS视频标准具有至少两级的分层结构。按照现有技术的编码图像参考关系，传输或存储所有帧信号，是为一级分层。若按照本发明提供的编码图像参考关系，传输或存储除非参考P帧以外的帧信号，是为二级分层。二级分层应用非常广泛，例如在传输码率低或终端设备解码能力低、客户偏好的情况下，可以选择不传输非参考P帧。若视频码流中有B帧时，则出现三个帧率的选择。

设定当前帧为可参考P帧或非参考P帧，可以通过考察帧信号的重要性实现，例如可根据图像内容特征决定，比如图像的运动场。在某些P帧的重要性非常突出，被设定是核心帧信号时，可以默认这些P帧为可参考P帧。也可按照周期性选择，本发明提供了进一步技术方案：编码时若当前帧为P帧，根据当前帧的时域距离，确定当前帧为可参考P帧或非参考P帧，具体方式如下，

设当前帧的时域距离为tr，在编码过程要求的最高帧率为max，最低帧率为min，则非参考P帧的周期为max/min；

如果tr％(max/min)不为0，则当前帧为非参考P帧，语法元素non_reference_flag的值设为1；如果tr％(max/min)为0，则当前帧为可参考P帧，语法元素non_reference_flag的值设为0。

其中最高帧率max、最低帧率min可根据具体实施时的要求设定，％表示取余。AVS视频标准设定帧信号的图像头中记录有其时域距离，具体实施时可将所需时域距离提取存放到数组或变量中。具体实施时，利用时域距离确定当前帧为可参考P帧或非参考P帧时，除了求取tr％(max/min)进行判定外，也可以根据需要采用其它方式。

除了本发明提出针对P帧的语法元素non_reference_flag的设置及确定以外，其它编解码方式都按照AVS标准进行不会改变，例如编码操作包括运动估计、运动补偿、变换、量化和熵编码，解码操作包括熵解码、运动补偿、反量化、反变换，本发明不予赘述。由于原有标准串行的参考关系被打破，编码效率会有所下降。为了减少编码效率的下降，本发明提供了进一步技术方案：如果当前帧为非参考P帧，即其图像头中non_reference_flag的值为1时，将当前编码宏块的量化参数设置为大于参考宏块的量化参数。编码操作中的量化操作，是根据参考帧对当前帧分宏块进行量化操作，AVS标准规定对当前帧提供两个存于参考帧缓存中的参考帧，对当前帧的某个宏块作为当前编码宏块进行量化时，选取两个参考帧之一上的相应宏块作为参考宏块，进行量化参数。因此本发明对量化参数的调整也是针对宏块的。

为了准确维护参考帧缓存中的参考帧的时域信息，建议在编解码端增加时域距离数组，用于记录参考帧缓存中各个参考帧的时域距离参数。由于AVS视频采用两帧参考帧，因此可设置包含两个元素nrp_ref_tr[1]和nrp_ref_tr[0]的数组nrp_ref_tr。相应地可将参考帧缓存表示为数组ref，其中包含两个元素ref[1]和ref[0]。本发明提供实施例说明当前帧的帧类型为P帧时的具体编解码实现过程：

编码端

(1)确定当前帧是否为非参考P帧，

当前帧的时域距离为tr，在编码过程要求的最高帧率为max，最低帧率为min，则非参考P帧的周期为max/min，

如果tr％(max/min)不为0，则当前帧为非参考P帧，语法元素non_reference_flag的值设为1，如果tr％(max/min)为0，则当前帧为可参考P帧，语法元素non_reference_flag的值设为0。

(2)将语法元素non_reference_flag的值写入当前帧的图像头部分。具体实施时，在图像头中添加语法元素non_reference_flag的具体形式可以参见AVS视频国家标准设置，可参见下表：

pb_picture_header(){	描述符
		…
if(picture_coding_type＝＝’01’)
		non_reference_flag	u(1)
…
		}

其中“if(picture_coding_type＝＝’01’)

non_reference_flag”

就是在在图像头中添加语法元素non_reference_flag。u(1)表示1比特的无符号整数。pb_picture_header()表示P帧和B帧的图像头。picture_coding_type＝＝’01’说明当前帧类型为P帧。在图像头中添加语法元素non_reference_flag的具***置不限，但如果放靠前的位置可以有防止伪起始码的优点。

(3)对当前帧进行编码：

参考帧缓存ref中的两个参考帧设置为ref[1]、ref[0]，其中较接近当前帧的参考帧设为ref[1]。数组nrp_ref_tr包括两个元素nrp_ref_tr[1]和nrp_ref_tr[0]，将较接近当前帧的参考帧的时域距离设置为nrp_ref_tr[1]，将另一参考帧的时域距离设置为nrp_ref_tr[0]。根据参考帧ref[1]、ref[0]对当前帧进行编码操作，所述编码操作包括运动估计、运动补偿、变换、量化和熵编码；

编码操作结束后，如果当前帧为非参考P帧，则并不对参考帧缓存ref进行更新，也不对数组nrp_ref_tr进行更新；如果当前帧为可参考P帧，则对参考帧缓存ref进行更新，包括使用参考帧ref[1]替代原参考帧ref[0]，将当前帧的重建图像加入到参考帧缓存中，替代原参考帧ref[1]，得到新的参考帧缓存ref；并使用nrp_ref_tr[1]替代原nrp_ref_tr[0]，用当前帧的时域距离tr替代原nrp_ref_tr[1]，得到新的nrp_ref_tr。

解码端

(1)确定当前帧是否为非参考P帧。

通过解码码流获得当前帧的non_reference_flag值，如果non_reference_flag的值为1，则当前帧为非参考P帧，如果non_reference_flag的值为0，则当前帧为可参考P帧。

(2)对当前帧进行解码：

参考帧缓存ref中的两个参考帧设置为ref[1]、ref[0]，其中较接近当前帧的参考帧设为ref[1]。数组nrp_ref_tr包括两个元素nrp_ref_tr[1]和nrp_ref_tr[0]，将较接近当前帧的参考帧的时域距离设置为nrp_ref_tr[1]，将另一参考帧的时域距离设置为nrp_ref_tr[0]。对当前帧进行解码操作，包括熵解码、运动补偿、反量化、反变换。

解码结束后，如果当前帧为非参考P帧，则并不对参考帧缓存ref进行更新，也不对数组nrp_ref_tr进行更新；如果当前帧为可参考P帧，则对参考帧缓存ref进行更新，包括使用参考帧ref[1]替代原参考帧ref[0]，将当前帧的重建图像加入到参考帧缓存中，替代原参考帧ref[1]，得到新的参考帧缓存ref；并使用nrp_ref_tr[1]替代原nrp_ref_tr[0]，用当前帧的时域距离tr替代原nrp_ref_tr[1]，得到新的nrp_ref_tr。编码和解码保持这种一致性，才可保障解码图像的正确。

为了便于理解本发明效果，本发明提供了采用本发明的方法和原有编解码方法，对同一标准序列进行编码测试，得到的编码效率测试效果对比见图3：采用常见的foreman序列(分辨率为176×144)，在码流的最高帧率是30帧每秒情况下测试，结果见图，其中横坐标表示码率，其单位为千比特每秒(kbits/s或kbps)，纵坐标为亮度峰值信噪比，单位是分贝(dB)。可见本发明能够使得AVS视频标准的码流具有时域分级功能，同时编码效率没有明显下降。

Claims (3)

1.一种实现AVS视频标准时域分级的编解码方法，其特征在于：在P帧的图像头添加长度为1比特的语法元素non_reference_flag，设定当non_reference_flag的值为0时，该P帧被允许作为后续帧编解码的参考帧，即为可参考P帧；当non_reference_flag的值为1，该P帧不被允许作为后续帧编解码的参考帧，既为非参考P帧。

2.如权利要求1所述编解码方法，其特征在于：编码时若当前帧为P帧，根据当前帧的时域距离，确定当前帧为可参考P帧或非参考P帧，具体方式如下，

设当前帧的时域距离为tr，在编码过程要求的最高帧率为max，最低帧率为min，则非参考P帧的周期为max/min；

如果tr％(max/min)不为0，则当前帧为非参考P帧，语法元素non_reference_flag的值设为1；如果tr％(max/min)为0，则当前帧为可参考P帧，语法元素non_reference_flag的值设为0；其中％表示取余。

3.如权利要求1或2所述编解码方法，其特征在于：所述编码操作包括根据参考帧所含宏块对当前帧所含宏块的量化操作，如果当前帧为非参考P帧，将当前编码宏块的量化参数设置为大于参考宏块的量化参数。

Images