CN102420987A - 基于分层b帧结构的码率控制的自适应比特分配方法 - Google Patents

Abstract

本发明公开了一种基于分层B帧结构的码率控制的自适应比特分配方法，其步骤是：1、基于视频序列所附带的配置文件中对视频序列及GOP的长度要求和目标比特的速率要求，计算出分配给各个GOP的目标比特数；2、基于步骤（1）中得到的各个GOP的目标比特数，计算出分配给分层B帧结构中各个时间层的目标比特数；3、基于步骤（2）中得到的各个时间层的目标比特数，计算出同一时间层中分配给各个图像帧的目标比特数；4、根据编码图像的编码信息，通过迭代计算更新各个时间层的权重值。该方法在不提高视频编码实际消耗比特数的前提下，准确预测了视频序列中各图像帧的编码复杂度，通过迭代计算更新分层B帧结构中各个时间层比特分配权重值，为各帧图像合理地分配目标比特数，从而提高了视频序列的编码效率和各帧图像的解码质量。

Description

基于分层B帧结构的码率控制的自适应比特分配方法

技术领域

本发明涉及视频编码中的码率控制技术领域，特别涉及一种基于分层B帧结构的码率控制的自适应比特分配方法。

背景技术

近年来随着多媒体技术的发展，人们对网络视频的清晰度、流畅度等要求越来越高，然而网络带宽的大小决定了单位时间内传输比特的数量，不同的网络终端对视频质量高低、网络带宽大小的需求不尽相同，正是由于这种需求，SVC（SVC为英文Scalable Video Coding的缩写，其中文译名为可伸缩视频编码）技术成为了解决视频适配的关键技术之一，SVC在保持了H.264高效编码的基础上，采用了由FraunhoferHHI（Heinrich-Hertz-Institute）提出的基于分层B帧的预测编码结构，获得了较高的编码效率，同时也增加了预测的计算复杂度。

码率控制技术主要通过对视频编码器的输出比特进行实时调整，以获得视频质量和带宽利用之间的最佳均衡，码率控制技术包括VBR（VBR为英文Variable Bit Rate的缩写，其中文译名为可变比特控制）和CBR（CBR为英文Constant Bit Rate的缩写，其中文译名为固定比特控制）两种模式，其中， CBR模式是一种闭环处理模式，其输入为视频序列和目标比特率，根据对视频序列的复杂度的估计、解码器缓冲区的占用情况以及信道带宽，将QP（QP为英文quantization parameter的缩写，其中文译名为量化步长）进行动态调整，得到符合要求的码率。本发明的码率控制的自适应比特分配方法是针对码率控制技术中的CBR模式。

分层B帧结构将视频序列按照时间方向分成多个时间层进行编码，包括了一个基本层和多个增强层。在编码时基本层的图像不需要依赖其他图像层而进行独立编码，但是增强层的图像必须依赖于其他图像层的图像。文献1提出了一种当前较为流行的基于分层B帧结构的比特分配方法，该方法根据分层B帧结构中基本层与各个增强层之间依赖关系，为每一个时间层分配了一个固定的进行比特分配的权重值。在进行码率控制的过程中依据各个时间层的权重值大小为其分配目标比特数。这种固定权重值比特分配方法虽然考虑到了基本层与各个增强层之间时间预测上的依赖关系，但是却忽视了视频编码过程中的两大差异：1、有的视频序列帧间运动平滑，有的视频序列帧间运动激烈，不同的视频序列编码复杂度各不相同；2、在同一视频序列内，有的部分帧间运动平滑，有的部分帧间运动激烈，即使在同一个时间层上的各个图像帧之间编码复杂度也不一样。采用固定权重值比特分配方法，对不同的视频序列的各个时间层采用固定的比特分配的权重值大小，对同一时间层内的各个图像帧采用相同的比特分配的权重值大小，完全没有考虑到视频编码中的这两大差异，这将会降低整个视频序列的编码效率，从而降低了最终解码的图像质量。文献1：Y. Liu, Z. Li, Y. C. Soh, “Rate Control of H.264/AVC Scalable Extension”, IEEE Trans. Circuits Syst. Video Technol., Vol.18, No.1, pp. 116-121, Jan. 2008。

发明内容

本发明的目的在于提供一种基于分层B帧结构的码率控制的自适应比特分配方法，在不提高视频编码实际消耗的比特数的条件下，通过准确预测视频序列中各图像帧的编码复杂度，计算分层B帧结构中各个时间层的比特分配的权重值大小，提高视频序列的编码效率和解码后各个图像帧图像的质量。

为达到上述目的，本发明的构思如图1所示，首先，由视频序列所附带的配置文件中对视频序列及GOP（GOP为英文group of pictures的缩写，其中文译名为图像组）的长度要求和目标比特的速率要求，计算出分配给各个GOP的目标比特数；接着，由上述得到的每个GOP分配的目标比特数，根据分层B帧结构计算出分配给各个时间层的目标比特数；然后，由上述得到的各个时间层的目标比特数，根据相同时间层内编码复杂度的不同计算出分配给各个图像帧的目标比特数；最后，根据上一步中分配得到的各个图像帧目标比特数对各个图像帧进行编码，由相同时间层中各个图像帧编码得到的编码信息通过迭代计算更新该时间层的权重值。

本发明可以在不提高视频编码实际消耗的比特率的条件下，通过准确预测视频序列及其各个图像帧的编码复杂度，合理地计算出分配给视频序列中的各个图像帧的目标比特数，有效地提高编码效率和各个图像帧的质量。

在通常的视频序列中，运动程度在不同的GOP之间有大范围的波动，以及在同一GOP中的不同图像帧间，运动也有相当大的波动，无论运动程度如何，因为在分层B帧结构中，基本层图像采用独立编码，所以均需要分配较多的比特数来提高图像的编码质量，但是在运动剧烈的GOP中，由于基本层的图像与增强层的图像相关性小，帧间预测不准确，因此增强层的图像也需要分配较多的目标比特数；另一方面，在运动平滑的GOP中，基本层的图像与增强层的图像相关性大，帧间预测较为准确，因此增强层的图像无需分配较多的目标比特数，只需将大部分目标比特数分配给基本层图像以提高参考帧的质量。为此，分层B帧的基本层与各个增强层的目标比特数的权重值大小需要根据GOP中各图像帧的编码复杂度自适应调节。分层B帧结构由各个图像帧的播放顺序以及GOP的长度来决定各个图像帧所在的时间层，因此在相同时间层上各个图像帧的编码复杂度也存在较大的差异。为此，相同时间层中的各个图像帧在分配目标比特数时不能一味按照所在时间层的权重值大小，还应该根据其编码复杂度进行调节。本发明通过提取当前时间层中各个图像帧对应的参考帧的实际消耗比特数和编码质量PSNR（PSNR为英文Peak Signal to Noise Ratio的缩写，其中文译名为峰值信噪比）等编码信息来分析当前时间层中各个图像帧的编码复杂度。

鉴于此，本发明提出了一种基于已编码图像的编码信息分别自适应调节时间层权重值大小和相同时间层中各个图像帧预测编码复杂度大小的方法，该方法利用了视频序列中各个图像帧在时间方向上的相关性。

参见图2、图3，分层B帧结构的特点是每隔一段特定的时间间隔***一幅关键帧，在两个关键帧之间的图像帧称为非关键帧，一个GOP是由一个关键帧和一组非关键帧构成，其中关键帧采用帧内预测编码或者单向帧间预测编码，构成时间层中的基本层，而非关键帧采用双向帧间预测编码，构成时间层中的增强层，与以往的视频编码不同的是，基于分层B帧结构的视频编码并非按照视频序列中各个图像帧的显示顺序编码，而是按照时间层从底层向最高层编码。因此GOP的长度不同，图像帧所在的时间层就会发生变化，从而导致它的参考帧和编码顺序也不相同，图中的箭头方向是由参考帧指向编码帧，比如显示顺序中的第8帧，在图2中，它是关键帧，采用单向帧间预测编码，位于时间层的第0层，即基本层，只有第0帧一个参考帧；而在图3中，它是非关键帧，采用双向帧间预测编码，位于时间层的第1层，即增强层，包含了第0帧和第16帧两个参考帧。

假设当前GOP的分层B帧结构中各个时间层的权重值大小分别为                                                

，其中

表示基本层，

表示增强层中的最高层，除了基本层外，各个时间层的图像帧总数均为

，根据各个时间层的权重值大小，计算出分配给各个时间层的目标比特数，其计算表达式为：

其中

表示分配给第

层时间层的目标比特数，

表示当前GOP中的目标比特数，

和分别表示第

层和第

层时间层中图像帧的总数，

和分别表示第

层和第

层时间层的权重值大小，

表示分层B帧结构中包括基本层和增强层在内总的时间层数。

按照分层B帧结构，增强层中的每一个图像帧找到两个其对应的参考帧，一个在前，一个在后，其提供的参考预测编码复杂度分别表示为、

，两个参考预测编码复杂度计算表达式分别为：

式中，

和

分别表示前向和后向两个参考帧实际消耗的比特数，

和

分别表示前向和后向两个参考帧的编码质量PSNR。

将图像帧的预测编码复杂度的定义为

，其表达式为：

根据相同时间层内的各个图像帧的预测编码复杂度计算分配给各个图像帧的目标比特数，其分配算法如下式所示：

式中

表示分配给第

层时间层中第

帧图像的目标比特数，

表示分配给第

层时间层的目标比特数

减去已经编码消耗掉的比特数后剩余的比特数，

和

分别表示第

层时间层中第

帧图像和第

帧图像的预测编码复杂度，

表示第层时间层中图像帧的总数。

如此， GOP中的增强层中的每一个图像帧都将得到一个目标比特数，然后依据这个目标比特数按照二项式率失真模型得到QP，最后根据QP编码。

GOP中各个图像帧均编码完成后，根据实际消耗的比特数通过迭代计算更新各个时间层的权重值，其计算式为：

    

其中

表示第层时间层中的第帧图像编码实际消耗的比特数，

表示第

层时间层中图像帧的总数。

若当前要编码的GOP为视频序列的第一个GOP，则根据文献一中的介绍，各个时间层的权重值大小取经验值如下：

根据上述发明构思，本发明采用下述技术方案：

一种基于分层B帧结构的码率控制的自适应比特分配方法，其特征在于，基于图像帧运动特性的自适应比特分配，通过相邻GOP和邻近图像帧之间的时间相关性，提取邻近图像帧的实际消耗比特数和编码质量PSNR等编码信息，预测图像帧的编码复杂度；由上述计算得到的预测编码复杂度，自适应地调节GOP中各个时间层的权重值大小并为相同时间层内各个图像帧分配目标比特数，这样可以在不提高编码实际消耗比特率的情况下，明显提高编码效率和图像质量；其具体步骤是：

（1）、GOP的码率控制：由视频序列所附带的配置文件中对视频序列及GOP的长度要求和目标比特的速率要求，计算出分配给各个GOP的目标比特数；

（2）、时间层的码率控制：由上述得到的每个GOP分配的目标比特数，根据分层B帧结构计算出分配给各个时间层的目标比特数；

（3）、图像帧的码率控制：由上述得到的各个时间层的目标比特数，根据相同时间层内编码复杂度的不同计算出分配给各个图像帧的目标比特数；

（4）、权重值更新：根据上一步中分配得到的各个图像帧目标比特数对各个图像帧进行编码，由相同时间层中各个图像帧编码得到的编码信息通过迭代计算更新该时间层的权重值。

上述步骤（1）GOP的码率控制，由视频序列所附带的配置文件中对视频序列及GOP的长度要求和目标比特的速率要求，计算出分配给各个GOP的目标比特数，其步骤如下：

(1-1)、根据GOP的长度，确定分层B帧结构，GOP的长度不同将会导致分层B帧结构的不同；

(1-2)、基于步骤(1-1)中GOP的长度与视频序列的长度，确定视频序列中GOP的个数；

。

上述步骤（2）时间层的码率控制，是根据分层B帧结构确定GOP中的各个图像帧所处的时间层，然后根据时间层的权重值大小，计算出分配给各个时间层的目标比特数，其步骤是：

(2-1)、根据上一个GOP中各个图像帧的编码信息获取当前GOP中各个时间层的权重值大小

，其中

表示基本层，表示增强层中的最高层，若当前GOP是视频序列的第一个GOP，则按照式（7）设置各个时间层的权重值大小；

。

上述步骤（3）图像帧的码率控制，首先通过提取参考帧图像的编码信息得到相同时间层内各个图像帧的预测编码复杂度，接着再根据步骤（2）中分配给各个时间层的目标比特数，计算出分配给相同时间层内的各个图像帧的目标比特数，其步骤是：

(3-1)、由分层B帧结构找到各个图像帧所对应的两个参考帧，并提取参考帧的实际消耗比特数和编码质量PSNR等编码信息，根据下式分别计算两个参考帧所提供的参考预测编码复杂度：

和

和

分别表示前向和后向两个参考帧实际消耗的比特数，

和

分别表示前向和后向两个参考帧的编码质量PSNR；

(3-2)、根据下式计算图像帧的预测编码复杂度：

(3-3)、由步骤（2）计算得到的分配给时间层的目标比特数和步骤(3-2)得到的相同时间层内各个图像帧的预测编码复杂度，计算分配给各个图像帧的目标比特数

，计算表达式为：

，

其中表示分配给第

层时间层的目标比特数减去已经编码消耗掉的比特数后剩余的比特数，

和

分别表示第层时间层中第

帧图像和第

帧图像的预测编码复杂度，

表示第层时间层中图像帧的总数。

上述步骤（4）权重值更新：首先按照步骤（3）中得到的各个图像帧的目标比特数，对各个图像帧进行编码，接着根据各个图像帧的编码信息计算时间层的权重值，其步骤如下：

(4-1)、由步骤（3）中分配给各个图像帧的目标比特数，根据二项式率失真模型

计算出各个图像帧编码的QP值，其中

（Mean Absolute Difference的缩写）为平均绝对误差；

和

是两个递归模型参数，

表示编码打包的头文件信息比特数；

(4-2)、根据步骤(4-1)中计算得到的QP值对图像帧进行编码，并得到每个图像帧实际消耗的比特数；

(4-3)、由步骤(4-2)中各个图像帧实际消耗的比特数，根据每个图像帧所处的时间层的不同，计算各个时间层的权重值

，其计算式为：

其中

表示第

层时间层中第

帧的实际消耗比特数；

表示第层时间层中图像帧的总数。

本发明的基于分层B帧结构的码率控制的自适应比特分配方法与现有技术相比较，具有如下显而易见的突出实质性特点和显著优点：该方法基于图像帧运动特性的自适应比特数分配，通过相邻GOP和邻近图像帧之间的时间相关性，提取邻近图像帧的实际消耗比特数和编码质量PSNR等编码信息，预测图像帧的编码复杂度；该方法由上述确定的预测编码复杂度，进行自适应的目标比特数分配，能够在不提高编码实际消耗比特率的情况下，明显提高编码效率和图像质量。

附图说明

图1是本发明基于分层B帧结构的码率控制的自适应比特分配方法的框图；

图2是本发明实施例中使用的GOP长度为8的分层B帧结构框架图； 

图3是GOP长度为16的分层B帧结构框架图；

图4是本发明与固定时间层权重值的比特分配方法之间的“Akiyo”序列的实验结果比较图；

图5是本发明与固定时间层权重值的比特分配方法之间的“Foreman”序列的实验结果比较图；

图6是本发明与固定时间层权重值的比特分配方法之间的“News”序列的实验结果比较图；

图7是本发明与固定时间层权重值的比特分配方法之间的“Mobile”序列的实验结果比较图；

上述图4至图7中，横轴表示视频序列配置文件中的目标比特的速率（bit rate），单位为千比特每秒（kbit/s），纵轴表示解码图像质量（PSNR）；图中的带圆点线表示本发明的实验结果，带方框点线表示文献一中方法的实验结果。

图8是本发明与固定时间层权重值的比特分配方法的实验结果比较表。

具体实施方式

以下结合说明书附图对本发明的实施例作进一步详细说明。

本发明的一个实施例如下所述：参见图1，基于分层B帧结构的码率控制的自适应比特分配方法是根据已编码图像的编码信息，自适应调节时间层权重值大小和相同时间层中各图像帧预测编码复杂度大小，为视频序列中的各个图像帧合理分配目标比特数，提高编码效率和解码图像质量，其具体步骤如下：

（1）      GOP的码率控制：基于视频序列所附带的配置文件中对视频序列及GOP的长度要求和目标比特的速率要求，计算出分配给各个GOP的目标比特数；

（2）      时间层的码率控制：基于步骤（1）中得到的给各个GOP分配的目标比特数，计算分层B帧结构中分配给各个时间层的目标比特数；

（3）      图像帧的码率控制：基于步骤（2）中得到的给各个时间层分配的目标比特数，计算出分配给同一时间层中的各个图像帧的目标比特数；

（4）      权重值更新：按照步骤（3）中得到的给各个图像帧分配的目标比特数进行编码，再根据编码图像的编码信息，通过迭代计算更新各个时间层的权重值。

上述步骤(1)所述的GOP的码率控制，其步骤如下：

(1-1)、根据GOP的长度，确定分层B帧结构；

(1-2)、基于步骤(1-1)中GOP的长度与视频序列的长度，确定视频序列中GOP的个数；

(1-3)、基于步骤(1-2)中GOP的个数，确定分配给每个GOP的目标比特数。

上述步骤(2)所述的时间层的码率控制，其步骤如下：

(2-1)、根据上一个GOP中各个图像帧的编码信息获取当前GOP中各个时间层的权重值大小

，若当前GOP是视频序列的第一个GOP，则按照式（7）设置各个时间层的权重值大小；

(2-2)、由步骤（1）所得的分配给每个GOP的目标比特数和步骤(2-1)中各个时间层的权重值大小

，按照式（1）计算出分配给GOP中的各个时间层的目标比特数。

上述步骤(3)所述的图像帧的码率控制，其步骤如下：

(3-1)、由分层B帧结构找到各个图像帧所对应的两个参考帧，并提取参考帧的实际消耗比特数和编码质量PSNR等编码信息，根据式（2）和式（3）分别计算两个参考帧的参考预测编码复杂度；

(3-2)、根据式（4）计算图像帧的预测编码复杂度；

(3-3)、由步骤（2）计算得到的时间层的目标比特数和步骤(3-2)得到的相同时间层内各个图像帧的预测编码复杂度，按照式（5）计算分配给每一个图像帧的目标比特数。

上述步骤(4)所述的权重值更新，其步骤如下：

(4-1)、由步骤（3）中所分配的目标比特数，根据二项式率失真模型

计算出每个图像帧编码的QP值；

(4-2)、根据步骤(4-1)中计算得到的QP值对图像帧进行编码，并得到每个图像帧实际消耗的比特数；

(4-3)、由步骤(4-2)中各个图像帧实际消耗的比特数，按照式（6）计算并更新各个时间层的权重值。

下面将本发明与文献一中的基于分层B帧结构的码率控制技术的固定权重值比特分配方法进行比较，比较给出的测试视频序列有176×144的QCIF和352×288的CIF两种尺寸。为了体现本发明所具有的鲁棒性，在选取输入序列时既采用了“Akiyo”和“News”这类运动缓和平滑的视频序列也采用了“Foreman”和“Mobile”这类运动相对剧烈的视频序列。另外，为了体现码率控制的准确性，实验中每一个视频序列都设置了三到五个目标比特值，以证明在不同的目标比特率要求下，本发明具有良好的广泛适用性详见图8所示的本发明与固定时间层权重值的比特分配方法的实验结果比较表。

实验结果比较表1详细地比较了本发明与文献一中的方法，表中的

表示实际消耗的比特数和目标比特数之间的误差百分比。从图8的数据中可以看出本发明的比特分配方法所消耗的实际比特数紧密围绕目标比特数，与文献一的方法相比控制的准确率基本一致，然而在PSNR上却有着明显的增加，平均提升0.1-0.4dB，图4、图5、图6、图7分别列出了这四个视频序列在不同的目标比特率下PSNR的比较，可以看到在相同的目标比特数下，本方法的解码图像质量曲线一直保持在文献一中的方法的解码图像质量曲线之上。由此可见，本方法有效地提高了测试序列的编码效率和图像质量。

Claims (5)

1.一种基于分层B帧结构的码率控制的自适应比特分配方法，其特征在于，该方法具体步骤是： 

（1）、GOP的码率控制：由视频序列所附带的配置文件中对视频序列及GOP的长度要求和目标比特的速率要求，计算出分配给各个GOP的目标比特数；

（2）、时间层的码率控制：由上述得到的每个GOP分配的目标比特数，根据分层B帧结构计算出分配给各个时间层的目标比特数；

（3）、图像帧的码率控制：由上述得到的各个时间层的目标比特数，根据相同时间层内编码复杂度的不同计算出分配给各个图像帧的目标比特数；

（4）、权重值更新：根据上一步中分配得到的各个图像帧目标比特数对各个图像帧进行编码，由相同时间层中各个图像帧编码得到的编码信息通过迭代计算更新该时间层的权重值。

2.根据权利要求1所述基于分层B帧结构的码率控制的自适应比特分配方法，其特征在于，上述步骤（1）所述的GOP的码率控制，由视频序列所附带的配置文件中对视频序列及GOP的长度要求和目标比特的速率要求，计算出分配给各个GOP的目标比特数，其步骤如下：

(1-1)、根据GOP的长度，确定分层B帧结构，GOP的长度不同将会导致分层B帧结构的不同；

(1-2)、基于步骤(1-1)中GOP的长度与视频序列的长度，确定视频序列中GOP的个数；

。

3.根据权利要求2所述基于分层B帧结构的码率控制的自适应比特分配方法，其特征在于，上述步骤（2）所述的时间层的码率控制，是根据分层B帧结构确定GOP中的各个图像帧所处的时间层，然后根据时间层的权重值大小，计算出分配给各个时间层的目标比特数，其步骤是：

(2-1)、根据上一个GOP中各个图像帧的编码信息获取当前GOP中各个时间层的权重值大小

，其中

表示基本层，表示增强层中的最高层，若当前GOP是视频序列的第一个GOP，则按照式（7）设置各个时间层的权重值大小；

。

4.根据权利要求3所述基于分层B帧结构的码率控制的自适应比特分配方法，其特征在于，上述步骤（3）所述的图像帧的码率控制，首先通过提取参考帧图像的编码信息得到相同时间层内各个图像帧的预测编码复杂度，接着再根据步骤（2）中分配给各个时间层的目标比特数，计算出分配给相同时间层内的各个图像帧的目标比特数，其步骤是：

(3-1)、由分层B帧结构找到各个图像帧所对应的两个参考帧，并提取参考帧的实际消耗比特数和编码质量PSNR等编码信息，根据下式分别计算两个参考帧所提供的参考预测编码复杂度：

和

和

分别表示前向和后向两个参考帧实际消耗的比特数，和

分别表示前向和后向两个参考帧的编码质量PSNR；

(3-2)、根据下式计算图像帧的预测编码复杂度：

(3-3)、由步骤（2）计算得到的分配给时间层的目标比特数和步骤(3-2)得到的相同时间层内各个图像帧的预测编码复杂度，计算分配给各个图像帧的目标比特数

，计算表达式为：

，

其中表示分配给第层时间层的目标比特数

减去已经编码消耗掉的比特数后剩余的比特数，

和分别表示第层时间层中第

帧图像和第帧图像的预测编码复杂度，

表示第层时间层中图像帧的总数。

5.根据权利要求4所述基于分层B帧结构的码率控制的自适应比特分配方法，其特征在于，上述步骤（4）所述的权重值更新：首先按照步骤（3）中得到的各个图像帧的目标比特数，对各个图像帧进行编码，接着根据各个图像帧的编码信息计算时间层的权重值，其步骤如下：

(4-1)、由步骤（3）中分配给各个图像帧的目标比特数，根据二项式率失真模型

计算出各个图像帧编码的QP值，其中

（Mean Absolute Difference的缩写）为平均绝对误差；

和

是两个递归模型参数，表示编码打包的头文件信息比特数；

(4-2)、根据步骤(4-1)中计算得到的QP值对图像帧进行编码，并得到每个图像帧实际消耗的比特数；

(4-3)、由步骤(4-2)中各个图像帧实际消耗的比特数，根据每个图像帧所处的时间层的不同，计算各个时间层的权重值

，其计算式为：

 

其中表示第层时间层中第

帧的实际消耗比特数；

表示第层时间层中图像帧的总数。

Images