CN101056409A

CN101056409A - 一种视频图像跳过宏块的解码方法

Info

Publication number: CN101056409A
Application number: CN 200710097499
Authority: CN
Inventors: 高文; 郑俊浩; 马思伟; 季向阳; 张鹏; 吕岩
Original assignee: Institute of Computing Technology of CAS
Current assignee: Institute of Computing Technology of CAS
Priority date: 2003-12-31
Filing date: 2003-12-31
Publication date: 2007-10-17
Anticipated expiration: 2023-12-31
Also published as: CN101056409B

Abstract

本发明提出了一种视频编码中跳过宏块的解码方法，从码流中读取当前图像跳过宏块的编码标志，并根据所述编码标志判断当前图像跳过宏块的编码类型；根据编码类型选择宏块类型解码方式，采用游程解码方式或者跳过宏块数与宏块类型联合的解码方式，解码当前图像当前宏块的宏块类型，并对当前图像的宏块进行宏块自身数据的解码；判断当前宏块是否为当前图像最后一个编码宏块，是则结束，否则继续执行解码。本发明通过适应性地选择视频图像跳过宏块的编码方式及相应解码方式，提高了图像编码的效率，减少了传输及存储的代价，是一种简单、实用的技术方案，本发明在帧解码或场解码中都可有效实施。

Description

一种视频图像跳过宏块的解码方法

技术领域

本发明涉及一种对视频图像解码的方法，尤其是一种当编码图像含有跳过宏块时，对视频图像的跳过宏块进行编码的方法以及相应的解码获得视频图像的方法，属于视频编码领域。

背景技术

数字电视、新一代移动通信、宽带网络通信、家庭消费电子这些高技术产业群的共性技术集中在以视音频为主要内容的多媒体信息处理技术，特别是数据压缩技术上。高效的视频编解码技术是实现高质量、低成本多媒体数据存储与传输的关键。

在现有的视频标准中，(如MPEG系列和H.26x系列)，都存在一种跳过宏块模式(Skipped Macroblock)。所谓跳过宏块是指对此类型宏块编码时不需要编码附加信息(例如运动矢量或残差)，它只在P图像和B图像中存在，即只在帧间编码视频图像中存在，帧内编码视频图像如I帧中并不存在。跳过宏块的运动矢量是通过先前处理的相邻宏块(时间域或空间域)的运动矢量所导出的，并且没有残差数据(量化后残差为0)。由于跳过宏块的处理不同于其他的宏块，所以在视频编码时，需要将它标识出来。

MPEG2标准中采用“宏块地址增量”(macroblock_address_increment)来处理的。如果macroblock_address_increment大于1，则表示中间有若干跳过宏块。

H.263标准中通过专门的一位来标识是否有编码数据，即“编码宏块标识”(coded macroblock indication)，1表示没有数据是跳过宏块，0表示后面有编码的宏块数据。

H.264标准中对跳过宏块采用“游程编码”(run length)来处理，对跳过数目进行编码。这种处理方式与MPEG2的“宏块地址增量”方法思路相同，都是编码跳过的宏块数目。

现有技术中，只采用单一方式编码跳过宏块类型，编码的效率不高。对于某些平滑的序列，当量化参数较大时，跳过宏块很多，此时“宏块标识方式”对每个宏块都需一位来标识是否是跳过宏块，效率较低；而采用“宏块地址增量”方式只需用变长码来编连续的跳过宏块数目。同样，对某些运动较大的序列，当量化参数较小时，跳过宏块较少，连续出现的跳过宏块数目也较小，频繁出现的小数值并不利于变长码来编码，例如数值3变长码编码时可能需要3bit来表示，如果这样的小数值很多，并且没有大的数值(跳过宏块持续出现)，此时定长码可以达到更好的编码效果。同时，对于用来标识非跳过宏块的单一0值，“宏块地址增量”方式与“编码宏块标识”方式的实际编码位数是相同的。此时宏块地址增量方式不能充分发挥变长码的优势，编码效率也大为降低。

在图像编码时选择何种方式编码跳过宏块，以取得最好的编码效率成为视频编码领域进一步提高编码效率的难题之一。

发明内容

本发明所要解决的技术问题在于：提出一种跳过宏块的编码方法，可以根据跳过的宏块的多少来选择不同编码方式编码跳过宏块，并进一步提供相应的跳过宏块的解码方法，使编码效率大为提高。

一种视频图像跳过宏块的解码方法，包括如下步骤：

步骤1、从码流中读取当前图像跳过宏块的编码标志，并根据所述编码标志判断当前图像跳过宏块的编码类型；所述编码标志专门用于表示当前图像编码采用的跳过宏块的编码方式；

步骤2、根据编码类型选择宏块类型解码方式，如果为游程编码，则执行步骤3；如果编码类型为跳过宏块数与宏块类型联合编码，则执行步骤4；

步骤3、采用游程解码方式，解码当前图像当前宏块的宏块类型，执行步骤5；

步骤4、采用跳过宏块数与宏块类型联合的解码方式，解码当前图像当前宏块的宏块类型，并执行步骤5；

步骤5、按照对应的宏块类型，对当前图像的宏块进行宏块自身数据的解码；

步骤6、判断当前宏块是否为当前图像最后一个编码宏块，是则结束，否则重新执行步骤2。

本发明通过两次编码或通过经验阈值来选择视频图像跳过宏块的编码方式以及相应的解码方式，提高了图像编码的效率，减少了传输及存储的代价，解决了以往视频图像跳过宏块编码时，效率低下的问题，并且可用性强，在帧编解码和场编解码时都可有效使用，是一种简单、实用的技术方案。

附图说明

图1是本发明嵌入跳过宏块编码的通用编码流程示意图；

图2是本发明嵌入跳过宏块解码的通用解码流程示意图；

图3是一个包括跳过宏块的图像宏块实例的示意图；

图4是本发明采用两次编码选择编码方式的流程图；

图5是本发明基于统计信息选择编码方式的流程图。

具体实施方式

视频图像由多个宏块组成，所以，对视频图像进行编码，首先要编码宏块的类型，然后再编码宏块本身；编码完所有的宏块就完成了图像的编码。

本发明涉及对帧间编码视频图像宏块类型的编码，跳过宏块可以看作是一种特殊的宏块类型，而对于宏块本身如运动矢量、残差等数据的编码，则可以采用任何一种宏块编码方式。

本发明根据码率和图像质量需求以及视频序列特征，跳过宏块较多的编码图像采用游程编码，跳过宏块较少的编码图像采用跳过宏块个数与宏块类型联合的编码方式，因而能够更好地适应不同应用需求，在不同情况下都能选用最有效地跳过宏块编码方式，提高编码的效率。

如图1所示，本发明所述技术方案的编码过程，包括如下步骤：

步骤一、图像头中增加一位来标识当前图像跳过宏块的编码方式；

步骤二、根据跳过宏块的多少，选择对当前图像中宏块类型的编码方式，如果为游程编码，则执行步骤三；如果为跳过宏块数与宏块类型联合编码，则执行步骤四；

步骤三、将图像头的标识位，设定为1，并采用游程编码方式编码图像的宏块类型；执行步骤五；

步骤四、将图像头的标识位，设定为0，并采用跳过宏块数与宏块类型联合的编码方式编码图像的宏块类型；执行步骤五；

步骤五、编码当前图像，写入码流。

本发明由于对视频图像的跳过宏块采用了不同的编码方式，因此，需要首先改变标记的方式，为了减少标记，单帧的所有跳过宏块采用相同的方式进行编码。图像头中包括了许多图像的信息，通过在图像头中增加一位(0或1)可以标识当前图像跳过宏块的编码方式，比如预先设定该位为1表示游程编码，为0表示跳过宏块数与宏块类型联合编码。

下面为其一个具体实例：

pb_picture_header()//图像头

{

.....................

skip_code_flag //其值表明了跳过宏块的编码方式

.....................

next_start_code() //找到码流的下一图像头

}

pb_picture_header()中图像头的增加一位数据，用于标识当前图像跳过宏块的编码方式，具体实现如下：skip_code_flag长度为1个比特，为1表示编码方式为游程编码，为0编码方式为跳过宏块数与宏块类型联合编码。

编码完宏块类型之后，就涉及到宏块自身数据的编码，即编码运动矢量和残差等数据，然后将数据写入码流中，完成当前宏块的编码；依次对当前图像的所有宏块进行编码，完成当前图像的编码；采用上述方式编码所有的帧间编码视频图像。

如图2所示，解码端，首先从码流的图像头pb_picture_header中读入跳过宏块编码标志skip_code_flag，判断skip_code_flag的值，如果为1，则为游程编码，如果为0，则为联合编码；采用对应的方式，完成对宏块的解码。

根据以上的描述，本发明的步骤二对当前图像中宏块类型编码方式的选择可以采用两种方法，一种是采用两次编码比较编码性能，择优而定；另一种是通过统计方式来估算待编码图像的跳过宏块的多少，以此来决定采用哪种编码方式。

图3所示是一个包含跳过宏块的帧间编/解码视频图像的一部分，作为详细说明本发明技术方案的例子。

如图4所示是单帧图像的跳过宏块编码方式通过两次编码过程来选择最优的方案，步骤如下：

步骤200、对当前编码图像的所有宏块采用游程编码方式，处理完毕后获得对应的编码性能参数；

步骤201、对当前编码图像进行二次编码，其所有宏块采用跳过宏块数与宏块类型联合的编码方式，处理完毕后获得对应的编码性能参数；

步骤202、综合比较两次编码所获得的性能参数，选取当前图像最优的跳过宏块编码方式。

进行比较的性能参数包括编码率和信噪比，所述的编码率指编码的效率，即压缩的比例，所述的信噪比指压缩后的失真情况。选择哪个参数作为判断的依据要根据编码的要求来决定，如果对图像的压缩率要求高而对图像的失真情况要求不高，可以选择同一信噪比编码率高的编码方式；如果对图像的失真情况要求高，而对压缩率没有太高的要求，则选择同一压缩率失真小的编码方式。因为跳过宏块的编码对编码图像的质量影响较小，即对信噪比影响小，此时编码方式主要是影响编码的码率。

下面分别对两种编码方式进行介绍：

游程编码方式是对于连续的跳过宏块，用变长码(Variable-lengthcoding，VLC)编码跳过的数目；而连续的非跳过宏块之间必须加编一位“0”值来标识，表示没有跳过宏块。这样，码流中的每个非跳过宏块都按表1所示结构编码。在每个宏块头先编码跳过宏块记数值(skipped macroblockcounter)，然后编码下一个非跳过宏块的宏块类型mb_type(macroblocktype)。此种方式对宏块类型的原有编码没有影响。跳过宏块个数则采用变长码(例如Exp-Golomb)编码方式。

表1、跳过宏块游程编码方式

skipped macroblock counter

mb_type

例如，如图3所示是待编码图像的宏块类型，每个小格表示一个宏块，颜色较深的是跳过宏块。采用游程编码处理方式：(mb_x表示第x个宏块的编码数据)，结果为：(0，mb₀)(1，mb₂)(0，mb₃)(4，mb₈)(0，mb₉)(0，mb₁₀)(0，mb₁₁)(1，mb₁₃)(0，mb₁₄)(2，mb₁₇)

跳过宏块数与宏块类型联合编码方式对P图像按如下方法处理：如果是P图像，则在宏块类型中增加一种跳过类型(skip mode)，根据其平均出现概率决定其在宏块类型表中的位置，整个宏块类型表要随之调整。跳过宏块类型出现的概率根据图像的不同而有所不同，可以通过对某一类型的图像预先进行统计，来判断可能出现的概率，从而决定跳过宏块类型在宏块类型表中的位置。一般对于B图像和P图像，跳过宏块类型出现的概率较高，可以设定其mb_type为0。

例如，表2所示为原有的P图像宏块类型表(以AVS 1.0视频标准为例)：

表2、P图像中宏块类型：

mb_type	name of mb_type	num_mb_part	mb_part_pred_mode
mb_type	name of mb_type	num_mb_part	mb_part_pred_mode	0	P_L0_16x16	1	Pred_L0
1	P_L0_L0_16x8	2	Pred_L0	0	P_L0_16x16	1	Pred_L0
1	P_L0_L0_16x8	2	Pred_L0	2	P_L0_L0_8x16	2	Pred_L0
3	P_8x8	4	na	2	P_L0_L0_8x16	2	Pred_L0
3	P_8x8	4	na	4	P_8x8ref0	4	na
5	I_8x8	Intra_8x8	na	4	P_8x8ref0	4	na

表3所示为增加P_Skip模式的P图像宏块类型表。P_Skip模式***到表的第一项，原有其他项依次后推。宏块类型采用Exp_Golomb编码方式。

表3、加入P_Skip模式P图像中宏块类型

mb_type	name of mb_type	num_mb_part	mb_part_pred_mode
mb_type	name of mb_type	num_mb_part	mb_part_pred_mode	0	P_Skip_16x16	1	na
1	P_L0_16x16	1	Pred_L0	0	P_Skip_16x16	1	na
1	P_L0_16x16	1	Pred_L0	2	P_L0_L0_16x8	2	Pred_L0
3	P_L0_L0_8x16	2	Pred_L0	2	P_L0_L0_16x8	2	Pred_L0
3	P_L0_L0_8x16	2	Pred_L0	4	P_8x8	4	na
5	P_8x8ref0	4	na	4	P_8x8	4	na
5	P_8x8ref0	4	na	6	I_8x8	Intra_8x8	na

对于连续的跳过宏块，根据其跳过记数值使用跳过类型来逐个编码逐一标识。对于非跳过宏块，使用其对应的宏块类型编码即可标识。这样通过宏块类型就能清楚区分跳过宏块和非跳过宏块。

采用联合编码方式对图3所示的图像进行编码，结果为：(mb_x表示第x个宏块编码数据单元，TYPE-mb_x表示第x个宏块的类型)(TYPE-mb₀，mb₀)(0)(TYPE-mb₂，mb₂)(TYPE-mb₃，mb₃)(0)(0)(0)(0)(TYPE-mb₈，mb₈)(TYPE-mb₉，mb₉)(TYPE-mb₁₀，mb₁₀)(TYPE-mb₁₁，mb₁₁)(0)(TYPE-mb₁₃，mb₁₃)(TYPE-mb₁₄，mb₁₄)(0)(0)(TYPE-mb₁₇，mb₁₇)。

跳过宏块数与宏块类型联合编码方式对B图像处理可以采用两种方式：一是采用与P图像相同的处理方式，加入到原有的宏块类型表中，这里不再赘述；二是对原有的B图像直接(Direct)模式(B_Direct16x16mode)编码进行调整来达到同样效果。

考虑到B图像宏块类型较多，改动原有的宏块类型表对非跳过宏块编码影响较大。这里将Direct和Skipped两者宏块类型都用原有的B图像Direct模式标识，而通过编码CBP来进一步区分它们。Direct模式不需要编码运动矢量信息，其运动矢量是导出的，这一点与Skip模式相同，但它可以有残差数据。Skip模式可以看做Direct模式的特殊情况，即残差数据全为0的Direct模式。块编码模板值(Coded Block Pattern，简称CBP)标识哪个8×8块有残差数据，如果当前宏块残差数据全部为0，其CBP也就为0。

每个跳过宏块其编码方式是Direct模式编码值紧接CBP为0的编码值(因为跳过宏块本来就没有残差数据，CBP应该为0)，而Direct宏块其编码方式是Direct模式编码值紧接CBP非0的编码值，其他非跳过宏块按其对应的宏块类型编码即可。这样就能在CBP的协助下区分Direct和Skip两种编码模式，同时不修改原有的宏块类型表，因此对其他宏块编码模式没有影响。具体的编码如表4所示：

表4 Direct+CBP方式

Direct模式编码值

CBP的编码值

解码处理时，通过读入的宏块类型，如果是Direct模式，需读入其后的CBP数值。若CBP为0则当前宏块为跳过宏块，其后的数据为下一宏块；如果不为0，则当前宏块为真正的Direct宏块，其后的数据是当前块的残差数据。

因为两次编码来选择最佳的跳过宏块编码方式速度较慢，也可以采用一种自适应的模式快速选择编码方式。

如图5所示，每次编码都统计当前帧跳过宏块的比例Rskip。在编码下一帧之前，参考前一帧的统计信息，根据视频序列的内容相关性，可以预测下一帧的跳过宏块比例。如果大于经验阈值Threshold，下一帧跳过宏块数目也会较多，此时采用游程编码方式；如果小于经验阈值Threshold，跳过宏块数较少，采用跳过宏块数与宏块类型的联合编码方式。

阈值的选择与量化参数(QP)有关，不同的QP值采用不同的阈值。量化参数(QP)能够大致控制编码图像的质量，量化参数越大，则图像质量变差，码率降低，压缩率提高，此时跳过宏块出现的比例增大。

由于不同的图像包含的宏块数量不同(如高清图像宏块数量多)，阈值的变化很大，一般在35-55％之间；为了获得最佳的编码效率，也可以采用通过统计的方式，对比两种编码方式的效果，本发明的阈值根据统计的结果获得。由于大多数情况下，对于编码可用的资源较多，针对实际的应用需求预先挑选几个有代表性的码流，按照前面所述的两次编码的方法，统计此种应用需求下典型码流跳过宏块的分布特征，从而获得适合当前应用的最佳经验阈值。亦可以通过软件在编码开始时先按两次编码的方式编码多帧帧间编码图像，同时统计对应的跳过宏块分布特征，从而获得当前序列的经验阈值，此后序列的编码全部按照快速模式选择的方式进行。

例如：采用自适应快速算法时，当QP为37，对于高清序列(1280×720)，每个图像有3600个宏块，如果前一帧图像跳过的宏块总数大于1440个，当前帧的跳过宏块编码则采用游程编码方式；反之，采用联合编码方式。对于CIF序列(352×288)，每个图像有396个宏块，如果前一帧跳过宏块数大于198个，采用游程编码方式，反之采用联合编码方式。

采用基于统计的自适应编码方法没有增加空间复杂度，时间复杂度方面所新增计算量也非常小，并且由于图像的时域相关性，使得这种估计在大多数的情况下，可以得到很好的编码效果。

通过对本发明技术方案分析可知，该方法对传统的视频编解码流程改动很小，不论是帧编解码还是场编解码都能有效采用，能够很方便地嵌入传统的帧场编解码流程。

最后应说明的是：以上实施例仅用以说明本发明的技术方案而非对其进行限制，尽管参照较佳实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对本发明的技术方案进行修改或者等同替换，而这些修改或者等同替换亦不能使修改后的技术方案脱离本发明技术方案的精神和范围。

Claims

1、一种视频图像跳过宏块的解码方法，包括如下步骤：

2、根据权利要求1所述的视频图像跳过宏块的解码方法，其特征在于所述步骤3具体为：

步骤301、从码流中解析当前宏块的跳过宏块计数值，该值大于或者等于0；

步骤302、判断所述跳过宏块计数值，大于0时，执行步骤303；否则执行步骤304；

步骤303、从当前宏块起，连续解码标识所述跳过宏块计数值个宏块为跳过宏块，并执行步骤5；

步骤304、解码标识当前宏块为非跳过宏块，并执行步骤5。

3、根据权利要求1所述的视频图像的跳过宏块解码方法，其特征在于所述的步骤4具体为：

步骤401、从码流中解析当前宏块的类型值；

步骤402、查找宏块类型表，所述类型值对应跳过宏块的，执行步骤403，否则执行步骤404；

步骤403、解码标识当前宏块为跳过宏块，并执行步骤5；

步骤404、解码标识当前宏块为非跳过宏块，并执行步骤5。

4、根据权利要求1所述的视频图像的跳过宏块解码方法，其特征在于所述的步骤4具体为：

步骤411、解析当前图像是P图像或者B图像，为P图像时，执行步骤412；为B图像时，执行步骤413；

步骤412、查找宏块类型表，所述类型值对应跳过宏块的，解码标识当前宏块为跳过宏块；否则解码标识当前宏块为非跳过宏块，并执行步骤5；

步骤413、查找宏块类型表，所述类型值对应直接模式的，则执行步骤414；否则解码标识当前宏块为非跳过宏块，并执行步骤5；

步骤414、继续解析当前宏块的块编码模板值，如果为0，解码标识当前宏块为跳过宏块；否则解码标识当前宏块为非跳过宏块，并执行步骤5。

5、根据权利要求1-4任一所述的视频图像的跳过宏块解码方法，其特征在于：所述的跳过宏块解码方法既可以适用于帧解码，也可以适用于场解码。