CN104380734B - 编码以及解码视频数据的方法和装置 - Google Patents

Abstract

本发明揭示用于包含帧内变换跳过模式的视频编码方法和装置。当对于变换单元该变换跳过模式为开启时，根据本发明的实施例对该变换单元应用不同编码过程。变换跳过模式为开启的编码过程使用与变换跳过模式为关闭的编码过程不同的扫描模式。根据本发明的实施例，当变换单元大小为4x4时，预测单元和变换单元具有相同大小，或者预测单元使用帧内4x4模式时，变换跳过模式被使能。当变换跳过模式被使能时，旗标可以被指示在比特流中，以指示出变换跳过模式选择。进一步说，该旗标可以整合到该视频比特流的图片级别、片级别或者序列级别。

Description

编码以及解码视频数据的方法和装置

相关申请的交叉引用

本申请要求2012年6月7日递交的，申请号为PCT/CN2012/076581标题为“改进帧内变换跳过(Improved Intra Transform Skip)”PCT专利申请的优先权，上述申请的标的在此合并作为参考。

技术领域

本发明有关于视频编码***。特别地，本发明有关于的整合(incorporating)变换跳过(transform Skip)模式的视频编码***以用于帧内预测(Intra-predicted)变换单元(transform unit)的方法和装置。

背景技术

运动估计(Motion estimation，ME)为有效的帧间(Inter-frame)编码技术以利用视频序列之间的时间冗余(temporal redundancy)。运动补偿(Motion-compensated，MC)帧间编码已经广泛用于各种国际视频编码标准中。各种编码标准中采用的运动估计通常为基于区块的技术，其中，运动信息，例如编码模式以及运动矢量被决定用于每一宏块或者相似区块配置。此外，帧内编码也自适应地采用，其中，图片(picture)不参考任何其他图片而被处理。帧间预测(inter-predicted)或者帧内预测(intra-predicted)残差(residues)通常进一步透过变换(transformation)、量化(quantization)以及熵编码(entropy coding)而被处理以产生被压缩视频比特流。在编码过程中，引入了编码伪像(artifact)，尤其在量化过程(process)中。为了减轻编码效应，额外处理已经被用于重建视频，以增强更新编码***中图片质量。额外处理通常配置为环路(in-loop)操作，所以编码器和解码器可以得到相同参考图片，以获得改进的***效能。

图1A为用于使用自适应帧间/帧内预测的视频编码器的示例***区块示意图。对于帧间预测，ME/MC 112用于基于来自其他一个图片或者多个图片的视频数据而提供预测数据。切换(switch)114选择帧内预测110或者帧间预测数据以及已选择预测数据提供给加法器(adder)116以形成预测误差(prediction error)，也称作残差(residue)。预测误差然后被变换(Transformation，T)118然后量化(Quantization，Q)120所处理。已变化以及已量化残差然后被熵编码器122所编码以形成对应压缩视频数据的视频比特流。与变换系数相关的比特流然后使用side信息，例如运动、模式以及与图像区域(image area)相关的其他信息而打包(packed)。边信息(side information)也可以进行(subject to)熵编码以减少所需带宽。相应地，与边信息相关的数据被提供给熵编码器122，如图1A所示。当使用帧间预测模式时，一个参考图片或者多个参考图片必须也在编码器一侧重建。因此，已变换以及已量化残差被反量化(Inverse Quantization，IQ)124以及反变换(InverseTransformation，IT)126所处理，以恢复残差。然后残差在重建(Reconstruction，REC)128被添加回到预测数据136，以重建视频数据。已重建视频数据可以存储在参考图片缓冲器134，以及用于其他帧的预测。

如图1A所示，传入(incoming)视频数据在编码***中进行一系列处理。来自REC128的已重建视频数据由于一系列处理可能受到损坏。相应地，在已重建视频数据存储在参考图片缓冲器134之前，各种环路处理被用于已重建视频数据，以提高视频质量。在开发中的高效视频编码(High Efficiency Video Coding，HEVC)标准中，去块效应滤波器(Deblocking Filter，DF)130已经被开发用于提高图片质量。环路滤波器信息可能必须整合到比特流中，这样，解码器可以适当恢复所需信息。

用于图1A中编码器的对应解码器如图1B所示。视频流被视频解码器142所解码，以恢复已变换以及已量化残差以及其他***信息。在解码器一侧，只有运动补偿(MC)113被实施，而不是ME/MC。解码过程与编码器一侧的重建环相似。已恢复(recovered)已变换以及已量化残差以及其他***信息用于重建视频数据。已重建视频数据进一步由DF 130所处理，以产生最终已增强已解码视频。

在HEVC标准中，引入了三个区块概念，即，编码单元(Coding Unit，CU)、预测单元(Prediction Unit，PU)以及变换单元(Transform Unit，TU)。整体编码架构以各种CU、PU以及TU大小为特点。每一图片分为多个最大CU(largest CU，LCU)或者编码树区块(CodingTree Blocks(CTB)。然后每一LCU被递归地(recursively)分为多个更小CU，直到达到叶子CU(leaf CU)或者最小CU。在CU阶层(hierarchical)树完成之后，帧间或者帧内预测根据分割类型作用于预测单元。每一PU可以分为一个或者多个更小的区块(即，PU)，例如2Nx2N、2NxN、Nx2N以及NxN。用于PU的非对称(Asymmetric)分割也被允许。每一个PU在应用帧间或者帧内预测之后形成残差。进一步，残差被分割为多个TU，二维变换作用于残差数据以将空间数据转换为变换系数用于集中数据表达。

如图1A-图1B所示的自适应帧间/帧内预测已经广泛用于各种编码标准中。如上所述，从自适应帧间/帧内预测得到的残差进一步被二维变换所处理，以利用残差中的剩余冗余。然而，对于一些残差数据，二维变换可能不会帮助提高压缩效率。帧内变换跳过方案被Lan等揭示，用于4x4变换单元(“帧内变换跳过(Intra transform skip)”，ITU-T SG 16WP3视频编码的联合协作组(Joint Collaborative Team on Video Coding，JCT-VC)，以及ISO/IEC JTC 1/SC 29/WG 11，第九次(9^th)会议：日内瓦，CH，2012年4月27日–5月7日，文档：JCTVC-I0408)。Lan等提出的用于4x4帧内TU的变换跳过模式使用相同帧内预测以形成帧内预测残差。当变换跳过模式被选择用于一个区块(即，4x4TU)时，在编码器端，该区块的二维变换被跳过(即，旁路(bypass))。相应地，对于该区块的反变换也被跳过。进一步，相同反量化过程被使用，好像该区块被反变换。为了使用相同的反量化过程，对于4x4TU，反变换跳过区块被向下缩放，缩放因子为32。对于每一4x4帧内TU的旗标(flag)被发送以指示是否变换被旁路或者没有。两个上下文(context)被增加以编码用于Y、U以及V TU的旗标。序列参数设定(Sequence Parameter Set，SPS)中的另一个旗标被用于指示是否变换跳过被使能或者没有。

Lan中的变换跳过模式证明对于传统的不支持变换跳过的编码***上的效能改进，期望进一步透过考虑帧内预测残差的特性而进一步提高效能。

发明内容

本发明揭示用于包含帧内变换跳过模式的视频编码的方法以及装置。当变换跳过模式对于变换单元为开启(ON)时，不同于使用变换跳过模式为关闭(OFF)的变换单元上实施的编码过程，根据本发明的实施例应用不同编码过程(coding process)在该变换单元上。变换跳过模式为开启的编码过程使用与变换跳过模式为关闭的编码处理的不同的扫描模式(scan pattern)。在一个实施例中，变换跳过模式被使能用于4x4的TU大小。另一个实施例中，变换跳过模式被使能用于具有相同大小的PU以及TU。在再一个实施例中，变换跳过模式被使能用于使用帧内NxN(INTRA_NxN)模式的PU。当变换跳过模式被使能，一个旗标可以在比特流中发送，以指示是否变换跳过模式为开启还是关闭。进一步说明，该旗标可以整合在视频比特流的图片级别(picture level)、片级别(slice level)或者序列级别(sequence level)。

附图说明

图1A为示例自适应帧间/帧内视频编码器***示意图。

图1B为示例自适应帧间/帧内视频解码器***的示意图。

图2为根据HEVC标准，用于4x4变换单元的扫描模式的示意图。

图3为根据本发明的一个实施例，当变换跳过模式被开启，用于4x4变换单元的扫描模式。

图4为根据本发明的一个实施例，整合变换跳过模式的示例视频编码***的流程图。

图5为根据本发明的一个实施例，整合变换跳过模式的示例视频解码***的流程图。

具体实施方式

视频编码***中，二维变换通常用于来自帧间/帧内预测的残差以利用残差数据之间的冗余。二维变换系数被使用已选择扫描模式而转换(convert)为一维数据。一维变换数据被量化所处理以产生符号以被熵编码所压缩。扫描模式设计为适当地将二维数据转换为一维数据，以及也为随后的熵编码获得好的压缩效能。在HEVC***中，三个扫描模式用于图2所示的4x4TU，其中扫描模式210对应从右下到左上方向的对角(diagonal)扫描，扫描模式220对应从右到左的水平扫描，以及扫描模式230对应从下到上的垂直扫描。扫描模式从空心圆点(open circle)(212、222以及232)所指示的位置开始，以及在实心圆点(solid)(214、224以及234)所指示的位置结束。在变换域中，能量通常集中在较低频域。图2的扫描模式(即，210、220以及230)从较低能量域到较高能量域扫描。随后的熵编码被设计为根据已扫描已量化系数的统计而设计。

根据本发明的实施例，对于变换跳过模式(transform skip mode)为开启(ON)的区块，使用与传统的扫描模式不同的扫描模式。可以看出残差数据的特性(characteristics)与变换系数的不同。如果对于变换系数的相同扫描模式用于残差数据，那么导致的已扫描-已量化数据可能具有高熵。进一步说，导致的已扫描-已量化数据可能不适合熵编码设计用于的统计模型。举例说明，当帧内预测模式适用对角扫描，当根据传统方式，变换跳过模式为关闭时，对角扫描模式(210)可以用于预测残差。当区块为二维变换，那么能量将会集中在左上角(即，对应较低空间频率的角)。对角扫描模式(210)可能导致更长的零游程(zero-run)，以及导致更低熵。但是，对于帧内预测残差，残差数据通常在右下角为更大，以及从右下到左上而减少。因为帧内预测为基于临近顶部区块边界以及左区块边界的相邻像素，右下角的更大帧内预测残差很可能由于更长预测距离。对于帧内预测残差的低到高能量分布为从左上角到右下角。另一方面，对于变换系数的低到高能量分布为从变换单元的右下角到左上角。换言之，变换系数以及帧内预测残差之间的能量分布相反。相应地，当对于变换单元的变换跳过模式为开启时，根据本发明的一个实施例使用反向对角扫描模式用于该变换单元。如果对于该变换单元变换跳过模式为关闭(OFF)，那么正常对角扫描模式(即，扫描模式210)，可以用于该变换单元。对应对角扫描模式(210)的反向对角扫描模式(310)如图3所示。

当变换跳过模式为开启以及帧内预测模式使用水平扫描，预测残差通常在底部区域为更大，以及朝着变换单元的顶部而减少，因为预测距离对于底部区域更大。因此，与变换跳过模式为关闭时而为变换系数相比，对于变换跳过模式为开启时帧内预测残差的能量分布为反向。因此，当对于变换单元的变换跳过模式为开启时，在本发明的另一个实施例中，反向水平扫描320被使用，如图3所示。如果变换跳过模式对于变换单元为关闭，变换单元则使用正常水平扫描模式220。

当变换跳过模式为开启以及帧内预测模式使用垂直扫描时，预测残差通常在右边区域更大，以及朝着区块的左边界而减少，因为预测距离对于右边区域为更大。因此，对于变换跳过模式为开启的变换单元的能量分布为反向，与变换跳过模式为关闭时二维变换系数相比。在本发明的另一个实施例中，当变换跳过模式为开启，反向垂直扫描330被使用，如图3所示。如果用于变换单元的变换跳过模式为关闭，变换单元可以使用正常垂直扫描模式230。

如上所示，根据本发明的实施例当变换跳过模式为开启时使用反向对角、水平以及垂直扫描。实现反向扫描模式的一个方式为增加反向扫描模式作为传统扫描模式的额外扫描模式。相应地，对于使能变换跳过模式的***而言有六个扫描模式。实现反向扫描顺序的另一个可替换方式为存储与变换单元方向顺序相关的帧内预测残差。通常在使用基于区块处理的***中，当前处理阶段的一个区块被缓冲用于下一个阶段的处理。处理阶段可以对应编码端的变换、扫描转换，或者量化，或者解码端反变换，反向扫描转换，或者解量化。因此如果对于该区块为变换跳过模式开启，帧内预测残差可以被存储为反向扫描顺序。相应地，如果为已变换区块，规则(regular)扫描模式可以用于方向顺序中存储的区块。

如下显示为实现反向对角扫描的示例伪代码：

原始对角扫描：r_ij＝(d_ij+(1<<(shift-1)))>>shift (1)

反向对角扫描：r_ij＝(d_{(nW-1-i)(nH-1-j)}+(1<<(shift-1)))>>shift (2)

在方程式(1)以及(2)中，伸缩(scaling)残差使用特定因数(factor)的移位(shift)而获得，其中d_ij为伸缩之前的残差，以及r_ij为已伸缩残差。如果期望32的伸缩因数，伸缩可以透过右移5比特而实现，即shift＝5。对于反向扫描，伸缩之前的残差的索引被映射到待存储的残差的索引，根据(nW-1-i)(nH-1-j)＝>ij,，其中，nW为区块宽度，以及nH为区块高度。

在另一个实施例中，变换跳过模式被限制，以为了减少复杂度以及节省一些比特。例如，只有在PU和TU相同时变换跳过模式被使能。在该情况下，PU以及TU为与相同视频数据相关。这也等同于PU和TU具有相同大小。用于使能变换跳过模式的其他条件包含TU大小为4x4的情况，以及分割模式为帧内NxN(Intra_NxN)的情况。只在变换跳过模式被使能时，指示变换跳过模式的旗标被传送。旗标可以整合入比特流的序列级别(例如，SPS)、图片级别(例如，图片参数组(Picture Parameter Set，PPS))或者片级别。

图4为根据本发明的一个实施例，整合变换跳过模式的编码***的示例流程图。步骤410中，***接收待编码的视频数据。视频数据可以从存储器，例如计算机存储器、缓冲器(RAM或者DRAM)或者其他媒体中接收。图4所示编码***可以实现为硬件、软件、或者硬件以及软件。在一个基于软件的实现中，视频数据可以存储在用于视频编码器的程序(program)或者子程序(subroutine)分配的数据空间中。视频数据也可从处理器，例如控制器、中央处理单元，数字信号处理器或者产生视频数据的电子电路中接收。处理器可以实现一些处理以准备输入视频数据给编码***。举例说明，原始视频数据可以为原始RGB格式，以及转换为亮度/色度格式用于随后编码处理。处理器也可以实施噪声抑制以提高编码效能。其他类处理也可以被实施以准备视频数据用于随后编码。然后如步骤420所示帧内预测用于视频数据以形成残差。步骤430中为变换单元实施有关是否变换跳过模式为开启还是关闭的决定。如步骤440所示，如果变换跳过模式为关闭，第一编码过程被用与于变换单元相关的残差数据，以产生与变换单元相关的符号，其中第一编码过程包含变换以及使用第一扫描模式的第一扫描转换。如步骤450所示，如果变换跳过模式为开启，第二编码过程被用于残差数据以产生与变换单元相关的符号，其中第二编码过程跳过变换以及包含使用第二扫描模式的第二扫描转换，以及其中第二扫描模式与第一扫描模式不同。然后如步骤460所示熵编码用于上述符号以产生压缩(compressed)数据。

图5为根据本发明的一个实施例整合变换跳过模式的解码***的示例流程。步骤510中，该***接收与视频数据相关的压缩数据。压缩数据可以从存储器，例如计算机存储器，缓冲器(RAM或者DRAM)或者其他媒体中接收。如图5所示的解码***可以实现为硬件、软件或者硬件以及软件。在基于软件的实现中，压缩数据可以存储在与视频解码器相关的程序或者子程序所分配的数据空间中。压缩数据也可以从处理器，例如控制器、中央处理单元，数字信号处理器或者其他产生第一数据的电子电路中接收。处理器可以实施一些处理以准备压缩数据给解码***。例如，压缩数据可以从对应多个音频/视频频道的已多工(multiplexed)媒体流中提取。处理器可以从传输频道或者透过互联网(Internet)而接收压缩数据。如果压缩数据有传输错误，处理器也可以对于压缩数据实施错误校正。其他类型处理也可以被实施以准备压缩数据用于随后解码。如步骤520所示，熵解码用于压缩数据以恢复与变换单元相关的符号。在步骤530中，为变换单元实施一个有关是否变换跳过模式为开启还是关闭的决定。如步骤540所示，如果变换跳过模式为关闭，那么第一解码过程被应用到符号以恢复与变换单元相关的残差数据，其中第一解码过程包含反变换以及使用第一扫描模式的第一扫描转换(conversion)。如步骤550所示，如果变换跳过模式为开启，第二解码过程应用于符号以恢复与变换单元相关的残差数据，其中第二解码过程跳过反变换以及包含使用第二扫描模式的第二扫描转换，其中第二扫描模式不同于第一扫描模式。然后如步骤560所示，帧内预测重建被用于残差数据以恢复视频数据。

如上所述流程用于说明示例编码器以及解码器，其中编码器以及解码器实现了本发明的实施例的变换跳过模式。所属领域技术人员可以修改每一个步骤、重排上述步骤，分割步骤，或者将多个步骤合并以实现本发明，并不脱离本发明的精神。

给出上述描述以特定应用以及需求的背景下使能所属领域一般技术人员实现本发明。对所述实施例的各种修改对于所属领域技术人员而言是显而易见的，以及所定义的一般原则可以用于其他实施例。因此，本发明不用于限定上述特定实施例，但是根据最宽范围内与本发明所揭示新颖特征以及原则一致。在上述详细描述中，各种特定细节被描述以提供对于本发明的透彻理解。但是，所属领域技术人员可以理解本发明可以被实现。

上述本发明的实施例可以各种硬件、软件代码、或者上述两者的组合实现。举例说明，本发明的一个实施例可以为整合如视频压缩芯片或者整合如视频压缩软件的程序代码，以实施上述处理。本发明的一个实施例也可以为DSP上实施的软件代码以实施上述处理。本发明也可以包含计算机处理器、DSP，微处理器，或者FPGA所实施的多个功能。上述处理器可以配置为透过执行机器可读软件代码，或者固件代码，根据本发明实施特定任务，其中上述软件代码或者固件代码定义了体现本发明的特定方法。软件代码或者固件代码可以不同的编程语言以及不同格式或者风格开发。软件代码也可以被汇编用于不同的目标平台。但是，配置代码以根据本发明实施任务的软件代码不同代码格式、风格以及语言，以及其他手段，不会脱离本发明的精神以及保护范围内。

本发明可以其他特定形式所实现，不脱离本发明的精神或者关键特征。所描述的例子从全部角度被认为是示例而不是限制。本发明的保护范围因此，由所附权利要求而指示，而不是由前述描述而限制。在权利要求的等同的意思以及范围内的所有改变均被认为是权利要求的保护范围内。

Claims (16)

1.一种解码视频数据的方法，该方法包含：

接收与该视频数据相关的压缩数据；

对该压缩数据应用熵解码以恢复与变换单元相关的多个符号；

如果对于该变换单元，变换跳过模式为关闭，

对该多个符号应用第一解码过程以恢复与该变换单元相关的残差数据，其中该第一解码过程包含反变换以及使用第一扫描模式的第一扫描转换；

如果对于该变换单元变换跳过模式为开启，

对该多个符号应用第二解码过程以恢复与该变换单元相关的残差数据，其中该第二解码过程跳过该反变换以及包含使用第二扫描模式的第二扫描转换，以及其中，该第二扫描模式不同于该第一扫描模式；以及

对该残差数据应用帧内预测重建以恢复该视频数据；

其中，该第二扫描模式对应该第一扫描模式的反向扫描。

2.如权利要求1所述解码视频数据的方法，其特征在于，在所述帧内预测重建应用到该残差数据之前，所述应用该第二解码过程包含根据该第二扫描模式存储该残差数据。

3.如权利要求1所述解码视频数据的方法，其特征在于，该变换单元对应4x4变换单元。

4.如权利要求1所述解码视频数据的方法，其特征在于，所述应用帧内预测重建，将帧内预测重建应用于与预测单元相关的该残差数据，以恢复与该预测单元相关的该视频数据，以及其中，如果该预测单元以及该变换单元具有相同大小，则该变换跳过模式被使能。

5.如权利要求1所述解码视频数据的方法，其特征在于，所述应用帧内预测重建，将该帧内预测重建应用于与预测单元相关的该残差数据，以恢复与该预测单元相关的该视频数据，以及其中，如果该预测单元使用帧内NxN分割模式，则该变换跳过模式被使能。

6.如权利要求1所述解码视频数据的方法，其特征在于，如果该变换跳过模式被使能，则指示该变换跳过模式的旗标被整合入与该视频数据相关的比特流中。

7.如权利要求6所述解码视频数据的方法，其特征在于，该旗标整合入该比特流的图片级别、片级别，或者序列级别。

8.一种编码视频数据的方法，该方法包含：

接收视频数据；

将帧内预测应用于该视频数据以形成残差数据；

如果对于变换单元变换跳过模式为关闭，

将第一编码过程应用于与该变换单元相关的该残差数据以产生与该变换单元相关的多个符号，其中该第一编码过程包含变换，以及使用第一扫描模式的第一扫描转换；

如果该变换单元的变换跳过模式为开启，

将第二编码过程应用于该残差数据以产生与该变换单元相关的多个符号，其中该第二编码过程跳过变换，以及包含使用第二扫描模式的第二扫描转换，以及其中该第二扫描模式与该第一扫描模式不同；以及

对该多个符号应用熵编码以产生压缩数据；

其中，该第二扫描模式对应该第一扫描模式的反向扫描。

9.如权利要求8所述编码视频数据的方法，其特征在于，该变换单元对应4x4变换单元。

10.如权利要求8所述编码视频数据的方法，其特征在于，在所述应用帧内预测重建到该残差数据之前，所述应用该第二编码过程包含使用该第二扫描模式存储该残差数据。

11.如权利要求8所述编码视频数据的方法，其特征在于，所述应用帧内预测，将该帧内预测应用到与预测单元相关的该视频数据，以及其中，如果该预测单元以及该变换单元具有相同大小，则该变换跳过模式被使能。

12.如权利要求8所述编码视频数据的方法，其特征在于，所述应用帧内预测，将该帧内预测应用到与预测单元相关的该视频数据，以及如果该预测单元使用帧内NxN分割模式，则该变换跳过模式被使能。

13.如权利要求8所述编码视频数据的方法，其特征在于，如果该变换跳过模式被使能，则指示该变换跳过模式的旗标被整合入与该视频数据相关的比特流中。

14.如权利要求13所述编码视频数据的方法，其特征在于，该旗标整合在该比特流的图片级别、片级别或者序列级别。

15.一种解码视频数据的装置，该装置包含：

电路，其中该电路配置为

接收与该视频数据相关的压缩数据；

将熵解码应用于该压缩数据，以恢复与变换单元相关的多个符号；

如果对于该变换单元变换跳过模式为关闭，

将第一解码过程应用到该多个符号以恢复与该变换单元相关的残差数据，其中该第一解码过程包含反变换以及使用第一扫描模式的第一扫描转换；

如果对于该变换单元该变换跳过模式为开启，

将第二解码过程应用与该多个符号以恢复与该变换单元相关的残差数据，其中该第二解码过程跳过该反变换，以及包含使用第二扫描模式的第二扫描转换，其中该第二扫描模式不同于该第一扫描模式；以及

将帧内预测中间应用于该残差数据以恢复该视频数据；

其中，该第二扫描模式对应该第一扫描模式的反向扫描。

16.一种编码视频数据的装置，该装置包含：

电路，该电路配置为

接收视频数据；

将帧内预测应用于该视频数据以形成残差数据；

如果对于变换单元变换跳过模式为关闭，

将第一编码过程应用于与该变换单元相关的该残差数据以产生与该变换单元相关的多个符号，其中该第一编码过程包含变换，以及使用第一扫描模式的第一扫描转换；

如果对于该变换单元的该变换跳过模式为开启，

将第二编码过程应用于该残差数据以产生与该变换单元相关的该多个符号，其中该第二编码过程跳过变换，以及包含使用第二扫描模式的第二扫描转换，以及其中该第二扫描模式不同于该第一扫描模式；以及

将熵编码应用于该多个符号以产生压缩数据；

其中，该第二扫描模式对应该第一扫描模式的反向扫描。