CN102804772B - 利用多维整数变换的图像编码/解码装置和方法 - Google Patents

Abstract

本公开涉及一种使用多维整数变换的视频编码/解码装置和方法。本公开的视频编码方法包括以下步骤：以矩形块为单元分解子块并且持续地对矩形块单元进行编码，以输出各个子块的矩形编码比特流；以方形块为单元来对所述子块进行编码，以输出各个子块的方形编码比特流；计算与至少一个矩形编码比特流相关的编码开销；计算与所述矩形编码比特流无关的编码开销；以及基于所述计算，利用所述方形编码比特流和所述矩形编码比特流中的一个或更多个来生成并输出所述宏块的所述比特流。根据本公开，因为选择性地确定用于以更高效率对视频进行编码或解码的编码方案，所以预测准确度可以增加，从而改进视频编码效率。

Description

利用多维整数变换的图像编码/解码装置和方法

技术领域

本公开涉及利用多维整数变换的视频编码/解码装置和方法。更具体地说，本发明涉及对视频进行编码/解码的领域中的、用于使用一维整数变换和二维整数变换来选择性地决定编码方案从而增加预测准确度并改进视频编码效率的装置和方法。

背景技术

这部分中的陈述仅提供了与本公开相关的背景信息，而不构成现有技术。

运动图像专家组(MPEG)和视频编码专家组(VCEG)已经开发出了相比现有的MPEG-4的第2部分和H.263标准的经改进的和优异的视频压缩技术。新标准被命名为H.264/AVC(高级视频编码)并同时发布为MPEG-4的第10部分AVC和ITU-T的H.264建议书(Recommendation)。这种H.264/AVC(下文简称为“H.264”)使用空间预测编码方法，该H.264不同于诸如MPEG-1、MPEG-2、MPEG-4的第2部分(视觉)等的常规视频编码国际标准。

常规视频编码方法将“帧内预测(intraprediction)”用于在离散余弦变换域(或DCT域)中变换的系数，以追求更高的编码效率，从而导致低频带传输比特速率下的主观视频质量的劣化。然而，H.264采用基于空间域而不是变换域中的空间帧内预测的编码方法。

利用基于常规的空间帧内预测的编码方法的编码器根据与先前编码并重建的先前块相关的信息来预测当前要编码的块，仅对与所预测的块与要编码的当前块的差异相关的信息进行编码，以及将所编码的信息发送至解码器。同时，该编码器可以向该解码器发送块的预测所需的参数，或者该编码器和解码器可以同步，以使得它们可以共享该解码器预测该块所需的参数。在该解码器处，当前要解码的期望块通过以下步骤来生成和重建：首先预测先前在完成该期望块的相邻块的解码时所复制的这些相邻块；接着获取从编码器发送来的不同信息或残留数据与所预测的相邻块信息的和。这时，再次地，如果从编码器发送该预测所需的参数，则解码器在预测相邻块信息时使用这些参数中的对应的一个参数。

另一方面，基于空间帧内预测的常规编码方法仅使用方形块模式。这是因为使用二维方形变换(诸如4×4变换、8×8变换等)来改进变换效率。然而，当仅使用方形块模式时，根据空间上远离的像素来预测块的右侧和下侧部分中的像素，造成该块的预测准确度降低。

发明内容

技术问题

因此，鉴于上述问题，本公开提出了通过使用一维整数变换和二维整数变换并由此选择性地决定编码方案来改进预测准确度，进而改进视频编码效率。

技术解决方案

本公开的一个方面提供了一种用于以宏块为单元来对视频进行编码的装置，该装置包括：矩形编码器，该矩形编码器响应于所述宏块的各个子块的输入来以矩形块为单元分解所述各个子块，并且对矩形块单元持续地编码，以输出所述各个子块的矩形编码比特流；方形编码器，该方形编码器响应于所述宏块的各个子块的输入来以方形块为单元对所述各个子块进行编码，以输出所述各个子块的方形编码比特流；以及编码选择器，该编码选择器用于基于在所述宏块的比特流包括至少一个矩形编码比特流的情况下用于编码的开销和在所述宏块的所述比特流不包括所述矩形编码比特流的情况下用于编码的开销来使用所述各个子块的所述方形编码比特流和所述各个子块的所述矩形编码比特流中的一个或更多个生成并输出所述宏块的所述比特流。

本公开的另一方面提供了一种用于以宏块为单元来对视频进行解码的方法，该方法包括以下步骤：如果输入所述宏块的各个子块，则以矩形块为单元来分解所述各个子块并且对矩形块单元持续地编码，以输出所述各个子块的矩形编码比特流；如果输入所述宏块的各个子块，则以方形块为单元来对所述个个子块进行编码，以输出所述各个子块的方形编码比特流；计算所述宏块的比特流包括至少一个矩形编码比特流时的编码开销；计算所述宏块的所述比特流不包括所述矩形编码比特流时的编码开销；以及基于在所述宏块的所述比特流包括所述矩形编码比特流的情况下和所述宏块的所述比特流不包括所述矩形编码比特流的情况下用于编码的开销，来使用所述各个子块的所述方形编码比特流和所述各个子块的所述矩形编码比特流中的一个或更多个生成并输出所述宏块的所述比特流。

本公开的又一方面提供了一种用于以宏块为单元来对视频进行解码的装置，该装置包括：预测模式提取单元，该预测模式提取单元用于从比特流提取预测模式比特；解码单元，该解码单元用于对所述比特流进行解码，以按照相应的子块提取量化频率系数；矩形重建单元，该矩形重建单元用于通过使用所述量化频率系数来根据由所述预测模式比特所标识的预测模式以矩形块为单元连续地重建所述视频的当前块；方形重建单元，该方形重建单元用于通过成串地使用所述量化频率系数来根据由所述预测模式比特所标识的所述预测模式以方形块为单元重建并输出所述当前块；以及比特流标识符提取单元，该比特流标识符提取单元用于从所述比特流提取宏块模式比特和块模式比特，并且基于所提取的宏块模式比特和所提取的块模式比特来控制所述解码单元按照所述相应子块向所述矩形重建单元或者向所述方形重建单元输出所述量化频率系数。

本公开的又一方面提供了一种用于以宏块为单元来对视频进行解码的方法，该方法包括以下步骤：从比特流提取宏块模式比特和块模式比特；从所述比特流提取预测模式比特；对所述比特流进行解码，以按照相应子块提取量化频率系数；以及基于已经提取的所述宏块模式比特和所述块模式比特这两者，利用已经按照所述相应子块提取的所述量化频率系数来根据由所述预测模式比特所标识的预测模式以矩形块为单元持续地重建并输出所述宏块的子块，或者利用已经按照所述相应子块提取的所述量化频率系数来根据由所述预测模式比特所标识的预测模式以方形块为单元重建并输出所述宏块的所述子块。

有利效果

如上提到，根据本公开，因为在对视频进行编码或解码时可以选择性地确定高效编码方案，所以预测准确度增加，从而改进视频编码效率。

附图说明

图1是例示典型的九个4×4帧内预测模式的示例性图示；

图2是示意性地例示根据一方面的视频编码装置的电子构造的框图；

图3是示意性地例示根据一方面的方形编码装置的电子构造的框图；

图4是示意性地例示根据一方面的矩形编码装置的电子构造的框图；

图5是示意性地例示根据一方面的编码选择装置的电子构造的框图；

图6是根据一方面的比特流的组成的图示；

图7和图8是例示根据一方面的用于组成宏块的比特流的编码选择处理的流程图；

图9是例示根据一方面的矩形块的划分形状和通过预测模式进行编码的序列的图示；

图10是示意性地例示根据一方面的矩形扫描装置的电子构造的框图；

图11是例示根据一方面的确定初始扫描图案的方法的流程图；

图12是例示根据一优选方面的组合成方形残留块的多个矩形残留块的图示；

图13是例示根据一方面的确定初始扫描图案的处理的图示；

图14是例示根据一方面的更新扫描图案的处理的图示；

图15是示意性地例示根据一方面的视频解码装置的电子构造的框图；

图16是示意性地例示根据一方面的矩形解码装置的电子构造的框图；

图17是示意性地例示根据一方面的方形编码装置的电子构造的框图；

图18是例示根据一方面的视频解码方法的流程图；

图19是例示根据一方面的初始逆扫描图案中的逆扫描处理的示例性图示；

图20是例示根据一方面的更新逆扫描图案的处理的示例性图示；

图21是例示根据一方面的预测所分解的当前矩形块的处理的图示；以及

图22是例示根据另一方面的利用半像素来预测矩形块的处理的图示。

具体实施方式

下文参照附图来对本公开的多个方面进行详细描述。在以下描述中，尽管在不同附图中示出相同部件，但是用相同标号来指定这些相同部件。而且，在本公开的以下描述中，当并入本文的已知功能和构造的详细描述可能使本公开的主旨不清楚时，将省略该详细描述。

另外，在对本公开的组件进行描述时，可以使用诸如第一、第二、A、B、(a)和(b)的词项。这些词项只是出于区别一个组件与另一组件的目的，而非暗示或建议这些组件的实质、顺序或序列。如果一组件被描述为“连接”、“耦接”或“链接”至另一组件，则该组件不仅意指被直接“连接”、“耦接”或“链接”，而且意指被经由第三组件间接地“连接”、“耦接”或“链接”。

在本公开的以下描述中，视频编码装置和视频解码装置被假定成以宏块或其下级子块为单元来执行编码或解码。然而，这种假定只是示例性的，并且视频编码装置和视频解码装置可以以图像的普通或非典型区域为单元来对图像进行编码或解码。另外，在描述一方面的过程中，将使用16×16尺寸的宏块和4×4尺寸的子块。然而，宏块和子块的这些尺寸仅仅是例示性的目的，可以使用其它各种尺寸的32×32或64×64的宏块和8×8或16×16的子块。

图1是例示典型的9个不同的4×4帧内预测模式的示例性图示。

帧内预测的示例包括：帧内4×4预测、帧内16×16预测、帧内8×8预测等，并且各个帧内预测包括多个预测模式。图1示出了帧内4×4预测中的九个不同的预测模式。

参照图1，帧内4×4预测具有包括垂直模式、水平模式、DC(直流)模式、左下对角模式、右下对角模式、垂直偏右模式、水平偏下模式、垂直偏左模式以及水平偏上模式的九个不同的预测模式。

在预测模式编号0(即，垂直模式)的情况下，假定要编码的4×4当前块是沿垂直方向具有相似像素值的区域，并且使用该4×4当前块的顶部和相邻块中的四个像素(A、B、C、D)来以相应垂直列为单元生成具有相同像素值的预测块。在预测模式1(即，水平模式)的情况下，假定要编码的4×4当前块是沿水平方向具有相似像素值的区域，并且使用该4×4当前块的左侧和相邻块中的四个像素(I、J、K、L)来生成在各行中具有相同像素值的预测块。在预测模式2(即，DC模式)的情况下，假定4×4当前块是相对平坦区域，并且使用与该4×4当前块相邻的十三个像素(A～M)的像素值的平均值来生成预测块，该预测块的当前块具有相同像素值的全部十六个像素。其余预测模式假定区域沿对应的预测方向具有相似像素值，并且沿它们的相应预测方向生成预测块。如果预测所需的像素在整数像素位置处，则对应整数像素的周围像素在使用之前进行低通滤波([1/42/41/4])，而如果预测所需的像素在半像素位置处，则利用差值来使用整数像素。

尽管未示出，但帧内8×8预测具有与帧内4×4预测相同的预测模式，而帧内16×16预测具有包括垂直模式、水平模式、DC模式以及平面模式的四个不同的预测模式。

图2是示意性地例示根据一方面的视频编码装置200的电子构造的框图。

根据一方面的视频编码装置200是用于对视频进行编码的装置，并且可以被配置为包括方形编码单元或方形编码器210、矩形编码单元或矩形编码器220以及编码选择器230。

视频编码装置200可以是个人计算机或PC、笔记本或膝上型计算机、个人数字助理或PDA、便携式多媒体播放器或PMP、便携式游戏机或PSP、或者移动通信终端、智能手机，并且可以意指配备有例如用于与各种装置或通信网络执行通信的诸如调制解调器的通信装置、用于存储用于对视频和相关数据进行编码的各种程序的存储器、以及用于执行这些程序以实现其操作和控制的微处理器等的各种装置。

当接收到要编码的图像的宏块的各个子块时，方形编码器210通过以方形块为单元对子块进行编码来输出方形编码比特流。也就是说，如在典型的视频编码中，方形编码器210通过根据经确定的块模式设置以方形块为单元输入的各个子块来预测当前块，作为针对各个子块的当前块，并且针对相应子块生成当前块的残留块，以针对该残留块执行变换、量化和编码，从而输出比特流。在本公开中，按照方形块单元进行编码并输出的比特流被称作“方形编码比特流”。

接收到要编码的图像的宏块的相应子块，矩形编码器220将当前块分解并接着持续编码成矩形块单元，以输出矩形编码比特流。也就是说，不同于典型编码，矩形编码器220根据经确定的块模式来执行对以方形块为单元输入的各个子块的设置，作为针对各个子块的当前块，并且沿当前块的预测方向对矩形块进行分段，接着，利用相应矩形块的经变换和量化的残留块来预测这些相应矩形块，并依次将这些相应矩形块组合成接着被扫描并编码成比特流输出的方形块。在本公开中，根据按照矩形块单元连续进行编码所输出的比特流被称作“矩形编码比特流”。

编码选择器230使用各个子块的方形编码比特流和各个子块的矩形编码比特流中的一个或更多个来生成并输出宏块的比特流，但是基于在该宏块的比特流包含至少一个矩形编码比特流的情况下用于编码的开销和在该宏块的该比特流不包含矩形编码比特流的情况下用于编码的开销来生成该宏块的该比特流。

图3是示意性地例示根据本公开的一方面的方形编码装置的电子构造的框图。

根据本公开的一方面的方形编码装置可以在图2中通过方形编码器210来实现，并且在下文中被称作方形编码器210。根据本公开的一方面的方形编码器210包括方形减法单元310、方形变换单元320、方形量化单元330、方形扫描单元340、方形熵编码单元350、方形逆量化单元360、方形逆变换单元370、方形加法单元380以及方形预测单元390。

方形减法单元310通过从当前块中减去方形预测单元380的预测块来生成残留块，以输出残留块。即，减法单元310从当前块的各个像素的原始像素值中减去方形预测单元380的预测块的各个像素的预测像素值，来生成像素值之间的残留信号作为残留块。

方形变换单元320将该残留块变换到频域中，以生成具有频率系数的残留块。这里，方形变换单元320可以使用基于DCT(离散余弦变换)的变换、Hadamard变换等，但是不限于此，并且使用根据对DCT变换进行改进和修改的各种变换技术来将残留信号变换到频域中。

方形量化单元330对由方形变换单元320变换的残留块进行量化，以生成具有量化频率系数的残留块。这种量化方法可以使用DZUTQ(死区统一阈值量化)、量化加权矩阵等，但还可以使用由DZUTQ等改进的各种量化方法。

方形扫描单元340通过利用诸如锯齿扫描的各种扫描方法对由方形量化单元330量化的残留块的量化频率系数进行扫描，来生成量化频率系数串。

方形熵编码单元350将量化残留块编码成比特流。换句话说，方形熵编码单元350通过对由方形扫描单元340扫描并生成的量化频率系数串进行编码来生成比特流。另外，方形熵编码单元350不仅可以对量化残留块进行编码，而且可以将与由方形预测单元390确定的预测模式或预测方向相关的信息与这些残留块一起编码成比特流。对于这种编码技术来说，可以使用熵编码技术，但不必限于此，还可以使用各种其它编码技术。在本公开中，从方形熵编码单元350输出的比特流被称作方形编码比特流。

方形逆量化单元360通过针对量化残留块执行逆量化来生成逆量化残留块。换句话说，方形逆量化单元360通过对量化残留块的量化频率系数进行逆量化来生成具有逆量化频率系数的残留块。

方形逆变换单元370通过对逆量化残留块进行逆变换来生成逆变换残留块。换句话说，方形逆变换单元370通过将逆量化残留块的逆量化频率系数逆变换到时域中来生成具有像素值的逆变换残留块。

方形加法单元380通过将由方形逆变换单元370逆变换的残留块与方形预测单元390的预测块相加来重建当前块，并将所重建的当前块输出至方形预测单元390。

方形预测单元390通过预测当前块来生成预测块。也就是说，方形预测单元390通过根据预定块模式和预测模式预测要编码的视频的当前块的相应像素的像素值，来生成以预测像素值作为相应像素的像素值的预测块。在预测当前块的相应像素值的情况下，使用先前通过编码和解码所重建的先前块的像素值，也就是说，使用当前块之前的从方形加法单元380接收到的重建块。

图4是示意性地例示根据一方面的矩形编码装置的电子构造的框图。

因为根据本公开的一方面的矩形编码装置可以在图2中通过矩形编码器220来实现，所以下文将其称作矩形编码器220。根据本公开的一方面的矩形编码器220包括块划分单元410、矩形减法单元420、矩形变换单元430、矩形量化单元440、矩形扫描单元450、矩形熵编码单元460、矩形逆量化单元470、矩形逆变换单元480、矩形加法单元490以及矩形预测单元492。

块划分单元410在接收到当前块时将该当前块分解成矩形块单元，以输出多个矩形当前块。这里，根据块模式和编码模式将当前块确定为方形块，并且块划分单元410在致力于通过按照帧内预测根据相邻像素中的更接近的一个像素预测当前块的像素来改进预测效率时，将当前块分解成矩形块，并且连续地预测各个分解的矩形当前块。

而且，在将方形当前块分解成多个矩形块时，块划分单元410可以根据当前块的预测模式来按照预测方向确定矩形块的尺寸。换句话说，通过块划分单元410划分的矩形当前块可以是N个N×1块、N/2个N×2块、N个1×N块、N/2个2×N块等。

参照图9，图9例示了根据一方面的矩形块的划分形状和按照预测模式进行编码的序列，块划分单元410可以将方形当前块分解成可以按照所例示的序列分别进行编码的所例示的矩形块。

例如，假定当前块的块模式为4×4块，在近垂直预测方向(模式0(垂直)、模式5(垂直偏右)和模式7(垂直偏左))的情况下，可以将该4×4当前块分解成四个4×1矩形当前块，而在近水平预测方向(模式1(水平)、模式6(水平偏下)和模式8(水平偏上))的情况下，可以将该4×4当前块分解成四个1×4子块。在模式2(DC)的情况下，可以根据周边数据(即，相邻块中的邻近像素)，将该4×4当前块自适应地分解成4×1矩形当前块或1×4矩形当前块，而在对角相关的模式3(左下对角)和模式4(右下对角)的情况下，可以将该4×4当前块分解成四个4×1矩形当前块和四个1×4矩形当前块这两者。

这里，在模式2的情况下，用于分解4×4方形当前块的周边数据可以是如所例示的垂直带相关和水平带相关。具体地说，如果垂直带相关小于水平带相关，则可以将4×4方形当前块分解成4×1矩形当前块，而如果垂直带相关大于或等于水平带相关，则可以将4×4方形当前块分解成1×4矩形当前块。垂直带相关和水平带相关可以通过如所例示的等式来计算。

另外，按照模式0、3、5和7的矩形当前块的编码序列可以使得4×4方形当前块按照第一行至第四行的这种顺序进行编码。另外，在模式1、4、6和8的情况下，矩形当前块的编码序列可以从对4×4方形当前块的第一列进行编码开始，随后对第二列、第三列进行编码，接着对第四列进行编码。

再次参照图4，矩形减法单元420通过从通过块划分单元410分解的多个矩形当前块中减去矩形预测单元492的多个矩形预测块来生成多个矩形残留块。

矩形变换单元430将由减法单元420生成的多个矩形残留块变换到频域中。也就是说，矩形变换单元430通过使用基于DCT的变换等将矩形残留块的相应像素值变换到频域中，来生成具有频率系数的残留块。这时，将矩形形式的残留块的相应像素值变换成频率可以通过矩阵变换等来执行。

矩形量化单元440对由矩形变换单元430变换的多个矩形残留块进行量化。换句话说，矩形量化单元440对所述多个矩形残留块的频率系数进行量化，以生成具有量化频率系数的残留块。

矩形扫描单元450对由矩形量化单元440量化的所述多个残留块进行组合，以生成量化矩形残留块，接着对量化频率系数进行扫描，以生成量化频率系数串。换句话说，矩形扫描单元450根据当前块的块模式和预测模式的预测方向来对所述多个相应量化残留块进行组合，以生成方形形式的残留块，接着通过特定扫描方法对残留块的方形形式的相应量化频率系数进行扫描，以生成量化频率系数串。

矩形编码单元460对由矩形扫描单元450生成的量化频率系数串进行编码，以生成比特流。也就是说，矩形编码单元460通过利用诸如熵编码等的各种编码方法对量化频率系数串进行编码来生成比特流。这时，矩形熵编码单元460可以附加地对当前块的预测模式进行编码。

以下描述解决怎样通过以上参照图4所述的矩形编码装置来对输入视频的当前块进行编码。当接收到当前块时，矩形编码装置以矩形块为单元分解当前块，以输出多个矩形当前块，连续地预测所述多个矩形当前块，以输出多个矩形预测块，从所述多个矩形当前块中减去所述多个矩形预测块，以生成多个矩形残留块，将所述多个矩形残留块变换到频域中，对所述多个变换矩形残留块进行量化，对所述多个量化矩形残留块进行组合，以生成量化方形残留块，并且扫描它们的量化频率系数，以生成量化频率系数串，以及接着对该量化频率系数串进行编码，以生成比特流。

图5是示意性地例示根据一方面的编码选择装置的电子构造的框图。

因为根据本公开的一方面的编码选择装置可以通过图2例示的编码选择器230来实现，所以下文将其称作编码选择器230。根据一方面的编码选择器230可以包括比特流选择单元510、第一临时缓冲器520、第二临时缓冲器530以及比特流缓冲器540。

当接收到来自矩形编码器220的宏块的各个子块的矩形编码比特流和来自方形编码器210的宏块的各个子块的方形编码比特流这两者时，比特流选择单元510将各个子块的方形编码比特流存储在第一临时缓冲器520中，并且按照各个子块的方形编码比特流与各个子块的矩形编码比特流之间的相应子块进行选择，以将该选择存储在第二临时缓冲器530中。

为此，比特流选择单元510可以在每次对图像的新宏块进行编码时对第一临时缓冲器520和第二临时缓冲器530进行初始化，针对该宏块中的每一个子块，将从方形熵编码单元350接收到的方形编码比特流存储在第一临时缓冲器520中，并且按照相应子块计算方形编码的开销。另外，在存储从矩形熵编码单元460接收到的矩形编码比特流之前，比特流选择单元510可以按照相应子块计算矩形编码的开销，并且按照相应子块比较方形编码的开销与矩形编码的开销，以察看是否方形编码的开销更低并且方形编码比特流的任一个量化频率系数不为零并接着将方形编码比特流存储在第二临时缓冲器530中，否则，将矩形编码比特流存储在第二临时缓冲器530中。

这里，方形编码的开销是指对方形编码比特流进行编码的开销，并且该开销可以通过率失真(RD)开销来计算，当然，可以使用其它未经限制的计算方法来计算用于编码操作的开销。另外，矩形编码的开销是指对矩形编码比特流进行编码的开销，并且该开销可以按照与计算方形编码的开销相同的方法来计算。在以下描述中，方形编码的开销被方便地称作“RDcost1”，而矩形编码的开销被方便地称作“RDcost2”。

另外，如果RDcost1小于RDcost2并且方形编码比特流的所有量化频率系数为0，则比特流选择单元510可以将矩形编码比特流存储在第二临时缓冲器530中，而此外，如果矩形编码比特流的所有量化频率系数为0，则比特流选择单元510可以不将块模式比特***到第二临时缓冲器530中，但是如果矩形编码比特流的至少一个量化频率系数不为0，则比特流选择单元510可以生成用于表示矩形编码的块模式比特并将该块模式比特存储在第二临时缓冲器530中。

另外，如果RDcost1小于RDcost2并且方形编码比特流的至少一个量化频率系数不为0，则比特流选择单元510可以将方形编码比特流存储在第二临时缓冲器530中，并且将用于表示方形编码的块模式比特存储在第二临时缓冲器530中。

这里，块模式比特是指用于可辨别地表示以子块为单元存储在第二临时缓冲器530中的比特流是通过方形编码所生成的方形编码比特流还是通过矩形编码所生成的矩形编码比特流的比特。该块模式比特可以按照1比特来生成，并且例如块模式比特“0”可以表示方形编码比特流，而块模式比特“1”可以表示矩形编码比特流。

另外，比特流选择单元510可以按照宏块内的相应子块将方形编码比特流存储在第一临时缓冲器520中，并且根据量化频率系数来选择性地将用于表示方形编码比特流和矩形编码比特流当中的一个及其编码方案或编码方法的块模式比特存储在第二临时缓冲器530中，直到针对全部子块完成这些操作为止，并接着计算第一临时缓冲器520和第二临时缓冲器530的编码开销，以察看是否第一临时缓冲器520具有更低的编码开销并接着将已经存储在第一临时缓冲器520中的比特流存储在比特流缓冲器540中，作为宏块的比特流，并且生成宏块模式比特并将该宏块模式比特存储在比特流缓冲器540中，用于表示宏块的比特流中不存在矩形编码比特流。另外，比特流选择单元510可以响应于第一临时缓冲器520的编码开销等于或高于第二临时缓冲器530的编码开销来将已经存储在第二临时缓冲器530中的比特流存储在比特流缓冲器540中，作为宏块的比特流，并且生成宏块模式比特并将该宏块模式比特存储在比特流缓冲器540中，用于表示宏块的比特流中包含至少一个矩形编码比特流。

这里，第一临时缓冲器的编码开销是指对存储在第一临时缓冲器520中的比特流进行编码的开销，而第二临时缓冲器的编码开销是指对存储在第二临时缓冲器530中的比特流进行编码的开销，并且这些编码开销可以是诸如RDcost1和RDcost2的率失真(RD)开销。在以下描述中，第一临时缓冲器的编码开销被方便地称作“RDcostmb1”，而第二临时缓冲器的编码开销被方便地称作“RDcostmb2”。

另外，宏块模式比特是指用于可辨别地表示宏块的比特流是仅根据方形编码的比特流还是包含使用矩形编码的比特流的比特。宏块模式比特可以按照1比特来生成，并且例如赋值为“0”的宏块模式比特可以表示宏块的比特流只根据方形编码，而赋值为“1”的宏块模式比特可以表示宏块的比特流包含使用矩形编码的比特流。

第一临时缓冲器520和第二临时缓冲器530是指存储信息或数据的、诸如缓冲器或存储器的存储装置。第一临时缓冲器520是用于专门存储宏块中的全部子块的方形编码比特流的缓冲器，而第二临时缓冲器530是用于选择性地存储矩形编码比特流和方形编码比特流当中的一个的缓冲器。

比特流缓冲器540用于存储如通过比特流选择单元510决定性地选择的、由第一临时缓冲器530或者第二临时缓冲器530存储的比特流。比特流缓冲器540中所存储的比特流成为要作为向图像解码装置发送或传送的比特流的对应宏块的编码结果。

图6是根据一方面的比特流的组成的图示。

图6(a)例示了按照H.264/AVC4×4块模式的宏块的比特流的组成，而图(b)例示了根据本发明的一方面的宏块的比特流的组成。

图6(a)所示的预测模式0到15表示预测模式比特，并且是宏块中的十六个4×4子块的预测模式的相应编码信息，而YCbCr0到YCbCr15表示相应子块的系数比特，并且是相应4×4子块中的亮度分量(Y)和色度分量(Cb，Cr)的量化频率系数的熵编码信息。为了自适应地使用方形编码比特流和矩形编码比特流，宏块模式比特可以按照宏块为单元与该比特流相加，而块模式比特可以按照子块为单元与该比特流相加。宏块模式比特表示在对应宏块中是否存在至少一个矩形编码比特流，并且该宏块模式比特可以由1比特组成。

如果宏块模式比特有助于确定使用了矩形编码比特流，则可以通过该宏块模式比特来指示十六个4×4子块是否分别使用了矩形编码比特流。宏块模式比特可以在宏块的比特流的最前部，从而使得图像解码装置能够确定对应宏块的至少一个子块是否按照矩形编码方案来进行编码。

仅当对应子块的比特流中存在一个或更多个非零量化频率系数时，将宏块模式比特***到比特流中，但是如果量化频率系数全部为0，则不***该宏块模式比特。块模式比特可以***在对应块的系数比特后面，以使得在确定是否存在块模式比特之前首先确认相应子块的系数比特。另一方面，对方形编码比特流进行编码，以避免量化系数全部变为零的情况。

图7和图8是例示根据一方面的用于组成宏块的比特流的编码选择处理的流程图。

当接收到所输入的宏块的相应子块时，图像编码装置200以矩形块为单元分解相应字块，随后逐步地进行编码以输出针对各个子块的矩形编码比特流，并且以方形块为单元对所输入的宏块的相应子块进行编码，以输出针对各个子块的方形编码比特流，计算在宏块的比特流包括至少一个矩形编码比特流时的编码开销和在宏块的比特流不包括矩形编码比特流时的编码开销，使用针对该两种情形的编码开销作为基础，在生成和输出宏块的比特流时并入针对各个子块的矩形编码比特流和针对各个子块的方形编码比特流中的至少一个。

为此，图像编码装置200的编码选择器510中的比特流选择单元510对第一临时缓冲器520和第二临时缓冲器530进行初始化(步骤S702)，将从方形编码器210传送来的方形编码比特流存储在第一临时缓冲器520中，并且计算用于方形编码的开销(RDcost1)(步骤S704)，以及计算用于矩形编码的开销(RDcost2)(步骤S706)。

比特流选择单元510在RDcost1与RDcost2之间进行比较，以确定RDcost1是否小于RDcost2(步骤S708)，如果是，则确定方形编码比特流的所有量化频率系数是否为“0”(步骤S710)，或者如果方形编码比特流的至少一个量化频率系数不为0，则将从方形编码器210传送来的方形编码比特流存储在第二临时缓冲器530中(步骤S712)，并且将块模式比特(例如，“0”)***在第二临时缓冲器530中(步骤S714)。

另外，比特流选择单元510在在步骤S708中确定RDcost1大于或等于RDcost2或者RDcost1小于RDcost2但方形编码比特流的所有量化频率系数为“0”之后，将矩形编码比特流存储在第二临时缓冲器530中(步骤S716)，确定矩形编码比特流的所有量化频率系数是否为“0”(步骤S718)，如果是，则制止将块模式比特***在第二临时缓冲器530中，或者，如果矩形编码比特流的至少一个量化频率系数不为“0”，则生成用于表示矩形编码的块模式比特(例如，“1”)，以将该块模式比特***在第二临时缓冲器530中(步骤S720)。

在步骤S714和S720中，将块模式比特***在第二临时缓冲器530中是要标识对存储在第二临时缓冲器530中的比特流进行编码的方式。换句话说，第一临时缓冲器520因其专门存储方形编码比特流而不能***块模式比特，然而因为第二临时缓冲器530按照各个对应子块来选择性地存储方形编码比特流或矩形编码比特流，所以将块模式比特***在第二临时缓冲器530中，以便标识第二临时缓冲器530存储的比特流是方形编码比特流还是矩形编码比特流。

然而，如果对应比特流的所有量化频率系数是“0”，则停止将块模式比特存储在第二临时缓冲器530中，而不管存储在第二临时缓冲器530中的比特流是方形编码比特流还是矩形编码比特流。换句话说，根据这种设置，量化频率系数全部为“0”的方形编码比特流使得第二临时缓冲器530存储矩形编码比特流，并且如果同一矩形编码比特流具有全部为“0”的量化频率系数，则不将块模式比特存储在第二临时缓冲器530中。这是因为比特流的全部“0”的量化频率系数可以标识该比特流为矩形编码比特流，而不需要查询块模式比特。

在该处理中，比特流选择单元510将从方形编码器210和矩形编码器220传送来的子块的比特流选择性地存储在第一临时缓冲器520或第二临时缓冲器530中。

此后，比特流选择单元510确定经历步骤S704到S720的当前块是否为最后一个子块(S722)，如果不是，则重复步骤S704到S720，以将从方形编码器210和矩形编码器220传送来的后续子块的比特流选择性地存储在第一临时缓冲器520或第二临时缓冲器530中。

如果步骤S722确定当前块是最后一个子块，则比特流选择单元510计算第一临时缓冲器的编码开销(RDcosmb1)(步骤S724)，并且计算第二临时缓冲器的编码开销RDcostmb2(步骤S726)。接着，比特流选择单元510通过比较来确定RDcostmb1是否小于RDcostmb2(步骤S728)，如果是，则生成用于表示宏块的比特流中不包含矩形编码比特流的宏块模式比特(即，用于表示宏块的比特流没有矩形编码比特流而是由方形编码比特流组成的诸如“0”的宏块模式比特)，并将所生成的宏块模式比特和存储在第一临时缓冲器520中的比特流存储在比特流缓冲器540中(步骤S730)，而如果RDcostmb1大于或等于RDcostmb2，则比特流选择单元510生成用于表示宏块的比特流中包含至少一个矩形编码比特流的宏块模式比特(即，用于表示宏块的比特流包括对方形编码比特流和矩形编码比特流的选择的诸如“1”的宏块模式比特)，并将所生成的宏块模式比特和存储在第一临时缓冲器520中的比特流存储在比特流缓冲器540中(步骤S732)。比特流缓冲器540中所存储的比特流作为对应宏块的最终比特流被发送或传送至视频解码装置。

图10是示意性地例示根据本公开的一方面的矩形扫描装置的电子构造的框图。

根据本公开的一方面的矩形扫描装置可以通过图4中的矩形扫描单元450来实现。下文中，根据本公开的一方面的矩形扫描装置可以被称作矩形扫描单元450。

根据本公开的一方面的矩形扫描单元450可以包括块组合单元1010、初始扫描图案确定单元1020、扫描单元1030以及扫描图案更新单元1040。

块组合单元1010通过根据按照当前块的预测模式的预测方向对从矩形量化单元440传送来的多个量化矩形残留块进行组合来以方形形式生成量化方形残留块。例如，块组合单元1010可以通过根据对应块模式并根据预测模式的预测方向对所述多个量化残留块进行组合以匹配块尺寸，来以方形形式生成残留块。也就是说，如果所述多个量化残留块是四个4×1块，则块组合单元1010可以通过沿作为预测方向的垂直方向依次组合四个4×1块来生成块尺寸为4×4的量化残留块。

初始扫描图案确定单元1020确定初始扫描图案，以对通过块组合单元1010组合成的量化方形残留块的量化频率系数进行扫描。这时，初始扫描图案确定单元1020根据视频的尺寸来确定初始扫描图案。例如，如果视频的尺寸等于或大于预设尺寸，则初始扫描图案确定单元1020可以通过向方形残留块的量化频率系数和方形残留块的最低系数当中的DC分量的系数赋予优先级并且还通过向DC分量的系数赋予更高优先级来确定初始扫描图案。而且，如果视频的尺寸小于预设尺寸，则初始扫描图案确定单元1020可以通过向方形残留块的量化频率系数和方形残留块的最低系数当中的DC分量的系数赋予相等的优先级来确定初始扫描图案。

扫描单元1030通过根据所确定的扫描图案(通过初始扫描图案确定单元1020确定的初始扫描图案或通过扫描图案更新单元1040确定的更新扫描图案)对量化残留块的量化频率系数进行扫描，来生成量化频率系数串。

扫描图案更新单元1040可以根据在方形残留块的相应位置处出现非零量化频率系数的概率来自适应地更新扫描图案。例如，扫描图案更新单元1040可以通过每当视频编码装置200对当前块进行编码时计算在方形残留块的相应位置处出现非零量化频率系数的概率并按照高概率的顺序确定扫描顺序，来自适应地更新扫描图案。

图11是例示根据本公开的一方面的确定初始扫描图案的方法的流程图。

矩形扫描单元450通过按照块模式单元对所述多个量化矩形残留块进行组合来生成方形残留块(步骤S1110)，并且判定当前块所属于的视频的尺寸是否大于预设尺寸(步骤S1120)，如果是，则通过向方形残留块的量化频率系数和方形残留块的最低系数当中的DC分量的系数赋予优先级并且还通过向DC分量的系数赋予更高优先级来确定初始扫描图案(步骤S1130)，但是如果视频的尺寸小于预设尺寸，则通过向方形残留块的量化频率系数和方形残留块的最低系数当中的DC分量的系数赋予相等的优先级来确定初始扫描图案(步骤S1140)。

图12是例示根据本公开的一优选方面的组合成方形残留块的多个矩形残留块的示例性图示。

在当前块的预测模式是例如垂直模式的图12中，方形残留块的量化频率系数被示出通过以4×4块模式或8×8块模式为单元对多个矩形残留块进行组合来生成。

按照4×4块模式组合的方形残留块通过沿垂直方向对尺寸为4×1的矩形残留块进行组合来获得，而按照8×8块模式组合的方形残留块通过沿垂直方向对尺寸为8×1的矩形残留块进行组合来获得。

因为当前块被划分成多个矩形当前块，并且对相应矩形当前块的残留块进行变换并量化，所以将DC分量的量化频率系数设置在相应量化矩形残留块的左手侧上。因此，将DC分量的系数集中到以方形块为单元组合的量化方形残留块的左手侧中。

图13是例示根据本公开的一方面的确定初始扫描图案的处理的示例性图示。

通常，在方形形状的方形残留块中，非零值频繁地出现在残留块的DC分量的系数中和残留块的最低部分处的系数中。因此，可以通过优选地对具有高的出现非零值的概率的DC分量和最低部分的系数进行扫描来改进编码效率。

另一方面，在方形残留块的量化频率系数中出现非零值的概率根据图像的尺寸而改变。如果图像的尺寸变大，则DC分量的系数中出现非零值的概率变得比在最低部分的系数中出现非零值的概率高。因此，在本公开中，根据图像的尺寸来确定初始扫描图案。

例如，可以预设图像尺寸的阈值，并且如果图像的尺寸等于或大于该预设尺寸，则可以通过向方形残留块的量化频率系数和方形残留块的最低系数当中的DC分量的系数赋予优先级并且还通过向DC分量的系数赋予更高优先级来确定初始扫描图案。而且，如果图像的尺寸小于该预设尺寸，则可以通过向方形残留块的量化频率系数和方形残留块的最低系数当中的DC分量的系数赋予相等的优先级来确定初始扫描图案。

图13例示了在将预设尺寸设置为例如720p时确定的初始扫描图案。如果图像的尺寸被设置为QCIF或CIF，则确定该图像小于预设尺寸，并且可以通过向方形残留块的DC分量的系数和方形残留块的最低系数赋予相等的优先级来确定初始扫描图案。在这种情况下，初始扫描图案被确定为从DC(3)开始按照AC₁(3)、DC(2)、DC(1)、AC₁(2)、AC₁(3)、...、AC₃(0)的顺序，如箭头所示。

另外，如果图像的尺寸为720p或1080p，则确定该图像等于或大于预设尺寸，并且可以通过向DC分量的系数赋予更高优先级来确定初始扫描图案。在这种情况下，初始扫描图案被确定为按照DC(3)、DC(2)、DC(0)、AC₁(3)、AC₁(2)、...、AC₃(0)的顺序，如箭头所示。

图14是例示根据本公开的一方面的更新扫描图案的处理的示例性图示。

如以上参照图13所述，在确定初始扫描图案时，矩形扫描单元450通过根据该初始扫描图案对量化方形残留块的量化频率系数进行扫描来生成量化频率系数串，并且通过在矩形熵编码单元460中对该量化频率系数串进行编码来生成矩形编码比特流。此后，如果在当前块之后输入后续块，则将所输入的块再次分解成多个矩形后续块，对这些矩形后续块的残留块进行变换并量化，并且将多个方形残留块组合成用于后续扫描的方形残留块。每当重复该处理时，不是通过使用初始确定的初始扫描图案而是通过自适应地更新扫描图案来执行扫描。

这时，用于自适应地更新扫描图案的标准可以是在方形残留块的不同位置处出现非零量化频率系数的概率。例如，可以通过每当对图像的所述多个块进行编码时计算出现非零量化频率系数的概率并且按照该概率的降序确定扫描的序列，来自适应地更新扫描图案。

如图14所示，当确定初始扫描图案来用于对对应方形残留块进行扫描以完成编码时，按照重复处理对后续块进行编码，同时每当执行编码达至少一次时计算在量化频率系数的每个位置处出现非零量化频率系数的概率。例如，如所例示的，可以计算在不同位置处出现非零量化频率系数的概率，并且在这种情况下，可以通过按照该概率的降序确定扫描图案来确定更新扫描图案。

如上所述，通过视频编码装置200编码为比特流的图像通过通信网络(诸如互联网、局域无线通信网络、无线LAN网络、还被已知为WiMax网络的WiBro(无线宽带)、移动通信网络等)、或者线缆、诸如USB(通用串行总线)的通信接口等实时或非实时发送至稍后要描述的视频解码装置。接着可以对发送至视频解码装置的视频进行解码，以重建为复制视频。

图15是示意性地例示根据本公开的一方面的视频解码装置1500的电子构造的框图。

根据一方面的视频解码装置1500可以包括预测模式提取单元1510、比特流标识符提取单元1520、解码单元1530、矩形重建单元1540以及方形重建单元1550。

视频解码装置1500可以是PC(个人计算机)、笔记本或膝上型计算机、个人数字助理或PDA、便携式多媒体播放器或PMP、便携式游戏机或PSP、或者移动通信终端、智能手机或这些装置，并且可以表示配备有例如用于与各种装置或通信网络执行通信的诸如调制解调器的通信装置、用于存储用于对视频和相关数据进行解码的各种程序的存储器、以及用于执行这些程序以实现其操作和控制的微处理器等的各种装置。

预测模式提取单元1510从比特流提取由与预测模式相关的编码信息形成的预测模式比特。这里，预测模式信息用于标识由视频编码装置200确定的、当前块的预测模式，并且包括与当前块的预测模式是水平模式、垂直模式或者DC模式相关的信息。

比特流标识符提取单元1520以宏块为单元提取宏块模式比特，并且如果该预测模式比特表示宏块的比特流包含至少一个矩形编码比特流，则在宏块中以各个子块为单元提取块模式比特。另外，比特流标识符提取单元1520使用这样提取的宏块模式比特和块模式比特来控制解码单元1530向矩形重建单元1540和方形重建单元1550中的一个输出量化频率系数串。

例如，如果所提取的宏块模式比特为“0”，则比特流标识符提取单元1520可以确定宏块中的所有子块的比特流是方形编码比特流，以控制解码单元1530向方形重建单元1550输出由对比特流进行解码形成的量化频率系数串。另外，如果该宏块模式比特为“1”，则比特流标识符提取单元1520可以提取针对相应子块的块模式比特，并且使用所提取的块模式比特来确定对应子块的比特流是方形编码比特流还是矩形编码比特流，从而控制解码单元1530向矩形重建单元1540和方形重建单元1550中的经选定的一个输出由对比特流进行解码形成的量化频率系数串。

另外，如果该宏块模式比特为“1”并且从解码单元1530输出的所有量化频率系数为“0”，则比特流标识符提取单元1520不提取块模式比特，而是控制解码单元1530向矩形重建单元1540输出量化频率系数串。

解码单元1530对比特流进行解码，以按照相应子块提取量化频率系数串。解码单元1530在提取并生成量化频率系数时，在比特流标识符提取单元1520的控制下针对矩形重建单元1540和方形重建单元1550中的一个来生成以子块为单元提取的量化频率系数。

矩形重建单元1540对量化频率系数进行操作，以根据由预测模式比特所标识的预测模式来以矩形块为单元持续地重建并输出宏块的子块。具体地说，当从对比特流进行解码和提取来接收到量化频率系数时，矩形重建单元1540通过按照相应子块对系数进行逆扫描来生成量化残留块，以矩形块为单元分解量化残留块，对所述多个量化矩形残留块分段执行逆量化和逆变换，持续地预测与所述多个逆变换矩形残留块分段相对应的多个矩形当前块，以生成多个矩形预测块，以及将所述多个逆变换矩形残留块分段与所述多个矩形预测块相加，以便重建所述多个矩形当前块，并将所述多个矩形当前块组合成图像的重建当前块。

方形重建单元1550通过使用从解码单元1530输出的量化频率系数来根据预测模式比特以方形块为单元重建并输出当前块。

图16是示意性地例示根据本公开的一方面的矩形解码装置的电子构造的框图。

根据一方面的矩形解码装置可以通过图15中的矩形重建单元1540来实现。下文中，根据一方面的矩形解码装置可以被称作矩形重建单元1540。

根据一方面的矩形重建单元1540可以包括矩形逆扫描单元1610、矩形逆量化单元1620、矩形逆变换单元1630、矩形预测单元1640以及矩形加法单元1650。

当从对比特流进行解码和提取来接收到量化频率系数时，矩形逆扫描单元1610对这些系数进行逆扫描以生成量化残留块，并且按照矩形块为单元分解量化残留块，以输出多个量化矩形残留块。

这里，矩形逆扫描单元1610可以通过根据图像的尺寸确定初始逆扫描图案来对量化频率系数进行扫描。例如，如果图像的尺寸大于或等于预设尺寸，则可以通过向量化残留块的量化频率系数和方形残留块的最低系数当中的DC分量的系数赋予优先级并且还通过向DC分量的系数赋予更高优先级来确定初始逆扫描图案。另外，如果图像的尺寸小于预设尺寸，则可以通过向量化残留块的量化频率系数和方形残留块的最低系数当中的DC分量的系数赋予相等的优先级来确定初始逆扫描图案。

另外，矩形逆扫描单元1610可以根据在量化残留块的不同位置处出现非零量化频率系数的概率来自适应地更新逆扫描图案。例如，每当对比特流进行解码时，矩形逆扫描单元1610可以通过计算在量化残留块的不同位置处出现非零量化频率系数的概率并且按照该概率的降序确定逆扫描顺序来自适应地更新逆扫描图案。

矩形逆量化单元1620对所述多个量化矩形残留块进行逆量化。矩形逆变换单元1630将所述多个逆量化矩形残留块逆变换到时域中。

矩形预测单元1640持续地预测与所述多个逆变换矩形残留块相对应的多个矩形当前块，以生成多个矩形预测块。这里，矩形预测单元1640沿根据从比特流提取的预测模式的预测方向持续地预测所述多个矩形当前块。

矩形加法单元1650将所述多个逆变换矩形残留块与所述多个矩形预测块相加，以便重建所述多个矩形当前块，并由此重建视频图像并输出所重建的视频。

当从对比特流进行解码和提取来接收到量化频率系数时，这样描述的矩形重建单元1540通过对这些系数进行逆扫描来生成量化残留块，按照矩形块为单元分解量化残留块，以输出多个量化矩形残留块，对所述多个量化矩形残留块执行逆量化并对所述多个逆量化矩形残留块执行逆变换，持续地预测与所述多个逆变换矩形残留块分段相对应的多个矩形当前块，以生成多个矩形预测块，以及将所述多个逆变换矩形残留块与所述多个矩形预测块相加，以便重建所述多个矩形当前块并将它们组合为重建图像。

图17是示意性地例示根据本公开的一方面的方形解码装置的电子构造的框图。

根据一方面的方形解码装置可以通过方形重建单元1550来实现。下文中，根据一方面的方形解码装置可以被称作方形重建单元1550。

方形重建单元1550可以包括方形逆扫描单元1710、方形逆量化单元1720、方形逆变换单元1730、方形预测单元1740以及方形加法单元1750。

方形逆扫描单元1710对从解码单元1520输出的量化频率系数串进行逆扫描，以生成量化方形残留块。这时，方形逆扫描单元1710可以在编码的处理中自适应地更新扫描图案。

方形逆量化单元1720针对量化方形残留块执行逆量化。方形逆变换单元1730针对逆量化方形残留块执行到时域的逆变换。

方形预测单元1740预测与逆变换方形残留块相对应的方形当前块，以生成方形预测块。这里，方形预测单元1740沿根据从比特流提取的预测模式的预测方向预测方形当前块。

方形加法单元1750将逆变换方形残留块与方形预测块相加，以重建方形当前块，从而重建视频图像并输出所重建的视频。

图18是例示根据本公开的一方面的视频解码方法的流程图。

已经通过通信网络或线缆接收并存储视频的比特流的视频解码装置1500被设置为通过以下步骤来根据用户的选择或运行程序的算法重建视频：从比特流提取宏块模式比特和块模式比特，从该比特流提取预测模式比特，对该比特流进行解码以按照相应子块提取量化频率系数，以及基于所提取的宏块模式比特和所提取的块模式比特，利用按照相应子块提取的量化频率系数来根据由预测模式比特所标识的预测模式以矩形块为单元持续地重建并输出宏块的子块，或者利用按照相应子块提取的量化频率系数来根据由预测模式比特所标识的预测模式以方形块为单元重建并输出宏块的子块。

为此，视频解码装置1500从比特流提取宏块模式比特(步骤S1802)，从该比特流提取预测模式比特(步骤S1804)，以及对该比特流进行解码以提取量化频率系数(步骤S1806)。在步骤S1802和S1804中用于提取宏块模式比特和预测模式波特的比特流属于要解码的当前宏块，而在步骤S1806中经受解码以提取量化频率系数的比特流属于宏块或当前块内要解码的当前子块。

已经按照相应子块提取量化频率系数的视频解码装置1500基于在步骤S1802中提取的宏块模式比特来进行操作，以使用在步骤S1806中提取的量化频率系数来以矩形块为单元持续地重建和输出当前块，或者使用这些量化频率系数来以方形块为单元重建和输出当前块。

例如，视频解码装置1500确认宏块模式比特是否值为“0”(S1808)，如果是，则确定宏块中的全部子块的比特流是方形比特流，并使用量化频率系数来以方形块为单元重建和输出当前块(S1810)。

另外，视频解码装置1500响应于判定宏块模式比特不是“0”而是“1”的步骤S1808来确定当前块的量化频率系数是否全部为“0”(S1812)，并且如果这些量化频率系数中除至少一个以外的全部量化频率系数不为“0”，则从比特流提取块模式比特(S1814)，并且确定该块模式比特是否为“1”(S1816)。

如果步骤S1816判定块模式比特不是“1”而是“0”，则视频解码装置1500标识当前块比特流是方形编码比特流，并且进行至步骤S1810，以使用量化频率系数来以方形块为单元重建并输出当前块。如果步骤S1816判定块模式比特为“1”，则视频解码装置1500确定当前块比特流是矩形编码比特流，并使用量化频率系数来以矩形块为单元重建并输出当前块(S1818)。

如果步骤S1812判定量化频率系数全部为“0”，则取代采取步骤S1814和S1816来提取块模式比特并由此在以方形块为单元重建与以矩形块为单元重建之间进行选择，视频解码装置1500绕过提取块模式比特进行至步骤S1818，以使用量化频率系数来以矩形块为单元重建和输出当前块。

已经重建宏块或当前块内要解码的当前子块的视频解码装置1500确定所重建的当前块是否为宏块内的最后一个子块(S1820)，如果不是，则将下一个子块设置为当前块，并进行至步骤S1804并且通过步骤S1818，直到当前块变为宏块内的最后一个子块为止，由此针对宏块内的全部子块执行解码处理。

图19是例示根据本公开的一方面的按照初始逆扫描图案的逆扫描处理的示例性图示。

视频解码装置1500根据图像的尺寸来确定初始逆扫描图案，并且通过根据初始逆扫描图案对量化频率系数串进行逆扫描来配置量化残留块。图19例示了在量化频率系数串为“0、-1、2、0、4、0、0、0、...”、图像尺寸为CIF、块模式尺寸为4×4并且预测模式为垂直模式的情况下，根据所确定的初始逆扫描图案来对量化频率系数串进行逆扫描的处理。

按照图像尺寸来确定初始逆扫描图案与如上参照图13所述的确定初始扫描图案相似。换句话说，在方形残留块的量化频率系数中出现非零值的概率根据图像尺寸而改变，如果视频的尺寸变大，则DC分量的系数中出现非零值的概率变得比最低部分的系数中出现非零值的概率高，从而根据图像的尺寸来特征性地确定初始扫描图案。

例如，利用针对比较图像预设的阈值尺寸，可以通过按照赋予量化残留块的量化频率系数的相应位置当中的与DC分量的系数相对应的位置以及赋予与量化残留块的最低系数相对应的位置的优先级设置从量化频率系数串持续读取的量化频率系数，并且还通过向DC分量的系数的位置赋予更高优先级，来按照响应于尺寸大于或等于预设尺寸的图像的方式确定初始逆扫描图案。另外，如果图像小于预设尺寸，则可以通过向与量化残留块的量化频率系数相对应的各个位置当中的与DC分量的系数相对应的位置并且向与方形残留块的最低系数相对应的位置赋予相等的优先级，来确定初始逆扫描图案。

在图19的示例中，如果预设尺寸为720p而图像的尺寸为CIF(这意味着图像小于预设尺寸)，则可以利用赋予与DC分量的系数相对应的位置和与最低系数相对应的位置的相等的优先级来执行逆扫描，以便获得如所示的量化残留块。

而且，当组成进行了逆扫描并接着量化的残留块时，沿作为当前块的预测模式的预测方向的垂直方向将该残留块分解成多个分段，以生成多个矩形残留块分段。

图20是例示根据本公开的一方面的更新逆扫描图案的处理的示例性图示。

与在视频编码装置200中更新扫描图案相似，视频解码装置1500也可以更新逆扫描图案。换句话说，不是利用初始确定的逆扫描图案而是利用自适应地更新的逆扫描图案来在每次块解码时执行逆扫描。

这时，更新逆扫描图案的标准与更新扫描图案的标准相似。也就是说，该标准可以是在量化残留块的各个位置处出现非零量化频率系数的概率。例如，在针对多个图像块进行每次解码时，可以通过计算在量化残留块的相应位置处出现非零量化频率系数的概率并且按照该概率的降序确定逆扫描，来自适应地更新逆扫描图案。

图21是例示根据一方面的预测所分解的矩形当前块的处理的图示。

如图21所示，用于预测矩形当前块的是所重建的相邻块的相邻像素当中的位置最靠近矩形当前块像素的、沿预测方向选择的整数像素，或者如果所重建的整数像素的半像素最靠近当前块像素，则所重建的整数像素首先***值，接着将所插值的半像素用于该预测。

如上所述，根据矩形当前块预测矩形当前块分段可以被称作一维子块预测。换句话说，当与以二维方式预测诸如4×4块的方形块相比时，诸如1×4块的矩形块是以一维方式预测的。另外，如所述通过一维预测或二维预测的预测块分别通过一维变换或二维变换来进行变换，因此，本公开的一方面在对图像块进行编码时，可以在一维变换与二维变换之间自适应地进行选择。

图22是例示根据另一方面的利用半像素来预测矩形块的处理的图示。

以下例示了通过利用图21所示的第5个预测来预测当前块并且通过步骤1到步骤4来说明根据当前块预测相应矩形块分段的处理。

在步骤1中，作为已经在当前块(4×4块)之前通过编码和解码重建的相邻块(4×4块)的整数像素的相邻像素(M、A、B、C、D)被用于在半像素位置处生成像素，利用在半像素的位置处生成的像素来预测第一矩形当前块像素(即，方形当前块的第一行像素(P0、P1、P2、P3))。针对所预测的第一行像素(P0、P1、P2、P3)，它们经历一维整数变换和量化处理以及该一维整数变换和量化处理的逆处理(即，逆量化处理和逆变换预测)，来生成针对第一行的重建像素(R0、R1、R2、R3)。作为附加参照，因为涉及如所述执行一维整数变换和量化处理以及该一维整数变换和量化处理的逆处理的一维编码仅准许通过将四个矩形块组合成诸如4×4块的方形块来执行熵编码处理，所以不涉及与编码的原因和效果相关的因果问题。

在步骤2中，通过使用所重建的第一矩形当前块像素(即，方形当前块的第一行上的重建像素(R0、R1、R2、R3)和作为先前重建的相邻块的整数像素的相邻像素(I))，生成方形当前块的第一行半像素；通过使用所生成的第一行半像素，预测第二矩形当前块像素(即，方形当前块的第二行像素(P4、P5、P6、P7))；并且针对所预测的第二行像素(P4、P5、P6、P7)，执行一维整数变换和量化处理以及该一维整数变换和量化处理的逆处理来生成第二行上的重建像素(R4、R5、R6、R7)。

在步骤3中，通过使用所重建的第二矩形当前块像素(即，方形当前块的第二行上的重建像素(R4、R5、R6、R7)和作为先前重建的相邻块的整数像素的相邻像素(J))，生成方形当前块的第二行半像素；通过使用所生成的第二行半像素，预测第三矩形当前块像素(即，方形当前块的第三行像素(P8、P9、P10、P11))；并且针对所预测的第三行像素(P8、P9、P10、P11)，执行一维整数变换和量化处理以及该一维整数变换和量化处理的逆处理来生成第三行上的重建像素(R8、R9、R10、R11)。

在步骤4中，通过使用所重建的第三矩形当前块像素(即，方形当前块的第三行上的重建像素(R8、R9、R10、R11)和作为先前重建的相邻块的整数像素的相邻像素(K))，生成方形当前块的第三行半像素；通过使用所生成的第三行半像素，预测第四矩形当前块像素(即，方形当前块的第四行像素(P12、P13、P14、P15))；并且针对所预测的第四行像素(P12、P13、P14、P15)，执行一维整数变换和量化处理以及该一维整数变换和量化处理的逆处理来生成第四行上的重建像素(R12、R13、R14、R15)。

如上所述，视频编码装置200的矩形预测单元492和视频解码装置1500的矩形预测单元1640按照持续方式预测当前块的所述多个矩形当前块分段，或者通过逐步地使用先前重建的编码矩形块像素来进行矩形当前块分段的非同时预测。

在以上描述中，尽管本公开的多个方面的全部组件已经被解释为组装或可操作地连接为单元，但是本公开并不旨在将其本身限于这些方面。相反，在本公开的目标范围内，可以选择性地并且可操作地按照任何数量组合相应组件。各个组件本身还可以通过硬件来实现，同时可以将相应多个组件选择性地部分地或者作为整体进行组合，以及通过具有用于执行硬件等效物的功能的程序模块的计算机程序来实现。本领域技术人员可以容易地推断出用于构成这种程序的代码或代码段。该计算机程序可以存储在计算机可读介质中，该计算机程序在操作时可以实现本公开的方面。该计算机可读介质可以包括磁记录介质、光学记录介质以及载波介质。

另外，除非相反地进行了明确限定，否则，类似“包括(include)”、“包含(comprise)”和“具有(have)”的术语应当缺省地解释为包含的或者开放的，而不是排它的或封闭的。除非另外进行了限定，否则，技术的、科学的或其它方面的所有术语都与如本领域技术人员所理解的含义一致。除非本公开对它们进行了明确限定，否则，在词典中找到的普通术语应当在相关技术著作的背景下进行理解，而不应当以过于理想化或不实用的方式来理解。

尽管已经出于例示性的目的对本公开的示例性方面进行了描述，但是本领域技术人员应当清楚，在不脱离本公开的实质特征的情况下，各种修改、添加和替换是可行的。因此，没有出于限制性的目的来对本公开的示例性方面进行描述。因此，本公开的范围不是通过上述方面而是通过权利要求书及其等效物来限定。

工业实用性

如上所述，本公开对于在对图像进行编码或解码时用于针对更准确的预测来选择性地确定编码方案的视频压缩技术的领域中的应用非常有用，从而改进了视频编码效率。

相关申请的交叉引用

在适用的情况下，本申请要求保护2009年6月26日在韩国提交的专利申请No.10-2009-0057907在35U.S.C§119(a)下的优先权，通过引用将其全部内容并入本文。另外，该非临时申请按照与基于该韩国专利申请相同的理由要求保护在除美国以外的国家的优先权，通过引用将其全部内容并入本文。

Claims (18)

1.一种用于以宏块为单元来对视频进行编码的装置，该装置包括：

矩形编码器，该矩形编码器响应于所述宏块的各个子块的输入来将所述各个子块分解成矩形块，并且对矩形块持续的进行编码，以输出所述各个子块的矩形编码比特流；

方形编码器，该方形编码器响应于所述宏块的各个子块的输入来以方形块为单元对所述各个子块进行编码，以输出所述各个子块的方形编码比特流；以及

编码选择器，该编码选择器使用对所述各个子块的方形编码比特流和所述各个子块的矩形编码比特流中一个以上的比特流生成并输出所述宏块的比特流，所述宏块的比特流生成的根据是在所述宏块的比特流包括至少一个矩形编码比特流的情况下用于编码的开销和在所述宏块的所述比特流不包括所述矩形编码比特流的情况下用于编码的开销，

其中，所述矩形块的尺寸根据预测模式由预测方向来确定，并且所述矩形块是以一维方式预测的。

2.根据权利要求1所述的装置，其中，所述编码选择器包括：

第一临时缓冲器、第二临时缓冲器和比特流缓冲器；以及

比特流选择单元，该比特流选择单元响应于所述各个子块的所述方形编码比特流和所述各个子块的所述矩形编码比特流的输入来将所述各个子块的所述方形编码比特流存储在所述第一临时缓冲器中，并且将在所述各个子块的所述方形编码比特流与所述各个子块的所述矩形编码比特流之间的选择存储在所述第二临时缓冲器中。

3.根据权利要求2所述的装置，其中，所述比特流选择单元按照相应子块来计算方形编码开销和矩形编码开销，并且如果所述方形编码比特流具有至少一个非零值量化频率系数，则将所述方形编码比特流存储在所述第二临时缓冲器中。

4.根据权利要求3所述的装置，其中，所述比特流选择单元生成用于表示方形编码的块模式比特，并将所述块模式比特存储在所述第二临时缓冲器中。

5.根据权利要求2所述的装置，其中，所述比特流选择单元按照相应子块来计算方形编码开销和矩形编码开销，并且如果所述方形编码开销高于或等于所述矩形编码开销，或者如果所述方形编码比特流具有全部为零值的量化频率系数，则将所述矩形编码比特流存储在所述第二临时缓冲器中。

6.根据权利要求5所述的装置，其中，所述比特流选择单元响应于所述矩形编码比特流的非零的至少一个量化频率系数来进行操作，以生成用于表示矩形编码的块模式比特，并将所述块模式比特存储在所述第二临时缓冲器中。

7.根据权利要求2所述的装置，其中，所述比特流选择单元计算所述第一临时缓冲器的编码开销和所述第二临时缓冲器的编码开销，并且如果所述第一临时缓冲器的所述编码开销低于所述第二临时缓冲器的所述编码开销，则将存储在所述第一临时缓冲器中的比特流作为所述宏块的所述比特流存储在所述比特流缓冲器中。

8.根据权利要求7所述的装置，其中，所述比特流选择单元生成用于表示所述宏块的所述比特流不包括所述矩形编码比特流的宏块模式比特，并且将所述宏块模式比特存储在所述比特流缓冲器中。

9.根据权利要求2所述的装置，其中，所述比特流选择单元计算所述第一临时缓冲器的编码开销和所述第二临时缓冲器的编码开销，并且如果所述第一临时缓冲器的所述编码开销高于或等于所述第二临时缓冲器的所述编码开销，则将存储在所述第二临时缓冲器中的比特流作为所述宏块的所述比特流存储在所述比特流缓冲器中。

10.根据权利要求9所述的装置，其中，所述比特流选择单元生成用于表示所述宏块的所述比特流包括至少一个矩形编码比特流的宏块模式比特，并且将所述宏块模式比特存储在所述比特流缓冲器中。

11.一种用于以宏块为单元来对视频进行解码的方法，该方法包括以下步骤：

如果输入所述宏块的各个子块，则将所述各个子块分解成矩形块并连续地对矩形块进行编码，以输出所述各个子块的矩形编码比特流；

如果输入所述宏块的各个子块，则以方形块为单元来对所述各个子块进行编码，以输出所述各个子块的方形编码比特流；

计算所述宏块的比特流包括至少一个矩形编码比特流时的编码开销；

计算所述宏块的所述比特流不包括所述矩形编码比特流时的编码开销；以及

根据包含所述矩形编码比特流的编码开销和不包含所述矩形编码比特流的编码开销，使用所述各个子块的所述方形编码比特流和所述各个子块的所述矩形编码比特流中的一个以上生成并输出所述宏块的所述比特流，

其中，所述矩形块的尺寸根据预测模式由预测方向来确定，并且所述矩形块是以一维方式预测的。

12.一种用于以宏块为单元来对视频进行解码的装置，该装置包括：

预测模式提取单元，该预测模式提取单元用于从比特流提取预测模式比特，所述预测模式比特指示预测模式；

解码单元，该解码单元用于对所述比特流进行解码，以按照相应子块来提取量化频率系数；

矩形重建单元，该矩形重建单元用于通过使用所述量化频率系数来根据由所述预测模式比特标识的所述预测模式以矩形块为单元持续地重建所述视频的当前块；

方形重建单元，该方形重建单元用于通过成串地使用所述量化频率系数来根据由所述预测模式比特标识的所述预测模式以方形块为单元重建并输出所述当前块；以及

比特流标识符提取单元，该比特流标识符提取单元用于从所述比特流提取宏块模式比特和块模式比特，并且基于所提取的宏块模式比特和所提取的块模式比特来控制所述解码单元按照所述相应子块向所述矩形重建单元或者向所述方形重建单元输出所述量化频率系数，

其中，所述矩形块的尺寸根据所述预测模式由预测方向来确定，并且所述矩形块是以一维方式预测的。

13.根据权利要求12所述的装置，其中，所述比特流标识符提取单元响应于所提取的、表示所述比特流不包括矩形编码比特流的所述宏块模式比特来控制所述解码单元将所述量化频率系数输出至所述方形重建单元。

14.根据权利要求12所述的装置，其中，如果所提取的宏块模式比特表示所述比特流包括至少一个矩形编码比特流，并且如果已经按照所述相应子块提取的所述量化频率系数全部为零，则所述比特流标识符提取单元控制所述解码单元将按照所述相应子块提取的所述量化频率系数输出至所述矩形重建单元。

15.根据权利要求12所述的装置，其中，如果所提取的宏块模式比特表示所述比特流包括至少一个矩形编码比特流，并且如果已经按照所述相应子块提取的所述量化频率系数中的至少一个不为零，则所述比特流标识符提取单元仅提取所述块模式比特。

16.根据权利要求12所述的装置，其中，如果所提取的宏块模式比特表示所述比特流包括至少一个矩形编码比特流，如果已经按照所述相应子块提取的所述量化频率系数全部不为零，并且如果所述块模式比特表示矩形编码，则所述比特流标识符提取单元控制所述解码单元将按照所述相应子块提取的所述量化频率系数输出至所述矩形重建单元。

17.根据权利要求12所述的装置，其中，如果所提取的宏块模式比特表示所述比特流包括至少一个矩形编码比特流，如果已经按照所述相应子块提取的所述量化频率系数全部不为零，并且如果所述块模式比特表示方形编码，则所述比特流标识符提取单元控制所述解码单元将按照所述相应子块提取的所述量化频率系数输出至所述方形重建单元。

18.一种用于以宏块为单元来对视频进行解码的方法，该方法包括以下步骤：

从比特流提取宏块模式比特和块模式比特；

从所述比特流提取预测模式比特，所述预测模式比特指示预测模式；

对所述比特流进行解码，以按照相应子块提取量化频率系数；以及

基于已经提取的所述宏块模式比特和所述块模式比特，利用已经按照所述相应子块提取的所述量化频率系数，根据由所述预测模式比特标识的所述预测模式以矩形块为单元持续地重建并输出所述宏块的子块，或者利用已经按照所述相应子块提取的所述量化频率系数来根据由所述预测模式比特标识的所述预测模式以方形块为单元重建并输出所述宏块的所述子块，

其中，所述矩形块的尺寸根据所述预测模式由预测方向来确定，并且所述矩形块是以一维方式预测的。