CN102388610B - 使用低复杂度频率变换的视频编码方法和设备以及视频解码方法和设备 - Google Patents

Abstract

一种使用低复杂度变换的视频编码方法，所述方法包括：按预定数据单元接收输入画面的图像数据，通过对图像数据执行低复杂度变换来产生所述预定数据单元的系数，并输出产生的系数。所述低复杂度变换包括以下变换中的至少一种：使用针对预定频域的变换基底的选择性的频域变换、通过分别选择和应用针对从图像数据划分的多个子数据单元的变换基底来执行变换的子数据单元变换、以及使用作为长方矩阵和正方矩阵的组合的按比例缩减长方变换基底的按比例缩减变换。

Description

使用低复杂度频率变换的视频编码方法和设备以及视频解码方法和设备

技术领域

本发明的一个或多个方面涉及对视频进行编码和解码。

背景技术

随着用于再现和存储高清晰度或高质量的视频内容的硬件正被开发和提供，对于有效地对高清晰度或高质量的视频内容进行编码或解码的视频编解码器的需求正在增长。在视频编解码器的压缩技术中，变换和反变换是必不可少的技术。

在传统的视频编解码器中，根据基于具有预定大小的宏块(marcoblock)的有限编码方法对视频进行编码。

发明内容

技术问题

本发明的一个或多个方面涉及通过执行具有低复杂度计算的变换对视频进行编码和解码。

技术方案

根据本发明的一方面，提供了一种使用低复杂度变换的视频编码方法，所述方法包括：按预定数据单元接收输入画面的图像数据，通过对图像数据执行低复杂度变换来产生所述预定数据单元的系数，并输出产生的系数。所述低复杂度变换包括以下变换中的至少一种：使用针对预定频域的变换基底的选择性的频域变换、通过分别选择和应用针对从图像数据划分的多个子数据单元的变换基底来执行变换的子数据单元变换、以及使用通过对长方矩阵和正方矩阵进行组合并对组合的结果进行按比例缩减而获得的长方变换基底的按比例缩减变换。

在执行选择性的频域变换期间，可通过从正方变换中选择针对与预定频段、预定大小的系数块或预定系数位置相关的当前频域的变换基底，并将选择的变换基底应用于图像数据来执行变换，以产生预定频域的系数。

在执行选择性的频域变换的步骤中：可单独选择变换基底的垂直频段和水平频段。

在执行选择性的频域变换期间，可通过从正方变换基底中选择排除预定频段而选择的变换基底并将选择的变换基底应用于图像数据，来执行变换以产生除预定频域的系数以外的系数。产生选择性的频域系数的步骤可包括：选择与每个预定频段对应的水平频段变换基底和垂直频段变换基底，以便可根据任意频段来分类通过对图像数据执行变换而获得的系数。

在执行选择性的频域变换的步骤中，可单独选择变换基底的垂直频段和水平频段。在产生选择性的频域系数期间，可针对变换基底大小、变换的类型以及变换基底矩阵因子中的至少一个，单独选择变换基底的垂直频段和水平频段。

执行子数据单元变换的步骤可包括组合与子数据单元对应的系数块。输出系数的步骤可包括：对与子数据单元对应的系数块执行变换，并输出执行的结果。

在执行按比例缩减变换期间，如果第一大小小于第二大小并且图像数据的水平大小和垂直大小等于第二大小，则可使用水平大小和垂直大小分别等于第一大小和第二大小的长方变换基底，其中，所述长方变换基底是水平大小和垂直大小等于第一大小的变换基底矩阵与水平大小和垂直大小分别等于第一大小和第二大小的按比例缩减空间矩阵的组合。

在执行按比例缩减变换期间，如果水平大小和垂直大小等于第一大小的变换基底矩阵，则通过单独选择针对子数据单元的变换基底，执行变换来获得子数据单元的系数，并对与子数据单元对应的系数块执行变换。

在执行按比例缩减变换期间，如果第一大小小于第二大小并且图像数据的水平大小和垂直大小等于第二大小，则可使用水平大小和垂直大小分别等于第一大小和第二大小的长方变换基底，其中，所述长方变换基底是水平大小和垂直大小等于第二大小的变换基底矩阵与这样的矩阵的组合，所述矩阵被用于选择预定频域并且所述矩阵的水平大小和垂直大小分别等于第一大小和第二大小。

在执行按比例缩减变换期间，如果第一大小小于第二大小并且图像数据的水平大小和垂直大小等于第二大小，则可使用变换基底矩阵来执行变换，图像数据的水平大小和垂直大小等于第二大小，可量化执行的结果并且可在高频分量为“0”时对图像数据选择性地执行按比例缩减变换。

视频编码方法还可包括：对关于选择的变换的类型和选择的变换的细节的信息进行编码，以执行低复杂度变换。

视频编码方法还可包括按这样的方式改变系数扫描顺序：对通过低复杂度变换产生的按比例缩减的系数块的系数进行扫描和编码。

改变系数扫描顺序的步骤可包括按这样的方式改变系数扫描顺序：扫描产生的预定大小的系数块的系数。

改变系数扫描顺序的步骤可包括按这样的方式改变系数扫描顺序的改变：可单独扫描产生的系数块，或者可连续扫描产生的系数块的系数。

视频编码方法还可包括：对关于系数块大小信息的信息进行编码，以执行系数扫描。

可以以产生的系数块为单位并根据频率特性改变系数扫描顺序的改变。或者可按这样的顺序改变系数扫描顺序的改变：可仅扫描图像数据的全部系数中产生的系数，或仅扫描图像数据的全部系数中的排除与预定频段对应的系数块而产生的系数块。

视频编码方法还可包括：对指示包括产生的系数的系数块是否包括除“0”以外的系数的编码的系数块模式(CCBP)信息进行设置和编码。可按这样的方式改变系数扫描顺序：可基于CCBP信息仅扫描包括除“0”以外的系数的系数块。

视频编码方法还可包括：将输入画面划分为预定的最大编码单元；通过基于针对根据深度的至少一个更深的编码单元的至少一个变换单元来执行变换，通过以区域为单位对所述最大编码单元进行编码，确定关于与用于输出编码结果的至少一个编码深度对应的编码单元的编码模式，其中，随着深度加深，从所述最大编码单元分层地分割所述区域，其中，所述编码模式包括关于所述至少一个编码深度和变换单元大小的信息。接收图像数据的步骤可包括：接收所述至少一个变换单元的残差分量。

根据本发明的另一方面，提供了一种使用作为一种类型的低复杂度变换的选择性的频域变换的视频编码方法，所述方法包括：按预定数据单元接收输入画面的图像数据，通过将针对预定频域的变换基底应用于图像数据，来执行变换以产生选择性的频域系数，并输出产生的系数。

根据本发明的另一方面，提供了一种使用作为一种类型的低复杂度变换的子数据单元变换的视频编码方法，所述方法包括：按预定数据单元接收输入画面的图像数据，将图像数据划分为多个子数据单元，通过单独选择和使用针对子数据单元的变换基底，执行变换以产生子数据单元的系数，并输出产生的系数。

根据本发明的另一方面，提供了一种使用作为一种类型的低复杂度变换的按比例缩减变换的视频编码方法，所述方法包括：按预定数据单元接收输入画面的图像数据，通过应用作为长方矩阵和正方矩阵的组合的长方变换基底，执行变换以产生图像数据的系数，并输出产生的系数。

根据本发明的另一方面，提供了一种通过使用低复杂度变换对视频进行解码的方法，所述方法包括：接收画面的预定数据单元的系数；通过对接收的系数执行低复杂度反变换来产生按预定数据单元的图像数据，其中，所述低复杂度反变换包括以下反变换中的至少一种：使用针对预定频域的变换基底的选择性的频域反变换、通过分别选择和应用针对从图像数据划分的多个子数据单元的变换基底来执行反变换的子数据单元反变换、以及使用作为长方矩阵和正方矩阵的组合的按比例缩减长方变换基底的按比例缩减反变换；从图像数据重构产生的画面。

根据本发明的另一方面，提供了一种使用作为一种类型的低复杂度反变换的选择性的频域反变换的视频解码方法，所述方法包括：接收画面的预定数据单元的系数；通过将针对预定频域的变换基底应用于所述系数，执行反变换以产生按预定数据单元的图像数据；从图像数据重构画面。

根据本发明的另一方面，提供了一种使用作为一种类型的低复杂度反变换的子数据单元反变换的视频解码方法，所述方法包括：接收画面的预定数据单元的系数；从接收的系数产生预定数据单元的系数；通过单独选择变换基底并将所述变换基底应用于产生的系数，执行反变换以产生按预定数据单元的图像数据；从图像数据重构画面。

根据本发明的另一方面，提供了一种使用作为一种类型的低复杂度反变换的按比例缩减反变换的视频解码方法，所述方法包括：接收画面的预定数据单元的系数；通过使用作为长方矩阵和正方矩阵的组合的长方变换基底对接收的系数执行反变换，产生按预定数据单元的图像数据；从图像数据重构画面。

根据本发明的另一方面，提供了一种通过使用低复杂度变换对视频进行编码的设备，所述设备包括：图像数据接收器，以预定数据单元为单位接收输入画面的图像数据；低复杂度变换单元，通过执行低复杂度变换来产生所述预定数据单元的系数，其中，所述低复杂度变换包括以下变换中的至少一种：将针对预定频域的变换基底应用于图像数据的选择性的频域变换、通过分别选择和应用针对从图像数据划分的多个子数据单元的变换基底来执行变换的子数据单元变换、以及使用通过对长方矩阵和正方矩阵进行组合并对组合的结果进行按比例缩减而获得的按比例缩减长方变换基底的按比例缩减变换；变换系数输出单元，用于输出针对输入画面的预定数据单元而产生的变换系数。

根据本发明的另一方面，提供了一种使用作为一种类型的低复杂度反变换的选择性的频域变换的视频编码设备，所述设备包括：图像数据接收器，按预定数据单元接收输入画面的图像数据；选择性的频域变换器，通过将针对预定频域的变换基底应用于图像数据，执行变换以产生选择性的频域系数；以及选择性的频域系数输出单元，用于输出产生的系数。

根据本发明的另一方面，提供了一种使用作为一种类型的低复杂度反变换的子数据单元变换的视频编码设备，所述设备包括：图像数据接收器，按预定数据单元接收输入画面的图像数据；子数据单元划分单元，将图像数据划分为多个子数据单元；子数据单元变换器，通过单独地选择和使用针对子数据单元的变换基底，执行变换以产生子数据单元的系数；以及子数据单元系数输出单元，用于输出产生的系数。

根据本发明的另一方面，提供了一种使用作为一种类型的低复杂度反变换的按比例缩减变换的视频编码设备，所述设备包括：图像数据接收器，按预定数据单元接收输入画面的图像数据；按比例缩减变换器，通过应用作为长方矩阵和正方矩阵的组合的长方变换基底，执行变换以产生图像数据的系数；以及按比例缩减变换系数输出单元，用于输出产生的系数。

根据本发明的另一方面，提供了一种44。

根据本发明的另一方面，提供了一种使用作为一种类型的低复杂度反变换的选择性的频域反变换的视频解码设备，所述设备包括：系数接收器，接收画面的预定数据单元的系数；选择性的频域反变换器，通过将针对预定频域的变换基底应用于所述系数，执行反变换以产生按预定数据单元的图像数据；画面重构单元，从图像数据重构画面。

根据本发明的另一方面，提供了一种使用作为一种类型的低复杂度反变换的子数据单元反变换的视频解码设备，所述设备包括：系数接收器，接收画面的预定数据单元的系数；子数据单元系数产生器，从接收的系数产生预定数据单元的系数；子数据单元反变换器，通过单独选择变换基底并将所述变换基底应用于产生的系数，执行反变换以产生按预定数据单元的图像数据；画面重构单元，从图像数据重构画面。

根据本发明的另一方面，提供了一种使用作为一种类型的低复杂度反变换的按比例缩减反变换的视频解码设备，所述设备包括：系数接收器，接收画面的预定数据单元的系数；按比例缩减频率反变换器，通过使用作为长方矩阵和正方矩阵的组合的长方变换基底，对接收的系数执行反变换以产生按预定数据单元的图像数据；画面重构单元，从图像数据重构画面。

根据本发明的另一方面，提供了一种其上记录有计算机程序的计算机可读记录介质，所述计算机程序用于执行使用低复杂度变换的视频编码方法。

根据本发明的另一方面，提供了一种其上记录有计算机程序的计算机可读记录介质，所述计算机程序用于执行使用作为一种类型的低复杂度变换的选择性的频域变换的视频编码方法。

根据本发明的另一方面，提供了一种其上记录有计算机程序的计算机可读记录介质，所述计算机程序用于执行使用作为一种类型的低复杂度变换的子数据单元变换的视频编码方法。

根据本发明的另一方面，提供了一种其上记录有计算机程序的计算机可读记录介质，所述计算机程序用于执行使用作为一种类型的低复杂度变换的按比例缩减变换的视频编码方法。

根据本发明的另一方面，提供了一种其上记录有计算机程序的计算机可读记录介质，所述计算机程序执行使用低复杂度反变换的视频解码方法。

根据本发明的另一方面，提供了一种其上记录有计算机程序的计算机可读记录介质，所述计算机程序用于执行使用作为一种类型的低复杂度反变换的选择性的频域反变换的视频解码方法。

根据本发明的另一方面，提供了一种其上记录有计算机程序的计算机可读记录介质，所述计算机程序用于执行使用作为一种类型的低复杂度反变换的子数据单元反变换的视频解码方法。

根据本发明的另一方面，提供了一种其上记录有计算机程序的计算机可读记录介质，所述计算机程序用于执行使用作为一种类型的低复杂度反变换的按比例缩减反变换的视频解码方法。

有益效果

根据本发明的实施例，在基于每个图像区域的分层数据单元的使用低复杂变换的视频编码方法中，通过使用预定频段、子数据单元或按比例缩减变换基底，按编码单元和变换单元对数据执行变换，所述编码单元和变换单元的大小基于图像大小和图像区域而被分层确定。因此，需要相对小的比特率来发送比特流。另外，根据本发明的实施例，在基于每个图像区域的分层数据单元的使用低复杂度反变换的视频解码方法和设备中，通过使用预定频段、子数据单元或按比例缩减变换基底，仅对接收的系数执行反变换。因此，解码处理期间的计算量相对小。

附图说明

图1是根据本发明的实施例的使用选择性的频域变换来执行低复杂度变换的视频编码设备的框图。

图2是根据本发明的实施例的使用选择性的频域反变换来执行低复杂度反变换的视频解码设备的框图。

图3是示出根据本发明的实施例的执行低复杂度变换的处理的框图。

图4是示出根据本发明的实施例的执行低复杂度反变换的处理的框图。

图5示出根据本发明的实施例的对变换基底进行按比例缩减的方法。

图6示出根据本发明的实施例的选择变换基底以选择性地产生变换系数的方法。

图7是将使用一般变换基底时的变换系数与使用根据本发明的实施例的按比例缩减变换基底时的变换系数相比较的示图。

图8示出根据本发明的另一实施例的根据频段选择变换基底以选择性地产生变换系数的方法。

图9是将使用一般变换基底时的变换系数与使用根据本发明的实施例的基于频段选择的变换基底时的变换系数相比较的示图。

图10是示出根据本发明的实施例的由接收选择性的频域系数的解码侧执行的反变换的流程图。

图11示出根据本发明的实施例的用于根据频段将8×8的数据单元划分为四个相等块的变换系数的变换基底以及四个相等的变换系数块。

图12示出根据本发明的另一实施例的用于根据频段将8×8的数据单元划分为十六个相等块的变换系数的变换基底以及十六个相等的变换系数块。

图13示出根据本发明的另一实施例的用于将8×8的数据单元划分为2×4的变换系数块的变换基底以及所述2×4的变换系数块。

图14示出根据本发明的另一实施例的用于将8×8的数据单元划分为8×4的变换系数块的变换基底以及所述8×4的变换系数块。

图15示出根据本发明的另一实施例的用于从8×8的数据单元的8×8的系数块产生任意大小的变换基底块的变换基底以及所述变换系数块。

图16示出根据本发明的另一实施例的以系数为单位对4×4的数据单元的变换系数进行分类的变换基底以及所述变换系数。

图17示出根据本发明的另一实施例的以系数为单位对8×8的数据单元的变换系数进行分类的变换基底以及所述变换系数。

图18示出根据本发明的另一实施例的用于通过以选择性的频域为单位对任意选择的数据单元(例如，8×4的数据单元)进行划分获得变换系数的变换基底以及变换系数块。

图19示出根据本发明的另一实施例的根据选择性的频域将任意选择的数据单元(例如，8×16的数据单元)划分为变换系数的变换基底以及变换系数块。

图20示出根据本发明的另一实施例的用于根据频段将大数据单元(例如，16×16的数据单元)划分为十六个相等块的变换系数的变换基底以及十六个相等的变换系数块。

图21示出本发明的另一实施例的用于将大数据单元(例如，32×32的数据单元)划分为8×4的系数块的变换基底以及所述系数块。

图22示出根据本发明的另一实施例的将根据每个变换系数的频段而被单独选择的变换基底及其变换系数块。

图23示出扫描8×8的变换系数的一般顺序。

图24示出根据本发明的实施例的根据频段扫描8×8的变换系数的顺序。

图25示出根据本发明的另一实施例的在整个频段中扫描8×8的变换系数的顺序。

图26示出根据本发明的另一实施例的扫描除与中间频率对应的系数以外的8×8的变换系数的顺序。

图27示出根据本发明的实施例的通过使用系数块的水平大小和垂直大小来表示关于扫描8×8的变换系数的顺序的信息。

图28示出根据本发明的另一实施例的扫描8×8的变换系数的顺序。

图29示出根据本发明的另一实施例的通过使用系数块的垂直大小或水平大小来表示关于扫描8×8的变换系数的顺序的信息的方法。

图30示出根据本发明的另一实施例的扫描8×8的变换系数的顺序。

图31示出根据本发明的另一实施例的通过将变换块的垂直索引和水平索引表示为“2”的倍数来表示关于扫描8×8的变换系数的顺序的信息的方法。

图32示出根据本发明的另一实施例的基于每个频域的频率特性来改变扫描8×8的变换系数的顺序的方法。

图33示出根据本发明的另一实施例的扫描除与中间频段对应的系数以外的8×8的变换系数的顺序。

图34是示出根据本发明的实施例的使用选择性的频域变换来执行低复杂度变换的视频编码方法的流程图。

图35是示出根据本发明的实施例的使用选择性的频域反变换来执行低复杂度反变换的视频编码方法的流程图。

图36是根据本发明的另一实施例的使用子数据单元变换来执行低复杂度变换的视频编码设备的框图。

图37是根据本发明的另一实施例的使用子数据单元反变换来执行低复杂度反变换的视频解码设备的框图。

图38示出根据本发明的实施例的子数据单元变换的构思。

图39示出根据本发明的实施例的使用子数据单元变换的划分-组合变换(division-combining transformation)的构思。

图40示出根据本发明的实施例的使用子数据单元变换的划分-组合反变换(division-combining inverse transformation)的构思。

图41是示出根据本发明的另一实施例的使用子数据单元变换来执行低复杂度变换的视频编码方法的流程图。

图42是示出根据本发明的另一实施例的使用子数据单元反变换来执行低复杂度反变换的视频解码方法的流程图。

图43是根据本发明的另一实施例的使用按比例缩减变换来执行低复杂度变换的视频编码设备的框图。

图44是根据本发明的另一实施例的使用按比例缩减反变换来执行低复杂度反变换的视频解码设备的框图。

图45是示出根据本发明的另一实施例的使用按比例缩减变换来执行低复杂度变换的视频编码方法的流程图。

图46是示出根据本发明的另一实施例的使用按比例缩减反变换来执行低复杂度反变换的视频解码方法的流程图。

图47是根据本发明的另一实施例的使用低复杂度变换的视频编码设备的框图。

图48是根据本发明的另一实施例的使用低复杂度反变换的视频解码设备的框图。

图49是示出根据本发明的另一实施例的使用低复杂度变换的视频编码方法的流程图。

图50是示出根据本发明的另一实施例的使用低复杂度反变换的视频解码方法的流程图。

图51是根据本发明的另一实施例的基于每个图像区域的分层数据单元的视频编码设备的框图。

图52是根据本发明的另一实施例的基于每个图像区域的分层数据单元的视频解码设备的框图。

图53是用于描述根据本发明的实施例的编码单元的构思的示图。

图54是根据本发明的实施例的基于编码单元的图像编码器的框图。

图55是根据本发明的实施例的基于编码单元的图像解码器的框图。

图56是示出根据本发明的实施例的根据深度的更深的编码单元以及预测单元的示图。

图57是描述根据本发明的实施例的编码单元与变换单元之间的关系的示图。

图58是描述根据本发明的实施例的根据深度的编码信息的示图。

图59是根据本发明的实施例的根据深度的更深的编码单元的示图。

图60至图62是描述根据本发明的实施例的编码单元、预测单元和变换单元之间的关系的示图。

图63是示出根据本发明的实施例的针对每个编码单元的编码信息的表。

图64是示出根据本发明的另一实施例的基于每个图像区域的分层数据单元的视频编码方法的流程图。

图65是示出根据本发明的另一实施例的基于每个图像区域的分层数据单元的视频解码方法的流程图。

图66是根据本发明的另一实施例的基于每个图像区域的分层数据单元使用低复杂度变换的视频编码设备的框图。

图67是根据本发明的另一实施例的基于每个图像区域的分层数据单元使用低复杂度反变换的视频解码设备的框图。

图68是示出根据本发明的另一实施例的基于每个图像区域的分层数据单元使用低复杂度变换的视频编码方法的流程图。

图69是示出根据本发明的另一实施例的基于每个图像区域的分层数据单元使用低复杂度反变换的视频解码方法的流程图。

最佳实施方式

一种根据本发明的实施例的使用低复杂度变换的视频编码方法包括：按预定数据单元接收输入画面的图像数据；通过对所述图像数据执行低复杂度变换来产生所述预定数据单元的系数；输出产生的系数。这里，低复杂度变换包括以下变换中的至少一种：使用针对预定频域的变换基底执行变换的选择性的频域变换、通过分别选择和使用针对从图像数据划分的多个子数据单元的变换基底来执行变换的子数据单元变换、以及使用通过将长方矩阵和正方矩阵进行组合并对执行的结果进行按比例缩减而获得的长方变换基底来执行变换的按比例缩减变换。

一种根据本发明的实施例的使用低复杂度反变换的视频解码方法包括：接收画面的预定数据单元的系数；通过对所述系数执行低复杂度反变换，产生按预定数据单元的图像数据；通过使用所述图像数据重构画面。这里，低复杂度反变换包括以下反变换中的至少一种：通过使用针对预定频域的变换基底对所述系数执行反变换的选择性的频域反变换、通过分别选择和使用针对从图像数据划分的多个子数据单元的变换基底来执行反变换的子数据单元反变换、以及使用通过将长方矩阵和正方矩阵进行组合并对执行的结果进行按比例缩减而获得的长方变换基底来执行反变换的按比例缩减反变换。

具体实施方式

在下文中，将参照图1至图67描述根据本发明的各种实施例的使用低复杂度变换的视频编码方法和设备以及视频解码方法和设备。在本说明书中，选择性的频域变换、子数据单元变换以及按比例缩减变换将作为根据本发明的低复杂度变换的示例被公开。

首先，将描述分别使用选择性的频域变换、子数据单元变换以及按比例缩减变换作为低复杂度变换的示例的根据本发明的各种实施例的视频编码/解码方法和设备。然后，将描述根据本发明的实施例的使用低复杂度变换的视频编码/解码方法和设备。在本说明书中，还将详细描述用于确定将对其执行低复杂度变换的图像数据的基于每个图像区域的分层数据单元执行的视频编码/解码。更具体地，将参照图1至图35描述根据本发明的实施例的使用选择性的频域变换(所述选择性的频域变换是一种类型的低复杂度变换)的视频编码方法和设备以及视频解码方法和设备。将参照图36至图42描述根据本发明的实施例的使用子数据单元变换(所述子数据单元变换是另一类型的低复杂度变换)的视频编码方法和设备以及视频解码方法和设备。将参照图43至图46描述根据本发明的实施例的使用按比例缩减变换(所述按比例缩减变换是另一类型的低复杂度变换)的视频编码方法和设备以及视频解码方法和设备。将参照图47至图50描述根据本发明的实施例的选择性地使用选择性的频域变换、子数据单元变换和按比例缩减变换的视频编码方法和设备以及视频解码方法和设备。将参照图51至图63描述根据本发明的各种实施例的基于每个图像区域的分层数据单元的视频编码方法和设备以及视频解码方法和设备。随后，将参照图66至图69描述根据本发明的各种实施例的基于每个图像区域的分层数据单元使用低复杂度变换的视频编码方法和设备以及视频解码方法和设备。

将参照图1至图35描述根据本发明的实施例的使用选择性的频域变换(所述选择性的频域变换是一种类型的低复杂度变换)的视频编码方法和设备以及视频解码方法和设备。

图1是根据本发明的实施例的使用选择性的频域变换来执行低复杂度变换的视频编码设备10的框图。视频编码设备10包括图像数据接收器11、选择性的频域变换器12以及选择性的频域系数输出单元13。

图像数据接收器11可按预定数据单元接收输入画面的图像数据。可通过将输入画面的图像数据划分为预定大小的块来获得所述预定数据单元，以对其执行变换。按预定数据单元的图像数据可以是正方数据块或长方数据块。

选择性的频域变换器12可通过使用针对预定频域的变换基底，对图像数据执行变换来产生选择性的频域系数。

选择性的频域变换器12可通过应用正方变换基底中的与预定频段对应的变换基底应来执行变换，以产生选择性的频域系数。在这种情况下，可单独选择变换基底的垂直频段和水平频段。可通过应用正方变换基底中针对除所述预定频段以外的频段的基底，执行变换以产生除预定频域系数以外的变换系数。

为了根据任意频段划分图像数据的变换系数，选择性的频域变换器12可选择与任意频段中的预定垂直频段对应的垂直变换基底以及与任意频段中的预定水平频段对应的水平变换基底。

选择性的频域变换器12可通过应用正方变换基底中的与预定大小的系数块对应的变换基底，对图像数据执行变换以产生预定大小的系数块。

为了根据任意大小的系数块对图像数据的变换系数进行分类，选择性的频域变换器12可选择与系数块中的预定系数块的水平大小和垂直大小分别对应的水平变换基底和垂直变换基底。选择性的频域变换器12可通过将针对任意大小的系数块中的每一系数块选择的垂直变换基底和水平变换基底应用于图像数据，以任意大小的系数块为单位执行变换。

选择性的频域变换器12可通过使用正方频率基底中的与系数对应的变换基底，以系数为单位对图像数据执行变换。也就是说，选择性的频域变换器12可通过将变换基底中与系数中的每一个对应的水平变换基底和垂直变换基底应用于图像数据，以系数为单位执行变换，以使图像数据的系数可彼此区分。

选择性的频域变换器12可从变换基底中单独选择垂直变换基底和水平变换基底，以执行选择性的频域变换。例如，可基于不同的变换基底单独选择垂直变换基底和水平变换基底的大小、变换方法和矩阵因子。

选择性的频域变换器12可基于对通过将相同大小的变换基底应用于图像数据的变换而获得的频率特性进行分析的结果，选择性地确定具有除“0”以外的系数的频域。因此，选择性的频域变换器12可基于执行变换的结果确定与频域对应的将被编码的变换基底和变换系数。

选择性的频域系数输出单元13输出输入画面的预定数据单元的系数。

视频编码设备10可对关于变换方法的信息进行编码和发送，所述变换方法被选择以对图像数据执行选择性的频域变换。

视频编码设备10可按这样的方式改变系数扫描顺序：以频段为单位产生的系数块的系数可被扫描和编码。例如，可按照这样的方式改变系数扫描顺序：可扫描图像数据的所有系数中的预定大小的系数块，可单独扫描多个频段中的系数块，可连续扫描多个频段中的所有系数块，或者可扫描除预定频段中的系数块以外的系数块。

视频编码设备10可按这样的方式改变系数扫描顺序：可仅连续扫描产生的系数。

另外，视频编码设备10可根据所有频段系数中的产生的系数的频段的频率特性，改变频率扫描顺序。

视频编码设备10可对关于系数块大小的信息进行编码以执行系数扫描。例如，系数块大小信息可包括关于每个系数块的垂直大小和水平大小中的至少一个的信息。针对系数扫描的系数块大小索引可被设置为具有特定间隔(例如，“2”的倍数)。另外，系数块大小索引可从高频段到低频段变密(finer)。

视频编码设备10可对指示包括产生的频段系数的系数块是否包括除“0”以外的系数的系数块模式信息进行设置和编码。可按这样的方式改变系数扫描顺序：可基于编码的系数块模式(CCBP)信息，扫描包括除“0”以外的系数的系数块。

用于执行熵编码的系数扫描顺序可根据由视频编码设备10改变的系数扫描顺序而被改变。选择性的频域系数输出单元13可基于改变的系数扫描顺序输出频域系数。

图像数据接收器11可按变换单元接收图像数据，其中，根据基于每个图像区域的分层数据单元的编码方法确定所述变换单元。根据基于每个图像区域的分层数据单元编码方法，用于输出编码结果的至少一个编码深度和关于编码深度的编码单元的编码模式。可通过将输入画面划分为预定大小的编码单元，然后对每个图像区域中的最大编码单元中的每一个进行编码来确定编码深度的编码单元。通过基于至少一个变换单元变换与深度对应的至少一个编码单元，随着深度加深，分层地划分每个图像区域的最大编码单元。可通过以图像区域为单位执行编码确定作为数据单元的变换单元的大小，其中，将按所述数据单元执行变换。关于编码深度的编码单元的编码模式包括变换单元大小信息。在这种情况下，图像数据接收器11可接收变换单元中的残差分量。

稍后将参照图51至图67描述按变换单元对数据执行的低复杂度变换，其中，根据基于每个图像区域的分层数据单元的编码方法确定所述变换单元。

图2是根据本发明的实施例的使用选择性的频域反变换来执行低复杂度反变换的视频解码设备20的框图。视频解码设备20包括系数接收器21、选择性的频域反变换器22和画面重构单元23。

系数接收器21可接收画面的预定数据单元的系数。所述预定数据单元的系数可以是通过反变换划分接收的画面的图像数据的系数的结果。如果已依照根据本发明的实施例的基于每个数据图像区域的分层数据单元的视频编码方法对画面进行了编码，则系数接收器21可接收与画面的当前最大编码单元的当前编码单元对应的当前变换单元的系数。

选择性的频域反变换器22可通过对接收的系数执行反变换来按预定数据单元产生图像数据，所述反变换使用针对预定频域的变换基底。

视频解码设备20还可接收关于被选择以对接收的系数的选择性的频域执行反变换的变换方法的信息。在这种情况下，选择性的频域变换器22可通过基于关于变换方法的信息确定接收的系数的频域和针对所述频域的变换基底，来执行反变换。

选择性的频域反变换器22可通过对接收的系数执行反变换来按预定数据单元重构图像数据，所述反变换使用正方变换基底中与预定频段对应的变换基底。在这种情况下，可单独选择变换基底的垂直频段和水平频段。

选择性的频域反变换器22可执行反变换，所述反变换使用正方变换基底中排除预定频段而被选择的变换基底。如果根据任意频段对预定数据单元的系数进行分类，则选择性的频域反变换器22可使用与预定频段对应的垂直变换基底和水平变换基底，以对所述预定频段的系数执行反变换。

选择性的频域反变换器22可使用正方变换基底中与预定大小的系数块对应的变换基底，以对预定大小的系数块的系数执行反变换。如果根据任意大小的系数块对预定数据单元的系数进行分类，则选择性的频域反变换器22可通过使用这些系数块中的每一个的垂直变换基底和水平变换基底，以任意大小的系数块为单位执行反变换。

选择性的频域反变换器22可通过使用正方频率基底中与预定系数对应的变换基底执行反变换，来以系数为单位执行反变换。也就是说，可通过单独选择和使用每个系数的水平变换基底和垂直变换基底，对预定数据单元的系数执行反变换。

选择性的频域反变换器22可基于不同的变换基底选择与每个垂直变换基底和每个水平变换基底相关的变换方法和矩阵因子。

扫描接收的系数的顺序可根据频域而变化。选择性的频域反变换器22可通过应用根据频域而选择的变换基底，对根据改变的扫描顺序而排列的系数执行反变换来按预定数据单元重构图像数据。

视频解码设备20可通过接收并读取扫描顺序信息来分析改变的扫描顺序。

视频解码设备20可按这样的方式改变扫描顺序：所接收的根据频段的系数块可被单独地扫描，或者所述系数块的系数可根据频段而被连续扫描。

另外，视频解码设备20可接收系数块大小信息以执行系数扫描。另外，视频解码设备200可基于包括在系数块大小信息中的关于每个系数块的垂直大小和水平大小中的至少一个的信息，改变扫描顺序。例如，系数块大小信息可用具有特定间隔(例如，“2”的倍数)的索引来设置，或者可被设置为从高频段到低频段变密。

另外，视频解码设备20可根据每个频段的频率特性改变扫描顺序。例如，在垂直频率的数量大于水平频率的数量的频段的系数块的情况下，可按这样的方式设置扫描顺序：沿垂直方向排列的系数可被首先扫描。

视频解码设备20可按这样的方式改变扫描顺序：可仅对画面的预定数据单元的所有系数中的接收的系数进行扫描和解码。另外，视频解码设备20可按这样的方式改变扫描顺序：可扫描所述预定数据单元的所有系数中的除预定频段以外的频段的系数块。

视频解码设备20可接收编码的系数块模式(CCBP)信息，所述编码的系数块模式信息指示包括根据频段而产生的系数的系数块是否包括除“0”以外的系数。在这种情况下，视频解码设备20可按这样的方式改变系数扫描顺序：可基于CCBP信息，仅扫描包括除“0”以外的系数的系数块。

如果视频解码设备20采用根据本发明的实施例的基于每个图像区域的分层数据单元执行的视频解码方法，则系数接收器21可接收与画面的预定最大编码单元对应的变换单元的系数。

画面重构单元23基于产生的图像数据重构并输出画面。

视频编码设备20可使用根据频段选择的变换，以根据数据通信环境、硬件性能，或者开发者或用户的需求来控制传输比特率。例如，视频编码设备10可分析通过使用N×N的变换基底对N×N的图像数据执行变换的结果，并当预定频段中预设有除“0”以外的系数时，仅发送与除“0”以外的系数相关的数据。换句话说，选择将被编码的频段并且对选择的频段执行变换，以减少计算量和产生的系数的总数，从而减少传输比特率。

另外，视频编码设备10可将关于选择性的频域的信息发送到解码侧，从而解码侧可通过仅使用接收的系数执行反变换来重构原始的N×N的数据。另外，可考虑频段来改变扫描顺序，从而可仅扫描和读取除“0”以外的系数以及包括这样的系数的每个系数块。

视频解码设备20可基于接收的关于扫描顺序的信息和关于选择性的频域的信息，确定频域和接收的系数的位置，并可通过使用与用于执行变换的选择性的频域对应的变换基底来执行反变换，以重构原始数据。与选择性的频域对应的变换基底与现有的正方变换基底相比按比例缩减的更多。因此，如果使用这样的按比例缩减变换基底执行变换和反变换，则计算量会减少。

因此，依据根据当前实施例的选择性的频域变换，图像数据的频率变换系数中仅除“0”以外的系数被扫描、编码和发送。另外，根据依据当前实施例的选择性的频域反变换，可通过仅反变换除“0”以外的系数来重构图像，从而减少计算量和计算复杂度。

图3是示出根据本发明的实施例的执行低复杂度变换的处理的框图。在操作31，输入的图像数据块X被接收。在操作32，通过使用垂直变换基底Ta和水平变换基底Tb对输入的图像数据块X执行变换。然后，在操作33，输入的图像数据块X的变换系数Y被输出。

在这种情况下，通过将垂直变换基底Ta和水平变换基底Tb应用于输入的图像数据块X获得变换系数Y，所述变换系数Y的大小是C×D，所述垂直变换基底Ta和水平变换基底Tb的大小分别是C×A和B×D，所述输入图像数据块的大小是A×B。因此，输出的变换基底Y的大小(即，C×D)小于输入的图像数据块X的大小(即，A×B)。如果变换被执行，则频域的变换系数的大小小于空域的图像数据的大小。因此，编码侧可通过变换节省传输比特率。

图4是示出根据本发明的实施例的执行低复杂度反变换的处理的框图。在操作41，变换系数Y被接收。在操作42，通过将从垂直变换基底Ta矩阵转置的变换基底TaT和从水平变换基底Tb矩阵转置的变换基底TbT应用于变换基底Y，执行反变换。然后，在操作43，与变换系数Y对应的图像数据块X’被重构。

因此，与图像数据的量相比，即使接收到不足量的系数，也可在用于执行变换的变换基底被提供时使用所述不足量的系数重构图像数据。参照图3至图5，当使用按比例缩减的基底执行变换时可减少计算量，从而根据执行变换的结果节省比特率。

图5示出根据本发明的实施例的按比例缩减变换基底的方法。矩阵M和变换基底T的乘积M·T与仅由变换基底T的上部因子组成的矩阵对应。也就是说，如果矩阵M被使用，则可通过对变换基底T的垂直频段二等分来仅提取变换基底T的低频部分。

因此，如果仅需要与垂直频段的低频段对应的图像数据部分，则可通过另外地将系数块(通过将变换基底T应用于输入的图像数据块X的变换获得所述系数块)与矩阵M相乘(即，通过执行两次矩阵M的乘法)来获得所述低频段的系数块。然而，如果乘积M·T已被存储，则可通过将选择性的频段的乘积M·T应用于输入的图像数据块X(即，通过执行一次矩阵M的乘法)来获得低频段的系数块，从而减少计算量。

如上所述，根据本发明的实施例的视频编码方法和设备以及视频解码方法和设备可通过低复杂度变换(诸如选择性的频段变换、子数据单元变换或通过使用从变换基底T按比例缩减的乘积M·T的按比例缩减变换)来实现。

图6示出根据本发明的实施例的选择变换基底以选择性地产生变换系数的方法。可从m×m的垂直变换基底矩阵61中选择与包括在垂直频段中的a/m的垂直频段对应的a×m的垂直变换基底矩阵。类似地，可从n×n的水平变换基底矩阵62中选择与包括在水平频段中的d/n的水平频段对应的n×d的水平变换基底矩阵。

图7是将使用一般的变换基底时的变换系数与使用根据本发明的实施例的按比例缩减变换基底时的变换系数相比较的示图。

如果通过将图6的m×m的垂直变换基底矩阵61和n×n的水平变换基底矩阵62应用于m×n的图像数据来执行变换，则获得图7的m×n的系数块71。为了扫描m×n的系数块71的除“0”以外的系数，从DC分量系数72到最高频率系数73的系数长度是“19”，并且通过频率变换执行计算的次数是“m·n”。

当基于根据本发明的实施例的选择性的频域选择的变换基底被使用时，随后可通过将图6的a×m的垂直变换基底矩阵和n×d水平变换基底矩阵应用于n×m的图像数据来执行变换。然后，获得d×a的系数块75，在所述系数块75中，整个n×m的系数块的除“0”以外的所有系数均存在，即，所有的实际有效信息存在。因此，图1的视频编码设备10的选择性的频域系数输出单元13可仅输出关于包括在整个n×m的系数块74中的d×a的系数块75的数据。

另外，执行操作以产生d×a的系数块75的实际次数是a·d，并且从DC分量系数76到最高频率系数77的系数长度是“15”，以扫描d×a的系数块75的除“0”以外的系数。

因此，根据操作被执行的次数、扫描长度和比特率，通过仅使用与选择性的频域对应的变换基底执行频域来产生与选择性的频域对应的系数块的步骤比产生与整个频域对应的所有系数块的步骤更有利。

图8示出根据本发明的另一实施例的根据频段选择变换基底以选择性地产生变换系数的方法。可根据垂直频率从m×m的垂直变换基底矩阵81选择与从最低频段到最高频段的选择性的频段对应的垂直变换基底。选择性的频段的示例可以是从最低频率开始的a/m频率基底频段或c/m频率基底频段，或从中间频率开始的e/m频率基底频段。

类似地，可根据水平频率从n×n的水平变换基底矩阵82选择与从最低频段到最高频段的选择性的频段对应的水平变换基底。选择性的频段的示例可以是从最低频率开始的f/n频率基底频段或d/n频率基底频段，或从中间频率开始的b/n频率基底频段。

图9是将使用一般的变换基底时的变换系数与使用根据本发明的实施例的基于频段选择的变换基底时的变换系数相比较的示图。如果通过将图8的m×m的垂直变换基底矩阵81和n×n的水平变换基底矩阵82应用于n×m的图像数据来执行变换，则获得图9的n×m的系数块91。为了扫描m×n的系数块91的除“0”以外的系数，从DC分量系数92到最高频率系数93的系数长度是“27”，并且通过频率变换执行计算的次数是“m·n”。

如果基于根据本发明的实施例的选择性的频域而选择的变换基底被使用，则选择的变换基底可与具有除“0”以外的系数的频段对应。例如，用于根据频段产生系数块的垂直变换基底和水平变换基底可按这样的方式被选择：具有整个系数块94中的除“0”以外的系数的频域可被获得，并可根据频段被划分为系数块95、96和97。

换句话说，可选择c×m的垂直变换基底和n×d的水平变换基底，以获得系数块95，系数块95的大小是d×c，可选择a×m的垂直变换基底和n×b的水平变换基底以获得系数块95，系数块95的大小是a×b，可选择e×m的垂直变换基底和n×f的水平变换基底以获得系数块95，系数块95的大小是e×f。也就是说，可按这样的方式执行选择性的频域变换：不仅低频段的系数块95，还有高频段的系数块96和97可被选择并被编码。

操作被执行以获得系数块95的次数是“c·d”，操作被执行以获得系数块96的次数是“a·b”，操作被执行以获得系数块97的次数是“e·f”。

因此，当仅对系数块95至97(实际对所述系数块95至97执行变换来产生系数)执行扫描时，从最小DC分量系数98到最高频率分量系数99的系数长度被减少到“24”，并且操作被执行以执行变换的次数被减少到“a·b+c·d+e·f”。

因此，根据操作被执行的次数、扫描长度和比特率，通过仅使用与选择性的频域对应的变换基底执行频域来产生与选择性的频域对应的系数块的步骤比产生与整个频域对应的所有系数块的步骤更有利。

图10是示出根据本发明的实施例的由接收选择性的频域系数的解码侧执行的反变换的流程图。在操作1001，系数块被输入。在操作1002，基于关于所述系数块的块模式信息确定在所述系数块中是否存在除“0”以外的系数。在操作1003，对N×N的块执行反变换。在操作1008，执行后续处理。根据本发明的实施例，在操作1003执行的反变换可被划分为多个子操作。具体地，在操作1004，系数块的频段被确定。在操作1005，对第n个选择性的频域执行反变换。在操作1006，将残差分量组合在一起。在操作1007，确定操作1005和操作1006的循环是否被重复执行N次。如果在操作1007确定反变换应该被再次执行，则图10的处理进入操作1005。如果在操作1007确定不需要再次执行反变换，则图10的处理结束。

现在将参照图11和图12详细描述根据任意频段的选择性的频域变换和选择性的频域反变换，所述选择性的频域变换和选择性的频域反变换分别由选择性的频域变换器12和选择性的频域反变换器22执行。

图11示出根据本发明的实施例的用于根据频段将8×8的数据单元划分为四个相等块的变换系数的变换基底以及四个相等的变换系数块。

选择性的频域变换器12可选择通过以四个像素为单位并沿垂直频率的方向划分8×8的变换基底M1110而获得的矩阵M1和M2作为选择性的垂直变换基底，并且可选择分别从矩阵M1和M2矩阵转置的矩阵M1^T和M2^T作为选择性的水平变换基底。8×8的变换基底M1110和矩阵M1和M2的示例如下：

M＝[4，4，4，4，4，4，4，4；

    6，6，2，3，-3，-2，-6，-6；

    4，2，-2，-4，-4，-2，2，4；

    6，-3，-6，-2，2，6，3，-6；

    4，-4，-4，4，4，-4，-4，4；

    2，-6，3，6，-6，-3，6，-2；

    2，-4，4，-2，-2，4，-4，2；

    3，-2，6，-6，6，-6，2，-3]；

M1＝[4，4，4，4，4，4，4，4；

    6，6，2，3，-3，-2，-6，-6；

    4，2，-2，-4，-4，-2，2，4；

    6，-3，-6，-2，2，6，3，-6]；

M3＝[4，-4，-4，4，4，-4，-4，4；

    2，-6，3，6，-6，-3，6，-2；

    2，-4，4，-2，-2，4，-4，2；

    3，-2，6，-6，6，-6，2，-3]

因此，8×8的图像数据块X的8×8的系数块1120可根据频段被划分为四个4×4的系数块D1、D2、D3和D4。可通过分别使用变换操作(例如，D1＝M1·X·M1^T，D2＝M1·X·M2^T，D3＝M2·X·M1^T和D4＝M2·X·M2^T)获得系数块D1、D2、D3和D4。

因此，可仅从矩阵M1和M2而不是8×8的变换基底1110获得根据频段的系数块D1、D2、D3和D4。例如，如果仅在与垂直低频段和水平低频段对应的系数块D1中存在除“0”以外的系数，则选择性的频域变换器12可执行变换操作(即，M1·X·M1^T)，其中，作为根据频域选择性地确定的变换基底的矩阵M1被应用于图像数据块X。图1的选择性的频域系数输出单元13可仅输出关于系数块D1的数据。

选择性的频域反变换器22可通过分别使用图11中示出的系数块D1至D4所示的按圆括号的形式的反变换操作，对系数块D1至D4执行反变换。也就是说，选择性的频域反变换器22可通过将对用于执行变换的选择性的垂直变换基底和选择性的水平变换基底进行矩阵转置的结果应用于从系数块D1、D2、D3和D4中接收的系数块，重构图像数据块X’。

例如，如果系数接收器21仅接收关于系数块D1的数据，则选择性的频域反变换器22可通过执行反变换操作(即，M1^T·D1·M1)来重构图像数据块X’，其中，从被用于执行变换的选择性的垂直变换基底M1和选择性的水平变换基底M1^T矩阵转置的变换基底M1^T和M1被应用于系数块D1。

图12示出根据本发明的另一实施例的用于根据频段将8×8的数据单元划分为十六个相等块的变换系数的变换基底以及十六个相等的变换系数块。

图1的选择性的频域变换器12可选择通过以两个像素为单位并沿垂直频率的方向划分8×8的变换基底M1250而获得的矩阵M1至M4作为选择性的垂直变换基底，并可选择从矩阵M1至M4矩阵转置的矩阵M1^T至M4^T作为选择性的水平变换基底。

因此，8×8的图像数据块X的8×8的系数块1260可根据频段被划分为十六个2×2的系数块D1至D16。可通过分别使用以下变换操作获得系数块D1至D16：

D1＝M1·X·M1^T，D2＝M1·X·M2^T，D3＝M1·X·M3^T，D4＝M1·X·M4^T；

D5＝M2·X·M1^T，D6＝M2·X·M2^T，D7＝M2·X·M3^T，D8＝M2·X·M4^T；

D9＝M3·X·M1^T，D10＝M3·X·M2^T，D11＝M3·X·M3^T，D12＝M3·X·M4^T；

D13＝M4·X·M1^T，D14＝M4·X·M2^T，D15＝M4·X·M3^T，D16＝M4·X·M4^T

因此，根据频段的系数块D1至D16可仅从矩阵M1至M4而不是8×8的变换基底1250获得。例如，如果除“0”以外的系数仅存在于系数块D1、D2、D5、D6和D9中，则选择性的频域变换器12可根据频域选择变换基底M1至M4之一，将选择的变换基底应用于图像数据块X，并执行变换操作(即，D1＝M1·X·M1^T，D2＝M1·X·M2^T，D5＝M2·X·M1^T，D6＝M2·X·M2^T和D9＝M3·X·M1^T)。图1的选择性的频域系数输出单元13可仅输出关于系数块D1、D2、D5、D6和D9的数据。

选择性的频域反变换器22可通过分别使用图12所示的系数块D1至D16中示出的按圆括号形式的反变换操作，对系数块D1至D16执行反变换。也就是说，选择性的频域反变换器22可通过将对用于执行变换的选择性的垂直变换基底和选择性的水平变换基底进行矩阵转置的结果应用于从系数块D1至D16中接收的系数块，来重构图像数据块X’。

例如，如果系数接收器21仅接收关于系数块D1、D2、D5、D6和D9的数据，则选择性的频域反变换器22可通过对系数块D1、D2、D5、D6和D9分别执行反变换操作(即，M1^T·D1·M1，M1^TD2·M2，M2^T·D5·M1，M2^T·D6·M2和M3^T·D9·M1)并随后组合执行结果来重构图像数据块X’。

现在将参照图13和图14详细描述分别由选择性的频域变换器12和选择性的频域反变换器22执行的根据频段的选择性的频域变换和选择性的频域反变换，在所述根据频段的选择性的频域变换和选择性的频域反变换中，垂直频段和水平频段被单独划分。

图13示出根据本发明的另一实施例的用于将8×8的数据单元划分为2×4的变换系数块的变换基底以及所述2×4的变换系数块。

图1的选择性的频域变换器12可选择从矩阵M1至M4(通过以两个像素为单位并沿垂直频率的方向划分8×8的变换基底350获得矩阵M1至M4)矩阵转置的矩阵M1^T至M4^T作为选择性的水平变换基底，并可选择通过以四个像素为单位并沿垂直频率的方向划分8×8的矩阵基底1360而获得的矩阵M5和M6作为选择性的垂直变换基底。

因此，可根据垂直频段以四个像素为单位并根据水平频段以两个像素为单元划分8×8的图像数据块X的8×8的系数块1370，从而获得2×4的系数块D1至D8。可通过使用以下变换操作获得系数块D1至D8：

D1＝M5·X·M1^T，D2＝M5·X·M2^T，D3＝M5·X·M3^T，D4＝M5·X·M4^T；

D5＝M6·X·M1^T，D6＝M6·X·M2^T，D7＝M6·X·M3^T，D8＝M6·X·M4^T

因此，可仅从矩阵M1至M6而不是8×8的变换基底1350和1360获得根据频段的系数块D1至D8。例如，如果除“0”以外的系数仅存在于系数块D1、D2和D5，则选择性的频域变换器12可根据频域选择变换基底M1至M6之一，将选择的变换基底应用于图像数据块X，并执行变换操作(即，D1＝M5·X·M1^T，D2＝M5·X·M2^T和D5＝M6·X·M1^T)。图1的选择性的频域系数输出单元13可仅输出关于系数块D1、D1和D5的数据。

选择性的频域反变换器22可通过分别使用图13所示的系数块D1至D8中示出的按圆括号形式的反变换操作，对系数块D1至D8执行反变换。也就是说，选择性的频域反变换器22可通过将对用于执行变换的选择性的垂直变换基底和选择性的水平变换基底进行矩阵转置的结果应用于从系数块D1至D8中接收的系数块，来重构图像数据块X’。

例如，如果系数接收器21仅接收关于系数块D1、D2和D5的数据，则选择性的频域反变换器22可通过对系数块D1、D2和D5分别执行反变换操作(即，M5^T·D1·M1，M5^T·D2·M2和M6^T·D5·M1)并随后组合执行反变换操作的结果来重构图像数据块X’。

图14示出根据本发明的另一实施例的用于将8×8的数据单元划分为8×4的变换系数块的变换基底以及所述8×4的变换系数块。

选择性的频域变换器12可选择通过以四个像素为单位并沿垂直频率的方向划分8×8的变换基底1410而获得的矩阵M1至M4作为选择性的垂直变换基底，并可选择从8×8的变换基底1420矩阵转置的矩阵M3^T作为选择性的水平变换基底。

因此，8×8的图像数据块X的8×8的系数块1430可根据垂直频段以四个像素为单位被划分，即，可被划分为两个8×4的系数块D1和D2。可通过分别使用频率变换操作(例如，D1＝M1·X·M3^T和D2＝M2·X·M3^T)获得系数块D1和D2。

因此，可仅从矩阵M1至M3而不是8×8的变换基底1410和1420获得根据频段的系数块D1和D2。例如，如果除“0”以外的系数仅存在于系数块D1中，则选择性的频域变换器12可根据频段选择变换基底M1和M3，将变换基底M1和M3应用于图像数据块X，并执行变换操作(即，D1＝M1·X·M3^T)。图1的选择性的频域系数输出单元13可仅输出关于系数块D1的数据。

选择性的频域反变换器22可通过分别使用图14所示的系数块D1和D2中示出的按圆括号形式的反变换操作，对系数块D1和D2执行反变换。也就是说，选择性的频域反变换器22可通过将对用于执行变换的选择性的垂直变换基底和选择性的水平变换基底进行矩阵转置的结果应用于从系数块D1和D2中接收的系数块，来重构图像数据块X’。

例如，如果系数接收器21仅接收关于系数块D1的数据，则选择性的频域反变换器22可通过对与垂直低频段和水平低频段两者对应的系数块D1执行反变换操作(即，M1^T·D1·M3)来重构图像数据块X’。

图15示出根据本发明的另一实施例的用于从8×8的数据单元的8×8的系数块产生任意大小的变换基底块的变换基底以及所述变换系数块。

如果一个变换系数块被划分为多个任意大小的系数块，则图1的选择性的频域变换器12和图2的选择性的频域反变换器22可针对为多个系数块中的每个系数块选择的频段分别执行选择性的频域变换和选择性的频域反变换。

选择性的频域变换器12可选择通过以两个像素为单位并沿垂直频率的方向划分8×8的变换基底1510而获得的矩阵M1至M4，以及通过以四个像素为单位并沿垂直频率的方向划分8×8的变换基底1520而获得的矩阵M5和M6作为选择性的垂直变换基底。另外，选择性的频域变换器12可选择8×8的变换基底1510的矩阵M1^T、M2^T、M3^T和M4^T以及8×8的变换基底1520的矩阵^T和M6^T作为选择性的水平变换基底。

根据选择性的水平和垂直频率基底的组合，8×8的图像数据块X的8×8的系数块1530可被划分为4×4的系数块D1、4×2的系数块D2和D3、2×2的系数块D4和D5，4×2的系数块D6、2×4的系数块D7以及2×2的系数块D8和D9。可通过分别使用变换操作(例如，D1＝M5·X·M5^T、D2＝M1·X·M6^T、D3＝M2·X·M6^T、D4＝M3·X·M1^T、D5＝M3·X·M2^T、D6＝M4·X·M5^T、D7＝M6·X·M3^T、D8＝M3·X·M4^T和D9＝M4·X·M4^T)获得系数块D1至D9。

因此，可仅从矩阵M1至M6而不是8×8的变换基底1510和1520获得根据频段的系数块D1至D9。例如，如果除“0”以外的系数仅存在于系数块D1、D2和D4，则选择性的频域变换器12可选择变换基底M1至M6之一，将选择的变换基底应用于图像数据块X，并执行变换操作(即，D1＝M5·X·M5^T、D2＝M1·X·M6^T和D4＝M3·X·M1^T)。图1的选择性的频域系数输出单元13可仅输出关于系数块D1、D2和D4的数据。

选择性的频域反变换器22可通过分别使用图15所示的系数块D1至D9中示出的按圆括号形式的反变换操作，对系数块D1至D9执行反变换。也就是说，选择性的频域反变换器22可通过将对用于执行变换的选择性的垂直变换基底和选择性的水平变换基底进行矩阵转置的结果应用于从系数块D1至D9中接收的系数块，来重构图像数据块X’。

例如，如果系数接收器21仅接收关于系数块D1、D2和D4的数据，则选择性的频域反变换器22可通过对系数块D1、D2和D4分别执行反变换操作(即，M5^T·D1·M5、M1^T·D2·M6和M3^T·D4·M1)并随后组合执行反变换操作的结果来重构图像数据块X’。

如果根据与这样的任意大小的系数块对应的频段执行根据本发明的实施例的选择性的频域变换和选择性的频域反变换，则可使用根据与具有除“0”以外的系数的任意系数块对应的频段而选择的选择性的水平变换基底和选择性的垂直变换基底，执行选择性的频域变换和选择性的频域反变换，从而比当使用8×8的变换基底执行变换和反变换时更多地减少计算量和计算复杂度。

现在将参照图16和图17详细描述通过选择性的频域变换单元17和选择性的频域反变换器22分别执行的以系数为单位的选择性的频域变换和选择性的频域反变换。

图16示出根据本发明的另一实施例的以系数为单位对4×4的数据单元的变换系数进行分类的变换基底以及所述变换系数。

图1的选择性的频域变换器12可选择通过以像素为单位并沿垂直频率的方向划分4×4的变换基底1610而获得的矩阵M1至M4作为选择性的垂直变换基底，并可选择从矩阵M1至M4矩阵转置的矩阵M1^T至M4^T作为选择性的水平变换基底。

因此，4×4的图像数据块X的4×4的系数块1620可包括十六个系数D1至D16。可通过分别使用以下变换操作获得系数D1至D16：

D1＝M1·X·M1^T，D2＝M1·X·M2^T，D3＝M1·X·M3^T，D4＝M1·X·M4^T；

D5＝M2·X·M1^T，D6＝M2·X·M2^T，D7＝M2·X·M3^T，D8＝M2·X·M4^T；

D9＝M3·X·M1^T，D10＝M3·X·M2^T，D11＝M3·X·M3^T，D12＝M3·X·M4^T；

D13＝M4·X·M1^T，D14＝M4·X·M2^T，D15＝M4·X·M3^T，D16＝M4·X·M4^T

因此，可仅从矩阵M1至M4而不是4×4的变换基底1610获得系数D1至D16。例如，如果系数D1、D2、D5、D6和D9不是“0”，则选择性的频域变换器12可根据频段选择变换基底M1、M2、M3和M4之一，将选择的变换基底应用于图像数据块X，然后执行变换操作(即，D1＝M1·X·M1^T，D2＝M1·X·M2^T，D5＝M2·X·M1^T，D6＝M2·X·M2^T和D9＝M3·X·M1^T)。图1的选择性的频域系数输出单元13可仅输出关于系数D1、D2、D5、D6和D9的数据。

图2的视频解码设备20可通过根据扫描除“0”以外的系数的顺序将接收的系数安排在合适的位置上来执行解码。选择性的频域反变换器22可通过分别使用图16所示的系数D1至D16中示出的按圆括号形式的反变换操作，对系数D1至D16执行反变换。也就是说，选择性的频域反变换器22可通过将对用于执行变换的选择性的垂直变换基底和选择性的水平变换基底进行矩阵转置的结果应用于从系数D1至D16中接收的系数，来重构图像数据块X’。

例如，如果系数接收器21仅接收关于系数D1、D2、D5、D6和D9的数据，则选择性的频域反变换器22可通过对D1、D2、D5、D6和D9中的至少一个执行M1^T·D1·M1、M1^T·D2·M2、M3^T·D5·M1、M2^T·D6·M2和M3^T·D9·M1中的对应的反变换操作，并组合执行结果来重构图像数据块X’。

图17示出根据本发明的另一实施例的以系数为单位对8×8的数据单元的变换系数进行分类的变换基底以及所述变换系数。

图1的选择性的频域变换器12可选择通过以像素为单位并沿垂直频率的方向划分8×8的变换基底1710而获得的矩阵M1至M8作为选择性的垂直变换基底，并可选择从矩阵M1至M8矩阵转置的矩阵M1^T至M8^T作为选择性的水平变换基底。

因此，8×8的图像数据块X的8×8的系数块1720包括系数D1至D64。可通过分别使用以下变换操作获得系数D1至D64：

D1＝M1·X·M1^T，D2＝M1·X·M2^T，D3＝M1·X·M3^T，D4＝M1·X·M4^T；

D5＝M1·X·M5^T，D6＝M1·X·M6^T，D7＝M1·X·M7^T，D8＝M1·X·M8^T；

D9＝M2·X·M1^T，D10＝M2·X·M2^T，D11＝M2·X·M3^T，D12＝M2·X·M4^T；

D13＝M2·X·M5^T，D14＝M2·X·M6^T，D15＝M2·X·M7^T，D16＝M2·X·M8^T；

D17＝M3·X·M1^T，D18＝M3·X·M2^T，D19＝M3·X·M3^T，D20＝M3·X·M4^T；

D21＝M3·X·M5^T，D22＝M3·X·M6^T，D23＝M3·X·M7^T，D24＝M3·X·M8^T；

D25＝M4·X·M1^T，D26＝M4·X·M2^T，D27＝M4·X·M3^T，D28＝M4·X·M4^T；

D29＝M4·X·M5^T，D30＝M4·X·M6^T，D31＝M4·X·M7^T，D32＝M4·X·M8^T；

D33＝M5·X·M1^T，D34＝M5·X·M2^T，D35＝M5·X·M3^T，D36＝M5·X·M4^T；

D37＝M5·X·M5^T，D38＝M5·X·M6^T，D39＝M5·X·M7^T，D40＝M5·X·M8^T；

D41＝M6·X·M1^T，D42＝M6·X·M2^T，D43＝M6·X·M3^T，D44＝M6·X·M4^T；

D45＝M6·X·M5^T，D46＝M6·X·M6^T，D47＝M6·X·M7^T，D48＝M6·X·M8^T；

D49＝M7·X·M1^T，D50＝M7·X·M2^T，D51＝M7·X·M3^T，D52＝M7·X·M4^T；

D53＝M7·X·M5^T，D54＝M7·X·M6^T，D55＝M7·X·M7^T，D56＝M7·X·M8^T；

D57＝M8·X·M1^T，D58＝M8·X·M2^T，D59＝M8·X·M3^T，D60＝M8·X·M4^T；

D61＝M8·X·M5^T，D62＝M8·X·M6^T，D63＝M8·X·M7^T，D64＝M8·X·M8^T

因此，可仅从矩阵M1至M8而不是8×8的变换基底1710获得系数D1至D64。例如，如果系数D1、D2、D9、D10、D17、D19、D26和D27不是“0”，则选择性的频域变换器12可根据频段选择变换基底M1、M2、M3、M4、M5、M6、M7和M8之一，将选择的变换基底应用于图像数据块X，然后执行变换操作(即，D1＝M1·X·M1^T，D2＝M1·X·M2^T，D9＝M2·X·M1^T，D10＝M2·X·M2^T，D17＝M3·X·M1^T，D19＝M3·X·M3^T，D26＝M4·X·M2^T和D27＝M4·X·M3^T)。图1的选择性的频域系数输出单元13可仅输出关于系数D1、D2、D9、D10、D17、D19、D26和D27的数据。

图2的视频解码设备20可通过根据扫描除“0”以外的系数的顺序将接收的系数安排在合适的位置上来执行解码。选择性的频域反变换器22可通过分别使用图16所示的系数D1至D64中示出的按圆括号形式的反变换操作，对系数D1至D64执行反变换。也就是说，选择性的频域反变换器22可通过将对用于执行变换的选择性的垂直变换基底和选择性的水平变换基底进行矩阵转置的结果应用于从系数D1至D64中接收的系数，来重构图像数据块X’。

例如，如果系数接收器21仅接收关于系数D1、D2、D9、D10、D17、D19、D26和D27的数据，则选择性的频域反变换器22可通过对D1、D2、D9、D10、D17、D19、D26和D27中的至少一个执行M1^T·D1·M1、M1^T·D2·M2、M2^T·D9·M1、M2^T·D10·M2、M3^T·D17·M1、M3^T·D19·M3、M4^T·D26·M2和M4^T·D27·M3中的对应的反变换操作，并组合执行结果来重构图像数据块X’。

现在将参照图18和图19详细描述对图像数据分别通过选择性的频域变换器12和选择性的频域反变换器22执行的选择性的频域变换和选择性的频域反变换，所述图像数据的形状不是正方块类型。

图18示出根据本发明的另一实施例的通过以选择性的频域为单位对任意选择的数据单元(例如，8×4的数据单元)进行划分获得变换系数的变换基底以及变换系数块。

选择性的频域变换器12可选择从矩阵M1和M2(通过以四个像素为单位并沿垂直频率的方向划分8×8的变换基底1810获得矩阵M1和M2)矩阵转置的矩阵M1^T和M2^T作为选择性的水平变换基底，并可选择作为矩阵M3的4×4的变换基底1820作为选择性的垂直变换基底。

因此，8×4的图像数据块X的8×4的系数块1820可根据垂直频段以四个像素为单位被划分，即，8×4的图像数据块X的8×4的系数块1820可被划分为两个4×4的系数块D1和D2。可通过分别使用频率变换操作(例如，D1＝M3·X·M1^T和D2＝M3·X·M2^T)获得系数块D1和D2。

因此，可仅从矩阵M1至M3而不是8×8的变换基底1810和4×4的变换基底1820获得根据频段的系数块D1和D2。例如，如果除“0”以外的系数仅存在于系数块D1中，则选择性的频域变换器12可根据频段选择变换基底M1和M3，将变换基底M1和M3应用于图像数据块X，然后执行变换操作(例如，D1＝M3·X·M1^T)。图1的选择性的频域系数输出单元13可仅输出关于系数块D1的数据。

选择性的频域反变换器22可通过分别使用图18所示的系数块D1和D2中示出的按圆括号形式的反变换操作，对系数块D1和D2执行反变换。也就是说，选择性的频域反变换器22可通过将对用于执行变换的选择性的垂直变换基底和选择性的水平变换基底进行矩阵转置的结果应用于从系数块D1和D2中接收的系数块，来重构图像数据块X’。

例如，如果系数接收器21仅接收关于系数块D1的数据，则选择性的频域反变换器22可通过对系数块D1执行反变换操作(即，M3^T·D1·M1)来重构图像数据块X’。

图19示出根据本发明的另一实施例的根据选择性的频域将任意选择的数据单元(例如，8×16的数据单元)划分为变换系数的变换基底以及变换系数块。

选择性的频域变换器12可选择从矩阵M1和M2(通过以四个像素为单位并沿垂直频率的方向划分8×8的变换基底1910获得矩阵M1和M2)矩阵转置的矩阵M1^T和M2^T作为选择性的水平变换基底，并可选择通过以八个像素为单位且沿垂直频率的方向划分16×16的变换基底1920而获得的矩阵M3和M4作为选择性的垂直变换基底。

因此，8×16的图像数据块X的8×16的系数块1930可根据水平频段以四个像素为单位被划分，并可根据垂直频段以八个像素为单位被划分，即，8×16的图像数据块X的8×16的系数块1930可被划分为四个4×8的系数块D1至D4。可通过分别使用变换操作(例如，D1＝M3·X·M1^T、D2＝M3·X·M2^T、D3＝M4·X·M1^T和D4＝M4·X·M2^T)获得系数块D1、D2、D3和D4。

因此，可仅从矩阵M1至M4而不是8×8的变换基底1910和16×17的变换基底1920获得根据频段的系数块D1至D4。例如，如果除“0”以外的系数仅存在于系数块D1中，则选择性的频域变换器12可根据频段选择变换基底M1和M3，将变换基底M1和M3应用于图像数据块X，并执行变换操作(例如，D1＝M3·X·M1^T)。图1的选择性的频域系数输出单元13可仅输出关于系数块D1的数据。

选择性的频域反变换器22可通过分别使用图19所示的系数块D1至D4中示出的按圆括号形式的反变换操作，对系数块D1至D4执行反变换。也就是说，选择性的频域反变换器22可通过将对用于执行变换的选择性的垂直变换基底和选择性的水平变换基底进行矩阵转置的结果应用于从系数块D1、D2、D3和D4中接收的系数块，来重构图像数据块X’。

例如，如果系数接收器21仅接收关于系数块D1的数据，则选择性的频域反变换器22可通过对与垂直低频段和水平低频段两者对应的系数块D1执行反变换操作(例如，M3^T·D1·M1)来重构图像数据块X’。

现在将参照图20和图21详细描述分别通过选择性的频域变换单元21和选择性的频域反变换器22对大图像数据单元执行的选择性的频域变换和选择性的频域反变换。

图20示出根据本发明的另一实施例的根据频段将大数据单元(例如，16×16的数据单元)划分为十六个相等块的变换系数的变换基底以及十六个相等的变换系数块。

图1的选择性的频域变换器12可选择通过以四个像素为单位并沿垂直频率的方向划分大变换基底(例如，16×16的变换基底2010)而获得的矩阵M1至M4作为选择性的垂直变换基底，并可选择从矩阵M1至M4矩阵转置的矩阵M1^T至M4^T作为选择性的水平变换基底。

因此，16×16的图像数据块X的16×16的系数块2020可根据频段被划分为十六个16×16的系数块D1至D16。可通过分别使用以下变换操作获得系数块D1至D16：

D1＝M1·X·M1^T，D2＝M1·X·M2^T，D3＝M1·X·M3^T，D4＝M1·X·M4^T；

D5＝M2·X·M1^T，D6＝M2·X·M2^T，D7＝M2·X·M3^T，D8＝M2·X·M4^T；

D9＝M3·X·M1^T，D10＝M3·X·M2^T，D11＝M3·X·M3^T，D12＝M3·X·M4^T；

D13＝M4·X·M1^T，D14＝M4·X·M2^T，D15＝M4·X·M3^T，D16＝M4·X·M4^T

因此，可仅从矩阵M1至M4而不是16×16的变换基底2010获得根据频段的系数块D1至D16。例如，如果除“0”以外的系数仅存在于系数块D1、D2、D5、D6和D9中，则选择性的频域变换器12可根据频域选择变换基底M1至M4之一，将选择的变换基底应用于图像数据块X，并执行变换操作(即，D1＝M1·X·M1^T、D2＝M1·X·M2^T、D5＝M2·X·M1^T、D6＝M2·X·M2^T和D9＝M3·X·M1^T)。图1的选择性的频域系数输出单元13可仅输出关于系数块D1、D2、D5、D6和D9的数据。

选择性的频域反变换器22可通过分别使用图20所示的系数块D1至D16中示出的按圆括号形式的反变换操作，对系数块D1至D16执行反变换。也就是说，选择性的频域反变换器22可通过将对用于执行变换的选择性的垂直变换基底和选择性的水平变换基底进行矩阵转置的结果应用于从系数块D1至D16中接收的系数块，来重构图像数据块X’。

例如，如果系数接收器21仅接收关于系数块D1、D2、D5、D6和D9的数据，则选择性的频域反变换器22可通过对系数块D1、D2、D5、D6和D9分别执行反变换操作(即，M1^T·D1·M1、M1^T·D2·M2、M2^T·D5·M1、M2^T·D6·M2和M3^T·D9·M1)，并组合执行结果来重构图像数据块X’。

图21示出本发明的另一实施例的用于将大数据单元(例如，32×32的数据单元)划分为8×4的系数块的变换基底以及所述系数块。

图1的选择性的频域变换器12可选择通过以四个像素为单位并沿垂直频率的方向划分32×32的变换基底2110而获得的矩阵M1至M8作为选择性的垂直变换基底。另外，选择性的频域变换器12可选择从矩阵M9、M10、M11和M12矩阵转置的矩阵M9^T、M10^T、M11^T和M12^T作为选择性的水平变换基底，其中，通过以八个像素为单位并沿垂直频率的方向划分32×32的变换基底2120获得矩阵M9、M10、M11和M12。

因此，32×32的图像数据块X的32×32的系数块2130可包括8×4的系数块D1至D32。可通过分别使用以下变换操作获得系数块D1至D32：

D1＝M1·X·M9^T，D2＝M1·X·M10^T，D3＝M1·X·M11^T，D4＝M1·X·M12^T；

D5＝M2·X·M9^T，D6＝M2·X·M10^T，D7＝M2·X·M11^T，D8＝M2·X·M12^T；

D9＝M3·X·M9^T，D10＝M3·X·M10^T，D11＝M3·X·M11^T，D12＝M3·X·M12^T；

D13＝M4·X·M9^T，D14＝M4·X·M10^T，D15＝M4·X·M11^T，D16＝M4·X·M12^T；

D17＝M5·X·M9^T，D18＝M5·X·M10^T，D19＝M5·X·M11^T，D20＝M5·X·M12^T；

D21＝M6·X·M9^T，D22＝M6·X·M10^T，D23＝M6·X·M11^T，D24＝M6·X·M12^T；

D25＝M7·X·M9^T，D26＝M7·X·M10^T，D27＝M7·X·M11^T，D28＝M7·X·M12^T；

D29＝M8·X·M9^T，D30＝M8·X·M10^T，D31＝M8·X·M11^T，D32＝M8·X·M12^T

因此，可仅从矩阵M1至M12而不是32×32的变换基底2110和2120获得系数块D1至D32。例如，如果系数D1、D2、D3、D5、D6、D9、D10、D13、D17和D21不是“0”，则选择性的频域变换器12可根据频段选择变换基底M1至M12中的至少一个，将选择的至少一个变换基底应用于图像数据块X，然后执行变换操作(即，D1＝M1·X·M9^T、D2＝M1·X·M10^T、D3＝M1·X·M11^T、D5＝M2·X·M9^T、D6＝M2·X·M10^T、D9＝M3·X·M9^T、D10＝M3·X·M10^T、D13＝M4·X·M9^T、D17＝M5·X·M9^T和D21＝M6·X·M9^T)。图1的选择性的频域系数输出单元13可仅输出关于系数块D1、D2、D3、D5、D6、D9、D10、D13、D17和D21的数据。

选择性的频域反变换器22可通过分别使用图21所示的系数块D1至D32中示出的按圆括号形式的反变换操作，对系数D1至D32执行反变换。也就是说，选择性的频域反变换器22可通过将对用于执行变换的选择性的垂直变换基底和选择性的水平变换基底进行矩阵转置的结果应用于从系数块D1至D32中接收的系数块，来重构图像数据块X’。

例如，如果系数接收器21仅接收关于系数块D1、D2、D3、D5、D6、D9、D10、D13、D17和D21的数据，则选择性的频域反变换器22可通过对系数块D1、D2、D3、D5、D6、D9、D10、D13、D17和D21中的至少一个执行M1^T·D1·M9、M1^T·D2·M10、M1^T·D3·M11、M2^T·D5·M9、M2^T·D6·M10、M3^T·D9·M9、M3^T·D10·M10、M4^T·D13·M9、M5^T·D17·M9和M6^T·D21·M9之中的对应的反变换操作，并组合执行结果来重构图像数据块X’。

因此，可针对其选择性的频域对大数据单元(例如，16×16或更大的数据单元)进行频率变换和频率反变换，从而减少计算量和计算复杂度。

图22示出根据本发明的另一实施例的将根据每个变换系数的频段而被单独选择的变换基底及其变换系数块。

选择性的频域变换器12和选择性的频域反变换器22可选择和使用多个变换基底中的根据变换系数的频段的变换基底。

选择性的频域变换器12可选择通过以四个像素为单位并沿垂直频率的方向划分第一16×16的变换基底2210而获得的矩阵中的最低频段的矩阵M1、通过以四个像素为单位并沿垂直频率的方向划分第二16×16的变换基底2220而获得的矩阵中的第二最低频段的矩阵M2、通过以四个像素为单位并沿垂直频率的方向划分第三16×16的变换基底2230而获得的矩阵中的第三最低频段的矩阵M3、以及通过以四个像素为单位并沿垂直频率的方向划分第四16×16的变换基底2240而获得的矩阵中的最高频段的矩阵M4作为选择性的垂直变换基底，并可选择通过对矩阵M1至M4分别进行矩阵转置而获得的的矩阵M1^T、M2^T、M3^T和M4^T作为选择性的水平变换基底。

因此，16×16的图像数据块X的16×16的系数块2250可根据频段被划分为十六个4×4的系数块D1至D16。可通过分别使用以下变换操作获得系数块D1至D16：

D1＝M1·X·M1^T，D2＝M1·X·M2^T，D3＝M1·X·M3^T，D4＝M1·X·M4^T；

D5＝M2·X·M1^T，D6＝M2·X·M2^T，D7＝M2·X·M3^T，D8＝M2·X·M4^T；

D9＝M3·X·M1^T，D10＝M3·X·M2^T，D11＝M3·X·M3^T，D12＝M3·X·M4^T；

D13＝M4·X·M1^T，D14＝M4·X·M2^T，D15＝M4·X·M3^T，D16＝M4·X·M4^T

因此，可仅从矩阵M1至M4而不是16×16的变换基底2210、2220、2230和2240获得根据频段的系数块D1至D16。例如，如果除“0”以外的系数仅存在于系数块D1、D2、D3、D5、D6和D9中，则选择性的频域变换器12可根据频域选择变换基底M1至M4之一，将选择的变换基底应用于图像数据块X，并执行变换操作(即，D1＝M1·X·M1^T、D2＝M1·X·M2^T、D5＝M2·X·M1^T、D6＝M2·X·M2^T和D9＝M3·X·M1^T)。图1的选择性的频域系数输出单元13可仅输出关于系数块D1、D2、D3、D5、D6和D9的数据。

选择性的频域反变换器22可通过分别使用图22所示的系数块D1至D16中示出的按圆括号形式的反变换操作，对系数块D1至D16执行反变换。也就是说，选择性的频域反变换器22可通过将对用于执行变换的选择性的垂直变换基底和选择性的水平变换基底进行矩阵转置的结果应用于从系数块D1至D16中接收的系数块，来重构图像数据块X’。

例如，如果系数接收器21仅接收关于系数块D1、D2、D3、D5、D6和D9的数据，则选择性的频域反变换器22可通过对系数块D1、D2、D3、D5、D6和D9分别执行反变换操作(即，M1^T·D1·M1、M1^T·D2·M2、M1^T·D3·M3、M2^T·D5·M1、M2^T·D6·M2和M3^T·D9·M1)，并随后组合执行结果来重构图像数据块X’。

因此，可基于频段的特性和变换/反变换的目标，使用与频段对应的不同变换基底执行选择性的频域变换/反变换。

根据图11至图22的以上实施例，使用基于具有除“0”以外的系数的频段、任意大小的系数块和系数而选择的选择性的水平变换基底和选择性的垂直变换基底，执行选择性的频域变换/反变换。因此，计算量和计算复杂度比当使用一般的正方变换基底执行变换或反变换时小。

现在将参照图23至图33详细描述根据本发明的实施例的由选择性的频域变换器12和选择性的频域反变换器22执行的，基于频域改变扫描系数的顺序的方法。图23至图31示出根据本发明的实施例的扫描包括在每个8×8的系数块中的系数的顺序。

图23示出扫描8×8的变换系数的一般顺序。即使在包括在8×8的变换系数块2310中的系数中仅系数D1、D2、D9、D10、D13、D14、D17、D19、D26和D27不是“0”，但根据一般的扫描顺序，从系数D1到系数D16的系数长度是“27”。

图24示出根据本发明的实施例的根据频段扫描8×8的变换系数的顺序。

图1的视频编码设备10可按这样的方式设置系数扫描顺序：以根据频段产生的系数块为单位扫描系数。例如，如果在通过将8×8的系数块2410划分为四个部分而获得的系数块2420、2430、2440和2450中，垂直低频段的两个系数块2420和2430包括的除“0”以外的系数，则可按这样的方式设置系数扫描顺序：以块为单位单独地扫描这些系数。

另外，图2的视频解码设备20可通过以系数块为单位单独扫描系数来读取和解码所接收的根据频段划分的系数块的系数。通过将8×8的系数块2410划分为四个子块并单独扫描所述四个子块而获得的系数长度(即，除“0”以外的系数的总数量)是15+5＝20。

视频编码设备10可设置系数块模式信息并对系数块模式信息进行编码，所述系数块模式信息指示包括产生的频段系数的系数块是否包括除“0”以外的系数。编码的系数块模式(CCBP)信息由按照以Z字形模式排列系数块的顺序排列的比特组成，以指示所述系数块是否包括除“0”以外的系数。例如，当系数块2420、2430、2440和2450中的垂直低频段的系数块2420和2430包括除“0”以外的系数时，关于8×8的系数块2410的CCBP信息可被设置为“1100”。

另外，图2的视频解码设备20可通过接收和读取CCBP信息来确定包括除“0”以外的系数的系数块。视频解码设备20还可基于CCBP信息确定系数块2420和2430(所述系数块2420和2430被确定为包括除“0”以外的系数)的位置，并确定系数块2420和2430中的扫描的系数的位置。

图25示出根据本发明的另一实施例的扫描整个频段中的8×8的变换系数的顺序。

图1的视频编码设备10可按这样的方式设置系数扫描顺序：根据频段产生的所有系数块的系数被一起扫描。例如，可按这样的方式设置系数扫描顺序：包括在8×8的系数块2410中的两个系数块2420和2430的系数可被连续扫描。在这种情况下，系数长度，从DC分量系数到最高频率系数连续扫描的除“0”以外的系数的系数的数量可以是“21”。

图2的视频解码设备可按照从系数块2420到系数块2450(自系数块2410划分所述系数块2420至2450)顺序地一起扫描除“0”以外的系数的顺序，读取接收的根据频段划分的系数块的系数，并对所述系数进行解码。

图26示出根据本发明的另一实施例的扫描除与中间频段对应的系数外的8×8的变换系数的顺序。图1的视频解码设备10可按这样的方式改变系数扫描顺序：可扫描图像数据的所有系数之中除预定频段以外的频段的系数块。例如，可按这样的方式设置系数扫描顺序：在通过将8×8的系数块2610划分为四个部分而获得的8×8的系数块2620、2630、2640和2650中，除均包括系数“0”的系数块2630和2640外，可连续扫描垂直和水平最低频段的系数块2620以及垂直和水平最高频段的系数块2650中包括的系数。在这种情况下，编码的系数块模式(CCBP)信息可被设置为“1001”，并且从最低频段的DC分量系数D1到系数D54的系数长度是“25”。

图2的视频解码设备可按照从系数块2620到系数块2650(从系数块2410划分所述系数块2620至系数块2650)连续地扫描除“0”以外的系数的顺序，读取接收的系数块的所有系数，并对接收的系数块的所有系数进行解码。在这种情况下，视频解码设备20可接收并读取编码的系数块模式(CCBP)信息，并确定接收的系数属于包括在8×8的系数块2610中的8×8的系数块2620和2650。

图27示出根据本发明的实施例的通过使用系数块的水平大小和垂直大小来表示关于扫描8×8的变换系数的顺序的信息。

图1的视频编码设备10可对关于与系数扫描范围对应的系数块大小的信息进行编码。可以以水平索引X和垂直索引Y表示关于系数块大小的信息。例如，如果包括在8×8的系数块2710中的系数D1、D2、D9、D10、D13、D14、D17、D19、D26和D27不是“0”，则关于系数块大小的信息可被设置为X＝6且Y＝4，以确定系数扫描范围。从最低频段的DC分量系数D1到系数D14的系数长度是“21”。

图2的视频解码设备20可基于关于系数块大小的信息，确定包括将被扫描的系数的系数块。

图28示出根据本发明的另一实施例的扫描8×8的变换系数的顺序。图1的视频编码设备10可以以水平索引X和垂直索引Y表示关于系数块大小的信息。例如，用于扫描不是“0”且包括在8×8的系数块2810中的系数D1、D9、D17和D25的系数长度是“10”。

图2的视频解码设备20可基于关于系数块大小的信息，通过获得水平索引X和垂直索引Y来确定包括将被扫描的系数的系数块。

图29示出根据本发明的另一实施例的通过使用系数块的垂直大小或水平大小来表示关于扫描8×8的变换系数的顺序的信息的方法。

图1的视频编码设备10可以以水平索引X或垂直索引Y表示关于系数块大小的信息。例如，如果8×8的系数块2810的系数D1、D9、D17和D25不是“0”，则可仅基于垂直索引Y(例如，“4”)确定将被扫描的系数块2920。

图2的视频解码设备20可通过从关于系数块大小的信息中仅提取垂直索引Y(例如，“4”)来确定将被扫描的系数块2920，以扫描接收的系数D1、D9、D17和D25。在这种情况下，系数块29200的系数长度被减少至“4”。

图30示出根据本发明的另一实施例的扫描8×8的变换系数的顺序。如果8×8的系数块3010的系数D1、D9、D10、D11、D25、D34和D42不是“0”，则基于根据Z字形模式的一般系数扫描顺序，系数长度是“23”。

图31示出根据本发明的另一实施例的通过将系数块的垂直索引和水平索引表示为“2”的倍数来表示关于扫描8×8的变换系数的顺序的信息的方法。

图1的视频编码设备10可通过将水平索引X或垂直索引Y设置为“2”的倍数来表示关于系数块大小的信息。例如，如果8×8的系数块3110的系数D1、D9、D10、D11、D25、D34和D42不是“0”，则仅有包括系数D1、D9、D10、D11、D25、D34和D42的系数块3120可被编码。水平索引X和垂直索引Y可被设置为“2”的倍数的“4”和“6”，作为关于系数块3120的大小的信息。在这种情况下，系数长度是“19”。

图2的视频解码设备20可基于接收的关于系数块大小的信息，确定包括接收的系数的系数块的大小。可从关于系数块大小的信息中提取设置为“2”的倍数的水平索引X和垂直索引Y。例如，如果从关于系数块大小的信息中提取出水平索引X＝4且垂直索引Y＝6，则可基于提取的索引确定系数块3110的包括系数D1、D9、D10、D11、D25、D34和D42的系数块3120的大小和位置。

图32示出根据本发明的另一实施例的基于每个频段的频率特性来改变扫描8×8的变换系数的顺序的方法。可从b×b的垂直变换基底矩阵3210中选择与包括在垂直频段的较低部分中的a/b的垂直频段对应的a×b的垂直变换基底矩阵。类似地，可从c×c的水平变换基底矩阵3220选择与包括在水平频段的较低部分中的d/c水平频段对应的c×d的水平变换基底矩阵。

如果通过将b×b的垂直变换基底矩阵3210和c×c的水平变换基底矩阵3220应用于b×c的图像数据来执行变换，则获得b×c的系数块3230。

当使用根据本发明的实施例的基于选择性的频域而选择的变换基底时，可通过将a×b的垂直变换基底矩阵3210和c×d的水平变换基底矩阵3220应用于b×c的图像数据来执行变换。根据单独扫描以系数块为单位基于上述方法产生的系数块3240、3250和3260的系数的顺序，从DC分量系数到除“0”以外的最高频率系数的系数长度是“24”。

图1的视频编码设备10和图2的视频解码设备20可针对系数块3240、3250和3260中的每一个单独改变系数扫描顺序。例如，如果根据系数块3260的频率特性确定垂直频段占优势，则系数块3260的系数扫描顺序可被改变为系数块3270中示出的扫描顺序。

图33示出根据本发明的另一实施例的扫描除与中间频段对应的系数以外的8×8的变换系数的顺序。视频编码设备10可根据垂直频段从b×b的垂直变换基底矩阵3310中选择选择性的垂直变换基底，并根据水平频段从c×c的水平变换基底矩阵3320中选择选择性的水平变换基底。

如果将变换应用于b×c的图像数据，则获得b×c的系数块3330和3340。为了扫描系数块3330的除“0”以外的系数，从DC分量系数到最高频率系数的系数长度是“30”。

当根据本发明的实施例的基于选择性的频域所选择的变换基底被使用时，可通过将选择性的垂直变换基底和选择性的水平变换基底应用于b×c的图像数据来执行变换。例如，可通过将b×b的垂直变换基底矩阵3310的垂直频段划分为四个频段并排除所述四个频段中的第二频段和第四频段，来选择选择性的垂直变换基底，并可通过将c×c的水平变换基底矩阵3320的水平频段划分为四个频段并排除所述四个频段中的第三频段，选择选择性的水平变换基底。

可通过使用根据本发明的实施例的选择性的垂直变换基底和选择性的水平变换基底，执行变换来获得系数块3350、3360、3370和3380。在系数块3340中，扫描根据频段的系数块3350至3380的顺序可按照系数块3350、3360、3370和3380的系数可被连续扫描的方式被设置，其中，系数块3350、3360、3370和3380均包括除“0”以外的系数。在这种情况下，系数长度可被减少至“19”。

图34是示出根据本发明的实施例的使用选择性的频域变换来执行低复杂度变换的视频编码方法的流程图。

在操作3410，以预定的数据单元为单位接收输入画面的图像数据。如果根据基于每个图像区域的分层图像单元的视频编码方法对输入画面进行编码，则可接收到变换单元的图像数据。

在操作3420，可通过将针对预定频域的变换基底应用于接收的数据来执行变换，从而获得选择性的频域的系数。所述预定频域可包括预定频段、预定大小的系数块、预定系数以及排除预定频段的其他频段。可通过将与预定频域对应的选择性的垂直变换基底和选择性的水平变换基底应用于接收的数据，从变换基底产生所述选择性的频域的系数。可使用正方变换基底或长方变换基底，并且可从不同的变换基底中选择垂直变换基底和水平变换基底，或者垂直变换基底和水平变换基底可被选择为与不同频段对应。

在操作3430，针对输入画面的预定数据单元产生的系数可被输出。可按这样的方式改变系数扫描顺序：可扫描整个系数块中以频段为单位选择性地产生的系数，并且可根据改变的系数扫描顺序输出所述系数。另外，关于选择性的频域变换的细节的信息(例如，变换基底的类型和选择的频段)、指示编码的系数块是否包括除“0”以外的系数的编码的系数块模式(CCBP)信息、以及关于系数扫描顺序的信息可被编码和发送。

图35是示出根据本发明的实施例的使用选择性的频域反变换来执行低复杂度反变换的视频编码方法的流程图。

在操作3510，画面的预定数据单元的系数被接收。另外，还可接收关于选择性的频域变换的细节的信息(例如，变换基底的类型和选择的频段)、指示编码的系数块是否包括除“0”以外的系数的编码的系数块模式(CCBP)信息、以及关于系数扫描顺序的信息。可基于CCBP信息和关于系数扫描顺序的信息，以改变的系数扫描顺序读取接收的系数。

在操作3520，通过将针对预定频域的变换基底应用于接收的系数来执行反变换，从而获得按预定数据单元的图像数据。

当接收到关于选择性的频域的信息和关于系数扫描顺序的信息时，可基于这些信息确定接收的系数的位置。另外，可通过检测关于以选择的频域为单位应用的变换基底的信息，对接收的系数执行反变换。还可通过仅对接收的系数执行反变换来重构原始图像数据。

在操作3530，从在操作3520中产生的图像数据重构画面。

将参照图36至图42描述根据本发明的实施例的使用作为另一类型的低复杂度变换的子数据单元变换的视频编码方法和设备以及视频解码方法和设备。

图36是根据本发明的另一实施例的使用子数据单元变换来执行低复杂度变换的视频编码设备3600的框图。

视频编码设备3600包括图像数据接收器3610、子数据单元划分单元3620、子数据单元变换器3630以及子数据单元系数输出单元3640。

图像数据接收器3610按预定数据单元接收输入画面的图像数据。可通过将输入画面的图像数据划分为预定大小的块来获得所述预定数据单元，以对其执行变换。按预定数据单元的图像数据可以是正方数据块或长方数据块。

子数据单元划分单元3640以多个子数据单元为单位对接收的数据进行划分。子数据单元变换器3630可通过单独地选择变换基底并将所述变换基底应用于所述多个子数据单元，执行变换以产生子数据单元的系数。子数据单元系数输出单元3640可输出输入画面的预定数据单元的系数。

视频编码设备3600可按这样的方式改变系数扫描顺序：可对以子数据单元为单位产生的系数块的系数进行扫描和编码。例如，可以以这样的方式改变系数扫描顺序：在接收的数据的全部系数中可单独扫描子数据单元的系数块，可连续扫描系数块的所有系数，或者可扫描除子数据单元的系数块以外的系数块。

视频编码设备3600可对关于子数据单元的大小的信息进行编码，以执行系数扫描。视频编码设备3600还可对指示子数据单元的系数块是否包括除“0”以外的系数的系数块模式信息进行编码。视频编码设备3600可改变系数扫描顺序以根据改变的系数扫描顺序执行熵编码。子数据单元系数输出单元3640可基于改变的系数扫描顺序，输出以子数据单元为单位产生的系数。

视频编码设备3600可对关于子数据单元变换的细节的信息(诸如子数据单元的大小和数量以及与子数据单元对应的变换基底的类型)进行编码和发送。

对于划分-组合变换，子数据单元变换器3630可对与通过子数据单元变换获得的子数据单元对应的系数进行组合，然后输出组合结果。例如，可通过组合对应的系数或以子数据单元为单位对其执行变换来执行划分-组合变换。也就是说，子数据单元变换和划分-组合变换可被连续执行。

当视频编码设备3600被用于执行基于每个图像区域的分层数据单元的视频编码时，以预定数据单元输入到图像数据接收器3610的图像数据可以是包括在当前最大编码单元中的当前编码单元的残差分量。

图37是根据本发明的另一实施例的使用子数据单元反变换来执行低复杂度反变换的视频解码设备3700的框图。

视频解码设备3700包括系数接收器3710、子数据单元系数产生器3720、子数据单元反变换器3730和画面重构单元3740。

系数接收器3710可接收画面的预定数据单元的系数。可通过对画面的图像数据的系数进行划分来获得包括接收的系数的预定数据单元，以执行反变换。

子数据单元系数产生器3720可从经由系数接收器3710接收的系数产生多个子数据单元的系数。子数据单元反变换器3730可从子数据单元系数产生器3720接收子数据单元的系数，并通过单独地选择变换基底并将所述变换基底应用于接收的系数，执行反变换来产生按预定数据单元的图像数据。画面重构单元3740从产生的图像数据重构画面。

视频解码设备3700可接收并读取关于子数据单元变换的细节的信息(诸如子数据单元的大小和数量以及与子数据单元对应的变换基底的类型)。

视频解码设备3700可通过接收并读取关于系数扫描顺序的信息，分析改变的系数扫描顺序。视频解码设备3700可按这样的方式改变系数扫描顺序：可单独地或连续地扫描接收的子数据单元的系数块中的系数。

视频解码设备3700还可接收关于系数块大小信息的信息，以执行系数扫描。视频解码设备3700可接收编码的系数块模式(CCBP)信息，所述编码的系数块模式(CCBP)信息指示包括根据频段产生的系数的系数块是否包括除“0”以外的系数。

在这种情况下，视频解码设备3700可按这样的方式改变系数扫描顺序：可基于CCBP信息仅扫描包括除“0”以外的系数的系数块。

如果子数据单元系数产生器3720接收通过执行划分-组合变换获得的系数，则子数据单元系数产生器3720可将所述系数复制与子数据单元的数量对应的次数，并根据子数据单元对所述系数进行分类。否则，子数据单元系数产生器3720可通过对系数执行反变换，将所述系数分类为多个子数据单元，其中，通过执行划分-组合变换获得所述系数。

图38示出根据本发明的实施例的子数据单元变换的构思。图36的视频编码设备3600和图37的视频解码设备3710可采用现在将参照图38描述的子数据单元变换/反变换。

为了方便解释，将参照图38描述对一维(1D)数据执行的变换/反变换。可通过沿水平频率和垂直频率的方向连续执行对一维(1D)数据执行的变换/反变换，对二维(2D)数据进行频率变换或频率反变换。

具有采样长度N的图像数据3810被划分为K个子数据单元，每个子数据单元具有采样长度M，对所述K个子数据单元执行变换以获得所述K个子数据单元的系数分块(partition)3820、3830、3840、3850、...、至3860。可根据采样长度M以图像数据3810的采样的顺序对所述K个子数据单元进行划分，或者所述K个子数据单元可根据预定划分规则被分类为包括M个采样。分块索引0、1、2、...、k、...、至K被分别分配给系数分块3820、3830、3840、3850、...、至3860。

基于离散余弦变换(DCT)，与对具有采样长度N的数据执行的变换的等式3870相比，根据本发明的实施例的子数据单元变换的等式3880是对具有采样长度M并分配有分块索引K的子数据单元执行的变换的等式。

具体地，在等式3880中，“x(j)”表示与具有采样长度M并分配有分块索引K的子数据单元对应的数据，“Z(i，M，N，K)”表示分配有该子数据单元的分块索引K的系数分块。在等式3880中，如果包括在“Z(i，M，N，K)”中的分块索引K被“k(＝0，1，2，...，K)”替换，则替换的结果(即，Z(i，M，N，k))表示分配给任意分块索引的子数据单元的变换系数。

可通过使用等式3880的逆操作对通过执行子数据单元变换获得的系数分块Z(i，M，N，k)进行频率反变换。

基于等式3880的系数分块Z(i，M，N，k)表示将DCT基底应用于针对分配有分块索引0、1、2、...、k、...至K的所有子数据单元的变换基底的结果，但根据本发明的实施例的子数据单元变换可使用针对所有的子数据单元单独选择的变换基底。

因此，视频编码设备3600可对从图像数据的空域划分的多个子数据单元执行变换，以产生与所述多个子数据单元对应的系数。视频解码设备3700可通过对多个子数据单元的系数执行反变换并在空域中组合所述执行的结果，重构原始图像数据。

当一个大数据单元被划分为预定数量的小数据单元，并且对所述预定数量的小数据单元单独执行变换或反变换时的计算量和计算复杂度会比当直接对所述大数据单元执行变换或反变换时小。因此，可通过使用视频编码设备3600和视频解码设备3700来减少当执行变换和反变换时的计算量和计算复杂度。

图39示出根据本发明的实施例的使用子数据单元变换的划分-组合变换的构思。在根据本发明的实施例的划分-组合变换中，大空域被划分为多个小空域并且所述小空域的变换系数被组合以获得一个频域的变换系数。还可通过执行以上参照图38描述的子数据单元变换来产生所述多个小空域的变换系数。

也就是说，可通过将具有采样长度N的图像数据3810划分为均具有采样长度M的K个子数据单元，并随后组合通过执行子数据单元变换而获得的K个系数分块3820、3830、3840、...、3850、...、至3860，来产生具有采样长度M的系数分块3970。在这种情况下，可通过简单地将这些系数分块相加或对这些系数分块执行另一变换，组合所述K个系数分块3820、3830、3840、...、3850、...、至3860。

视频编码设备3600可对具有采样长度M的系数分块3970进行编码和发送。

图40示出根据本发明的实施例的使用子数据单元变换的划分-组合反变换的构思。图37的视频解码设备3700可接收具有采样长度M的系数分块4070。对于划分-组合反变换，通过将具有采样长度M的系数分块4070的系数分离来重构K个系数分块4020、4030、4040、...、4050、...、至4060，其中，通过执行划分-组合变换获得具有采样长度M的系数分块4070的系数。

子数据单元系数产生器3720可通过将系数分块4070的系数复制到K个系数分块4020、4030、4040、...、4050、...、至4060的对应的系数位置，或通过对系数分块4070的系数执行另一反变换来重构K个系数分块4020、4030、4040、...、4050、...、至4060。

子数据单元反变换器3730可通过对K个系数分块4020、4030、4040、...、4050、...、至4060执行子数据单元反变换来重构具有采样长度N的原始图像数据4010。

图41是示出根据本发明的另一实施例的使用子数据单元变换来执行低复杂度变换的视频编码方法的流程图。

在操作4110，以预定数据单元为单位接收输入画面的图像数据。输入图像的预定数据单元可以是用于执行变换的数据单元。

在操作4120，图像数据被划分为多个子数据单元。在操作4130，通过单独选择变换基底并将所述变换基底应用于所述多个子数据单元，执行变换来产生所述子数据单元的系数。可使用以上参照图38描述的子数据单元变换的等式3880。

在操作4140，子数据单元的系数被输出。在这种情况下，可通过执行划分-组合变换来组合与子数据单元对应的系数块并可输出组合的结果。可通过组合与子数据单元对应的系数块或对与子数据单元对应的系数块执行另一变换的划分-组合变换，获得和输出系数。另外，关于系数扫描顺序的信息、关于子数据单元变换的细节的信息以及编码的系数块模式(CCBP)信息可被编码和输出。

图42是示出根据本发明的另一实施例的使用子数据单元反变换来执行低复杂度反变换的视频解码方法的流程图。在操作4210，画面的预定数据单元的系数被接收。另外，关于子数据单元变换的细节的信息(例如，变换基底的类型以及子数据单元的数量和长度)、指示编码的系数块是否包括除“0”以外的系数的编码的系数块模式(CCBP)信息、以及关于系数扫描顺序的信息可被接收。可基于CCBP信息和关于系数扫描顺序的信息，以改变的系数扫描顺序来读取接收的系数。

在操作4220，从在操作4210中接收的系数产生多个子数据单元的系数。如果接收到通过执行划分-组合变换而获得的系数，则可通过将接收的系数复制与子数据单元的数量对应的次数来将所述系数分类到多个子数据单元。否则，可通过对接收的系数执行另一反变换，将通过划分-组合变换获得的系数分类到子数据单元。

在操作4230，子数据单元的系数被接收，并通过单独选择用于所述系数的变换基底来对其执行反变换，从而获得按预定数据单元的图像数据。在操作4240，从在操作4230中产生的图像数据重构画面。

将参照图43至图46描述根据本发明的实施例的使用按比例缩减变换的视频编码方法和设备以及视频解码方法和设备，所述按比例缩减变换是另一类型的低复杂度变换。

图43是示出根据本发明的另一实施例的使用按比例缩减变换来执行低复杂度变换的视频编码设备4300的框图。视频编码设备4300包括图像数据接收器4310、按比例缩减变换器4320以及按比例缩减变换系数输出单元4330。

图像数据接收器4310可按预定数据单元接收输入画面的图像数据。可通过将输入画面的图像数据划分为预定大小的块来获得所述预定数据单元，以对其执行变换。按预定数据单元的图像数据可以是正方数据块或长方数据块。

按比例缩减变换器4320通过使用长方变换基底对图像数据执行变换的按比例缩减变换，产生从图像数据接收器4310接收的图像数据的系数，其中，通过组合长方矩阵和正方矩阵并对组合的结果进行按比例缩减来获得所述长方变换基底。按比例缩减变换系数输出单元4330输出从按比例缩减变换器4320接收的系数。

如果第一大小大于第二大小并且图像数据接收器4310接收宽度和高度具有第二大小的数据块，则可根据下面的本发明的第一实施例至第三实施例之一执行按比例缩减变换。

根据本发明的第一实施例，按比例缩减变换器4320可通过使用从变换基底矩阵C和按比例缩减空间矩阵F的组合获得的第一长方变换基底D＝C·F执行按比例缩减变换，其中，所述第一长方变换基底D的宽度和高度分别具有第一大小和第二大小，变换基底矩阵C的宽度和高度具有第一大小，按比例缩减空间矩阵F的宽度和高度分别具有第一大小和第二大小。

因此，如果基于第一长方变换基底D对宽度和高度具有第二大小的图像数据执行按比例缩减变换，则通过按比例缩减空间矩阵F，图像数据被变换为空间数据块(所述空间数据块的宽度和高度具有第一大小)，并使用变换基底矩阵C执行变换，从而获得宽度和高度具有第一大小的变换系数块。变换基底矩阵C可以是用于执行根据本发明的实施例的子数据单元变换的变换基底矩阵。

根据本发明的第二实施例，按比例缩减变换器4320可通过使用从矩阵F’和变换基底矩阵C’的组合获得的第二长方变换基底D’＝F’·C’来执行按比例缩减变换，其中，所述第二长方变换基底D’的宽度和高度分别具有第一大小和第二大小，矩阵F’的宽度和高度分别具有第一大小和第二大小，变换基底矩阵C’的宽度和高度具有第二大小。

因此，如果基于第二长方变换基底D’对宽度和高度具有第二大小的图像数据执行按比例缩减变换，则通过使用变换基底矩阵C’对图像数据执行变换来获得宽度和高度具有第二大小的系数块，并且矩阵F’被用于选择具有第一大小对第二大小的比率的频段，从而获得宽度和高度具有第一大小的变换系数。

根据本发明的第三实施例，按比例缩减变换器4320可通过使用大小等于图像数据块的大小的变换基底矩阵来对宽度和高度具有第二大小的图像数据块执行变换，然后量化执行的结果。因此，可通过选择性的使用按比例缩减变换矩阵执行按比例缩减变换，所述按比例缩减变换矩阵的宽度和高度仅在所有的高频分量为“0”时分别具有第一大小和第二大小。

根据本发明的第一至第三实施例，针对宽度和高度具有第二大小的图像数据产生宽度和高度具有第一大小的变换系数，从而减少计算量和比特率。

视频编码设备4300可对关于按比例缩减变换的细节的信息(例如，划分的变换基底的类型和按比例缩减变换的各种实施例)进行编码和发送。

视频编码设备4300可按这样的方式改变系数扫描顺序：可仅对产生的系数块的系数进行扫描和编码。例如，可按这样的方式改变系数扫描顺序：可以以通过按比例缩减变换所产生的系数块为单位单独扫描图像数据的所有系数中的预定系数块的系数，可连续扫描产生的系数块的所有系数，或者可扫描除预定子数据单元的系数块以外的系数块。

视频编码设备4300可对系数块大小信息进行编码以执行系数扫描。视频编码设备4300还可对指示每个系数块是否包括除“0”以外的系数的编码的系数块模式(CCBP)信息进行编码。视频编码设备4300还可根据改变的系数扫描顺序改变用于执行熵编码的系数扫描顺序。按比例缩减变换系数输出单元4330可基于改变的系数扫描顺序，输出以子数据单元为单位产生的系数。

图44是示出根据本发明的另一实施例的使用按比例缩减反变换来执行低复杂度反变换的视频解码设备4400的框图。视频解码设备4400包括系数接收器4410、按比例缩减反变换器4420和画面重构单元4430。

系数接收器4410可接收画面的预定数据单元的系数。所述预定数据单元的系数可以是对所述画面的图像数据的系数进行划分的结果，以执行反变换。

按比例缩减反变换器4420可通过使用按比例缩减长方变换基底对经由系数接收器4410接收的系数执行反变换，产生按预定数据单元的图像数据，其中，通过将长方矩阵和正方矩阵进行组合并按比例缩减组合的结果，获得所述按比例缩减长方变换基底。

画面重构单元4430通过从由按比例缩减反变换器4420产生的图像数据重构画面。

根据本发明的实施例，按比例缩减反变换器4420可通过使用从变换基底矩阵C和按比例缩减空间矩阵F的组合获得的第一长方变换基底D＝C·F执行按比例缩减反变换，其中，所述第一长方变换基底D的宽度和高度分别具有第一大小和第二大小，变换基底矩阵C的宽度和高度具有第一大小，按比例缩减空间矩阵F的宽度和高度分别具有第一大小和第二大小。变换基底矩阵C可以是用于执行根据本发明的实施例的子数据单元变换的变换基底矩阵。

根据本发明的第二实施例，按比例缩减反变换器4420可通过使用从矩阵F’和变换基底矩阵C’的组合获得的第二长方变换基底D’＝F’·C’来执行按比例缩减反变换，其中，所述第二长方变换基底D’的宽度和高度分别具有第一大小和第二大小，矩阵F’的宽度和高度分别具有第一大小和第二大小，变换基底矩阵C’的宽度和高度具有第二大小。

根据本发明的第三实施例，如果系数接收器4410接收到宽度和高度具有第一大小且为通过使用按比例缩减变换矩阵(其宽度和高度分别具有第一大小和第二大小)执行按比例缩减变换而获得的系数块，则当通过使用大小等于系数块的变换基底矩阵对宽度和高度具有第二大小的图像数据块执行反变换，并量化执行的结果时，所有的高频分量可能是“0”。因此，根据第三实施例，按比例缩减反变换器4420可通过仅使用所接收的宽度和高度具有第一大小的系数块，重构宽度和高度具有第二大小的图像数据块。

视频解码设备4400可接收并读取关于按比例缩减变换的细节的信息(例如，划分的变换基底的类型以及按比例缩减变换的各种实施例)。按比例缩减反变换器4420可基于读取的信息执行反变换。

另外，还可接收关于选择性的频域变换的细节的信息(例如，选择的频段和变换基底的类型)、指示编码的系数块是否包括除“0”以外的系数的编码的系数块模式(CCBP)信息、以及关于系数扫描顺序的信息。可基于CCBP信息和关于系数扫描顺序的信息，按改变的系数扫描顺序读取接收的系数。

按比例缩减反变换器4420可通过使用针对预定频域的变换基底对接收的系数执行反变换，产生按预定数据单元的图像数据。可基于关于选择性的频域变换的细节的信息和CCBP信息，对当前系数执行反变换。

当接收到关于按比例缩减变换的细节的信息和关于系数扫描顺序的信息时，可基于这些信息确定接收的系数的位置。另外，可通过检测关于以选择的频域为单位应用的变换基底的信息，对接收的系数执行反变换。还可通过仅对接收的系数执行反变换来重构原始图像数据。

根据按比例缩减反变换的第一至第三实施例，可通过对宽度和高度具有第一大小的系数块执行反变换来获得宽度和高度具有第二大小的图像数据块，从而减少计算量。

图45是示出根据本发明的另一实施例的使用按比例缩减变换来执行低复杂度变换的视频编码方法的流程图。在操作4510，以预定数据单元为单位接收输入画面的图像数据。可通过将输入画面的图像数据划分为预定大小的块来获得所述预定数据单元，从而对其执行变换。所述预定数据单元可以是正方数据块或长方数据块。如果根据基于每个图像区域的分层数据单元的视频编码方法对输入画面进行编码，则变换单元的图像数据可被接收以执行按比例缩减变换。

在操作4520，通过使用长方变换对在操作4510中接收到的图像数据执行按比例缩减变换来产生图像数据的系数，其中，通过对长方矩阵和正方矩阵进行组合并按比例缩减组合的结果，获得所述长方变换。依据根据本发明的实施例的按比例缩减变换的各种实施例，(i)可使用作为M×M的变换基底与M×N的按比例缩减空间矩阵的组合的第一M×N的长方变换基底(第一实施例)，(ii)可使用作为M×N的选择性的频域矩阵与M×M的变换基底矩阵的组合的第二M×N的长方变换基底(第二实施例)，(iii)在使用N×N的变换基底矩阵执行变换并对执行结果进行量化之后，当所有的高频分量为“0”时，执行按比例缩减反变换(第三实施例)。

在操作4530，在操作4520中产生的系数被输出。可按这样的方式改变系数扫描顺序：可仅扫描产生的系数或系数块。

另外，关于按比例缩减变换的细节的信息(例如，变换基底的类型)、指示编码的系数块是否包括除“0”以外的系数的编码的系数块模式(CCBP)信息、以及关于系数扫描顺序的信息可被编码和发送。

图46是示出根据本发明的另一实施例的使用按比例缩减反变换来执行低复杂度反变换的视频解码方法的流程图。在操作4610，接收画面的预定数据单元的系数。接收的系数可以是对画面的图像数据的系数进行划分的结果，以执行反变换。关于按比例缩减变换的细节的信息、编码的系数块模式(CCBP)信息以及关于系数扫描顺序的信息还可被接收。可基于CCBP信息和关于系数扫描顺序的信息，按改变的系数扫描顺序读取接收的系数。

在操作4620，通过使用长方变换对在操作4610中接收到的系数执行按比例缩减反变换来产生按预定数据单元的图像数据，其中，通过对长方矩阵和正方矩阵进行组合获得所述长方变换。依据根据本发明的实施例的按比例缩减反变换的各种实施例，(i)可使用作为M×M的变换基底与M×N的按比例缩减空间矩阵的组合的第一M×N的长方变换基底(第一实施例)，(ii)可使用作为M×N的选择性的频域矩阵与M×M的变换基底矩阵的组合的第二M×N的长方变换基底(第二实施例)，(iii)在使用N×N的变换基底矩阵执行反变换并对执行结果进行量化之后，当所有的高频分量为“0”时，可执行按比例缩减反变换(第三实施例)。例如，可基于关于按比例缩减变换的细节的信息确定变换基底的类型。

在操作4630，从在操作4620中产生的图像数据重构画面。如果对根据依据本发明的实施例的基于每个图像区域的分层数据单元的视频编码方法进行编码的图像执行了反变换，则可通过所述反变换按变换单元重构图像数据。

将参照图47至图50描述根据本发明的各种实施例的采用低复杂度变换的视频编码方法和设备以及视频解码方法和设备。

图47是示出根据本发明的另一实施例的使用低复杂度变换的视频编码设备4700的框图。视频编码设备4700包括图像数据解收器4710、低复杂度变换器4720以及变换系数输出单元4730。所述低复杂度变换器4720包括选择性的频域变换器4722、子数据单元变换器4724和按比例缩减变换器4726。

图像数据接收器4710可按预定数据单元接收输入画面的图像数据。可通过将输入画面的图像数据划分为预定大小的块来获得所述预定数据单元，以对其执行变换。按预定数据单元的图像数据可以是正方数据块或长方数据块。如果根据基于每个图像区域的分层数据单元的视频编码方法对输入画面进行编码，则所述图像数据可以是按变换单元的图像数据。

在使用针对预定频域的变换基底的选择性的频域变换、通过单独地选择变换基底并将所述变换基底应用于从图像数据划分的子数据单元来执行变换的子数据单元变换、以及使用通过对长方矩阵和正方矩阵进行组合并对组合的结果进行按比例缩减而获得的长方变换基底的按比例缩减变换之中，低复杂度变换器4720可对从图像数据接收器4710接收的图像数据选择性地执行变换。

根据低复杂度变换器4720的选择，图像数据被输入到选择性的频域变换器4722、子数据单元变换器4724或按比例缩减变换器4726。

选择性的频域变换器4722可通过使用针对预定频域的变换基底，对图像数据执行变换来产生选择性的频域系数。选择性的频域变换器4722可执行以上参照图1至图35描述的选择性的频域变换。选择性的频域变换器4722可对应于图1的选择性的频域变换器12。

子数据单元变换器4724可通过单独选择变换基底并将所述基底应用于从图像数据划分的多个子数据单元，执行变换以产生所述多个子数据单元的系数。子数据单元变换器4724可执行以上参照图36至图42描述的子数据单元变换。子数据单元变换器4724可对应于图36的子数据单元变换单元3620。

按比例缩减变换器4726可通过使用长方变换基底对图像数据执行按比例缩减变换来产生图像数据的系数，其中，通过对长方矩阵和正方矩阵进行组合并对组合的结果进行按比例缩减来获得所述长方变换基底。按比例缩减变换器4726可执行以上参照图43至图46描述的按比例缩减变换。按比例缩减变换器4726可对应于图43的按比例缩减变换器4320。

低复杂度变换器4720可通过执行选择的变换，产生按预定数据单元的图像数据的系数，并将所述系数输出到变换系数输出单元4730。

变换系数输出单元4730可对关于将以数据单元为单位选择的低复杂度变换的类型的信息进行编码和发送。另外，关于选择性执行的变换的细节的变换信息可被编码和变换。可以以预定数据单元(例如，画面、帧、编码单元或变换单元)为单位设置所述变换信息。视频解码设备4700还可对例如编码的系数块模式(CCBP)信息和关于系数扫描顺序的信息进行编码和发送。

变换系数输出单元4730可输出由低复杂度变换器4720产生的变换系数。视频编码设备4700还可按这样的方式改变系数扫描顺序：可扫描产生的系数或系数块。基于改变的系数扫描顺序，熵编码顺序可被改变或者输出变换系数的顺序可被输出。

例如，可按这样的方式改变系数扫描顺序：产生的系数块可被单独扫描或者产生的系数块的系数可被连续扫描。系数块大小信息可被编码。可以以产生的系数块为单位并根据频率特性改变系数扫描顺序，或者可按这样的方式改变系数扫描顺序：可仅扫描图像数据的全部系数之中的产生的系数，或可仅扫描图像数据的全部系数中排除与预定频段对应的系数块而产生的系数块。另外，可按这样的方式改变系数扫描顺序：可基于CCBP信息扫描包括除“0”以外的系数的系数块。

图48是示出根据本发明的另一实施例的使用低复杂度反变换的视频解码设备4800的框图。视频解码设备4800包括系数接收器4810、低复杂度反变换器4820和画面重构单元4830。低复杂度反变换器4820包括选择性的频域反变换器4822、子数据单元反变换器4824和按比例缩减反变换器4826。

系数接收器4810可接收画面的预定数据单元的系数。接收的预定数据单元的系数可以是划分画面的图像数据的系数的结果，以执行反变换。

在使用针对预定频域的变换基底的选择性的频域反变换、通过单独地选择变换基底并将所述变换基底应用于从图像数据划分的子数据单元来执行反变换的子数据单元反变换、以及使用通过对长方矩阵和正方矩阵进行组合而获得的长方变换基底的按比例缩减反变换之中，低复杂度反变换器4820可对从系数接收器4810接收的系数选择性地执行反变换。

视频编码设备4800可按这样的方式改变系数扫描顺序：可扫描接收的系数或系数块。可基于改变的系数扫描顺序改变熵解码序。例如，可按这样的方式改变系数扫描顺序：可单独扫描接收的系数块或可连续扫描接收的系数块的系数。可以以接收的系数块为单位并根据频率特性改变系数扫描顺序，或者可按这样的方式改变系数扫描顺序：可仅扫描图像数据的全部系数之中的接收的系数，或可仅扫描图像数据的全部系数之中排除与预定频段对应的系数块的系数块。另外，可按这样的方式改变系数扫描顺序：可基于所接收的编码的系数块模式(CCBP)信息，扫描包括除“0”以外的系数的系数块。

根据低复杂度反变换器4820的选择，接收的系数被输入到选择性的频域反变换器4822、子数据单元反变换器4824或按比例缩减反变换器4826。如果以数据单元为单位接收到关于低复杂度变换的类型的选择的信息，则低复杂度反变换器4820可针对当前数据单元，基于关于低复杂度变换的类型的选择的信息，将接收到的系数输入到选择性的频域反变换器4822、子数据单元反变换器4824或按比例缩减反变换器4826。

例如，如果接收到关于选择的变换的信息(例如，通过选择性的频域变换获得的系数)，则关于例如选择的频段的范围和数量、系数块大小以变换基底的类型的信息可被接收。如果接收到通过子数据单元变换获得的系数，则诸如子数据单元的数量和变换基底的类型的信息可被接收。另外，如果接收到通过按比例缩减变换获得的系数，则诸如划分的变换基底的类型以及按比例缩减变换技术的信息可被接收。低复杂度反变换器4820可基于关于选择的变换的信息，根据选择的变换执行反变换。

选择性的频域反变换器4822可通过使用针对预定频域的变换基底对接收的系数执行反变换，产生按预定数据单元的图像数据。选择性的频域反变换器4822可执行以上参照图1至35描述的选择性的频域反变换。选择性的频域反变换器4822可对应于图22的选择性的频域反变换器22。

子数据单元反变换器4824可通过从接收的系数产生多个子数据单元的系数，并通过单独地选择变换基底并将所述基底应用于产生的系数来执行反变换，产生按预定数据单元的图像数据。子数据单元反变换器4824可执行以上参照图36至图42描述的子数据单元反变换。子数据单元反变换器4824可对应于图37的子数据单元反变换器3720。

按比例缩减反变换器4826可通过使用长方变换基底对接收的系数执行按比例缩减反变换，产生按预定数据单元的图像数据，其中，通过将长方矩阵与正方矩阵进行组合并对组合的结果进行按比例缩减来获得所述长方变换基底。按比例缩减反变换器4826可执行以上参照图43至图46描述的按比例缩减反变换。按比例缩减反变换器4826可对应于图44的按比例缩减反变换器4420。

低复杂度反变换器4820可将通过选择的反变换获得的按预定数据单元的图像数据输出到画面重构设备4830。如果已采用基于每个图像区域的分层数据单元的视频编码方法，则通过低复杂度反变换单元重构的图像数据可以是按变换单元的图像数据。

画面重构单元4830从由低复杂度反变换器4820产生的图像数据重构画面。

因此，视频编码设备4700和视频解码设备4800可通过使用用于获得按比例缩减的频段或按比例缩减的空间数据的变换基底，分别执行变换和反变换，从而提高计算效率。

图49是示出根据本发明的另一实施例的使用低复杂度变换的视频编码方法的流程图。在操作4910，以预定数据单元为单位接收输入画面的图像数据。可通过将输入画面的图像数据划分为预定大小的块来获得所述预定数据单元，以对其执行变换。所述预定数据单元可以是正方数据块或长方数据块。

在操作4920，对在操作4910中接收的图像数据选择性地执行选择性的频域变换、子数据单元变化和按比例缩减变换之中的变换。图像数据的预定数据单元的系数通过所选择的变换被产生并随后被输出。在操作4920，选择性的频域变换可与包括在图34的视频编码方法中的使用根据本发明的实施例的选择性的频域变换的操作3420对应，子数据单元变换可与包括在图41的视频编码方法中的使用根据本发明的实施例的子数据单元变换的操作4120对应，按比例缩减变换可与包括在图45的视频编码方法中的使用根据本发明的实施例的按比例缩减变换的操作4520对应。

在操作4930，在操作4920中产生的系数被输出。另外，关于以数据单元为单位的低复杂度变换的类型的选择的信息可被编码和发送。关于执行的低复杂度变换的细节的信息、关于改变的系数扫描顺序的信息以及编码的系数块模式(CCBP)信息也可被编码和发送。

图50是示出根据本发明的另一实施例的使用低复杂度反变换的视频解码方法的流程图。在操作5010，画面的预定数据单元的系数被接收。接收的预定数据单元的系数可以是对画面的图像数据的系数进行划分的结果，以执行反变换。如果接收到关于执行的反变换的细节的信息、关于系数扫描顺序的信息以及编码的系数块模式(CCBP)信息，则可基于接收的信息中的至少一条信息改变扫描接收的系数的顺序。

在操作5020，对在操作5010中接收的系数选择性地执行选择性的频域反变换、子数据单元反变换和按比例缩减反变换。在操作5020，选择性的频域反变换可与包括在图35的视频解码方法中的使用根据本发明的实施例的选择性的频域反变换的操作3520对应，子数据单元反变换可与包括在图42的视频解码方法中的使用根据本发明的实施例的子数据单元反变换的操作4220对应，按比例缩减反变换可与包括在图46的视频解码方法中的使用根据本发明的实施例的按比例缩减反变换的操作4620对应。

如果接收到关于以数据单元为单位的低复杂度变换的类型的选择的信息，则可基于该信息选择反变换的类型。如果接收到关于执行的变换的细节的信息，则基于该信息而选择的反变换可被执行以重构按预定数据单元的图像数据。

在操作5030，从在操作5020中产生的图像数据重构画面。

在根据本发明的实施例的使用低复杂度变换的视频编码方法中，仅对按比例缩减变换基底或数据单元执行变换，以仅对必要的信息而非一般的变换基底进行编码。因此，可仅扫描和输出产生的系数或系数块，从而减少计算量和传输比特率。另外，在根据本发明的实施例的使用低复杂度变换的视频解码方法中，因为关于选择的变换基底、频段和数据单元的信息被交换，所以当为接收的系数适当地选择变换基底时，可减少执行反变换所需的计算量和计算复杂度。

如上所述的根据本发明的实施例的使用低复杂度变换的视频编码方法和设备可被应用于基于每个图像区域的分层数据单元的视频编码方法和设备。换句话说，可与根据本发明的实施例的低复杂度变换和反变换相类似地执行包括在根据本发明的实施例的基于每个图像区域的分层数据单元的视频编码/解码方法和设备中的变换和反变换。在这种情况下，可通过低复杂度变换将按变换单元的图像数据变换为按变换单元的系数。

为了解释确定变换单元的处理，现在将参照图51至图63描述根据本发明的各种实施例的基于每个图像区域的分层数据单元的视频编码方法和设备以及视频解码方法和设备。

图51是示出根据本发明的另一实施例的基于每个图像区域的分层数据单元的视频编码设备100的框图。视频编码设备100包括最大编码单元分割器110、编码深度确定器120和输出单元130。

最大编码单元分割器110可基于针对图像的当前画面的最大编码单元来分割当前画面。如果当前画面大于最大编码单元，则当前画面的图像数据可被分割为至少一个最大编码单元。根据所述至少一个最大编码单元，所述图像数据可被输出到编码深度确定器120。

根据本发明的实施例的编码单元可由最大大小和深度来表现特性。所述深度表示所述编码单元被分层分割的次数，并且随着深度加深，可从最大编码单元至最小编码单元来分割根据深度的更深的编码单元。最大编码单元的深度是最高(uppermost)的深度且最小编码单元的深度是最低(lowermost)的深度。由于与每个深度对应的编码单元的大小随着最大编码单元的深度加深而减小，因此与较高(upper)深度对应的编码单元可包括与较低(lower)深度对应的多个编码单元。

如上所述，当前画面的图像数据根据编码单元的最大大小被分割为最大编码单元，每个最大编码单元可包括根据深度而被分割的更深的编码单元。由于根据本发明的实施例的最大编码单元根据深度被分割，因此包括在最大编码单元中的空域的图像数据可根据深度被分层地分类。

可预先确定编码单元的最大深度和最大大小，所述编码单元的最大深度和最大大小限制最大编码单元的高度和宽度被分层分割的总次数。

编码深度确定器120对通过根据深度分割最大编码单元的区域而获得的至少一个分割区域进行编码，并根据所述至少一个分割区域确定用于输出最终编码的图像数据的深度。换句话说，编码深度确定器120通过根据当前画面的最大编码单元以根据深度的更深的编码单元对图像数据进行编码，并选择具有最小编码错误的深度来确定编码深度。确定的编码深度和根据确定的编码深度的编码的图像数据被输出到输出单元130。

基于与等于或低于最大深度的至少一个深度对应的更深的编码单元，对最大编码单元中的图像数据进行编码，并基于所述更深的编码单元中的每一个来比较对图像数据进行编码的结果。可在对更深的编码单元的编码错误进行比较之后，选择具有最小编码错误的深度。可为每个最大编码单元选择至少一个编码深度。

随着据深度对编码单元进行分层分割且随着编码单元的数量的增加，最大编码单元的大小被分割。另外，即使在一个最大编码单元中多个编码单元对应于相同深度，也通过单独测量每个编码单元的图像数据的编码错误来确定是否将与相同深度对应的每个编码单元分割至更低的深度。因此，即使在图像数据被包括在一个最大编码单元中时，根据深度将图像数据分割至多个区域并且在所述一个最大编码单元中编码错误可根据区域而不同，因此，在图像数据中，编码深度可根据区域而不同。因此，可在一个最大编码单元中确定一个或多个编码深度，并可根据至少一个编码深度的编码单元对最大编码单元的图像数据进行划分。

可根据最大编码单元执行预测编码和变换。还可基于根据等于最大深度的深度或小于最大深度的深度的更深的编码单元，执行预测编码和变换，其中，所述最大深度取决于最大编码单元。

由于每当最大编码单元根据深度被分割时更深的编码单元的数量都增加，因此对随着深度加深而产生的所有的更深的编码单元执行包括预测编码和变换的编码。为了方便描述，现在将基于最大编码单元中的当前深度的编码单元描述预测编码和变换。

视频编码设备100可不同地选择用于对图像数据进行编码的数据单元的大小和形状。为了对图像数据进行编码，执行诸如预测编码、变换和熵编码的操作，且在同时，相同的数据单元可被用于所有的操作，或者不同的数据单元可被用于各个操作。

例如，视频编码设备100可不仅选择用于对图像数据进行编码的编码单元，还选择与编码单元不同的数据单元以对编码单元中的图像数据执行预测编码。

为了对最大编码单元执行预测编码，可基于最大编码单元的与深度对应的编码单元的部分数据单元执行预测编码。所述部分数据单元可包括均通过将对应的编码单元的高度和宽度中的至少一个进行分割而获得的数据单元和编码单元。

例如，当编码单元的大小是2N×2N(其中，N是正整数)时，所述部分数据单元的大小可以是2N×2N、2N×N、N×2N以及N×N。可不仅基于通过对编码单元的高度和宽度中的至少一个进行二等分获得的数据单元，还基于以各种方式从编码单元划分的数据单元执行预测编码。在下文中，执行预测编码所基于的数据单元将被称为预测单元。

编码单元的预测模式可以是帧内模式、帧间模式和跳跃模式中的至少一个。例如，可对2N×2N、2N×N、N×2N或N×N的预测单元执行帧内模式或帧间模式。另外，可仅对2N×2N的预测单元执行跳跃模式。对编码单元中的一个预测单元独立地执行编码，从而选择具有最小编码错误的预测模式。

视频编码设备100还可不仅基于用于对图像数据进行编码的编码单元，还基于预所述编码单元不同的数据单元，对编码单元中的图像数据执行变换。

为了按编码单元执行变换，可基于具有小于或等于所述编码单元的大小的数据单元来执行变换。例如，用于变换的数据单元可包括针对帧内模式的数据单元和针对帧间模式的数据单元。用作变换的基底的数据单元将被称为“变换单元”。

根据与编码深度对应的编码单元的编码信息不仅需要关于编码深度的信息，还需要关于与预测编码和变换相关的信息。因此，编码深度确定其120不仅确定具有最小编码错误的编码深度，还确定用于将编码深度的编码单元划分为预测单元的分块类型、根据预测单元的预测模式以及用于变换的变换单元的大小。

编码深度确定器120可通过使用基于拉格朗日乘法(Lagrangianmultiplier)的率失真最优化，测量根据深度的更深的编码单元的编码错误。

输出单元130在比特流中输出最大编码单元的图像数据和关于根据编码深度的编码模式的信息，其中，基于由编码深度确定器120确定的至少一个编码深度对最大编码单元的图像数据进行编码。

可通过对图像的残差数据进行编码来获得编码的图像数据。

关于根据编码深度的编码模式的信息可包括关于编码深度的信息、关于预测单元中的分块类型、预测模式和变换单元的大小的信息。

可通过使用根据深度的分割信息定义关于编码深度的信息，所述根据深度的分割信息指示是否对更低深度而非当前深度的编码单元执行编码。如果当前编码单元的当前深度是编码深度，则当前编码单元中的图像数据被编码和输出，并且因此分割信息可被定义为不将当前编码单元分割至更低深度。可选择地，如果当前编码单元的当前深度不是编码深度，则对更低深度的编码单元执行编码，因此分割信息可被定义为对当前编码单元进行分割以获得更低深度的编码单元。

如果当前深度不是编码深度，则对被分割为更低深度的编码单元的编码单元执行编码。由于在当前深度的一个编码单元中存在更低深度的至少一个编码单元，因此对所述更低深度的每个编码单元重复执行编码，从而可针对具有相同深度的编码单元递归地执行编码。

由于最大编码单元中的至少一个编码深度和关于针对每个编码深度的至少一个编码模式的信息应该被确定，因此可针对一个最大编码单元确定关于至少一个编码模式的信息。另外，由于根据深度分层地分割图像数据，因此最大编码单元的图像数据的编码深度可能根据位置而不同，从而可为图像数据设置关于编码深度和编码模式的信息。

因此，输出单元130可为包括在最大编码单元中的最小编码单元设置编码信息。也就是说，与编码深度对应的编码单元包括具有相同编码信息的至少一个最小编码单元。基于该事实，如果相邻的最小编码单元具有根据深度的相同编码信息，则所述相邻的最小编码单元可被包括在同一最大编码单元中。

例如，通过输出单元130输出的编码信息可被分类为根据编码单元的编码信息以及根据预测单元的编码信息。根据编码单元的编码信息可包括关于预测模式的信息以及关于分块的大小的信息。根据预测单元的编码信息可包括关于帧间模式的估计方向的信息、关于帧间模式的参考图像索引的信息、关于运动矢量的信息、关于帧内模式的色度分量的信息、以及关于帧内模式的插值方法的信息。另外，关于根据画面、像条(slice)或GOP定义的编码单元的最大大小的信息和关于最大深度的信息可被***到SPS(序列参数集)或比特流的头。

在视频编码设备100中，更深的编码单元可以是通过将作为上面一层的较高深度的编码单元的高度或宽度除以2而获得的编码单元。换句话说，在当前编码深度的编码单元的大小是2N×2N时，较低深度的编码单元的大小是N×N。另外，具有2N×2N的大小的当前深度的编码单元可包括最多4个较低深度的编码单元。

因此，视频编码设备100可基于最大编码单元的大小和考虑当前画面的特性而确定的最大深度，针对每个最大编码单元确定具有最佳形状和大小的编码单元。另外，由于可通过使用各种预测模式和变换中的任意一种来对每个最大编码单元执行编码，因此可考虑各种图像大小的编码单元的特性来确定最佳编码模式。

因此，如果按传统的宏块对具有高分辨率或大数据量的图像进行编码，则每个画面的宏块的数量会急剧增加，因此，针对每个宏块产生的压缩信息的条数增加，从而难以发送压缩信息并且数据压缩效率下降。然而，通过使用视频编码设备100，由于在考虑图像的大小增加了编码单元的最大大小的同时，考虑图像的特性调整了编码单元，因此图像压缩效率可提高。

图52是根据本发明的另一实施例的基于每个图像区域的分层数据单元的视频解码设备200的框图。

视频解码设备200包括接收器210、图像数据和编码信息提取器220以及图像数据解码器230。用于视频解码单元200的各种操作的各种术语(诸如编码单元、深度、预测单元、变换单元以及关于各种编码模式的信息)的定义与参照图1和视频编码设备100所描述的那些相同。

接收器210接收并解析已编码的视频的比特流。图像数据和编码信息提取器220从解析的比特流中以最大编码单元为单位提取图像数据，并将提取的图像数据输出到图像数据解码器230。图像数据和编码信息提取器220可从关于当前画面的头或SPS提取关于当前画面的编码单元的最大大小的信息。

另外，图像数据和编码信息提取器220从已解析的比特流提取关于用于每个最大编码单元的编码深度和编码模式的信息。提取的关于编码深度和编码模式的信息被输出到图像数据解码器230。换句话说，比特流中的图像数据被分割为最大编码单元，从而图像数据解码器230对每个最大编码单元的图像数据进行解码。

可针对关于与编码深度对应的至少一个编码单元的信息设置关于用于每个最大编码单元的编码深度和编码模式的信息，关于编码模式的信息可包括关于每个编码单元的预测单元的分块类型的信息、关于预测模式以及变换单元的大小的信息。另外，根据深度的分割信息可被提取为关于编码深度的信息。

关于由图像数据和编码信息提取器220提取的根据每个最大编码单元的编码模式和编码深度的信息是这样的信息，即：关于确定为当编码器(诸如视频编码设备100)根据每个最大编码单元针对根据深度的每个更深的编码单元重复执行编码时产生最小编码错误的编码深度和编码模式的信息。因此，视频解码设备200可通过根据产生最小编码错误的编码深度和编码模式对图像数据进行解码来重构图像。

图像数据和编码信息提取器220可按最小编码单元为单位提取关于编码深度和编码模式的信息。如果以最小编码单元为单位记录关于最大编码单元的编码深度和编码模式的信息，则分配有相同的关于编码深度和编码模式的信息的最小编码单元可被推断为是包括在同一最大编码单元中的数据单元。也就是说，可通过收集分配有相同信息的最小编码单元并根据这些最小编码单元执行解码，基于与具有最小编码错误的编码深度对应的编码单元来执行解码。

图像数据解码器230通过基于关于每个最大编码单元的编码深度和编码模式的信息，对每个最大编码单元中的图像数据进行解码来重构当前画面。图像数据解码器230可基于关于每个最大编码单元的编码深度的信息，以与至少一个编码深度对应的编码单元为单位对图像数据进行解码。该解码处理可包括：包括帧内预测和运动补偿的预测以及反变换。

为了对每个编码单元执行预测编码，图像数据解码器230可基于关于根据编码深度的编码单元的预测单元的预测模式和分块类型的信息，根据每个编码单元的预测模式和预测单元执行帧内预测或运动补偿。

为了对每个最大编码单元执行反变换，图像数据解码器230可基于关于根据编码深度的编码单元的变换单元的大小的信息，根据编码单元中的每个变换单元来执行反变换。

图像数据解码器230可通过使用根据深度的分割信息，确定当前最大编码单元的至少一个编码深度。如果所述分割信息指示将使用当前深度对图像数据进行解码，则当前深度是编码深度。因此，图像数据解码器230可通过使用关于预测单元的分块类型、预测模式、针对与编码深度对应的每个编码单元的变换单元的大小的信息，对当前最大编码单元中的与每个编码深度对应的至少一个编码单元的已编码的数据进行解码，并输出当前最大编码单元的图像数据。

换句话说，可通过观察为最小编码单元分配的编码信息，聚集包含编码信息(所述编码信息包括相同的分割信息)的最小编码单元，并且聚集的数据单元可被解码为一个数据单元。

视频解码设备200可在对每个最大编码单元递归地执行编码时，获得关于产生最小编码错误的至少一个编码单元的信息，并且视频解码设备200可使用所述信息来对当前画面进行解码。换句话说，可以以最大编码单元为单位且通过使用最佳编码单元来对图像数据进行解码。

因此，即使图像数据具有高分辨率和大数据量，也可通过使用编码单元的大小和编码模式对所述图像数据进行有效地解码和重构，其中，通过使用从编码器接收的关于最佳编码模式的信息，根据图像数据的特性来自适应地确定编码单元的大小和编码模式。

图53是用于描述根据本发明的实施例的编码单元的概念的示图。编码单元的示例可包括64×64的编码单元、32×32的编码单元、16×16的编码单元和8×8的编码单元。除这样的正方形的编码单元以外，编码单元的示例可包括64×31的编码单元、32×64的编码单元、32×16的编码单元、16×32的编码单元、16×8的编码单元、8×16的编码单元、8×4的编码单元、4×8的编码单元。

在视频数据310中，分辨率是1920×1080，编码单元的最大大小是“64”，最大深度是“2”。在视频数据320中，分辨率是1920×1080，编码单元的最大大小是“64”，最大深度是“3”。在视频数据330中，分辨率是352×288，编码单元的最大大小是“16”且，最大深度是“2”。

如果分辨率高或者数据量大，则编码单元的最大大小可能大，以便不仅提高编码效率，还精确地反映图像的特性。因此，具有比视频数据330高的分辨率的视频数据310和320的编码单元的最大大小可以为“64”。

最大深度表示在分层编码单元中的层的总数量。因此，由于视频数据310的最大深度是“2”，因此视频数据310的编码单元315可包括具有64的长轴(long axis)大小的最大编码单元，以及随着深度被加深至两层的具有32和16的长轴大小的编码单元。由于视频数据330的最大深度是“2”，因此视频数据330的编码单元335可包括具有16的长轴大小的最大编码单元，以及由于深度被加深至两层的具有8和4的长轴大小的编码单元。

由于视频数据320的最大深度是4，因此视频数据320的编码单元325可包括具有64的长轴大小的最大编码单元，以及由于深度被加深至四层的具有32、16、8和4的长轴大小的编码单元。随着深度加深，详细信息可被精确地表示。

图54是根据本发明的实施例的基于编码单元的图像编码器400的框图。图像编码器400执行视频编码设备100的编码深度确定器120的操作，以对图像数据进行编码。换句话说，在当前帧405中，帧内预测器410在帧内模式下对编码单元执行帧内预测，运动估计器420和运动补偿器425通过使用当前帧405和参考帧495，在当前帧405中，在帧间模式下对编码单元执行帧间估计和运动补偿。

从帧内预测器410、运动估计器420和运动补偿器425输出的数据通过变换器430和量化器440被输出为量化的变换系数。量化的变换系数通过反量化器460和反变换器470在空域被重构为数据，并且空域中的重构数据在通过去块单元480和循环滤波器490进行后处理之后，被输出为参考帧495。量化的变换系数可通过熵编码器450被输出为比特流455。

为了在视频编码设备100中应用图像编码器400，图像编码器400的所有部件(即，帧内预测器410、运动估计器420、运动补偿器425、变换器430、量化器440、熵编码器450、反量化器460、反变换器470、去块单元480、循环滤波器490)在考虑每个最大编码单元的最大深度的同时，基于与深度对应的编码单元执行操作。

具体地说，帧内预测器410、运动估计器420以及运动补偿器425确定每个编码单元的预测模式和预测单元，变换器430考虑到每个编码单元的深度和最大大小，确定变换单元的大小。

图55是示出根据本发明的实施例的基于编码单元的图像解码器500的框图。解析器510对将被解码的已编码的视频数据以及从比特流505进行解码所需的关于编码的信息进行解析。编码的视频数据通过熵解码器520和反量化器530被输出为反量化的数据，并且反量化的数据通过反变换器540在空域中被重构为图像数据。

帧内预测器550针对空域中的图像数据，在帧内模式下对编码单元执行帧内预测，运动补偿器560通过使用参考帧585，在帧间模式下对编码单元执行运动补偿。

经过帧内预测器550和运动补偿器560的空域中的图像数据可在通过去块单元570和循环滤波器580进行后处理之后，被输出为重构的帧595。另外，通过去块单元570和循环滤波器580进行后处理的图像数据可被输出为参考帧585。

为了在视频解码设备200的图像数据解码器230中对图像数据进行解码，图像解码器500可执行在解析器510之后执行的操作。

为了在视频解码设备200中应用图像解码器500，图像解码器500的所有部件(即，解析器510、熵解码器520、反量化器530、反变换器540、帧内预测器550、运动补偿器560、去块单元570以及循环滤波器580)以最大编码单元为单位且基于与编码深度对应的编码单元来执行操作。

具体地说，帧内预测器550和运动补偿器560确定编码单元和预测模式，反变换器540考虑到编码单元的最大大小和深度来确定变换单元的大小。

图56是示出根据本发明的实施例的根据深度的更深的编码单元以及预测单元的示图。视频编码设备100和视频解码设备200使用分层编码单元以考虑图像的特性。编码单元的最大高度、最大宽度和最大深度可根据图像的特性而被自适应地确定，或者可由用户不同地设置。根据深度的更深的编码单元的大小可根据编码单元的预定最大大小而被确定。

在根据本发明的实施例的编码单元的分层结构600中，编码单元的最大高度和最大宽度均是64，最大深度是4。由于深度沿分层结构600的纵轴加深，因此更深的编码单元的高度和宽度均被分割。另外，作为部分数据单元的预测单元沿分层结构600的横轴被示出，其中，基于所述部分数据单元，更深的编码单元被分别预测编码。

换句话说，编码单元610是分层结构600中的最大编码单元，其中，深度是0，大小(即，高度乘以宽度)是64×64。所述深度沿纵轴加深，并且存在大小为32×32且深度为1的编码单元620、大小为16×16且深度为2的编码单元630、大小为8×8且深度为3的编码单元640、大小为4×4且深度为4的编码单元650。大小为4×4且深度为4的编码单元650是最小编码单元。

部分数据单元沿横轴且根据每个深度排列为编码单元的预测单元。换句话说，大小为64×64且深度为0的编码单元610的预测单元可包括64×32的部分数据单元612、32×64的部分数据单元614、32×32的部分数据单元616以及编码单元610中所包括的64×64的部分数据单元610。换句话说，编码单元可以是包括变换单元610、612、614和616的正方数据单元。

类似地，大小为32×32且深度为1的编码单元620的预测单元可包括32×16的部分数据单元622、16×32的部分数据单元624、16×16的部分数据单元626以及编码单元620中所包括的32×32的部分数据单元620。

类似地，大小为16×16且深度为2的编码单元630的预测单元可包括16×8的部分数据单元632、8×16的部分数据单元634、8×8的部分数据单元636以及编码单元630中所包括的16×16的部分数据单元630。

类似地，大小为8×8且深度为3的编码单元640的预测单元可包括8×4的部分数据单元642、4×8的部分数据单元644、4×4的部分数据单元646以及编码单元640中所包括的8×8的部分数据单元640。

大小为4×4且深度为4的编码单元650是最小编码单元且是最低深度的编码单元。编码单元650的预测单元也是4×4的部分数据单元650。

为了确定组成最大编码单元610的编码单元的至少一个编码深度，视频编码设备100的编码深度确定器120针对与包括在最大编码单元610中的每个深度对应的编码单元执行编码。

根据深度的更深的编码单元的数量随深度加深而增加，其中，所述根据深度的更深的编码单元包括相同范围和相同大小的数据。例如，与深度2对应的四个编码单元需要覆盖包括在与深度1对应的一个编码单元中的数据。因此，为了比较根据深度的相同数据的编码结果，与深度1对应的编码单元和与深度2对应的四个编码单元均被编码。

为了针对多个深度中的当前深度执行编码，可通过沿分层结构600的横轴对与当前深度对应的编码单元中的每个预测单元执行编码，来针对当前深度选择最小编码错误。可选择地，随着深度沿分层结构600的纵轴加深，通过针对每个深度执行编码比较根据深度的最小编码错误，来搜索最小编码错误。编码单元610中具有最小编码错误的深度可被选择为编码深度和编码单元610的分块类型。

图57是用于描述根据本发明的实施例的编码单元710与变换单元720之间的关系的示图。

视频编码设备100或200针对每个最大编码单元，根据具有小于或等于最大编码单元的大小的编码单元对图像进行编码或解码。可基于不大于对应的编码单元的数据单元来选择在编码期间用于变换的变换单元的大小。

例如，在视频编码设备100或200中，如果编码单元710的大小是64×64，则可通过使用大小为32×32的变换单元720来执行变换。

另外，可通过对大小为小于64×64的32×32、16×16、8×8以及4×4的每个变换单元执行变换来对大小为64×64的编码单元710的数据进行编码，随后可选择具有最小编码错误的变换单元。

图58是用于描述根据本发明的实施例的与编码深度的对应的编码单元的编码信息的示图。

视频编码设备100的输出单元130可对关于分块类型的信息800、关于预测模式的信息810和关于与编码深度对应的每个编码单元的变换单元的大小的信息820进行编码和发送，作为关于编码模式的信息。

信息800将关于当前编码单元被分割的分块类型的信息指示为用于对当前编码单元进行预测编码的预测单元。例如，深度为0且大小为2N×2N的当前编码单元CU_0可被分割为2N×2N的预测单元802、2N×N的预测单元804、N×2N的预测单元806以及N×N的预测单元808中的任意一个。这里，关于分块类型的信息800被设置为指示2N×2N的预测单元802、2N×N的预测单元804、N×2N的预测单元806以及N×N的预测单元808中的一个。

信息810指示每个预测单元的预测模式。例如，信息810可指示对由信息800指示的预测单元执行的预测编码的模式(即，帧内模式812、帧间模式814或跳跃模式816)。

信息820指示当对当前编码单元执行变换时所基于的变换单元。例如，变换单元可以是第一帧内编码单元822、第二帧内变换单元824、第一帧间变换单元826或第二帧间变换单元828。

视频解码设备200的图像数据和编码信息提取器220可根据每个更深的编码单元，提取并使用信息800、810和820以进行解码。

图59是根据本发明的实施例的根据深度的更深的编码单元的示图。

分割信息可被用于指示深度的改变。分割信息指示当前深度的编码单元是否被分割成更低深度的编码单元。

用于对深度为0且大小为2N_0×2N_0的编码单元进行预测编码的预测单元910可包括大小为2N_0×2N_0的分块类型912的分块、大小为2N_0×N_0的分块类型914的分块、大小为N_0×2N_0的分块类型916的分块以及大小为N_0×N_0的分块类型918的分块。

根据每个分块类型，对大小为2N_0×2N_0的一个预测单元、大小为2N_0×N_0的两个预测单元、大小为N_0×2N_0的两个预测单元以及大小为N_0×N_0的四个预测单元重复执行预测编码。可对大小为2N_0×2N_0、N_0×2N_0、2N_0×N_0以及N_0×N_0的预测单元执行帧内模式和帧间模式下的预测编码。可仅对大小为2N_0×2N_0的预测单元执行跳跃模式下的预测编码。

如果在分块类型918中编码错误最小，则深度从0改变至1以在操作920进行分割，并可针对深度为2且大小为N_0×N_0的分块类型的编码单元922、924、926和928重复搜索最小编码错误。

由于对具有相同深度的编码单元922、924、926和928重复执行编码，因此现在将描述这些编码单元中的例如深度为1的编码单元的编码。用于对深度为1且大小为2N_1×2N_1(＝N_0×N_)的编码单元930进行预测编码的预测单元930可包括大小为2N_1×2N_1的分块类型932的预测单元、大小为2N_1×N_1的分块类型934的预测单元、大小为N_1×2N_1的分块类型936的预测单元以及大小为N_1×N_1的分块类型938的预测单元。对于每个分块类型，对一个2N_1×2N_1的预测单元、两个2N_1×N_1的预测单元、两个N_1×2N_1的预测单元以及四个N_1×N_1的预测单元重复进行预测编码。

如果在分块类型938中编码错误最小，则在操作950中深度从1改变至2，并且可针对深度为2且大小为N_2×N_2的编码单元942、944、946和948重复搜索最小编码错误。

当最大深度是d时，根据深度的分割信息可被设置，直到深度变为d-1为止。换句话说，用于对深度为d-1且大小为2N_(d-1)×2N_(d-1)的编码单元进行预测编码的预测单元950可包括大小为2N_(d-1)×2N_(d-1)的分块类型952的预测单元、大小为2N_(d-1)×N_(d-1)分块类型954的预测单元、大小为N_(d-1)×2N_(d-1)的分块类型956的预测单元以及大小为N_(d-1)×N_(d-1)的分块类型958的预测单元。

对于每种分块类型，可对一个2N_(d-1)×2N_(d-1)的预测单元、两个2N_(d-1)×N_(d-1)的预测单元、两个N_(d-1)×2N_(d-1)的预测单元以及四个N_(d-1)×N_(d-1)的预测单元重复执行预测编码。由于最大深度是d，因此深度为d-1的编码单元952不再被分割至更低的深度。

视频编码设备100可将根据编码单元900的深度的编码错误进行比较，并选择具有最小编码错误的深度，以确定编码单元912的编码深度。

例如，在编码单元具有深度0的情况下，针对分块类型912、914、916和918单独执行预测编码，并选择具有最小编码错误的预测单元。类似地，可搜索深度为0、1、...、至d-1的每个编码单元的具有最小编码错误的预测。在深度为0的情况下，可基于大小为2N_d×2N_d的编码单元960(所述编码单元960也用作预测单元)，通过预测编码确定最小编码错误。

这样，在1至d的所有深度中比较根据深度的最小编码错误，并可将具有最小编码错误的深度确定为编码深度。所述编码深度及其预测单元可作为关于编码模式的信息被编码并发送。另外，由于编码单元从深度0被分割至编码深度，因此仅编码深度的分割信息被设置为0，排除编码深度以外的深度的分割信息被设置为1。

视频解码设备200的图像数据和编码信息提取器220可提取并使用关于编码单元912的预测单元和编码深度的信息，以对编码单元912进行解码。视频解码设备200可通过使用根据深度的分割信息将分割信息为0的深度确定为编码深度，并使用关于对应深度的编码模式的信息以进行解码。

图60至图62是用于描述根据本发明的实施例的编码单元1010、预测单元1060和变换单元1070之间的关系的示图。

编码单元1010包括最大编码单元中具有树形结构的、与由视频编码设备100确定的编码深度对应的编码单元。预测单元1060包括与编码单元1010对应的预测单元。变换单元1070包括与编码单元1010对应的变换单元。

当在编码单元1010中最大编码单元的深度是0时，编码单元1012和1054的深度是1，编码单元1014、1016、1018、1028、1050和1052的深度是2、编码单元1020、1022、1024、1026、1030、1032和1048的深度是3、编码单元1040、1042、1044和1046的深度是4。

在预测单元1060中，从编码单元1012至1054之一划分一些预测单元1014、1016、1022、1032、1048、1050、1052和1054。换句话说，预测单元1014、1022、1050和1054是大小为2N×N的分块类型、预测单元1016、1048和1052是大小为N×2N的分块类型、预测单元1032是大小为N×N的分块类型。编码单元1010的预测单元小于或等于对应的编码单元。

以小于编码单元1052的数据单元为单位对变换单元1070中的一些变换单元1052的图像数据执行变换或反变换。另外，变换单元1014、1016、1022、1032、1048、1050、1052和1054在大小和形状方面与预测单元1060中的对应预测单元不同。换句话说，视频编码设备100和视频解码设备200可对不同数据单元(即使是相同编码单元中的不同数据单元)单独执行帧内预测、运动估计、运动补偿、变换和反变换。

图63是示出根据本发明的实施例的每个编码单元的编码信息的表。视频编码设备100的输出单元130可输出用于每个编码单元的编码单元，视频解码设备200的图像数据和解码信息提取器220可提取每个编码单元的编码信息。

编码信息可包括关于编码单元的分割信息、关于分块类型的信息、关于预测模式的信息以及关于变换单元大小的信息。表中示出的编码信息是可由视频编码设备100和视频解码设备200设置的编码信息的示例。

分割信息可指示每个编码单元的编码深度。由于基于分割信息而不再被分割为更低深度的深度是编码深度，因此可针对编码深度确定关于分块类型、预测模式的信息以及关于变换单元大小的信息。如果根据分割信息进一步分割当前编码单元，则对更低深度的四个分割编码单元独立地执行编码。

在关于分块类型的信息中，与编码深度对应的编码单元的变换单元的分块类型可以是2N×2N、2N×N、N×2N以及N×N中的一个。预测模式可以是帧内模式、帧间模式和跳跃模式中的一个。可在所有的分块类型中限定所述帧内模式和帧间模式，仅在大小为2N×2N的分块类型中限定跳跃模式。变换单元的大小可被设置为帧内模式下的两种类型和帧间模式下的两种类型。

每个编码单元中的最小编码单元可包含按与编码深度对应的编码单元为单位的编码信息。因此，可通过比较相邻最小数据单元的编码信息来确定相邻最小编码单元是否包括在与相同编码深度对应的编码单元中。另外，可通过使用包含在最小数据单元中的编码信息来确定与编码深度对应的编码单元，从而可确定最大编码单元中的编码深度的分布。

因此，如果基于相邻数据单元预测了当前编码单元，则与当前编码单元相邻的更深的编码单元中的最小数据单元的编码信息可被直接查阅和使用。

可选择地，可仅存储在根据深度的编码单元中的代表性的最小编码单元的编码信息。在这种情况下，如果基于相邻编码单元预测了当前编码单元，则基于根据深度的相邻编码单元的编码信息，从根据深度的编码单元中搜索与当前编码单元相邻的数据单元。

图64是示出根据本发明的另一实施例的基于每个图像区域的分层数据单元的视频编码方法的流程图。在操作1210，当前画面被分割为至少一个最大编码单元。指示可能的分割次数的总数的最大深度可被预先确定。

在操作1220，通过对至少一个分割区域进行编码来确定用于输出根据所述至少一个分割区域的最终编码结果的编码深度，其中，通过根据深度对每个最大编码单元的区域进行分割来获得所述至少一个分割区域。每个最大编码单元被分层分割，且随着深度加深，对更低深度的编码单元重复执行编码。

通过与相邻编码单元独立地对每个编码单元进行空间分割，每个编码单元可被分割为另一更低深度的编码单元。对根据深度的每个编码单元重复执行编码。

另外，为每个更深的编码单元确定根据具有最小编码错误的分块类型的变换单元。为了在每个最大编码单元中确定具有最小编码错误的编码深度，可在根据深度的所有更深的编码单元中测量并比较编码错误。

在操作1230，使用关于编码深度和编码模式的编码信息，针对每个最大编码单元输出组成根据深度的最终编码结果的已编码的图像数据。关于编码模式的信息可包括关于编码深度的信息或分割信息、关于编码深度的分块类型、预测模式和变换单元的大小的信息。关于编码模式的编码信息可与已编码的视频数据一起被发送到解码器。

图65是示出根据本发明的另一实施例的基于每个图像区域的分层数据单元的视频解码方法的流程图。在操作1310，已编码的视频的比特流被接收和解析。

在操作1320，从已解析的比特流中提取分配给最大编码单元的当前画面的已编码的图像数据以及关于根据最大编码单元的编码深度和编码模式的信息。每个最大编码单元的编码深度是每个最大编码单元中具有最小编码错误的深度。在对每个最大编码单元进行编码的步骤中，基于通过根据深度对每个最大编码单元进行分层分割而获得的至少一个数据单元，对图像数据进行编码。因此，可在确定根据编码单元的至少一个编码深度之后，通过对编码单元中的每条已编码的图像数据进行解码来提高图像的编码效率和解码效率。

在操作1330，基于关于根据最大编码单元的编码深度和编码模式的信息，对每个最大编码单元的图像数据进行解码。解码的图像数据可被重构设备重构，被存储在存储介质中或通过网络被发送。

以上已参照图51至图65描述了根据本发明的各种实施例的基于每个图像区域的分层数据单元执行的视频编码和解码。在根据本发明的实施例的每个图像区域的分层数据单元中的变换单元中的图像数据可以是输入到使用根据本发明的各种实施例的低复杂度变换的视频编码设备10、3600、4300和4700的图像数据。另外，由使用根据本发明的各种实施例的低复杂度变换的视频解码设备20、3700、4400和4800重构的图像数据可以是变换单元中的图像数据。

现在将参照图66至图69描述根据本发明的各种实施例的基于每个图像区域的分层数据单元使用低复杂度变换的视频编码方法和设备以及视频解码方法和设备。

图66是根据本发明的另一实施例的基于每个图像区域的分层数据单元使用低复杂度变换的视频编码设备6600的框图。设备6600包括最大编码单元分割器6610、编码深度确定器6620和输出单元6630。

最大编码单元分割器6610可基于图像的当前画面的最大编码单元来对当前画面进行分割。可根据至少一个最大编码单元将图像数据输出到编码深度确定器6620。

编码深度确定器6620对通过根据深度对最大编码单元的域进行分割而获得的至少一个分割域进行编码，并确定用于输出根据所述至少一个分割域的最终编码结果的深度。换句话说，编码深度确定器6620通过根据当前画面的最大编码单元对根据深度的更深的编码单元中的图像数据进行编码并选择具有最小编码错误的深度，来确定编码深度。所确定的根据最大编码单元的编码深度和图像数据被输出到输出单元6630。

输出单元6630在比特流中输出最大编码单元的图像数据以及关于根据深度的编码模式的信息，其中，基于由编码深度确定器6620确定的至少一个编码深度对所述最大编码单元的图像数据进行编码。

输出单元6630可仅对通过对由编码深度确定器6620确定的变换单元中的图像数据执行低复杂度变换(例如，选择性的变换、子数据单元变换或按比例缩减变换)而获得的系数进行编码和发送。

在编码深度确定器6620进行编码期间，不仅可确定当对变换单元或适合于频率特性的变换基底执行变换时包括除“0”以外的系数的系数块的频段或大小，还可确定低复杂度变换的类型和选择的低复杂度变换的细节。关于低复杂度变换的类型的选择和选择的低复杂度变换的细节的信息可与编码的系数一起被编码和发送。

在编码深度确定器6620中，使用根据本发明的实施例的选择性的频域变换的视频编码设备10、使用根据本发明的另一实施例的子数据单元变换的视频编码设备3600、使用根据本发明的另一实施例的按比例缩减变换的视频编码设备4300以及使用根据本发明的另一实施例的低复杂度变换的视频编码设备4700之中的视频编码设备可安装为变换模块。

图67是根据本发明的另一实施例的基于每个图像区域的分层数据单元使用低复杂度反变换的视频解码设备6700的框图。视频解码设备6700包括接收器6710、图像数据和编码信息提取器6720以及图像数据解码器6730。以上已参照图51至图65和图67描述了与由视频解码设备6700执行的各种处理相关的各种术语(例如，编码单元、深度、预测单元、变换单元和关于各种编码模式的信息)。

接收器6710接收并解析已编码的视频的比特流。图像数据和编码信息提取器6720以最大编码单元为单位从解析的比特流中提取图像数据，然后将图像数据输出到图像数据解码器6730。图像数据和编码信息提取器6720可从当前画面的头中提取关于当前画面的编码单元的最大大小的信息、关于每个最大编码单元的编码深度的信息以及关于编码模式的信息。基于提取的信息将比特流中的图像数据分割为最大编码单元，以便图像数据解码器6730可以以最大编码单元为单位对图像数据进行解码。

图像数据和编码信息提取器6720可从解析的比特流中提取关于低复杂度变换的类型的选择的信息以及关于选择的变换的细节的信息。

为了以最大编码单元为单位执行反变换，图像数据解码器6730可基于关于根据编码深度的编码单元的变换单元大小的信息，通过分别使用与编码单元对应的变换单元，对所述编码单元执行反变换。在这种情况下，可基于关于低复杂度变换的类型的选择的信息以及关于选择的低复杂度变换的细节的信息，对通过低复杂度变换而获得的变换单元的系数执行低复杂度反变换。

在图像数据解码器6730中，使用根据本发明的实施例的选择性的频域反变换的视频解码设备20、使用根据本发明的另一实施例的子数据单元反变换的视频解码设备3700、使用根据本发明的另一实施例的按比例缩减反变换的视频解码设备4400以及使用根据本发明的另一实施例的低复杂度变换的视频解码设备4800中的视频解码设备可被安装为反变换模块。

图68是示出根据本发明的另一实施例的基于每个图像区域的分层数据单元使用低复杂度变换的视频编码方法的流程图。在操作6810，可基于图像的当前画面的最大编码单元对当前画面进行分割。

在操作6820，对通过根据深度分割最大编码单元的域而获得的至少一个分割域进行编码，并确定用于输出根据所述至少一个分割域的最终编码结果的深度。例如，可根据当前画面的最大编码单元，按根据深度的更深的编码单元对图像数据进行编码，并可选择具有最小编码错误的深度作为编码深度。在编码期间执行的变换可以是低复杂度变换(例如，选择性的频域变换、子数据单元变换或按比例缩减变换)。

在操作6830，基于确定的至少一个编码深度而编码的最大编码单元的图像数据以及关于根据深度的编码模式的信息可以以比特流的形式被输出。针对变换单元中的图像数据，可仅对通过低复杂度变换(例如，选择性的频域变换、子数据单元变换或按比例缩减变换)获得的系数进行编码和发送。

图69是示出根据本发明的另一实施例的基于每个图像区域的分层数据单元使用低复杂度反变换的视频解码方法的流程图。在操作6910，包含关于已编码的视频的比特流被接收和解析。在操作6920，可以以最大编码单元为单位从解析的比特流中提取图像数据。还可从解析的比特流中提取关于当前画面的编码单元的最大大小的信息、关于每个最大编码单元的编码深度的信息以及关于编码模式的信息。

还可从解析的比特流中提取关于低复杂度变换的类型的选择以及选择的低复杂度变换的细节的信息。

在操作6930，为了以最大编码单元为单位执行反变换，可基于关于根据编码深度的编码单元的变换单元大小的信息，通过分别使用与编码单元对应的变换单元来对所述编码单元执行反变换。在这种情况下，可根据基于关于低复杂度变换的类型的选择以及选择的低复杂度变换的细节的信息而选择的合适的低复杂度反变换，对通过低复杂度变换获得的变换单元的系数进行反变换，从而再现图像数据。

在大量的图像或高清图像的情况下，当以相对小的宏块为单为对图像进行编码或解码时，计算量可能非常大。根据一般图像的频率特性，除“0”以外的系数可能分布在特定频段中。在这种情况下，以相对小的宏块为单位对大量数据执行变换或反变换的效率低。

在根据本发明的实施例的图66和图68的基于每个图像区域的分层数据单元使用低复杂度变换的视频编码方法和设备中，按编码单元和变换单元对数据执行变换，其中，通过使用预定频段、子数据单元或按比例缩减变换基底，基于图像大小并以图像区域为单位分层确定所述编码单元和变换单元的大小。因此，需要相对小的比特率来对比特流进行变换。另外，在根据本发明的实施例的图67和图69的基于每个图像区域的分层数据单元使用低复杂度反变换的视频解码方法和设备中，通过使用预定频段、子数据单元或按比例缩减变换基底，仅对接收的系数执行反变换。因此，解码处理期间的计算量相对小。

本发明的上述实施例可被编写为计算机程序，并可在使用计算机可读记录介质执行所述程序的通用数字计算机中被执行。计算机可读记录介质的示例包括磁存储介质(例如，ROM、软盘、硬盘等)以及光记录介质(例如，CD-ROM或DVD)。

尽管已参照本发明的优选实施例具体显示和描述了本发明，但本领域的普通技术人员将理解，在不脱离由权利要求限定的本发明的精神和范围的情况下，可对其进行形式和细节上的各种改变。所述优选实施例应该被认为仅是描述性的意义，而不是限制的目的。因此，本发明的范围不由本发明的详细描述限定，而是由权利要求所限定，并且所述范围内的所有不同将被解释为包括在本发明中。

Claims (12)

1.一种通过使用低复杂度反变换对视频进行解码的方法，所述方法包括：

接收画面的预定数据单元的系数；

通过对接收的系数执行低复杂度反变换来产生按预定数据单元的图像数据，其中，所述低复杂度反变换包括以下反变换中的至少一种：使用针对预定频域的变换基底的选择性的频域反变换、通过分别选择和应用针对从画面的数据块划分的多个子数据单元的变换基底来执行反变换的子数据单元反变换、以及使用作为长方矩阵和正方矩阵的组合的按比例缩减长方变换基底的按比例缩减反变换；

从产生的图像数据重构画面，

其中，通过执行子数据单元反变换来产生图像数据的步骤包括：

从接收的系数产生多个子数据单元的系数；

通过单独选择变换基底并将所述变换基底应用于所述多个子数据单元的系数来执行子数据单元反变换，以产生按预定数据单元的图像数据，

其中，通过对接收的系数复制与所述多个子数据单元的数量对应的次数或者通过对接收的系数执行反变换，产生所述多个子数据单元的系数。

2.如权利要求1所述的方法，其中，执行低复杂度变换以及产生图像数据的步骤包括：通过将针对预定频域的变换基底应用于接收的系数来执行选择性的频域反变换，

其中，在执行选择性的频域反变换期间，通过从正方变换基底中选择对应于与预定频段、预定大小的系数块或预定系数位置相关的当前频域的变换基底，并将选择的变换基底应用于接收的系数，来执行反变换以重构按预定数据单元的图像数据。

3.如权利要求1所述的方法，其中，执行低复杂度反变换并产生图像数据的步骤包括：通过将按比例缩减长方变换基底应用于接收的系数来执行按比例缩减反变换，以产生按预定数据单元的图像数据，

其中，如果图像数据的水平大小和垂直大小是第二大小，则执行按比例缩减反变换的步骤包括以下步骤中的至少一个：

使用长方变换基底执行反变换，所述长方变换基底的水平大小是比第二大小更大的第一大小且垂直大小是第二大小，并且所述长方变换基底是变换基底矩阵与按比例缩减空间矩阵的组合，所述变换基底矩阵的水平大小和垂直大小是第一大小，所述按比例缩减空间矩阵的水平大小是第一大小且垂直大小是第二大小；

使用长方变换基底执行反变换以选择预定频域，所述长方变换基底的水平大小是第一大小且垂直大小是第二大小，并且所述长方变换基底是水平大小为第一大小且垂直大小为第二大小的矩阵与水平大小和垂直大小为第二大小的变换基底矩阵的组合；

当接收的系数包括包含有除“0”以外的分量的低频分量时，对图像数据选择性地执行按比例缩减反变换。

4.如权利要求1所述的方法，还包括：接收系数块大小信息以扫描系数；并包括按这样的方式改变系数扫描顺序：对接收的系数进行扫描和解码。

5.如权利要求1所述的方法，还包括：接收指示在包括产生的系数的系数块中是否存在除“0”以外的系数的编码的系数块模式信息。

6.一种通过使用低复杂度变换对视频进行编码的方法，所述方法包括：

按预定数据单元接收输入画面的图像数据；

通过执行低复杂度变换来产生所述预定数据单元的系数，其中，所述低复杂度变换包括以下变换中的至少一种：将针对预定频域的变换基底应用于图像数据的选择性的频域变换、通过分别选择和应用针对从图像数据的数据块划分的多个子数据单元的变换基底来执行变换的子数据单元变换、以及使用通过对长方矩阵和正方矩阵进行组合并对组合的结果按比例缩减而获得的按比例缩减长方变换基底的按比例缩减变换；

输出针对输入画面的预定数据单元而产生的系数，

其中，通过执行子数据单元变换来产生所述预定数据单元的系数的步骤包括：

将图像数据划分为多个子数据单元；

通过单独选择变换基底并将所述变换基底应用于所述多个子数据单元来执行子数据单元变换，以产生所述多个子数据单元的系数，

其中，通过组合与所述多个子数据单元对应的系数块或者通过对与所述多个子数据单元对应的系数块执行变换，来产生所述预定数据单元的系数。

7.如权利要求6所述的方法，其中，产生系数的步骤包括：

选择用于对图像数据执行变换的预定频域；

通过使用与所述预定频域对应的变换基底来执行选择性的频域变换，以产生所述预定频域的系数，其中，通过从正方变换基底中选择对应于与预定频段、预定大小的系数块或预定系数位置相关的当前频域的变换基底，并将选择的变换基底应用于图像数据，来执行变换以产生所述预定频域的系数。

8.如权利要求7所述的方法，其中，在执行选择性的频域变换期间，通过将垂直变换基底和水平变换基底应用于图像数据，以任意频段为单位执行变换，从而通过变换产生的系数可根据所述任意频段被分类，其中，垂直变换基底和水平变换基底的第一对与所述任意频段中的预定频段的垂直频段和水平频段的第二对、任意大小的系数块中的预定系数块的垂直大小和水平大小的第三对以及正方变换基底中的系数的垂直频率信息和水平频率信息的第四对中的一对对应。

9.如权利要求6所述的方法，其中，产生系数的步骤包括：通过对用于图像数据的按比例缩减长方变换基底执行变换来执行按比例缩减变换，以产生所述系数，

其中，如果图像数据的水平大小和垂直大小是第二大小，则执行按比例缩减变换的步骤包括以下步骤中的至少一个：

使用长方变换基底执行变换，所述长方变换基底的水平大小是比第二大小更大的第一大小且垂直大小是第二大小，并且所述长方变换基底是变换基底矩阵与按比例缩减空间矩阵的组合，所述变换基底矩阵的水平大小和垂直大小是第一大小，所述按比例缩减空间矩阵的水平大小是第一大小且垂直大小是第二大小；

使用长方变换基底执行变换以选择预定频域，所述长方变换基底的水平大小是第一大小且垂直大小是第二大小，并且所述长方变换基底是水平大小和垂直大小为第一大小的矩阵与水平大小和垂直大小为第二大小的变换基底矩阵的组合；

当使用水平大小和垂直大小为第二大小的变换基底矩阵执行变换时，对图像数据选择性地执行按比例缩减变换，并量化执行的结果，在高频分量中不存在除“0”以外的分量。

10.如权利要求6所述的方法，还包括：

将输入画面划分为预定的最大编码单元；

通过基于针对根据深度的至少一个更深的编码单元的至少一个变换单元来执行变换，通过以区域为单位对所述最大编码单元进行编码，确定关于与用于输出编码结果的至少一个编码深度对应的编码单元的编码模式，其中，随着深度加深，从所述最大编码单元分层地分割所述区域，其中，所述编码模式包括关于所述至少一个编码深度和变换单元大小的信息，

其中，接收图像数据的步骤包括：接收所述至少一个变换单元的残差分量。

11.一种通过使用低复杂度反变换对视频进行解码的设备，所述设备包括：

系数接收器，用于接收画面的预定数据单元的系数；

低复杂度反变换单元，用于通过对接收的系数执行低复杂度反变换来产生按预定数据单元的图像数据，其中，所述低复杂度反变换包括以下反变换中的至少一种：使用针对预定频域的变换基底的选择性的频域反变换、通过分别选择和应用针对从画面的数据块划分的多个子数据单元的变换基底来执行反变换的子数据单元反变换、以及使用作为长方矩阵和正方矩阵的组合的按比例缩减长方变换基底的按比例缩减反变换；

画面再现单元，用于再现从图像数据产生的画面，

其中，当所述低复杂度反变换单元通过执行子数据单元反变换来产生图像数据时，所述低复杂度反变换单元通过以下步骤执行子数据单元反变换并产生图像数据：

从接收的系数产生多个子数据单元的系数；

通过单独选择变换基底并将所述变换基底应用于所述多个子数据单元的系数来执行子数据单元反变换，以产生按预定数据单元的图像数据，

其中，通过对接收的系数复制与所述多个子数据单元的数量对应的次数或者通过对接收的系数执行反变换，产生所述多个子数据单元的系数。

12.一种通过使用低复杂度变换对视频进行编码的设备，所述设备包括：

图像数据接收器，按预定数据单元接收输入画面的图像数据；

低复杂度变换单元，通过执行低复杂度变换来产生所述预定数据单元的系数，其中，所述低复杂度变换包括以下变换中的至少一种：将针对预定频域的变换基底应用于图像数据的选择性的频域变换、通过分别选择和应用针对从图像数据的数据块划分的多个子数据单元的变换基底来执行变换的子数据单元变换、以及使用通过对长方矩阵和正方矩阵进行组合并对组合的结果按比例缩减而获得的按比例缩减长方变换基底的按比例缩减变换；

变换系数输出单元，用于输出针对输入画面的预定数据单元而产生的系数，

其中，当所述低复杂度变换单元通过执行子数据单元变换来产生所述预定数据单元的系数时，所述低复杂度变换单元通过以下步骤执行子数据单元变换来产生所述预定数据单元的系数：

将图像数据划分为多个子数据单元；

通过单独选择变换基底并将所述变换基底应用于所述多个子数据单元来执行子数据单元变换，以产生所述多个子数据单元的系数，

其中，通过组合与所述多个子数据单元对应的系数块或者通过对与所述多个子数据单元对应的系数块执行变换，来产生所述预定数据单元的系数。