CN102474599B - 用于对图像进行编码的方法和设备,用于对编码图像进行解码的方法和设备 - Google Patents

Abstract

一种对图像进行编码和解码的方法和设备。变换块的变换系数中的将被预测的具有低频分量的变换系数被替换为预定值，通过对包括替换的变换系数的变换块进行逆变换来产生不完全残差块，以及通过使用不完全残差块的值来预测具有低频分量的变换系数。

Description

用于对图像进行编码的方法和设备,用于对编码图像进行解码的方法和设备

技术领域

本发明涉及一种对图像进行编码和解码，更具体地讲，涉及能够提高图像压缩效率的用于通过在频域预测图像数据来对图像进行编码和解码的方法和设备。

背景技术

用于再现和存储高分辨率或高质量视频内容的硬件正被开发和提供，对于有效地编码或解码高分辨率或高质量视频内容的视频编解码器的需要正在增加。图像压缩的一个基本原理为，通过产生将被编码的图像数据的预测值并对图像数据与预测值之差进行编码来减少将被编码的图像数据的量。诸如运动图像专家组(MPEG)-4或H.264/MPEG-4先进视频编码(AVC)的编解码器通过在时域的帧内预测或帧间预测来产生当前块的预测块并变换和量化作为当前块与预测块之差的残差值，来执行编码。

发明内容

技术问题

本发明提供一种在频域预测变换系数的方法。

技术方案

根据本发明的一方面，提供了一种能够提高图像压缩效率的通过在频域预测变换系数来编码和解码图像的方法和设备。

有益效果

根据本发明，由于在频域预测变换系数并且仅对预测因子和实际变换系数进行编码，故能够提高图像压缩效率。

附图说明

图1是示出根据本发明实施例的用于对图像进行编码的设备的框图。

图2是示出根据本发明实施例的用于对图像进行解码的设备的框图。

图3是示出根据本发明实施例的分层编码单位的示图。

图4是示出根据本发明实施例的基于编码单位的图像编码器的框图。

图5是示出根据本发明实施例的基于编码单位的图像解码器的框图。

图6是示出根据本发明实施例的、根据深度的预测单位和编码单位的示图。

图7是示出根据本发明实施例的编码单位与变换单位之间的关系的示图。

图8是示出根据本发明实施例的、根据深度的编码信息的示图。

图9是示出根据本发明实施例的、根据深度的编码单位的示图。

图10至图12是示出根据本发明实施例的编码单位、预测单位和变换单位之间的关系的示图。

图13是示出根据表1的编码模式信息的编码单位、预测单位和变换单位的关系的示图。

图14是示出根据本发明实施例的用于执行频率变换的设备的框图。

图15是示出根据本发明实施例的变换系数预测模式的示图。

图16是用于解释根据本发明实施例的用于预测变换系数的参数的术语的参考示图。

图17是用于解释以图15的变换系数预测模式0FDP_mode_0预测变换系数的处理的参考示图。

图18是示出根据变换系数预测模式0FDP_mode_0的预测系数的预测结果而编码的变换块的示图。

图19是用于解释以图15的变换系数预测模式1FDP_mode_1预测变换系数的处理的参考示图。

图20是示出根据变换系数预测模式1FDP_mode_1的变换系数的预测结果而编码的变换块。

图21是用于解释以图15的变换系数预测模式2FDP_mode_2预测变换系数的处理的参考示图。

图22是示出根据变换系数预测模式2FDP_mode_2的变换系数的预测结果而编码的变换块的示图。

图23是示出以图15的变换系数预测模式3FDP_mode_3预测变换系数的处理的参考示图。

图24至图26是用于解释当在变换系数预测模式3FDP_mode_3，L＝3时，预测变换系数的处理的参考示图。

图27是示出根据变换系数预测模式3FDP_mode_3的变换系数的预测结果而编码的变换块的示图。

图28是示出根据本发明实施例的对图像进行编码的方法的流程图。

图29是示出根据本发明实施例的执行频率逆变换的设备的框图。

图30是示出根据本发明实施例的对图像进行解码的方法的流程图。

最佳模式

根据本发明的一方面，提供了一种对图像进行编码的方法，所述方法包括如下步骤：通过将作为将被编码的当前块与预测块之差的第一残差块变换到频域，来产生第一变换块；通过对第二变换块进行逆变换，来产生第二残差块，其中，通过将第一变换块的变换系数中的第一区域的变换系数替换为预定值而获得所述第二变换块；通过使用第二残差块，来产生第一区域的变换系数的预测因子；以及，通过使用预测因子和第一区域的变换系数来产生预测第一区域以及产生包括预测第一区域的第三变换块，来对输入图像进行编码。

根据本发明的另一方面，提供了一种对图像进行解码的方法，所述方法包括：恢复除第一区域的变换系数之外的第二区域的原始变换系数和变换块的变换系数中的第一区域的变换系数与第一区域的变换系数的预测因子之差，其中，通过将作为当前块与预测块之差的第一残差块变换到频域而获得所述变换块；将第一区域的变换系数替换为预定值，并通过使用包括第二区域的原始变换系数和第一区域的替换的变换系数的替换的变换块来产生第二残差块；通过使用第二残差块来产生第一区域的变换系数的预测因子；以及，通过将所述差与第一区域的变换系数的预测因子相加，来恢复第一区域的变换系数。

根据本发明的另一方面，提供了一种对图像进行编码的设备，所述设备包括：变换器，通过将作为将被编码的当前块与预测块之差的第一残差块变换到频域，来产生变换块；变换系数预测器，将变换块的变换系数中的第一 区域的变换系数替换为预定值，通过使用包括除第一区域之外的第二区域的原始变换系数和第一区域的替换的变换系数的替换的变换块来产生第二残差块，以及使用第二残差块来产生第一区域的变换系数的预测因子；减法器，计算第一区域的变换系数与第一区域的变换系数的预测因子之差；以及，编码器，对包括第二区域的原始变换系数和所述差的变换块进行编码。

根据本发明的另一方面，一种对图像进行解码的设备，所述设备包括：变换系数信息恢复器，恢复除第一区域的变换系数之外的第二区域的原始变换系数和变换块的变换系数中的第一区域的变换系数与第一区域的变换系数的预测因子之差，其中，通过对作为当前块与预测块之差的第一残差块变换到频域而获得所述变换块；变换系数预测器，将第一区域的变换系数替换为预定值，并通过使用包括第二区域的原始变换系数和第一区域的替换的变换系数的替换的变换块来产生第二残差块，以及通过使用第二残差块来产生第一区域的变换系数的预测因子；以及，加法器，通过将所述差与预测因子值相加，来恢复将被预测的变换系数。

根据本发明的另一方面，一种对图像进行解码的方法，所述方法包括如下步骤：接收关于预测区域的信息和关于第一变换块的信息，其中，所述第一变换块包括所述预测区域并且将被频率变换；通过将从关于预测区域的信息提取的第一变换块的预测区域的变换系数替换为预定值来产生第二变换块；通过对第二变换块进行逆变换来产生残差块；通过使用残差块来产生所述预测区域的变换系数的预测因子；以及，通过将所述预测因子与第一变换块的所述预测区域相加，来恢复第二变换块。

具体实施方式

现在，将参照附图更充分地描述本发明，在附图中示出本发明的示例性实施例。

图1是根据本发明的实施例的用于对图像进行编码的设备100的框图。所述设备100包括最大编码单位划分器110、编码深度确定器120、图像数据编码单元130和编码信息编码单元140。

最大编码单位划分器110基于作为具有最大大小的编码单位的最大编码单位对当前画面(picture)或当前像条(slice)进行划分。当前画面或当前像条被划分为至少一个最大编码单位。最大编码单位可以是具有32×32、64× 64、128×128、256×256等的大小的数据单位，其中，所述数据单位的形状是具有2的平方的宽度和长度的正方形，所述宽度和长度大于8。根据至少一个最大编码单位，图像数据可被输出到编码深度确定器120。

编码单位可由最大编码单位和深度来表示。最大编码单位是当前画面的编码单位中具有最大大小的编码单位，所述深度是从最大编码单位空间划分编码单位的次数。随着深度加深，根据深度的编码单位可从最大编码单位被划分为最小编码单位。最大编码单位的深度是最高的深度，最小编码单位的深度是最低的深度。由于随着深度加深，具有各个深度的编码单位的大小变小，因此具有较高深度的编码单位可包括具有较低深度的多个编码单位。

如上所述，当前画面的图像数据根据编码单位的最大大小被划分为最大编码单位，每一个最大编码单位可包括根据深度而划分的编码单位。由于最大编码单位根据深度被划分，因此包括在最大编码单位中的空间域的图像数据可根据深度被分层地分类。

限制最大编码单位的高度和宽度被分层划分的总次数的编码单位的最大深度和最大大小可被预先确定。这样的最大编码单位和最大深度可以以画面或像条单位被设置。也就是说，画面或像条具有不同的最大编码单位和最大深度，并且包括在最大编码单位中的最小编码单位的大小可根据最大深度而被不同的设置。由于，对于每个画面或像条不同地设置最大编码单位和最大深度，因此可通过使用较大最大编码单位对平坦区域的图像进行编码来提高编码效率，并且可通过使用较小大小的编码单位对具有较高复杂度的图像进行编码来提高图像的压缩效率。

编码深度确定器120确定每个最大编码单位的深度。可基于率失真(R-D)成本计算来确定所述深度。详细地，编码深度确定器120对通过根据深度对最大编码单位的区域进行划分而获得的至少一个划分区域进行编码，并根据所述至少一个划分区域来确定用于输出最终编码的图像数据的深度。换句话说，编码深度确定器120对于每个最大编码单位根据深度的编码单位对图像数据进行编码，选择具有最小编码错误的深度并将选择的深度确定为编码深度。确定的最大深度被输出到编码信息编码单元140，并且根据最大编码单位的图像数据被输出到图像数据编码单元130。

基于具有与等于或小于最大深度的至少一个深度的编码单位来对最大编码单位中的图像数据进行编码，并基于每个编码单位来比较对图像数据进行 编码的结果。在对编码单位的编码错误进行比较之后，可选择具有最小编码错误的深度。可针对每个最大编码单位选择至少一个编码深度。

随着编码单位根据深度被分层划分并且随着编码单位的数量增加，最大编码单位的大小被划分。另外，即使在一个最大编码单位中编码单位具有相同的深度，在测量每个编码单位的图像数据的编码错误之后，单独地确定是否将具有相同深度的每个编码单位划分为下级深度。因此，即使图像数据被包括在一个最大编码单位中，图像数据根据深度而被划分为区域，编码错误也会根据所述一个最大编码单位中的区域而不同，因此编码深度会根据图像数据中的区域而不同。因此，在一个最大编码单位中可确定一个或多个编码深度，并且可根据至少一个编码深度的编码单位来划分最大编码单位的图像数据。

因此，编码单位确定器120可确定包括在最大编码单位中的具有树形结构的编码单位。“具有树形结构的编码单位”包括所述最大编码单位所包括的所有编码单位中具有确定为深度编码的深度的编码单位。可在最大编码单位的相同区域中根据深度来分层确定编码深度的编码单位，并且可在不同区域中独立确定编码深度的编码单位。类似地，当前区域中的编码深度可与另一区域中的编码深度被相互独立地确定。

最大深度是与从最大编码单位到最小编码单位的划分次数相关的索引。第一最大深度可表示从最大编码单位到最小编码单位的总划分次数。第二最大深度可表示从最大编码单位到最小编码单位的深度级(depth level)的总数。例如，当最大编码单位的深度为0时，最大编码单位被划分一次的编码单位的深度可被设置为1，并且最大编码单位被划分两次的编码单位的深度可被设置为2。在这种情况下，如果最小编码单位是最大编码单位被划分四次的编码单位，则存在深度0、1、2、3和4的5个深度级，因此，第一最大深度可被设置为4，第二最大深度可被设置为5。

另外，对于小于最大深度的每个深度，可基于根据深度的编码单位执行最大编码单位的预测编码和频率变换。换句话说，设备100可基于具有不同大小和不同形状的处理单位执行用于对图像进行编码的多个处理。为了对图像数据进行编码，执行诸如预测、频率变换和熵编码的处理。在所有的步骤中使用具有相同大小的处理单位，或者根据处理而使用具有不同大小的处理单位。

例如，为了预测编码单位，设备100可选择与编码单位不同的处理单位。基于具有编码深度的编码单位(即，不再被划分的编码单位)执行最大编码单位的预测编码。作为用于预测编码的基本单位的编码单位将被称为“预测单位”。通过对预测单位进行划分获得的分块(partition)可包括通过对预测单位的高度和宽度中的至少一个进行划分而获得的数据单位和预测单位。例如，当2N×2N的编码单位(其中N是正整数)不再被划分并变为2N×2N的预测单位时，分块的大小可以是2N×2N、2N×N、N×2N或N×N。分块类型的示例包括：通过对预测单位的高度或宽度进行对称划分而获得的对称分块、通过对预测单位的高度或宽度进行非对称划分(诸如1∶n或n∶1)而获得的分块、通过对预测单位进行几何划分而获得的分块、以及具有任意结构的分块。

预测单位的预测模式可以是帧内模式、帧间模式和跳过模式中的至少一个。例如，可对2N×2N、2N×N、N×2N或N×N的分块执行帧内模式或帧间模式。另外，可仅对2N×2N的分块执行跳过模式。当多个预测单位存在于编码单位中时，可对每个预测单位单独地执行编码，并且可选择具有最小编码错误的预测模式。

另外，设备100可基于编码单位和具有与编码单位不同大小的数据单位来对图像数据执行频率变换。为了对编码单位执行频率变换，可基于具有小于或等于编码单位的大小的数据单位来执行频率变换。用作频率变换的基本单位的处理单位将被称为“变换单位”。变换单位可被递归地划分为具有较小大小的变换单位，并且可根据基于变换深度的树形结构的变换单位来对编码单位的残差数据进行划分。

还可在变换单位中设置变换深度，其中，所述变换深度指示通过对编码单位的高度和宽度进行划分来达到变换单位的划分次数。例如，在当前的2N×2N的编码单位中，当变换单位的大小也是2N×2N时，变换深度可以是0；当变换单位的大小是N×N时，变换深度可以是1；当变换单位的大小是N/2×N/2时，变换深度可以是2。也就是说，可根据基于变换深度的树形结构设置变换单位。根据编码深度的编码信息不仅需要关于编码深度的信息，还需要与预测相关的信息和与频率变换相关的的信息。因此，编码深度确定器120可确定具有最小编码错误的编码单位，通过将编码深度的预测单位划分到预测单位分块而获得的分块类型、根据预测单位的预测模式以及用于频率变换 的变换单位的大小。

编码深度确定器120可通过使用基于拉格朗日乘法(Lagrangian multiplier)的率失真最优化来测量根据深度的编码单位的编码错误，并确定具有最优编码错误的最大编码单位的划分类型。换句话说，编码深度确定器120可确定最大编码单位是否将被划分为多个子编码单位，并且多个子编码单位的大小根据深度而变化。

图像数据编码单元130基于由编码深度确定器120确定的至少一个编码深度对最大编码单元的图像数据进行编码并输出比特流。由于为了测量最小编码误差，编码深度确定器120已执行了编码，因此可输出编码的数据流。

编码信息编码单元140基于由编码深度确定器120确定的至少一个编码深度，对于每个最大编码单元对关于根据深度的编码模式的信息进行编码并输出比特流。关于根据深度的编码模式的信息可包括关于编码深度的信息、关于可将编码深度的预测单位划分为预测单位分块的分块类型的信息、关于根据预测单位的预测模式的信息和关于变换单位的大小的信息。

可通过使用根据深度的划分信息来定义关于编码深度的信息，其中，所述根据深度的划分信息指示是否对较低深度而非当前深度的编码单位执行编码。如果当前编码单位的当前深度是编码深度，则由于当前编码单位中的图像数据根据当前深度被编码并被输出，因此当前深度的划分信息可被定义为不将当前编码单位划分到较低深度。另一方面，如果当前深度不是编码深度，则由于对较低深度的编码单位执行编码，因此划分信息可被定义为对当前编码单位进行划分以获得较低深度的编码单位。

如果当前深度不是编码深度，则对被划分为较低深度的编码单位的编码单位执行编码。由于至少一个较低深度的编码单位的至少一个存在于当前深度的一个编码单位中，因此对下级深度的每个编码单位重复执行编码，从而可对相同深度的编码单位递归地执行编码。

由于在一个最大编码单位中确定具有树形结构的至少一个编码深度编码，并且对于每个编码深度确定关于至少一个编码模式的信息，因此对于一个最大编码单元可确定关于至少一个编码模式的信息。另外，最大编码单位的图像数据根据深度而被分层划分，并且编码深度可根据位置而改变，因此对于图像数据可设置关于编码模式和编码深度的信息。

因此，编码信息编码单元140可将关于相应的编码深度和编码模式的编 码信息分配给最大编码单位所包括的编码单位、预测单位和最小单位中的至少一个。

最小单位是通过将组成最低深度的最小编码单位划分为4份而获得的矩形数据单位。可选择地，最小单位可以是可包括在最大编码单位所包括的所有编码单位、预测单位、分块单位和变换单位中的最大矩形数据单位。例如，通过图像数据编码单元130输出的编码信息可被分类为根据编码单位的编码信息和根据预测单位的编码信息。根据编码单位的编码信息可包括关于预测模式的信息以及关于分块的大小的信息。根据预测单位的编码信息可包括关于帧间模式的估计方向的信息、关于帧间模式的参考图像索引的信息、关于运动矢量的信息、关于帧内模式的色度分量的信息以及关于帧内模式的插值方法的信息。另外，关于根据画面、像条或GOP定义的编码单位的最大大小的信息以及关于最大深度的信息可被***到比特流的头。

根据设备100的最简单实施例，编码单位是通过将较高深度的编码单位的高度或宽度除以2获得的编码单位。换句话说，如果当前深度(k)的编码单位的大小是2N×2N，则较低深度(k+1)的编码单位的大小是N×N。因此，具有2N×2N的大小的当前编码单位可包括具有N×N的大小的较低深度的最多4个编码单位。

因此，设备100可基于考虑当前画面的特性而确定的最大编码单位的大小和最大深度，通过对于每个最大编码单位确定具有最优形状和最优大小的编码单位，来形成具有树形结构的编码单位。另外，由于对于每个最大编码单位可以以不同预测模式和频率变换方法执行编码，因此可考虑具有各种大小的编码单位的特性来确定最优编码模式。

如果在具有16×16的大小的宏块中对具有非常高分辨率或非常大数据量的图像进行编码，则每幅画面的宏块的数量会非常多。因此，对于每个宏块产生的压缩信息的条数增加，从而难以发送压缩信息并且数据压缩效率降低。因此，由于使用图像的大小来增加编码单位的最大大小并考虑图像的特性来调整编码单位，因此图1的设备100可提高图像压缩效率。

图2是示出根据本发明实施例的用于对图像进行解码的设备200的框图。

参照图2，设备200包括图像数据获得器210、编码信息提取器220和图像数据解码单元230。针对处理设备200的各种术语(诸如编码单位、深度、预测单位、变换单位和关于各种编码模式的信息)与参照图1和设备100所 描述的那些相同。图像数据获得器210对由设备200接收的比特流进行解析，获得根据最大编码单位的图像数据，并将所述图像数据输出到图像数据解码单元230。图像数据获得器210可从当前画面或像条的头提取关于当前画面或像条的最大编码单位的信息。设备200根据最大编码单位对图像数据解码。

编码信息提取器220对由设备200接收的比特流进行解析，根据最大编码单位从当前画面的头提取关于树形结构的编码单位的关于编码模式以及编码深度的信息。关于编码深度和编码模式的信息被输出到图像数据解码单元230。

关于根据最大编码单位的编码深度和编码模式的信息可被设置用于关于一个或多个编码深度的信息，并且关于根据编码深度的编码模式的信息可包括：关于编码单位的分块类型的信息、关于预测模式的信息以及关于变换单位的大小的信息。另外，根据深度的划分信息可被提取作为关于编码深度的信息。

由编码信息提取器220提取的关于根据最大编码单位的编码深度和编码模式的信息是关于被确定为当编码器(诸如设备100)在最大编码单位中针对根据深度对编码单位重复执行编码时产生最小编码错误的编码深度和编码模式的信息。因此，设备200可通过根据产生最小编码错误的编码深度和编码模式对图像数据进行解码，来恢复图像。

由于关于编码深度和编码模式的信息可被分配给编码单位、预测单位和最小单位中的预定数据单位，因此编码信息提取器220可根据所述预定数据单位提取关于编码深度和编码模式的信息。当根据预定数据单位记录关于根据最大编码单位的编码深度和编码模式的信息时，分配有相同的关于编码深度和编码模式的信息的预定数据单位可被推断为是包括在同一最大编码单位中的数据单位。

图像数据解码单元230通过基于关于根据最大编码单位的编码深度和编码模式的信息对每个最大编码单位中的图像数据进行解码，来恢复当前画面。换句话说，图像数据解码单元230可基于所提取的针对每个最大编码单位中所包括的具有树形结构的编码单位中的每个编码单位的关于分块类型、预测模式以及变换单位的信息，对图像数据进行解码。解码处理可包括包含帧内预测和运动补偿的预测处理以及逆变换处理。

图像数据解码单元230可基于关于根据每个编码深度的编码单位的预测 单位的预测模式和分块类型的信息，根据每个编码单位的分块和预测模式执行帧内预测或运动补偿。另外，图像数据解码单元230可基于关于根据编码深度的编码单位的变换单位的大小的信息，根据编码单位中的每个变换单位来执行逆变换，以根据最大编码单位执行逆变换。

图像数据解码单元230可通过使用根据深度的划分信息，确定当前最大编码单位的编码深度。如果划分信息指示图像数据在当前深度不再被划分，则当前深度是编码深度。因此，图像数据解码单元230可通过使用关于对于具有编码深度的每个编码单元的预测单位的分块类型、预测模式和变换单位的大小的信息，对当前最大编码单位中的具有每个编码深度的编码单元的图像数据进行解码，并输出当前最大编码单元的图像数据。换句话说，可通过观察为编码单位、预测单位和最小单位中的预定数据单位分配的编码信息集合来收集包含编码信息(其中，该编码信息包括相同的划分信息)的数据单位，收集的数据单位可被认为是将由图像数据解码单元230以相同的编码模式解码的一个数据单位。

设备200可对每个最大编码单位递归执行编码，获得关于产生最小编码错误的编码单位的信息，并且使用所述信息以对当前画面进行解码。即，可对于每个最大编码单位，以最优编码单位执行图像数据的解码。因此，即使具有高分辨率或大量数据的图像数据也可通过使用编码单位的大小和编码模式来对所述图像数据进行有效解码和恢复，其中，通过使用从编码器发送的关于最优编码模式的信息，根据图像数据的特性来自适应地确定所述编码单位的大小和编码模式。

图3是示出根据本发明实施例分层编码单位的示图。

参照图3，分层编码单位可包括具有以宽度×高度来表示的64×64、32×32、16×16和8×8的大小的编码单位。64×64的编码单位可被划分为64×64、64×32、32×64和32×32的分块，32×32的编码单位可被划分为32×32、32×16、16×32和16×16的分块，16×16的编码单位可被划分为16×16、16×8、8×16和8×8的分块，8×8的编码单位可被划分为8×8、8×4、4×8和4×4的分块。

在图3中，在视频数据310中，分辨率是1920×1080，编码单位的最大大小是64并且最大深度是2。在视频数据320中，分辨率是1920×1080，编码单位的最大大小是64并且最大深度是3。在视频数据330中，分辨率是352 ×288，编码单位的最大大小是16并且编码深度是1。图3中示出的最大深度表示从最大编码单位到最小解码单位的划分总次数。

如果分辨率高或者数据量大，则编码单位的最大大小可以较大，从而不仅提高编码效率，还准确地反映图像的特性。因此，具有比视频数据330更高分辨率的视频数据310和320的编码单位的最大大小可以是64。

由于视频数据310的最大深度是2，因此视频数据310的编码单位315可包括具有64的纵轴大小的最大编码单位以及具有32和16的纵轴大小的编码单位(这是因为通过对最大编码单位划分两次，深度被加深至两层)。同时，由于视频数据330的最大深度是1，因此视频数据330的编码单位335可包括具有16的纵轴大小的最大编码单位以及具有8的纵轴大小的编码单位(这是因为通过对最大编码单位划分一次，深度被加深至一层)。

由于视频数据320的最大深度是3，因此视频数据320的编码单位325可包括具有64的纵轴大小的最大编码单位以及具有32、16和8的纵轴大小的编码单位(这是因为通过对最大编码单位划分三次，深度被加深至3层)。随着深度加深，由于基于较小的编码单位对图像进行编码，所以可以对包括更加详细场景的图像进行编码。

图4是示出根据本发明实施例的基于编码单位的图像编码器400的框图。

图像编码器400执行操作，以使图1的设备100的编码深度确定器120编码图像数据。

参照图4，帧内预测器410对当前帧405中的帧内模式的预测单位执行帧内预测，运动估计器420和运动补偿器425通过使用当前帧405以及参考帧495对帧间模式的预测单位分别执行帧间估计和运动补偿。

基于从帧内预测器410、运动估计器420和运动补偿器425输出的预测单位产生残差值，残差值经由频率变换器430和量化器440作为量化的变换系数而输出。

通过逆量化器460和频率逆变换器470将量化的变换系数恢复为残差值，残差值在通过解块单元480和环路滤波器490被后处理并作为参考帧495输出。可通过熵编码器450输出量化的变换系数作为比特流455。

为了根据依照本发明实施例的图像编码方法进行编码，图像编码器400的帧内预测器410、运动估计器420、运动补偿器425、频率变换器430、量化器440、熵编码器450、逆量化器460、频率逆变换器470、解块单元480 和环路滤波器490可通过考虑每个最大编码单位的最大深度，基于树形结构的编码单位中的每个最大编码单位执行图像编码操作。具体地，帧内预测器410、运动估计器420和运动补偿器425可通过考虑当前最大编码单位的最大大小和最大深度来确定树形结构的编码单位中的每个编码单位的预测模式以及分块，频率变换器430可考虑树形结构的编码单位中的每个编码单位中的变换单位的大小来确定变换单位的大小。

图5是示出根据本发明实施例的基于编码单位的图像解码器的框图。

参照图5，比特流505经过解析器510而解析解码所需的编码信息和将被解码的编码的图像数据。编码的图像数据经由熵解码器520和逆量化器530作为逆量化的数据而输出，并通过频率逆变换器540被恢复为残差值。残差值与帧内预测器550的帧内预测结果或运动补偿器560的运动补偿结果相加，以对于每个编码单位恢复残差值。恢复的编码单位经过解块单元570和环路滤波器580以用于预测随后的编码单位或画面。

为了根据依照本发明实施例的对图像进行解码的方法执行解码，图像解码器500的解析器510、熵解码器520、逆量化器530、频率逆变换器540、帧内预测器550、运动补偿器560、解块单元570和环路滤波器580根据最大编码单位、基于树形结构的编码单位执行图像解码处理。具体地，帧内预测器550和运动补偿器560可对于树形结构的每个编码单元确定分块和预测模式，并且频率逆变换器540可对于每个编码单位确定变换单位的大小。

图6是示出根据本发明实施例的根据深度的编码单位以及预测单位的示图。

图1的设备100和图2的设备200使用分层编码单位，以考虑图像的特性。编码单位的最大高度、最大宽度和最大深度可根据图像的特性被适应性地确定，或可根据用户的需求而被不同地设置。根据预设编码单位的最大大小，可确定根据深度的编码单元的大小。

在编码单位的分层结构600中，编码单位的最大高度和最大宽度是64，编码单位的最大深度为4。由于深度沿着编码单位的分层结构600的竖直轴加深，所以编码单位的高度和宽度根据深度被划分。另外，沿着编码单位的分层结构600的水平轴示出了预测单位和分块，预测单位和分块是根据深度的编码单位的预测的基础单位。

编码单位610是编码单位的分层结构600中的最大编码单位，并具有0 的深度和由高度乘以宽度表示的64×64的大小。深度沿着竖直轴加深，存在大小为32×32且深度为1的编码单位620、大小为16×16且深度为2的编码单位630、大小为8×8且深度为3的编码单位640以及大小为4×4且深度为4的编码单位650。大小为4×4且深度为4的编码单位650是最小编码单位。

此外，参照图6，根据深度沿着水平轴，示出编码单位的预测单位和分块。即，如果深度为0且大小为64×64的最大编码单位610是预测单位，则预测单位可被划分为包括在具有64×64的大小的编码单位610中的大小为64×64的分块610、大小为64×32的分块612、大小为32×64的分块614以及大小为32×32的分块616。

类似地，深度为1且大小为32×32的编码单位620的预测单位可被划分为包括在编码单位620中的大小为32×32的分块620、大小为32×16的分块622、大小为16×32的分块624以及大小为16×16的分块626。

深度为2且大小为16×16的编码单位630的预测单位可被划分为包括在具有16×16的大小的编码单位630中大小为16×16的分块630、大小为16×8的分块632、大小为8×16的分块634以及大小为8×8的分块636。

深度为3且大小为8×8的编码单位640的预测单位可被划分为包括在具有8×8的大小的编码单位640中的大小为8×8的分块640、大小为8×4的分块642、大小为4×8的分块644以及大小为4×4的分块646。

最后，深度为4且大小为4×4的编码单位650是最小编码单位，并且具有最低深度(the lowermost depth)的编码单位，编码单位650的预测单位仅设置大小为4×4的分块650。

为了确定最大编码单位610的编码深度，设备100的编码深度确定器120对于包括在最大编码单位610中深度的编码单位执行编码。

随着深度加深，包括相同范围和相同大小的数据的根据深度的编码单位的数量增大。例如，需要具有深度2的四个编码单位来覆盖包括在具有深度1的一个编码单位中的数据。因此，为了比较相同数据的根据深度的编码结果，具有深度1的一个编码单位以及具有深度2的四个编码单位均被编码。

为了根据深度执行编码，通过沿着编码单位的分层结构600的水平轴，可对于根据深度的编码单位的每个预测单位执行编码，并且可选择作为在对应深度中的最小编码错误的代表性编码错误。另外，深度沿编码单位的分层结构600的竖直轴而加深，可对于每个深度执行编码，可比较根据深度的代 表性编码误差并且可搜索最小编码错误。可选择在最大编码单位610中产生最小编码错误的深度作为最大编码单位610的编码深度和分块类型。

图7是示出根据本发明实施例的编码单位和变换单位之间的关系的示图。

图1的设备100或图2的设备200对于每个最大编码单位，通过以编码单位划分图像来执行编码或解码，其中，所述编码单位的大小小于或等于最大编码单位的大小。可基于不大于每个编码单位的数据单位来选择用于编码期间的频率变换的变换单位的大小。例如，如果当前编码单位710的大小为64×64，则可使用大小为32×32的变换单位720执行频率变换。另外，可通过以具有32×32、16×16、8×8以及4×4大小的变换单位执行频率变换来对具有64×64大小的编码单位710的数据执行编码，并且可选择具有最小错误的变换单位。

图8是示出根据本发明实施例的根据深度的编码信息的示图。

设备100的图像数据编码单位130可针对每个编码深度的每个编码单位，将关于分块类型的信息800、关于预测模式的信息810以及关于变换单位的大小的信息820编码为关于编码模式的信息，并将其发送。

作为用于当前编码单位的预测编码的信息800是关于通过划分当前编码单位而获得的形状的信息。例如，大小为2N×2N的当前编码单位CU_0可被划分为大小为2N×2N的分块802、大小为2N×N的分块804、大小为N×2N的分块806以及大小为N×N的分块808，并且分块802至808中的任何一个可被使用。在这种情况下，信息800被设置为指示大小为2N×2N的分块802、大小为2N×N的分块804、大小为N×2N的分块806以及大小为N×N的分块808中的一个。

信息810指示每个分块的预测模式。例如，信息810指示对由信息800所指示的分块执行预测编码的模式，即，帧内模式812、帧间模式814和跳过模式816中的任意一个。

另外，信息820指示当对当前编码单位执行频率变换时所基于的变换单位。例如，变换单位可以是第一帧内变换单位大小822、第二帧内变换单位大小824、第一帧间变换单位大小826和第二帧间变换单位大小828中的任意一个。

设备200的编码信息提取器220可对于每个深度的每个编码单位提取信 息800、信息810和信息820，并使用信息800、信息810和信息820以对图像进行解码。

图9是示出根据本发明实施例的、根据深度的编码单位的示图。

划分信息可用于指示深度的变化。划分信息指示当前深度的编码单位是否被划分为较低深度的编码单位。

用于深度为0且大小为2N_0×2N_0的编码单位的预测编码的预测单位910可包括大小为2N_0×2N_0的分块类型912、大小为2N_0×N_0的分块类型914、大小为N_0×2N_0的分块类型916以及大小为N_0×N_0的分块类型918的分块。虽然图9仅示出了预测单位被对称地划分的分块类型912、914、916和918，但是本实施例不限于此并且还可包括非对称分块、具有任意形状的分块和几何分块。

对于每个分块类型，需要对于大小为2N_0×2N_0的一个预测单位、大小为2N_0×N_0的两个预测单位、大小为N_0×2N_0的两个预测单位以及大小为N_0×N_0的四个预测单位重复执行预测编码。对于大小为2N_0×2N_0、N_0×2N_0、2N_0×N_0和N_0×N_0的预测单位，可执行帧内模式和帧间模式的预测编码。可仅对大小为2N_0×2N_0的预测单位执行跳过模式的预测编码。如果在大小为2N_0×2N_0、2N_0×N_0和N_0×2N_0的分块类型912、914和916中的任意一个的编码错误最小，则不需要进行进一步的划分。

如果在大小为N_0×N_0的分块类型918中编码错误最小，则在操作920中深度从0变为1以划分分块类型918，并且对深度为2且大小为N_0×N_0的编码单位930重复执行编码，以搜索最小编码错误。

用于对深度为1且大小为2N_1×2N_1(＝N_0×N_0)的编码单位930进行预测编码的预测单位940可包括大小为2N_1×2N_1的分块类型942、大小为2N_1×N_1的分块类型944、大小为N_1×2N_1的分块类型946以及大小为N_1×N_1的分块类型948的分块。

如果在分块类型948中编码错误最小，则在操作950中深度从1变为2以划分分块类型948，并且对深度为2且大小为N_2×N_2的编码单位960重复执行编码，以搜索最小编码错误。

当最大深度为d时，根据深度的划分操作可被执行直到深度变为d-1，并且划分信息可被编码直到深度变为d-2。换句话说，在操作970将深度为d-2的编码单位划分之后，当执行编码直到深度为d-1时，用于对深度为d-1 且大小为2N_(d-1)×2N_(d-1)的编码单位980进行预测编码的预测单位990可包括大小为2N_(d-1)×2N_(d-1)的分块类型992、大小为2N_(d-1)×N_(d-1)的分块类型994、大小为N_(d-1)×2N_(d-1)的分块类型996以及大小为N_(d-1)×N_(d-1)的分块类型998。

可对大小为2N_(d-1)×2N_(d-1)的一个分块、大小为2N_(d-1)×N_(d-1)的两个分块、大小为N_(d-1)×2N_(d-1)的两个分块、大小为N_(d-1)×N_(d-1)的四个分块重复执行预测编码，以搜索具有最小编码错误的分块类型。即使分块类型998具有最小编码错误，由于最大深度为d，所以深度为d-1的编码单位CU_(d-1)不再被划分为较低深度，构成当前最大编码单位900的编码单位的编码深度被确定为d-1，并且当前最大编码单位900的分块类型可被确定为N_(d-1)×N_(d-1)。此外，由于最大深度为d，所以不设置用于最小编码单位980的划分信息。

数据单位999可以是用于当前最大编码单位的“最小单位”。最小单位可以是通过将最小编码单位980划分为4部分而获得的矩形数据单位。通过重复地执行编码，设备100可通过比较根据编码单位900的深度的编码错误来选择具有最小编码错误的深度以确定编码深度，并且可将相应的分块类型和预测模式设置为编码深度的编码模式。

因此，在所有深度0至d中比较根据深度的最小编码错误，并且具有最小编码错误的深度可被确定为编码深度。预测单位的分块类型、编码深度和预测模式可作为关于编码模式的信息被编码和发送。此外，由于从深度0至编码深度来划分编码单位，所以只有编码深度的划分信息被设置为0，并且除了编码深度之外的深度的划分信息被设置为1。

设备200的编码信息提取器220可提取并使用关于编码单位900的编码深度以及预测单位的信息，以对编码单位900解码。设备200可通过使用根据深度的划分信息将划分信息为0的深度确定为编码深度，并且可使用关于相应深度的编码模式的信息以对图像进行解码。

图10至图12是示出根据本发明实施例的编码单位1010、预测单位1060和变换单位1070之间的关系的示图。

编码单位1010是最大编码单位1000中的具有由设备100确定的编码深度的编码单位。预测单位1060是每个编码单位1010的预测单位的分块，变换单位1070是每个编码单位1010的变换单位。 

当最大编码单位1000的深度为0时，编码单位1012和1054的深度为1，编码单位1014、1016、1018、1028、1050和1052的深度为2，编码单位1020、1022、1024、1026、1030、1032和1038的深度为3，编码单位1040、1042、1044和1046的深度为4。

在预测单位1060中，通过在编码单位1010中划分编码单位来获得一些分块1014、1016、1022、1032、1048、1050、1052和1054。换句话说，分块1014、1022、1050和1054具有2N×N的大小，分块1016、1048和1052具有N×2N的大小，分块1032具有N×N的大小。编码单位1010的预测单位和分块小于或等于其对应的编码单位。

以小于编码单位1052和1054的数据单位，对变换单位1070中的一些编码单位1052和1054的图像数据执行频率变换和频率逆变换。另外，变换单位1070中的变换单位1014、1016、1022、1032、1048、1050、1052和1054与预测单位1060中的编码单位1014、1016、1022、1032、1048、1050、1052和1054在大小和结构上不同。换句话说，设备100和设备200可分别对相同的编码单位中的数据单位执行预测、频率变换和频率逆变换。因此，对每个编码单位递归地执行编码以确定最佳编码单位，因此可获得具有递归树形结构的编码单位。

编码信息可包括关于编码单位的划分信息、关于分块类型的信息、关于预测模式的信息以及关于变换单位的大小的信息。表1示出了可由图1的设备100和图2的设备200设置的编码信息。

[表1]

设备100的图像数据编码单元130可输出关于具有树形结构的编码单位 的编码信息，设备200的编码信息提取器220可从接收的比特流提取关于具有树形结构的编码单位的编码信息。

划分信息指示当前编码单位是否被划分为较低深度的编码单位。如果当前深度d的划分信息为0，则当前编码单位不再被划分为较低深度的深度是编码深度，因此可对编码深度定义关于变换单位的大小、分块类型、预测模式的信息。如果根据划分信息将当前编码单位进一步划分，则对较低深度的四个划分的编码单位独立执行编码。

预测模式可以是帧内模式、帧间模式和跳过模式中的一种。可在所有分块类型中定义帧内模式和帧间模式，仅在大小为2N×2N的分块类型中定义跳过模式。

关于分块类型的信息可指示通过对称划分预测单位的高度或宽度获得的大小为2N×2N、2N×N、N×2N和N×N的对称分块类型以及通过非对称划分预测单位的高度或宽度获得的大小为2N×nU、2N×nD、nL×2N和nR×2N的非对称分块类型。可通过以1∶3和3∶1的比率划分预测单位的高度来分别获得大小为2N×nU和2N×nD的非对称分块类型，可通过以1∶3和3∶1的比率划分预测单位的宽度来分别获得大小为nL×2N和nR×2N的非对称分块类型。

变换单位的大小可被设置为帧内模式下的两种类型以及帧间模式下的两种类型。换句话说，如果变换单位的划分信息为0，则变换单位的大小可以是2N×2N(2N×2N是当前编码单位的大小)。如果变换单位的划分信息为1，则可通过划分当前编码单位来获得变换单位。另外，如果大小为2N×2N的当前编码单位的分块类型是对称分块类型，则变换单位的大小可以是N×N，如果当前编码单位的分块类型是非对称分块类型，则变换单位的大小可以是N/2×N/2。

关于具有树形结构的编码单位的编码信息可被分配给具有编码深度的编码单位、预测单位以及变换单位中的至少一个。具有编码深度的编码单位可包括包含相同编码信息的预测单位和最小单位中的至少一个。

因此，通过比较相邻数据单位的编码信息，来确定相邻数据单位是否包括在具有编码深度的相同编码单位中。另外，通过使用数据单位的编码信息来确定具有编码深度的相应编码单位，因此可确定最大编码单位中的编码深度的分布。

因此，如果基于相邻数据单位的编码信息来预测当前编码单位，则可直 接参照和使用与当前编码单位相邻的编码单位中的数据单位的编码信息。

或者，如果基于相邻数据单位的编码信息来预测当前编码单位，则使用所述数据单位的编码信息来搜索与当前编码单位相邻的数据单位，并且可参照搜索到的相邻的编码单位来预测当前编码单位。

图13是描述根据表1的编码模式信息的编码单位、预测单位和变换单位之间的关系的示图。

最大编码单位1300包括编码深度的编码单位1302、1304、1306、1312、1314、1316和1318。由于编码单位1318是编码深度的编码单位，所以划分信息可被设置为0。关于大小为2N×2N的编码单位1318的分块类型的信息可被设置为大小为2N×2N的分块类型1322、大小为2N×N的分块类型1324、大小为N×2N的分块类型1326、大小为N×N的分块类型1328、大小为2N×nU的分块类型1332、大小为2N×nD的分块类型1334、大小为nL×2N的分块类型1336以及大小为nR×2N的分块类型1338中的一个。

当分块类型被设置为对称(即，分块类型1322、1324、1326或1328)时，如果变换单位的划分信息(TU大小标志)为0，则大小为2N×2N的变换单位1342被设置，如果TU大小标志为1，则大小为N×N的变换单位1344被设置。

当分块类型被设置为非对称(即，分块类型1332、1334、1336或1338)时，如果TU大小标志为0，则大小为2N×2N的变换单位1352被设置，如果TU大小标志为1，则大小为N/2×N/2的变换单位1354被设置。

下面，将详细解释由图4的设备400的频率变换器430和图5的设备500的频率逆变换器540执行的频域中预测变换系数的处理。

图14是示出根据本发明实施例的用于频率变换的设备1200的框图。图14的设备1200可被用作图4的设备400的频率变换器430。

参照图14，设备1200包括变换器1210、变换系数预测器1220和减法器1230。

变换器1210通过将残差块变换到频域来产生变换块，其中，所述残差块为将被编码的当前块与预测块之差。通过由图4的帧内预测器410执行的帧内预测或由图4的运动补偿器425执行的运动补偿而产生预测块。表示原始残差块的第一残差块与第二残差块不同，其中，第一残差块表示作为当前块与预测块之差的原始残差块，第二残差块表示稍后解释的不完全残差块。变 换器1210通过对第一残差块执行离散余弦变换来产生变换块。

变换系数预测器1220通过将变换块的变换系数中的将被预测的至少一个变换系数替换为预定值并对包括替换为预定值的变换系数的变换块进行逆变换，来产生第二残差块。变换系数预测器1220通过使用第二残差块的值，来产生将被预测的变换系数的预测因子。稍后将详细解释产生变换系数的预测因子的处理。

减法器1230计算变换系数与预测因子之差。设备1200仅输出由变换系数预测器1220预测的变换系数与变换系数的预测因子之差，并输出除由变换系数预测器1220预测的变换系数之外的原始变换块的剩余变换系数。由于设备1200仅对预测因子与变换系数中的将被预测的变换系数之差进行编码，所以可减少编码的数据量。具体地讲，当对变换系数进行预测的处理应用于具有低频分量和具有相对大值的变换系数时，可进一步提高图像压缩效率。

下面，详细解释产生变换系数的预测因子值的处理。

图15是示出根据本发明实施例的变换系数预测模式的示图。

参照图15，根据将被预测的变换系数，变换系数预测模式FDP_mode_n(这里，n是0、1、2和3)如下分类。使用预测因子与原始变换系数之差来对构成第一残差块(其中，第一残差块是当前块与预测块之差)的变换系数中的将被预测因子预测的第一区域的变换系数进行编码，使用原始变换系数而不通过预测变换系数的处理，来对除第一区域之外的第二区域的变换系数进行编码。

1)FDP_mode_0是预测变换块的最上边的行的预定数量(例如，L)的变换系数1310的模式。

2)FDP_mode_1是预测变换块的最左边的列的预定数量(例如，L)的变换系数1320的模式。

3)FDP_mode_2是预测变换块的直流(DC：direct current)系数1330的模式。

4)FDP_mode_3是预测变换块的DC系数和最上边的行和最左边的列的预定数量(例如，L)的变换系数1340的模式。

可根据当前块的预测块的预测模式确定变换系数预测模式。例如，当以垂直帧内预测模式产生预测块时，可选择模式FDP_mode_0。当以水平帧内预测模式产生预测块时，可选择模式FDP_mode_1。当通过DC模式的帧内预 测产生预测块时，可选择模式FDP_mode_2。当以具有与上述帧内预测模式的方向不同的方向的预测模式(或以包括运动补偿的模式)产生预测块时，可选择模式FDP_mode_3。根据预测模式选择变换系数预测模式的原因在于，根据预测模式的方向，由于接近的相邻像素被用作参考像素，所以接近参考像素的残差块的边界处的残差值减小，而远离参考像素的残差值增加。即，本发明以使当前块的像素与在用于预测当前块之前被编码和恢复的相邻像素之间的平滑度为最优的方式预测变换系数。

可根据如表2所示的变换块的大小来设置将被预测的变换系数的数量L。

表2

变换块的大小	变换系数预测长度L
		4x4	3
8x8	3
		16x16	4
32x32	4
		64x64	4

不限于表2，可改变表示变换块的任意一行或列的将被预测的变换系数的数量的变换系数预测长度L。

图16是用于解释根据本发明实施例的用于预测变换系数的参数的术语的参考示图。

当当前块的大小为N×M(这里，N和M是整数)时，预测块、变换块、第一残差块和第二残差块中的每一个具有N×M的大小。图16示出N×M为5×5的情况。在第一残差块1410的(x，y)(这里，0≤x≤N-1，0≤y≤M-1)处的残差值被定义为res(x，y)，通过对第一残差块1410执行离散余弦变换而产生的变换块1420的(x，y)处的变换系数被定义为c(x，y)。此外，在第二残差块1430的(x，y)处的残差值被定义为f(x，y)。变换系数c(x，y)的预测因子1440被定义为fdp_xy。具体地讲，在图16中，不产生所有变换系数的预测因子值，仅产生最上边的行和最左边的列的预测因子1445中的预定数量的预测因子值。这是因为，最上边的行和最左边的列的变换系数具有比其他变换系数大的值，接近高频分量的剩余变换系数具有接近于0的值，如果对这些高频分量的变换系数进行预测，则压缩效率不高于用于预测的计算 的计算量。

以下，将详细解释根据变换系数预测模式预测变换系数的处理。

1.以变换系数预测模式0(FDP_mode_0)预测变换系数的处理

当离散余弦变换的基本分量函数basis_element_nm是basis_element_nm＝cos(n _xx)cos(m_yy)，并且在(n，m)处的变换系数是coeff_nm时，如等式1所示，残差块的残差值res(x，y)可由基本分量函数basis_element_nm和变换系数coeff_nm的线性组合表示。

$\mathrm{res}(x,y)=\underset{n=0}{\overset{N-1}{\mathrm{\Σ}}}\underset{m=0}{\overset{M-1}{\mathrm{\Σ}}}{\mathrm{coeff}}_{\mathrm{nm}}{\mathrm{basis}\_\mathrm{element}}_{\mathrm{nm}}(x,y)---\left(1\right)$

当n＝m＝0时，分量“0”的基本分量函数basis_element₀₀是恒定值1。coef₀₀通常被称作DC系数，并表示离散余弦变换的输入值的平均。除DC系数之外的变换系数称作交流(AC：alternating current)系数。

如等式2所示，分离地表示等式1中的DC系数和AC系数。

$\mathrm{res}(x,y)={\mathrm{coeff}}_{00}+\underset{n+m>0}{\mathrm{\Σ}}{\mathrm{coeff}}_{\mathrm{nm}}{\mathrm{basis}\_\mathrm{element}}_{\mathrm{nm}}(x,y)---\left(2\right)$

在等式(2)中，n+m＞0表示计算了AC系数。如果在等式2中的包括DC系数coef₀₀的变换块的将被预测的最上边的行的变换系数的值被设置为0并且离散余弦逆变换被执行，则恢复的残差值与实际残差值不同。这是因为，将被预测的最上边的行的变换系数的值被设置为0。通过将变换系数的一些值替换为值并对包括所述替换的变换系数的变换块进行逆变换而产生的残差块被称作不完全残差块或第二残差块。可如等式3所示地表示作为不完全残差块的第二残差块的残差值f(x，y)。

$f(x,y)=0+\underset{n+m>0}{\mathrm{\Σ}}\mathrm{\Σ}{\mathrm{coeff}}_{\mathrm{nm}}{\mathrm{basis}\_\mathrm{element}}_{\mathrm{nm}}(x,y)---\left(3\right)$

如上所述，由于变换系数被设置为0，所以存在不完全残差块的残差值f(x，y)与实际残差块的残差值res(x，y)之差。通常，在变换系数中，DC系数具有最大值。因此，不完全残差块的残差值f(x，y)与实际残差块的残差值res(x，y)之差主要由DC系数之间的差引起。因此，如等式4所示，可从残差值res(x，y)和f(x，y)预测DC系数的值。

$\mathrm{DC}\≡{\mathrm{coeff}}_{00}=\frac{1}{\mathrm{NM}}\underset{x=0}{\overset{N-1}{\mathrm{\Σ}}}\underset{y=0}{\overset{M-1}{\mathrm{\Σ}}}(\mathrm{res}(x,y)-f(x,y))---\left(4\right)$

解码器可不直接使用等式4来预测DC系数。这是因为，在解码期间频域的变换系数通过逆变换变换为时域的残差值，仅以变换系数预测模式预测的变换系数与预测因子之差包括在比特流中，因此无法直接恢复残差值res(x，y)。

在等式4中，当假设仅使用关于原始残差块的残差值res(x，y)的信息和关于不完全残差块的残差值f(x，y)的信息中的最上边的行的信息，使用垂直帧内预测模式以产生预测块，并且由于原始残差块的方向性而res(x，0)＝0以及res(0，y)≠0时，可如等式5所示地导出DC系数的预测因子fdp₀₀。

${\mathrm{fdp}}_{00}={\mathrm{\σ}}_{00}=\underset{x=0}{\overset{N-1}{\mathrm{\Σ}}}f(x,0)---\left(5\right)$

fdp₀₀(x，y)成比例于DC系数的值并具有与DC系数的符号相反的符号(sign)。因此，等式5中的fdp₀₀可被用作以垂直帧内预测模式预测和产生的残差块的变换块的变换系数中的DC系数的预测因子。详细地，优选地，fdp₀₀乘以预定校正值corr_factor而获得的值被用作预测因子值。稍后，将解释校正值corr_factor。

如等式6所示，可使用与最上边的行对应的不完全残差块与基本分量函数的点积来计算变换块的变换系数中的最上边的行的变换系数c(n，0)的预测因子fdp_n0。

${\mathrm{fdp}}_{n0}=\underset{x=0}{\overset{N-1}{\mathrm{\Σ}}}f(x,0)*{\mathrm{basis}\_\mathrm{element}}_{n0}(x,0)---\left(6\right)$

图17是用于解释以图15的变换系数预测模式0(FDP_mode_0)预测变换系数的处理的参考示图。

在变换系数预测模式0(FDP_mode_0)中，预测最上边的行的变换系数中的预定数量的变换系数。如上所述，优选地，当以垂直帧内预测模式产生预测块时，可选择变换系数预测模式0(FDP_mode_0)。图17示出产生最上边的行的变换系数中的三个变换系数c(0，0)、c(1，0)和c(2，0)的预测因子值的处理。

如标号1505所示，变换系数预测器1220将变换块的变换系数中的将被 预测的三个变换系数c(0，0)、c(1，0)和c(2，0)替换为0，并产生替换的变换块1500。变换系数预测器1220通过对替换的变换块1500进行逆变换来产生第二残差块1510。

变换系数预测器1220使用第二残差块1510的最上边的行的值1515来产生将被预测的三个变换系数c(0，0)、c(1，0)和c(2，0)的预测因子值fdp₀₀、fdp₁₀和fdp₂₀。

详细地，变换系数预测器1220使用表示为如下的等式5来产生DC系数c(0，0)的预测因子fdp₀₀，其中，等式5被表示为

${\mathrm{fdp}}_{00}=\underset{x=0}{\overset{4}{\mathrm{\Σ}}}f(x,0).$

此外，变换系数预测器1220通过使用表示为如下的等式6来产生变换系数c(1，0)和c(2，0)的预测因子值fdp₁₀和fdp₂₀，其中，等式6被表示为

${\mathrm{fdp}}_{10}=\underset{x=0}{\overset{4}{\mathrm{\Σ}}}f(x,0)*{\mathrm{basis}\_\mathrm{element}}_{10}(x,0)$ 以及

${\mathrm{fdp}}_{20}=\underset{x=0}{\overset{4}{\mathrm{\Σ}}}f(x,0)*{\mathrm{basis}\_\mathrm{element}}_{20}(x,0).$

变换系数预测器1220输出最上边的行的DC系数c(0，0)的预测因子fdp₀₀和变换系数c(1，0)和c(2，0)的预测因子值fdp₁₀和fdp₂₀，减法器1230计算并输出原始变换系数与预测因子值之差。

如上所述，变换系数预测器1220可输出比例校正因子值，其中，所述比例校正因子值为通过最上边的行的DC系数c(0，0)的预测因子fdp₀₀和变换系数c(1，0)和c(2，0)的预测因子值fdp₁₀和fdp₂₀乘以校正值corr_factor而获得。

图18是示出根据变换系数预测模式0FDP_mode_0的预测系数的预测结果而编码的变换块的示图。

参照图18，对变换块1600的最上边的行的变换系数中的将被预测的变换系数1605不进行编码，而仅对与由变换系数预测器1220计算的预测因子的差进行编码。由于具有相对大值的变换系数的数据量减少，所以可提高图像压缩效率。

2.以变换系数预测模式1(FDP_mode_1)预测变换系数的处理

假设仅使用关于原始残差块的残差值res(x，y)的信息和关于不完全残差块的残差值f(x，y)的信息中的最左边的列的信息，使用水平帧内预测模式以产生预测块，并且res(0，y)＝0以及res(x，0)≠0。此外，假设通过将变换块的最左边的列的变换系数中的将被预测的变换系数替换为0并对替换的变换块进行逆变换来产生不完全残差块的残差值f(x，y)。可从等式4导出如等式5所示的DC系数的预测因子fdp₀₀。

${\mathrm{fdp}}_{00}={\mathrm{\σ}}_{00}=\underset{y=0}{\overset{M-1}{\mathrm{\Σ}}}f(0,y)---\left(7\right)$

如上所述，等式7的fdp₀₀(或σ₀₀)成比例于DC系数的值并具有与DC系数的符号相反的符号。因此，等式7的fdp₀₀可用作以水平帧内预测模式预测和产生的残差块的变换块的变换系数中的DC系数的预测因子。优选地，通过DC系数的预测因子fdp₀₀乘以预定校正值corr_factor而获得的值用作预测因子值。稍后，将解释校正值corr_factor。

如等式8所示，可使用与最左边的列对应的不完全残差块与基本分量函数的点积来计算变换块的变换系数中的最左边的列的变换系数c(0，m)的预测因子fdp_0m。

${\mathrm{fdp}}_{0m}=\underset{y=0}{\overset{M-1}{\mathrm{\Σ}}}f(0,y)*{\mathrm{basis}\_\mathrm{element}}_{0m}(0,y)---\left(8\right)$

图19是用于解释以图15的变换系数预测模式1FDP_mode_1预测变换系数的处理的参考示图。

在变换系数预测模式1FDP_mode_1中，预测最左边的列的变换系数中的预定数量的变换系数。如上所述，优选地，当以水平帧内预测模式产生预测块时，选择变换系数预测模式1FDP_mode_1。图19示出产生最左边的列的变换系数中的三个变换系数c(0，0)、c(0，1)和c(0，2)的预测因子值的处理。

如标号1705所示，变换系数预测器1220将变换块的变换系数中的将被预测的三个变换系数c(0，0)、c(0，1)和c(0，2)替换为0，并产生替换的变换块1700。变换系数预测器1220通过对替换的变换块1700进行逆变换来产生第二残差块1710。

变换系数预测器1220使用第二残差块1710的最左边的列的值1715来产生将被预测的三个变换系数c(0，0)、c(0，1)和c(0，2)的预测因子值fdp₀₀、fdp₀₁ 和fdp₀₂。

详细地，变换系数预测器1220使用表示为如下的等式7来产生DC系数c(0，0)的预测因子fdp₀₀，其中，等式7被表示为

${\mathrm{fdp}}_{00}=\underset{y=0}{\overset{4}{\mathrm{\Σ}}}f(0,y).$

此外，变换系数预测器1220通过使用如下表示的等式8来产生最左边的列的变换系数c(0，1)和c(0，2)的预测因子值fdp₀₁和fdp₀₂，其中，等式8被表示为

${\mathrm{fdp}}_{01}=\underset{y=0}{\overset{4}{\mathrm{\Σ}}}f(0,y)*{\mathrm{basis}\_\mathrm{element}}_{01}(0,y)$ 以及

${\mathrm{fdp}}_{02}=\underset{y=0}{\overset{4}{\mathrm{\Σ}}}f(0,y)*{\mathrm{basis}\_\mathrm{element}}_{02}(0,y).$

变换系数预测器1220输出最左边的列的DC系数c(0，0)的预测因子fdp₀₀和变换系数c(0，1)和c(0，2)的预测因子值fdp₀₁和fdp₀₂，减法器1230计算并输出原始变换系数与预测因子值之差。

如上所述，变换系数预测器1220可输出比例校正因子值，其中，所述比例校正因子值为通过最左边的列的DC系数c(0，0)的预测因子fdp₀₀和变换系数c(0，1)和c(0，2)的预测因子值fdp₀₁和fdp₀₂乘以校正值corr_factor而获得。

图20是示出根据变换系数预测模式1FDP_mode_1的变换系数的预测结果而编码的变换块的示图。

参照图20，对变换块1800的最左边的列的变换系数中的将被预测的变换系数1805不进行编码，而仅对与由变换系数预测器1220计算的预测因子的差进行编码。由于具有相对大值的变换系数的数据量减少，所以可提高图像压缩效率。

3.以变换系数预测模式2(FDP_mode_2)预测变换系数的处理

在等式2中，由于通过将变换块的将被预测的DC系数coeff₀₀的值替换为“0”并执行离散余弦变换来产生不完全残差块，因此存在与设置为0的DC系数coeff₀₀的值对应的原始残差块的残差值res(x，y)与残差值f(x，y)之差。当假设在等式4中，仅使用关于原始残差块的残差值res(x，y)的信 息和关于不完全残差块的残差值f(x，y)的信息中的最上边的行和最左边的列的信息并且res(x，0)＝res(0，y)＝0时，可如下地计算DC系数的预测因子fdp₀₀

${\mathrm{fdp}}_{00}={\mathrm{\σ}}_{00}=\underset{x=0}{\overset{N-1}{\mathrm{\Σ}}}f(x,0)+\underset{y=0}{\overset{M-1}{\mathrm{\Σ}}}f(0,y)---\left(9\right)$

由于fdp₀₀(σ₀₀)成比例于DC系数的值并具有与DC系数的符号相反的符号，因此等式9的fdp₀₀可用作DC系数的预测因子。优选地，通过DC系数的预测因子fdp₀₀乘以预定校正值corr_factor而获得的值用作预测因子值。以下，将解释校正值corr_factor。

图21是用于解释以图15的变换系数预测模式2(FDP_mode_2)预测变换系数的处理的参考示图。

在变换系数预测模式2(FDP_mode_2)中，仅预测变换系数中的DC系数。如上所述，优选地，当以DC模式产生预测块时，选择变换系数预测模式2(FDP_mode_2)。图21示出产生变换系数c(0，0)的预测因子的处理。

如标号1905所示，变换系数预测器1220将变换块的变换系数中的将被预测的变换系数c(0，0)替换为0，并产生替换的变换块1900。变换系数预测器1220通过对替换的变换块1900进行逆变换来产生第二残差块1910。

变换系数预测器1220使用第二残差块1910的最上边的行和最左边的列的值1915来产生将被预测的变换系数c(0，0)的预测因子值fdp₀₀。

详细地，变换系数预测器1220使用表示为如下的等式9来产生DC系数c(0，0)的预测因子fdp₀₀，其中，等式9被表示为

${\mathrm{fdp}}_{00}=\underset{x=0}{\overset{N-1}{\mathrm{\Σ}}}f(x,0)+\underset{y=0}{\overset{M-1}{\mathrm{\Σ}}}f(0,y).$

变换系数预测器1220输出DC系数c(0，0)的预测因子fdp₀₀，减法器1230计算并输出原始变换系数与预测因子值之差。

如上所述，变换系数预测器1220可输出比例校正因子值，其中，所述比例校正因子值为通过DC系数c(0，0)的预测因子fdp₀₀乘以校正值corr_factor而获得。

图22是示出根据变换系数预测模式2(FDP_mode_2)的变换系数的预测结果而编码的变换块的示图。

参照图22，对变换块2000的将被预测的DC系数2005不进行编码，而仅对与由变换系数预测器1220预测的预测因子的差进行编码。由于具有DC分量并具有相对大值的变换系数的数据量减少，所以可提高图像压缩效率。

4.以变换系数预测模式3(FDP_mode_3)预测变换系数的处理

与变换系数预测模式0至2不同，变换系数预测模式3(FDP_mode_3)是通过使用关于不完全残差块的残差值f(x，y)、预测块的值pred(x，y)和预先编码和恢复的相邻像素的值rec(x，-1)和rec(-1，y)的信息来预测变换块的最上边的行和最左边的列的变换系数的模式。

图23是用于解释以图15的变换系数预测模式3(FDP_mode_3)预测变换系数的处理的参考示图。

参照图23，以变换系数预测模式3(FDP_mode_3)预测变换系数的处理根据频率的大小顺序地产生从高频分量的变换系数至DC系数的预测因子值。以变换系数预测模式3(FDP_mode_3)预测变换系数的处理预测变换系数，使得先前编码的相邻块与当前块的像素之间的平滑度为最优。

详细地，假设变换块2100的最上边的行和最左边的列的变换系数中的低频分量的变换系数2101至2105是将以变换系数预测模式3(FDP_mode_3)预测的变换系数。

变换系数预测器1220通过将变换块2100的将被预测的低频分量的变换系数2101至2105替换为0并对替换的变换块进行逆变换，来产生作为不完全残差块的第二残差块。变换系数预测器1220通过使用第二残差块的最上边的行和最左边的列的值、预测块的值和相邻像素的值，来产生将被预测的低频分量的变换系数2101至2105中的具有最大高频分量的第一变换系数2101和2102的第一变换系数的c(2，0)和c(0，2)的预测因子值。

一旦产生第一变换系数2101和2102的预测因子值，则变换系数预测器1220通过将具有小于第一变换系数(其中，第一变换系数来自变换块的将被预测的变换系数2101至2105)的频率分量的频率分量的变换系数2111至2113替换为0并对替换的变换块2110进行逆变换，来产生第三残差块。变换系数预测器1220通过使用第三残差块的最上边的行和最左边的列的值、预测块的值和相邻像素的值，来产生变换系数2111至2113中的具有相对大的频率分量的第二变换系数2111和2112的预测因子值。

一旦产生除DC系数2121之外的低频分量的所有变换系数的预测因子 值，变换系数预测器1220通过仅将变换块的变换系数中的DC系数2121替换为0并对替换的变换块2120进行逆变换，来产生第四残差块。变换系数预测器1220通过使用第四残差块的最上边的行和最左边的列的值、预测块的值和相邻像素的值，来产生DC系数2121的预测因子。

以变换系数预测模式3(FDP_mode_3)预测变换系数的处理如下。当第二残差块的位于(x，y)(0≤x≤N-1，0≤y≤M-1)处的残差值为f(x，y)，变换块的位于(n，m)处的变换系数的预测因子为fdp_nm，离散余弦变换的基本分量函数basis_element_nm为basis_element_nm＝cos(n_xx)cos(m_yy)，预测块的位于(x，y)处的值为pred(x，y)，当前块之前恢复的相邻块的值为rec(x，-1)和rec(-1，y)且第一变换系数是位于最上边的行和最左边的列的(0，L)和(L，0)(L是等于或大于2的整数)处的变换系数时，变换系数预测器1220如等式10所示地计算参数σ₀₀、σ_0a和σ_b0。

${\mathrm{\σ}}_{00}=\underset{x=0}{\overset{N-1}{\mathrm{\Σ}}}(f(x,0)+\mathrm{pred}(x,0)-\mathrm{rec}(x,-1))+\underset{y=0}{\overset{M-1}{\mathrm{\Σ}}}(f(0,y)+\mathrm{pred}(0,y)-\mathrm{rec}(-1,y))$

${\mathrm{\σ}}_{0a}=\underset{y=0}{\overset{M-1}{\mathrm{\Σ}}}(f(0,y)+\mathrm{pred}(0,y)-\mathrm{rec}(-1,y)){\mathrm{basis}\_\mathrm{element}}_{0a}(0,y)$

这里，a是1至L的整数，以及

${\mathrm{\σ}}_{b0}=\underset{x=0}{\overset{N-1}{\mathrm{\Σ}}}(f(x,0)+\mathrm{pred}(x,0)-\mathrm{rec}(x,-1)){\mathrm{basis}\_\mathrm{element}}_{b0}(x,0)$

这里，b是1至L的整数(10)

变换系数预测器1220通过使用参数σ₀₀、σ_0a和σ_b0来产生第一变换系数的预测因子值fdp_L0和fdp_0L。

然后，变换系数预测器1220通过将具有小于第一变换系数(其中，第一变换系数来自变换块的将被预测的变换系数)的频率分量的频率分量的变换系数替换为0并对替换的变换块进行逆变换，来产生第三残差块。变换系数预测器1220可将等式10的残差值(x，y)替换为第三残差块的位于(x，y)处的残差值，并且可再次计算参数σ₀₀、σ_0a和σ_b0。此时，a的范围为1至(L-1)，b的范围为1至(L-1)。变换系数预测器1220通过使用新计算的参数σ₀₀、σ_0a和σ_b0来产生第二变换系数的预测因子值fdp_L0和fdp_0L。重复执行这种预测处理，直到全部预测了将被预测的变换系数中的除DC系数之外的剩余AC变换系数的预测因子值。

图24至图26是示出当在变换系数预测模式3FDP_mode_3中L＝3时，预测变换系数的处理的参考示图。详细地讲，图24是用于解释产生第一变换系数c(0，2)和c(2，0)的预测因子值的处理的参考示图。图25是用于解释产生第二变换系数c(0，1)和c(1，0)的预测因子值的处理的参考示图。图26是用于解释产生DC系数c(0，0)的预测因子的处理的参考示图。

参照图24，如标号2210所指示，变换系数预测器1220将变换块的变换系数中的将被预测的最上边的行和最左边的列的变换系数c(0，0)、c(0，1)、c(1，0)、c(0，2)、c(2，0)替换为0，并产生替换的变换块2220。变换系数预测器1220通过对替换的变换块2200进行逆变换来产生第二残差块2210。

然后，如当等式10中的L＝2时的等式11所示，变换系数预测器1220通过使用最上边的行和最左边的列的值、第二残差块2210的上侧的相邻像素2220和第二残差块2210的左侧的相邻像素2230，来计算参数σ₀₀、σ₀₁、σ₁₀、σ₀₂和σ₂₀。

${\mathrm{\σ}}_{00}=\underset{x=0}{\overset{N-1}{\mathrm{\Σ}}}(f(x,0)+\mathrm{pred}(x,0)-\mathrm{rec}(x,-1)){\mathrm{basis}\_\mathrm{element}}_{00}(x,0)+\underset{y=0}{\overset{M-1}{\mathrm{\Σ}}}(f(0,y)+\mathrm{pred}(0,y)-\mathrm{rec}(-1,y)){\mathrm{basis}\_\mathrm{element}}_{00}(0,y)$

${\mathrm{\σ}}_{01}=\underset{y=0}{\overset{M-1}{\mathrm{\Σ}}}(f(0,y)+\mathrm{pred}(0,y)-\mathrm{rec}(-1,y)){\mathrm{basis}\_\mathrm{element}}_{01}(0,y)$

${\mathrm{\σ}}_{10}=\underset{x=0}{\overset{N-1}{\mathrm{\Σ}}}(f(x,0)+\mathrm{pred}(x,0)-\mathrm{rec}(x,-1)){\mathrm{basis}\_\mathrm{element}}_{10}(x,0)$

${\mathrm{\σ}}_{02}=\underset{y=0}{\overset{M-1}{\mathrm{\Σ}}}(f(0,y)+\mathrm{pred}(0,y)-\mathrm{rec}(-1,y)){\mathrm{basis}\_\mathrm{element}}_{02}(0,y)$

${\mathrm{\σ}}_{20}=\underset{x=0}{\overset{N-1}{\mathrm{\Σ}}}(f(x,0)+\mathrm{pred}(x,0)-\mathrm{rec}(x,-1)){\mathrm{basis}\_\mathrm{element}}_{20}(x,0)---\left(11\right)$

如等式12所示，变换系数预测器1220计算第一变换系数c(2，0)和c(0，2)的预测因子值fdp₂₀和fdp₀₂。

fdp₂₀＝-10σ₀₀+4(σ₀₁-σ₁₀)/basis_element₀₁(0，0)+(4σ₀₂+8σ₂₀)/basis_element₀₂(0，0)

fdp₀₂＝-10σ₀₀+4(σ₁₀-σ₀₁)/basis_element₀₁(0，0)+(4σ₂₀+8σ₀₂)/basis_element₀₂(0，0)

(12)

在等式12中，乘以参数σ₀₀、σ₀₁、σ₁₀、σ₀₂和σ₂₀的值可通过实验来确定，并且可以被改变。

参照图25，在产生第一变换系数c(0，2)和c(2，0)的预测因子值fdp₂₀和fdp₀₂之后，变换系数预测器1220通过将具有小于第一变换系数c(0，2)和c(2，0)(其中，第一变换系数来自将被预测的变换系数)的频率分量的频率分量的变换系数c(0，0)、c(0，1)、c(1，0)替换为0并对替换的变换块2300进行逆变换，来产生第三残差块2310。然后，如等式13所示，变换系数预测器1220 通过使用最上边的行和最左边的列的值2315、第三残差块2310的上侧的相邻像素2320和第三残差块2310的左侧的相邻像素2330，来新计算参数σ₀₀、σ₀₁、σ₁₀。

${\mathrm{\σ}}_{00}=\underset{x=0}{\overset{N-1}{\mathrm{\Σ}}}(f(x,0)+\mathrm{pred}(x,0)-\mathrm{rec}(x,-1)){\mathrm{basis}\_\mathrm{element}}_{00}(x,0)+\underset{y=0}{\overset{M-1}{\mathrm{\Σ}}}(f(0,y)+\mathrm{pred}(0,y)-\mathrm{rec}(-1,y)){\mathrm{basis}\_\mathrm{element}}_{00}(0,y)$

${\mathrm{\σ}}_{01}=\underset{y=0}{\overset{M-1}{\mathrm{\Σ}}}(f(0,y)+\mathrm{pred}(0,y)-\mathrm{rec}(-1,y)){\mathrm{basis}\_\mathrm{element}}_{01}(0,y)$

${\mathrm{\σ}}_{10}=\underset{x=0}{\overset{N-1}{\mathrm{\Σ}}}(f(x,0)+\mathrm{pred}(x,0)-\mathrm{rec}(x,-1)){\mathrm{basis}\_\mathrm{element}}_{10}(x,0)---\left(13\right)$

如等式14所示，变换系数预测器1220计算第二变换系数c(0，1)、c(1，0)的预测因子值fdp₁₀和fdp₀₁。

fdp₁₀＝-6σ₀₀+(8σ₀₁+4σ₁₀)/basis_element₀₁(0，0)

fdp₀₁＝-6σ₀₀+(8σ₁₀+4σ₀₁)/basis_element₀₁(0，0)

(14)

在等式14中，乘以参数σ₀₀、σ₀₁、σ₁₀的值可通过实验来确定，并且可以被改变。

参照图26，在第二变换系数c(0，1)、c(1，0)的预测因子值fdp₁₀和fdp₀₁被产生之后，变换系数预测器1220通过将DC系数c(0，0)替换为0并对替换的变换系数2400进行逆变换，来产生第四残差块2410。然后，如等式15所示，变换系数预测器1220通过使用最上边的行和最左边的列的值2415、第四残差块2410的上侧的相邻像素2420和第四残差块2410的左侧的相邻像素2430，来新计算参数σ₀₀。

${\mathrm{fdp}}_{00}={\mathrm{\σ}}_{00}=\underset{x=0}{\overset{N-1}{\mathrm{\Σ}}}(f(x,0)+\mathrm{pred}(x,0)-\mathrm{rec}(x,-1)){\mathrm{basis}\_\mathrm{element}}_{00}(x,0)+\underset{y=0}{\overset{M-1}{\mathrm{\Σ}}}(f(0,y)+\mathrm{pred}(0,y)-\mathrm{rec}(-1,y)){\mathrm{basis}\_\mathrm{element}}_{00}(0,y)---\left(14\right)$

使用等式15计算的σ₀₀可用作DC系数的预测因子fdp₀₀。变换系数预测器1220可通过将以变换系数预测模式3(FDP_mode_3)顺序地预测的预测因子值乘以校正值corr_factor，来输出比例校正的预测因子值。

图27是示出根据变换系数预测模式3FDP_mode_3的变换系数的预测结果而编码的变换块的示图。

参照图27，对变换块2500的DC系数2510不进行编码，而仅对与由变换系数预测器1220顺序计算的预测因子之差进行编码。因此，由于具有DC 分量并具有相对大值的变换系数的数据量减少，所以可提高图像压缩效率。

如上所述，以变换系数预测模式产生的变换系数的预测因子fdp_nm可乘以预定校正值corr_factor，并且结果值可被用作最终预测因子值。可通过考虑变换系数的预测因子与最终预测因子值之间的相关性来确定校正值corr_factor。校正值corr_factor是考虑最终预测因子与没有替换的变换系数之间的相关性，或者最终预测因子与不完全残差块之间的相关性而确定的值，其中，所述不完全残差块通过替换残差块的变换系数中的将被预测的变换系数并对替换的变换系数进行逆变换而获得。如表3所示，在帧内预测模式、变换系数预测模式、量化参数QP和将被预测的变换系数的位置中设置校正值corr_factor。在表3中，根据帧内预测模式、变换系数预测模式和QP值，示出应用于位于(x，y)处的变换系数的预测因子Coeff_xy的校正值corr_factor。

表3

表3中示出的校正值corr_factor是示例性地示出，并且可通过考虑变换系数的预测因子与最终预测因子值之间的相关性而被改变为另一值。

图28是示出根据本发明实施例的对图像进行编码的方法的流程图。

参照图28，在操作2610，通过将第一残差块变换到频域来产生变换块，其中，第一残差块为将被编码的当前块与预测块之差。

在操作2620，通过将变换块的变换系数中的具有低频分量的将被预测的至少一个变换系数替换为预定值并对包括替换为预定值的变换系数的变换块进行逆变换，来产生第二残差块。如上所述，优选地，所述预定值为0。

在操作2630，通过使用第二残差块的值来产生具有将被预测的低频分量的变换系数的预测因子。如上所述，变换系数预测因子1220通过以变换系数预测模式FDP_mode线性组合基本分量函数和第二残差块的最上边的行和最左边的列中的至少一个，来产生变换系数的预测因子。在变换系数预测模式3中，还可使用预测块的值和相邻块的值来预测变换系数。

在操作2640中，计算预测因子与实际变换系数之差，并且作为关于具有将被预测的低频分量的变换系数的编码信息仅对所述差进行编码并发送，其中，所述预测因子作为对于变换系数执行预测的结果而被产生。

图29是示出根据本发明实施例的执行频率逆变换的设备2700的框图。图29的设备2700可被用于图5的设备500的频率逆变换器540。

参照图29，设备2700包括变换系数恢复器2710、变换系数预测器2720和加法器2730。

变换系数恢复器2710从比特流恢复关于通过将第一残差块(其中，第一残差块为当前块与预测块之差)变换到频域而获得的变换块的变换系数中的将被预测的变换系数的预测因子之间的差的信息和关于除预测的变换系数之外的剩余变换系数的信息。例如，如图18所示地恢复，关于预测因子与实际变换系数之差的信息和关于除预测的变换系数之外的剩余变换系数的信息。

在应用于当前变换块的变换系数预测模式中，变换系数预测器2720通过(如图14的变换系数预测器1220一样地)将变换块的具有低频分量的变换系数替换为预定值并对包括替换为预定值的变换系数的变换块进行逆变换，来产生第二残差块，并通过使用第二残差块的值来产生具有低频分量的变换系数的预测因子。

加法器2730通过添加预测因子与变换系数之差来恢复具有低频分量的变换系数。

图30是示出根据本发明实施例的对图像进行解码的方法的流程图。

参照图30，在操作2810中，恢复预测因子与通过将第一残差块(其中，第一残差块为当前块与预测块之差)变换到频域而获得的变换块的变换系数中的具有低频分量的至少一个变换系数之差以及除具有低频分量的变换系数之外的变换块的剩余变换系数。

在操作2820，通过将变换块的变换系数替换为预定值并对包括替换为预定值的变换系数的变换块进行逆变换，来产生第二残差块。

在操作2830，通过使用第二残差块的值来产生变换系数的预测因子。

在操作2840，通过添加与预测因子值的差来恢复变换系数。

根据本发明，由于通过在频域中的变换系数的预测来减少具有低频分量和具有相对大值的变换系数的数据量，所以可提高图像压缩效率。

本发明还可被实现为计算机可读记录介质上的计算机可读代码。所述计算机可读记录介质可以是能够存储计算机***读取的数据的任何记录设备。计算机可读记录介质的示例包括只读存储器(ROM)、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光学数据存储装置。计算机可读记录介质还可分布在网络连接的计算机***上，并且本发明可被存储和实现在分布式***中的计算机可读代码。

尽管已经参照本发明的优选实施例具体显示和描述了本发明，但是本领域的普通技术人员应该理解，在不脱离由权利要求限定的本发明的精神和范围的情况下，可进行形式和细节上的各种改变。优选实施例只应该被认为是描述的意义而不作为限制的目的。因此，本发明的范围不是由本发明的详细描述限定，而是由权利要求限定，并且在该范围内的所有区别都应该被解释为被包括在本发明中。

Claims (33)

1.一种对图像进行编码的方法，所述方法包括如下步骤：

通过将作为将被编码的当前块与预测块之差的第一残差块变换到频域，来产生第一变换块；

通过对第二变换块进行逆变换，来产生第二残差块，其中，通过将第一变换块的变换系数中的第一区域的变换系数替换为预定值而获得所述第二变换块；

通过使用第二残差块，来产生第一区域的变换系数的预测因子；以及

通过使用预测因子和第一区域的变换系数来产生预测第一区域以及产生包括预测第一区域和第一变换块的除第一区域之外的第二区域的原始变换系数的第三变换块，来对输入图像进行编码。

2.根据权利要求1所述的方法，其中，预定值为0。

3.根据权利要求1所述的方法，其中，通过使用预测因子与第一区域的变换系数之差来产生预测第一区域。

4.根据权利要求1所述的方法，其中，以用于产生所述预测块的帧内模式确定第一区域的变换系数。

5.根据权利要求1所述的方法，其中，产生预测因子的步骤包括：通过使用用于产生预测块的预测模式、第二残差块和相邻块中的至少一个，来产生预测因子。

6.根据权利要求1所述的方法，其中，当通过以直流DC模式的帧内预测产生预测块时，DC系数被选择作为第一区域的变换系数，

其中，产生变换系数的预测因子的步骤包括：通过使用第二残差块的最上边的行和最左边的列的值来产生DC系数的预测因子。

7.根据权利要求6所述的方法，其中，产生第一区域的变换系数的预测因子的步骤包括：

当当前块、预测块、变换块、第一残差块和第二残差块中的每一个的大小为N×M，第二残差块的位于(x,y)处的残差值为f(x,y)，变换块的位于(n,m)处的变换系数的预测因子为fdp_nm时，

如以下等式所示地产生DC系数的预测因子fdp₀₀，

${\mathrm{fdp}}_{00}=\underset{x=0}{\overset{N-1}{\mathrm{\Σ}}}f(x,0)+\underset{y=0}{\overset{M-1}{\mathrm{\Σ}}}f(0,y),$

其中，N和M为整数，且0≤x≤N-1,0≤y≤M-1。

8.根据权利要求1所述的方法，其中，当通过以垂直模式的帧内预测产生预测块时，最上边的行的变换系数中的预定数量的变换系数被选择作为第一区域的变换系数，

其中，产生变换系数的预测因子的步骤包括：通过使用第二残差块的最上边的行的值来产生最上边的行的变换系数中的所选择的变换系数的预测因子。

9.根据权利要求8所述的方法，其中，产生变换系数的预测因子的步骤包括：

当当前块、预测块、变换块、第一残差块和第二残差块中的每一个的大小为N×M，第二残差块的位于(x,y)处的残差值为f(x,y)，变换块的位于(n,m)处的变换系数的预测因子为fdp_nm并且离散余弦变换的基本分量函数basis_element_nm是basis_element_nm＝cos(n_xx)cos(m_yy)时，

如以下等式所示地产生DC系数的预测因子fdp₀₀， ${\mathrm{fdp}}_{00}=\underset{x=0}{\overset{N-1}{\mathrm{\Σ}}}f(x,0),$ 以及

如以下等式所示地产生最上边的行的变换系数的预测因子值fdp_n0，

${\mathrm{fdp}}_{n0}=\underset{x=0}{\overset{N-1}{\mathrm{\Σ}}}f(x,0)*\mathrm{basis}\_\mathrm{elemen}{t}_{n0}(x,0),$

其中，N和M为整数，且0≤x≤N-1,0≤y≤M-1。

10.根据权利要求1所述的方法，其中，通过以水平模式的帧内预测产生预测块时，最左边的列的变换系数中的预定数量的变换系数被选择作为第一区域的变换系数，

其中，产生变换系数的预测因子的步骤包括：通过使用第二残差块的最左边的列的值来产生最左边的列的变换系数中的所选择的变换系数的预测因子。

11.根据权利要求10所述的方法，其中，产生变换系数的预测因子的步骤包括：

当当前块、预测块、变换块、第一残差块和第二残差块中的每一个的大小为N×M，第二残差块的位于(x,y)处的残差值为f(x,y)，变换块的位于(n,m)处的变换系数的预测因子为fdp_nm并且离散余弦变换的基本分量函数basis_element_nm是basis_element_nm＝cos(n_xx)cos(m_yy)时，

如以下等式所示地产生DC系数的预测因子fdp₀₀， ${\mathrm{fdp}}_{00}=\underset{y=0}{\overset{M-1}{\mathrm{\Σ}}}f(0,y),$ 以及

如以下等式所示地产生最左边的列的变换系数的预测因子值fdp_0m，

${\mathrm{fdp}}_{0m}=\underset{y=0}{\overset{M-1}{\mathrm{\Σ}}}f(0,y)*\mathrm{basis}\_\mathrm{elemen}{t}_{0m}(0,y),$

其中，N和M为整数，且0≤x≤N-1,0≤y≤M-1。

12.根据权利要求1所述的方法，其中，第一区域的变换系数包括：最上边的行的变换系数和最左边的列的变换系数，

其中，产生将被预测的变换系数的预测因子的步骤包括：使用第二残差块的值和预测块的值来产生将被预测的变换系数中的具有最大高频分量的第一变换系数的预测因子值。

13.根据权利要求12所述的方法，其中，产生第一变换系数的预测因子值的步骤包括：

当当前块、预测块、变换块、第一残差块和第二残差块中的每一个的大小为N×M，第二残差块的位于(x,y)处的残差值为f(x,y)，变换块的位于(n,m)处的变换系数的预测因子为fdp_nm，离散余弦变换的基本分量函数basis_element_nm是basis_element_nm＝cos(n_xx)cos(m_yy)，预测块的位于(x,y)处的值为pred(x,y)，当前块之前恢复的相邻块的值为rec(x,-1)和rec(-1,y)并且第一变换系数为最上边的行和最左边的列的位于(0,L)和(L,0)处的变换系数时，这里，N和M为整数，0≤x≤N-1,0≤y≤M-1且L为等于或大于2的整数，

使用 ${\mathrm{\σ}}_{00}=\underset{x=0}{\overset{N-1}{\mathrm{\Σ}}}(f(x,0)+\mathrm{pred}(x,0)-\mathrm{rec}(x,-1))+\underset{y=0}{\overset{M-1}{\mathrm{\Σ}}}(f(0,y)+\mathrm{pred}(0,y)-\mathrm{rec}(-1,y)),$

${\mathrm{\σ}}_{0a}=\underset{y=0}{\overset{M-1}{\mathrm{\Σ}}}(f(0,y)+\mathrm{pred}(0,y)-\mathrm{rec}(-1,y))\mathrm{basis}\_\mathrm{elemen}{t}_{0a}(0,y)$ 和

${\mathrm{\σ}}_{b0}=\underset{x=0}{\overset{N-1}{\mathrm{\Σ}}}(f(x,0)+\mathrm{pred}(x,0)-\mathrm{rec}(x,-1))\mathrm{basis}\_\mathrm{elemen}{t}_{b0}(x,0)$ 来计算参数σ₀₀、σ_0a和σ_b0，其中，a为1至L的整数，b为1至L的整数，

通过使用参数σ₀₀、σ_0a和σ_b0来产生第一变换系数的预测因子值fdp_L0和fdp_0L。

14.根据权利要求12所述的方法，还包括：

通过将变换块的第一区域的变换系数中的具有小于第一变换系数的频率分量的频率分量的变换系数替换为预定值并对替换的变换块进行逆变换，来产生第三残差块；

通过使用第三残差块的值和预测块的值，来产生在具有小于第一变换系数的频率分量的频率分量的变换系数中的具有最大频率分量的第二变换系数的预测因子值；以及

对第一变换系数的预测因子值与第二变换系数的预测因子值之差进行编码。

15.根据权利要求14所述的方法，其中，产生第二变换系数的变换因子值的步骤包括：

当当前块、预测块、变换块、第一残差块和第二残差块中的每一个的大小为N×M，第二残差块的位于(x,y)处的残差值为f(x,y)，变换块的位于(n,m)处的变换系数的预测因子为fdp_nm，离散余弦变换的基本分量函数basis_element_nm是basis_element_nm＝cos(n_xx)cos(m_yy)，预测块的位于(x,y)处的值为pred(x,y)，当前块之前恢复的相邻块的值为rec(x,-1)和rec(-1,y)，第一变换系数为最上边的行和最左边的列的位于(0,L)和(L,0)处的变换系数并且第二变换系数是最上边的行和最左边的列的位于(0,L-1)和(L-1,0)处的变换系数时，这里，N和M为整数，0≤x≤N-1,0≤y≤M-1且L为等于或大于2的整数，

通过使用 ${\mathrm{\σ}}_{00}=\underset{x=0}{\overset{N-1}{\mathrm{\Σ}}}(f(x,0)+\mathrm{pred}(x,0)-\mathrm{rec}(x,-1))+\underset{y=0}{\overset{M-1}{\mathrm{\Σ}}}(f(0,y)+\mathrm{pred}(0,y)-\mathrm{rec}(-1,y)),$

${\mathrm{\σ}}_{0a}=\underset{y=0}{\overset{M-1}{\mathrm{\Σ}}}(f(0,y)+\mathrm{pred}(0,y)-\mathrm{rec}(-1,y))\mathrm{basis}\_\mathrm{elemen}{t}_{0a}(0,y)$ 和

${\mathrm{\σ}}_{b0}=\underset{x=0}{\overset{N-1}{\mathrm{\Σ}}}(f(x,0)+\mathrm{pred}(x,0)-\mathrm{rec}(x,-1))\mathrm{basis}\_\mathrm{elemen}{t}_{b0}(x,0)$ 来计算参数σ₀₀、σ_0a和σ_b0，其中，a是1至L-1的整数，b是1至L-1的整数；

通过使用参数σ₀₀、σ_0a和σ_b0来产生第二变换系数的预测因子值fdp_L-1,0和fdp_0,L-1。

16.一种对图像进行解码的方法，所述方法包括：

恢复除第一区域的变换系数之外的第二区域的原始变换系数和变换块的变换系数中的第一区域的变换系数与第一区域的变换系数的预测因子之差，其中，通过将作为当前块与预测块之差的第一残差块变换到频域而获得所述变换块；

将第一区域的变换系数替换为预定值，并通过使用包括第二区域的原始变换系数和第一区域的替换的变换系数的替换的变换块来产生第二残差块；

通过使用第二残差块来产生第一区域的变换系数的预测因子；以及

通过将所述差与第一区域的变换系数的预测因子相加，来恢复第一区域的变换系数。

17.根据权利要求16所述的方法，其中，预定值为0。

18.根据权利要求16所述的方法，其中，产生第二残差块的步骤包括：通过对替换的变换块进行逆变换来产生第二残差块。

19.根据权利要求16所述的方法，其中，以用于产生预测块的帧内模式确定将被预测的变换系数。

20.根据权利要求16所述的方法，其中，产生预测因子的步骤包括：通过使用用于产生预测块的预测模式、第二残差块和相邻像素中的至少一个来产生预测因子。

21.根据权利要求16所述的方法，其中，当通过以直流DC模式的帧内预测产生预测块时，DC系数被选择作为第一区域的变换系数，

其中，产生第一区域的变换系数的预测因子的步骤包括：通过使用第二残差块的最上边的行和最左边的列的值来产生DC系数的预测因子。

22.根据权利要求21所述的方法，其中，产生第一区域的变换系数的预测因子的步骤包括：

当当前块、预测块、变换块、第一残差块和第二残差块中的每一个的大小为N×M，第二残差块的位于(x,y)处的残差值为f(x,y)，变换块的位于(n,m)处的变换系数的预测因子为fdp_nm时，

如以下等式所示地产生DC系数的预测因子fdp₀₀，

${\mathrm{fdp}}_{00}=\underset{x=0}{\overset{N-1}{\mathrm{\Σ}}}f(x,0)+\underset{y=0}{\overset{M-1}{\mathrm{\Σ}}}f(0,y),$

其中，N和M为整数，且0≤x≤N-1,0≤y≤M-1。

23.根据权利要求16所述的方法，其中，当通过以垂直模式的帧内预测产生预测块时，最上边的行的变换系数中的预定数量的变换系数被选择作为第一区域的变换系数，

其中，产生变换系数的预测因子的步骤包括：通过使用第二残差块的最上边的行的值来产生最上边的行的变换系数中的所选择的变换系数的预测因子。

24.根据权利要求23所述的方法，其中，产生变换系数的预测因子的步骤包括：

当当前块、预测块、变换块、第一残差块和第二残差块中的每一个的大小为N×M，第二残差块的位于(x,y)处的残差值为f(x,y)，变换块的位于(n,m)处的变换系数的预测因子为fdp_nm并且离散余弦变换的基本分量函数basis_element_nm是basis_element_nm＝cos(n_xx)cos(m_yy)时，

如以下等式所示地产生DC系数的预测因子fdp₀₀， ${\mathrm{fdp}}_{00}=\underset{x=0}{\overset{N-1}{\mathrm{\Σ}}}f(x,0),$ 以及

如以下等式所示地产生最上边的行的变换系数的预测因子值fdp_n0，

${\mathrm{fdp}}_{n0}=\underset{x=0}{\overset{N-1}{\mathrm{\Σ}}}f(x,0)*\mathrm{basis}\_\mathrm{elemen}{t}_{n0}(x,0),$

其中，N和M为整数，且0≤x≤N-1,0≤y≤M-1。

25.根据权利要求16所述的方法，其中，当通过以水平模式的帧内预测产生预测块时，最左边的列的变换系数中的预定数量的变换系数被选择作为第一区域的变换系数，

其中，产生变换系数的预测因子的步骤包括：通过使用第二残差块的最左边的列的值来产生最左边的列的变换系数中的所选择的变换系数的预测因子。

26.根据权利要求25所述的方法，其中，产生变换系数的预测因子的步骤包括：

当当前块、预测块、变换块、第一残差块和第二残差块中的每一个的大小为N×M，第二残差块的位于(x,y)处的残差值为f(x,y)，变换块的位于(n,m)处的变换系数的预测因子为fdp_nm并且离散余弦变换的基本分量函数basis_element_nm是basis_element_nm＝cos(n_xx)cos(m_yy)时，

如以下等式所示地产生DC系数的预测因子fdp₀₀， ${\mathrm{fdp}}_{00}=\underset{y=0}{\overset{M-1}{\mathrm{\Σ}}}f(0,y),$ 以及

如以下等式所示地产生最左边的列的变换系数的预测因子值fdp_0m，

${\mathrm{fdp}}_{0m}=\underset{y=0}{\overset{M-1}{\mathrm{\Σ}}}f(0,y)*\mathrm{basis}\_\mathrm{elemen}{t}_{0m}(0,y),$

其中，N和M为整数，且0≤x≤N-1,0≤y≤M-1。

27.根据权利要求16所述的方法，其中，第一区域的变换系数包括：最上边的行的变换系数和最左边的列的变换系数，

其中，产生将被预测的变换系数的预测因子的步骤包括：使用第二残差块的值和预测块的值来产生将被预测的变换系数中的具有最大高频分量的第一变换系数的预测因子值。

28.根据权利要求27所述的方法，其中，产生第一变换系数的预测因子值的步骤包括：

当当前块、预测块、变换块、第一残差块和第二残差块中的每一个的大小为N×M，第二残差块的位于(x,y)处的残差值为f(x,y)，变换块的位于(n,m)处的变换系数的预测因子为fdp_nm，离散余弦变换的基本分量函数basis_element_nm是basis_element_nm＝cos(n_xx)cos(m_yy)，预测块的位于(x,y)处的值为pred(x,y)，当前块之前恢复的相邻块的值为rec(x,-1)和rec(-1,y)并且第一变换系数为最上边的行和最左边的列的位于(0,L)和(L,0)处的变换系数时，这里，N和M为整数，0≤x≤N-1,0≤y≤M-1且L为等于或大于2的整数，

使用 ${\mathrm{\σ}}_{00}=\underset{x=0}{\overset{N-1}{\mathrm{\Σ}}}(f(x,0)+\mathrm{pred}(x,0)-\mathrm{rec}(x,-1))+\underset{y=0}{\overset{M-1}{\mathrm{\Σ}}}(f(0,y)+\mathrm{pred}(0,y)-\mathrm{rec}(-1,y)),$

${\mathrm{\σ}}_{0a}=\underset{y=0}{\overset{M-1}{\mathrm{\Σ}}}(f(0,y)+\mathrm{pred}(0,y)-\mathrm{rec}(-1,y))\mathrm{basis}\_\mathrm{elemen}{t}_{0a}(0,y)$ 和

${\mathrm{\σ}}_{b0}=\underset{x=0}{\overset{N-1}{\mathrm{\Σ}}}(f(x,0)+\mathrm{pred}(x,0)-\mathrm{rec}(x,-1))\mathrm{basis}\_\mathrm{elemen}{t}_{b0}(x,0)$ 来计算参数σ₀₀、σ_0a和σ_b0，其中，a为1至L的整数，b为1至L的整数，

通过使用参数σ₀₀、σ_0a和σ_b0来产生第一变换系数的预测因子值fdp_L0和fdp_0L。

29.根据权利要求27所述的方法，还包括步骤：

通过将第一区域的变换系数中的具有小于第一变换系数的频率分量的频率分量的变换系数替换为预定值并对替换的变换块进行逆变换，来产生第三残差块；

通过使用第三残差块的值和预测块的值，来产生在具有小于第一变换系数的频率分量的频率分量的变换系数中的具有最大频率分量的第二变换系数的预测因子值；以及

通过对第一变换系数的预测因子值和第二变换系数的预测因子值与所述差相加，来恢复第一变换系数和第二变换系数。

30.根据权利要求29所述的方法，其中，产生第二变换系数的预测因子值的步骤包括：

当当前块、预测块、变换块、第一残差块和第二残差块中的每一个的大小为N×M，第二残差块的位于(x,y)处的残差值为f(x,y)，变换块的位于(n,m)处的变换系数的预测因子为fdp_nm，离散余弦变换的基本分量函数basis_element_nm是basis_element_nm＝cos(n_xx)cos(m_yy)，预测块的位于(x,y)处的值为pred(x,y)，当前块之前恢复的相邻块的值为rec(x,-1)和rec(-1,y)，第一变换系数为最上边的行和最左边的列的位于(0,L)和(L,0)处的变换系数并且第二变换系数是最上边的行和最左边的列的位于(0,L-1)和(L-1,0)处的变换系数时，这里，N和M为整数，0≤x≤N-1,0≤y≤M-1且L为等于或大于2的整数，

通过使用 ${\mathrm{\σ}}_{00}=\underset{x=0}{\overset{N-1}{\mathrm{\Σ}}}(f(x,0)+\mathrm{pred}(x,0)-\mathrm{rec}(x,-1))+\underset{y=0}{\overset{M-1}{\mathrm{\Σ}}}(f(0,y)+\mathrm{pred}(0,y)-\mathrm{rec}(-1,y)),$

${\mathrm{\σ}}_{0a}=\underset{y=0}{\overset{M-1}{\mathrm{\Σ}}}(f(0,y)+\mathrm{pred}(0,y)-\mathrm{rec}(-1,y))\mathrm{basis}\_\mathrm{elemen}{t}_{0a}(0,y)$ 和

${\mathrm{\σ}}_{b0}=\underset{x=0}{\overset{N-1}{\mathrm{\Σ}}}(f(x,0)+\mathrm{pred}(x,0)-\mathrm{rec}(x,-1))\mathrm{basis}\_\mathrm{elemen}{t}_{b0}(x,0)$ 来计算参数σ₀₀、σ_0a和σ_b0，其中，a是1至L-1的整数，b是1至L-1的整数；

通过使用参数σ₀₀、σ_0a和σ_b0来产生第二变换系数的预测因子值fdp_L-1,0和fdp_0,L-1。

31.一种对图像进行编码的设备，所述设备包括：

变换器，通过将作为将被编码的当前块与预测块之差的第一残差块变换到频域，来产生变换块；

变换系数预测器，将变换块的变换系数中的第一区域的变换系数替换为预定值，通过使用包括除第一区域之外的第二区域的原始变换系数和第一区域的替换的变换系数的替换的变换块来产生第二残差块，以及使用第二残差块来产生第一区域的变换系数的预测因子；

减法器，计算第一区域的变换系数与第一区域的变换系数的预测因子之差；以及

编码器，对包括第二区域的原始变换系数和所述差的变换块进行编码。

32.一种对图像进行解码的设备，所述设备包括：

变换系数信息恢复器，恢复除第一区域的变换系数之外的第二区域的原始变换系数和通过对作为当前块与预测块之差的第一残差块变换到频域而获得的变换块的变换系数中的第一区域的变换系数与第一区域的变换系数的预测因子之差；

变换系数预测器，将第一区域的变换系数替换为预定值，并通过使用包括第二区域的原始变换系数和第一区域的替换的变换系数的替换变换块来产生第二残差块，以及通过使用第二残差块来产生第一区域的变换系数的预测因子；以及

加法器，通过将所述差与预测因子值相加，来恢复将被预测的变换系数。

33.一种对图像进行解码的方法，所述方法包括如下步骤：

接收关于预测区域的信息和关于第一变换块的信息，其中，所述第一变换块包括所述预测区域并被频率变换；

通过将基于关于所述预测区域的信息的第一变换块的所述预测区域的变换系数替换为预定值来产生第二变换块；

通过对第二变换块进行逆变换来产生残差块；

通过使用残差块来产生所述预测区域的变换系数的预测因子；以及

通过将所述预测因子与第一变换块的所述预测区域相加，来恢复第二变换块。