CN107005707A - 用于对图像进行编码或解码的方法和装置 - Google Patents

Abstract

根据实施方式可提供一种对图像进行编码的方法，该方法包括：确定图像中包括的至少一个压缩单元；确定变更当前压缩单元中包括的多个样本的方案；基于所确定的压缩单元和所确定的方案变更当前压缩单元中的多个样本；将包括变更后的多个样本的图像的最大编码单元中的一个最大编码单元分割成至少一个编码单元；通过使用从编码单元中确定的至少一个预测单元来执行预测；以及通过使用从编码单元中确定的至少一个变换单元来执行变换，从而对编码单元进行编码，其中，对编码单元进行编码包括生成包括第一信息的比特流，第一信息表明所确定的方案。

Description

用于对图像进行编码或解码的方法和装置

技术领域

本公开涉及用于通过处理图像随后压缩处理后的图像来高效地压缩图像的方法和设备。

背景技术

图像数据经由编解码器根据预定数据压缩标准进行编码，例如，运动图像专家组(MPEG)标准，随后以比特流的形式存储在记录介质中或者通过通信信道传输到记录介质。

随着开发和供应用于播放和存储高分辨率或高质量图像内容的硬件，针对用于将高分辨率或高质量图像内容高效编码或解码的编解码器的需求逐渐增长。编码的图像内容可以通过解码而播放。近来，正在实施用于高效压缩此类高分辨率或高质量图像内容的方法。例如，通过处理将采用任意方法进行编码的图像的过程来执行高效图像压缩方法。

发明内容

技术问题

作为有效压缩高分辨率或高质量图像的方法，可存在许多种更改或处理原始图像的方法。相应地，由于各种处理方法之中的针对将被压缩的图像的一部分进行最大程度优化的方法可以不同于针对其他部分进行优化的方法，因此，如果在对更改或处理后的图像进行编码之后，解码设备无法识别在对应的压缩单元中优化方法，那么解码的效率可能很低并且解码设备的性能可能下降。

技术方案

根据实施方式的一方面，对图像进行编码的方法包括：确定图像中包括的至少一个压缩单元；确定变更当前压缩单元中包括的多个样本的方案；基于所确定的至少一个压缩单元和所确定的方案来变更当前压缩单元的多个样本；将包括变更后的多个样本的图像的最大编码单元中的一个最大编码单元分割成至少一个编码单元；通过使用从至少一个编码单元中确定的至少一个预测单元来执行预测；以及通过使用从至少一个编码单元中确定的至少一个变换单元来执行变换，从而对至少一个编码单元进行编码，其中，编码包括生成包括第一信息的比特流，该第一信息表明所确定的方案。

根据另一实施方式的一方面，对图像进行解码的方法包括：将图像的最大编码单元中的一个最大编码单元分割成至少一个编码单元；基于从至少一个编码单元中确定的至少一个预测单元来执行预测；基于从编码单元中确定的至少一个变换单元对图像执行逆变换；确定基于预测和逆变换而重建的图像中包括的至少一个压缩单元；从比特流中获取第一信息，该第一信息表明变更当前压缩单元中包括的多个样本的方案；基于所获取的第一信息来确定对多个样本进行变更的方案；以及基于所确定的至少一个压缩单元和所确定的方案来变更当前压缩单元的多个样本。

根据另一实施方式的一方面，对图像进行编码的设备包括：编码器，其配置成确定图像中包括的至少一个压缩单元、确定变更当前压缩单元中包括的多个样本的方案、基于所确定的至少一个压缩单元和所确定的方案来变更当前压缩单元的多个样本、将包括变更后的多个样本的图像的最大编码单元中的一个最大编码单元分割成至少一个编码单元、通过使用从至少一个编码单元中确定的至少一个预测单元来执行预测、以及通过使用从至少一个编码单元中确定的至少一个变换单元来执行变换，从而对至少一个编码单元进行编码；以及比特流生成器，其配置成生成包括第一信息的比特流，该第一信息表明所确定的方案。

根据另一实施方式的一方面，对图像进行解码的设备包括：信息获取器，其配置成从比特流中获取第一信息，该第一信息表明变更当前压缩单元中包括的多个样本的方案；以及解码器，其配置成基于与图像的编码单元的最大尺寸有关的信息来将图像的最大编码单元中的一个最大编码单元分割成至少一个编码单元、基于从至少一个编码单元中确定的至少一个预测单元来执行预测、基于从编码单元中确定的至少一个变换单元对图像执行逆变换、确定基于预测和逆变换而重建的图像中包括的至少一个压缩单元、基于所获取的第一信息来确定对多个样本进行变更的方案、基于所确定的至少一个压缩单元和所确定的方案来变更当前压缩单元的多个样本，以及基于变更的结果和至少一个预测单元来执行预测。

根据另一实施方式的一方面，非暂时性计算机可读记录介质上记录有程序，该程序在被计算机执行时实施对图像进行编码的方法。

根据另一实施方式的一方面，非暂时性计算机可读记录介质上记录有程序，该程序在被计算机执行时实施对图像进行解码的方法。

技术效果

根据实施方式，通过基于对图像进行编码或解码的压缩单元对多个样本执行预定变更，可以改善高分辨率图像的压缩效率。

附图说明

图1A是根据实施方式的图像编码设备的框图。

图1B是根据实施方式的图像解码设备的框图。

图2A是根据实施方式的由图像编码设备执行的图像编码方法的流程图。

图2B是根据实施方式的由图像解码设备执行的图像解码方法的流程图。

图3A示出根据实施方式的作为变更当前压缩单元中包括的多个样本的方案的采样方案。

图3B示出包括变更当前压缩单元的多个样本的位置和变更样本的值的过程的变更方案。

图3C示出根据实施方式的作为变更当前压缩单元中包括的多个样本的方案的采样方案的另一示例。

图3D示出根据实施方式的通过对多个样本进行采样来排列当前压缩单元中包括的多个样本和变更样本值的过程。

图4A示出根据实施方式的作为变更当前压缩单元中包括的多个样本的位置的方案的翻转方案的示例。

图4B示出根据实施方式的作为变更当前压缩单元中包括的多个样本的位置的方案的翻转方案的另一示例。

图4C示出根据实施方式的作为变更当前压缩单元中包括的多个样本的位置的方案的旋转方案的示例。

图5A示出根据实施方式的在当前压缩单元的多个样本的位置经过变更以对图像进行解码时，变更与当前压缩单元相邻的压缩单元的样本的过程。

图5B示出根据实施方式的在当前压缩单元的多个样本的位置经过变更以对图像进行解码时，变更与当前压缩单元相邻的压缩单元的样本的另一方案。

图6A示出根据实施方式的变更在执行预测时所参考的样本的过程。

图6B示出根据实施方式的通过使用变更与当前压缩单元相邻的样本的位置的结果来执行预测的过程。

图7是根据实施方式的基于根据树形结构的编码单元的视频编码设备的框图。

图8是根据实施方式的基于根据树形结构的编码单元的视频解码设备的框图。

图9示出根据实施方式的编码单元的概念。

图10示出根据实施方式的基于编码单元的图像编码器的框图。

图11示出根据实施方式的基于编码单元的图像解码器的框图。

图12示出根据实施方式的根据深度的较深编码单元和分区。

图13示出根据实施方式的编码单元与变换单元之间的关系。

图14示出根据实施方式的根据深度的多项编码信息。

图15示出根据实施方式的根据深度的较深编码单元。

图16、图17和图18示出根据实施方式的编码单元、预测单元与变换单元之间的关系。

图19示出根据表1的编码模式信息的编码单元、预测单元与变换单元之间的关系。

图20示出根据实施方式的存储有程序的盘片的物理结构。

图21示出通过使用盘片来记录和读取程序的盘片驱动器。

图22示出用于提供内容分发服务的内容供应***的整体结构。

图23和图24示出根据实施方式的应用了视频编码方法和视频解码方法的移动电话的外部结构和内部结构。

图25示出根据实施方式的采用通信***的数字广播***。

图26示出根据实施方式的使用视频编码设备和视频解码设备的云计算***的网络结构。

实施本发明的最佳方式

根据实施方式的一方面，对图像进行编码的方法包括：确定图像中包括的至少一个压缩单元；确定变更当前压缩单元中包括的多个样本的方案；基于所确定的至少一个压缩单元和所确定的方案来变更当前压缩单元的多个样本；将包括变更后的多个样本的图像的最大编码单元中的一个最大编码单元分割成至少一个编码单元；通过使用从至少一个编码单元中确定的至少一个预测单元来执行预测；以及通过使用从至少一个编码单元中确定的至少一个变换单元来执行变换，从而对至少一个编码单元进行编码，其中，编码包括生成包括第一信息的比特流，该第一信息表明所确定的方案。

变更多个样本可以包括通过使用与所确定的方案对应的方案来变更与当前压缩单元的边界相邻的邻近压缩单元的多个样本或者参考帧的样本。

编码可以包括通过使用邻近压缩单元的变更后的多个样本或者参考帧的变更后的样本对当前压缩单元的多个样本执行预测。

确定方案可以包括基于变更邻近压缩单元的多个样本的方案来确定变更当前压缩单元的多个样本的方案。

生成包括第一信息的比特流可以包括基于包括与可变更方案有关的信息的查询表来生成包括与所确定的方案对应的第一信息的比特流。

该方法还可以包括：生成包括第二信息的比特流，该第二信息表明是否对多个样本进行变更，其中，确定方案可以包括在第二信息表明对多个样本进行变更时确定对多个样本进行变更的方案。

确定方案可以包括基于图像的率失真代价来确定方案。

方案可以包括对当前压缩单元的多个样本进行的采样、翻转、滤波、变换、旋转和变形中的至少一项。

根据另一实施方式的一方面，对图像进行解码的方法包括：将图像的最大编码单元中的一个最大编码单元分割成至少一个编码单元；基于从至少一个编码单元中确定的至少一个预测单元来执行预测；基于从编码单元中确定的至少一个变换单元对图像执行逆变换；确定基于预测和逆变换而重建的图像中包括的至少一个压缩单元；从比特流中获取第一信息，该第一信息表明变更当前压缩单元中包括的多个样本的方案；基于所获取的第一信息来确定对多个样本进行变更的方案；以及基于所确定的至少一个压缩单元和所确定的方案来变更当前压缩单元的多个样本。

变更多个样本还可以包括通过使用与所确定的方案对应的方案来变更与当前压缩单元的边界相邻的邻近压缩单元的多个样本或者参考帧的样本。

执行预测可以包括通过使用邻近压缩单元的变更后的多个样本或者参考帧的变更后的样本对当前压缩单元的多个样本执行预测。

确定方案可以包括基于变更邻近压缩单元的多个样本的方案来确定变更当前压缩单元的多个样本的方案。

确定方案可以包括基于包括第一信息和与可变更方案有关的信息的查询表来确定对多个样本进行变更的方案。

该方法还可以包括从比特流中获取第二信息，该第二信息表明是否对多个样本进行变更，其中，确定方案可以包括在第二信息表明对多个样本进行变更时确定对多个样本进行变更的方案。

方案可以包括对当前压缩单元的多个样本进行的采样、翻转、滤波、变换、旋转和变形中的至少一项。

根据另一实施方式的一方面，对图像进行编码的设备包括：编码器，其配置成确定图像中包括的至少一个压缩单元、确定变更当前压缩单元中包括的多个样本的方案、基于所确定的至少一个压缩单元和所确定的方案来变更当前压缩单元的多个样本、将包括变更后的多个样本的图像的最大编码单元中的一个最大编码单元分割成至少一个编码单元、通过使用从至少一个编码单元中确定的至少一个预测单元来执行预测、以及通过使用从至少一个编码单元中确定的至少一个变换单元来执行变换，从而对至少一个编码单元进行编码；以及比特流生成器，其配置成生成包括第一信息的比特流，该第一信息表明所确定的方案。

根据另一实施方式的一方面，对图像进行解码的设备包括：信息获取器，其配置成从比特流中获取第一信息，该第一信息表明变更当前压缩单元中包括的多个样本的方案；以及解码器，其配置成基于与图像的编码单元的最大尺寸有关的信息来将图像的最大编码单元中的一个最大编码单元分割成至少一个编码单元、基于从至少一个编码单元中确定的至少一个预测单元来执行预测、基于从编码单元中确定的至少一个变换单元对图像执行逆变换、确定基于预测和逆变换而重建的图像中包括的至少一个压缩单元、基于所获取的第一信息来确定对多个样本进行变更的方案、基于所确定的至少一个压缩单元和所确定的方案来变更当前压缩单元的多个样本，以及基于变更的结果和至少一个预测单元来执行预测。

根据另一实施方式的一方面，非暂时性计算机可读记录介质上记录有程序，该程序在被计算机执行时实施对图像进行编码的方法。

根据另一实施方式的一方面，非暂时性计算机可读记录介质上记录有程序，该程序在被计算机执行时实施对图像进行解码的方法。

具体实施方式

在下文中，参考图1A到图6B根据各种实施方式来建议可伸缩视频编码方法或解码方法。另外，参考图7到图19描述适用于上述深度图像解码技术和深度图像编码技术的根据各种实施方式的基于树形结构的编码单元的视频编码技术和视频解码技术。另外，参考图20到图26描述适用于上述视频编码方法和视频解码方法的各种实施方式。

在下文中，“图像”可以指的是静态图像或视频的移动图像，或者视频本身。

在下文中，“样本”指的是分配到图像的采样位置并且将进行处理的数据。例如，空间区域的图像中的像素值或者变换区域上的变换系数可以是样本。

在下文中，“压缩单元”可以是用于通过任意过程对经由图像编码或解码过程处理的图像执行图像变更的单元。压缩单元可以是在现有编码或解码处理中使用的处理单元(例如，与序列、帧、条带、最大编码单元或编码单元对应的单元)，但不限于此，并且可以与不同于处理单元的单独单元对应。

图1A是根据实施方式的图像编码设备10的框图。图像编码设备10可以包括比特流生成器11和编码器12，它们是用于对图像进行编码的部件。下文将通过各种实施方式来描述与由比特流生成器11和编码器12在图像编码设备10中执行的图像编码方法有关的具体细节。

图2A是根据实施方式的由图像编码设备10执行的图像编码方法的流程图。

在操作S210中，图像编码设备10可以确定将被编码的图像中包括的至少一个压缩单元。根据实施方式，图像编码设备10可以基于压缩单元在将被编码的图像上预先执行任意处理过程。图像编码设备10可以将预定的任意单元确定为压缩单元，或者可以根据将被处理的图像的特征来自适应地确定压缩单元。在下文中，为便于描述，将基于具有某一尺寸的压缩单元来描述一个或多个实施方式，但不限于此。

可以由根据实施方式的图像编码设备10确定的压缩单元可以变更。例如，可以将可在图像编码过程期间使用的各种单元提供为压缩单元。下文所述的各种实施方式是基于下列前提描述的：压缩单元的尺寸与编码单元的尺寸相同。

在操作S211中，图像编码设备10可以确定变更当前压缩单元中包括的多个样本的方案。

根据实施方式，图像编码设备10的编码器12可以变更作为在操作S210中确定的至少一个压缩单元中的一个压缩单元的当前压缩单元中包括的多个样本，从而在之后的图像编码过程期间使用变更后的样本。通过在编码过程期间使用经由此任意方案变更的样本，可以改善图像编码设备10的编码效率。

由图像编码设备10的编码器12变更多个样本的方案可以有各种。在下文中，将描述各种实施方式中的一些实施方式，但本公开可以不由此类变更方案限制性地解释。

根据实施方式，图像编码设备10的比特流生成器11可以生成比特流，该比特流包括与在操作S211中确定的变更方案有关的信息。与变更方案有关的信息可以对应于标记或索引的格式，并且可以根据各种压缩单元(包括序列、帧、条带、条带片段、最大编码单元、编码单元和变换单元)进行传输。

根据实施方式，在确定当前压缩单元的变更方案时，图像编码设备10的编码器12可以通过使用与当前压缩单元相邻的另一压缩单元相关的变更方案来确定当前压缩单元的变更方案。例如，可以通过使用与当前压缩单元相邻的其他压缩单元相关的变更方案有关的信息来确定当前压缩单元的变更方案。

在操作S212中，根据实施方式，图像编码设备10可以基于所确定的压缩单元和在操作S211中确定的方案来变更当前压缩单元的多个样本。

图3A示出根据实施方式的作为变更当前压缩单元中包括的多个样本的方案的采样方案。此处，可以将采样方案定义为下列方案：重新排列压缩单元中包括的多个样本的位置，使得一起处理根据实施方式的压缩单元中包括的多个样本之中的基于行或列的第奇数个样本或第偶数个样本。

根据实施方式，编码器12可以确定各种变更方案之中的根据压缩单元优化的编码效率的变更方案。例如，图像编码设备10可以通过关于当前压缩单元检查率失真代价来确定具有优良效率的方案。

参考图3A，图像编码设备10的编码器12可以确定图像中包括的至少一个压缩单元，并且将至少一个压缩单元中的一个压缩单元确定为当前压缩单元30a。根据实施方式，所确定的当前压缩单元30a可以对应于在编码过程期间由图像编码设备10使用的编码单元，但压缩单元可不因此而被限制性地解释。

根据实施方式，编码器12可以将当前压缩单元30a的多个样本分类成奇数列中的样本31a和31b以及偶数列中的样本32a和32b，以经由样本方案来变更当前压缩单元30a的样本。例如，通过经由将当前压缩单元30a的奇数列中的样本31a和31b的位置排列在当前压缩单元的左列并且将当前压缩单元30a的偶数列中的样本32a和32b的位置排列在当前压缩单元的右列的方案来变更当前压缩单元30a，编码器12可以确定变更后的压缩单元30e的多个样本。因此，当前压缩单元30a中包括的多个样本可以分成将分别设在当前压缩单元30a的左侧和右侧的曾经在奇数列中的样本31c和曾经在偶数列中的样本32c。

图3B示出包括变更当前压缩单元30b的多个样本的位置和变更样本的值的过程的变更方案。根据实施方式，编码器12可以基于当前压缩单元30b的变更方案，不仅通过变更当前压缩单元30b中包括的多个样本的位置而且通过变更和重新排列样本的值来确定变更后的压缩单元30f。参考图3B，编码器12可以通过使用将当前压缩单元30b的多个样本分类成奇数列中的样本33a和33b以及偶数列中的样本34a和34b的采样方案来变更当前压缩单元30b的样本。此外，编码器12可以通过使用奇数列中的样本33a和33b的值来确定当前压缩单元30b的偶数列中的样本34a和34b的值。例如，变更之前的当前压缩单元30b中包括的样本之中的第一样本33c和第三样本33d可以是变更之前的当前压缩单元30b的多个样本之中的位于奇数列的第一列和第三列中的样本。位于同一行的样本之中的曾经在偶数列的第二样本34c的值可以通过使用第一样本33c和第三样本33d的值进行确定。例如，第二样本34c的值可以对应于第一样本33c和第三样本33d的值的平均值。

此外，编码器12也可以通过使用第一样本33c和第三样本33d的值来确定位于同一行的样本之中的曾经在偶数列的第四样本34d的值。或者，可以通过使用基于第一样本33c和第三样本33d的值确定的第二样本34c的值来确定第四样本34d的值。例如，编码器12可以通过用算术方法计算第二样本34c的值来确定第四样本34d的值。

图3C示出根据实施方式的作为变更当前压缩单元30c中包括的多个样本的方案的采样方案的另一示例。

参考图3C，编码器12可以使用通过将当前压缩单元30c的多个样本分类成奇数行中的样本35a和35b以及偶数行中的样本36a和36b的采样方案来变更当前压缩单元30c的样本而确定变更后的压缩单元30g。此外，编码器12可以通过使用奇数行中的样本35a和35b的值来确定当前压缩单元30c的偶数行中的样本36a和36b的值。例如，变更之前的当前压缩单元30c中包括的样本之中的第一样本35c和第九样本35d可以是变更之前的当前压缩单元30b的多个样本之中的分别位于第一行和第三行(即，奇数行)中的样本。位于同一列的样本之中的曾经在偶数行的第五样本36c的值可以通过使用第一样本35c和第九样本35d的值进行确定。例如，第五样本36c的值可以对应于第一样本35c和第九样本35d的值的平均值。此外，编码器12也可以通过使用第一样本35c和第九样本35d的值来确定位于同一行的样本之中的曾经在偶数列的第十三样本36d的值。或者，可以通过使用基于第一样本35c和第九样本35d的值确定的第五样本36c的值来确定第十三样本36d的值。例如，编码器12可以通过用算术方法计算第五样本36c的值来获取第十三样本36d的值。

图3D示出根据实施方式的通过对多个样本进行采样来排列当前压缩单元30d中包括的多个样本和变更样本值的过程。

参考图3D，编码器12可以使用通过将变更之前的当前压缩单元30d的多个样本分类成奇数行中的样本37a和37b以及偶数行中的样本38a和38b的采样方案来变更当前压缩单元30d的样本。此外，编码器12可以使用通过将当前压缩单元30d的多个样本分类成奇数列中的样本37c和37d以及偶数列中的样本38c和38d的采样方案来变更当前压缩单元30d的样本。此外，编码器12可以通过使用奇数行中的样本37a和37b的值来确定当前压缩单元30d的偶数行中的样本38a和38b的值。例如，变更之前的当前压缩单元30d中包括的样本之中的第一样本39a和第九样本39c可以是变更之前的当前压缩单元30d的多个样本之中的分别位于第一行37a和第三行37b(即，奇数行)中的样本。位于同一列的样本之中的曾经在偶数行的第五样本39f的值可以通过使用第一样本39a和第九样本39c的值进行确定。例如，编码器12可以通过将第五样本39f的值确定为第一样本39a和第九样本39c的值的平均值来确定变更后的压缩单元30h。此处，由于此实施方式可以对应于参考图3B描述的实施方式，因此，不提供具体细节。

此外，编码器12可以使用将变更之前的当前压缩单元30d的多个样本分类成奇数列中的样本33a和33b以及偶数列中的样本34a和34b的采样方案来变更当前压缩单元30d的样本。此外，编码器12可以通过使用奇数列中的样本37a和37b的值来确定当前压缩单元30d的偶数列中的样本38a和38b的值。例如，变更之前的当前压缩单元30b中包括的样本之中的第一样本39a和第三样本39b可以是变更之前的当前压缩单元30d的多个样本之中的位于第一列37c和第三列37d(即，奇数列)中的样本。位于同一行的样本之中的曾经在偶数列的第二样本39e的值可以通过使用第一样本39a和第三样本39b的值进行确定。例如，编码器12可以通过将第二样本39e的值确定为第一样本39a和第三样本39b的平均值来确定变更后的压缩单元30h。此处，由于此实施方式可以对应于参考图3C描述的实施方式，因此，不提供具体细节。

根据实施方式，编码器12可以通过使用其他相邻样本来变更变更之前的当前压缩单元30d的偶数行和偶数列中的样本。例如，参考图3D，可以通过基于位于相邻奇数行和相邻奇数列中的样本变更位于第二行38a第二列38c中的第六样本39g来确定变更后的压缩单元30h。具体地，第六样本39g的值可以变更成与下列样本的平均值对应的值：位于第一行第一列中的第一样本39a、位于第一行第三列中的第三样本39b、位于第三行第一列中的第九样本39c以及位于第三行第三列中的第十一样本39d。

根据实施方式，编码器12可以基于样本的变更后的样本值来变更另一样本的样本值。例如，参考图3D，位于变更之前的当前压缩单元30d的第二行38a第四列38d中的第八样本39h的样本值可以基于位于相邻奇数行和相邻奇数列中的样本进行变更。具体地，变更之前的当前压缩单元30d的第八样本39h的样本值可以基于位于第二行38a第二列38c中的第六样本39g的样本值进行变更。例如，可以通过将第八样本39h的值变更成通过用算术方法计算第六样本39g的样本值而变更的值来确定变更后的压缩单元30h。

图4A示出根据实施方式的作为由图像编码设备10变更当前压缩单元40a中包括的多个样本的位置的方案的翻转方案的示例。

参考图4A，编码器12可以变更样本的位置，使得当前压缩单元40a中包括的多个样本的左右发生变更。例如，位于当前压缩单元40a的第一行第一列中的第一样本41a可以由编码器12设置在当前压缩单元40a的第一行第四列中，从而基于将当前压缩单元40a分成两半的线40c而位于相对侧。作为另一示例，位于当前压缩单元40a的第一行第二列中的第二样本41b可以由编码器12设置在当前压缩单元40a的第一行第三列中，从而基于将当前压缩单元40a分成两半的线40c而位于相对侧。因此，编码器12可以水平翻转当前压缩单元40a的多个样本，以获取翻转的压缩单元40b。然而，由于当前实施方式仅仅是用于描述本公开的压缩单元的变更方案的示例，因此，变更压缩单元的多个样本位置的翻转变更方案不应限于上文，并且翻转方向和标准可以变更。

图4B示出根据实施方式的作为由图像编码设备10变更当前压缩单元40d中包括的多个样本的位置的方案的翻转方案的另一示例。

参考图4B，编码器12可以变更样本的位置，使得当前压缩单元40d中包括的多个样本的位置可以在对角线方向上变更。例如，位于当前压缩单元40d的第一行第一列中的第一样本42a可以由编码器12设置在当前压缩单元40d的第四行第四列中，从而基于将当前压缩单元40d分成两半的线40f而位于相对侧。作为另一示例，位于当前压缩单元40d的第一行第二列中的第二样本42b可以由编码器12设置在当前压缩单元40d的第三行第四列中，从而基于将当前压缩单元40d分成两半的线40f而位于相对侧。因此，编码器12可以对角地翻转当前压缩单元40d的多个样本，以获取翻转的压缩单元40e。然而，由于当前实施方式仅仅是用于描述本公开的压缩单元的变更方案的示例，因此，变更压缩单元的多个样本位置的翻转变更方案不应限于上文，并且翻转方向和标准可以变更。因此，作为对角线方向上的翻转变更方法的基础的线的角度或位置可以变更。

图4C示出根据实施方式的作为由图像编码设备10变更当前压缩单元40g中包括的多个样本的位置的方案的旋转方案的示例。

参考图4C，编码器12可以经由在当前压缩单元40g中旋转当前压缩单元40g中包括的多个样本的位置的方案来变更样本的位置。例如，编码器12可以通过在顺时针方向上旋转包括位于当前压缩单元40g的第一行第一列中的第一样本43a在内的多个样本来将第一样本43a的位置变更到当前压缩单元40g的第一行第四列。作为另一示例，编码器12可以通过在顺时针方向上旋转包括位于当前压缩单元40g的第一行第二列的第二样本43b在内的多个样本来将当前压缩单元40g的第二样本43b的位置变更到当前压缩单元40g的第二行第四列。因此，当前压缩单元40g可以变更成压缩单元40h，其中当前压缩单元40g的多个样本由编码器12在顺时针方向上旋转。然而，由于当前实施方式仅仅是用于描述本公开的压缩单元的变更方案的示例，因此，变更压缩单元的多个样本位置的旋转变更方案不应限于上文。换言之，旋转方向可以是顺时针方向或逆时针方向，并且旋转角度也可以变更。

根据实施方式，图像编码设备10可以根据某一方法来变更当前压缩单元中包括的多个样本的样本值。例如，编码器12可以经由诸如滤波、变换和变形等方案来变更当前压缩单元中包括的多个样本。

根据实施方式，用于经由滤波来变更样本值的滤波器的类型可以变更，诸如，低通滤波器和高通滤波器。

根据实施方式，当经由变换方案来变更样本值时，图像编码设备10可以经由根据离散余弦变换(DCT)的各种方案的算法来变更样本值，或者可以根据快速傅里叶变换(FFT)来变更样本值。

当根据实施方式，依据变形方案来变更样本值时，图像编码设备10可以通过变更当前压缩单元中包括的多个样本的样本值来使当前压缩单元中示出的图像失真。例如，图像编码设备10可以经由通过使用与图像相关的参数信息(诸如，作为相机参数信息的焦距或光圈值)来减少或增强将被编码的图像中示出的失真而变更当前压缩单元中包括的多个样本的样本值。图像编码设备10可以变更具有根据某一方法变更的样本值的多个样本的位置。由于变更多个样本的位置的方法可以对应于上文通过附图描述的各种实施方式，因此，不提供具体细节。

在操作S213中，图像编码设备10可以将包括操作S212中变更的多个样本的图像的最大编码单元中的一个最大编码单元分割成至少一个编码单元。图像编码设备10的编码器12确定图像的最大编码单元，并且根据编码单元的分割信息将最大编码单元中的一个最大编码单元分割成至少一个编码单元。例如，编码器12可以将最大编码单元分割成四叉树结构，并且如此分割的最大编码单元可以包括至少一个编码单元。

在操作S214中，图像编码设备10可以基于分区模式信息从编码单元中确定至少一个预测单元，并且通过使用所确定的至少一个预测单元来执行预测。比特流生成器11可以生成比特流，该比特流包括与作为在操作S213中确定的编码单元中包括的预测单元的形式的分区模式有关的信息，此外，编码器12可以基于此分区模式信息来确定与编码单元相关的至少一个预测单元。编码器12可以基于预测单元来执行预测。由于编码器12所执行的预测过程可以由上文或下文所描述的各种实施方式描述，因此，此处不提供具体细节。

在操作S215中，图像编码设备10可以通过基于从编码单元中确定的至少一个变换单元对差分信号执行变换来对当前编码单元进行编码。差分信号可以对应于变更后的图像的原始信号与预测信号之间的差异，并且编码器12可以对差分信号执行变换过程。根据实施方式，编码器12可以通过使用变换单元的分割信息来从编码单元中确定至少一个变换单元，所述分割信息表明是否将与编码单元的深度对应的当前深度的变换单元分割成较深深度的变换单元。编码器12可以从当前编码单元中确定至少一个变换单元，所述至少一个变换单元可以被确定为采用与编码单元对应的形式或者可以通过从编码单元分割进行确定。换言之，编码器12可以根据变换单元的分割信息来确定是否通过分割成多个变换单元而将该变换单元确定为较深深度的变换单元，或者是否将当前编码单元的变换单元确定为与编码单元的形状对应的变换单元(因为该变换单元的深度被确定为当前深度)。

图5A示出根据实施方式的在当前压缩单元的多个样本的位置经过变更以对图像进行解码时，变更与当前压缩单元相邻的压缩单元的样本的过程。

根据实施方式，图像编码设备10的编码器12可以变更当前压缩单元50a中包括的多个样本，并且可以经由与变更当前压缩单元50a的方案对应的方案来变更与当前压缩单元50a相邻的相邻样本50b。参考图5A，图像编码设备10可以经由采样方案来变更当前压缩单元50a中包括的多个样本。与采样方案有关的具体细节可以是与上述各种实施方式有关的具体细节，因此，不提供描述。此处，根据当前压缩单元50a的变更方案一起变更的相邻样本可以是根据实施方式的不变更的样本。

根据实施方式，编码器12可以基于当前压缩单元50a的奇数行51a和51b以及偶数行52a和52b来执行采样。因此，当前压缩单元50a的奇数行51a和51b中包括的样本可以设置在当前压缩单元50a的上部部分，并且偶数行52a和52b中包括的样本可以设置在当前压缩单元50a的下部部分，因此，可以获取变更后的当前压缩单元50c。在这种情况下，编码器12不仅可以变更当前压缩单元50a中包括的多个样本，而且可经由同一方案来变更与当前压缩单元相邻的另一压缩单元的样本。例如，根据作为变更当前压缩单元50a的方案的采样方案，编码器12可以将与当前压缩单元50a的左边界相邻的相邻样本50b之中的、位于当前压缩单元50a的奇数行51a和51b中的第a个样本和第c个样本设置在相邻压缩单元的上部部分。此外，编码器12可以将与当前压缩单元50a的左边界相邻的相邻样本50b之中的、位于当前压缩单元50a的偶数行52a和52b中的第b个样本和第d个样本设置在相邻压缩单元的下部部分。根据变更当前压缩单元50a的方案而变更的相邻样本50d可以在变更后的当前压缩单元50c的多个样本的预测过程期间用作参考样本。下文将通过实施方式来描述与预测过程有关的具体细节。

图5B示出根据实施方式的在当前压缩单元的多个样本的位置经过变更以对图像进行解码时，变更与当前压缩单元相邻的压缩单元的样本的另一方案。参考图5B，图像编码设备10可以经由翻转方案来变更当前压缩单元53a中包括的多个样本。由于与翻转方案有关的具体细节可以是与上述各种实施方式有关的具体细节，因此，不提供描述。此处，根据当前压缩单元53a的变更方案一起变更的相邻样本可以是根据实施方式的不变更的样本。

根据实施方式，编码器12可以使用翻转方案，从而变更当前压缩单元53a中包括的多个样本的排列。编码器12可以根据翻转方案基于基线53e来变更当前压缩单元53a的多个样本的左右位置。因此，位于当前压缩单元53a的第一行第一列中的第一样本54a的位置可以变更到第一行第四列中的位置，并且位于当前压缩单元53a的第一行第三列中的第三样本54b的位置可以变更到当前压缩单元53a的第一行第二列中的位置。此外，编码器12不仅可以变更当前压缩单元53a中包括的多个样本，而且可经由同一方案来变更与当前压缩单元相邻的另一压缩单元的样本。例如，编码器12可以根据当前压缩单元53a的翻转方案来变更与当前压缩单元53a的上边界相邻的相邻样本53b的位置。因此，位于相邻样本53b的第一列中的第a个样本55a的位置可以变更到第四列中的位置，并且位于第三列中的第c个样本55b的位置可以变更到第二列中的位置。根据变更当前压缩单元53a的变更方案而变更的相邻样本53d可以在变更后的当前压缩单元53c的多个样本的预测过程期间用作参考样本。下文将通过实施方式来描述与预测过程有关的具体细节。

图6A示出根据实施方式的变更在编码过程期间当图像编码设备10执行预测时所参考的样本的过程。

根据实施方式，图像编码设备10的编码器12可以确定将在编码单元中执行的预测的类型。例如，可以基于包括表明将在当前编码单元中执行的预测模式的类型的信息在内的预测模式信息来确定将对当前编码单元执行帧内预测或帧间预测还是将通过参考不同层上的图片来执行预测。当编码单元的预测模式被确定为帧内预测模式时，可以基于与帧内预测类型有关的信息来执行帧内预测。例如，与帧内预测类型有关的信息可以包括用于帧内预测的参考样本的位置，或者用于基于确定的参考样本来区分执行帧内预测的方法的句构。此处，可以基于包括预测单元和变换单元在内的编码单元的尺寸来确定预测单元和变换单元的尺寸。此外，根据实施方式的压缩单元可以对应于针对不同过程的单元，该单元不同于编码单元、预测单元和变换单元。然而，为便于描述，假设当前压缩单元的尺寸对应于当前变换单元的尺寸。

根据实施方式的图像编码设备10的编码器12在帧内预测过程期间可以参考与当前变换单元相邻的参考样本。参考图6A，当对与4×4尺寸的样本对应的变换单元执行预测时，编码器12可以将相邻样本确定为在执行预测的过程期间使用的参考样本。当编码器12执行帧内预测时，基于与预测类型有关的信息，编码器12可以确定在预测过程期间参考的样本的位置或者基于确定的参考样本来确定执行预测的方法。例如，与帧内预测类型有关的信息可以表明右对角线方向上的样本是参考样本。然而，将参考右对角线方向上的样本中的哪一个样本由与预测类型有关的信息表明，并且可以根据预测样本和参考样本的角度差而变更。因此，帧内预测方法不应限制性地解释为图6A的预测方法。

根据实施方式，在帧内预测期间，图像编码设备10的编码器12可以根据预测模式通过使用参考样本来确定主阵列62a。参考图6A，编码器12可以通过使用主阵列62a中包括的参考样本来执行预测，并且主阵列62a可以包括与当前变换单元60a相邻的样本。根据帧内预测类型可以确定与当前变换单元相邻的样本之中的、将被包括在主阵列62a中并且在预测过程期间使用的样本。例如，当帧内预测方向对应于当前变换单元60a中的竖直方向或右上方向时，当前变换单元60a上方的相邻参考样本61a到61c中的一些参考样本可以被包括在主阵列62a中并且在预测过程期间使用。例如，在当前变换单元60a上方的相邻参考样本61a到61c之中，参考样本61d可以被包括在主阵列62a中并在当前变换单元60a的预测过程期间使用，所述参考样本61d包括与当前变换单元60a的上部部分相邻的样本61a、与当前变换单元60a的左变换单元60b的上部部分相邻的样本61b中的一些样本，以及与当前变换单元60a的右变换单元60c的上部部分相邻的样本61c。

根据实施方式，图像编码设备10的编码器12可以变更当前变换单元60a中包括的多个样本，以用于执行帧内预测。用于变更多个样本的基础单元可以是压缩单元，并且压缩单元可以是序列、图片、条带、条带片段、编码单元、预测单元或变换单元，但不限于此，而且可以是另一数据单元。然而，为便于描述，压缩单元可以对应于变换单元。

根据实施方式，图像编码设备10的编码器12可以将翻转方案用作变更与压缩单元对应的当前变换单元60a中包括的多个样本的方案。编码器12可以基于压缩单元经由翻转方案而基于分割多个样本的线63来变更多个样本的位置。由于上文已经描述了通过翻转与压缩单元对应的当前变换单元60a的多个样本来变更位置的方法，因此，不再提供具体细节。此处，可以将与当前压缩单元相邻的样本定义为基于压缩单元与当前压缩单元相邻的其他压缩单元中包括的样本。

根据实施方式，在当前变换单元60a被确定为对应于压缩单元时，图像编码设备10的编码器12不仅可以变更当前变换单元60a中包括的多个样本，而且经由与变更当前变换单元60a中包括的多个样本的方案对应的方案来变更与当前变换单元60a相邻的多个样本。例如，在翻转当前变换单元60a中包括的多个样本时，编码器12可以经由翻转方案来变更与对应于当前变换单元60a的压缩单元相邻的多个样本。换言之，参考图6A，编码器12可以变更与当前变换单元60a的上部部分相邻的样本61a、与当前变换单元60a的左变换单元60b的上部部分相邻的样本61b、以及与当前变换单元60a的右变换单元60c的上部部分相邻的样本61c。

图6B示出根据实施方式的通过使用由图像编码设备10的编码器12变更与当前压缩单元60a相邻的样本的位置的结果来执行预测的过程。根据实施方式，编码器12可以经由翻转方案来变更与当前变换单元60a相邻的样本61a到61c的位置。例如，样本61a到61c的位置可以基于分割当前变换单元60a的线63来左右变更。图6B示出经由翻转方案来变更当前变换单元60a中包括的样本和与当前变换单元60a相邻的样本61a到61c的结果。编码器12可以通过变更当前变换单元60a的左右来获取翻转的变换单元64a。此外，编码器12可以通过在线63的左右颠倒与当前变换单元60a相邻的样本的位置来获取变更后的相邻样本65a到65c。

根据实施方式，图像编码设备10的编码器12可以在如在图6A中所示对当前变换单元60a执行预测的过程期间通过参考主阵列62b中包括的参考样本来执行预测。此外，参考图6B，编码器12可以在执行预测之前基于压缩单元来变更样本，并且基于变更的结果来执行预测。换言之，在对当前变换单元60a执行预测过程期间由编码器12参考的参考样本可以基于是否执行变更而不同。例如，参考图6A，根据实施方式，编码器12可以不根据翻转方案来执行变更，而是可以基于与当前变换单元60a相邻的多个样本和与帧内预测类型有关的信息来确定主阵列62a，以在预测过程期间参考主阵列62a中包括的参考样本61d。此外，参考图6B，根据实施方式，编码器12可以根据翻转方案来执行变更，并且基于变更后的多个样本和与帧内预测类型有关的信息来确定主阵列62b，以在预测过程期间参考主阵列62b中包括的参考样本65d。

参考图6A和图6B，由于编码器12基于与帧内预测类型有关的信息来确定将被包括在主阵列62a和62b中的参考样本，因此，无论多个样本是否变更，由当前变换单元60a和64a参考的参考样本的位置都相同。当多个样本根据由编码器12执行的诸如采样或翻转等变更方案进行变更时，存在于由与帧内预测类型有关的信息确定的位置处的样本的样本值可以变更。因此，即使在图像编码设备10根据一个帧内预测类型来执行预测时，参考样本根据由编码器12执行的变更方案而变更，因而可以通过相对地参考各种样本来执行预测过程。例如，基于当前变换单元60a和64a，在图6A中确定的参考样本的位置和在图6B中确定的参考样本的位置相同。然而，在图6A中，多个样本是在由编码器12根据翻转方案进行变更之前，并且在图6B中，多个样本是在由编码器12根据翻转方案进行变更之后，因此参考样本的值不同。因此，图6A的主阵列62a可以相继包括第D个样本到第L个样本，而图6A的主阵列62b可以相继包括第I个样本到第A个样本。根据各种实施方式，可以经由比在现有预测过程期间中使用的方案相对更有效且更灵活的方案来执行预测。

参考图6A和图6B，当前压缩单元附近的至少一个参考样本可以根据当前压缩单元的变更方案而变更，同时图像编码设备10确定用于预测的参考样本。然而，根据实施方式，在完成对当前压缩单元的多个样本执行的预测过程之后，图像编码设备10可以将变更后的至少一个参考样本恢复成原始状态。

根据实施方式，图像编码设备10可以通过参考用于帧间预测的参考帧来执行预测。当执行由图像编码设备10执行的变更时，可以经由与当前压缩单元的变更方案对应的方案来变更用于帧间预测的参考帧的多个样本。换言之，图像编码设备10可以经由与变更当前帧的压缩单元的多个样本值的方法相同的方案来变更与当前帧的压缩单元对应的参考帧上的压缩单元，并且基于变更的结果来执行帧间预测。参考帧上的压缩单元的位置可以通过参考与当前帧的压缩单元相关的运动矢量来确定。

如上文所述，图像编码设备10可以确定具有各种形状的压缩单元，并且基于所确定的压缩单元来变更多个样本。图像编码设备10可以基于变更后的样本通过执行编码来改善编码效率。在下文中，将描述与图像编码设备100对应的图像解码设备15。

图1B是根据实施方式的图像解码设备15的框图。图像解码设备15可以包括信息获取器16和解码器18，作为用于对图像进行解码的部件。下文将通过各种实施方式来描述与由信息获取器16和解码器18在图像解码设备15中执行的图像解码方法有关的具体细节。

图2B是根据实施方式的由图像解码设备15执行的图像解码方法的流程图。

在操作S220中，图像解码设备15可以将图像中包括的最大编码单元中的一个最大编码单元分割成至少一个编码单元。例如，解码器18可以确定图像的最大编码单元，并且将所确定的最大编码单元中的一个最大编码单元分割成至少一个编码单元。根据实施方式，解码器18可以基于与编码单元的最大尺寸有关的信息来确定图像的最大编码单元，并且根据编码单元的分割信息将所确定的最大编码单元中的一个最大编码单元分割成至少一个编码单元。解码器18可以根据分割信息将最大编码单元分割到四叉树结构，并且至少一个编码单元可以被包括在所分割的最大编码单元中。

在操作S221中，图像解码设备15可以确定从编码单元中确定的至少一个预测单元，并且基于所确定的预测单元来执行预测。根据实施方式，解码器18可以从比特流中获取与分区模式有关的信息(即，在操作S220中确定的编码单元中包括的预测单元的形状)，并且基于此分区模式信息来确定与编码单元相关的至少一个预测单元。由于解码器18所执行的预测过程可以由上文或下文所描述的各种实施方式描述，因此，此处不提供细节。

在操作S222中，图像解码设备15可以基于从编码单元中确定的变换单元对图像执行逆变换。根据实施方式，可以通过使用变换单元的分割信息来从编码单元中确定至少一个变换单元，所述分割信息表明是否将与在操作S220中确定的编码单元的深度对应的当前深度的变换单元分割成较深深度的变换单元。解码器18可以从当前编码单元中确定至少一个变换单元，所述至少一个变换单元可以被确定为采用与编码单元对应的形式或者可以通过从编码单元分割进行确定。换言之，解码器18可以根据变换单元的分割信息来确定是否通过分割成多个变换单元而将该变换单元确定为较深深度的变换单元，或者是否将当前编码单元的变换单元确定为与编码单元的形状对应的变换单元(因为该变换单元的深度被确定为当前深度)。根据实施方式，由解码器18执行的逆变换可以对应于将图像的差分信号进行逆变换的过程。在操作S223中，图像解码设备15可以基于预测和逆变换来重建图像，此外，确定所重建的图像中包括的至少一个压缩单元。根据实施方式，图像解码设备15可以基于压缩单元在将被解码的图像上预先执行任意处理过程。图像解码设备15可以将预定的任意单元确定为压缩单元，或者可以根据将被处理的图像的特征来自适应地确定压缩单元。在下文中，为便于描述，将基于具有某一尺寸的压缩单元来描述一个或多个实施方式，但不限于此。

可以由根据实施方式的图像解码设备15确定的压缩单元可以变更。例如，可以将可在图像解码过程期间使用的各种单元提供为压缩单元。此外，为了改善解码效率，由图像解码设备15使用的压缩单元可以对应于在编码过程期间由图像编码设备10使用的压缩单元。图像解码设备15可以通过信息获取器16从接收自图像编码设备10的比特流中获取与压缩单元的尺寸有关的信息。下文所述的各种实施方式是基于下列前提描述的：由图像解码设备15使用的压缩单元是编码单元。

在操作S224中，图像解码设备15的信息获取器16可以从比特流中获取第一信息，所述第一信息表明变更当前压缩单元中包括的多个样本的方案。

由图像解码设备15的解码器18变更多个样本的方案可以变更。在下文中，将描述各种实施方式中的一些实施方式，但本公开可以不由此类变更方案限制性地解释。

图3A示出根据实施方式的作为变更当前压缩单元30a中包括的多个样本的方案的采样方案。此处，可以将采样方案定义为下列方案：重新排列压缩单元中包括的多个样本的位置，使得一起处理根据实施方式的压缩单元中包括的多个样本之中的基于行或列的第奇数个样本或第偶数个样本。

参考图3A，图像解码设备15的解码器18可以确定图像中包括的至少一个压缩单元，并且将至少一个压缩单元中的一个确定为当前压缩单元30a。根据实施方式，所确定的当前压缩单元30a可以对应于在解码过程期间由图像解码设备15使用的编码单元，但压缩单元并不因此而被限制性地解释。

根据实施方式，解码器18可以通过使用执行逆变换而获取的当前压缩单元30e的多个样本来确定重建的压缩单元30a，所述重建的压缩单元30a包括曾经在奇数列的样本31a和31b以及曾经在偶数列的样本32a和32b。例如，解码器18可以变更多个样本的位置，使得将当前压缩单元30e的左边两列中的样本31c排列在所重建的压缩单元30a的奇数列中的样本31a和31b处，并且将当前压缩单元30e的右边两列中的样本31b排列在所重建的压缩单元30a的偶数列中的样本32a和32b处。由于此过程可以对应于由图像编码设备10执行的变更方案的逆过程，因此，不再提供具体细节。

图3B示出包括变更当前压缩单元30f的多个样本的位置和变更样本的值的过程的变更方案。根据实施方式，解码器18可以通过变更执行逆变换所获取的当前压缩单元30f中包括的多个样本的位置以及变更样本的值来对当前压缩单元30f中包括的多个样本进行解码。参考图3B，解码器18可以通过变更经由逆变换而获取的当前压缩单元30f的多个样本的位置来确定重建的压缩单元30b，所述重建的压缩单元30b包括在奇数列中的样本33a和33b以及在偶数列中的样本34a和34b。

此外，解码器18可以通过使用奇数列中的样本33a和33b的值来确定所重建的压缩单元30b的偶数列中的样本34a和34b的值。例如，变更之前的当前压缩单元30f中包括的样本之中的第一样本33c和第三样本33d可以是变更之前的当前压缩单元30f的多个样本之中的曾经位于第一列和第三列(即，奇数列)中的样本。位于同一行的样本之中的在偶数列的第二样本34c的值可以通过使用第一样本33c和第三样本33d的值进行确定。例如，根据在图像编码设备10的编码过程期间的变更方案，第二样本34c的值可以对应于第一样本33c和第三样本33d的值的平均值。因此，解码器18可以通过基于此关系执行由图像编码设备10所执行的变换的逆过程来确定变更后的当前压缩单元。例如，解码器18可以使用恢复的样本值通过算术计算过程来确定多个样本的值。此处，可以通过使用曾经在奇数列中的样本33a和33b来确定曾经在偶数列中的样本34a和34b，因此，解码器18可以高效地管理带宽，这是因为即使在只交换了曾经在奇数列中的样本33a和33b时，也可能实现图像解码。

图3C示出根据实施方式的作为变更当前压缩单元30g中包括的多个样本的方案的采样方案的另一示例。

参考图3C，解码器18可以通过变更多个样本来确定变更后的压缩单元30c，从而恢复经由逆变换而获取的当前压缩单元30g的多个样本，所述变更后的压缩单元30c包括奇数行中的样本35a和35b以及偶数行中的样本36a和36b。换言之，解码器18可以通过执行与图像编码设备10对当前压缩单元30g执行的采样方案的逆过程对应的变更来确定变更后的压缩单元30c。

此外，编码器18可以通过使用奇数行中的样本35a和35b的值来确定变更后的压缩单元30c的偶数行中的样本36a和36b的值。例如，变更之前的当前压缩单元30g中包括的样本之中的第一样本35c和第九样本35d可以是变更之前的当前压缩单元30g的多个样本之中的分别位于第一行和第三行(即，奇数行)中的样本。位于同一列的样本之中的在偶数行的第五样本36c的值可以通过使用第一样本35c和第九样本35d的值进行确定。例如，第五样本36c的值可以对应于第一样本35c和第九样本35d的值的平均值。此外，编码器18也可以通过使用第一样本35c和第九样本35d的值来确定位于同一行的样本之中的曾经在偶数列的第十三样本36d的值。或者，可以通过使用基于第一样本35c和第九样本35d的值确定的第五样本36c的值来确定第十三样本36d的值。例如，解码器18可以通过用算术方法计算第五样本36c的值来获取第十三样本36d的值。因此，可以通过使用曾经在奇数行中的样本35a和35b来确定曾经在偶数行中的样本36a和36b，因此，解码器18可以高效地管理带宽，这是因为即使在只交换了曾经在奇数列中的样本35a和35b时，也可能实现图像解码。

图3D示出根据实施方式的通过对多个样本进行采样来排列当前压缩单元30d中包括的多个样本和变更样本值的过程。

参考图3D，解码器18可以变更变更之前的当前压缩单元30h的样本，以确定变更之后的变更后的压缩单元30d的样本，所述变更后的压缩单元包括奇数行中的样本37a和37b、偶数行中的样本38a和38b、奇数列中的样本37c和37d、以及偶数列中的样本38c和38d。换言之，解码器18可以通过相对于当前压缩单元30h的多个样本执行上文参考图3A和图3B描述的由解码器18执行的所有过程来确定变更后的压缩单元30d。

此外，解码器18可以通过使用奇数行中的样本37a和37b的值来确定多个样本的位置被变更的变更后的压缩单元30d的偶数行中的样本38a和38b的值。例如，当前压缩单元30h中包括的样本之中的第一样本39a和第九样本39c可以是当前压缩单元30h的多个样本之中的分别位于第一行37a和第三行37b(即，奇数行)中的样本。位于同一列的样本之中的曾经在偶数行的第五样本39f的值可以通过使用第一样本39a和第九样本39c的值进行确定。例如，解码器18可以通过将第五样本39f的值确定为第一样本39a和第九样本39c的值的平均值来确定变更后的压缩单元30d。此处，由于此实施方式可以对应于参考图3B描述的实施方式，因此，不提供具体细节。此外，解码器18可以使用通过将当前压缩单元30h的多个样本分成奇数列中的样本37a和37b以及偶数列中的样本38a和38b的采样方案来变更当前压缩单元30d的样本。此外，解码器18可以通过使用奇数列中的样本37a和37b的值来确定当前压缩单元30d的偶数列中的样本38a和38b的值。例如，当前压缩单元30h中包括的样本之中的第一样本39a和第三样本39b可以是当前压缩单元30h的多个样本之中的位于第一列37c和第三列37d(即，奇数列)中的样本。位于同一行的样本之中的曾经在偶数列的第二样本39e的值可以通过使用第一样本39a和第三样本39b的值进行确定。例如，解码器18可以通过将第二样本39e的值确定为第一样本39a和第三样本39b的值的平均值来确定变更后的压缩单元30d。此处，由于此实施方式可以对应于参考图3C描述的实施方式，因此，不提供具体细节。

根据实施方式，解码器18可以通过使用其他相邻样本来变更变更之前的当前压缩单元30d的偶数行和偶数列中的样本。例如，参考图3D，可以通过基于位于相邻奇数行和相邻奇数列中的样本变更位于第二行38a第二列38c中的第六样本39g来确定变更后的压缩单元30d。具体地，第六样本39g的值可以变更成与下列样本的平均值对应的值：位于第一行第一列中的第一样本39a、位于第一行第三列中的第三样本39b、位于第三行第一列中的第九样本39c以及位于第三行第三列中的第十一样本39d。

根据实施方式，解码器18可以基于样本的变更后的样本值来变更另一样本的样本值。例如，参考图3D，位于当前压缩单元30h的第二行38a第四列38d中的第八样本39h的样本值可以基于位于相邻奇数行和相邻奇数列中的样本进行变更。具体地，当前压缩单元30h的第八样本39h的样本值可以基于位于第二行38a第二列38c中的第六样本39g的样本值进行变更。例如，可以通过将第八样本39h的值变更成通过用算术方法计算第六样本39g的样本值而变更的值来确定变更后的压缩单元30d。

图4A示出根据实施方式的作为由图像解码设备15变更当前压缩单元40a中包括的多个样本的位置的方案的翻转方案的示例。

参考图4A，解码器18可以变更样本的位置，使得当前压缩单元40a中包括的多个样本的左右发生变更。例如，位于当前压缩单元40b的第一行第四列中的第一样本41a可以由解码器18设置在第一行第一列中，从而基于将当前压缩单元40b分成两半的线40c而位于相对侧。作为另一示例，位于当前压缩单元40b的第一行第三列中的第二样本41b可以由解码器18设置在第一行第二列中，从而基于将当前压缩单元40b分成两半的线40c而位于相对侧。因此，解码器18可以水平翻转通过执行逆变换而获取的当前压缩单元40a的多个样本，以获取翻转的压缩单元40a。然而，由于当前实施方式仅仅是用于描述本公开的压缩单元的变更方案的示例，因此，变更压缩单元的多个样本位置的翻转变更方案不应限于上文，并且翻转方向和标准可以变更。

图4B示出根据实施方式的作为由图像解码设备15变更当前压缩单元40e中包括的多个样本的位置的方案的翻转方案的另一示例。

参考图4B，解码器18可以变更样本的位置，使得当前压缩单元40e中包括的多个样本的位置可以在对角线方向上变更。例如，位于当前压缩单元40e的第四行第四列中的第一样本42a可以由解码器18设置在第一行第一列中，从而基于将当前压缩单元40e分成两半的线40f而位于相对侧。作为另一示例，位于当前压缩单元40d的第三行第四列中的第二样本42b可以由解码器18设置在第一行第二列中，从而基于将当前压缩单元40e分成两半的线40f而位于相对侧。因此，解码器18可以对角地翻转当前压缩单元40d的多个样本，以获取翻转的压缩单元40e。然而，由于当前实施方式仅仅是用于描述本公开的压缩单元的变更方案的示例，因此，变更压缩单元的多个样本位置的翻转变更方案不应限于上文，并且翻转方向和标准可以变更。因此，作为对角线方向上的翻转变更方法的基础的线的角度或位置可以变更。

图4C示出根据实施方式的作为由图像解码设备15变更当前压缩单元40h中包括的多个样本的位置的方案的旋转方案的示例。

参考图4C，解码器18可以经由在当前压缩单元40h中旋转当前压缩单元40h中包括的多个样本的位置的方案来变更样本的位置。例如，解码器18可以通过在逆时针方向上旋转包括位于当前压缩单元40h的第一行第四列中的第一样本43a在内的多个样本来将第一样本43a的位置变更到当前压缩单元40h的第一行第一列。作为另一示例，解码器18可以通过在逆时针方向上旋转包括位于当前压缩单元40h的第二行第四列中的第二样本43b在内的多个样本来将第二样本43b的位置变更到第一行第二列。因此，当前压缩单元40g可以变更成压缩单元40g，其中当前压缩单元40h的多个样本由解码器18在逆时针方向上旋转。然而，由于当前实施方式仅仅是用于描述本公开的压缩单元的变更方案的示例，因此，变更压缩单元的多个样本位置的旋转变更方案不应限于上文。换言之，旋转方向可以是顺时针方向或逆时针方向，并且旋转角度也可以变更。

根据实施方式，图像解码设备15可以根据某一方法来变更当前压缩单元中包括的多个样本的样本值。例如，解码器18可以经由诸如滤波、变换和变形等方案来变更当前压缩单元中包括的多个样本。

根据实施方式，用于经由滤波来变更样本值的滤波器的类型可以变更，诸如，低通滤波器和高通滤波器。

根据实施方式，当经由变换方案来变更样本值时，图像解码设备15可以经由根据DCT的各种方案的算法来变更样本值，或者可以根据FFT来变更样本值。

当根据实施方式基于变形方案来变更样本值时，图像解码设备15可以通过变更当前压缩单元中包括的多个样本的样本值来使当前压缩单元中示出的图像失真。例如，图像解码设备15可以经由通过使用与图像相关的参数信息(诸如，作为相机参数信息的焦距或光圈值)来减少或增强将被编码的图像中示出的失真而变更当前压缩单元中包括的多个样本的样本值。图像解码设备15可以变更具有根据某一方法变更的样本值的多个样本的位置。由于变更多个样本的位置的方法可以对应于上文通过附图描述的各种实施方式，因此，不提供具体细节。

在操作S224中，图像解码设备15的信息获取器16可以从比特流中获取第一信息，所述第一信息表明变更当前压缩单元中包括的多个样本的方案。在获取与当前压缩单元相关的变更方案有关的第一信息之后，图像解码设备15可以通过使用在编码过程中执行的变更方案的逆方案来执行变更而在解码过程中增加解码效率。与此变更方案有关的信息可以对应于标记或索引的形式，并且可以根据各种形状的压缩单元进行传输，诸如，序列、帧、条带、条带片段、最大编码单元、编码单元、预测单元和变换单元。

根据实施方式，图像解码设备15可以确定各种变更方案之中的针对根据压缩单元优化的解码效率的变更方案。例如，图像解码设备15可以通过相对于当前压缩单元检查率失真代价来确定具有优良效率的方案。

在操作S225中，图像解码设备15可以基于在操作S224中获取的第一信息来确定将由图像解码设备15对压缩单元中包括的多个样本执行的变更方案。

在操作S226中，图像解码设备15可以基于在操作S223中确定的压缩单元和在操作S225中确定的方案来变更当前压缩单元的多个样本。

图5A示出根据实施方式的在当前压缩单元的多个样本的位置经过变更以对图像进行解码时，变更与当前压缩单元50c相邻的压缩单元的样本的过程。

根据实施方式，图像解码设备15的解码器18可以变更当前压缩单元50c中包括的多个样本，并且可以经由与变更当前压缩单元50c的方案对应的方案来变更与当前压缩单元50c相邻的相邻样本50d。参考图5A，图像解码设备15可以经由采样方案来变更当前压缩单元50c中包括的多个样本。与采样方案有关的具体细节可以是与上述各种实施方式有关的具体细节，因此，不提供描述。此处，根据当前压缩单元50c的变更方案一起变更的相邻样本可以是根据实施方式的不变更的样本。

根据实施方式，解码器18可以通过将当前压缩单元50c的多个样本变更为分成奇数行51a和51b中包括的样本和偶数行中包括的样本来确定变更后的压缩单元50a。换言之，解码器18不仅可以变更当前压缩单元50c中包括的多个样本，而且经由同一方案来变更与当前压缩单元50c相邻的另一压缩单元的样本50d。例如，解码器18可以根据变更当前压缩单元50d的采样方案来变更与当前压缩单元50a的左边界相邻的相邻样本50d，从而将当前压缩单元50c的样本之中的位于上部部分的样本51c和位于下部部分的样本52c分别设置到位于奇数行中的第a个样本和第c个样本以及位于偶数行中的第b个样本和第d个样本。

图5B示出根据实施方式的在当前压缩单元53c的多个样本的位置经过变更以对图像进行解码时，变更与当前压缩单元53c相邻的压缩单元的样本的另一方案。参考图5B，图像解码设备16可以经由翻转方案来变更当前压缩单元53c中包括的多个样本。由于与翻转方案有关的具体细节可以是与上述各种实施方式有关的具体细节，因此，不提供描述。此处，根据当前压缩单元53c的变更方案一起变更的相邻样本可以是根据实施方式的不变更的样本。

根据实施方式，解码器18可以使用翻转方案，从而变更当前压缩单元53c中包括的多个样本的排列。解码器18可以根据翻转方案基于基线53e来变更当前压缩单元53c的多个样本的左右位置。因此，位于第一行第四列中的第一样本54a的位置可以变更到第一行第一列的位置，并且位于第一行第二列中的第三样本54b的位置可以变更到第一行第三列的位置。此外，解码器18不仅可以变更当前压缩单元53c中包括的多个样本，而且可经由同一方案来变更与当前压缩单元53c相邻的另一压缩单元的样本。例如，解码器18可以根据当前压缩单元53c的翻转方案来变更与当前压缩单元53c的上边界相邻的相邻样本53d的位置。因此，位于相邻样本53d的第四列中的第a个样本55a的位置可以变更到与第一列对应的位置，并且位于第二列中的第c个样本55b的位置可以变更到与第三列对应的位置。

图6A示出根据实施方式的变更在图像解码设备15执行预测时所参考的样本的过程。

根据实施方式，图像解码设备15的解码器18可以确定将基于预测单元在编码单元中执行的预测的类型。例如，可以基于包括表明将在当前编码单元中执行的预测模式的类型的信息在内的预测模式信息来确定将对当前编码单元执行帧内预测或帧间预测还是将通过参考不同层上的图片来执行预测。当编码单元的预测模式被确定为帧内预测模式时，可以基于与帧内预测类型有关的信息来执行帧内预测。例如，与帧内预测类型有关的信息可以包括用于帧内预测的参考样本的位置，或者用于基于确定的参考样本来区分执行帧内预测的方法的句构。此处，可以基于包括预测单元和变换单元在内的编码单元的尺寸来确定预测单元和变换单元的尺寸。此外，根据实施方式的压缩单元可以对应于针对不同过程的单元，该单元不同于编码单元、预测单元和变换单元。然而，为便于描述，假设当前压缩单元的尺寸对应于当前变换单元的尺寸。

根据实施方式的图像解码设备15的解码器18在帧内预测过程期间可以参考与当前变换单元相邻的参考样本。参考图6A，当对与4×4尺寸的样本对应的变换单元执行预测时，解码器18可以将相邻样本确定为在执行预测的过程期间使用的参考样本。当解码器18执行帧内预测时，基于与预测类型有关的信息，解码器18可以确定在预测过程期间参考的样本的位置或者基于确定的参考样本来确定执行预测的方法。例如，与帧内预测类型有关的信息可以表明右对角线方向上的样本是参考样本。然而，将参考右对角线方向上的样本中的哪一个样本由与预测类型有关的信息表明，并且可以根据预测样本和参考样本的角度差而变更。因此，帧内预测方法不应限制性地解释为图6A的预测方法。

根据实施方式，在帧内预测期间，图像解码设备15的解码器18可以根据预测模式通过使用参考样本来确定主阵列62a。参考图6A，解码器18可以通过使用主阵列62a中包括的参考样本来执行预测，并且主阵列62a可以包括与当前变换单元60a相邻的样本。根据帧内预测类型可以确定与当前变换单元相邻的样本之中的、将被包括在主阵列62a中并且在预测过程期间使用的样本。例如，当帧内预测方向对应于当前变换单元60a中的竖直方向或右上方向时，当前变换单元60a上方的相邻参考样本61a到61c中的一些参考样本可以被包括在主阵列62a中并且在预测过程期间使用。例如，在当前变换单元60a上方的相邻参考样本61a到61c之中，参考样本61d可以被包括在主阵列62a中并在当前变换单元60a的预测过程期间使用，所述参考样本61d包括与当前变换单元60a的上部部分相邻的样本61a、与当前变换单元60a的左变换单元60b的上部部分相邻的样本61b中的一些样本，以及与当前变换单元60a的右变换单元60c的上部部分相邻的样本61c。

根据实施方式，图像解码设备15的解码器18可以变更当前变换单元60a中包括的多个样本，以用于执行帧内预测。用于变更多个样本的基础单元可以是压缩单元，并且压缩单元可以是序列、图片、条带、条带片段、编码单元、预测单元或变换单元，但不限于此，而且可以是另一数据单元。然而，为便于描述，压缩单元可以对应于变换单元。

根据实施方式，图像解码设备15的解码器18可以将翻转方案用作变更与压缩单元对应的当前变换单元60a中包括的多个样本的方案。解码器18可以基于压缩单元经由翻转方案而基于分割多个样本的线63来变更多个样本的位置。由于上文已经描述了通过翻转与压缩单元对应的当前变换单元60a的多个样本来变更位置的方法，因此，不再提供具体细节。此处，可以将与当前压缩单元相邻的样本定义为基于压缩单元而与当前压缩单元相邻的其他压缩单元中包括的样本。

根据实施方式，在当前变换单元60a被确定为对应于压缩单元时，图像解码设备15的解码器18不仅可以变更当前变换单元60a中包括的多个样本，而且可经由与变更当前变换单元60a中包括的多个样本的方案对应的方案来变更与当前变换单元60a相邻的多个样本。例如，在翻转当前变换单元60a中包括的多个样本时，解码器18可以经由翻转方案来变更与对应于当前变换单元60a的压缩单元相邻的多个样本。换言之，参考图6A，解码器18可以变更与当前变换单元60a的上部部分相邻的样本61a、与当前变换单元60a的左变换单元60b的上部部分相邻的样本61b，以及与当前变换单元60a的右变换单元60c的上部部分相邻的样本61c。

图6B示出根据实施方式的通过使用由图像解码设备15的解码器18变更与当前压缩单元相邻的样本的位置的结果来执行预测的过程。根据实施方式，解码器18可以经由翻转方案来变更与当前变换单元60a相邻的样本61a到61c的位置。例如，样本61a到61c的位置可以基于分割当前变换单元60a的线63来左右变更。图6B示出经由翻转方案来变更当前变换单元60a中包括的样本和与当前变换单元60a相邻的样本61a到61c的结果。解码器18可以通过变更当前变换单元60a的左右来获取翻转的变换单元64a。此外，解码器18可以通过在线63的左右颠倒与当前变换单元60a相邻的样本的位置来获取变更后的相邻样本65a到65c。

根据实施方式，图像解码设备15的解码器18可以在如在图6A中所示的对当前变换单元60a执行预测的过程期间通过参考主阵列62b中包括的参考样本来执行预测。此外，参考图6B，解码器18可以在执行预测之前基于压缩单元来变更样本，并且基于变更的结果来执行预测。换言之，在对当前变换单元60a执行预测过程期间由解码器18参考的参考样本可以基于是否执行变更而不同。例如，参考图6A，根据实施方式，解码器18可以不根据翻转方案来执行变更，而是可以基于与当前变换单元60a相邻的多个样本和与帧内预测类型有关的信息来确定主阵列62a，以在预测过程期间参考主阵列62a中包括的参考样本61d。此外，参考图6B，根据实施方式，解码器18可以根据翻转方案来执行变更，并且基于变更后的多个样本和与帧内预测类型有关的信息来确定主阵列62b，以在预测过程期间参考主阵列62b中包括的参考样本65d。

参考图6A和图6B，由于解码器18基于与帧内预测类型有关的信息来确定将被包括在主阵列62a和62b中的参考样本，因此，无论多个样本是否变更，由当前变换单元60a和64a参考的参考样本的位置都相同。当多个样本根据由解码器18执行的诸如采样或翻转等变更方案进行变更时，存在于由与帧内预测类型有关的信息确定的位置处的样本的样本值可以变更。因此，即使在图像解码设备15根据一个帧内预测类型来执行预测时，参考样本根据由解码器18执行的变更方案而变更，因而可以通过相对地参考各种样本来执行预测过程。例如，基于当前变换单元60a和64a，在图6A中确定的参考样本的位置和在图6B中确定的参考样本的位置相同。然而，在图6A中，多个样本是在由解码器18根据翻转方案进行变更之前，并且在图6B中，多个样本是在由解码器18根据翻转方案进行变更之后，因此参考样本的值不同。因此，图6A的主阵列62a可以相继包括第D个样本到第L个样本，而图6A的主阵列62b可以相继包括第I个样本到第A个样本。根据各种实施方式，可以经由比在现有预测过程期间中使用的方案相对更有效且更灵活的方案来执行预测。

参考图6A和图6B，当前压缩单元附近的至少一个参考样本可以根据当前压缩单元的变更方案而变更，同时图像解码设备15确定用于预测的参考样本。然而，根据实施方式，在完成对当前压缩单元的多个样本执行的预测过程之后，图像解码设备15可以将变更后的至少一个参考样本恢复成原始状态。图像解码设备15可以通过执行上述预测过程来重建图像。

根据实施方式，图像解码设备15可以通过参考用于帧间预测的参考帧来执行预测。当执行由图像解码设备15执行的变更时，可以经由与当前压缩单元的变更方案对应的方案来变更用于帧间预测的参考帧的多个样本。换言之，图像解码设备15可以经由与变更当前帧的压缩单元的多个样本值的方法相同的方案来变更与当前帧的压缩单元对应的参考帧上的压缩单元，并且基于变更的结果来执行帧间预测。参考帧上的压缩单元的位置可以通过参考与当前帧的压缩单元相关的运动矢量来确定。

图7示出根据实施方式的基于树形结构的编码单元的视频编码设备100的框图。图7的视频编码设备100可以与图1A的图像编码设备10对应。

基于树形结构的编码单元的、涉及视频预测的视频编码设备100包括编码单元确定器120和输出器130。在下文中，为便于描述，基于树形结构的编码单元的、涉及视频预测的视频编码设备100被称为“视频编码设备100”。

编码单元确定器120可以基于最大编码单元来分割当前图片，所述最大编码单元是图像的当前图片的具有最大尺寸的编码单元。如果当前图片大于最大编码单元，那么可以将当前图片的图像数据分割成至少一个最大编码单元。根据实施方式的最大编码单元可以是具有32×32、64×64、128×128、256×256等尺寸的数据单元，其中数据单元的形状是具有2的平方的宽度和长度的正方形。

根据实施方式的编码单元的特征可以是最大尺寸和深度。深度表示编码单元从最大编码单元空间分割的次数，并且随着深度加深，根据深度的较深编码单元可以从最大编码单元分割到最小编码单元。最大编码单元的深度可以被限定为最浅深度，并且最小编码单元的深度可以被限定为最深深度。由于对应于每个深度的编码单元的尺寸随着最大编码单元的深度加深而减小，因此，对应于较浅深度的编码单元可以包括对应于较深深度的多个编码单元。

如上文所述，当前图片的图像数据根据编码单元的最大尺寸分割成最大编码单元，并且最大编码单元中的每个可以包括根据深度分割的较深编码单元。由于根据实施方式的最大编码单元根据深度进行分割，因此，最大编码单元中包括的空间域的图像数据可以根据深度进行分层分类。

限制最大编码单元的高度和宽度进行分层分割的总次数的编码单元的最大深度和最大尺寸可以预先确定。

编码单元确定器120对通过根据深度分割最大编码单元的区域而获得的至少一个分割区域进行编码，并且根据至少一个分割区域来确定输出最终编码的图像数据的深度。换言之，通过根据当前图片的最大编码单元对根据深度的较深编码单元中的图像数据进行编码并且选择具有最小编码误差的深度，编码单元确定器120确定最终深度。根据最大编码单元确定的最终深度和图像数据输出到输出器130。

最大编码单元中的图像数据基于与等于或小于最大深度的至少一个深度对应的较深编码单元进行编码，并且对图像数据进行编码的结果基于较深编码单元中的每个进行比较。在比较较深编码单元的编码误差之后，可以选择具有最小编码误差的深度。针对每个最大编码单元，可以选择至少一个最终深度。

随着编码单元根据深度进行分层分割，并且随着编码单元的数量增加，最大编码单元的尺寸被分割。此外，即使编码单元对应于一个最大编码单元中的相同深度，也要通过分别测量每个编码单元的图像数据的编码误差来确定是否将对应于相同深度的编码单元中的每个编码单元分割到较深深度。因此，即使在图像数据被包括在一个最大编码单元中时，编码误差也可以根据一个最大编码单元中的区域而不同，因此，最终深度可以根据图像数据中的区域而不同。因此，在一个最大编码单元中可以确定一个或多个最终深度，并且最大编码单元的图像数据可以根据至少一个最终深度的编码单元划分。

因此，根据实施方式的编码单元确定器120可以确定最大编码单元中包括的具有树形结构的编码单元。根据实施方式的“具有树形结构的编码单元”包括最大编码单元中包括的所有较深编码之中的、与确定为最终深度的深度对应的编码单元。最终深度的编码单元可以根据最大编码单元的相同区域中的深度来分层确定，并且可以在不同区域中独立确定。同样，当前区域中的最终深度可以独立于另一区域中的最终深度进行确定。

根据实施方式的最大深度是与从最大编码单元到最小编码单元的分割次数相关的索引。根据实施方式的第一最大深度可以表示从最大编码单元到最小编码单元的总分割次数。根据实施方式的第二最大深度可以表示从最大编码单元到最小编码单元的深度等级的总数。例如，当最大编码单元的深度为0时，最大编码单元被分割一次的编码单元的深度可以设置为1，并且最大编码单元被分割两次的编码单元的深度可以设置为2。此处，如果最小编码单元是最大编码单元被分割四次的编码单元，那么存在深度0、1、2、3和4的深度等级，因此，第一最大深度可以设置为4，并且第二最大深度可以设置为5。

预测编码和变换可以根据最大编码单元来执行。预测编码和变换也根据最大编码单元基于根据等于或小于最大深度的深度的较深编码单元来执行。

由于每当最大编码单元根据深度进行分割时较深编码单元的数量都增加，因此，对随着深度加深而生成的所有较深编码单元执行包括预测编码和变换在内的编码。在下文中，为便于描述，将基于在至少一个最大编码单元中的当前深度的编码单元描述预测编码和变换。

根据实施方式的视频编码设备100可以不同地选择用于对图像数据进行编码的数据单元的尺寸或形状。为了对图像数据进行编码，执行诸如预测编码、变换和熵编码的操作，并且同时，可以将相同的数据单元用于所有操作或者将不同的数据单元用于每个操作。

例如，视频编码设备100不仅可以选择用于对图像数据进行编码的编码单元，而且可以选择不同于编码单元的数据单元，从而对编码单元中的图像数据执行预测编码。

为了在最大编码单元中执行预测编码，可以基于最终深度的编码单元(即，基于不再分割的编码单元)来执行预测编码。通过分割预测单元而获得的分区可以包括编码单元和通过分割选自编码单元的高度和宽度中的至少一个而获得的数据单元。分区可以包括编码单元被分割的数据单元，以及与编码单元具有相同尺寸的数据单元。作为预测的基础的分区可以被称为“预测单元”。

例如，当2N×2N(其中N是正整数)的编码单元不再分割时，它成为2N×2N的预测单元，并且分区的尺寸可以是2N×2N、2N×N、N×2N或N×N。分区模式的示例可以包括通过对称地分割预测单元的高度或宽度而获得的对称分区，并且可以选择性地包括通过不对称地分割预测单元的高度或宽度(诸如1:n或n:1)而获得的分区、通过几何分割预测单元而获得的分区、具有任意形状的分区等。

预测单元的预测模式可以是帧内模式、帧间模式和跳跃模式中的至少一个。例如，帧内模式和帧间模式可以在2N×2N、2N×N、N×2N或N×N的分区上执行。此外，跳跃模式只可以在2N×2N的分区上执行。编码可以在编码单元中的一个预测单元上独立执行，从而可以选择具有最小编码误差的预测模式。

根据实施方式的视频编码设备100也可以不仅基于用于对图像数据进行编码的编码单元而且基于不同于编码单元的数据单元来对编码单元中的图像数据执行变换。为了在编码单元中执行变换，可以基于具有小于或等于编码单元的尺寸的数据单元来执行变换。例如，变换单元可以包括用于帧内模式的数据单元和用于帧间模式的变换单元。

编码单元中的变换单元可以按与根据树形结构的编码单元的类似方式递归地分割成更小尺寸的区域，因此，编码单元的残差数据可以根据具有树形结构的变换单元依据变换深度进行划分。

表明通过分割编码单元的高度和宽度来达到变换单元的分割次数的变换深度也可以在变换单元中设置。例如，在2N×2N的当前编码单元中，当变换单元的尺寸是2N×2N时变换深度可以为0，当变换单元的尺寸是N×N时变换深度可以为1，以及当变换单元的尺寸是N/2×N/2时变换深度可以为2。换言之，关于变换单元，具有树形结构的变换单元可以根据变换深度进行设置。

根据深度的分割信息不仅需要与深度有关的信息，而且需要与预测和变换相关的信息。因此，编码单元确定器120不仅可以确定生成最小编码误差的深度，而且可以确定将预测单元分割成分区的分区模式、根据预测单元的预测模式以及用于变换的变换单元的尺寸。

下文将参考图9到图19详细描述根据实施方式的最大编码单元中的根据树形结构的编码单元以及确定预测单元/分区和变换单元的方法。

编码单元确定器120可以通过使用基于拉格朗日乘子的率失真优化来测量根据深度的较深编码单元的编码误差。

输出器130以比特流的形式输出基于由编码单元确定器120确定的至少一个深度进行编码的最大编码单元的图像数据以及根据深度的信息。

所编码的图像数据可以对应于通过对图像的残差数据进行编码而获得的结果。

根据深度的分割信息可以包括深度信息、预测单元的分区模式信息、预测模式信息以及变换单元的分割信息。

最终深度信息可以通过使用根据深度的分割信息进行定义，从而表明是否对较深深度而非当前深度的编码单元执行编码。如果当前编码单元的当前深度是深度，那么通过使用当前深度的编码单元对当前编码单元进行编码，因此，当前深度的分割信息可以定义为不将当前编码单元分割到较深深度。相反，如果当前编码单元的当前深度不是该深度，那么必须对较深深度的编码单元执行编码，因此，当前深度的分割信息可以定义为将当前编码单元分割到较深深度的编码单元。

如果当前深度不是该深度，那么对分割成较深深度的编码单元的编码单元执行编码。由于较深深度的至少一个编码单元存在于当前深度的一个编码单元中，因此，在较深深度的每个编码单元上重复执行编码，因而可以针对具有相同深度的编码单元递归地执行编码。

由于针对一个最大编码单元确定具有树形结构的编码单元，并且必须针对深度的编码单元来确定至少一项分割信息，因此，可以针对一个最大编码单元来确定至少一项分割信息。此外，最大编码单元的数据的深度可以根据位置而不同，这是因为数据根据深度进行分层分割，因此，可以针对数据来设置深度和分割信息。

因此，根据实施方式的输出器130可以将与对应深度和编码模式有关的编码信息分配到最大编码单元中包括的编码单元、预测单元和最小单元中的至少一个。

根据实施方式的最小单元是通过将构成最深深度的最小编码单元分割成4个而获得的正方形数据单元。或者，根据实施方式的最小单元可以是可被包括在最大编码单元所包括的编码单元、预测单元、分区单元和变换单元中的全部中的最大正方形数据单元。

例如，由输出器130输出的编码信息可以分类成根据较深编码单元的编码信息和根据预测单元的编码信息。根据较深编码单元的编码信息可以包括与预测模式有关的信息和与分区的尺寸有关的信息。根据预测单元的编码信息可以包括与帧间模式期间的估测方向有关的信息、与帧间模式的参考图像索引有关的信息、与运动矢量有关的信息、与帧内模式的色度分量有关的信息以及与帧内模式期间的内插法有关的信息。

与根据图片、条带或GOP定义的编码单元的最大尺寸有关的信息以及与最大深度有关的信息可以***到比特流的标头、序列参数集或图片参数集中。

与当前视频准许的变换单元的最大尺寸有关的信息以及与变换单元的最小尺寸有关的信息也可以通过比特流的标头、序列参数集或图片参数集输出。输出器130可以对与预测相关的参考信息、预测信息和条带类型信息进行编码并输出这些信息。

根据视频编码设备100的最简单实施方式，较深编码单元可以是通过将较浅深度的编码单元(上一层的编码单元)的高度或宽度一分为二所得到的编码单元。换言之，在当前深度的编码单元的尺寸是2N×2N时，较深深度的编码单元的尺寸是N×N。此外，具有2N×2N尺寸的当前编码单元可以最大包括四个均具有N×N尺寸的较深深度编码单元。

因此，通过基于最大编码单元的尺寸和考虑到当前图片的特征而确定的最大深度来确定每个最大编码单元的具有最佳形状和最佳尺寸的编码单元，视频编码设备100可以形成具有树形结构的编码单元。此外，由于可以通过使用各种预测模式和变换中的任一个对每个最大编码单元执行编码，因此，可以通过考虑到各种图像尺寸的编码单元的特征来确定最佳编码模式。

因此，如果具有高分辨率或大数据量的图像在传统宏块中编码，那么每个图片的宏块数量过度增加。因此，针对每个宏块生成的压缩信息的数量增加，因而难以传输压缩的信息并且数据压缩效率降低。然而，通过使用根据实施方式的视频编码设备，图像压缩效率可以增加，这是因为在考虑图像的特征同时调整编码单元，同时考虑图像的尺寸而增大编码单元的最大尺寸。

图8是根据各种实施方式的基于根据树形结构的编码单元的视频解码设备200的框图。图8中的视频解码设备200可以对应于图1B中的视频解码设备15。

根据实施方式的基于树形结构的编码单元的、涉及视频预测的视频解码设备200包括接收器210、图像数据与编码信息提取器220以及图像数据解码器230。图像数据解码器230可以对应于图1B的解码器18。在下文中，为便于描述，根据实施方式的基于树形结构的编码单元的、涉及视频预测的视频解码设备200被称为“视频解码设备200”。

根据实施方式，用于视频解码设备200的解码操作的各种术语(诸如，编码单元、深度、预测单元、变换单元和各种类型的分割信息)的定义与参考图7和视频编码设备100描述的那些定义相同。

接收器210接收并解析编码视频的比特流。图像数据与编码信息提取器220从解析的比特流中提取用于每个编码单元的编码图像数据，其中编码单元具有根据每个最大编码单元的树形结构，并且将提取的图像数据输出到图像数据解码器230。图像数据与编码信息提取器220可以从与当前图片有关的标头、序列参数集或图片参数集中提取与当前图片的编码单元的最大尺寸有关的信息。

此外，图像数据与编码信息提取器220从解析的比特流中提取与根据每个最大编码单元的具有树形结构的编码单元有关的最终深度和分割信息。提取的最终深度和提取的分割信息输出到图像数据解码器230。换言之，比特流中的图像数据分割成最大编码单元，使得图像数据解码器230可以针对每个最大编码单元将图像数据解码。

根据最大编码单元中的每个的深度和分割信息可以针对一项或多项深度信息进行设置，并且根据深度的分割信息可以包括对应编码单元的分区模式信息、预测模式信息以及变换单元的分割信息。此外，作为深度信息，可以提取根据深度的分割信息。

由图像数据与编码信息提取器220提取的根据最大编码单元中的每个的深度和分割信息是被确定当诸如视频编码设备100等编码器根据每个最大编码单元针对根据深度的每个较深编码单元重复执行编码时会生成最小编码误差的深度和分割信息。因此，视频解码设备200可以通过根据生成最小编码误差的编码方法对数据进行解码来重建图像。

由于与深度和编码模式有关的编码信息可以分配到对应编码单元、预测单元和最小单元之中的预定数据单元，因此，图像数据与编码信息提取器220可以根据预定数据单元来提取深度和分割信息。如果对应最大编码单元的深度和分割信息根据预定数据单元中的每个进行记录，那么可以推断，具有相同深度和分割信息的预定数据单元就是包括在相同最大编码单元中的数据单元。

图像数据解码器230可以通过基于根据最大编码单元中的每个的深度和分割信息将每个最大编码单元中的图像数据解码来重建当前图片。换言之，图像数据解码器230可以基于每个最大编码单元中包括的具有树形结构的编码单元之中的、每个编码单元的读取分区模式、预测模式和变换单元对编码的图像数据进行解码。解码过程可以包括预测过程和逆变换过程，所述预测过程包括帧内预测和运动补偿。

基于与根据深度的编码单元的预测单元的分区模式和预测模式有关的信息，图像数据解码器230可以根据每个编码单元的分区和预测模式来执行帧内预测或运动补偿。

此外，为了每个最大编码单元的逆变换，图像数据解码器230可以读取与每个编码单元的根据树形结构的变换单元有关的信息，从而基于每个编码单元的变换单元来执行逆变换。由于逆变换，可以重建编码单元的空间域的像素值。

图像数据解码器230可以通过使用根据深度的分割信息来确定当前最大编码单元的深度。如果分割信息表明在当前深度中的图像数据不再分割，那么当前深度就是深度。因此，图像数据解码器230可以通过使用对应于当前深度的每个编码单元的与预测单元的分区模式、预测模式和变换单元的尺寸有关的信息来对当前最大编码单元的图像数据进行解码。

换言之，通过观察分配给编码单元、预测单元和最小单元之中的预定数据单元的编码信息集，可以收集含有包括相同分割信息的编码信息的数据单元，并且可以将收集的数据单元视作将由图像数据解码器230以相同编码模式解码的一个数据单元。因此，可以通过获取与用于每个编码单元的编码模式有关的信息来对当前编码单元进行解码。

可以包括与视角的数量对应的视频解码设备200的数量，从而通过对所接收的第一层图像流和所接收的第二层图像流进行解码来重建第一层图像和第二层图像。

当接收到第一层图像流时，视频解码设备200的图像数据解码器230可以将由提取器220从第一层图像流中提取的第一层图像的样本分割成最大编码单元的根据树形结构的编码单元。图像数据解码器230可以基于用于图像间预测的预测单元而对第一层图像的样本的根据树形结构的编码单元中的每个执行运动补偿，并且可以重建第一层图像。

当接收到第二层图像流时，视频解码设备200的图像数据解码器230可以将由提取器220从第二层图像流中提取的第二层图像的样本分割成最大编码单元的根据树形结构的编码单元。图像数据解码器230可以基于用于图像间预测的预测单元而对第二层图像的样本的编码单元中的每个执行运动补偿，并且可以重建第二层图像。

提取器220可以从比特流中获取与亮度误差相关的信息，从而补偿第一层图像与第二层图像之间的亮度差。然而，可以根据编码单元的编码模式来确定是否执行亮度补偿。例如，可以只对具有2N×2N尺寸的预测单元执行亮度补偿。

因此，视频解码设备200可以获取与在针对每个最大编码单元递归地执行编码时生成最小编码误差的至少一个编码单元有关的信息，并且可以使用该信息来对当前图片进行解码。换言之，可以对确定是每个最大编码单元中的最佳编码单元的、具有树形结构的编码单元进行解码。

因此，即使图像具有高分辨率或具有过大的数据量，图像仍可以通过使用编码单元的尺寸和编码模式来高效解码和重建，所述编码单元的尺寸和编码模式是通过使用从编码终端接收的最佳分割信息根据图像的特征而自适应地确定的。

图9示出根据各种实施方式的编码单元的概念。

编码单元的尺寸可以由宽度×高度来表示，并且可以是64×64、32×32、16×16和8×8。64×64的编码单元可以分割成64×64、64×32、32×64或32×32的分区，以及32×32的编码单元可以分割成32×32、32×16、16×32或16×16的分区，16×16的编码单元可以分割成16×16、16×8、8×16或8×8的分区，以及8×8的编码单元可以分割成8×8、8×4、4×8或4×4的分区。

在视频数据310中，分辨率是1920×1080，编码单元的最大尺寸是64，并且最大深度是2。在视频数据320中，分辨率是1920×1080，编码单元的最大尺寸是64，并且最大深度是3。在视频数据330中，分辨率是352×288，编码单元的最大尺寸是16，并且最大深度是1。图10所示的最大深度是指从最大编码单元到最小解码单元的总分割次数。

如果分辨率较高或数据量较大，那么优选的是，编码单元的最大尺寸较大，从而不仅增加编码效率，而且准确反映图像的特征。因此，分辨率比视频数据330高的视频数据310和320的编码单元的最大尺寸可以被选择为64。

由于视频数据310的最大深度是2，因此，视频数据310的编码单元315可以包括长轴尺寸为64的最大编码单元，以及长轴尺寸为32和16的编码单元，这是因为通过将最大编码单元分割两次，深度加深两个层。另一方面，由于视频数据330的最大深度是1，因此，视频数据330的编码单元335可以包括长轴尺寸为16的最大编码单元，以及长轴尺寸为8的编码单元，这是因为通过将最大编码单元分割一次，深度加深一层。

由于视频数据320的最大深度是3，因此，视频数据320的编码单元325可以包括长轴尺寸为64的最大编码单元，以及长轴尺寸为32、16和8的编码单元，这是因为通过将最大编码单元分割三次，深度加深3个层。随着深度加深，可以提高详细信息的表达能力.

图10示出根据各种实施方式的基于编码单元的图像编码器400的框图。

根据实施方式的图像编码器400执行视频编码设备100的图片编码器120的操作，从而对图像数据进行编码。换言之，帧内预测器420在当前图像405之中以帧内模式在编码单元上执行帧内预测，并且帧间预测器415通过使用当前图像405和由重建图片缓存器410获取的参考图像以帧间模式在编码单元上根据预测单元执行帧间预测。当前图像405可以被分割成最大编码单元，随后最大编码单元可以相继被编码。就这点而言，可以对将被分割成具有树形结构的编码单元的最大编码单元进行编码。

通过从与当前图像405的已编码的编码单元有关的数据中去除从帧内预测器420或帧间预测器415中输出的与每个模式的编码单元有关的预测数据，生成残差数据，并且残差数据根据变换单元、通过变换器425和量化器430而输出为经量化的变换系数。经量化的变换系数通过反量化器445和逆变换器450而重建成空间域中的残差数据。将空间域中的重建的残差数据添加到从帧内预测器420或帧间预测器415中输出的用于每个模式的编码单元的预测数据，因而重建成用于当前图像405的编码单元的空间域中的数据。空间域中的重建数据通过去块化单元455和SAO执行器460而生成为重建的图像。重建的图像存储在重建图片缓冲器410中。存储在重建图片缓冲器410中的重建的图像可以用作对另一图像进行帧间预测的参考图像。由变换器425和量化器430量化的变换系数可以通过熵编码器435而输出为比特流440。

为了将图像编码器400应用于视频编码设备100，图像编码器400的所有元件(即，帧间预测器415、帧内预测器420、变换器425、量化器430、熵编码器435、反量化器445、逆变换器450、去块化单元455和SAO执行器460)可以基于根据每个最大编码单元的具有树形结构的编码单元之中的每个编码单元来执行操作。

具体而言，帧内预测器420和帧间预测器415可以通过考虑当前最大编码单元的最大尺寸和最大深度来确定具有树形结构的编码单元之中的每个编码单元的分区模式和预测模式，并且变换器425可以确定是否根据具有树形结构的编码单元之中的每个编码单元中的四叉树来分割变换单元。

图11示出根据各种实施方式的基于编码单元的图像解码器500的框图。

熵解码器515对来自比特流505的将被解码的编码图像数据和解码所需的编码信息进行解析。编码的图像数据对应于经量化的变换系数，并且反量化器520和逆变换器525从经量化的变换系数中重建残差数据。

帧内预测器540根据预测单元以帧内模式对编码单元执行帧内预测。帧间预测器535在当前图像之中通过使用参考图像基于编码单元以帧间模式来执行帧间预测，其中由重建图片缓冲器530根据预测单元获取参考图像。

将经过帧内预测器540和帧间预测器535的与每个模式的编码单元有关的预测数据和残差数据相加，从而可以重建与当前图像405的编码单元有关的空间域中的数据，并且空间域中的重建的数据可以通过去块化单元545和SAO执行器550而输出作为重建的图像560。存储在重建图片缓冲器530中的重建的图像可以输出作为参考图像。

为了让视频解码设备200的图片解码器230对图像数据进行解码，可以执行根据实施方式的图像解码器500的熵解码器515之后的操作。

为了将图像解码器500应用于根据实施方式的视频解码设备200，图像解码器500的所有元件(即，熵解码器515、反量化器520、逆变换器525、帧内预测器540、帧间预测器535、去块化单元545和SAO执行器550)可以针对每个最大编码单元基于具有树形结构的编码单元来执行操作。

具体而言，帧内预测器540和帧间预测器535可以确定根据树形结构的编码单元之中的每个编码单元的分区模式和预测模式，并且逆变换器525可以确定是否根据每个编码单元的四叉树来分割变换单元。

图10的编码操作和图11的解码操作被描述为分别是单个层中的视频流编码操作和视频流解码操作。因此，当图1A的图像编码设备10对至少两个层的视频流进行编码时，可以根据层来包括编码器12。

图12示出根据各种实施方式的根据深度的较深编码单元和分区。

根据实施方式的视频编码设备100和根据实施方式的视频解码设备200使用分层编码单元，从而考虑图像的特征。编码单元的最大高度、最大宽度和最大深度可以根据图像的特征而自适应地确定，或者可以根据用户需要而不同地设置。根据深度的较深编码单元的尺寸可以根据编码单元的预定最大尺寸进行确定。

在根据实施方式的编码单元的分层结构600中，编码单元的最大高度和最大宽度均是64，并且最大深度是3。在这种情况下，最大深度表示编码单元从最大编码单元分割到最小编码单元的总次数。由于深度沿着编码单元的分层结构600的竖直轴加深，因此，较深编码单元的高度和宽度均被分割。此外，沿着编码单元的分层结构600的水平轴示出作为每个较深编码单元的预测编码的基础的预测单元和分区。

换言之，编码单元610是编码单元的分层结构600中的最大编码单元，其中深度为0并且尺寸(即，高度乘宽度)为64×64。深度沿着竖直轴加深，而且存在尺寸为32×32且深度为1的编码单元620、尺寸为16×16且深度为2的编码单元630，以及尺寸为8×8且深度为3的编码单元640。尺寸为8×8且深度为3的编码单元640是最小编码单元。

编码单元的预测单元和分区根据每个深度沿着水平轴布置。换言之，如果尺寸为64×64且深度为0的编码单元610是预测单元，那么预测单元可以分割成尺寸为64×64的编码单元610中包括的分区，即，尺寸为64×64的分区610、尺寸为64×32的分区612、尺寸为32×64的分区614，或者尺寸为32×32的分区616。

同样，尺寸为32×32且深度为1的编码单元620的预测单元可以分割成编码单元620中包括的分区，即，尺寸为32×32的分区620、尺寸为32×16的分区622、尺寸为16×32的分区624，以及尺寸为16×16的分区626。

同样，尺寸为16×16且深度为2的编码单元630的预测单元可以分割成编码单元630中包括的分区，即，编码单元630中包括的尺寸为16×16的分区、尺寸为16×8的分区632、尺寸为8×16的分区634，以及尺寸为8×8的分区636。

同样，尺寸为8×8且深度为3的编码单元640的预测单元可以分割成编码单元640中包括的分区，即，编码单元640中包括的尺寸为8×8的分区640、尺寸为8×4的分区642、尺寸为4×8的分区644，以及尺寸为4×4的分区646。

为了确定最大编码单元610的深度，视频编码设备100的编码单元确定器120必须对最大编码单元610中包括的分别与深度对应的编码单元执行编码。

包括相同范围和相同尺寸的数据的、根据深度的较深编码单元的数量随着深度加深而增加。例如，需要四个对应于深度2的编码单元来覆盖一个对应于深度1的编码单元中包括的数据。因此，为了将根据深度的相同数据的编码结果进行比较，必须通过使用对应于深度1的编码单元和对应于深度2的四个编码单元中的每个来对数据进行编码。

为了根据深度中的每个执行编码，可以通过沿着编码单元的分层结构600的水平轴，根据深度对编码单元的预测单元中的每个执行编码，选择出最小编码误差，也就是对应深度的代表性编码误差。此外，随着深度沿着编码单元的分层结构600的竖直轴加深，可以通过针对每个深度执行编码，根据深度来比较代表性编码误差而搜索出最小编码误差。最大编码单元610中生成最小编码误差的深度和分区可以被选作最大编码单元610的深度和分区模式。

图13示出根据各种实施方式的编码单元与变换单元之间的关系。

根据实施方式的视频编码设备100或根据实施方式的视频解码设备200根据每个最大编码单元的、尺寸小于或等于最大编码单元的编码单元对图像进行编码或解码。在编码过程期间用于变换的变换单元的尺寸可以基于不大于对应编码单元的数据单元进行选择。

例如，在视频编码设备100或视频解码设备200中，当编码单元710的尺寸是64×64时，可以通过使用尺寸为32×32的变换单元720来执行变换。

此外，可以通过对尺寸为32×32、16×16、8×8和4×4(都小于64×64)的变换单元中的每个执行变换而对尺寸为64×64的编码单元710的数据进行编码，并且随后可以关于原始图像选择具有最小编码误差的变换单元。

图14示出根据各种实施方式的多项编码信息。

根据实施方式的视频编码设备100的输出器130可以针对与深度对应的每个编码单元来编码并传输分区模式信息800、预测模式信息810和变换单元尺寸信息820，以作为分割信息。

分区模式信息800表明与通过分割当前编码单元的预测单元而获得的分区的形状有关的信息，其中分区是用于对当前编码单元进行预测编码的数据单元。例如，尺寸为2N×2N的当前编码单元CU_0可以分割成下列分区中的任一个：尺寸为2N×2N的分区802、尺寸为2N×N的分区804、尺寸为N×2N的分区806以及尺寸为N×N的分区808。在这种情况下，与当前编码单元有关的分区模式信息800设置成表明下列分区中的一个：尺寸为2N×2N的分区802、尺寸为2N×N的分区804、尺寸为N×2N的分区806以及尺寸为N×N的分区808。

预测模式信息810表明每个分区的预测模式。例如，预测模式信息810可以表明在由分区模式信息800表明的分区上执行的预测编码的模式，即，帧内模式812、帧间模式814或跳跃模式816。

变换单元尺寸信息820表示对当前编码单元执行变换时将依据的变换单元。例如，变换单元可以是下列一个：第一帧内变换单元822、第二帧内变换单元824、第一帧间变换单元826以及第二帧间变换单元828。

视频解码设备200的图像数据与编码信息提取器220可以提取并使用分区模式信息800、预测模式信息810和变换单元尺寸信息820，以根据每个较深编码单元进行解码。

图15示出根据各种实施方式的根据深度的较深编码单元。

分割信息可以用来表示深度的变化。分割信息指明当前深度的编码单元是否分割成较深深度的编码单元。

用于对深度为0且尺寸为2N_0×2N_0的编码单元900进行预测编码的预测单元910可以包括下列分区模式的分区：尺寸为2N_0×2N_0的分区模式912、尺寸为2N_0×N_0的分区模式914、尺寸为N_0×2N_0的分区模式916和尺寸为N_0×N_0的分区模式918。只示出通过对称地分割预测单元而获得的分区模式912、914、916和918，但如上文所述，分区模式不限于此，并且可以包括不对称分区、具有预定形状的分区和具有几何形状的分区。

根据每个分区模式，必须在尺寸为2N_0×2N_0的一个分区、尺寸为2N_0×N_0的两个分区、尺寸为N_0×2N_0的两个分区和尺寸为N_0×N_0的四个分区上重复执行预测编码。可以在尺寸为2N_0×2N_0、N_0×2N_0、2N_0×N_0和N_0×N_0的分区上执行帧内模式和帧间模式的预测编码。可以只在尺寸为2N_0×2N_0的分区上执行跳跃模式的预测编码。

如果尺寸为2N_0×2N_0的分区模式912、尺寸为2N_0×N_0的分区模式914和尺寸为N_0×2N_0的分区模式916中的一个分区模式的编码误差是最小的，那么预测单元910可以不分割到较深深度。

如果尺寸为N_0×N_0的分区模式918的编码误差是最小的，那么深度从0变成1并且执行分割(操作920)，并且可以在深度为2且尺寸为N_0×N_0的分区模式的编码单元930上重复执行编码，从而搜索最小编码误差。

用于对深度为1且尺寸为2N_1×2N_1(＝N_0×N_0)的编码单元930进行预测编码的预测单元940可以包括下列分区模式：尺寸为2N_1×2N_1的分区模式942、尺寸为2N_1×N_1的分区模式944、尺寸为N_1×2N_1的分区模式946和尺寸为N_1×N_1的分区模式948。

如果尺寸为N_1×N_1的分区模式948的编码误差是最小的，那么深度从1变成2并且执行分割(在操作950中)，并且在深度为2且尺寸为N_2×N_2的编码单元960上重复执行编码，从而搜索最小编码误差。

当最大深度为d时，根据深度的较深编码单元可以设置到深度对应于d-1时，并且分割信息可以设置到深度对应于d-2时。换言之，当在对应于深度d-2的编码单元进行分割之后执行编码直到深度为d-1时(在操作970中)，用于对深度为d-1且尺寸为2N_(d-1)×2N_(d-1)的编码单元980进行预测编码的预测单元990可以包括下列分区模式的分区：尺寸为2N_(d-1)×2N_(d-1)的分区模式992、尺寸为2N_(d-1)×N_(d-1)的分区模式994、尺寸为N_(d-1)×2N_(d-1)的分区模式996和尺寸为N_(d-1)×N_(d-1)的分区模式998。

可以在分区模式之中的尺寸为2N_(d-1)×2N_(d-1)的一个分区、尺寸为2N_(d-1)×N_(d-1)的两个分区、尺寸为N_(d-1)×2N_(d-1)的两个分区、尺寸为N_(d-1)×N_(d-1)的四个分区上执行预测编码，从而搜索生成最小编码误差的分区模式。

即使在尺寸为N_(d-1)×N_(d-1)的分区模式998具有最小编码误差时，由于最大深度为d，因此，深度为d-1的编码单元CU_(d-1)不再分割到较深深度，并且构成当前最大编码单元900的编码单元的深度被确定为d-1，而且当前最大编码单元900的分区模式可以被确定为N_(d-1)×N_(d-1)。此外，由于最大深度为d，因此，不设置深度为d-1的编码单元952的分割信息。

数据单元999可以是当前最大编码单元的“最小单元”。根据实施方式的最小单元可以是通过将具有最深深度的最小编码单元分割成4个而获得的正方形数据单元。通过重复执行编码，根据实施方式的视频编码设备100可以通过比较根据编码单元900的深度的编码误差来选择具有最小编码误差的深度从而确定深度，并且将对应分区模式和预测模式设置为该深度的编码模式。

因此，在所有的深度0、1、……、d-1、d中比较根据深度的最小编码误差，并且可以将具有最小编码误差的深度确定为深度。深度、预测单元的分区模式和预测模式可以作为分割信息而被编码和传输。此外，由于编码单元必须从深度0分割到深度，因此，只有深度的分割信息被设置为“0”，而除该深度之外的深度的分割信息被设置为“1”。

根据实施方式的视频解码设备200的图像数据与编码信息提取器220可以提取并使用与编码单元900有关的深度和预测单元信息，从而对编码单元912进行解码。根据实施方式的视频解码设备200可以通过使用根据深度的分割信息而将分割信息为“0”的深度确定为深度，并且可以将与对应深度有关的分割信息用于解码。

图16、图17和图18示出根据各种实施方式的编码单元、预测单元与变换单元之间的关系。

编码单元1010是最大编码单元中的由视频编码设备100确定的、根据深度的较深编码单元。预测单元1060是根据深度的编码单元1010中的每个的预测单元的分区，并且变换单元1070是根据编码深度的编码单元中的每个的变换单元。

当较深编码单元1010中的最大编码单元的深度为0时，编码单元1012和1054的深度为1，编码单元1014、1016、1018、1028、1050和1052的深度为2，编码单元1020、1022、1024、1026、1030、1032和1048的深度为3，以及编码单元1040、1042、1044和1046的深度为4。

预测单元1060之中的一些分区1014、1016、1022、1032、1048、1050、1052和1054是通过分割编码单元而获得的。换言之，分区1014、1022、1050和1054是尺寸为2N×N的分区模式，分区1016、1048和1052是尺寸为N×2N的分区模式，并且分区1032是尺寸为N×N的分区模式。较深编码单元1010的预测单元和分区小于或等于每个编码单元。

在小于编码单元1052的数据单元中，对变换单元1070中的编码单元1052的图像数据执行变换或逆变换。此外，变换单元1760中的编码单元1014、1016、1022、1032、1048、1050、1052和1054是在尺寸和形状方面不同于预测单元1060中的数据单元的数据单元。换言之，根据实施方式的视频编码设备100和视频解码设备200可以对相同编码单元中的单个数据单元执行帧内预测/运动估算/运动补偿/以及变换/逆变换。

因此，对最大编码单元的每个区域中具有分层结构的编码单元中的每个递归地执行编码，从而确定最佳编码单元，因此，可以获得根据递归树形结构的编码单元。编码信息可以包括与编码单元有关的分割信息、分区模式信息、预测模式信息，以及变换单元尺寸信息。下列表1示出可以由根据实施方式的视频编码设备100和视频解码设备200设置的编码信息。

表1

根据实施方式的视频编码设备100的输出器130可以输出与具有树形结构的编码单元有关的编码信息，并且根据实施方式的视频解码设备200的图像数据与编码信息提取器220可以从接收的比特流中提取与具有树形结构的编码单元有关的编码信息。

分割信息指明当前编码单元是否分割成较深深度的编码单元。如果当前深度d的分割信息为0，那么当前编码单元不再分割到较深深度所在的深度是深度，因此，可以针对该深度来定义分区模式信息、预测模式信息和变换单元尺寸信息。如果当前编码单元必须根据分割信息进一步分割，那么必须在较深深度的四个分割编码单元中的每个上独立执行编码。

预测模式可以是帧内模式、帧间模式和跳跃模式中的一个。帧内模式和帧间模式可以限定于所有分区模式，而跳跃模式只限定于尺寸为2N×2N的分区模式。

分区模式信息可以表明通过对称地分割预测单元的高度或宽度而获得的尺寸为2N×2N、2N×N、N×2N和N×N的对称分区模式，以及通过不对称地分割预测单元的高度或宽度而获得的尺寸为2N×nU、2N×nD、nL×2N和nR×2N的不对称分区模式。可以通过以1:3和3:1分割预测单元的高度来分别获取尺寸为2N×nU和2N×nD的不对称分区模式，并且可以通过以1:3和3:1分割预测单元的宽度来分别获取尺寸为nL×2N和nR×2N的不对称分区模式。

变换单元的尺寸可以设置为在帧内模式下有两个类型并且在帧间模式下有两个类型。换言之，如果变换单元的分割信息为0，那么变换单元的尺寸可以是2N×2N，也就是当前编码单元的尺寸。如果变换单元的分割信息为1，那么可以通过分割当前编码单元来获得变换单元。此外，如果尺寸为2N×2N的当前编码单元的分区模式是对称分区模式，那么变换单元的尺寸可以是N×N，并且如果当前编码单元的分区模式是不对称分区模式，那么变换单元的尺寸可以是N/2×N/2。

根据实施方式的与具有树形结构的编码单元有关的编码信息可以分配到与深度对应的编码单元、预测单元和最小单元中的至少一个。与深度对应的编码单元可以包括含有相同编码信息的预测单元和最小单元中的至少一个。

因此，通过比较相邻数据单元的编码信息来确定相邻数据单元是否包括在对应于深度的相同编码单元中。此外，通过使用数据单元的编码信息来确定对应于深度的对应编码单元，因此可以推断出最大编码单元中的深度的分布。

因此，如果基于相邻数据单元的编码信息来预测当前编码单元，那么可以直接参考并使用与当前编码单元相邻的较深编码单元中的数据单元的编码信息。

在另一实施方式中，如果基于相邻数据单元的编码信息来预测当前编码单元，那么可以通过使用数据单元的编码信息来搜索与当前编码单元相邻的数据单元，并且可以参考搜索到的相邻编码单元来预测当前编码单元。

图19示出根据表1的编码模式信息的编码单元、预测单元与变换单元之间的关系。

最大编码单元1300包括编码单元1302、1304、1306、1312、1314、1316、以及具有深度的编码单元1318。此处，由于编码单元1318是具有深度的编码单元，因此，分割信息可以设置为0。尺寸为2N×2N的编码单元1318的分区模式信息可以设置为包括下列的分区模式中的一个：2N×2N 1322、2N×N 1324、N×2N 1326、N×N 1328、2N×nU 1332、2N×nD 1334、nL×2N 1336和nR×2N 1338。

变换单元分割信息(TU尺寸标记)是一种变换索引，并且与变换索引对应的变换单元的尺寸可以根据编码单元的预测单元类型或分区模式而改变。

例如，当分区模式信息设置为对称分区模式2N×2N 1322、2N×N 1324、N×2N1326和N×N 1328中的一个时，如果变换单元分割信息为0，那么设置尺寸为2N×2N的变换单元1342，并且如果变换单元分割信息为1，那么可以设置尺寸为N×N的变换单元1344。

当分区模式信息设置为不对称分区模式2N×nU 1332、2N×nD 1334、nL×2N 1336和nR×2N 1338中的一个时，如果变换单元分割信息(TU尺寸标记)为0，那么可以设置尺寸为2N×2N的变换单元1352，并且如果变换单元分割信息为1，那么可以设置尺寸为N/2×N/2的变换单元1354。

上文参考图19描述的变换单元分割信息(TU尺寸标记)是值为0或1的标记，但根据实施方式的变换单元分割信息不限于具有1比特的标记，并且变换单元可以分层地分割，而同时变换单元分割信息根据设置以0、1、2、3等的方式增长。变换单元分割信息可以是变换索引的示例。

在这种情况下，实际使用的变换单元的尺寸可以通过使用根据实施方式的变换单元分割信息以及变换单元的最大尺寸和变换单元的最小尺寸一起来表示。根据实施方式的视频编码设备100可以对最大变换单元尺寸信息、最小变换单元尺寸信息和最大变换单元分割信息进行编码。对最大变换单元尺寸信息、最小变换单元尺寸信息和最大变换单元分割信息进行编码的结果可以***到SPS。根据实施方式的视频解码设备200可以通过使用最大变换单元尺寸信息、最小变换单元尺寸信息和最大变换单元分割信息来对视频进行解码。

例如，(a)如果当前编码单元的尺寸是64×64并且最大变换单元尺寸是32×32，那么(a-1)变换单元的尺寸在TU尺寸标记为0时可以是32×32，(a-2)在TU尺寸标记为1时可以是16×16，以及(a-3)在TU尺寸标记为2时可以是8×8。

作为另一示例，(b)如果当前编码单元的尺寸是32×32并且最小变换单元尺寸是32×32，那么(b-1)变换单元的尺寸在TU尺寸标记为0时可以是32×32。此处，由于变换单元的尺寸不可小于32×32，因此，TU尺寸标记无法设置成除了0之外的值。

作为另一示例，(c)如果当前编码单元的尺寸是64×64并且最大TU尺寸标记是1，那么TU尺寸标记可以是0或1。此处，TU尺寸标记无法设置成除了0或1之外的值。

因此，如果将最大TU尺寸标记定义为“MaxTransformSizeIndex”，将最小变换单元尺寸定义为“MinTransformSize”，并且当TU尺寸标记为0时变换单元尺寸为“RootTuSize”，那么可以在当前编码单元中确定的当前最小变换单元尺寸“CurrMinTuSize”可由等式(1)定义：

CurrMinTuSize

＝max(MinTransformSize,RootTuSize/(2*MaxTransformSizeIndex))...(1)

与可以在当前编码单元中确定的当前最小变换单元尺寸“CurrMinTuSize”相比，TU尺寸标记为0时的变换单元尺寸“RootTuSize”可表示可以在***中选择的最大变换单元尺寸。换言之，在等式(1)中，“RootTuSize/(2^MaxTransformSizeIndex)”表示在TU尺寸标记为0时变换单元尺寸“RootTuSize”被分割对应于最大TU尺寸标记的次数时的变换单元尺寸，并且“MinTransformSize”表示最小变换尺寸。因此，“RootTuSize/(2^MaxTransformSizeIndex)”和“MinTransformSize”之中的较小值可以是可在当前编码单元中确定的当前最小变换单元尺寸“CurrMinTuSize”。

根据实施方式，最大变换单元尺寸RootTuSize可以根据预测模式的类型而改变。

例如，如果当前预测模式是帧间模式，那么“RootTuSize”可以通过使用下列等式(2)来确定。在等式(2)中，“MaxTransformSize”表示最大变换单元尺寸，并且“PUSize”表示当前预测单元尺寸。

RootTuSize＝min(MaxTransformSize,PUSize).........(2)

换言之，如果当前预测模式是帧间模式，那么在TU尺寸标记为0时，变换单元尺寸“RootTuSize”可以是最大变换单元尺寸和当前预测单元尺寸之中的较小值。

如果当前分区单元的预测模式是帧内模式，那么“RootTuSize”可以通过使用下列等式(3)来确定。在等式(3)中，“PartitionSize”表示当前分区单元的尺寸。

RootTuSize＝min(MaxTransformSize,PartitionSize)...........(3)

换言之，如果当前预测模式是帧内模式，那么在TU尺寸标记为0时，变换单元尺寸“RootTuSize”可以是最大变换单元尺寸和当前分区单元的尺寸之中的较小值。

然而，根据分区单元中的预测模式的类型而改变的当前最大变换单元尺寸“RootTuSize”仅仅是实施方式，并且用于确定当前最大变换单元尺寸的因素不限于此。

根据上文参考图7到图19描述的基于树形结构的编码单元的视频编码方法，空间域的图像数据在树形结构的编码单元的每个中进行编码，并且空间域的图像数据按根据基于树形结构的编码单元的视频解码方法对每个最大编码单元执行解码的方式进行重建，从而可以重建由图片和图片序列形成的视频。重建的视频可以由播放设备播放、可以存储在存储介质中，或可以经由网络传输。

一个或多个实施方式可以编写为计算机程序，并且可以在使用非暂时性计算机可读记录介质执行程序的通用数字计算机中实施。非暂时性计算机可读记录介质的示例包括磁存储介质(例如，ROM、软盘、硬盘等)、光记录介质(例如，CD-ROM或DVD)等。

为便于描述，参考图1A到图19描述的图像编码方法和/或视频编码方法将统一被称为“视频编码方法”。此外，参考图1A到图19描述的图像解码方法和/或视频解码方法将统一被称为“视频解码方法”。

此外，参考图1A到图19描述的视频编码设备(包括图像编码设备40、视频编码设备100或图像编码器400)将统一被称为“视频编码设备”。此外，参考图1A到图20描述的视频解码设备(包括图像解码设备30、视频解码设备200或图像解码器500)将统一被称为“视频解码设备”。

现在将详细描述根据实施方式的存储程序的非暂时性计算机可读记录介质，诸如，盘片26000。

图20示出根据各种实施方式的存储有程序的盘片26000的物理结构。作为一种存储介质，盘片26000可以是硬盘驱动器、压缩只读存储器(CD-ROM)盘、蓝光光盘或数字多功能盘(DVD)。盘片26000包括多个同心盘道Tr，所述同心盘道Tr各自在盘片26000的圆周方向上分成特定数量的扇区Se。在盘片26000的特定区域中，可以分配并存储执行上述量化参数确定方法、视频编码方法和视频解码方法的程序。

现在将参考图22描述使用存储介质实现的计算机***，所述存储介质存储用于执行上述视频编码方法和视频解码方法的程序。

图21示出通过使用盘片26000来记录和读取程序的盘片驱动器26800。计算机***26700可以经由盘片驱动器26800而在盘片26000中存储用于执行根据实施方式的视频编码方法和视频解码方法中的至少一个的程序。为了在计算机***26700中运行存储在盘片26000中的程序，可以从盘片26000中读取程序并且可以通过使用盘片驱动器26800将它传输到计算机***26700。

执行根据实施方式的视频编码方法和视频解码方法中的至少一个的程序不仅可以存储在图20和图21所示的盘片26000中，而且还可以存储在存储卡、ROM盒式磁带或固态驱动器(SSD)中。

下文将描述应用上文所述的根据实施方式的视频编码方法和视频解码方法的***。

图22示出用于提供内容分发服务的内容供应***11000的整体结构。通信***的服务区域分成预定尺寸的小区，并且无线基站11700、11800、11900和12000分别安装在这些小区中。

内容供应***11000包括多个独立装置。例如，诸如计算机12100、个人数字助理(PDA)12200、摄像机12300和移动电话12500等多个独立装置经由互联网服务提供商11200、通信网络11400以及无线基站11700、11800、11900和12000连接到互联网11100。

然而，内容供应***11000不限于如图22所示，并且装置可以选择性地连接到该***。多个独立装置可以直接连接到通信网络11400，而不经过无线基站11700、11800、11900和12000。

摄像机12300是能够拍摄视频图像的成像装置，例如，数字摄像机。移动电话12500可以采用例如个人数字通信(PDC)、码分多址(CDMA)、宽带码分多址(W-CDMA)、全球移动通信***(GSM)以及个人手持式电话***(PHS)等各种协议中的至少一个通信方法。

摄像机12300可以经由无线基站11900和通信网络11400连接到流式服务器11300。流式服务器11300允许经由摄像机12300从用户接收的内容经过实时广播进行流传输。从摄像机12300接收的内容可以由摄像机12300或流式服务器11300进行编码。由摄像机12300拍摄的视频数据可以经由计算机12100传输到流式服务器11300。

由相机12600拍摄的视频数据也可以经由计算机12100传输到流式服务器11300。相机12600是能够拍摄静态图像和视频图像的成像装置，类似于数字相机。由相机12600拍摄的视频数据可以使用相机12600或计算机12100进行编码。对视频执行编码和解码的软件可以存储在可由计算机12100访问的非暂时性计算机可读记录介质中，例如，CD-ROM盘、软盘、硬盘驱动器、SSD或存储卡。

如果视频数据由内置在移动电话12500中的相机拍摄，那么可以从移动电话12500中接收视频数据。

视频数据可以由安装在摄像机12300、移动电话12500或相机12600中的大规模集成电路(LSI)***进行编码。

在根据实施方式的内容供应***11000中，由用户使用摄像机12300、相机12600、移动电话12500或另一成像装置记录的内容数据(例如，在音乐会期间记录的内容)被编码并传输到流式服务器11300。流式服务器11300可以采用流内容类型将编码的内容数据传输到请求内容数据的其他客户端。

客户端是能够对编码的内容数据进行解码的装置，例如，计算机12100、PDA12200、摄像机12300或移动电话12500。因此，内容供应***11000允许客户端接收和播放编码的内容数据。此外，内容供应***11000允许客户端接收编码的内容数据，并且实时解码和播放编码的内容数据，从而实现个人播放。

内容供应***11000中包括的多个独立装置的编码和解码操作可以类似于根据实施方式的视频编码设备和视频解码设备的那些操作。

现在将参考图23和图24详细地描述根据实施方式的内容供应***11000中包括的移动电话12500。

图23示出根据各种实施方式的应用视频编码方法和视频解码方法的移动电话12500的外部结构。移动电话12500可以是智能电话，它的功能不受限制并且其大量的功能可以改变或扩展。

移动电话12500包括外部天线12510，经由该外部天线12510，射频(RF)信号可以与无线基站12000进行交换，移动电话12500还包括显示屏12520，所述显示屏12520用于显示由相机12530拍摄的图像或经由天线12510接收并解码的图像，例如，液晶显示器(LCD)或有机发光二极管(OLED)屏。移动电话12500包括操作面板12540，所述操作面板12540包括控制按钮和触摸面板。如果显示屏12520是触摸屏，那么操作面板12540还包括显示屏12520的触摸感应面板。移动电话12500包括用于输出语音和声音的扬声器12580或另一类型的声音输出单元，以及用于输入语音和声音的麦克风12550或另一类型的声音输入单元。移动电话12500还包括相机12530，诸如，电荷耦合装置(CCD)相机，以拍摄视频或静态图像。移动电话12500还可以包括：存储介质12570，该存储介质12570用于存储编码/解码的数据，例如，由相机12530拍摄、经由电子邮件接收或根据各种方式获取的视频或静态图像；以及槽12560，存储介质12570经由该槽12560装载到移动电话12500中。存储介质12570可以是闪存，例如，安全数字(SD)卡或者包括在塑料盒中的电可擦除可编程只读存储器(EEPROM)。

图24示出移动电话12500的内部结构。为了***地控制包括显示屏12520和操作面板12540的移动电话12500的部分，电源电路12700、操作输入控制器12640、图像编码器12720、相机接口12630、LCD控制器12620、图像解码器12690、多路复用器/多路分解器12680、记录/读取单元12670、调制/解调单元12660以及声音处理器12650经由同步总线12730连接到中央处理器12710。

如果用户操作电源按钮并从“关机”状态设置到“开机”状态，那么电源电路12700将电力从电池组供应到移动电话12500的所有部分，从而将移动电话12500设置到操作模式。

中央控制器12710包括CPU、只读存储器(ROM)和随机存取存储器(RAM)。

在移动电话12500将通信数据传输到外部时，移动电话12500在中央控制器12710的控制下生成数字信号。例如，声音处理器12650可以生成数字声音信号，图像编码器12720可以生成数字图像信号，并且消息的文本数据可以经由操作面板12540和操作输入控制器12640生成。当数字信号在中央控制器12710的控制下传输到调制/解调单元12660时，调制/解调单元12660对数字信号的频带进行调制，并且通信电路12610对频带经调制的数字声音信号执行数模转换(DAC)和频率转换。从通信电路12610输出的传输信号可以经由天线12510传输到语音通信基站或无线基站12000。

例如，当移动电话12500处于对话模式时，经由麦克风12550获取的声音信号在中央控制器12710的控制下被声音处理器12650转换成数字声音信号。所生成的数字声音信号可以通过调制/解调单元12660和通信电路12610转换成传输信号，并且可以经由天线12510进行传输。

当文本消息(例如，电子邮件)在数据通信模式期间传输时，文本消息的文本数据经由操作面板12540输入，并且经由操作输入控制器12640传输到中央控制器12610。在中央控制器12610的控制下，文本数据经由调制/解调单元12660和通信电路12610变换成传输信号，并且经由天线12510传输到无线基站12000。

为了在数据通信模式期间传输图像数据，经由相机接口12630将相机12530拍摄的图像数据提供到图像编码器12720。拍摄的图像数据可以经由相机接口12630和LCD控制器12620直接显示在显示屏12520上。

图像编码器12720的结构可以对应于根据实施方式的视频编码设备100的结构。图像编码器12720可以根据上述视频编码方法将从相机12530接收的图像数据变换成压缩且编码的图像数据，并且随后将编码的图像数据输出到多路复用器/多路分解器12680。在相机12530的记录操作期间，由移动电话12500的麦克风12550获得的声音信号可以经由声音处理器12650变换成数字声音数据，并且数字声音数据可以传输到多路复用器/多路分解器12680。

多路复用器/多路分解器12680将从图像编码器12720接收的编码图像数据与从声音处理器12650接收的声音数据多路复用。多路复用数据的结果可以经由调制/解调单元12660和通信单元12610转换成传输信号，并且随后可以经由天线12510传输。

当移动电话12500接收来自外部的通信数据时，对经由天线12510接收的信号执行频率恢复和模数转换(ADC)，以将该信号转换成数字信号。调制/解调单元12660对数字信号的频带进行调制。根据数字信号的类型，频带经过调制的数字信号传输到视频解码器12690、声音处理器12650或LCD控制器12620。

在对话模式期间，移动电话12500将经由天线12510接收的信号放大，并且通过对放大的信号执行频率转换和ADC来获取数字声音信号。在中央控制器12710的控制下，接收的数字声音信号经由调制/解调单元12660和声音处理器12650转换成模拟声音信号，并且模拟声音信号经由扬声器12580输出。

当在数据通信模式期间时，接收在互联网网站访问的视频文件的数据，经由调制/解调单元12660将经由天线12510从无线基站12000接收的信号输出为多路复用数据，并且将多路复用数据传输到多路复用器/多路分解器12680。

为了对经由天线12510接收的多路复用的数据进行解码，多路复用器/多路分解器12680将多路复用的数据多路分解成编码视频数据流和编码音频数据流。经由同步总线12730，编码视频数据流和编码音频数据流分别被提供到视频解码器12690和声音处理器12650。

图像解码器12690的结构可以对应于上文所述的视频解码设备的结构。通过使用上述视频解码方法，图像解码器12690可以对编码的视频数据进行解码，以获得重建的视频数据，并且经由LCD控制器12620将重建的视频数据提供到显示屏12520。

因此，在互联网网站访问的视频文件的数据可以显示在显示屏12520上。同时，声音处理器12650可以将音频数据转换成模拟声音信号，并且将模拟声音信号提供到扬声器12580。因此，在互联网网站访问的视频文件中含有的音频数据也可以经由麦克风12580而播放。

移动电话12500或另一类型的通信终端可以是包括根据实施方式的视频编码设备和视频解码设备的收发终端，可以是只包括根据实施方式的视频编码设备的发射终端，或者可以是只包括根据实施方式的视频解码设备的接收终端。

根据实施方式的通信***不限于上文参考图24描述的通信***。例如，图25示出根据各种实施方式的采用通信***的数字广播***。图25的数字广播***可以通过使用根据实施方式的视频编码设备和视频解码设备来接收经由卫星或地面网络传输的数字广播。

更具体地，广播站12890通过使用无线电波而将视频数据流传输到通信卫星或广播卫星12200。广播卫星12200传输广播信号，并且广播信号经由***12860传输到卫星广播接收器。在每个家庭中，编码的视频流可以由TV接收器12810、机顶盒12870或另一装置解码并播放。

当根据实施方式的视频解码设备在播放设备12130中实施时，播放设备12130可以对记录在存储介质12120(诸如，盘片或存储卡)上的编码视频流进行解析和解码，以重建数字信号。因此，重建的视频信号可以例如在显示器12840上播放。

在连接到用于卫星/地面广播的天线12860或用于接收电缆电视(TV)广播的电缆12850的机顶盒12870中，可以安装根据实施方式的视频解码设备。从机顶盒12870输出的数据也可以在TV显示器12880上播放。

作为另一示例，根据实施方式的视频解码设备可以安装在TV接收器12810中，而不是在机顶盒12870中。

具有适当天线12210的汽车12220可以接收从卫星12200或无线基站11700传输的信号。解码的视频可以在安装于汽车12230中的车载导航***12220的显示屏上播放。

视频信号可以由根据实施方式的视频编码设备进行编码，并且随后可以记录并存储到存储介质中。更具体地，图像信号可以由DVD记录器存储在DVD光盘12960中，或者可以由硬盘记录器12950存储在硬盘中。作为另一示例，视频信号可以存储在SD卡12970中。如果硬盘记录器12950包括根据实施方式的视频解码设备，那么记录在DVD光盘12960、SD卡12970或另一存储介质上的视频信号可以在TV显示器12880上播放。

车载导航***12930可以不包括图26的相机12530、相机接口12630和图像编码器12720。例如，计算机12100和TV接收器12810可以不包括图26的相机12530、相机接口12630和图像编码器12720。

图26示出根据各种实施方式的使用视频编码设备和视频解码设备的云计算***的网络结构。

云计算***可以包括云计算服务器14000、用户数据库(DB)14100、多个计算资源14200以及用户终端。

响应于来自用户终端的请求，云计算***经由数据通信网络(例如，互联网)来提供多个计算资源14200的按需外包服务。在云计算环境下，通过使用虚拟化技术将位于物理上不同位置的数据中心处的计算资源相结合，服务提供商为用户提供所需的服务。服务用户不必将计算资源(例如，应用程序、存储器、操作***(OS)和安全软件)安装到他/她自己的终端中以进行使用，而是可以在所需的时间点从通过虚拟化技术生成的虚拟空间中的服务之中选择并使用所需服务。

指定服务用户的用户终端经由包括互联网和移动远程通信网络的数据通信网络连接到云计算服务器14000。从云计算服务器14000可以对用户终端提供云计算服务，具体地如视频播放服务。用户终端可以是能够连接到互联网的各种类型的电子装置，例如，台式PC 14300、智能TV 14400、智能电话14500、笔记本电脑14600、便携式多媒体播放器(PMP)14700、平板PC 14100等。

云计算服务器14000可以将分布在云网络中的多个计算资源14200进行组合，并且可以将组合的结果提供到用户终端。多个计算资源14200可以包括各种数据服务，并且可以包括从用户终端上传的数据。如上文所述，云计算服务器14000可以通过根据虚拟化技术将分布在不同区域中的视频数据库进行组合来将所需的服务提供到用户终端。

与订阅云计算服务的用户有关的用户信息存储在用户数据库14100中。用户信息可以包括用户的登录信息、地址、名字和个人信用信息。用户信息还可以包括视频的索引。此处，索引可以包括已经播放的视频列表、正在播放的视频列表、曾经播放的视频的暂停点等。

存储在用户数据库14100中的与视频有关的信息可以在用户装置之间共享。例如，当响应于来自笔记本电脑14600的请求而将视频服务提供到笔记本电脑14600时，视频服务的播放历史便存储在用户数据库14100中。当从智能电话14500接收播放该视频服务的请求时，云计算服务器14000基于用户数据库14100来搜索并播放该视频服务。当智能电话14500接收来自云计算服务器14000的视频数据流时，通过对视频数据流进行解码来播放视频的过程类似于上文参考图24描述的移动电话12500的操作。

云计算服务器14000可以参考存储在用户数据库14100中的所需视频服务的播放历史。例如，云计算服务器14000接收来自用户终端的播放存储在用户数据库14100中的视频的请求。如果这个视频已在播放，那么由云计算服务器14000执行的流传输这个视频的方法可以根据用户终端的请求而改变，即，根据从视频的开头还是暂停点开始播放该视频。例如，如果用户终端请求从开头开始播放该视频，那么云计算服务器14000将从第一帧开始的视频的流数据传输到用户终端。另一方面，如果用户终端请求从暂停点开始播放该视频，那么云计算服务器14000将从对应于暂停点的帧开始的视频的流数据传输到用户终端。

此处，用户终端可以包括如上文参考图1A到图19描述的根据实施方式的视频解码设备。作为另一示例，用户终端可以包括如上文参考图1A到图20描述的根据实施方式的视频编码设备。或者，用户终端可以包括如上文参考图1A到图19描述的根据实施方式的视频编码设备和视频解码设备两者。

上文参考图20到图26描述了上文参考图1A到图19描述的图像编码方法、图像解码方法、图像编码设备和图像解码设备的各种应用。然而，将上文参考图1A到图19描述的视频编码方法和视频解码方法存储在存储介质中的方法的各种实施方式或者在装置中实施视频编码设备和视频解码设备的方法的各种实施方式不限于图20到图26的实施方式。

虽然已参考本公开的实施方式具体示出并描述了本公开，但本领域普通技术人员将理解，在不脱离所附权利要求的精神和范围的情况下，可以在形式和细节方面对本公开作出各种改变。因此，本公开的范围并不由本公开的详细描述限定，而是由所附权利要求限定，并且该范围内的所有差异都将被解释为包括在本公开中。

Claims (21)

1.对图像进行编码的方法，所述方法包括：

确定所述图像中包括的至少一个压缩单元；

确定对当前压缩单元中包括的多个样本进行变更的方案；

基于所确定的至少一个压缩单元和所确定的方案变更所述当前压缩单元的多个样本；

将包括变更后的多个样本的图像的最大编码单元中的一个最大编码单元分割成至少一个编码单元；

通过使用从所述至少一个编码单元中确定的至少一个预测单元来执行预测；以及

通过使用从所述至少一个编码单元中确定的至少一个变换单元来执行变换，从而对所述至少一个编码单元进行编码，

其中，所述编码包括：生成包括第一信息的比特流，所述第一信息表明所确定的方案。

2.根据权利要求1所述的方法，其中，变更所述多个样本包括：通过使用与所确定的方案对应的方案来变更与所述当前压缩单元的边界相邻的邻近压缩单元的多个样本。

3.根据权利要求2所述的方法，其中，所述编码包括：通过使用所述邻近压缩单元的变更后的多个样本对所述当前压缩单元的多个样本执行预测。

4.根据权利要求2所述的方法，其中，确定所述方案包括：基于对所述邻近压缩单元的多个样本进行变更的方案确定对所述当前压缩单元的多个样本进行变更的方案。

5.根据权利要求1所述的方法，其中，变更所述多个样本包括：当在所述至少一个编码单元中执行帧间预测时，通过使用对所述当前压缩单元的多个样本进行变更的方案来变更由当前帧参考的至少一个参考帧上的压缩单元的多个样本。

6.根据权利要求1所述的方法，其中，生成包括所述第一信息的比特流包括：基于包括与可变更方案有关的信息的查询表生成包括与所确定的方案对应的所述第一信息的比特流。

7.根据权利要求1所述的方法，还包括：

生成包括第二信息的比特流，所述第二信息表明是否对所述多个样本进行变更，

其中，确定所述方案包括：在所述第二信息表明对所述多个样本进行变更时，确定对所述多个样本进行变更的方案。

8.根据权利要求1所述的方法，其中，确定所述方案包括：基于所述图像的率失真代价确定所述方案。

9.根据权利要求1所述的方法，其中，所述方案包括对所述当前压缩单元的多个样本进行的采样、翻转、滤波、变换、旋转和变形中的至少一项。

10.对图像进行解码的方法，所述方法包括：

将所述图像的最大编码单元中的一个最大编码单元分割成至少一个编码单元；

基于从所述至少一个编码单元中确定的至少一个预测单元执行预测；

基于从所述编码单元中确定的至少一个变换单元对所述图像执行逆变换；

确定基于所述预测和所述逆变换重建的图像中包括的至少一个压缩单元；

从比特流中获取第一信息，所述第一信息表明对当前压缩单元中包括的多个样本进行变更的方案；

基于所获取的第一信息确定对所述多个样本进行变更的方案；以及

基于所确定的至少一个压缩单元和所确定的方案变更所述当前压缩单元的多个样本。

11.根据权利要求10所述的方法，其中，变更所述多个样本还包括：通过使用与所确定的方案对应的方案来变更与所述当前压缩单元的边界相邻的邻近压缩单元的多个样本。

12.根据权利要求11所述的方法，其中，执行所述预测包括：通过使用所述邻近压缩单元的变更后的多个样本对所述当前压缩单元的多个样本执行预测。

13.根据权利要求10所述的方法，其中，确定所述方案包括：基于对所述邻近压缩单元的多个样本进行变更的方案确定对所述当前压缩单元的多个样本进行变更的方案。

14.根据权利要求10所述的方法，其中，变更所述多个样本包括：当在所述至少一个编码单元中执行帧间预测时，通过使用对所述当前压缩单元的多个样本进行变更的方案来变更由当前帧参考的至少一个参考帧上的压缩单元的多个样本。

15.根据权利要求10所述的方法，其中，确定所述方案包括：基于包括所述第一信息和与可变更方案有关的信息的查询表确定对所述多个样本进行变更的方案。

16.根据权利要求10所述的方法，还包括从所述比特流中获取第二信息，所述第二信息表明是否对所述多个样本进行变更，

其中，确定所述方案包括：在所述第二信息表明对所述多个样本进行变更时，确定对所述多个样本进行变更的方案。

17.根据权利要求9所述的方法，其中，所述方案包括对所述当前压缩单元的多个样本进行的采样、翻转、滤波、变换、旋转和变形中的至少一项。

18.用于对图像进行编码的设备，所述设备包括：

编码器，所述编码器配置成：

确定所述图像中包括的至少一个压缩单元；

确定对当前压缩单元中包括的多个样本进行变更的方案；

基于所确定的至少一个压缩单元和所确定的方案变更所述当前压缩单元的多个样本；

将包括变更后的多个样本的图像的最大编码单元中的一个最大编码单元分割成至少一个编码单元；

通过使用从所述至少一个编码单元中确定的至少一个预测单元来执行预测；以及

通过使用从所述至少一个编码单元中确定的至少一个变换单元来执行变换，从而对所述至少一个编码单元进行编码，以及

比特流生成器，所述比特流生成器配置成生成包括第一信息的比特流，所述第一信息表明所确定的方案。

19.用于对图像进行解码的设备，所述设备包括：

信息获取器，所述信息获取器配置成从比特流中获取第一信息，所述第一信息表明对当前压缩单元中包括的多个样本进行变更的方案；以及

解码器，所述解码器配置成：

基于与所述图像的编码单元的最大尺寸有关的信息将所述图像的最大编码单元中的一个最大编码单元分割成至少一个编码单元；

基于从所述至少一个编码单元中确定的至少一个预测单元执行预测；

基于从所述编码单元中确定的至少一个变换单元对所述图像执行逆变换；

确定基于所述预测和所述逆变换而重建的图像中包括的至少一个压缩单元；

基于所获取的第一信息确定对所述多个样本进行变更的方案；

基于所确定的至少一个压缩单元和所确定的方案变更所述当前压缩单元的多个样本；以及

基于所述变更的结果和所述至少一个预测单元执行预测。

20.非暂时性计算机可读记录介质，所述非暂时性计算机可读记录介质上记录有程序，所述程序在被计算机执行时实施根据权利要求1所述的方法。

21.非暂时性计算机可读记录介质，所述非暂时性计算机可读记录介质上记录有程序，所述程序在被计算机执行时实施根据权利要求9所述的方法。