CN104641641A - 编码装置、编码方法、解码装置和解码方法 - Google Patents

Abstract

本技术涉及编码装置、编码方法、解码装置和解码方法，其使得控制对包括多层结构的图像的滤波处理的信息可以被共享。增强编码单元基于控制信息针对增强层中的解码图像执行自适应偏移滤波处理，所述控制信息是用来控制在对基本图像的编码中使用的自适应偏移滤波处理的信息。增强编码单元通过使用增强层中被执行自适应偏移滤波处理的解码图像作为参考图像来对增强图像进行编码并生成编码数据。传输单元传输该编码数据。本技术例如可以被应用于编码装置。

Description

编码装置、编码方法、解码装置和解码方法

技术领域

本技术涉及编码装置、编码方法、解码装置和解码方法。具体而言，本技术涉及其中用来控制对包括分层结构的图像的滤波处理的信息可以被共享的编码装置、编码方法、解码装置和解码方法。

背景技术

近来，与诸如移动图像专家组阶段(MPEG)之类的***兼容的装置正变得广泛用于来自广播站等的信息分发以及标准家庭里的信息接收两者。该装置将图像信息看作数字的并且为了高效地传输和累积信息而通过使用图像信息的独特冗余通过诸如离散余弦变换之类的正交变换和运动补偿来执行压缩。

具体而言，MPEG-2(ISO/IEC 13818-2)***被定义为通用图像编码***，并且是涵盖交错扫描图像和顺序扫描图像两者并且涵盖标准分辨率图像和高精度图像的标准。当前，MPEG-2***被广泛用于针对专业人员和消费者两者的各种应用。通过使用MPEG-2***，例如，当针对具有720×480像素的标准分辨率的交错扫描图像指派四至八Mbps的代码量(比特率)时，或者当针对具有1920×1088像素的高分辨率的交错扫描图像指派18至22Mbps的代码量(比特率)时，可以实现高压缩率和高图像质量。

MPEG-2的一个目的主要是符合广播的高图像质量编码，但是不对应于代码量(比特率)比MPEG-1的编码量更小的编码***，即具有更高压缩率的编码***。随着移动终端的传播，认为对这种编码***的需要在未来增加。相应地，MPEG4编码***的标准化已被执行。关于MPEG4的图像编码***，一项标准在1998年12月被批准为作为ISO/IEC 14496-2的国际标准。

此外，近来，原本为了视频会议的图像编码，称为H.26L(ITU-TQ6/16 VCEG)的标准的标准化正在进行。已经知道，与诸如MPEG2或MPEG4之类的传统编码***相比，在H.26L中，尽管在编码和解码时需要大量运算，但是可以实现更高的编码效率。

此外，当前，作为MPEG4的动作的一部分，用来以H.26L作为基础引入H.26L所不支持的功能并且用来实现更高编码效率的标准化已被执行作为增强压缩视频编码的联合模型。该标准在2003年3月已成为称为H.264和MPEG-4第10部分(高级视频编码(AVC))的国际标准。

此外，作为扩展，包括诸如RGB、YUV422或YUV444、在MPEG-2中规定的8×8 DCT和量化矩阵之类的制度用途所需的编码工具在内的保真度范围扩展(FRExt)的标准化在2005年2月完成。因此，AVC***已成为能够精细地表达电影中包括的胶片噪声的编码***，并且已经用于诸如蓝光(注册商标)盘(BD)之类的各种应用。

然而，近来，对更高压缩率编码的需要，例如对具有作为高清图像的像素的四倍的大约4000×2000像素的图像进行压缩的需要或者在诸如因特网之类的具有有限传输容量的环境中分发高清图像的需要，已经增加。因此，在属于ITU-T的视频编码专家组(VCEG)中不断地进行提高编码效率的思考。

另外，当前，为了从AVC的编码效率进一步提高编码效率，称为高效率视频编码(HEVC)的编码***的标准化通过作为ITU-T和ISO/IEC的联合标准化团体的联合协作组—视频编码(JCTVC)而在进行中。作为草案，非专利文献1在2012年8月已被公布。

顺带提及，诸如MPEG-2或AVC之类的图像编码***包括用来对图像进行分层和编码的可扩展性功能。根据可扩展性功能，可以在不执行转码处理的情况下传输与解码端的处理能力相对应的编码数据。

更具体地说，可以向诸如移动电话之类的具有低处理能力的终端仅传输基本层中的图像的编码流，基本层是将作为基础的层级。另一方面，可以向诸如电视接收器或个人计算机之类的具有高处理能力的终端传输基本层中的图像的编码流和增强层中的图像的编码流，增强层是除基本层以外的层级。

可扩展性功能也包括在HEVC***中。如在非专利文献1中描述，在HEVC***中，除了序列参数集(SPS)和图片参数集(PPS)以外还规定了包括与可扩展性功能有关的参数的视频参数集(VPS)。

图1是例示出版本1的HEVC中的VPS的一个语法示例的视图。

在版本1的HEVC中，仅包括用来使图像分层化并且按帧速率对图像进行编码的可扩展性功能(在下文中称作时间可扩展性)。因此，如在图1中示出，在VPS中仅定义了与时间可扩展性有关的参数。

注意到在版本2的HEVC中，将执行符合除时间可扩展性之外的可扩展性功能的标准化。

另一方面，在HEVC***中，在编码期间针对解码图像执行主要用来消除振铃(ringing)的诸如自适应偏移滤波(采样自适应偏移(SAO))处理之类的滤波处理。作为一种自适应偏移滤波处理，存在两种带偏移处理和六种边缘偏移处理。另外，可以不执行自适应滤波处理。

带偏移处理是将辉度像素值划分为多个带并且通过使用对应于每一个带的偏移来执行自适应偏移滤波处理的处理。边缘偏移处理是通过使用与待处理像素的像素值和该像素的邻近像素的像素值之间的关系相对应的偏移来执行自适应偏移滤波处理的处理。通过该处理，可以校正蚊式噪声。

已经提议在自适应偏移滤波处理中将解码图像划分为四叉树并且针对每一个划分区域来设置自适应偏移滤波处理的种类和偏移(例如见非专利文献2)。

图2是例示出四叉树的一个示例的视图。

在图2中的示例中，四叉树的层级的数目是三。如在图2中示出，解码图像当层级降低一时被除以四。就是说，解码图像在最高层级中被保持原样，在从上往下数第二个层级中被除以四，并且在最低层级中被除以16。

在解码中，首先，针对最高层级和从上往下数第二个层级中的每一个，执行候选种类的自适应偏移滤波处理并且计算成本函数，在该自适应偏移滤波处理中使用每一个划分区域的偏移。然后，针对最高层级中的划分区域来比较最高层级的成本函数和从上往下数第二个层级的成本函数，并且选择具有更小成本函数的层级。

注意到候选种类的自适应偏移滤波处理是所有种类的自适应偏移滤波处理和不执行自适应偏移滤波处理的处理。

这里，如在图2中示出，当选择从上往下数第二个层级时，执行其中使用每一个划分区域的偏移的候选种类的自适应偏移滤波处理并且针对最低层级计算成本函数。然后，针对从上往下数第二个层级中的每一个划分区域来比较最低层级的成本函数和从上往下数第二个层级的成本函数，并且针对每一个区域选择具有更小成本函数的层级。

结果，在图2中的示例中，在从上往下数第二个层级中的左上区域和右下区域中，从上往下数第二个层级被选择，并且在右上和左下区域中，最低层级被选择。

图3是例示出在图2中示出的针对划分为四叉树的每一个区域设置的自适应偏移滤波处理的种类和偏移的一个示例的视图。

在图3中的示例中，在从上往下数第二个层级中的左上和右下区域中，最低层级被选择，并且在右上区域和左下区域中，从上往下数第二个层级被选择。

针对选中层级中的每一个划分区域，候选种类的自适应偏移滤波处理中的具有最小成本函数的自适应偏移滤波处理的种类和偏移被设置。注意到在图3中，BO指示带偏移处理，EO指示边缘偏移处理，并且OFF指示自适应偏移滤波处理未被执行。

引用列表

非专利文献

非专利文献1：Benjamin Bross,Woo-Jin Han,Jens-Rainer Ohm,Gary J.Sullivan,Thomas Wiegand,“高效率视频编码(HEVC)文本规范草案8”,JCTVC-H1003_d7,2012.7.11-7.20

非专利文献2：CHIH-Ming Fu,Ching-Yeh Chen,Yu-WenHuang,Shawmin Lei,“CE8子测试3：图片质量自适应偏移”,JCTVC-D122,2011.1.20-1.28

发明内容

本发明要解决的问题

当通过使用可扩展性功能执行编码时，在基本层中的图像和增强层中的图像彼此对应的情况下，认为用来控制两个图像的滤波处理的信息片彼此高度关联。

然而，在传统的HEVC***中，针对每一个层级设置用来控制滤波处理的信息，并且因而编码效率不佳。

本技术是鉴于前述而被提供的并且是为了使得可以共享信息以控制包括分层结构的图像的滤波处理。

问题的解决方案

本技术的第一方面的编码装置是一种编码装置，包括：滤波处理单元，配置为基于控制信息针对第二层级中的解码图像执行滤波处理，所述控制信息是用来控制在对包括分层结构的图像的第一层级中的图像的编码中使用的所述滤波处理的信息；编码单元，配置为对第二层级中的图像进行编码并且配置为通过使用第二层级中被所述滤波处理单元执行滤波处理的解码图像作为参考图像来生成编码数据；以及传输单元，配置为传输由所述编码单元生成的编码数据。

本技术的第一方面的编码方法对应于本技术的第一方面的编码装置。

在本技术的第一方面中，基于作为用来控制滤波处理的信息并且在对包括分层结构的图像的第一层级中的图像的编码中使用的控制信息针对第二层级中的解码图像执行滤波处理，并且通过使用第二层级中被执行滤波处理的解码图像作为参考图像来对第二层级中的图像进行编码，由此编码数据被生成并且编码数据被传输。

本技术的第二方面的解码装置是一种解码装置，包括接收单元，配置为通过使用第二层级中基于控制信息而被执行图像滤波处理的解码图像作为参考图像来接收第二层级中的编码图像的编码数据，所述控制信息是用来控制在对包括分层结构的图像的第一层级中的图像的编码中使用的所述滤波处理的信息；解码单元，配置为对由所述接收单元接收到的编码数据进行解码并且用来生成第二层级中的解码图像；以及滤波处理单元，配置为基于所述控制信息针对第二层级中由所述解码单元生成的解码图像执行滤波处理，其中，所述解码单元配置为通过使用第二层级中被所述滤波处理单元执行所述滤波处理的解码图像作为参考图像来解码第二层级中的编码数据。

本技术的第二方面的解码方法对应于本技术的第二方面的解码装置。

在本技术的第二方面中，通过使用第二层级中基于控制信息而被执行图像滤波处理的解码图像作为参考图像，第二层级中的编码图像的编码数据被接收到，所述控制信息是用来控制所述滤波处理的信息并且在对包括分层结构的图像的第一层级中的图像的编码中使用。然后，编码数据被解码并且第二层级中的解码图像被生成。基于控制信息，针对第二层级中的解码图像执行滤波处理。第二层级中被执行所述滤波处理的解码图像在对第二层级中的编码数据的解码中被用作参考图像。

注意到可以通过运行由计算机执行的程序来实现第一方面的编码装置和第二方面的解码装置。

另外，为了实现第一方面的编码装置和第二方面的解码装置而将由计算机运行的程序可以通过经由传输介质传输或者通过记录在记录介质中来提供。

第一方面的编码装置和第二方面的解码装置可以是独立的装置或者可以是一个装置中包括的内部块。

发明的效果

根据本技术，用来控制包括分层结构的图像的滤波处理的信息可以被共享。

附图说明

图1是例示出版本1的HEVC中的VPS的一个语法示例的视图。

图2是例示出四叉树的一个示例的视图。

图3是例示出自适应偏移滤波处理的种类和偏移的设定值的一个示例的视图。

图4是用于描述空间可扩展性的视图。

图5是用于描述时间可扩展性的视图。

图6是用于描述SNR可扩展性的视图。

图7是例示出本技术所应用于的编码装置的第一实施例的配置示例的框图。

图8是例示出基本流的SPS的一个语法示例的视图。

图9是例示出基本流中的SPS的一个语法示例的视图。

图10是例示出基本流中的切片头部的一个语法示例的视图。

图11是例示出基本流中的切片头部的一个语法示例的视图。

图12是例示出基本流中的切片头部的一个语法示例的视图。

图13是例示出基本流中的coding_tree_unit的一个语法示例的视图。

图14是例示出基本流中的信息(sao)的一个语法示例的视图。

图15是例示出图7中的增强编码单元的一个配置示例的框图。

图16是例示出图15中的编码单元的一个配置示例的框图。

图17是用于描述CU的视图。

图18是例示出图16中的自适应偏移滤波器和偏移缓冲器的一个配置示例的框图。

图19是用于描述带偏移处理的视图。

图20是用于描述边缘偏移处理的视图。

图21是用于描述边缘偏移处理的视图。

图22是例示出增强流的SPS的一个语法示例的视图。

图23是例示出增强流中的SPS的一个语法示例的视图。

图24是例示出增强流中的切片头部的语法的一个配置示例的视图。

图25是例示出增强流中的切片头部的语法的一个配置示例的视图。

图26是例示出增强流中的切片头部的语法的一个配置示例的视图。

图27是例示出增强流中的信息(sao)的一个语法示例的视图。

图28是例示出增强流中的信息(sao)的一个语法示例的视图。

图29是例示出VPS的一个语法示例的视图。

图30是例示出基本图像与增强图像之间的共享关系的一个示例的视图。

图31是用于描述图7中的编码装置中的分层编码处理的流程图。

图32是用于描述图31中的增强流生成处理的细节的流程图。

图33是用于描述图32中的编码处理的细节的流程图。

图34是用于描述图32中的编码处理的细节的流程图。

图35是用于描述图34中的共享自适应偏移滤波处理的细节的流程图。

图36是例示出本技术所应用于的解码装置的第一实施例的一个配置示例的框图。

图37是例示出图36中的增强解码单元的一个配置示例的框图。

图38是例示出图37中的解码单元的一个配置示例的框图。

图39是例示出图38中的自适应偏移滤波器和偏移缓冲器的一个配置示例的框图。

图40是用于描述图36中的解码装置中的分层解码处理的流程图。

图41是用于描述图37中的增强图像生成处理的流程图。

图42是用于描述图41中的解码处理的细节的流程图。

图43是用于描述图42中的共享自适应偏移滤波处理的流程图。

图44是例示出多视点图像编码***的一个示例的视图。

图45是例示出分层图像编码***的一个示例的视图。

图46是例示出计算机的硬件的一个配置示例的框图。

图47是例示出本技术所应用于的电视装置的一个示意性配置示例的视图。

图48是例示出本技术所应用于的移动电话的一个示意性配置示例的视图。

图49是例示出本技术所应用于的记录/再现装置的一个示意性配置示例的视图。

图50是例示出本技术所应用于的成像装置的一个示意性配置示例的视图。

图51是例示出可扩展编码的一个使用示例的框图。

图52是例示出可扩展编码的另一使用示例的框图。

图53是例示出可扩展编码的另一使用示例的框图。

具体实施方式

<可扩展性功能的描述>

[空间可扩展性的描述]

图4是用于描述空间可扩展性的视图。

如在图4中示出，空间可扩展性是用于对具有空间分辨率的图像进行分层化和编码的可扩展性功能。更具体地说，在空间可扩展性中，具有低分辨率的图像被编码为基本层中的图像，并且具有高分辨率的图像与具有低分辨率的图像之间的差异的图像被编码为增强层中的图像。

因此，因为编码装置仅向具有低处理能力的解码装置传输基本层中的图像的编码数据，因此解码装置可以生成具有低分辨率的图像。另外，因为编码装置向具有高处理能力的解码装置传输基本层和增强层中的图像的编码数据，因此解码装置可以解码并合成基本层和增强层中的图像并且可以生成具有高分辨率的图像。

[时间可扩展性的描述]

图5是用于描述时间可扩展性的视图。

如描述的，时间可扩展性是用来按照帧速率对图像进行分层化和编码的可扩展性功能。更具体地说，如在图5中示出，在时间可扩展性中，例如，处于低帧速率(在图5中的示例中为7.5fps)的图像被编码为基本层中的图像。另外，处于中间帧速率(在图5中的示例中为15fps)的图像与处于低帧速率的图像之间的差异的图像被编码为增强层中的图像。另外，处于高帧速率(在图5中的示例中为30fps)的图像与处于中间帧速率的图像之间的差异的图像被编码为增强层中的图像。

因此，因为编码装置仅向具有低处理能力的解码装置传输基本层中的图像的编码数据，因此解码装置可以生成处于低帧速率的图像。另外，因为编码装置向具有高处理能力的解码装置传输基本层和增强层中的图像的编码数据，因此解码装置可以解码并合成基本层和增强层中的图像并且可以生成处于高帧速率或者中间帧速率的图像。

[SNR可扩展性的描述]

图6是用于描述SNR可扩展性的视图。

如在图6中示出，SNR可扩展性是用来按照信噪比(SNR)对图像进行分层化和编码的可扩展性功能。更具体地说，在SNR可扩展性中，低SNR的图像被编码为基本层中的图像，并且高SNR的图像与低SNR的图像之间的差异的图像被编码为增强层中的图像。

因此，因为编码装置仅向具有低处理能力的解码装置传输基本层中的图像的编码数据，因此解码装置可以生成低SNR的图像，即具有低图像质量的图像。另外，因为编码装置向具有高处理能力的解码装置传输基本层和增强层中的图像的编码数据，因此解码装置可以解码并合成基本层和增强层中的图像并且可以生成高SNR的图像，即具有高图像质量的图像。

注意到尽管未被示出，但是存在除空间可扩展性、时间可扩展性和SNR可扩展性之外的可扩展性功能。

例如，作为可扩展性功能，存在用来按照位的数目对图像进行分层化和编码的位深可扩展性。在这种情况下，例如，以八位视频的图像作为基本层中的图像并且10位视频的图像与八位视频的图像之间的差异的图像作为增强层中的图像来执行编码。

另外，作为可扩展性功能，存在用来以色差信号的格式对图像进行分层化和编码的色度可扩展性。在这种情况下，例如，以YUV420的图像作为基本层中的图像并且YUV422的图像与YUV420的图像之间的差异的图像作为增强层中的图像来执行编码。

注意到在下面，为了描述的方便将描述其中存在一个增强层的情况。

<第一实施例>

[编码装置的第一实施例的配置示例]

图7是例示出本技术所应用于的编码装置的第一实施例的配置示例的框图。

图7中的编码装置10包括基本编码单元11、增强编码单元12、合成单元13和传输单元14，并且通过使用可扩展性功能通过与HEVC***兼容的***对图像进行编码。

基本层中的图像(在下文中称作基本图像)被从外部输入到编码装置10中的基本编码单元11中。基本编码单元11以类似于传统HEVC***中的编码装置的方式而被配置并且通过HEVC***对基本图像进行编码。然而，基本编码单元11向增强编码单元12提供控制信息以及自适应偏移滤波处理中的偏移，该控制信息是用来控制自适应偏移滤波处理的信息并且在对基本图像的编码中使用。基本编码单元11将作为编码结果获得的包括编码数据、SPS、PPS等的编码流作为基本流提供给合成单元13。

增强层中的图像(在下文中称作增强图像)被从外部输入到增强编码单元12中。增强编码单元12通过与HEVC***兼容的***对增强图像进行编码。这里，增强编码单元12基于来自基本编码单元11的控制信息来执行自适应偏移处理。

当必要时，通过使用来自基本编码单元11的偏移，增强编码单元12向增强图像的编码数据添加例如与自适应偏移处理中的偏移有关的信息并且生编码流。增强编码单元12将生成的编码流作为增强流提供给合成单元13。

合成单元13合成由基本编码单元11提供的基本流和由增强编码单元12提供的增强流，添加VPS等，并且生成整个层级的编码流。合成单元13将整个层级的编码流提供给传输单元14。

传输单元14将由合成单元13提供的整个层级的编码流传输给稍后描述的解码装置。

注意到在这里，假定编码装置10传输整个层级的编码流。然而，当必要时，编码装置10可以仅传输基本流。

[基本流中的SPS的语法示例]

图8和图9是例示出基本流中包括的SPS的语法示例的视图。

如在图9中的第五行中示出，在基本流中的SPS中，包括序列标志(sample_adaptive_offset_enabled_flag)，其以画面组(GOP)为单位，该标志指示是否要针对对应于SPS的GOP中的解码图像执行自适应偏移处理。

[基本流中的切片头部的语法示例]

图10至12是例示出基本流中包括作为以切片为单位添加到编码数据的头部的切片头部的语法示例的视图。

如在图10中的第40行到第42行中示出，当SPS中包括的序列标志是表明将针对对应于SPS的GOP中的解码图像执行自适应偏移处理的1时，指示是否要针对相应切片的解码图像的辉度信号执行自适应偏移处理的以切片为单位的辉度切片标志(slice_sao_luma_flag)被包括在基本流的切片头部中。

另外，以切片为单位的色差切片标志(slice_sao_luma_flag)被包括，该标志指示是否要针对相应切片的解码图像的色差信号执行自适应偏移处理。注意到在下面，当区别辉度切片标志和色差切片标志不是特别必要时，这些被统称作切片标志。

[基本流中的编码数据的coding_tree_unit的语法示例]

图13是例示出基本流中的编码数据中包括的、作为最大编码单位的最大编码单元(LCU)中的coding_tree_unit的一个语法示例的视图。

如在图13中的第六行和第七行中示出，当基本流中的切片头部中包括的切片标志是表明将执行自适应偏移处理的1时，自适应偏移滤波器的种类和偏移的信息(sao)被包括在基本流中的coding_tree_unit中。

[基本流中的信息(sao)的语法示例]

图14是例示出基本流中的信息(sao)的一个语法示例的视图。

如在图14中的第六行中示出，在基本流中的sao中，指示相应LCU中的自适应偏移滤波器的种类和偏移是否与邻近该LCU左侧的LCU中的自适应偏移滤波器的种类和偏移相同的左合并标志(sao_merge_left_flag)被包括。

另外，当左合并标志是指示不相同的0时，如在第十二行中示出，在基本流中的sao中，指示相应LCU的自适应偏移滤波器的种类和偏移是否与邻近该LCU上侧的LCU的自适应偏移滤波器的种类和偏移相同的上合并标志(sao_merge_up_flag)被包括。

另外，当左合并标志和上合并标志中的每一个都是指示不相同的0时，如在第十八行中示出，在基本流的sao中，指示相应LCU中的辉度信号的自适应偏移滤波器的种类的辉度类型信息(sao_type_idx_luma)被包括。另外，如在图20中示出，指示相应LCU中的色差信号的自适应偏移滤波器的种类的色差类型信息(sao_type_idx_chroma)被包括。

另外，如在第23行中示出，相应LCU中的辉度信号或色差信号的偏移的绝对值(sao_offset_abs)被包括。另外，如在第26行至第28行中示出，当辉度类型信息或色差类型信息是指示带偏移处理的1时，绝对值(sao_offset_abs)是除0之外的值的情况下的辉度信号或色差信号的偏移的符号(sao_offset_sign)以及指示对应于偏移的群组的信息(sao_band_position)被包括。

这里，带偏移处理是将辉度像素值划分为多个带并且通过使用对应于每一个带的偏移来执行自适应偏移滤波处理的处理。带被分类为第一群组和第二群组。然后，第一群组和第二群组中的任一个群组的偏移的绝对值和符号被包括在基本流中的sao中。因此，作为与基本流中的sao中包括的偏移相对应的群组，指示第一或第二群组的信息被包括在基本流的sao中。

注意到在下面，当区别辉度类型信息和色差类型信息不是特别必要时，这些被统称作类型信息。

另外，如在第29行至第33行中示出，当类型信息不是指示带偏移处理的1时，就是说，当类型信息是指示边缘偏移处理的0时，辉度信号和色差信号的边缘偏移处理中的邻近像素的种类(sao_eo_class_luma,sao_eo_class_chroma)(稍后在图21中描述)被包括。

[增强编码单元的配置示例]

图15是例示出图7中的增强编码单元12的一个配置示例的框图。

图15中的增强编码单元12包括编码单元21和设置单元22。

增强编码单元12中的编码单元21将从外部输入的以帧为单位的增强图像设置为输入信号。参考作为来自基本编码单元11的控制信息的序列标志、切片标志、左合并标志、上合并标志和类型信息，编码单元21通过与HEVC***兼容的***对输入信号进行编码。编码单元21将作为编码结果获得的编码数据提供给设置单元22。

设置单元22设置SPS、PPS等。设置单元22根据设置的SPS和PPS以及由编码单元21提供的编码数据来生成编码流，并且将生成的编码流作为增强流提供给合成单元13。

[编码单元的配置示例]

图16是例示出图15中的编码单元21的一个配置示例的框图。

图16中的编码单元21包括A/D变换单元31、屏幕排序缓冲器32、运算单元33、正交变换单元34、量化单元35、可逆编码单元36、累积缓冲器37、逆量化单元38、逆正交变换单元39、加法单元40、去块滤波器41、自适应偏移滤波器42、自适应环路滤波器43、帧存储器44、开关45、帧内预测单元46、运动预测/补偿单元47、预测图像选择单元48、速率控制单元49以及偏移缓冲器50。

更具体地说，编码单元21中的A/D变换单元31对作为输入信号输入的以帧为单位的图像进行A/D变换，并且将该图像输出并存储到屏幕排序缓冲器32中。根据GOP结构，屏幕排序缓冲器32将按照显示次序并且以帧为单位的存储图像排序为编码次序，并且将该图像输出给运算单元33、帧内预测单元46和运动预测/补偿单元47。

运算单元33起编码单元的作用，并且通过计算由预测图像选择单元48提供的预测图像与从屏幕排序缓冲器32输出的待编码图像之间的差异来执行编码。更具体地说，运算单元33通过从从屏幕排序缓冲器32输出的待编码图像中减去由预测图像选择单元48提供的预测图像来执行编码。运算单元33将作为编码结果获得的图像作为残余信息输出给正交变换单元34。注意到，当预测图像选择单元48未提供预测图像时，运算单元33将从屏幕排序缓冲器32中读取的图像作为残余信息输出给正交变换单元34。

正交变换单元34对来自运算单元33的残余信息进行正交变换并且将生成的正交变换系数提供给量化单元35。

量化单元35对由正交变换单元34提供的正交变换系数进行量化并且将作为量化结果获得的系数提供给可逆编码单元36。

可逆编码单元36从帧内预测单元46获取指示最佳帧内预测模式的信息(在下文中称作帧内预测模式信息)。另外，可逆编码单元36从运动预测/补偿单元47获取由运动预测/补偿单元47提供的指示最佳帧间预测模式的信息(在下文中称作帧间预测模式信息)、运动向量、用来指定参考图像的信息(在下文中称作参考图像指定信息)等。

另外，可逆编码单元36根据来自自适应偏移滤波器42的基本图像的偏移、偏移、类型信息等获取在增强图像的偏移的生成中使用的生成信息并且从自适应环路滤波器43获取滤波器系数。

可逆编码单元36针对由量化单元35提供的量化系数等执行诸如可变长度编码(诸如上下文自适应可变长度编码(CAVLC))或者算术编码(诸如上下文自适应二进制算术编码(CABAC))之类的可逆编码。

另外，可逆编码单元36利用帧内预测模式信息或帧间预测模式信息、运动向量和参考图像指定信息、生成信息或偏移和类型信息以及滤波器系数作为与编码有关的编码信息来执行可逆编码。利用被执行可逆编码的编码信息和被执行可逆编码的切片头部和系数作为编码数据，可逆编码单元36向编码数据添加切片头部。可逆编码单元36将添加有切片头部的编码数据提供给累积缓冲器37并且在累积缓冲器37中累积这些编码数据。

累积缓冲器37临时存储由可逆编码单元36提供的编码数据。另外，累积缓冲器37将存储的编码数据提供给图15中的设置单元22。

另外，从量化单元35输出的量化系数也被输入到逆量化单元38。逆量化单元38对由量化单元35量化的系数进行逆量化并且将作为逆量化结果获得的正交变换系数提供给逆正交变换单元39。

逆正交变换单元39针对由逆量化单元38提供的正交变换系数执行四阶逆正交变换并且将作为逆正交变换的结果的残余信息提供给加法单元40。

加法单元40使由逆正交变换单元39提供的残余信息和由预测图像选择单元48提供的预测图像相加并且获取部分解码的图像。注意到，在预测图像选择单元48未提供预测图像的情况下，加法单元40将由逆正交变换单元39提供的残余信息设置为部分解码的图像。在将部分解码的图像提供给去块滤波器41的同时，加法单元40将部分解码的图像提供给帧存储器44并且在帧存储器44中累积部分解码的图像。

针对由加法单元40提供的部分解码的图像，去块滤波器41执行自适应去块滤波处理以消除块失真并且将作为该处理结果获得的图像提供给自适应偏移滤波器42。

基于偏移缓冲器50中记录的基本图像的控制信息中的序列标志和切片标志，自适应偏移滤波器42确定是否要执行自适应偏移滤波处理。在执行自适应偏移滤波处理的情况下，自适应偏移滤波器42基于可扩展性功能的种类来生成对应关系标志，该标志指示在基本图像与增强图像之间在LCU中是否存在对应关系。

更具体地说，例如，在基本图像的LCU的大小与增强图像的LCU的大小在SNR可扩展性、位深可扩展性或色度格式可扩展性上相同时，或者在基本图像的LCU的分辨率比例和大小比例在空间可扩展性上彼此相同时，自适应偏移滤波器42生成对应关系标志(sao_lcu_aligned_flag)，该标志表明在基本图像与增强图像之间在LCU中存在对应关系。

注意到，因为自适应偏移处理的种类是在LCU中设置的，为了使基本图像的自适应偏移处理的种类与增强图像的自适应偏移处理的种类共享，基本图像的LCU和增强图像的LCU有必要彼此对应。因此，指示在基本图像与增强图像之间在LCU中是否存在对应关系的对应关系标志(sao_lcu_aligned_flag)是指示基本图像的自适应偏移处理的种类与增强图像的自适应偏移处理的种类是否可以被共享的对应关系标志。

在对应关系标志是表明在基本图像与增强图像之间在LCU中存在对应关系的1的情况下，自适应偏移滤波器42从控制信息中提取类型信息、偏移、左合并标志、上合并标志等。

当从控制信息中提取出类型信息时，自适应偏移滤波器42计算在该类型信息所指示的种类的自适应偏移滤波处理中使用的偏移。更具体地说，例如，通过使用候选偏移，自适应偏移滤波器42执行类型信息所指示的种类的自适应偏移滤波处理并且选择作为该处理的结果而获得的具有最小成本函数的偏移。自适应偏移滤波器42计算选中偏移与从控制信息中提取的偏移之间的差异并且将该差异作为生成信息提供给可逆编码单元36。

另一方面，当未从控制信息中提取出类型信息时，自适应偏移滤波器42基于左合并标志和上合并标志将邻近待处理LCU的左侧或上侧的LCU的类型信息和偏移设置为待处理LCU的类型信息和偏移。

另外，当对应关系标志是表明在基本图像与增强图像之间在LCU中不存在对应关系的0时，自适应偏移滤波器42执行候选的所有种类和偏移的自适应偏移滤波处理。然后，自适应偏移滤波器42将作为该处理的结果而获得的具有最小成本函数的种类和偏移确定为待处理LCU的种类和偏移。然后，自适应偏移滤波器42将指示所确定的待处理LCU的种类的类型信息和所确定的其偏移提供给可逆编码单元36。

另外，自适应偏移滤波器42将待处理LCU的类型信息和偏移存储到内建的存储器中。通过使用待处理LCU的偏移，自适应偏移滤波器42针对经过去块滤波器41的自适应去块滤波处理之后的图像执行待处理LCU的种类的自适应偏移滤波处理。然后，自适应偏移滤波器42将自适应偏移滤波处理之后的图像提供给自适应环路滤波器43。另外，自适应偏移滤波器42将对应关系标志提供给可逆编码单元36。

注意到在高效率编码条件下，利用与低延迟编码条件相比仅高一位的精度来设置偏移。

自适应环路滤波器43例如包括二维维纳滤波器。自适应环路滤波器43针对由自适应偏移滤波器42提供的自适应偏移滤波处理之后的图像在每一个LCU中执行例如自适应环路滤波(ALF)处理。

更具体地说，自适应环路滤波器43以使得作为从屏幕排序缓冲器32输出的图像的原始图像与自适应环路滤波处理之后的图像之间的残余变得最小的方式在每一个LCU中计算在自适应环路滤波处理中使用的滤波器系数。然后，针对自适应偏移滤波处理之后的图像，自适应环路滤波器43通过使用计算出的滤波器系数在每一个LCU中执行自适应环路滤波处理。

自适应环路滤波器43将自适应环路滤波处理之后的图像提供给帧存储器44。另外，自适应环路滤波器43将滤波器系数提供给可逆编码单元36。

注意到在这里，假定在每一个LCU中执行自适应环路滤波处理，然而自适应环路滤波处理的单元不限于LCU。然而，通过使自适应偏移滤波器42中的处理单元和自适应环路滤波器43中的处理单元彼此相同，可以高效地执行处理。

帧存储器44累积由自适应环路滤波器43提供的图像和由加法单元40提供的图像。帧存储器44中累积的解码图像作为参考图像通过开关45被输出到帧内预测单元46或者运动预测/补偿单元47。

通过使用通过开关45从帧存储器44中读出的参考图像，帧内预测单元46执行所有候选帧内预测模式的帧内预测处理。

另外，基于从屏幕排序缓冲器32中读出的图像和作为帧内预测处理的结果而生成的预测图像，帧内预测单元46针对所有帧内预测模式计算成本函数值(稍后将描述其细节)。然后，帧内预测单元46将具有最小成本函数值的帧内预测模式确定为最佳帧内预测模式。

帧内预测单元46将在最佳帧内预测模式下生成的预测图像和相对应的成本函数值提供给预测图像选择单元48。在被预测图像选择单元48通知对在最佳帧内预测模式下生成的预测图像的选择时，帧内预测单元46将帧内预测模式信息提供给可逆编码单元36。

注意到成本函数值也被称作率失真(RD)成本并且是例如基于在作为H.264/AVC***中的参考软件的联合模型(JM)中确定的高复杂度模式和低复杂度模式中的任一种模式下的方法来计算的。注意到H.264/AVC***中的参考软件被在以下链接中公开：http://iphome.hhi.de/suehring/tml/index.htm。

更具体地说，在高复杂度模式被用作计算成本函数值的方法的情况下，针对所有候选预测模式临时执行直到解码的处理，并且针对每一种预测模式计算由以下公式(1)表示的成本函数值。

成本(模式)＝D+λ·R  ...(1)

在这里，D是原始图像与解码图像之间的差异(失真)，R是包括正交变换的系数在内的发生代码量，并且λ是作为量化参数QP的函数给出的拉格朗日乘子方法。

另一方面，当低复杂度模式被用作计算成本函数值的方法时，针对所有候选预测模式，执行预测图像的生成和编码信息的代码量的计算，并且针对每一种预测模式计算由以下公式(2)表示的成本函数。

成本(模式)＝D+QPtoQuant(QP)·Header_Bit  ...(2)

在这里，D是原始图像与解码图像之间的差异(失真)，Header_Bit是编码信息的代码量，QPtoQuant是作为量化参数QP的函数给出的函数。

在低复杂度模式下，仅有必要生成每一种预测模式的预测图像，并且没必要生成解码图像。因此，只有小运算量是必要的。

运动预测/补偿单元47执行所有候选帧间预测模式的预测/补偿处理。更具体地说，基于由屏幕排序缓冲器32提供的图像和通过开关45从帧存储器44中读出的参考图像，运动预测/补偿单元47检测所有候选帧间预测模式的运动向量。注意到参考图像例如由用户来设置。运动预测/补偿单元47基于检测到的运动向量针对参考图像执行补偿处理并且生成预测图像。

在这里，基于预测图像和由屏幕排序缓冲器32提供的图像，运动预测/补偿单元47计算所有候选帧间预测模式的成本函数值并且将具有最小成本函数值的帧间预测模式确定为最佳帧间预测模式。然后，运动预测/补偿单元47将最佳帧间预测模式的成本函数值和相对应的预测图像提供给预测图像选择单元48。另外，当对在最佳帧间预测模式下生成的预测图像的选择被预测图像选择单元48通知时，运动预测/补偿单元47将帧间预测模式信息、相对应的运动向量等输出到可逆编码单元36并且将参考图像指定信息输出到参考图像设置单元50。

基于由帧内预测单元46和运动预测/补偿单元47提供的成本函数值，预测图像选择单元48将最佳帧内预测模式和最佳帧间预测模式当中包括更小相应成本函数值的一个确定为最佳预测模式。然后，预测图像选择单元48将最佳预测模式下的预测图像提供给运算单元33和加法单元40。另外，预测图像选择单元48向帧内预测单元46或者运动预测/补偿单元47通知对最佳预测模式下的预测图像的选择。

基于累积缓冲器37中累积的编码数据，速率控制单元49以使得不生成溢出或下溢的方式来控制由量化单元35执行的量化操作的速率。

偏移缓冲器50存储由图7中的基本编码单元11提供的控制信息和偏移。

[编码处理的单位的描述]

图17是用于描述作为HEVC***中的编码单元的编码单元(CU)的视图。

在HEVC***中，具有诸如4000像素x 2000像素的超高分辨率(UHD)的大图片帧的图像也是对象。因此，将编码单元的尺寸固定为16像素x 16像素不是最佳的。因此，在HEVC***中，CU被定义为编码单元。

CU也被称作编码树块(CTB)并且起到类似于AVC***中的宏块的功能。更具体地说，CU被划分为作为帧内预测或帧间预测的单位的预测单元(PU)，或者被划分为作为正交变换的单位的变换单元(TU)。然而，CU的尺寸是正方的，其可以因每一个序列而异并且通过二的幂来表达。另外，当前，在HEVC***中，作为TU的尺寸，除了4x 4像素和8x 8像素之外还可以使用16x 16像素和32x 32像素。

在图17中的示例中，作为最大CU的LCU的尺寸是128并且作为最小CU的最小编码单元(SCU)的尺寸是8。因此，通过每一个N而被分层化的具有2N x 2N尺寸的的CU的分层深度变为0至4并且分层深度数目变为5。另外，当split_flag(分割标志)的值是1时，具有2N x 2N尺寸的CU被划分为在层级上低一级的具有N x N尺寸的CU。

用来指定LCU和SCU的尺寸的信息被包括在SPS中。注意到CU的细节在非专利文献1中得到描述。

[自适应偏移滤波器和偏移缓冲器的配置示例]

图18是例示出图16中的自适应偏移滤波器42和偏移缓冲器50的配置示例的框图。

图18中的偏移缓冲器50包括序列缓冲器71、切片缓冲器72、合并缓冲器73、类型缓冲器74和值缓冲器75。

偏移缓冲器50中的序列缓冲器71存储由图7中的基本编码单元11提供的控制信息中包括的序列标志。切片缓冲器72存储控制信息中包括的切片标志。

合并缓冲器73将左合并标志和上合并标志提供给合并缓冲器73。另外，类型缓冲器74存储控制信息中包括的类型信息。值缓冲器75存储由基本编码单元11提供的基本图像的偏移。

自适应偏移滤波器42包括开/关设置单元81、合并设置单元82、类型设置单元83、处理单元84、偏移缓冲器85和生成单元86。

自适应偏移滤波器42中的开/关设置单元81从序列缓冲器71中读取序列标志并且从切片缓冲器73中读取切片标志。基于序列标志和切片标志，开/关设置单元81确定是否要针对经过待编码的当前图像的切片的去块滤波处理之后的图像执行自适应偏移处理。当确定要执行自适应偏移处理时，开/关设置单元81指示处理单元84执行自适应偏移处理。

合并设置单元82从合并缓冲器73中读取左合并标志和上合并标志并且将读取的标志提供给处理单元84。类型设置单元83从类型缓冲器74中读取类型信息并且将类型信息提供给处理单元84。

基于可扩展性功能的种类和由开/关设置单元81给出的要执行自适应偏移处理的指令，处理单元84生成对应关系标志。当生成的对应关系标志是1并且由合并设置单元82提供的左合并标志或上合并标志是1时，处理单元84读取类型信息并且从偏移缓冲器85中读取邻近待处理LCU的左侧或上侧的LCU的偏移，并且将读取的类型信息和偏移设置为待处理LCU的类型信息和偏移。

另一方面，当对应关系标志是1并且左合并标志和上合并标志是0时，处理单元84在由类型设置单元83提供的类型信息所指示的种类的自适应偏移处理中计算待处理LCU的偏移并且将该偏移提供给生成单元86。然后，处理单元84将由类型设置单元83提供的类型信息确定为待处理LCU的类型信息。

另外，当对应关系标志是0时，处理单元84执行所有候选的种类和偏移的自适应偏移滤波处理。然后，处理单元84将作为处理结果而获得的具有最小成本函数的种类和偏移确定为待处理LCU的种类和偏移。然后，处理单元84将所确定的偏移和指示所确定的种类的类型信息提供给生成单元86。

然后，处理单元84将待处理LCU的类型信息和偏移提供给偏移缓冲器85并将其存储在偏移缓冲器85中。通过使用待处理LCU的偏移，处理单元84针对经过图16中的去块滤波器41的自适应去块滤波处理的图像执行由待处理LCU的类型信息指示的种类的自适应偏移滤波处理。然后，处理单元84将经过自适应偏移滤波处理之后的图像提供给图16中的自适应环路滤波器43。处理单元84将对应关系标志提供给生成单元86。

当对应关系标志是1时，生成单元86从值缓冲器75中读取基本图像的偏移。生成单元86计算读取的基本图像的偏移与由处理单元84提供的增强图像的偏移之间的差异并且将该差异作为生成信息提供给图16中的可逆编码单元36。

另一方面，当对应关系标志是0时，生成单元86将偏移和类型信息提供给可逆编码单元36。另外，生成单元86将对应关系标志提供给可逆编码单元36。

[带偏移处理的描述]

图19是用于描述带偏移处理的视图。

如在图19中示出，在带偏移处理中，例如将辉度像素值的可能范围划分为八个带并且针对每一个带设置偏移。带被分类为包括中间的四个带的第一群组和包括两端的两个带的第二群组。

然后，在信息(SAO)中，只有第一群组和第二群组中包括相应LCU的辉度像素值的一个的偏移和信息(SAO)被传输到解码侧。相应地，可以防止由不包括LCU的辉度像素值的群组的偏移的传输引起的代码量的增加。

注意到在这里，假定待编码的图像不是用于广播的图像并且假定辉度像素值的可能范围是0至255。在待编码的图像是用于广播的图像的情况下，辉度像素值的可能范围是16至235。另外，色差像素值的可能范围是16至240。

[边缘偏移处理的描述]

图20和图21是用于描述边缘偏移处理的视图。

在边缘偏移处理中，如在图20中示出，基于待处理的像素的像素值与邻近该像素的两个像素(在下文中称作邻近像素)的像素值之间的关系，待处理的像素被分类为五个类别。

如在图20中示出，当待处理的像素的像素值小于两个邻近像素两者的像素值时，分类为五个类别当中的第一类别。当待处理的像素的像素值小于两个邻近像素中的一个的像素值并且与另一个邻近像素的像素值相同时，分类为第二类别。

当待处理的像素的像素值大于两个邻近像素中的一个的像素值并且与另一个邻近像素的像素值相同时，分类为第三类别。当待处理的像素的像素值大于两个邻近像素两者的像素值时，分类为第四类别。当未分类为第一至第四类别中的任一个时，分类为零类别。

注意到如在图21中示出，在两个邻近像素中存在四个种类。第一种邻近像素是邻近待处理的像素的水平方向上两侧的两个像素。第二种邻近像素是邻近待处理的像素的垂直方向上两侧的两个像素。第三种邻近像素是待处理的像素的左上侧的像素及其右下侧的像素。第四种临近像素是待处理的像素的右上侧的像素及其左下侧的像素。

在边缘偏移处理中，针对每一个种类和类别的邻近像素来设置偏移。

[增强流中的SPS的语法示例]

图22和图23是例示出由图15中的设置单元22设置的SPS的语法示例的视图。

如在图23中的第五行和第六行中示出，当稍后描述的VPS中包括的基本层与参考层之间的差异(diff_ref_layer)是0时，就是说，当没有参考层时，序列标志被包括在SPS中。另一方面，如在第七行和第八行中示出，当差异(diff_ref_layer)是除0之外的值时，就是说，当存在参考层时，参考层的基本流中的SPS中包括的序列标志被设置为增强层的序列标志。

[增强流中的切片头部的语法示例]

图24至26是例示出增强流中的切片头部的语法的配置示例的视图。

如在图24中的第40行和第41行中示出，当序列标志是1时，表明在基本图像和增强图像之间在LCU中不存在对应关系的0作为对应关系标志(sao_lcu_aligned_flag)被包括在增强流中的切片头部中。

另外，如在第42行至第44行中示出，当差异(diff_ref_layer)是0时，就是说，当没有参考层时，辉度切片标志和色差切片标志类似地被包括到基本流中的切片头部中。另一方面，如在第45行至第47行中示出，当差异(diff_ref_layer)是除0之外的值时，就是说，当存在参考层时，参考层的基本流中的切片头部中包括的辉度切片标志和色差切片标志被设置为增强图像的辉度切片标志和色差切片标志。另外，如在图25中的第一行中示出，对应关系标志(sao_lcu_aligned_flag)被更新。

[增强流中的编码数据的coding_tree_unit的语法示例]

除信息(sao)之外，增强流中的编码数据的coding_tree_unit的语法类似于图13中的语法。因此，只有信息(sao)将被描述。

图27和图28是例示出增强流的信息(sao)的语法示例的视图。

如在图27中的第六行和第七行中示出，当增强流中的切片头部中包括的对应关系标志(sao_lcu_aligned_flag)是0时，类似于基本流中的信息(sao)，左合并信息被包括在增强流中的信息(sao)中。另一方面，如在第八行和第九行中示出，当对应关系标志(sao_lcu_aligned_flag)是表明在基本图像与增强图像之间在LCU中存在对应关系的1时，参考层的基本流中的信息(sao)中包括的左合并信息被设置为增强图像的左合并信息。

另外，如在第15行和第16行中示出，当对应关系标志(sao_lcu_aligned_flag)是0时，类似于基本流中的信息(sao)，上合并信息被包括在增强流中的信息(sao)中。另一方面，如在第17行和第18行中示出，当对应关系标志(sao_lcu_aligned_flag)是1时，参考层的基本流中的信息(sao)中包括的上合并信息被设置为增强图像的上合并信息。

另外，如在第24行和第25行中示出，当对应关系标志(sao_lcu_aligned_flag)是0时，类似于基本流中的信息(sao)，辉度类型信息被包括在增强流中的信息(sao)中。另一方面，如在第26行和第27行中示出，当对应关系标志(sao_lcu_aligned_flag)是1时，参考层的基本流中的信息(sao)中包括的辉度类型信息被设置为增强图像的辉度类型信息。

另外，如在第29行和第30行中示出，当对应关系标志(sao_lcu_aligned_flag)是0时，类似于基本流中的信息(sao)，色差类型信息被包括在增强流中的信息(sao)中。另一方面，如在第31行和第32行中示出，当对应关系标志(sao_lcu_aligned_flag)是1时，参考层的基本流中的信息(sao)中包括的色差类型信息被设置为增强图像的色差类型信息。

另外，如在第35行和第36行中示出，当对应关系标志(sao_lcu_aligned_flag)是0时，类似于基本流中的信息(sao)，绝对值(sao_offset_abs)被包括在增强流中的信息(sao)中。另一方面，如在第37行和第38行中示出，当对应关系标志(sao_lcu_aligned_flag)是1时，在增强流的信息(sao)中，参考层的辉度信号或色差信号的偏移与相应LCU中的增强图像的辉度信号或色差信号之间的差异的绝对值(diff_sao_offset_abs)被包括作为生成信息。

另外，如在第41行至第43行中示出，当对应关系标志(sao_lcu_aligned_flag)是0时，类似于基本流中的信息(sao)，当绝对值(sao_offset_abs)是除0之外的值时的标志(sao_offset_sign)被包括在增强流中的信息(sao)中。

另一方面，如在图27中的第45行和第46行以及图28中的第一行中示出，当对应关系标志(sao_lcu_aligned_flag)是1时，在增强流中的信息(sao)中，当绝对值(sao_offset_abs)是除0之外的值时的参考层的辉度信号或色差信号的偏移与相应LCU中的增强图像的辉度信号或色差信号之间的差异的符号(diff_sao_offset_sign)被包括作为生成信息。

[VPS的语法示例]

图29是例示出VPS的一个语法示例的视图。

如在图29中的第六行中示出，指示可扩展性的层的数目的信息(vps_max_layer_minus1)被包括在VPS中。如在第七行中示出，类似于现有技术，指示时间可扩展性的层的数目的信息(vps_max_sub_layer_minus1)被包括在VPS中。

另外，如在第15行中示出，在VPS中，0被包括作为基本层与参考层之间的差异(diff_ref_layer[0])，该差异是用于将包括0的基本层指定为索引的信息。另外，如在第16行和第17行中示出，每一个增强层的差异(diff_ref_layer)被包括在VPS中。

在这里，当假定当前层是curr_layer并且参考层是ref_layer时，通过使用差异diff_ref_layer通过以下公式(3)来表达参考层ref_layer。

ref_layer＝curr_layer-diff_ref_layer  …(3)

相应地，当增强层中的差异(diff_ref_layer)是0时，类似于基本流，在不参照不同层的参考图像指定信息等的情况下生成增强流。

[基本图像与增强图像之间的共享关系]

图30是例示出基本图像与增强图像之间的共享关系的视图。

如在图30中的A中示出，当基本图像的切片和增强图像的切片按照复数(在图30中的示例中为2)：1彼此对应时，例如，基本图像的多个切片中的顶部切片的控制信息被设置为增强图像的切片的控制信息。另外，基本图像的多个切片中的顶部切片的偏移被用于生成信息的生成。

另外，如在图30中的B中示出，当基本图像的切片和增强图像的切片按照1：复数(在图30中的示例中为2)：1彼此对应时，基本图像的切片的控制信息被设置为增强图像的多个切片中的每一个的控制信息。另外，基本图像的切片的偏移被用于增强图像的多个切片中的每一个的生成信息的生成。

[编码单元中的处理的描述]

图31是用于描述图7中的编码装置10中的分层编码处理的流程图。当从外部输入基本图像和增强图像时开始分层编码处理。

在图31中的步骤S1中，编码装置10中的基本编码单元11通过HEVC***对从外部输入的基本图像进行编码。基本编码单元11将在基本图像的编码中使用的控制信息和偏移提供给增强编码单元12。基本编码单元11将作为编码结果获得的包括编码数据、SPS、PPS等的基本流作为基本流提供给合成单元13。

在步骤S2中，增强编码单元12执行增强流生成处理以根据从外部输入的增强图像来生成增强流。将参考稍后描述的图32来描述增强流生成处理的细节。

在步骤S3中，合成单元13合成由基本编码单元11提供的基本流和由增强编码单元12提供的增强流，添加VPS等，并且生成整个层级的编码流。合成单元13将整个层级的编码流提供给传输单元14。

在步骤S4中，传输单元14将由合成单元13提供的整个层级的编码流传输给稍后描述的解码装置。

图32是用于描述图31中的步骤S2中的增强流生成处理的细节的流程图。

在图32中的步骤S11中，增强编码单元12的编码单元21执行编码处理以通过与HEVC***兼容的***对作为输入信号从外部输入的以帧为单位的增强图像进行编码。将参考稍后描述的图33和图34来描述该编码处理的细节。

在步骤S12中，设置单元22设置SPS。在步骤S13中，设置单元22设置PPS。在步骤S14中，设置单元22根据设置的SPS和PPS以及由编码单元21提供的编码数据来生成增强流。

在步骤S15中，设置单元22将增强流提供给合成单元13并且结束处理。

图33和图34是用于描述图32中的步骤S11中的编码处理的细节的流程图。

在图33中的步骤S31中，编码单元21中的A/D变换单元31对作为输入信号输入的以帧为单位的图像进行A/D变换，并且将变换后的图像输出并存储到屏幕排序缓冲器32中。

在步骤S32中，根据GOP结构，屏幕排序缓冲器32将按照显示次序并且以帧为单位的存储图像排序为编码次序。屏幕排序缓冲器32将经过排序之后的以帧为单位的图像提供给运算单元33、帧内预测单元46和运动预测/补偿单元47。

在步骤S33中，帧内预测单元46执行所有候选的帧内预测模式的帧内预测处理。另外，基于从屏幕排序缓冲器32中读出的图像和作为帧内预测处理的结果而生成的预测图像，帧内预测单元46针对所有候选的帧内预测模式计算成本函数值。然后，帧内预测单元46将具有最小成本函数值的帧内预测模式确定为最佳帧内预测模式。帧内预测单元46将在最佳帧内预测模式下生成的预测图像和相对应的成本函数值提供给预测图像选择单元48。

另外，运动预测/补偿单元47执行所有候选的帧间预测模式的运动预测/补偿处理。另外，基于由屏幕排序缓冲器32提供的图像和预测图像，运动预测/补偿单元47计算所有候选帧间预测模式的成本函数值并且将具有最小成本函数值的帧间预测模式确定为最佳帧间预测模式。然后，运动预测/补偿单元47将最佳帧间预测模式的成本函数值和相对应的预测图像提供给预测图像选择单元48。

在步骤S34中，基于在步骤S33中的处理中由帧内预测单元46和运动预测/补偿单元47提供的成本函数值，预测图像选择单元48将最佳帧内预测模式和最佳帧间预测模式当中包括更小成本函数值的一个确定为最佳预测模式。然后，预测图像选择单元48将最佳预测模式下的预测图像提供给运算单元33和加法单元40。

在步骤S35中，预测图像选择单元48确定最佳预测模式是否是最佳帧间预测模式。当在步骤S35中确定最佳预测模式是最佳帧间预测模式时，预测图像选择单元48向运动预测/补偿单元47通知对在最佳帧间预测模式下生成的预测图像的选择。

然后，在步骤S36中，运动预测/补偿单元47将帧间预测模式信息、运动向量和参考图像指定信息提供给可逆编码单元36并且处理进行到步骤S38。

另一方面，当在步骤S35中确定最佳预测模式不是最佳帧间预测模式时，就是说，当最佳预测模式是最佳帧内预测模式时，预测图像选择单元48向帧内预测单元46通知对在最佳帧内预测模式下生成的预测图像的选择。然后，在步骤S37中，帧内预测单元46将帧内预测模式信息提供给可逆编码单元36并且处理进行到步骤S38。

在步骤S38中，运算单元33通过从由屏幕排序缓冲器32提供的图像中减去由预测图像选择单元48提供的预测图像来执行编码。运算单元33将作为编码结果获得的图像作为残余信息输出给正交变换单元34。

在步骤S39中，正交变换单元34对由运算单元33提供的残余信息进行正交变换并且将作为正交变换结果获得的正交变换系数提供给量化单元35。

在步骤S40中，量化单元35对由正交变换单元34提供的系数进行量化并且将作为量化结果获得的系数提供给可逆编码单元36和逆量化单元38。

在图34中的步骤S41中，逆量化单元38对由量化单元35提供的量化系数进行逆量化并且将作为逆量化结果获得的正交变换系数提供给逆正交变换单元39。

在步骤S42中，逆正交变换单元39针对由逆量化单元38提供的正交变换系数执行逆正交变换并且将作为逆正交变换的结果获得的残余信息提供给加法单元40。

在步骤S43中，加法单元40使由逆正交变换单元39提供的残余信息和由预测图像选择单元48提供的预测图像相加并且获取部分解码的图像。加法单元40将获取的图像提供给去块滤波器41并提供给帧存储器44。

在步骤S44中，去块滤波器41针对由加法单元40提供的部分解码的图像执行去块滤波处理。去块滤波器41将作为该处理结果获得的图像提供给自适应偏移滤波器42。

在步骤S45中，参照由图7中的基本编码单元11提供的控制信息和偏移，自适应偏移滤波器42针对由去块滤波器41提供的图像执行共享自适应偏移滤波处理以在每一个LCU中执行自适应偏移滤波处理。稍后将参照图35来描述共享自适应偏移滤波处理的细节。

在步骤S46中，自适应环路滤波器43针对由自适应偏移滤波器42提供的图像在每一个LCU中执行自适应环路滤波处理。自适应环路滤波器43将作为处理结果获得的图像提供给帧存储器44。另外，自适应环路滤波器43将在自适应环路滤波处理中使用的滤波器系数提供给可逆编码单元36。

在步骤S47中，帧存储器44累积由自适应环路滤波器43提供的图像和由加法单元40提供的图像。帧存储器44中累积的解码图像作为参考图像通过开关45被输出到帧内预测单元46或者运动预测/补偿单元47。

在步骤S48中，可逆编码单元36以帧内预测模式信息或帧间预测模式信息、运动向量和参考图像指定信息、偏移和类型信息或生成信息、对应关系标志和滤波器系数作为编码信息来执行可逆编码。

在步骤S49中，可逆编码单元36执行对由量化单元35提供的量化系数的可逆编码。然后，可逆编码单元36根据可变编码的系数和在步骤S48中的处理中可逆编码的编码信息来生成编码数据并且将生成的编码数据提供给累积缓冲器37。

在步骤S50中，累积缓冲器37临时存储由可逆编码单元36提供的编码数据。

在步骤S51中，基于累积缓冲器37中累积的编码数据，速率控制单元49以使得不生成溢出或下溢的方式来控制由量化单元35执行的量化操作的速率。

在步骤S52中，累积缓冲器37将存储的编码数据输出到图15中的设置单元22。然后，处理回到图32中的步骤S11并且进行到步骤S12。

注意到在图33和图34的编码处理中，为了简化描述，假定帧内预测处理和运动预测/补偿处理被不断地执行。然而，实际上，可以根据图片类型等执行这些种类的处理中的仅一个。

图35是用于描述图34中的步骤S45中的共享自适应偏移滤波处理的细节的流程图。

在图35中的步骤S71中，偏移缓冲器50中的序列缓冲器71存储由图7中的基本编码单元11提供的控制信息中的序列标志。在步骤S72中，切片缓冲器72存储控制信息中的切片标志。在步骤S73中，合并缓冲器73存储左合并标志和上合并标志。

在步骤S74中，类型缓冲器74存储控制信息中的类型信息。在步骤S75中，值缓冲器75存储由基本编码单元11提供的基本图像的偏移。

在步骤S76中，开/关设置单元81从序列缓冲器71中读取序列标志并且从切片缓冲器72中读取切片标志。然后，开/关设置单元81确定序列标志和切片标志中的每一个是否都是1。当在步骤S76中确定序列标志和切片标志中的每一个都是1时，开/关设置单元81确定要执行自适应偏移处理并且指示处理单元84执行自适应偏移处理。

然后，在步骤S77中，基于可扩展性的种类和由开/关设置单元81给出的要执行自适应偏移处理的指令，处理单元84生成对应关系标志。在步骤S78中，处理单元84确定生成的对应关系标志是否是1。当确定对应关系标志是1时，处理进行到步骤S79。

在步骤S79中，合并设置单元82从合并缓冲器73中读取左合并标志和上合并标志并且将读取的标志提供给处理单元84。在步骤S80中，处理单元84确定由合并设置单元82提供的左合并标志或上合并标志是否是1。

当在步骤S80中确定左合并标志和上合并标志中的每一个都不是1时，类型设置单元83在步骤S81中从类型缓冲器74中读取类型信息并且将类型信息提供给处理单元84。

在步骤S82中，处理单元84在由类型设置单元83提供的类型信息所指示的种类的自适应偏移处理中计算待处理LCU的偏移并且将该偏移提供给生成单元86。然后，处理单元84将由类型设置单元83提供的类型信息确定为待处理LCU的类型信息。处理单元84将待处理LCU的类型信息和偏移提供给偏移缓冲器85并将其存储在偏移缓冲器85中。

在步骤S83中，通过使用在步骤S82中计算的偏移，处理单元84针对经过去块滤波器41的自适应去块滤波处理的图像执行由在步骤S81中读取的类型信息指示的种类的自适应偏移滤波处理。然后，处理单元84将经过自适应偏移滤波处理之后的图像提供给图16中的自适应环路滤波器43。

在步骤S84中，生成单元86从值缓冲器75中读取基本图像的偏移。在步骤S85中，生成单元86计算读取的基本图像的偏移与由处理单元84提供的增强图像的偏移之间的差异并且将该差异作为生成信息提供给图16中的可逆编码单元36。然后，处理回到图34中的步骤S45并且进行到步骤S46。

另一方面，当在步骤S80中确定左合并标志或者上合并标志是1时，处理单元84在步骤S86中确定左合并标志是否是1。当在步骤S86中确定左合并标志是1时，处理单元84在步骤S87中从偏移缓冲器85中读取邻近待处理LCU的左侧的LCU的偏移和类型信息，并且将读取的偏移和类型信息确定为待处理LCU的偏移和类型信息。处理单元84将待处理LCU的类型信息和偏移提供给偏移缓冲器85并将其存储在偏移缓冲器85中。然后，处理进行到步骤S89。

另外，当在步骤S86中确定左合并标志不是1时，就是说，当上合并标志是1时，处理单元84在步骤S88中从偏移缓冲器85中读取邻近待处理LCU的上侧的LCU的偏移和类型信息，并且将读取的偏移和类型信息确定为待处理LCU的偏移和类型信息。处理单元84将待处理LCU的类型信息和偏移提供给偏移缓冲器85并将其存储在偏移缓冲器85中。然后，处理进行到步骤S89。

在步骤S89中，通过使用在步骤S87或S88中读取的偏移，处理单元84针对经过自适应去块滤波处理的图像执行由在步骤S87或S88中读取的类型信息指示的种类的自适应偏移滤波处理。然后，处理单元84将经过自适应偏移滤波处理之后的图像提供给自适应环路滤波器43。然后，处理回到图34中的步骤S45并且进行到步骤S46。

当在步骤S78中确定对应关系标志不是1时，处理进行到步骤S90。在步骤S90中，通过执行所有候选的种类和偏移的自适应偏移滤波处理，处理单元84将指示种类的类型信息和具有最小成本函数的偏移确定为待处理LCU的类型信息和偏移。处理单元84将待处理LCU的类型信息和偏移提供给偏移缓冲器85并将其存储在偏移缓冲器85中。

在步骤S91中，通过使用在步骤S90中读取的偏移，处理单元84针对经过自适应去块滤波处理的图像执行由在步骤S90中读取的类型信息指示的种类的自适应偏移滤波处理。然后，处理单元84将经过自适应偏移滤波处理之后的图像提供给自适应环路滤波器43。

在步骤S92中，处理单元84将在步骤S90中确定的类型信息和偏移提供给生成单元85。然后，生成单元85将类型信息和偏移提供给可逆编码单元36。然后，处理回到图34中的步骤S45并且进行到步骤S46。

另一方面，当在步骤S76中确定序列标志或切片标志不是1时，自适应偏移滤波处理不被执行并且处理单元84将由去块滤波器41提供的图像提供给自适应环路滤波器43。然后，处理回到图34中的步骤S45并且进行到步骤S46。

如上所述，基于基本图像的控制信息，编码装置10针对增强图像执行自适应偏移处理。因此，控制信息可以在基本层和增强层中被共享。相应地，无需将增强图像的控制信息包括在增强流中，并且因而可以提高编码效率。

另外，当对应关系标志是1并且左合并标志和上合并标志是0时，编码装置10生成生成信息并且传输生成信息而非增强图像的偏移。因此，编码效率可以被提高。

[解码装置的第一实施例的配置示例]

图36是例示出本技术所应用于的解码装置的第一实施例的一个配置示例的框图。解码装置对从图7中的编码装置10传输的整个层级的编码流进行解码。

图36中的解码装置90包括接收单元91、分离单元92、基本解码单元93和增强解码单元94。

接收单元91接收从图7中的编码装置10传输的整个层级的编码流并且将接收到的编码流提供给分离单元92。

分离单元92从由接收单元91提供的编码流中提取VPS并且基于VPS中包括的差异(diff_ref_layer)来识别增强流中是否存在参考层。在这里，编码装置10将基本层设置为增强流中的参考层。因此，分离单元92识别出存在参考层。

当识别出存在参考层时，分离单元92指示对参考层中的编码流进行解码的基本解码单元93将控制信息和偏移提供给对增强流进行解码的增强解码单元94。

此外，分离单元92从整个层级的编码流中分离出基本流并且将该基本流提供给基本解码单元93。另外，分离单元92分离出增强流并且将该增强流提供给增强解码单元94。

基本解码单元93类似于传统HEVC***中的解码装置而被配置。基本解码单元93通过HEVC***对由分离单元92提供的基本流进行解码并且生成基本图像。然而，基本解码单元93将在基本图像的解码中使用的控制信息和偏移提供给增强解码单元94。基本解码单元93输出生成的基本图像。

增强解码单元94通过与HEVC***兼容的***对由分离单元92提供的增强流进行解码并且生成增强图像。在这里，增强解码单元94参照由基本解码单元93提供的控制信息和偏移来解码增强流。增强解码单元94输出生成的增强图像。

[增强解码单元的配置示例]

图37是例示出图36中的增强解码单元94的一个配置示例的框图。

图37中的增强解码单元94包括提取单元111和解码单元112。

增强解码单元94中的提取单元111从由图36中的分离单元92提供的增强流中提取SPS、PPS、编码数据等并且将提取的SPS、PPS、编码数据等提供给解码单元112。

参照由图36中的基本解码单元93提供的基本图像的控制信息和偏移，解码单元112通过与HEVC***兼容的***对由提取单元111提供的编码数据进行解码。在这里，当必要时，解码单元112参照由提取单元111提供的SPS、PPS等。解码单元112将作为解码结果获得的图像输出为增强图像。

[解码单元的配置示例]

图38是例示出图37中的解码单元112的一个配置示例的框图。

图38中的解码单元112包括累积缓冲器131、可逆解码单元132、逆量化单元133、逆正交变换单元134、加法单元135、去块滤波器136、自适应偏移滤波器137、自适应环路滤波器138、屏幕排序缓冲器139、D/A变换单元140、帧存储器141、开关142、帧内预测单元143、运动补偿单元144、开关145和偏移缓冲器146。

解码单元112中的累积缓冲器131接收来自图37中的提取单元111的编码数据并且累积编码数据。累积缓冲器131将累积的编码数据提供给可逆解码单元132。

通过针对来自累积缓冲器131的编码数据执行诸如可变长度解码或算术解码之类的可逆解码，可逆解码单元132获得量化系数和编码信息。可逆解码单元132将量化系数提供给逆量化单元133。另外，可逆解码单元132将作为编码信息的帧内预测模式信息等提供给帧内预测单元143并且将运动向量、帧间预测模式信息、参考图像指定信息等提供给运动补偿单元144。

另外，可逆解码单元132将作为编码信息的帧内预测模式信息或者帧间预测模式信息提供给开关145。可逆解码单元132将作为编码信息的生成信息或偏移和类型信息以及对应关系标志提供给自适应偏移滤波器137并且将滤波器系数提供给自适应环路滤波器138。

逆量化单元133、逆正交变换单元134、加法单元135、去块滤波器136、自适应偏移滤波器137、自适应环路滤波器138、帧存储器141、开关142、帧内预测单元143和运动补偿单元144分别执行与图16中示出的逆量化单元38、逆正交变换单元39、加法单元40、去块滤波器41、自适应偏移滤波器42、自适应环路滤波器43、帧存储器44、开关45、帧内预测单元46和运动预测/补偿单元47的处理类似的处理，由此图像被解码。

更具体地说，逆量化单元133对来自可逆解码单元132的量化系数进行逆量化并且将作为逆量化的结果获得的正交变换系数提供给逆正交变换单元134。

逆正交变换单元134针对来自逆量化单元133的正交变换系数执行逆正交变换。逆正交变换单元134将作为逆正交变换的结果获得的残余信息提供给加法单元135。

加法单元135起解码单元的作用。通过使由逆正交变换单元134提供的作为待解码图像的残余信息和由开关145提供的预测图像相加，加法单元135执行解码。加法单元135将作为解码结果获得的图像提供给去块滤波器136并且将该图像提供给帧存储器141。注意到，当开关145未提供预测图像时，加法单元135将作为由逆正交变换单元134提供的残余信息的图像当作作为解码结果获得的图像提供给去块滤波器136并且在帧存储器141中累积该图像。

去块滤波器136针对由加法单元135提供的图像执行自适应去块滤波处理并且将作为该处理结果获得的图像提供给自适应偏移滤波器137。

自适应偏移滤波器137从偏移缓冲器146中读取基本图像的控制信息和偏移。通过使用基本图像的控制信息和偏移并且通过使用来自可逆解码单元132的生成信息或偏移和类型信息以及对应关系标志，自适应偏移滤波器137针对来自去块滤波器136的图像在每一个LCU中执行自适应偏移滤波处理。自适应偏移滤波器137将自适应偏移滤波处理之后的图像提供给自适应环路滤波器138。

通过使用由可逆解码单元132提供的滤波器系数，自适应环路滤波器138针对由自适应偏移滤波器137提供的图像在每一个LCU中执行自适应环路滤波处理。自适应环路滤波器138将作为该处理结果获得的图像提供给帧存储器141和屏幕排序缓冲器139。

屏幕排序缓冲器139以帧为单位存储由自适应环路滤波器138提供的图像。屏幕排序缓冲器139将以帧为单位并且按照编码次序的存储图像排序为原始显示次序并且将该图像提供给D/A变换单元140。

D/A变换单元140对由屏幕排序缓冲器139提供的以帧为单位的图像进行D/A变换并且将该图像输出为增强图像。帧存储器141累积由自适应环路滤波器138提供的图像或者来自加法单元135的图像。帧存储器141中累积的图像通过开关142被读出作为参考图像并且被提供给运动补偿单元144或者帧内预测单元143。

通过使用通过开关142从帧存储器141中读出的参考图像，帧内预测单元143在由可逆解码单元132提供的帧内预测模式信息所指示的帧内预测模式下执行帧内预测处理。帧内预测单元143将作为该处理结果生成的预测图像提供给开关145。

运动补偿单元144通过开关142从帧存储器141中读出由参考图像设置单元145提供的参考图像指定信息所指定的参考图像。通过使用由可逆解码单元132提供的运动向量和参考图像，运动补偿单元144在由可逆解码单元132提供的帧间预测模式信息所指示的最佳帧间预测模式下执行运动补偿处理。运动补偿单元144将作为该处理结果获得的预测图像提供给开关145。

当可逆解码单元132提供帧内预测模式信息时，开关145将由帧内预测单元143提供的预测图像提供给加法单元135。另一方面，当可逆解码单元132提供帧间预测模式信息时，开关145将由运动补偿单元144提供的预测图像提供给加法单元135。

偏移缓冲器146存储由图36中的基本解码单元93提供的控制信息和偏移。

[自适应偏移滤波器和偏移缓冲器的配置示例]

图39是例示出图38中的自适应偏移滤波器137和偏移缓冲器146的配置示例的框图。

图39中的偏移缓冲器146包括序列缓冲器161、切片缓冲器162、合并缓冲器163、类型缓冲器164和值缓冲器165。

序列缓冲器161存储由图36中的基本解码单元93提供的控制信息中的序列标志。切片缓冲器162存储控制信息中的切片标志。合并缓冲器163存储控制信息中的左合并标志和上合并标志。类型缓冲器164存储控制信息中的类型信息。值缓冲器165存储由基本解码单元93提供的基本图像的偏移。

自适应偏移滤波器137包括生成单元180、开/关设置单元181、合并设置单元82、类型设置单元183、处理单元184和偏移缓冲器185。

自适应偏移滤波器137中的生成单元180从偏移缓冲器146中的值缓冲器165中读取基本图像的偏移。生成单元180使读取的偏移与由图38中的可逆解码单元132提供的生成信息相加并且将作为相加结果获得的加值确定为增强图像的偏移。生成单元180将确定的偏移提供给处理单元184。

另外，生成单元180将由可逆解码单元132提供的偏移、类型信息和对应关系标志提供给处理单元184。

开/关设置单元181从序列缓冲器161中读取序列标志并且从切片缓冲器163中读取切片标志。基于序列标志和切片标志，开/关设置单元181确定是否要执行自适应偏移处理。当确定要执行自适应偏移处理时，开/关设置单元181指示处理单元184执行自适应偏移处理。

合并设置单元182从合并缓冲器163中读取左合并标志和上合并标志并且将左合并标志和上合并标志提供给处理单元184。类型设置单元183从类型缓冲器164中读取类型信息并且将类型信息提供给处理单元184。

当由生成单元180提供的对应关系标志是1并且来自合并设置单元182的左合并标志或上合并标志是1时，处理单元184从偏移缓冲器185中读取邻近待处理LCU的左侧或上侧的解码图像的类型信息和偏移。然后，处理单元184将读取的类型信息和偏移设置为待处理LCU的类型信息和偏移。

另一方面，当对应关系标志是1并且左合并标志和上合并标志是0时，处理单元184将由类型设置单元183提供的类型信息确定为待处理LCU的类型信息并且将由生成单元180提供的偏移确定为待处理LCU的偏移。

另外，当对应关系标志是0时，处理单元184将由生成单元180提供的偏移和类型信息确定为待处理LCU的偏移和类型信息。然后，处理单元184将待处理LCU的类型信息和偏移提供给偏移缓冲器185并将其存储在偏移缓冲器185中。

通过使用待处理LCU的偏移，处理单元184针对来自图38中的去块滤波器136的图像执行由待处理LCU的类型信息指示的种类的自适应偏移滤波处理。然后，处理单元184将经过自适应偏移滤波处理之后的图像提供给图38中的自适应环路滤波器138。

[解码装置的处理的描述]

图40是用于描述图36中的解码装置90中的分层解码处理的流程图。

在图40中的步骤100中，解码装置90中的接收单元91接收从图7中的编码装置10传输的整个层级的编码流并且将接收到的编码流提供给分离单元92。在步骤101中，分离单元92从由接收单元91提供的编码流中提取VPS。

在步骤102中，基于VPS中包括的差异(diff_ref_layer)，分离单元92识别增强流中是否存在参考层。在步骤103中，分离单元92指示对参考层中的编码流进行解码的基本解码单元93将控制信息和偏移提供给对增强流进行解码的增强解码单元94。

在步骤104中，分离单元92从整个层级的编码流中分离出基本流和增强流。分离单元92将基本流提供给基本解码单元93并且将增强流提供给增强解码单元94。

在步骤105中，基本解码单元93通过HEVC***对由分离单元92提供的基本流进行解码并且生成基本图像。在这里，基本解码单元93将在基本图像的解码中使用的控制信息和偏移提供给增强解码单元94。基本解码单元93输出生成的基本图像。

在步骤106中，参照由基本解码单元93提供的控制信息和偏移，增强解码单元94执行增强图像生成处理以根据由分离单元92提供的增强流生成增强图像。将参照下面描述的图41来描述增强图像生成处理的细节。

图41是用于描述图37中的增强解码单元94所执行的增强图像生成处理的流程图。

在图41中的步骤S111中，增强解码单元94中的提取单元111从由分离单元92提供的增强流中提取SPS、PPS、编码数据等并且将提取的SPS、PPS、编码数据等提供给解码单元112。

在步骤S112中，当必要时，解码单元112参照由提取单元111提供的SPS或PPS或者由基本解码单元93提供的控制信息和偏移等，并且通过与HEVC***兼容的***对由提取单元111提供的编码数据进行解码。将参照下面描述的图42来描述解码处理的细节。然后，处理结束。

图42是用于描述图41中的步骤S112中的解码处理的细节的流程图。

在图42中的步骤S131中，解码单元112中的累积缓冲器131接收并累积来自图37中的提取单元111的以帧为单位的编码数据。累积缓冲器131将累积的编码数据提供给可逆解码单元132。

在步骤S132中，可逆解码单元132对来自累积缓冲器131的编码数据进行可逆解码并且获得量化系数和编码信息。可逆解码单元132将量化系数提供给逆量化单元133。另外，可逆解码单元132将作为编码信息的帧内预测模式信息等提供给帧内预测单元143并且将运动向量、帧间预测模式信息、参考图像指定信息等提供给运动补偿单元144。

另外，可逆解码单元132将作为编码信息的帧内预测模式信息或者帧间预测模式信息提供给开关145。可逆解码单元132将作为编码信息的生成信息或偏移和类型信息以及对应关系标志提供给自适应偏移滤波器137并且将滤波器系数提供给自适应环路滤波器138。

在步骤S133中，逆量化单元133对来自可逆解码单元132的量化系数进行逆量化并且将作为逆量化的结果获得的正交变换系数提供给逆正交变换单元134。

在步骤S134中，运动补偿单元144确定可逆解码单元132是否提供了帧间预测模式信息。当在步骤S134中确定帧间预测模式信息被提供时，处理进行到步骤S135。

在步骤S135中，基于由可逆解码单元132提供的参考图像指定信息，运动补偿单元144读取参考图像并且通过使用运动向量和参考图像在由帧间预测模式信息所指示的最佳帧间预测模式下执行运动补偿处理。运动补偿单元144将作为该处理结果生成的预测图像通过开关145提供给加法单元135并且处理进行到步骤S137。

另一方面，当在步骤S134中确定帧间预测模式信息未被提供时，就是说，当帧内预测模式信息被提供给帧内预测单元143时，处理进行到步骤S136。

在步骤S136中，通过使用通过开关142从帧存储器141中读出由参考图像，帧内预测单元143在由帧内预测模式信息所指示的帧内预测模式下执行帧内预测处理。帧内预测单元143将作为帧内预测处理的结果而生成的预测图像通过开关145提供给加法单元135并且处理进行到步骤S137。

在步骤S137中，逆正交变换单元134针对来自逆量化单元133的正交变换系数执行逆正交变换并且将作为逆正交变换的结果获得的残余信息提供给加法单元135。

在步骤S138中，加法单元135使由逆正交变换单元134提供的残余信息和由开关145提供的预测图像相加。加法单元135将作为相加结果获得的图像提供给去块滤波器136并将其提供给帧存储器141。

在步骤S139中，去块滤波器136针对由加法单元135提供的图像执行去块滤波处理并且消除块失真。去块滤波器136将作为该处理结果获得的图像提供给自适应偏移滤波器137。

在步骤S140中，参照来自基本解码单元93的控制信息和偏移以及来自可逆解码单元132的生成信息或偏移、类型信息和对应关系标志，自适应偏移滤波器137针对来自去块滤波器136的图像执行共享的自适应偏移滤波处理，以在每一个LCU中执行自适应偏移滤波处理。稍后将参照图43描述共享的自适应偏移滤波处理的细节。

在步骤S141中，通过使用由可逆解码单元132提供的滤波器系数，自适应环路滤波器138针对由自适应偏移滤波器137提供的图像在每一个LCU中执行自适应环路滤波处理。自适应环路滤波器138将作为该处理结果获得的图像提供给帧存储器141和屏幕排序缓冲器139。

在步骤S142中，帧存储器141累积由加法单元135提供的图像和由自适应环路滤波器138提供的图像。帧存储器141中累积的图像作为参考图像通过开关142被提供给帧内预测单元143或者运动补偿单元144。

在步骤S143中，屏幕排序缓冲器139以帧为单位存储由自适应环路滤波器138提供的图像，将以帧为单位并且按照编码次序的存储图像排序为原始显示次序，并且将该图像提供给D/A变换单元140。

在步骤S144中，D/A变换单元140对由屏幕排序缓冲器139提供的以帧为单位的图像进行D/A变换并且将变换后的图像输出为增强图像。然后，处理回到图41中的步骤S112并且结束。

图43是用于描述图42中的步骤S140中的共享自适应偏移滤波处理的细节的流程图。

在图43中的步骤S161中，序列缓冲器161存储由图36中的基本解码单元93提供的控制信息中的序列标志。在步骤S162中，切片缓冲器162存储控制信息中的切片标志。在步骤S163中，合并缓冲器163存储控制信息中的左合并标志和上合并标志。

在步骤S164中，类型缓冲器164存储控制信息中的类型信息。在步骤S165中，值缓冲器165存储由基本解码单元93提供的偏移。在步骤S166中，开/关设置单元181从序列缓冲器161中读取序列标志并且从切片缓冲器163中读取切片标志。然后，开/关设置单元181确定序列标志和切片标志中的每一个是否都是1。

当在步骤S166中确定序列标志和切片标志中的每一个都是1时，开/关设置单元181确定要执行自适应偏移处理并且指示处理单元184执行自适应偏移处理。然后，在步骤S167中，处理单元184确定通过生成单元180由可逆解码单元132提供的对应关系标志是否是1。

当在步骤S167中确定对应关系标志是1时，合并设置单元182在步骤S168中读取左合并标志和上合并标志并且将读取的标志提供给处理单元184。在步骤S169中，处理单元184确定左合并标志或者上合并标志是否是1。

当在步骤S169中确定左合并标志和上合并标志不是1时，生成单元180在步骤S170中获取由可逆解码单元132提供的类型信息和生成信息。

在步骤S171中，生成单元180从值缓冲器165中读取偏移并且使偏移和生成信息相加。生成单元180将作为相加结果获得的加值确定为待处理LCU的偏移，将获取的类型信息确定为待处理LCU的偏移，并且将它们提供给处理单元184。然后，处理进行到步骤S176。

另一方面，当在步骤S169中确定左合并标志或者上合并标志是1时，处理单元184在步骤S172中确定左合并标志是否是1。当在步骤S172中确定左合并标志是1时，处理单元184在步骤S173中从偏移缓冲器185中读取邻近待处理LCU的左侧的LCU的偏移和类型信息并且将读取的偏移和类型信息确定为待处理LCU的偏移和类型信息。然后，处理进行到步骤S176。

当在步骤S172中确定左合并标志不是1时，就是说，当上合并标志是0时，处理进行到步骤S174。在步骤S174中，处理单元184从偏移缓冲器185中读取邻近待处理LCU的右侧的LCU的偏移和类型信息并且将读取的偏移和类型信息确定为待处理LCU的偏移和类型信息。然后，处理进行到步骤S176。

另一方面，当在步骤S167中确定对应关系标志不是1时，生成单元180在步骤S175中获取由可逆解码单元132提供的偏移和类型信息并且将获得的偏移和类型信息提供给处理单元184。然后，处理单元184将由生成单元180提供的偏移和类型信息确定为待处理LCU的偏移和类型信息。然后，处理进行到步骤S176。

在步骤S176中，通过使用待处理LCU的偏移，处理单元184针对来自图38中的去块滤波器136的图像执行由待处理LCU的类型信息指示的种类的自适应偏移滤波处理。然后，处理单元184将经过自适应偏移滤波处理之后的图像提供给图38中的自适应环路滤波器138。另外，处理单元184将待处理LCU的类型信息和偏移提供给偏移缓冲器185并将其存储在偏移缓冲器185中。然后，处理进行到图42中的S140并且进行到步骤S141。

如上所述，基于基本图像的控制信息，解码装置90针对增强图像执行自适应偏移处理。因此，控制信息可以在基本层和增强层中被共享。相应地，无需将增强图像的控制信息包括在增强流中，并且因而可以提高编码效率。

另外，当对应关系标志是1并且左合并标志和上合并标志是0时，解码装置90根据生成信息和基本图像的偏移来生成增强图像的偏移并且基于基本图像的偏移和控制信息来执行自适应偏移滤波处理。相应地，编码装置10可以传输生成信息而非增强图像的偏移，并且因而编码效率可以被提高。

注意到在第一实施例中，假定层的数目是二。然而，层的数目可以等于或者大于二。另外，参考层可以以图片为单位来设置，或者以GOP为单位来设置。

另外，在第一实施例中，基本图像是通过HEVC***来编码的，但是也可以通过AVC***来编码。

另外，在第一实施例中，类型信息和偏移是按照LCU来设置的，但是类型信息和偏移也可以以划分为四叉树的区域为单位来设置。另外，对应关系标志或者序列标志可以被包括在VPS中。

<对多视点图像编码/多视点图像解码的应用>

上面描述的一系列处理可被应用于多视点图像编码/多视点图像解码。图44是例示出多视点图像编码***的一个示例的视图。

如在图44中示出，多视点图像包括具有多个视点的图像，并且多个视点当中的一个预定视点的图像被指定为基本视图(base view)中的图像。除基本视图中的图像之外的每一个视点的图像被看作非基本视图(non-base view)中的图像。当通过可扩展性功能执行多视点图像编码时，基本视图中的图像被编码为基本层(base layer)图像并且非基本视图中的图像被编码为增强图像。

在执行诸如图44中示出的多视点图像编码的情况下，可以在每一个视图(相同视图)中获得量化参数的差异：

(1)基本视图:

(1-1)dQP(base view)＝Current_CU_QP(base view)-LCU_QP(base view)

(1-2)dQP(base view)＝Current_CU_QP(base view)-Previsous_CU_QP(base view)

(1-3)dQP(base view)＝Current_CU_QP(base view)-Slice_QP(base view)

(2)非基本视图:

(2-1)dQP(non-base view)＝Current_CU_QP(non-base view)-LCU_QP(non-base view)

(2-2)dQP(non-base view)＝CurrentQP(non-base view)-PrevisousQP(non-base view)

(2-3)dQP(non-base view)＝Current_CU_QP(non-base view)-Slice_QP(non-base view)

在执行多视点图像编码的情况下，可以在每一个视图(不同视图)中获得量化参数的差异：

(3)基本视图/非基本视图:

(3-1)dQP(inter-view)＝Slice_QP(base view)-Slice_QP(non-base view)

(3-2)dQP(inter-view)＝LCU_QP(base view)-LCU_QP(non-base view)

(4)非基本视图/非基本视图/non-base view:

(4-1)dQP(inter-view)＝Slice_QP(non-base view i)-Slice_QP(non-base view j)

(4-2)dQP(inter-view)＝LCU_QP(non-base view i)-LCU_QP(non-base view j)

在这种情况下，还可以组合并使用上述(1)至(4)。例如，在非基本视图中，获得基本视图与非基本视图之间的切片水平的量化参数差异的方法(组合3-1和2-3)和获得基本视图与非基本视图之间的LCU水平的量化参数差异的方法(组合3-2和2-1)的方法可以被考虑。以这种方式，通过重复地应用差异，即使在执行多视点编码的情况下，也可以提高编码效率。

与上述方法类似，可以针对每一个dQP来设置用来标识是否存在值不为0的dQP的标志。

<通过可扩展性功能的编码的不同示例>

图45是例示出通过可扩展性功能的编码的不同示例的视图。

如在图45中示出，在通过可扩展性功能的编码中，可以在每一个层(相同层)中获得量化参数的差异：

(1)基本层:

(1-1)dQP(base layer)＝Current_CU_QP(base layer)-LCU_QP(base layer)

(1-2)dQP(base layer)＝Current_CU_QP(base layer)-Previsous_CU_QP(base layer)

(1-3)dQP(base layer)＝Current_CU_QP(base layer)-Slice_QP(base layer)

(2)非基本层:

(2-1)dQP(non-base-layer)＝Current_CU_QP(non-base-layer)-LCU_QP(non-base-layer)

(2-2)dQP(non-base-layer)＝CurrentQP(non-base-layer)-PrevisousQP(non-base-layer)

(2-3)dQP(non-base view)＝Current_CU_QP(non-base view)-Slice_QP(non-base view)

另外，在每一个层(不同层)中，可以获得量化参数的差异：

(3)基本层/非基本层:

(3-1)dQP(inter-layer)＝Slice_QP(base layer)-Slice_QP(non-base layer)

(3-2)dQP(inter-layer)＝LCU_QP(base layer)-LCU_QP(non-base layer)

(4)非基本层/非基本层:

(4-1)dQP(inter-layer)＝Slice_QP(non-base layer i)-Slice_QP(non-base layer j)

(4-2)dQP(inter-layer)＝LCU_QP(non-base layer i)-LCU_QP(non-base layer j)

在这种情况下，还可以组合并使用上述(1)至(4)。例如，在非基本层(non-base layer)中，获得基本层与非基本层之间的切片水平的量化参数差异的方法(组合3-1和2-3)和获得基本层与非基本层之间的LCU水平的量化参数差异的方法(组合3-2和2-1)的方法可以被考虑。以这种方式，通过重复地应用差异，即使在执行分层编码的情况下，也可以提高编码效率。

与上述方法类似，可以针对每一个dQP来设置用来标识是否存在值不为0的dQP的标志。

<第三实施例>

[本技术所应用于的计算机的描述]

一系列上述处理可以由硬件执行或者由软件执行。当一系列处理由软件执行时，软件中包括的程序被安装到计算机中。在这里，计算机可以是嵌入在专用硬件中的计算机，或者例如可以是可以通过安装各种程序来执行各种功能的通用个人计算机。

图46是例示出通过程序来执行一系列处理的计算机的硬件的一个配置示例的框图。

在该计算机中，中央处理单元(CPU)601、只读存储器(ROM)602和随机存取存储器(RAM)603通过总线604而相互连接。

输入/输出接口605还被连接到总线604。输入单元606、输出单元607、存储单元608、通信单元609和驱动器610被连接到输入/输出接口605。

输入单元606包括键盘、鼠标、麦克风等。输出单元607包括显示器、扬声器等。存储单元608包括硬盘、非易失性存储器等。通信单元609包括网络接口等。驱动器610驱动可移动介质611，诸如磁盘、光盘、磁光盘或者半导体存储器。

在这样配置的计算机中，CPU 601通过输入/输出接口605和总线604将例如存储单元608中存储的程序加载到RAM 603中并且执行该程序，由此一系列处理被执行。

例如，计算机(CPU 601)所执行的程序当被提供时被记录在起封装介质等作用的可移动介质611中。另外，该程序可以通过诸如局域网、因特网或者数字卫星广播之类的有线或者无线传输介质来提供。

在计算机中，通过将可移动介质611安装到驱动器610上，程序可以通过输入/输出接口605被安装到存储单元608中。此外，程序可以在通信单元609中通过有线或者无线传输介质被接收并且可以被安装到存储单元608中。此外，程序可被预先安装到ROM 602或者存储单元608中。

注意到，计算机所执行的程序可以是其中按照在本说明书中描述的次序按照时间顺序执行处理的程序，或者可以是其中并行地执行处理或者在诸如进行调用时的必要时刻执行处理的程序。

<第四实施例>

[电视装置的配置示例]

图47是例示出本技术所应用于的电视装置的一个示意性配置示例的视图。电视装置900包括天线901、调谐器902、解复用器903、解码器904、视频信号处理单元905、显示单元906、音频信号处理单元907、扬声器908和外部接口单元909。此外，电视装置900包括控制单元910、用户接口单元911等。

调谐器902从通过天线901接收到的广播信号中选择期望的频道并且执行解调。然后，调谐器902将获得的编码比特流输出给解复用器903。

解复用器903从编码比特流中提取所要观看的节目的视频或者音频的分组并且将提取的分组的数据输出给解码器904。另外，解复用器903将诸如电子节目指南(EPG)之类的数据的分组提供给控制单元910。注意到当执行加扰时，通过解复用器等释放加扰。

解码器904执行对分组的解码处理并且将通过解码处理生成的视频数据输出给视频信号处理单元905并且将音频数据输出给音频信号处理单元907。

视频信号处理单元905针对视频数据执行噪声去除或者对应于用户设定的视频处理等。视频信号处理单元905根据基于通过网络等提供的应用的处理来生成将在显示单元906上显示的节目的视频数据、图像数据。此外，视频信号处理单元905生成用来显示菜单屏幕等例如以选择项目的视频数据并且将该数据叠加在节目的视频数据上。基于这样生成的视频数据，视频信号处理单元905生成驱动信号并且驱动显示单元906。

基于来自视频信号处理单元905的驱动信号，显示单元906驱动显示设备(例如，液晶显示元件等)并且显示节目的视频等。

音频信号处理单元907针对音频数据执行诸如噪声去除之类的预定处理，对经处理的音频数据执行D/A变换处理或者放大处理，并且将音频数据提供给扬声器908，由此音频输出被执行。

外部接口单元909是用于与外部设备或者网络连接的接口并且执行视频数据、音频数据等的发送/接收。

用户接口单元911被连接到控制单元910。用户接口单元911包括操作开关、遥控信号接收单元等并且将对应于用户操作的操作信号提供给控制单元910。

控制单元910包括中央处理单元(CPU)、存储器等。存储器存储CPU所执行的程序、CPU执行处理所必需的各种数据、EPG数据、通过网络获取的数据等。存储器中存储的程序在诸如电视装置900的激活之类的预定时刻被CPU读出并执行。通过执行程序，CPU以使得电视装置900执行与用户操作相对应的操作的方式来控制每一个单元。

注意到在电视装置900中，总线912被提供以使控制单元910与调谐器902、解复用器903、视频信号处理单元905、音频信号处理单元907、外部接口单元909等连接。

在这样配置的电视装置中，本申请的解码装置(解码方法)的功能被提供给解码器904。因此，用来控制包括分层结构的图像的滤波处理的信息可以被共享。

<第五实施例>

[移动电话的配置示例]

图48是例示出本技术所应用于的移动电话的一个示意性配置示例的视图。移动电话920包括通信单元922、音频编解码器923、摄像单元926、图像处理单元927、接复用单元928、记录/再现单元929、显示单元930和控制单元931。这些通过总线933而相互连接。

另外，天线921被连接到通信单元922。扬声器924和麦克风925被连接到音频编解码器923。此外，操作单元932被连接到控制单元931。

移动电话920在诸如音频通信模式或者数据通信模式之类的各种模式下执行各种操作，诸如音频信号的发送/接收、电子邮件或图像数据的发送/接收、图像拍摄或者数据记录。

在音频通信模式下，音频编解码器923针对在麦克风925中生成的音频信号变换为音频数据或者进行数据压缩，并且将音频数据提供给通信单元922。通信单元922执行对音频数据的调制处理、频率变换处理等并且生成发射信号。此外，通信单元922将发射信号提供给天线921并且将发射信号发送给基站(未示出)。另外，通信单元922执行对通过天线921接收到的接收信号的放大、频率变换处理、解调处理并且将所获得的音频数据提供给音频编解码器923。音频编解码器923执行音频数据的扩展或者将音频数据变换为模拟音频信号并且将该音频信号输出给扬声器924。

此外，当在数据通信模式下执行电子邮件的发送的情况下，控制单元931接收通过操作单元932中的操作而输入的字符数据并且将输入的字符显示在显示单元930上。另外，控制单元931基于操作单元932中的用户指令生成电子邮件数据并且将电子邮件数据提供给通信单元922。通信单元922执行对电子邮件数据的调制处理、频率变换处理等并且从天线921发送所获得的发射信号。另外，通信单元922执行对通过天线921接收到的接收信号的放大、频率变换处理、解调处理等并且恢复电子邮件数据。电子邮件数据被提供给显示单元930并且电子邮件的内容被显示。

注意到移动电话920可以使记录/再现单元929将接收到的电子邮件数据存储到存储介质中。存储介质是任意的可重写存储介质。例如，存储介质是诸如RAM或内建型闪存之类的半导体存储器，或者诸如硬盘、磁盘、磁光盘、光盘、USB存储器或者存储卡之类的可移动介质。

在图像数据在数据通信模式下被传输的情况下，在摄像单元926中生成的图像数据被提供给图像处理单元927。图像处理单元927执行对图像数据的编码处理并且生成编码数据。

解复用单元928通过使用预定***对在图像处理单元927中生成的编码数据和由音频编解码器923提供的音频数据进行复用并且将复用后的数据提供给通信单元922。通信单元922执行对复用数据的调制处理、频率变换处理等并且从天线921发送所获得的发射信号。另外，通信单元922执行对通过天线921接收到的接收信号的放大、频率变换处理、解调处理等并且恢复复用数据。复用数据被提供给解复用单元928。解复用单元928对复用数据进行解复用，并且将编码数据提供给图像处理单元927，并且将音频数据提供给音频编解码器923。图像处理单元927执行对编码数据的编码处理并且生成图像数据。图像数据被提供给显示单元930并且接收到的图像被显示。音频编解码器923将音频数据变换为模拟音频信号，将音频信号提供给扬声器924，并且输出接收到的音频。

在这样配置的移动电话中，本申请的编码装置和解码装置(编码方法和解码方法)的功能被提供给图像处理单元927。因此，用来控制包括分层结构的图像的滤波处理的信息可以被共享。

<第六实施例>

[记录/再现装置的配置示例]

图49是例示出本技术所应用于的记录/再现装置的一个示意性配置示例的视图。例如，记录/再现装置940将接收到的广播节目的音频数据和视频数据记录到记录介质中并且在对应于用户指令的时刻将所记录的数据提供给用户。另外，记录/再现装置940可以例如从另一装置获取音频数据或视频数据并且可以将这些记录到记录介质中。此外，通过对记录介质中记录的音频数据或视频数据进行解码和输出，记录/再现装置940使得可以在监视器装置等中执行图像显示或音频输出。

记录/再现装置940包括调谐器941、外部接口单元942、编码器943、硬盘驱动器(HDD)单元944、盘驱动器945、选择器946、解码器947、屏上显示(OSD)单元948、控制单元949和用户接口单元950。

调谐器941从通过天线(未示出)接收到的广播信号中选择期望的频道。调谐器941将通过解调期望频道的接收信号而获得的编码比特流输出给选择器946。

外部接口单元942包括IEEE1394接口、网络接口单元、USB接口、闪存接口等中的至少一个。外部接口单元942是用于与外部设备、网络、存储卡等连接的接口并且执行对诸如记录的视频数据或音频数据的数据的接收。

编码器943在由外部接口单元942提供的视频数据或者音频数据未被编码时通过预定***执行编码。然后，编码器943将编码后的比特流输出给选择器946。

HDD单元944将诸如视频或音频、各种节目、不同数据等的内容数据记录到内建的硬盘中并且例如在再现时从硬盘中读出它们。

盘驱动器945在安装的光盘中记录并再现信号。光盘例如是DVD盘(诸如DVD-Video、DVD-RAM、DVD-R、DVD-RW、DVD+R或DVD+RW)或者蓝光(注册商标)盘。

在视频或音频的记录时，选择器946选择来自调谐器941或编码器943的编码比特流并且将选中的编码比特流提供给HDD单元944或盘驱动器945。另外，在视频或音频的再现时，选择器946将从HDD单元944或者盘驱动器945输出的编码比特流提供给解码器947。

解码器947执行对编码比特流的解码处理。解码器947将通过解码处理生成的视频数据提供给OSD单元948。另外，解码器947输出通过解码处理生成的音频数据。

OSD单元948生成用来显示例如用于项目选择的菜单屏幕等的视频数据，将该视频数据叠加在从解码器947输出的视频数据上，并且输出数据。

用户接口单元950被连接到控制单元949。用户接口单元950包括操作开关、遥控信号接收单元等并且将对应于用户操作的操作信号提供给控制单元949。

控制单元949包括CPU、存储器等。存储器存储CPU所执行的程序或者CPU执行处理所必需的各种数据。存储器中存储的程序在诸如记录/再现装置940的激活之类的预定时刻被CPU读出并执行。通过执行该程序，CPU以使得记录/再现装置940执行与用户操作相对应的操作的方式来控制每一个单元。

在这样配置的记录/再现装置中，本申请的解码装置(解码方法)的功能被提供给解码器947。因此，用来控制包括分层结构的图像的滤波处理的信息可以被共享。

<第七实施例>

[成像装置的配置示例]

图50是例示出本技术所应用于的成像装置的一个示意性配置示例的视图。成像装置960对对象进行成像并且将对象的图像显示在显示单元上或者将该图像作为图像数据记录到记录介质中。

成像装置960包括光学块961、成像单元862、摄像信号处理单元863、图像数据处理单元864、显示单元865、外部接口单元866、存储单元867、介质驱动器968、OSD单元869和控制器970。另外，用户接口单元971被连接到控制单元970。另外，图像数据处理单元864、外部接口单元866、存储单元867、介质驱动器968、OSD单元869、控制器970等经由总线972相互连接。

光学块961包括聚焦透镜、光圈机构等。光学块961使对象的光学图像形成在成像单元862的成像平面上。成像单元862包括CCD或CMOS图像传感器。成像单元862通过光电变换生成对应于光学图像的电信号并且将该电信号提供给摄像信号处理单元863。

摄像信号处理单元863针对由成像单元862提供的电信号执行诸如拐点(knee)校正、伽马矫正或颜色校正的各种摄像信号处理。摄像信号处理单元863将经过摄像信号处理之后的图像数据提供给图像数据处理单元864。

图像数据处理单元864执行对由摄像信号处理单元863提供的图像数据的编码处理。图像数据处理单元864将通过编码处理生成的编码数据提供给外部接口单元866或介质驱动器968。另外，图像数据处理单元864对由外部接口单元866或介质驱动器968提供的编码数据执行解码处理。图像数据处理单元864将通过解码处理生成的图像数据提供给显示单元865。另外，图像数据处理单元864把由摄像信号处理单元863提供的图像数据提供给显示单元965或者将从OSD单元869获得的显示数据叠加在图像数据上并且将数据提供给显示单元865。

OSD单元869生成诸如菜单屏幕或者包括符号、字符或图形在内的图标之类的显示数据并且将生成的显示数据输出给图像数据处理单元864。

外部接口单元866包括例如USB输入/输出端子，并且在图像被打印时被连接到打印机。另外，驱动器在必要时被连接到外部接口单元866，并且诸如磁盘或者光盘之类的可移动介质被任意安装。从其中读出的计算机程序在必要时被安装。另外，外部接口单元866包括网络接口，该网络接口被连接到诸如LAN或因特网之类的预定网络。例如，根据来自用户接口单元971的指令，控制单元970可以从介质驱动器968中读取编码数据并且将来自外部接口单元866的编码数据提供给通过网络相连的另一设备。另外，控制单元970可以通过外部接口单元866获取通过网络由另一设备提供的编码数据或图像数据并且可以将编码数据或图像数据提供给图像数据处理单元864。

作为由介质驱动器968驱动的记录介质，例如，诸如磁盘、磁光盘、光盘或者半导体存储器之类的任意的可读/可重写可移动介质被使用。作为可移动介质的记录介质的种类也是任意确定的，并且可以是磁带设备、盘或者存储卡。当然，非接触式集成电路(IC)卡等可以被使用。

另外，介质驱动器968和记录介质可以被合并并且可以例如由诸如内建型硬盘驱动器或固态驱动器(SSD)之类的非便携式存储介质构成。

控制单元970包括CPU。存储单元867存储控制单元970所执行的程序或者控制单元970执行处理所必需的各种数据。存储单元867中存储的程序在诸如成像装置960的激活之类的预定时刻被控制单元970读取并执行。通过执行该程序，控制单元970以使得成像装置960执行与用户操作相对应的操作的方式来控制每一个单元。

在这样配置的成像装置中，本申请的编码装置和解码装置(编码方法和解码方法)的功能被提供给图像数据处理单元864。因此，用来控制包括分层结构的图像的滤波处理的信息可以被共享。

<可扩展编码的应用示例>

[第一***]

接下来，被执行作为通过可扩展功能的编码的可扩展编码(分层编码)的可扩展编码数据的具体使用的一个示例将被描述。例如，如在图51中的示例示出，可扩展编码被用于选择将被发送的数据。

在图51中示出的数据传输***1000中，分发服务器1002读取可扩展编码数据存储单元1001中存储的可扩展编码数据并且将读取的数据通过网络1003分发给诸如个人计算机1004、AV设备1005、平板设备1006和移动电话1007之类的终端装置。

在这里，根据终端装置的能力、通信环境等，分发服务器1002选择并发送具有适当质量的编码数据。即使当分发服务器1002发送具有不必要的高质量的数据时，终端装置可能无法获得具有高质量的图像并且延迟或溢出可能被生成。另外，通信波段可能被不必要地占用并且终端装置的负载可能被不必要地增加。另一方面，当分发服务器1002发送具有不必要的低质量的数据时，终端装置可能无法获得具有足够图像质量的图像。因此，分发服务器1002将可扩展编码数据存储单元1001中存储的可扩展编码数据任意地读取并发送作为具有适合终端装置的能力、通信环境等的质量的编码数据。

例如，假定可扩展编码数据存储单元1001存储以可扩展方式编码的可扩展编码数据(BL+EL)1011。可扩展编码数据(BL+EL)1011是包括基本层和增强层两者的编码数据并且是可以通过解码从中得到基本层中的图像和增强层中的图像两者的数据。

根据数据所发往的终端装置的能力、通信环境等，分发服务器1002选择适当的层并且读取该层中的数据。例如，针对具有高处理能力的个人计算机1004或者平板设备1006，分发服务器1002从可扩展编码数据存储单元1001中读取具有高质量的可扩展编码数据(BL+EL)1011并且原样发送该数据。另一方面，例如，针对具有低处理能力的AV设备1005或者移动电话1007，分发服务器1002从可扩展编码数据(BL+EL)1011中提取基本层中的数据并且将该数据发送作为可扩展编码数据(BL)1012，可扩展编码数据(BL)1012是内容与可扩展编码数据(BL+EL)1011相同但是具有比可扩展编码数据(BL+EL)1011更低的质量的数据。

通过这样使用可扩展编码数据，可以容易地调节数据的量。因而，可以控制延迟或溢出的生成或者控制终端装置或通信介质的负载的不必要增加。另外，在可扩展编码数据(BL+EL)1011中，层之间的冗余被减少。因而，与每一个层中的编码数据是单独数据的情况相比可以减少数据的量。相应地，可以更加高效地使用可扩展编码数据存储单元1001的存储区域。

注意到诸如个人计算机1004至移动电话1007的各种装置可被应为终端装置。因而，终端装置的硬件性能根据设备而异。另外，因为存在由终端装置执行的各种应用，因此软件能力有不同。另外，作为将是通信介质的网络1003，诸如因特网或局域网(LAN)的各种有线和/或无线的通信线路网络可以被应用并且其数据传输能力有不同。此外，根据不同的通信等可以造成变化。

因此，在开始数据传输之前，分发服务器1002可以与将是数据传输目的地的终端装置进行通信，并且可以获得诸如终端装置的硬件性能或终端装置所执行的应用(软件)的性能之类的与终端装置的能力有关的信息，以及诸如网络1003的可用带宽之类的与通信环境有关的信息。然后，基于获得的信息，分发服务器1002可以选择适当的层。

注意到层的提取可以在终端装置中执行。例如，个人计算机1004可以对发送的可扩展编码数据(BL+EL)1011进行解码并且可以显示基本层中的图像或者增强层中的图像。另外，例如，个人计算机1004可以从发送的可扩展编码数据(BL+EL)1011中提取基本层中的可扩展编码数据(BL)1012。个人计算机1004可以存储提取的数据或者将提取的数据传送到另一装置。另外，个人计算机1004可以执行解码并且可以显示基本层中的图像。

当然，可扩展编码数据存储单元1001的数目、分发服务器1002的数目、网络1003的数目和终端装置的数目是任意确定的。另外，在上面，已经描述了其中分发服务器1002向终端装置发送数据的一个示例。然而，使用的示例不限于上面。数据传输***1000可以被应用于任意***，只要在可扩展编码数据被发送到终端装置时根据终端装置的能力、通信环境等在该***中选择并发送适当层即可。

[第二***]

另外，例如，如在图52中的示例中示出，可扩展编码被用于经由多个通信介质的传输。

在图52中示出的数据传输***1100中，广播站1101通过地面广播1111发送基本层中的可扩展编码数据(BL)1121。另外，广播站1101通过包括有线和/或无线通信网络的任意网络1112发送增强层中的可扩展编码数据(EL)1122(例如，通过执行分组化)。

终端装置1102包括用来接收由广播站1101广播的地面广播1111的功能并且接收通过地面广播1111发送的基本层中的可扩展编码数据(BL)1121。另外，终端装置1102还包括用来执行经由网络1112的通信的通信功能并且接收经由网络1112发送的增强层中的可扩展编码数据(EL)1122。

例如，根据用户指令等，终端设备1102通过对通过地面广播1111获取的基本层中的可扩展编码数据(BL)1121进行解码来获得基本层中的图像，并且存储该图像，或者将该图像发送给另一装置。

另外，例如，根据用户指令等，终端设备1102通过合成通过地面广播1111获取的基本层中的可扩展编码数据(BL)1121和通过网络1112获取的增强层中的可扩展编码数据(EL)1122来获得可扩展编码数据(BL+EL)，通过对可扩展编码数据(BL+EL)进行解码来获得增强层中的图像，存储该图像，或者将该数据发送给另一装置。

如上所述，可以例如通过因每一个层而异的通信介质来发送可扩展编码数据。因此，负载可以被分布，并且延迟或溢出的生成可以被控制。

另外，根据情形，可以为每一个层选择用于传输的通信介质。例如，具有相对大数据量的基本层中的可扩展编码数据(BL)1121可以通过具有宽带宽的通信介质来传输，并且具有相对小数据量的增强层中的可扩展编码数据(EL)1122可以通过具有窄带宽的通信介质来传输。另外，例如，可以根据网络1112的可用带宽来切换是使用网络1112还是使用地面广播1111作为用来传输增强层中的可扩展编码数据(EL)1122的通信介质。当然，任意层中的数据是按照类似方式。

通过以这种方式进行控制，可以进一步抑制数据传输的负载增加。

当然，层的数目是任意确定的，并且用于传输的通信介质的数目也是任意确定的。此外，将是数据分发目的地的终端装置1102的数目是任意确定的。另外，在上面，来自广播站1101的广播已经被描述为示例。然而，使用示例不限上面。数据传输***1100可以被应用于任意***，只要以可扩展方式编码的编码数据被分为以层为单位的多条并且通过***中的多条线路传输即可。

[第三***]

另外，例如，如在图53中的示例中示出，可扩展编码被用于存储编码数据。

在图53中示出的成像***1200中，成像装置1201对通过对对象1211进行成像而获得的图像数据执行可扩展编码并且将作为可扩展编码数据(BL+EL)1221的图像数据提供给可扩展编码数据存储装置1202。

可扩展编码数据存储装置1202以对应于情形的质量来存储由成像装置1201提供的可扩展编码数据(BL+EL)1221。例如，在正常时间的情况下，可扩展编码数据存储装置1202从可扩展编码数据(BL+EL)1221中提取基本层中的数据并且将该数据存储作为具有低质量和小数据量的基本层中的可扩展编码数据(BL)1222。另一方面，例如，在聚焦时间的情况下，可扩展编码数据存储装置1202原样存储具有高质量和大数据量的可扩展编码数据(BL+EL)1221。

以这种方式，可扩展编码数据存储装置1202可以仅在必要时存储具有高质量的图像。因而，可以控制由图像质量劣化引起的图像值的降低并且控制数据量的增加。因而，可以提高存储区域的使用效率。

例如，假定成像装置1201是监控摄像机。在监控对象(诸如入侵者)不在成像图像中的情况下(在正常时间的情况下)，成像图像的内容很可能不重要。因而，数据量的减少被给予优先权，并且图像数据(可扩展编码数据)被以低质量存储。另一方面，在监控对象作为目标1211在成像图像中的情况下(在聚焦时段的情况下)，成像图像的内容很可能重要。因而，图像质量被给予优先权，并且图像数据(可扩展编码数据)被以高质量存储。

注意到，例如可以通过由可扩展编码数据存储装置1202执行的对图像的分析来判定是正常时间还是聚焦时间。另外，成像装置1201可以进行判定，并且判定结果可被发送给可扩展编码数据存储装置1202。

注意到，用于判定是正常时间还是聚焦时间的标准是任意设置的，并且将是判定标准的图像的内容是任意设置的。当然，除图像内容之外的条件可以被设置为判定标准。例如，可以根据记录的音频的音量或波来进行切换，可以在每一个预定时间中进行切换，或者可以通过诸如用户指令之类的来自外部的指令进行切换。

另外，在上面，已经描述了切换作为正常时间和聚焦时间的两种状态的一个示例。然而，状态的数目可以是任意设置的，并且例如可以在诸如正常时间、略微聚焦时间、聚焦时间和明显聚焦时间的三种或者更多种状态当中进行切换。然而，切换状态的数目的上限取决于可扩展编码数据的层的数目。

另外，成像装置1201可以根据状态来确定可扩展编码中的层的数目。例如，在正常时间的情况下，成像装置1201可以生成具有低质量和小数据量的基本层中的可扩展编码数据(BL)1222并且可以将生成的可扩展编码数据(BL)1222提供给可扩展编码数据存储装置1202。另外，例如，在聚焦时间的情况下，成像装置1201可以生成具有高质量和大数据量的基本层中的可扩展编码数据(BL+EL)1221并且可以将生成的可扩展编码数据(BL+EL)1221提供给可扩展编码数据存储装置1202。

在上面，监控摄像机已经被描述为示例。然而，成像***1200的预期目的是任意确定的并且不限于监控摄像机。

注意到在本描述中，已经描述了其中诸如控制信息之类的各种信息被叠加在编码流上并且被从编码侧传输到解码侧的一个示例。然而，传输信息的方法不限于该示例。例如，信息可以不被叠加在编码比特流上并且可以作为与编码比特流相关联的不同数据而被传输或记录。在这里，词“关联”的意思是使得可以链接比特流中包括的图像(可以是诸如切片或块之类的图像的一部分)和在解码时对应于该图像的信息。就是说，信息可以在与图像(或比特流)的传输路径不同的传输路径上传输。另外，信息可以被记录在与图像(或比特流)的记录介质不同的记录介质(或者相同记录介质中的不同记录区域)中。另外，信息和图像(或比特流)可以以诸如多个帧、一个帧或者一部分帧的任意单位而彼此相关联。

本技术可以被应用于当通过诸如卫星广播、有线TV、因特网或者移动电话之类的网络介质接收到通过诸如离散余弦变换之类的正交变换和例如通过MPEG或H.26x的运动补偿压缩的比特流时或者当在诸如光或磁盘或者闪存之类的存储介质上处理比特流时使用的编码装置或解码装置。

另外，在本描述中，其中通过与HEVC***兼容的***来执行编码和解码的情况已经被描述为一个示例。然而，本技术的应用范围不限于上面。应用于不同***中的编码装置和解码装置也是可能的，只要编码装置以基本图像和增强图像按照1：1彼此对应的方式使待编码的图像分层化并且通过使用类似于空间可扩展性或SNR可扩展性的自适应偏移处理来执行编码并且解码装置对应于编码装置即可。

注意到本技术的实施例不限于上述实施例，而是可以在本技术的精神和范围内做出各种修改。

例如，本技术可以包括云计算的配置，其中一个功能当被处理时通过网络被多个装置划分和共享。

另外，在上面的流程图中描述的每一个步骤不仅可以由一个装置执行而且可以由多个装置执行。

另外，当多种处理被包括在一个步骤中时，这一个步骤中包括的多种处理不仅可以由一个装置执行而且可以由多个装置执行。

另外，第一实施例和第二实施例可被组合。在这种情况下，参考图像指定信息和加权信息在各层级之间被共享。

注意到本技术可以包括以下配置。

(1)一种编码装置，包括：

滤波处理单元，配置为基于控制信息针对第二层级中的解码图像执行滤波处理，所述控制信息是用来控制在对包括分层结构的图像的第一层级中的图像的编码中使用的所述滤波处理的信息；

编码单元，配置为对所述第二层级中的图像进行编码并且配置为通过使用所述第二层级中被所述滤波处理单元执行滤波处理的解码图像作为参考图像来生成编码数据；以及

传输单元，配置为传输由所述编码单元生成的编码数据。

(2)根据(1)所述的编码装置，其中，所述控制信息是以画面组(GOP)为单位的信息并且指示是否要执行所述滤波处理。

(3)根据(1)至(3)中任一个所述的编码装置，其中，所述控制信息是以切片为单位的信息并且指示是否要执行所述滤波处理。

(4)根据(1)至(4)中任一个所述的编码装置，其中

所述控制信息是指示所述滤波处理的种类的信息。

(5)根据(1)至(4)中任一个所述的编码装置，其中

所述滤波处理是采样自适应偏移(SAO)处理，并且

所述控制信息是指示所述滤波处理的偏移和种类是否与针对邻近第二层级中的解码图像的滤波处理的偏移和种类相同的合并信息。

(6)根据(1)至(5)中任一个所述的编码装置，还包括配置为通过使用所述第一层级中的图像的滤波处理的偏移和所述第二层级中的图像的滤波处理的偏移来生成生成信息的生成单元，该生成信息用于根据所述第一层级中的图像的偏移生成所述第二层级中的图像的偏移，

其中，所述滤波处理是采样自适应偏移(SAO)处理，并且

所述传输单元配置为传输所述生成信息。

(7)根据(1)至(5)中任一个所述的编码装置，其中

所述滤波处理是采样自适应偏移(SAO)处理，并且

所述传输单元配置为传输所述第二层级中的图像的滤波处理的偏移。

(8)一种编码方法，包括以下步骤：

滤波处理，其中编码装置基于控制信息针对第二层级中的解码图像执行滤波处理，所述控制信息是用来控制在对包括分层结构的图像的第一层级中的图像的编码中使用的所述滤波处理的信息；

编码，用来对所述第二层级中的图像进行编码并且配置为通过使用所述第二层级中在所述滤波处理步骤中被执行滤波处理的解码图像作为参考图像来生成编码数据；以及。

传输，用来传输在所述编码步骤中生成的编码数据。

(9)一种解码装置，包括

接收单元，配置为通过使用第二层级中的解码图像作为参考图像来接收所述第二层级中的编码图像的编码数据，所述第二层级中的解码图像基于控制信息而被执行图像滤波处理，所述控制信息是用来控制在对包括分层结构的图像的第一层级中的图像的编码中使用的所述滤波处理的信息；

解码单元，配置为对由所述接收单元接收到的编码数据进行解码并且用来生成所述第二层级中的解码图像；以及

滤波处理单元，配置为基于所述控制信息针对由所述解码单元生成的所述第二层级中的解码图像执行滤波处理，

其中，所述解码单元配置为通过使用所述第二层级中被所述滤波处理单元执行所述滤波处理的解码图像作为参考图像来解码所述第二层级中的编码数据。

(10)根据(9)所述的解码装置，其中，所述控制信息是以画面组(GOP)为单位的信息并且指示是否要执行所述滤波处理。

(11)根据(9)所述的解码装置，其中，所述控制信息是以切片为单位的信息并且指示是否要执行所述滤波处理。

(12)根据(9)至(11)中任一个所述的解码装置，其中，所述控制信息是指示所述滤波处理的种类的信息。

(13)根据(9)至(12)中任一个所述的解码装置，其中

所述滤波处理是采样自适应偏移(SAO)处理，并且

所述控制信息是指示所述滤波处理的偏移和种类是否与针对邻近第二层级中的解码图像的滤波处理的偏移和种类相同的合并信息。

(14)根据(9)至(13)中任一个所述的解码装置，其中

所述滤波处理是采样自适应偏移(SAO)处理，

所述接收单元配置为接收生成信息，该生成信息是通过使用所述第一层级中的图像的滤波处理的偏移和所述第二层级中的图像的滤波处理的偏移来生成的并且用于根据所述第一层级中的图像的偏移生成所述第二层级中的图像的偏移，并且

所述滤波处理单元配置为根据所述生成信息和所述第一层级中的图像的偏移来生成所述第二层级中的图像的偏移并且配置为基于所述第二层级中的图像的偏移和所述控制信息来执行所述滤波处理。

(15)根据(9)至(13)中任一个所述的解码装置，其中

所述滤波处理是采样自适应偏移(SAO)处理，

所述接收单元配置为接收所述第二层级中的图像的滤波处理的偏移，并且

所述滤波处理单元配置为基于由所述接收单元接收到的所述第二层级中的图像的偏移和所述控制信息来执行所述滤波处理。

(16)一种解码方法，包括以下步骤：

接收，其中接收单元通过使用第二层级中的解码图像作为参考图像来接收所述第二层级中的编码图像的编码数据，所述第二层级中的解码图像基于控制信息而被执行图像滤波处理，所述控制信息是用来控制在对包括分层结构的图像的第一层级中的图像的编码中使用的所述滤波处理的信息；

解码，用来对在所述接收步骤中的处理中接收到的编码数据进行解码并且用来生成所述第二层级中的解码图像；以及

滤波处理，用来基于所述控制信息针对在所述解码步骤中的处理中生成的所述第二层级中的解码图像执行滤波处理，

其中，在所述解码步骤中的处理中，通过使用所述第二层级中在所述滤波处理步骤中的处理中被执行所述滤波处理的解码图像作为参考图像来解码所述第二层级中的编码数据。

标号列表

10  编码装置

14  传输单元

33  运算单元

42  自适应偏移滤波器

86  生成单元

90  解码装置

91  接收单元

135  加法单元

137  自适应偏移滤波器

Claims (16)

1.一种编码装置，包括：

滤波处理单元，配置为基于控制信息针对第二层级的解码图像执行滤波处理，所述控制信息是用来控制在对包括分层结构的图像的第一层级的图像的编码中使用的所述滤波处理的信息；

编码单元，配置为对所述第二层级的图像进行编码并且配置为通过使用所述第二层级的被所述滤波处理单元执行滤波处理的解码图像作为参考图像来生成编码数据；以及

传输单元，配置为传输由所述编码单元生成的编码数据。

2.根据权利要求1所述的编码装置，其中，所述控制信息是以画面组(GOP)为单位的信息并且指示是否要执行所述滤波处理。

3.根据权利要求1所述的编码装置，其中，所述控制信息是以切片为单位的信息并且指示是否要执行所述滤波处理。

4.根据权利要求1所述的编码装置，其中，所述控制信息是指示所述滤波处理的种类的信息。

5.根据权利要求1所述的编码装置，其中

所述滤波处理是采样自适应偏移(SAO)处理，并且

所述控制信息是指示所述滤波处理的偏移和种类是否与针对邻近第二层级的解码图像的滤波处理的偏移和种类相同的合并信息。

6.根据权利要求1所述的编码装置，还包括配置为通过使用所述第一层级的图像的滤波处理的偏移和所述第二层级的图像的滤波处理的偏移来生成生成信息的生成单元，该生成信息用于根据所述第一层级的图像的偏移生成所述第二层级的图像的偏移，

其中，所述滤波处理是采样自适应偏移(SAO)处理，并且

所述传输单元配置为传输所述生成信息。

7.根据权利要求1所述的编码装置，其中

所述滤波处理是采样自适应偏移(SAO)处理，并且

所述传输单元配置为传输所述第二层级的图像的滤波处理的偏移。

8.一种编码方法，包括由编码装置进行以下步骤：

滤波处理，其中编码装置基于控制信息针对第二层级的解码图像执行滤波处理，所述控制信息是用来控制在对包括分层结构的图像的第一层级的图像的编码中使用的所述滤波处理的信息；

编码，用来对所述第二层级的图像进行编码并且配置为通过使用所述第二层级的在所述滤波处理步骤中被执行滤波处理的解码图像作为参考图像来生成编码数据；以及。

传输，用来传输在所述编码步骤中生成的编码数据。

9.一种解码装置，包括

接收单元，配置为通过使用第二层级的解码图像作为参考图像来接收所述第二层级的编码图像的编码数据，所述第二层级的解码图像基于控制信息而被执行图像滤波处理，所述控制信息是用来控制在对包括分层结构的图像的第一层级的图像的编码中使用的所述滤波处理的信息；

解码单元，配置为对由所述接收单元接收到的编码数据进行解码并且用来生成所述第二层级的解码图像；以及

滤波处理单元，配置为基于所述控制信息针对由所述解码单元生成的所述第二层级的解码图像执行滤波处理，

其中，所述解码单元配置为通过使用所述第二层级的被所述滤波处理单元执行所述滤波处理的解码图像作为参考图像来解码所述第二层级的编码数据。

10.根据权利要求9所述的解码装置，其中，所述控制信息是以画面组(GOP)为单位的信息并且指示是否要执行所述滤波处理。

11.根据权利要求9所述的解码装置，其中，所述控制信息是以切片为单位的信息并且指示是否要执行所述滤波处理。

12.根据权利要求9所述的解码装置，其中，所述控制信息是指示所述滤波处理的种类的信息。

13.根据权利要求9所述的解码装置，其中

所述滤波处理是采样自适应偏移(SAO)处理，并且

所述控制信息是指示所述滤波处理的偏移和种类是否与针对邻近第二层级的解码图像的滤波处理的偏移和种类相同的合并信息。

14.根据权利要求9所述的解码装置，其中

所述滤波处理是采样自适应偏移(SAO)处理，

所述接收单元配置为接收生成信息，该生成信息是通过使用所述第一层级的图像的滤波处理的偏移和所述第二层级的图像的滤波处理的偏移来生成的并且用于根据所述第一层级的图像的偏移生成所述第二层级的图像的偏移，并且

所述滤波处理单元配置为根据所述生成信息和所述第一层级的图像的偏移来生成所述第二层级的图像的偏移并且配置为基于所述第二层级的图像的偏移和所述控制信息来执行所述滤波处理。

15.根据权利要求9所述的解码装置，其中

所述滤波处理是采样自适应偏移(SAO)处理，

所述接收单元配置为接收所述第二层级的图像的滤波处理的偏移，并且

所述滤波处理单元配置为基于由所述接收单元接收到的所述第二层级的图像的偏移和所述控制信息来执行所述滤波处理。

16.一种解码方法，包括由解码装置进行以下步骤：

接收，其中接收单元通过使用第二层级的解码图像作为参考图像来接收所述第二层级的编码图像的编码数据，所述第二层级的解码图像基于控制信息而被执行图像滤波处理，所述控制信息是用来控制在对包括分层结构的图像的第一层级的图像的编码中使用的所述滤波处理的信息；

解码，用来对在所述接收步骤中的处理中接收到的编码数据进行解码并且用来生成所述第二层级的解码图像；以及

滤波处理，用来基于所述控制信息针对在所述解码步骤中的处理中生成的所述第二层级的解码图像执行滤波处理，

其中，在所述解码步骤中的处理中，通过使用所述第二层级的在所述滤波处理步骤中的处理中被执行所述滤波处理的解码图像作为参考图像来解码所述第二层级的编码数据。