CN104412593A

CN104412593A - 图像解码装置以及图像编码装置

Info

Publication number: CN104412593A
Application number: CN201380035343.5A
Authority: CN
Inventors: 山本智幸; 猪饲知宏; 八杉将伸
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2012-07-03
Filing date: 2013-06-19
Publication date: 2015-03-11
Anticipated expiration: 2033-06-19
Also published as: HK1208108A1; US20170251216A1; JP6085601B2; JPWO2014007058A1; CN104412593B; JP6284661B2; US9686559B2; WO2014007058A1; JP2017099018A; US20150334411A1; CN109257601A

Abstract

包括层间合并候选导出部(1464B)，该层间合并候选导出部(1464B)在对象层中的对象PU中，导出在位于该对象PU的右下的区域中与解码未完毕的区域对应的该参照层上的区域中解码的运动信息，作为合并候选。

Description

图像解码装置以及图像编码装置

技术领域

本发明涉及对图像层次性地编码的层次编码数据进行解码的图像解码装置、以及通过将图像层次性地编码而生成层次编码数据的图像编码装置。

背景技术

在通信***中传输的信息或者在蓄积装置中记录的信息之一中，有图像或者活动图像。以往，已知如下技术：为了图像(以后，包括活动图像)的传输/蓄积，对图像进行编码。

作为活动图像编码方式，已知H.264/MPEG-4.AVC、或作为其后继编解码器(codec)的HEVC(High-Efficiency Video Coding，高效的视频编码)(非专利文献1)。

在这些活动图像编码方式中，通常，基于通过对输入图像进行编码/解码而获得的局部解码图像，生成预测图像，对从输入图像(原图像)减去该预测图像而获得的预测残差(有时也称为“差分图像”或者“残差图像”)进行编码。此外，作为预测图像的生成方法，举出画面间预测(外部预测)以及画面内预测(内部预测)。

在内部预测中，基于同一帧内的局部解码图像，依次生成该帧中的预测图像。

关于外部预测，通过帧间的运动补偿而生成预测图像。与运动补偿有关的信息(运动补偿参数)，在大多数情况下，为了削减码量而不直接编码。因此，在外部预测中，进行基于对象块周边的解码状况等的运动补偿参数的估计。

例如，在HEVC中，在合并模式的预测单位中，生成运动补偿参数候选(合并候选)的列表，使用从列表中通过索引而选择的合并候选，进行预测图像的运动补偿。在合并候选的列表中，包括基于相邻区域的运动信息而导出的空间候选。在空间候选的导出中，相邻区域从位于成为解码对象的预测单位的左上、右上以及右下的区域中选择。

另一方面，在合并模式以外的预测单位中，生成运动补偿参数候选(预测运动矢量候选)的列表，根据从列表中通过索引而选择的运动补偿候选、和差分运动矢量，导出运动补偿参数并进行运动补偿。

此外，近年来，提出了如下的层次编码技术：根据需要的数据率，将图像层次性地编码。

作为层次编码的方式，作为ISO/IEC和ITU-T的标准而举出H.264/AVC Annex G Scalable Video Coding(可分级的视频编码(SVC))。

在SVC中，支持空间可分级性(scalability)、时间可分级性、SNR可分级性。例如在空间可分级性的情况下，将从原图像下采样为期望的分辨率的图像作为下位层而通过H.264/AVC进行编码。接着，在上位层中，为了除去层间的冗长性而进行层间预测。

作为层间预测，有将与运动预测有关的信息从同时刻的下位层的信息进行预测的运动信息预测、或者将同时刻的下位层的解码图像从上采样的图像进行预测的纹理(texture)预测(非专利文献2)。在上述运动信息预测中，将参照层的运动信息作为估计值，运动信息进行编码。

现有技术文献

非专利文献

非专利文献1:“High efficiency video coding(HEVC)textspecification draft 7(JCTVC-I1003_d1)”,Joint Collaborative Team onVideo Coding(JCT-VC)of ITU-T SG16WP3and ISO/IECJTC1/SC29/WG119th Meeting:Geneva,CH,27April-7May 2012(2012年4月公开)

非专利文献2:ITU-T H.264“Advanced video coding for genericaudiovisual services”(2007年11月公开)

发明内容

发明要解决的课题

但是，在如上述的有关合并候选的导出的现有技术中，在候选列表中包含的运动信息中，与左上区域对应的运动信息多，与右下区域对应的运动信息少。这是因为：由于在相同的层中未导出与右下区域对应的运动信息，所以不能作为合并候选而利用。因此，存在运动信息的估计精度不充分，不能获得期望的码量削减效果的情况。

本发明是鉴于上述问题而完成的，其目的在于，实现一种图像解码装置以及图像编码装置，其在层次编码中的运动信息候选列表的生成中，通过导出多样的运动信息作为候选，从而能够实现运动信息的码量削减。

用于解决课题的手段

为了解决上述课题，本发明的图像解码装置是如下的图像解码装置：对与按每个层不同的质量的图像有关的图像信息进行层次性地编码的层次编码数据进行解码，复原成为解码的对象的对象层中的运动信息，使用通过基于复原的运动信息的运动补偿预测而生成的预测图像，复原上述对象层中的图像，其特征在于，所述图像解码装置包括：层间候选导出单元，在上述对象层中的成为预测图像生成的处理对象的对象预测单位中，参照作为解码完毕层的参照层，导出在包括该对象预测单位的周边区域中与解码未完毕的区域对应的该参照层上的区域中解码的运动信息，作为用于估计上述对象预测单位中的运动信息的候选。

上述图像解码装置是，对与按每个层不同的质量的图像有关的图像信息层次性地编码的层次编码数据进行解码，复原图像的所谓的层次图像解码装置。

这样的层次编码方式有时也被称为(SVC；Scalable Video Coding(可分级的视频编码))，例如，在H.264/AVC Annex G SVC中进行标准化。此外，这里所称的活动图像的质量广泛地意味着对主观以及客观的活动图像的美观产生影响的元素。在活动图像的质量中，例如包括“分辨率”、“帧率”以及“画质”。以下，将与较高质量对应的层称为较上位的层，将与较低质量对应的层称为较下位的层。

在上述结构中，对象层是指，成为解码的对象的层。

根据上述结构，复原对象层中的运动信息，使用通过基于复原的运动信息的运动补偿预测而生成的预测图像，复原上述对象层中的图像。这样，基于运动信息的运动补偿预测的预测方式有时也被称为外部预测方式。

根据上述结构，在上述对象层中的成为预测图像生成的处理对象的对象预测单位中，参照作为解码完毕层的参照层。

在层次编码方式中，在对象层的解码时，有时参照图像信息解码完毕的层。这样，在对象层的解码时，参照的层称为参照层。一般，参照层是对象层的下位层。但是，也可以参照比对象层下位的全部的层，至少参照解码了对象层中的解码所需的信息的下位层即可。

根据上述结构，导出在包括对象预测单位的周边区域中与解码未完毕的区域对应的该参照层上的区域中解码的运动信息，作为用于估计上述对象预测单位中的运动信息的候选。

包括对象预测单位的周边区域是，离对象预测单位在预定范围内且包括对象预测单位的区域。在包括对象预测单位的周边区域中，例如包括对象预测单位的相邻周边区域。解码未完毕的区域意味着，没有解码运动信息的区域。

另外，用于估计上述运动信息的候选是，用于基于对象预测单位周边的解码状况等的运动补偿参数的估计的信息。例如，相当于HEVC中的合并候选。这样的候选的一个或者多个进行列表化。有时也将该列表称为合并候选列表。

根据上述结构，能够将与由于在相同的层中未解码所以不能利用的区域对应的参照区域上的运动信息，追加到合并候选列表中。

由此，起到如下效果：在层次编码中的运动信息候选列表的生成中，通过导出多样的运动信息作为候选，从而能够实现运动信息的码量削减。

优选在本发明的图像解码装置中，在包括上述对象预测单位的周边区域中与解码未完毕的区域对应的该参照层上的区域是，包括与该对象预测单位对应的上述参照层上的区域中的右下像素的预定范围的区域即右下区域。

根据上述结构，能够将包围由于在相同的层中未解码所以不能利用的对象预测单位的右下像素的预定范围的区域中的运动信息，作为运动信息的候选而追加。由于在参照层上的上述区域中的右下像素周边中导出的运动信息与对象层的左上区域中的运动信息的性质不同的可能性较高，所以预计较高的码量削减效果。

优选在本发明的图像解码装置中，上述右下区域是，包括与上述对象预测单位对应的参照层上的区域内的右下像素的运动信息记录单位。

根据上述结构，能够将与由于在相同的层中未解码所以不能利用的对象预测单位的右下像素对应的运动信息，作为运动信息的候选而追加。由于与右下像素对应的运动信息与左上区域中的运动信息的性质不同的可能性较高，所以预计较高的码量削减效果。

优选在本发明的图像解码装置中，上述右下区域是，包括与上述对象预测单位对应的参照层上的区域内的右下像素的运动信息记录单位的右、下、以及右下中的任一个相邻的运动信息记录单位。

在对象预测单位或者与对象预测单位对应的参照层上的区域小的情况下，存在该参照层上的区域中与左上的位置对应的像素和与右下的位置对应的像素属于相同的运动信息的记录单位的可能性。

根据上述结构，能够使用包括与上述对象预测单位对应的参照层上的区域内的右下像素的运动信息记录单位的右、下、以及右下中的任一个相邻的运动信息记录单位的运动信息。因此，能够从与对应参照区域中的左上的部分不同的记录单位导出运动信息的可能性提高。由此，能够导出多样的运动信息的可能性提高。

优选在本发明的图像解码装置中，上述层间候选导出单元导出包括上述右下区域中的运动信息的多个运动信息，作为上述候选，并且，比其他的运动信息优先导出上述右下区域中的运动信息。

根据上述结构，存在即使不能利用包括上述右下区域中的运动信息的多个运动信息，也能够导出运动信息的候选的情况。

优选在本发明的图像解码装置中，上述层间候选导出单元至少导出包括与上述对象预测单位对应的参照层上的区域内的左上像素的运动信息记录单位中的运动信息，作为上述其他的运动信息。

根据上述结构，即使不能利用包括右下像素的运动信息记录单位中的运动信息，也能够将不能利用运动信息的可能性高的区域的运动信息作为候选而追加。

优选在本发明的图像解码装置中，还包括判定单元，该判定单元判定作为候选而导出的运动信息是否与作为候选而导出完毕的运动信息一致，在判定单元判定为作为候选而导出的上述其他的运动信息与上述右下区域中的运动信息不一致时，上述层间候选导出单元导出上述其他的运动信息作为候选。

根据上述结构，能够避免作为候选而导出的运动信息的重复。

优选在本发明的图像解码装置中，还包括对象层候选导出单元，该对象层候选导出单元基于在对象层中解码出的解码信息，导出运动信息的候选，上述判定单元不进行上述层间候选导出单元作为候选而导出的运动信息与上述对象层候选导出单元作为候选而导出的运动信息的一致判定。

在进行上述层间候选导出单元作为候选而导出的运动信息与上述对象层候选导出单元作为候选而导出的运动信息的一致判定的情况下，上述层间候选导出单元的运动信息的候选导出处理与上述对象层候选导出单元的运动信息的候选导出处理的并行执行性降低。例如，在进行如上述的一致判定的情况下，上述层间候选导出单元的运动信息的候选导出处理结束之后，串行地执行上述对象层候选导出单元的运动信息的候选导出处理。

相对于此，根据上述结构，对象层候选导出单元作为候选而导出的运动信息进行一致判定，而不进行如上述的一致判定。

因此，能够提高上述层间候选导出单元的运动信息的候选导出处理与上述对象层候选导出单元的运动信息的候选导出处理的并行执行性。

优选在本发明的图像解码装置中，还包括：空间运动信息候选导出单元，基于在对象预测单位的周边区域中解码出的运动信息，导出运动信息的候选；以及判定单元，判定作为候选而导出的运动信息是否与作为候选而导出完毕的运动信息一致，在判定单元判定为作为候选而导出的运动信息与在由上述空间运动信息候选导出单元导出的运动信息的候选中、优先级最高的运动信息的候选不一致时，上述层间候选导出单元导出上述运动信息作为候选。

根据上述结构，在层间候选导出单元作为候选而导出的运动信息与在由上述空间运动信息候选导出单元导出的运动信息的候选中、优先级最高的运动信息的候选不一致时，层间候选导出单元导出上述运动信息作为候选。

因此，能够防止优先级最高的运动信息重复导出，且提高并行性。

换言之，能够抑制并行性的降低，且降低同一个合并候选在候选列表中包含的可能性。

优选在本发明的图像解码装置中，还包括时间运动信息候选导出单元，该时间运动信息候选导出单元基于在与对象预测单位所属的图片不同的图片中解码出的运动信息，导出运动信息的候选，在上述层间候选导出单元执行运动信息的候选导出处理的情况下，上述时间运动信息候选导出单元不执行运动信息的候选导出处理。

优选在本发明的图像解码装置中，还包括时间运动信息候选导出单元，该时间运动信息候选导出单元基于在与对象预测单位所属的图片不同的图片中解码出的运动信息，导出运动信息的候选，在上述时间运动信息候选导出单元执行运动信息的候选导出处理的情况下，上述层间候选导出单元不执行运动信息的候选导出处理。

在层间候选导出单元以及时间运动信息候选导出单元的双方导出运动信息的候选的情况下的运动信息的码量削减幅度与在其中一方导出运动信息的候选的情况下的运动信息的码量削减幅度没有较大差异。

根据上述结构，在由层间候选导出单元导出运动信息的候选的情况下，时间运动信息候选导出单元不导出运动信息的候选。

其结果，能够抑制运动信息的码量大幅增加，且能够削减时间运动信息候选导出单元导出运动信息的候选所需的处理量以及记录参照图像的运动矢量的存储器量。另外，相反，也可以是同样的。

为了解决上述课题，本发明的图像编码装置是如下的图像编码装置：在将与按每个层不同的质量的图像有关的图像信息进行层次性地编码而生成层次编码数据时，从上述对象层中的输入原图像中减去通过基于在成为编码的对象的对象层中导出的运动信息的运动补偿预测而生成的预测图像，生成上述对象层中的预测残差，其特征在于，所述图像编码装置包括：层间候选导出单元，在上述对象层中的成为预测图像生成的处理对象的对象预测单位中，参照作为解码完毕层的参照层，导出在包括该对象预测单位的周边区域中与解码未完毕的区域对应的该参照层上的区域中解码的运动信息，作为用于估计上述对象预测单位中的运动信息的候选。

这样构成的图像编码装置也是本发明的范畴，此时，也能够获得与上述图像解码装置相同的作用/效果。

此外，在上述图像编码装置中生成且在上述图像解码装置中解码的层次编码数据的数据结构也是本发明的范畴。

发明效果

本发明的图像解码装置是如下的图像解码装置：对与按每个层不同的质量的图像有关的图像信息层次性地编码的层次编码数据进行解码，复原成为解码的对象的对象层中的运动信息，使用通过基于复原的运动信息的运动补偿预测而生成的预测图像，复原上述对象层中的图像，所述图像解码装置包括：层间候选导出单元，在上述对象层中的成为预测图像生成的处理对象的对象预测单位中，参照作为解码完毕层的参照层，导出在包括该对象预测单位的周边区域中与解码未完毕的区域对应的该参照层上的区域中解码的运动信息，作为用于估计上述对象预测单位中的运动信息的候选。

本发明的图像编码装置是如下的图像编码装置：在将与按每个层不同的质量的图像有关的图像信息层次性地编码而生成层次编码数据时，从上述对象层中的输入原图像中减去通过基于在成为编码的对象的对象层中导出的运动信息的运动补偿预测而生成的预测图像，生成上述对象层中的预测残差，其特征在于，所述图像编码装置包括：层间候选导出单元，在上述对象层中的成为预测图像生成的处理对象的对象预测单位中，参照作为解码完毕层的参照层，导出在包括该对象预测单位的周边区域中与解码未完毕的区域对应的该参照层上的区域中解码的运动信息，作为用于估计上述对象预测单位中的运动信息的候选。

因此，起到如下效果：在层次编码中的运动信息候选列表的生成中，通过导出多样的运动信息作为候选，能够实现运动信息的码量削减。

附图说明

图1是例示在本发明的一实施方式的层次活动图像解码装置中包含的合并候选导出部的结构的功能框图。

图2是用于说明本发明的实施方式的层次编码数据的层结构的图，(a)表示层次活动图像编码装置侧，(b)表示层次活动图像解码装置侧。

图3是用于说明本发明的实施方式的层次编码数据的结构的图，(a)表示规定序列SEQ的序列层，(b)表示规定图片PICT的图片层，(c)表示规定片段S的片段层，(d)表示规定树块(Tree block)TBLK的树块层，(e)表示规定在树块TBLK中包含的编码单位(CodingUnit；CU)的CU层。

图4是表示PU分割类型的模型的图，(a)～(h)分别表示在PU分割类型为2N×N、2N×nU、2N×nD、2N×N、2N×nU以及2N×nD的情况下的划分(partition)形状。

图5是表示上述层次活动图像解码装置的概略性结构的功能框图。

图6是表示上述层次活动图像解码装置具备的预测参数复原部的概略性结构的功能框图。

图7是表示在上述层次活动图像解码装置中能够利用的内部预测的方向的图。

图8是表示内部预测模式和与该内部预测模式建立对应的名称的图。

图9是表示上述层次活动图像解码装置具备的纹理复原部的概略性结构的功能框图。

图10是表示上述层次活动图像解码装置具备的基本解码部的概略性结构的功能框图。

图11是用于说明上述合并候选导出部具备的空间合并候选导出部的动作的图。

图12是表示上述合并候选导出部具备的层间合并候选导出部的动作的图。

图13是说明上述合并候选导出部具备的时间合并候选导出部的动作的图。

图14是表示合并候选组合列表的例的图。

图15是表示上述合并候选导出部具备的零合并候选导出部的动作的图。

图16是表示上述合并候选导出部的动作的流程的一例的流程图。

图17是例示上述层间合并候选导出部的其他动作的图。(a)～(c)表示从2个以上的位置导出层间合并候选的例。(d)表示禁止层间合并候选的导出的例。

图18是表示上述合并候选导出部的动作的流程的其他例的流程图。

图19是例示上述合并候选导出部的变形例的结构的功能框图。

图20是用于说明在扫描顺序为光栅扫描顺序的情况下的解码未完毕的区域的图。

图21是用于说明在扫描顺序为Z扫描顺序的情况下的解码未完毕的区域的图。

图22是表示本发明的一实施方式的层次活动图像编码装置的概略性结构的功能框图。

图23是表示上述层次活动图像编码装置具备的预测参数复原部的概略性结构的功能框图。

图24是表示在上述层次活动图像编码装置中能够利用的内部预测的方向的图。

图25是表示了搭载了上述层次活动图像编码装置的发送装置以及搭载了上述层次活动图像解码装置的接收装置的结构的图。(a)表示搭载了层次活动图像编码装置的发送装置，(b)表示搭载了层次活动图像解码装置的接收装置。

图26是表示了搭载了上述层次活动图像编码装置的记录装置以及搭载了上述层次活动图像解码装置的再现装置的结构的图。(a)表示搭载了层次活动图像编码装置的记录装置，(b)表示搭载了层次活动图像解码装置的再现装置。

图27是例示在本发明的一实施方式的层次活动图像解码装置中包含的PU分割类型导出部的结构的功能框图。

图28是说明上述PU分割类型导出部具备的参照CU设定部对在对象层上的对象帧中包含的对象CU设定参照CU的例的图。

图29是更具体地表示了图28的参照CU的设定的图。

图30是表示利用判定了参照CU的右下像素的位置的参照区域中的位置的结果，设定PU分割类型的方法的图。

图31是表示利用判定了参照CU的右下像素的位置的参照区域中的位置的结果，设定PU分割类型的方法的图。

图32是表示利用判定了参照CU的右下像素的位置的参照区域中的位置的结果，设定PU分割类型的方法的图。

图33是表示利用判定了参照CU的右下像素的位置的参照区域中的位置的结果，设定PU分割类型的方法的图。

图34是更具体地说明对右下像素的位置进行判定的方法的图。

图35是更具体地说明对右下像素的位置进行判定的方法的图。

图36是表示利用判定了参照CU和参照区域的重复区域的重复的程度的结果，决定PU分割类型的方法的图。

图37是表示利用判定了参照CU和参照区域的重复区域的重复的程度的结果，决定PU分割类型的方法的图。

图38是表示利用判定了参照CU和参照区域的重复区域的重复的程度的结果，决定PU分割类型的方法的图。

图39是用于更具体地说明重复区域的重复的程度的判定的图。

图40是用于更具体地说明重复区域的重复的程度的判定的图。

图41是表示语法元素值和CU类型的关系的表格。

图42是在使用coding_unit对base_mode_flag进行编码的情况下的语法表格。

图43是在使用prediction_unit对base_mode_flag进行判定的情况下的语法表格。

图44是表示层次活动图像解码装置中的基本跳过CU解码处理的流程的一例的流程图。

图45是表示层次活动图像解码装置中的跳过CU解码处理的流程的一例的流程图。

图46是表示层次活动图像解码装置中的外部CU解码处理的流程的一例的流程图。

具体实施方式

基于图1～图46，说明本发明的一实施方式的层次活动图像解码装置1以及层次活动图像编码装置2，则如下所述。

〔概要〕

本实施方式的层次活动图像解码装置(图像解码装置)1对通过层次活动图像编码装置(图像编码装置)2进行了可分级影像编码(SVC；Scalable Video Coding)的编码数据进行解码。可分级影像编码是，将活动图像从低质量到高质量层次性地编码的编码方式。可分级影像编码例如在H.264/AVC Annex G SVC中进行标准化。另外，这里所称的活动图像的质量广泛地意味着对主观性以及客观性的活动图像的美观产生影响的元素。在活动图像的质量中，例如包括“分辨率”、“帧率”、“画质”以及“像素的表现精度”。因此，以下，若说活动图像的质量不同，则例示性地指“分辨率”等不同，但并不限定于此。例如，在通过不同的量化步长而被量化的活动图像的情况下(即，在通过不同的编码噪声而被编码的活动图像的情况下)，也可以说活动图像的质量互相不同。

此外，从层次化的信息的种类的观点出发，SVC有时也被分类为(1)空间可分级性、(2)时间可分级性以及(3)SNR(Signal to NoiseRatio，信号对噪声比)可分级性。空间可分级性是，在分辨率或图像的尺寸上进行层次化的技术。时间可分级性是，在帧率(单位时间的帧数)上进行层次化的技术。此外，SNR可分级性是，在编码噪声上进行层次化的技术。

在本实施方式的层次活动图像编码装置2以及层次活动图像解码装置1的详细的说明之前，首先，说明(1)通过层次活动图像编码装置2而被生成，通过层次活动图像解码装置1而被解码的层次编码数据的层结构，接着，说明(2)在各层中能够采用的数据结构的具体例。

〔层次编码数据的层结构〕

这里，使用图2说明层次编码数据的编码以及解码，则如下所述。图2是示意性地表示通过下位层次L3、中位层次L2以及上位层次L1的3个层次对活动图像层次性地编码/解码的情况的图。即，在图2(a)以及(b)所示的例中，在3个层次中，上位层次L1成为最上位层，下位层次L3成为最下位层。

以下，与能够从层次编码数据进行解码的特定的质量对应的解码图像被称为特定的层次的解码图像(或者，与特定的层次对应的解码图像)(例如，上位层次L1的解码图像POUT#A)。

图2(a)表示将输入图像PIN#A～PIN#C分别层次性地编码而生成编码数据DATA#A～DATA#C的层次活动图像编码装置2#A～2#C。图2(b)表示将层次性地编码的编码数据DATA#A～DATA#C分别进行解码而生成解码图像POUT#A～POUT#C的层次活动图像解码装置1#A～1#C。

首先，使用图2(a)说明编码装置侧。成为编码装置侧的输入的输入图像PIN#A、PIN#B以及PIN#C虽然原画相同，但图像的质量(分辨率、帧率以及画质等)不同。图像的质量按照输入图像PIN#A、PIN#B以及PIN#C的顺序降低。

下位层次L3的层次活动图像编码装置2#C对下位层次L3的输入图像PIN#C进行编码而生成下位层次L3的编码数据DATA#C。包括用于对下位层次L3的解码图像POUT#C进行解码所需的基本信息(图2中由“C”表示)。由于下位层次L3是最下层的层次，所以下位层次L3的编码数据DATA#C也被称为基本编码数据。

此外，中位层次L2的层次活动图像编码装置2#B一边参照下位层次的编码数据DATA#C，一边对中位层次L2的输入图像PIN#B进行编码而生成中位层次L2的编码数据DATA#B。在中位层次L2的编码数据DATA#B中，除了在编码数据DATA#C中包含的基本信息“C”之外，还包括用于对中位层次的解码图像POUT#B进行解码所需的附加的信息(图2中由“B”表示)。

此外，上位层次L1的层次活动图像编码装置2#A一边参照中位层次L2的编码数据DATA#B，一边对上位层次L1的输入图像PIN#A进行编码而生成上位层次L1的编码数据DATA#A。在上位层次L1的编码数据DATA#A中，除了用于对下位层次L3的解码图像POUT#C进行解码所需的基本信息“C”以及用于对中位层次L2的解码图像POUT#B进行解码所需的附加的信息“B”之外，还包括用于对上位层次的解码图像POUT#A进行解码所需的附加的信息(图2中由“A”表示)。

这样，上位层次L1的编码数据DATA#A包括与不同的多个质量的解码图像有关的信息。

接着，参照图2(b)说明解码装置侧。在解码装置侧中，与上位层次L1、中位层次L2以及下位层次L3的各个层次对应的解码装置1#A、1#B以及1#C对编码数据DATA#A、DATA#B以及DATA#C进行解码而输出解码图像POUT#A、POUT#B以及POUT#C。

另外，也能够提取上位的层次编码数据的一部分信息，在较下位的特定的解码装置中，通过对该提取出的信息进行解码，从而再现特定的质量的活动图像。

例如，中位层次L2的层次活动图像解码装置1#B也可以从上位层次L1的层次编码数据DATA#A中，提取用于对解码图像POUT#B进行解码所需的信息(即，在层次编码数据DATA#A中包含的“B”以及“C”)，对解码图像POUT#B进行解码。换言之，在解码装置侧中，能够基于在上位层次L1的层次编码数据DATA#A中包含的信息，对解码图像POUT#A、POUT#B以及POUT#C进行解码。

另外，并不限定于以上的3个层次的层次编码数据，层次编码数据也可以通过2个层次进行层次编码，也可以通过多于3个层次的层次数进行层次编码。

此外，也可以如下构成层次编码数据：将与特定的层次的解码图像有关的编码数据的一部分或者全部，与其他的层次独立地编码，在特定的层次的解码时，也可以不参照其他的层次的信息。例如，在使用了图2(a)以及(b)的上述的例中，说明了在解码图像POUT#B的解码中参照“C”以及“B”，但并不限定于此。也能够如下构成层次编码数据：解码图像POUT#B能够只使用“B”进行解码。

另外，在实现SNR可分级性的情况下，也能够如下构成层次编码数据：在作为输入图像PIN#A、PIN#B以及PIN#C而使用了同一个原画的基础上，解码图像POUT#A、POUT#B以及POUT#C成为不同的画质。此时，与上位层次的层次活动图像编码装置相比，下位层次的层次活动图像编码装置通过使用更大的量化步长对预测残差进行量化，从而生成层次编码数据。

在本说明书中，为了便于说明，如下定义用语。只要没有特别提及，则以下的用语用于表示下述的技术事项。

上位层：将比某层次位于上位的层次称为上位层。例如，在图2中，下位层次L3的上位层是中位层次L2以及上位层次L1。此外，上位层的解码图像是指，质量更高(例如，分辨率更高、帧率更高、画质更高等)的解码图像。

下位层：将比某层次位于下位的层次称为下位层。例如，在图2中，上位层次L1的下位层是中位层次L2以及下位层次L3。此外，下位层的解码图像是指，质量更低的解码图像。

对象层：是指成为解码或者编码的对象的层次。

参照层(reference layer)：将在对与对象层对应的解码图像进行解码时参照的特定的下位层称为参照层。

在如图2(a)以及(b)所示的例中，上位层次L1的参照层是中位层次L2以及下位层次L3。但是，并不限定于此，也能够如下构成层次编码数据：在特定的上述层的解码中，也可以不参照下位层的全部。例如，也能够如下构成层次编码数据：上位层次L1的参照层成为中位层次L2以及下位层次L3中的任一个。

基本层(base layer)：将位于最下层的层次称为基本层。基本层的解码图像是能够从编码数据进行解码的质量最低的解码图像，被称为基本解码图像。换言之，基本解码图像是与最下层的层次对应的解码图像。基本解码图像的解码所需的层次编码数据的部分编码数据被称为基本编码数据。例如，在上位层次L1的层次编码数据DATA#A中包含的基本信息“C”是基本编码数据。

扩展层：基本层的上位层被称为扩展层。

层识别符：层识别符是用于识别层次的识别符，与层次1对1对应。在层次编码数据中，包括用于选择特定的层次的解码图像的解码所需的部分编码数据而使用的层次识别符。与对应于特定的层的层识别符建立关联的层次编码数据的部分集合也被称为层表现。

一般，在特定的层次的解码图像的解码中，使用该层次的层表现和/或与该层次的下位层对应的层表现。即，在对象层的解码图像的解码中，使用对象层的层表现和/或在对象层的下位层中包含的1个以上层次的层表现。

层间预测：层间预测是，基于通过在与对象层的层表现不同的层次(参照层)的层表现中包含的语法元素值、语法元素值而导出的值以及解码图像，预测对象层的语法元素值或在对象层的解码中使用的编码参数等。有时也将从(同时刻的)参照层的信息预测与运动预测有关的信息的层间预测称为运动信息预测。此外，有时也将从上采样的图像预测(同时刻的)下位层的解码图像的层间预测称为纹理预测(或者层间内部预测)。另外，在层间预测中使用的层次，例示性地是对象层的下位层。此外，有时也将不使用参照层而在对象层内进行预测称为层内预测。

另外，以上的用语到底是为了便于说明的，也可以由其他的用语来表现上述的技术事项。

〔关于层次编码数据的数据结构〕

以下，例示作为生成各层次的编码数据的编码方式，使用HEVC及其扩展方式的情况。但是，并不限定于此，也可以通过MPEG-2或H.264/AVC等的编码方式生成各层次的编码数据。

此外，下位层和上位层也可以通过不同的编码方式进行编码。此外，各层次的编码数据也可以经由相互不同的传输路径而提供给层次活动图像解码装置1，也可以经由相同的传输路径而提供给层次活动图像解码装置1。

例如，也可以在将超高清影像(活动图像、4K影像数据)通过基本层以及1个扩展层进行可分级编码而传输的情况下，基本层通过MPEG-2或者H.264/AVC对将4K影像数据进行缩放(down scaling)、交织化的影像数据进行编码并通过电视广播网而传输，扩展层通过HEVC对4K影像(渐进式)进行编码并通过互联网而传输。

(基本层)

图3是例示在基本层中能够采用的编码数据(若以图2的例来说，则层次编码数据DATA#C)的数据结构的图。层次编码数据DATA#C例示性地包括序列以及构成序列的多个图片。

图3表示层次编码数据DATA#C中的数据的层次结构。图3的(a)～(e)是分别表示规定序列SEQ的序列层、规定图片PICT的图片层、规定片段S的片段层、规定树块(Tree block)TBLK的树块层、规定在树块TBLK中包含的编码单位(Coding Unit；CU)的CU层的图。

(序列层)

在序列层中，规定了为了对处理对象的序列SEQ(以下，也称为对象序列)进行解码而层次活动图像解码装置1参照的数据的集合。如图3的(a)所示，序列SEQ包括序列参数集SPS(Sequence ParameterSet)、图片参数集PPS(Picture Parameter Set)、自适应参数集APS(Adaptation Parameter Set)、图片PICT₁～PICT_NP(NP是在序列SEQ中包含的图片的总数)以及附加扩展信息SEI(SupplementalEnhancement Information)。

在序列参数集SPS中，规定了为了对对象序列进行解码而层次活动图像解码装置1参照的编码参数的集合。

在图片参数集PPS中，规定了为了对对象序列内的各图片进行解码而层次活动图像解码装置1参照的编码参数的集合。另外，也可以存在多个PPS。此时，从对象序列内的各图片中选择多个PPS中的任一个。

在自适应参数集APS中，规定了为了对对象序列内的各片段进行解码而层次活动图像解码装置1参照的编码参数的集合。也可以存在多个APS。此时，从对象序列内的各片段中选择多个APS中的任一个。

(图片层)

在图片层中，规定了为了对处理对象的图片PICT(以下，也称为对象图片)进行解码而层次活动图像解码装置1参照的数据的集合。如图3的(b)所示，图片PICT包括图片头PH以及片段S₁～S_NS(NS是在图片PICT中包含的片段的总数)。

另外，以下，在不需要区分片段S₁～S_NS的各个的情况下，有时省略标记的下标而记载。此外，关于在以下说明的层次编码数据DATA#C中包含且标上下标的其他的数据，也是同样的。

在图片头PH中，包括为了决定对象图片的解码方法而层次活动图像解码装置1参照的编码参数群。另外，编码参数群不需要必须直接包括在图片头PH内，例如也可以通过包括至图片参数集PPS的参照而间接地包括。

(片段层)

在片段层中，规定了为了对处理对象的片段S(也称为对象片段)进行解码而层次活动图像解码装置1参照的数据的集合。如图3的(c)所示，片段S包括片段头SH以及树块TBLK₁～TBLK_NC(NC是在片段S中包含的树块的总数)的序列。

在片段头SH中，包括为了决定对象片段的解码方法而层次活动图像解码装置1参照的编码参数群。指定片段类型的片段类型指定信息(slice_type)是在片段头SH中包含的编码参数的一例。

作为能够由片段类型指定信息指定的片段类型，举出(1)在编码时只使用内部预测的I片段、(2)在编码时使用单向预测或者内部预测的P片段、(3)在编码时使用单向预测、双向预测或者内部预测的B片段等。

另外，在片段头SH中，也可以包括在上述序列层中包含的、至图片参数集PPS的参照(pic_parameter_set_id)、至自适应参数集APS的参照(aps_id)。

此外，在片段头SH中，包括由层次活动图像解码装置1具备的自适应滤波器所参照的滤波器参数FP。滤波器参数FP包括滤波器系数群。在滤波器系数群中，包括(1)指定滤波器的抽头数的抽头数指定信息、(2)滤波器系数a₀～a_NT-1(NT是在滤波器系数群中包含的滤波器系数的总数)以及(3)偏移量(offset)。

(树块层)

在树块层中，规定了为了对处理对象的树块TBLK(以下，也称为对象树块)进行解码而层次活动图像解码装置1参照的数据的集合。另外，有时也将树块称为编码树块(CTB:Coding Tree block)或者最大编码单位(LCU:Largest Cording Unit)。

树块TBLK包括树块头TBLKH和编码单位信息CU₁～CU_NL(NL是在树块TBLK中包含的编码单位信息的总数)。这里，首先，若说明树块TBLK和编码单位信息CU的关系，则如下所述。

树块TBLK分割为用于确定块尺寸的划分，该块尺寸用于内部预测或者外部预测、以及变换的各处理。

树块TBLK的上述划分通过递归的4叉树分割而被分割。以下，将通过该递归的4叉树分割而获得的树结构称为编码树(coding tree)。

以下，将作为编码树的末端的节点的叶(leaf)对应的划分作为编码节点(coding node)而参照。此外，由于编码节点成为编码处理的基本的单位，所以以下也将编码节点称为编码单位(CU)。另外，有时也将编码节点称为编码块(CB:Coding Block)。

即，编码单位信息(以下，称为CU信息)CU₁～CU_NL是与将树块TBLK递归性地进行4叉树分割而获得的各编码节点(编码单位)对应的信息。

此外，编码树的根(root)与树块TBLK建立对应。换言之，树块TBLK与将多个编码节点递归性地包括的4叉树分割的树结构的最上位节点建立对应。

另外，各编码节点的尺寸的纵横都是该编码节点直接所属的编码节点(即，该编码节点的1个层次上位的节点的划分)的尺寸的一半。

此外，树块TBLK的尺寸以及各编码节点可取的尺寸依赖于在层次编码数据DATA#C的序列参数集SPS中包含的、最小编码节点的尺寸指定信息以及最大编码节点和最小编码节点的层次深度的差分。例如，在最小编码节点的尺寸为8×8像素且最大编码节点和最小编码节点的层次深度的差分为3的情况下，树块TBLK的尺寸为64×64像素，编码节点的尺寸可取4种尺寸、即64×64像素、32×32像素、16×16像素以及8×8像素中的任一个。

(树块头)

在树块头TBLKH中，包括为了决定对象树块的解码方法而层次活动图像解码装置1参照的编码参数。具体而言，如图3的(d)所示，包括指定对象树块至各CU的分割模型的树块分割信息SP＿TBLK以及指定量化步长的大小的量化参数差分Δqp(qp_delta)。

树块分割信息SP＿TBLK是表示用于分割树块的编码树的信息，具体而言，是指定在对象树块中包含的各CU的形状、尺寸以及在对象树块内的位置的信息。

另外，树块分割信息SP＿TBLK也可以不明示地包括CU的形状或尺寸。例如，树块分割信息SP＿TBLK也可以是表示是否将对象树块整体或者树块的部分区域进行四分割的标记的集合。此时，通过并用树块的形状或尺寸，能够确定各CU的形状或尺寸。

此外，量化参数差分Δqp是，对象树块中的量化参数qp和在该对象树块的紧之前编码的树块中的量化参数qp’的差分qp-qp’。

(CU层)

在CU层中，规定了为了对处理对象的CU(以下，也称为对象CU)进行解码而层次活动图像解码装置1参照的数据的集合。

这里，在说明在CU信息CU中包含的数据的具体的内容之前，说明在CU中包含的数据的树结构。编码节点成为预测树(prediction tree；PT)以及变换树(transform tree；TT)的根的节点。若说明预测树以及变换树，则如下所述。

在预测树中，编码节点分割为一个或者多个预测块，且规定了各预测块的位置和尺寸。若换成其他表现，则预测块是构成编码节点的一个或者多个不重复的区域。此外，预测树包括通过上述的分割而获得的一个或者多个预测块。

预测处理对该每个预测块进行。以下，也将作为预测的单位的预测块称为预测单位(prediction unit；PU)。

预测树中的分割(以下，简称为PU分割)的种类大致有内部预测的情况和外部预测的情况的两种。

在内部预测的情况下，分割方法有2N×2N(与编码节点相同的尺寸)和N×N。

此外，在外部预测的情况下，分割方法有2N×2N(与编码节点相同的尺寸)、2N×N、2N×nU、2N×nD、N×2N、nL×2N、nR×2N以及N×N等。关于PU分割的种类，在后面使用附图进行说明。

此外，在变换树中，编码节点分割为一个或者多个变换块，且规定了各变换块的位置和尺寸。若换成其他表现，则变换块是构成编码节点的一个或者多个不重复的区域。此外，变换树包括通过上述的分割而获得的一个或者多个变换块。

在变换树中的分割中，有将与编码节点相同的尺寸的区域作为变换块而分配的分割、以及与上述的树块的分割相同的递归的4叉树分割的分割。

变换处理对该每个变换块进行。以下，也将作为变换的单位的变换块称为变换单位(transform unit；TU)。

(CU信息的数据结构)

接着，参照图3(e)说明在CU信息CU中包含的数据的具体的内容。如图3(e)所示，CU信息CU具体包括跳过标记SKIP、预测树信息(以下，简称为PT信息)PTI以及变换树信息(以下，简称为TT信息)TTI。

跳过标记SKIP是表示是否对对象的PU应用跳过模式的标记，在跳过标记SKIP的值为1的情况下，即在对对象CU应用跳过模式的情况下，该CU信息CU中的PT信息PTI的一部分以及TT信息TTI被省略。另外，跳过标记SKIP在I片段中被省略。

[PT信息]

PT信息PTI是与在CU中包含的预测树(以下，简称为PT)有关的信息。换言之，PT信息PTI是与在PT中包含的一个或者多个PU的各个有关的信息的集合，在由层次活动图像解码装置1生成预测图像时参照。如图3(e)所示，PT信息PTI包括预测类型信息PType以及预测信息PInfo。

预测类型信息PType是指定作为关于对象PU的预测图像生成方法，是使用内部预测还是使用外部预测的信息。

预测信息PInfo根据预测类型信息PType指定哪个预测方法而包括内部预测信息PP＿Intra或者外部预测信息PP＿Inter。以下，也将应用内部预测的PU称为内部PU，也将应用外部预测的PU称为外部PU。

外部预测信息PP＿Inter包括在层次活动图像解码装置1通过外部预测而生成外部预测图像时参照的编码参数。更具体而言，外部预测信息PP＿Inter包括指定对象CU至各外部PU的分割模型的外部PU分割信息以及关于各外部PU的外部预测参数。

内部预测信息PP＿Intra包括在层次活动图像解码装置1通过内部预测而生成内部预测图像时参照的编码参数。更具体而言，在内部预测信息PP＿Intra中，包括指定对象CU至各内部PU的分割模型的内部PU分割信息以及关于各内部PU的内部预测参数。内部预测参数是用于指定关于各内部PU的内部预测方法(预测模式)的参数。

此外，在PU分割信息中，也可以包括指定对象PU的形状、尺寸以及位置的信息。关于PU分割信息的细节，在后面叙述。

[TT信息]

TT信息TTI是与在CU中包含的变换树(以下，简称为TT)有关的信息。换言之，TT信息TTI是与在TT中包含的一个或者多个TU的各个有关的信息的集合，在由层次活动图像解码装置1解码残差数据时参照。另外，以下，有时也将TU称为块。

如图3(e)所示，TT信息TTI包括指定对象CU至各变换块的分割模型的TT分割信息SP＿TT以及量化预测残差QD₁～QD_NT(NT是在对象CU中包含的块的总数)。

具体而言，TT分割信息SP＿TT是用于决定在对象CU中包含的各TU的形状、尺寸以及对象CU内的位置的信息。例如，TT分割信息SP＿TT能够由表示是否进行成为对象的节点的分割的信息(split_transform_unit_flag)和表示该分割的深度的信息(trafoDepth)实现。

此外，例如，在CU的尺寸为64×64的情况下，通过分割而获得的各TU可取32×32像素至4×4像素的尺寸。

各量化预测残差QD是，层次活动图像编码装置2通过对作为处理对象的块的对象块实施以下的处理1～3而生成的编码数据。

处理1：对从编码对象图像减去预测图像的预测残差进行频率变换(例如，DCT变换(Discrete Cosine Transform，离散余弦变换)以及DST变换(Discrete Sine Transform，离散正弦变换)等)；

处理2：对通过处理1而获得的变换系数进行量化；

处理3：对通过处理2而量化的变换系数进行可变长编码；

另外，上述的量化参数qp表示在层次活动图像编码装置2对变换系数进行量化时使用的量化步长QP的大小(QP＝2^qp/6)。

(预测参数)

说明外部预测以及内部预测中的预测参数的细节。如上所述，在预测信息PInfo中，包括外部预测参数或者内部预测参数。

作为外部预测参数，例如，举出合并标记(merge＿flag)、合并索引(merge＿idx)、估计运动矢量索引(mvp＿idx)、参照图像索引(ref＿idx)、外部预测标记(inter＿pred＿flag)以及运动矢量残差(mvd)。

另一方面，作为内部预测参数，例如，举出估计预测模式标记、估计预测模式索引以及残余预测模式索引。

(PU分割信息)

在由PU分割信息而指定的PU分割类型中，若将对象CU的尺寸设为2N×2N像素，则有如下的共计8种模型。即，2N×2N像素、2N×N像素、N×2N像素、N×N像素的4个对称的分割(symmetric splittings)、以及2N×nU像素、2N×nD像素、nL×2N像素、nR×2N像素的4个不对称的分割(asymmetric splittings)。另外，意味着N＝2^m(m是1以上的任意的整数)。以下，也将分割对象CU而获得的区域称为划分。

图4(a)～(h)关于各个分割类型具体图示CU中的PU分割的边界的位置。

图4(a)表示不进行CU的分割的2N×2N的PU分割类型。此外，图4(b)、(c)以及(d)分别表示在PU分割类型为2N×N、2N×nU以及2N×nD的情况下的划分的形状。此外，图4(e)、(f)以及(g)分别表示在PU分割类型为N×2N、nL×2N以及nR×2N的情况下的划分的形状。此外，图4(h)表示在PU分割类型为N×N的情况下的划分的形状。

将图4(a)以及(h)的PU分割类型，基于其划分的形状，也称为正方形分割。此外，图4(b)～(g)的PU分割类型也称为非正方形分割。

此外，在图4(a)～(h)中，对各区域赋予的序号表示区域的识别号，按照该识别号顺序，对区域进行处理。即，该识别号表示区域的扫描顺序。

[在外部预测的情况下的分割类型]

在外部PU中，在上述8种分割类型中，定义了N×N(图4(h))以外的7种。另外，上述6个不对称的分割有时也被称为AMP(Asymmetric Motion Partition，不对称运动分割)。

此外，N的具体的值根据该PU所属的CU的尺寸而规定，nU、nD、nL以及nR的具体的值根据N的值而确定。例如，128×128像素的外部CU能够分割为128×128像素、128×64像素、64×128像素、64×64像素、128×32像素、128×96像素、32×128像素以及96×128像素的外部PU。

[在内部预测的情况下的分割类型]

在内部PU中，定义了以下的2种分割模型。不分割对象CU的、即对象CU本身作为1个PU而被处理的分割模型2N×2N和将对象CU对称地分割为4个PU的模型N×N。

因此，在内部PU中，若以图4所示的例来说，则能够取(a)以及(h)的分割模型。

例如，128×128像素的内部CU能够分割为128×128像素以及64×64像素的内部PU。

(扩展层)

关于扩展层的编码数据，例如，能够采用与图3所示的数据结构大致相同的数据结构。但是，在扩展层的编码数据中，如以下所述，能够追加附加性的信息或者省略参数。

在SPS中，也可以被编码表示层次编码的信息。

此外，在片段层中，也可以被编码空间可分级性、时间可分级性以及SNR可分级性的层次的识别信息(分别为dependency_id、temporal_id以及quality_id)。滤波器信息或滤波器的ON/OFF信息(后述)能够通过PPS、片段头、宏块头等进行编码。

此外，在CU信息CU中，也可以被编码跳过标记(skip_flag)、基本模式标记(base_mode_flag)以及预测模式标记(pred_mode_flag)。

此外，通过这些标记，也可以指定对象CU的CU类型是内部CU、外部CU、跳过CU以及基本跳过CU中的哪一个。

内部CU以及跳过CU能够与上述的HEVC方式的情况相同地定义。例如，在跳过CU中，对跳过标记设定“1”。在不是跳过CU的情况下，对跳过标记设定“0”。此外，在内部CU中，对预测模式标记设定“0”。

此外，外部CU也可以定义为应用非跳过且运动补偿(MC；MotionCompensation)的CU。在外部CU中，例如，对跳过标记设定“0”，对预测模式标记设定“1”。

基本跳过CU是从参照层估计CU或者PU的信息的CU类型。此外，在基本跳过CU中，例如，对跳过标记设定“1”，对基本模式标记设定“1”。

此外，在PT信息PTI中，也可以指定对象PU的PU类型是内部PU、外部PU、合并PU以及基本合并PU中的哪一个。

内部PU、外部PU、合并PU能够与上述的HEVC方式的情况相同地定义。

基本合并PU是从参照层估计PU的信息的PU类型。此外，例如，在PT信息PTI中，也可以预先对合并标记以及基本模式标记进行了编码，使用这些标记，判定对象PU是否为进行基本合并的PU。即，在基本合并PU中，对合并标记设定“1”，对基本模式标记设定“1”。

另外，在扩展层中包含的运动矢量信息中，关于能够从在下位层中包含的运动矢量信息导出的运动矢量信息，能够设为从扩展层省略的结构。通过设为这样的结构，由于能够削减扩展层的码量，所以编码效率提高。

此外，如上所述，也可以通过与下位层的编码方式不同的编码方式，生成扩展层的编码数据。即，扩展层的编码/解码处理不依赖下位层的编解码器的种类。

下位层例如也可以通过MPEG-2或H.264/AVC方式进行编码。

在对象层和参照层通过不同的编码方式进行编码的情况下，通过将参照层的参数变换为对象层的对应的参数或者类似的参数，能够确保层间的相应的互换性。例如，MPEG-2或H.264/AVC方式中的宏块能够换成HEVC中的CTB而解释。

另外，以上说明的参数既可以单独进行编码，也可以是多个参数复合进行编码。在多个参数复合进行编码的情况下，对该参数的值的组合分配索引，被分配的该索引进行编码。此外，若参数能够从其他参数或解码完毕的信息导出，则能够省略该参数的编码。

〔层次活动图像解码装置〕

以下，参照图1～图21说明本实施方式的层次活动图像解码装置1的结构。

(层次活动图像解码装置的结构)

使用图5说明层次活动图像解码装置1的概略性结构，则如下所述。图5是表示层次活动图像解码装置1的概略性结构的功能框图。层次活动图像解码装置1通过HEVC方式对从层次活动图像编码装置2供应的层次编码数据DATA进行解码，生成对象层的解码图像POUT#T。

如图5所示，层次活动图像解码装置1包括NAL解复用部11、可变长解码部12、预测参数复原部14、纹理复原部15以及基本解码部16。

NAL解复用部11对NAL(Network Abstraction Layer，网络提取层)中的以NAL单元单位传输的层次编码数据DATA进行解复用。

NAL是为了将VCL(Video Coding Layer，视频编码层)和对编码数据进行传输/蓄积的下位***之间的通信抽象化而设置的层。

VCL是进行活动图像编码处理的层，在VCL中进行编码。另一方面，这里所称的下位***与H.264/AVC以及HEVC的文件格式或MPEG-2***对应。在以下所示的例中，下位***与对象层以及参照层中的解码处理对应。

另外，在NAL中，在VCL中生成的比特流以NAL单元的单位划分而传输到成为目的地地址的下位***。在NAL单元中，包括在VCL中进行了编码的编码数据以及用于该编码数据适当地到达目的地地址的下位***的头。此外，各层次中的编码数据通过存储在NAL单元中而进行NAL复用，传输到层次活动图像解码装置1。

NAL解复用部11对层次编码数据DATA进行解复用而取出对象层编码数据DATA#T以及参照层编码数据DATA#R。此外，NAL解复用部11将对象层编码数据DATA#T供应给可变长解码部12，且将参照层编码数据DATA#R供应给基本解码部16。

可变长解码部12进行用于从在对象层编码数据DATA#T中包含的二进位解码各种语法值的信息的解码处理。

具体而言，如以下所述，可变长解码部12从编码数据DATA#T解码预测信息、编码信息以及变换系数信息。

即，可变长解码部12从编码数据DATA#T解码与各CU或者PU有关的预测信息。在预测信息中，例如包括CU类型或者PU类型的指定。

在CU为外部CU的情况下，可变长解码部12从编码DATA#T解码PU分割信息。除此之外，在各PU中，可变长解码部12进一步作为预测信息，从编码数据DATA#T解码参照图像索引RI、估计运动矢量索引PMVI以及运动矢量残差MVD等的运动信息、模式信息。

另一方面，在CU为内部CU的情况下，可变长解码部12进一步作为预测信息，从编码数据DATA#T解码内部预测信息，该内部预测信息包括(1)指定预测单位的尺寸的尺寸指定信息以及(2)指定预测索引的预测索引指定信息。

此外，可变长解码部12从编码数据DATA#T解码编码信息。在编码信息中，包括用于确定CU的形状、尺寸、位置的信息。更具体而言，在编码信息中，包括指定对象树块至各CU的分割模型的树块分割信息，即指定在对象树块中包含的各CU的形状、尺寸以及对象树块内的位置的信息。

可变长解码部12将解码出的预测信息以及编码信息供应给预测参数复原部14。

此外，可变长解码部12从编码数据DATA#T解码与各块有关的量化预测残差QD以及与包括该块的树块有关的量化参数差分Δqp。可变长解码部12将解码出的量化预测残差QD以及量化参数差分Δqp作为变换系数信息而供应给纹理复原部15。

基本解码部16从参照层编码数据DATA#R解码基本解码信息，该基本解码信息是与在对与对象层对应的解码图像进行解码时参照的参照层有关的信息。在基本解码信息中，包括基本预测参数、基本变换系数以及基本解码图像。基本解码部16将解码出的基本解码信息供应给预测参数复原部14以及纹理复原部15。

预测参数复原部14使用预测信息以及基本解码信息，复原预测参数。预测参数复原部14将复原的预测参数供应给纹理复原部15。另外，预测参数复原部14在复原预测参数时，能够参照在纹理复原部15具备的帧存储器155(后述)中存储的运动信息。

纹理复原部15使用变换系数信息、基本解码信息以及预测参数，生成解码图像POUT#T，并输出到外部。另外，在纹理复原部15中，与复原的解码图像有关的信息存储在内部具备的帧存储器155(后述)中。

以下，说明基本解码部16、预测参数复原部14以及纹理复原部15的各自的细节。

(预测参数复原部)

使用图6，说明预测参数复原部14的详细结构。图6是例示了预测参数复原部14的结构的功能框图。

如图6所示，预测参数复原部14包括预测类型选择部141、开关142、内部预测模式复原部143、运动矢量候选导出部144、运动信息复原部145、合并候选导出部146、合并信息复原部147以及PU分割类型导出部148。

预测类型选择部141根据CU类型或者PU类型，对开关142传输切换指示，控制预测参数的导出处理。具体而言，如下所述。

在指定了内部CU或者内部PU的情况下，预测类型选择部141控制开关142，使得能够使用内部预测模式复原部143而导出预测参数。

在指定了外部CU(无合并)以及外部PU(无合并)中的任一个的情况下，预测类型选择部141控制开关142，使得能够使用运动信息复原部145而导出预测参数。

在指定了基本跳过CU、基本合并PU、跳过CU以及合并PU中的任一个的情况下，预测类型选择部141控制开关142，使得能够使用合并信息复原部147而导出预测参数。

开关142根据预测类型选择部141的指示，将预测信息供应给内部预测模式复原部143、运动信息复原部145以及合并信息复原部147中的任一个。在预测信息的供应目的地中导出预测参数。

内部预测模式复原部143从预测信息导出预测模式。即，内部预测模式复原部143作为预测参数而复原的是预测模式。

这里，使用图7说明预测模式的定义。图7表示预测模式的定义。如同图所示，定义了36种预测模式，各个预测模式由“0”～“35”的序号(内部预测模式索引)确定。此外，如图8所示，对各预测模式分配如下的名称。即，“0”是“Intra_Planar(Planar预测模式、平面预测模式)”，“1”是“Intra DC(内部DC预测模式)”，“2”～“34”是“IntraAngular(方向预测)”，“35”是“Intra From Luma(来自内部的亮度)”。“35”是色差预测模式固有的模式，是基于亮度的预测进行色差的预测的模式。换言之，色差预测模式“35”是利用了亮度像素值和色差像素值的相关的预测模式。色差预测模式“35”也称为LM模式。预测模式数(intraPredModeNum)无论对象块的尺寸而为“35”。

运动矢量候选导出部144使用基本解码信息，通过层内运动估计处理或者层间运动估计处理而导出估计运动矢量的候选。运动矢量候选导出部144将导出的运动矢量的候选供应给运动信息复原部145。

运动信息复原部145复原与不进行合并的各外部PU有关的运动信息。即，运动信息复原部145作为预测参数而复原的是运动信息。

在对象CU(PU)为外部CU(外部PU)的情况下，运动信息复原部145从预测信息复原运动信息。更具体而言，运动信息复原部145取得运动矢量残差(mvd)、估计运动矢量索引(mvp_idx)、外部预测标记(inter_pred_flag)以及参照图像索引(refIdx)。然后，基于外部预测标记的值，关于参照图像列表L0和参照图像列表L1的各个，决定参照图像列表利用标记。接着，在对应的参照图像列表利用标记表示利用该参照图像的情况下，运动信息复原部145基于估计运动矢量索引的值而导出估计运动矢量，且基于运动矢量残差和估计运动矢量而导出运动矢量。运动信息复原部145将导出的运动矢量、参照图像列表利用标记以及参照图像索引合并，并作为运动信息(运动补偿参数)而输出。

合并候选导出部146使用从后述的帧存储器155供应的解码完毕的运动信息和/或从基本解码部16供应的基本解码信息等，导出各种合并候选。合并候选导出部146将导出的合并候选供应给合并信息复原部147。

合并信息复原部147复原与在层内或者层间进行合并的各PU有关的运动信息。即，运动信息复原部145作为预测参数而复原的是运动信息。

具体而言，当对象CU(PU)为在层内进行合并的跳过CU(合并PU)的情况下，合并信息复原部147从合并候选导出部146通过层内合并而导出的合并候选列表中导出与在预测信息中包含的合并索引(merge_idx)对应的运动补偿参数，复原运动信息。

此外，当为在层间进行合并的基本跳过CU的情况下，合并信息复原部147从合并候选导出部146通过层间合并而导出的合并候选列表中导出与在预测信息中包含的合并索引(merge_idx)对应的运动补偿参数，复原运动信息。

PU分割类型导出部148使用编码信息以及基本解码信息，估计对象层中的对象CU至PU的PU分割类型。PU分割类型导出部148将估计出的PU分割类型供应给合并候选导出部146以及合并信息复原部147。

另外，关于合并候选导出部146以及PU分割类型导出部148的细节，在后面叙述。

(纹理复原部)

使用图9说明纹理复原部15的详细结构。图9是例示了纹理复原部15的结构的功能框图。

如图9所示，纹理复原部15包括逆正交变换/逆量化部151、纹理预测部152、加法器153、环路滤波器部154以及帧存储器155。

逆正交变换/逆量化部151(1)对在从可变长解码部12供应的变换系数信息中包含的量化预测残差QD进行逆量化，(2)对通过逆量化而获得的DCT系数进行逆正交变换(例如，DCT(Discrete CosineTransform，离散余弦变换)变换)，(3)将通过逆正交变换而获得的预测残差D供应给加法器153。另外，在对量化预测残差QD进行逆量化时，逆正交变换/逆量化部151从在变换系数信息中包含的量化参数差分Δqp导出量化步长QP。量化参数qp能够通过对与在紧之前进行了逆量化/逆正交变换的树块有关的量化参数qp’加上量化参数差分Δqp而导出，量化步长QP能够从量化参数qp通过QP＝2^qp/6而导出。此外，逆正交变换/逆量化部151的预测残差D的生成以块(变换单位)为单位进行。

纹理预测部152根据预测参数，参照在基本解码信息中包含的基本解码图像或者在帧存储器中存储的解码完毕的解码图像，生成预测图像。

更详细而言，纹理预测部152包括外部预测部152A、层内内部预测部152B以及层间内部预测部152C。

外部预测部152A通过外部预测而生成与各外部预测划分有关的预测图像。具体而言，外部预测部152A使用从运动信息复原部145或者合并信息复原部147作为预测参数而供应的运动信息，从参照图像生成预测图像。

层内内部预测部152B通过层内内部预测而生成与各内部预测划分有关的预测图像。具体而言，层内内部预测部152B使用从内部预测模式复原部143作为预测参数而供应的预测模式，从在对象划分中解码完毕的解码图像生成预测图像。

层间内部预测部152C通过层间内部预测而生成与各内部预测划分有关的预测图像。具体而言，层间内部预测部152C使用从内部预测模式复原部143作为预测参数而供应的预测模式，基于在基本解码信息中包含的基本解码图像而生成预测图像。基本解码图像也可以配合对象层的分辨率而适当地进行上采样。

纹理预测部152将外部预测部152A、层内内部预测部152B或者层间内部预测部152C生成的预测图像供应给加法器153。

加法器153通过将纹理预测部153的预测图像和从逆正交变换/逆量化部151被供应的预测残差D相加而生成解码图像。

环路滤波器部154是对从加法器153被供应的解码图像实施去块(deblocking)处理或基于自适应滤波器参数的滤波器处理的部分。

帧存储器155存储基于环路滤波器部154的滤波器完毕解码图像。

(基本解码部)

使用图10说明基本解码部16的详细结构。图10是例示了基本解码部16的结构的功能框图。

如图10所示，基本解码部16包括可变长解码部161、基本预测参数复原部162、基本变换系数复原部163以及基本纹理复原部164。

可变长解码部161进行用于从在参照层编码数据DATA#R中包含的二进位解码各种语法值的信息的解码处理。

具体而言，可变长解码部161从编码数据DATA#R解码预测信息以及变换系数信息。由于可变长解码部161解码的预测信息以及变换系数的语法与可变长解码部12相同，所以这里省略其详细的说明。

可变长解码部161将解码出的预测信息供应给基本预测参数复原部162，且将解码出的变换系数信息供应给基本变换系数复原部163。

基本预测参数复原部162基于从可变长解码部161被供应的预测信息，复原基本预测参数。关于基本预测参数复原部162复原基本预测参数的方法，由于与预测参数复原部14相同，所以这里省略其详细的说明。基本预测参数复原部162将复原的基本预测参数供应给基本纹理复原部164，且输出到外部。

基本变换系数复原部163基于从可变长解码部161被供应的变换系数信息，复原变换系数。关于基本变换系数复原部163复原变换系数的方法，由于与逆正交变换/逆量化部151相同，所以这里省略其详细的说明。基本变换系数复原部163将复原的基本变换系数供应给基本纹理复原部164，且输出到外部。

基本纹理复原部164使用从基本预测参数复原部162被供应的基本预测参数和从基本变换系数复原部163被供应的基本变换系数，生成解码图像。具体而言，基本纹理复原部164基于基本预测参数，进行与纹理预测部152相同的纹理预测，生成预测图像。此外，基本纹理复原部164基于基本变换系数而生成预测残差，并通过将生成的预测残差和通过纹理预测而生成的预测图像相加而生成基本解码图像。

另外，基本纹理复原部164也可以对基本解码图像实施与环路滤波器部154相同的滤波器处理。此外，基本纹理复原部164也可以包括用于存储解码完毕的基本解码图像的帧存储器，也可以参照在纹理预测中帧存储器中存储的解码完毕的基本解码图像。

＜＜合并候选导出部的细节＞＞

接着，使用图1说明合并候选导出部146的详细结构。图1是例示了合并候选导出部146的结构的功能框图。

如图1所示，合并候选导出部146是包括合并候选导出控制部(判定单元)1461、合并候选存储部1462、片段类型判定部1463以及个别合并候选导出部1464的结构。

合并候选导出控制部1461控制个别合并候选导出部1464，导出预定数(合并候选导出数)的合并候选并存储在合并候选存储部1462中。作为上述合并候选导出数，例如通常使用merge_idx+1的值。另外，作为上述合并候选导出数，也可以使用merge_idx+1的值以上的任意的整数。例如，也可以将对merge_idx的最大值加1的值作为MRG_MAX_NUM_CANDS而用作上述合并候选导出数。

在合并候选存储部1462中，存储了多个合并候选。合并候选作为赋予顺序的列表(合并候选列表)而被记录。

片段类型判定部1463根据要求，判定包括对象PU的片段的片段类型，并输出结果。

个别合并候选导出部1464通过指定的导出方法，导出合并候选并输出。关于基于指定的导出方法而选择的各合并候选导出部的详细动作，在后面叙述。另外，例示性地，导出的合并候选由对于参照图像列表LX的参照图像列表利用标记(predFlagLX)、参照图像索引(refIdxLX)、运动矢量(mvLX)构成。这里，LX是L0或者L1。

(个别合并候选导出部的细节)

更详细而言，个别合并候选导出部1464包括空间合并候选导出部(对象层候选导出单元、空间运动信息候选导出单元)1464A、层间合并候选导出部(层间候选导出单元)1464B、时间合并候选导出部(对象层候选导出单元、时间运动信息候选导出单元)1464C、结合合并候选导出部(对象层候选导出单元)1464D以及零合并候选导出部(对象层候选导出单元)1464E。另外，虽然在图1中未图示，但在空间合并候选导出部1464A以及时间合并候选导出部1464C中，被供应在帧存储器155中存储的解码完毕的CU以及PU的编码参数、尤其PU单位的运动补偿(运动补偿参数)。

此外，以下，在将空间合并候选导出部1464A、层间合并候选导出部1464B、时间合并候选导出部1464C、结合合并候选导出部1464D以及零合并候选导出部1464E汇总参照的情况下，总称为“各合并候选导出部”。此外，各合并候选导出部按照预定的优先顺位，导出合并候选。该合并候选的导出顺序由合并候选导出控制部1461所控制。

此外，在进行层内合并的情况下，合并候选导出控制部1461能够使各合并候选导出部导出除了层间合并候选的任意的合并候选。此外，在进行层间合并的情况下，合并候选导出控制部1461能够使各合并候选导出部导出包括层间合并候选的任意的合并候选。

(空间合并候选导出部)

图11是用于说明空间合并候选导出部1464A的动作的图。图11表示对象PU和相邻块A0、A1、B0、B1、B2的位置关系。在空间合并候选导出部1464A中，概略地，上述各相邻块中的运动补偿参数作为合并候选而输出。例示性地，设为导出的顺序为A1、B1、B0、A0、B2。导出的合并候选存储在合并候选存储部1462中。更严格而言，按照导出的顺序，追加到在合并候选存储部1462中存储的合并候选列表的末尾。将PU的左上座标设为(xP,yP)、将PU的尺寸设为nPSW、nPSH，能够如下那样表现各相邻块的位置。

A0：(xP-1,yP+nPSH)

A1：(xP-1,yP+nPSH-1)

B0：(xP+nPSW,yP-1)

B1：(xP+nPSW-1,yP-1)

B2：(xP-1,yP-1)

另外，在满足以下的条件中的任一个的情况下，不导出与位置N(N为A0、A1、B0、B1或者B2中的任一个)对应的合并候选。

·在位置N的块不能利用(不是可利用(available))的情况下。

·在位置N的块进行了内部编码的情况下。

·在N为B2且与A0、A1、B0、B1的位置对应的合并候选全部导出的情况下。

·在PU的分割类型为2N×N或者N×2N，并且，PU的索引为1且块N和索引0的PU具有相同的运动补偿参数的情况下。

·在N为B0且块N和块B1具有相同的运动补偿参数的情况下。

·在N为A0且块N和块A1具有相同的运动补偿参数的情况下。

·在N为B2且块N与块A1或块B1具有相同的运动补偿参数的情况下

这里，某块不是可利用(available)的情况是指，该块位于画面外的情况、位于片段外的情况、或者未解码的情况。此外，2个块具有相同的运动补偿参数，表示在两个块中，关于参照图像列表L0和L1的双方，参照图像列表利用标记、参照图像索引、运动矢量全部相等。关于运动补偿参数的同一性的判定(一致判定)，在后面详细说明。

(层间合并候选导出部)

图12是表示层间合并候选导出部1464B的动作的图。图12表示在导出层间合并候选时参照的参照层上的区域。在层间合并候选导出部1464B中，例示性地，与对象PU对应的参照层上的区域(以下，简称为对应参照区域)中的右下的位置C0中的运动补偿参数作为合并候选而输出。导出的合并候选存储在合并候选存储部1462中。更严格而言，按照导出的顺序，追加到在合并候选存储部1462中存储的合并候选列表的末尾。

具体而言，层间合并候选导出部1464B如下参照基本解码信息而导出合并候选。

在层间合并候选导出部1464B参照的基本解码信息中，包括参照层的运动补偿参数(mxLX_RL，refIdxLX_RL，predFlagLX_RL)。

此外，层间合并候选导出部1464B输出的合并候选(合并候选C0)由运动补偿参数(mvLX_C0，refIdxLX_C0，predFlagLX_C0)构成。

这里，若设为

对象预测单位的左上像素位置：(xP，yP)

对应的参照层的像素位置：(xPR，yPR)

对象层相对于参照层的分辨率的比率：(scaleX，scaleY)

对象PU的尺寸：nPSW*nPSH

，则对应参照区域的尺寸为nPSWR＝ceil(nPSW/scaleX)、nPSHR＝ceil(nPSH/scaleY)。对应参照区域是与对象PU对应的参照层上的区域。

此外，此时，若设为C0的位置(xC0，yC0)，则

(xC0,yC0)＝(xPR+nPSWR-1，yPR+nPSHR-1)，

合并候选C0成为如下。

mvL_C0[0]＝mvLX_RL(xC0，yC0)[0]*scaleX

mvL_C0[1]＝mvLX_RL(xC0，yC0)[1]*scaleY

refIdxLX_C0＝refIdxLX_RL(xC0，yC0)

predFlagLX_C0＝predFlagLX_RL(xC0，yC0)

如前所述，空间合并候选基于对象PU的右上(B1、B0)、左下(A1、A0)以及左上(B2)的位置的信息而导出，相对于此，层间合并候选基于对应参照区域中的右下(C0)的位置的信息而导出。由此，在合并候选列表中包括与空间合并候选的性质不同的多样的合并候选。

其结果，在合并候选列表中包含的任一个合并候选与实际的运动信息一致的可能性提高，由此，能够削减运动信息的码量。

另外，并不限定于以上的例，层间合并候选导出部1464B也可以成为能够从对应参照区域内的任意的位置导出合并候选。

例如，只要成为能够导出在对象预测单位中与解码未完毕的区域对应的参照层上的区域中解码的运动信息作为合并候选即可。

此外，层间合并候选导出部1464B也可以基于右下(C0)的右、下以及右下中的任一个相邻的位置的信息而导出。

例如，层间合并候选导出部1464B也可以能够从与图11所示的对象PU的区域R1附近的位置对应的参照层上的位置导出合并候选。区域R1能够表现为包括对象参照区域内的右下的位置的预定范围的区域。

定性而言，只要从与不同于导出空间合并候选的位置的位置(换言之，“不同的位置”是“预定的距离以上隔离的位置”)对应的参照层上的位置导出层间合并候选即可。

在空间合并候选中，主要与对象PU的左上区域对应的运动信息多，与右下区域(区域R1)对应的运动信息少。根据上述结构，能够从对应参照区域内的位置导出与空间合并候选不同的性质的合并候选作为层间合并候选。

若关于解码未完毕的区域进行补充，则如下所述。一般，如图20所示，树块以图片的左上为起点，按照朝向右下方向的光栅扫描顺序进行解码处理。此时，相对于包括对象预测单位的对象树块，在光栅扫描顺序中后续的树块，成为解码未完毕的区域。在光栅扫描顺序的情况下，比对象树块位于下方的树块、或者垂直位置与对象树块相同且比对象树块位于右方的树块是解码未完毕的树块。在解码未完毕的树块中包含的区域是解码未完毕的区域。

接着，关于树块内的编码单位(CU)的处理顺序，树块内的CU按照所谓的Z扫描的顺序进行处理。在Z扫描中，将树块分割为4个全等的正方形，按照在左上、右上、左下、右下的各正方形区域中包含的CU的顺序进行处理。接着，关于各正方形区域，也递归性地进行处理。例如，将左上的区域进一步分割为4个全等的正方区域，按照左上、右上、左下、右下的顺序进行在各正方形区域中包含的CU的处理。

关于Z扫描的例，参照图21的例进行说明。在图21中，对各区域赋予的数字表示Z扫描的扫描顺序。在将树块进行了4分割的左上区域中包括1～7的CU，在右上区域中包括8的CU，在左下区域中包括9的CU，并且，在右下区域中包括10～13的CU。在将包括1～7的CU的左上区域进一步进行了4分割的左上区域中包括1的CU，在右上区域中包括2的CU，在左下区域中包括3的CU，在右下区域中包括4～7的CU。在Z扫描顺序上位于对象CU之后的CU是解码未完毕的CU，在该CU中包含的区域是解码未完毕的区域。

此外，层间合并候选导出部1464B也可以限制或者禁止从特定的位置导出合并候选。

例如，也可以禁止从如图17(d)所示的对应参照区域中的左上的位置C0导出合并候选。

此外，也存在与对应参照区域中的右下(C0)的位置对应的运动信息没有记录在存储器上的情况，但在这个情况下，也可以基于与右下(C0)的附近的位置对应的信息而导出合并候选。例如，在参照层的运动信息以特定的间隔(N个像素单位)剔除而记录的情况下，也可以基于与((xC0//N)*N，(yC0//N)*N)的位置对应的运动信息来代替C0的位置即(xC0，yC0)的位置而导出合并候选。这里，运算符“//”是，“x//y”的值成为将x除以y所得的商的运算符。

(时间合并候选导出部)

图13是说明时间合并候选导出部1464C的动作的图。若参照图13(a)说明，则时间合并候选导出部1464C概略地如下导出时间合并候选。即，在当前图片为currPic的情况下，时间合并候选导出部1464C通过复制占据与当前图片内的对象PU的空间位置大致相同的空间位置的、由参照图像索引refIdxL0所指定的参照图像上的PU或者由参照图像索引refIdxL1所指定的参照图像上的PU的运动补偿参数，从而导出时间合并候选。参照图13(b)说明参照索引号refIdxL0、参照索引号refIdxL1的导出方法。参照索引号refIdxLX(这里，X是0或1或C)使用对象PU的相邻PU、A、B、C的块的参照图片refIdxLXA、refIdxLXB、refIdxLXC如下求出。

(1)在refIdxLXA＝refIdxLXB＝refIdxLXC的情况下，

在refIdxLXA＝-1时，refIdxLX＝0；

在除此以外时，refIdxLX＝refIdxLXA。

(2)在refIdxLXA＝refIdxLXB的情况下，

在refIdxLXA＝-1时，refIdxLX＝refIdxLXC；

在除此以外时，refIdxLX＝refIdxLXA。

(3)在refIdxLXB＝refIdxLXC的情况下，

在refIdxLXB＝-1时，refIdxLX＝refIdxLXA；

在除此以外时，refIdxLX＝refIdxLXB。

(4)在refIdxLXA＝refIdxLXC的情况下，

在refIdxLXA＝-1时，refIdxLX＝refIdxLXB；

在除此以外时，refIdxLX＝refIdxLXA。

(5)在refIdxLXA＝-1的情况下，

refIdxLX＝min(refIdxLXB，refIdxLXC)。

(6)在refIdxLXB＝-1的情况下，

refIdxLX＝min(refIdxLXA，refIdxLXC)。

(7)在refIdxLXC＝-1的情况下，

refIdxLX＝min(refIdxLXA，refIdxLXB)。

(8)在其他的情况下，

refIdxLX＝min(refIdxLXA，refIdxLXB，refIdxLXC)

这里，min是取最小值的函数。

另外，块A、B的座标如下所述。

A：(xP–1，yP+nPSH-1)

B：(xP+nPSW–1，yP–1)

块C的座标为下述C0、C1、C2中的任一个。按照从C0到C2的顺序进行扫描，与各位置对应的PU为可利用(available)，在内部以外的情况下，将该位置的PU的refIdxLX设为refIdxLXC。

C0：(xP+nPSW–1，yP-1)

C1：(xP–1，yP+nPSH)

C2：(xP–1，yP-1)

若如上所述导出refIdxL0、refIdxL1，则通过使用由refIdxL0表示的参照图片的位置(xP+nPSW，yP+nPSH)的运动补偿参数而确定L0的运动矢量，使用由refIdxL1表示的参照图片的位置(xP+nPSW，yP+nPSH)的运动补偿参数而确定L1的运动矢量，导出时间性合并候选。即，从LX列表以及由refIdxLX表示的参照图片，计算对于各参照图片列表LX(X＝0、X＝1或X＝C)的运动矢量mvLXCol[0]、mvLXCol[0]。具体而言，在由refIdxLX表示的参照图片的位置(xP+nPSW，yP+nPSH)的PU为不可利用(unavailable)或者为内部预测模式的情况下，将时间性合并候选的LX的运动矢量mvLXCol[0]、mvLXCol[1]确定为0。在除此以外、即该PU的PredFlagL0为0的情况下，将该PU的L1的运动矢量MvL1用作时间性合并候选的LX的运动矢量mvLXCol[0]、mvLXCol[1]。在除此以外的情况下，将该PU的L0的运动矢量MvL0用作时间合并候选的LX的运动矢量mvLXCol[0]、mvLXCol[1]。

接着，使用当前帧的POC(Picture Order Count，图像顺序计数)和参照图片的POC，对运动矢量mvLXCol进行定标(scaling)而获得最终的时间合并候选。时间合并候选导出部1464C将导出的时间合并候选存储在合并候选存储部1462中。

(结合合并候选导出部)

概略地，结合合并候选导出部1464D通过将已经导出且存储在合并候选存储部1462中的、2个不同的导出完毕合并候选的运动矢量进行组合，导出结合合并候选。

在结合合并候选导出部1464D中，将结合合并候选计数combCnt从0开始增加，直到合并候选列表的元素数与合并候选导出数一致或者combCnt超过最大值(5)为止，导出结合合并候选，并追加到合并候选列表的末尾。

与特定的结合合并候选计数combCnt对应的结合合并候选的导出顺序如下所述。

首先，在合并候选组合列表中，将combCnt作为索引(combIdx)而参照，分别导出表示用于结合的2个合并候选、即L0合并候选和L1合并候选在合并候选列表上的位置的索引l0CandIdx、L1CandIdx。图14表示合并候选组合列表的例。结合合并候选通过对参照图像列表L0复制L0合并候选的运动补偿参数、对参照图像列表L1复制L1合并候选的运动补偿参数而生成。另外，在满足以下的任一个条件的情况下，不导出与combCnt对应的结合合并候选。

·L0合并候选的L0参照图像列表利用标记为0；

·L1合并候选的L1参照图像列表利用标记为0；

·L0合并候选和L1合并候选的运动矢量或者参照图像一致。

按照上述的顺序，导出结合合并候选。另外，在与结合合并候选对应的运动补偿参数中，L0和L1的参照图像列表利用标记都成为1。即，结合合并候选是进行双预测的合并候选。因此，在不能应用双预测的状况(例如，P片段内的PU)下，结合合并候选不包含在合并候选列表中。

(零合并候选导出部)

图15是表示零合并候选导出部1464E的动作的图。若合并候选存储部1462的合并候选数达到合并候选导出数，则零合并候选导出部1464E不进行处理(不导出零合并候选)。另一方面，若合并候选数未达到合并候选导出数个，则零合并候选导出部1464E生成直到合并候选数达到合并候选导出数为止具有零矢量的合并候选，并追加到合并候选列表中。即，将要参照的合并候选的索引作为zeroCand_m，导出L0的运动矢量(mvL0zeroCand_m[0]、mvL0zeroCand_m[1])、L1的运动矢量(mvL1zeroCand_m[0]、mvL1zeroCand_m[1])都成为0的候选。这里，索引zeroCand_m使用对已经导出的合并候选列表的最后的索引的值加上1的值。m是从0开始的索引，在将零合并候选追加到合并候选列表时每次增加1。

(合并候选导出处理的流程)

使用图16说明合并候选导出处理的流程的一例。图16是表示合并候选导出部146的动作的流程的一例的流程图。

如图16所示，首先，在空间合并候选导出部1464A中，导出合并候选S0～合并候选S2(S101)。

接着，在层间合并候选导出部1464B中，导出合并候选C0(S102)。

接着，在时间合并候选导出部1464C中，导出合并候选T(S103)。

接着，在结合合并候选导出部1464D中，导出合并候选C(S104)。另外，S104也可以构成为在由片段类型判定部1463判定为片段类型是B片段时执行。

最后，在零合并候选导出部1464E中，导出合并候选Z(S105)。

(作用/效果)

如以上所示，层次活动图像解码装置1是如下的层次活动图像解码装置1：对与按每个层不同的质量的图像有关的图像信息层次性地编码的层次编码数据DATA进行解码，复原成为解码的对象的对象层中的运动信息，使用通过基于复原的运动信息的运动补偿预测而生成的预测图像，复原上述对象层中的解码图像POUT#T，所述层次活动图像解码装置1包括：层间合并候选导出部1464B，在上述对象层中的成为预测图像生成的处理对象的对象预测单位中，参照作为解码完毕层的参照层，导出在包括该对象预测单位的周边区域中与解码未完毕的区域对应的该参照层上的区域中解码的运动信息，作为用于估计上述对象预测单位中的运动信息的候选。

因此，根据上述结构，能够将与由于在相同的层中未解码所以不能利用的区域对应的参照区域上的运动信息，追加到合并候选列表中。

(合并候选导出部的变形例)

以下，说明合并候选导出部146的优选的变形例。

(从2个以上的位置导出层间合并候选)

如图17(a)～(c)所示，层间合并候选导出部1464B也可以从参照区域上的2个以上的位置导出层间合并候选。以下，关于图17(a)～(c)的各个，按顺序说明。

[1]如图17(a)所示，层间合并候选导出部1464B也可以除了位置C0之外，还将对应参照区域中的左上的位置C1作为层间合并候选导出的对象。

例如，层间合并候选导出部1464B在位置C0为不能利用的情况下，利用位置C1。即，作为层间合并候选导出部1464B的合并候选导出的优先顺位，右下的位置C0优先于位置C1。

根据上述变形例，即使是在因位置C0为不能利用所以不能参照位置C0的运动信息的情况下，也存在层间合并候选导出部1464B能够导出层间合并候选的情况。

[2]如图17(b)所示，层间合并候选导出部1464B也可以将对应参照区域的右下相邻块C0、C2、C3和对应参照区域中的左上的位置C1利用于层间合并候选的导出。另外，例示性地，合并候选导出的优先顺位为位置C0、C1、C2以及C3的顺序。

在对象PU或者对应参照区域小的情况下，存在对应参照区域中的与左上的位置对应的像素和与右下的位置对应的像素属于相同的运动信息的记录单位的可能性。

通过使用右下相邻块的运动信息，能够从与对应参照区域中的左上的部分不同的记录单位导出运动信息的可能性提高。

由此，能够导出与对应参照区域的左上部分不同的运动信息的可能性提高。

[3]如图17(c)所示，层间合并候选导出部1464B也可以将对应参照区域中的右下的位置C0、对应参照区域的右下相邻块C1、对应参照区域中的左上的位置C1、对应参照区域的右相邻块C3以及下相邻块C4利用于层间合并候选的导出。

此外，也可以将合并候选导出的优先顺位设为位置C0、C1、C2、C3以及C4的顺序。

此外，在位置C0～C4的各位置中不存在运动信息的情况下，也可以不追加层间合并候选。

此外，合并候选导出控制部1461也可以在位置C1～C4中的各个运动补偿参数与位置C0中的运动补偿参数之间进行一致判定，该判定的结果，在相互的运动补偿参数不一致的情况下，层间合并候选导出部1464B导出对应的合并候选。

另外，例示性地，进行块A、块B的运动补偿参数的一致判定的函数equalMotion(A,B)的动作能够如下规定。

equalMotion(A,B)＝(predFlagL0A＝＝predFlagL0B)&&(predFlagL1A＝＝predFlagL1B)&&mvL0A[0]＝＝mvL0B[0]&&mvL0A[1]＝＝mvL0B[1]&&mvL1A[0]＝＝mvL1B[0]&&mvL1A[1]＝＝mvL1B[1])

这里，predFlagL0A、predFlagL1A分别在块A中使用L0、L1的参照图片的情况下为1，在除此以外的情况下为0。mvL0[0]、mvL0[1]是L0的水平运动矢量、垂直运动矢量，mvL1[0]、mvL1[1]是L1的水平运动矢量、垂直运动矢量。另外，在块B的情况下，将上述A置换为B。

此外，层间合并候选导出部1464B也可以一边进行上述一致判定，一边按照上述优先顺位的顺序导出合并候选，直到唯一的合并候选的数目成为2个为止，追加层间合并候选。

根据上述变形例的结构，由于能够导出不同的运动信息的可能性提高，所以编码对象的运动信息包含在合并候选中的可能性提高。其结果，能够削减运动信息的码量。

(一致判定)

合并候选导出控制部1461也可以进行各合并候选导出部导出的合并候选的运动补偿参数的一致判定(以下，称为合并候选的一致判定)。此外，合并候选导出控制部1461也可以只将一致判定的结果、判定为唯一的合并候选存储在合并候选存储部1462中。此外，合并候选导出控制部1461也可以省略层间合并候选导出部1464B导出的层间合并候选和其他的合并候选导出部导出的合并候选的一致判定。

例如，在图16所示的流程图中，在层间合并候选导出部1464B之后，时间合并候选导出部1464C以及结合合并候选导出部1464D导出合并候选。这里，也可以省略时间合并候选以及结合合并候选和在合并候选列表中包含的合并候选的一致判定。

根据上述变形例的结构，能够并行地执行层间合并候选导出步骤(S102)、时间合并候选导出步骤(S103)以及结合合并候选导出步骤(S104)。

此外，合并候选导出控制部1461在进行空间合并候选和层间合并候选的一致判定的情况下，优选只与空间合并候选的合并候选S0(合并候选列表内的最初的合并候选)进行一致判定。

由此，能够抑制并行性的降低，且降低同一个合并候选在候选列表中包含的可能性。

(合并候选导出步骤的省略)

使用图18说明合并候选导出处理的流程的其他例。图18是表示合并候选导出部146的动作的其他例的流程图。

以下，参照图18说明在执行层间合并候选导出步骤的情况下，省略时间合并候选导出步骤的例。

如图18所示，首先，在空间合并候选导出部1464A中，导出合并候选S0～合并候选S2(S201)。

接着，合并候选导出控制部1461判定层间合并候选导出是否有效(S202)。例如在如下的(A)或者(B)的情况下，合并候选导出控制部1461能够判定为层间合并候选导出有效。

(A)在SPS、PPS中包含的标记表示层间合并预测有效的情况下；或者，

(B)存在与对象PU对应的参照层，且对象PU以及参照层为P片段或者B片段的情况下。

这里，在层间合并候选导出为有效的情况下(S202中“是”)，在层间合并候选导出部1464B中，导出合并候选C0(S204)。

另一方面，在层间合并候选导出不是有效的情况下(S202中“否”)，在时间合并候选导出部1464C中，导出合并候选T(S203)。

即，由于层间合并候选步骤(S204)以及时间合并候选导出步骤(S203)择一地进行，所以在执行两者中的一方的情况下，另一方被省略。

以后，在结合合并候选导出部1464D中，导出合并候选C(S205)。最后，在零合并候选导出部1464E中，导出合并候选Z(S206)。

在并用时间合并候选和层间合并候选的情况下的运动信息的码量削减幅度与在使用其中一方的情况下的运动信息的码量削减幅度没有较大差异。

因此，在使用层间合并候选的情况下，即使不使用时间合并候选，码量也不会增大那么多。换言之，若省略时间合并候选的导出，则能够实现与时间合并候选的导出有关的处理负荷的降低或存储器资源的节约。

根据上述结构，在使用层间合并候选的情况下，省略时间合并候选的导出。

因此，在使用层间合并候选的情况下，不使用时间合并候选。由此，能够抑制运动信息的码量大幅增加，且能够削减时间合并候选导出所需的处理量以及记录参照图像的运动矢量的存储器量。

此外，也可以相反。例如，在使用时间合并候选的情况下，即使不使用层间合并候选，码量也会增大那么多。

根据上述结构，在使用时间合并候选的情况下，省略层间合并候选的导出。因此，不需要将运动信息的码量大幅增加，另一方面，能够削减层间合并候选所需的处理量。

如以上所述，通过择一地导出层间合并候选以及时间合并候选中的任一方，能够避免并用层间合并候选以及时间合并候选的两个合并候选的情形。即，能够避免必须处理两个合并候选的情形。由此，能够实现处理量的最差值(在处理量最多的情况下的处理量)的降低。

(层间内部候选导出部)

使用图19说明合并候选导出部146的变形例。个别合并候选导出部1464也可以还包括层间内部候选导出部1464F。

在本变形例中，扩展合并候选列表的概念。具体而言，层间内部候选导出部1464F在合并候选列表中发出层间内部预测(纹理预测)的信号。

即，层间内部候选导出部1464F在合并候选列表中追加发出层间内部预测的信号的候选即层间内部候选。在从合并候选列表选择了层间内部候选的情况下，纹理预测部152的层间内部预测部152C基于对参照层的解码像素进行了上采样的图像，生成预测图像。

此外，在本变形例中，合并候选导出控制部1461也可以按照如下的优先顺序，将各合并候选追加到合并候选列表中。

1)空间合并候选、2)时间合并候选、3)层间合并候选、4)结合合并候选、5)零合并候选、6)层间内部候选

此外，合并候选导出部146中的合并候选的导出例如能够通过如以下所示的方法进行。

即，作为一个方法，按照1)～6)的优先顺序，直到成为合并候选列表的合并候选导出数的最大值为止，追加合并候选。此外，作为其他方法，按照1)～5)的优先顺序，追加合并候选列表的合并候选导出数的最大值-1个合并候选，并在其后面追加6)层间合并候选作为合并候选。

根据上述结构，能够以PU单位选择层间内部预测。由此，与对每个CU设置选择标记(base_mode_flag)的情况相比，能够削减边(side)信息。

此外，合并候选导出控制部1461也可以按照如下的优先顺序，将各合并候选追加到合并候选列表中。

1)空间合并候选、2)时间合并候选、3)层间候选、4)结合合并候选、5)零合并候选

这里，3)层间候选是与层间预测有关的合并候选，具体而言，是层间合并候选或者层间内部候选。根据与对象PU对应的参照层上的区域所属的CU(以下，称为参照CU)的预测类型，作为层间候选而追加的候选在层间合并候选以及层间内部候选之间切换。另外，只要由合并候选导出控制部1461控制该切换即可。

在参照CU为外部CU的情况下，层间合并候选导出部1464B导出层间合并候选作为层间候选。在选择了层间合并候选的情况下，纹理预测部152的外部预测部152A通过运动补偿预测而生成预测图像。

在参照CU为内部CU的情况下，层间内部候选导出部1464F导出层间内部候选作为层间候选。在选择了层间内部候选的情况下，纹理预测部152的层间内部预测部152C基于对参照层的解码像素进行了上采样的图像而生成预测图像。

在参照层为外部CU的情况下，为了实现运动补偿处理中的处理量削减，该外部CU的解码图像不用于层间预测中的运动信息预测。此外，在参照层为内部CU的情况下，在该内部CU中不存在运动补偿的信息。

根据上述结构，根据参照CU是外部CU还是内部CU，使用能够在该参照CU中利用的信息而生成候选。

由此，在合并候选列表中，与将层间合并候选和层间内部候选设为不同的候选的情况相比，能够削减合并候选的数目。

此外，能够抑制在追加合并候选时参照不能利用的信息的开销。

＜＜PU分割类型导出部的细节＞＞

接着，使用图27说明PU分割类型导出部148的详细结构。图27是例示了PU分割类型导出部148的结构的功能框图。

如图27所示，PU分割类型导出部148是包括参照CU设定部1481以及PU分割估计部1482的结构。

参照CU设定部1481在成为解码的对象的对象CU的解码时，设定与该对象CU对应的参照层上的区域，以设定的参照区域为基准，设定在PU分割估计时应参照的参照层上的CU。以后，将参照CU设定部1481设定的上述区域称为参照区域，将上述参照层上的CU称为参照CU。

PU分割估计部1482是参照由参照CU设定部1481设定的参照CU，估计对象层的对象CU中向PU的分割类型(估计PU分割类型)的部分。

更具体而言，PU分割估计部1482包括右下像素位置判定部1482A、重复区域判定部1482B以及分割类型决定部1482C。

右下像素位置判定部1482A判定参照CU中的右下像素的位置在参照区域内的位置。

重复区域判定部1482B判定参照CU和参照区域重复的区域(以下，称为重复区域)的重复的程度。在重复区域的重复的程度中，例如包括重复区域的面积的大小、重复区域的形状、宽度以及高度的大小关系以及参照CU和参照区域的包含关系。

分割类型决定部1482C根据右下像素位置判定部1482A或者重复区域判定部1482B的判定结果，决定对象CU中的PU分割类型。

以下，使用图28～图40，按照顺序说明参照CU设定部1481以及PU分割估计部1482的动作的细节。

(关于参照CU设定部的动作)

使用图28，说明参照CU设定部1481对在对象层上的对象帧tgtFR1中包含的对象CUtgtCU设定参照CU的例。

如图28所示，首先，参照CU设定部1481设定在参照层上的参照帧refFR1中包含的CU并且是与对象CUtgtCU对应的参照层上的参照区域refREG。

即，例示性地，参照帧refFR1是与对象帧tgtFR1同时刻的参照层上的帧。

此外，这里，对象CUtgtCU与参照区域refREG“对应”是指，对象层上的对象帧tgtFR1中的对象CUtgtCU的空间性位置与参照层上的参照帧refFR1中的参照区域refREG的空间性位置对应。

接着，参照CU设定部1481以参照区域refREG为基准，设定参照CU。

在图28所示的例中，在参照层上的编码树块refCTB1中包括参照区域refREG。此外，在编码树块refCTB1中，包括作为层次深度1的CU的refCU0、refCU1、refCU2以及refCU3。此外，在refCU0中，包括作为层次深度2的分割CU的refCU00、refCU01、refCU02以及refCU03。

这里，参照区域refREG存在与参照层上的多个CU具有重复部分的可能性。即，参照区域refREG存在与参照层上的多个CU重合的可能性。

在图28所示的例中，参照区域refREG与refCU00、refCU01、refCU02以及refCU03、refCU1、refCU2以及refCU3具有重复部分。

以下，主要说明参照CU设定部1481将包括与对象CU的左上像素tgtCUPX对应的像素refCUPX的参照层上的CU设定为参照CU的例。即，在图28所示的例中，refCU00成为参照CU。

使用图29，更具体地说明如上述的参照CU的设定。如图29所示，将对象层上的对象帧tgtFR1的高度以及宽度分别设为hPic以及wPic。此外，将对象CUtgtCU的高度以及宽度分别设为hCu以及wCu，将左上像素的位置的对象帧tgtFR1中的座标表现设为(xCu，yCu)。此外，将参照层上的参照帧refFR1的高度以及宽度分别设为hRefPic以及wRefPic。

在设定与左上像素对应的参照CU的情况下，参照CU设定部1481如下设定参照CU。首先，参照CU设定部1481通过以下的计算，导出参照区域refREG的座标(xRefReg,yRefReg)。另外，以下的scaleX或scaleY是对象帧的宽度或高度相对于参照帧的宽度或高度之比。

scaleX＝wPic/wRefPic

scaleY＝hPic/hRefPic

xRefReg＝xCu/scaleX

yRefReg＝yCu/scaleY

接着，参照CU设定部1481将包括如以上那样获得的参照区域refREG的座标(xRefReg,yRefReg)的CU，设定为参照CU。

另外，并不限定于上述，参照CU设定部1481也可以如以下设定与中心像素对应的参照CU。首先，参照CU设定部1481通过以下的计算，导出参照区域refREG的宽度以及高度(wRefReg,hRefReg)。另外，关于以下所示的scaleX、scaleY、xRefReg以及yRefReg的导出方法，如已说明那样。

wRefReg＝wCu/scaleX

hRefReg＝hCu/scaleY

此时，参照区域的中心像素的座标(xRefC,yRefC)通过如下而获得。

xRefC＝xRefReg+(hRefReg>>1)

yRefC＝yRefReg+(wRefReg>>1)

接着，参照CU设定部1481将包括如以上那样获得的参照区域的中心像素的座标(xRefC,yRefC)的CU，设定为参照CU。

在上述的例中，scaleX以及scaleY的值是假设参照层上的参照帧整体和对象层上的对象帧整体在空间上对应而计算出的，但并不限定于此。例如，也考虑对象层上的部分区域与参照层上的参照帧整体在空间上对应的情况。此时，scaleX或scaleY的值基于对象层上的部分区域的位置(离对象帧左上的偏移量)或该部分区域的尺寸而计算。

(关于PU分割估计部的动作)

接着，使用图30～图40说明PU分割估计部1482估计对象CUtgtCU的PU分割类型的例。

[在使用单一的参照CU(包括参照区域的左上像素的CU)的情况下]

首先，说明右下像素位置判定部1482A判定参照CUrefCU的右下像素refCUPX的位置在参照区域refREG中的位置，并基于该判定结果，分割类型决定部1482C决定对象CU中的PU分割类型的例。另外，如上所述，参照区域refREG的左上像素包含在参照CUrefCU中。

[A]右下像素为参照区域的上半部

如图30(a)所示，在判定为参照CUrefCU的右下像素refCUPX的位置位于参照区域refREG内的上半部的位置(比直线M1位于上方的区域)的情况下，分割类型决定部1482C将对象CUtgtCU中的PU分割类型估计为2N×N(参照图30(b))。

在参照CU的右下像素位于参照区域的上半部的位置的情况下，在参照区域的上半部至少存在水平方向的CU边界。一般，在存在CU边界的情况下，与不存在CU边界的情况相比，夹着边界的2个区域具有不同的运动信息的可能性更高。因此，在参照区域的上半部中，存在物体的边界的可能性高。因此，通过将存在物体的边界的可能性高的上半部的区域和不清楚有无物体的边界的下半部的区域分割为不同的PU，能够提高设定不存在物体的边界的PU的可能性。

[B]右下像素为参照区域的左下

如图31(a)所示，在判定为参照CUrefCU的右下像素refCUPX的位置位于参照区域refREG内的左下的位置(比直线M1位于下方且比直线M2位于左方的区域)的情况下，分割类型决定部1482C将对象CUtgtCU中的PU分割类型估计为N×2N(参照图31(b))。

在参照CU的右下像素位于参照区域的左下的位置的情况下，在参照区域的左半部至少存在垂直方向的CU边界。因此，通过使用分割参照区域的左半部和右半部的PU分割类型，能够与[A]的情况相同地，提高设定不存在物体的边界的PU的可能性。

[C]右下像素为参照区域的右下

如图32(a)所示，在判定为参照CUrefCU的右下像素refCUPX的位置位于参照区域refREG内的右下的位置(比直线M1位于下方且比直线M2位于右方的区域)的情况下，分割类型决定部1482C将对象CUtgtCU中的PU分割类型估计为2N×2N(参照图32(b))。

在参照CU的右下像素位于参照区域的右下的位置的情况下，参照区域和参照CU的重复区域的面积大。因此，参照区域的大部分包含在单一的CU(参照CU)中的可能性高，具有一样的运动信息的可能性高。因此，在参照区域内具有一样的运动的情况下，通过使用作为最合适的PU分割的2N×2N，能够提高编码效率。

[D]参照CU包括参照区域

如图33(a)所示，在判定为参照CUrefCU的右下像素refCUPX的位置位于参照区域refREG的外侧右下的位置的情况下，即参照CUrefCU包括参照区域refREG的情况下，分割类型决定部1482C将对象CUtgtCU中的PU分割类型估计为2N×2N(参照图32(b))。

在参照CU包括参照区域的情况下，在参照区域内具有一样的运动信息的可能性高。因此，在参照区域内具有一样的运动的情况下，通过使用作为最合适的PU分割的2N×2N，能够提高编码效率。

如以上所述，能够通过右下像素的位置判定处理而导出PU分割类型，而不严格地导出参照区域内的CU边界的位置。由此，能够通过比较少的处理量来导出PU分割类型。

使用图34以及图35，更具体地说明右下像素位置判定部1482A判定右下像素refCUPX的位置的方法。

如图34所示，将参照区域refREG的左上像素的位置设为(xRefReg，yRefReg)，将参照区域refREG的尺寸设为wRefReg×hRefReg。此外，将参照CUrefCU的右下像素refCUPX的位置设为(xRefCUBR，yRefCUBR)。

若说明上述判定条件[A]～[D]的各个，则如下所述。

[A]右下像素位于参照区域的上半部

图35是表示参照CUrefCU的右下像素refCUPX的位置和判定结果的关系的图。

首先，右下像素位置判定部1482A判定式(A1)的真假。

yRefCuBR<yRefReg+(hRefReg>>1)···(A1)

在式(A1)中，判定参照CUrefCU的右下像素refCUPX的位置是否位于参照区域refREG的上半部。即，在式(A1)为真的情况下，参照CUrefCU的右下像素refCUPX的位置存在于图35所示的区域A。另外，对图35所示的各区域赋予的标签A～D对应于判定条件[A]～[D]。例如，满足判定条件“[A]右下像素位于参照区域的上半部”的位置对应于区域A。

[B]右下像素位于参照区域的左下

在式(A1)为假的情况下，右下像素位置判定部1482A进一步判定式(A2)的真假。

xRefCuBR<xRefReg+(wRefReg>>1)···(A2)

在式(A2)中，判定参照CUrefCU的右下像素refCUPX的位置是否位于参照区域refREG的左下。即，在式(A2)为真的情况下，参照CUrefCU的右下像素refCUPX的位置存在于图35所示的区域B。

[C]右下像素位于参照区域的右下

在式(A2)为假的情况下，右下像素位置判定部1482A进一步判定式(A3)的真假。

xRefCuBR<xRefReg+wRefReg||

xRefCuBR<yRefReg+hRefReg···(A3)

在式(A3)中，判定参照CUrefCU的右下像素refCUPX的位置是否位于参照区域refREG的右下。即，在式(A3)为真的情况下，参照CUrefCU的右下像素refCUPX的位置存在于图35所示的区域C。

[D]参照CU包括参照区域

在式(A3)为假的情况下，右下像素位置判定部1482A进一步判定式(A4)的真假。

(xRefCuBR>＝xRefReg+wRefReg&&

yRefCuBR>＝yRefReg+hRefReg)···(A4)

在式(A4)中，判定参照CUrefCU是否包括参照区域refREG。即，在式(A4)为真的情况下，参照CUrefCU的右下像素refCUPX的位置存在于图35所示的区域D。

[参照CU和参照区域重复的区域(重复区域)的重复的程度的判定]

接着，说明重复区域判定部1482B判定参照CUrefCU和参照区域refREG的重复区域的重复的程度，并基于该判定结果，分割类型决定部1482C决定对象CU中的PU分割类型的例。

另外，在图36中，也与图34相同地，将参照区域refREG的左上像素的位置设为(xRefReg，yRefReg)。此外，将参照CUrefCU的右下像素refCUPX的位置设为(xRefCUBR，yRefCUBR)。此外，将参照区域refREG的右下像素的位置设为(xRefRegBR，yRefRegBR)，将参照CUrefCU的左上像素的位置设为(xRefCU，yRefCU)。

[A′]在参照CUrefCU包括参照区域refREG的情况下

如图36(a)所示，在判定为参照CUrefCU包括参照区域refREG的情况下(参照区域refREG与重复区域一致的情况下)，分割类型决定部1482C将对象CUtgtCU中的PU分割类型估计为2N×2N(参照图36(b))。另外，例如能够通过比较参照CUrefCU的左上像素的位置和参照区域refREG的左上像素的位置，进一步比较参照CUrefCU的宽度以及高度和参照区域refREG的宽度以及高度，从而进行上述判定。

此外，也可以计算重复区域的宽度(wOver)、重复区域的宽度(hOver)，并基于这些值而进行判定。wOver、hOver分别通过以下式计算。

wOver＝Min(xRefRegBR,xRefCuBR)-Max(xRefReg,xRefCu)

hOver＝Min(yRefRegBR,yRefCuBR)-Max(yRefReg,yRefCu)

这里，在参照CUrefCU包括参照区域refREG的情况下，重复区域和参照区域refREG一致，以下的关系式成立。

wOver＝＝wRefReg&&hOver＝＝hRefReg

另外，在参照CUrefCU对参照区域refREG的位置关系有特定的制约的情况下，能够通过更简化的计算而计算wOver、hOver的值。例如，在参照CUrefCU包括参照区域refREG的左上像素的情况下，参照CUrefCU的左上像素比参照区域refREG的左上像素始终位于左上方。因此，在这样的情况下，wOver、hOver的值能够分别通过以下的式计算。

wOver＝Min(xRefRegBR,xRefCuBR)–xRefReg

hOver＝Min(yRefRegBR,yRefCuBR)–yRefReg

[B′]在重复区域的宽度为其高度以上的情况下

在不是[A′]的情况下，且如图37(a)或者(b)所示，判定为参照CUrefCU和参照区域refREG的重复区域的宽度为该重复区域的高度以上的情况下，分割类型决定部1482C将对象CUtgtCU中的PU分割类型估计为2N×N(参照图37(c))。另外，在图37(a)以及(b)中，将wOver简单记载为“w”，将hOver简单记载为“h”。

具体而言，重复区域判定部1482B判定式(B1)的真假。

wOver>＝hOver···(B1)

若式(B1)为真，则判定为重复区域的宽度为其高度以上。

[C′]在重复区域的宽度小于其高度的情况下，

在除此以外的情况下(既不是[A′]，也不是[B′]的情况下)，且如图38(a)或者(b)所示，判定为参照CUrefCU和参照区域refREG的重复区域的宽度小于该重复区域的高度的情况下，分割类型决定部1482C将对象CUtgtCU中的PU分割类型估计为N×2N(参照图38(c))。

重复区域判定部1482B也可以在上述式(B1)为假的情况下，判定为重复区域的宽度小于其高度。

另外，在以上的说明中，将参照区域refREG的左上像素的位置(xRefReg，yRefReg)和参照CUrefCU的右下像素refCUPX的位置(xRefCUBR，yRefCUBR)设为判定中的比较的对象。但是，并不限定于此，以上的判定也能够应用于使用与参照区域refREG的左上像素以外的像素位置对应的参照CU的情况。

(作用/效果)

如以上所示，层次活动图像解码装置1是如下的层次活动图像解码装置1：对与按每个层不同的质量的图像有关的图像信息层次性地编码的层次编码数据进行解码，复原成为解码的对象的对象层中的图像，所述层次活动图像解码装置1包括：参照CU设定部1481，关于上述对象层中的对象CU，基于与参照层中的参照区域具有重复部分的CU，设定应判断与上述参照区域的重复的程度的参照CU，该参照区域与上述对象CU对应；以及PU分割估计部1482，根据上述参照区域和上述参照CU的重复的程度，对上述对象CU决定PU分割类型。

因此，起到能够降低导出PU分割类型的处理的处理量的效果。

(PU分割类型导出部的变形例)

以下，说明PU分割类型导出部148的优选的变形例。

(利用了参照CU的PU分割类型的判定)

也可以是根据右下像素位置判定部1482A的判定，分割类型决定部1482C进行利用了参照CU的PU分割类型的判定的结构。

[在省略严密的计算的情况下]

具体而言，在判定为符合上述“在使用单一的参照CU的情况下”中说明的[A]～[C]的情况下，如前所述。即，在判定为参照CUrefCU的右下像素refCUPX包含在参照区域refREG内的情况下，分割类型决定部1482C不使用参照CU的PU分割类型而决定对象CU的PU分割类型。

另一方面，在判定为符合上述[D]的情况下，分割类型决定部1482C利用参照CU的PU分割类型，如下决定对象CU的PU分割类型。即，

[D1]在参照CU的PU分割类型为2N×2N的情况下：

分割类型决定部1482C将对象CU的PU分割类型决定为2N×2N。

[D2]在参照CU的PU分割类型为2N×N或2N×nU或2N×nD的情况下：

分割类型决定部1482C将对象CU的PU分割类型决定为2N×N。

[D3]在参照CU的PU分割类型为N×2N或nL×2N或nR×2N的情况下：

分割类型决定部1482C将对象CU的PU分割类型决定为N×2N。

根据以上的结构，在参照CU内没有划分边界(PU边界)的情况下，将没有划分边界的PU分割类型即2N×2N决定为对象CU中的PU分割类型(在[D1]的情况下)。

此外，当有在参照CU中存在PU边界的可能性的情况下(在[D2]或者[D3]的情况下)，省略参照CU中的PU边界的位置的严密的计算，只判定是否在垂直或者水平的任一个中有边界，决定对象CU中的PU分割类型。

另外，在“参照CU和参照区域重复的区域重复的程度的判定”的情况下，也可以在上述[A′]的情况下，进行上述[D1]～[D3]的判定。

[在执行严密的计算的情况下]

在省略严密的计算的情况下的结构如以上所说明，但分割类型决定部1482C也可以是严密地计算参照CU中的PU边界的位置，决定对象CU中的PU分割类型的结构。以下，表示这样的分割类型决定部1482C的结构例。

在判定为符合在上述“在使用单一的参照CU的情况下”中说明的[A]～[C]的情况下，如前所述。

[D1]在参照CU的PU分割类型为2N×2N的情况下：

分割类型决定部1482C将对象CU的PU分割类型决定为2N×2N。

[D2]在参照CU的PU分割类型为2N×N或2N×nU或2N×nD的情况下：

如图39(a)、(b)以及(c)所示，在参照CU的PU分割类型为2N×N或2N×nU或2N×nD的情况下，分割类型决定部1482C通过以下的计算，严密地计算参照CU中的PU边界的位置(即，横PU边界的位置)。

这里，如图40所示，将参照CUrefCU的左上像素的位置设为(xRefCu,yRefCu)，将参照CUrefCU的高度以及宽度分别设为hRefCu、wRefCu。此外，将成为参照CUrefCu中的PU边界的基准的位置设为参照CU的左边和PU边界交叉的位置(xRefCu，yPub)(yPub是纵PU边界的位置)。此外，将参照区域refREG的左上像素的位置设为(xRefReg,yRefReg)，将参照区域的高度以及宽度分别设为hRefReg、wRefReg。

[1]分割类型决定部1482C如下导出横PU边界的y方向的位置yPub。

yPub＝yRefCu+(hRefCu*bPos)

bPos＝0.25(在2NxnU的情况下)

0.5(在2NxN的情况下)

0.75(在2NxnD的情况下)

[2]分割类型决定部1482C根据yPub在参照区域refREG内的位置，如下决定PU分割类型。以下，设为d＝yPub-yRefReg。即，这里，分割类型决定部1482C根据参照CUrefCU的横PU边界在参照区域refREG中的位置，决定PU分割类型。

[2-1]在d≤0或者d≥hRefReg的情况下

这是参照区域refREG包含在参照CUrefCU中的任一个划分中的情况。分割类型决定部1482C将PU分割类型决定为2N×2N。

[2-2]在0＜d＜0.25*hRefReg的情况下

这是参照CUrefCU的PU边界横切参照区域refREG的上1/4以上的位置的情况。分割类型决定部1482C将PU分割类型决定为2N×nU。

[2-3]在0.25*hRefReg≤d＜0.75*hRefReg的情况下

这是参照CUrefCU的PU边界横切参照区域refREG的中央附近(上1/4～下1/4的位置)的情况。分割类型决定部1482C将PU分割类型决定为2N×N。

[2-4]在0.75*hRefReg≤d＜hRefReg的情况下

这是参照CUrefCU的PU边界横切参照区域refREG的下1/4以上的位置的情况。分割类型决定部1482C将PU分割类型决定为2N×nD。

[D3]在参照CU的PU分割类型为N×2N或nL×2N或nR×2N的情况下：

分割类型决定部1482C严密地计算参照CU中的PU边界的位置(即，纵PU边界的位置)。由于该计算方法能够使用对纵PU边界应用了使用图40表示的计算方法的方法，所以省略其详细的说明。

(在分辨率比小的情况下的判定)

在对象层的分辨率相对于参照层的分辨率之比为预定值以下的情况下(例如，1.5以下的情况下)，分割类型决定部1482C也可以根据参照CU的尺寸和对象CU的尺寸的大小，决定PU分割类型。

例如，在参照CU的尺寸大于对象CU的尺寸的情况下，分割类型决定部1482C也可以将PU分割类型决定为2N×2N。

此外，例如，在参照CU的尺寸为对象CU的尺寸以下的情况下，分割类型决定部1482C也可以将参照CU的PU分割类型设为PU分割类型。

根据以上的结构，能够简化判定处理。

(块尺寸的限制)

优选抑制通过PU分割而产生小的尺寸的PU。因此，分割类型决定部1482C也可以是在预定的尺寸的CU(例如，8×8CU)中，始终将2N×2N设为PU分割类型的结构。即，分割类型决定部1482C也可以在预定的尺寸的CU中，禁止分割。

根据上述结构，能够减少成为处理的瓶颈的小尺寸PU的外部CU的比例，由此，能够降低平均的处理量。

另外，分割类型决定部1482C也可以在预定的尺寸的CU中，只导出对称的划分作为PU分割类型。此外，分割类型决定部1482C也可以限制导出N×N作为PU分割模型。

(不对称划分的限制)

在从参照层决定PU分割类型的情况下，分割类型决定部1482C也可以是不作为PU分割类型而导出不对称划分的结构。例如，在从参照CU的PU分割类型估计对象CU的PU分割类型的情况下，分割类型决定部1482C也可以是导出与边界的方向性对应的对称划分作为PU分割类型的结构。

换言之，利用了上述的参照CU的PU分割类型的判定并不限定于[D]的情况，还能够应用于[A]～[C]。此外，在将利用了上述的参照CU的PU分割类型的判定应用于[A]～[C]的情况下，分割类型决定部1482C也可以导出对称划分作为PU分割类型。

根据上述结构，由于也可以不判定垂直或者水平边界的严密的位置，所以能够简化处理。

(参照CU的选择/设定)

在以上的说明中，说明了参照CU设定部1481将在与参照区域refREG具有重复部分的多个CU中、包括对象CU的左上像素的CU，设定为参照CU的结构。

但是，本发明并不限定于上述的结构。更一般而言，参照CU设定部1481也可以是从与参照区域refREG具有重复部分的多个CU中按照预定的基准而设定单一的参照CU的结构。

例如，参照CU设定部1481也可以将在上述多个CU中、包括与在对象CU中包含的位于预定的位置的像素对应的像素的参照层上的CU，设定为参照CU。若举具体例，则参照CU设定部1481也可以将包括与在对象CU中包含的中央像素对应的像素的参照层上的CU，设定为参照CU。

此外，在其他的具体例中，参照CU设定部1481也可以从与参照区域refREG具有重复部分的多个CU中，将具有最大的面积的CU用作参照CU。

根据上述结构，由于包括与在对象CU中包含的中央像素对应的像素的参照层上的CU、或在上述多个CU中具有最大的面积的CU，与对象CU为相同的PU分割类型的可能性高，所以能够提高估计精度。

此外，参照CU设定部1481也可以从与参照区域refREG具有重复部分的多个CU中生成虚拟的单一的CU。具体而言，参照CU设定部1481也可以从参照区域周边的CU提取多个CU中的代表性的性质，基于所提取的性质而生成虚拟的单一的CU，并设为参照编码单位。例如，参照CU设定部1481能够基于多个CU的尺寸以及形状或者将这些信息进行组合，生成该虚拟的单一的CU。另外，上述虚拟的单一的编码单位以成为与上述参照区域重复的区域的方式生成。

此外，参照CU设定部1481也可以将与参照区域refREG具有重复部分的多个CU利用作为参照CU列表。

(PU分割估计部的补充)

在上述图27的PU分割估计部1482的说明中，说明了PU分割估计部1482是具备右下像素位置判定部1482A和重复区域判定部1482B的双方的结构，但也可以是构成为始终使用其中一方的判定部的基础上，将PU分割估计部1482包括右下像素位置判定部1482A和重复区域判定部1482B中的其中一个的结构。

(其他的变形例)

以下，说明其他的变形例。

(语法表格的结构例)

以下，说明用于对基本跳过CU进行编码的语法的结构例。其结构的概要如下所述。首先，对是否使用参照层的信息的基本模式标记(base_mode_flag)进行编码。此外，在基本模式标记为“真”的情况下，在PartMode的导出中使用上述的PU分割类型导出部148的PU分割类型的估计。

另外，根据语法结构的方法，也存在执行PU分割类型以外的估计(例如，pred_mode)的情况。

[通过coding_unit对base_mode_flag进行编码的结构]

使用图41以及图42，说明通过coding_unit对base_mode_flag进行编码的结构例。

图42表示在通过coding_unit对base_mode_flag进行编码的情况下的语法的结构例。

如图42所示，在coding_unit中，也可以紧接着skip_flag对base_mode_flag进行编码(SYN11)。另外，以下，作为与base_mode_flag的编码有关的技术的事项，合起来探讨预测模式pred_mode以及PU分割类型part_mode的省略以及导出。

参照图42，若进一步具体说明，则在编码数据的结构中，基本模式标记(base_mode_flag)配置在跳过标记(skip_flag)的后方且预测模式标记(pred_mode_flag)的前方。

此外，在基本模式标记(base_mode_flag)为“真”的情况下，不配置预测模式标记(pred_mode_flag)以及分割类型(part_mode)(分别对应于SYN12以及SYN13)。

根据图42所示的语法的结构例，如下进行基本跳过CU中的解码(与base_mode_flag有关的解码)。

(1)层次活动图像解码装置1对base_mode_flag进行解码。

(2)在base_mode_flag为“真”的情况下，层次活动图像解码装置1通过估计(infer)而导出PredMode和PartMode。

(3)相对于此，在base_mode_flag为“假”的情况下，层次活动图像解码装置1通过编码数据对pred_mode_flag和part_mode的语法元素值进行解码，并基于解码出的语法值而导出PredMode和PartMode。

若将以上的解码处理表示为表形式，则如图41所示。图41是表示语法元素值和CU类型的关系的表格。在同图中，“-”表示是在该CU类型中也可以不解码的语法元素。

根据以上的语法结构，如图41所示，在基本跳过CU的情况下，由于不对pred_mode_flag和part_mode进行解码，所以编码效率提高。

(预测模式(PredMode)的导出)

以下，说明预测模式(PredMode)的导出方法。

[导出方法1]

在基本层为I片段的情况下，层次活动图像解码装置1也可以在对象CU中始终使用内部预测(MODE＿INTRA)。

另一方面，在基本层不是I片段的情况下，层次活动图像解码装置1也可以使用参照CU的PredMode。另外，在上述的参照CU中，例如能够使用包括对象CU的左上像素的参照层上的CU。

[导出方法2]

另一方面，在基本层不是I片段的情况下，层次活动图像解码装置1使用外部预测(MODE＿INTER)。

另外，在上述导出方法1以及2中，“在基本层不是I片段的情况下”的条件也可以是“在基本层为IDR(Instantaneous Decoding Refresh，即时解码刷新)的情况下”的条件。IDR是参照图片的初始化，IDR图片是参照被复位的图片。即，在IDR图片中，不参照该图片的前方(片段)的信息，就能够准确地对该图片以后的图片进行解码。

(merge_flag的导出)

使用图43，说明根据base_mode_flag的判定，通过prediction_unit对merge_flag进行编码的结构例。

图43表示在通过prediction_unit进行了base_mode_flag的判定之后对merge_flag进行编码的情况下的语法的结构例。

如图43所示，在prediction_unit中，也可以在mereg_flag的紧之前判定base_mode_flag(SYN21)。此外，在base_mode_flag为“真”的情况下，也可以不配置merge_flag。

即，也可以是在base_mode_flag成为“真”的基本跳过CU中包含的各PU中，始终使用合并模式的结构(merge_flag＝true)。

根据上述结构，能够省略3个标记pred_mode、part_mode、merge_flag。由此，能够削减这些3个标记的码量，编码效率提高。

(层次活动图像解码装置中的CU解码处理的流程)

使用图44、图45以及图46，说明层次活动图像解码装置1中的与预测参数有关的CU解码处理的流程的一例。图44、图45以及图46是分别表示与基本跳过CU、跳过CU以及外部CU的预测参数有关的解码处理的流程的一例的流程图。

首先，使用图44，说明层次活动图像解码装置1中的基本跳过CU解码处理的流程的一例。

在对象CU为基本跳过CU的情况下，参照CU设定部1481设定与对象CU对应的参照CU(S301)。

接着，PU分割估计部1482通过层间预测而估计对象CU中的PU分割类型(S302)。具体而言，PU分割类型的估计是基于右下像素位置判定部1482A中的判定结果或者重复区域判定部1482B中的判定结果而由分割类型决定部1482C执行。

接着，若根据估计出的PU分割类型，PU被分割且设定对象PU(S303)，则合并候选导出部146关于对象PU，导出合并候选列表(S304)。另外，例示性地，合并候选导出部146在合并候选列表的导出中，导出层间合并候选。但是，能够任意设定将层间预测进行什么程度。例如，在基本跳过CU中，也可以只将PU分割类型设为层间预测的对象。即，在S304中，也能够采用只导出层内合并候选的结构。此外，在基本跳过CU中，也可以代替S301“参照CU的设定”/S302“PU分割的估计”处理，执行后述的S401“将PU分割设定为2N×2N”处理。此外，也可以在基本跳过CU以外的CU中，进行PU分割的估计。

接着，合并信息复原部147从导出的合并候选列表中选择合并候选(S305)。

这里，若对象PU不是对象CU中的处理顺序上的最终PU(S306中“否”)，则重复执行S303～S305的处理。

之后，若直到对象CU中的处理顺序上的最终PU为止处理完成(S306中“是”)，则基本跳过CU解码处理结束。

接着，使用图45，说明层次活动图像解码装置1中的跳过CU解码处理的流程的一例。

在对象CU为跳过CU的情况下，在预测参数复原部14中，PU分割类型设定为2N×2N(即，无PU分割)(S401)，且设定对象PU(S402)。

接着，合并候选列表导出部146关于对象PU，导出合并候选列表(S403)。进一步，合并信息复原部147从导出的合并候选列表中选择合并候选(S404)，之后，跳过CU解码处理结束。

接着，使用图46说明层次活动图像解码装置1中的外部CU解码处理的流程的一例。

在对象CU为外部CU的情况下，PU分割类型从编码数据被解码(S501)。此外，根据被解码的PU分割类型，设定对象CU中的至PU的划分，设定对象PU(S502)。

接着，判定对象PU是否为合并PU(S503)。在对象PU为合并PU的情况下(S503中“是”)，合并候选导出部146导出合并候选列表(S504)，合并信息复原部147从合并候选列表中选择合并候选(S505)。

另一方面，在对象PU不是合并PU的情况下(S503中“否”)，PU信息从编码参数被解码(S507)。

若在S505或者S507的处理之后，对象PU不是对象CU中的处理顺序上的最终PU(S506中“否”)，则重复执行S502～S507的处理。

之后，若直到对象CU中的处理顺序上的最终PU为止处理完成(S506中“是”)，则外部CU解码处理结束。

〔层次活动图像编码装置〕

以下，参照图22～图24说明本实施方式的层次活动图像编码装置2的结构。

(层次活动图像编码装置的结构)

若使用图22说明层次活动图像编码装置2的概略性结构，则如下所述。图22是表示了层次活动图像编码装置2的概略性结构的功能框图。层次活动图像编码装置2一边参照参照层编码数据DATA#R，一边对对象层的输入图像PIN#T进行编码，生成对象层的层次编码数据DATA。另外，设为参照层编码数据DATA#R在与参照层对应的层次活动图像编码装置中编码完毕。

如图22所示，层次活动图像编码装置2包括预测参数决定部21、预测信息生成部22、基本解码部23、纹理信息生成部24、可变长编码部25以及NAL复用部26。

预测参数决定部21基于输入图像PIN#T，决定在预测图像的预测中使用的预测参数以及其他的编码的设定。

预测参数决定部21如下进行以预测参数为首的编码的设定。

首先，预测参数决定部21通过将输入图像PIN#T以片段单位、树块单位、CU单位依次分割，从而生成关于对象CU的CU图像。

此外，预测参数决定部21基于分割处理的结果，生成编码信息(有时也称为头信息)。编码信息包括(1)关于属于对象片段的树块的尺寸、形状以及对象片段内的位置的信息即树块信息、以及(2)关于属于各树块的CU的尺寸、形状以及对象树块内的位置的信息即CU信息。

进一步，预测参数决定部21参照CU图像、树块信息以及CU信息，导出对象CU的预测类型、对象CU至PU的分割信息以及预测参数(若对象CU为内部CU则内部预测模式，在外部CU时各PU中的运动补偿参数)。

预测参数决定部21关于(1)对象CU的预测类型、(2)对象CU至各PU的可能的分割模型、(3)能够对各PU分配的预测模式(若内部CU则内部预测模式，若外部CU则运动补偿参数)、的全部的组合，计算成本，决定最低成本的预测类型、分割模型以及预测模式。

预测参数决定部21将编码信息以及预测参数供应给预测信息生成部22以及纹理信息生成部24。另外，虽然为了简化说明而未图示，但设为在预测参数决定部21中决定的上述的编码的设定在层次活动图像编码装置2的各部分中能够参照。

预测信息生成部22基于从预测参数决定部21供应的预测参数和参照层编码数据DATA#R，生成包括与预测参数有关的语法值的预测信息。预测信息生成部22将生成的预测信息供应给可变长编码部25。另外，预测信息生成部22在复原预测参数时，能够参照在纹理信息生成24具备的帧存储器244(后述)中存储的运动信息。

由于基本解码部23与层次活动图像解码装置1的基本解码部16相同，所以这里省略其说明。

纹理信息生成部24生成包括对从输入图像PIN#T减去预测图像而获得的预测残差进行了正交变换/量化的变换系数的变换系数信息。纹理信息生成部24将生成的变换系数信息供应给可变长编码部25。另外，在纹理信息生成24中，与复原的解码图像有关的信息存储在内部具有的帧存储器244(后述)中。

可变长编码部25对从预测信息生成部22供应的预测信息以及从纹理信息生成部24供应的变换系数信息进行可变长编码而生成对象层编码数据DATA#T。可变长编码部25将生成的对象层编码数据DATA#T供应给NAL复用部26。

NAL复用部26通过将从可变长编码部25供应的对象层编码数据DATA#T和参照层编码数据DATA#R存储在NAL单元中，生成进行了NAL复用的层次活动图像编码数据DATA，并输出到外部。

以下，说明预测信息生成部22以及纹理信息生成部24的各自的细节。

(预测信息生成部)

使用图23，说明预测信息生成部22的详细结构。图23是例示了预测信息生成部22的结构的功能框图。

如图23所示，预测信息生成部22包括预测类型选择部221、开关222、内部预测模式导出部223、运动矢量候选导出部224、运动信息生成部225、合并候选导出部(层间候选导出单元)226、合并信息生成部227以及PU分割类型导出部228。

预测类型选择部221根据CU类型或者PU类型，对开关222传送切换指示，控制预测参数的导出处理。具体而言，如下所述。

在指定了内部CU或者内部PU的情况下，预测类型选择部221控制开关222，使得能够使用内部预测模式导出部223而导出预测信息。

在指定了外部CU(无合并)以及外部PU(无合并)中的任一个的情况下，预测类型选择部221控制开关222，使得能够使用运动信息生成部225而导出预测参数。

在指定了基本跳过CU、基本合并PU、跳过CU以及合并PU中的任一个的情况下，预测类型选择部221控制开关222，使得能够使用合并信息生成部227而导出预测参数。

开关222根据预测类型选择部221的指示，将预测参数供应给内部预测模式导出部223、运动信息生成部225以及合并信息生成部227中的任一个。在预测信息的供应目的地中导出预测参数。

内部预测模式导出部223导出与内部预测模式有关的语法值。即，内部预测模式复原部143作为预测信息而生成的是与预测模式有关的语法值。

运动矢量候选导出部224使用基本解码信息，通过层内运动估计处理或者层间运动估计处理而导出估计运动矢量的候选。运动矢量候选导出部224将导出的运动矢量的候选供应给运动信息生成部225。

运动信息生成部225生成与不进行合并的各外部预测划分中的运动信息有关的语法值。即，运动信息复原部145作为预测信息而生成的是与运动信息有关的语法值。具体而言，运动信息生成部225从各PU中的运动补偿参数导出作为对应的语法元素值的inter_pred_flag、mvd、mvp_idx以及refIdx。

具体而言，运动信息生成部225在对象PU为基本合并PU的情况下，基于从运动矢量候选导出部224供应的运动矢量的候选，导出上述语法值。

另一方面，运动信息复原部145在对象CU(PU)为不进行合并的外部CU(外部PU)的情况下，基于在预测参数中包含的运动信息，导出上述语法值。

合并候选导出部226使用从后述的帧存储器155供应的解码完毕的运动信息和/或从基本解码部23供应的基本解码信息等，导出具有与各PU中的运动补偿参数类似的运动补偿参数的合并候选。合并候选导出部226将导出的合并候选供应给合并信息生成部227。由于合并候选导出部226的结构与在层次活动图像解码装置1中包含的合并候选导出部146的结构相同，所以省略其说明。

合并信息生成部227生成与有关进行合并的各外部预测划分的运动信息有关的语法值。即，合并信息生成部227作为预测信息而生成的是与运动信息有关的语法值。具体而言，合并信息生成部227输出指定合并候选的语法元素值merge_idx，该合并候选具有与各PU中的运动补偿参数类似的运动补偿参数。

PU分割类型导出部228使用编码信息以及基本解码信息，估计对象层中的对象CU至PU的PU分割类型。由于PU分割类型导出部228的结构与在层次图像解码装置1中包含的PU分割类型导出部148的结构相同，所以省略其说明。

(纹理信息生成部)

使用图24说明纹理信息生成部24的详细结构。图24是例示了纹理信息生成部24的结构的功能框图。

如图24所示，纹理信息生成部24包括纹理预测部241、减法部242、正交变换/量化部243、逆正交变换/逆量化部244、加法器245、环路滤波器部246以及帧存储器247。

减法部242通过从输入图像PIN#T减去从纹理预测部241供应的预测图像，生成预测残差D。减法部242将生成的预测残差D供应给变换/量化部243。

正交变换/量化部243通过对预测残差D进行正交变换以及量化，生成量化预测残差。另外，这里，正交变换是指从像素区域到频率区域的正交变换。此外，作为正交变换的例，举出DCT变换(DiscreteCosine Transform，离散余弦变换)以及DST变换(Discrete SineTransform，离散正弦变换)等。此外，关于具体的量化过程，由于如已经说明那样，所以这里省略其说明。正交变换/量化部243将包括生成的量化预测残差的变换系数信息供应给逆变换/逆量化部244以及可变长编码部25。

由于纹理预测部241、逆正交变换/逆量化部244、加法器245、环路滤波器部246以及帧存储器247分别与在层次活动图像解码装置1中包含的纹理预测部152、逆正交变换/逆量化部151、加法器153、环路滤波器部154以及帧存储器155相同，所以这里省略其说明。但是，纹理预测部241除了加法器245之外，还对减法部242供应预测图像。

(对于其他的层次活动图像编码/解码***的应用例)

上述的层次活动图像编码装置2以及层次活动图像解码装置1能够搭载在进行活动图像的发送、接收、记录、再现的各种装置中利用。另外，活动图像既可以是通过相机等而拍摄的自然活动图像，也可以是通过计算机等而生成的人工活动图像(包括CG以及GUI)。

首先，参照图25说明将上述的层次活动图像编码装置2以及层次活动图像解码装置1能够利用于活动图像的发送以及接收的情况。

图25的(a)是表示搭载了层次活动图像编码装置2的发送装置PROD＿A的结构的框图。如图25的(a)所示，发送装置PROD＿A包括通过对活动图像进行编码而获得编码数据的编码部PROD＿A1、通过使用编码部PROD＿A1获得的编码数据对载波进行调制而获得调制信号的调制部PROD＿A2、发送调制部PROD＿A2获得的调制信号的发送部PROD＿A3。上述的层次活动图像编码装置2作为该编码部PROD＿A1而被利用。

发送装置PROD＿A也可以作为输入到编码部PROD＿A1的活动图像的供应源，进一步包括拍摄活动图像的相机PROD＿A4、记录了活动图像的记录介质PROD＿A5、用于从外部输入活动图像的输入端子PROD＿A6、以及生成或者加工图像的图像处理部A7。在图25的(a)中，虽然例示了发送装置PROD＿A包括这些全部的结构，但也可以省略一部分。

另外，记录介质PROD＿A5既可以是记录了未进行编码的活动图像的介质，也可以是记录了以与传输用的编码方式不同的记录用的编码方式进行了编码的活动图像的介质。在后者的情况下，只要在记录介质PROD＿A5和编码部PROD＿A1之间，介入将从记录介质PROD＿A5读出的编码数据根据记录用的编码方式进行解码的解码部(未图示)即可。

图25的(b)是表示搭载了层次活动图像解码装置1的接收装置PROD＿B的结构的框图。如图25的(b)所示，接收装置PROD＿B包括接收调制信号的接收部PROD＿B1、通过对接收部PROD＿B1接收到的调制信号进行解调而获得编码数据的解调部PROD＿B2、通过对解调部PROD＿B2获得的编码数据进行解码而获得活动图像的解码部PROD＿B3。上述的层次活动图像解码装置1作为该解码部PROD＿B3而被利用。

接收装置PROD＿B也可以作为解码部PROD＿B3输出的活动图像的供应目的地，进一步包括显示活动图像的显示器PROD＿B4、用于记录活动图像的记录介质PROD＿B5、以及用于向外部输出活动图像的输出端子PROD＿B6。在图25的(b)中，虽然例示了接收装置PROD＿B包括这些全部的结构，但也可以省略一部分。

另外，记录介质PROD＿B5既可以是记录了未进行编码的活动图像的介质，也可以是记录了以与传输用的编码方式不同的记录用的编码方式进行了编码的活动图像的介质。在后者的情况下，只要在解码部PROD＿B3和记录介质PROD＿B5之间，介入将从解码部PROD＿B3取得的活动图像根据记录用的编码方式进行编码的编码部(未图示)即可。

另外，传输调制信号的传输介质既可以是无线，也可以是有线。此外，传输调制信号的传输方式既可以是广播(这里，指发送目的地没有预先确定的发送方式)，也可以是通信(这里，指发送目的地预先确定的发送方式)。即，调制信号的传输也可以通过无线广播、有线广播、无线通信以及有线通信中的任一个而实现。

例如，地面数字广播的广播站(广播设备等)/接收站(电视接收机等)是通过无线广播来发送接收调制信号的发送装置PROD＿A/接收装置PROD＿B的一例。此外，电缆电视广播的广播站(广播设备等)/接收站(电视接收机等)是通过有线广播来发送接收调制信号的发送装置PROD＿A/接收装置PROD＿B的一例。

此外，使用了互联网的VOD(Video On Demand，视频点播)服务或动画共享服务等的服务器(工作站等)/客户端(电视接收机、个人计算机、智能手机等)是通过通信来发送接收调制信号的发送装置PROD＿A/接收装置PROD＿B的一例(通常，在LAN中作为传输介质而使用无线或者有线中的任一个，在WAN中作为传输介质而使用有线)。这里，在个人计算机中，包括桌上型PC、膝上型PC以及平板型PC。此外，在智能手机中，还包括多功能便携电话终端。

另外，动画共享服务的客户端除了具有将从服务器下载的编码数据进行解码而在显示器中显示的功能之外，还具有将通过摄像机拍摄到的活动图像进行编码而上载到服务器中的功能。即，动画共享服务的客户端作为发送装置PROD＿A及接收装置PROD＿B的双方发挥作用。

接着，参照图26说明能够将上述的层次活动图像编码装置2以及层次活动图像解码装置1利用于活动图像的记录及再现的情况。

图26的(a)是表示搭载了上述的层次活动图像编码装置2的记录装置PROD＿C的结构的框图。如图26的(a)所示，记录装置PROD＿C包括：通过对活动图像进行编码而获得编码数据的编码部PROD＿C1、以及将编码部PROD＿C1获得的编码数据写入记录介质PROD＿M的写入部PROD＿C2。上述的层次活动图像编码装置2作为该编码部PROD＿C1而被利用。

另外，记录介质PROD＿M既可以是(1)如HDD(Hard Disk Drive，硬盘驱动器)或SSD(Solid State Drive，固态硬盘)等那样内置在记录装置PROD＿C中的类型，也可以是(2)如SD存储卡或USB(UniversalSerial Bus，通用串行总线)闪速存储器等那样连接到记录装置PROD＿C的类型，也可以是(3)如DVD(Digital Versatile Disc，数字视盘)或BD(Blu-ray Disc(注册商标)，蓝光盘)等那样在内置于记录装置PROD＿C中的驱动器装置(未图示)中装填的类型。

此外，记录装置PROD＿C也可以作为对编码部PROD＿C1输入的活动图像的供应源，进一步包括拍摄活动图像的相机PROD＿C3、用于从外部输入活动图像的输入端子PROD＿C4、用于接收活动图像的接收部PROD＿C5以及生成或者加工图像的图像处理部C6。在图26的(a)中，例示了记录装置PROD＿C将这些全部具有的结构，但也可以省略一部分。

另外，接收部PROD＿C5既可以是接收没有进行编码的活动图像的部分，也可以是接收以与记录用的编码方式不同的传输用的编码方式进行了编码的编码数据的部分。在后者的情况下，只要在接收部PROD＿C5和编码部PROD＿C1之间，介入对以传输用的编码方式进行了编码的编码数据进行解码的传输用解码部(未图示)即可。

作为这样的记录装置PROD＿C，例如举出DVD记录器、BD记录器、HDD(Hard Disk Drive，硬盘驱动器)记录器等(此时，输入端子PROD＿C4或者接收部PROD＿C5成为活动图像的主要的供应源)。此外，可携式摄像机(此时，相机PROD＿C3成为活动图像的主要的供应源)、个人计算机(此时，接收部PROD＿C5或者图像处理部C6成为活动图像的主要的供应源)、智能手机(此时，摄像机PROD＿C3或者接收部PROD＿C5成为活动图像的主要的供应源)等也是这样的记录装置PROD＿C的一例。

图26的(b)是表示搭载了上述的层次活动图像解码装置1的再现装置PROD＿D的结构的框图。如图26的(b)所示，再现装置PROD＿D包括读出写入记录介质PROD＿M的编码数据的读出部PROD＿D1、以及通过对读出部PROD＿D1读出的编码数据进行解码而获得活动图像的解码部PROD＿D2。上述的层次活动图像解码装置1作为该解码部PROD＿D2而被利用。

另外，记录介质PROD＿M既可以是(1)如HDD或SSD等那样内置在再现装置PROD＿D中的类型，也可以是(2)如SD存储卡或USB闪速存储器等那样连接到再现装置PROD＿D的类型，也可以是(3)如DVD或BD等那样在内置于再现装置PROD＿D中的驱动器装置(未图示)中装填的类型。

此外，再现装置PROD＿D也可以作为解码部PROD＿D2输出的活动图像的供应目的地，进一步包括显示活动图像的显示器PROD＿D3、用于将活动图像输出到外部的输出端子PROD＿D4以及发送活动图像的发送部PROD＿D5。在图26的(b)中，例示了再现装置PROD＿D将这些全部具有的结构，但也可以省略一部分。

另外，发送部PROD＿D5既可以是发送没有进行编码的活动图像的部分，也可以是发送以与记录用的编码方式不同的传输用的编码方式进行了编码的编码数据的部分。在后者的情况下，只要在解码部PROD＿D2和发送部PROD＿D5之间，介入以传输用的编码方式对活动图像进行编码的编码部(未图示)即可。

作为这样的再现装置PROD＿D，例如举出DVD播放器、BD播放器、HDD播放器等(此时，连接了电视接收机等的输出端子PROD＿D4成为活动图像的主要的供应目的地)。此外，电视接收机(此时，显示器PROD＿D3成为活动图像的主要的供应目的地)、数字标牌(也称为电子挂牌或电子布告牌等，显示器PROD＿D3或者发送部PROD＿D5成为活动图像的主要的供应目的地)、桌上型PC(此时，输出端子PROD＿D4或者发送部PROD＿D5成为活动图像的主要的供应目的地)、膝上型或者平板型PC(此时，显示器PROD＿D3或者发送部PROD＿D5成为活动图像的主要的供应目的地)、智能手机(此时，显示器PROD＿D3或者发送部PROD＿D5成为活动图像的主要的供应目的地)等也是这样的再现装置PROD＿D的一例。

(关于硬件的实现以及软件的实现)

最后，层次活动图像解码装置1、层次活动图像编码装置2的各模块既可以通过在集成电路(IC芯片)上形成的逻辑电路而以硬件方式实现，也可以使用CPU(Central Processing Unit，中央处理器)而以软件方式实现。

在后者的情况下，上述各装置包括执行用于实现各功能的程序的命令的CPU、存储了上述程序的ROM(Read Only Memory，只读存储器)、展开上述程序的RAM(Random Access Memory，随机存取存储器)、存储上述程序以及各种数据的存储器等的存储装置(记录介质)等。并且，通过将实现上述的功能的软件即上述各装置的控制程序的程序代码(执行形式程序、中间代码程序、源程序)以计算机能够读取的方式记录的记录介质提供给上述各装置，其计算机(或者CPU或MPU(Micro Processing Unit，微处理器))读出在记录介质中记录的程序代码而执行，也能够达成本发明的目的。

作为上述记录介质，例如，能够使用磁带或卡带等的带类、包括软盘(注册商标)/硬盘等的磁盘或CD-ROM(Compact Disc Read-OnlyMemory)/MO(Magneto-Optical)/MD(Mini Disc)/DVD(Digital VersatileDisk)/CD-R(CD Recordable)等的光盘的盘类、IC卡(包括存储卡)/光卡等的卡类、掩摸ROM/EPROM(Erasable Programmable Read-onlyMemory，可擦除可编程序只读存储器)/EEPROM(注册商标)(Electrically Erasable and Programmable Read-only Memory，电可擦除可编程只读存储器)/闪速ROM等的半导体存储器类、或者PLD(Programmable logic device，可编程逻辑电路)或FPGA(FieldProgrammable Gate Array，可编程门阵列)等的逻辑电路类等。

此外，也可以将上述各装置构成为能够与通信网络连接，经由通信网络而提供上述程序代码。该通信网络只要能够传输程序代码即可，没有特别限定。例如，可以利用互联网、内联网、外联网、LAN(LocalArea Network，局域网)、ISDN(Integrated Services Digital Network，综合服务数字网络)、VAN(Value-Added Network，增值网络)、CATV(Community Antenna Television，共用天线电视)通信网、虚拟专用网(virtual private network)、电话线路网、移动通信网、卫星通信网等。此外，作为构成该通信网络的传输介质，只要能够传输程序代码的介质即可，并不限定于特定的结构或者种类。例如还能够利用IEEE(Institute of Electrical and Electronic Engineers)1394、USB、电力线传输、电缆TV线路、电话线、ADSL(Asymmetric Digital Subscriber Line，非对称数字用户线路)线路等的有线，也可以使用IrDA(Infrared DataAssociation)或遥控那样的红外线、Bluetooth(注册商标)、IEEE 802.11无线、HDR(High Data Rate，高数据率)、NFC(Near FieldCommunication，近场通信)、DLNA(Digital Living Network Alliance，数字生活网络联盟)、移动电话网、卫星线路、地面波数字网等的无线。另外，通过上述程序代码以电子传输而具体化的、埋入载波的计算机数据信号的方式，也能够实现本发明。

本发明并不限定于上述的实施方式，在权利要求书所示的范围内能够进行各种变更，将在实施方式中公开的技术手段适当地组合而获得的实施方式，也包含在本发明的技术范围中。

产业上的可利用性

本发明能够适合应用于对图像数据层次性地编码的编码数据进行解码的层次活动图像解码装置、以及生成图像数据层次性地编码的编码数据的层次活动图像编码装置。此外，能够适合应用于由层次活动图像编码装置生成、由层次活动图像解码装置参照的层次编码数据的数据结构。

附图标记说明

1 层次活动图像解码装置(图像解码装置)

11 NAL解复用部

12 可变长解码部(标记解码单元)

13 基本解码部

14 预测参数复原部

15 纹理复原部

146 合并候选导出部

148 PU分割类型导出部

1461 合并候选导出控制部(判定单元)

1462 合并候选存储部

1463 片段类型判定部

1464 个别合并候选导出部

1464A 空间合并候选导出部(对象层候选导出单元、空间运动信息候选导出单元)

1464B 层间合并候选导出部(层间候选导出单元)

1464C 时间合并候选导出部(对象层候选导出单元、时间运动信息候选导出单元)

1464D 结合合并候选导出部(对象层候选导出单元)

1464E 零合并候选导出部(对象层候选导出单元)

1464F

1481 参照CU设定部(参照编码单位设定单元)

1482 PU分割估计部(分割模型决定单元)

1482A 右下像素位置判定部

1482B 重复区域判定部

2 层次活动图像编码装置(图像编码装置)

21 预测参数决定部

22 预测信息生成部

23 基本解码部

24 纹理信息生成

25 可变长编码部

26 NAL解复用部

226 合并候选导出部(层间候选导出单元)

Claims

1.一种图像解码装置，对与按每个层不同的质量的图像有关的图像信息进行层次性地编码的层次编码数据进行解码，复原成为解码的对象的对象层中的运动信息，使用通过基于复原的运动信息的运动补偿预测而生成的预测图像，复原上述对象层中的图像，其特征在于，所述图像解码装置包括：

层间候选导出单元，在上述对象层中的成为预测图像生成的处理对象的对象预测单位中，参照作为解码完毕层的参照层，导出在包括该对象预测单位的周边区域中与解码未完毕的区域对应的该参照层上的区域中解码的运动信息，作为用于估计上述对象预测单位中的运动信息的候选。

2.如权利要求1所述的图像解码装置，其特征在于，

在包括上述对象预测单位的周边区域中与解码未完毕的区域对应的该参照层上的区域是，包括与该对象预测单位对应的上述参照层上的区域中的右下像素的预定范围的区域即右下区域。

3.如权利要求2所述的图像解码装置，其特征在于，

上述右下区域是，包括与上述对象预测单位对应的参照层上的区域内的右下像素的运动信息记录单位。

4.如权利要求2所述的图像解码装置，其特征在于，

上述右下区域是，包括与上述对象预测单位对应的参照层上的区域内的右下像素的运动信息记录单位的右、下、以及右下中的任一个相邻的运动信息记录单位。

5.如权利要求2至4的任一项所述的图像解码装置，其特征在于，

上述层间候选导出单元导出包括上述右下区域中的运动信息的多个运动信息，作为上述候选，并且，

比其他的运动信息优先导出上述右下区域中的运动信息。

6.如权利要求5所述的图像解码装置，其特征在于，

上述层间候选导出单元至少导出包括与上述对象预测单位对应的参照层上的区域内的左上像素的运动信息记录单位中的运动信息，作为上述其他的运动信息。

7.如权利要求5或6所述的图像解码装置，其特征在于，

还包括判定单元，该判定单元判定作为候选而导出的运动信息是否与作为候选而导出完毕的运动信息一致，

在判定单元判定为作为候选而导出的上述其他的运动信息与上述右下区域中的运动信息不一致时，上述层间候选导出单元导出上述其他的运动信息作为候选。

8.如权利要求7所述的图像解码装置，其特征在于，

还包括对象层候选导出单元，该对象层候选导出单元基于在对象层中解码出的解码信息，导出运动信息的候选，

上述判定单元不进行上述层间候选导出单元作为候选而导出的运动信息与上述对象层候选导出单元作为候选而导出的运动信息的一致判定。

9.如权利要求1至6的任一项所述的图像解码装置，其特征在于，还包括：

空间运动信息候选导出单元，基于在对象预测单位的周边区域中解码出的运动信息，导出运动信息的候选；以及

判定单元，判定作为候选而导出的运动信息是否与作为候选而导出完毕的运动信息一致，

在判定单元判定为作为候选而导出的运动信息与在由上述空间运动信息候选导出单元导出的运动信息的候选中、优先级最高的运动信息的候选不一致时，上述层间候选导出单元导出上述运动信息作为候选。

10.如权利要求1至9的任一项所述的图像解码装置，其特征在于，

还包括时间运动信息候选导出单元，该时间运动信息候选导出单元基于在与对象预测单位所属的图片不同的图片中解码出的运动信息，导出运动信息的候选，

在上述层间候选导出单元执行运动信息的候选导出处理的情况下，上述时间运动信息候选导出单元不执行运动信息的候选导出处理。

11.如权利要求1至9的任一项所述的图像解码装置，其特征在于，

在上述时间运动信息候选导出单元执行运动信息的候选导出处理的情况下，上述层间候选导出单元不执行运动信息的候选导出处理。

12.一种图像编码装置，在将与按每个层不同的质量的图像有关的图像信息进行层次性地编码而生成层次编码数据时，从上述对象层中的输入原图像中减去通过基于在成为编码的对象的对象层中导出的运动信息的运动补偿预测而生成的预测图像，生成上述对象层中的预测残差，其特征在于，所述图像编码装置包括：