CN104885466A - 图像处理装置和方法 - Google Patents

Abstract

本发明涉及一种图像处理装置和方法，使用该图像处理装置和方法能够抑制编码效率降低。基本层像素用于补偿位于当前块的周围的不可用周围像素，所述周围像素在针对增强层的帧内预测中被使用。必要时使用基本层像素来补偿的周围像素被用于对当前块进行帧内预测，以生成针对当前块的预测图像。本发明适用于图像处理装置。

Description

图像处理装置和方法

技术领域

本公开涉及图像处理装置和方法，并且特别地涉及能够抑制编码效率降低的图像处理装置和方法。

背景技术

近年来，通过采用下述编码方案来对图像进行压缩和编码的装置已变得普遍，在该编码方案中，以数字方式处理图像信息，并且当以数字方式处理图像信息时，为了信息的高效传送和累积，使用特定于该图像信息的冗余通过正交变换比如离散余弦变换和运动补偿来进行压缩。运动图片专家组(MPEG)等就是这样的编码方案的示例。

具体而言，MPEG-2(ISO/IEC 13818-2)是被定义为通用图像编码方案的标准，该图像编码方案覆盖了隔行扫描图像和非隔行扫描图像二者、以及标准分辨率图像和高清晰度图像。例如，MPEG-2目前被用于针对专业人士和消费者的广大范围的应用。例如，当使用MPEG-2压缩方案时，向具有720×480像素的标准分辨率的隔行扫描图像分配4Mbps至8Mbps的编码量(比特率)。另外，例如，当使用MPEG-2压缩方案时，向具有1920×1088像素的高分辨率的隔行扫描图像分配18Mbps至22Mbps的编码量(比特率)。因此，能够实现高压缩率和满意的图像质量。

以MPEG-2为目标的高图像质量编码最适合用于广播；然而，MPEG-2具有比MPEG-l更低的编码量(比特率)，即，无法响应更高压缩率的编码方案。随着移动终端的普及，预期此后对这样的编码方案的需求会增大，因此进行了MPEG-4编码方案的标准化。关于图像编码方案，在1998年12月，该标准被批准为国际标准ISO/IEC 14496-2。

此外，首先，几年前进行了以用于电视会议的图像编码为目的的H.26L(国际电信联盟电信标准化部门(ITU-T)Q6/16视频编码专家组(VCEG))的标准化。众所周知，虽然H.26L与现有的编码方案比如MPEG-2或MPEG-4相比在编码和解码过程中需要更大量的算术操作，但是H.26L实现了更高的编码效率。另外，作为当前的MPEG-4的活动的一部分，在H.26L的基础上进行用于实现更高编码效率同时适于H.26L中不支持的功能的标准化，并且已实现为增强型压缩视频编码的联合模型。

根据标准化的计划表，名称为H.264和MPEG-4第10部分(高级视频编码；在下文中用AVC表示)在2003年3月变为国际标准。

此外，作为H.264/AVC的扩展，2005年2月完成了高保真范围扩展(FRExt)的标准化，FRExt包括具有专业人士工作所必要的RGB、4:2:2和4:4:4、MPEG-2中规定的8×8DCT以及量化矩阵的配置文件的编码工具。因此，FRExt已成为即使视频中包括胶片噪点时也能够使用H.264/AVC顺利地表达该视频的编码方案，因此被使用在比如蓝光(注册商标)盘等的广泛应用中。

然而，近年来，增加了对甚至更高压缩率编码的需求，比如期望压缩具有约4000×2000像素，即，多达高画质图像的四倍像素的图像，或期望在具有有限传送容量的环境比如因特网中分发高画质图像。为此，在上述ITU-T下的VCEG中，继续讨论增强编码效率。

因此，为了相比于AVC改进编码效率，联合协作组-视频编码(JCTVC)目前正在进行被称为高效率视频编码(HEVC)的编码方案的标准化，JCTVC是国际电信联盟电信标准化部门(ITU-T)和国际标准化组织(ISO)/国际电工委员会(lEC)的联合标准化组织。对于HEVC标准，2012年2月发布了委员会草案，即第一版本的草案规范(例如，参见非专利文献1)。

同时，现有的图像编码方案比如MPEG-2和AVC具有可伸缩功能，即将图像划分为多个层并且对所述多个层进行编码。

换言之，例如，对于具有低处理能力的终端比如移动电话，仅传送基本层的图像压缩信息，并且重现低空间分辨率和低时间分辨率或低质量的移动图像，而对于具有高处理能力的终端比如电视或个人计算机，则传送增强层以及基本层的图像压缩信息，并且重现高空间分辨率和高时间分辨率或高质量的移动图像。即，能够根据终端或网络的能力从服务器传送图像压缩信息而不进行转码处理。

然而，HEVC规定了帧内预测，根据帧内预测，使用周围像素来生成预测图像，周围像素是在待处理的当前块周围的像素。例如，帧内预测中规定了角预测、平面预测等。另外，HEVC规定了受限帧内预测(constrained_intra_pred)。

在受限帧内预测(constrained_intra_pred)中，在待处理的当前切片被帧间编码，当前块被帧内编码，并且位于该当前块周围的周围块被帧间编码时，用被视为不可用的周围块的像素来进行帧内预测处理。

然而，由于HEVC采用了编码单元(CU)，因此在有些情况下认为某些周围像素不可用。因此，考虑了在这样的情况下复制的像素填充方法(例如，参见非专利文献2)。

引用列表

非专利文献

非专利文献1：High Efficiency Video Coding(HEVC)TextSpecification Draft 9,”by Benjamin Bross,Woo-Jin Han,Jens-RainerOhm,Gary J.Sullivan,and Thomas Wiegand,JCTVC-H1003v9,JointCollaborative Team on Video Coding(JCT-VC)of ITU-T SG16WP3andISO/IEC JTC1/SC29/WG1111th Meeting in Shanghai,CN,October 10thto 19th,2012

非专利文献2：AHG16:Padding Process Simplification”by XianglinWang,Wei-Jung Chien,Marta Karczewicz,JCTVC-G812,JointCollaborative Team on Video Coding(JCT-VC)of ITU-T SG16WP3andISO/IEC JTC1/SC29/WG117th Meeting in Geneva,November 21st to30th,2011

发明内容

技术问题

然而，在该方法中，人们担心由于使用零阶保持器用相同的像素来填充一组不可用像素而使预测准确度变低并且编码效率降低。

本公开将上述情况纳入考虑，并且以抑制编码效率降低为目的。

问题的解决方案

根据本技术的一个方面，提供有一种图像处理装置，包括：接收部，该接收部被配置成接收分层图像编码数据，在该分层图像编码数据中，被层次化为多个层的图像数据被编码；像素填充部，该像素填充部被配置成用基本层的像素填充位于当前块周围的不可用周围像素，该当前块在分层图像编码数据的增强层被解码时要进行的帧内预测中被使用；帧内预测部，该帧内预测部被配置成必要时使用由像素填充部用基本层的像素填充的周围像素对当前块进行帧内预测，以生成当前块的预测图像；以及解码部，该解码部被配置成使用由帧内预测部生成的预测图像对由接收部接收到的分层图像编码数据的增强层进行解码。

像素填充部能够用基本层的与不可用周围像素对应的位置处的像素进行填充。

确定部被配置成确定增强层的当前块的周围像素的可用性。当确定部确定存在不可用周围像素时，像素填充部能够用基本层的与不可用周围像素对应的位置处的像素进行填充。

上采样部被配置成根据基本层与增强层之间的分辨率的比值对基本层的像素进行上采样处理。像素填充部能够用经受了由上采样部进行的上采样处理的基本层的像素进行填充。

接收部还能够接收用于控制是否要使用受限帧内的受限帧内控制信息。仅当基于由接收部接收到的受限帧内控制信息而设定要使用受限帧内时，像素填充部能够用该像素进行填充。

受限帧内控制信息能够在图片参数集合(PPS)中被传送。

接收部还能够接收基本层像素填充控制信息，该基本层像素填充控制信息用于控制当基于受限帧内控制信息而设定要使用受限帧内时用所传送的基本层的像素进行填充。当基于由接收部接收到的基本层像素填充控制信息而允许用基本层的像素来填充时，像素填充部能够用基本层的像素进行填充，并且当不允许用基本层的像素来填充时，像素填充部能够用增强层的像素进行填充。

基本层像素填充控制信息能够在图片参数集合(PPS)中被传送。

解码部还能够对以与增强层的编码方案不同的编码方案来编码的分层图像编码数据的基本层进行解码。

根据本技术的一个方面，提供有一种图像处理方法，包括：接收分层图像编码数据，在该分层图像编码数据中，被层次化为多个层的图像数据被编码；用基本层的像素来填充位于当前块周围的不可用周围像素，该当前块在分层图像编码数据的增强层被解码时要进行的帧内预测中被使用；必要时使用用基本层的像素填充的周围像素对当前块进行帧内预测，以生成当前块的预测图像；以及使用所生成的预测图像对所接收到的分层图像编码数据的增强层进行解码。

根据本技术的另一个方面，提供有一种图像处理装置，包括：像素填充部，该像素填充部被配置成用基本层的像素来填充位于当前块周围的不可用周围像素，该当前块在被层次化为多个层的图像数据的增强层被编码时要进行的帧内预测中被使用；帧内预测部，该帧内预测部被配置成必要时使用由像素填充部用基本层的像素填充的周围像素对当前块进行帧内预测，以生成当前块的预测图像；编码部，该编码部被配置成使用由帧内预测部生成的预测图像对被层次化为多个层的图像数据的增强层进行编码；以及传送部，该传送部被配置成将由编码部对被层次化为多个层的图像数据进行编码而获得的分层图像编码数据进行传送。

像素填充部能够用基本层的与不可用周围像素对应的位置处的像素进行填充。

确定部被配置成确定增强层的当前块的周围像素的可用性。当确定部确定存在不可用周围像素时，像素填充部能够用与基本层的不可用周围像素对应的位置处的像素进行填充。

上采样部被配置成根据基本层与增强层之间的分辨率的比值对基本层的像素进行上采样处理。像素填充部能够用经受了由上采样部进行的上采样处理的基本层的像素进行填充。

受限帧内控制信息设定部被配置成设定用于控制是否要使用受限帧内的受限帧内控制信息。仅当基于由受限帧内控制信息设定部设定的受限帧内控制信息而设定要使用受限帧内时，像素填充部能够用像素进行填充。传送部还能够传送由受限帧内控制信息设定部设定的受限帧内控制信息。

传送部能够将受限帧内控制信息传送至图片参数集合(PPS)中。

基本层像素填充控制信息设定部被配置成设定基本层像素填充控制信息，该基本层像素填充控制信息用于控制当基于受限帧内控制信息而设定要使用受限帧内时用基本层的像素进行填充。当基于由基本层像素填充控制信息设定部设定的基本层像素填充控制信息而允许用基本层的像素来填充时，像素填充部能够用基本层的像素进行填充，并且当不允许用基本层的像素来填充时，像素填充部能够用增强层的像素进行填充。传送部还能够传送由基本层像素填充控制信息设定部设定的基本层像素填充控制信息

传送部能够将基本层像素填充控制信息传送至图片参数集合(PPS)中。

编码部还能够以与增强层的编码方案不同的编码方案对分层图像编码数据的基本层进行编码。

根据本技术的另一个方面，提供有一种图像处理方法，包括：用基本层的像素来填充位于当前块周围的不可用周围像素，当前块在被层次化为多个层的图像数据的增强层被编码时要进行的帧内预测中被使用；必要时使用用基本层的像素填充的周围像素对当前块进行帧内预测，以生成当前块的预测图像；使用所生成的预测图像对被层次化为多个层的图像数据的增强层进行编码；以及将通过编码图像数据获得的被层次化为多个层的分层图像编码数据进行传送。

根据本技术的一个方面，分层图像编码数据被接收，在该分层图像编码数据中，被层次化为多个层的图像数据被编码；位于当前块周围的不可用周围像素被用基本层的像素填充，该当前块在分层图像编码数据的增强层被解码时要进行的帧内预测中被使用；必要时使用用基本层的像素填充的周围像素对当前块进行帧内预测以生成当前块的预测图像；以及使用所生成的预测图像对所接收到的分层图像编码数据的增强层进行解码。

根据本技术的另一个方面，位于当前块周围的不可用周围像素被用基本层的像素填充，该当前块在被层次化为多个层的图像数据的增强层被解码时要进行的帧内预测中被使用；必要时使用用基本层的像素填充的周围像素对当前块进行帧内预测以生成当前块的预测图像；使用所生成的预测图像对被层次化为多个层的图像数据的增强层进行编码；以及将通过对被层次化为多个层的图像数据进行编码而获得的分层图像编码数据进行传送。

本发明的有益效果

根据本公开，能够对图像进行编码和解码。具体而言，能够抑制编码效率的降低。

附图说明

[图1]图1是用于描述编码单元的配置的示例的图。

[图2]图2是用于描述空间可伸缩视频编码的示例的图。

[图3]图3是用于描述时间可伸缩视频编码的示例的图。

[图4]图4是用于描述信噪比的可伸缩视频编码的示例的图。

[图5]图5是示出了图片参数集合的语法的示例的图。

[图6]图6是示出了图片参数集合的语法的示例的图5的接续部分。

[图7]图7是用于描述帧内预测中周围像素的填充的状态的示例的图。

[图8]图8是用于描述帧内预测中周围像素的填充的状态的另一示例的图。

[图9]图9是示出了图片参数集合的语法的另一示例的图。

[图10]图10是示出了图片参数集合的语法的另一示例的图9的接续部分。

[图11]图11是示出了剪切的示例的图。

[图12]图12是示出了可伸缩编码装置的主要配置的示例的框图。

[图13]图13是示出了基本层图像编码部的主要配置示例的框图。

[图14]图14是示出了增强层图像编码部的主要配置的示例的框图。

[图15]图15是示出了像素填充部的主要配置示例的框图。

[图16]图16是用于描述编码处理的流程的示例的流程图。

[图17]图17是描述基本层编码处理的流程的示例的流程图。

[图18]图18是描述像素填充控制信息设定处理的流程的示例的流程图。

[图19]图19是描述增强层编码处理的流程的示例的流程图。

[图20]图20是描述帧内预测处理的流程的示例的流程图。

[图21]图21是示出了可伸缩解码装置的主要配置的示例的框图。

[图22]图22是示出了基本层图像解码部的主要配置示例的框图。

[图23]图23是示出了增强层图像解码部的主要配置的示例的框图。

[图24]图24是示出了另一像素填充部的主要配置示例的框图。

[图25]图25是描述解码处理的流程的示例的流程图。

[图26]图26是描述基本层解码处理的流程的示例的流程图。

[图27]图27是描述像素填充控制信息解码处理的流程的示例的流程图。

[图28]图28是描述增强层解码处理的流程的示例的流程图。

[图29]图29是描述预测处理的流程的示例的流程图。

[图30]图30是描述帧内预测处理的流程的示例的流程图。

[图31]图31是示出了分层图像编码方案的示例的图。

[图32]图32是示出了多视图图像编码方案的示例的图。

[图33]图33是示出了计算机的主要配置的示例的框图。

[图34]图34是示出了电视装置的示意性配置的示例的框图。

[图35]图35是示出了移动电话的示意性配置的示例的框图。

[图36]图36是示出了记录/重现装置的示意性配置的示例的框图。

[图37]图37是示出了图像捕获装置的示意性配置的示例的框图。

[图38]图38是示出了使用可伸缩视频编码的示例的框图。

[图39]图39是示出了使用可伸缩视频编码的另一示例的框图。

[图40]图40是示出了使用可伸缩视频编码的另一示例的框图。

具体实施方式

在下文中，将描述用于实施本公开的模式(在下文中称为“实施例”)。描述将以如下顺序进行：

0.概述

1.第一实施例(图像编码装置)

2.第二实施例(图像解码装置)

3.其他

4.第三实施例(计算机)

5.应用

6.可伸缩视频编码的应用

<0.概述>

<编码方案>

在下文中，将结合高效率视频编码(HEVC)方案的图像编码及解码的应用来描述本技术。

<编码单元>

在高级视频编码(AVC)方案中，定义了基于宏块和子宏块的分层结构。然而，16×16像素的宏块对于大的图像帧，比如起到下一代编码方案的目标的作用的超高清(UHD)(4000×2000像素)来说不是最佳的。

另一方面，如图1所示，在HEVC方案中定义了编码单元(CU)。

CU也称为编码树块(CTB)，并且作为图片单元的图像的局部区域，与AVC方案中的宏块起着相同的作用。后者被固定为16×16像素的尺寸，但是前者不固定为特定尺寸，而是在每个序列中的图像压缩信息中指定。

例如，在待输出的编码数据中包括的序列参数集合(SPS)中指定了CU的最大编码单元(LCU)和最小编码单元(SCU)。

由于在每个LCU不小于SCU的范围内设定split-flag＝1，因此编码单元能够被划分为具有更小尺寸的CU。在图1的示例中，LCU的尺寸为128，最大可伸缩深度为5。当split_flag的值为1时，尺寸为2N×2N的CU被划分为尺寸为N×N的CU，这些尺寸为N×N的CU起到较低一级的层的作用。

此外，CU被划分为预测单元(PU)，PU起到帧内预测或帧间预测的处理单元的区域(图片单元的图像的局部区域)的作用，并且PU被划分为变换单元(TU)，TU是起到正交变换的处理单元的作用的区域(图片单元的图像的局部区域)。目前，在HEVC方案中，除了4×4和8×8以外，还可以使用16×16和32×32的正交变换。

对于在HEVC方案中，在定义了CU并且各种各样的处理以CU为单位进行的编码方案的情况下，在AVC方案中，可以考虑将宏块与LCU对应，并且可以考虑将块(子块)与CU对应。此外，在AVC方案中，可以考虑将运动补偿块与PU对应。这里，例如，由于CU具有分层结构，因此通常将最顶层LCU的尺寸设定为大于AVC方案中的宏块，比如设定为128×l28像素。

因此，在下文中，假设LCU包括AVC方案中的宏块，并且假设CU包括AVC方案中的块(子块)。换言之，以下描述中使用的“块”指示图片中的任意局部区域，并且例如该局部区域的尺寸、形状和特性不受限制。换言之，“块”包括任意区域(处理单元)，比如TU、PU、SCU、CU、LCU、子块、宏块或切片。当然，“块”也包括其他局部区域(处理单元)。当有必要对尺寸、处理单元等进行限制时，将适当地进行描述。

<模式选择>

同时，在AVC编码方案和HEVC编码方案中，为了实现高编码效率，选择适当的预测模式是很重要的。

作为这样的选择方法的示例，有一种在称为联合模型(JM)的H.264/MPEG-4AVC的参考软件(参见http://iphome.hhi.de/suehring/tml/index.htm)中实现的方法。

在JM中，如后面将描述的那样，可以选择两种模式确定方法，即，高复杂度模式和低复杂度模式。在两种模式中，计算与各预测模式相关的代价函数值，并且选择具有较小的代价函数值的预测模式作为对应的块或宏块的最佳模式。

高复杂度模式中的代价函数表达如下式(1)：

Cost(Mode∈Ω)＝D+λ*R   ...(1)

这里，Ω指示用于将对应的块或宏块进行编码的候选模式的通用设定，D指示在以对应的预测模式进行编码时解码后的图像与输入图像之间的差分能量。λ指示作为量化参数的函数而给定的拉格朗日(Lagrange)待定乘数。R指示在以对应的模式进行编码时包括正交变换系数的总编码量。

换言之，为了以高复杂度模式进行编码，有必要由所有的候选模式进行一次临时编码处理以计算参数D和R，因此需要大的计算量。

低复杂度模式的代价函数表达为下式(2)：

Cost(Mode∈Ω)＝D+QP2Quant(QP)*HeaderBit   ...(2)

这里的D与高复杂度模式中的D不同，而是指示预测图像与输入图像之间的差分能量。QP2Quant(QP)被作为量化参数QP的函数而给定，HeadBit指示与属于头部的信息相关的编码量，比如不包括正交变换系数的运动矢量或模式。

换言之，在低复杂度模式中，有必要针对各候选模式进行预测处理，但是由于解码后的图像不是必要的，因此不必进行编码处理。因此，可以实现比高复杂度模式更小的计算量。

<可伸缩视频编码>

同时，如图2至图4所示，现存的图像编码方案比如MPEG-2和AVC具有可伸缩功能。可伸缩视频编码指代将图像划分(层次化)为多个层并针对每个层进行编码的方案。

在将图像层次化的过程中，基于某一参数将一个图像划分为多个图像(层)。大体上用差分数据来配置每个层以减少冗余。例如，当一个图像被层次化为两个层即基本层和增强层时，仅使用基本层的数据来获得比原始图像质量低的图像，并且通过将基本层的数据与增强层的数据结合来获得原始图像(即，高质量图像)。

当如上所述地将图像层次化时，可以根据情况来获得各种质量的图像。例如，对于具有低处理能力的终端比如移动电话，仅传送基本层的图像压缩信息，并且重现低空间分辨率和低时间分辨率或低质量的移动图像，而对于具有高处理能力的终端比如电视或个人计算机，则传送增强层以及基本层的图像压缩信息，并且重现高空间分辨率和高时间分辨率或高质量的移动图像。换言之，能够根据终端或网络的能力从服务器传送图像压缩信息而不进行转码处理。

例如，如图2所示，作为具有伸缩性的参数，存在空间分辨率(空间伸缩性)。当空间伸缩性不同时，各层具有不同的分辨率。换言之，如图2所示，每个图片被层次化为两个层，即，在空间上其分辨率低于原始图像的分辨率的基本层以及与基本层的图像结合以获得原始图像(原始的空间分辨率)的增强层。当然，层的数目只是示例，并且每个图片能够被层次化为任意数目的层。

例如，如图3所示，作为具有这样的伸缩性的另一参数，存在时间分辨率(时间伸缩性)。在时间伸缩性的情况下，各层具有不同的帧速率。换言之，在这种情况下，每个图片被层次化为具有不同的帧速率的层，可以通过将高帧速率的层与低帧速率的层进行结合来获得高帧速率的移动图像，并且如图3所示，可以通过将所有的层进行结合来获得原始移动图像(原始帧速率)。层的数目只是示例，并且每个图片能够被层次化为任意数目的层。

此外，例如，作为具有这样的伸缩性的另一参数，存在信噪比(SNR)(SNR伸缩性)。在SNR伸缩性的情况下，各层具有不同的SNR。换言之，如图4所示，在这种情况下，每个图片被层次化为两个层，即其SNR低于原始图像的SNR的基本层以及与基本层的图像进行结合以获得原始SNR的增强层。换言之，对于基本层图像压缩信息，传送与低PSNR的图像相关的信息，并且可以通过将该信息与增强层图像压缩信息进行结合来重建高PSNR图像。当然，层的数目只是示例，并且每个图片能够被层次化为任意数目的层。

可以应用上述示例以外的参数作为具有伸缩性的参数。例如，存在位深度伸缩性，其中基本层包括8位图像，并且可以通过将增强层添加到该基本层来获得10位图像。

此外，存在色度伸缩性，其中基本层包括4:2:0格式的分量图像，并且可以通过将增强层添加到该基本层来获得4:2:2格式的分量图像。

<帧内预测中周围像素的填充>

然而，HEVC规定了帧内预测，根据帧内预测，使用周围像素来生成预测图像，周围像素是待处理的当前块周围的像素。例如，作为帧内预测，规定了角预测、平面预测等。

另外，HEVC规定了constrained_intra_pred_flag，constrained_intra_pred_flag是用于控制是否像AVC那样使用受限帧内的受限帧内控制信息。图5和图6示出了HEVC的图片参数集合(PPS)的语法的示例。如图5所示，受限帧内控制信息(constrained_intra_pred_flag)在图片参数集合中被传送。

换言之，当constrained_intra_pred_flag的值为“1”并且待处理的当前切片被帧间编码，当前块被帧内编码，并且位于当前块周围的周围块被帧间编码时，用被视为不可用的周围块的像素来进行帧内预测处理。

然而，HEVC采用了如图1所示的编码单元。因此，讨论了当如图7的A所示某些周围像素不可用时，如何填充这些不可用像素以及由此进行帧内预测处理，因此，规定了非专利文献2中公开的处理。

换言之，如图7的B所示，在箭头的方向上从像素A和像素B开始搜索(扫描)，以检测不可用(也被称为“不可用”)区域和可用区域的边界上的像素。当一端不可用时，假设存在满足(1<<(BitDepthY 1))的可用像素。

用可用区域的最后的像素的值来填充不可用的区域的像素。

在一个方向上并且不折回地进行像素填充处理。

然而，在这样的处理中，人们担心由于使用零阶保持器使相同的像素填充了不可用的位置而使编码效率降低。

<用基本层的像素进行填充>

因此，在对增强层进行编码和解码的帧内预测中，在可伸缩编码中，利用在各层(例如，基本层和增强层)的像素值之间的高度相关性，由于用于控制是否使用受限帧内的受限帧内控制信息constrained_intra_pred_flag的值为“1”的事实，如图8所示，使用对应的基本层的像素值对不可用的周围像素进行填充处理。

因此，能够填充具有较高相关性的像素值并且能够增强预测准确度。因此，能够抑制编码效率的下降并且能够改进解码后的图像的图像质量。

请注意，当使用在空间方向比如分辨率上具有伸缩性的空间伸缩性的编码处理被进行时，可以根据层间可伸缩比率将基本层的解码图像设定为经受上采样(转换处理(放大或缩小))以用于填充处理。

另外，为了减少对存储基本层的解码图像的存储器的不必要的访问，可以设定并传送用于控制用基本层的像素进行填充的基本层像素填充控制信息(fill_with_baselayer_pixel_flag)。

可以将fill_with_baselayer_pixel_flag即基本层像素填充控制信息在例如图片参数集合(PPS)中传送。另外，仅当增强层的受限帧内控制信息(constrained_intra_pred_flag)的值为“1”时，可以传送该基本层像素填充控制信息(fill_with_baselayer_pixel_flag)。在图9和图10中示出了这种情况的图片参数集合的语法的示例。

换言之，当constrained_intra_pred_flag的值为“1”时，传送fill_with_baselayer_flag。当fill_with_baselayer_flag的值为“1”时，用基本层的像素值来填充增强层的不可用像素。请注意，对于基本层，不传送fill_with_baselayer_flag。可替代地，即使传送了fill_with_baselayer_flag，在解码处理中也不使用。

通过应用以上描述的本技术，在可伸缩编码和解码的过程中，即使当在对增强层进行编码和解码的帧内预测中constrained_intra_pred_flag的值为“1”时，也能够抑制编码效率的下降。

请注意，以上描述的本技术还能够应用于使用不同于HEVC的方法例如AVC、MPEG-2等来对基本层的图像进行编码和解码的情况。

另外，在对经层次化的图像数据进行编码和解码(可伸缩编码和可伸缩解码)的分层编码和分层解码的情况下，可以将整个图像的一部分进行剪切(剪切)以用于对增强层进行编码。如图11所示，当进行这样的剪切时，还考虑将基本层中可用的周围像素在增强层中变得不可用。本技术能够还应用于这种情况。

接着，将描述以上描述的本技术对特定装置的应用示例。

<1.第一实施例>

<可伸缩编码装置>

图12是示出了可伸缩编码装置的主要配置示例的框图。

图12中示出的可伸缩编码装置100是对图像数据进行可伸缩编码并且将被层次化为基本层和增强层的图像数据的每个层进行编码的图像信息处理装置。用作层次化的参考的参数(带来伸缩性的参数)是任意的。可伸缩编码装置100具有通用信息生成部101、编码控制部102、基本层图像编码部103、像素填充部104、以及增强层图像编码部105。

通用信息生成部101获取例如存储在NAL单元中的与对图像数据进行编码相关的信息。另外，通用信息生成部101在必要时从基本层图像编码部103、像素填充部104、增强层图像编码部105等获取必要的信息。通用信息生成部101在前述信息的基础上生成与所有的层相关的通用信息。通用信息包括例如视频参数集合等。通用信息生成部101将生成的通用信息例如作为NAL单元输出至可伸缩编码装置100的外部。请注意，通用信息生成部101还将生成的通用信息提供至编码控制部102。此外，在必要时，通用信息生成部101还将生成的通用信息的部分或全部提供至基本层图像编码部103至增强层图像编码部105。

编码控制部102基于从通用信息生成部101提供的通用信息来控制基本层图像编码部103至增强层图像编码部105，以控制对每个层的编码。

基本层图像编码部103获取基本层的图像信息(基本层图像信息)。基本层图像编码部103在不使用其他层的信息的情况下对基本层图像信息进行编码，生成基本层的编码数据(基本层编码数据)，并且输出该数据。另外，基本层图像编码部103将在编码过程中获得的基本层的解码图像提供至像素填充部104。

当要在增强层图像编码部105中进行的帧内预测中使用受限帧内时，像素填充部104进行与周围像素的填充相关的处理。例如，像素填充部104从基本层图像编码部103获取基本层的解码图像，并且用基本层的像素来填充增强层的不可用周围像素。像素填充部104将周围像素的填充像素提供至增强层图像编码部105。

增强层图像编码部105获取增强层的图像信息(增强层图像信息)。增强层图像编码部105对增强层图像信息进行编码。请注意，在对当前块进行帧内预测时，增强层图像编码部105将当前块的周围像素提供至像素填充部104。另外，增强层图像编码部105从像素填充部104获取当前块的周围像素的填充像素。增强层图像编码部105使用填充像素来进行帧内预测，并对增强层的图像进行编码。然后，增强层图像编码部105输出所获得的编码数据(增强层编码数据)。

<基本层图像编码部>

图13是示出了图12的基本层图像编码部103的主要配置的示例的框图。如图13所示，基本层图像编码部103包括A/D转换部111、画面重新排序缓冲器112、操作部113、正交变换部114、量化部115、无损编码部116、累积缓冲器117、逆量化部118、以及逆正交变换部119。基本层图像编码部103还包括操作部120、环路滤波器121、帧存储器122、选择部123、帧内预测部124、运动预测/补偿部125、预测图像选择部126、以及速率控制部127。

A/D转换部111对输入图像数据(基本层图像信息)进行A/D转换，并且提供转换后的图像数据(数字数据)以存储在画面重新排序缓冲器112中。画面重新排序缓冲器112将其帧以显示顺序存储的图像按根据图片组(GOP)编码的帧顺序重新排序，并且将其中帧顺序被重新排序的图像提供至操作部113。画面重新排序缓冲器112还将其中帧顺序被重新排序的图像提供至帧内预测部124和运动预测/补偿部125。

操作部113从自画面重新排序缓冲器112读取的图像减去自帧内预测部124或运动预测/补偿部125经由预测图像选择部126提供的预测图像，并且将其差分信息输出至正交变换部114。例如，在图像经受过帧内编码的情况下，操作部113从自画面重新排序缓冲器112读取的图像减去自帧内预测部124提供的预测图像。此外，例如，在图像经受过帧间编码的情况下，操作部113从自画面重新排序缓冲器112读取的图像减去自运动预测/补偿部125提供的预测图像。

正交变换部114对从操作部113提供的差分信息进行正交变换比如离散余弦变换或卡洛(Karhunen-Loève)变换。正交变换部114将变换系数提供至量化部115。

量化部115对从正交变换部114提供的变换系数进行量化。量化部115基于与从速率控制部127提供的编码量的目标值相关的信息来设定量化参数，并且进行量化。量化部115将被量化的变换系数提供至无损编码部116。

无损编码部116根据任意编码方案将在量化部115中量化的变换系数进行编码。由于系数数据在速率控制部127的控制下被量化，因此编码量变成了由速率控制部127设定的目标值(或接近目标值)。

无损编码部116从帧内预测部124获取指示帧内预测模式等的信息，并从运动预测/补偿部125获取指示帧间预测模式、差分运动矢量信息等的信息。此外，无损编码部116适当地生成包括序列参数集合(SPS)、图片参数集合(PPS)等的基本层的NAL单元。

无损编码部116根据任意编码方案对各种各样的信息进行编码，并且将编码后的信息设定(多路复用)为编码数据(还称为“编码流”)的一部分。无损编码部116将通过编码而获得的编码数据提供至累积缓冲器117，以在累积缓冲器117中进行累积。

无损编码部116的编码方案的示例包括可变长编码和算术编码。例如，作为可变长编码，存在在H.264/AVC方案中定义的上下文自适应可变长编码(CAVLC)。例如，作为算术编码，存在上下文自适应二进制算术编码(CABAC)。

累积缓冲器117临时保存从无损编码部116提供的编码数据(基本层编码数据)。累积缓冲器117在某一定时刻将所保存的基本层编码数据输出至随后级的记录装置(记录介质)、传送路径等(未示出)。换言之，累积缓冲器117还起到将编码数据进行传送的传送部的作用。

由量化部115量化的变换系数还被提供至逆量化部118。逆量化部118根据与由量化部115进行的量化对应的方法将被量化的变换系数进行逆量化。逆量化部118将所获得的变换系数提供至逆正交变换部119。

逆正交变换部119根据与由正交变换部114进行的正交变换处理对应的方法对从逆量化部118提供的变换系数进行逆正交变换。经受过逆正交变换的输出(被恢复的差分信息)被提供至操作部120。

操作部120通过将经由预测图像选择部126从帧内预测部124或运动预测/补偿部125提供的预测图像加上从逆正交变换部119提供的起到逆正交变换结果的作用的被恢复的差分信息来获得本地解码的图像(解码后的图像)。解码后的图像被提供至环路滤波器121或帧存储器122。

环路滤波器121包括去块滤波器，自适应环路滤波器等，并且适当地对从操作部120提供的重建图像进行滤波处理。例如，环路滤波器121对重建图像进行去块滤波处理，并且去除重建图像的块失真。此外，例如，环路滤波器121通过使用维纳(Wiener)滤波器对去块滤波处理结果(去除了块失真的重建图像)进行环路滤波处理来改进图像质量。环路滤波器121将滤波处理结果(在下文中称为“解码后的图像”)提供至帧存储器122。

环路滤波器121还可以对重建图像进行任何其他任意滤波处理。环路滤波器121可以根据需要将在滤波处理中使用的信息比如滤波系数等提供至无损编码部116，以使该信息被编码。

帧存储器122存储从操作部120提供的重建图像以及从环路滤波器121提供的解码图像。帧存储器122在某一时刻或基于例如来自帧内预测部124的外部请求将所存储的重建图像经由选择部123提供至帧内预测部124。此外，帧存储器122在某一时刻或基于例如来自运动预测/补偿部125的外部请求将所存储的解码图像经由选择部123提供至运动预测/补偿部125。

帧存储器122将所提供的解码后的图像进行存储，并且在某一时刻将所存储的解码图像作为参考图像提供至选择部123。

选择部123对从帧存储器122提供的参考图像的提供目的地进行选择。例如，在帧内预测的情况下，选择部123将从帧存储器122提供的参考图像(当前图片的像素值)提供至运动预测/补偿部125。此外，例如，在帧间预测的情况下，选择部123将从帧存储器122提供的参考图像提供至运动预测/补偿部125。

帧内预测部124进行帧内预测(画面内预测)，以使用经由选择部123从帧存储器122提供的起到参考图像的作用的当前图片的像素值生成预测图像。帧内预测部124以事先准备的多个帧内预测模式进行帧内预测。

帧内预测部124以起到候选作用的所有帧内预测模式生成预测图像，使用从画面重排缓冲器112提供的输入图像来评价预测图像的代价函数值，并且选择最佳模式。当选择了最佳帧内预测模式时，帧内预测部124将以最佳模式生成的预测图像提供至预测图像选择部126。

如上所述，帧内预测部124适当地将例如指示所采用的帧内预测模式的帧内预测模式信息提供至无损编码部116，以使该信息被编码。

运动预测/补偿部125使用经由选择部123从画面重新排序缓冲器112提供的输入图像和从帧存储器122提供的参考图像进行运动预测(帧间预测)。运动预测/补偿部125根据检测到的运动矢量来进行运动补偿处理，并且生成预测图像(帧间预测图像信息)。运动预测/补偿部125以事先准备的多个帧间预测模式来进行帧间预测。

运动预测/补偿部125以起到候选作用的所有帧间预测模式生成预测图像。运动预测/补偿部125使用从画面重新排序缓冲器112提供的输入图像、所生成的差分运动矢量的信息等来评价预测图像的代价函数值，并且选择最佳模式。当选择了最佳帧间预测模式时，运动预测/补偿部125将以最佳模式生成的预测图像提供至预测图像选择部126。

运动预测/补偿部125将指示所采用的帧间预测模式的信息、将编码后的数据解码时用于以帧间预测模式进行处理所必要的信息等提供至无损编码部116，以使该信息被编码。例如，作为必要的信息，存在所生成的差分运动矢量的信息，而作为预测运动矢量信息，存在指示预测运动矢量的索引的标记。

预测图像选择部126选择预测图像的提供源，以提供至操作部113和操作部120。例如，在帧内编码的情况下，预测图像选择部126选择帧内预测部124作为预测图像的提供源，并且将从帧内预测部124提供的预测图像提供至操作部113和操作部120。例如，在帧间编码的情况下，预测图像选择部126选择运动预测/补偿部125作为预测图像的提供源，并且将从运动预测/补偿部125提供的预测图像提供至操作部113和操作部120。

速率控制部127基于累积缓冲器117中累积的编码数据的编码量来控制量化部115的量化操作的速率，以使得不发生溢出或下溢。

请注意，帧存储器122将所存储的解码后的图像(基本层解码图像)提供至像素填充部104。

<增强层图像编码部>

图14是示出了图12的增强层图像编码部105的主要配置示例的框图。如图14所示，增强层图像编码部105基本上具有与图13的基本层图像编码部103相同的配置。

然而，增强层图像编码部105的每个部件进行与增强层图像信息而不是基本层图像信息的编码相关的处理。换言之，增强层图像编码部105的A/D转换部111对增强层图像信息进行A/D转换，并且增强层图像编码部105的累积缓冲器117将增强层编码数据输出至例如未示出的后一级中设置的记录装置(记录介质)、传送路径等。

另外，增强层图像编码部105具有帧内预测部134，而不是帧内预测部124。

帧内预测部134获取由像素填充部104生成的填充像素，使用用填充像素填充的当前块的周围像素对增强层进行帧内预测，并由此生成预测图像。帧内预测以与在帧内预测部124中相同的方式进行。

与帧内预测部124相似，帧内预测部134适当地将例如指示所采用的帧内预测模式的帧内预测模式信息提供至无损编码部116，以使该信息被编码。

请注意，帧存储器122将所存储的解码后的图像(增强层解码图像)提供至像素填充部104。另外，无损编码部116将与增强层的分辨率相关的信息等提供至像素填充部104。此外，无损编码部116获取比如从像素填充部104提供的受限帧内控制信息(constrained_intra_pred_flag)、基本层像素填充控制信息(fill_with_baselayer_pixel_flag)信息等，对上述信息进行编码，并且将编码信息例如作为图片参数集合传送至解码侧。

<像素填充部>

图15是示出了图12的像素填充部104的主要配置示例的框图。

如图15所示，像素填充部104具有上采样部151、基本层像素存储器152、像素填充控制信息设定部153、可用性确定部154、以及填充像素生成部155。

上采样部151对基本层解码图像进行上采样处理(转换处理)。如图15所示，上采样部151具有上采样率设定部161、解码图像缓冲器162、以及滤波部163。

上采样率设定部161设定对基本层解码图像的上采样处理的转换率(还称为上采样率)。上采样率设定部161从例如增强层图像编码部105的无损编码部116获取增强层的分辨率。另外，上采样率设定部161从基本层图像编码部103(例如，无损编码部116等)获取基本层的分辨率。上采样率设定部161基于该信息来设定上采样率。换言之，上采样率设定部161能够根据基本层与增强层之间的分辨率比值来设定上采样率。因此，上采样部151可以根据基本层与增强层之间的分辨率比值的比值来对基本层解码图像进行上采样处理。上采样率设定部161将所设定的上采样率提供至滤波部163。

解码图像缓冲器162存储从基本层图像编码部103的帧存储器122提供的基本层解码图像。解码图像缓冲器162将所存储的基本层解码图像提供至滤波部163。

滤波部163以从上采样率设定部161提供的上采样率对从解码图像缓冲器162读取的基本层解码图像进行上采样处理。滤波部163将经过上采样处理的基本层解码图像(还称为经上采样的图像)提供至基本层像素存储器152。

基本层像素存储器152存储从滤波部163提供的经上采样的图像。基本层像素存储器152将所存储的经上采样的图像提供至填充像素生成部155。

像素填充控制信息设定部153设定与像素的填充相关的控制信息。如图15所示，像素填充控制信息设定部153具有Constrained_ipred设定部171和基本层像素填充控制信息设定部172。

Constrained_ipred设定部171设定constrained_intra_pred_flag，constrained_intra_pred_flag是用于控制是否要使用受限帧内的受限帧内控制信息。这种受限帧内控制信息的设定可以被任意地进行。例如，Constrained_ipred设定部171可以根据来自外部比如来自用户的指令来设定受限帧内控制信息。

Constrained_ipred设定部171将所设定的受限帧内控制信息(constrained_intra_pred_flag)提供至基本层像素填充控制信息设定部172。另外，Constrained_ipred设定部171还将所设定的受限帧内控制信息(constrained_intra_pred_flag)提供至可用性确定部154。此外，Constrained_ipred设定部171还将所设定的受限帧内控制信息(constrained_intra_pred_flag)提供至增强层图像编码部105的无损编码部116并且使该信息被传送至解码侧。如上所述，增强层图像编码部105的无损编码部116对如上提供的受限帧内控制信息(constrained_intra_pred_flag)进行编码，并且将该信息在例如图片参数集合(PPS)等中传送至解码侧。

当从Constrained_ipred设定部171提供的受限帧内控制信息(constrained_intra_pred_flag)的值为“1”时，基本层像素填充控制信息设定部172设定基本层像素填充控制信息(fill_with_baselayer_pixel_flag)以控制用基本层的像素进行填充。基本层像素填充控制信息设定部172将所设定的基本层像素填充控制信息(fill_with_baselayer_pixel_flag)提供至填充像素生成部155。另外，基本层像素填充控制信息设定部172还将基本层像素填充控制信息(fill_with_baselayer_pixel_flag)提供至增强层图像编码部105的无损编码部116，并且将该信息传送至解码侧。如上所述，增强层图像编码部105的无损编码部116对如上提供的基本层像素填充控制信息(fill_with_baselayer_pixel_flag)进行编码，并且将该信息在例如图片参数集合(PPS)等中传送至解码侧。

当从Constrained_ipred设定部171提供的受限帧内控制信息(constrained_intra_pred_flag)值为“1”时，可用性确定部154从增强层图像编码部105的帧存储器122获取增强层参考图像。增强层参考图像包括要由增强层图像编码部105的帧内预测部134进行的帧内预测的当前块的周围像素。可用性确定部154确定周围像素的可用性。可用性确定部154将确定结果(可用性)提供至填充像素生成部155。

填充像素生成部155基于从可用性确定部154提供的确定结果来确定是否存在不可用周围像素，当存在一个不可用周围像素时，生成用其来填充不可用周围像素的填充像素。

此时，当从基本层像素填充控制信息设定部172提供的基本层像素填充控制信息(fill_with_baselayer_pixel_flag)的值为“1”时，填充像素生成部155使用基本层的像素来生成填充像素。换言之，填充像素生成部155从基本层像素存储器152读取经上采样的图像，并且使用基本层的与该不可用周围像素对应的像素的像素值来生成填充像素。

另外，当从基本层像素填充控制信息设定部172提供的基本层像素填充控制信息(fill_with_baselayer_pixel_flag)的值为“0”时，填充像素生成部155使用增强层的像素来生成填充像素。换言之，填充像素生成部155从增强层图像编码部105的帧存储器122获取增强层参考图像，并且使用增强层参考图像中包括的不可用像素的像素值来生成填充像素。

填充像素生成部155将如上生成的填充像素提供至增强层图像编码部105的帧内预测部134。帧内预测部134使用所提供的填充像素来进行帧内预测，并由此生成预测图像。

如上所述，可伸缩编码装置100能够在对增强层进行编码的帧内预测中用基本层的像素来填充不可用周围像素，因此，在受限帧内中能够抑制预测准确度的劣化和编码效率的降低。由此，可伸缩编码装置100能够抑制由于编码和解码而导致的图像质量的劣化。

<编码处理的流程>

接着，将描述由如上所述的可伸缩编码装置100执行的每个处理的流程。首先，将参照图16的流程图来描述编码处理的流程的示例。可伸缩编码装置100针对每个图片来执行该编码处理。

当编码处理开始时，在步骤S101中，可伸缩编码装置100的编码控制部102将第一层作为目标来处理。

在步骤S102中，编码控制部102确定作为处理目标的当前层是否为基本层。当确定当前层为基本层时，处理进行到步骤S103。

在步骤S103中，基本层图像编码部103进行基本层编码处理。当步骤S103的处理结束时，处理进行到步骤S107。

另外，在步骤S102中，当确定当前层为增强层时，处理进行到步骤S104。在步骤S104中，编码控制部102决定与当前层对应的基本层(换言之，作为参考目的地)。

在步骤S105中，像素填充部104进行像素填充控制信息设定处理。

在步骤S106中，增强层图像编码部105进行增强层编码处理。当步骤S106的处理结束时，处理进行到步骤S107。

在步骤S107中，编码控制部102确定是否所有的层都被处理了。当确定存在未处理的层时，处理进行到步骤S108。

在步骤S108中，编码控制部102将下一未处理的层设定为处理目标(当前层)。当步骤S108的处理结束时，处理返回至步骤S102。重复进行步骤S102至步骤S108的处理以对各层进行编码。

然后，当在步骤S107中确定处理了所有的层时，编码处理结束。

<基本层编码处理的流程>

接着，将参照图17的流程图来描述图16的步骤S103中执行的基本层编码处理的流程的示例。

在步骤S121中，基本层图像编码部103的A/D转换部111对基本层的输入图像信息(图像数据)进行A/D转换。在步骤S122中，画面重新排序缓冲器112存储经受过A/D转换的基本层的图像信息(数字数据)，并且将以显示顺序布置的图片以编码顺序进行重新排序。

在步骤S123中，帧内预测部124以帧内预测模式进行帧内预测处理。在步骤S124中，运动预测/补偿部125进行以帧间预测模式进行运动预测和运动补偿的运动预测/补偿处理。在步骤S125中，预测图像选择部126基于从帧内预测部124和运动预测/补偿部125输出的代价函数值来决定最佳模式。换言之，预测图像选择部126或者选择由帧内预测部124生成的预测图像，或者选择由运动预测/补偿部125生成的预测图像。在步骤S126中，操作部113计算在步骤S122的处理中重新排序的图像与在步骤S125的处理中所选择的预测图像之间的差。差分数据的数据量小于原始图像数据的数据量。因此，与没有变化地将图像进行编码相比，可以将数据量压缩得更小。

在步骤S127中，正交变换部114对在步骤S126的处理中生成的差分信息进行正交变换处理。在步骤S128中，量化部115使用由速率控制部127计算的量化参数对在步骤S127的处理中获得的正交变换系数进行量化。

在步骤S128的处理中量化的差分信息被如下地本地解码。换言之，在步骤S129中，逆量化部118根据与量化部115的特性对应的特性对在步骤S128的处理中被量化的被量化的系数(还称为“量化系数”)进行逆量化。在步骤S130中，逆正交变换部119对在步骤S127的处理中获得的正交变换系数进行逆正交变换。在步骤S131中，操作部120通过将预测图像加上本地解码的差分信息来生成本地解码图像(与操作部113的输入对应的图像)。

在步骤S132中，环路滤波器121对在步骤S131的处理中生成的图像进行滤波。作为结果，例如，去除了块失真。在步骤S133中，帧存储器122存储例如在步骤S132的处理中删除了块失真的图像。未经受由环路滤波器121进行的滤波处理的图像也从操作部120提供并且存储在帧存储器122中。存储在帧存储器122中的图像在步骤S123的处理中或步骤S124的处理中被使用。

在步骤S134中，像素填充部104的上采样部151对基本层的解码图像进行上采样。

在步骤S135中，像素填充部104的基本层像素存储器152存储从步骤S134的处理中获得的经上采样的图像。

在步骤S136中，基本层图像编码部103的无损编码部116对在步骤S128的处理中被量化的系数进行编码。换言之，对与差分图像对应的数据进行无损编码比如可变长编码或算术编码。

此时，无损编码部116对与在步骤S125的处理中选择的预测图像的预测模式相关的信息进行编码，并且将编码后的信息添加至通过对差分图像进行编码而获得的编码数据。换言之，例如，无损编码部116还对从帧内预测部124提供的最佳帧内预测模式信息或从运动预测/补偿部125提供的最佳帧间预测模式信息进行编码，并且将该编码后的信息添加至编码数据。

在步骤S137中，累积缓冲器117将在步骤S136的处理中获得的基本层编码数据进行累积。在累积缓冲器117中累积的基本层编码数据经由传送路径或记录介质被适当地读取并传送至解码侧。

在步骤S138中，速率控制部127基于在步骤S137中在累积缓冲器117中累积的编码数据的编码量(生成的编码量)来控制量化部115的量化操作，以使得不发生溢出或下溢。

当步骤S138的处理结束时，基本层编码处理结束，并且处理返回至图16的处理。基本层编码处理以例如图片为单位来执行。换言之，对当前层的每个图片执行基本层编码处理。然而，在增强层编码处理中包括的每个处理以其处理单元进行。

<像素填充控制信息设定处理的流程>

接着，将参照图18描述在图16的步骤S105中执行的像素填充控制信息设定处理的流程的示例。

当像素填充控制信息设定处理开始时，在步骤S151中，像素填充部104的像素填充控制信息设定部153的Constrained_ipred设定部171设定受限帧内控制信息(constrained_intra_pred_flag)。

在步骤S152中，基本层像素填充控制信息设定部172确定在步骤S151中设定的受限帧内控制信息(constrained_intra_pred_flag)的值是否为“1”。当确定该值为“1”时，处理进行到步骤S153。

在步骤S153中，基本层像素填充控制信息设定部172设定基本层像素填充控制信息(fill_with_baselayer_pixel_flag)。当步骤S153的处理结束时，像素填充控制信息设定处理结束，并且处理返回至图16的处理。

另外，在步骤S152中，当确定受限帧内控制信息(constrained_intra_pred_flag)的值为“0”时，步骤S153的处理被跳过，像素填充控制信息设定处理结束，然后，处理返回至图16的处理。

<增强层编码处理的流程>

接着，将参照图19的流程图来描述在图16的步骤S106中进行的增强层编码处理的流程的示例。

增强层编码处理的步骤S171和步骤S172以及步骤S174至步骤S186的处理以与图17的基本层编码处理的步骤S121和步骤S122、步骤S124至步骤S133以及步骤S136至步骤S138的处理相同的方式执行。然而，增强层编码处理的处理是由增强层图像编码部105的每个处理部来对增强层图像信息进行的。

请注意，在步骤S173中，增强层图像编码部105的帧内预测部134和像素填充部104对增强层图像信息进行帧内预测处理。后面将描述这种帧内预测处理的详情。

当步骤S186的处理结束时，增强层编码处理结束，并且处理返回至图16的处理。增强层编码处理以例如图片为单位执行。换言之，增强层编码处理针对当前层的每个图片来执行。然而，增强层编码处理中包括的每个处理以其处理单元来进行。

<帧内预测处理的流程>

接着，将参照图20的流程图来描述在图19的步骤S173中执行的帧内预测处理的流程的示例。

当帧内预测处理开始时，在步骤S201中，可用性确定部154确定受限帧内控制信息(constrained_intra_pred_flag)的值是否为“1”。当确定该值为“1”时，处理进行到步骤S202。

在步骤S202中，可用性确定部154获取增强层参考图像。

在步骤S203中，可用性确定部154确定在步骤S202中获取的增强层参考图像中包括的周围像素的可用性。换言之，可用性确定部154确定在增强层的周围像素中是否存在不可用像素。当确定存在不可用像素时，处理进行到步骤S204。

在步骤S204中，填充像素生成部155确定基本层像素填充控制信息(fill_with_baselayer_pixel_flag)的值是否为“1”。当确定该值为“1”时，处理进行到步骤S205。

在步骤S205中，填充像素生成部155获取存储在基本层像素存储器152中的经上采样的基本层的图像。

在步骤S206中，填充像素生成部155使用从步骤S205的处理获取的经上采样的基本层的图像来生成填充像素。当步骤S206的处理结束时，处理进行到步骤S209。

另外，当在步骤S204中确定基本层像素填充控制信息(fill_with_baselayer_pixel_flag)的值为“0”时，处理进行到步骤S207。

在步骤S207中，填充像素生成部155获取存储在增强层图像编码部105的帧存储器122中的增强层参考图像。

在步骤S208中，填充像素生成部155使用从步骤S207的处理获取的增强层参考图像来生成填充像素。当步骤S208的处理结束时，处理进行到步骤S209。

在步骤S209中，填充像素生成部155将在步骤S206或步骤S208中生成的填充像素提供至增强层图像编码部105的帧内预测部134，以用填充像素来填充增强层的不可用周围像素。

在步骤S210中，增强层图像编码部105的帧内预测部134以各帧内预测模式生成预测图像。

在步骤S211中，增强层图像编码部105的帧内预测部134计算在步骤S210中生成的各帧内预测模式的预测图像的代价函数值，并且基于该值来选择最佳的帧内预测模式(还称为最佳帧内预测模式)。

当步骤S211的处理结束时，帧内预测处理结束，并且处理返回至图19的处理。

通过执行如上所述的处理，可伸缩编码装置100能够抑制由于编码和解码而导致的编码效率的下降和图像质量的劣化。

<2.第二实施例>

<可伸缩解码装置>

接着，将描述对经受过如上所述的可伸缩视频编码的编码数据(比特流)进行解码。图21是示出了与图12的可伸缩编码装置100对应的可伸缩解码装置的主要配置的示例的框图。例如，图21中示出的可伸缩解码装置200对编码数据进行可伸缩解码，该编码数据是根据与该编码方法对应的方法通过可伸缩编码装置100对图像数据进行可伸缩编码而获得的。

如图21所示，可伸缩解码装置200具有通用信息获取部201、解码控制部202、基本层图像解码部203、像素填充部204、以及增强层图像解码部205。

通用信息获取部201获取从编码侧传送的通用信息(例如，视频参数集合(VPS))。通用信息获取部201从所获取的通用信息中提取与解码相关的信息，并且将该信息提供至解码控制部202。另外，通用信息获取部201适当地将通用信息的部分或全部提供至基本层图像解码部203至增强层图像解码部205。

解码控制部202获取从通用信息获取部201提供的与解码相关的信息，并且基于该信息，通过控制基本层图像解码部203至增强层图像解码部205来控制对每个层进行解码。

基本层图像解码部203是与基本层图像编码部103对应的图像解码部，并且获取例如通过基本层图像编码部103对基本层图像信息进行编码而获得的基本层编码数据。基本层图像解码部203在不使用另一层的信息的情况下对基本层编码数据进行解码以重建基本层图像信息并输出数据。另外，基本层图像解码部203将在解码过程中获得的基本层解码图像提供至像素填充部204。

当在帧内预测中由增强层图像解码部205使用受限帧内时，像素填充部204进行与周围像素的填充相关的处理。例如，像素填充部204从基本层图像解码部203获取基本层的解码后的图像，并且用基本层的像素来填充增强层的不可用周围像素。像素填充部204将针对周围像素的填充像素提供至增强层图像解码部205。

增强层图像解码部205是与增强层图像编码部105对应的图像解码部，并且获取例如通过增强层图像编码部105对增强层图像信息进行编码而获得的增强层编码数据。增强层图像解码部205对增强层编码数据进行解码。在解码过程中，当通过进行帧内预测来生成当前块的预测图像时，增强层图像解码部205将增强层的周围像素提供至像素填充部204。另外，增强层图像解码部205从像素填充部204获取针对当前块的周围像素的填充像素。增强层图像解码部205使用填充像素进行帧内预测，然后，生成预测图像，使用预测图像来重建增强层图像信息，然后输出该信息。

<基本层图像解码部>

图22是示出了图21的基本层图像解码部203的主要配置的示例的框图。如图22所示，基本层图像解码部203包括累积缓冲器211、无损解码部212、逆量化部213、逆正交变换部214、操作部215、环路滤波器216、画面重新排序缓冲器217、以及D/A转换部218。基本层图像解码部203还包括帧存储器219、选择部220、帧内预测部221、运动补偿部222、以及选择部223。

累积缓冲器211是接收所传送的基本层编码数据的接收部。累积缓冲器211接收并累积所传送的基本层编码数据，并且在某一时刻将该编码数据提供至无损解码部212。对预测模式信息进行解码所必要的信息等被添加至基本层编码数据。

无损解码部212根据与无损编码部116的编码方案对应的方案对由无损编码部116进行了编码并且从累积缓冲器211提供的信息进行解码。无损解码部212将通过解码而获得的差分图像的被量化的系数数据提供至逆量化部213。

此外，无损解码部212适当地提取并获取NAL单元，NAL单元包括基本层编码数据中包括的视频参数集合(VPS)、序列参数集合(SPS)、图片参数集合(PPS)等。无损解码部212从该信息中提取与最佳预测模式相关的信息，基于该信息来确定选择了帧内预测模式和帧间预测模式中的哪一种模式作为最佳预测模式，并且将与该最佳预测模式相关的信息提供至与确定选择了该模式对应的帧内预测部221和运动补偿部222之一。换言之，例如，在基本层图像编码部103中，当选择帧内预测模式作为最佳预测模式时，与最佳预测模式相关的信息被提供至帧内预测部221。此外，例如，在基本层图像编码部103中，当选择帧间预测模式作为最佳预测模式时，与最佳预测模式相关的信息被提供至运动补偿部222。

此外，无损解码部212从NAL单元中提取进行逆量化所必要的信息，比如量化矩阵或量化参数，并且将所提取的信息提供至逆量化部213。

逆量化部213根据与量化部115的量化方案对应的方案对通过由无损解码部212进行的解码而获得的被量化的系数数据进行逆量化。逆量化部213是与逆量化部118相同的处理部。换言之，对逆量化部213的描述同样能够应用于逆量化部118。这里，有必要根据装置适当地改变并读取数据输入/输出目的地等。逆量化部213将所获得的系数数据提供至逆正交变换部214。

逆正交变换部214根据与正交变换部114的正交变换方案对应的方案对从逆量化部213提供的系数数据进行逆正交变换。逆正交变换部214是与逆正交变换部119相同的处理部。换言之，对逆正交变换部214的描述同样能够应用于逆正交变换部119。这里，有必要根据装置适当地改变并读取数据输入/输出目的地等。

逆正交变换部214通过逆正交变换处理获得经解码的残留数据，该经解码的残留数据对应于未经受正交变换部114的正交变换的残留数据。通过逆正交变换获得的经解码的残留数据被提供至操作部215。此外，从帧内预测部221或运动补偿部222经由选择部223将预测图像提供至操作部215。

操作部215添加解码后的残留数据和预测图像，并获得与没有由操作部113根据其提取预测图像的图像数据对应的解码后的图像数据。操作部215将解码后的图像数据提供至环路滤波器216。

环路滤波器216对所提供的解码图像适当地进行滤波处理比如去块滤波或自适应环路滤波，并且将产生的图像提供至画面重新排序缓冲器217和帧存储器219。例如，环路滤波器216通过对解码图像进行去块滤波处理来去除解码后的图像的块失真。此外，例如，环路滤波器216通过使用维纳滤波器对去块滤波处理结果(从其去除了块失真的解码后的图像)进行环路滤波处理来改进图像质量。环路滤波器216是与环路滤波器121相同的处理部。

此外，可以在没有环路滤波器216的干预的情况下将从操作部215输出的解码图像提供至画面重新排序缓冲器217或帧存储器219。换言之，可以省略由环路滤波器216进行的部分或全部滤波处理。

画面重新排序缓冲器217对解码后的图像进行重新排序。换言之，由画面重新排序缓冲器112将以编码顺序重新排序的帧的顺序按照原始显示顺序重新排序。D/A转换部218对从画面重新排序缓冲器217提供的图像进行D/A转换，并输出要显示在显示器(未示出)上的经转换的图像。

例如，帧存储器219存储所提供的解码图像，并且在某一时刻或基于外部请求而将所存储的解码图像从帧内预测部221、运动补偿部222等提供至选择部220作为参考图像。

选择部220选择从帧存储器219提供的参考图像的提供目的地。当通过帧内编码来进行编码的图像被解码时，选择部220将从帧存储器219提供的参考图像提供至帧内预测部221。此外，当通过帧间编码来编码的图像被解码时，选择部220将从帧存储器219提供的参考图像提供至运动补偿部222。

例如，指示通过对头部信息进行解码而获得的帧内预测模式的信息被适当地从无损解码部212提供至帧内预测部221。帧内预测部221以在帧内预测部124中使用的帧内预测模式通过使用从帧存储器219获取的参考图像来进行帧内预测以生成预测图像。帧内预测部221将生成的预测图像提供至选择部223。

运动补偿部222从无损解码部212获取通过对头部信息进行解码而获得的信息(最佳预测模式信息、参考图像信息等)。

运动补偿部222以由从无损解码部212获取的最佳预测模式信息指示的帧间预测模式通过使用从帧存储器219获取的参考图像来进行运动补偿以生成预测图像。运动补偿部222将生成的预测图像提供至选择部223。

选择部223将从帧内预测部221提供的预测图像或从运动补偿部222提供的预测图像提供至操作部215。然后，操作部215将使用运动矢量生成的预测图像加上从逆正交变换部214提供的经解码的残留数据(差分图像信息)，以对原始图像进行解码。

请注意，帧存储器219将所存储的基本层解码图像提供至像素填充部204。

<增强层图像编码部>

图23是示出了图21的增强层图像解码部205的主要配置示例的框图。如图23所示，增强层图像解码部205基本上具有与图22的基本层图像解码部203相同的配置。

然而，增强层图像解码部205的各部分进行处理以针对增强层编码数据而不是基本层编码数据进行解码。换言之，增强层图像解码部205的累积缓冲器211存储增强层编码数据，并且增强层图像解码部205的D/A转换部218将增强层图像信息输出至例如未示出的后一级中设置的记录装置(记录介质)、传送路径等。

另外，增强层图像解码部205具有帧内预测部231而不是帧内预测部221。

帧内预测部231获取由像素填充部204生成的填充像素，使用用填充像素填充的当前块的周围像素进行增强层的帧内预测，并由此生成预测图像。帧内预测以与由帧内预测部221进行的帧内预测相同的方式进行。

请注意，帧存储器219将所存储的解码后的图像(增强层解码图像)提供至像素填充部204。另外，无损解码部212将从编码侧传送的受限帧内控制信息(constrained_intra_pred_flag)和基本层像素填充控制信息(fill_with_baselayer_pixel_flag)提供至像素填充部204。例如，无损解码部212从编码侧传送的图片参数集合(PPS)中提取受限帧内控制信息(constrained_intra_pred_flag)和基本层像素填充控制信息(fill_with_baselayer_pixel_flag)的编码数据，并且将该数据提供至像素填充部204。

<像素填充部>

图24是示出了图21的像素填充部204的主要配置示例的框图。

如图24所示，像素填充部204具有上采样部251、基本层像素存储器252、像素填充控制信息解码部253、可用性确定部254、以及填充像素生成部255。

上采样部251进行基本层解码图像的上采样处理(转换处理)。如图24所示，上采样部251具有上采样率设定部261、解码图像缓冲器262、以及滤波部263。

上采样率设定部261设定基本层解码图像的上采样处理的上采样率。上采样率设定部261从例如增强层图像解码部205的无损解码部212获取增强层的分辨率。另外，上采样率设定部261从基本层图像解码部203(例如，无损解码部212等)获取基本层的分辨率。上采样率设定部261基于该信息来设定上采样率。换言之，上采样率设定部261能够根据基本层与增强层之间的分辨率比值来设定上采样率。因此，上采样部251能够以根据基本层与增强层的分辨率比值的比值对基本层解码图像进行上采样处理。上采样率设定部261将所设定的上采样率提供至滤波部263。

解码图像缓冲器262存储从基本层图像解码部203的帧存储器219提供的基本层解码图像。解码图像缓冲器262将所存储的基本层解码图像提供至滤波部263。

滤波部263以从上采样率设定部261提供的上采样率对从解码图像缓冲器262读取的基本层解码图像进行上采样处理。滤波部263将所获得的经上采样的图像提供至基本层像素存储器252。

基本层像素存储器252存储从滤波部263提供的经上采样的图像。基本层像素存储器252将所存储的经上采样的图像提供至填充像素生成部255。

像素填充控制信息解码部253获取从编码侧传送的从增强层图像解码部205的无损解码部212提供的与像素填充相关的控制信息的编码数据并对该数据进行解码。如图24所示，像素填充控制信息解码部253具有Constrained_ipred解码部271和基本层像素填充控制信息解码部272。

Constrained_ipred解码部271获取从增强层图像解码部205的无损解码部212提供的受限帧内控制信息(constrained_intra_pred_flag)的编码数据，并对该数据进行解码。

Constrained_ipred解码部271将所获得的受限帧内控制信息(constrained_intra_pred_flag)提供至基本层像素填充控制信息解码部272。另外，Constrained_ipred解码部271还将所获得的受限帧内控制信息(constrained_intra_pred_flag)提供至可用性确定部254。

当从Constrained_ipred解码部271提供的受限帧内控制信息(constrained_intra_pred_flag)的值为“1”时，基本层像素填充控制信息解码部272获取从增强层图像解码部205的无损解码部212提供的基本层像素填充控制信息(fill_with_baselayer_pixel_flag)的编码数据并对该数据进行解码。基本层像素填充控制信息解码部272将所获得的基本层像素填充控制信息(fill_with_baselayer_pixel_flag)提供至填充像素生成部255。

当从Constrained_ipred解码部271提供的受限帧内控制信息(constrained_intra_pred_flag)的值为“1”时，可用性确定部254从增强层图像解码部205的帧存储器219获取增强层参考图像。增强层参考图像包括用于要由增强层图像解码部205的帧内预测部231进行的帧内预测的当前块的周围像素。可用性确定部254确定周围像素的可用性。可用性确定部254将确定结果(可用性)提供至填充像素生成部255。

填充像素生成部255基于从可用性确定部254提供的确定结果来确定是否存在不可用周围像素，并且当确定存在一个不可用周围像素时，生成用于填充不可用周围像素的填充像素。

此时，当从基本层像素填充控制信息解码部272提供的基本层像素填充控制信息(fill_with_baselayer_pixel_flag)的值为“1”时，填充像素生成部255使用基本层的像素来生成填充像素。换言之，填充像素生成部255从基本层像素存储器252读取经上采样的图像，然后使用与不可用周围像素对应的基本层的像素的像素值来生成填充像素。

另外，当从基本层像素填充控制信息解码部272提供的基本层像素填充控制信息(fill_with_baselayer_pixel_flag)的值为“0”时，填充像素生成部255使用增强层的像素来生成填充像素。换言之，填充像素生成部255从增强层图像解码部205的帧存储器219获取增强层参考图像，然后使用增强层参考图像中包括的不可用像素的像素值来生成填充像素。

填充像素生成部255将如上生成的填充像素提供至增强层图像解码部205的帧内预测部231。帧内预测部231使用所提供的填充像素进行帧内预测并由此生成预测图像。

如上所述，可伸缩解码装置200能够在对增强层进行解码的帧内预测中用基本层的像素来填充不可用周围像素，因此，能够在受限帧内的情况下抑制预测准确度的劣化和编码效率的下降。由此，可伸缩解码装置200能够抑制由于编码和解码而导致的图像质量的劣化。

<解码处理的流程>

接着，将描述由如上所述的可伸缩解码装置200执行的每个处理的流程。首先，将参照图25的流程图来描述解码处理的流程的示例。可伸缩解码装置200针对每个图片来执行该解码处理。

当解码处理开始时，可伸缩解码装置200的解码控制部202以第一层作为步骤S301中的处理的目标。

在步骤S302中，解码控制部202确定是否待处理的当前层为基本层。当确定当前层为基本层时，处理进行到步骤S303。

在步骤S303中，基本层图像解码部203进行基本层解码处理。当步骤S303的处理结束时，处理进行到步骤S307。

另外，当在步骤S302中确定当前层为增强层时，处理进行到步骤S304。在步骤S304中，解码控制部202决定与当前层对应的基本层(换言之，作为参考目的地)。

在步骤S305中，像素填充部204进行像素填充控制信息设定处理。

在步骤S306中，增强层图像解码部205进行增强层解码处理。当步骤S306的处理结束时，处理进行到步骤S307。

在步骤S307中，解码控制部202确定是否处理了所有的层。当确定存在未处理的层时，处理进行到步骤S308。

在步骤S308中，解码控制部202将下一未处理的层设定为处理目标(当前层)。当步骤S308的处理结束时，处理返回至步骤S302。重复进行步骤S302至步骤S308的处理以对各层进行解码。

然后，当在步骤S307中确定处理了所有的层时，解码处理结束。

<基本层解码处理的流程>

接着，将参照图26的流程图来描述图25的步骤S303中进行的基本层解码处理的流程的示例。

当基本层解码处理开始时，在步骤S321中，基本层图像解码部203的累积缓冲器211累积从编码侧传送的基本层的比特流。在步骤S322中，无损解码部212对从累积缓冲器211提供的基本层的比特流(编码后的差分图像信息)进行解码。换言之，将由无损编码部116编码了的I图片、P图片以及B图片进行解码。此时，还将比特流中包括的差分图像信息以外的各种各样的信息比如头部信息进行解码。

在步骤S323中，逆量化部213将在步骤S322的处理中获得的被量化的系数进行逆量化。

在步骤S324中，逆正交变换部214对当前块(当前TU)进行逆正交变换。

在步骤S325中，帧内预测部221或运动补偿部222进行预测处理，并生成预测图像。换言之，以确定在无损解码部212进行编码时应用的预测模式进行预测处理。更具体而言，例如，当编码时应用帧内预测时，帧内预测部221以在编码时被识别为最佳的帧内预测模式生成预测图像。此外，例如，当编码时应用帧间预测时，运动补偿部222以在编码时被识别为最佳的帧间预测模式生成预测图像。

在步骤S326中，操作部215将步骤S325中生成的预测图像加上由步骤S324的逆正交变换处理生成的差分图像信息。作为结果，原始图像被解码。

在步骤S327中，环路滤波器216适当地对步骤S326中获得的解码图像进行环路滤波处理。

在步骤S328中，画面重新排序缓冲器217将经受过步骤S327中的滤波处理的图像进行重新排序。换言之，通过画面重新排序缓冲器112的为了编码而重新排序的帧的顺序以原始显示顺序被重新排序。

在步骤S329中，D/A转换部218对在步骤S328中其帧的顺序被重新排序的图像进行D/A转换。该图像被输出至显示器(未示出)，并且该图像被显示。

在步骤S330中，帧存储器219存储经受过步骤S327中的环路滤波处理的解码图像。

在步骤S331中，像素填充部204的上采样部251对经受过步骤S327中的环路滤波处理的基本层解码图像在空间方向上以基本层与增强层之间的上采样率比值进行上采样处理。

在步骤S332中，像素填充部204的基本层像素存储器252存储在步骤S331中获得的基本层的经上采样的图像。

当步骤S332的处理结束时，基本层解码处理结束，并且处理返回至图25的处理。基本层解码处理以例如图片为单位来执行。换言之，基本层解码处理针对当前层的每个图片来执行。然而，增强层编码处理中包括的每个处理以其处理单元来进行。

<像素填充控制信息解码处理的流程>

接着，将参照图27描述在图25的步骤S305中执行的像素填充控制信息解码处理的流程的示例。

当像素填充控制信息解码处理开始时，在步骤S351中，像素填充部204的像素填充控制信息解码部253的Constrained_ipred解码部271对从编码侧传送的受限帧内控制信息(constrained_intra_pred_flag)进行解码。

在步骤S352中，基本层像素填充控制信息解码部272确定在步骤S351中获得的受限帧内控制信息(constrained_intra_pred_flag)的值是否为“1”。当确定该值为“1”时，处理进行到步骤S353。

在步骤S353中，基本层像素填充控制信息解码部272对从编码侧传送的基本层像素填充控制信息(fill_with_baselayer_pixel_flag)进行解码。当步骤S353的处理结束时，像素填充控制信息解码处理结束，并且处理返回至图25的处理。

另外，当在图27的步骤S352中确定从编码侧传送的受限帧内控制信息(constrained_intra_pred_flag)的值为“0”时，步骤S353的处理被跳过，像素填充控制信息解码处理结束，并且处理返回至图25的处理。

<增强层解码处理的流程>

接着，将参照图28的流程图来描述在图25的步骤S306中执行的增强层解码处理的流程的示例。

增强层解码处理的步骤S371至步骤S374以及步骤S376至步骤S380的各处理以与基本层解码处理的步骤S321至步骤S324以及步骤S326至步骤S330的各处理相同的方式执行。然而，增强层解码处理的各处理由增强层图像解码部205的各处理单元对增强层编码数据进行。

请注意，在步骤S375中，增强层图像解码部205的帧内预测部231和运动补偿部222以及像素填充部204对增强层编码数据进行预测处理。

当步骤S380的处理结束时，增强层解码处理结束，并且处理返回至图25的处理。增强层解码处理以例如图片为单位来执行。换言之，对当前层的每个图片进行增强层解码处理。然而，增强层编码处理中包括的每个处理以其处理单元来进行。

<预测处理的流程>

接着，将参照图29的流程图来描述在图28的步骤S375中执行的预测处理的流程的示例。

当预测处理开始时，在步骤S401中，增强层图像解码部205的帧内预测部231确定预测模式是否为帧内预测。当确定预测模式为帧内预测时，处理进行到步骤S402。

在步骤S402中，帧内预测部231和像素填充部204进行帧内预测处理。当帧内预测处理结束时，预测处理结束，并且处理返回至图28的处理。

另外，当在步骤S401中确定预测模式为帧间预测时，处理进行到步骤S403。在步骤S403中，运动补偿部222以最佳帧间预测模式即在编码时采用的帧间预测模式进行运动补偿，并由此生成预测图像。当步骤S403的处理结束时，预测处理结束，并且处理返回至图28的处理。

<帧内预测处理的流程>

接着，将参照图30的流程图来描述图29的步骤S402中执行的帧内预测处理的流程的示例。

当帧内预测处理开始时，在步骤S421中，可用性确定部254确定受限帧内控制信息(constrained_intra_pred_flag)的值是否为“1”。当确定值为“1”时，处理进行到步骤S422。

在步骤S422中，可用性确定部254获取增强层参考图像。

在步骤S423中，可用性确定部254确定在步骤S422中获取的增强层参考图像中包括的周围像素的可用性。换言之，可用性确定部254确定在增强层的周围像素中是否存在不可用像素。当确定存在不可用像素时，处理进行到步骤S424。

在步骤S424中，填充像素生成部255确定基本层像素填充控制信息(fill_with_baselayer_pixel_flag)的值是否为“1”。当确定值为“1”时，处理进行到步骤S425。

在步骤S425中，填充像素生成部255获取经上采样的基本层的图像。

在步骤S426中，填充像素生成部255使用从步骤S425的处理获取的经上采样的基本层的图像来生成填充像素。当步骤S426的处理结束时，处理进行到步骤S429。

另外，当在步骤S424中确定基本层像素填充控制信息(fill_with_baselayer_pixel_flag)的值为“0”时，处理进行到步骤S427。

在步骤S427中，填充像素生成部255获取增强层参考图像。

在步骤S428中，填充像素生成部255使用从步骤S427的处理获取的增强层参考图像来生成填充像素。当步骤S428的处理结束时，处理进行到步骤S429。

在步骤S429中，填充像素生成部255将在步骤S426或步骤S428中生成的填充像素提供至增强层图像解码部205的帧内预测部231，并由此用填充像素来填充增强层的不可用周围像素。

在步骤S430中，增强层图像解码部205的帧内预测部231以最佳帧内预测模式即在编码时采用的帧内预测模式生成预测图像。

当步骤S430的处理结束时，帧内预测处理结束，并且处理返回至图29的处理。

通过执行上述处理中的每个处理，可伸缩解码装置200能够抑制由于编码和解码而导致的编码效率的下降和图像质量的劣化。

<3.其他>

虽然以上描述了通过可伸缩视频编码将图像数据层次化为多个层的示例，但是层的数目是任意的。例如，可以将某些图片如图31的示例中示出的那样层次化。此外，虽然以上描述了在编码和解码时使用基本层的信息来处理增强层的示例，但是本技术不限于该示例，并且可以使用任何其他处理过的增强层的信息来处理增强层。

此外，如上所述的层还包括多视图图像编码和解码中的视图。换言之，本技术能够应用于多视图图像编码和多视图图像解码。图32示出了多视图图像编码方案的示例。

如图32所示，多视图图像包括多个视图的图像，并且多个视图之中的一个预定视图的图像被指定为基本视图的图像。基本视图的图像以外的各视图的图像被当做非基本视图的图像来处理。

当如图32中的多视图图像被编码和解码时，各视图的图像被编码和解码，但是上述方法可以应用于对各视图进行编码和解码。换言之，在这样的多视图编码和解码中，可以将运动信息等设定为被多个视图所共享。

例如，对于基本视图，可以将针对预测运动信息的候选设定为只使用这一视图的运动信息来生成，而对于非基本视图，可以将预测运动信息设定为还使用基本视图的运动信息来生成。

如同在上述分层编码和解码中一样，在多视图编码和解码中也能够通过该操作来抑制编码效率的下降。

如上所述，本技术能够应用于基于可伸缩编码和解码的所有的图像编码装置和所有的图像解码装置。

例如，本技术能够应用于当经由网络介质比如卫星广播、有线电视、因特网或移动电话接收到通过正交变换比如如MPEG和H.26x中的离散余弦变换和运动补偿来压缩的图像信息(比特流)时使用的图像编码装置和图像解码装置。此外，本技术能够应用于当在存储介质比如光盘、磁盘或闪存上进行处理时使用的图像编码装置和图像解码装置。

<4.第三实施例>

<计算机>

可以通过硬件来执行上述一系列过程，或者可以通过软件来执行上述一系列过程。当通过软件来执行该一系列过程时，将形成该软件的程序安装至计算机中。这里，计算机包括其中结合了专用硬件的计算机或者能够通过安装各种程序来执行各种功能的通用个人计算机(PC)。

图33是示出了用于通过程序来执行上述一系列过程的计算机的硬件的配置示例的框图。

在图33中示出的计算机800中，由总线804将中央处理单元(CPU)801、只读存储器(ROM)802、以及随机存取存储器(RAM)803彼此连接。

输入和输出接口(I/F)810还连接至总线804。输入部811、输出部812、存储部813、通信部814以及驱动器815连接至输入和输出I/F 810。

输入部811由键盘、鼠标、麦克风、触摸板、输入终端等形成。输出部812由显示器、扬声器、输出终端等形成。存储部813由硬盘、非易失性存储器等形成。通信部814由网络接口等形成。驱动器815驱动可移除介质821比如磁盘、光盘、磁光盘或半导体存储器。

在如上所述配置的计算机中，CPU 801将存储在存储部813中的程序经由输入和输出I/F 810和总线804加载到RAM 803中，并且执行该程序，以使上述一系列的过程被执行。RAM 803还存储CPU 801执行各种处理所必要的数据。

由计算机800(CPU 801)执行的程序可以通过记录在作为封装式介质等的可移除介质821上来提供。程序还能够经由有线或无线传输介质比如局域网、因特网或数码卫星广播来应用。

在计算机中，通过将可移除介质821加载到驱动器815中，可以将程序经由输入和输出I/F 810安装到存储部813中。还可以使用通信部814从有线或无线传输介质接收程序，并且将该程序安装到存储部813中。作为另一替代方案，可以将程序事先安装到ROM 802或存储部813中。

应该注意的是，由计算机执行的程序可以是按照根据在本说明书中描述的序列的时间顺序进行处理的程序，或者可以是并行或在需要时刻比如在调用时进行处理的程序。

在本公开中，描述记录在记录介质上的程序的步骤可以包括根据描述顺序的时间顺序进行的处理以及并行或者独立地进行而不是按照时间顺序处理的处理。

另外，在本公开中，***意味着多个元件(装置、模块(部分)等)的集合，而不考虑所有的元件是否被布置在单个壳体中。因此，被容置在分离壳体中并且经由网络连接的多个装置以及其中将多个模块容置在单个壳体中的单个装置二者都是***。

此外，可以将以上描述为单个装置(或处理单元)的元件划分为和配置为多个装置(或处理单元)。相比之下，可以将以上描述为多个装置(或者处理单元)的元件共同地配置为单个装置(或处理单元)。此外，可以将不同于上述元件的元件添加至每个装置(或处理单元)。此外，可以将给定装置(或者处理单元)的元件的一部分包括在另一装置(或者另一处理单元)的元件中，只要该***的配置或者操作总体上基本相同即可。

以上参照附图描述了本公开的优选实施例，而本发明当然不限于以上示例。本领域普通技术人员可以在所附权利要求的范围内找到各种替代和修改，从而应当理解，这些替代和修改自然将归入本公开的技术范围。

例如，本公开可以采用由多个装置通过网络而分配并且连接一个功能来进行处理的云计算的配置。

此外，可以通过一个装置或者可以通过分配多个装置来执行由以上提到的流程图描述的每个步骤。

另外，在一个步骤中包括多个处理的情况下，可以通过一个装置或者通过分配多个装置来执行此一个步骤中包括的多个处理。

根据实施例的图像编码装置和图像解码装置可以应用于各种电子设备，比如：发射器和接收器，该发射器和接收器用于卫星广播和比如有线TV的有线广播、因特网上的分发、以及经由蜂窝通信向终端的分发等；记录装置，该记录装置将图像记录在介质中，该介质比如光盘、磁盘或闪存；以及重现装置，该重现装置对来自这样的存储介质的图像进行重现。以下将描述四个应用。

<5.应用>

<第一应用：电视接收器>

图34示出了应用该实施例的电视装置的示意性配置的示例。电视装置900包括天线901、调谐器902、多路解复用器903、解码器904、视频信号处理部905、显示部906、音频信号处理部907、扬声器908、外部I/F 909、控制部910、用户I/F 911、以及总线912。

调谐器902从经由天线901接收到的广播信号提取期望信道的信号，并对所提取的信号进行解调。然后调谐器902将通过解调所获得的编码比特流输出至多路解复用器903。即，调谐器902起到电视装置900的传送单元的作用，该传送单元接收其中图像被编码的编码流。

多路解复用器903将编码比特流多路解复用以获得要被观看的节目的视频流和音频流，并且将通过多路解复用而获得的每个流输出至解码器904。多路解复用器903还从编码比特流中提取辅助数据比如电子节目导航(EPG)，并且将所提取的数据提供至控制部910。另外，多路解复用器903可以在编码比特流被加扰时对其进行解扰。

解码器904对从多路解复用器903输入的视频流和音频流进行解码。然后，解码器904将在解码处理过程中生成的视频数据输出至视频信号处理部905。解码器904还将在解码处理过程中生成的音频数据输出至音频信号处理部907。

视频信号处理部905对从解码器904输入的视频数据进行重现，并且使显示部906显示视频。视频信号处理部905还可以使显示部906显示经由网络提供的应用屏幕。此外，视频信号处理部905可以根据设定例如对视频数据进行另外的处理比如去除噪声。此外，视频信号处理部905可以生成图形用户I/F(GUI)的图像比如菜单、按钮和光标，并将生成的图像叠加在输出图像上。

显示部906被从视频信号处理部905提供的驱动信号驱动，并在显示装置的视频屏幕上显示视频或图像(例如液晶显示器、等离子体显示器、有机电致发光显示器(OLED)等)。

音频信号处理部907对从解码器904输入的音频数据进行重现处理比如D/A转换和放大，并从扬声器908输出声音。音频信号处理部907还可以对音频数据进行另外的处理比如去除噪声。

外部I/F 909为将电视装置900与外部装置或网络连接的I/F。例如，经由外部I/F 909接收到的视频流或音频流可以由解码器904进行解码。即，外部I/F 909还起到电视装置900的传送单元的作用，该传送单元用于接收其中图像被编码的编码流。

控制部910包括处理器比如中央处理单元(CPU)和存储器比如随机存取存储器(RAM)和只读存储器(ROM)。存储器存储由CPU执行的程序、节目数据、EPG数据、经由网络获取的数据等。例如，存储在存储器中的程序在电视装置900启动时被CPU读取并执行。例如，通过执行该程序，CPU根据从用户I/F 911输入的操作信号来控制电视装置900的操作。

用户I/F 911连接至控制部910。例如，用户I/F 911包括用于用户操作电视装置900的按钮和开关以及用于远程控制信号的接收部。用户I/F911经由这些结构元件检测用户的操作，生成操作信号，并将所生成的操作信号输出至控制部910。

总线912将调谐器902、多路解复用器903、解码器904、视频信号处理部905、音频信号处理部907、外部I/F 909、以及控制部910彼此连接。

根据以这种方式配置的电视装置900的实施例的解码器904具有可伸缩解码装置200的功能。因此，在电视装置900中解码图像时，能够实现对由于编码和解码而导致的编码效率的下降和图像质量的劣化的抑制。

<第二应用：移动电话>

图35示出了应用该实施例的移动电话的示意性配置的示例。移动电话920包括天线921、通信部922、音频编解码器923、扬声器924、麦克风925、摄像机部926、图像处理部927、多路解复用部928、记录/重现部929、显示部930、控制部931、操作部932、以及总线933。

天线921连接至通信部922。扬声器924和麦克风925连接至音频编解码器923。操作部932连接至控制部931。总线933将通信部922、音频编解码器923、摄像机部926、图像处理部927、多路解复用部928、记录/重现部929、显示部930、以及控制部931彼此连接。

移动电话920进行以下操作：比如发射和接收音频信号、发射和接收电子邮件或图像数据、捕获图像、以各种操作模式记录数据，该操作模式包括音频通话模式、数据通信模式、图像捕获模式、以及视频电话模式。

在音频通话模式中，由麦克风925生成的模拟音频信号被提供至音频编解码器923。音频编解码器923将模拟音频信号转换成音频数据，使经转换的音频数据经受A/D转换，并压缩经转换的数据。然后，音频编解码器923将经压缩的音频数据输出至通信部922。通信部922对音频数据进行编码和调制，并且生成发射信号。然后，通信部922经由天线921将生成的发射信号传送至基站(未示出)。通信部922还对经由天线921接收的无线信号进行放大，并转换无线信号的频率以获取接收信号。然后，通信部922对接收信号进行解调并进行解码，生成音频数据，并将生成的音频数据输出至音频编解码器923。音频编解码器923扩展音频数据，使音频数据经受D/A转换，并且生成模拟音频信号。然后，音频编解码器923将生成的音频信号提供至扬声器924来输出声音。

控制部931还根据由用户经由操作部932进行的操作例如写电子邮件来生成文本数据。而且，控制部931使显示部930显示文本。此外，控制部931根据经由操作部932来自用户的发射指令来生成电子邮件数据，并将生成的电子邮件数据输出至通信部922。通信部922对电子邮件数据进行编码和调制，并且生成发射信号。然后，通信部922经由天线921将生成的发射信号发射到基站(未示出)。通信部922还对经由天线921接收到的无线信号进行放大并且转换无线信号的频率以获取接收信号。然后，通信部922对接收信号进行解调并进行解码，以恢复电子邮件数据，并将恢复的电子邮件数据输出至控制部931。控制部931使显示部930显示电子邮件的内容，并且还使记录/重现部929的存储介质存储电子邮件数据。

记录/重现部929包括可读可写的存储介质。例如，存储介质可以为内置存储介质比如RAM和闪存，或外部安装式存储介质比如硬盘、磁盘、磁光盘、光盘、未分配空间位图(USB)存储器、以及存储卡。

此外，在图像捕获模式中，例如，摄像机部926捕获对象的图像以生成图像数据，并将生成的图像数据输出至图像处理部927。图像处理部927对从摄像机部926输入的图像数据进行编码，并将编码流存储在存储/重现部929的存储介质中。

此外，在视频电话模式中，例如，多路解复用部928对通过图像处理部927编码的视频流和从音频编解码器923输入的音频流进行多路解复用，并将多路复用流输出至通信部922。通信部922对该流进行编码和调制，并且生成发射信号。然后，通信部922经由天线921将生成的发射信号发射至基站(未示出)。通信部922还放大经由天线921接收到的无线信号，并转换该无线信号的频率以获取接收信号。这些发射信号和接收信号可以包括编码比特流。然后，通信部922对接收信号进行解调并进行解码以恢复流，并将经恢复的流输出至多路解复用部928。多路解复用部928将输入流进行多路解复用以获得视频流和音频流，并将视频流输出至图像处理部927并将音频流输出至音频编解码器923。图像处理部927对视频流进行解码，并且生成视频数据。视频数据被提供至显示部930，并且由显示部930显示一系列图像。音频编解码器923对音频流进行扩展，使音频流经受D/A转换，并且生成模拟音频信号。然后，音频编解码器923将生成的音频信号提供至扬声器924，并且输出声音。

根据以这种方式配置的移动电话920的实施例的图像处理部927具有可伸缩编码装置100和可伸缩解码装置200的功能。因此，在移动电话920中图像被编码和解码时，能够抑制由于编码和解码而导致的编码效率的下降和图像质量的劣化。

<第三应用：记录/重现装置>

图36示出了应用该实施例的记录/重现装置的示意性配置的示例。例如，记录/重现装置940对接收到的广播节目的音频数据和视频数据进行编码，并将编码后的音频数据和编码后的视频数据记录在记录介质中。例如，记录/重现装置940还可以对从另一装置获取的音频数据和视频数据进行编码，并将编码后的音频数据和编码后的视频数据记录在记录介质中。此外，例如，记录/重现装置940根据用户的指令，使用监视器或扬声器来重现记录在记录介质中的数据。此时，记录/重现装置940对音频数据和视频数据进行解码。

记录/重现装置940包括调谐器941、外部I/F 942、编码器943、硬盘驱动器(HDD)944、盘驱动器945、选择器946、解码器947、屏幕上显示器(OSD)948、控制部949、以及用户I/F 950。

调谐器941从经由天线(未示出)接收到的广播信号中提取期望信道的信号，并对所提取的信号进行解调。然后，调谐器941将通过解调而获得的编码比特流输出至选择器946。即，调谐器941起到记录/重现装置940的传送单元的作用。

外部I/F 942为用于将记录/重现装置940连接至外部装置或网络的I/F。例如，外部I/F 942可以为电气与电子工程师协会(IEEE)1394I/F、网络I/F、USB I/F、闪存I/F等。例如，经由外部I/F 942接收到的视频数据和音频数据被输入至编码器943。即，外部I/F 942起到记录/重现装置940的传送单元的作用。

当从外部I/F 942输入的视频数据和音频数据未被编码时，编码器943对该视频数据和音频数据进行编码。然后，编码器943将编码比特流输出至选择器946。

HDD 944将其中视频和声音的内容数据被压缩的编码比特流、各种程序以及其他条数据记录在内部硬盘中。当重现视频和音频时，HDD 944还从硬盘读取这些条数据。

盘驱动器945将数据记录到安装的记录介质中并且从该记录介质中读取数据。被安装在盘驱动器945上的记录介质可以为例如DVD盘(DVD-Video，DVD-RAM，DVD-R，DVD-RW，DVD+R，DVD+RW等)、蓝光(注册商标)盘等。

当记录视频或音频时，选择器946选择从调谐器941或编码器943输入的编码比特流，并将选定的编码比特流输出至HDD 944或盘驱动器945。当重现视频或音频时，选择器946将从HDD 944或盘驱动器945输入的编码比特流输出至解码器947

解码器947对编码比特流进行解码，并且生成视频数据和音频数据。然后，解码器947将生成的视频数据输出至OSD 948，解码器904还将生成的音频数据输出至外部扬声器。

OSD 948重现从解码器947输入的视频数据，并显示视频。OSD 948还可以将GUI比如菜单、按钮和光标的图像叠加到所显示的视频上。

控制部949包括处理器比如CPU和存储器比如RAM和ROM。存储器存储由CPU执行的程序、程序数据等。例如，存储在存储器中的程序在记录/重现装置940启动时被CPU读取并执行。例如，通过执行该程序，CPU根据从用户I/F 950输入的操作信号来控制记录/重现装置940的操作。

用户I/F 950连接至控制单元949。例如，用户I/F 950包括用于用户操作记录/重现装置940的按钮和开关以及远程控制信号的接收部。用户I/F 950经由这些结构元件检测用户进行的操作，生成操作信号，并将生成的操作信号输出至控制部949。

根据以这种方式配置的记录/重现装置940中的实施例的编码器943具有可伸缩编码装置100的功能。解码器947还具有根据实施例的可伸缩解码装置200的功能。因此，在记录/重现装置940中编码和解码图像时，能够抑制由于编码和解码而导致的编码效率的下降和图像质量的劣化。

<第四应用：图像捕获装置>

图37示出了应用到该实施例的图像捕获装置的示意性配置的示例。图像捕获装置960捕获对象的图像以生成图像，对该图像数据进行编码，并且将该图像数据记录在记录介质中。

图像捕获装置960包括光学块961、图像捕获部962、信号处理部963、图像处理部964、显示部965、外部I/F 966、存储器967、介质驱动器968、OSD 969、控制部970、用户I/F 971、以及总线972。

光学块961连接至图像捕获部962。图像捕获部962连接至信号处理部963。显示部965连接至图像处理部964。用户I/F 971连接至控制部970。总线972将图像处理部964、外部I/F 966、存储器967、介质驱动器968、OSD 969、以及控制部970相互连接。

光学块961包括聚焦透镜、光阑机构等。光学块961使对象的光学图像形成在图像捕获部962的图像捕获表面上。图像捕获部962包括图像传感器比如电荷耦合装置(CCD)和互补金属氧化物半导体(CMOS)，并且通过光电转换将形成在图像捕获表面上的光学图像转换成作为电信号的图像信号。然后，图像捕获部962将图像信号输出至信号处理部963。

信号处理部963对从图像捕获部962输入的图像信号进行各种摄像机信号处理，比如拐点校正、伽马校正和颜色校正。信号处理部963将经受了摄像机信号处理的图像数据输出至图像处理部964。

图像处理部964对从信号处理部963输入的图像数据进行编码，并且生成经编码的数据。然后，图像处理部964将所生成的经编码的数据输出至外部I/F 966或介质驱动器968。图像处理部964还对从外部I/F 966或介质驱动器968输入的经编码的数据进行解码，并且生成图像数据。然后，图像处理部964将所生成的图像数据输出至显示部965。图像处理部964还可以将从信号处理部963输入的图像数据输出至显示部965，并显示该图像。此外，图像处理部964可以将从OSD 969获取的用于显示的数据叠加在要输出到显示部965的图像上。

OSD 969生成GUI比如菜单、按钮或光标的图像，并将所生成的图像输出至图像处理部964。

例如，外部I/F 966被配置成USB输入端子和输出端子。例如，在打印图像时，外部I/F 966将图像捕获装置960与打印机连接。驱动器在需要时还被连接至外部I/F 966。可移除介质比如磁盘和光盘被安装在驱动器上，并且从可移除介质读取的程序可以被安装在图像捕获装置960中。此外，外部I/F 966可以被配置为网络IF以连接至比如LAN和因特网的网络。即，外部I/F 966起到图像捕获装置960的传送单元的作用。

要安装在介质驱动器968上的记录介质可以为可读可写的可移除介质，比如磁盘、磁光盘、光盘和半导体存储器。记录介质还可以被固定地安装在介质驱动器968上，用来配置非移动型存储单元(non-transportablestorage)比如内置硬盘驱动器或固态驱动器(SSD)。

控制部970包括处理器比如CPU以及存储器比如RAM和ROM。存储器存储由CPU执行的程序、节目数据等。例如，存储在存储器中的程序在图像捕获装置960启动时被CPU读取并执行。例如，通过执行该程序，CPU根据从用户I/F 971输入的操作信号来控制图像捕获装置960的操作。

用户I/F 971连接至控制部970。例如，用户I/F 971包括用于用户操作图像捕获装置960的按钮、开关等。用户I/F 971经由这些结构元件检测由用户进行的操作，生成操作信号，并将所生成的操作信号输出至控制部970。

根据以这种方式配置的图像捕获装置960的实施例的图像处理部964具有可伸缩编码装置100的和可伸缩解码装置200的功能。因此，在图像捕获装置960中编码和解码图像时，能够抑制由于编码和解码而导致的编码效率的下降和图像质量的劣化。

<6.可伸缩视频编码的应用示例>

<第一***>

接着，将描述使用可伸缩编码数据的特定示例，在该示例中进行可伸缩视频编码(分层编码)。例如，如图38中的示例所示，可伸缩视频编码被用于选择待传送的数据。

在图38中示出的数据传送***1000中，分发服务器1002读取存储在可伸缩编码数据存储部1001中的可伸缩编码数据，并且将可伸缩编码数据经由网络1003分发至终端装置比如PC 1004、AV装置1005、平板装置1006或移动电话1007。

此时，分发服务器1002根据终端装置的能力、通信环境等来选择并传送具有适当质量的编码数据。即使当分发服务器1002不必要地传送高质量数据时，在终端装置中不一定能获得高质量图像，并且这可能导致延迟或溢出的发生。另外，可能不必要地占用通信带宽，或者可能不必要地增加终端装置的负荷。相反，即使当分发服务器1002不必要地传送低质量数据时，具有足够质量的图像可能没有被获得。因此，当编码数据具有根据终端装置的能力、通信环境等的适当的质量时，分发服务器1002适当地读取并且传送存储在可伸缩编码数据存储部1001中的可伸缩编码数据。

例如，可伸缩编码数据存储部1001被配置成存储其中进行可伸缩视频编码的可伸缩编码数据(BL+EL)1011。可伸缩编码数据(BL+EL)1011是包括基本层和增强层二者的经编码的数据，并且是能够通过对其进行解码而获得基本层图像和增强层图像的数据。

分发服务器1002根据用于传送数据的终端装置的能力、通信环境等来选择适当的层，并且读取所选择的层的数据。例如，对于具有高处理能力的PC 1004或平板装置1006，分发服务器1002从可伸缩编码数据存储部1001读取可伸缩编码数据(BL+EL)1011，并且将可伸缩编码数据(BL+EL)1011没有变化地传送。另一方面，例如，对于具有低处理能力的AV装置1005或移动电话1007，分发服务器1002从可伸缩编码数据(BL+EL)1011提取基本层的数据，并且将所提取的基本层的数据作为低质量可伸缩编码数据(BL)1012进行传送，低质量可伸缩编码数据(BL)1012是具有与可伸缩编码数据(BL+EL)1011相同的内容但是具有比可伸缩编码数据(BL+EL)1011的质量更低的质量的数据。

由于能够通过采用可伸缩编码数据来容易地调整数据量，因此能够抑制延迟或溢出的发生，或者能够抑制终端装置或通信介质的负荷的不必要的增加。另外，由于在可伸缩编码数据(BL+EL)1011中减少了层间的冗余，因此与将每个层的编码数据按个体数据来处理相比，可以进一步减少数据量。因此，可以更有效地使用可伸缩编码数据存储部1001的存储区域。

由于各种装置比如PC 1004至移动电话1007被应用为终端装置，因此各终端装置的硬件性能因装置而异。另外，由于存在由终端装置执行的各种应用，因此该终端装置的软件性能也有所不同。此外，由于可以将包括有线网络、无线网络或者有线网络和无线网络二者，比如因特网和局域网(LAN)的所有的通信网络应用为起到通信介质的作用的网络1003，因此其数据传送性能有所不同。此外，数据传送性能可能因其他通信等而异。

因此，在开始数据传送之前，分发服务器1002可以与作为数据传送目的地的终端装置进行通信，然后，获得与终端装置性能相关的信息，该终端装置性能比如终端装置的硬件性能，或者由终端装置执行的应用(软件)性能，以及与通信环境相关的信息，比如网络1003的可用带宽。然后，分发服务器1002可以基于所获得的信息来选择适当的层。

同样，可以在终端装置中进行层的提取。例如，PC 1004可以将传送的可伸缩编码数据(BL+EL)1011解码并且显示基本层的图像或显示增强层的图像。另外，例如，PC 1004可以被配置成从所传送的可伸缩编码数据(BL+EL)1011中提取基本层的可伸缩编码数据(BL)1012，存储所提取的基本层的可伸缩编码数据(BL)1012，将所提取的基本层的可伸缩编码数据(BL)1012传送至另一装置，或者将基本层的图像进行解码并且显示。

当然，可伸缩编码数据存储部1001、分发服务器1002、网络1003以及终端装置的数目是可选的。另外，虽然以上描述了向终端装置传送数据的分发服务器1002的示例，但是使用的示例不限于此。数据传送***1000适用于在将可伸缩编码数据传送至终端装置时根据终端装置的能力、通信环境等来选择并且传送适当的层的任何***。

另外，由于本技术以与应用于第一实施例和第二实施例中的上述分层编码和分层解码相同的方式应用于上述数据传送***1000，因此能够获得与第一实施例和第二实施例相同的效果。

<第二***>

另外，例如，可伸缩视频编码被用于经由如图39中的示例所示的多个通信介质进行传送。

在图39中示出的数据传送***1100中，广播站1101通过地面广播1111来传送基本层的可伸缩编码数据(BL)1121。另外，广播站1101经由由有线通信、无线通信、或有线通信和无线通信(例如，将数据打包并且传送)的通信网络构成的任何任意网络1112来传送增强层的可伸缩编码数据(EL)1122。

终端装置1102具有接收地面广播1111的功能，地面广播1111由广播站1101广播并且接收经由地面广播1111传送的基本层的可伸缩编码数据(BL)1121。另外，终端装置1102还具有通信功能，通过该通信功能，经由网络1112进行通信，并且接收经由网络1112传送的增强层的可扩展编码数据(EL)1122。

例如，根据用户的指令等，终端装置1102对经由地面广播1111获取的基本层的可伸缩编码数据(BL)1121进行解码，由此获得或存储基本层的图像或者将基本层的图像传送至其他装置。

另外，例如，根据用户的指令，终端装置1102将经由地面广播1111获取的基本层的可伸缩编码数据(BL)1121与经由网络1112获取的增强层的可伸缩编码数据(EL)1122结合，由此获得可伸缩编码数据(BL+EL)，通过对可伸缩编码数据(BL+EL)进行解码来获得或存储增强层的图像，或者将增强层的图像传送至其他装置。

如上所述，例如，可以经由用于每个层的不同的通信介质来传送可伸缩编码数据。因此，可以将负荷分散并且抑制延迟或溢出的发生。

另外，可以根据情况配置成对用于每个层的传送的通信介质进行选择。例如，数据量相对大的基本层的可伸缩编码数据(BL)1121可以经由具有较宽的带宽的通信介质来传送，而数据量相对小的增强层的可伸缩编码数据(EL)1122可以经由具有较窄的带宽的通信介质来传送。另外，例如，可以根据网络1112的可用带宽将传送增强层的可伸缩编码数据(EL)1122的通信介质切换为网络1112或地面广播1111。当然，对于任意层的数据来说都一样。

通过以这种方式来控制，可以进一步抑制数据传送的负荷的增加。

当然，层的数目是可选的，传送中使用的通信介质的数目也是可选的。另外，作为数据分发的目的地的终端装置1102的数目也是可选的。此外，虽然以上描述了来自广播站1101的广播的示例，但是使用示例不限于此。数据传送***1100能够应用于使用层为单位来划分可伸缩编码数据并且经由多个链路传送可伸缩编码数据的任何***。

另外，由于本技术以与应用于第一实施例和第二实施例中的上述分层编码和分层解码相同的方式应用于上述数据传送***1000，因此能够获得与第一实施例和第二实施例相同的效果。

<第三***>

另外，如图40中示出的示例所示，可伸缩视频编码被用于存储编码后的数据。

在图40中示出的图像捕获***1200中，图像捕获装置1201对通过捕获对象1211的图像获得的图像数据进行可伸缩视频编码，并且将可伸缩视频结果作为可伸缩编码数据(BL+EL)1221提供至可伸缩编码数据存储装置1202。

可伸缩编码数据存储装置1202根据情况以一定质量存储从图像捕获装置1201提供的可伸缩编码数据(BL+EL)1221。例如，在正常环境的情况下，可伸缩编码数据存储装置1202从可伸缩编码数据(BL+EL)1221提取基本层的数据，并且将所提取的数据低质量地存储为具有小数据量的基本层的可伸缩编码数据(BL)1222。另一方面，例如，在值得注意的环境的情况下，可伸缩编码数据存储装置1202没有变化地以高质量存储具有大的数据量的可伸缩编码数据(BL+EL)1221。

以这种方式，由于可伸缩编码数据存储装置1202能够只在必要的情况下才以高质量保存图像，因此能够抑制由于图像质量的劣化而降低图像的价值，并且抑制数据量的增加，并且可以改进存储区域的使用效率。

例如，假设图像捕获装置1201为监视摄像机。由于当在成像的图像中没有显示监视对象(例如，入侵者)(在正常环境的情况下)时，所捕获的图像的内容可能不重要，因此优先考虑减少数据量，并且以低质量存储图像数据(可伸缩编码数据)。另一方面，由于当在成像的图像中显示作为对象1211的监视目标(在值得注意的环境的情况下)时，成像的图像的内容可能比较重要，因此优先考虑图像质量，并且以高质量存储图像数据(可伸缩编码数据)。

例如，可以由可伸缩编码数据存储装置1202通过分析图像来确定该情况是正常环境还是值得注意的环境的情况。另外，图像捕获装置1201可以被配置成作出确定并且将确定结果传送至可伸缩编码数据存储装置1202。

该情况是正常环境还是值得注意的环境的情况的确定准则是可选的，并且作为确定准则的图像的内容是可选的。当然，可以将不同于图像的内容的条件指定为确定准则。例如，可以配置为根据所记录的声音的幅度或波形、由预定时间间隔或者由外部指令比如用户的指令来进行切换。

另外，虽然以上描述了正常环境和值得注意的环境这两种状态，但是状态的数目是可选的，并且例如，可以配置为在三个或更多个状态比如正常环境、稍微值得注意的环境、值得注意的环境以及高度值得注意的环境之中进行切换。然而，待切换状态的上限数取决于可伸缩编码数据的层的数目。

另外，图像捕获装置1201可以根据状态来确定可伸缩视频编码的层的数目。例如，在正常环境的情况下，图像捕获装置1201可以以低质量生成具有小数据量的基本层的可伸缩编码数据(BL)1222，并且将该数据提供至可伸缩编码数据存储装置1202。另外，例如，在值得注意的环境的情况下，图像捕获装置1201可以以高质量生成具有大的数据量的基本层的可伸缩编码数据(BL+EL)1221，并且将该数据提供至可伸缩编码数据存储装置1202。

虽然以上描述了将监视摄像机作为示例，但是图像捕获***1200的用途是可选的，而不限于监视摄像机。

另外，由于本技术以与应用于第一实施例和第二实施例中的上述分层编码和分层解码相同的方式应用于上述图像捕获***1200，因此能够获得与第一实施例和第二实施例相同的效果。

此外，本技术还可以应用于HTTP流比如MPEG-DASH，在MPEG-DASH中，以段为单位从事先准备并且使用的具有不同的解决方案的多条编码数据之中选择适当的编码数据。换言之，多条编码数据可以共享与编码或解码相关的信息。

此外，在本说明书中，描述了其中各种各样的信息被多路复用成编码流并从编码侧被传送至解码侧的示例。然而，传送信息的技术不限于本示例。例如，该信息可以作为与编码比特流关联的个体数据而被传送或记录，而不是被多路复用在编码流中。这里，术语“关联”意味着将包括在比特流中的图像(可以为图像的一部分比如切片或块)和与图像对应的信息配置成在解码时建立链接。即，可以在与图像(或比特流)不同的传送路径上传送该信息。另外，可以将信息记录在与图像(或比特流)不同的记录介质(或相同记录介质的单独记录区域)上。此外，例如，可以以任意单元比如多个帧、一个帧或帧内的一部分将信息和图像(或比特流)彼此关联。

以上参照附图描述了本公开的优选实施例，而本发明当然不限于以上示例。本领域普通技术人员可以在所附权利要求的范围内找到各种替代和修改，并且应该理解的是，这些替代和修改自然将归入本公开的技术范围。

另外地，本技术还可以配置如下。

(1)一种图像处理装置，包括：

接收部，所述接收部被配置成接收分层图像编码数据，在所述分层图像编码数据中，被层次化为多个层的图像数据被编码；

像素填充部，所述像素填充部被配置成用基本层的像素来填充位于当前块周围的不可用周围像素，所述当前块在所述分层图像编码数据的增强层被解码时要进行的帧内预测中被使用；

帧内预测部，所述帧内预测部被配置成必要时使用由所述像素填充部用所述基本层的像素填充的周围像素对所述当前块进行帧内预测，以生成所述当前块的预测图像；以及

解码部，所述解码部被配置成使用由所述帧内预测部生成的预测图像对由所述接收部接收到的分层图像编码数据的增强层进行解码。

(2)根据(1)以及(3)至(9)中任一项所述的图像处理装置，其中，所述像素填充部用基本层的与所述不可用周围像素对应的位置处的像素进行填充。

(3)根据(1)、(2)以及(4)至(9)中任一项所述的图像处理装置，还包括：

确定部，所述确定部被配置成确定所述增强层的当前块的周围像素的可用性，

其中，当所述确定部确定存在不可用周围像素时，所述像素填充部用所述基本层的与所述不可用周围像素对应的位置处的像素进行填充。

(4)根据(1)至(3)以及(5)至(9)中任一项所述的图像处理装置，还包括：

上采样部，所述上采样部被配置成根据所述基本层与所述增强层之间的分辨率的比值对所述基本层的像素进行上采样处理，

其中，所述像素填充部用经受了由所述上采样部进行的所述上采样处理的基本层的像素进行填充。

(5)根据(1)至(4)以及(6)至(9)中任一项所述的图像处理装置，

其中，所述接收部还接收用于控制是否要使用受限帧内的受限帧内控制信息，以及

其中，仅当基于由所述接收部接收到的所述受限帧内控制信息而设定要使用所述受限帧内时，所述像素填充部用所述像素进行填充。

(6)根据(1)至(5)以及(7)至(9)中任一项所述的图像处理装置，其中，所述受限帧内控制信息在图片参数集合(PPS)中被传送。

(7)根据(1)至(6)、(8)以及(9)中任一项所述的图像处理装置，

其中，所述接收部还接收基本层像素填充控制信息，所述基本层像素填充控制信息用于控制当基于所述受限帧内控制信息而设定要使用所述受限帧内时用所传送的基本层的像素进行填充，以及

其中，当基于由所述接收部接收到的基本层像素填充控制信息而允许用所述基本层的像素来填充时，所述像素填充部用所述基本层的像素进行填充，并且当不允许用所述基本层的所述像素来填充时，所述像素填充部用所述增强层的像素进行填充。

(8)根据(1)至(7)以及(9)中任一项所述的图像处理装置，其中，所述基本层像素填充控制信息在图片参数集合(PPS)中被传送。

(9)根据(1)至(8)中任一项所述的图像处理装置，其中，所述解码部还对分层图像编码数据的以与所述增强层的编码方案不同的编码方案来编码的基本层进行解码。

(10)一种图像处理方法，包括：

接收分层图像编码数据，在所述分层图像编码数据中，被层次化为多个层的图像数据被编码；

用基本层的像素来填充位于当前块周围的不可用周围像素，所述当前块在所述分层图像编码数据的增强层被解码时要进行的帧内预测中被使用；

必要时使用用所述基本层的像素填充的所述周围像素对所述当前块进行帧内预测，以生成所述当前块的预测图像；以及

使用所生成的预测图像对所接收到的分层图像编码数据的增强层进行解码。

(11)一种图像处理装置，包括：

像素填充部，所述像素填充部被配置成用基本层的像素来填充位于当前块周围的不可用周围像素，所述当前块在被层次化为多个层的图像数据的增强层被编码时要进行的帧内预测中被使用；

帧内预测部，所述帧内预测部被配置成必要时使用由所述像素填充部用所述基本层的像素填充的周围像素对所述当前块进行帧内预测，以生成所述当前块的预测图像；

编码部，所述编码部被配置成使用由所述帧内预测部生成的预测图像对被层次化为多个层的图像数据的增强层进行编码；以及

传送部，所述传送部被配置成将由所述编码部对被层次化为多个层的图像数据进行编码而获得的分层图像编码数据进行传送。

(12)根据(11)以及(13)至(19)中任一项所述的图像处理装置，其中，所述像素填充部用所述基本层的与所述不可用周围像素对应的位置处的像素进行填充。

(13)根据(11)、(12)以及(14)至(19)中任一项所述的图像处理装置，还包括：

确定部，所述确定部被配置成确定所述增强层的当前块的周围像素的可用性，

其中，当所述确定部确定存在不可用周围像素时，所述像素填充部用所述基本层的与所述不可用周围像素对应的位置处的像素进行填充。

(14)根据(11)至(13)以及(15)至(19)中任一项所述的图像处理装置，还包括：

上采样部，所述上采样部被配置成根据所述基本层与所述增强层之间的分辨率的比值对所述基本层的像素进行上采样处理，

其中，所述像素填充部用经受了由所述上采样部进行的所述上采样处理的基本层的像素进行填充。

(15)根据(11)至(14)以及(16)至(19)中任一项所述的图像处理装置，还包括：

受限帧内控制信息设定部，所述受限帧内控制信息设定部被配置成设定用于控制是否要使用受限帧内的受限帧内控制信息，

其中，仅当基于由所述受限帧内控制信息设定部设定的受限帧内控制信息而设定要使用所述受限帧内时，所述像素填充部用所述像素进行填充，以及

其中，所述传送部还传送由所述受限帧内控制信息设定部设定的受限帧内控制信息。

(16)根据(11)至(15)以及(17)至(19)中任一项所述的图像处理装置，其中，所述传送部将所述受限帧内控制信息在图片参数集合(PPS)中传送。

(17)根据(11)至(16)、(18)以及(19)中任一项所述的图像处理装置，还包括：

基本层像素填充控制信息设定部，所述基本层像素填充控制信息设定部被配置成设定基本层像素填充控制信息，所述基本层像素填充控制信息用于控制当基于所述受限帧内控制信息而设定要使用所述受限帧内时用所述基本层的像素进行填充，

其中，当基于由所述基本层像素填充控制信息设定部设定的基本层像素填充控制信息而允许用所述基本层的像素来填充时，所述像素填充部用所述基本层的像素进行填充，并且当不允许用所述基本层的所述像素来填充时，所述像素填充部用所述增强层的像素进行填充，以及

其中，所述传送部还传送由所述基本层像素填充控制信息设定部设定的基本层像素填充控制信息。

(18)根据(11)至(17)以及(19)中任一项所述的图像处理装置，其中，所述传送部将所述基本层像素填充控制信息在图片参数集合(PPS)中传送。

(19)根据(11)至(18)中任一项所述的图像处理装置，其中，所述编码部还以与所述增强层的编码方案不同的编码方案对所述分层图像编码数据的基本层进行编码。

(20)一种图像处理方法，包括：

用基本层的像素来填充位于当前块周围的不可用周围像素，所述当前块在被层次化为多个层的图像数据的增强层被编码时要进行的帧内预测中被使用；

必要时使用用所述基本层的像素填充的所述周围像素对所述当前块进行帧内预测，以生成所述当前块的预测图像；

使用所生成的预测图像对被层次化为多个层的图像数据的增强层进行编码；以及

将通过编码所述图像数据获得的被层次化为多个层的分层图像编码数据进行传送。

附图标记列表

100   可伸缩编码装置

101   通用信息生成部

102   编码控制部

103   基本层图像编码部

104   像素填充部

105   增强层图像编码部

116   无损编码部

122   帧存储器

134   帧内预测部

151   上采样部

152   基本层像素存储器

153   像素填充控制信息设定部

154   可用性确定部

155   填充像素生成部

161   上采样率设定部

162   解码图像缓冲器

163   滤波部

171   Constrained_ipred设定部

172   基本层像素填充控制信息设定部

200   可伸缩解码装置

201   通用信息获取部

202   解码控制部

203   基本层图像解码部

204   像素填充部

205   增强层图像解码部

212   无损解码部

219   帧存储器

231   帧内预测部

251   上采样部

252   基本层像素存储器

253   像素填充控制信息解码部

254   可用性确定部

255   填充像素生成部

261   上采样率设定部

262   解码图像缓冲器部

263   滤波部

271   Constrained_ipred解码部

272   基本层像素填充控制信息解码部

Claims (20)

1.一种图像处理装置，包括：

接收部，所述接收部被配置成接收分层图像编码数据，在所述分层图像编码数据中，被层次化为多个层的图像数据被编码；

像素填充部，所述像素填充部被配置成用基本层的像素来填充位于当前块周围的不可用周围像素，所述当前块在所述分层图像编码数据的增强层被解码时要进行的帧内预测中被使用；

帧内预测部，所述帧内预测部被配置成必要时使用由所述像素填充部用所述基本层的像素填充的周围像素对所述当前块进行帧内预测，以生成所述当前块的预测图像；以及

解码部，所述解码部被配置成使用由所述帧内预测部生成的所述预测图像对由所述接收部接收到的所述分层图像编码数据的增强层进行解码。

2.根据权利要求1所述的图像处理装置，其中，所述像素填充部用基本层的与所述不可用周围像素对应的位置处的像素进行填充。

3.根据权利要求2所述的图像处理装置，还包括：

确定部，所述确定部被配置成确定所述增强层的所述当前块的周围像素的可用性，

其中，当所述确定部确定存在不可用周围像素时，所述像素填充部用所述基本层的与所述不可用周围像素对应的位置处的像素进行填充。

4.根据权利要求3所述的图像处理装置，还包括：

上采样部，所述上采样部被配置成根据所述基本层与所述增强层之间的分辨率的比值对所述基本层的像素进行上采样处理，

其中，所述像素填充部用经受了由所述上采样部进行的所述上采样处理的所述基本层的像素进行填充。

5.根据权利要求1所述的图像处理装置，

其中，所述接收部还接收用于控制是否要使用受限帧内的受限帧内控制信息，以及

其中，仅当基于由所述接收部接收到的所述受限帧内控制信息而设定要使用所述受限帧内时，所述像素填充部用所述像素进行填充。

6.根据权利要求5所述的图像处理装置，其中，所述受限帧内控制信息在图片参数集合(PPS)中被传送。

7.根据权利要求5所述的图像处理装置，

其中，所述接收部还接收基本层像素填充控制信息，所述基本层像素填充控制信息用于控制当基于所述受限帧内控制信息而设定要使用所述受限帧内时用所传送的基本层的像素进行填充，以及

其中，当基于由所述接收部接收到的所述基本层像素填充控制信息而允许用所述基本层的像素来填充时，所述像素填充部用所述基本层的像素进行填充，并且当不允许用所述基本层的所述像素来填充时，所述像素填充部用所述增强层的像素进行填充。

8.根据权利要求7所述的图像处理装置，其中，所述基本层像素填充控制信息在图片参数集合(PPS)中被传送。

9.根据权利要求1所述的图像处理装置，其中，所述解码部还对所述分层图像编码数据的以与所述增强层的编码方案不同的编码方案来编码的基本层进行解码。

10.一种图像处理方法，包括：

接收分层图像编码数据，在所述分层图像编码数据中，被层次化为多个层的图像数据被编码；

用基本层的像素来填充位于当前块周围的不可用周围像素，所述当前块在所述分层图像编码数据的增强层被解码时要进行的帧内预测中被使用；

必要时使用用所述基本层的像素填充的所述周围像素对所述当前块进行帧内预测，以生成所述当前块的预测图像；以及

使用所生成的预测图像对所接收到的分层图像编码数据的所述增强层进行解码。

11.一种图像处理装置，包括：

像素填充部，所述像素填充部被配置成用基本层的像素来填充位于当前块周围的不可用周围像素，所述当前块在被层次化为多个层的图像数据的增强层被编码时要进行的帧内预测中被使用；

帧内预测部，所述帧内预测部被配置成必要时使用由所述像素填充部用所述基本层的像素填充的周围像素对所述当前块进行帧内预测，以生成所述当前块的预测图像；

编码部，所述编码部被配置成使用由所述帧内预测部生成的所述预测图像对被层次化为多个层的所述图像数据的增强层进行编码；以及

传送部，所述传送部被配置成将由所述编码部对被层次化为多个层的所述图像数据进行编码而获得的分层图像编码数据进行传送。

12.根据权利要求11所述的图像处理装置，其中，所述像素填充部用所述基本层的与所述不可用周围像素对应的位置处的像素进行填充。

13.根据权利要求12所述的图像处理装置，还包括：

确定部，所述确定部被配置成确定所述增强层的所述当前块的周围像素的可用性，

其中，当所述确定部确定存在不可用周围像素时，所述像素填充部用所述基本层的与所述不可用周围像素对应的位置处的像素进行填充。

14.根据权利要求13所述的图像处理装置，还包括：

上采样部，所述上采样部被配置成根据所述基本层与所述增强层之间的分辨率的比值对所述基本层的像素进行上采样处理，

其中，所述像素填充部用经受了由所述上采样部进行的所述上采样处理的所述基本层的像素进行填充。

15.根据权利要求11所述的图像处理装置，还包括：

受限帧内控制信息设定部，所述受限帧内控制信息设定部被配置成设定用于控制是否要使用受限帧内的受限帧内控制信息，

其中，仅当基于由所述受限帧内控制信息设定部设定的所述受限帧内控制信息而设定要使用所述受限帧内时，所述像素填充部用所述像素进行填充，以及

其中，所述传送部还传送由所述受限帧内控制信息设定部设定的所述受限帧内控制信息。

16.根据权利要求15所述的图像处理装置，其中，所述传送部将所述受限帧内控制信息在图片参数集合(PPS)中传送。

17.根据权利要求15所述的图像处理装置，还包括：

基本层像素填充控制信息设定部，所述基本层像素填充控制信息设定部被配置成设定基本层像素填充控制信息，所述基本层像素填充控制信息用于控制当基于所述受限帧内控制信息而设定要使用所述受限帧内时用所述基本层的像素进行填充，

其中，当基于由所述基本层像素填充控制信息设定部设定的基本层像素填充控制信息而允许用所述基本层的像素来填充时，所述像素填充部用所述基本层的像素进行填充，并且当不允许用所述基本层的所述像素来填充时，所述像素填充部用所述增强层的像素进行填充，以及

其中，所述传送部还传送由所述基本层像素填充控制信息设定部设定的所述基本层像素填充控制信息。

18.根据权利要求17所述的图像处理装置，其中，所述传送部将所述基本层像素填充控制信息在图片参数集合(PPS)中传送。

19.根据权利要求11所述的图像处理装置，其中，所述编码部还以与所述增强层的编码方案不同的编码方案对所述分层图像编码数据的基本层进行编码。

20.一种图像处理方法，包括：

用基本层的像素来填充位于当前块周围的不可用周围像素，所述当前块在被层次化为多个层的图像数据的增强层被编码时要进行的帧内预测中被使用；

必要时使用用所述基本层的像素填充的所述周围像素对所述当前块进行帧内预测，以生成所述当前块的预测图像；

使用所生成的预测图像对被层次化为多个层的所述图像数据的增强层进行编码；以及

将通过编码被层次化为多个层的所述图像数据而获得的分层图像编码数据进行传送。