CN103053160B - 图像编码方法及图像编码装置 - Google Patents

Abstract

一种能够减轻处理负担的图像编码方法，在以使包含于动态图像信号中的多个图片分别属于多个层次中的某一个层次的方式、将该多个图片分层次地分类的情况下，将属于第2层次的图片作为针对编码对象图片的参照图片进行参照（S10），根据该参照图片对编码对象图片进行编码（S11），该编码对象图片是多个图片中的某一个图片，该第2层次处于根据该编码对象图片所属的第1层次而限制的范围内。

Description

图像编码方法及图像编码装置

技术领域

本发明涉及动态图像的图像编码方法及图像解码方法等。

背景技术

在对动态图像进行编码的图像编码方法中，通常利用动态图像具有的空间方向及时间方向的冗余性进行信息量的压缩。其中，作为利用空间方向的冗余性的方法通常采用向频率区域的变换，作为利用时间方向的冗余性的方法，通常采用图片间预测（以后称为帧间（inter）预测）编码处理。当在帧间预测编码处理中对某个图片进行编码时，将按照显示顺序位于编码对象图片的前方或者后方的已编码的图片用作参照图片。并且，通过相对于该参照图片的编码对象图片的运动检测来导出运动向量，根据运动向量进行运动补偿，并获取通过运动补偿而得到的预测图像数据与编码对象图片的图像数据之差分，由此消除时间方向的冗余性。

在已经标准化的被称为H.264的图像编码方式中，为了压缩信息量而采用I图片、P图片、B图片这三种图片类型。I图片是未进行帧间预测编码处理的图片、即被实施图片内预测（以后称为帧内（intra）预测）编码处理的图片。P图像是参照按照显示顺序位于编码对象图片的前方或者后方的已编码的一个图片进行帧间预测编码的图片。B图片是参照按照显示顺序位于编码对象图片的前方或者后方的已编码的两个图片进行帧间预测编码的图片。另外，关于I图片和P图片，为了流的切换等，存在Switching Slice（切换条带，SI条带、SP条带）等。

在依据于现行的H.264标准规格的图像编码方法及图像解码方法中，要求与能够根据这些类型的图片的定义而认定的参照关系全部对应。例如，在进行P图片的解码时，要求也可以参照显示顺序中位于后方的图片。并且，如果针对B图片的运动向量有两个，则无论这些运动向量的方向是向 前还是向后，对于条带内的每个块均可以参照不同的图片。在用于应对这种参照构造的灵活性的H.264中，对于图像编码方法和图像解码方法要求执行几个进程（例如参照非专利文献1）。

现有技术文献

非专利文献

非专利文献1：ITU－T H.26403/2010

发明概要

发明要解决的问题

但是，在上述非专利文献1的图像编码方法和图像解码方法中，存在处理负担较大的问题。

发明内容

本发明正是鉴于上述问题而提出的，其目的在于，提供一种能够减轻处理负担的图像编码方法和图像解码方法等。

用于解决问题的手段

为了达到上述目的，本发明的一个方式的图像编码方法对动态图像信号进行编码，在该图像编码方法中，在以使包含于所述动态图像信号中的多个图像分别属于多个层次中的某一个层次的方式、将所述多个图像分层次地分类的情况下，将属于第2层次的图像作为针对编码对象图像的参照图像进行参照，所述编码对象图像是所述多个图像中的某一个图像，所述第2层次处于根据所述编码对象图像所属的第1层次而限制的范围内，根据所述参照图像对所述编码对象图像进行编码。

因此，在进行编码对象图像的编码时参照的参照图像所属的层次，处于根据该编码对象图像所属的第1层次而限制的范围内。因此，由于在进行编码对象图像的编码时参照的参照图像被根据第1层次进行限制，因而能够减轻该编码的处理负担。另外，在对这样被编码后的图像进行解码时，由于参照图像被限制，因而能够减轻该解码的处理负担。

另外，也可以是，在参照所述参照图像时，禁止参照属于所述第1层次之上的层次的图像，将属于处于被限制为所述第1层次以下的范围内的所述第2层次的图像作为所述参照图像进行参照。

因此，由于禁止参照属于编码对象图像所属的第1层次之上的层次的图像，因而能够以较少的处理负担对编码对象图像进行编码。同样，在对被编码后的图像进行解码时，由于不需要参照属于该被编码后的图像所属的层次之上的层次的图像，因而能够以较少的处理负担对该被编码后的图像进行解码。并且，在包含于动态图像信号中的多个图像分别被作为编码对象图像来对该动态图像信号进行编码的情况下，在对包含于被编码后的动态图像信号中的某图像进行解码时，也不需要参照属于该图像所属的层次之上的层次的图像。因此，图像解码装置仅对属于被作为特殊再现的对象的层次的图像进行解码即可，能够节省特意对属于被作为特殊再现的对象的层次之上的层次的图像进行解码并参照的工夫。例如，在被作为N倍速再现（N>2）等特殊再现的对象的层次是处于最下位的最下位层次的情况下，图像解码装置不需要特意对处于该最下位层次之上的层次的不被作为再现的对象的图像进行解码并参照，仅对属于最下位层次的各个图像进行解码即可。例如，所述多个图像分别是图片或者条带。

并且，为了达到上述目的，本发明的一个方式的图像编码方法对动态图像信号进行编码，在该图像编码方法中，在以使包含于所述动态图像信号中的多个图像分别属于多个层次中的某一个层次的方式、将所述多个图像分层次地分类的情况下，生成表示是否对在进行所述多个图像中的某一个图像即编码对象图像的编码时参照的参照图像的选择附加限制的标志，在所述标志表示附加限制的情况下，选择满足根据所述编码对象图像所属的第1层次而限制的条件的图像，作为针对所述编码对象图像的参照图像，参照所选择的所述参照图像对所述编码对象图像进行编码，并使所述标志包含在被编码后的所述动态图像信号中。

因此，在利用标志来表示附加限制的情况下，满足根据编码对象图像所属的第1层次而限制的条件的图像被选择为参照图像。即，根据第1层次来限制在进行编码对象图像的编码时参照的参照图像。其结果是，能够减轻编码对象图像的编码的处理负担。并且，由于生成表示是否对参照图像的选择附加限制的标志、并使其包含在被编码后的动态图像信号中，因而对于该被编码后的动态图像信号进行解码的图像解码装置，能够容易根据该标志来掌握参照图像的选择是否被附加限制。其结果是，图像解码装 置能够适当以较少的处理负担对该被编码后的动态图像信号进行解码。

另外，也可以是，在选择所述参照图像时，当在编码顺序中的所述编码对象图像和候选图像之间、存在属于处于根据所述第1层次而限制的范围内的第2层次的基准图像的情况下，禁止选择所述候选图像作为所述参照图像，而选择所述候选图像以外的图像作为所述参照图像。例如，在选择所述参照图像时，当存在属于处于被限制为所述第1层次之下的范围内的所述第2层次的所述基准图像的情况下，禁止选择所述候选图像作为所述参照图像。并且，在选择所述参照图像时，禁止选择按照编码顺序处于所述编码对象图像前面的所述候选图像作为所述参照图像。

因此，能够选择合适的图像作为参照图像，能够进一步抑制处理负担。

并且，为了达到上述目的，本发明的一个方式的图像解码方法对编码动态图像信号进行解码，在该图像解码方法中，在以使包含于所述编码动态图像信号中的多个图像分别属于多个层次中的某一个层次的方式、将所述多个图像分层次地分类的情况下，将属于第2层次的图像作为针对解码对象图像的参照图像进行参照，所述解码对象图像是所述多个图像中的某一个图像，所述第2层次处于根据所述解码对象图像所属的第1层次而限制的范围内，根据所述参照图像对所述解码对象图像进行解码。例如，在所述图像解码方法中，还生成表示包含于所述编码动态图像信号中的多个图像中属于所述第1层次以下的层次的至少一个图像的参照列表，在该参照列表中不包含所述编码动态图像信号中的多个图像中分别属于所述第1层次之上的所有层次的所有图像，在参照所述参照图像时，从在所述参照列表中示出的至少一个图像中选择所述参照图像。

因此，在进行解码对象图像的解码时参照的参照图像所属的层次，处于根据该解码对象图像所属的第1层次而限制的范围内。因此，由于在进行解码对象图像的解码时参照的参照图像被根据第1层次进行限制，因而能够减轻该解码的处理负担。

并且，为了达到上述目的，本发明的一个方式的图像解码方法对编码动态图像信号进行解码，在该图像解码方法中，在以使包含于所述编码动态图像信号中的多个图像分别属于多个层次中的某一个层次的方式、将所述多个图像分层次地分类的情况下，从所述编码动态图像信号取得标志， 该标志表示是否对在进行所述多个图像中的某一个图像即解码对象图像的解码时参照的参照图像的选择附加限制，在所述标志表示附加限制的情况下，选择满足根据所述解码对象图像所属的第1层次而限制的条件的图像，作为针对所述解码对象图像的参照图像，参照所选择的所述参照图像对所述解码对象图像进行解码。

因此，在利用标志来表示附加限制的情况下，满足根据解码对象图像所属的第1层次而限制的条件的图像被选择为参照图像。即，根据第1层次来限制在进行解码对象图像的解码时参照的参照图像。其结果是，能够减轻解码对象图像的解码的处理负担。

并且，为了达到上述目的，本发明的一个方式的存储器管理方法用于管理存储器，该存储器存储在进行动态图像信号的编码或者解码时参照的图像，在该存储器管理方法中，在以使包含于所述动态图像信号中的多个图像分别属于多个层次中的某一个层次的方式、将所述多个图像分层次地分类的情况下，将所述多个图像中的存储对象图像存储在所述存储器内的区域中，该区域被限制为对所述存储对象图像所属的层次分配的容量即层次容量。具体地讲，在所述存储器管理方法中，对于每个层次，将所述存储器内的可用容量中的一部分容量作为层次容量分配给该层次。

例如，存在这样的情况，即被长时间地参照的长时间参照图像属于另一个层次，该长时间参照图像被存储在存储器内的另一个区域中。在这种情况下，如果存储对象图像被存储在另一个区域中，有时会导致该长时间参照图像被从存储器中删除。因此，在长时间参照图像被从存储器中删除后，为了参照该长时间参照图像，需要再次对该长时间参照图像进行解码等处理。因此，在本发明的一个方式的存储器管理方法中，存储对象图像被存储在存储器内的区域中，该区域被限制为对该存储对象图像所属的层次分配的层次容量，因而能够防止长时间参照图像被从存储器中删除。即，能够将必要的参照图像确实存储在存储器中。其结果是，能够节省再次对该长时间参照图像进行解码等多余的处理。并且，由于将必要的参照图像确实保持存储在存储器中，因而能够省去逐次适用用于指示删除不要的图像的存储器管理命令等的处理负担。

其中，也可以是，在存储所述存储对象图像时，当在所述区域中没有 存储所述存储对象图像的容量的情况下，将已经存储在所述区域中的至少一个已有图像中被最早存储的已有图像从所述区域中删除，再存储所述存储对象图像。

另外，也可以是，在对包含于所述动态图像信号中的多个图像中的处理对象图像进行编码或者解码时参照的图像即参照图像所属的层次、被限制为所述处理对象图像所属的层次以下的层次，在对所述每个层次分配所述层次容量时，针对所述多个层次中处于最下位的最下位层次，分配比对处于所述最下位层次之上的上位层次分配的层次容量大的层次容量。

因此，由于参照图像所属的层次被限制为处理对象图像所属的层次以下的层次，因而属于最下位层次的图像被长时间参照的可能性比属于上位层次的图像增大。因此，在本发明的一个方式的存储器管理方法中，由于对最下位层次分配比对上位层次分配的层次容量大的层次容量，因而能够将属于最下位层次的图像长时间地存储在存储器中。其结果是，在属于最下位层次的图像被参照时，能够防止该图像被从存储器中删除而使得不能参照该图像。

另外，也可以是，在所述存储器管理方法中，还对被存储在所述存储器中的多个图像中、属于被作为编码或者解码的对象的处理对象图像所属的层次之上的层次的图像标记属性。例如，在标记所述属性时，标记表示是不被用于参照的图像的属性。

因此，由于对图像标记图像，因而能够容易确定不被用于参照的不要的图像，能够优先将该图像从存储器中删除。其结果是，能够有效利用存储器的容量。

另外，本发明不仅能够实现为这种图像编码方法、图像解码方法及存储器管理方法，也能够实现为执行依据于这些方法的处理的装置、集成电路、用于使计算机执行依据于这些方法的处理的程序、存储该程序的存储介质。

发明效果

本发明的图像编码方法和图像解码方法能够减轻处理负担。

附图说明

图1是本发明的实施方式1的图像编码装置的块图。

图2是表示由本发明的实施方式1的帧间预测部构建的参照构造的图。

图3是表示必要的参照图片被删除时的存储器管理方法的一例的图。

图4是表示对图片的编码顺序附加限制时的存储器管理方法的一例的图。

图5是表示本发明的实施方式1的存储器控制部的存储器管理方法的图。

图6是表示本发明的实施方式1的图像编码装置的处理的流程图。

图7是表示本发明的实施方式1的图像编码装置利用标志时的处理的流程图。

图8是表示本发明的实施方式1的图像编码装置的具体处理的流程图。

图9是本发明的实施方式1的图像解码装置的块图。

图10是表示本发明的实施方式1的图像解码装置的处理的流程图。

图11是表示本发明的实施方式1的图像解码装置利用标志时的处理的流程图。

图12是表示本发明的实施方式1的存储器管理方法的流程图。

图13是表示本发明的实施方式1的图像解码装置的具体处理的流程图。

图14是表示本发明的实施方式1的变形例的参照构造的图。

图15是表示本发明的实施方式1的变形例的存储器管理方法的一例的图。

图16是表示本发明的实施方式的变形例的存储器管理方法的另一个示例的图。

图17是实现内容分发服务的内容供给***的整体结构图。

图18是数字广播用***的整体结构图。

图19是表示电视机的结构例的模块图。

图20是表示对作为光盘的记录介质进行信息的读写的信息再现/记录部的结构例的模块图。

图21是表示作为光盘的记录介质的构造例的图。

图22A是表示便携电话的一例的图。

图22B是表示便携电话的结构例的模块图。

图23是表示复用数据的结构的图。

图24是示意地表示各流在复用数据中怎样被复用的图。

图25是更详细地表示在PES包序列中视频流怎样被保存的图。

图26是表示复用数据的TS包和源包的构造的图。

图27是表示PMT的数据结构的图。

图28是表示复用数据信息的内部结构的图。

图29是表示流属性信息的内部结构的图。

图30是表示识别影像数据的步骤的图。

图31是表示实现各实施方式的动态图像编码方法及动态图像解码方法的集成电路的结构例的模块图。

图32是表示切换驱动频率的结构的图。

图33是表示识别影像数据、切换驱动频率的步骤的图。

图34是表示将影像数据的规格与驱动频率建立了对应的查找表的一例的图。

图35A是表示将信号处理部的模块共用的结构的一例的图。

图35B是表示将信号处理部的模块共用的结构的另一例的图。

具体实施方式

首先，在说明本发明的实施方式之前，说明在对图像进行编码或者解码时执行的几个处理。

例如，图像编码装置和图像解码装置构建参照列表（也称为参照图片列表）。即，这些装置在参照其它图片对B条带等条带进行编码或者解码时，构建列举了对于该条带（包含于条带中的宏块）所参照的图片的参照列表。在该进程中，需要在参照列表内按照图片号码顺序将各个图片重排的处理（参照列表初始化时的重排处理）。例如，图像编码装置和图像解码装置在取得B条带后，将对于该B条带所参照的参照图片（在短时间参照及长时间参照双方中使用的图片，以下相同）添加在参照列表（L0、L1）中。在此，图像编码装置和图像解码装置根据该参照图片的图片号码（PicNum），按照降序（从大到小的顺序）重排该参照列表（L0、L1）中的各个参照图 片。

并且，图像编码装置和图像解码装置将例如长时间地持续参照的参照图片等图片保存在一个逻辑存储器（DPB：Decoded Picture Buffer）中。在此，为了使该存储器不至于饱和，需要对这些图片标记属性来管理被保存在该存储器中的参照图片。

例如，图像编码装置和图像解码装置对于不被用作参照图片的图片，在判定为该图片被参照的可能性减小的时刻或者接收到规定的命令（MMCO：存储器管理命令）的时刻标记属性“不用于参照（unused for reference）”。另外，该规定的命令是指表示作为管理对象的图片不被参照的命令。即，在这种标记的方式或者控制中包括FIFO（First－In First－Out：先入先出）管理方式和基于存储器管理命令的适应性存储器控制。

其中，利用H.264的图片定义能够实现的参照构造的灵活度对图像解码装置的安装简化没有直接帮助。参照构造的灵活度可能会有助于码压缩率的提高，但是至于这种灵活性是否有助于再现编码数据（编码流）的图像解码装置的安装简化又是另外的话题。即，根据参照构造的灵活度，将导致图像编码装置和图像解码装置的处理负担增大。例如，如果能够掌握到被赋予了制约条件的情况，则也存在图像解码装置的安装容易进行的情况。

并且，至少过度的灵活性在通用处理方面存在具有界限的情况。例如，长时间地参照多个参照图片的图像编码装置和图像解码装置在按照上述的FIFO方式管理（标记处理）存储器时，由于该存储器的尺寸是有限的，因而有时导致需要参照的图片被从存储器中删除。并且，该图像编码装置和图像解码装置在进行基于上述的存储器管理命令的适应性存储器控制的情况下，将逐一地需要命令（存储器管理命令）。

因此，在本发明的实施方式的图像编码方法和图像解码方法中，其特征在于，利用附加了制约条件的参照构造来减轻处理负担。并且，在本发明的实施方式的存储器管理方法中，其特征在于，抑制处理负担的增加，防止需要参照的图片被从存储器中删除。

下面，参照附图详细说明本发明的实施方式。另外，下面说明的实施方式均用于示出本发明的优选的一个具体示例。在下面的实施方式中示出 的数值、形状、材料、构成要素、构成要素的配置位置及连接方式、步骤、步骤的顺序等仅是一例，其主旨不是限定本发明。本发明仅利用权利要求书进行限定。因此，关于下面的实施方式的构成要素中、没有在表示本发明的最上位概念的独立权利要求中记载的构成要素，不一定是实现本发明的课题所需要的构成要素，仅是作为构成更优选的方式的构成要素进行说明的。

（实施方式1）

图1是本发明的实施方式1的图像编码装置的块图。

本实施方式的图像编码装置1000的特征在于，对于帧间预测编码中的图片的参照，附加了与图片的层次构造对应的限制。这种图像编码装置1000具有减法器1101、正交变换部1102、量化部1103、熵编码部1104、逆量化部1105、逆正交变换部1106、加法器1107、解块滤波器1108、存储器1109、面内预测部1110、帧间预测部1111、运动检测部1112、开关1113和存储器控制部1200。

减法器1101在取得动态图像信号的同时，从开关1113取得预测图像。并且，减法器1101从包含于该动态图像信号中的编码对象块减去预测图像，由此生成差分图像。

正交变换部1102通过对由减法器1101生成的差分图像进行例如离散余弦变换等正交变换（频率变换），将该差分图像变换为由多个频率系数构成的系数块。量化部1103对包含于该系数块中的各个频率系数进行量化，由此生成被量化后的系数块。

逆量化部1105对由量化部1103进行量化后的系数块进行逆量化。逆正交变换部1106对包含于该被逆量化后的系数块中的各个频率系数进行逆离散余弦变换等逆正交变换（逆频率变换），由此生成解码差分图像。

加法器1107从开关1113取得预测图像，将该预测图像和由逆正交变换部1106生成的解码差分图像相加，由此生成局部解码图像（重建图像）。

解块滤波器1108将由加法器1107生成的局部解码图像的块变形去除后，将该局部解码图像存储在存储器1109中。存储器1109是用于存储局部解码图像作为帧间预测时的参照图像的存储器。另外，该存储器1109被用作解码图片缓冲器（DPB）。

面内预测部1110使用由加法器1107生成的局部解码图像，对编码对象块进行帧内预测，由此生成预测图像（帧内预测图像）。

运动检测部1112对包含于动态图像信号中的编码对象块检测运动向量，将该检测到的运动向量输出给帧间预测部1111和熵编码部1104。

帧间预测部1111将存储在存储器1109中的图像作为参照图像进行参照，并且使用由运动检测部1112检测到的运动向量，对编码对象块进行运动补偿。帧间预测部1111通过进行这种运动补偿，即通过对编码对象块进行帧间预测，生成编码对象块的预测图像（帧间预测图像）。

并且，帧间预测部1111将包含于动态图像信号中的多个图片分层次。具体地讲，帧间预测部1111以使包含于动态图像信号中的多个图片分别属于多个层次（layer）中的某一个层次的方式，将该多个图片分层次地分类。另外，在本实施方式中，作为一例，帧间预测部1111将多个图片分层次，但作为分层次的对象的多个图像均不限于图片，也可以是条带等其它图像单位。

在这种情况下，帧间预测部1111将属于第2层次的图片作为针对编码对象图片的参照图片进行参照，该编码对象图片是多个图片中的某一个图片，该第2层次处于根据该编码对象图片所属的第1层次而限制的范围内。具体地讲，帧间预测部1111禁止参照属于第1层次之上（较高的级别）的层次的图片，将属于处于被限制为第1层次以下的范围内的第2层次的图片作为参照图片进行参照。

另外，帧间预测部1111生成表示是否对在进行所述多个图片中的某一个图片即编码对象图片的编码时参照的参照图片的选择附加限制的标志，并输出给熵编码部1104。例如，如上所述，在对编码对象图片附加了基于层次构造的参照限制的情况下，帧间预测部1111生成表示1的标志，并输出给熵编码部1104。换言之，在利用标志表示附加限制的情况下，帧间预测部1111选择满足根据编码对象图片所属的第1层次而限制的条件的图片，作为针对编码对象图片的参照图片。

另外，帧间预测部1111对被分层次后的多个图片分别生成表示该图片所属的层次的层次信息，将该层次信息输出给熵编码部1104和存储器控制部1200。

在编码对象块被实施帧内预测编码的情况下，开关1113将由面内预测部1110生成的预测图像（帧内预测图像）输出给减法器1101和加法器1107。另一方面，在编码对象块被实施帧间预测编码的情况下，开关1113将由帧间预测部1111生成的预测图像（帧间预测图像）输出给减法器1101和加法器1107。

熵编码部1104对由量化部1103进行量化后的系数块、和由运动检测部1112检测到的运动向量、和由帧间预测部1111生成的标志及层次信息进行熵编码（可变长编码），由此生成编码流。因此，在编码流中包含上述的标志及层次信息。

存储器控制部1200从帧间预测部1111取得各个图片的层次信息，根据利用这些层次信息示出的各个图片的层次、即根据层次构造，分别管理被存储在存储器1109中的多个图片。具体地讲，存储器控制部1200对于每个层次，将存储器1109内的能够使用的存储器容量中的一部分容量作为层次容量分配给该层次。并且，存储器控制部1200将存储对象图片存储在存储器1109内的如下区域中，该区域被限制为对应该存储的该存储对象图片所属的层次分配的容量即层次容量。另外，也可以是，当在该区域中没有用于存储存储对象图片的容量的情况下，存储器控制部1200将已经存储在该区域中的至少一个已有图片中被最早存储的已有图片从该区域中删除，再存储存储对象图片。

在此，存储器控制部1200在对每个层次分配层次容量时，针对该多个层次中处于最下位的最下位层次，分配比对处于该最下位层次之上的上位层次分配的层次容量大的层次容量。

另外，存储器控制部1200对被存储在存储器1109中的多个图片中、属于编码对象图片所属的层次之上的层次的图片标记属性。具体地讲，存储器控制部1200标记表示是不被用于参照的图片的属性。

下面，详细说明由帧间预测部1111构建的图片的层次构造和参照构造。

图2是表示由帧间预测部1111构建的图片的层次构造和参照构造的图。另外，在图2中，图片附带的字母和数字分别表示图片类型和图片的显示顺序。例如，I0表示图片类型“I”和图片的显示顺序“0”，Br2表示图片类型“B”和图片的显示顺序“2”。

如图2所示，帧间预测部1111根据通过将包含于动态图像信号中的多个图片分别分类为各个层次（layer）而构建的层次构造，定义参照构造。在此，帧间预测部1111按照多个图片的显示顺序将开头图片用作I图片，将开头I图片以外的图片用作B图片。并且，帧间预测部1111当在多个层次中分别进行属于该层次的图片的帧间预测时，参照属于与该层次相同的层次的图片或者属于级别比该层次低的层次的图片。即，在由帧间预测部1111构建的参照构造中附加了这样的限制，即不认可对被分类为比编码对象图片所属的层次高的层次或者编码对象图片所属的层次之上的层次的图片的参照（对与编码对象图片的层次相同的层次或者比编码对象图片的层次低的层次的图片进行参照）。

例如，如图2所示，帧间预测部1111在对属于层次3的图片B1进行帧间预测时，参照属于层次0的图片I0和属于层次2的图片Br2。并且，帧间预测部1111在对属于级别最低的层次0的图片Bf8进行帧间预测时，参照属于与该层次相同的层次0的图片I0。在此，在对属于级别最低的层次0的图片进行帧间预测时，只能参照在显示顺序中位于前面的图片。

这样，在本实施方式的参照构造中，由于将I图片以外的图片构成为B图片，因而能够提高动态图像信号的压缩率。通常，与参照较少的参照图片被实施编码的图片相比，参照较多的参照图片被实施编码的图片能够提高压缩率。因此，在本实施方式的参照构造中，由于将I图片以外的图片构成为B图片，因而能够提高动态图像信号的压缩率。

另外，在本实施方式的参照构造中，对于属于多个层次中级别较高的层次的图片，参照属于与该层次相同的层次的图片或者属于级别比该层次低的层次的图片进行编码。因此，在具有图像解码装置的再现装置中，能够容易进行倍速再现等特殊再现。

例如，再现装置在进行高速再现的情况下，仅再现属于层次0的图片。在图2所示的参照构造中，再现装置再现图片I0、Bf8、Bf16。在降低再现速度的情况下，再现装置再现分别属于层次0和层次1的图片，在继续降低再现速度的情况下，再现分别属于层次0和层次1和层次2的图片。这样，通过参照层次来定义参照构造，能够容易实现灵活的高速再现。

即，如果图像编码装置将属于级别比通过特殊再现而显示的显示对象 图片所属的层次高的层次的图片作为参照图片进行参照，并对该显示对象图片进行编码，在特殊再现中，尽管该参照图片未被显示，再现装置也必须对该参照图片进行解码。但是，在本实施方式的图像编码装置1000中，对于每个图片，禁止将属于级别比该图片所属的层次高的层次的图片作为参照图片进行参照。因此，能够节省再现装置在特殊再现中特意对未被显示的参照图片进行解码的时间。其结果是，在本实施方式中，能够减轻再现装置具有的图像解码装置的处理负担。

在此，帧间预测部1111生成如上所述的标志。即，帧间预测部1111输出标志，该标志利用1比特来识别是否作为特殊用途（例如特殊再现等）而附带层次性制约条件地对动态图像信号（流）进行编码、或者是否不受制约地进行编码。熵编码部1104在例如编码流中的存取单位（例如随机存取单位或者序列）的开头附加该标志（1比特）。由此，再现装置能够利用最小的比特数判定编码流或者编码图片是否是高速再现或者随机存取等特殊用途的编码流或者编码图片。其结果是，能够将针对按照过去的H.264方式进行编码的动态图像信号即编码流、和对该编码流进行解码的图像解码装置的互换性的影响抑制为最小限度。另外，也可以在SEI（Supplemental enhancement information）等附加部分中附加与上述的标志（1比特）不同的、表示与用途对应的层次构造和参照构造的信息即表示有无制约的信息。

另外，帧间预测部1111生成如上所述的层次信息。即，帧间预测部1111对于每个图片，输出用于确定该图片属于哪个层次的层次信息（识别信息）。此时，熵编码部1104将层次信息附加在与该层次信息对应的图片的标题中。具体地讲，帧间预测部1111对一张图片（帧或者字段对）中的所有条带分配相同的层次信息。这是因为在高速再现或者随机存取等特殊再现时，不需要将图片内的各个部分（条带）分配为彼此不同的层次。因此，熵编码部1104将层次信息附加在图片参数集合等图片的标题中。

其结果是，再现装置在对编码流进行高速再现时，从图片的标题取得层次信息，仅对高速再现所需要的图片进行再现。

并且，熵编码部1104也可以将多个层次信息一并配置在编码流的开头。具体地讲，熵编码部1104将按照包含于编码流中的多个图片的编码顺序或者显示顺序排列的这多个图片的层次信息、作为管理信息配置在编码流的 开头。再现装置在对编码流进行解码之前，首先读取开头的管理信息，由此能够判定能够进行哪种高速再现（特殊再现）。

并且，熵编码部1104在将编码流保存在光盘中时等，也可以将管理信息与编码流分开保存在光盘中。通过与编码流分开来保存管理信息，再现装置能够在对编码流进行再现之前判定能够进行哪种高速再现。

另外，在本实施方式中，对于属于级别较高的层次的图片，参照属于与该层次相同的层次的图片或者属于级别比该层次低的层次的图片进行编码。但是，作为例外，对于属于规定级别的层次的图片，也可以参照属于级别比该规定级别的层次高的层次的图片进行编码。例如，如图2中的虚线箭头所示，对于属于级别最低的层次的图片，参照属于级别较高的层次的图片进行编码。具体地讲，对于属于级别最低的层次0的图片Bf16，参照属于级别较高的层次1的图片Br4和属于级别较高的层次2的图片Br6进行编码。

这样，对于属于规定级别的层次的图片是参照属于级别较高的层次的图片，由此能够进一步提高动态图像信号的压缩率。另一方面，由于特殊再现是有限制的，因而也可以在编码流中追加表示能够进行哪种特殊再现的新信息。例如，对于属于级别最低的层次的图片，附加表示能够参照到属于哪个层次的图片的信息。例如，如图2所示，帧间预测部1111输出表示能够参照到属于层次2的图片的信息，熵编码部1104将该信息附加在编码流中。其结果是，再现装置根据该信息，判定能够进行分别属于层次0、层次1和层次2的图片的再现、以及分别属于层次0、层次1、层次2和层次3的图片的再现。表示能够参照到属于哪个层次的图片的信息也可以附加在编码流的标题中，还可以作为管理信息与编码流分开进行保存。

另外，也可以是，帧间预测部1111对于在显示顺序中位于属于级别最低的层次的图片的后面的图片的帧间预测，禁止参照在显示顺序中位于属于级别最低的层次的该图片的前面的图片。即，帧间预测部1111将属于级别最低的层次的图片作为设置参照限制时的基准图片。通过这样设置参照限制，在图像解码装置对属于级别最低的层次的图片进行随机存取时，能够保证位于被随机存取的图片以后的图片的解码。并且，也可以是，帧间预测部1111对于属于级别最低的层次的图片，输出表示该图片是否是参照 限制用的基准图片的信息。在这种情况下，熵编码部1104对该图片附加表示是否是基准图片的信息。由此，在级别最低的层次中混合存在基准图片和不是基准图片的图片，因而能够一并实现动态图像信号的压缩率的提高和随机存取。

在此，基准图片也可以不是属于级别最低的层次的图片，而是例如属于级别比编码对象图片的层次低的层次的图片。即，基准图片是属于第2层次的图片，该第2层次处于根据编码对象图片所属的第1层次而限制的范围，即该第2层次处于被限制为第1层次之下的范围内。例如，该基准图片位于编码顺序中的编码对象图片和候选图片之间。在这种情况下，帧间预测部1111在选择参照图片时，禁止选择在编码顺序中位于编码对象图片前面的该候选图片作为参照图片，而是选择该候选图片以外的图片作为参照图片。由此，能够选择合适的图片作为参照图片，能够进一步抑制处理负担。

另外，也可以是，帧间预测部1111对于位于随机存取的存取位置的图片的帧间预测，参照级别最低的层次的图片。即，也可以是，对于属于有可能成为随机存取的存取位置的层次3的图片的帧间预测，一定是只将属于层次0的图片作为参照图片进行参照。因此，图像解码装置在对随机存取的存取位置的图片进行解码时，能够直接参照层次0的参照图片对该存取位置的图片进行解码，而不需对中间层次（位于存取位置的图片所属的层次和级别最低的层次0之间的层次）的图片进行解码。而且，不需要Switching P（SP）条带等的追加的码数据。

下面，详细说明存储器控制部1200管理存储器1109的存储器管理方法。

例如，在单纯地将现行的H.264标准规格的存储器管理方法适用于图2所示的参照构造时，有时会产生这样的情况，即在进行编码对象图片的编码时参照的参照图片被从存储器1109中删除，导致不能参照该参照图片。

图3是表示必要的参照图片被删除时的存储器管理方法的一例的图。

首先，在按照编码顺序的第0个处理中，图片I0被进行编码及解码，并作为参照图片I0被存储在存储器中。然后，参照图片被依次存储在存储器中，在按照编码顺序的第3个处理中，图片I0、图片Bf8、图片Br4及图 片Br2被存储在存储器中。然后，在按照编码顺序的第4个处理中，新的图片Br6被追加在存储器1109中，最早被存储在存储器中的图片I0被从该存储器中删除。

但是，在按照编码顺序的第5个处理中，在进行图片B1的编码时需要参照图片I0，因而需要在第5个处理中再次对图片I0进行解码。换言之，在存储器中需要能够保持存储图片I0的较大的存储器容量，以便进行图片B1的编码。

并且，同样在按照编码顺序的第9个处理中，图片Bf8被从存储器中删除。但是，在按照编码顺序的第10个处理中，在进行图片Br12的编码时需要参照图片Bf8，因而需要在第10个处理中再次对图片Bf8进行解码。换言之，在按照编码顺序的第10个处理中，在该存储器中需要较大的存储器容量，以便保持将图片Bf8存储在存储器中的状态。或者，需要适用存储器管理命令（MMCO）。

这样，如果单纯地将现行的H.264标准规格的存储器管理方法适用于图2所示的参照构造，将产生应该被保持存储在存储器中的参照图片被删除的问题。

为了解决这种问题，可以对图片的编码顺序附加限制。

图4是表示对图片的编码顺序附加限制时的存储器管理方法的一例的图。

例如，附加使属于级别最高的层次以外的层次的图片的编码顺序尽量靠后的限制。另外，在这种限制中，在进行按照编码顺序靠前的图片的编码时也不会参照编码顺序靠后的图片。并且，编码顺序和解码顺序相同。

具体地讲，在图4所示的编码顺序中，层次2的图片Br6位于层次3的图片B1和B3的编码顺序后面。在按照这种编码顺序对层次3的图片B1进行编码时，被图片B1参照的图片I0被存储在存储器1109中。因此，能够节省对图片I0再次进行解码的时间，并且能够抑制存储器1109的容量的增加。

但是，在这种情况下，图片Bf8通过按照编码顺序的第9个处理（图片Bf16的编码及解码）被从存储器中删除。其结果是，在按照编码顺序的第10个处理中，在进行图片Br12的编码时参照图片Bf8，因而需要对图片 Bf8再次进行解码。或者，在按照编码顺序的第10个处理中，为了保持存储图片Bf8，在存储器中需要较大的存储器容量。或者，需要适用存储器管理命令（MMCO）。

图5是表示本实施方式的存储器控制部1200的存储器管理方法的图。

存储器控制部1200使用图片的层次构造和参照构造管理存储器1109。例如，存储器1109具有存储4张图片的存储器容量。在这种情况下，存储器控制部1200将存储器1109的可用容量即4张图片量的存储器容量中的2张图片量的存储器容量作为层次容量，分配给级别最低的层次0。另外，存储器控制部1200将存储器1109中的上述4张图片量的存储器容量中的1张图片量的存储器容量作为层次容量，分别分配给层次1和层次2。即，1张图片量的层次容量被分配给除了级别最低的层次0和级别最高的层次3之外的各个中间层次。

然后，存储器控制部1200从帧间预测部1111取得包含于动态图像信号中的图片的层次信息。并且，在该层次信息表示层次0的情况下，存储器控制部1200将该图片存储在存储器1109中的分配给层次0的层次容量的区域中。并且，在该层次信息表示层次1或者层次2的情况下，存储器控制部1200将该图片存储在存储器1109中的分配给层次1或者层次2的层次容量的区域中。

这样，在本实施方式中，对被其它图片参照的可能性较大的图片所属的级别较低的层次分配较多的层次容量，对被其它图片参照的可能性较小的图片所属的级别较高的层次分配较少的存储器容量。因此，能够将进行编码及解码所需要的参照图片可靠地保持存储在存储器1109中，而且不需增大存储器1109的存储器容量或者不需适用MMCO。

另外，层次容量的分配方法不限于图5所示的示例。存储器控制部1200也可以对级别较低的层次分配较多的层次容量，例如可以对层次0分配3张图片量的层次容量，对其它的层次1和层次2整体分配1张图片量的层次容量。

图6是表示本实施方式的图像编码装置1000的处理的流程图。

图像编码装置1000的帧间预测部1111将属于第2层次的图像作为针对编码对象图像的参照图像进行参照，该第2层次处于根据编码对象图像 所属的第1层次而限制的范围内（步骤S10）。并且，图像编码装置1000根据参照图像对编码对象图像进行编码（步骤S11）。另外，在本实施方式中，帧间预测部1111构成为参照参照图像的参照部（第1参照部）。并且，图像编码装置1000具有的至少一个构成要素构成为对编码对象图像进行编码的编码部。

因此，在进行编码对象图像的编码时参照的参照图像所属的层次，处于根据该编码对象图像所属的第1层次而限制的范围内。因此，由于在进行编码对象图像的编码时参照的参照图像被根据第1层次进行限制，因而能够减轻该编码的处理负担。另外，在对这样进行编码后的图像进行解码时，由于参照图像被限制，因而能够减轻该解码的处理负担。

在此，当帧间预测部1111在步骤S10参照参照图像时，禁止参照属于第1层次之上的层次的图像，将属于处于被限制为所述第1层次以下的范围内的第2层次的图像作为参照图像进行参照。

因此，由于禁止参照属于编码对象图像所属的第1层次之上的层次的图像，因而能够以较少的处理负担对编码对象图像进行编码。同样，在对被编码后的图像进行解码时，由于不需要参照属于该被编码后的图像所属的层次之上的层次的图像，因而能够以较少的处理负担对该被编码后的图像进行解码。并且，在包含于动态图像信号中的多个图像分别被作为编码对象图像来对该动态图像信号进行编码的情况下，即使在对包含于被编码后的动态图像信号中的某图像进行解码时，也不需要参照属于该图像所属的层次之上的层次的图像。因此，图像解码装置仅对属于被作为特殊再现（高速再现）的对象的层次的图像进行解码即可，能够节省特意对属于被作为特殊再现的对象的层次之上的层次的图像进行解码并参照的工夫。例如，在被作为N倍速再现（N>2）等特殊再现的对象的层次是处于最下位的最下位层次0的情况下，图像解码装置不需要特意对处于该最下位层次0之上的层次1、层次2和层次3的不被作为再现的对象的图像进行解码并参照，仅对属于最下位层次0的各个图像进行解码即可。另外，多个图像分别是图片或者条带。

图7是表示本实施方式的图像编码装置1000利用标志时的处理的流程图。

图像编码装置1000的帧间预测部1111生成表示是否对在进行编码对象图像的编码时参照的参照图像的选择附加限制的标志（步骤S20）。然后，在标志表示附加限制的情况下，帧间预测部1111选择满足根据编码对象图像所属的第1层次而限制的条件的图像，作为针对编码对象图像的参照图像（步骤S21）。然后，图像编码装置1000参照所选择的参照图像对编码对象图像进行编码（步骤S22）。并且，图像编码装置1000的熵编码部1104将该标志包含在被编码后的动态图像信号即编码流中（步骤S23）。另外，在本实施方式中，帧间预测部1111构成为生成标志的标志生成部，并且构成为选择参照图像的选择部。并且，图像编码装置1000具有的至少一个构成要素构成为对编码对象图像进行编码的编码部。并且，熵编码部1104构成为将标志包含在编码流中的***部。

因此，在利用标志来表示附加限制的情况下，满足根据编码对象图像所属的第1层次而限制的条件的图像被选择为参照图像。即，根据第1层次来限制在进行编码对象图像的编码时参照的参照图像。其结果是，能够减轻编码对象图像的编码的处理负担。并且，由于生成表示是否对参照图像的选择附加限制的标志、并使其包含在编码流中，因而对该编码流进行解码的图像解码装置能够容易根据该标志来掌握参照图像的选择是否被附加限制。其结果是，图像解码装置能够适当以较少的处理负担对该被编码后的动态图像信号进行解码。

图8是表示本实施方式的图像编码装置1000的具体处理的流程图。

首先，图像编码装置1000取得被编码的动态图像信号（S100）。

然后，图像编码装置1000将所取得的包含于动态图像信号中的图片分层次（S101）。并且，图像编码装置1000按照基于图片的层次构造的限制对图片进行编码（S102）。然后，图像编码装置1000输出包括被编码后的图片、该图片的层次信息、和标志的编码流（S103）。

图9是本发明的实施方式的图像解码装置的块图。

本实施方式的图像解码装置2000是对由图像编码装置1000生成的编码流适当进行解码的装置，具有熵解码部2101、逆量化部2102、逆正交变换部2103、加法器2104、解块滤波器2105、存储器2106、面内预测部2107、帧间预测部2108、开关2109和存储器控制部2200。

熵解码部2101取得编码流，并对该编码流进行熵解码（可变长解码）。即，熵解码部2101通过该熵解码，生成被量化后的系数块、运动向量、标志、和层次信息。

逆量化部2102对通过熵解码部2101的熵解码而生成的被量化后的系数块进行逆量化。逆正交变换部2103对该被逆量化后的系数块中包含的各个频率系数进行逆离散余弦变换等逆正交变换（逆频率变换），由此生成解码差分图像。

加法器2104从开关2109取得预测图像，将该预测图像和由逆正交变换部2103生成的解码差分图像相加，由此生成解码图像（重建图像）。

解块滤波器2105将由加法器2104生成的解码图像的块变形去除后，将该解码图像存储在存储器2106中，并且输出该解码图像。

面内预测部2107使用由加法器2104生成的解码图像，对解码对象块进行帧内预测，由此生成预测图像（帧内预测图像）。

帧间预测部2108将存储在存储器2106中的图像作为参照图像进行参照，并且使用通过熵解码部2101的熵解码而生成的运动向量，对解码对象块进行运动补偿。帧间预测部2108通过进行这种运动补偿，即通过对解码对象块进行帧间预测，生成解码对象块的预测图像（帧间预测图像）。

在此，该帧间预测部2108与图像编码装置1000的帧间预测部1111相同地对参照图像的选择附加限制。即，帧间预测部2108将属于第2层次的图片作为针对解码对象图片的参照图片进行参照，该第2层次处于根据解码对象图片所属的第1层次而限制的范围内。具体地讲，帧间预测部2108禁止参照属于第1层次之上（较高的级别）的层次的图片，将属于处于被限制为第1层次以下的范围内的第2层次的图片作为参照图片进行参照。

并且，帧间预测部2108生成表示编码流中包含的多个图片中属于第1层次以下的层次的至少一个图片的参照列表，在该参照列表中不表示编码流中包含的多个图片中分别属于第1层次之上的所有层次的所有图片。并且，帧间预测部2108在参照参照图片时，从在该参照列表中示出的至少一个图片中选择参照图片。

并且，帧间预测部2108取得上述的标志。在此，在该标志表示附加限制的情况下，帧间预测部2108选择满足根据解码对象图片所属的第1层次 而限制的条件的图片，作为针对解码对象图片的参照图片。例如，帧间预测部2108与图像编码装置1000的帧间预测部1111相同地，使用基准图片来选择参照图片。并且，帧间预测部2108参照所选择的该参照图片对解码对象图片进行解码。

在解码对象块被实施帧内预测编码的情况下，开关2109将由面内预测部2107生成的预测图像（帧内预测图像）输出给加法器2104。另一方面，在解码对象块被实施帧间预测编码的情况下，开关2109将由帧间预测部2108生成的预测图像（帧间预测图像）输出给加法器2104。

存储器控制部2200从熵解码部2101取得各个图片的层次信息，并与图像编码装置1000的存储器控制部1200相同地，根据利用这些层次信息示出的各个图片的层次、即根据层次构造，分别管理被存储在存储器2106中的多个图片。

图10是表示本实施方式的图像解码装置2000的处理的流程图。

图像解码装置2000的帧间预测部2108将属于第2层次的图像作为针对解码对象图像的参照图像进行参照，该第2层次处于根据解码对象图像所属的第1层次而限制的范围内（步骤S30）。并且，图像解码装置2000根据参照图像对解码对象图像进行解码（步骤S31）。另外，在本实施方式中，帧间预测部2108构成为参照参照图像的参照部（第2参照部）。并且，图像解码装置2000具有的至少一个构成要素构成为对解码对象图像进行解码的解码部。并且，图像是图片或者条带等。

例如，帧间预测部2108生成表示编码流中包含的多个图像中属于第1层次以下的层次的至少一个图像的参照列表，在该参照列表中不表示编码流中包含的多个图像中分别属于第1层次之上的所有层次的所有图像。并且，帧间预测部2108当在步骤S30参照参照图像时，从在该参照列表中示出的至少一个图像中选择参照图像。

因此，在进行解码对象图像的解码时参照的参照图像所属的层次，处于根据该解码对象图像所属的第1层次而限制的范围内。因此，由于在进行解码对象图像的解码时参照的参照图像被根据第1层次进行限制，因而能够减轻该解码的处理负担。

图11是表示本实施方式的图像解码装置2000利用标志时的处理的流 程图。

图像解码装置2000的帧间预测部2108从编码流取得标志（步骤S40），该标志表示是否对在进行包含于编码流中的多个图像中的某一个图像即解码对象图像的解码时参照的参照图像的选择附加限制。然后，在该标志表示附加限制的情况下，帧间预测部2108选择满足根据解码对象图像所属的第1层次而限制的条件的图像，作为针对解码对象图像的参照图像（步骤S41）。然后，图像解码装置2000参照所选择的参照图像对解码对象图像进行解码（步骤S42）。另外，在本实施方式中，帧间预测部2108构成为取得该标志的标志取得部，并且构成为选择参照图像的选择部。

因此，在利用标志来表示附加限制的情况下，满足根据解码对象图像所属的第1层次而限制的条件的图像被选择为参照图像。即，根据第1层次来限制在进行解码对象图像的解码时参照的参照图像。其结果是，能够减轻解码对象图像的解码的处理负担。

图12是表示本实施方式的存储器管理方法的流程图。

图像解码装置2000的存储器控制部2200将存储对象图像存储在存储器2106内的区域中（步骤S50），该区域被限制为针对编码流中包含的多个图像中的该存储对象图像所属的层次而分配的容量即层次容量。即，存储器控制部2200对于每个层次，将存储器2106内的能够使用的存储器容量中的一部分容量作为层次容量分配给该层次。另外，在本实施方式中，存储器控制部2200构成为存储器管理装置，并具有存储上述的存储对象图像的存储控制部。

例如，存在这样的情况，即被长时间地参照的长时间参照图像属于另一个层次，该长时间参照图像被存储在另一个区域中。在这种情况下，如果存储对象图像被存储在另一个区域中，有时会导致该长时间参照图像被从存储器2106中删除。因此，在长时间参照图像被从存储器2106中删除后，为了参照该长时间参照图像，需要再次对该长时间参照图像进行解码等处理。因此，在本实施方式的存储器管理方法中，存储对象图像被存储在存储器内的如下区域中，该区域被限制为针对该存储对象图像所属的层次而分配的层次容量，因而能够防止长时间参照图像被从存储器2106中删除。即，能够可靠地在存储器2106中保持存储所需的参照图像。其结果是， 能够节省再次对该长时间参照图像进行解码等多余的处理。并且，由于将必要的参照图像可靠地保持存储在存储器2106中，因而能够省去逐次适用用于指示删除不要的图像的存储器管理命令等的处理负担。

另外，存储器控制部2200在存储存储对象图像时，在上述的区域中没有用于存储存储对象图像的容量的情况下，将已经存储在该区域中的至少一个已有图像中被最早存储的已有图像从该区域中删除，再存储存储对象图像。

在此，在本实施方式中，在对包含于动态图像信号（编码流）中的多个图像中的处理对象图像进行编码或者解码时参照的图像即参照图像所属的层次，被限制为该处理对象图像所属的层次以下的层次。在这种情况下，存储器控制部2200在对每个层次分配层次容量时，针对多个层次中处于最下位的最下位层次0，分配比对处于最下位层次0之上的上位层次分配的层次容量大的层次容量。

因此，由于参照图像所属的层次被限制为处理对象图像所属的层次以下的层次，因而属于最下位层次0的图像被长时间参照的可能性比属于上位层次的图像增大。因此，在本实施方式的存储器管理方法中，由于对最下位层次0分配比对上位层次分配的层次容量大的层次容量，因而能够将属于最下位层次0的图像长时间地存储在存储器中。其结果是，在属于最下位层次0的图像被参照时，能够防止该图像被从存储器2106中删除而使得不能参照该图像。

另外，存储器控制部2200对被存储在存储器2106中的多个图像中、属于被作为解码的对象的解码对象图像所属的层次之上的层次的图像标记属性。例如，存储器控制部2200标记表示是不被用于参照的图像的属性。

因此，由于对图像标记属性，因而能够容易确定不被用于参照的不要的图像，能够优先将该图像从存储器2106中删除。其结果是，能够有效利用存储器2106的容量。

图13是表示本实施方式的图像解码装置2000的具体处理的流程图。

首先，图像解码装置2000从编码流取得1比特的标志，并判别该标志是否表示1（步骤S201）。

在此，图像解码装置2000如果判别为标志不表示1（步骤S201：否）， 则取得与该标志对应的解码对象图片（步骤S202），利用通常的方法（例如依据于H.264标准规格的帧间预测或者帧内预测），对该解码对象图片进行解码（步骤S203）。

另一方面，图像解码装置2000如果判别为标志表示1（步骤S201：是），则取得与该标志对应的解码对象图片（步骤S204），并判别该解码对象图片是否是通过帧间预测而被解码的图片（步骤S205）。

在此，图像解码装置2000如果判别为解码对象图片不是通过帧间预测而被解码的图片（步骤S205：否），则通过帧内预测对解码对象图片进行解码（步骤S206）。

另一方面，图像解码装置2000如果判别为解码对象图片是通过帧间预测而被解码的图片（步骤S205：是），则取得该解码对象图片的层次信息（步骤S207）。并且，图像解码装置2000的帧间预测部2108确定属于级别比利用该层次信息表示的层次高的层次的图片（步骤S208）。然后，帧间预测部2108使用被存储在存储器2106中的图片中除确定出的图片以外的图片，构建解码对象图片的参照列表（L0、L1）（步骤S209）。

另外，图像解码装置2000的存储器控制部2200针对被存储在存储器2106中的通过步骤S208被确定出的图片，标记表示“不用于参照”的属性（步骤S210）。并且，帧间预测部2108通过使用了在步骤S209构建的参照列表所表示的参照图片的帧间预测，对解码对象图片进行解码（步骤S211）。

在此，在步骤S210，存储器控制部2200针对被存储在存储器2106中的图片（参照图片）中、属于级别比利用层次信息表示的层次高的层次的所有参照图片，标记属性“不用于参照”。因此，图像解码装置2000能够预先掌握到在编码流中附加有制约条件，该制约条件表示不认可对属于级别比解码对象图片的层次高的层次的图片的参照。

这样，在本实施方式中，根据与通常的FIFO管理及基于MMCO的适应性存储器控制不同的第3方法（基于层次构造的方法），能够对确实不被用于参照的参照图片标记属性“不用于参照”。由此，如果该参照图片被输出（显示），则能够自然地从存储器2106中删除该参照图片。

并且，图像解码装置2000在步骤S209的参照列表的构建（参照列表初始化时的重排处理）中，将级别比解码对象图片的层次高的层次的参照 图片从参照列表中去除，并生成或者更新解码对象图片（或者解码对象条带）的参照列表。由此，能够使参照列表的构建进程容易进行。

（变形例）

另外，在本实施方式中，也可以进行如图14、图15和图16所示的图片的参照及存储器管理。

图14是表示本变形例的参照构造的图。另外，在图14中，图片附带的字母、数字及括号内的数字分别表示图片类型、图片的显示顺序和图片的编码顺序。I0（0）表示图片类型“I”、图片的显示顺序“0”和图片的编码顺序“0”，Br2（3）表示图片类型“B”、图片的显示顺序“2”和图片的编码顺序“3”。

例如，在本变形例的参照构造中，如图14中的实线箭头（f：forward）所示，在进行属于级别最低的层次0的B图片即图片Bf8（1）和图片Bf16（9）的编码及解码时，分别参照在显示顺序中位于前面的图片。并且，如图14中的实线箭头（r：rear）所示，在进行属于级别比该层次0高、而且比级别最高的层次3低的层次的图片、例如属于层次2的图片Br2（3）等的编码及解码时，参照在显示顺序中位于后面的图片。

这样，本变形例的图像编码装置1000和图像解码装置2000在对B图片进行编码或者解码时，也可以仅将在显示顺序中位于从该B图片起的单一方向（前方或者后方）上的图片，作为参照图片进行参照。在这种情况下，图像编码装置1000也可以将表示是否将参照仅限制于单一方向的单向标志包含在编码流中。在此，该单向标志在层次0中表示是否只能参照前方的图片而不能参照后方的图片，在层次1和层次2中表示是否只能参照后方的图片而不能参照前方的图片。这样，单向标志表示是否按照层次构造的观点来限制参照。并且，图像编码装置1000按照编码流内的序列等的每个规定单位，将这种单向标志包含在编码流中。图像解码装置2000取得包含于编码流中的单向标志，在该单向标志表示限制参照的情况下，仅参照与解码对象图片的层次对应的单一方向（前方或者后方）上的图片，对解码对象图片进行解码。

另外，在单向标志表示限制参照的情况下，如果能够利用单一方向以外的其它方向上的图片，如图14中的虚线箭头（opt：option）所示，图像 解码装置2000也可以参照单一方向以外的其它方向上的图片。并且，图像编码装置1000也可以利用图片类型来表示单一方向上的图片。在这种情况下，图像编码装置1000将该图片类型包含在编码流中，图像解码装置2000根据包含于编码流中的该图片类型，将单一方向上的图片作为参照图片进行参照。并且，在层次信息包含在编码流中的情况下，图像解码装置2000根据该层次信息将存储器2106释放。

图15是表示本变形例的存储器管理方法的一例的流程图。

图像解码装置2000在对图14所示的参照构造的编码流进行1倍速再现（通常再现）的情况下，对属于各个层次0、层次1、层次2、层次3的图片进行解码。此时，图像解码装置2000在对属于各个层次0、层次1、层次2的图片进行解码后，将这些图片作为参照图片存储在存储器2106中。另一方面，图像解码装置2000即使在对属于层次3的图片进行解码时，也不将这些图片作为参照图片存储在存储器2106中。或者，即使是属于层次3的图片被存储在存储器2106中，也在存储该图片的同时，由存储器控制部2200对该图片标记属性“不用于参照”。

图16是表示本变形例的存储器管理方法的另一个示例的流程图。

图像解码装置2000在对图14所示的参照构造的编码流进行快进再现的情况下，对属于层次3以外的各个层次0、层次1、层次2的图片进行解码。即，图片Br1（4）、Br3（5）、Br5（7）、Br7（8）的解码或者再现被跳过。此时，图像解码装置2000在对属于各个层次0、层次1的图片进行解码后，将这些图片作为参照图片存储在存储器2106中。另一方面，图像解码装置2000即使在对属于层次2的图片进行解码时，也不将该图片作为参照图片存储在存储器2106中。或者，即使属于层次2的图片被存储在存储器2106中，也在存储该图片的同时，由存储器控制部2200对该图片标记属性“不用于参照”。

即使是这样的本变形例涉及的图片的参照方法和存储器管理方法，也能够减轻编码或者解码的处理负担。

（实施方式2）

通过将用来实现上述实施方式所示的动态图像编码方法（图像编码方法）或动态图像解码方法（图像解码方法）的结构的程序记录到存储介质 中，能够将上述各实施方式所示的处理在独立的计算机***中简单地实施。存储介质是磁盘、光盘、光磁盘、IC卡、半导体存储器等，只要是能够记录程序的介质就可以。

进而，这里说明在上述各实施方式中示出的动态图像编码方法（图像编码方法）及动态图像解码方法（图像解码方法）的应用例和使用它的***。该***的特征在于，具有由使用图像编码方法的图像编码装置及使用图像解码方法的图像解码装置构成的图像编码解码装置。关于***的其他结构，可以根据情况而适当变更。

图17是表示实现内容分发服务的内容供给***ex100的整体结构的图。将通信服务的提供区划分为希望的大小，在各小区内分别设置有作为固定无线站的基站ex106、ex107、ex108、ex109、ex110。

该内容供给***ex100在因特网ex101上经由因特网服务提供商ex102及电话网ex104、及基站ex107～ex110连接着计算机ex111、PDA（Personal Digital Assistant）ex112、照相机ex113、便携电话ex114、游戏机ex115等的各设备。

但是，内容供给***ex100并不限定于图17那样的结构，也可以将某些要素组合连接。此外，也可以不经由作为固定无线站的基站ex107～ex110将各设备直接连接在电话网ex104上。此外，也可以将各设备经由近距离无线等直接相互连接。

照相机ex113是能够进行数字摄像机等的动态图像摄影的设备，照相机ex116是能够进行数字照相机等的静止图像摄影、动态图像摄影的设备。此外，便携电话ex114是GSM（Global System for Mobile Communications）方式、CDMA（Code Division Multiple Access）方式、W－CDMA（Wideband－Code Division Multiple Access）方式、或LTE（Long Term Evolution）方式、HSPA（High Speed Packet Access）的便携电话机、或PHS（Personal Handyphone System）等，是哪种都可以。

在内容供给***ex100中，通过将照相机ex113等经由基站ex109、电话网ex104连接在流媒体服务器ex103上，能够进行现场分发等。在现场分发中，对用户使用照相机ex113摄影的内容（例如音乐会现场的影像等）如在上述各实施方式中说明那样进行编码处理（即，作为本发明的一个方 式的图像编码装置发挥作用），向流媒体服务器ex103发送。另一方面，流媒体服务器ex103将发送来的内容数据对有请求的客户端进行流分发。作为客户端，有能够将上述编码处理后的数据解码的计算机ex111、PDAex112、照相机ex113、便携电话ex114、游戏机ex115等。在接收到分发的数据的各设备中，将接收到的数据解码处理而再现（即，作为本发明的一个方式的图像解码装置发挥作用）。

另外，摄影的数据的编码处理既可以由照相机ex113进行，也可以由进行数据的发送处理的流媒体服务器ex103进行，也可以相互分担进行。同样，分发的数据的解码处理既可以由客户端进行，也可以由流媒体服务器ex103进行，也可以相互分担进行。此外，并不限于照相机ex113，也可以将由照相机ex116摄影的静止图像及/或动态图像数据经由计算机ex111向流媒体服务器ex103发送。此情况下的编码处理由照相机ex116、计算机ex111、流媒体服务器ex103的哪个进行都可以，也可以相互分担进行。

此外，这些编码解码处理一般在计算机ex111或各设备具有的LSIex500中处理。LSIex500既可以是单芯片，也可以是由多个芯片构成的结构。另外，也可以将动态图像编码解码用的软件装入到能够由计算机ex111等读取的某些记录介质（CD－ROM、软盘、硬盘等）中、使用该软件进行编码解码处理。进而，在便携电话ex114是带有照相机的情况下，也可以将由该照相机取得的动态图像数据发送。此时的动态图像数据是由便携电话ex114具有的LSIex500编码处理的数据。

此外，也可以是，流媒体服务器ex103是多个服务器或多个计算机，是将数据分散处理、记录、及分发的。

如以上这样，在内容供给***ex100中，客户端能够接收编码的数据而再现。这样，在内容供给***ex100中，客户端能够将用户发送的信息实时地接收、解码、再现，即使是没有特别的权利或设备的用户也能够实现个人广播。

另外，并不限定于内容供给***ex100的例子，如图18所示，在数字广播用***ex200中也能够装入上述实施方式的至少动态图像编码装置（图像编码装置）或动态图像解码装置（图像解码装置）的某个。具体而言，在广播站ex201中，将对影像数据复用了音乐数据等而得到的复用数据经 由电波向通信或广播卫星ex202传送。该影像数据是通过上述各实施方式中说明的动态图像编码方法编码后的数据（即，通过本发明的一个方式的图像编码装置编码后的数据）。接受到该数据的广播卫星ex202发出广播用的电波，能够对该电波进行卫星广播接收的家庭的天线ex204接收该电波，通过电视机（接收机）ex300或机顶盒（STB）ex217等的装置将接收到的复用数据解码并将其再现（即，作为本发明的一个方式的图像解码装置发挥作用）。

此外，可以在将记录在DVD、BD等的记录介质ex215中的复用数据读取并解码、或将影像数据编码再根据情况与音乐信号复用而写入记录介质ex215中的读取器/记录器ex218中也能够安装上述各实施方式所示的动态图像解码装置或动态图像编码装置。在此情况下，可以将再现的影像信号显示在监视器ex219上，通过记录有复用数据的记录介质ex215在其他装置或***中能够再现影像信号。此外，也可以在连接在有线电视用的线缆ex203或卫星/地面波广播的天线ex204上的机顶盒ex217内安装动态图像解码装置，将其用电视机的监视器ex219显示。此时，也可以不是在机顶盒、而在电视机内装入动态图像解码装置。

图19是表示使用在上述各实施方式中说明的动态图像解码方法及动态图像编码方法的电视机（接收机）ex300的图。电视机ex300具备经由接收上述广播的天线ex204或线缆ex203等取得或者输出对影像数据复用了声音数据的复用数据的调谐器ex301、将接收到的复用数据解调或调制为向外部发送的编码数据的调制/解调部ex302、和将解调后的复用数据分离为影像数据、声音数据或将在信号处理部ex306中编码的影像数据、声音数据复用的复用/分离部ex303。

此外，电视机ex300具备：具有将声音数据、影像数据分别解码、或将各自的信息编码的声音信号处理部ex304和影像信号处理部ex305（即，作为本发明的一个方式的图像编码装置或图像解码装置发挥作用）的信号处理部ex306；具有将解码后的声音信号输出的扬声器ex307及显示解码后的影像信号的显示器等的显示部ex308的输出部ex309。进而，电视机ex300具备具有受理用户操作的输入的操作输入部ex312等的接口部ex317。进而，电视机ex300具有合并控制各部的控制部ex310、对各部供给电力的电源电 路部ex311。接口部ex317也可以除了操作输入部ex312以外，还具有与读取器/记录器ex218等的外部设备连接的桥接部ex313、用来能够安装SD卡等的记录介质ex216的插槽部ex314、用来与硬盘等的外部记录介质连接的驱动器ex315、与电话网连接的调制解调器ex316等。另外，记录介质ex216是能够通过收存的非易失性/易失性的半导体存储元件电气地进行信息的记录的结构。电视机ex300的各部经由同步总线相互连接。

首先，对电视机ex300将通过天线ex204等从外部取得的复用数据解码、再现的结构进行说明。电视机ex300接受来自遥控器ex220等的用户操作，基于具有CPU等的控制部ex310的控制，将由调制/解调部ex302解调的复用数据用复用/分离部ex303分离。进而，电视机ex300将分离的声音数据用声音信号处理部ex304解码，将分离的影像数据用影像信号处理部ex305使用在上述各实施方式中说明的解码方法解码。将解码后的声音信号、影像信号分别从输出部ex309朝向外部输出。在输出时，可以暂时将这些信号储存到缓冲器ex318、ex319等中，以使声音信号和影像信号同步再现。此外，电视机ex300也可以不是从广播等、而从磁/光盘、SD卡等的记录介质ex215、ex216读出编码的复用数据。接着，对电视机ex300将声音信号或影像信号编码、向外部发送或写入到记录介质等中的结构进行说明。电视机ex300接受来自遥控器ex220等的用户操作，基于控制部ex310的控制，由声音信号处理部ex304将声音信号编码，由影像信号处理部ex305将影像信号使用在上述各实施方式中说明的编码方法编码。将编码后的声音信号、影像信号用复用/分离部ex303复用，向外部输出。在复用时，可以暂时将这些信号储存到缓冲器ex320、ex321等中，以使声音信号和影像信号同步再现。另外，缓冲器ex318、ex319、ex320、ex321既可以如图示那样具备多个，也可以是共用一个以上的缓冲器的结构。进而，在图示以外，也可以在例如调制/解调部ex302或复用/分离部ex303之间等也作为避免***的上溢、下溢的缓冲部而在缓冲器中储存数据。

此外，电视机ex300除了从广播等或记录介质等取得声音数据、影像数据以外，也可以具备受理麦克风或照相机的AV输入的结构，对从它们中取得的数据进行编码处理。另外，这里，将电视机ex300作为能够进行上述编码处理、复用、及外部输出的结构进行了说明，但也可以不能进行这 些处理，而是仅能够进行上述接收、解码处理、外部输出的结构。

此外，在由读取器/记录器ex218从记录介质将复用数据读出、或写入的情况下，上述解码处理或编码处理由电视机ex300、读取器/记录器ex218的哪个进行都可以，也可以是电视机ex300和读取器/记录器ex218相互分担进行。

作为一例，将从光盘进行数据的读入或写入的情况下的信息再现/记录部ex400的结构表示在图20中。信息再现/记录部ex400具备以下说明的单元ex401、ex402、ex403、ex404、ex405、ex406、ex407。光头ex401对作为光盘的记录介质ex215的记录面照射激光斑而写入信息，检测来自记录介质ex215的记录面的反射光而读入信息。调制记录部ex402电气地驱动内置在光头ex401中的半导体激光器，根据记录数据进行激光的调制。再现解调部ex403将由内置在光头ex401中的光检测器电气地检测到来自记录面的反射光而得到的再现信号放大，将记录在记录介质ex215中的信号成分分离并解调，再现所需要的信息。缓冲器ex404将用来记录到记录介质ex215中的信息及从记录介质ex215再现的信息暂时保持。盘马达ex405使记录介质ex215旋转。伺服控制部ex406一边控制盘马达ex405的旋转驱动一边使光头ex401移动到规定的信息轨道，进行激光斑的追踪处理。***控制部ex407进行信息再现/记录部ex400整体的控制。上述的读出及写入的处理由***控制部ex407利用保持在缓冲器ex404中的各种信息、此外根据需要而进行新的信息的生成、追加、并且一边使调制记录部ex402、再现解调部ex403、伺服控制部ex406协调动作、一边通过光头ex401进行信息的记录再现来实现。***控制部ex407例如由微处理器构成，通过执行读出写入的程序来执行它们的处理。

以上，假设光头ex401照射激光斑而进行了说明，但也可以是使用接近场光进行高密度的记录的结构。

在图21中表示作为光盘的记录介质ex215的示意图。在记录介质ex215的记录面上，以螺旋状形成有导引槽（沟），在信息轨道ex230中，预先通过沟的形状的变化而记录有表示盘上的绝对位置的地址信息。该地址信息包括用来确定作为记录数据的单位的记录块ex231的位置的信息，通过在进行记录及再现的装置中将信息轨道ex230再现而读取地址信息，能够确 定记录块。此外，记录介质ex215包括数据记录区域ex233、内周区域ex232、外周区域ex234。为了记录用户数据而使用的区域是数据记录区域ex233，配置在比数据记录区域ex233靠内周或外周的内周区域ex232和外周区域ex234用于用户数据的记录以外的确定用途。信息再现/记录部ex400对这样的记录介质ex215的数据记录区域ex233进行编码的声音数据、影像数据或复用了这些数据的编码数据的读写。

以上，举1层次的DVD、BD等的光盘为例进行了说明，但并不限定于这些，也可以是多层次构造、在表面以外也能够记录的光盘。此外，也可以是在盘的相同的地方使用不同波长的颜色的光记录信息、或从各种角度记录不同的信息的层次等、进行多维的记录/再现的构造的光盘。

此外，在数字广播用***ex200中，也可以由具有天线ex205的车ex210从卫星ex202等接收数据、在车ex210具有的导航仪ex211等的显示装置上再现动态图像。另外，导航仪ex211的结构可以考虑例如在图19所示的结构中添加GPS接收部的结构，在计算机ex111及便携电话ex114等中也可以考虑同样的结构。

图22A是表示使用在上述实施方式中说明的动态图像解码方法和动态图像编码方法的便携电话ex114的图。便携电话ex114具有由用来在与基站ex110之间收发电波的天线ex350、能够拍摄影像、静止图像的照相机部ex365、显示将由照相机部ex365摄影的影像、由天线ex350接收到的影像等解码后的数据的液晶显示器等的显示部ex358。便携电话ex114还具有包含操作键部ex366的主体部、用来进行声音输出的扬声器等的声音输出部ex357、用来进行声音输入的麦克风等的声音输入部ex356、保存拍摄到的影像、静止图像、录音的声音、或者接收到的影像、静止图像、邮件等的编码后的数据或者解码后的数据的存储器部ex367、或者作为与同样保存数据的记录介质之间的接口部的插槽部ex364。

进而，使用图22B对便携电话ex114的结构例进行说明。便携电话ex114对于合并控制具备显示部ex358及操作键部ex366的主体部的各部的主控制部ex360，将电源电路部ex361、操作输入控制部ex362、影像信号处理部ex355、照相机接口部ex363、LCD（Liquid Crystal Display：液晶显示器）控制部ex359、调制/解调部ex352、复用/分离部ex353、声音信号处理部 ex354、插槽部ex364、存储器部ex367经由总线ex370相互连接。

电源电路部ex361如果通过用户的操作使通话结束及电源键成为开启状态，则通过从电池组对各部供给电力，便携电话ex114起动为能够动作的状态。

便携电话ex114基于具有CPU、ROM及RAM等的主控制部ex360的控制，在语音通话模式时，将由声音输入部ex356集音的声音信号通过声音信号处理部ex354变换为数字声音信号，将其用调制/解调部ex352进行波谱扩散处理，由发送/接收部ex351实施数字模拟变换处理及频率变换处理后经由天线ex350发送。此外，便携电话ex114在语音通话模式时，将由天线ex350接收到的接收数据放大并实施频率变换处理及模拟数字变换处理，用调制/解调部ex352进行波谱逆扩散处理，通过声音信号处理部ex354变换为模拟声音数据后，将其经由声音输出部ex357输出。

进而，在数据通信模式时发送电子邮件的情况下，将通过主体部的操作键部ex366等的操作输入的电子邮件的文本数据经由操作输入控制部ex362向主控制部ex360送出。主控制部ex360将文本数据用调制/解调部ex352进行波谱扩散处理，由发送/接收部ex351实施数字模拟变换处理及频率变换处理后，经由天线ex350向基站ex110发送。在接收电子邮件的情况下，对接收到的数据执行上述处理的大致逆处理，并输出到显示部ex350。

在数据通信模式时，在发送影像、静止图像、或者影像和声音的情况下，影像信号处理部ex355将从照相机部ex365供给的影像信号通过上述各实施方式所示的动态图像编码方法进行压缩编码（即，作为本发明的一个方式的图像编码装置发挥作用），将编码后的影像数据送出至复用/分离部ex353。另外，声音信号处理部ex354对通过照相机部ex365拍摄影像、静止图像等的过程中用声音输入部ex356集音的声音信号进行编码，将编码后的声音数据送出至复用/分离部ex353。

复用/分离部ex353通过规定的方式，对从影像信号处理部ex355供给的编码后的影像数据和从声音信号处理部ex354供给的编码后的声音数据进行复用，将其结果得到的复用数据用调制/解调部（调制/解调电路部）ex352进行波谱扩散处理，由发送/接收部ex351实施数字模拟变换处理及频率变换处理后，经由天线ex350发送。

在数据通信模式时接收到链接到主页等的动态图像文件的数据的情况下，或者接收到附加了影像或者声音的电子邮件的情况下，为了对经由天线ex350接收到的复用数据进行解码，复用/分离部ex353通过将复用数据分离，分为影像数据的比特流和声音数据的比特流，经由同步总线ex370将编码后的影像数据向影像信号处理部ex355供给，并将编码后的声音数据向声音信号处理部ex354供给。影像信号处理部ex355通过与上述各实施方式所示的动态图像编码方法相对应的动态图像解码方法进行解码，由此对影像信号进行解码（即，作为本发明的一个方式的图像解码装置发挥作用），经由LCD控制部ex359从显示部ex358显示例如链接到主页的动态图像文件中包含的影像、静止图像。另外，声音信号处理部ex354对声音信号进行解码，从声音输出部ex357输出声音。

此外，上述便携电话ex114等的终端与电视机ex300同样，除了具有编码器、解码器两者的收发型终端以外，还可以考虑只有编码器的发送终端、只有解码器的接收终端的3种安装形式。另外，在数字广播用***ex200中，设为发送、接收在影像数据中复用了音乐数据等得到的复用数据而进行了说明，但除声音数据之外复用了与影像关联的字符数据等的数据也可以，不是复用数据而是影像数据本身也可以。

这样，将在上述各实施方式中表示的动态图像编码方法或动态图像解码方法用在上述哪种设备、***中都可以，通过这样，能够得到在上述各实施方式中说明的效果。

此外，本发明并不限定于这样的上述实施方式，能够不脱离本发明的范围而进行各种变形或修正。

（实施方式3）

也可以通过将在上述各实施方式中示出的动态图像编码方法或装置、与依据MPEG－2、MPEG4－AVC、VC－1等不同的规格的动态图像编码方法或装置根据需要而适当切换，来生成影像数据。

这里，在生成分别依据不同的规格的多个影像数据的情况下，在解码时，需要选择对应于各个规格的解码方法。但是，由于不能识别要解码的影像数据依据哪个规格，所以产生不能选择适当的解码方法的问题。

为了解决该问题，在影像数据中复用了声音数据等的复用数据采用包 含表示影像数据依据哪个规格的识别信息的结构。以下，说明包括通过在上述各实施方式中示出的动态图像编码方法或装置生成的影像数据在内的复用数据的具体的结构。复用数据是MPEG－2传输流形式的数字流。

图23是表示复用数据的结构的图。如图23所示，复用数据通过将视频流、音频流、演示图形流（PG）、交互图形流中的1个以上进行复用而得到。视频流表示电影的主影像及副影像，音频流（IG）表示电影的主声音部分和与该主声音混合的副声音，演示图形流表示电影的字幕。这里，所谓主影像，表示显示在画面上的通常的影像，所谓副影像，是在主影像中用较小的画面显示的影像。此外，交互图形流表示通过在画面上配置GUI部件而制作的对话画面。视频流通过在上述各实施方式中示出的动态图像编码方法或装置、依据以往的MPEG－2、MPEG4－AVC、VC－1等规格的动态图像编码方法或装置编码。音频流由杜比AC－3、Dolby Digital Plus、MLP、DTS、DTS－HD、或线性PCM等的方式编码。

包含在复用数据中的各流通过PID被识别。例如，对在电影的影像中使用的视频流分配0x1011，对音频流分配0x1100到0x111F，对演示图形分配0x1200到0x121F，对交互图形流分配0x1400到0x141F，对在电影的副影像中使用的视频流分配0x1B00到0x1B1F，对与主声音混合的副声音中使用的音频流分配0x1A00到0x1A1F。

图24是示意地表示复用数据怎样被复用的图。首先，将由多个视频帧构成的视频流ex235、由多个音频帧构成的音频流ex238分别变换为PES包序列ex236及ex239，并变换为TS包ex237及ex240。同样，将演示图形流ex241及交互图形ex244的数据分别变换为PES包序列ex242及ex245，再变换为TS包ex243及ex246。复用数据ex247通过将这些TS包复用到1条流中而构成。

图25更详细地表示在PES包序列中怎样保存视频流。图25的第1段表示视频流的视频帧序列。第2段表示PES包序列。如图25的箭头yy1、yy2、yy3、yy4所示，视频流中的多个作为Video Presentation Unit的I图片、B图片、P图片按每个图片被分割并保存到PES包的有效载荷中。各PES包具有PES头，在PES头中，保存有作为图片的显示时刻的PTS（Presentation Time-Stamp）及作为图片的解码时刻的DTS（Decoding Time-Stamp）。

图26表示最终写入在复用数据中的TS包的形式。TS包是由具有识别流的PID等信息的4字节的TS头和保存数据的184字节的TS有效载荷构成的188字节固定长度的包，上述PES包被分割并保存到TS有效载荷中。在BD－ROM的情况下，对于TS包赋予4字节的TP_Extra_Header，构成192字节的源包，写入到复用数据中。在TP_Extra_Header中记载有ATS（Arrival_Time_Stamp）等信息。ATS表示该TS包向解码器的PID滤波器的转送开始时刻。在复用数据中，源包如图26下段所示排列，从复用数据的开头起递增的号码被称作SPN（源包号）。

此外，在复用数据所包含的TS包中，除了影像、声音、字幕等的各流以外，还有PAT（Program Association Table）、PMT（Program Map Table）、PCR（Program Clock Reference）等。PAT表示在复用数据中使用的PMT的PID是什么，PAT自身的PID被登记为0。PMT具有复用数据所包含的影像、声音、字幕等的各流的PID、以及与各PID对应的流的属性信息，还具有关于复用数据的各种描述符。在描述符中，有指示许可/不许可复用数据的拷贝的拷贝控制信息等。PCR为了取得作为ATS的时间轴的ATC（Arrival Time Clock）与作为PTS及DTS的时间轴的STC（System Time Clock）的同步，拥有与该PCR包被转送至解码器的ATS对应的STC时间的信息。

图27是详细地说明PMT的数据构造的图。在PMT的开头，配置有记述了包含在该PMT中的数据的长度等的PMT头。在其后面，配置有多个关于复用数据的描述符。上述拷贝控制信息等被记载为描述符。在描述符之后，配置有多个关于包含在复用数据中的各流的流信息。流信息由记载有用来识别流的压缩编解码器的流类型、流的PID、流的属性信息（帧速率、纵横比等）的流描述符构成。流描述符存在复用数据中存在的流的数量。

在记录到记录介质等中的情况下，将上述复用数据与复用数据信息文件一起记录。

复用数据信息文件如图28所示，是复用数据的管理信息，与复用数据一对一地对应，由复用数据信息、流属性信息以及入口映射构成。

复用数据信息如图28所示，由***速率、再现开始时刻、再现结束时刻构成。***速率表示复用数据的向后述的***目标解码器的PID滤波器 的最大转送速率。包含在复用数据中的ATS的间隔设定为成为***速率以下。再现开始时刻是复用数据的开头的视频帧的PTS，再现结束时刻设定为对复用数据的末端的视频帧的PTS加上1帧量的再现间隔的值。

流属性信息如图29所示，按每个PID登记有关于包含在复用数据中的各流的属性信息。属性信息具有按视频流、音频流、演示图形流、交互图形流而不同的信息。视频流属性信息具有该视频流由怎样的压缩编解码器压缩、构成视频流的各个图片数据的分辨率是多少、纵横比是多少、帧速率是多少等的信息。音频流属性信息具有该音频流由怎样的压缩编解码器压缩、包含在该音频流中的声道数是多少、对应于哪种语言、采样频率是多少等的信息。这些信息用于在播放器再现之前的解码器的初始化等中。

在本实施方式中，使用上述复用数据中的、包含在PMT中的流类型。此外，在记录介质中记录有复用数据的情况下，使用包含在复用数据信息中的视频流属性信息。具体而言，在上述各实施方式示出的动态图像编码方法或装置中，设置如下步骤或单元，该步骤或单元对包含在PMT中的流类型、或视频流属性信息，设定表示是通过在上述各实施方式中示出的动态图像编码方法或装置生成的影像数据的固有信息。通过该结构，能够识别通过在上述各实施方式中示出的动态图像编码方法或装置生成的影像数据、和依据其他规格的影像数据。

此外，在图30中表示本实施方式的动态图像解码方法的步骤。在步骤exS100中，从复用数据中取得包含在PMT中的流类型、或包含在复用数据信息中的视频流属性信息。接着，在步骤exS101中，判断流类型、或视频流属性信息是否表示是通过在上述各实施方式中示出的动态图像编码方法或装置生成的复用数据。并且，在判断为流类型、或视频流属性信息是通过在上述各实施方式中示出的动态图像编码方法或装置生成的复用数据情况下，在步骤exS102中，通过在上述各实施方式中示出的动态图像解码方法进行解码。此外，在流类型、或视频流属性信息表示是依据以往的MPEG－2、MPEG4－AVC、VC－1等的规格的复用数据的情况下，在步骤exS103中，通过依据以往的规格的动态图像解码方法进行解码。

这样，通过在流类型、或视频流属性信息中设定新的固有值，在解码时能够判断是否能够通过在上述各实施方式中示出的动态图像解码方法或 装置解码。因而，在被输入了依据不同的规格的复用数据的情况下，也能够选择适当的解码方法或装置，所以能够不发生错误地进行解码。此外，将在本实施方式中示出的动态图像编码方法或装置、或者动态图像解码方法或装置用在上述任何设备、***中。

（实施方式4）

在上述各实施方式中示出的动态图像编码方法及装置、动态图像解码方法及装置典型地可以由作为集成电路的LSI实现。作为一例，在图31中表示1芯片化的LSIex500的结构。LSIex500具备以下说明的单元ex501、ex502、ex503、ex504、ex505、ex506、ex507、ex508、ex509，各单元经由总线ex510连接。电源电路部ex505通过在电源是开启状态的情况下对各部供给电力，起动为能够动作的状态。

例如在进行编码处理的情况下，LSIex500基于具有CPUex502、存储器控制器ex503、流控制器ex504、驱动频率控制部ex512等的控制部ex501的控制，通过AV I/Oex509从麦克风ex117及照相机ex113等输入AV信号。被输入的AV信号暂时储存在SDRAM等的外部的存储器ex511中。基于控制部ex501的控制，将储存的数据根据处理量及处理速度适当地分为多次等，向信号处理部ex507发送，在信号处理部ex507中进行声音信号的编码及/或影像信号的编码。这里，影像信号的编码处理是在上述各实施方式中说明的编码处理。在信号处理部ex507中，还根据情况而进行将编码的声音数据和编码的影像数据复用等的处理，从流I/Oex506向外部输出。将该输出的比特流向基站ex107发送、或写入到记录介质ex215中。另外，在复用时，可以暂时将数据储存到缓冲器ex508中以使其同步。

另外，在上述中，设存储器ex511为LSIex500的外部的结构进行了说明，但也可以是包含在LSIex500的内部中的结构。缓冲器ex508也并不限定于一个，也可以具备多个缓冲器。此外，LSIex500既可以形成1个芯片，也可以形成多个芯片。

此外，在上述中，假设控制部ex510具有CPUex502、存储器控制器ex503、流控制器ex504、驱动频率控制部ex512等，但控制部ex510的结构并不限定于该结构。例如，也可以是信号处理部ex507还具备CPU的结构。通过在信号处理部ex507的内部中也设置CPU，能够进一步提高处理 速度。此外，作为其他例，也可以是CPUex502具备信号处理部ex507、或作为信号处理部ex507的一部分的例如声音信号处理部的结构。在这样的情况下，控制部ex501为具备具有信号处理部ex507或其一部分的CPUex502的结构。

另外，这里设为LSI，但根据集成度的差异，也有称作IC、***LSI、超级(super)LSI、特级(ultra)LSI的情况。

此外，集成电路化的方法并不限定于LSI，也可以由专用电路或通用处理器实现。也可以利用在LSI制造后能够编程的FPGA（Field Programmable Gate Array）、或能够重构LSI内部的电路单元的连接及设定的可重构处理器。

进而，如果因半导体技术的进步或派生的其他技术而出现代替LSI的集成电路化的技术，则当然也可以使用该技术进行功能模块的集成化。有可能是生物技术的应用等。

（实施方式5）

在将通过在上述各实施方式中示出的动态图像编码方法或装置生成的影像数据解码的情况下，考虑到与将依据以往的MPEG－2、MPEG4－AVC、VC－1等规格的影像数据的情况相比处理量会增加。因此，在LSIex500中，需要设定为比将依据以往的规格的影像数据解码时的CPUex502的驱动频率更高的驱动频率。但是，如果将驱动频率设得高，则发生消耗电力变高的问题。

为了解决该问题，电视机ex300、LSIex500等的动态图像解码装置采用识别影像数据依据哪个规格、并根据规格切换驱动频率的结构。图32表示本实施方式的结构ex800。驱动频率切换部ex803在影像数据是通过在上述各实施方式中示出的动态图像编码方法或装置生成的情况下，将驱动频率设定得高。并且，对执行在上述各实施方式中示出的动态图像解码方法的解码处理部ex801指示将影像数据解码。另一方面，在影像数据是依据以往的规格的影像数据的情况下，与影像数据是通过在上述各实施方式中示出的动态图像编码方法或装置生成的数据的情况相比，将驱动频率设定得低。并且，对依据以往的规格的解码处理部ex802指示将影像数据解码。

更具体地讲，驱动频率切换部ex803由图31的CPUex502和驱动频率 控制部ex512构成。此外，执行在上述各实施方式中示出的动态图像解码方法的解码处理部ex801、以及依据以往的规格的解码处理部ex802对应于图31的信号处理部ex507。CPUex502识别影像数据依据哪个规格。并且，基于来自CPUex502的信号，驱动频率控制部ex512设定驱动频率。此外，基于来自CPUex502的信号，信号处理部ex507进行影像数据的解码。这里，可以考虑在影像数据的识别中使用例如在实施方式3中记载的识别信息。关于识别信息，并不限定于在实施方式3中记载的信息，只要是能够识别影像数据依据哪个规格的信息就可以。例如，在基于识别影像数据利用于电视机还是利用于盘等的外部信号，来能够识别影像数据依据哪个规格的情况下，也可以基于这样的外部信号进行识别。此外，CPUex502的驱动频率的选择例如可以考虑如图34所示的将影像数据的规格与驱动频率建立对应的查找表进行。将查找表预先保存到缓冲器ex508、或LSI的内部存储器中，CPUex502通过参照该查找表，能够选择驱动频率。

图33表示实施本实施方式的方法的步骤。首先，在步骤exS200中，在信号处理部ex507中，从复用数据中取得识别信息。接着，在步骤exS201中，在CPUex502中，基于识别信息识别影像数据是否是通过在上述各实施方式中示出的编码方法或装置生成的数据。在影像数据是通过在上述各实施方式中示出的编码方法或装置生成的数据的情况下，在步骤exS202中，CPUex502向驱动频率控制部ex512发送将驱动频率设定得高的信号。并且，在驱动频率控制部ex512中设定为高的驱动频率。另一方面，在表示是依据以往的MPEG－2、MPEG4－AVC、VC－1等的规格的影像数据的情况下，在步骤exS203中，CPUex502向驱动频率控制部ex512发送将驱动频率设定得低的信号。并且，在驱动频率控制部ex512中，设定为与影像数据是通过在上述各实施方式中示出的编码方法或装置生成的数据的情况相比更低的驱动频率。

进而，通过与驱动频率的切换连动而变更对LSIex500或包括LSIex500的装置施加的电压，由此能够进一步提高节电效果。例如，在将驱动频率设定得低的情况下，随之，可以考虑与将驱动频率设定得高的情况相比，将对LSIex500或包括LSIex500的装置施加的电压设定得低。

此外，驱动频率的设定方法只要是在解码时的处理量大的情况下将驱 动频率设定得高、在解码时的处理量小的情况下将驱动频率设定得低就可以，并不限定于上述的设定方法。例如，可以考虑在将依据MPEG4－AVC规格的影像数据解码的处理量大于将通过在上述各实施方式中示出的动态图像编码方法或装置生成的影像数据解码的处理量的情况下，与上述的情况相反地进行驱动频率的设定。

进而，驱动频率的设定方法并不限定于使驱动频率低的结构。例如，也可以考虑在识别信息是通过在上述各实施方式中示出的动态图像编码方法或装置生成的影像数据的情况下，将对LSIex500或包括LSIex500的装置施加的电压设定得高，在表示是依据以往的MPEG－2、MPEG4－AVC、VC－1等的规格的影像数据的情况下，将对LSIex500或包括LSIex500的装置施加的电压设定得低。此外，作为另一例，也可以考虑在识别信息表示是通过在上述各实施方式中示出的动态图像编码方法或装置生成的影像数据的情况下，不使CPUex502的驱动停止，在表示是依据以往的MPEG－2、MPEG4－AVC、VC－1等的规格的影像数据的情况下，由于在处理中有富余，所以使CPUex502的驱动暂停。也可以考虑在识别信息表示是通过在上述各实施方式中示出的动态图像编码方法或装置生成的影像数据的情况下，也只要在处理中有富余则使CPUex502的驱动暂停。在此情况下，可以考虑与表示是依据以往的MPEG－2、MPEG4－AVC、VC－1等的规格的影像数据的情况相比，将停止时间设定得短。

这样，根据影像数据所依据的规格来切换驱动频率，由此能够实现节电化。此外，在使用电池来驱动LSIex500或包括LSIex500的装置的情况下，能够随着节电而延长电池的寿命。

（实施方式6）

在电视机、便携电话等上述的设备、***中，有时被输入依据不同的规格的多个影像数据。这样，为了使得在被输入了依据不同的规格的多个影像数据的情况下也能够解码，LSIex500的信号处理部ex507需要对应于多个规格。但是，如果单独使用对应于各个规格的信号处理部ex507，则发生LSIex500的电路规模变大、此外成本增加的问题。

为了解决该问题，采用将用来执行在上述各实施方式中示出的动态图像解码方法的解码处理部、和依据以往的MPEG－2、MPEG4－AVC、VC －1等的规格的解码处理部一部分共用的结构。图35A的ex900表示该结构例。例如，在上述各实施方式中示出的动态图像解码方法和依据MPEG4－AVC规格的动态图像解码方法在熵编码、逆量化、解块滤波器、运动补偿等的处理中有一部分处理内容共通。可以考虑如下结构：关于共通的处理内容，共用对应于MPEG4－AVC规格的解码处理部ex902，关于不对应于MPEG4－AVC规格的本发明特有的其他的处理内容，使用专用的解码处理部ex901。关于解码处理部的共用，也可以是如下结构：关于共通的处理内容，共用用来执行在上述各实施方式中示出的动态图像解码方法的解码处理部，关于MPEG4－AVC规格所特有的处理内容，使用专用的解码处理部。

此外，用图35B的ex1000表示将处理一部分共用的另一例。在该例中，采用使用与本发明的一个方式所特有的处理内容对应的专用的解码处理部ex1001、和与其他的以往规格所特有的处理内容对应的专用的解码处理部ex1002、和与在本发明的一个方式的动态图像解码方法和其他的以往规格的动态图像解码方法中共通的处理内容对应的共用的解码处理部ex1003的结构。这里，专用的解码处理部ex1001、ex1002并不一定是为本发明的一个方式、或者其他的以往规格所特有的处理内容而特殊化的，可以是能够执行其他的通用处理的结构。此外，也能够由LSIex500安装本实施方式的结构。

这样，对于在本发明的一个方式的动态图像解码方法和以往的规格的动态图像解码方法中共通的处理内容，共用解码处理部，由此能够减小LSI的电路规模并且降低成本。

产业上的可利用性

本发明涉及的图像编码方法及图像解码方法能够发挥减轻处理负担的效果，能够适用于例如摄像机、具有动态图像的拍摄及再现功能的便携电话、个人电脑、或者录制再现装置等中。

标号说明

1000图像编码装置；1101减法器；1102正交变换部；1103量化部； 1104熵编码部；1105逆量化部；1106逆正交变换部；1107加法器；1108解块滤波器；1109存储器；1110面内预测部；1111帧间预测部；1112运动检测部；1113开关；1200存储器控制部；2000图像解码装置；2101熵解码部；2102逆量化部；2103逆正交变换部；2104加法器；2105解块滤波器；2106存储器；2107面内预测部；2108帧间预测部；2109开关；2200存储器控制部。

Claims (5)

1.一种对动态图像信号进行编码的图像编码方法，

在以使包含于所述动态图像信号中的多个图像分别属于多个层次中的某一个层次的方式、将所述多个图像分层次地分类的情况下，生成表示是否对在进行编码对象图像的编码时参照的参照图像的选择附加限制的标志，该编码对象图像是所述多个图像中的某一个图像，

在所述标志表示附加限制的情况下，选择满足根据所述编码对象图像所属的第1层次而限制的条件的图像，作为针对所述编码对象图像的参照图像，

参照所选择的所述参照图像对所述编码对象图像进行编码，

使所述标志包含在被编码后的所述动态图像信号中。

2.根据权利要求1所述的图像编码方法，在选择所述参照图像时，当按照编码顺序在所述编码对象图像和候选图像之间、存在属于处于根据所述第1层次而限制的范围内的第2层次的基准图像的情况下，禁止选择所述候选图像作为所述参照图像，而选择所述候选图像以外的图像作为所述参照图像。

3.根据权利要求2所述的图像编码方法，在选择所述参照图像时，当存在属于处于被限制为所述第1层次之下的范围内的所述第2层次的所述基准图像的情况下，禁止选择所述候选图像作为所述参照图像。

4.根据权利要求2所述的图像编码方法，在选择所述参照图像时，禁止选择按照编码顺序处于所述编码对象图像前面的所述候选图像作为所述参照图像。

5.一种对动态图像信号进行编码的图像编码装置，该图像编码装置具有：

标志生成部，在以使包含于所述动态图像信号中的多个图像分别属于多个层次中的某一个层次的方式、将所述多个图像分层次地分类的情况下，生成表示是否对在进行编码对象图像的编码时参照的参照图像的选择附加限制的标志，该编码对象图像是所述多个图像中的某一个图像；

选择部，在所述标志表示附加限制的情况下，选择满足根据所述编码对象图像所属的第1层次而限制的条件的图像，作为针对所述编码对象图像的参照图像；

编码部，参照所选择的所述参照图像对所述编码对象图像进行编码；以及

***部，使所述标志包含在被编码后的所述动态图像信号中。