CN1717939A - 图像解码装置、图像编码装置及其方法 - Google Patents

Abstract

本发明的图像解码装置(1100)，一边参照已解码图像，一边对包含不同图像尺寸的动态图像流的代码串进行解码。图像存储器(203)具备用于存储已解码的图像的存储区域。图像存储器分割方法指定部(210)将图像存储器(203)的存储区域划分成规定大小的图像区域。图像存储器控制部(206)在由图像存储器(203)的1个或1个以上的图像区域构成的连续的存储区域中，连续存储新解码的1幅图像的全部数据。

Description

图像解码装置、图像编码装置及其方法

技术领域

本发明涉及参照已编码或已解码的图像(picture)来进行帧间预测的动态图像的解码方法及编码方法，尤其涉及存储已解码图像的图像存储器的管理方法。

背景技术

近几年，迎来了对声音、图像以及其他象素值进行综合处理的多媒体时代，把以前的信息媒体即报纸、杂志、电视、广播、电话等信息传达给人的方法成了多媒体的处理对象。通常，所谓多媒体是指不仅仅限于文字，同时将图形、声音、尤其是图像等关联起来进行显示的方式。将上述现有的信息媒体作为多媒体的对象时，以数字形式表现其信息是必须条件。

但是，若将上述各信息媒体所持有的信息量作为数字信息量来估计，则其信息为文字时每一文字的信息量为1～2字节，而其信息为声音时每一秒的信息量需要64kbits(电话品质)，再者，其信息为动态图像时每一秒的信息量需要不少于100Mbits(目前的电视接收品质)，因此，将上述信息媒体中的庞大的信息直接以数字形式进行处理是不现实的。例如，虽然通过具有64kbps～1.5Mbps传输速度的服务综合数字网(ISDN：Inergrated Services Digital Network)已经实现了电视电话，但是不能将电视及摄像机的图像直接利用ISDN传送。

因此，信息压缩技术是必备的技术，例如，在电视电话的情况下，采用由ITU(国际电气通信协会的电器通信标准化部门)制定的国际标准H.261或H.263标准的动态图像压缩技术。再有，根据MPEG-1标准的信息压缩技术，可在一般的音乐用CD中同时写入声音信息和图像信息。

上述中，所谓MPEG(Moving Picture Expert Group：运动图像专家组)是动态图像信号的数字压缩国际标准，MPEG-1是能够将动态图像信号压缩到1.5Mbps的标准，即是将电视信号的信息压缩到约100分之1的标准。此外，由于以MPEG-1标准为对象的传输速度主要被限制为1.5Mbps，为满足更高的高图像质量要求而制定的MPEG-2标准中，动态图像信号被压缩到2～15Mbps。

目前，由一直推进MPEG-1、MPEG-2的标准化的工作组(ISO/IECJTC/SC29/WG11)制定了压缩率更高的MPEG-4标准。在MPEG-4中，不仅能够以低比特率高效地进行编码，还导入了即使发生传输路径错误也能够减少主观性的图像质量恶化的强有力的容错技术。此外，目前，作为下一代图像编码方式，由ISO/IEC和ITU共同推进H.264的标准化活动。

一般而言，在动态图像的编码中，通过减少时间方向和空间方向上的冗余性来进行信息量的压缩。在此，以减少时间冗余性为其目的的帧间预测编码中，参照前方或后方的图像，以块单位进行动态检测及预测图像的制作，并对所得到的预测图像和当前图像之间的差分值进行编码。

在此，图像(picture)是表示一幅画面的用语，在逐行扫描图像中表示帧，在隔行扫描图像中表示帧(frame)或场。在此，隔行扫描图像是一个帧由不同时刻的两个场构成的图像。在隔行扫描图像的编码或解码处理中，可将一个帧直接进行处理，或者作为两个场来处理，或者将帧内的每个块作为帧结构或场结构来进行处理。

此外，下述中的图像(picture)是以逐行扫描图像中的帧的意思来进行说明，但是同样可以按隔行扫描图像中的帧或场的意思来进行说明。

图1是表示现有的图像编码装置100的结构的框图。该图像编码装置100包括：图像存储器101、预测残差编码部102、代码串生成部103、预测残差解码部104、图像存储器105、动态矢量检测部106、动态补偿编码部107、动态矢量存储部108、图像存储器控制部109、差分运算部112、加法运算部113、开关114及开关115。

成为编码对象的动态图像按照进行显示的顺序、以图像单位输入到图像存储器101，在图像存储器101中，按照编码顺序重新排列图像。之后，各图像被分割成叫做宏块的例如水平16象素×垂直16象素的块，并以块单位进行以后的处理。

从图像存储器101读取的输入图像信号被输入到差分运算部112，通过提取与作为动态补偿编码部107的输出的预测图像信号之间的差分来获得差分图像信号，并将该差分图像信号输出到预测残差编码部102。在预测残差编码部102中进行频率变换、量子化等图像编码处理，输出残差信号。残差信号输入到预测残差解码部104，进行反量子化、反频率变换等图像解码处理，输出残差解码信号。在加法运算部113中，将上述残差解码信号和预测图像信号相加，生成再构成图像信号，并将获得的再构成图像信号存储到图像存储器105中。

另一方面，从图像存储器101读取的宏块单位的输入图像信号还输入到动态矢量检测部106。在此，将存储于图像存储器105中的一幅或多幅已编码的图像作为检索对象，通过检测出最接近输入图像信号的图像区域，来确定指示其位置的动态矢量和指示此时所选择的帧的参照图像索引。动态矢量的检测是以将宏块进一步分割的块单位进行，所获得的动态矢量存储到动态矢量存储部108。在动态补偿编码部107中，利用通过上述处理检测出的动态矢量及参照图像索引，从存储于图像存储器105中的已编码图像中取出最合适的图像区域，生成预测图像。

在代码串生成部103中，对通过上述一系列的处理输出的动态矢量、参照图像索引、残差编码信号等编码信息实施可变长编码(Variable LengthCoding)，来获得通过该编码处理输出的代码串。

上述处理流程是在进行帧内预测编码时的动作，但通过开关114及开关115进行与帧内预测编码之间的切换。在进行帧内编码的情况下，不通过动态补偿生成预测图像，而是通过根据同一帧内的已编码区域来生成编码对象区域的预测图像，提取差分，从而生成差分图像信号。差分图像信号与帧间预测编码的情况同样，在预测残差编码部102中变换为残差编码信号，并通过在代码串生成部103中实施可变长编码，获得所输出的代码串。

图2是表示现有的图像解码装置200的结构的框图。该图像解码装置200包括：代码串分析部201、预测残差解码部202、图像存储器203、动态补偿解码部204、动态矢量存储部205、图像存储器控制部206、加法运算部211及开关212。

首先，代码串分析部201从所输入的代码串中，提取动态矢量、参照图像索引、残差编码信号等各种信息。由代码串分析部201提取的动态矢量被输出到动态矢量存储部205中，参照图像索引被输出到动态补偿解码部204、残差编码信号被输出到预测残差解码部202。

在预测残差解码部202对所输入的残差编码信号实施反量子化、反频率变换等图像解码处理，并输出残差解码信号。在加法运算部211，将上述残差解码信号和从动态补偿编码部204输出的预测图像信号相加，生成再构成图像信号，并将所得到的再构成图像信号存储到图像存储器203。

在动态补偿解码部204，利用从动态矢量存储部205输入的动态矢量及从编码分析部201输入的参照图像索引，取出存储在图像存储器203中的1幅图像或多幅已解码图像中最适合于预测图像的图像区域。

通过上述一系列处理生成的已解码图像，按照显示定时，从图像存储器203作为显示用图像信号输出。

以上的处理流程是进行帧间预测解码时的动作，但是，利用开关212进行与帧内预测解码的切换。在进行帧内预测解码时，不进行利用动态补偿的预测图像的生成。代之，根据同一帧内的已解码区域生成解码对象区域的预测图像，并通过与残差解码信号相加，生成再构成图像信号。由此，所得到的再构成图像信号被存储到图像存储器203中，按照显示的定时，作为显示用图像信号输出。

图3(a)及图3(b)是用于说明输入图像中的帧的参照关系的图，图3(a)表示按照显示顺序、图3(b)表示按照编码顺序将图像排列的状态。附加到各图像P的数字表示该图像的显示顺序。此外，如图3(a)所示，在将各图像按照显示顺序排列时，该数字的所有值按照上升顺序分配到各图像上。此外，图中的箭头表示帧间预测编码或帧间预测解码中的图像间的参照关系，箭尾处的图像任意地参照箭头处图像中的1幅或2幅图像。

若以P4为例，则可知P4参照P0、P1、P2、P6来进行编码或解码。在上述参照中使用的上述多个图像，必须在对象的图像P4之前进行编码或解码，是在图像存储器中作为可参照图像存储的图像。如图3所示地按照编码顺序排列时，可知被P4参照的图像全部位于P4的前方。在编码和解码过程中，图像P4对每个块、从使用于上述参照的多个图像中选择最合适的1幅或2幅，将选择的图像作为参照图像，在后述的帧间预测编码和帧间预测解码中使用。

在存储于图像存储器中的各图像中，附加了表示是否可用于参照的信息。不能用于参照的图像，本来应该马上从图像存储器中删除，但是即使知道不能用于参照，在显示顺序到来之前需要等待其他图像被解码。例如，图3(b)的P3被解码的顺序是第2个时，如图3(a)进行显示的顺序则成为第4。因此，P3在P1和P2被解码之前的期间内，必须存储在图像存储器中。将P3这样的图像叫做待显示图像或不可参照图像。相对于此，将可用于参照的图像叫做可参照图像。

通常，在图像编码装置100及图像解码装置200的加法运算部113及加法运算部211中被再构成的图像信号，在下述的图像存储器控制部109及图像存储器控制部206的控制下，被存储到图像存储器109及图像存储器203中。图4是表示图2中所示的图像解码装置200中的再构成图像信号向图像存储器203存储的控制动作的流程图。当对象图像被解码(S401)而生成新的再构成图像信号时，图像存储器控制部206判断在图像存储器203中是否有可存储所生成的再构成图像信号的足够的空区域(S402)。在没有可存储所生成的再构成图像信号的足够的空区域时，图像存储器控制部206删除已存储在图像存储器203中的、按照显示顺序最老的图像(S403)。这样，图像存储器控制部206通过重复步骤S402和步骤S403，将已存储的图像按照显示顺序最老的图像开始依次删除，直到在图像存储器203内有足够存储新的再构成图像信号的空区域。这样，在图像存储器203内有足够存储新的再构成图像信号的空区域之后，在该空区域中存储新的再构成图像信号(S404)。再有，所谓空区域是指存储器中可由其他数据再利用该区域的区域。此外，所谓删除是指使得该存储区域可用于其他数据的存储的处理，在物理上删除数据的情况或在物理上不删除而允许写入的情况均可称作删除。参照“Joint FinalCommittee Draft(JFCD)of Joint Video Specification(ITU-T Rec.H.264|ISO/IEC 14496-10AVC)”7.4.3.3P.65、E.2.1 P.252。

图5(a)、图5(b)、图6(a)、图6(b)、图7(a)及图7(b)是表示按照图4所示的顺序进行图像存储器的管理的情况下存储器区域的应用例的图。

图5(a)是示出在解码对象图像中图像尺寸由小变大的情况下，在图像存储器203内有可存储尺寸变更之后的图像的大小的空区域时的存储例的图。图5(a)的上部分表示在图像存储器203内有用于存储已解码的图像C的足够的空区域(斜线部分)的状态。在该例中，示出了图3的图像串中的P2、P6、P4、P5被存储到图像存储器、正在对P7(＝图像C)进行解码的状态。该情况下，如图5(a)下部分所示，可将已解码的图像C保持原样从图像存储器203内的空区域的先头存储到图像存储器203内。即，不进行已存储在图像存储器内的图像的删除。

图5(b)是示出在解码对象图像中图像的尺寸由小变大的情况下，在图像存储器203内没有可存储大小变更之后的图像的大小的空区域的情况下的存储例的图。在该图中，将附加到图像上的数字用“○”圈起来表示的图像，是为了重新存储图像C而应该从图像存储器203删除的图像。图5(b)的上部分示出在图像存储器203内没有用于存储已解码的图像C的足够的空区域的状态。在该例中，图3的图像串中的P3、P1、P2、P6、P4、P5被存储到图像存储器、当前对P7进行解码的状态(即，C＝7)。该情况下，需要删除存储在图像存储器203中的、图像尺寸变更前的图像，来确保用于存储新解码的图像C的区域。在该例中，可知图像尺寸变更后的图像C的尺寸比图像尺寸变更前的图像大，为了新存储图像C，需要删除已存储的两幅图像。接着，，从各图像所持有的显示顺序信息最老的图像开始，依次选择被删除的图像。在该例中，在图像存储器203内P1的显示顺序信息最老，可知按照P1、P2、P3...的顺序变成新的。在图像存储器控制部206中，通过上述的处理判定1幅或多幅应删除的图像，并将判定结果输出到图像存储器203，进行图像的删除。在图5(b)上部分的例中，通过上述处理删除P1、P2，从由此生成的空区域的先头开始，如图5(b)所示地存储已解码的图像C。

图6(a)是示出在解码对象图像中不进行图像尺寸变更、并在图像存储器内存在具有与解码对象图像不同的图像尺寸的图像的情况下，在图像存储器203内有可存储新解码的图像C的大小的空区域时的存储例的图。即，在时间上与图像C相近、且不进行图像尺寸的变更的情况下或在对不发生图像尺寸变更的流进行解码的情况下所产生的存储例。

在这样的情况下，已经存储在图像存储器203内的图像以及新解码的图像C均为相同的图像尺寸。因此，为了存储新解码的图像C，只要从图像存储器203删除1幅图像即可。随之，图像存储器控制部206检查图像存储器203内的空区域，若有可存储图像C的大小的空区域，则将图像C写入该空区域，在没有用于存储图像C的空区域时，判定为删除一幅图像。存储在图像存储器203内的图像除具有图像数据之外，还具有表示显示顺序的信息。图像存储器控制部206通过检查上述显示顺序信息，判定应删除的图像，并作为判定结果，将只删除一幅显示顺序信息最老的图像的内容传送到图像存储器203。其结果，在生成的空区域中存储已解码的图像C。

图6(a)的上部分示出在图像存储器203内有用于存储新解码的图像C的足够的空区域的状态。在该例中，示出了图3的图像串中的P2、P6、P4、P5存储在图像存储器中、当前对P7进行解码的状态(即，C＝P7)。在该情况下，如图6(a)下部分所示，可将已解码的图像C直接存储在空区域中。即，不进行对已存储在图像存储器中的图像的删除。

图6(b)是示出在解码对象图像中不进行图像尺寸变更、并在图像存储器内不存在持有与解码对象图像不同的图像尺寸的图像的情况下，在图像存储器203内没有可存储新解码的图像C的大小的空区域时的存储例的图。图6(b)的上部分示出在图像存储器内没有用于存储新解码的图像C的足够的空区域的状态。在该例中，示出了图3的图像串中的P3、P1、P2、P6、P4、P5存储在图像存储器中、当前对P7进行解码的状态(即，C＝P7)。在该情况下，需要删除一幅存储在图像存储器203中的图像，来确保用于存储已被解码的图像C的区域。作为被删除的图像，选择各图像所持有的显示顺序信息最老的图像。在该例中，可知P1的显示顺序信息最老。在图像存储器控制部206中，通过上述处理，来判定被删除的图像，并将判定结果输出到图像存储器203，进行图像的删除。在图6(b)上部分的例中，通过上述处理删除P1，并在由此生成的空区域中，如图6(b)的下部分所示地存储已解码的图像C。

图7(a)是示出在解码对象图像中不变更图像尺寸、并在图像存储器203内存在图像尺寸与新解码的图像C不同的图像的情况下，在图像存储器203内有可存储新解码的图像C的大小的空区域时的存储例的图。即，在图像尺寸变更后开始到经过长时间之前，解码对象图像被解码的情况下产生的例。图像存储器控制部206在检查图像存储器203内的空区域、并有用于存储新解码的图像C的足够的空区域的情况下，什么也不做，在空区域不够的情况下，将图像尺寸变更后新解码的图像C的尺寸和变更前的尺寸进行比较，并判定应删除的图像的幅数及应删除的图像。图像存储器控制部206从显示顺序信息老的图像开始依次删除所需幅数的图像，并在由此生成的空区域中存储新解码的图像C时，通过检查上述说明的显示顺序信息，来确定被删除的图像。应被删除的图像从图像存储器控制部206传送到图像存储器203。其结果，在生成的空区域中存储新解码的图像C。

图7(a)的上部分示出在图像存储器203内有用于存储新解码的图像C的足够的空区域的状态。在该例中，示出了图3的图像串中的P4、P5、P7被存储到图像存储器203、当前对P8进行解码的状态(即，C＝P8)。该情况下，如图8(a)的下部分所示，可将新解码的图像C直接存储到空区域中。即，不进行已存储在图像存储器内的图像的删除。

图7(b)是示出在解码对象图像中不变更图像尺寸、并在图像存储器203内存在图像尺寸与新解码的图像C不同的图像的情况下，在图像存储器203中没有可存储新解码的图像C的大小的空区域时的存储例的图。图7(b)的上部分示出在图像存储器203内没有用于存储新解码的图像C的足够的空区域的状态。在该例中，示出了图3的图像串中的P2、P6、P4、P5、P7被存储到图像存储器、当前对P8进行解码的状态(即，C＝P8)。该情况下，需要删除存储在图像存储器203中的图像尺寸变更前的图像，来确保用于存储新解码的图像C的区域。在该例中，图像尺寸变更后的图像C的尺寸比图像尺寸变更前的图像大，可知即使为了存储图像C而使用已成为空区域的区域，也需要删除2幅图像。接着，从各图像所持有的显示顺序信息最老的图像开始依次选择删除的图像。在该例中，P2的显示顺序信息最老，可知按照P2、P4、P5...的顺序变成新的图像。随之，图像存储器控制部206中，通过上述处理来判定应删除的一幅或多幅图像，并将判定结果输出到图像存储器203，进行图像的删除。图7(b)上部分的例中，通过上述处理删除P2、P4，如图7(b)下部分所示地新解码的图像C存储到所生成的空区域。

但是，在按照现有技术来说明的解码方法中，被删除的P2、P4在图像存储器203内存储于在物理上分离的区域中，因此，如图7(b)下部分的例中所发生的那样，产生新解码的图像存储到物理上被分割的区域中的状况。尤其是，根据编码流中包含的图像的图像尺寸的组合，一幅图像有可能在不同的区域被分割成非常复杂。如上所述，在将存储于物理上被分割的区域中的图像用作参照图像时，对图像存储器的存取变得复杂，有可能成为对图像存储器的存取速度以及解码速度降低的原因。

发明内容

因此，为了解决上述课题，本发明的目的是提供一种图像存储器的管理方法，在动态图像流的先头或中间部分发生了图像尺寸变更的情况下，不会降低对图像存储器的存取效率。

本发明的图像解码装置，一边参照已解码图像，一边对包含不同图像尺寸的动态图像流的代码串进行解码，其包括：图像存储器，具备用于存储已解码的图像的存储区域；存储器划分单元，将上述图像存储器的存储区域划分成规定大小的划分区域；存储单元，在由上述图像存储器的1个或1个以上的上述划分区域构成的连续的存储区域中，连续存储新解码的1幅图像的全部数据。

由此，能够提供一种在动态图像流的先头或中途产生了图像尺寸的变更时、不会降低对图像存储器的存取效率的图像解码装置。

此外，上述图像解码装置还具备尺寸变更判定单元，该尺寸变更判定单元通过比较新解码的图像的尺寸和这之前刚解码的图像的尺寸，来判定图像的尺寸是否已变更；在判定为上述新解码的图像的尺寸已变更时，上述存储器划分单元划分上述存储区域，使得上述划分区域的大小成为上述新解码的图像的尺寸。

因此，能够实现如下的图像存储器管理方法，该管理方法中，在代码串内产生了动态图像流的图像尺寸的变更的情况下，即使是图像解码装置单体，也不会降低对图像存储器的存取效率。

此外，上述图像解码装置也可以还具备读取单元，从上述代码串读取表示上述存储区域的划分方法的划分信息；上述存储器划分单元按照所读取的上述划分信息来划分上述存储区域。

由此，能够实现不会显著增大图像解码装置中的处理负荷，不降低对图像存储器的存取效率的图像存储器的管理方法。

再有，本发明在从具备这样的动态图像的编码装置的发送服务器发送已编码的动态图像内容、并具有动态图像的解码装置的用户侧终端装置中，不仅可以作为再现所发送的动态图像内容的动态图像内容发送***来实现，还可以作为构成这些动态图像内容发送***的发送服务器及用户侧终端装置等单体来实现，或作为这些发送服务器及用户侧终端装置等中具备的编码装置及解码装置来实现，或作为将上述动态图像内容发送***所具备的特征方式作为步骤的编码方法和解码方法来实现，或作为使计算机执行这些步骤的程序来实现。此外，这样的程序当然也可以通过CD-ROM等记录介质或互联网等传输介质来进行发送。

附图说明

图1是示出现有的图像编码装置的结构的框图。

图2是示出现有的图像解码装置的结构的框图。

图3(a)及图3(b)是用于说明输入图像中的图像的参照关系的图。图3(a)示出按照显示顺序排列了图像的状态。图3(b)示出按照编码顺序排列了图像的状态。

图4是示出对图2所示的图像解码装置中的再构成图像信号的图像存储器的存储控制动作的流程图。

图5(a)是示出在解码对象图像中图像的尺寸由小变大的情况下，在图像存储器内有可存储尺寸变更之后的图像的大小的空区域的情况下的存储例的图。

图5(b)是示出在解码对象图像中图像的尺寸由小变大的情况下，在图像存储器中没有可存储尺寸变更之后的图像的大小的空区域的情况下的存储例的图。

图6(a)是示出在解码对象图像中不进行图像尺寸变更、并在图像存储器内存在持有与解码对象图像不同的图像尺寸的图像的情况下，在图像存储器中有可存储新解码的图像C的大小的空区域的情况的存储例的图。

图6(b)是示出在解码对象图像中不进行图像尺寸变更、并在图像存储器内不存在持有与解码对象图像不同的图像尺寸的图像的情况下，在图像存储器中没有可存储新解码的图像C的大小的空区域的情况的存储例的图。

图7(a)是示出在解码对象图像中不变更图像尺寸、并在图像存储器内存在图像尺寸与新解码的图像C不同的图像的情况下，在图像存储器中有可存储新解码的图像C的大小的空区域的情况下的存储例的图。

图7(b)是示出在解码对象图像中不变更图像尺寸、并在图像存储器内存在图像尺寸与新解码的图像C不同的图像的情况下，在图像存储器中没有可存储新解码的图像C的大小的空区域的情况下的存储例的图。

图8是示出本实施方式1的图像编码装置的结构的框图。

图9(a)及图9(b)是表示由本实施方式的图像编码装置800生成的代码串的数据结构的图。图9(a)是示出对有可能包含在流中的最大图像尺寸信息进行编码时的代码串的一例的图。图9(b)是示出根据有可能包含在流中的最大图像尺寸来分割了图像存储器时，对在图像存储器内确保的区域的个数进行编码时的代码串的一例的图。

图10是示出在图9(a)及图9(b)中所示的代码串中的图像共同信息区域记述附加信息时的代码串的一例的图。

图11是示出本实施方式的图像解码装置的结构的框图。

图12是示出图11中所示的图像解码装置中的解码处理顺序的流程图。

图13(a)及图13(b)是示出新解码的图像按照图12的流程图的步骤S1204～S1210顺序存储到图像存储器中的状态的图。图13(a)是示出在图像处理器内有为存储已被解码的解码对象图像C的足够的空区域的情况例。图13(b)示出在图像处理器内没有为存储已被解码的解码对象图像C的足够的空区域的情况例。

图14(a)及图14(b)是示出新解码的图像按照图12的流程图的步骤S1204～S1210顺序存储到图像存储器中的状态的图。图14(a)是示出在图像处理器内有为存储已被解码的图像C足够的空区域的情况例。图14(b)示出在图像处理器内没有为存储已被解码的解码对象图像C足够的空区域的情况例。

图15是示出由本实施方式2的图像编码装置生成的代码串的数据结构的图。图15(a)是示出对有可能包含在流中的最小图像尺寸信息进行编码时的代码串的一例的图。图15(b)是示出对分割图像存储器而得到的图像区域的尺寸信息进行编码时的代码串的一例的图。图15(c)是示出对分割图像存储器时的区域的个数进行编码时的代码串的一例的图。

图16(a)是示出在1个流内已被编码的3种图像尺寸的例图。图16(b)是示出在1个流内包含有图16(a)中所示的3种图像尺寸的图像时，用于高效利用图像存储器的图像区域分割方法的一例的图。

图17(a)、图17(b)及图17(c)示出在图15(a)、图15(b)及图15(c)中所示的各代码串中的图像共用信息区域记述附加信息时的代码串的一例的图。

图18(a)及图18(b)是示出新解码的图像按照图12流程图的步骤S1204～S1210顺序存储到图像存储器中的状态的图。

图19(a)及图19(b)是示出新解码的图像按照图12的流程图的步骤S1204～S1210顺序存储到图像存储器中的状态的图。

图20是示出本发明实施方式3中的图像解码装置的结构的框图。

图21是示出图20中所示的图像解码装置中的解码处理顺序的流程图。

图22(a)及图22(b)是示出新解码的图像按照图21的流程图的顺序存储到图像存储器中的状态的图。

图23(a)及图23(b)是示出新解码的图像按照图21的流程图的顺序存储到图像存储器中的状态的图。

图24是示出图20中所示的图像解码装置中的其他解码处理的顺序的流程图。

图25是示出图24中所示的步骤S2605中的处理的更详细的顺序的流程图。

图26(a)及图26(b)是示出新解码的图像按照图24及图25的流程图的顺序存储到图像存储器中的状态的图。

图27(a)及图27(b)是示出新解码的图像按照图24及图25的流程图的顺序存储到图像存储器中的状态的图。

图28是示出本实施方式4的图像编码装置的结构的框图。

图29是示出由本实施方式4的图像编码装置生成的代码串的数据结构的图。

图30(a)示出记录介质本体即软盘的物理格式的的一例。图30(b)示出从软盘的正面观察的外观、剖面结构及软盘。图30(c)示出用于在软盘FD上进行上述程序的记录及再现的结构。

图31是示出实现内容发送服务的内容供给***ex100的整体结构的框图。

图32是示出采用了上述实施方式中说明的动态图像编码方法和动态图像解码方法的携带式电话机ex115的图。

图33是示出携带式电话机的结构的框图。

图34是示出数字广播用***的一例的图。

具体实施方式

下面，结合图8至图34来说明本发明的实施方式。

(实施方式1)

在现有技术中，以块单位进行解码中的图像存储器的管理(存储器区域中图像的存储及删除)。与此相对，本实施方式的特征在于，将解码中的图像存储器的存储区域分割城一个或多个区域，并将被分割的区域作为一个单位进行图像存储器的管理。在本实施方式中，在图像编码装置中生成用于指定图像存储器的分割方法的信息，并将其记述到代码串中。此时被分割的区域就叫做图像区域。

利用图8中所示的框图，说明本发明的实施方式1中的动态图像的编码方法。图8是示出本实施方式1的图像编码装置800的结构的框图。图像编码装置800的结构与利用图1说明的现有的图像编码装置100大致相同。与现有的图像编码装置100的不同点是，新追加了图像存储器分割信息编码部801。在此，对于与现有技术完全相同的处理省略说明。

在对编码对象的流进行编码之前，在图像存储器分割信息编码部801中，对用于指定分割解码侧图像存储器的方法的信息进行编码。图9是表示由本实施方式的图像编码装置800生成的代码串的数据结构的图。图9(a)是示出对有可能包含在流中的最大图像尺寸信息进行编码时的代码串的一例的图。图9(b)是示出按有可能包含在流中的最大图像尺寸来分割了图像存储器时，对可在图像存储器内确保的区域数进行编码时的代码串的一例的图。在本实施方式中，将有可能包含在流中的最大的图像尺寸的信息作为指定分割上述解码侧图像存储器的方法的信息，来进行编码，并将其作为图9(a)中的代码串的图像共用信息区域的max_size进行记述。此处的最大的图像尺寸，例如采用图像编码装置800可在编码中使用的最大的图像尺寸。或者，也可以在用户执行编码时，从被提示的多个图像尺寸当中选择并决定所希望的最大图像尺寸。

在编码对象图像为IDR图像或者代替它的可变更图像尺寸的图像时，由图像存储器控制部109向代码串生成部103输入表示图像存储器的复位方法的信号。再有，所谓IDR图像是指具有如下特别性质的图像。(1)只能进行帧内预测解码。(2)在解码完成之后，对图像存储器内的所有图像进行复位。(3)可变更图像尺寸。因此，在IDR图像之后被解码的图像不能参照在IDR图像之前被解码的图像。例如，图3(a)所示的P8只能参照P7。IDR图像在片段(slice)数据的标题区域具有图9(a)所示的reset_flag，并用上述标记符指定作为上述的IDR的特征中一个的图像存储其的复位方法。再有，所谓片段表示将一个图像分割成一个或多个区域时被分割的每一个区域。当reset_flag为0时，将图像存储器内的全部可参照图像变更为不可参照图像(待显示图像)。此外，当reset_flag为1时，不管可参照或者不可参照，将所有的图像数据从图像存储器删除。即，当reset_flag为1时，即使有在IDR图像之前被解码且未被显示的图像，也不显示这些图像，而进行IDR图像之后的图像的显示。在本实施方式中，此时指定的图像存储器的复位方法是任意的，例如，可从下述的方法中任意选择，在设想解码侧的图像存储器的动作时，根据在图像存储器内是否有未显示的图像，将reset_flag设定为0，即只是设定为不能参照全部图像而不删除图像数据本身，或者，将reset-flag设定为1，即删除全部图像数据本身，使图像存储器的全区域成为空状态。在代码串生成部103中，对被输入的上述信号进行编码，并生成如图9(a)所示在片段标题处具有reset_flag的形式的代码串。

此外，也可以如图9(b)所示，将在解码中可确保于图像存储器内的区域数作为min_area_num，记述在代码串的图像共用信息区域，来代替将有可能包含在流中的最大图像尺寸的信息作为max_size进行记述。min_area_num表示将解码侧的图像存储器以使1个图像区域的尺寸成为有可能包含在流中的最大图像尺寸即max_size的方式分割时生成的图像区域的个数。此时，min_area_num的值由下式1决定。再有，式中的除法运算结果通过舍去处理计算为整数值。

(min_area_num)＝(解码侧的图像存储器的大小)/(max_size)(式I)

此外，在上述的图像尺寸及图像存储器的大小采用全部象素个数、或全部宏块的个数、或全部位数中的任意一个时，也可同样地进行处理。

此外，通过将在进行帧间预测编码时可参照的图像的幅数设定成等于或小于与作为编码对象的图像的图像尺寸无关地总是通过上述式1算出的min_area_num，即使在解码侧利用上述分割方法分割图像存储器来使用时，也能够防止发生在图像存储器内不存在参照图像的状况。

图10是示出在图9(a)及图9(b)中所示的代码串中的图像共用信息区域记述附加信息时的代码串的一例的图。如图10所示，也可以除了max_area及min_area_num之外，在代码串的图像共用信息区域记述cnf_flag。cnf_flag是表示在将解码侧的图像存储器按照max_area及min_area_num分割并进行管理时是否也能够毫无问题地显示包含在流中的全部图像的标记符。例如，在cnf_flag值为1时，表示能够毫无问题地进行显示，在cnf_flag值为0时，则表示有可能由于经本实施方式的处理已经失去了数据而不能显示未显示的图像。如上所述，通过将cnf_flag记述到代码串中，并检索该信号的值，能够判断是否应用本实施方式的处理。例如，在cnf_flag为0的情况下，可知若应用本实施方式的处理，则有可能造成产生不能显示的图像，因此，代之切换为如现有的按照图像单位进行图像存储器的管理的方法，从而，虽然存储器区域有可能被细分化，但是能够毫无问题地显示所有的图像。

此外，图9及图10中，虽然将max_area、min_area_num以及cnf_flag记述在图像共用信息区域，但是也可以记述在集中了进行解码时非必要、但成为用于解码处理的辅助的数据的数据区域。此外，也可以记述在由整个序列参照的序列共用信息区域中。此外，也可以记述在片段标题中。

下面，利用图11～图14说明通过上述的编码方法编码的代码串的解码方法。图11是示出本实施方式的图像解码装置1100的结构的框图。图12是示出图11中所示的图像解码装置1100中的解码处理顺序的流程图。图13及图14是示出图11所示的图像存储器203的管理方法的模式图。

图11所示的图像解码装置1100的结构，与利用图2说明的现有的图像解码装置200大致相同。与现有方法的不同点是，追加了图像尺寸变更判定部207、删除图像区域判定部209、图像存储器分割方法指定部210。在此，对于与现有记述完全相同的处理，省略说明。

本实施方式与现有技术不同，不是以图像单位进行图像存储器203的管理，其特征在于，以将图像存储器203分割成1个或多个的、称为图像区域的区域作为1个存储及删除的单位来进行管理。在此，在代码串的解码之前，在图像存储器分割方法指定部210中，根据代码串中的信号分析分割图像存储器的方法，并指示给图像存储器控制部206。在本实施方式中，作为指定分割上述图像存储器的方法的信息，将有可能包含在流中的最大图像尺寸的信息作为包含在图9(a)的代码串中的max_size，记述到图像共用信息区域。图像存储器分割方法指定部210通过分析上述信号，决定图像存储器203的分割方法。此时被分割的区域个数由下式2计算。另外，式中的除法运算结果通过舍去处理计算成整数值。

(图像区域个数)＝(图像解码装置1100的图像存储器203的大小)/(max_size)    (式2)

此外，在代替图9(a)的代码串而采用图9(b)的代码串的情况下，图像区域的个数由下式3计算。

(图像区域个数)＝(min_area_num)    (式3)

再有，上述的图像尺寸及图像存储器的大小即使采用全体象素个数、或全体宏块的个数、或全***个数的任一个，均可同样地进行处理。

在图像尺寸变更判定部207中，将解码对象图像的图像尺寸和在其之前(或其紧前面)被解码的图像的图像尺寸进行比较，并判定是否进行了图像尺寸的变更。

如图9(a)及图9(b)所示，在代码串中的片段标题中，reset_flag已被编码。在代码串分析部201对上述reset_flag的值进行分析，并将分析结果信息输出到图像存储器控制部206。本实施方式中，在图像尺寸被变更了的情况下，reset_flag的值有选择为0或1的任一方的可能性。因此，根据的值reset_flag的值，可知如图12的流程图的图像存储器的管理方法。尤其是，在reset_flag为0时，在图像存储器内有可能残留有图像尺寸变更前的图像，因此，为了存储图像尺寸变更后的图像，需要判定哪个图像区域是必须删除的。由删除图像区域判定部209进行该判定，上述判定结果输出到图像存储器控制部206，进行图像存储器的管理。

下面，利用图12的流程图，对解码处理中的图像存储器控制部206、图像尺寸变更判定部207、删除图像区域判定部209的详细动作进行说明。此外，图12的流程图中，在进行对象图像的解码之后，进行了图像尺寸的变更判定及reset_flag值的判定，但是，该顺序是任意的，并不限定于图12所示的顺序。

首先，对在解码对象图像中变更图像尺寸(S1204)、且在reset_flag为1时(S1205)时执行的解码处理的流程进行说明。reset_flag为1时，是表示删除图像存储器内的所有图像数据、并使全部区域成为空状态的值。即，当该信号输入到图像存储器控制部206中时，图像存储器控制部206能够删除图像存储器内的全部区域(S1206)，并将进行了解码的图像尺寸变更后的图像保存在图像存储器内的任意区域(S1207)。

接着，对在解码对象图像中变更图像尺寸(S1204)、且在reset为0时(S1205)执行的解码处理的流程进行说明。reset_flag为0，是表示虽然将图像存储器内的全部图像数据设定为不可参照、但不删除图像数据本身而保持存储的值。删除图形区域判定部209检查图像存储器内的空区域，在空区域不足时，判定删除的图像区域(S1208)。存储在图像存储器203内的图像，除图像数据之外还持有显示顺序信息。删除图像区域判定部209通过检查上述显示顺序信息，来指定存储了显示顺序信息最老的图像的图像区域，并将删除被指定的图像区域的意思的指示传送给图像存储器控制部206。其结果，被指定的图像区域被删除，在生成的空区域中存储已被解码的图像(S1210)。

图13(a)及图13(b)是示出新解码的图像按照图12的流程图的步骤S1204～S1210顺序存储到图像存储器中的状态的图。

图13(a)是示出在图像处理器203内有用于存储已被解码的解码对象图像C的足够的空区域的情况例。在该例中，示出了图3(a)及图3(b)的图像串中的P4、P5存储在图像存储器中、当前对P7进行解码的状态(即，C＝P7)。可知P4、P5是具有与被分割的图像区域相同的图像尺寸的图像，即具有包含在序列中的图像中最大的图像尺寸的图像。与此相对，被解码的图像C必须具有与图像区域相同的图像尺寸或比图像区域小的图像尺寸，但在图13(a)的例中，示出解码对象图像C具有比P4、P5小的图像尺寸的情况。该情况下，如图13(a)的下部分所示，可将被解码的图像C直接存储到空区域中。即，不进行已存储有图像数据的图像区域的删除。

图13(b)的上部分示出在图像处理器内没有为存储已被解码的解码对象图像C的足够的空区域的情况例。在该例中，示出了在图像存储器中存储图3的图像串中的P6、P4、P5、当前对P7进行解码的状态(即，C＝P7)。在该情况下，需要删除存储在图像存储器203中的、持有图像尺寸变更前的图像数据的图像区域，来确保用于存储被解码的图像C的区域。在本实施方式中，进行解码的图像必须是具有与图像区域相同的图像尺寸或比图像区域小的图像尺寸的图像。因此，在图像存储器203内没有空区域时，通过删除某一个图像区域，能够确保用于存储已被解码的图像的区域。作为删除的图像区域，选择所被存储的图像所持有的显示顺序信息最老的图像区域。在该例中，可知P4的显示顺序信息最老。在删除图像区域判定部209中，判定通过上述处理删除的图像区域，并将判定结果输出到图像存储器控制部206，进行图像区域的删除。在图13(b)的上部分的例中，通过上述处理删除P4，将如13(b)的下部分所示地被解码的图像C存储到通过删除P4而生成的空区域中。

最后，对在解码对象图像中不变更图像尺寸而在其之前进行变更的情况、或完全不进行变更的情况下(S1204)执行的解码处理流程进行说明。本实施方式与现有技术不同，不论在图像存储器203内是否存在持有与解码对象图像C不同的图像尺寸的图像的情况下，均能够通过完全相同的处理来管理图像存储器203。删除图像区域判定部209检查图像存储器203内的空区域，并在空区域不足的情况下判定删除的图像区域。存储在图像存储器203内的图像，除具有图像数据之外还持有显示顺序信息。删除图像区域判定部209通过检查上述显示顺序信息，来确定存储有显示顺序信息最老的图像的图像区域，并将删除所确定的图像区域的指示传送给图像存储器控制部206。其结果，将解码的图像存储到生成的空区域中。

图14(a)及图14(b)是示出新解码的图像按照图12的流程图的步骤S1204～S1210顺序存储到图像存储器中的状态的图。

图14(a)是示出在图像处理器内有用于存储已被解码的图像C足够的空区域的情况例。在该例中，示出了图3的图像串中的P5、P7存储在图像存储器中、当前对P8进行解码的状态(即，C＝P8)。可知P5是具有与图像区域相同的图像尺寸的图像，即具有包含在序列中的图像中最大的图像尺寸的图像。与此相对，被解码的图像C一定具有与图像区域相同的图像尺寸或比其小的图像尺寸。在图14(a)的例中，示出具有比P5小的图像尺寸的情况。该情况下，如图14(a)的下部分所示，可将被解码的图像C直接存储到空区域中。但此时，解码对象图像C不从空区域的先头开始存储，而是从成为空区域的图像区域的先头开始存储。此外，不进行将持有存储在图像存储器内的图像数据的图像区域的删除。

图14(b)的上部分示出在图像处理器203内没有用于存储已被解码的解码对象图像C的足够的空区域的情况例。在该例中，示出了在图像存储器中存储图3的图像串中的P4、P5、P7、当前对P8进行解码的状态(即，C＝P8)。在该情况下，需要删除持有存储在图像存储器203中的图像数据的图像区域，来确保用于存储新解码的图像C的区域。在本实施方式中，进行解码的图像必须是具有与分割图像存储器的区域即图像区域相同的图像尺寸或比其小的图像尺寸的图像。因此，在图像存储器内没有空区域时，通过删除某一个图像区域，能够确保用于存储已被解码的图像的区域。作为删除的图像区域，选择所存储的图像持有的显示顺序信息最老的图像区域。在该例中，可知P4的显示顺序信息最老。在删除图像区域判定部209中，判定通过上述处理删除的图像区域，并将判定结果输出到图像存储器控制部206，进行图像区域的删除。在图14(b)的上部分的例中，通过上述处理删除P4，将如14(b)的下部分所示被解码的图像C存储到所生成的空区域中。

此外，在上述实施方式中，在从解码中的图像存储器203删除图像区域时，从已存储的图像所持有的显示顺序信息老的开始依次进行，但是，代替显示顺序信息，而从被解码的顺序老的开始依次进行删除的情况下，也可同样进行处理。

根据以上说明可知，在本实施方式中，在解码对象图像C中变更了图像尺寸的情况下，或在解码对象图像C中没有变更图像尺寸的情况下，均能够通过完全同样的处理实现图像存储器203的管理，因此没必要区分两者。即，在进行编码时变更或没有变更图像尺寸的情况下，总是能够通过仅删除1个区域的图像区域的简单的处理方法，将有可能不显示的图像尽量存留在图像存储器中，而不矛盾地进行图像存储器的管理。此外，在编码装置侧，在现有方法的基础上，仅通过将包含在流中的最大图像尺寸的信息进行编码并记述到代码串中，就可实现本实施方式的处理，图像编码装置的安装容易。但是，如在图13及图14的例中发生的那样，在新解码的图像(解码对象图像C之后的图像)具有小的图像尺寸的情况下，各图像区域中产生不被使用的无用的区域，因此，不能说是完全有效地利用图像存储器。但是，由于任意图像尺寸的图像都可能不在物理上被分割而能够在存储器上连续存储，因此存储器的存储变简单，能够在不降低速度的情况下进行解码。此外，在通常的图像编码及解码中，多使用即使变更了图像尺寸、也不变更图像的参照关系(用于参照的图像的幅数)而进行处理的结构。因此，可以说，通过在本实施方式中说明的方法，能够实现利用效率良好的处理方法的解码。

(实施方式2)

在实施方式1中，根据有可能包含在流中的最大图像尺寸的信息，来分割解码侧的图像存储器203，并以该图像区域为单位来管理图像存储器203。与此相对，本实施方式2中，根据有可能包含在流中的最小图像尺寸的信息，管理图像存储器203。

利用图8所示的框图，来说明本发明实施方式2中的动态图像的编码方法。图像编码装置的结构与用实施方式1说明的图像编码装置800相同。在此，对于与已经说明的构成要素完全相同的构成要素，省略说明。

在对编码对象流进行编码之前，在图像存储器分割信息编码部801中，对用于指定分割解码侧的图像存储器的方法的信息进行编码。本实施方式中，作为指定分割上述解码侧的图像存储器203的方法的信息，对有可能包含在流中的最小图像尺寸的信息进行编码。图15是示出由本实施方式2的图像编码装置800生成的代码串的数据结构的图。图15(a)是示出对有可能包含在流中的最小图像尺寸信息进行编码时的代码串的一例的图。图像存储器分割信息编码部801将有可能包含在流中的最小的图像尺寸信息作为图15(a)中的代码串的图像共用信息区域的min_size进行记述。此处的最小图像尺寸例如可以采用图像编码装置可在编码中使用的最小图像尺寸，也可以从用户执行编码时提示的多个图像尺寸中选择并决定1个。

在编码对象图像为IDR图像或者代替它的可变更图像尺寸的图像时，和现有技术同样，由图像存储器控制部109向代码串生成部103输入表示图像存储器的复位方法的信号。在本实施方式中，此时指定的图像存储器的复位方法是任意的，例如，可从下述的方法中任意选择：在设想解码侧的图像存储器的动作时，根据在图像存储器内是否有未显示的图像，将reset_flag设定为0，即只是设定为不参照全部图像而不删除图像数据本身，或者，将reset-flag设定为1，即删除全部图像数据本身来使图像存储器的全区域成为空状态。在代码串生成部103中，对输入的上述信号进行编码，并生成如图15(a)所示在片段标题处具有reset_flag的形式的代码串。

另外，还有将解码中的图像存储器203进行分割时的各分割后的图像区域尺寸直接作为one_mem_size进行记述，来代替将有可能包含在流中的最小图像尺寸的信息作为min_size进行记述的方法。图15(b)是示出对分割图像存储器203而得到的图像区域的尺寸信息进行编码时的代码串的一例的图。例如，如图15(b)所示，也可以将分割后的图像区域的尺寸直接作为one_mem_size记述在图像共用信息中。作为该one_mem_size，例如可以将包含在流中的最小图像尺寸直接使用，也可以使用包含在流中的全部图像尺寸的最大公约数，也可以使用在设想了解码侧存储器的动作时可最有效地进行存储的一个集中区域的大小。

此外，在决定one_mem_size时，通过增大one_mem_size的值，以使可在同一区域存储一个宏块，或者，将画面(图像)的横向一列的全部宏块可存储在同一区域中，能够实现高效率的存储器管理。此外，该值的增大可在图像解码装置侧进行。例如，假设如图16所示的3种图像尺寸的图像被编码在一个流内。图16(a)是示出已被编码在1个流内的3种图像尺寸的例图。在该图中，各图像的尺寸是以纵横长度相当于多少个宏块(例如，16×16象素)来表示。在图16(a)中，图像A是宏块个数为纵6横7构成的图像，图像B是宏块个数为纵8横10构成的图像，图像C是宏块个数为纵12横12构成的图像。图16(b)是示出在1个流内包含有图16(a)中所示的3种图像尺寸的图像时，用于有效利用图像存储器203的图像区域分割方法的一例的图。该情况下，若作为one_mem_size而记述能够存储宏块48个的数据的区域的尺寸，则如图16(b)所示，图像A能够在1个图像区域存储1幅图像的数据，图像B能够在2个图像区域存储1幅图像的数据，图像C能够在3个图像区域存储1幅图像的数据。此时，各图像的横向1列的宏块不在中途被分割，而被分配在1个图像区域中。再有，在图16的例中，全部图像被等分分割，但即使分割大小不均，也能毫无问题地进行处理。

此外，代替将分割了解码侧的图像存储器的1个图像区域的大小信息作为one_mem_size进行记述，可将分割的图像区域的个数作为area_num记述到代码串的图像共用信息区域。图15(c)是示出对分割图像存储器而得到的区域的个数进行编码时的代码串的一例的图。例如，如图15所示，也可将分割后的图像区域的个数作为area_num直接记述到图像共用信息中。此时，图像解码装置的图像存储器的大小根据规格等是固定的，因此，area_num的值根据下式4容易决定。此外，式中的除法运算结果通过舍去处理计算成整数值。

(area_num)＝(图像解码装置1100的图像存储器的大小)/(one_mem_size)    (式4)

此外，所谓上述图像尺寸及图像存储器的大小，采用全部象素、或全部宏块的个数或全部位个数中的任意一个时，也可同样地进行处理。

图17(a)、图17(b)及图17(c)示出在图15(a)、图15(b)及图15(c)中所示的各代码串中的图像共用信息区域中记述附加信息时的代码串的一例的图。此外，图15(a)、图15(b)及图15(c)中所示的代码串也可以记述成如图17(a)、图17(b)及图17(c)所示。即，也可以除min_size、one_mem_size及area_num之外，在代码串的图像共用信息区域记述cnf_flag。cnf_flag是表示在按照min_size、one_mem_size及area_num分割解码侧的图像存储器并进行管理时，是否也能够毫无问题地显示流中包含的全部图像的标记符。例如，在cnf_flag值为1时，表示能够毫无问题地进行显示，在cnf_flag值为0时，则表示有可能由于经本实施方式的处理已经失去了数据而不能显示未显示的图像。

在图15(a)、图15(b)及图15(c)及图17(a)、图17(b)及图17(c)中，将min_size、one_mem_size及area_num以及cnf_flag记述在图像共用信息区域，但是例如，也可以记述在集中了进行解码时是非必要的、但成为用于解码处理的辅助的数据的数据区域。此外，也可以记述在由整个序列参照的序列共用信息区域中。此外，也可以记述在片段标题中。

下面，利用图11所示的图像解码装置1100的框图及图12所示的解码处理的流程图、以及图18和图19所示的图像存储器的模式图，说明通过上述的编码方法被编码的代码串的解码方法。

本实施方式与实施方式1同样，其特征在于，不是以图像单位进行图像存储器的管理，而是以将称作图像区域的图像存储器分割成1个或多个的区域作为1个存储及删除单位来进行管理。因此，在代码串的解码之前，在图像存储器分割方法指定部210中，根据代码串中的信号分析图像存储器的分割方法，并指示给图像存储器控制部206。在本实施方式中，作为指定分割上述图像存储器的方法的信息，将有可能包含在流中的最小图像尺寸的信息作为包含在图15(a)的代码串中的min_size，记述到图像共用信息区域。图像存储器分割方法指定部210通过分析上述信号，决定图像存储器的分割方法。此时被分割的区域的个数由下式5计算。另外，式中的除法运算结果通过舍去处理计算成整数值。

(图像区域个数)＝(图像解码装置1100的图像存储器的大小)/(min_size)    (式5)

此外，在代替图15(a)的代码串而采用图15(b)的代码串的情况下，图像区域的个数由下式6计算。

(图像区域个数)＝(图像解码装置1100的图像存储器的大小)/(one_mem_size)    (式6)

此外，在代替图15(a)的代码串而使用图15(c)的代码串时，图像区域的个数由下式7计算。

(图像区域个数)＝(area_num)    (式7)

再有，上述的图像尺寸及图像存储器的大小，即使采用全体象素个数、全体宏块的个数或全***个数的任一个，均可同样地进行处理。

在图像尺寸变更判定部207中，将解码对象图像的图像尺寸和在其之前(或其紧前面)被解码的图像的图像尺寸进行比较，并判定是否进行了图像尺寸的变更。

如图15(a)、(b)、(c)所示，在代码串中的片段标题中，reset_flag已被编码。在代码串分析部201对上述reset_flag的值进行分析，并将分析结果信息输出到图像存储器控制部206。本实施方式中，在图像尺寸被变更了的情况下，reset_flag的值也有可能选择0或1的任意一方。因此，根据reset_flag的值，可知如图12所示的流程图的图像存储器的管理方法。尤其是，在reset_flag为0时，在图像存储器内有可能残留有图像尺寸变更前的图像，因此，为了存储图像尺寸变更后的图像，需要判定哪个图像区域是必须删除的。由删除图像区域判定部209进行该判定，上述判定结果输出到图像存储器控制部206，进行图像存储器的管理。

下面，利用图12的流程图，对解码处理中的图像存储器控制部206、图像尺寸变更判定部207、删除图像区域判定部209的详细动作进行说明。此外，图12的流程图中，在进行了对象图像的解码之后，进行图像尺寸的变更的判定及reset_flag的值的判定，但是，该顺序是任意的，并不限定于图12所示的顺序。

首先，对在解码对象图像中变更图像尺寸(S1204)、且在reset_flag为1时(S1205)时执行的解码处理的流程进行说明。reset_flag为1，是表示删除图像存储器内的所有图像数据、并使全部区域成为空状态的值。即，当该信号输入到图像存储器控制部206中时，图像存储器控制部206能够删除图像存储器内的全部区域(S1206)，并将进行了解码的图像尺寸变更后的图像保存在图像存储器内的任意区域(S1207)。

接着，对在解码对象存储器中变更图像尺寸(S1204)、且在reset_flag为0时(S1205)执行的解码处理的流程进行说明。reset_flag为0，是表示虽然将图像存储器内的全部图像数据设定为不可参照、但不删除图像数据本身而保持存储的值。删除图形区域判定部209检查图像存储器内的空区域，在空区域不足时，对图像尺寸变更后的尺寸和分割了图像存储器的1个图像区域的大小进行比较，决定已解码图像的分割方法，判定删除的图像区域的个数及所删除的图像区域(S1208)。存储在图像存储器203内的图像，除图像数据之外还持有显示顺序信息。删除图像区域判定部209通过检查上述显示顺序信息，来指定存储了显示顺序信息最老的图像的图像区域，并将从被指定的图像区域依次删除的指示传送给图像存储器控制部206。其结果，被指定的图像区域被删除，在生成的空区域中存储已被解码的图像(S1210)。

图18(a)及图18(b)是示出新解码的图像按照图12的流程图的步骤S1204～S1210顺序存储到图像存储器203中的状态的图。

图18(a)是示出在图像处理器内有用于存储新解码的图像C的足够的空区域的情况例。在该例中，示出了图3的图像串中的P2、P6、P4、P5存储在图像存储器中、当前对P7进行解码的状态(即，C＝P7)。可知P2、P6、P4、P5是具有与图像区域相同的图像尺寸的图像。与此相对，新解码的图像C示出了尺寸为比1个图像区域的尺寸大的图像尺寸、并分割成两个来进行存储的例。该情况下，如图18(a)的下部分所示，可将新解码的图像C用两个图像区域保持原样地存储到空区域中。即，在图像存储器内，不进行已存储有图像数据的图像区域的删除。

图18(b)的上部分示出在图像处理器内没有用于存储已被解码的图像C的足够的空区域的情况例。在该例中，示出了在图像存储器中存储图3的图像串中的P3、P1、P2、P6、P4、P5、当前对P7进行解码的状态(即，C＝P7)。在该情况下，需要删除持有图像尺寸变更前的图像数据的图像区域，来确保用于存储被解码的图像的区域。在该例中，图像尺寸变更后的图像C的图像尺寸必须比1个图像区域的尺寸大、并分割成两个使用两个图像区域进行存储。此外，作为删除的图像区域，选择在其图像区域中所存储的图像所持有的显示顺序信息最老的开始依次选择。在该例中，可知显示顺序信息按P1、P2顺序老。在删除图像区域判定部209中，判定通过上述处理删除的图像区域，并将判定结果输出到图像存储器控制部206，进行被判定的图像区域的删除。在图18(b)的上部分的例中，通过上述图像区域的删除处理删除P1、P2，将如18(b)的下部分所示的新解码的图像C存储到所生成的空区域中。

最后，对在解码对象图像C中不变更图像尺寸而在其之前进行变更的情况、或完全不进行变更的情况下(S1204)执行的解码处理流程进行说明。本实施方式中，不论在图像存储器内是否存在持有与解码对象图像不同的图像尺寸的图像的情况下，均能够通过完全相同的处理来管理图像存储器。删除图像区域判定部209检查图像存储器内的空区域，并在空区域不足的情况下，对图像尺寸变更后的尺寸和分割了图像存储器的1个图像区域的尺寸进行比较，并决定已解码的图像的分割方法，来判定删除的图像区域的个数及所删除的图像区域。存储在图像存储器内的图像，除具有图像数据之外还持有显示顺序信息。删除图像区域判定部209通过检查上述显示顺序信息，来确定存储有显示顺序信息最老的图像的图像区域，并将从所确定的图像区域开始依次删除的意思的指示传送给图像存储器控制部206。将新解码的图像存储到上述结果生成的空区域中。

图19(a)及图19(b)是示出新解码的图像按照图12的流程图的步骤S1204～S1210顺序存储到图像存储器203中的状态的图。

图19(a)是示出在图像处理器内有用于存储新解码的图像C的足够的空区域的情况例。在该例中，示出了图3的图像串中的P4、P5、P7存储在图像存储器中、当前对P8进行解码的状态(即，C＝P8)。可知P4、P5是具有与图像区域相同的图像尺寸的图像。与此相对，新解码的图像C则示出了具有比1个图像区域的尺寸大的图像尺寸、并分割成两个进行存储的例。该情况下，如图19(a)的下部分所示，可将被解码的图像C用两个图像区域直接存储到空区域中。即，不进行将持有已存储在图像存储器203内的图像数据的图像区域的删除。

图19(b)的上部分示出在图像处理器203内没有用于存储已被解码的解码对象图像C的足够的空区域的情况例。在该例中，示出了在图像存储器中存储图3的图像串中的P2、P6、P4、P5、P7、当前对P8进行解码的状态(即，C＝P8)。在该情况下，需要删除持有图像数据的图像区域，来确保用于存储新解码的图像C的区域。可知在该例中由于图像尺寸变更后的图像C的图像尺寸比1个图像区域的尺寸大，因此，必须将图像C分割成两个，并使用两个图像区域来存储。此外，按照所存储的图像持有的显示顺序信息老的开始，依次选择要删除的图像区域。在该例中，可知按照P2、P4的顺序，显示顺序老。在删除图像区域判定部209中，判定通过上述处理删除的图像区域，并将判定结果输出到图像存储器控制部206，进行图像区域的删除。在图19(b)的上部分的例中，通过上述应删除图像区域的判定处理，删除P2、P4，将如19(b)的下部分所示新解码的图像C存储到所生成的空区域中。

此外，在上述实施方式2中，从解码装置1100中的图像存储器203删除图像区域时，从已存储在图像区域的图像所持有的显示顺序信息老的开始，依次删除图像区域，但是，代替显示顺序信息，在从已存储的图像的解码顺序老的开始依次进行删除的情况下，也可同样进行处理。

根据以上说明可知，在本实施方式中，在解码对象图像C中变更了图像尺寸的情况下，或在解码对象图像C中没有变更图像尺寸的情况下，均能够通过完全同样的处理实现图像存储器203的管理，因此没必要区分两者。即，在进行编码时变更了或没有变更图像尺寸的情况下，总是能够通过判断需要多少个区域、并仅删除所需的区域的简单的处理方法，将有可能不显示的图像尽量存留在图像存储器中，不矛盾地进行图像存储器的管理。此外，在编码侧，在现有方法的基础上，仅通过将包含在流中的最小图像尺寸的信息、或设想解码侧而将分割图像存储器的1个图像区域的大小进行编码之后记述到代码串中，来实现本实施方式的处理，图像编码装置的制作容易。此外，分割已解码图像的大小，可考虑存储器存取效率而任意设定，可在不降低有关存储器存储的速度的情况下进行解码。

(实施方式3)

在上述实施方式1中，用于指定图像存储器的分割方法的信息是在图像编码装置中生成，记述到代码串内。与此相对，在本发明的实施方式3中，在图像解码装置中分析并决定图像存储器的分割方法。因此，本发明的实施方式3中的动态图像的编码方法与用图1说明的现有的编码方法同样，因此省略说明。

图20是示出本发明实施方式3中的图像解码装置的结构的框图。下面，利用图20所示的框图，说明本发明的实施方式3中的动态图像的解码方法。解码处理的构成与用图11说明的实施方式1的方法大致相同。与实施方式1的方法的不同点是，代替图像存储器分割方法指定部210而设置了地址分割部210A。在此，对于与实施方式1完全相同的处理，省略说明。

在图像尺寸变更判定部207中，对解码对象图像的图像尺寸和在其之前(或其紧前面)被解码的图像的图像尺寸进行比较，判定是否进行了图像尺寸的变更。在判定出进行了图像尺寸的变更时，图像尺寸变更判定部207将变更后的图像尺寸经代码串分析部201向地址分割部210A通知。地址分割部210A对图像存储器203的地址空间进行分割，以使由图像尺寸变更判定部207通知的变更后的图像尺寸成为各图像区域的尺寸，并指示图像存储器控制部206将分割后的地址作为单位来管理图像存储器203。

此时被分割的区域个数根据下式8计算。此外，式中的除法运算结果通过舍去处理计算成整数值。

(图像区域个数)＝(图像解码装置2000的图像存储器203的大小)/(图像尺寸变更后的图像尺寸)    (式8)

此外，上述图像尺寸及图像存储器的大小也可以将全部象素、或全部宏块的个数或全部位个数中的任意一个作为单位，可同样地进行处理。

下面，利用图21，对解码处理中的图像存储器控制部206、图像尺寸变更判定部207、删除图像区域判定部209及地址分割部210A的详细动作进行说明。此外，图21是示出图20中所示的图像解码装置2000中的解码处理顺序的流程图。

首先，当解码对象图像中图像尺寸被变更时(S2301)，地址分割部210A通过代码串解析部201，从图像尺寸变更判定部207取得解码对象图像的图像尺寸，即尺寸变更后的图像尺寸(S2302)。地址分割部210A按照所取得的图像尺寸分割图像存储器203的地址空间，并指示图像存储器控制部206将分割后的图像区域作为单位来管理图像存储器203(S2303)。在解码对象图像中没有变更图像尺寸的情况下(S2301)，不执行步骤S2302及S2303的处理。

接着，删除图像区域判定部209检查图像存储器203内的空区域(S2304)，若被分割的任意1个图像区域作为连续的空区域存在，则将图像存储器203内的图像从显示顺序老的开始依次删除，直到至少一个图像区域成为空区域(S2305)。具体来说，存储在图像存储器203内的图像，除具有图像数据之外，还持有表示图像的显示顺序的信息。删除图像区域判定部209通过检查上述显示顺序信息，将从显示顺序信息最老的图像开始依次删除图像的意思的指示传送给图像存储器控制部206。图像存储器控制部206重复进行删除被删除图像区域判定部209指示的图像的处理，直到被分割的1个图像区域成为空区域。其结果，当被分割的1个图像区域成为空区域时，在成为空区域的图像区域中存储新解码的图像(S2306)。若被分割的1个图像区域一开始就是空区域(S2304)，则在该图像区域中直接存储新解码的图像(S2306)。

图22(a)及图22(b)是示出新解码的图像按照图21的流程图的顺序存储到图像存储器203中的状态的图。图22(a)及图22(b)中，示出了当前的解码对象图像C之后的图像尺寸变更为更大尺寸的情况。图22(a)示出在图像存储器203内有用于存储新解码的图像C的足够空区域的情况例。在该例中，示出了图3的图像串中的P2、P4、P5、P6存储在图像存储器中、当前对P7进行解码的状态(即、C＝P7)。在该例中，从作为解码对象图像C的P7开始变更图像尺寸，如图22(a)下部分所示，按照P7的图像尺寸分割图像存储器203的地址。该情况下，如图22(a)下部分所示，新解码的图像C可直接存储到空区域中。不进行持有已存储在图像存储器内的图像数据的图像区域的删除。

图22(b)示出在图像存储器203内没有用于存储新解码的图像C足够的空区域的情况例。在该例中，示出了图3的图像串中的P1、P2、P3、P4、P5、P6存储在图像存储器203、当前对P7进行解码的状态(即、C＝P7)。该情况下，需要删除持有存储在图像存储器203内的图像数据的区域，来确保用于存储新解码的图像C的区域。在本实施方式中，进行解码的图像C必须是具有与分割了图像存储器的区域即图像区域相同的图像尺寸的图像。因此，在图像存储器203内没有空区域时，若删除图像，直到图像存储器内的任一个图像区域完全变成空区域，则能够确保用于存储新解码的图像的区域。作为应删除的图像，从已存储的图像所持有的显示顺序信息最老的图像开始依次选择。在该例中，可知P1的显示顺序信息最老。但是，如果仅删除P1，则按照解码对象图像C的图像尺寸分割的哪一个图像区域也不能成为1个空区域。在按照显示顺序删除P1之后、接着删除P2及P3的阶段，从图像存储器203的先头地址算起的第2个图像区域成为1个空区域。删除图像区域判定部209中判定应通过上述处理删除的图像，并将判定结果输出到图像存储器控制部206。图像存储器控制部206按照删除图像区域判定部209的判定结果，进行图像的删除。图22(b)上部分的例中，通过上述处理删除P1、P2、P3，如图22(b)下部分所示，新解码的图像C存储到所生成的空区域。

图23(a)及图23(b)是示出新解码的图像按照图21的流程图的顺序存储到图像存储器203中的状态的图。图23(a)及图23(b)中，示出了当前解码对象图像C之后的图像尺寸变更为更小尺寸的情况。图23(a)示出在图像存储器203内有用于存储新解码的图像C足够的空区域的情况例。在该例中，示出了图3的图像串中的P1、P2、P3存储在图像存储器、当前对P4进行解码的状态(即、C＝P4)。在该例中，从作为解码对象图像C的P4开始变更图像尺寸，如图23(a)下部分所示，按照P4的图像尺寸分割图像存储器203的地址。该情况下，如图23(a)下部分所示，新解码的图像C可直接刚好存储到空区域内的1个图像区域。此外，不进行持有已存储在图像存储器内的图像数据的图像区域的删除。

图23(b)示出在图像存储器203内没有用于存储新解码的图像C足够的空区域的情况例。在该例中，示出了图3的图像串中的P1、P2、P3、P4存储在图像存储器203、当前对P5进行解码的状态(即、C＝P5)。该情况下，需要删除已存储有图像数据的区域，在图像存储器203中确保用于存储新解码的图像C的区域。在本实施方式中，进行解码的图像C必须具有与分割了图像存储器的区域即图像区域相同的图像尺寸。因此，在图像存储器203内没有空区域时，若删除图像，直到图像存储器内的哪一个图像区域完全变成空区域为止，则能够确保用于存储新解码的图像的区域。作为应删除的图像，从已存储的图像所持有的显示顺序信息最老的图像开始依次选择。在该例中，可知P1的显示顺序信息最老。在此，通过删除P1，一个图像区域成为空区域。删除图像区域判定部209中，判定应通过上述处理删除的图像，并将判定结果输出到图像存储器控制部206。图像存储器控制部206按照删除图像区域判定部209的判定结果，进行图像的删除。图23(b)上部分的例中，通过上述处理删除P1，如图23(b)下部分所示，新解码的图像C存储到生成的空区域。

此外，在上述实施方式中，在从图像存储器203删除图像区域时，从已存储的图像所持有的显示顺序信息老的开始依次进行删除，但是，代替显示顺序信息，在从被解码的顺序老的开始依次进行删除的情况下，也可同样进行处理。

根据以上说明可知，在本实施方式中，在解码对象图像C中变更了图像尺寸的情况下，或者在解码对象图像C中没有变更图像尺寸的情况下，均能够通过完全同样的处理实现图像存储器203的管理，因此没必要区分两者。即，在进行编码时变更或没有变更图像尺寸的情况下，总是能够通过删除已存储的图像、直到仅1个区域的图像区域完全变成空区域为止的简单的处理方法，将有可能不显示的图像尽量存留在图像存储器中，毫无矛盾地进行图像存储器的管理。此外，由于新分割的图像区域的各尺寸是与新解码的图像(解码对象图像C之后的图像)相同的尺寸，因此，即使在图像尺寸变更为大尺寸的情况下、或变更为小尺寸的情况下，均能够在各图像区域中不产生不被使用的无用区域。因此，在本实施方式的图像解码装置2000中，能够有效应用图像存储器203的存储器区域。此外，由于任何图像尺寸的图像能够在物理上不被分割地在存储器上连续存储，因此，存储器的存取简单，能够在不降低速度的情况下进行解码。此外，在通常的图像编码及解码中，多使用即使图像尺寸变更、也不变更图像的参照关系(用于参照的图像的幅数等)而进行处理的结构。因此，可以说，通过本实施方式中说明的方法，可实现利用高效处理方法的解码。

但是，由于在本实施方式中，不是从空区域的先头开始存储图像数据，而是从空区域中的图像区域的先头开始存储图像数据，因此，如图22(b)所示，有可能删除比存储1幅解码对象图像C的区域大的区域。因此，当为了存储新解码的图像C而从显示顺序老的开始依次删除图像，直到1个图像区域变成空区域时，尤其是在显示顺序信息老的图像没有按照显示顺序信息依次存储到图像存储器203内的连续区域中时，不能否定有可能连处于待显示状态的图像也都删除。

此外，在上述实施方式3中，从显示顺序信息老的图像开始依次进行删除，当1个图像区域变成连续的空区域时，在该图像区域中存储新解码的图像C。但是，本发明不限定于此，也可以通过与此不同的方法存储解码对象图像C。即，与图像的显示顺序信息无关地、从先头地址开始依次删除已存储的图像，直到图像存储器203的先头的1个图像区域成为连续的空区域。当先头的1个图像区域变成连续的空区域时，在该图像区域存储新解码的图像C。接着，在存储被解码的图像C的情况下，从最后删除的图像的下一个地址开始按照地址顺序删除图像，直到从图像存储器203的先头开始算起位于第2个的图像区域变成连续的空区域。图24是示出图20所示的图像解码装置2000中的其他解码处理的顺序的流程图。

在图24中，步骤S2601～S2603的处理与图21所示的S2301～S2303的处理相同。当通过此处的处理，在解码对象图像中变更图像尺寸时，按照尺寸变更后的图像尺寸分割图像存储器203的地址空间，将分割后的图像区域作为单位，管理图像存储器203。

接着，删除图像区域判定部209检查图像存储器203内的空区域，若有包含用于存储新解码的图像的图像区域的足够的空区域，则将新解码的图像直接存储到图像区域中(S2606)。若用于存储新解码的图像的图像区域，1个都没有作为空区域存在(S2604)，则删除图像区域判定部209从图像存储器203的先头开始，将最后存储被解码的图像的图像区域的下一个图像区域变成空区域(S2605)，在成为空区域的图像区域存储信息的解码图像(S2606)。图25是示出图24中所示的步骤S2605中的处理的更详细顺序的流程图。更具体来讲，图像存储器控制部206设定指针，该指针表示仅在图像存储器203中没有用于存储新图像的足够的空区域时使用的、图像存储器203内的特定地址位置。所谓特定地址位置是指例如各图像区域的先头地址。此外，将指针的初始值设定为“0”，指针＝0表示位于图像存储器203先头的图像区域的先头地址。此外，指针＝(n-1)表示从图像存储器203的先头开始第n个图像区域的先头地址(其中，n为自然数)。

删除图像区域判定部209在判断为用于存储新解码的图像的图像区域1个都没有作为空区域存在时(S2604)，使图像存储器控制部206将指针所示的图像区域内的图像按照地址顺序进行删除(S2501～S2503)。例如，在指针＝0时，从存储器的先头开始依次删除图像存储器203内的图像，直到位于图像存储器203先头的图像区域变成空区域。当位于图像存储器203先头的图像区域变成空区域时(S2502)，图像存储器控制部206将指针增加“1”(S2504)，使指针指向下一个图像区域的先头地址。在此，图像存储器控制部206检查指针的值是否大于等于全部图像区域的个数，当指针的值大于等于全部图像区域的个数时(S2505)，使指针的值恢复到“0”，使其指向图像存储器203内的先头的图像区域的先头地址。指针的值大于等于全部图像区域的个数时，表示在图像存储器203内的全部图像区域存储了新的解码图像。

通过以上处理，在图像存储器203内没有用于存储新解码的解码图像的空的图像区域的情况下，从图像存储器203的先头开始，依次从图像区域删除图像数据，在成为空区域的图像区域存储新的解码图像。

图26(a)及图26(b)是示出新解码的图像按照图24及图25的流程图的顺序存储到图像存储器中的状态的图。在图26(a)及图26(b)中，示出了当前的解码对象图像C之后的图像尺寸变更为更大的情况。图26(a)示出在图像存储器203内有用于存储新解码的图像C足够的空区域的情况例。在该例中，示出了图3的图像串中的P2、P4、P5、P6存储在图像存储器、当前对P7进行解码的状态(即、C＝P7)。在该例中，从作为解码对象图像C的P7开始变更图像尺寸，如图26(a)下部分所示，按P7的图像尺寸分割了图像存储器203的地址。该情况下，如图26(a)的上部分所示，在图像存储器203的先头部分具有足够的空区域，因此，如图26(a)下部分所示，可将新解码的图像C直接存储到空区域中。因此，不进行持有已存储在图像存储器内的图像数据的图像区域的删除。

图26(b)示出在图像存储器203内没有用于存储新解码的图像C的足够的空区域的情况例。在该例中，示出了图3的图像串中的P1、P2、P3、P4、P5、P6存储在图像存储器203、当前对P7进行解码的状态(即、C＝P7)。该情况下，需要删除持有已存储在图像存储器203中的图像数据的区域，来确保用于存储新解码的图像C的区域。在本实施方式中，进行解码的图像C必须具有与分割了图像存储器的区域即图像区域相同的图像尺寸。因此，在图像存储器203内没有空区域时，若删除图像、直到图像存储器内的任一个图像区域完全变成空区域为止，则能够确保用于存储新解码的图像的区域。作为应删除的图像，从图像存储器203的先头开始按地址顺序选择。在该例中，可知在按P4、P1的顺序删除的阶段，从图像存储器203的先头算起的第1个图像区域成为1个空区域。删除图像区域判定部209中，判定经上述处理应删除的图像，并将判定结果输出到图像存储器控制部206。存储器控制部206按照删除图像区域判定部209的判定结果，进行图像的删除。图26(b)上部分的例中，通过上述处理删除P4、P1，如图26(b)下部分所示，新解码的图像C存储到先头的图像区域中。此外，当下一个解码对象图像C被解码时，图像存储器203内的状态成为图26(b)的下部分所示的状态，必须将新解码的图像进行存储。该情况下，删除P2、P3，在变成空区域的第2个图像区域存储新的解码图像。

图27(a)及图27(b)是示出新解码的图像按照图24及图25的流程图的顺序存储到图像存储器中的状态的图。在图27(a)及图27(b)中，示出了当前的解码对象图像C之后的图像尺寸变更为更小的情况。图27(a)示出在图像存储器203内有用于存储新解码的图像C足够的空区域的情况例。在该例中，示出了图3的图像串中的P1、P2、P3存储在图像存储器、当前对P4进行解码的状态(即、C＝P4)。在该例中，从作为解码对象图像C的P4以后开始变更图像尺寸，如图27(a)下部分所示，按解码对象图像C(P4)的图像尺寸分割了图像存储器203的地址。该情况下，如图27(a)的下部分所示，可将新解码的图像C直接刚好存储到空区域内的1个图像区域中。因此，不进行持有已存储在图像存储器内的图像数据的图像区域的删除。

图27(b)示出在图像存储器203内没有用于存储新解码的图像C的足够的空区域的情况例。在该例中，示出了图3的图像串中的P1、P2、P3、P4存储在图像存储器203、当前对P5进行解码的状态(即、C＝P5)。该情况下，需要删除已存储有图像数据的区域，在图像存储器203中确保用于存储新解码的图像C的区域。在本实施方式中，进行解码的图像C必须具有与分割图像存储器而得到的区域即图像区域相同的图像尺寸。因此，在图像存储器203内没有空区域时，若删除图像、直到图像存储器内的任一个图像区域完全变成空区域为止，则能够确保用于存储新解码的图像的区域。作为应删除的图像，从图像存储器203的先头开始、按存储有图像数据的地址顺序选择。在该例中，可知P3的地址位于最先头。此外，通过删除P3，图像存储器203的先头的1个图像区域成为1个空区域。删除图像区域判定部209中，判定经上述处理应删除的图像，并将判定结果输出到图像存储器控制部206。存储器控制部206按照删除图像区域判定部209的判定结果，进行图像的删除。图27(b)上部分的例中，通过上述处理删除P3，如图27(b)下部分所示，新解码的图像C存储到图像存储器203先头的图像区域中。在该状态下，当下一个解码对象图像C被解码时，从图27(b)的下部分状态开始删除P2，在从图像存储器203的先头开始的第2个图像区域中存储新解码的图像。

此外，在利用图24～图27(b)说明的例中，在图像存储器203内有用于存储新解码的图像的足够的空区域的情况下，在成为空区域的1个图像区域存储了新解码的图像，但是本发明并不限定于此。例如，即使在图像存储器203内有足够的空区域的情况下，也可以从图像存储器203的先头开始按照地址顺序选择图像区域，并将存储在所选择的图像区域内的图像数据，按照图像单位依次删除，直到被选择的图像区域变成连续的空区域。其结果，在成为空区域的图像区域存储新解码的图像。即，如图27(a)所示，在有用于存储解码对象图像C的足够的空区域的情况下，也可以删除在图像存储器203的先头存储的图像P1，并在成为空区域的图像存储器203的先头的图像区域存储解码对象图像C。若按照上述进行处理，则在图像存储器203内有或没有用于存储新解码的图像的空区域时，同样能够从图像存储器203的先头开始按照地址顺序选择图像区域，并在所选择的图像区域存储新解码的图像，因此，判断中的分支较少，与此对应，能够减少删除图像区域判定部209为确保图像区域而进行的处理的负荷。

通过上述说明可知，在本实施方式中进行编码时，即使图像尺寸变更或没有变更的情况下，均总是能够通过删除已存储的图像、直到仅1个区域的图像区域完全变成空区域为止的简单的处理方法，能够将可能不显示的图像尽量留在图像存储器中、毫无矛盾地进行图像存储器的管理。此外，由于新分割的图像区域的各尺寸是与新解码的图像(解码对象图像C之后的图像)相同的尺寸，因此，即使在图像尺寸变成大尺寸的情况下，或者变成小尺寸的情况下，在各图像区域中不会产生不被使用的无用区域。因此，在本实施方式的图像解码装置2000中，能够有效应用图像存储器203的存储器区域。此外，由于任何图像尺寸的图像在物理上不分割、就能够在存储器上连续存储，因此，存储器的存取简单，能够在不降低速度的情况下进行解码。此外，在通常的图像编码及解码中，多使用即使图像尺寸变更、也不变更图像的参照关系(用于参照的图像的幅数等)进行处理的结构。因此，可以说，通过本实施方式中说明的方法，可实现利用了高效处理方法的解码。

但是，在本实施方式中，由于不考虑显示顺序、而是从图像存储器的先头开始依次删除图像，直到能够确保空区域为止，因此，尤其是在显示顺序信息新的图像被存储在图像存储器内的靠近先头的位置时，不能否定有可能连处于待显示状态的图像也都删除。

此外，在上述实施方式3中，需要删除1个或多个图像、直到图像存储器内的任1个图像区域完全变成空区域为止，因此，有可能连未显示的图像也都删除掉。因此，作为表示能否将包含在流中的全部图像毫无问题地进行显示的标记符，也可以采用cnf_flag。例如，当值为1时，表示能够将全部图像毫无问题地进行显示，当值为0时，表示因通过本实施方式的处理已经丢失了数据，未显示的图像有可能不能显示。如上所述，通过将cnf_flag记述在代码串中，通过检查该信号的值，就能够判断是否能够适用本实施方式的处理。例如，在cnf_flag为0时，可知有可能产生若使用本实施方式则不能进行显示的图像，代之，能够切换成现有技术的用图像单位进行图像存储器的管理的方法。由此，虽然有可能造成存储器区域被细化，但能够将全部图像毫无问题地进行显示。

(实施方式4)

利用图28中所示的框图说明本发明的实施方式4中的动态图像的编码方法。图28是表示本实施方式4的图像编码装置2700的结构的框图。编码处理的构成与用图1说明的现有方法大致相同。与现有方法的不同点是，追加了图像尺寸变更判定部110。对于与现有记述完全相同的处理，省略说明。图29是表示由本实施方式4的编码装置2700生成的代码串的数据结构的图。

在编码对象的图像为IDR图像、或者是代替该IDR图像的图像尺寸可变的图像时，在图像尺寸变更判定部110中，将编码对象图像的图像尺寸与其之前被编码的图像的图像尺寸进行比较，并判断是否进行了图像尺寸的变更。

在图像存储器控制部109中，从图像尺寸变更判定部110输入的判定结果为表示图像尺寸没有被变更的情况的结果时，利用与通常的编码同样的方法进行编码。此外，在上述判定结果为表示图像尺寸已被变更的情况的结果时，作为解码中的图像存储器的复位方法，将表示与是否可参照图像存储器内的全部图像无关地进行删除的意思的信号输出到代码串生成部103。在代码串生成部103中，将图29中代码串的reset_flag设为1，即将标记符的值设定成表示删除图像存储器内的全部图像(不管是可参照的还是不可参照的)的值，并进行编码。

此外，通过如上所述的编码方法编码的代码串的解码，可以与采用图2的现有方法说明的框图完全相同的构成来进行。在此，对于与现有技术完全相同的处理，省略说明。

代码串中的片段标题中，如图29所示地reset_flag被。在代码串解析部201中分析上述reset_flag的值，并将分析结果信息输出到图像存储器控制部206。在通过如上所述的编码方法生成的代码串中，在图像尺寸变更了的情况下，reset_flag始终为1，即表示不管是可参照的还是不可参照、将图像存储器内的全部图像删除的指示。由此，在进行解码时，不用考虑图像尺寸是否同现有方法完全相同地变更，可以按照reset_flag的值进行图像存储器的复位。在图像尺寸变更的情况下，上述reset_flag的指示使图像存储器的全部区域成为空状态，因此，即使如现有技术那样，在对图像尺寸变更后的图像进行解码，并在图像存储器中存储已解码的图像，在图像存储器内也不会造成不同图像尺寸的图像混合存在，此外，存储已解码图像的位置也可以使用任意区域。

以上，如采用本实施方式说明的那样，在进行编码时变更了图像尺寸的情况下，通过对持有表示删除图像存储器内的全部图像的值的标记符进行编码，并通过在解码侧进行与现有方法完全相同的处理，可毫无矛盾地进行图像存储器的管理。

(实施方式5)

通过将用于实现上述各实施方式1～4所示的动态图像的编码方法及动态图像解码方法的结构的程序记录到软盘等记录介质中，可在独立的计算机***中简单地实施上述各实施方式1～5(应为4)所示的处理。

图30是用于存储利用计算机***实现上述实施方式1至4的动态图像编码方法及动态图像解码方法的程序的记录介质的说明图。

图30(b)示出从正面观察的软盘的外观、剖面结构，以及软盘。图30(a)示出作为记录介质主体的软盘的物理规格的例子。软盘FD内置于壳体F内，在该盘的表面上，从外周向内周同心圆状地形成有多个磁轨Tr，各磁轨在角度方向上被分割成16个扇区Se。因此，在存储了上述程序的软盘中，在上述软盘FD上分配的区域记录有作为上述程序的动态图像编码方法及动态图像解码方法。

此外，图30(c)表示用于在软盘FD上进行上述程序的记录和再现的结构。在将上述程序记录在软盘FD上的情况下，将作为上述程序的动态图像编码方法及动态图像解码方法从计算机***Cs，经软盘区域写入。此外，利用软盘中的程序在计算机***中构筑上述动态图像编码方法及动态图像解码方法时，利用软盘驱动器从软盘中读取程序，传送到计算机***中。

此外，在上述说明中，将软盘作为记录介质进行了说明，但是采用光盘也可同样地进行。此外，记录介质不限于此，CD_ROM、存储卡、ROM卡盒等，只要是可记录程序的介质可同样实施。

(实施方式6)

此外，在此说明上述实施方式1～5所示的动态图像的编码方法及动态图像的解码方法的应用例以及使用这些方法的***。

图31是示出实现内容发送服务的内容供给***ex100的整体结构的框图。将通信服务提供区域分割成期望的大小，在各单元内分别设置了作为固定无线站的基站ex107～ex110。

该内容供给***ex100中，例如经互联网服务提供商ex102、电话网ex104以及基站ex107～ex110，在互联网ex101上连接了计算机ex111、PDA(personal digital assistant：个人数字助理)ex112、摄像机ex113、携带式电话机ex114、带摄像机的携带式电话机ex115等各设备。

但是，内容供给***ex100不限于图31所示组合，即使任意组合并连接上述各设备也可以。此外，也可以将各设备不经过作为固定无线站的基站ex107～ex110而直接连接到电话网ex104上。

摄像机ex113是数字摄像机等可拍摄动画的设备。此外，携带式电话机是PDC(personal Digital Communications)方式、CDMA(Code DivisionMultiple Access)方式、W-CDMA(Wideband-Code Division MultipleAccess)方式、或GSM(Global System for Mobile Communications)方式的携带式电话机，或PHS(Personal Handy-phone System)等，可以是任意结构。

此外，流服务器ex103通过基站ex109、电话网ex104与摄像机ex113连接，并且，可基于用户利用摄像机ex113发送的已编码处理的数据进行实时传递等。所拍摄数据的编码处理可在摄像机ex113中进行，也可在进行数据的发送处理的服务器等中进行。此外，由摄像机ex116拍摄的动态图像数据通过计算机ex111可以发送到流服务器ex103。摄像机ex116是数字摄像机等可拍摄静态图像、动态图像的设备。此时，动态数据的编码可在摄像机ex116中进行，也可在计算机ex111进行，在哪一个进行都可以。此外，编码处理是在具有计算机ex111或摄像机ex116的LSIex117中进行处理。再有，动态图像的编码、解码用软件可装入到作为可由计算机ex111等读取的记录介质的任意种存储介质(CD-ROM，软盘，硬盘等)。此外，也可以用带摄像机的携带式电话ex115发送动态图像。此时的动态图像数据是由携带式电话机ex115所具有的LSI进行了编码处理的数据。

在该内容供给***ex100中，用户将用摄像机ex113、摄像机ex116等拍摄的内容(例如，拍摄了现场音乐演出的影像等)如上述实施方式1～5那样进行编码处理来发送到流服务器ex103，另一方面，流服务器ex103将上述内容数据流发送给有请求的客户。作为客户，有能够将上述经编码处理的数据进行解码的计算机ex111、PDAex112、摄像机ex113、携带式电话机ex114等。通过如上所述的配置，内容供给***ex100是能够在客户处接收并再现已编码的数据，还能够在客户处实时接收、解码并再现，这样成为能够实现个人广播的***。

构成该***的各设备的编码和解码中，只要采用上述各实施方式1～5所示的图像编码装置或图像解码装置即可。

作为其一例，对携带式电话机进行说明。

图32是表示用上述实施方式1～5说明的动态图像的编码方法和动态图像的解码方法的携带式电话机ex115的图。携带式电话机ex115包括：天线ex201，用于在与基站ex110之间收发电波；摄像机部ex203，是CCD摄像机等，可拍摄影像和静态图像；液晶显示器等显示部ex202，显示用天线ex201接收的图像等被解码后的数据；由操作键ex204组构成的本体部；用于进行声音输出的扬声器等声音输出部ex208；用于进行声音输入的话筒等声音输入部ex205；记录介质ex207，用于保存所拍摄的动态图像或静态图像数据、所接收的邮件的数据、动态图像数据或静态图像数据等、被编码的数据或被解码的数据；插槽部ex206，用于可在携带式电话机ex115上安装记录介质ex217。记录介质ex207是SD卡等在塑料壳体内收容有可进行电写入和电擦除的非挥发性介质即EEPROM(Electrically Erasable and Programmable Read Only Memoru)的一种即闪存元件的介质。

此外，用图33对携带式电话机ex115进行说明。携带式电话机ex115将电源电路部ex310、操作输入控制部ex304、图像编码部ex312、摄像机接口部ex303、LCD(Liquid Crystal Display)控制部ex302、图像解码部ex309、复用分离部ex308、记录再现部ex307、调制解调电路部ex306以及声音处理部ex305，通过同步总线ex313与对具备显示部ex202及操作键ex204的本体部的各部分进行综合控制的主控制部ex311相互连接。

当通过用户的操作，结束通话或电源按钮处于开启状态时，电源电路部ex310从电池盒向各部分供给电力，由此将带摄像机的数字携带式电话机ex115启动为可工作的状态。

携带式电话机ex115根据由CPU、ROM及RAM等构成的主控制部ex311的控制，将在声音通话模式时通过声音输入部ex205收集的声音信号，通过声音处理部ex305变换为数字声音数据，并将其用调制解调电路部ex306进行频谱扩散处理，并在收发电路部ex301实施数字模拟变换处理及频率变换处理之后，通过天线ex201进行发送。此外，携带式电话机ex115将声音通话模式时由天线ex201接收的接受数据进行放大，并实施频率变换处理及模拟数字变换处理，用调制解调电路部ex306进行频谱逆扩散处理，并通过声音处理部ex305变换为模拟声音数据之后，将其通过声音输出部ex208输出。

此外，数据通信模式时发送电子邮件的情况下，通过本体部的操作键ex204的操作输入的电子邮件的文本数据，通过操作输入控制部ex304发送到主控制部ex311。主控制部ex311用调制解调电路部ex306将文本数据进行频谱扩散处理，并且，用收发电路部ex301实施了数字模拟变换处理及频率变换处理之后，通过天线ex201发送到基站ex110。

在数据通信模式时发送图像数据的情况下，将用摄像机部ex203拍摄的图像数据通过摄像机接口部ex303供给图像编码部ex312。此外，在不发送图像数据的情况下，可将用摄像机部ex203拍摄的图像数据通过摄像机接口部ex303及LCD控制部ex302直接显示在显示部ex202。

图像编码部ex312具备用本申请发明说明的图像编码装置，通过利用用于上述实施方式1～5中所示的图像编码装置的编码方法进行压缩编码，将从摄像机部ex203供给的图像数据变换为编码图像数据，并将其发送到复用分离部ex308。此外，与此同时，携带式电话机ex115将在用摄像机部ex203拍摄时由声音输入部ex205收集的声音，通过声音处理部ex305作为数字声音数据发送到复用分离部ex308。

复用分离部ex308将从图像编码部ex312供给的编码图像数据和从声音处理部ex305供给的声音数据，按照规定的方式进行复用，并将其结果所得到的复用数据通过调制解调电路部ex306进行频谱扩散处理，在收发电路部ex301实施数字天线变换处理及频率变换处理之后，通过天线ex201发送。

在数据通信模式时接收与主页等链接的动态图像文件的数据的情况下，将通过基站ex110接收的接收数据，用调制解调电路部ex306进行频谱逆扩散处理，并将其结果所得到的复用数据发送到复用分离部ex308。

此外，将通过天线ex201接收的复用数据进行解码时，复用分离部ex308通过将复用数据进行分离，将其分离成图像数据的位流和声音数据的位流，通过同步总线ex313将该编码图像数据供给图像解码部ex309，并将该声音数据供给声音处理部ex305。

接着，图像解码部ex309具有本申请发明中说明的图像解码装置，通过利用与上述实施方式1～5中所示的编码方法对应的解码方法对图像数据的位流进行解码，来生成再现动态图像数据，并将其通过LCD控制部ex302供给显示部ex202，由此，显示例如与主页链接的动态图像文件中包含的动态图像数据。与此同时，声音处理部ex305将声音数据变换为模拟声音数据之后，将其供给声音输出部ex208，由此，再现例如与主页链接的动态图像文件中包含的声音数据。

此外，不限于上述***的例子，最近利用卫星和地面波进行的数字广播受瞩目，可在图34所示的数字广播用***中，也装入上述实施方式1～5的至少图像编码装置或图像解码装置的任一种。具体来说，在广播站ex409中，影像信息的位流通过电波进行通信或传送到广播卫星ex410。接收该信号的广播卫星ex410发出广播用电波，由具备卫星广播接收设备的家庭天线接收该电波，通过电视机(接收机)ex401或机顶盒(STB)ex407等装置，对位流进行解码并再现。此外，读取作为记录介质的CD或DVD等存储介质ex402中记录的位流，可在进行解码的再现装置ex403中也能安装上述实施方式1～5所示的图像编码装置。此时，将再现的影像信号显示于显示器ex404上。此外，在与有线电视用电缆ex405或卫星/地面波广播天线ex406连接的机顶盒ex407内安装图像解码装置，并将其在电视机的显示器ex408再现。此时，可以不装入机顶盒，而在电视机内装入图像解码装置。此外，用具有天线ex411的汽车ex412从卫星ex410或基站ex107接收信号，并在汽车ex412所具有的汽车导航装置ex413等的显示装置上再现动态图像。

此外，可将图像信号用上述实施方式1～5所示的图像编码装置进行编码并记录到记录介质上。作为具体例子，有在DVD盘ex421上记录图像信号的DVD记录器或在硬盘上进行记录的硬盘记录器等记录器ex420。此外，也可在SD卡ex422中进行记录。若记录器ex420具备上述实施方式1～5所示的图像解码装置，则，可将记录在DVD介质ex421或SD卡ex422中的图像信号进行再现，并显示在显示器ex408上。

此外，汽车导航装置ex413的结构可考虑从例如图33所示的结构中去掉摄像机部ex203和摄像机接口部ex303、图像编码部ex312的结构，也可在计算机ex111或电视机(接收机)ex401等中考虑同样的结构。

此外，上述携带式电话机ex114等的终端，除了持有编码器和解码器双方的收发型终端之外，还有只具有编码器的发送终端、以及只具有解码器的接收终端，可考虑这三种实施方式。

如上所述，可将上述实施方式1～5所示的动态图像的编码方法或动态图像的解码方法用于上述的任意种设备和***，并有此可得到上述实施方式1～5中说明的效果。

此外，本发明并不限于上述实施方式，可在不脱离本发明的范围的情况下做出各种变形和修改。

产业上的可利用性

本发明的图像编码装置用作在具备通信功能的个人计算机、PDA、数字广播的广播站以及携带式电话机等中具有的图像编码装置。

此外，本发明的图像解码装置用作在具备通信功能的个人计算机、PDA、接收数字广播的STB及携带式电话机等中具有的图像解码装置。

Claims (33)

1、一种图像解码装置，一边参照已解码图像，一边对包含不同图像尺寸的动态图像流的代码串进行解码，其特征在于，包括：

图像存储器，具备用于存储已解码的图像的存储区域；

存储器划分单元，将上述图像存储器的存储区域划分成规定大小的划分区域；

存储单元，在由上述图像存储器的1个或1个以上的上述划分区域构成的连续的存储区域中，连续存储新解码的1幅图像的全部数据。

2、如权利要求1所述的图像解码装置，其特征在于，

上述图像解码装置还具备尺寸变更判定单元，该尺寸变更判定单元通过比较新解码的图像的尺寸和这之前刚解码的图像的尺寸，来判定图像的尺寸是否已变更；

在判定为上述新解码的图像的尺寸已变更时，上述存储器划分单元划分上述存储区域，使得上述划分区域的大小成为上述新解码的图像的尺寸。

3、如权利要求2所述的图像解码装置，其特征在于，

上述存储单元具备第1空区域检测部，该第1空区域检测部检测是否至少1个上述划分区域为空区域；

当检测到至少1个上述划分区域为空区域时，上述存储单元在由检测到的1个上述划分区域构成的连续的存储区域中，连续存储上述新解码的1幅图像的全部数据。

4、如权利要求3所述的图像解码装置，其特征在于，

上述存储单元具备第1图像删除部，该第1图像删除部通过对已存储于上述图像存储器内的已解码图像中的、显示顺序老的图像开始依次进行删除，生成上述空区域；

在1个上述划分区域也没有作为空区域检测到时，上述存储单元使上述第1图像删除部删除上述已解码图像，直到至少1个上述划分区域作为空区域被检测出。

5、如权利要求4所述的图像解码装置，其特征在于，

上述存储单元还具备显示可能性判定部，关于已存储在上述图像存储器内的上述已解码图像，在显示之前被删除的情况下，判定为在显示该图像时不能进行显示。

6、如权利要求2所述的图像解码装置，其特征在于，

上述存储单元具备划分区域选择部，该划分区域选择部从上述图像存储器的先头开始依次选择上述划分区域；

上述存储单元在由被选择的上述划分区域构成的连续的存储区域中，连续存储新解码的1幅图像的全部数据。

7、如权利要求6所述的图像解码装置，其特征在于，

上述存储单元具备：第2空区域检测部，检测被选择的上述划分区域是否为空区域；以及第2图像删除部，在被选择的上述划分区域不是空区域的情况下，通过删除存储在上述划分区域中的已解码图像，使被选择的上述划分区域成为空区域；

上述存储单元在由被选择的上述划分区域构成的连续的存储区域中，连续存储新解码的1幅图像的全部数据。

8、如权利要求3所述的图像解码装置，其特征在于，

上述存储单元具备：

划分区域选择部，当没有1个上述划分区域作为空区域检测到时，从上述图像存储器的先头开始依次选择上述划分区域；

第2空区域检测部，检测被选择的上述划分区域是否为空区域；以及

第2图像删除部，当被选择的上述划分区域不是空区域时，通过删除已存储在上述划分区域的已解码图像，使被选择的上述划分区域成为空区域；

上述存储单元在由被选择的上述划分区域构成的连续的存储区域中，连续存储新解码的1幅图像的全部数据。

9、如权利要求1所述的图像解码装置，其特征在于，

上述图像解码装置还具备读取单元，从上述代码串中读取表示上述存储区域的划分方法的划分信息；

上述存储器划分单元按照所读取的上述划分信息来划分上述存储区域。

10、如权利要求9所述的图像解码装置，其特征在于，

上述划分信息表示包含在上述代码串中的动态图像流中最大的图像尺寸；

上述存储器划分单元划分上述存储区域，以使上述各划分区域的大小成为上述划分信息所示出的图像尺寸。

11、如权利要求9所述的图像解码装置，其特征在于，

上述划分信息表示按照上述最大的图像尺寸划分上述存储区域的大小时的划分区域数；

上述存储器划分单元将上述存储区域划分成上述划分区域数。

12、如权利要求9所述的图像解码装置，其特征在于，

上述划分信息表示包含在上述代码串中的动态图像流中最小的图像尺寸；

上述存储器划分单元划分上述存储区域，以使上述各划分区域的大小成为上述划分信息所示出的图像尺寸。

13、如权利要求9所述的图像解码装置，其特征在于，

上述划分信息表示按照上述最小的图像尺寸划分上述存储区域的大小时的划分区域数；

上述存储器划分单元将上述存储区域划分成上述划分区域数。

14、如权利要求9所述的图像解码装置，其特征在于，

上述划分信息表示包含在上述代码串中的动态图像流的图像尺寸的最大公约数；

上述存储器划分单元划分上述存储单元，使得上述各划分区域的大小成为上述划分信息所表示的图像尺寸。

15、如权利要求9所述的图像解码装置，其特征在于，

上述划分信息被增大，使得至少同一宏块存储到同一上述划分区域内。

16、如权利要求9所述的图像解码装置，其特征在于，

上述划分信息被增大，使得各已解码图像的水平方向1列的全部宏块存储到1个上述划分区域内。

17、如权利要求9所述的图像解码装置，其特征在于，

上述存储器划分单元增大上述划分区域的大小，以使至少同一宏块存储到同一上述划分区域内。

18、如权利要求9所述的图像解码装置，其特征在于，

上述存储器划分单元增大上述划分区域的大小，以使各已解码图像的水平方向1列的全部宏块存储到1个上述划分区域内。

19、如权利要求9所述的图像解码装置，其特征在于，

上述划分信息还包括表示已存储在上述图像存储器内的上述已解码图像是否可能在显示之前被删除的信息。

20、如权利要求9所述的图像解码装置，其特征在于，

上述存储单元具备第1空区域检测部，检测上述图像存储器内的至少1个上述划分区域是否为空区域；

当可连续存储上述新解码的1幅图像的全部数据的、由1个或1个以上的上述划分区域构成的连续的存储区域作为空区域被检测到时，上述存储单元在由被检测到的上述划分区域构成的连续的存储区域中，连续存储上述新解码的1幅图像的全部数据。

21、如权利要求20所述的图像解码装置，其特征在于，

上述存储单元具备第1图像删除部，该第1图像删除部通过对已存储于上述图像存储器内的已解码图像中的、显示顺序老的图像开始依次进行删除，来生成上述空区域；

当没有可连续存储上述新解码的1幅图像的全部数据的划分区域被作为空区域检测出时，上述存储单元使上述第1图像删除部删除上述已解码图像，直到可连续存储上述新解码的1幅图像的全部数据的上述划分区域被作为空区域检测出。

22、一种图像编码装置，一边参照已编码的图像，一边对不同的图像尺寸的动态图像流进行编码，生成代码串，其特征在于，具备：

图像尺寸取得单元，取得包含在所生成的代码串中的动态图像流的图像尺寸；

划分信息生成单元，根据所取得的图像尺寸，生成表示图像解码装置侧的图像存储器的划分方法的划分信息；以及

编码单元，生成包含所生成的上述划分信息的代码串。

23、如权利要求22所述的图像编码装置，其特征在于，

上述划分信息生成单元生成表示所取得的图像尺寸中最大的图像尺寸的上述划分信息。

24、如权利要求22所述的图像编码装置，其特征在于，

上述划分信息生成单元生成表示所取得的图像尺寸中最小的图像尺寸的上述划分信息。

25、一种图像解码方法，将已解码的图像存储在图像存储器中，一边参照上述已解码图像、一边对包含不同图像尺寸的动态图像流的代码串进行解码，其特征在于，包括：

存储器划分步骤，将上述图像尺寸的存储区域划分成规定大小的划分区域；

存储步骤，将新解码的1幅图像的全部数据，连续存储到由上述图像存储器的1个或1个以上的上述划分区域构成的连续的存储区域中。

26、如权利要求25所述的图像解码方法，其特征在于，

上述图像解码方法还包括尺寸变更判断步骤，在该尺寸变更判断步骤中，通过比较新解码的图像的尺寸和这之前刚解码的图像的尺寸，来判断图像的尺寸是否已变更；

在上述存储器划分步骤中，在判断为上述新解码的图像尺寸没有变更的情况下，划分上述存储区域，以使上述划分区域的大小成为上述新解码的图像的尺寸。

27、如权利要求26所述的图像解码方法，其特征在于，

上述存储步骤包括检测是否至少1个上述划分区域为空区域的第1空区域检测步骤；

在上述存储步骤中，当至少1个上述划分区域被作为空区域检测出时，在由检测出的1个上述划分区域构成的连续的存储区域中，连续存储上述新解码的1幅图像的全部数据。

28、如权利要求27所述的图像解码方法，其特征在于，

上述存储步骤包括第1图像删除步骤，该第1图像删除步骤中，通过对已存储于上述图像存储器内的已解码图像中的、显示顺序老的图像开始进行删除，生成上述空区域；

在上述存储步骤中，当没有1个上述划分区域被作为空区域检测到时，在上述第1图像删除步骤中删除上述已解码图像，直到至少1个上述划分区域被作为空区域检测出。

29、如权利要求26所述的图像解码方法，其特征在于，

上述存储步骤包括从上述图像存储器的先头开始依次选择上述划分区域的划分区域选择步骤；

在上述存储步骤中，在由被选择的上述划分区域构成的连续的存储区域中，连续存储新解码的1幅图像的全部数据。

30、如权利要求29所述的图像解码方法，其特征在于，

上述存储步骤包括：

第2空区域检测步骤，检测被选择的上述划分区域是否为空区域；

第2图像删除步骤，当被选择的上述划分区域不是空区域的情况下，通过删除已存储在上述划分区域中的已解码图像，使被选择的上述划分区域成为空区域；

在上述存储步骤中，在由被选择的上述划分区域构成的连续的存储区域，连续存储新解码的1幅图像的全部数据。

31、一种图像编码方法，一边参照已编码的图像，一边对不同图像尺寸的动态图像流进行编码，生成代码串，其特征在于，包括：

图像尺寸取得步骤，取得包含在所生成的代码串中的动态图像流的图像尺寸；

划分信息生成步骤，根据所取得的图像尺寸，生成表示图像解码装置侧的图像存储器的划分方法的划分信息；

编码步骤，生成包含所生成的上述划分信息的代码串。

32、一种程序，用于将已解码的图像存储到图像存储器中、并一边参照上述已解码的图像一边对包含不同图像尺寸的动态图像流的代码串进行解码的图像解码装置中，其特征在于，使计算机执行下述步骤：

存储器划分步骤，将上述图像存储器的存储区域划分成规定大小的划分区域；以及

存储步骤，在由上述图像存储器的1个或1个以上的上述划分区域构成的连续的存储区域中，连续存储新解码的1幅图像的全部数据。

33、一种程序，用于一边参照已编码的图像、一边对不同图像尺寸的动态图像流进行编码来生成代码串的图像编码装置，其特征在于，使计算机执行下述步骤：

图像尺寸取得步骤，取得包含在所生成的代码串中的动态图像流的图像尺寸；

划分信息生成步骤，根据所取得的图像尺寸，生成表示图像解码装置侧的图像存储器的划分方法的划分信息；以及

编码步骤，生成包含所生成的上述划分信息的代码串。

Images