CN1497983A - 动图像编码方法和动图像编码装置 - Google Patents

Abstract

本发明提供一种即使在低频带重要区域也是高图像品质，并能够分阶段地使较高频带***区域高图像品质化的动图像编码方法。本方法中，重要区域检测部(122)自动检测画面内的重要区域，阶段移动图生成部(124)生成从重要区域向***区域分阶段地减小移动值的阶段移动图。位移动部(130)根据阶段移动图使DCT系数进行位移动。这样，有利于重要区域高图像品质化的DCT系数优先较多地存储在扩展层的最前面部分。

Description

动图像编码方法和动图像编码装置

技术领域

本发明涉及具有分级数据结构的动图像编码方法以及动图像编码装置，特别是涉及即使在低频带，对于画面中的重要区域也能够保持较高图像品质的动图像编码方法和动图像编码装置。

背景技术

由已往的影像传输***传输的影像数据，可在某一定的传输频带传输，通常，利用H.261方式或MPEG(Moving Picture Experts Group)方式等将其压缩编码到固定频带以下，已编码的影像数据，即使传输频带改变，也不会改变影像质量。

但是，随着近年来的网络多样化，传输线路的频带变动很大，在多个频带可传输平衡质量影像的影像数据是必要的，与此相适应，可以对应于具有分级结构的多个频带的分级编码方式已被标准化。在这种分级编码方式中，特别是关于频带选择的自由度高的方式的MPEG-4FGS(ISO/IEC14496-2 Amendment 4)现在也已被标准化。按照MPEG-4FGS编码的影像数据，由作为能按单元解码的动图像数据流的一个基本层，以及作为用于提高基本层的解码动图像质量的动图像数据流的至少一个以上扩展层构成。基本层在低频带是低图像品质的影像数据，通过按照频带在其中增加扩展层，则可实现自由度高的高图像品质化。

在MPEG-4FGS，由于具有通过控制分配的扩展层数，可按任意规模分割在基本层增加的扩展层的总数据规模的特征，则基本层的频带固定，控制扩展层的总数据规模，可以适应传输频带。例如，根据可能接收的频带，选择基本层和多个扩展层进行接收，则可接收与频带相应的品质的影像。并且，扩展层即使在传输线路损失，虽然是低图像品质，但也可仅以基本层再生影像。

这样，MPEG-4FGS随着频带变高，通过在基本层增加大规模的扩展层或多个扩展层，可以使整个画面顺利地高图像品质化，然而对于频带较低的状况，整个画面为低图像品质。特别是MPEG-4FGS的扩展层由于采用了未利用时间连续的帧间相关性的帧内编码方式，与利用帧间相关性的帧间编码相比较，压缩效率下降了。特别是在低频带，对于用户来说存在重要区域变为低图像品质的问题。

因此，用于提高扩展层的编码效率的现有技术，在扩展层的位平面VLC(Variable Length Coding：可变长编码)，不是按照从左上向右下的顺序进行编码，在基本层中使用的量化值按照从大的宏块的顺序进行编码(例如，参照特开2001-268568号公报)。

图1是表示已有影像编码装置构成的一例的图。该影像编码装置10具有：影像输入部12，基本级编码部14，基本层解码部16，基本层输出部18，差分图像生成部20，DCT部22，存储顺序控制部24，位平面VLC部26，扩展层输出部28。

影像输入部12，在每1画面将输入的影像信号输出到基本层编码部14和差分图像生成部20。基本层编码部14，对于从影像输入部12输入的影像信号，进行利用了动态补偿·DCT(Discrete Cosine Transform：离散余弦变换)·量化的MPEG编码，将编码数据输出到基本层输出部18和基本层解码部16，同时将用于由16×16像素构成的宏块(由16×16像素构成的正方格子状像素集合)的量化的量化值输出到存储顺序控制部24。基本层解码部16，将对基本层的编码数据进行逆量化·逆DCT·动态补偿得到的解码数据输出到差分图像生成部20。

差分图像生成部20，在从影像输入部12输入的非压缩影像信号和从基本层解码部16输入的基本层编码·解码后的解码图像数据之间进行差分处理，生成差分图像，将差分图像输出到DCT部22。DCT部22，对从差分图像生成部20输入的全体差分图像，以8×8像素单位按顺序进行DCT变换，将图像内的全DCT系数输出到存储顺序控制部24。存储顺序控制部24，对从DCT部22输入的全DCT系数，以宏块为单位进行并列替换，将宏块的存储顺序信息输出到扩展层输出部28，同时将并列替换的全DCT系数输出到位平面VLC部26。

在存储顺序控制部24的宏块的并列替换，利用从基本层编码部14输入的每个宏块的量化值进行，从量化值大的宏块开始按顺序从左上向右下存储。位平面VLC部26，对从存储顺序控制部24输入的全画面DCT系数，用2进制数表示各DCT系数后，用属于各位位置的位构成位平面，按从上级位平面到下级位平面的顺序分别进行可变长编码(VLC)。在各位平面，从左上的宏块向右下进行可变长编码(VLC)，按照从上级位平面开始的顺序在位数据流从最前面开始并列进行，生成扩展层的位数据流，输出到扩展层输出部28。由位平面VLC部26生成的扩散级的位数据流，其构造为：上级位平面的数据存储在最前面，继续按顺序存储下级位平面的数据，在各位平面先存储量化值大的宏块的数据。扩展层输出部28，将宏块的存储顺序信息和扩展层位数据流复用并输出到外部。

这样，在影像编码装置10，通过在各位平面从宏块量化值大的开始按顺序进行位平面VLC处理，可在各位平面从预想量化误差大的宏块开始，先作为扩展层存储数据。因此，由于在基本层图像品质恶化可能性大的区域，在各位平面内存储在上级扩展层，所以与同一位平面相比较时，在仅使用上级扩展层的低频带，可以先将图像品质恶化大的部分高图像品质化。

然而，已往的动图像编码方法，当在位平面内改变宏块的存储顺序时，若观察各位平面的内部，可从图像品质恶化大的宏块开始先进行高图像品质化，与按位平面单位相比较时，每个宏块的图像品质就没有差别。也就是，在每个位平面分割扩展层进行接收的状况下，没有任何优点。

特别是在低频带，对于用户来说希望使重要区域优先高图像品质化，在重要区域以外量化值大的情况下，使这些重要区域以外的区域也优先高图像品质化。已往的方法中，使用量化值改变编码顺序，在低频带不可能优先使重要区域高图像品质化。例如，使用已有的方法即使对重要区域改变位平面内的数据存储顺序，也不可能在限定的同一位平面实施局部优先处理。

因此，已往的影像编码方法，不是限定的同一位平面内，在频带低的情况下不可能优先使重要区域高图像品质化。为此，当前强烈希望实现在低频带重要区域的高图像品质的影像编码方式。

发明内容

本发明的目的是：提供一种即使在低频带，重要区域是高图像品质，可以使频带较高的***区域分阶段地进行高图像品质化的动图像编码方法和动图像编码装置。

本发明的要点是：从重要区域开始优先进行扩展层编码，例如，在终端移动中，频带降低的情况下也能较高地维持重要区域的质量。

按照本发明，动图像编码方法是一种将动图像分割为一个基本层和至少一个扩展层进行编码的动图像编码方法，具有提取动图像各区域的重要度的提取步骤，以及从重要度大的区域开始按顺序将各区域的编码数据分配在扩展层的分配步骤。

按照本发明，动图像编码装置具有：输入动画面原图像的图像输入部；从上述动画面原图像提取一个基本层并进行编码的基本层编码部；将由上述基本层编码部编码的基本层解码并进行再构成的基本层解码部；生成由上述基本层解码部再构成的再构成图像与上述动画面原图像的差分图像的差分图像生成部；从上述动画面原图像提取重要区域的重要区域提取部；根据由上述重要区域提取部提取的重要区域的重要度，分阶段设定位移动值的阶段移动图生成部；将由上述差分图像生成部生成的差分图像进行DCT变换的DCT部；根据由上述阶段移动图生成部得到的位移动值，将由上述DCT部得到的DCT系数进行位移动的位移动部；在每个由上述位移动部进行位移动的位平面，进行VLC处理的位平面VLC部；将由上述位平面VLC部进行VLC处理的动图像数据流作为扩展层至少分割为一个以上的扩展层分割部。

本发明所述的和其他的目的和特征将在与以下实施例的附图一起的描述中，充分显现出来。

附图说明

图1是表示已有影像编码装置结构的例图。

图2是表示应用了本发明实施例1的动图像编码方法的影像编码装置结构的方框图。

图3是表示应用了本发明实施例1的动图像编码方法的影像编码装置结构的方框图。

图4是表示对应于实施例1的影像编码装置动作的流程图。

图5是表示在图2的重要区域检测部的检测结果的例图。

图6是表示阶段移动图的例图。

图7是表示图4的阶段移动图生成处理顺序的例图。

图8A是表示位移动的例图，特别表示阶段移动图的图。

图8B是表示位移动的例图，特别表示MB1的DCT系数。

图8C是表示位移动的例图，特别是移动前的位平面的概念图。

图8D是表示位移动的例图，特别是移动后的位平面的概念图。

图9是位平面VLC的概念图。

图10是扩展层位数据流的结构图。

图11A是表示重要区域的检测结果的例图。

图11B是表示对应于图11A的检测结果的阶段移动图的例图。

图12是表示对应于图11A的检测结果的位移动结果的例图。

图13是表示对应于实施例1的影像解码装置动作的流程图。

图14是表示适应于本发明实施例2的动图像编码方法的影像编码装置结构的方框图。

图15是表示在图14的阶段移动图生成部的阶段移动图生成处理顺序的流程图。

图16是表示图16的阶段移动图更新处理顺序的流程图。

具体实施方式

以下，参照附图详细说明本发明的实施例。

(实施例1)

本实施例中，将对应用了在低频带能优先地使重要区域进行高图像品质化，并且高频带的***区域也能分阶段地进行高图像品质化的动图像编码方法的影像编码装置和影像解码装置予以说明。

图2是表示应用了本发明实施例1的动图像编码方法的影像编码装置结构的方框图。

图2所示影像编码装置100具有：生成基本层的基本层编码器110；生成扩展层的扩展层编码器120；设定基本层频带的基本层频带设定部140；设定扩展层的分割频带宽度的扩展层分割宽度设定部150。

基本层编码器110具有：对每1图像输入图像(原图像)的图像输入部112；进行基本层的压缩编码的基本层编码部114；进行基本层的输出的基本层输出部116；进行基本层的解码的基本层解码部118。

扩散级编码器120具有：进行重要区域的检测的重要区域检测部122；根据重要区域的信息生成阶段移动图的阶段移动图生成部124；生成输入图像与基本层解码图像(再构成图像)的差分图像的差分图像生成部126；进行DCT变换的DCT部128；根据从阶段移动图生成部124输出的位移图，进行DCT系数的位移动的位移动部130；对于DCT系数，在每个位平面进行可变长编码(VLC)的位平面VLC部132；用从扩展层分割宽度设定部150输入的分割宽度对已进行了VLC编码的扩展层进行数据分割处理的扩展层分割部134。

图3是表示应用了本发明实施例1的动图像编码方法的影像解码装置结构的方框图。

图3所示影像解码装置200具有：对基本层进行解码的基本层解码器210；对扩展层进行解码的扩展层解码器220。

基本层解码器210具有：输入基本层的基本层输入部212；进行已输入的基本层的解码处理的基本层解码部214。

扩散级解码器220具有：合成并输入分割的多个扩展层的扩展层合成输入部222；对扩展层进行位平面VLD(Variable Length Decoding：可变长解码)处理的位平面VLD部224；进行位移动的位移动部226；进行逆DCT处理的逆DCT部228；将基本层解码图像和扩展层解码图像相加的图像相加部230；输出再构成图像的再构成图像输出部232。

以下，对具有上述构成的影像编码装置100的动作，也就是对影像编码装置100的影像信号的处理顺序，利用图4所示流程图予以说明。图4所示流程作为控制程序被存储在影像编码装置100的未图示的存储装置(例如ROM或快速擦写存储器等)中，由未图示的CPU实行。

首先，在步骤S1000，进行输入影像信号的影像输入处理。具体地说，在图像输入部112，从输入的影像信号检测同步信号，将构成影像信号的原图像的每1画面输出到基本层编码部114、差分图像生成部126以及重要区域检测部122。接着，基本层频带设定部140，将对于基本层的频带值输出到基本层编码部114，扩展层分割宽度设定部150，将扩展层的分割大小输出到扩展层分割部134。

然后，在步骤S1100，将影像信号作为基本层进行编码/解码的基本层编码解码处理。具体地说，在基本层编码部114，对于从图像输入部112输入的原图像，如成为从基本层频带设定部140输入的频带那样，进行利用动态补偿·DCT·量化·可变长编码处理等的MPEG编码，生成基本层数据流，将生成的数据流输出到基本层输出部116和基本层解码部118。接着，在基本层输出部116，将从基本层编码部114输入的基本层数据流输出到外部。并且，在基本层解码部118，对于从基本层编码部114输入的基本层数据流进行MPEG解码，生成解码图像(再构成图像)，将生成的解码图像输出到差分图像生成部126。

在步骤S1200，进行算出差分图像的差分图像生成处理。具体地说，在差分图像生成部126，对于从图像输入部112输入的原图像，对每个像素进行提取与从基本层解码部118输入的解码图像的差分的差分处理，生成差分图像，将生成的差分图像输出到DCT部128。

在步骤S1300，对差分图像进行DCT变换的DCT处理。具体地说，在DCT部128，对于从差分图像生成部126输入的差分图像，对图像全体按照8×8像素单位施行离散余弦变换(DCT)，算出图像全体的DCT系数，将得到的DCT系数输出到位移动部130。

在步骤S1400，进行检测重要区域的重要区域检测处理。具体地说，在重要区域检测部122，对于从图像输入部112输入的1画面的图像数据，例如，检测与平均容貌图像等预先存储的图像数据的相关性高的区域。例如，根据相关程度，相对地决定重要度的大小。将相关性最高的区域(即重要度最大的区域)作为重要区域，把该检测结果输出到阶段移动图生成部124。

图5是表示在重要区域检测部122的检测结果的例图。这里，例如，当作为检测结果输出矩形区域时，输出重要区域的重心座标(cx，cy)和起始于重心G的水平垂直方向的半径(rx，ry)等4个值。

在重要区域检测部122的检测结果的输出方法，并不限定于此，可以是能够指定区域的任何输出方法。并且，重要区域的检测方法，也不限定利用与图像的相关值，可以是能够进行区域检测的任何方法。并且，重要区域检测部122，并不限定检测容貌区域的方法，可以是检测或指定对用户来说的重要区域的任何方法。例如，作为重要区域的检测方法，除了动图像中的容貌以外，还可以同时或有选择地检测运动物体。因此，可以更有效地设定重要度。

在步骤S1500，进行生成阶段移动图的阶段移动图生成处理。具体地说，在阶段移动图生成部124，利用从重要区域检测部122输入的区域重心座标(cx，cy)和半径(rx，ry)等4个信息，生成具有阶段移动值的阶段移动图，将生成的阶段移动图输出到位移动部130。阶段移动图是以每个16×16正方像素的宏块1个值表示图像的图。

图6是表示阶段移动图的例图。图6所示阶段移动图160，将图像划分为宏块162，在各宏块162都有1个移动值。如图6所示，移动值的阶段数为“0”～“4”的5阶段，由重要区域检测部122检测的检测区域164具有最大的移动值，随着向***区域，移动值逐渐减小。

图7是表示图4的阶段移动图生成处理顺序的流程图。该阶段的移动图生成处理，如图7所示，由最大移动区域算出处理(步骤S1510)、区域扩大步长算出处理(步骤S1520)、区域扩大处理(步骤S1530)、移动值设定处理(步骤S1540)等4个处理构成。

首先，在步骤S1510，进行最大移动区域算出处理。具体地说，在阶段移动图生成部124，将由包含从重要区域检测部122输入的区域的宏块构成的宏块区域作为最大位移区域166(参照图6)，对该最大位移区域166内的全部宏块设定移动值的最大值，对以外的区域设定“0”。在图6的示例中，移动值为“0”～“4”，所以最大位移区域166的内部，表示最大值的“4”。以下将移动值设定为“0”以外的区域称为“非零位移区域”。

然后，在步骤S1520，进行区域扩大步长算出处理。具体地说，在阶段移动图生成部124，利用从重要区域检测部122输入的重要区域的半径(rx，ry)，算出在从特定重要区域向***区域扩大区域并设定较小移动值时使用的区域扩大步长。区域扩大步长的算出，利用以下(式1)、(式2)进行，即：

$\mathrm{dx}=\frac{\mathrm{rx}}{2*\mathrm{macroblock}\_\mathrm{size}}......$ (式1)

$\mathrm{dy}=\frac{\mathrm{ry}}{2*\mathrm{macroblock}\_\mathrm{size}}......$ (式2)

(式1)中，dx是横方向的扩大步长(宏块单位)，rx是检测区域164的横半径(像素单位)，macroblock_size是宏块的横宽度(像素单位)。(式2)中，dy是纵方向的扩大步长(宏块单位)，ry是检测区域164的纵半径(像素单位)。

在步骤S1530，进行区域扩大处理。具体地说，在阶段移动图生成部124，利用由上式(式1)、(式2)算出的区域扩大步长dx、dy，对于现在的非零移动区域，以重心G为共同点，在左右分别扩大dx个宏块列，在上下分别扩大dy个宏块行。但是，在该扩大处理中，对于扩大后的区域在画面外的方向，停止该扩大处理。

在步骤S1540，进行移动值设定处理。具体地说，在阶段移动图生成部124，对于在步骤S1530的区域扩大处理中扩大部分的区域，设定从非零移动区域内的最小移动值减“1”的值。

在步骤S1550，判断是否结束阶段移动图生成处理。具体地说，判断在步骤S1540设定的移动值是否是“0”。当该判断结果是在步骤S1540设定的移动值是“0”时(S1550：YES)，返回图4的流程，当在步骤S1540设定的位移值不是“0”时(S1550：NO)，返回到步骤S1530。也就是，重复步骤S1530(区域扩大处理)和步骤S1540(移动值设定处理)，直到在步骤S1540设定的位移值为“0”，结束阶段移动图生成处理。然后，将得到的阶段移动图输出到位移动部130。

阶段移动图的生成方法，并不限定于利用检测区域164的半径顺序扩大的方法，可以是从重要区域向***区域移动值具有分阶段减小倾向的任何生成方法。

在步骤S1600，对DCT系数进行位移动的位移动处理。具体地说，在位移动部130，对于从DCT部128输入的DCT系数，根据从阶段移动图生成部124输入的阶段移动图内的移动值，对每个宏块进行位移动。例如，对于移动值是“4”的宏块，将宏块内的所有DCT系数在各上级位方向进行4位移动。

图8A～图8D是表示位移动的例图。图8A是表示阶段移动的图，图8B是表示MB1的DCT系数的图，图8C是移动前的位平面概念图，图8D是移动后的位平面概念图。

图8A所示阶段移动图是具有相对于5×4个宏块的移动值的阶段移动图，MB1表示宏块1的移动值，MB2表示宏块2的移动值，MB3表示宏块3的移动值。图8B所示MB1的DCT系数是用2进制数表示包含在宏块1(MB1)中的DCT系数。图8C所示移动前的位平面概念图，对于MB1～MB3所包含的全部DCT系数，将纵轴作为位平面，将横轴作为DCT系数的位置进行排列并图表化。图8D所示位移后的位平面概念图，根据图8A的阶段移动图所示移动值，表示对每个宏块在向上级方向进行位移动后的DCT系数。

这样，在位移动处理中，根据在步骤S1500生成的阶段移动图，将DCT系数进行位移动后，把位移动后的DCT系数输出到位平面VLC部132。

在步骤S1700，在每个位平面进行VLC处理的位平面VLC处理。具体地说，在位平面VLC部132，对从阶段移动图生成部124输入的阶段移动图进行可变长编码，再对从位移动部130输入的DCT系数，在每个位平面进行可变长编码。

图9是位平面VLC的概念图，对应于图8D所示移动后的位平面概念图。图9中，第1位平面是在按位平面顺序排列画面内的全部DCT系数时，将存在于最上级位(MSB：Most Significant Bit)的位置的位集中的平面，第2位平面是将存在于MSB下面的上级位位置的位集中的平面，第3位平面是将存在于第2位平面下面的上级位位置的位集中的平面，第N位平面是将存在于最下级位(LSB：Least Significant Bit)的位置的位集中的平面。

图10是扩展层位数据流的结构图。图10所示扩展层位数据流的结构是：按照第1位平面(bp1)、第2位平面(bp2)、......、第N位平面(bpN)的顺序，存储将各位平面进行可变长编码并生成的位数据流。

在位平面VLC部132，首先，对全图像中存在于第1位平面的位串进行可变长编码，将生成的位数据流配置在扩展层的最前面位置(bp1)。然后，对第2位平面进行可变长编码，配置在与第1位平面的位数据流相接的位置(bp2)。接着，重复同样的处理，最后对第N位平面进行可变长编码，配置在位数据流的最后位置(bpN)。并且，由位移动发生的下级位都作为“0”处理。这样，以较大值进行位移动的宏块在上级位平面的可变长编码，存储在构成扩展层的动图像数据流内接近最前面的地方。

这样，在位平面VLC处理中，进行位平面VLC生成构成扩展层的动图像数据流。生成的动图像数据流输出到扩展层分割部134。

图11A是表示重要区域的检测结果的例图，图11B是表示对应的阶段移动图的例图。图12是表示对应的位移动结果的例图。

图11B所示阶段移动图像是对每个宏块162具有移动值的例图，在包含重要区域164的宏块设定最大的移动值“2”，在外面区域，位移值分阶段地变小，设定为“1”、“0”。

图12所示位移动结果，是用以x轴、y轴、位平面为轴的3维表现1画面全体DCT系数，对于各宏块表示利用阶段位移图所示移动值进行位移动的结果。在该位移动结果中，重要区域164位于最上级的位平面，***区域位于以下的位平面，所以在从上级位平面开始进行的可变长编码处理中，按照从重要区域164向***区域的顺序进行可变长编码，从构成扩展层的动图像数据流内的最前面开始存储。图12中，为了简化，画面内的DCT系数的上级位都位于同一位平面内。

在步骤S1800，进行将扩展层分割为多个的扩展层分割处理。具体地说，在扩展层分割部134，对从位平面VLC部132输入的扩展层，利用从扩展层分割宽度设定部150输入的分割大小从最前面开始进行数据分割，将分割的多个扩展层输出到外部。被分割的扩展层，由于与传输频带配合从最前面部分开始将多个部分合成为1个进行传输，所以可以控制影像数据的频带。

在步骤S1900，进行结束判定处理。具体地说，判断在图像输入部112中影像信号的输入是否停止了。当该判断结果是在图像输入部112中影像信号的输入停止时(S1900：YES)，判定编码结束，则终止一系列的编码处理，当在图像输入部112中影像信号的输入未停止时(S1900：NO)，则返回到步骤S1000。也就是，重复进行步骤S1000～步骤S1800的一系列处理，直到在图像输入部112影像信号的输入停止。

下面，对具有上述结构的影像解码装置200的动作，也就是对影像解码装置200的位数据流的处理顺序，利用图13所示流程图予以说明。图13所示流程图，作为控制程序存储在影像解码装置200的未图示的存储装置(例如，ROM和快速擦写存储器等)中，由未图示的CPU实行。

首先，在步骤S2000，对每个图像进行开始影像解码的解码开始处理。具体地说，在基本层输入部212，开始基本层的输入处理，在扩展层合成输入部222，开始扩展层的输入处理。

然后，在步骤S2100，进行输入基本层的基本层输入处理。具体地说，在基本层输入部212，对每1画面取出基本层的数据流，输出到基本层解码部214。

在步骤S2200，进行解码基本层的基本层解码处理。具体地说，在基本层解码部214，对从基本层输入部212输入的基本层数据流，利用VLD·逆量化·逆DCT·动态补偿处理等进行MPEG解码处理，生成基本层解码图像，将生成的基本层解码图像输出到图像相加部230。

另一方面，在步骤S2300，进行合成并输入多个扩展层的扩展层合成输入处理。具体地说，在扩展层合成输入部222，将分割的扩展层从最前面开始合成为1个，把合成的扩展层的数据流输出到位平面VLD部224。分割的扩展层的个数随传输频带等条件而变化。

在步骤S2400，进行对每个位平面进行VLD处理的位平面VLD处理。具体地说，在位平面VLD部224，对从扩展层合成输入部222输入的扩展层的位数据流进行可变长解码(VLD)处理，算出画面全体的DCT系数和阶段移动图，将算出结果输出到位移动部226。

在步骤S2500，对VLD后的DCT系数进行位移动的位移动处理。具体地说，在位移动部226，对从位平面VLD部224输入的DCT系数，根据阶段移动图所示的移动值，对每个宏块进行向下级位方向的位移动，将位移动后的DCT系数输出到逆DCT部228。

在步骤S2600，进行逆DCT处理。具体地说，在逆DCT部228，对从位移动部226输入的DCT系数施行逆DCT处理，生成扩散级的解码图像，将生成的扩展层解码图像输出到图像相加部230。

在步骤S2700，进行将基本层的解码图像和扩展层的解码图像相加的图像相加处理。具体地说，在图像相加部230，对每个像素将从基本层解码部214输入的基本层的解码图像和从逆DCT部228输入的扩展层的解码图像相加，生成再构成图像，将生成的再构成图像输出到再构成图像输出部232。在再构成图像输出部232，将从图像相加部230输入的再构成图像输出到外部。

在步骤S2800，进行结束判定处理。具体地说，判断在基本层输入部212基本层的数据流输入是否停止了。当该判断结果是在基本层输入部212基本层的数据流输入停止时(S2800：YES)，则判定解码结束，终止一系列的解码处理，当在基本层输入部212基本层的数据流输入未停止时(S2800：NO)，则返回到步骤S2000。也就是，重复进行步骤S2000～步骤S2700的一系列处理，直到在基本层输入部212基本层的数据流输入停止。

这样，按照本实施例，影像编码装置100具有：自动检测画面内重要区域的重要区域检测部122；从重要区域向***区域生成位移值分阶段减小的阶段移动图的阶段移动图生成部124；根据阶段位移图将DCT系数进行位移动的位移动部130，因此，能够将有助于重要区域高图像品质化的DCT系数优先地存储在扩展层的最前面部分，即使在扩展层的数据量较少的低频带，也可以优先地使重要区域高图像品质化。

按照本实施例，与重要区域的距离越近的区域，可以将有助于高图像品质化的DCT系数存储在接近扩展层最前面的部分，在增加扩展层的数据量提升频带时，可以将有利于更广的***区域高图像品质化的DCT系数包含在扩展层中，因此，分阶段地扩大高图像品质化的区域是可能的。因此，随着频带的扩大，以重要区域为中心，向全部画面的方向上使更大的区域高图像品质化是可能的。

按照本实施例，在基本层的编码·解码中采用了MPEG方式，在扩展层的编码·解码中采用了MPEG-4FGS方式，但并不限定于此，只要是使用位平面编码，也可以采用其他编码·解码方式。

按照本实施例，非同步进行基本层·扩展层的编码和影像数据的传送，然而，通过使编码和传送同步，对于直播影像，可以将用户指定的重要区域优先编码，高效率地传送。

(实施例2)

本实施例中，将对应用了在低频带能使基本层的图像品质恶化大的部分且重要区域高图像品质化，高频带的***区域也能分阶段地高图像品质化的动图像编码方法的影像编码装置予以说明。

图14是表示应用了本发明实施例2的动图像编码方法的影像编码装置结构的方框图。该影像编码装置300具有与图2所示影像编码装置100同样的基本构结构，对同一结构要素附与相同符号，省略其说明。

本实施例的特征是扩展层编码器120a具有后述的附加功能。也就是，影像编码装置300与图2所示影像编码装置100一样，具有：在基本层和扩展层对影像信号进行编码，根据重要区域信息生成阶段移动图的阶段移动图生成部124a；生成输入图像与基本层解码图像的差分图像的差分图像生成部126a，由差分图像生成部126a生成的差分图像输出到阶段移动图生成部124a。

差分图像生成部126a，对于从图像输入部112输入的原图像，对每个像素进行与从基本层解码部118输入的解码图像(再构成图像)的差分处理，生成差分图像，将生成的差分图像添加到DCT部128并输出到阶段移动图生成部124a。

阶段移动图生成部124a，利用从重要区域检测部122输入的区域的重心座标(cx，cy)和半径(Dx，ry)等4个信息、以及从差分图像生成部126a输入的差分图像，生成具有阶段移动值的阶段移动图。

图15是表示在阶段移动图生成部124a的阶段移动图生成处理顺序的流程图。如图15所示，将步骤S1545***到图7所示流程中。

步骤S1510～步骤S1540，与图7所示流程的各步骤一样，省略其说明。

在步骤S1545，对于经步骤S1510～步骤S1540的处理算出的阶段移动图，利用差分图像更新其移动值。也就是，在阶段移动图生成部124a，经步骤S1510～步骤S1540的处理算出阶段移动图，然后，利用差分图像更新阶段移动图的移动值。

图16是表示图15的阶段移动图更新处理顺序的流程图。该阶段移动图更新处理，如图16所示，由差分绝对和算出处理(步骤S3000)、优先宏块算出处理(步骤S3100)、移动图更新处理(步骤S3200)等3个处理构成。

首先，在步骤S3000，进行差分绝对和算出处理。具体地说，在阶段位移图生成部124a，利用从差分图像生成部126a输入的差分图像，对各宏块i求出宏块内像素的绝对值的和SUM(i)。差分绝对和的算出，可用以下(式3)进行，即：

$\mathrm{SUM}\left(i\right)=\underset{j=1}{\overset{N}{\mathrm{\Σ}}}\left|\mathrm{DIFF}\left(j\right)\right|......$ (式3)

这里，i表示宏块的位置，SUM(i)表示宏块内像素的绝对值之和，j表示宏块内像素的位置，N表示宏块内的总像素数，DIFF(j)表示像素j的像素值。

然后，在步骤S3100，进行优先宏块算出处理。具体地说，在阶段移动图生成部124a，首先，在阶段移动图中，对每个具有同一移动值shift的区域，算出差分绝对和SUM(i)的平均值AVR(shift)。然后，在阶段移动图中，对每个具有同一移动值shft的区域，进行各宏块i的差分绝对和SUM(i)与平均值AVR(shift)的比较。当该比较结果是宏块的差分绝对和SUM(i)比平均值AVR(shift)大时，将该宏块作为优先宏块。

这里平均值AVR(shift)的算出，可用以下(式4)进行，即

$\mathrm{AVR}\left(\mathrm{shift}\right)=\frac{\underset{j=1}{\overset{M}{\mathrm{\Σ}}}\mathrm{SUM}\_\mathrm{shift}\left(k\right)}{M}......$ (式4)

(式4)中，AVR(shift)表示在阶段移动图中移动值是“shift”的宏块的差分绝对和的平均值，M表示在阶段移动图中移动值是“shift”的宏块个数，SUM_shift(k)表示在阶段移动图中移动值是“shift”的宏块k的差分绝对和。

优先宏块的算出，可用以下(式5)进行，即：

If(SUM_shift(i)＞AVR(shift))then MBi＝“优先宏块”......(式5)MBi表示宏块i。

优先宏块的算出方法，并不限定于(式5)，只要是将差分绝对和大的宏块作为优先宏块的方法，任何方法都可以。

在步骤S3200，进行位移图更新处理。具体地说，在阶段移动图生成部124a，对于在步骤S3100的优先宏块算出处理中算出的优先宏块，在阶段移动图所示的移动值加“1”后，返回图15的流程图。

移动图的更新方法，并不限定于在优先宏块的位移值加“1”的方法，只要是使位移值加大的方法，任何方法都可以。

在步骤S1550，与图7所示流程图的步骤一样，省略其说明。

这样，在阶段移动图生成部124a，进行阶段移动图更新处理，将得到的阶段移动图输出到位移动部130。

这样按照本实施例，在阶段移动图生成部124a的阶段移动图更新处理中，由于差分图像的绝对和越大的宏块位移值更大，所以在基本层图像品质恶化越大的宏块可以优先进行位平面VLC，在低频带，特别是对于重要区域中图像品特别质恶化的部分，能够进一步优先进行高图像品质化。

如上所述，按照本发明，即使在低频带，重要区域也是高图像品质，并可以分阶段使较高频带的***区域高图像品质化。

也就是，本发明的动图像编码方法是一种将动图像分割为一个基本层和至少一个扩展层进行编码的动图像编码方法，具有：提取动图像各区域的重要度的提取步骤；从重要度大的区域开始按照顺序，将各区域的编码数据分配到扩展层的分割步骤。

按照该方法，即使传输频带是低频带的接收终端，也能够传输优先解码重要度高的区域的动图像编码，即使在低频带，重要区域也是高图像品质，可以分阶段地使较高频带的***区域高图像品质化。

本发明的动图像编码方法，在上述方法中将重要度最大的区域作为重要区域，从该重要区域开始沿周边减小重要度的值。

按照该方法，通过优先解码对用户来说的重要信息，可以提供将对用户重要的信息更有效的编码的数据。

本发明的动图像编码方法，在上述方法中重要度的提取，通过检测动图像中容貌区域或运动物体来进行。

按照该方法，可以更有效地设定重要度。

本发明的动图像编码方法，在上述方法中对于在重要区域内部基本层解码动图像与原动图像的差分值大的部分，将进一步加大重要度的值。

按照该方法，即使在重要区域中，将变化剧烈的区域优先地存储在扩展层，在重要区域内部，可优先使基本层的图像品质恶化大的区域高图像品质化，能够提供更有效的编码数据。

本发明的动图像编码方法，在上述方法中上述分配步骤按照重要度设定移动值，根据对应各区域编码数据的移动值进行位移动，将各区域的编码数据分配在扩展层。

按照该方法，按照根据重要度的优先度，可以形成扩展层。

本发明的动图像编码方法，在上述方法中重要度越大，设定更大的移动值。

按照该方法，可以将重要度大的数据存储在上级扩展层，解码时优先使重要度大的区域高图像品质化。

本发明的动图像传输方法，将使用上述任一项记载的动图像编码方法的动画面编码和动画面传送相互同步进行。

按照该方法，可以有效地使动画面编码和传送同步进行。

本申请发明的动图像编码装置的构成是具有：输入动画面原图像的图像输入部；从上述动画面原图像提取一个基本层并进行编码的基本层编码部；对由上述基本层编码部编码的基本层进行解码并再构成的基本层解码部；生成由上述基本层解码部再构成的再构成图像与上述动画面原图像的差分图像的差分图像生成部；从上述动画面原图像提取重要区域的重要区域提取部；根据由上述重要区域提取部提取的重要区域的重要度，分阶段设定位移动值的阶段位移图生成部；对由上述差分图像生成部生成的差分图像进行DCT变换的DCT部；根据由上述阶段位移图生成部得到位移动值，对由上述DCT部得到的DCT系数进行位移动的位移动部；对每个由上述位移动部进行位移动的位平面进行VLC处理的位平面VLC部；将由上述位平面VLC部进行VLC处理的动图像数据流作为扩展层分割为至少一个以上的扩展层分割部。

按照该构成，即使传输频带是低频带的接收终端，也可以传输可优先解码重要度高的区域的动图像编码，在低频带重要区域是高图像品质，并能够分阶段地使较高频带的***区域高图像品质化。

本申请发明的动图像编码程序是用于在计算机实行上述记载的动图像编码方法的程序。

按照该程序，即使传输频带是低频带的接收终端，能传输可优先解码重要度高的区域的动图像编码，在低频带重要区域是高图像品质，并能够分阶段地使较高频带的***区域高图像品质化。

本发明并不限定于上述实施例，在不超出本发明的范围内，各种变化和修改都是可能的。

本申请是基于2002年10月9日的日本专利申请NO.2002-295620，其全部内容已作为参考结合到本发明中。

Claims (9)

1.一种动图像编码方法，将动图像分割为一个基本层和至少一个扩展层并进行编码，其特征在于具有以下步骤：

提取动图像各区域的重要度的提取步骤；

从重要度大的区域开始按顺序在扩展层分配各区域的编码数据的分配步骤。

2.权利要求1记载的动图像编码方法，其特征在于：将重要度最大的区域作为重要区域，从该重要区域开始沿周边减小重要度的值。

3.权利要求1记载的动图像编码方法，其特征在于：重要度的提取，通过检测动图像中的容貌区域或运动物体来进行。

4.权利要求2记载的动图像编码方法，其特征在于：在重要区域内部，对于基本层解码动图像与原动图像的差分值大的部分，进一步加大重要度的值。

5.权利要求1记载的动图像编码方法，其特征在于：上述分配步骤，根据重要度设定移动值，根据对应各区域的编码数据的移动值进行位移动，在扩展层分配各区域的编码数据。

6.权利要求5记载的动图像编码方法，其特征在于：重要度越大，设定更大的移动值。

7.一种动图像传输方法，其特征在于：将使用权利要求1记载的动图像编码方法的动画面编码和动画面传送相互同步进行。

8.一种动图像编码装置，具有：

输入动画面原图像的图像输入部；

从上述动画面原图像提取一个基本层并进行编码的基本层编码部；

解码由上述基本层编码部编码的基本层并进行再构成的基本层解码部；

生成由上述基本层解码部再构成的再构成图像与上述动画面原图像的差分图像的差分图像生成部；

从上述动画面原图像提取重要区域的重要区域提取部；

根据由上述重要区域提取部提取的重要区域的重要度，分阶段设定移动值的阶段移动图生成部；

将由上述差分图像生成部生成的差分图像进行DCT变换的DCT部；

根据由上述阶段移动图生成部得到的位移动值，使由上述DCT部得到的DCT系数位移动的位移动部；

对每个由上述位移动部进行位移动的位平面，进行VLC处理的位平面VLC部；

将由上述位平面VLC部进行VLC处理的动图像数据流作为扩展层分割为至少一个以上的扩展层分割部。

9.一种用于在计算机实行权利要求1记载的动图像编码方法的动图像编码程序。

Images