CN103039075B - 图像编码装置、图像编码方法、以及图像解码装置、图像解码方法 - Google Patents

Abstract

几何变换运动补偿预测部（103）针对多个预测模式分别算出对象图像内的对象块与同该对象块处于几何变换关系的参照图像内的参照块之间的上述运动矢量及预测信号，在各预测模式中，选择位于构成对象块的顶点的像素、或位于该顶点附近的像素、或位于该顶点附近的插值像素作为相当于顶点的代表像素，算出这些代表像素的运动矢量，并通过使用了该代表像素的运动矢量的插值而算出该代表像素以外的像素的运动矢量，算出上述预测信号。

Description

图像编码装置、图像编码方法、以及图像解码装置、图像解码方法

技术领域

本发明涉及利用运动补偿预测对图像进行编码的图像编码装置、图像编码方法及图像编码程序，以及利用运动补偿预测对图像进行解码的图像解码装置、图像解码方法及图像解码程序。

背景技术

作为动图像的压缩编码方式的代表性方式，有MPEG系列的标准。在MPEG系列的标准中，使用了将帧分割成多个块，预测相对于其它帧的运动的运动补偿。在MPEG－4或AVC/H.264中，导入了从多个运动补偿块尺寸中切换使用最佳者的方案。

在块单位的运动补偿预测中，一般采用对对象块与参照块之间的平行移动进行补偿的方式。除此之外，还研究了补偿块的变形(例如、放大、缩小、旋转)的方式。例如在专利文献1中，作为使用了帧间预测的图像编码方式，针对各块分别自适应地切换通过平行移动来求取预测图像的模式和通过几何变换来求取预测图像的模式，以谋求预测效率的提高。在该方式中，对平行移动的运动矢量和网格点的运动矢量(即在几何变换中使用的运动矢量)进行编码。

〔在先技术文献〕

〔专利文献〕

〔专利文献1〕日本特开平8－65680号公报

发明内容

〔发明所要解决的课题〕

在这样的状况下，本发明人发现了通过以使用基于几何变换的运动补偿预测的图像编码方式对运动矢量信息进行压缩，来进一步压缩整体的编码量的方法。

本发明是鉴于这样的状况而研发的，其目的在于提供一种以使用基于几何变换的运动补偿预测的图像编码方式来使编码量的压缩效率提高的技术。

〔用于解决课题的手段〕

本发明一个方案的图像编码装置是一种对动图像进行编码的图像编码装置，包括：几何变换运动补偿预测部，针对多个预测模式分别算出对象图像内的对象块与同该对象块处于几何变换关系的参照图像内的参照块之间的运动矢量及预测信号，在各预测模式中，将位于构成对象块的顶点的像素、或位于该顶点附近的像素、或位于该顶点附近的插值像素选为相当于顶点的代表像素，算出这些代表像素的运动矢量，并通过使用了该代表像素的运动矢量的插值算出该代表像素以外的像素的运动矢量，算出预测信号；预测方法决定部，针对对象图像内的各对象块，分别选择几何变换运动补偿预测部的多个预测模式中的一者；预测误差信号生成部，算出按预测方法决定部所选择的预测模式算出的预测信号与对象块的图像信号的差分，生成预测误差信号；差分矢量生成部，利用对象块内外的运动矢量算出按预测方法决定部所选择的预测模式算出的代表像素的运动矢量的预测运动矢量，算出该预测运动矢量与按所选择的预测模式算出的代表像素的运动矢量的差分，生成代表像素的差分运动矢量；以及编码部，对用于确定预测方法决定部所选择的预测模式的预测方法信息、由差分矢量生成部生成的差分运动矢量、以及由预测误差信号生成部生成的预测误差信号进行编码。

本发明的另一方案也是一种图像编码装置。该装置是对动图像进行编码的图像编码装置，包括：几何变换运动补偿预测部，按照预测模式计算出对象图像内的对象块与同该对象块处于几何变换关系的参照图像内的参照块之间的运动矢量及预测信号，在该计算中，将位于构成对象块的顶点的像素、或位于该顶点附近的像素、或位于该顶点附近的插值像素选为相当于顶点的代表像素，算出这些代表像素的运动矢量，并通过使用了该代表像素的运动矢量的插值算出该代表像素以外的像素的运动矢量，算出预测信号；预测误差信号生成部，算出由几何变换运动补偿预测部算出的预测信号与对象块的图像信号的差分，生成预测误差信号；差分矢量生成部，利用对象块内外的运动矢量算出由几何变换运动补偿预测部算出的代表像素的运动矢量的预测运动矢量，并算出该预测运动矢量与所算出的代表像素的运动矢量的差分，生成代表像素的差分运动矢量；以及编码部，对由差分矢量生成部生成的差分运动矢量、和由预测误差信号生成部生成的预测误差信号进行编码。

本发明一个方案的图像解码装置包括：解码部，对被使用基于几何变换的运动补偿预测而编码了的编码流中所包含的、用于确定预测模式的预测方法信息、与预测模式相应的代表像素的差分运动矢量及预测误差信号进行解码；运动矢量生成部，按照由预测方法信息确定的预测模式，利用对象块内外的运动矢量算出代表像素的运动矢量的预测运动矢量，对该预测运动矢量加上代表像素的差分运动矢量来生成代表像素的运动矢量；几何变换运动补偿预测部，基于对象图像内的对象块与同该对象块处于几何变换关系的参照图像内的参照块之间的代表像素的运动矢量、通过使用了代表像素的运动矢量的插值而算出的上述代表像素以外的运动矢量以及参照块的图像信号，来生成预测信号；以及图像信号生成部，基于预测信号和由解码部解码出的预测误差信号生成图像信号。对于代表像素，选择位于构成对象块的顶点的像素、位于顶点附近的像素、或位于顶点附近的插值像素。

本发明的另一方案也是一种图像解码装置。该装置包括：解码部，对被使用基于几何变换的运动补偿预测而编码了的编码流中所包含的、代表像素的差分运动矢量及预测误差信号进行解码；运动矢量生成部，利用对象块内外的运动矢量算出代表像素的运动矢量的预测运动矢量，对该预测运动矢量加上代表像素的差分运动矢量来算出代表像素的运动矢量；几何变换运动补偿预测部，基于对象图像内的对象块与同该对象块处于几何变换关系的参照图像内的参照块之间的代表像素的运动矢量、通过使用了代表像素的运动矢量的插值而算出的上述代表像素以外的运动矢量以及参照块的图像信号，来生成预测信号；以及图像信号生成部，基于预测信号和由解码部解码出的预测误差信号生成图像信号。对于代表像素，选择位于构成对象块的顶点的像素、位于顶点附近的像素、或位于顶点附近的插值像素。

此外，将以上构成要素的任意组合、本发明的表现形式在方法、装置、***、记录介质、计算机程序等间变换后的方案，作为本发明的方案也是有效的。

〔发明效果〕

通过使用基于几何变换的运动补偿预测的图像编码方式，能提高编码量的压缩效率。

附图说明

图1是表示本发明实施方式1的图像编码装置的构成的功能块图。

图2的(a)～(h)是用于说明宏块分区(Partition)及亚宏块分区的图。

图3是用于说明与对象块的4个顶点对应的代表像素的图(其1)。

图4是表示语法(syntax)构造的一例的图。

图5的(a)～(d)是用于说明对象块和相邻块都选择了基于平行移动的运动补偿预测时的运动矢量的预测方法的图。

图6是用于说明编码对象块为基于平行移动的运动补偿预测、相邻块为基于几何变换的运动补偿预测时的预测矢量的预测方法的图。

图7的(a)、(b)是用于说明对象块为基于几何变换的运动补偿预测时的预测矢量的预测方法的图(其1)。

图8是表示本发明实施方式1的图像编码装置中的宏块的编码处理步骤的流程图。

图9是表示本发明实施方式2的图像解码装置的构成的功能块图。

图10是表示本发明实施方式2的图像解码装置中的宏块的解码处理步骤的流程图。

图11是用于说明与对象块的4个顶点对应的代表像素的图(其2)。

图12是用于说明对象块为基于几何变换的运动补偿预测时的预测矢量的预测方法的图(其2)。

图13是用于说明与对象块的4个顶点对应的代表像素的图(其3)。

图14是用于说明与对象块的4个顶点对应的代表像素的图(其4)。

图15是用于说明运动矢量值的缩放(scaling)处理的一例的图。

具体实施方式

以下同附图一起说明本发明的实施方式。在以下的实施方式中，说明以AVC/H.264编码方式为基础进行编码/解码的例子。

图1是表示本发明实施方式1的图像编码装置100的构成的功能块图。图像编码装置100包括图像缓存器101、平行移动运动补偿预测部102、几何变换运动补偿预测部103、预测方法决定部104、预测误差信号生成部105、预测误差信号编码部106、第1编码比特串生成部107、第2编码比特串生成部108、第3编码比特串生成部109、预测误差信号解码部110、解码图像信号生成部111、解码图像缓存器112及输出开关113。

这些构成在硬件上可通过任意的处理器、存储器及其它LSI实现，软件上通过被载入存储器的程序等实现，但在此描绘了通过它们的协作而实现的功能块。因此，本领域技术人员当理解这些功能块能够仅由硬件、仅由软件、或由它们的组合以各种各样的形式实现。

图像缓存器101暂时保存被按拍摄/显示时间顺序供给的编码对象的图像信号。图像缓存器101将所保存的编码对象的图像信号按预定的像素块单位(在此为宏块单位)并行地提供给平行移动运动补偿预测部102、几何变换运动补偿预测部103及预测误差信号生成部105。此时，被按拍摄/显示时间顺序供给的图像按编码顺序重排后从图像缓存器101输出。

在MPEG系列中，所谓宏块是指16×16像素的亮度信号和与之对应的2个色差信号的块。色差格式的YUV为4：2：0时，色差信号为8×8像素尺寸。

在本实施方式中，采用不使用参照图像地在画面内进行编码的帧内编码方式、使用参照图像的基于平行移动的运动补偿预测方式、以及使用参照图像的基于几何变换的运动补偿预测方式。在此，参照图像是被局部解码了的解码图像。此外，在本实施方式中，由于不关注帧内编码方式，故在图1中省略描绘其构成。将这些编码方式的模式按宏块单位单独或组合地自适应地切换。此外，也可以是以利用了参照图像的基于几何变换的运动补偿预测方式对所有宏块进行编码的方式。

平行移动运动补偿预测部102在从图像缓存器101供给的编码对象的宏块信号与从解码图像缓存器112供给的参照图像信号间进行基于平行移动的运动补偿预测。平行移动运动补偿预测部102生成各个模式的对象图像内的对象块与同该对象块处于平行移动的关系的参照图像内的参照块之间的运动矢量及预测信号，并提供给预测方法决定部104。在本实施方式中，平行移动运动补偿预测部102进行与AVC/H.264方式等所规定的已有的运动补偿预测同样的、基于平行移动的运动补偿预测。

运动补偿预测以按照后述的从解码图像缓存器112供给的显示顺序前方或后方的解码图像作为参照图像。平行移动运动补偿预测部102在参照图像内的预定检测范围内，在从图像缓存器101供给的宏块信号与从解码图像缓存器112供给的参照图像信号之间进行块匹配。平行移动运动补偿预测部102通过块匹配确定与该宏块信号误差最小的、参照图像信号内的参照块信号，检测该宏块信号与该参照块信号间的运动矢量。

以所规定的多个模式进行该块匹配。多个模式各自在参照索引、运动补偿块尺寸、L0/L1/双预测等方面不同。所谓参照索引，是表示参照图像的索引。L0/L1/双预测仅在B片(slice)中可选。在此，L0预测和L1预测为从单向进行预测的单向预测，L0预测为使用L0的运动矢量等信息的预测，L1预测为使用L1的运动矢量等信息的预测。此外，双预测是使用L0的运动矢量等信息及L1的运动矢量等信息，从2个参照图像进行预测的双向预测。块尺寸的具体例子在后面叙述。

此外，在进行运动补偿预测时，能以不足1像素的像素精度进行运动补偿。例如在AVC/H.264方式等中，亮度信号能进行到1像素之1/4的精度的运动补偿，色差信号能进行到1像素之1/8的精度的运动补偿。在以不足1像素的像素精度进行运动补偿时，基于参照图像内的周围的整数像素的信号，通过插值来生成不足1像素的像素精度的信号。

平行移动运动补偿预测部102以各种模式进行运动补偿预测，将各模式下的预测信号(更具体来说是运动补偿预测块信号)及运动矢量提供给预测方法决定部104。

接下来说明AVC/H.264方式中的运动补偿块尺寸。

图2的(a)～(h)是用于说明宏块分区和亚宏块分区的图。在此为简化说明，仅描绘了亮度信号的像素块。在MPEG系列中，宏块被规定为正方形区域。一般在包含AVC/H.264方式的MPEG系列中，将以16×16像素(水平16像素、垂直16像素)规定的块称为宏块。此外，在AVC/H.264方式中，将以8×8像素规定的块称为亚宏块。所谓宏块分区是，是指为进行运动补偿预测而将宏块进一步分割后的各个小块。所谓亚宏块分区，是指为进行运动补偿预测而将亚宏块进一步分割后的各个小块。

图2的(a)是表示由1个宏块分区构成宏块的图，该1个宏块分区由16×16像素的亮度信号和与之对应的2个色差信号构成。在此，将该构成称为16×16模式的宏块类型。

图2的(b)是表示由2个宏块分区构成宏块的图，该2个宏块分区分别由16×8像素(水平16像素、垂直8像素)的亮度信号和与之对应的2个色差信号构成。该2个宏块分区纵向排列。在此，将该构成称为16×8模式的宏块类型。

图2的(c)是表示由2个宏块分区构成宏块的图，该2个宏块分区分别由8×16像素(水平8像素、垂直16像素)的亮度信号和与之对应的2个色差信号构成。该2个宏块分区横向排列。在此，将该构成称为8×16模式的宏块类型。

图2的(d)是表示由4个宏块分区构成宏块的图，该4个宏块分区分别由8×8像素的亮度信号和与之对应的2个色差信号构成。该4个宏块分区纵横各2个地排列。将该构成称作8×8模式的宏块类型。

图2的(e)是表示由1个亚宏块分区构成亚宏块的图，该1个亚宏块分区由8×8像素的亮度信号和与之对应的2个色差信号构成。在此，将该构成称作8×8模式的亚宏块类型。

图2的(f)表示由2个亚宏块分区构成亚宏块的图，该2个亚宏块分区分别由8×4像素(水平8像素、垂直4像素)的亮度信号和与之对应的2个色差信号构成。该2个亚宏块分区纵向排列。将该构成称为8×4模式的亚宏块类型。

图2的(g)是表示由2个宏块分区构成亚宏块的图，该两个宏块分区分别由4×8像素(水平4像素、垂直8像素)的亮度信号和与之对应的2个色差信号构成。该2个宏块分区横向排列。在此，将该构成称作4×8模式的亚宏块类型。

图2的(h)是表示由4个亚宏块分区构成亚宏块的图，该4个亚宏块分区分别由4×4像素的亮度信号和与之对应的2个色差信号构成。该4个亚宏块分区纵横各2个地排列。在此，将该构成称作4×4模式的亚宏块类型。

在AVC/H.264编码方式中，采用了从以上运动补偿块尺寸中切换使用最佳者的方案。首先，作为宏块单位的运动补偿块尺寸，从16×16、16×8、8×16及8×8模式的宏块类型中选择某一者。当8×8模式的宏块类型被选择时，作为亚宏块单位的运动补偿块尺寸，从8×8、8×4、4×8、4×4模式的亚宏块类型中选择某一者。

亮度信号被按所选择的尺寸的像素数进行运动补偿。在色差格式为4：2：0时，色差信号被按水平、垂直都为一半的像素数进行运动补偿。这样，运动补偿块尺寸的信息按照被称为宏块类型及亚宏块类型的语法要素进行编码。所谓语法，是编码比特串的表达规则，所谓语法要素，是规定了按语法传输的信息。

在16×16、16×8、8×16及8×8模式的任一宏块类型中，都针对各宏块分区分别检测1个运动矢量。即、在16×16模式的宏块类型中，检测1个运动矢量，在16×8及8×16模式的宏块类型中，检测2个运动矢量，在8×8模式的宏块类型中，检测4个运动矢量。

各宏块分区的亮度信号及色差信号的各像素被根据该宏块分区的1个运动矢量而进行运动补偿。即，该各像素被使用相同的运动矢量进行运动补偿。

回到图1，几何变换运动补偿预测部103在从图像缓存器101供给的编码对象的宏块信号和从解码图像缓存器112供给的参照图像信号之间，进行基于除平行移动外，还伴有包括放大、缩小/旋转等变形的几何变换的运动补偿预测。几何变换运动补偿预测部103生成基于各模式的对象图像内的对象块与同该对象块处于几何变换关系的参照图像内的参照块之间的运动矢量及预测信号，提供给预测方法决定部104。更具体来说，几何变换运动补偿预测部103将位于构成对象块的顶点的像素、位于顶点附近的像素或位于顶点附近的插值像素选为代表像素，算出这些代表像素的运动矢量。在此，由于该对象块是四边形(例如、正方形、长方形)的区域，故该区域的顶点有4个。因此，存在4个代表像素。然后，几何变换运动补偿预测部103利用该代表像素的运动矢量，通过插值算出该代表像素以外的像素的运动矢量。根据这些像素各自的运动矢量，针对每个像素分别预测出预测信号。

几何变换运动补偿预测部103能够执行对对象块的4个代表像素的运动矢量进行编码和解码的第1模式、对对象块的纵方向上的2个代表像素的运动矢量进行编码和解码的第2模式、对对象块的横方向上的2个代表像素的运动矢量进行编码和解码的第3模式、以及对对象块的3个代表像素的运动矢量进行编码和解码的第4模式。此外，几何变换运动补偿预测部103未必需要执行多个模式，可以根据处理能力及各模式的发生频率，固定地使用一种模式，也可以仅具有一种模式。此外，也可以执行4种模式内的至少2种模式(也可以具备至少2种模式)。在这些情况下，能降低运算量和用于识别各模式的信息的编码量。

在本实施方式的说明中，说明了上述对象块为16×16像素的宏块的情况，但该对象块的尺寸并不限定于16×16像素，既可以是8×8像素的亚宏块，也可以是32×32像素、48×48像素、64×64像素、128×128像素等的块。此外，在本实施方式的说明中，说明了上述对象块为正方形的宏块的情况，但该对象块的形状并不限定于正方形，也可以是16×8像素、8×16像素的宏块分区、8×4像素、4×8像素的亚宏块分区、32×16像素、16×32像素等的块。

预测方法决定部104能够采用上述的第1模式、第2模式、第3模式及第4模式的任一者作为几何变换运动补偿预测部103的预测方法。预测方法决定部104的详细处理在后面叙述。

以下，更具体地说明几何变换运动补偿预测部103。同AVC/H.264方式等所规定的已有的基于平行移动的运动补偿预测不同，几何变换运动补偿预测部103进行基于除平行移动外还伴有包括放大、缩小/旋转等变形的几何变换的运动补偿预测。

在本实施方式的基于几何变换的运动补偿预测中，并非以各自相同的运动矢量对宏块、宏块分区、亚宏块的亮度信号、色差信号的各像素进行运动补偿，而是生成各像素互不相同的运动矢量，进行运动补偿。几何变换运动补偿预测部103将位于各宏块的顶点、顶点附近的像素或位于该顶点附近的插值像素选为代表像素，求取其运动矢量。

图3是用于说明与对象块的4个顶点对应的代表像素的图(其1)。在此，将对象块的左上顶点或顶点附近记为顶点a，将右上顶点或顶点附近记为顶点b，将左下顶点或顶点附近记为顶点c，将右下顶点或顶点附近记为顶点d。在图3所示的例子中，将分别位于左上、右上、左下及右下的顶点处的像素a、b、c、d分别设定为代表像素a、b、c、d。在图3中，以黑圆点表示代表像素，以白圆点表示非代表像素，将代表像素设定为存在于对象块(在图3中是16×16像素的宏块)的顶点处的像素a(0，0)、像素b(W，0)、像素c(0，H)及像素d(W，H)。在此，W是水平方向的代表像素间(像素a与像素b之间、像素c与像素d之间)的距离(单位：像素)，H是垂直方向的代表像素间(像素a与像素c之间、像素b与像素d之间)的距离(单位：像素)，在图3所示的代表像素的设定中，W＝15(像素)、H＝15(像素)。以下，在本说明书中用(i，j)表示各像素的坐标，按1像素单位用i表示水平方向的坐标，按1像素单位用j表示垂直方向的坐标。此外，将对象块的左上像素的坐标记为原点(0，0)。

在对4个代表像素(第1代表像素a、第2代表像素b、第3代表像素c及第4代表像素d)的运动矢量进行编码和解码的第1模式下，检测该4个代表像素各自的运动矢量。此外，在对纵方向的2个代表像素(第1代表像素a及第3代表像素c)的运动矢量进行编码和解码的第2模式下，检测该2个代表像素各自的运动矢量。此外，在对横方向的2个代表像素(第1代表像素a及第2代表像素b)的运动矢量进行编码和解码的第3模式下，检测该2个代表像素各自的运动矢量。此外，在对3个代表像素(第1代表像素a、第2代表像素b及第3代表像素c)的运动矢量进行编码和解码的第4模式下，检测该3个代表像素各自的运动矢量。

作为各宏块的代表像素的运动矢量，几何变换运动补偿预测部103可以采用以光流(OpticalFlow)法等按像素单位算出的运动矢量，也可以采用基于图像的边或角等被判断为可靠性高的特征点的运动矢量，通过内插或外插运算进行了修正的运动矢量。此外，还可以修正由平行移动运动补偿预测部102生成的宏块分区的运动矢量来使用。在修正宏块或宏块分区的运动矢量来使用的情况下，将其运动矢量的值赋给该代表像素，一边沿増加方向及减少方向调整该运动矢量的值一边进行检验，由此修正运动矢量的值。

接下来，几何变换运动补偿预测部103基于代表像素的运动矢量，通过采用线性插值等插值来算出宏块内的所有像素的运动矢量。

在对纵方向的2个代表像素(第1代表像素a及第3代表像素c)的运动矢量进行编码和解码的第2模式下，几何变换运动补偿预测部103基于垂直方向的该2个代表像素a、c的运动矢量，通过插值算出连接这2点的直线上的像素的运动矢量。然后针对其它像素的运动矢量，沿水平方向原样赋予被线性插值的各像素的运动矢量。

在对横方向的2个代表像素(第1代表像素a及第2代表像素b)的运动矢量进行编码和解码的第3模式下，几何变换运动补偿预测部103基于水平方向的该2个代表像素a、b的运动矢量，通过插值算出连接这2点的直线上的像素的运动矢量。然后针对其它像素的运动矢量，沿垂直方向原样赋予被线性插值的各像素的运动矢量。

在对与4个顶点a、b、c、d对应的4个代表像素a、b、c、d的运动矢量进行编码和解码的第1模式、或对与3个顶点a、b、c对应的3个代表像素a、b、c的运动矢量进行编码和解码的第4模式下，几何变换运动补偿预测部103通过在水平方向及垂直方向的两方向上进行插值，来算出非代表像素的运动矢量。既可以通过后述的方法在水平方向及垂直方向的两方向上进行一次插值，也可以基于水平方向的该2个代表像素的运动矢量对连接这2点的直线上的像素的运动矢量进行插值，由此算出非代表像素的运动矢量，并使用已算出的各像素的运动矢量进一步在垂直方向上进行插值，由此算出其它像素的运动矢量。

此外，在对与3个顶点a、b、c对应的3个代表像素a、b、c的运动矢量进行编码和解码的第4模式中，能够基于第1代表像素a、第2代表像素b及第3代表像素c的运动矢量算出第4代表像素d的运动矢量。然后，能与对4个顶点a、b、c、d所对应的4个代表像素的运动矢量进行编码和解码的第1模式同样地算出非代表像素的运动矢量。

此外，在对与纵方向的2个顶点a、c对应的2个代表像素a、c的运动矢量进行编码和解码的第2模式中，将第1代表像素a的运动矢量的值设定为第2代表像素b的运动矢量的值，将第3代表像素c的运动矢量的值设定为第4代表像素d的运动矢量的值。然后，能与对4个顶点a、b、c、d所对应的4个代表像素a、b、c、d的运动矢量进行编码和解码的第1模式同样地算出非代表像素的运动矢量。

同样地，在对与横方向的2个顶点a、b对应的2个代表像素a、b的运动矢量进行编码和解码的第3模式中，将第1代表像素a的运动矢量的值设定为第3代表像素c的运动矢量的值，将第2代表像素b的运动矢量的值设定为第4代表像素d的运动矢量的值。然后，能与对4个顶点a、b、c、d所对应的4个代表像素a、b、c、d的运动矢量进行编码和解码的第1模式同样地算出非代表像素的运动矢量。

几何变换运动补偿预测部103使用所算出的各像素的运动矢量，针对各像素分别进行运动补偿。在以上的说明中，说明了算出宏块所含的各像素的运动矢量的例子，同样地，也能算出亚宏块所含的各像素的运动矢量。

在所规定的多个模式下进行该像素单位的运动矢量的算出处理及各像素的运动补偿处理。多个模式各自的参照索引、运动补偿块尺寸、L0/L1/双预测等不同。当然，L0/L1/双预测仅在B片中可选。

几何变换运动补偿预测部103按各个模式进行运动补偿预测，将各模式下的预测模式信息、运动矢量、及预测信号(更具体来说是运动补偿预测块信号)提供给预测方法决定部104。

以下举出具体例子说明几何变换运动补偿预测中的代表像素以外的各像素的运动矢量的算出方法。

使用4个代表像素a、b、c、d的运动矢量的值，针对各分量分别沿水平方向和垂直方向两者进行线性插值等插值，由此算出非代表像素的运动矢量。在上述图3的例子中，将代表像素设定为位于宏块顶点的像素a(0，0)、像素b(W，0)、像素c(0，H)及像素d(W，H)。在此，用(i，j)表示各像素的坐标，按1像素单位用i表示水平方向的坐标，按1像素单位用j表示垂直方向的坐标。将宏块内最左上方的像素定为原点(0，0)，将右方向及下方向定为正的増加方向。

首先，这些像素a、像素b、像素c及像素d的运动矢量被设定，然后通过线性插值算出这以外的像素的运动矢量。

在对与4个顶点a、b、c、d对应的4个代表像素a、b、c、d的运动矢量进行编码和解码的第1模式中，这些像素a、像素b、像素c及像素d的运动矢量被设定。在对与2个顶点a、c对应的2个代表像素a、c的运动矢量进行编码和解码的第2模式中，这些像素a及像素c的运动矢量被设定，像素a的运动矢量也是像素b的运动矢量，像素c的运动矢量也是像素d的运动矢量。在与2个顶点a、b对应的2个代表像素a、b的运动矢量进行编码和解码的第3模式中，这些像素a及像素b的运动矢量被设定，像素a的运动矢量也是像素c的运动矢量，像素b的运动矢量也是像素d的运动矢量。

在对与3个顶点a、b、c对应的3个代表像素a、b、c的运动矢量进行编码和解码的第4模式中，这些像素a、像素b及像素c的运动矢量被设定，基于这3点的运动矢量算出与顶点d对应的第4代表像素d的运动矢量。基于像素a的运动矢量Va＝V(0，0)、像素b的运动矢量Vb＝V(W，0)、像素c的运动矢量Vc＝V(0，H)、像素d的运动矢量Vd＝V(W，H)的关系，与顶点d对应的代表像素d的运动矢量Vd由下式(1)算出。

Vd＝Vc+(Vb－Va)···式(1)

或者，由下式(2)算出。

Vd＝Vb+(Vc－Va)···式(2)

接下来，基于4个代表像素a、b、c、d的4个运动矢量Va、Vb、Vc、Vd，通过线性插值生成这以外的像素P(i，j)的运动矢量V(i，j)。将水平方向的代表像素间(像素a与像素b间、以及像素c与像素d间)的距离(像素数)记为W、将垂直方向的代表像素间(像素a与像素c间、以及像素b与像素d间)的距离(像素数)记为H时，这些代表像素a、b、c、d以外的像素P(i，j)的运动矢量V(i，j)通过下式(3)而算出。

V(i，j)＝{(W－i)(H－j)Va+i(H－j)Vb+(W－i)j·Vc+i·j·Vd}/(W·H)···式(3)

在上述图3所示的代表像素的设定中，W＝15(像素)、H＝15(像素)。

通过以上处理，能算出第1模式、第2模式、第3模式及第4模式中的各像素的运动矢量。以上说明了在水平方向及垂直方向两者上进行一次(即二维)插值的方法，也可以通过基于水平方向的2个代表像素的运动矢量对连接这2点的直线上的像素的运动矢量进行插值来算出非代表像素的运动矢量，并利用已算出的各像素的运动矢量，通过在垂直方向上进一步插值而算出其它像素的运动矢量。

下面说明该情况下的算出方法。使像素a的运动矢量Va＝V(0，0)，使像素b的运动矢量Vb＝V(W，0)，使像素c的运动矢量Vc＝V(0，H)，使像素d的运动矢量Vd＝V(W，H)时，通过像素a和像素b的线上的各像素P(i，0)的运动矢量V(i，0)由下式(4)算出。

V(i，0)＝Va+(Vb－Va)*(i－0)/W···式(4)

同样地，通过像素c和像素d的线上的各像素P(i，H)的运动矢量V(i，H)由下式(5)算出。

V(i，H)＝Vc+(Vd－Vc)*(i－0)/W···式(5)

进而，其余的像素P(i，j)的运动矢量V(i，j)由下式(6)算出。

V(i，j)＝V(i，0)+{V(i，H)－V(i，0)}*(j－0)/H···式(6)

通过以上处理，能算出第1模式、第2模式、第3模式及第4模式中的各像素的运动矢量。此外，在第2模式及第3模式下，也可以通过下述的方法来算出。

在第2模式中，像素a及像素c的运动矢量被设定，通过线性插值算出通过像素a和像素c的垂直线上的各像素的运动矢量，并对水平方向上的各个像素代入相同的运动矢量值。

使像素a的运动矢量Va＝V(0，0)，使像素c的运动矢量Vc＝V(0，H)时，通过像素a和像素c的线上的各像素的运动矢量V(0，j)由下式(7)算出。

V(0，j)＝Va+(Vc－Va)*(j－0)/H···式(7)

然后，如下式(8)所示那样将由上述式(7)算出的运动矢量V(0，j)的值沿水平方向扩展，将运动矢量V(0，j)的值代入其余像素的运动矢量V(i，j)。

V(i，j)＝V(0，j)···式(8)

其余像素的运动矢量V(i，j)可以由下式(9)算出。

V(i，j)＝Va+(Vc－Va)*(j－0)/H···式(9)

在第3模式下，像素a及像素b的运动矢量被设定，通过线性插值算出通过像素a和像素b的水平线上的各像素的运动矢量，对垂直方向上的各个像素代入相同的运动矢量值。

使像素a的运动矢量Va＝V(0，0)，像素b的运动矢量Vb＝V(W，0)时，通过像素a和像素b的线上的各像素的运动矢量V(i，0)由下式(10)算出。

V(i，0)＝Va+(Vb－Va)*(i－0)/W···式(10)

接下来，如下式(11)所示的那样，将由上述式(10)算出的运动矢量V(i，0)的值沿垂直方向扩展，将运动矢量V(i，0)的值代入其余像素的运动矢量V(i，j)。

V(i，j)＝V(i，0)···式(11)

其余像素的运动矢量V(i，j)可以由下式(12)算出。

V(i，j)＝Va+(Vb－Va)*(i－0)/W···式(12)

几何变换运动补偿预测部103根据所算出的各像素的运动矢量对各像素进行运动补偿预测。更具体来说，基于各像素的运动矢量所指示的参照图像的像素生成插值信号，由此进行运动补偿预测。此外，需要规定各像素的运动矢量的精度、运算过程中所需要的数值的舍入方法等，以使得在任何解码装置中解码后都是相同值。此外，在运动矢量所指定的预测像素的坐标由小数点以下表示的情况下，在运动补偿时基于周围的像素对该像素进行插值。其插值方法可以采用4～6抽头的滤波或线性插值等。

在第1模式中，能用4个运动矢量表示放大及缩小、旋转、平行移动等在第2模式、第3模式及第4模式中所无法表现的复杂的变形。在第4模式中，能用3个运动矢量表示基于仿射(affine)变换的变形。变形的表现力与第1模式相比有所限定，但能够减少应编码的运动矢量(更具体来说是差分矢量)的数量。

在第2模式中，能用2个运动矢量除表现平行移动外，还表现垂直方向上不同的变形。变形的表现力与第1模式及第4模式相比有所限定，但能够减少应编码的运动矢量的数量。在第3模式中，能用2个运动矢量除表现平行移动外，还表现水平方向上不同的变形。变形的表现力与第1模式及第4模式相比有所限定，但能减少应编码的运动矢量的数量。

回到图1，预测方法决定部104针对对象图像内的各对象块，分别决定采用平行移动运动补偿预测部102的预测方法、还是采用几何变换运动补偿预测部103的预测方法。更具体来说，决定采用哪种预测方法的哪种模式。以下，将模式的选择包含在内地称作预测方法的选择。

即，预测方法决定部104通过选择用哪个参照图像、按什么像素块单位对基于平行移动的运动补偿预测和基于几何变换的运动补偿预测的哪一者进行编码，来决定预测方法。在选择基于几何变换的运动补偿预测时，选择第1模式、第2模式、第3模式及第4模式的某一者。此时，通过判断这些项目的哪种组合是最能实现高效率编码的预测方法，来决定预测方法。作为决定预测方法的基准，例如可以采用考虑了编码量和畸变的关系的率失真理论。更具体来说，算出宏块的编码量(即预测方法信息、运动矢量及预测信号的合计编码量)，并基于编码对象图像与解码图像的差算出畸变量，选择使以该编码量及该畸变量为输入变量的率失真函数最小化的预测方法。

预测方法决定部104将所采用的预测方法信息提供给第1编码比特串生成部107及差分矢量计算部114，将与所采用的预测方法相应的运动矢量提供给差分矢量计算部114。并且，预测方法决定部104将由所采用的预测方法生成的预测信号提供给预测误差信号生成部105。

第1编码比特串生成部107通过算术编码等熵编码对从预测方法决定部104供给的预测方法信息进行编码，生成编码比特串。将应包含于预测方法信息中的预测块尺寸、L0/L1/双预测的区别等组合作为宏块类型进行编码。此外，关于应包含于预测方法信息中的、用于识别采用基于平行移动的运动补偿预测和基于几何变换的运动补偿预测的哪一者、以及在几何变换的情况下采用第1模式、第2模式、第3模式及第4模式的哪一者的信息，可以采用以下的记述方法。例如，可以另行准备语法要素来记述，也可以通过与其它作为宏块类型来编码的信息进行组合，来扩展宏块类型地进行记述。

例如，针对切换是否进行基于几何变换的运动补偿预测的每个块单位，分别准备“geom_type”语法要素，将“geom_type”的值为“0”时表示基于平行移动的运动补偿预测、将“geom_type”的值为“1”时表示基于几何变换的运动补偿预测的第1模式、将“geom_type”的值为“2”时表示基于几何变换的运动补偿预测的第2模式、将“geom_type”的值为“3”时表示基于几何变换的运动补偿预测的第3模式、将“geom_type”的值为“4”时表示基于几何变换的运动补偿预测的第4模式，如此进行编码。

图4是表示语法构造的一例的图。在图4中，表示了针对各宏块分别准备一个“geom_type”，对L0预测、L1预测、双预测都以共通的模式进行运动补偿预测的例子，但在从L0、L1两者进行预测的双预测模式时，也可以通过准备2个，来进行L0预测、L1预测各自不同的运动补偿预测。

在对对象块的运动矢量进行编码时，利用与已编码或解码的周围的相邻块或该相邻块的像素的运动矢量的相关，基于该相邻块或该相邻块的像素的运动矢量而预测运动矢量，由此算出预测矢量。然后，通过算出该预测矢量与对象块或对象像素的运动矢量的差分、即差分矢量，来削减对象块或对象像素的运动矢量的编码量。在此，在采用了基于几何变换的运动补偿预测的对象块中，其代表像素的运动矢量成为编码对象。

因此，差分矢量计算部114根据从预测方法决定部104供给的预测方法信息，基于已被编码的周围的相邻块或该相邻块的像素的运动矢量，预测对象块或对象像素的运动矢量，由此算出预测矢量。然后，算出该预测矢量与从预测方法决定部104供给的运动矢量的差分，生成差分矢量，提供给第2编码比特串生成部108。

在第1模式下，差分矢量计算部114为对与4个顶点a、b、c、d对应的4个代表像素a、b、c、d的运动矢量进行编码和解码，算出其各自的预测矢量及差分矢量。在第2模式下，为对与2个顶点a、c对应的2个代表像素a、c的运动矢量进行编码和解码，分别算出预测矢量及差分矢量。在第3模式下，为对与2个顶点a、b对应的2个代表像素a、b的运动矢量进行编码和解码，算出其各自的预测矢量及差分矢量。在第4模式下，为对与3个顶点a、b、c对应的3个代表像素a、b、c的运动矢量进行编码和解码，算出其各自的预测矢量及差分矢量。

此外，差分矢量计算部114保存从预测方法决定部104供给的对象块的预测信息及运动矢量，用于后续的对象块的预测矢量的算出。

在此，说明了对编码对象块及相邻块都选择了基于平行移动的运动补偿预测时的编码对象块的运动矢量的预测方法。图5是用于说明对编码对象块及相邻块都选择了基于平行移动的运动补偿预测时的编码对象块的运动矢量的预测方法的图。图5的(a)表示在未设定有分区的宏块间预测运动矢量的例子。图5的(b)表示在设定有分区的宏块间预测运动矢量的例子。图5的(c)表示在8×16像素的宏块中预测运动矢量的例子。图5的(d)表示在16×8像素的宏块中预测运动矢量的例子。以下，参照图5的(a)～(d)，说明运动矢量的预测方法。该运动矢量的预测方法使用周围的相邻块的运动矢量的中央值来预测对象块的运动矢量。

在图5的(a)～(d)中，涂灰的块的运动矢量是编码对象。在图5的(a)中，对于对象块的运动矢量，将该对象块左邻的块A、上邻的块B、以及右斜上邻的块C的3个运动矢量用作候选来进行预测。更具体来说，从这3个运动矢量针对水平分量及垂直分量分别取中央值作为预测矢量。此外，在B图像中，分别单独地处理L0预测或双预测所使用的L0的运动矢量、以及L1预测或双预测所使用的L1的运动矢量。通过用该对象块的左邻的块A、上邻的块B及右斜上邻的块C的3个L0的运动矢量进行预测，算出对象块的L0的预测矢量。同样地，通过用该对象块的左邻的块A、上邻的块B及右斜上邻的块C的3个L1的运动矢量进行预测，算出对象块的L1的预测矢量。在此，当上邻的块B及右斜上邻的块C都不能使用，仅能使用块A时，采用块A的运动矢量作为预测矢量。另外，当左邻的块A、上邻的块B、右斜上邻的块C的参照索引中仅有一个与编码对象块的参照索引的值相等(参照图像相等)时，将该块的运动矢量用于预测。

如图5的(b)所示，在相邻的宏块被设定了分区的情况下，宏块的各小块各自的运动矢量不同。在该情况下，在对象块的左邻的块中，采用与对象块相接的小块中最上方的小块A的运动矢量作为候选。在上邻的块中，采用与对象块相接的小块中最左方的块B作为候选。在右斜上邻的块中，采用最左下方的小块C作为候选。按照该规则，以下同图5的(a)一样地算出预测矢量。

如图5的(c)所示，当要编码的块是8×16时，就不采用3个块的运动矢量的中央值，而是左边的块采用左邻的块A的运动矢量作为预测矢量，右边的块采用右斜上邻的块C的运动矢量作为预测矢量。此外，如图5的(d)所示，当要编码的块是16×8时，也不采用3个块的运动矢量的中央值，而是上边的块采用上邻的块B的运动矢量作为预测矢量，下边的块采用左邻的块A的运动矢量作为预测矢量。

当然，图5的(a)～(d)所示的运动矢量的预测方法只是一例，并非限定于此。只要在编码侧和解码侧相同地规定运动矢量的预测方法，也可以采用其它方法。例如，相邻块的位置及数量可以不同。此外，也可以不采用相邻块的多个运动矢量的中央值，而是采用其平均值。还可以设置规定的条件或优先顺位，原样使用单独的相邻块的运动矢量。此外，相邻块也并非要与对象块相接。此外，在图5的(a)～(d)中说明了预测宏块单位的运动矢量的例子，在预测亚宏块单位的运动矢量时也可以同样进行处理。

接下来，说明对于编码对象块选择基于平行移动的运动补偿预测，对于相邻块选择基于几何变换的运动补偿预测时的编码对象块的运动矢量的预测方法。图6是用于说明编码对象块为基于平行移动的运动补偿预测、相邻块为基于几何变换的运动补偿预测时的预测矢量的预测方法的图。此外，如图6所示，在相邻块为基于几何变换的运动补偿预测时，对于对象块的左邻的块，采用与对象块相接的小块中的最上方的小块的最右上方的像素A的运动矢量，作为计算预测矢量时的候选。对于上邻的块，采用与对象块相接的小块中的最左边的块的最左下方的像素B的运动矢量，作为计算预测矢量时的候选。对于右斜上邻的块，采用最左下的小块的最左下方的像素C的运动矢量作为计算预测矢量时的候选。

当然，图6所示的运动矢量的预测方法只是一例，并非限定于此。只要在编码侧和解码侧相同地规定运动矢量的预测方法，也可以采用其它方法。例如，可以将对象块的左邻的块的4个代表像素的平均值作为对象块的左邻的运动矢量的候选。此外，可以将对象块的上邻的块的4个代表像素的平均值作为对象块的上邻的运动矢量的候选。还可以将对象块的右上邻的块的4个代表像素的平均值作为对象块的右上邻的运动矢量的候选。此外，相邻块、相邻块的像素的位置及数量也可以不同。另外，也可以不使用相邻块的像素的多个运动矢量的中央值，而是使用平均值。还可以原样使用单独的相邻块的像素的运动矢量。另外，相邻块或相邻块的像素也可以不必与对象块相接。另外，在图6中说明了预测宏块单位的运动矢量的例子，但在预测亚宏块单位的运动矢量时，也可以同样地进行处理。

接下来，说明编码对象块及相邻块都选择了基于几何变换的运动补偿预测时的编码对象块的运动矢量的预测方法。图7是用于说明编码对象块为基于几何变换的运动补偿预测时的预测矢量的预测方法的图。在该情况下，也同样根据相邻块的运动矢量算出预测矢量。根据相邻块的像素的运动矢量预测编码对象块的第1代表像素a、第2代表像素b及第3代表像素c的预测矢量。在图7的(a)中，编码对象块的第1代表像素a的预测矢量通过参照左邻的块A的代表像素b的运动矢量、上邻的块B的代表像素c的运动矢量及左斜上邻的块D的代表像素d的运动矢量而算出。关于此处的算出方法，当候选存在多个时，设定预定的优先顺位并按优先顺位顺序来采用，或者算出这些运动矢量的中间值或平均值。编码对象块的第2代表像素b的预测矢量通过参照上邻的块B的代表像素d的运动矢量、右斜上邻的块C的代表像素c的运动矢量而算出。在以中间值为预测矢量时，编码对象块的第1代表像素a的运动矢量也加入候选，从这3个运动矢量算出中间值。编码对象块的第3代表像素c的预测矢量以左邻的块A的代表像素c的运动矢量为预测矢量。

接下来，说明对于编码对象块选择基于几何变换的运动补偿预测，对于相邻块选择了基于平行移动的运动补偿预测时的编码对象块的运动矢量的预测方法。如图7的(b)所示，当相邻块为基于平行移动的运动补偿预测时，相邻块的运动矢量在该相邻块内的所有像素中是共通的。因此，虽然用与编码对象块及相邻块共都选择了基于几何变换的运动补偿预测时的编码对象块的运动矢量预测方法同样的方法进行计算，但却是算出该块的运动矢量作为相邻块的代表像素的运动矢量的。

当然，图7所示的选择了基于几何变换的运动补偿预测时的运动矢量的预测方法只是一例，并非限定于此。只要在编码侧和解码侧相同地规定运动矢量的预测方法，也可以采用其它方法。例如，相邻块的代表像素的位置及数量可以不同。此外，可以不使用相邻块的代表像素的多个运动矢量的中央值，而是使用平均值。也可以原样使用单独的相邻块的代表像素的运动矢量。此外，相邻块的代表像素也可以不必与对象像素相接。

关于以第1模式进行编码和解码的第4代表像素d，采用第1代表像素a、第2代表像素b及第3代表像素c的运动矢量的中央值作为预测矢量。此外，只要在编码侧和解码侧相同地规定运动矢量的预测方法，则也可以采用其它方法。例如，可以不使用中央值，而是使用平均值，也可以原样使用单独的任意像素的运动矢量。

此外，关于以第1模式进行编码和解码的第4代表像素d的预测矢量PVd，基于第1代表像素a、第2代表像素b及第3代表像素c各自的运动矢量Va、Vb、Vc而通过下式(13)算出。

PVd＝Vc+(Vb－Va)···式(13)

或者，也可以通过下式(14)算出。

PVd＝Vb+(Vc－Va)···式(14)

作为以第1模式进行编码和解码的第4代表像素d的预测矢量的计算式的上述式(13)及上述式(14)，分别与作为以第4模式计算的第4代表像素d的计算式的上述式(1)及上述式(2)相同。第1模式能表现用第2模式、第3模式及第4模式所无法表现的变形，多是接近能以第4模式表现的仿射变换的变换。能用上述式(13)及上述式(14)算出的预测矢量，是基于与以第1模式进行编码和解码的第4代表像素d的运动矢量有较强相关这样的考虑的。

此外，只要在编码侧和解码侧相同地规定运动矢量的预测方法，则也可以采用其它方法。例如针对第4代表像素d，可以采用第1代表像素a、第2代表像素b及第3代表像素c的运动矢量的中央值作为预测矢量。或者，也可以采用平均值来代替中央值，还可以原样使用单独的任意像素的运动矢量。或者，也可以将由式(7)算出的预测矢量、第1代表像素a的运动矢量、第2代表像素b的运动矢量、第3代表像素c的运动矢量、第1代表像素a、第2代表像素b及第3代表像素c的运动矢量的中央值、第1代表像素a、第2代表像素b及第3代表像素c的运动矢量的平均值作为预测矢量的候选，至少自适应地切换两者。在该情况下，在语法中准备用于从多个候选中确定要用作预测矢量的运动矢量的标志(flag)，由第1编码比特串生成部107对该标志进行编码。

回到图1，第2编码比特串生成部108通过算术编码等熵编码对从差分矢量计算部114供给的差分矢量进行编码，生成编码比特串。

此外，在基于几何变换的运动补偿预测中，根据第1～4模式对2～4个差分矢量进行编码。在第1模式下，对与4个顶点a、b、c、d对应的4个代表像素a、b、c、d各自的差分矢量进行编码。在第2模式下，对与2个顶点a、c对应的代表像素a、c各自的差分矢量进行编码。在第3模式下，对与2个顶点a、b对应的代表像素a、b各自的差分矢量进行编码。在第4模式下，对与3个顶点a、b、c对应的3个代表像素a、b、c各自的差分矢量进行编码。

预测误差信号生成部105算出按预测方法决定部104所采用的预测方法生成的预测信号与对象块的图像信号的差分，生成预测误差信号。更具体来说，预测误差信号生成部105通过从图像缓存器101所供给的编码对象的图像信号减去预测方法决定部104所供给的预测信号，来生成预测误差信号，提供给预测误差信号编码部106。

预测误差信号编码部106对从预测误差信号生成部105供给的预测误差信号进行正交变换、量化等压缩编码处理，生成被编码了的预测误差信号，提供给第3编码比特串生成部109及预测误差信号解码部110。

第3编码比特串生成部109利用算术编码等熵编码依次对从预测误差信号编码部106供给的被编码了的预测误差信号进行编码，生成编码比特串。

第1编码比特串生成部107、第2编码比特串生成部108及第3编码比特串生成部109所生成的编码比特串同被编码有预测方法信息、运动矢量、预测误差信号以外的信息的其它编码比特串一起，介由输出开关113而被多路化，生成编码流。

预测误差信号解码部110对由预测误差信号编码部106编码了的预测误差信号进行逆量化、逆正交变换等展开解码处理，解码该预测误差信号。预测误差信号解码部110将解码后的预测误差信号提供给解码图像信号生成部111。解码图像信号生成部111使从预测误差信号编码部106供给的预测误差信号和从预测方法决定部104供给的预测信号重叠，生成解码图像信号。解码图像信号生成部111将该解码图像信号按块单位依次保存在解码图像缓存器112中。保存在该解码图像缓存器112中的解码图像根据需要而被用作对编码顺序中后续的图像进行运动补偿预测时的参照图像。

图8是表示本发明实施方式1的图像编码装置100中的宏块的编码处理步骤的流程图。首先，平行移动运动补偿预测部102和几何变换运动补偿预测部103从图像缓存器101取出编码对象的宏块信号(S101)。

平行移动运动补偿预测部102在从图像缓存器101供给的编码对象的宏块信号与从解码图像缓存器112供给的参照图像信号之间进行基于平行移动的运动补偿预测(S102)。针对各模式分别进行该基于平行移动的运动补偿预测。几何变换运动补偿预测部103在从图像缓存器101供给的编码对象的宏块信号与从解码图像缓存器112供给的参照图像信号之间进行基于几何变换的运动补偿预测(S103)。针对各模式分别进行该基于几何变换的运动补偿预测。

预测方法决定部104决定采用基于平行移动的运动补偿预测方法和基于几何变换的运动补偿预测的哪一者(S104)。此时，还决定采用哪种模式。

第1编码比特串生成部107对从预测方法决定部104供给的预测方法信息进行编码，生成编码比特串(S105)。差分矢量计算部114算出来自周边块或周边像素的预测矢量(S106)，并算出该预测矢量与从预测方法决定部104供给的运动矢量的差分矢量(S107)。

第2编码比特串生成部108对从差分矢量计算部114供给的差分矢量进行编码，生成编码比特串(S108)。预测误差信号生成部105使图像缓存器101所供给的对象图像信号减去预测方法决定部104所供给的预测信号，生成预测误差信号(S109)。预测误差信号编码部106对该预测误差信号进行编码(S110)。第3编码比特串生成部109用算术编码等对预测误差信号编码部106所编码了的预测误差信号进行熵编码，生成编码比特串(S111)。

预测误差信号解码部110对被预测误差信号编码部106编码了的预测误差信号进行解码(S112)。解码图像信号生成部111将预测误差信号解码部110所解码的预测误差信号和从预测方法决定部104供给的预测信号重叠，生成解码图像信号(S113)。解码图像信号生成部111将生成的解码图像信号保存在解码图像缓存器112中(S114)。

如以上说明的那样，通过实施方式1，能通过使用基于几何变换的运动补偿预测的图像编码方式，提高编码量的压缩效率。即，通过对使用基于几何变换的运动补偿预测的运动矢量进行预测编码，能削减编码量。此外，若并用基于平行移动的运动补偿预测和基于几何变换的运动补偿预测，则能够进一步提高编码量的压缩效率。此时，通过使基于平行移动的运动补偿预测的运动矢量和基于几何变换的运动补偿预测的运动矢量的编码方法共通化，即使这两种预测方法混合存在，也能原样转用已有的运动矢量的预测编码方法。

此外，在采用了基于几何变换的运动补偿预测方法的块中，也能同基于平行移动的运动补偿预测一样，基于周围的块或周围的像素的运动矢量预测出预测矢量，并算出差分矢量。由此，即使并用基于平行移动的运动补偿预测和基于几何变换的运动补偿预测，也能抑制运动矢量的编码量的増大。特别是在基于几何变换的运动补偿预测方法的第1模式下，基于第1代表像素a、第2代表像素b及第3代表像素c的运动矢量，通过上述式(13)或上述式(14)算出第4代表像素d的预测矢量，由此，能减小差分矢量的值，抑制运动矢量的编码量的増大。此外，在第4模式下，基于第1代表像素a、第2代表像素b及第3代表像素c的运动矢量，通过上述式(1)或上述式(2)算出第4代表像素d的运动矢量，由此，能进一步抑制运动矢量的编码量的増大。

图9是表示本发明实施方式2的图像解码装置200的构成的功能块图。该图像解码装置200对由实施方式1的图像编码装置100生成的编码流进行解码。在该编码流中，如上述那样，既有兼用基于平行移动的运动补偿预测和基于几何变换的运动补偿预测的情况，也有单独使用基于几何变换的运动补偿预测的情况(不考虑帧内编码)。

图像解码装置200包括输入开关209、第1编码比特串解码部201、第2编码比特串解码部202、第3编码比特串解码部203、运动矢量计算部215、平行移动运动补偿预测部204、几何变换运动补偿预测部205、预测误差信号解码部206、解码图像信号生成部207、解码图像缓存器208、切换控制部214、第1预测部开关210、第2预测部开关211、第3预测部开关212、以及第4预测部开关213。

这些结构在硬件上能用任意的处理器、存储器、其它LSI实现，软件上通过被载入存储器的程序等实现，但在此描绘了通过它们的协作来实现的功能块。因此，本领域技术人员当理解这些功能块能够仅由硬件、仅由软件、或者由它们的组合以各种各样的形式实现。

第1编码比特串解码部201、第2编码比特串解码部202、第3编码比特串解码部203对编码流中所包含的预测方法信息、差分矢量及预测误差信号进行解码。如上述那样，编码流中编码有差分矢量。差分矢量是对象块的运动矢量与从其相邻块或其相邻块的像素的运动矢量预测出的预测矢量的差分。运动矢量计算部215在解码运动矢量时，从该相邻块或该相邻块的像素的运动矢量计算出预测矢量，对该预测矢量加上解码出的差分矢量，由此，将被预测编码了的对象块或其代表像素的运动矢量解码。

平行移动运动补偿预测部204根据对象图像内的对象块与同该对象块处于平行移动的关系的参照图像内的参照块之间的运动矢量、和参照块的图像信号，生成预测信号。几何变换运动补偿预测部205根据对象图像内的对象块与同该对象块处于几何变换关系的参照图像内的参照块之间的运动矢量、和参照块的图像信号，生成预测信号。

如上所述，对象块的顶点被选为代表像素，上述编码流中包含各个代表像素的运动矢量。几何变换运动补偿预测部205通过使用了对象块的多个代表像素的运动矢量的插值，来算出该多个代表像素以外的像素的运动矢量。例如，通过上述式(3)～(12)所示的运算式算出代表像素以外的像素的运动矢量。

切换控制部214根据第1编码比特串解码部201所解码出的预测方法信息，针对对象图像内的各个对象块，分别指定使用基于平行移动运动补偿预测部204的预测方法和基于几何变换运动补偿预测部205的预测方法的哪一者。

下面更具体地进行说明。第1编码比特串解码部201、第2编码比特串解码部202、及第3编码比特串解码部203被介由输入开关209选择性地输入由实施方式1的图像编码装置100生成的编码流所包含的编码比特串。

第1编码比特串解码部201通过算术解码等熵解码对介由输入开关209供给来的编码比特串进行解码，取得预测方法信息。如上所述该预测方法信息中含有表示是以平行移动/几何变换的哪一者进行的编码的信息，在平行移动运动补偿的情况下，含有表示是采用16×16/16×8/8×16/8×8模式的哪一者的信息，在几何变换的情况下，含有表示是以对4个代表像素a、b、c、d的运动矢量进行编码和解码的第1模式、对对象块的纵方向上的2个代表像素a、c的运动矢量进行编码和解码的第2模式、对对象块的横方向上的2个代表像素a、b的运动矢量进行编码和解码的第3模式、以及对3个代表像素a、b、c的运动矢量进行编码和解码的第4模式中的哪个模式进行了编码的信息等。第2编码比特串解码部202通过算术解码等熵解码对介由输入开关209供给来的编码比特串进行解码，取得差分矢量。如前所述差分矢量是根据相邻块的运动矢量算出的预测矢量与解码对象块的运动矢量的差分。此外，在混合地编码有在基于平行移动的运动补偿预测中使用的运动矢量、和在基于几何变换的运动补偿预测中使用的运动矢量的情况下，同编码侧一样，在解码侧也根据预测方法信息，从混合存在的差分矢量解码出运动矢量。

通过第1编码比特串解码部201所解码出的预测方法信息，就知道解码对象块是利用哪个参照图像、以什么样的块单位选择并组合帧内编码、基于平行移动的运动补偿预测、以及基于几何变换的运动补偿预测中的哪个方法的。

切换控制部214根据第1编码比特串解码部201所提供的预测方法信息，切换第1预测部开关210、第2预测部开关211、第3预测部开关212及第4预测部开关213。在作为对象块的预测方法而选择了基于平行移动的运动补偿预测方法时，进行切换使得平行移动运动补偿预测部204的路径被选中，在选中了基于几何变换的运动补偿预测方法时，进行切换使得几何变换运动补偿预测部205的路径被选中。

运动矢量计算部215根据从第1编码比特串解码部201供给的预测方法信息，基于已编码、解码了的周围的相邻块、或相邻块的像素的运动矢量，预测对象块的运动矢量，由此算出预测矢量。然后，对该预测矢量加上从第2编码比特串解码部202供给的差分矢量，由此算出运动矢量。运动矢量计算部215将该运动矢量介由第2预测部开关211提供给平行移动运动补偿预测部204或几何变换运动补偿预测部205。关于运动矢量计算部215中的预测矢量的计算，通过与图像编码装置100的差分矢量计算部114中的预测矢量的计算相同的方法来进行。在平行移动运动补偿预测的情况下，能取得该块的运动矢量，在几何变换运动补偿的情况下，该块的代表像素的运动矢量被算出。

平行移动运动补偿预测部204利用从解码图像缓存器208介由第4预测部开关213供给来的应作为参照图像的解码图像、以及从第2编码比特串解码部202介由第2预测部开关211供给来的解码后的运动矢量，进行基于平行移动的运动补偿预测。

几何变换运动补偿预测部205利用从解码图像缓存器208介由第4预测部开关213供给来的应作为参照图像的解码图像、以及从运动矢量计算部215介由第2预测部开关211供给来的解码后的多个代表像素的运动矢量，通过插值算出所有像素的运动矢量。此时，可以使用与参照上述式(1)～(14)说明的、图像编码装置100的几何变换运动补偿预测部103相同的处理方法。几何变换运动补偿预测部205根据这些像素各自的运动矢量，针对各像素分别进行运动补偿，由此进行基于几何变换的运动补偿预测。

第3编码比特串解码部203将介由输入开关209供给来的编码比特串依次解码，取得编码出的预测误差信号。预测误差信号解码部206对从第3编码比特串解码部203供给来的编码后的预测误差信号进行逆量化、逆正交变换等展开解码处理，取得解码后的预测误差信号。

解码图像信号生成部207基于预测信号和预测误差信号生成图像信号。更具体来说，解码图像信号生成部207根据切换控制部214所指定的预测方法，在从平行移动运动补偿预测部204或几何变换运动补偿预测部205介由第3预测部开关212供给来的预测信号上重叠从预测误差信号解码部206供给来的预测误差信号，生成解码图像信号。解码图像信号生成部207将该解码图像信号按块单位依次保存在解码图像缓存器208中。

图10是表示本发明实施方式2的图像解码装置200中的宏块的解码处理步骤的流程图。第1编码比特串解码部201将介由输入开关209供给来的编码比特串解码，取得预测方法信息(S201)。第2编码比特串解码部202将介由输入开关209供给的编码比特串解码，取得差分矢量(S202)。此外，在预测方法信息表示基于几何变换的运动补偿预测时，根据该预测方法信息，解码2～4个差分矢量。在第1模式中，对与4个顶点a、b、c、d对应的4个代表像素a、b、c、d各自的差分矢量进行解码。在第2模式中，对与2个顶点a、c对应的代表像素a、c各自的差分矢量进行解码。在第3模式中，对与2个顶点a、b对应的代表像素a、b各自的差分矢量进行解码。在第4模式中，对与3个顶点a、b、c对应的3个代表像素a、b、c各自的差分矢量进行解码。运动矢量计算部215从周边块或周边像素算出预测矢量(S203)。按与图像编码装置100的差分矢量计算部114中的预测矢量的计算相同的方法来进行。进而，运动矢量计算部215根据从第1编码比特串解码部201供给的预测方法信息，对该预测矢量加上从第2编码比特串解码部202供给的差分矢量，算出对象块或对象像素的运动矢量(S204)。但是，对于没有在第2编码比特串解码部202中被解码差分矢量的代表点，将预测矢量作为运动矢量。

切换控制部214根据解码出的预测方法信息，确定对象块的运动补偿预测方法(S205)。该预测方法为基于平行移动的运动补偿预测方法时(S205的平行)，平行移动运动补偿预测部204利用从第2编码比特串解码部202供给的运动矢量对从解码图像缓存器208供给的应作为参照图像信号的解码图像信号进行基于平行移动的运动补偿，生成预测信号(S206)。

在由切换控制部214确定的预测方法为基于几何变换的运动补偿预测方法时(S205的几何)，几何变换运动补偿预测部205利用从第2编码比特串解码部202供给的运动矢量，对从解码图像缓存器208供给的应作为参照图像信号的解码图像信号进行基于几何变换的运动补偿，生成预测信号(S207)。

第3编码比特串解码部203对介由输入开关209供给来的编码比特串进行解码，取得被编码的预测误差信号(S208)。解码图像信号生成部207将所取得的预测误差信号解码(S209)。解码图像信号生成部207将预测误差信号解码部206所解码出的预测误差信号与平行移动运动补偿预测部204或几何变换运动补偿预测部205所生成的预测信号重叠，生成解码图像信号(S210)。解码图像信号生成部207将所生成的解码图像信号保存在解码图像缓存器208中(S211)。被保存在该解码图像缓存器208中的解码图像信号被作为平行移动运动补偿预测部204及几何变换运动补偿预测部205中的参照图像信号来使用。

如以上说明的那样，通过实施方式2，能将由实施方式1的图像编码装置100生成的编码流高效地解码。由此，能从解码侧支持上述实施方式1的图像编码装置100所实现的效果，并确保其效果。即，能从解码侧支持以使用基于几何变换的运动补偿预测的图像编码方式来提高编码量的压缩效率的效果，并确保该效果。此外，在并用基于平行移动的运动补偿预测和基于几何变换的运动补偿预测的图像编码方式中，也能从解码侧支持提高编码量的压缩效率的效果，并确保该效果。另外，与已有的图像解码装置的协调性和兼容性得到提高，能抑制导入成本。

以上基于几个实施方式说明了本发明。这些实施方式只是例示，本领域技术人员当理解这些构成要素和各处理过程的组合可以有各种各样的变形例，并且这样的变形例也包含在本发明的范围内。

在上述的实施方式中，说明了以对象块(即宏块分区或亚宏块分区)的顶点、顶点附近的像素为代表像素、代表像素被包含在对象块中的例子(参照图3)。该点并不限定于此，代表像素也可以在对象块之外。

图11是用于说明与对象块的4个顶点对应的代表像素的图(其2)。在图11所示的例子中，将位于左上顶点的像素a和位于右上、左下、右下顶点附近的像素b、c、d分别设定为代表像素a、b、c、d。在图11中，用黑圆点表示代表像素，用白圆点表示非代表像素，将代表像素设定为处于对象块(图11中为16×16像素的宏块)的顶点的像素a(0，0)和处于顶点附近的像素b(W，0)、像素c(0，H)、以及像素d(W，H)。这里，W是水平方向的代表像素之间(像素a与像素b之间、及像素c与像素d之间)的距离(单位：像素)，H是垂直方向的代表像素之间(像素a与像素c之间、及像素b与像素d之间)的距离(单位：像素)，在图11所示的代表像素的设定中，W＝16(像素)、H＝16(像素)。在此，用(i，j)表示各像素的坐标，用i按1像素单位表示水平方向的坐标，用j按1像素单位表示垂直方向的坐标。将宏块内的最左上方的像素作为原点(0，0)，将右方向及下方向定为正的増加方向。左上的第1代表像素a包含在对象块内，但右上的第2代表像素b、左下的第3代表像素c及右下的第4代表像素d不包含在对象块内。

此时，基于4个代表像素a、b、c、d的运动矢量Va、Vb、Vc、Vd，通过上述式(3)算出这之外的像素P(i，j)的运动矢量V(i，j)。

在上述式(3)中，若是图3所示的代表像素的设定，则以W·H＝225(15×15)来除，若是图11所示的代表像素的设定，则以W·H＝256(＝16×16)来除。在以作为2的幂乘的256来除时，可通过8比特右移位(shift)的比特移位运算来实现，故能减轻处理量，向硬件的安装变得容易。通过将代表像素的间隔设定为2的幂乘数，能利用比特移位运算实现除法运算。此外，未包含于对象块的代表像素可以脱离于画面，是实际不存在的虚拟的像素。

同样地，在图11所示的代表像素的设定的情况下，能同图3所示的代表像素的设定一样利用上述式(1)、(2)、(4)～(12)来算出。

在上述式(4)、(5)、(10)、(12)中，若是图3所示的代表像素的设定，则以W＝15来除，但若是图11所示的代表像素的设定，则以W＝16来除。进而，在上述式(6)、(7)、(9)中，若是图3所示的代表像素的设定，则以H＝15来除，若是图11所示的代表像素的设定，则以H＝16来除。同上述一样，在以作为2的幂乘的16来除时，能通过4比特右移位的比特移位运算来实现，故能减轻处理量，向硬件的安装变得容易。通过使代表像素的间隔为2的幂乘，在该情况下也能用比特移位运算来置换除法运算。

在图11所示的代表像素的设定中，预测矢量的计算方法也能采用与参照图7所说明的方法同样的方法。以图11所示的代表像素的设定为前提，利用图12更具体地说明编码对象块和相邻块都选择了基于几何变换的运动补偿预测时的运动矢量的预测。如图11、图12所示那样将代表像素间的间隔设定为16时，代表像素b、代表像素c及代表像素d分别从对象块向外侧溢出1像素量。因此，对象块的代表像素a也是左邻的块A的代表像素b，也是上邻的块B的代表像素c，还是左斜上邻的块D的代表像素d。对象块的代表像素b也是上邻的块B的代表像素d，还是右斜上邻的块C的代表像素c。对象块的代表像素c也是左邻的块A的代表像素d。从相邻块的运动矢量预测第1代表像素a、第2代表像素b及第3代表像素c的预测矢量。

在图12中，对于编码对象块的第1代表像素a的预测矢量，在已编码的相邻块中的、参照与对象块的参照图像相同的图像的周边块中，参照左邻的块A的右上顶点像素的运动矢量、上邻的块B的左下顶点像素的运动矢量、以及左斜上邻的块D的右下顶点像素的运动矢量来计算。对于第2代表像素b的预测矢量，从上邻的块B的右下顶点像素的运动矢量、右斜上邻的块C的左下顶点像素的运动矢量、以及该对象块的第1代表像素a的运动矢量中按预定的规则来选择。对于第3代表像素c的预测矢量，将左邻的块A的右下顶点像素的运动矢量作为预测矢量。对于第4代表像素d的预测矢量，如上所述能基于第1代表像素a、第2代表像素b及第3代表像素c各自的运动矢量Va、Vb、Vc，通过上述式(13)或上述式(14)而算出。

图13是用于说明与对象块的4个顶点对应的代表像素的图(其3)。在图13所示的例子中，将位于左上、右上、左下的顶点附近的像素a、b、c和位于右下的顶点的像素d设定为代表像素a、b、c、d。在图13的例子中，用黑圆点表示代表像素，用白圆点表示非代表像素，将代表像素设定为处于对象块(图13中为16×16像素的宏块)的顶点附近的像素a(－1，－1)、像素b(W－1，－1)、像素c(－1，H－1)及处于顶点的像素d(W－1，H－1)。这里，W是水平方向的代表像素间(像素a与像素b之间、及像素c与像素d之间)的距离(单位：像素)，H是垂直方向的代表像素间(像素a与像素c之间、及像素b与像素d之间)的距离(单位：像素)，在图11所示的代表像素的设定中，是W＝16(像素)、H＝16(像素)。在此，用(i，j)表示各像素的坐标，用i按1像素单位表示水平方向的坐标，用j按1像素单位表示垂直方向的坐标。将宏块内的最左上方的像素作为原点(0，0)，将右方向及下方向定为正的増加方向。右下方的第4代表像素d包含于对象块内，但左上、右上、左下的3个代表像素a、b、c不包含于对象块。

此时，不通过上述式(3)，而是通过下式(15)，基于4个代表像素a、b、c、d的运动矢量Va、Vb、Vc、Vd算出这之外的像素P(i，j)的运动矢量V(i，j)。

V(i，j)＝{(W－i－1)(H－j－1)Va+(i+1)(H－j－1)Vb+(W－i－1)(j+1)·Vc+(i+1)·(j+1)·Vd}/(W·H)···式(15)

在上述式(15)中也用W·H＝256(＝16×16)来除，在用作为2的幂乘的256来除时，可通过8比特右移位的比特移位运算来实现，故能减轻处理量，向硬件的安装变得容易。通过使代表像素的间隔为2的幂乘数，能用移位运算来实现除法运算。此外，未包含于对象块的代表像素可以是在画面之外、实际不存在的虚拟的像素。

在上述的实施方式中，是将对象块(即宏块分区或亚宏块分区)的顶点、顶点附近的像素作为代表像素的，但并非限定于此，也可以将位于顶点或相当于顶点的坐标的插值像素作为代表像素。

图14是用于说明与对象块的4个顶点对应的代表像素的图(其4)。在图14所示的例子中，将相当于左上、右上、左下及右下的顶点位置的插值像素a、b、c、d设定为代表像素。不仅可以如之前的例子(图3、图11、图13)那样将实际存在的像素作为代表像素，还可以如本例(图14)这样将处于于***值的位置的像素作为代表像素，基于该代表像素的运动矢量，通过插值而算出实际存在的像素的运动矢量。

此外，在利用上述图5、图6、图7、图12说明的运动矢量的预测方法中，也可以不将相邻块或相邻块的像素的运动矢量Vabcd原样作为预测矢量的候选的，而是将根据编码对象图像与参照图像间的距离(时间)对Vabcd缩放而算出的运动矢量值Vabcd'用作预测矢量的候选。缩放后的运动矢量值Vabcd'是根据编码对象图像与该编码对象块的运动矢量所指示的参照图像之间的距离(时间)T1、以及编码对象图像与相邻块或相邻块的像素的运动矢量Vabcd所指示的参照图像的距离(时间)T2缩放后的运动矢量值。缩放后的运动矢量值Vabcd'由下式(16)算出。

Vabcd'＝Vabcd*(T1/T2)···式(16)

当在编码对象块的运动补偿预测中参照的参照图像与在相邻块的运动补偿预测中参照的参照图像不同时，即使是相同的运动，彼此的运动矢量的值也会产生差异，故为消除该失配而缩放运动矢量。例如若物体不变形地进行了等速运动，则帧间隔越长，运动矢量的大小越大。根据编码对象图像－参照图像间的帧间隔T1、T2的比率缩放相邻块(相邻块的像素)的运动矢量Vabcd而算出Vabcd'。

当在编码对象块的运动补偿预测中参照的参照图像与在相邻块的运动补偿预测中参照的参照图像不同，这2个参照图像从编码对象图像来看在显示顺序上都相当于过去或都相当于未来时，即这2个参照图像从编码对象图像来看位于相同侧时，向相同方向进行缩放。为向相同方向缩放，以正值进行缩放。通过该缩放处理，朝向相同、大小不同的运动矢量成为预测矢量的候选。图15是用于说明运动矢量值的缩放处理的一例的图。在图15中，当编码对象图像的编码对象块的参照图像是图像Ref2，相邻块(相邻块的像素)的运动补偿预测的参照图像是图像Ref3时，由于T1：T2＝2：3，故将参照图像Ref3的相邻块(相邻块的像素)的运动矢量Vabcd缩放为2/3。由此，原本变得接近相邻块(相邻块的像素)参照图像Ref2进行运动补偿预测时的运动矢量的值，结果变得接近参照图像Ref2的编码对象块的运动矢量的值。在图15的例子中，当相邻块的运动补偿预测时的参照图像为图像Ref3，其运动矢量的值为(24，－9)时，将使其缩放为2/3后的(16，－6)作为预测矢量的候选。

此外，当在编码对象块的运动补偿预测中参照的参照图像与在相邻块的运动补偿预测中参照的参照图像不同，这2个参照图像从编码对象图像来看在显示顺序上相当于过去和未来时、即这2个参照图像夹着编码对象图像地位于两侧时，向相反方向进行缩放。为向相反方向缩放，以负值进行缩放。通过该缩放处理，朝向相反、大小不同的运动矢量成为预测矢量的候选。在图15中，编码对象图像的编码对象块的参照图像为图像Ref2，相邻块(相邻块的像素)的运动补偿预测的参照图像为图像Ref5时，由于T1：T2＝2：－1，故将参照图像Ref3的相邻块(相邻块的像素)的运动矢量Vabcd缩放为2/(－1)＝－2倍。由此，原本变得接近相邻块(相邻块的像素)参照图像Ref2进行运动补偿预测时的运动矢量的值，結果变得接近参照图像Ref2的编码对象块的运动矢量的值。在图15的例子中，相邻块的运动补偿预测时的参照图像为图像Ref5，其运动矢量的值为(－8，3)时，将使其缩放为－2倍后的(16，－6)作为预测矢量的候选。

在利用上述图5、图6、图7、图12说明的运动矢量的预测方法中，在B图像内，分别独立地处理L0预测、或双预测所用的L0的运动矢量和L1预测、或者双预测所用的L1的运动矢量。即，基于相邻块或相邻块的像素的L0的运动矢量算出L0的运动矢量的预测矢量的候选，并基于相邻块或相邻块的像素的L1的运动矢量算出L1的运动矢量的预测矢量的候选。此外，当相邻块为L0预测或L1预测的单向预测时，仅存在L0或L1的运动矢量的一者。在计算L0的运动矢量的预测矢量的候选时，若相邻块按L1预测无法得到相邻块或相邻块的像素的L0的运动矢量，则通过前述的缩放处理来缩放L1的运动矢量，由此能作为L0的运动矢量的预测矢量的候选。同样地，在计算L1的运动矢量的预测矢量的候选时，若相邻块按L0预测无法得到相邻块或相邻块的像素的L1的运动矢量，则通过前述的缩放处理来缩放L0的运动矢量，由此能作为L1的运动矢量的预测矢量的候选。

在上述的实施方式中，说明了对象块的形状为正方形的例子。关于该点，对象块的形状也可以是三角形、平行四边形、梯形等其它形状。在该情况下，优选上述代表像素被设定为该形状的顶点或顶点附近。

〔标号说明〕

100图像编码装置、101图像缓存器、102平行移动运动补偿预测部、103几何变换运动补偿预测部、104预测方法决定部、114差分矢量计算部、105预测误差信号生成部、106预测误差信号编码部、107第1编码比特串生成部、108第2编码比特串生成部、109第3编码比特串生成部、110预测误差信号解码部、111解码图像信号生成部、112解码图像缓存器、113输出开关、200图像解码装置、201第1编码比特串解码部、202第2编码比特串解码部、203第3编码比特串解码部、215运动矢量计算部、204平行移动运动补偿预测部、205几何变换运动补偿预测部、206预测误差信号解码部、207解码图像信号生成部、208解码图像缓存器、209输入开关、210第1预测部开关、211第2预测部开关、212第3预测部开关、213第4预测部开关、214切换控制部。

〔工业可利用性〕

能适用于利用运动补偿预测对图像进行编码的领域。

Claims (12)

1.一种图像编码装置，其是对动图像进行编码的图像编码装置，其特征在于，包括：

几何变换运动补偿预测部，针对多个预测模式分别算出对象图像内的对象块与同该对象块处于几何变换关系的参照图像内的参照块之间的运动矢量及预测信号，在各预测模式中，将位于构成上述对象块的顶点的像素、或位于该顶点附近的像素、或位于该顶点附近的插值像素选为相当于顶点的代表像素，算出这些代表像素的运动矢量，并通过使用了该代表像素的运动矢量的插值算出该代表像素以外的像素的运动矢量，算出上述预测信号，

预测方法决定部，针对对象图像内的各对象块，分别选择上述几何变换运动补偿预测部的多个预测模式中的一者，

预测误差信号生成部，算出按上述预测方法决定部所选择的预测模式算出的预测信号与上述对象块的图像信号的差分，生成预测误差信号，

差分矢量生成部，利用上述对象块内外的运动矢量算出按上述预测方法决定部所选择的预测模式算出的代表像素的运动矢量的预测运动矢量，算出该预测运动矢量与按上述所选择的预测模式算出的代表像素的运动矢量的差分，生成代表像素的差分运动矢量，以及

编码部，对用于确定上述预测方法决定部所选择的预测模式的预测方法信息、由上述差分矢量生成部生成的差分运动矢量、以及由上述预测误差信号生成部生成的预测误差信号进行编码；

上述对象块是四边形区域；

上述几何变换运动补偿预测部具有以下四种预测模式内的至少两种预测模式：

第1模式，算出上述对象块的4个代表像素的被编码的运动矢量，

第2模式，算出上述对象块的纵方向上的2个代表像素的被编码的运动矢量，

第3模式，算出上述对象块的横方向上的2个代表像素的被编码的运动矢量，以及

第4模式，算出上述对象块的3个代表像素的被编码的运动矢量。

2.如权利要求1所述的图像编码装置，其特征在于，

上述几何变换运动补偿预测部在上述第4模式下，算出四边形的上述对象块中的相当于左上顶点的第1代表像素的运动矢量、相当于右上顶点的第2代表像素的运动矢量、以及相当于左下顶点的第3代表像素的运动矢量。

3.如权利要求1所述的图像编码装置，其特征在于，

上述差分矢量生成部在由上述预测方法决定部选择了上述第1模式时，将从四边形的上述对象块中的相当于右上顶点的第2代表像素的运动矢量的值减去相当于左上顶点的第1代表像素的运动矢量的值后的差分，加到相当于左下顶点的第3代表像素的运动矢量中，由此算出相当于右下顶点的第4代表像素的预测运动矢量。

4.如权利要求1所述的图像编码装置，其特征在于，

上述差分矢量生成部在由上述预测方法决定部选择了上述第1模式时，将从四边形的上述对象块中的相当于左下顶点的第3代表像素的运动矢量的值减去相当于左上顶点的第1代表像素的运动矢量的值后的差分，加到相当于右上顶点的第2代表像素的运动矢量中，由此算出相当于右下顶点的第4代表像素的预测运动矢量。

5.如权利要求1至4的任一项所述的图像编码装置，其特征在于，还包括：

平行移动运动补偿预测部，生成对象图像内的对象块与同该对象块处于平行移动关系的参照图像内的参照块之间的运动矢量及预测信号；

上述预测方法决定部针对对象图像内的各对象块分别决定采用上述平行移动运动补偿预测部的预测方法和上述几何变换运动补偿预测部的预测方法的哪一者，并选择所采用的预测方法中的预测模式；

上述差分矢量生成部根据上述预测模式和与上述对象块相邻的相邻块的运动补偿预测方法，基于该相邻块或该相邻块所包含的像素的运动矢量，生成上述对象块的运动矢量的预测运动矢量，并在由上述预测方法决定部采用了上述平行移动运动补偿预测部的预测方法时，算出按由上述预测方法决定部选择的预测模式算出的上述对象块的运动矢量与上述对象块的运动矢量的预测运动矢量的差分，生成差分运动矢量。

6.一种图像编码方法，其是对动图像进行编码的图像编码方法，其特征在于，包括：

几何变换运动补偿预测步骤，针对多个预测模式分别算出对象图像内的对象块与同该对象块处于几何变换关系的参照图像内的参照块之间的运动矢量及预测信号，在各预测模式中，将位于构成上述对象块的顶点的像素、或位于该顶点附近的像素、或位于该顶点附近的插值像素选为相当于顶点的代表像素，算出这些代表像素的运动矢量，并通过使用了该代表像素的运动矢量的插值算出该代表像素以外的像素的运动矢量，算出上述预测信号，

预测方法决定步骤，针对对象图像内的各对象块，分别选择上述几何变换运动补偿预测步骤的多个预测模式中的一者，

预测误差信号生成步骤，算出按上述预测方法决定步骤所选择的预测模式算出的预测信号与上述对象块的图像信号的差分，生成预测误差信号，

差分矢量生成步骤，利用上述对象块内外的运动矢量算出按上述预测方法决定步骤所选择的预测模式算出的代表像素的运动矢量的预测运动矢量，并算出该预测运动矢量与按上述所选择的预测模式算出的代表像素的运动矢量的差分，生成代表像素的差分运动矢量，以及

编码步骤，对用于确定上述预测方法决定步骤所选择的预测模式的预测方法信息、由上述差分矢量生成步骤生成的差分运动矢量、以及由上述预测误差信号生成步骤生成的预测误差信号进行编码；

其中，上述对象块是四边形区域；

上述几何变换运动补偿预测步骤具有以下四种预测模式内的至少两种预测模式：

第1模式，算出上述对象块的4个代表像素的被编码的运动矢量，

第2模式，算出上述对象块的纵方向上的2个代表像素的被编码的运动矢量，

第3模式，算出上述对象块的横方向上的2个代表像素的被编码的运动矢量，以及

第4模式，算出上述对象块的3个代表像素的被编码的运动矢量。

7.一种图像解码装置，其特征在于，包括：

解码部，对预测方法信息、与上述预测模式相应的代表像素的差分运动矢量及预测误差信号进行解码，其中上述预测方法信息包含于使用基于几何变换的运动补偿预测而编码了的编码流中、用于确定预测模式，

运动矢量生成部，按照由上述预测方法信息确定的预测模式，利用对象块内外的运动矢量算出代表像素的运动矢量的预测运动矢量，对该预测运动矢量加上上述代表像素的差分运动矢量来生成代表像素的运动矢量，

几何变换运动补偿预测部，基于对象图像内的对象块与同该对象块处于几何变换关系的参照图像内的参照块之间的上述代表像素的运动矢量、通过使用了上述代表像素的运动矢量的插值而算出的上述代表像素以外的运动矢量以及参照块的图像信号，来生成预测信号，

图像信号生成部，基于上述预测信号和由上述解码部解码出的预测误差信号生成图像信号，以及

控制部，参照由上述解码部解码出的预测方法信息，针对对象图像内的各对象块，分别指定使用上述几何变换运动补偿预测部的多个预测模式的哪一者；

对于上述代表像素，选择位于构成上述对象块的顶点的像素、位于顶点附近的像素、或位于顶点附近的插值像素；

其中，上述对象块是四边形区域；

上述多个预测模式中包括以下四种预测模式内的至少两种预测模式：

使用上述对象块的4个代表像素的运动矢量的第1模式，

使用上述对象块的纵方向上的2个代表像素的运动矢量的第2模式，

使用上述对象块的横方向上的2个代表像素的运动矢量的第3模式，以及

使用上述对象块的3个上述代表像素的运动矢量的第4模式。

8.如权利要求7所述的图像解码装置，其特征在于，

当由上述预测方法信息确定的预测模式是上述第4模式时，四边形的上述对象块中的相当于左上顶点的第1代表像素的差分运动矢量、相当于右上顶点的第2代表像素的差分运动矢量、以及相当于左下顶点的第3代表像素的差分运动矢量被作为代表像素的差分运动矢量包含在编码流中。

9.如权利要求7所述的图像解码装置，其特征在于，

上述运动矢量生成部在上述第1模式下，通过将从相当于右上顶点的第2代表像素的运动矢量的值减去相当于左上顶点的第1代表像素的运动矢量的值后的差分，加到相当于左下顶点的第3代表像素的运动矢量中，由此算出四边形的上述对象块中的相当于右下顶点的第4代表像素的预测运动矢量。

10.如权利要求7所述的图像解码装置，其特征在于，

上述运动矢量生成部在上述第1模式下，通过将从相当于左下顶点的第3代表像素的运动矢量的值减去相当于左上顶点的第1代表像素的运动矢量的值后的差分，加到相当于右上顶点的第2代表像素的运动矢量中，由此算出四边形的上述对象块中的相当于右下顶点的第4代表像素的预测运动矢量。

11.如权利要求7至10的任一项所述的图像解码装置，其特征在于，还包括：

平行移动运动补偿预测部，基于对象图像内的对象块与同该对象块处于平行移动关系的参照图像内的参照块之间的运动矢量、及上述参照块的图像信号，生成预测信号；

上述控制部参照由上述解码部解码出的预测方法信息，针对对象图像内的各对象块分别指定使用上述平行移动运动补偿预测部的预测方法和上述几何变换运动补偿预测部的预测方法中的哪一者；

上述编码流所包含的数据是兼用上述基于平行移动的运动补偿预测和上述基于几何变换的运动补偿预测而被编码的；

上述运动矢量生成部根据上述预测模式及与上述对象块相邻的相邻块的运动补偿预测方法，基于该相邻块或该相邻块所包含的像素的运动矢量生成对象块的预测运动矢量。

12.一种图像解码方法，其特征在于，包括：

解码步骤，对预测方法信息、与上述预测模式相应的代表像素的差分运动矢量及预测误差信号进行解码，其中上述预测方法信息包含于使用基于几何变换的运动补偿预测而编码了的编码流中、用于确定预测模式，

运动矢量生成步骤，按照由上述预测方法信息确定的预测模式，利用对象块内外的运动矢量算出代表像素的运动矢量的预测运动矢量，对该预测运动矢量加上上述代表像素的差分运动矢量来生成代表像素的运动矢量，

几何变换运动补偿预测步骤，基于对象图像内的对象块与同该对象块处于几何变换关系的参照图像内的参照块之间的上述代表像素的运动矢量、通过使用了上述代表像素的运动矢量的插值而算出的上述代表像素以外的运动矢量以及参照块的图像信号，来生成预测信号，

图像信号生成步骤，基于上述预测信号和由上述解码步骤解码出的预测误差信号生成图像信号，以及

控制步骤，参照由上述解码步骤解码出的预测方法信息，针对对象图像内的各对象块，分别指定使用上述几何变换运动补偿预测步骤的多个预测模式的哪一者；

对于上述代表像素，选择位于构成上述对象块的顶点的像素、位于顶点附近的像素、或位于顶点附近的插值像素；

其中，上述对象块是四边形区域；

上述多个预测模式中包括以下四种预测模式内的至少两种预测模式：

使用上述对象块的4个代表像素的运动矢量的第1模式，

使用上述对象块的纵方向上的2个代表像素的运动矢量的第2模式，

使用上述对象块的横方向上的2个代表像素的运动矢量的第3模式，以及

使用上述对象块的3个上述代表像素的运动矢量的第4模式。