CN103262539A - 运动图像编码装置、运动图像解码装置、运动图像编码方法以及运动图像解码方法 - Google Patents

Abstract

帧内部预测部（4）在由编码控制部（1）选择的编码模式是帧内部预测模式的情况下，通过实施使用与由块分割部（2）分割出的分段（P_i ⁿ）邻接的像素、或者与该分段（P_i ⁿ）的上位层次的分段（P_i ^n-1）邻接的像素的帧内预测处理，生成预测图像（P_i ⁿ）。

Description

运动图像编码装置、运动图像解码装置、运动图像编码方法以及运动图像解码方法

技术领域

本发明涉及对运动图像高效地进行编码的运动图像编码装置以及运动图像编码方法、和对高效地编码了的运动图像进行解码的运动图像解码装置以及运动图像解码方法。

背景技术

例如，在作为国际标准方式的AVC/H.264（ISO/IEC14496-10|ITU-T H.264）的编码方式中的亮度的帧内部预测模式中，能够从多个预测模式中，按照块单位选择1个预测模式（例如，参照非专利文献1）。

图14是示出亮度的块尺寸为4×4像素的情况的帧内部预测模式的说明图。

在亮度的块尺寸是4×4像素的情况下，规定了9个帧内部预测模式（模式0，模式1，...，模式8）。

在图14中，白圈是编码对象的块内的像素。黑圈是预测中使用的像素，是已编码的邻接块内的像素。

模式2是平均值预测，且是通过上面和左面的块的邻接像素的平均值来预测编码对象块内的像素的模式。模式2之外的模式是方向性预测。

特别，模式0是垂直方向预测，通过在垂直方向上重复上面的块的邻接像素而生成预测图像。例如，在纵条纹图样时选择模式0。

模式1是水平方向预测，通过在水平方向上重复左面的块的邻接像素，生成预测图像。

另外，在模式3至模式8中，使用上面或者左面的块的邻接像素，在规定的方向（在图中，箭头所示的方向）上生成插值像素来生成预测图像。

关于应用帧内部预测的亮度的块尺寸，能够从4×4像素、8×8像素、16×16像素中选择，在块尺寸是8×8像素的情况下，与4×4像素的情况同样地，规定了9个帧内部预测模式。

相对于此，在块尺寸是16×16像素的情况下，除了平均值预测、垂直方向预测以及水平方向预测以外，还规定了被称为平面预测的4个帧内部预测模式。

平面预测是将针对上面的块的邻接像素和左面的块的邻接像素在倾斜方向上进行内插插值而生成的像素作为预测值的模式。

在块尺寸是4×4像素或者8×8像素的情况的方向性预测模式中，在通过模式预定的方向（例如，45度）上生成预测值，所以如果块内的目标的边界（边缘）的方向与预测模式表示的方向一致，则预测效率变高而能够削减符号量，但在边缘的方向与预测模式表示的方向不一致的情况下，预测效率降低。

相对于此，如果使可选的方向性预测的模式数增加，则边缘的方向和预测模式表示的方向一致的概率提高，所以可以假定为预测效率变高。

非专利文献1：MPEG-4AVC（ISO/IEC14496-10）/ITU-T H.264规格

发明内容

以往的运动图像编码装置如以上那样构成，所以如果使可选的方向性预测的模式数增加，则边缘的方向和预测模式表示的方向一致的概率提高，而能够提高预测效率。但是，即使增加可选的方向性预测的模式数，类似的预测图像的选择项也增加，所以无法看到与伴随增加可选的方向性预测的模式数的运算量的增加相称的程度的编码效率的改善，而存在对编码效率的改善的贡献被限定的课题。

本发明是为了解决上述那样的课题而完成的，其目的在于得到一种运动图像编码装置以及运动图像编码方法，能够以少的运算量、符号量提高利用方向性预测的模式数增加的编码效率的改善程度。

另外，本发明的目的在于得到一种运动图像解码装置以及运动图像解码方法，能够从实现了编码效率的改善的编码数据正确地解码运动图像。

在本发明的运动图像编码装置中，预测图像生成单元在由编码控制单元选择的编码模式是帧内部预测模式的情况下，通过实施使用与由块分割单元分割的编码块邻接的像素、或者与该编码块的上位层次的编码块邻接的像素的帧内预测处理，生成预测图像。

另外，可变长编码单元在由编码控制单元选择的编码模式是帧内部预测模式的情况下，对表示与由块分割单元分割的编码块邻接的编码块的帧内部预测方向和该处理对象编码块的帧内部预测方向是否一致的标志进行编码，并且在表示方向一致的情况下，进一步对表示帧内部预测方向是否与邻接的某一个编码块一致的信息也进行编码。

根据本发明，预测图像生成单元在由编码控制单元选择的编码模式是帧内部预测模式的情况下，通过实施使用与由块分割单元分割的编码块邻接的像素、或者与该编码块的上位层次的编码块邻接的像素的帧内预测处理，生成预测图像，所以具有能够以少的运算量、符号量提高利用方向性预测的模式数增加的编码效率的改善程度的效果。

附图说明

图1是示出本发明的实施方式1的运动图像编码装置的结构图。

图2是示出本发明的实施方式1的运动图像编码装置的处理内容的流程图。

图3是示出最大尺寸的编码块被层次性地分割为多个编码块的情况的说明图。

图4（a）是示出分割后的分段（partition）的分布的说明图，（b）是通过四叉树图形示出对层次分割后的分段分配编码模式m（Bⁿ）的状况的说明图。

图5是示出在属于编码块Bⁿ的各分段P_i ⁿ中可选的帧内部预测参数（帧内部预测模式）的一个例子的说明图。

图6是示出在l_i ⁿ=m_i ⁿ=4的情况下，在生成分段P_i ⁿ内的像素的预测值时使用的像素的一个例子的说明图。

图7是示出分段P_i ⁿ和上位分段P_i ^n-1的关系的说明图。

图8是示出属于编码块Bⁿ的分段P_i ⁿ的说明图。

图9是示出在属于编码块Bⁿ的各分段P_i ⁿ中可选的帧内部预测参数（帧内部预测模式）的一个例子的说明图。

图10是示出本发明的实施方式1的运动图像解码装置的结构图。

图11是示出本发明的实施方式1的运动图像解码装置的处理内容的流程图。

图12是示出分段的编码数据的说明图。

图13是示出邻接分段的说明图。

图14是示出亮度的块尺寸是4×4像素的情况的帧内部预测模式的说明图。

（符号说明）

1：编码控制部（编码控制单元）；2：块分割部（块分割单元）；3：切换开关（预测图像生成单元）；4：帧内部预测部（预测图像生成单元）；5：运动补偿预测部（预测图像生成单元）；6：减法部（差分图像生成单元）；7：变换/量化部（图像压缩单元）；8：逆量化/逆变换部；9：加法部；10：帧内部预测用存储器；11：环路滤波器部；12：运动补偿预测帧存储器；13：可变长编码部（可变长编码单元）；21：可变长解码部（可变长解码单元）；22：切换开关（预测图像生成单元）；23：帧内部预测部（预测图像生成单元）；24：运动补偿部（预测图像生成单元）；25：逆量化/逆变换部（差分图像生成单元）；26：加法部（解码图像生成单元）；27：帧内部预测用存储器；28：

环路滤波器部；29：运动补偿预测帧存储器。

具体实施方式

以下，为了更详细地说明本发明，根据附图，说明用于实施本发明的方式。

实施方式1.

图1是示出本发明的实施方式1的运动图像编码装置的结构图。

在图1中，编码控制部1实施以下处理：决定成为实施帧内部预测处理（帧内预测处理）或者运动补偿预测处理（帧间预测处理）时的处理单位的编码块的最大尺寸，并且决定最大尺寸的编码块被层次性地分割时的上限的层次数。

另外，编码控制部1实施如下处理：从可利用的1个以上的编码模式（1个以上的帧内部编码模式、1个以上的帧之间编码模式）中，选择适合于被层次性地分割的各个编码块的编码模式。

另外，编码控制部1实施如下处理：针对各个编码块的每一个，决定差分图像被压缩时使用的量化参数以及变换块尺寸，并且决定实施预测处理时使用的帧内部预测参数或者帧之间预测参数。量化参数以及变换块尺寸被包含于预测差分编码参数，被输出到变换/量化部7、逆量化/逆变换部8以及可变长编码部13等。

另外，编码控制部1构成了编码控制单元。

块分割部2实施如下处理：如果输入了表示输入图像（当前图片）的影像信号，则将该输入图像分割为由编码控制部1决定出的最大尺寸的编码块，并且直至到达由编码控制部1决定的上限的层次数，对该编码块层次性地进行分割。另外，块分割部2构成了块分割单元。

切换开关3实施如下处理：如果由编码控制部1选择的编码模式是帧内部编码模式，则将由块分割部2分割出的编码块输出到帧内部预测部4，如果由编码控制部1选择的编码模式是帧之间编码模式，则将由块分割部2分割出的编码块输出到运动补偿预测部5。

帧内部预测部4实施如下处理：如果从切换开关3接收到由块分割部2分割后的编码块，则针对该编码块，使用由帧内部预测用存储器10存储的与编码块邻接的已编码的像素、或者与该编码块的上位层次的编码块邻接的已编码的像素，实施基于从编码控制部1输出的帧内部预测参数的帧内预测处理，从而生成预测图像。

运动补偿预测部5实施如下处理：在作为与由块分割部2分割出的编码块对应的编码模式，由编码控制部1选择了帧之间编码模式的情况下，使用由运动补偿预测帧存储器12存储的1帧以上的参照图像，根据从编码控制部1输出的帧之间预测参数，实施针对该编码块的运动补偿预测处理，从而生成预测图像。

另外，由切换开关3、帧内部预测部4以及运动补偿预测部5构成预测图像生成单元。

减法部6实施如下处理：通过从由块分割部2分割出的编码块，减去由帧内部预测部4或者运动补偿预测部5生成的预测图像，来生成差分图像（=编码块-预测图像）。另外，减法部6构成了差分图像生成单元。

变换/量化部7实施如下处理：按照从编码控制部1输出的预测差分编码参数中包含的变换块尺寸单位，实施由减法部6生成的差分图像的变换处理（例如，DCT（离散余弦变换）、预先对特定的学习序列进行了基底设计的KL变换等正交变换处理），并且使用该预测差分编码参数中包含的量化参数，对该差分图像的变换系数进行量化，从而将量化后的变换系数作为差分图像的压缩数据输出。另外，变换/量化部7构成了图像压缩单元。

逆量化/逆变换部8实施如下处理：使用从编码控制部1输出的预测差分编码参数中包含的量化参数，对从变换/量化部7输出的压缩数据进行逆量化，按照该预测差分编码参数中包含的变换块尺寸单位，实施逆量化的压缩数据的逆变换处理（例如，逆DCT（逆离散余弦变换）、逆KL变换等逆变换处理），从而将逆变换处理后的压缩数据作为局部解码预测差分信号输出。

加法部9实施如下处理：通过相加从逆量化/逆变换部8输出的局部解码预测差分信号和表示由帧内部预测部4或者运动补偿预测部5生成的预测图像的预测信号，生成表示局部解码图像的局部解码图像信号。

帧内部预测用存储器10是RAM等记录介质，作为通过帧内部预测部4在下次的帧内部预测处理中使用的图像，存储由加法部9生成的局部解码图像信号表示的局部解码图像。

环路滤波器部11实施如下处理：补偿由加法部9生成的局部解码图像信号中包含的编码失真，将编码失真补偿后的局部解码图像信号表示的局部解码图像作为参照图像输出到运动补偿预测帧存储器12。

运动补偿预测帧存储器12是RAM等记录介质，作为由运动补偿预测部5在下次的运动补偿预测处理中使用的参照图像，存储由环路滤波器部11进行了滤波处理后的局部解码图像。

可变长编码部13实施如下处理：对从变换/量化部7输出的压缩数据、从编码控制部1输出的编码模式以及预测差分编码参数、和从帧内部预测部4输出的帧内部预测参数或者从运动补偿预测部5输出的帧之间预测参数进行可变长编码，生成复用了该压缩数据、编码模式、预测差分编码参数、帧内部预测参数/帧之间预测参数的编码数据的比特流。另外，可变长编码部13构成了可变长编码单元。

在图1中，设想了作为运动图像编码装置的构成要素的编码控制部1、块分割部2、切换开关3、帧内部预测部4、运动补偿预测部5、减法部6、变换/量化部7、逆量化/逆变换部8、加法部9、环路滤波器部11以及可变长编码部13的每一个由专用的硬件（例如，安装了CPU的半导体集成电路、或者单片式微型计算机等）构成的例子，但在运动图像编码装置由计算机等构成的情况下，也可以将记述了编码控制部1、块分割部2、切换开关3、帧内部预测部4、运动补偿预测部5、减法部6、变换/量化部7、逆量化/逆变换部8、加法部9、环路滤波器部11以及可变长编码部13的处理内容的程序的全部或者一部分存储到该计算机的存储器，该计算机的CPU执行该存储器中存储的程序。

图2是示出本发明的实施方式1的运动图像编码装置的处理内容的流程图。

图10是示出本发明的实施方式1的运动图像解码装置的结构图。

在图10中，可变长解码部21实施如下处理：通过确定成为实施帧内部预测处理或者运动补偿预测处理时的处理单位的编码块的最大尺寸以及从最大尺寸的编码块被层次性地分割的编码块的层次数，在比特流中复用的编码数据中，确定与最大尺寸的编码块以及被层次性地分割的编码块有关的编码数据，从各个编码数据，对与编码块有关的压缩数据、编码模式、预测差分编码参数、帧内部预测参数/帧之间预测参数进行可变长解码，将该压缩数据以及预测差分编码参数输出到逆量化/逆变换部25，并且将该编码模式以及帧内部预测参数/帧之间预测参数输出到切换开关22。另外，可变长解码部21构成了可变长解码单元。

切换开关22实施如下处理：在与从可变长解码部21输出的编码块有关的编码模式是帧内部编码模式的情况下，将从可变长解码部21输出的帧内部预测参数输出到帧内部预测部23，在该编码模式是帧之间编码模式的情况下，将从可变长解码部21输出的帧之间预测参数输出到运动补偿部24。

帧内部预测部23实施如下处理：使用由帧内部预测用存储器27存储的与编码块邻接的已解码的像素、或者与该编码块的上位层次的编码块邻接的已解码的像素，根据从切换开关22输出的帧内部预测参数，实施针对编码块的帧内预测处理，从而生成预测图像。

运动补偿部24实施如下处理：使用由运动补偿预测帧存储器29存储的1帧以上的参照图像，根据从切换开关22输出的帧之间预测参数，实施针对编码块的运动补偿预测处理，从而生成预测图像。

另外，由切换开关22、帧内部预测部23以及运动补偿部24构成了预测图像生成单元。

逆量化/逆变换部25实施如下处理：使用从可变长解码部21输出的预测差分编码参数中包含的量化参数，对从可变长解码部21输出的与编码块有关的压缩数据进行逆量化，按照该预测差分编码参数中包含的变换块尺寸单位，实施逆量化的压缩数据的逆变换处理（例如，逆DCT（逆离散余弦变换）、逆KL变换等逆变换处理），从而将逆变换处理后的压缩数据作为解码预测差分信号（表示压缩前的差分图像的信号）输出。另外，逆量化/逆变换部26构成了差分图像生成单元。

加法部26实施如下处理：将从逆量化/逆变换部25输出的解码预测差分信号和表示由帧内部预测部23或者运动补偿部24生成的预测图像的预测信号相加，生成表示解码图像的解码图像信号。另外，加法部26构成了解码图像生成单元。

帧内部预测用存储器27是RAM等记录介质，作为由帧内部预测部23在下次的帧内部预测处理中使用的图像，存储由加法部26生成的解码图像信号表示的解码图像。

环路滤波器部28实施如下处理：补偿由加法部26生成的解码图像信号中包含的编码失真，将编码失真补偿后的解码图像信号表示的解码图像作为参照图像输出到运动补偿预测帧存储器29，并且将该解码图像作为再生图像输出到外部。

运动补偿预测帧存储器29是RAM等记录介质，作为由运动补偿部24在下次的运动补偿预测处理中使用的参照图像，存储由环路滤波器部28进行滤波处理后的解码图像。

在图10中，设想了作为运动图像解码装置的构成要素的可变长解码部21、切换开关22、帧内部预测部23、运动补偿部24、逆量化/逆变换部25、加法部26以及环路滤波器部28的每一个由专用的硬件（例如，安装了CPU的半导体集成电路、或者单片式微型计算机等）构成的例子，但在运动图像解码装置由计算机等构成的情况下，也可以将记述了可变长解码部21、切换开关22、帧内部预测部23、运动补偿部24、逆量化/逆变换部25、加法部26以及环路滤波器部28的处理内容的程序的全部或者一部分存储到该计算机的存储器，该计算机的CPU执行该存储器中存储的程序。

图11是示出本发明的实施方式1的运动图像解码装置的处理内容的流程图。

该实施方式1的运动图像编码装置的特征在于，与影像信号的空间/时间方向的局部性的变化适应地，将影像信号分割为各种尺寸的区域来进行帧内/帧间自适应编码。

一般，影像信号具有信号的复杂度在空间/随时间局部地变化的特性，如果在空间上观察，在某特定的影像帧上，例如，有如天空、壁等那样在比较宽的图像区域中具有均匀的信号特性的图样，也有在包括人物、细致的纹理的绘画等中、在小的图像区域内混合存在具有复杂的纹理图案的图样。

即使随时间观察，关于天空、壁，时间方向的图样的局部上变化小，但关于活动的人物、物体，其轮廓随时间进行刚体/非刚体的运动，所以随时间的变化大。

在编码处理中，进行如下处理：通过时间/空间性的预测，生成信号功率、熵小的预测差分差信号，来削减整体的符号量的处理，但只要能够将预测处理中使用的预测参数均匀地应用于尽可能大的图像信号区域，就能够减小预测参数的符号量。

另一方面，如果针对在时间/空间上变化大的图像信号图案，将同一预测参数应用于大的图像区域，则预测错误增加，所以无法削减预测差分信号的符号量。

因此，在时间/空间上变化大的区域中，优选即使减小预测对象的区域来增加预测处理中使用的预测参数的数据量，也降低预测差分信号的功率/熵。

为了进行与这样的影像信号的一般的性质相适应的编码处理，在该实施方式1的运动图像编码装置中，采用了如下结构：从规定的最大块尺寸层次性地分割影像信号的区域，针对每个分割区域使预测处理、预测差分的编码处理自适应。

关于该实施方式1的运动图像编码装置作为处理对象的影像信号，除了由亮度信号和2个色差信号构成的YUV信号、从数字摄像元件输出的RGB信号等任意的颜色空间的彩色影像信号以外，还有单色图像信号、红外线图像信号等影像帧由水平/垂直二维的数字采样（像素）列构成的任意的影像信号。

各像素的灰度既可以是8比特，也可以是10比特、12比特等灰度。

但是，在以下的说明中，只要没有特别限定，则设为所输入的影像信号是YUV信号。另外，设为2个色差分量U、V是针对亮度分量Y进行了子采样的4：2：0格式的信号。

另外，将与影像的各帧对应的处理数据单位称为“图片”，在该实施方式1中，将“图片”设为进行了逐次扫描（逐行扫描）的影像帧的信号而进行说明。但是，在影像信号是隔行扫描信号的情况下，“图片”也可以是作为构成影像帧的单位的场图像信号。

接下来，说明动作。

最初，说明图1的运动图像编码装置的处理内容。

首先，编码控制部1决定成为实施帧内部预测处理（帧内预测处理）或者运动补偿预测处理（帧间预测处理）时的处理单位的编码块的最大尺寸，并且决定最大尺寸的编码块被层次性地分割时的上限的层次数（图2的步骤ST1）。

作为编码块的最大尺寸的决定方法，例如，考虑针对所有图片，决定为与输入图像的分辨率对应的尺寸的方法。

另外，考虑如下方法等：将输入图像的局部性的运动的复杂度的差异作为参数预先进行定量化，在运动剧烈的图片中，将最大尺寸决定为小的值，在运动少的图片中，将最大尺寸决定大的值。

考虑如下方法：关于上限的层次数，例如设定为输入图像的运动越剧烈，使层次数越深，使得能够检测更细致的运动，如果输入图像的运动少，则设定为抑制层次数。

另外，编码控制部1从可利用的1个以上的编码模式（M种帧内部编码模式、N种帧之间编码模式）中，选择与被层次性地分割的各个编码块对应的编码模式（步骤ST2）。关于预先准备的M种帧内部编码模式，将后述。

但是，在由后述的块分割部2层次性地分割的各个编码块被进一步分割为分段单位的情况下，能够选择与各个分段对应的编码模式。

以下，在该实施方式1中，设为各个编码块被进一步分割为分段单位而进行说明。

由编码控制部1进行的编码模式的选择方法是公知的技术，所以省略详细的说明，但例如，有如下方法等：使用可利用的任意的编码模式，实施针对编码块的编码处理来验证编码效率，在可利用的多个编码模式中，选择编码效率最佳的编码模式。

另外，编码控制部1针对各个编码块中包含的每个分段，决定对差分图像进行压缩时使用的量化参数以及变换块尺寸，并且决定实施预测处理时使用的帧内部预测参数或者帧之间预测参数。

编码控制部1将包括量化参数以及变换块尺寸的预测差分编码参数输出到变换/量化部7、逆量化/逆变换部8以及可变长编码部13。另外，将预测差分编码参数根据需要输出到帧内部预测部4。

如果输入了表示输入图像的影像信号，则块分割部2将该输入图像分割为由编码控制部1决定的最大尺寸的编码块，并且直至到达由编码控制部1决定的上限的层次数，对该编码块层次性地进行分割。另外，将该编码块分割为分段单位（步骤ST3）。

此处，图3是示出最大尺寸的编码块被层次性地分割为多个编码块的情况的说明图。

在图3的例子中，最大尺寸的编码块是第0层次的编码块B⁰，在亮度分量中具有（L⁰，M⁰）的尺寸。

另外，在图3的例子中，将最大尺寸的编码块B⁰作为出发点，通过四叉树构造，直至另外决定的规定的深度，层次性地进行分割，从而得到编码块Bⁿ。

在深度n中，编码块Bⁿ是尺寸（Lⁿ，Mⁿ）的图像区域。

其中，Lⁿ和Mⁿ既可以相同也可以不同，但在图3的例子中示出了Lⁿ=Mⁿ的情形。

以后，将编码块Bⁿ的尺寸定义为编码块Bⁿ的亮度分量中的尺寸（Lⁿ，Mⁿ）。

在块分割部2中，进行四叉树分割，所以（Lⁿ⁺¹，Mⁿ⁺¹）=（Lⁿ/2，Mⁿ/2）始终成立。

其中，在如RGB信号等那样，所有颜色分量具有同一采样数的彩色影像信号（4：4：4格式）中，所有颜色分量的尺寸成为（Lⁿ，Mⁿ），但在处理4：2：0格式的情况下，对应的色差分量的编码块的尺寸是（Lⁿ/2，Mⁿ/2）。

以后，将在第n层次的编码块Bⁿ中可选择的编码模式记载为m（Bⁿ）。

在由多个颜色分量构成的彩色影像信号的情况下，编码模式m（Bⁿ）也可以构成为针对各颜色分量的每一个，分别使用个别的模式，但以后，只要没有特别限定，设为指示针对YUV信号、4：2：0格式的编码块的亮度分量的编码模式而进行说明。

在编码模式m（Bⁿ）中，有一个至多个帧内部编码模式（总称为“INTRA”）、一个至多个帧之间编码模式（总称为“INTER”），编码控制部1如上所述，从在该图片中可利用的所有编码模式或者其子组中，选择针对编码块Bⁿ编码效率最佳的编码模式。

编码块Bⁿ如图3所示被进一步分割为一个至多个预测处理单位（分段）。

以后，将属于编码块Bⁿ的分段记载为P_i ⁿ（i：第n层次中的分段编号）。图8是示出属于编码块Bⁿ的分段P_i ⁿ的说明图。

在编码模式m（Bⁿ）中，作为信息包括如何分割属于编码块Bⁿ的分段P_i ⁿ。

关于分段P_i ⁿ，全部依照编码模式m（Bⁿ）进行预测处理，但能够针对每个分段P_i ⁿ，选择个别的预测参数。

编码控制部1针对最大尺寸的编码块，例如，生成图4所示那样的块分割状态，确定编码块Bⁿ。

图4（a）的斜线部分表示分割后的分段的分布，并且，在图4（b）中，通过四叉树图形表示对层次分割后的分段分配编码模式m（Bⁿ）的状况。

在图4（b）中，□所包围的节点表示分配了编码模式m（Bⁿ）的节点（编码块Bⁿ）。

在切换开关3中，如果编码控制部1选择了帧内部编码模式（m（Bⁿ）∈INTRA），则将属于由块分割部2分割出的编码块Bⁿ的分段P_i ⁿ输出到帧内部预测部4，如果编码控制部1选择了帧之间编码模式（m（Bⁿ）∈INTER），则将属于该编码块Bⁿ的分段P_i ⁿ输出到运动补偿预测部5。

帧内部预测部4如果从切换开关3接收到属于编码块Bⁿ的分段P_i ⁿ（步骤ST4），则根据由编码控制部1决定的帧内部预测参数，实施针对各分段P_i ⁿ的帧内部预测处理，从而生成帧内部预测图像（P_i ⁿ），关于具体的处理内容，将后述（步骤ST5）。

以下，在该说明书中，设为P_i ⁿ表示分段，（P_i ⁿ）表示分段P_i ⁿ的预测图像。

关于帧内部预测图像（P_i ⁿ）的生成中使用的帧内部预测参数，即使在运动图像解码装置侧，也需要生成完全相同的帧内部预测图像（P_i ⁿ），所以通过可变长编码部13复用到比特流。

另外，也可以构成为能够选择为帧内部预测参数的帧内部预测方向数根据成为处理对象的块的尺寸而不同。

能够构成为在大尺寸的分段中，帧内部预测的效率降低，所以减少可选择的帧内部预测方向数，在小尺寸的分段中，增加可选择的帧内部预测方向数。

例如，也可以构成为在4×4像素分段、8×8像素分段中，设为34方向，在16×16像素分段中，设为17方向，在32×32像素分段中，设为9方向等。

运动补偿预测部5如果从切换开关3接收到属于编码块Bⁿ的分段P_i ⁿ（步骤ST4），则根据由编码控制部1决定的帧之间预测参数，实施针对各分段P_i ⁿ的帧之间预测处理，从而生成帧之间预测图像（P_i ⁿ）（步骤ST6）。

即，运动补偿预测部5使用由运动补偿预测帧存储器12存储的1帧以上的参照图像，根据从编码控制部1输出的帧之间预测参数，实施针对该编码块的运动补偿预测处理，从而生成帧之间预测图像（P_i ⁿ）。

关于帧之间预测图像（P_i ⁿ）的生成中使用的帧之间预测参数，即使在运动图像解码装置侧，也需要生成完全相同的帧之间预测图像（P_i ⁿ），所以通过可变长编码部13复用到比特流。

减法部6如果从帧内部预测部4或者运动补偿预测部5接收到预测图像（P_i ⁿ），则从属于由块分割部2分割出的编码块Bⁿ的分段P_i ⁿ，减去该预测图像（P_i ⁿ），从而生成表示该差分图像的预测差分信号e_i ⁿ（步骤ST7）。

在变换/量化部7中，如果减法部6生成了预测差分信号e_i ⁿ，则按照从编码控制部1输出的预测差分编码参数中包含的变换块尺寸单位，实施针对该预测差分信号e_i ⁿ的变换处理（例如，DCT（离散余弦变换）、预先对特定的学习序列进行了基底设计的KL变换等正交变换处理），并且使用该预测差分编码参数中包含的量化参数，对该预测差分信号e_i ⁿ的变换系数进行量化，而将作为量化后的变换系数的差分图像的压缩数据输出到逆量化/逆变换部8以及可变长编码部13（步骤ST8）。

逆量化/逆变换部8如果从变换/量化部7接收到压缩数据，则使用从编码控制部1输出的预测差分编码参数中包含的量化参数，对该压缩数据进行逆量化，按照该预测差分编码参数中包含的变换块尺寸单位，实施逆量化的压缩数据的逆变换处理（例如，逆DCT（逆离散余弦变换）、逆KL变换等逆变换处理），从而将逆变换处理后的压缩数据作为局部解码预测差分信号输出到加法部9（步骤ST9）。

加法部9如果从逆量化/逆变换部8接收到局部解码预测差分信号，则相加该局部解码预测差分信号、和表示由帧内部预测部4或者运动补偿预测部5生成的预测图像（P_i ⁿ）的预测信号，从而生成表示局部解码分段图像或者作为其集合的局部解码编码块图像（以下，称为“局部解码图像”）的局部解码图像信号，将该局部解码图像信号输出到环路滤波器部11（步骤ST10）。

另外，在帧内部预测用存储器10中，为了在帧内部预测中使用，存储该局部解码图像。

环路滤波器部11如果从加法部9接收到局部解码图像信号，则补偿该局部解码图像信号中包含的编码失真，将编码失真补偿后的局部解码图像信号表示的局部解码图像作为参照图像，存储到运动补偿预测帧存储器12（步骤ST11）。

另外，对于由环路滤波器部11进行的滤波处理，既可以按照所输入的局部解码图像信号的最大编码块或者各个编码块单位进行，也可以在输入了与1画面量的宏块相当的局部解码图像信号之后集中1画面量而进行。

在针对属于由块分割部2分割出的所有编码块Bⁿ的分段P_i ⁿ的处理完成之前，重复实施步骤ST4～ST10的处理（步骤ST12）。

可变长编码部13对从变换/量化部7输出的压缩数据、从编码控制部1输出的编码模式以及预测差分编码参数、以及从帧内部预测部4输出的帧内部预测参数或者从运动补偿预测部5输出的帧之间预测参数进行可变长编码，生成复用了该压缩数据、编码模式、预测差分编码参数、帧内部预测参数/帧之间预测参数的编码数据的比特流（步骤ST13）。

接下来，具体说明帧内部预测部4的处理内容。

图5是示出在属于编码块Bⁿ的各分段P_i ⁿ中可选的帧内部预测参数（帧内部预测模式）的一个例子的说明图。

在图5中，示出了与帧内部预测模式对应的预测方向矢量，被设计为随着可选的帧内部预测模式的个数增加，预测方向矢量彼此的相对角度变小。

此处，说明帧内部预测部4根据针对分段P_i ⁿ的亮度信号的帧内部预测参数（帧内部预测模式），生成该亮度信号的帧内部预测信号的帧内部处理。

将分段P_i ⁿ的尺寸设为l_i ⁿ×m_i ⁿ像素。

图6是示出在l_i ⁿ=m_i ⁿ=4的情况下生成分段P_i ⁿ内的像素的预测值时使用的像素的一个例子的说明图。

在图6中，将与分段P_i ⁿ邻接的已编码的上分段的像素（（2×l_i ⁿ+1）个像素）、和左分段的像素（（2×m_i ⁿ）个像素）设为预测中使用的像素，但预测中使用的像素可以多于、也可以少于图6所示的像素。

另外，在图6中，在预测中使用了邻接的1行或者1列量的像素，但在预测中也可以使用2行或者2列量的像素、或者其以上的像素。

帧内部预测部4在针对分段P_i ⁿ的帧内部预测模式的索引值是2（平均值预测）的情况下，将上分段的邻接像素和左分段的邻接像素的平均值作为分段P_i ⁿ内的像素的预测值，生成预测图像。

在帧内部预测模式的索引值是2（平均值预测）以外的情况下，根据索引值表示的预测方向矢量v_p=（dx，dy），生成分段P_i ⁿ内的像素的预测值。

如果将生成预测值的像素（预测对象像素）的分段P_i ⁿ内的相对坐标（以分段的左上像素为原点）设为（x，y），则预测中使用的参照像素的位置成为下述所示的L，与邻接像素的交点。

$L=\left(\begin{array}{c}x\\ y\end{array}\right)+k{v}_p$

其中，k是正的标量值

在参照像素处于整数像素位置的情况下，将该整数像素设为预测对象像素的预测值。在参照像素不处于整数像素位置的情况下，将根据与参照像素邻接的整数像素生成的插值像素作为预测值。

在图6的例子中，参照像素不处于整数像素位置，所以将与参照像素邻接的2个像素的平均值作为预测值。

另外，不仅可以根据邻接的2个像素、也可以根据邻接的2个像素以上的像素生成插值像素而作为预测值。

帧内部预测部4通过同样的步骤，生成针对分段P_i ⁿ内的亮度信号的所有像素的预测像素，输出该生成的帧内部预测图像（P_i ⁿ）。关于帧内部预测图像（P_i ⁿ）的生成中使用的帧内部预测参数，如上所述，为了复用到比特流，被输出到可变长编码部13。

针对分段P_i ⁿ内的亮度信号的帧内部预测图像（P_i ⁿ）如上所述地生成，但如图7所示，关于分段P_j ^n-1（j：分段P_i ⁿ的第n-1层次中的上位分段的分段编号）内的亮度信号，同样地，生成帧内部预测图像（P_j ^n-1）。

此处，如图6所示，构成为作为针对分段P_i ⁿ内的亮度信号的帧内部预测图像（P_i ⁿ），除了根据与分段P_i ⁿ邻接的参照像素的邻接像素生成的帧内部预测图像以外，还能够将仅切出针对上位分段P_j ^n-1的帧内部预测图像（P_j ^n-1）中的、与分段P_i ⁿ相应的部分而得到的帧内部预测图像选择为帧内部预测图像（P_i ⁿ）的候补。

即，在如图9所示，作为帧内部预测模式，还包括平均值预测而具备9个方向的帧内部预测模式的情况下，如果存在上位分段，则进一步追加9个预测模式。

帧内部预测是根据既知的区域预测画面内的未知的区域的单元，但在图像信号中，关于空间方向，局部性的变化大，所以能够通过从不同的性质的预测图像中进行选择来提高预测效率。

因此，在如上所述构成而增加帧内部预测模式的方向数的情况下，相比于增加帧内部预测模式的情况，所生成的预测图像的相互类似度降低，能够从富于变化的预测图像中进行选择，所以能够增加通过使帧内部预测模式数增加而实现的编码效率改善的程度。

另外，在本发明的方法中，通过切取上位分段的预测图像的一部分，能够生成下位分段的预测图像，所以相比于通过使预测方向增加而增加预测模式的情况，还具有能够削减运算量这样的效果。

针对分段P_i ⁿ的色差信号，通过与亮度信号同样的步骤，也实施基于帧内部预测参数（帧内部预测模式）的帧内部预测处理，将帧内部预测图像的生成中使用的帧内部预测参数输出到可变长编码部13。

可变长编码部13如上所述，对从帧内部预测部4输出的帧内部预测参数进行可变长编码，将该帧内部预测参数的码字复用到比特流，但也可以构成为在对帧内部预测参数进行编码时，从多个方向性预测的预测方向矢量中，选择代表性的预测方向矢量（预测方向代表矢量），用预测方向代表矢量的索引（预测方向代表索引）和表示与预测方向代表矢量的差分的索引（预测方向差分索引）来表示帧内部预测参数，针对各个索引的每一个，进行与概率模型对应的算术编码等霍夫曼（Huffman）编码，从而削减符号量而进行编码。

接下来，说明图10的运动图像编码装置的处理内容。

如果输入了由图1的运动图像编码装置生成的比特流，则可变长解码部21实施针对该比特流的可变长解码处理（图11的步骤ST21），按照由1帧以上的图片构成的序列单位或者图片单位对帧尺寸进行解码。

如果对帧尺寸进行了解码，则可变长解码部21通过与运动图像编码装置同样的步骤，决定由图1的运动图像编码装置决定的最大编码块尺寸（成为实施帧内部预测处理或者运动补偿预测处理时的处理单位的编码块的最大尺寸）、和分割层次数的上限（从最大尺寸的编码块层次性地分割的编码块的层次数）（步骤ST22）。

例如，在编码块的最大尺寸针对所有图片被决定为与输入图像的分辨率对应的尺寸的情况下，根据之前解码的帧尺寸，通过与图1的运动图像编码装置同样的步骤，决定编码块的最大尺寸。

在通过运动图像编码装置将编码块的最大尺寸以及编码块的层次数复用到比特流的情况下，从该比特流对编码块的最大尺寸以及编码块的层次数进行解码。

如果决定了编码块的最大尺寸以及编码块的层次数，则可变长解码部21以最大编码块为出发点，掌握各编码块的层次性的分割状态，从而在比特流中复用的编码数据中，确定与各编码块有关的编码数据，从该编码数据针对对各编码块分配的编码模式进行解码。

然后，可变长解码部21参照属于该编码模式中包含的编码块Bⁿ的分段P_i ⁿ的分割信息，在比特流中复用的编码数据中，确定与各分段P_i ⁿ有关的编码数据（步骤ST23）。

可变长解码部21从与各分段P_i ⁿ有关的编码数据，对压缩数据、预测差分编码参数、帧内部预测参数/帧之间预测参数进行可变长解码，将该压缩数据以及预测差分编码参数输出到逆量化/逆变换部25，并且将编码模式以及帧内部预测参数/帧之间预测参数输出到切换开关22（步骤ST24）。

例如，在预测方向代表索引和预测方向差分索引被复用到比特流的情况下，通过与各个概率模型对应的算术解码等对该预测方向代表索引和预测方向差分索引进行熵解码，根据该预测方向代表索引和预测方向差分索引确定帧内部预测参数。

由此，即使在运动图像编码装置侧削减了帧内部预测参数的符号量的情况下，也能够对帧内部预测参数正确地进行解码。

切换开关22在属于从可变长解码部21输出的编码块Bⁿ的分段P_i ⁿ的编码模式是帧内部编码模式的情况下，将从可变长解码部21输出的帧内部预测参数输出到帧内部预测部23，在该编码模式是帧之间编码模式的情况下，将从可变长解码部21输出的帧之间预测参数输出到运动补偿部24。

帧内部预测部23如果从切换开关22接收到帧内部预测参数（步骤ST25），则与图1的帧内部预测部4同样地，根据该帧内部预测参数，实施针对各分段P_i ⁿ的帧内部预测处理，从而生成帧内部预测图像（P_i ⁿ）（步骤ST26）。

即，帧内部预测部23使用由帧内部预测用存储器27存储的与分段P_i ⁿ邻接的已解码的像素、或者与该分段P_i ⁿ的上位层次的分段P_j ^n-1邻接的已解码的像素，实施基于该帧内部预测参数的针对分段P_i ⁿ的帧内预测处理，从而生成预测图像（P_i ⁿ）。

运动补偿部24如果从切换开关22接收到帧之间预测参数（步骤ST25），则与图1的运动补偿预测部5同样地，根据该帧之间预测参数，实施针对各分段P_i ⁿ的帧之间预测处理，从而生成帧之间预测图像（P_i ⁿ）（步骤ST27）。

即，运动补偿部24使用由运动补偿预测帧存储器29存储的1帧以上的参照图像，实施基于该帧之间预测参数的针对分段P_i ⁿ的运动补偿预测处理，从而生成帧之间预测图像（P_i ⁿ）。

逆量化/逆变换部25如果从可变长解码部21接收到预测差分编码参数，则使用该预测差分编码参数中包含的量化参数，对从可变长解码部21输出的与编码块有关的压缩数据进行逆量化，按照该预测差分编码参数中包含的变换块尺寸单位，实施逆量化的压缩数据的逆变换处理（例如，逆DCT（逆离散余弦变换）、逆KL变换等逆变换处理），从而将逆变换处理后的压缩数据作为解码预测差分信号（表示压缩前的差分图像的信号）输出到加法部26（步骤ST28）。

加法部26通过相加从逆量化/逆变换部25输出的解码预测差分信号、和表示由帧内部预测部23或者运动补偿部24生成的预测图像（P_i ⁿ）的预测信号，生成表示解码分段图像或者作为其集合的解码图像的解码图像信号，将该解码图像信号输出到环路滤波器部28（步骤ST29）。

另外，在帧内部预测用存储器27中，为了用于帧内部预测，存储该解码图像。

环路滤波器部28如果从加法部26接收到解码图像信号，则补偿该解码图像信号中包含的编码失真，将编码失真补偿后的解码图像信号表示的解码图像作为参照图像存储到运动补偿预测帧存储器29，并且将该解码图像作为再生图像输出（步骤ST30）。

另外，关于由环路滤波器部28执行的滤波处理，既可以按照所输入的解码图像信号的最大编码块或者各个编码块单位进行，也可以在输入了与1画面量的宏块相当的解码图像信号之后集中1画面量而进行。

在针对所有属于编码块Bⁿ的分段P_i ⁿ的处理完成之前，重复实施步骤ST23～ST29的处理（步骤ST31）。

如以上说明，根据该实施方式1，构成为运动图像编码装置的帧内部预测部4在由编码控制部1选择的编码模式是帧内部预测模式的情况下，通过实施使用与由块分割部2分割出的分段P_i ⁿ邻接的像素、或者与该分段P_i ⁿ的上位层次的分段P_j ^n-1邻接的像素的帧内预测处理来生成预测图像（P_i ⁿ），所以起到能够以少的运算量提高编码效率的改善程度的效果。

另外，根据该实施方式1，构成为运动图像解码装置的帧内部预测部23在由可变长解码部21可变长解码了的编码模式是帧内部预测模式的情况下，通过实施使用由帧内部预测用存储器27存储的与分段P_i ⁿ邻接的已解码的像素、或者与该分段P_i ⁿ的上位层次的分段P_j ^n-1邻接的已解码的像素的帧内预测处理来生成预测图像（P_i ⁿ），所以起到能够从实现了编码效率的改善的编码数据正确地解码运动图像的效果。

实施方式2.

在上述在实施方式1中，示出了运动图像编码装置的可变长编码部13对编码对象的分段中的帧内部预测参数进行可变长编码的例子，但也可以对表示编码对象的分段中的帧内部预测参数是否与和该分段邻接的分段中的帧内部预测参数相同的帧内部合并（merge）标志进行可变长编码，并且如果该帧内部预测参数相同，则对确定该邻接的分段的帧内部合并方位（direction）进行可变长编码，如果该帧内部预测参数不同，则对编码对象的分段中的帧内部预测参数进行可变长编码。

另外，在上述在实施方式1中，示出了运动图像解码装置的可变长解码部21从与解码对象的分段有关的编码数据，对该分段中的帧内部预测参数进行可变长解码的例子，但也可以从与解码对象的分段有关的编码数据，对表示该分段和邻接分段中的帧内部预测参数是否相同的帧内部合并标志进行可变长解码，并且在该帧内部合并标志表示该分段和邻接分段中的帧内部预测参数相同的意思的情况下，从该编码数据对确定邻接分段的帧内部合并方位进行可变长解码，在该帧内部合并标志表示该分段和邻接分段中的帧内部预测参数不同的意思的情况下，从该编码数据对该分段中的帧内部预测参数进行可变长解码。

在运动图像编码装置以及运动图像解码装置中，帧内部预测参数的编码以及解码以外的部分与上述实施方式1同样，所以在该实施方式2中，仅说明帧内部预测参数的编码以及解码。

该实施方式2中的运动图像编码装置的可变长编码部13如图12（A）所示，在对编码对象（处理对象）的分段P_i ⁿ中的帧内部预测参数进行可变长编码时，对表示该帧内部预测参数是否与和分段P_i ⁿ邻接的分段的帧内部预测参数相同的帧内部合并标志进行可变长编码。

另外，可变长编码部13在该帧内部合并标志表示是相同的帧内部预测参数的意思的情况下，对表示在邻接的分段中与哪个分段的帧内部预测参数相同的帧内部合并方位进行可变长编码。

另一方面，在该帧内部合并标志表示并非相同的帧内部预测参数的意思的情况下，如图12（B）所示，对编码对象的分段P_i ⁿ中的帧内部预测参数进行可变长编码（在该情况下，成为与上述实施方式1同样的编码）。

例如，如图13（A）所示，作为邻接分段，在将左侧的分段、和上侧的分段例举为候补的情况下，作为帧内部合并方位，成为表示是否与左侧的分段相同、是否与上侧的分段相同的标志。

如图13（B）所示，作为邻接分段，将左侧的分段、左上侧的分段、以及上侧的分段例举为候补，还能够构成为表示与3个候补中的哪一个相同的标志。

当然，在成为对象的邻接分段彼此的帧内部预测参数全部相同的情况下，无需对帧内部合并方位进行编码。因此，在这样的情况下，也可以构成为如图12（D）所示，不对帧内部合并方位进行编码。

另外，还能够构成为在有与上侧或者左侧邻接的多个分段的情况下，例如，在从左上方向远离的方向上对分段进行扫描，将以帧内部预测模式进行了编码的最初的分段分别作为上侧或者左侧的邻接分段。

另外，在邻接分段中可选的帧内部预测方向数NumN、和在编码对象的分段中可选的帧内部预测方向数NumC不相等的情况下，能够如下那样构成。

即，在NumN<NumC的情况下，从编码对象的分段P_i ⁿ的多个方向性预测的预测方向矢量中，使代表性的预测方向矢量与邻接分段中的可选的帧内部预测方向的一个对应，从而判断帧内部预测参数是否一致。

在该情况下，如图12（C）所示，在判断为帧内部预测参数一致的情况下，进而对表示在编码对象的分段P_i ⁿ中选择了对应的多个帧内部预测方向中的哪一个的帧内部预测方向残差参数进行编码。

另一方面，在NumN>NumC的情况下，从邻接分段的多个方向性预测的预测方向矢量中，使代表性的预测方向矢量与编码对象的分段P_i ⁿ中的可选的帧内部预测方向的一个对应，从而判断帧内部预测参数是否一致。

在该情况下，无需对帧内部预测方向残差参数进行编码。

关于帧内部预测模式，考虑为具有依赖于编码对象图像的纹理的方向性，所以局部地，易于出现类似的预测模式。因此，通过使用帧内部合并标志和帧内部合并方位，对帧内部预测参数进行编码，能够以更少的信息量对帧内部预测参数进行编码。

该实施方式2中的运动图像解码装置的可变长解码部21如图12（A）所示，在对解码对象（处理对象）的分段P_i ⁿ中的帧内部预测参数进行可变长解码时，对表示该帧内部预测参数是否与和分段P_i ⁿ邻接的分段的帧内部预测参数相同的帧内部合并标志进行可变长解码。

另外，可变长解码部21在该帧内部合并标志表示是相同的帧内部预测参数的意思的情况下，对表示在邻接的分段中，与哪个分段的帧内部预测参数相同的帧内部合并方位进行可变长解码。

另一方面，在该帧内部合并标志表示并非相同的帧内部预测参数的意思的情况下，如图12（B）所示，对解码对象的分段P_i ⁿ中的帧内部预测参数进行可变长解码（在该情况下，成为与上述实施方式1同样的解码）。

例如，如图13（A）所示，在作为邻接分段将左侧的分段、和上侧的分段例举为候补的情况下，作为帧内部合并方位，成为表示是否与左侧的分段相同、是否与上侧的分段相同的标志。

或者，如图13（B）所示，在作为邻接分段将左侧的分段、左上侧的分段、以及上侧的分段例举为候补的情况下，成为表示与3个候补中的哪一个相同的标志。

当然，在成为对象的邻接分段彼此的帧内部预测参数全部相同的情况下，无需对帧内部合并方位进行解码。因此，在这样的情况下，也可以如图12（D）所示，不对帧内部合并方位进行解码。

另外，也可以在有与上侧或者左侧邻接的多个分段的情况下，例如，在从左上方向远离的方向上对分段进行扫描，将以帧内部预测模式进行了编码的最初的分段分别作为上侧或者左侧的邻接分段。

另外，在邻接分段中可选的帧内部预测方向数NumN、和在解码对象的分段中可选的帧内部预测方向数NumC不相等的情况下，能够如下那样构成。

即，在NumN<NumC的情况下，从解码对象的分段P_i ⁿ的多个方向性预测的预测方向矢量中，使代表性的预测方向矢量与邻接分段中的可选的帧内部预测方向的一个对应，从而判断帧内部预测参数是否一致。

在该情况下，在如图12（C）所示，判断为帧内部预测参数一致的情况下，进而，对表示在解码对象的分段P_i ⁿ中选择了对应的多个帧内部预测方向中的哪一个的帧内部预测方向残差参数进行编码。

另一方面，在NumN>NumC的情况下，从邻接分段的多个方向性预测的预测方向矢量中，使代表性的预测方向矢量与解码对象的分段P_i ⁿ中的可选的帧内部预测方向的一个对应，从而判断帧内部预测参数是否一致。

在该情况下，无需对帧内部预测方向残差参数进行解码。

如果这样构成，则能够对由该实施方式2的运动图像编码装置编码了的帧内部预测参数适当地进行解码。

当然，本实施方式2的可变长编码/解码单元还能够应用于该处理对象分段、其邻接的分段并非在本实施方式1中说明的切出上位层次的帧内部预测图像的一部分的预测模式的情况。

另外，本申请发明能够在该发明的范围内实现各实施方式的自由的组合、或者各实施方式的任意的构成要素的变形、或者各实施方式中的任意的构成要素的省略。

产业上的可利用性

如以上所述，本发明的运动图像编码装置、运动图像解码装置、运动图像编码方法以及运动图像解码方法能够以少的运算量、符号量提高利用方向性预测的模式数增加的编码效率的改善程度，所以适用于对运动图像高效地进行编码的运动图像编码装置以及运动图像编码方法、和对高效地编码了的运动图像进行解码的运动图像解码装置以及运动图像解码方法等。

Claims (9)

1.一种运动图像编码装置，其特征在于，具备：

编码控制单元，决定成为预测处理的处理单位的编码块的最大尺寸，并且决定最大尺寸的编码块被层次性地分割时的上限的层次数，从可利用的1个以上的编码模式中，选择与被层次性地分割的各个编码块对应的编码模式；

块分割单元，将输入图像分割为由所述编码控制单元决定的最大尺寸的编码块，并且直至到达由所述编码控制单元决定的上限的层次数，层次性地分割所述编码块；

预测图像生成单元，对由所述块分割单元分割出的编码块，实施与由所述编码控制单元选择的编码模式对应的预测处理，从而生成预测图像；

差分图像生成单元，生成由所述块分割单元分割的编码块和由所述预测图像生成单元生成的预测图像的差分图像；

图像压缩单元，对由所述差分图像生成单元生成的差分图像进行压缩，输出所述差分图像的压缩数据；以及

可变长编码单元，对从所述图像压缩单元输出的压缩数据以及由所述编码控制单元选择的编码模式进行可变长编码，生成复用了所述压缩数据以及所述编码模式的编码数据的比特流，

所述可变长编码单元除了压缩数据以及编码模式以外，还对由所述预测图像生成单元生成预测图像时使用的帧内部预测参数进行可变长编码，在将所述帧内部预测参数的编码数据复用到所述比特流的情况下，对表示由所述块分割单元分割出的分段中的帧内部预测参数是否与和所述分段邻接的分段中的帧内部预测参数相同的帧内部合并标志进行可变长编码，并且如果所述帧内部预测参数相同，则对确定所述邻接的分段的帧内部合并方位进行可变长编码，如果所述帧内部预测参数不同，则对由所述块分割单元分割出的分段中的帧内部预测参数进行可变长编码。

2.根据权利要求1所述的运动图像编码装置，其特征在于，

预测图像生成单元在由编码控制单元选择的编码模式是帧内部预测模式的情况下，实施使用与由块分割单元分割出的编码块邻接的像素、或者与所述编码块的上位层次的编码块邻接的像素的帧内预测处理，从而生成预测图像。

3.根据权利要求2所述的运动图像编码装置，其特征在于，

编码控制单元在由块分割单元分割出的编码块被进一步分割为分段的情况下，选择与各个分段所属的编码块对应的编码模式或者与各个分段对应的编码模式，

预测图像生成单元在由所述编码控制单元选择的编码模式是帧内部预测模式的情况下，实施使用与由所述块分割单元分割出的分段邻接的像素、或者与所述分段的上位层次的分段邻接的像素的帧内预测处理，从而生成预测图像。

4.根据权利要求3所述的运动图像编码装置，其特征在于，

在存在上位层次的编码块或者分段的情况下，在可利用的1个以上的编码模式中，准备使用与上位层次的编码块或者分段邻接的像素的帧内部编码模式，

预测图像生成单元在由编码控制单元选择了所述帧内部编码模式的情况下，实施使用与由块分割单元分割出的编码块或者分段的上位层次的编码块或者分段邻接的像素的帧内预测处理，从而生成预测图像。

5.一种运动图像解码装置，其特征在于，具备：

可变长解码单元，通过确定成为预测处理的处理单位的编码块的最大尺寸以及从最大尺寸的编码块被层次性地分割的编码块的层次数，在比特流中复用的编码数据中，确定与最大尺寸的编码块以及被层次性地分割的编码块有关的编码数据，从各个编码数据对与编码块有关的压缩数据以及编码模式进行可变长解码；

预测图像生成单元，通过对由所述可变长解码单元确定的编码块实施与所述编码模式对应的预测处理来生成预测图像；

差分图像生成单元，根据由所述可变长解码单元可变长解码了的与编码块有关的压缩数据，生成压缩前的差分图像；以及

解码图像生成单元，将由所述差分图像生成单元生成的差分图像和由所述预测图像生成单元生成的预测图像相加而生成解码图像，

所述可变长解码单元从与分段有关的编码数据，对表示该分段和邻接的分段中的帧内部预测参数是否相同的帧内部合并标志进行可变长解码，并且在所述帧内部合并标志表示该分段和所述邻接的分段中的帧内部预测参数相同的意思的情况下，从所述编码数据对确定所述邻接的分段的帧内部合并方位进行可变长解码，在所述帧内部合并标志表示该分段和所述邻接的分段中的帧内部预测参数不同的意思的情况下，从所述编码数据对该分段中的帧内部预测参数进行可变长解码。

6.根据权利要求5所述的运动图像解码装置，其特征在于，

预测图像生成单元在由可变长解码单元可变长解码了的编码模式是帧内部预测模式的情况下，实施使用与由所述可变长解码单元确定的编码块邻接的像素、或者与所述编码块的上位层次的编码块邻接的像素的帧内预测处理，从而生成预测图像。

7.根据权利要求6所述的运动图像解码装置，其特征在于，

可变长解码单元在层次性地分割了的编码块被进一步分割为分段的情况下，在比特流中复用的编码数据中，确定与所述分段有关的编码数据，从所述编码数据对与分段有关的压缩数据以及编码模式进行可变长解码，

预测图像生成单元在由所述可变长解码单元可变长解码了的编码模式是帧内部预测模式的情况下，实施使用与所述分段邻接的像素、或者与所述分段的上位层次的分段邻接的像素的帧内预测处理，从而生成预测图像。

8.一种运动图像编码方法，其特征在于，具备：

编码控制处理步骤，编码控制单元决定成为预测处理的处理单位的编码块的最大尺寸，并且决定最大尺寸的编码块被层次性地分割时的上限的层次数，从可利用的1个以上的编码模式中，选择与被层次性地分割的各个编码块对应的编码模式；

块分割处理步骤，块分割单元将输入图像分割为在所述编码控制处理步骤中决定的最大尺寸的编码块，并且直至达到在所述编码控制处理步骤中决定的上限的层次数，层次性地分割所述编码块；

预测图像生成处理步骤，预测图像生成单元对在所述块分割处理步骤中分割出的编码块，实施与在所述编码控制处理步骤中选择的编码模式对应的预测处理，从而生成预测图像；

差分图像生成处理步骤，差分图像生成单元生成在所述块分割处理步骤中分割出的编码块和在所述预测图像生成处理步骤中生成的预测图像的差分图像；

图像压缩处理步骤，图像压缩单元对在所述差分图像生成处理步骤中生成的差分图像进行压缩，输出所述差分图像的压缩数据；

可变长编码处理步骤，可变长编码单元对在所述图像压缩处理步骤中输出的压缩数据以及在所述编码控制处理步骤中选择的编码模式进行可变长编码，生成复用了所述压缩数据以及所述编码模式的编码数据的比特流，

在所述可变长编码处理步骤中，除了压缩数据以及编码模式以外，还对在所述预测图像生成处理步骤中生成预测图像时使用的帧内部预测参数进行可变长编码，将所述帧内部预测参数的编码数据复用到比特流的情况下，对表示在所述块分割处理步骤中分割出的分段中的帧内部预测参数是否与和所述分段邻接的分段中的帧内部预测参数相同的帧内部合并标志进行可变长编码，并且如果所述帧内部预测参数相同，则对确定所述邻接的分段的帧内部合并方位进行可变长编码，如果所述帧内部预测参数不同，则对在所述块分割处理步骤中分割出的分段中的帧内部预测参数进行可变长编码。

9.一种运动图像解码方法，其特征在于，具备：

可变长解码处理步骤，可变长解码单元通过确定成为预测处理的处理单位的编码块的最大尺寸以及从最大尺寸的编码块被层次性地分割的编码块的层次数，在比特流中复用的编码数据中，确定与最大尺寸的编码块以及被层次性地分割的编码块有关的编码数据，从各个编码数据对与编码块有关的压缩数据以及编码模式进行可变长解码；

预测图像生成处理步骤，预测图像生成单元对在所述可变长解码处理步骤中确定的编码块，实施与所述编码模式对应的预测处理，从而生成预测图像；

差分图像生成处理步骤，差分图像生成单元根据在所述可变长解码处理步骤中可变长解码了的与编码块有关的压缩数据，生成压缩前的差分图像；以及

解码图像生成处理步骤，解码图像生成单元将在所述差分图像生成处理步骤中生成的差分图像和在所述预测图像生成处理步骤中生成的预测图像相加而生成解码图像，

在所述可变长解码处理步骤中，从与分段有关的编码数据，对表示该分段和邻接的分段中的帧内部预测参数是否相同的帧内部合并标志进行可变长解码，并且在所述帧内部合并标志表示该分段和所述邻接的分段中的帧内部预测参数相同的意思的情况下，从所述编码数据对确定所述邻接的分段的帧内部合并方位进行可变长解码，在所述帧内部合并标志表示该分段和所述邻接的分段中的帧内部预测参数不同的意思的情况下，从所述编码数据对该分段中的帧内部预测参数进行可变长解码。

Images