CN102823253A - 图像编码装置和方法以及图像解码装置和方法 - Google Patents

Abstract

公开的图像编码装置使用较大的块，以降低编码数据的大小。边缘LMB确定单元（34）识别比所设定的块尺寸更小的边缘块。针对边缘块，LMB运动预测/补偿单元（35）确定以作为被识别为边缘块的非正方形区域的尺寸的预测块尺寸或者以作为水平地或竖直地将被识别为边缘块的区域划分成的多个非正方形区域中的每个的尺寸的预测块尺寸的编码效率。然后使用产生最高编码效率的预测块尺寸来生成预测图像数据。这避免针对边缘块使用小的较低水平的宏块预测块尺寸。从而，避免将边缘块分成许多用于编码的块。因此，降低了编码数据的大小。

Description

图像编码装置和方法以及图像解码装置和方法

技术领域

本发明涉及图像编码装置和图像编码方法，以及图像解码装置和图像解码方法。具体地，通过使用较大的块来减少编码数据的数据量。

背景技术

近年来，被配置成对图像信息进行数字式处理并对信息进行高效的传输和累积的装置正在普及至广播电台和一般家庭，其中，该装置例如与如MPEG的用于通过正交变换如离散余弦变换以及运动补偿的方式来进行压缩的***相适应。

具体地，MPEG2（ISO/IEC13818-2）被定义为通用图像编码***，并且目前广泛用于针对专业用途和消费用途的广泛应用。通过使用该MPEG2压缩***，例如，在具有720×480像素的标准分辨率的隔行扫描图像的情况下，可以通过分配4Mbps至8Mbps的代码量（比特率）来实现满意的图像质量。此外，在具有1920×1088像素的高分辨率的隔行扫描图像的情况下，可以通过分配18Mbps至22Mbps的代码量（比特率）来实现满意的图像质量。

MPEG2主要以适于广播用途的高图像质量编码为目标，但是不符合低于MPEG1的代码量（比特率），也就是更高压缩率的编码***。随着移动终端的普及，可料到对上述编码***的需求在未来会增加，而与此对应，进行了MPEG4编码***的标准化。关于图像编码***，其规范在1998年12月被批准为国际标准ISO/IEC14496-2。

此外，近年来，以最初用于电视会议用途的图像编码为目的，针对称为H.26L（ITU-T Q6/16 VCEG）的标准的规范化取得进展。与相关技术领域中的编码***如MPEG2或MPEG4相比，H.26L需要更多的计算量以用于编码和解码，但已知的是实现了更高的编码效率。此外，目前，作为针对MPEG4的活动的领域，虽然将该H.26L用作为基础，但是用于实现更高编码效率的标准化被实行为增强压缩视频编码的联合模型（Joint Model of Enhanced-Compression Video Coding）。对于标准化的时间表，已经在2003年3月建立了名为H.264和MPEG-4第10部分（高级视频编码（Advanced Video Coding），在下文中将称为“H.264/AVC”）的国际标准。

此外，作为其扩展，在2005年2月完成了对包括机构用途所需的编码工具的FRExt（保真度范围扩展）的标准化，例如RGB、4:2:2和4:4:4以及8×8DCT和在MPEG2中规定的量化矩阵。据此，通过使用H.264/AVC***，该***成为甚至连包括在电影中的胶片噪声都可以由其良好地再现的编码***，并有望用于广泛的应用，如Blu-Ray（商标）。

另外，现今，对还要更高的压缩率的编码的需要有所增加，其中，期望压缩大约4000×2000像素的图像或者期望在传输能力有限的环境如因特网中分布高清晰度图象。出于这个原因，如在NPL 1中那样，提出了进行帧内预测而宏块侧被设定为具有例如比MPEG2或H.264/AVC更大的32像素×32像素的尺寸。同样，如在NPL 2中那样，提出了进行帧内预测而宏块侧被设定为具有例如比MPEG2或H.264/AVC更大的32像素×32像素的尺寸。

也就是说，根据NPL 1和NPL 2，通过采用相对于宏块的层次结构，关于16×16像素的块或更小的块，维持了与H.264/AVC中的宏块的兼容性，并且更大的块被定义为其超集。

引用列表

非专利文献

NPL 1：Sung-Chang Lim，Hahyun Lee，Jinho Lee，Jongho Kim，Haechul Choi，Seyoon Jeong，Jin Soo Choi“Intra coding using extendedblock size”（ITU－电信标准化部门，研究组16问题6,视频编码专家组,第38次会议:伦敦，英国/日内瓦，瑞士，2009年7月1日至8日，D）

NPL2：Qualcomm Inc“Video Coding Using Extended Block1Sizes”（研究组16－投稿123，ITU－电信标准化部门，2009年1月）

发明内容

技术问题

顺便说一下，在使用具有扩展尺寸的宏块的情况下，取决于帧图像的沿着水平方向和竖直方向的像素数量，可能发生下述情况：其中，在图像的边缘部分侧生成不满足扩展尺度的宏块尺寸的区域。如果在扩展前在不满足扩展尺度的宏块尺寸的该区域中以宏块尺寸进行编码，则块的数量增加，而变得难以减少编码数据的数据量。

鉴于上述情况，根据本发明，其目的是提供一种可以借助于其通过使用较大的块来减少编码数据的数据量的图像编码装置和图像编码方法以及图像解码装置和图像解码方法。

问题的解决方案

本发明的第一方面在于一种对图像数据进行编码处理的图像编码装置，该装置包括：边缘块确定单元，被配置成在关于编码目标的图像设定了块的情况下，确定具有比该块的块尺寸更小的尺寸的边缘块；预测处理单元，被配置成当被边缘块确定单元确定为边缘块的区域被设定为目标时，检测与被确定为边缘块的区域的尺寸相对应的预测块尺寸，或者与通过沿着水平方向和竖直方向之一划分被确定为边缘块的区域而所获得的多个非正方形区域的尺寸相对应的预测块尺寸；以及编码单元，被配置成对图像数据和与对预测处理单元检测到的预测块尺寸进行的预测处理有关的预测模式信息进行编码，以生成编码流。

根据本发明，在对于编码目标的图像设定大于预定尺寸的块的情况下，针对每个帧或每个切片进行对具有比该块的块尺寸更小的尺寸的边缘块的确定。虽然被确定为该边缘块的非正方形区域例如被设定为目标，但是编码效率是以与被确定为边缘块的区域的尺寸相对应的预测块尺寸或以与通过沿着水平方向和竖直方向之一划分被确定为边缘块的区域而获得的多个非正方形区域的尺寸相对应的预测块尺寸而来确定的，并且以使编码效率提高的预测块尺寸进行编码。另外，对于被确定为边缘块的正方形区域和经划分而生成的正方形区域，对编码效率的确定是通过使用针对该块以具有比该块更小的尺寸的较低水平设定的预测块尺寸来进行的。此外，对其进行编码处理的图像数据和与对使编码效率提高的预测块尺寸的预测处理有关的预测模式信息受到无损编码，并且当要生成编码流时，在不取决于该块是否是边缘块来改变语法元素的情况下，生成编码流。

本发明的第二部分在于一种对图像数据进行编码处理的图像编码方法，该方法包括下述步骤：在针对编码目标的图像设定了块的情况下，确定具有比该块的块尺寸更小的尺寸的边缘块；当被确定为边缘块的区域被设定为目标时，检测与被确定为边缘块的区域的尺寸相对应的预测块尺寸，或者与通过沿着水平方向和竖直方向之一划分被确定为边缘块的区域而获得的多个非正方形区域的尺寸相对应的预测块尺寸；以及对图像数据和与对所检测到的预测块尺寸进行的预测处理有关的预测模式信息进行编码，并生成编码流。

本发明的第三个方面在于一种对通过编码图像数据所获得的编码流进行解码处理的图像解码装置，该装置包括：边缘块确定单元，被配置成基于解码目标图像的图像尺寸和对其进行解码处理的块的位置，来确定具有比该块的块尺寸更小的尺寸的边缘块；预测处理单元，被配置成在边缘块确定单元确定了边缘块的情况下，当被确定为边缘块的非正方形区域被设定为目标时，以与被确定为边缘块的区域的尺寸相对应的块尺寸，或者与通过沿着水平方向和竖直方向之一划分被确定为边缘块的区域而获得的区域的尺寸相对应的预测块尺寸，来生成用于对图像数据进行的解码处理的预测图像数据；以及解码单元，被配置成通过使用由预测处理单元生成的预测图像数据来解码该编码流。

根据本发明，基于解码目标图像的图像尺寸和对其进行解码处理的块的位置，针对每个帧或每个切片进行对具有比该块的块尺寸更小的尺寸的边缘块的确定。在边缘块被确定的情况下，基于通过对图像数据的解码处理而获得的块类型信息，当被确定为边缘块的区域被设定为目标时，确定预测块尺寸是被确定为边缘块的区域的尺寸还是通过沿着水平方向和竖直方向之一划分被确定为边缘块的区域而获得的区域的尺寸，并且以所确定的预测块尺寸生成用于对图像数据进行解码处理的预测图像数据。此外，在所确定的边缘块是正方形区域的情况下，基于通过对图像数据的解码处理所获得的块类型信息，对于被确定为边缘块的正方形区域，确定预测块尺寸是否是对于块以具有比该块更小的尺寸的较低水平设定的预测块尺寸之一，并且以所确定的预测块尺寸生成用于对图像数据进行解码处理的预测图像数据。此外，在图像解码装置中，通过根据对边缘块的确定结果对指示编码流中包括的预测块尺寸的语法元素中的语法元素的含义（语义）进行转换来确定对块以及边缘块的预测块尺寸。

本发明的第四方面在于一种对通过编码图像数据所获得的编码流进行解码处理的图像解码方法，该方法包括：基于解码目标图像的图像尺寸和对其进行解码处理的块的位置，来确定具有比该块的块尺寸更小的尺寸的边缘块；在确定了边缘块的情况下，当被确定为边缘块的非正方形区域被设定为目标时，以与被确定为边缘块的区域的尺寸或通过沿着水平方向和竖直方向之一划分被确定为边缘块的区域而获得的区域的尺寸相对应的预测块尺寸，来生成用于对图像数据进行的解码处理的预测图像数据；以及通过使用所生成的预测图像数据来解码编码流。

发明的有利效果

根据本发明，对于具有比受到编码处理或解码处理的块的块尺寸更小的尺寸的边缘块，以与被确定为边缘块的区域的尺寸相对应的预测块尺寸以及以与通过沿着水平方向和竖直方向之一划分被确定为边缘块的区域而获得的多个非正方形区域的尺寸相对应的预测块尺寸来确定编码效率，并且以使编码效率提高的预测块尺寸来对图像进行编码或解码。出于这个原因，关于边缘块，使用具有小尺寸的较低水平的块的预测块尺寸，并且避免将边缘块划分成大量的要被编码的块，使得可以通过使用较大的块来减少编码数据的数据量。

附图说明

图1示出图像编码装置的配置。

图2示出LMB运动预测和补偿单元的配置。

图3示出预测块尺寸（运动补偿块尺寸）。

图4是用于描述边缘块的说明图。

图5例示其中对于边缘块设定相关技术领域中的宏块的情况。

图6是用于描述其中宏块是32×32像素的情况的说明图。

图7示出在宏块被设定为64×64像素时的边缘块。

图8是用于描述其中宏块是64×64像素的情况的说明图。

图9是用于描述其中宏块是64×64像素的另一种情况的说明图。

图10示出HEVC***中定义的CU的示例。

图11是示出图像编码处理操作的流程图。

图12是示出预测处理的流程图。

图13是示出帧内预测处理的流程图。

图14是示出帧间预测处理的流程图。

图15是示出LMB帧间预测处理的流程图。

图16示出图像解码装置的配置。

图17示出LMB运动预测和补偿单元的配置。

图18是示出图像解码处理操作的流程图。

图19是示出预测处理的流程图。

图20是示出在LMB运动预测和补偿单元中进行的帧间预测处理的流程图。

具体实施方式

在下文中，将给出对用于实施本发明的实施方式的说明。应当注意的是，该说明将按照下列顺序给出。

1.图像编码装置的配置

2.LMB运动预测和补偿单元的配置

3.关于块

4.图像编码装置的操作

5.图像解码装置的配置

6.LMB运动预测和补偿单元的配置

7.图像解码装置的操作

<1.图像编码装置的配置>

图1示出了图像编码装置的配置。图像编码装置10具有模拟/数字转换单元（A/D转换单元）11、画面重排缓冲器12、减法单元13、正交变换单元14、量化单元15、无损编码单元16、累积缓冲器17以及码率控制单元18。此外，图像编码装置10还具有逆量化单元21、逆正交变换单元22、加法单元23、去块效应滤波器24、帧存储器25、选择器26、AVC帧内预测单元31、LMB帧内预测单元32、AVC运动预测和补偿单元33、边缘LMB确定单元34、LMB运动预测和补偿单元35以及预测图像和最优模式选择单元36。

A/D转换单元11将模拟图像信号转换成要被输出到画面重排缓冲器12的数字图像数据。

画面重排缓冲器12对于从A/D转换单元11输出的图像数据进行帧的重排。画面重排缓冲器12根据涉及编码处理的GOP（画面组）结构来对帧进行重排并将重排后的图像数据输出给减法单元13、AVC帧内预测单元31、LMB帧内预测单元32、AVC运动预测和补偿单元33以及LMB运动预测和补偿单元35。

减法单元13被提供以从画面重排缓冲器12输出的图像数据以及由将在下面描述的预测图像和最优模式选择单元36选择的预测图像数据。减法单元13计算要被输出到正交变换单元14的作为从画面重排缓冲器12输出的图像数据与从预测图像和最优模式选择单元36提供的预测图像数据之间的差异的预测误差数据。

正交变换单元14对从减法单元13输出的预测误差数据进行正交变换处理，例如离散余弦变换（DCT；离散余弦变换）或Karhunen-Loeve变换。正交变换单元14向量化单元15输出通过进行正交变换处理而得到的变换系数数据。

量化单元15被提供以从正交变换单元14输出的变换系数数据以及来自将在下面描述的码率控制单元18的码率控制信号。量化单元15对变换系数数据进行量化并且将量化数据输出到无损编码单元16和逆量化单元21。此外，量化单元15基于来自码率控制单元18的码率控制信号来切换量化参数（量化尺度）以改变量化数据的比特率。

无损编码单元16被提供以从量化单元15输出的量化数据和从将在下面描述的AVC帧内预测单元31、LMB帧内预测单元32、AVC运动预测和补偿单元33、LMB运动预测和补偿单元35以及预测图像和最优模式选择单元36输出的预测模式信息。应当注意的是，预测模式信息包括根据帧内预测或帧间预测的预测模式、预测块尺寸、运动矢量信息、参考图片信息等。

无损编码单元16通过例如可变长度编码、算术编码等对量化数据进行无损编码处理以生成要输出给累积缓冲器17的编码流。此外，无损编码单元16对预测模式信息进行无损编码以将其添加给编码流的头信息。

累积缓冲器17累积来自无损编码单元16的编码流。此外，累积缓冲器17以根据传输路径的传输速度输出累积的编码流。

码率控制单元18对累积缓冲器17的空闲空间进行监视并根据空闲空间生成要输出给量化单元15的码率控制信号。码率控制单元18例如从累积缓冲器17获得指示空闲空间的信息。当空闲空间不足时，码率控制单元18通过码率控制信号降低量化数据的比特率。此外，当累积缓冲器17的空闲空间足够大时，码率控制单元的18通过码率控制信号增加量化数据的比特率。

逆量化单元21对从量化单元15提供的量化数据进行逆量化。逆量化单元21将通过进行逆量化而获得的变换系数数据输出给逆正交变换单元22。

逆正交变换单元22将通过对从逆量化单元21提供的变换系数数据进行逆正交变换处理而得到的数据输出给加法单元23。

加法单元23将从逆正交变换单元22提供的数据与从预测图像和最优模式选择单元36提供的预测图像数据相加以生成要输出给去块效应滤波器24和帧存储器25的解码图像数据。

去块效应滤波器24进行用于降低在图像编码时产生的块失真的滤波处理。去块效应滤波器24进行用于消除来自从加法单元23提供的解码图像数据的块失真的滤波处理并将解码图像数据输出给帧存储器25。

帧存储器25保存从加法单元23提供的解码图像数据以及从去块效应滤波器24提供的经滤波处理的解码图像数据。

选择器26将从帧存储器25读取以用于进行帧内预测的在滤波处理前的解码图像数据提供给AVC帧内预测单元31以及LMB帧内预测单元32。此外，选择器26还将从帧存储器25读取以用于进行帧间预测的经滤波处理的解码图像数据提供给AVC运动预测和补偿单元33以及LMB运动预测和补偿单元35。

AVC帧内预测单元31基于从画面重排缓冲器12输出的编码目标图像的图像数据和经由选择器26提供的解码图像数据来对H.264/AVC***中规定的各个帧内预测模式进行帧内预测处理。AVC帧内预测单元31计算各个帧内预测模式下的成本函数值并选择其中计算出的成本函数值变得最小的帧内预测模式，即，其中编码效率变得最高的帧内预测模式作为最优帧内预测模式。此外，AVC帧内预测单元31将以AVC最优帧内预测模式生成的预测图像数据和成本函数值以及预测模式信息输出给预测图像和最优模式选择单元36。

LMB帧内预测单元32基于从画面重排缓冲器12输出的编码目标图像的图像数据和经由选择器26提供的解码图像数据，以具有比H.264/AVC***中规定的各个帧内预测模式更大的尺寸的块来进行帧内预测处理。LMB帧内预测单元32计算各个帧内预测模式下的成本函数值并选择其中计算出的成本函数值变得最小的帧内预测模式，即，其中编码效率变得最高的帧内预测模式作为最优LMB帧内预测模式。此外，LMB帧内预测单元32将以最优LMB帧内预测模式生成的预测图像数据、成本函数值和预测模式信息输出给预测图像和最优模式选择单元36。应当注意的是，将在下面描述在LMB帧内预测单元32以及LMB运动预测和补偿单元35中使用的块。

AVC运动预测和补偿单元33基于从画面重排缓冲器12输出的编码目标图像的图像数据和经由选择器26提供的解码图像数据以H.264/AVC***中规定的各个预测块尺寸（运动补偿块尺寸）进行运动预测和补偿处理。此外，AVC运动预测和补偿单元33计算各个预测块尺寸下的成本函数值，并且将使得计算出的成本函数值变得最小的预测块尺寸，即，使编码效率变得最高的预测块尺寸计算为AVC最优帧间预测模式。AVC运动预测和补偿单元33将以AVC最优帧间预测模式生成的预测图像数据、成本函数值和预测模式信息输出给预测图像和最优模式选择单元36。应当注意的是，AVC运动预测和补偿单元33基于从画面重排缓冲器12读出的编码目标图像的图像数据和从帧存储器25提供的参考图像数据（解码图像数据）来检测运动矢量。AVC运动预测和补偿单元33基于该运动矢量对参考图像数据应用运动补偿处理以生成预测图像数据。

在对于编码目标的图像设定块的情况下，边缘LMB确定单元34对具有比该块的块尺寸更小的尺寸的边缘块进行确定。当从输入图像的右上角的位置处顺序地设定宏块时，边缘LMB确定单元34在输入图像的左边缘和下边缘处确定具有比以块尺寸设定的块的块尺寸更小的尺寸的块（以下将称为“边缘块”）。边缘LMB确定单元34将对边缘块的确定结果输出给LMB运动预测和补偿单元35。边缘LMB确定单元34可以通过使用例如沿着编码目标的图像的水平方向和竖直方向的像素的数目以及顺序地设定的宏块的地址信息来确定具有比以块尺寸设定的块的块尺寸更小的尺寸的边缘块。此外，在可以在一幅图片中制备不同类型的切片的情况下，不仅可以以帧为单元还可以以切片为单元进行预测模式的切换。因此，在上述情况下，不仅针对每个帧还针对每个切片进行对边缘块的确定。

LMB运动预测和补偿单元35基于从画面重排缓冲器12输出的编码目标图像的图像数据和经由选择器26提供的解码图像数据来在使用具有比H.264/AVC***中规定的宏块更大的尺寸的块时进行运动预测和补偿处理。此外，LMB运动预测和补偿单元35计算各个预测块尺寸（运动补偿块尺寸）下的成本函数值，并将使计算出的成本函数值变得最小的预测块尺寸，即，使编码效率变得最高的预测块尺寸选择作为LMB最优帧间预测模式。此外，LMB运动预测和补偿单元35将以最优帧间预测模式生成的预测图像数据和成本函数值以及预测模式信息输出给预测图像和最优模式选择单元36。应当注意的是，LMB运动预测和补偿单元35以与在AVC运动预测和补偿单元33中类似的方式执行预测图像的生成。

预测图像和最优模式选择单元36比较从AVC帧内预测单元31、LMB帧内预测单元32、AVC运动预测和补偿单元33以及LMB运动预测和补偿单元35提供的成本函数值。预测图像和最优模式选择单元36基于成本函数值的比较结果，将其中成本函数值变得最低的预测模式，即，其中编码效率变得最高的预测模式选择作为最优模式。此外，预测图像和最优模式选择单元36将以最优模式生成的预测图像数据输出给减法单元13以及加法单元23。此外，预测图像和最优模式选择单元36将最优模式下的预测模式信息输出给无损编码单元16。

<2.LMB运动预测和补偿单元的配置>

图2示出了LMB运动预测和补偿单元35的配置。LMB运动预测和补偿单元35具有有运动搜索单元351、成本函数值计算单元352、模式确定单元353以及运动补偿单元354。

运动搜索单元351通过使用宏块的图像数据和存储在帧存储器25中的经滤波处理的解码图像数据来进行运动搜索以检测运动矢量。此外，运动搜索单元351针对每个预测块尺寸进行对运动矢量的检测。

成本函数值计算单元352计算针对每个预测块尺寸的成本函数值并计算在跳过宏块的预测模式或直接模式下的成本函数值。

模式确定单元353从针对每个预测块尺寸和每个预测模式获得的成本函数值中选择其中宏块单元的成本函数值变得最低的预测块尺寸或预测模式以确定LMB最优帧间预测模式。

运动补偿单元354通过使用由运动搜索单元351检测的运动矢量和存储在帧存储器25中的经滤波处理的解码图像数据来生成预测图像数据。运动补偿单元354将所生成的预测图像数据、成本函数值以及与LMB最优帧间预测模式有关的预测模式信息输出给预测图像和最优模式选择单元36。

<3.关于块>

图3示出了用于图像编码处理的预测块尺寸（运动补偿块尺寸）。在H.264/AVC***中，如图3中的（C）和（D）所示，规定了16×16像素至4×4像素的宏块尺寸。此外，在使用具有比H.264/AVC***更大的尺寸的块的情况下，例如在使用32×32像素（LMB32）的宏块的情况下，规定了图3中的（B）所示的块尺寸。此外，例如在使用64×64像素（LMB64）的宏块的情况下，规定了图3中的（A）所示的块尺寸。

此外，如果宏块被扩大，当从编码目标图像的左上角的位置处沿着水平方向和竖直方向顺序地设定宏块时，可能发生的情况是在右边缘部分和下边缘部分中的位置处生成具有比块的以像素的数量设定的块尺寸更小的尺寸的边缘块。

例如，假设帧图像的水平方向和竖直方向上的像素的数量是对应于H.264/AVC***中的宏块的16×16像素的整数倍。在这种情况下，如果宏块是32×32像素，当从帧图像的左上角的位置处顺序地设定宏块时，可能出现的情况是生成了对于各条边之一宽度为16像素的边缘块。例如，图4中的（A）示出了其中在右边缘部分和下边缘部分中生成了对于各条边之一具有16像素的边缘块的情况。此外，宏块是64×64像素，当从帧图像的左上角的位置顺序地设定宏块时，可能发生的情况是生成了对于各条边之一具有16像素、32像素或48像素的边缘块。例如，图4中的（B）示出了在右边缘部分和下边缘部分生成了对于各条边之一具有16像素的边缘块的情况。此外，图4中的（C）示出了其中在右边缘部分和下边缘部分生成了对于各条边之一具有32像素的边缘块的情况，而图4中的（D）示出了其中在右边缘部分和下边缘部分生成了对于各条边之一具有48像素的边缘块的情况。

在这里，可以通过以如H.264/AVC***中类似的方式对于边缘块设定小于或等于16×16像素的预测块尺寸来进行运动补偿。然而，预测块尺寸被设定为小于或等于16×16像素，如图5中的（A）至（C）所示例的，边缘块中的预测块的数量增加，从而变得难以降低编码数据的数据量。例如，即使在以大于16×16像素的预测块尺寸来进行运动补偿时成本函数值下降的情况下，由于块尺寸小于或等于16×16像素，所以变得难以降低编码数据的数据量。

因此，根据本发明，例如，在使用具有比H.264/AVC***更大的尺寸的宏块的情况下，通过将被确定为边缘块的非正方形区域设定为目标，在包括有与被确定为边缘块的区域的尺寸相对应的预测块尺寸或与通过沿着水平方向和竖直方向之一划分被确定为边缘块的区域而获得的多个非正方形区域的尺寸相对应的预测块尺寸的情况下，对LMB最优帧间预测模式进行确定。另外，关于被确定为边缘块的正方形区域和经划分生成的正方形区域，可以在包括有以具有比宏块更小的尺寸的较低的水平针对宏块设定的预测块尺寸的情况下，对LMB最优帧间预测模式进行确定。应当注意的是，图6、图8和图9示出了下述情况：在包括有与被确定为边缘块的区域的尺寸相对应的预测块尺寸以及与通过沿着水平方向和竖直方向之一划分被确定为边缘块的区域而获得的多个非正方形区域的尺寸相对应的预测块尺寸的情况下进行预测。

图6示出了宏块是32×32像素的情况。图6中的（A）示出了宏块被设定为32×32像素的情况。在宏块被设定为32×32像素的情况中，预测块尺寸是：块A为32×32像素、块B为32×16像素而块C为16×32像素。以这种方式，在设定预测块尺寸时，可以在将边缘块设定为目标时设定大于16×16像素的块。应当注意的是，阴影部分表示相关技术领域中的宏块16×16像素的区域（同样适用于图8和图9）。

图6中的（B）示出了关于块A、块B和块C的宏块类型mb32_type。对于32×32像素的块A，宏块类型“0”表示被称为跳过宏块的宏块模式或直接模式（SD32×32）。宏块类型“1”表示以32×32像素的块尺寸进行运动补偿（ME32×32）。宏块类型“2”表示当块A被设定为两个32×16像素的块时针对每个块进行运动补偿（ME32×16）。宏块类型“3”表示当块A被设定为两个16×32像素的块时针对每个块进行运动补偿（ME16×32）。宏块类型“4”表示在以类似于图3的方式以较低水平对块尺寸进行划分（P8×8）。

对于与边缘块对应的32×16像素的块B，宏块类型“0”表示被称为跳过宏块的宏块模式或直接模式（SD32×16）。宏块类型“1”表示以32×16像素的块尺寸进行运动补偿（ME32×16）。宏块类型“4”表示以较低水平对块尺寸进行划分（P8×8）。应当注意的是，图6中的（C）示出了块B。

对于与边缘块对应的16×32像素的块C，宏块类型“0”表示被称为跳过宏块的宏块模式或直接模式（SD16×32）。宏块类型“1”表示以16×32像素的块尺寸进行运动补偿（ME16×32）。宏块类型“4”表示以较低水平对块尺寸进行划分（P8×8）。应当注意的是，图6中的（D）示出了块C。

此外，关于与图6中的右下角处的边缘块相对应的正方形区域，以如图3中的（C）和（D）所示的方式使用针对宏块（16×16像素）以具有比该宏块更小的尺寸的较低水平设定的预测块尺寸。

图7表示宏块被设定为64×64像素时的边缘块。在沿着帧图像的水平方向和竖直方向的像素的数量是对应于H.264/AVC***中的宏块的16×16像素的整数倍的情况下，如果宏块是64×64像素，当从帧图像的左上角的位置处顺序地设定宏块时，在某些情况下可能会生成如图7中的（A）所示的宽为16像素的边缘块、如图7中的（B）所示的宽为32像素的边缘块和如图7中的（C）所示的宽为48像素的边缘块。此外，如图7中的（D）所示，可以由图7中的（A）和（B）所示边缘块来表示宽为48像素的边缘块。因此，如果对于图7中的（C）和（D）设定宏块类型，则没有必要对于图7中的（A）和（B）设定宏块类型。

图8中的（A）示出了宏块被设定为64×64像素的情况。在宏块被设定为64×64像素的情况下，可变块尺寸是64×64像素的块D、64×32像素的块E、64×16像素的块F、32×64像素的块G和16×64像素的块H。以这种方式，当设定可变块尺寸时，可以在将边缘块设定为目标时设定大于16×16像素的块。应当注意的是，在图8中的（A）中，块A、块B和块C与图6所示的情况相似。

图8的（B）示出了关于块D、块E、块F、块G和块H的宏块类型mb64_type。对于64×64像素的块D，宏块类型“0”表示被称为跳过宏块的宏块模式或直接模式（SD64×64）。宏块类型“1”表示以64×64像素的块尺寸进行运动补偿（ME64×64）。宏块类型“2”表示当块D被设定为两个64×32像素的块时针对每个块进行运动补偿（ME64×32）。宏块类型“3”表示当块A被设定为两个32×64像素的块时针对每个块进行运动补偿（ME32×64）。宏块类型“4”表示以较低水平对块尺寸进行划分（P8×8）。

对于与划分边缘块后的区域相对应的64×32像素的块E，宏块类型“0”表示被称为跳过宏块的宏块模式或直接模式（SD64×32）。宏块类型“1”表示以64×32像素的块尺寸进行运动补偿（ME64×32）。宏块类型“4”表示以较低水平对块尺寸进行划分（P8×8）。应当注意的是，图8中的（C）示出了块E。

对于与划分边缘块后的区域相对应的64×16像素的块F，宏块类型“0”表示被称为跳过宏块的宏块模式或直接模式（SD64×16）。宏块类型“1”以64×16像素的块尺寸进行运动补偿（ME64×16）。宏块类型“4”表示以较低水平对块尺寸进行划分（P8×8）。应当注意的是，图8中的（D）示出了块F。

对于与划分边缘块后的区域相对应的32×64像素的块G，宏块类型“0”表示被称为跳过宏块的宏块模式或直接模式（SD32×64）。宏块类型“1”表示以32×64像素的块尺寸进行运动补偿（ME32×64）。宏块类型“4”表示以较低水平对块尺寸进行划分（P8×8）。应当注意的是，图8中的（E）示出了块G。

对于与划分边缘块后的区域相对应的16×64像素的块H，宏块类型“0”表示被称为跳过宏块的宏块模式或直接模式（SD16×64）。宏块类型“1”表示以16×64像素的块尺寸进行运动补偿（ME16×64）。宏块类型“4”表示以较低水平对块尺寸进行划分（P8×8）。应当注意的是，图8中的（F）示出了块H。

此外，关于与图8中的右下角处的边缘块相对应的正方形区域以及进行划分后生成的正方形区域，针对宏块使用以具有比宏块更小的尺寸的较低水平设定的预测块尺寸。

图9中的（A）表示宏块被设定为64×64像素的另一个情况。在宏块被设定为64×64像素的情况下，可变块尺寸是64×64像素的块D、64×48像素的块E2和48×64像素的块G2。以这种方式，当设定了可变块尺寸时，可以在将边缘块设定为目标时设定大于16×16像素的块。应当注意的是，在图9中的（A）中，块A、块B和块C与图6所示的情况相似。

图9中的（B）示出了关于块D、块E2和块G2的宏块类型mb64_type的。应当注意的是，块D类似于图8。

对于与边缘块相对应的64×48像素的块E2，宏块类型“0”表示被称为跳过宏块的宏块模式或直接模式（SD64×48）。宏块类型“1”表示以64×48像素的块尺寸处进行运动补偿（ME64×48）。宏块类型“2”表示当64×48像素的块被设定为64×32像素和64×16像素的块时进行运动补偿（ME64×32/64×16）。宏块类型“3”表示当64×48像素的块被设定为两个32×48像素的块时进行运动补偿（ME32×48）。宏块类型“4”表示以较低水平对块尺寸进行划分（P8×8）。应当注意的是，图9中的（C）示出了块E2。

关于与边缘块对应的64×48像素的块G2，宏块类型“0”表示被称为跳过宏块的宏块模式或直接模式（SD48×64）。宏块类型“1”表示以48×64像素的块尺寸进行运动补偿（ME48×64）。宏块类型“2”表示当48×64像素的块被设定为两个48×32像素的块时进行运动补偿（ME48×32）。宏块类型“3”表示当48×64像素的块被设定为32×64像素和16×64像素的块时进行运动补偿（ME32×64/16×64）。宏块类型“4”表示以较低水平对块尺寸进行划分（P8×8）。应当注意的是，图9中的（D）示出了块G2。

此外，关于与图9中的右下角处的边缘块相对应的正方形区域以及进行划分后生成的正方形区域，针对宏块使用以具有比宏块更小的尺寸的较低水平设定的预测块尺寸。

应当注意的是，为了与H.264/AVC***相比进一步改善编码效率，通过作为ITU-T和ISO/IEC的联合标准制定组织的JCTVC（联合协作团队-视频编码），被称为HEVC（高效视频编码）的编码***的标准化有了进展。截至2010年9月，“正在审议的测试模式（Test Model underConsideration）”，（JCTVC-B205）作为草案发行。

根据HEVC编码***，可以使用与H.264/AVC***相比具有进一步扩大的尺寸的块，并且定义了CU（编码单元）。

CU也被称为CTB（编码树块）并起到类似于H.264/AVC***中的宏块的作用。此外，尽管在H.264/AVC***中宏块固定为16×16像素的尺寸，但是在HEVC编码***中尺寸不是固定的，并且在每个序列中的图像压缩信息中指定该尺寸。

特别地，具有最大尺寸的CU被称为LCU（最大编码单元），而具有最小尺寸的CU被称为SCU（最小编码单元）。在包含在图像压缩信息中的序列参数集中，这些尺寸被指定但分别限于正方形且由2的幂表示的尺寸。

图10示出了HEVC编码***中定义的CU的示例。在该附图的示例中，LCU的尺寸是128，而最大层次深度为5。当拆分标记（split_flag）的值是1时，尺寸为2N×2N的CU以低一级的层次被分成尺寸为N×N的CU。

此外，CU被分成作为帧内预测或帧间预测的单元的PU（预测单元），并且CU也被分成作为正交变换的单元的TU（变换单元）。

CU还被分成作为帧内预测或帧间预测的单元的PU并且也被分成作为正交变换的单元的TU，以便进行预测处理和正交变换处理。目前，在HEVC编码***中，除了4×4和8×8，还可以使用16×16和32×32正交变换。

在本说明书中，块和宏块包括上述CU、PU和TU的概念并且不限于尺寸固定的块。

<4.图像编码装置的操作>

接下来，将描述图像编码处理操作。图11是示出图像编码处理操作的流程图。在步骤ST11中，A/D转换单元11对输入图像信号进行A/D转换。

在步骤ST12中，画面重排缓冲器12进行画面重排。画面重排缓冲器12存储从A/D转换单元11提供的图像数据并且将显示各个图片的顺序重排成编码的顺序。

在步骤ST13中，减法单元13生成预测误差数据。减法单元13计算在步骤ST12中重排的图像的图像数据与由预测图像和最优模式选择单元36选择的预测图像数据之间的差异，以生成预测误差数据。预测误差数据与原始图像数据相比具有较小的数据量。因此，与直接编码图像数据的情况相比可以压缩数据量。应当注意的是，当通过预测图像和最优模式选择单元36针对每个切片对预测图像进行选择时，在从AVC帧内预测单元31或LMB帧内预测单元32提供的预测图像被选择的切片中，进行帧内预测。此外，在从AVC运动预测和补偿单元33或LMB运动预测和补偿单元35提供的预测图像被选择的切片中，进行帧间预测。

在步骤ST14中，正交变换单元14进行正交变换处理。正交变换单元14对从减法单元13提供的预测误差数据进行正交变换。具体地，对预测误差数据进行如离散余弦变换或Karhunen-Loeve变换的正交变换，并将变换系数数据输出。

在步骤ST15中，量化单元15进行量化处理。量化单元15对变换系数数据进行量化。在量化时，如将在下面描述的步骤ST25中的处理中所述的，进行码率控制。

在步骤ST16中，逆量化单元21进行逆量化处理。逆量化单元21以与量化单元15的特性相对应的特性对被量化单元15量化的变换系数数据进行逆量化。

在步骤ST17中，逆正交变换单元22进行逆正交变换处理。逆正交变换单元22以与正交变换单元14的特性相对应的特性对由逆量化单元21逆量化的变换系数数据进行逆变正交变换。

在步骤ST18中，加法单元23生成解码图像数据。加法单元23将从预测图像和最优模式选择单元36提供的预测图像数据加到在对应于该预测图像的位置处的经逆正交变换后的数据，以生成解码图像数据。

在步骤ST19中，去块效应滤波器24进行滤波处理。去块效应滤波器24对从加法单元23输出的解码图像数据进行滤波处理，以去除块失真。

在步骤ST20中，帧存储器25存储解码图像数据。帧存储器25存储滤波处理前的解码图像数据和经滤波处理后的解码图像数据。

在步骤ST21中，AVC帧内预测单元31、LMB帧内预测单元32、AVC运动预测和补偿单元33以及LMB运动预测和补偿单元35分别进行预测处理。也就是说，AVC帧内预测单元31和LMB帧内预测单元32以帧内预测模式进行帧内预测处理，而AVC运动预测和补偿单元33和LMB运动预测和补偿单元35以帧间预测模式进行运动预测和补偿处理。通过这种处理，AVC帧内预测单元31和LMB帧内预测单元32选择最优的帧内预测模式，并将以最优帧内预测模式生成的预测图像及其成本函数值和预测模式信息提供给预测图像和最优模式选择单元36。此外，AVC运动预测和补偿单元33以及LMB运动预测和补偿单元35选择最优帧间预测模式，并将以最优帧间预测模式生成的预测图像及其成本函数值和预测模式信息提供给预测图像和最优模式选择单元36。应当注意的是，将参照图12在下面介绍预测处理的细节。

在步骤ST22中，预测图像和最优模式选择单元36进行对预测图像数据的选择。预测图像和最优模式选择单元36基于从AVC帧内预测单元31、LMB帧内预测单元32、AVC运动预测和补偿单元33以及LMB运动预测和补偿单元35输出的各个成本函数值来选择成本函数值变得最小的最优模式。此外，预测图像和最优模式选择单元36将所选择的最优模式下的预测图像数据提供给减法单元13和加法单元23。该预测图像数据如上所描述地用于步骤ST13和ST18中的计算。此外，与最优模式有关的信息被提供给无损编码单元16。

在步骤ST23中，无损编码单元16进行无损的编码处理。无损编码单元16对从量化单元15输出的量化数据进行无损编码。也就是，对量化数据进行无损编码如可变长度编码或算术编码，并且数据被压缩。此时，在上述步骤ST22中被输入到无损编码单元16的预测模式信息等（包括，例如，预测模式、预测块尺寸、运动矢量信息、参考画面信息等）也受到无损编码。此外，对预测模式信息的无损编码数据被添加到通过对量化数据进行无损编码而产生的编码流的头信息。

在步骤ST24中，累积缓冲器17累积编码流。累积在该累积缓冲器17中的编码流被适当地读出以经由传输路径发送给解码侧。

在步骤ST25中，码率控制单元18进行码率控制。当累积缓冲器17累积编码流时，码率控制单元18通过量化单元15来控制量化操作的码率，使得在累积缓冲器17中不发生上溢或下溢。

接下来，参考图12的流程图，描述图11的步骤ST21中的预测处理。

在步骤ST31中，AVC帧内预测单元31和LMB帧内预测单元32进行帧内预测处理。AVC帧内预测单元31以所有候选帧内预测模式对处理目标块的图像进行帧内预测。应当注意的是，不通过去块效应滤波器24对帧内预测中参考的解码图像的图像数据进行滤波处理，并且使用存储在帧存储器25中的解码图像数据。将在下面描述帧内预测处理的细节，但通过这种处理，以所有候选帧内预测模式进行帧内预测处理，并且以所有候选帧内预测模式计算成本函数值。然后，基于计算出的成本函数值，从所有的帧内预测模式中选择编码效率成为最高的一个帧内预测模式。

LMB帧内预测单元32以所有候选帧内预测模式对处理目标块的图像进行帧内预测。应当注意的是，不通过去块效应滤波器24对所参考的解码图像的图像数据进行滤波处理，并且使用存储在帧存储器25中的解码图像数据。通过这种处理，以所有候选帧内预测模式进行帧内预测处理，并且以所有候选帧内预测模式计算成本函数值。然后，基于计算出的成本函数值，从所有的帧内预测模式中选择编码效率成为最高的一个帧内预测模式。

在步骤ST32中，AVC运动预测和补偿单元33以及LMB运动预测和补偿单元35进行帧间预测处理。AVC运动预测和补偿单元33使用存储在帧存储器25中的经滤波处理的解码图像数据来以所有候选帧间预测模式（所有预测块尺寸）进行帧间预测处理。将在下面描述帧间预测处理的细节，但通过这种处理，以所有候选帧间预测模式进行预测处理，并且以所有候选帧间预测模式计算成本函数值。然后，基于计算出的成本函数值，从所有的帧间预测模式中选择编码效率成为最高的一个帧间预测模式。

LMB运动预测和补偿单元35使用存储在帧存储器25中的经滤波处理的解码图像数据，以所有候选帧间预测模式（所有预测块尺寸）进行帧间预测处理。通过这种处理，以所有候选帧间预测模式进行预测处理，以所有候选帧间预测模式计算成本函数值。然后，基于计算出的成本函数值，从所有的帧间预测模式中选择编码效率成为最高的一个帧间预测模式。

接下来，将参考图13的流程图描述图12的步骤ST31中的帧内预测处理。

在步骤ST41中，AVC帧内预测单元31和LMB帧内预测单元32以各个预测模式进行帧内预测。AVC帧内预测单元31和LMB帧内预测单元32使用存储在帧存储器25中的滤波处理前的解码图像数据，以针对每个帧内预测模式生成预测图像数据。

在步骤ST42中，AVC帧内预测单元31和LMB帧内预测单元32计算关于各个预测模式的成本函数值。以与H.264/AVC***中的参考软件相对应的JM（联合模型）所定义的高复杂度模式或低复杂度模式的方法进行对成本函数值计算。

也就是说，在高复杂度模式中，作为步骤ST41中的处理，直到以所有候选的预测模式试验性地进行了无损编码处理，并且在各个预测模式下计算了由下面的表达式（1）所表示的计算成本函数值。

Cost(Mode∈Ω)=D+λ·R…(1)

Ω表示用于将相应的块编码成宏块的候选预测模式的全集。D表示在以预测模式进行编码的情况下的解码图像与输入图像之间的差异能量（失真）。R表示包括正交变换系数、预测模式信息等的所生成的代码量，λ表示作为针对量化参数QP的函数给出的拉格朗日乘数因子。

详细说明，为了以高复杂度模式进行编码，计算上述参数D和R，并且因此有必要以所有候选预测模式进行试验性编码处理，从而需要更高的计算量。

另一方面，在低复杂度模式中，作为步骤ST41中的处理，关于所有候选预测模式，生成预测图像并且一直计算到头位，如运动矢量信息以及预测模式信息，并且以各个预测模式计算由下面的表达式（2）表示的成本函数值。

Cost(Mode∈Ω)=D+QPtoQuant(QP)·Header_Bit…(2)

Ω表示用于将相关块编码成宏块的候选预测模式的全集。D表示在以预测模式进行编码的情况下的解码图像与输入图像之间的差异能量（失真）。Header_Bit表示关于预测模式的头位，QPtoQuant表示作为针对量化参数QP的函数给出的函数。

也就是说，在低复杂度模式中，关于每个预测模式，有必要进行预测处理，但是没有必要进行解码图像这一步，因此能够实现比高复杂度模式下的计算量更低的计算量。

在步骤ST43中，AVC帧内预测单元31和LMB帧内预测单元32确定最优帧内预测模式。基于步骤ST42中计算出的成本函数值，AVC帧内预测单元31和LMB帧内预测单元32在这些成本函数值之中选择成本函数值变为最小的帧内预测模式，以确定为最优帧内预测模式。

接下来，将描述图12中的步骤ST32中的帧间预测处理。图14示出了由AVC运动预测和补偿单元33进行的帧间预测处理。

在步骤ST51中，AVC运动预测和补偿单元33以各个预测模式分别确定运动矢量和参考图像。也就是说，以各个预测模式分别关于处理目标的块来确定运动矢量和参考图像。

在步骤ST52中，AVC运动预测和补偿单元33以各个预测模式进行运动补偿。基于步骤ST51中确定的运动矢量，AVC运动预测和补偿单元33对关于各个预测模式的参考图像进行运动补偿，并生成关于各个预测模式的预测图像数据。

在步骤ST53中，AVC运动预测和补偿单元33以各个预测模式生成运动矢量信息。AVC运动预测和补偿单元33生成包括在编码流中的关于各个预测模式的运动矢量信息。例如，通过使用中值预测等来确定预测运动矢量，从而生成指示通过运动预测检测到的运动矢量与预测运动矢量之间的差异的运动矢量信息。由此产生的运动矢量信息也可用于在下一步ST54中对成本函数值的计算，并且在由预测图像和最优模式选择单元36处理的预测图像被最终选择的情况下，预测图像被包括在要被输出给无损编码单元16的预测模式信息中。

在步骤ST54中，AVC运动预测和补偿单元33以各个帧间预测模式计算成本函数值。AVC运动预测和补偿单元33使用上述表达式（1）或表达式（2）来进行成本函数值的计算。应当注意，关于帧间预测模式的成本函数值的计算还包括对以H.264/AVC***中定义的跳过模式和直接模式对成本函数值的评估。

在步骤ST55中，AVC运动预测和补偿单元33确定最优帧间预测模式。基于步骤ST54中计算出的成本函数值，AVC运动预测和补偿单元33将这些要确定的成本函数值中成本函数值变为最小的预测模式选择作为最优帧间预测模式。

图15示出了由LMB运动预测和补偿单元35进行的LMB帧间预测处理。

在步骤ST61中，LMB运动预测和补偿单元35获得关于相关块是否是边缘块的确定结果。LMB运动预测和补偿单元35通过边缘LMB确定单元34获得关于对其进行编码的宏块的确定结果，并前进到步骤ST62。

在步骤ST62中，LMB的运动预测和补偿单元35确定相关块是否是边缘块。当在步骤ST61中获得的确定结果指示边缘块时，LMB运动预测和补偿单元35前进到步骤ST63，当确定结果不指示边缘块时，LMB运动预测和补偿单元35前进到步骤ST68。

在步骤ST63中，LMB运动预测和补偿单元35确定边缘块是否是在宏块被设定为32×32像素的情况下的边缘块（边缘LMB32）。如果边缘块是边缘LMB32，则LMB运动预测和补偿单元35前进到步骤ST64，如果边缘块是在宏块被设定为64×64像素的情况下的边缘块（边缘LMB64），则LMB运动预测和补偿单元35前进到步骤ST66。

在步骤ST64中，LMB运动预测和补偿单元35对于边缘块（边缘LMB32）进行运动搜索处理。具体地，因为相关的块等同于图6中的块B、块C或正方形块，所以对等同块的各个mb32_type进行运动搜索处理，然后流程前进到步骤ST65。

在步骤ST65中，LMB运动预测和补偿单元35对于边缘块（边缘LMB32）进行成本函数值的计算。具体地，因为相关的块等同于图6中块B、块C或正方形块，所以对于等同块的各个mb32_type计算成本函数值，然后流程前进到步骤ST70。

应当注意的是，在步骤ST64和步骤ST65中，关于正方形的区域，以具有比宏块更小的尺寸的较低水平针对宏块设定的预测块尺寸来进行运动搜索处理和成本函数值的计算。

当流程从步骤ST63前进到步骤ST66时，LMB运动预测和补偿单元35在宏块被设定为64×64像素时对于边缘块（边缘LMB64）进行运动搜索处理。具体地，因为相关的块等同于图8和图9中的块E至块H、块E2、块G2或正方形块，所以对等同块的各个mb32_type进行运动搜索处理，然后流程前进到步骤ST67。

在步骤ST67中，LMB运动预测和补偿单元35在宏块被设定为64×64像素时对边缘块进行成本函数值的计算。具体地，因为相关的块等同于图8和图9中的块E至块H、块E2、块G2、或正方形块，所以对于等同块的各个mb32_type计算成本函数值，然后流程前进到步骤ST70。

应当注意的是，在步骤ST66和步骤ST67中，关于正方形的区域，以具有比宏块更小的尺寸的较低水平针对宏块设定的预测块尺寸来进行运动搜索处理和成本函数值的计算。

当流程从步骤ST62前进到步骤ST68时，LMB运动预测和补偿单元35对非边缘块（等同于宏块）进行运动搜索处理。具体地，因为相关的块等同于图6中的块A或图8和图9中的块D，所以对等同块的各个mb32_type或各个mb64_type进行运动搜索处理，然后流程前进到步骤ST69。

在步骤ST69中，LMB运动预测和补偿单元35对于非边缘块进行成本函数值的计算。具体地，因为相关的块等同于图6中的块A或图8和图9中的块D，所以对于等同块的各个mb32_type或各个mb64_type进行成本函数值计算，然后流程前进到步骤ST70。

在步骤ST70中，LMB运动预测和补偿单元35确定LMB最优帧间预测模式。LMB运动预测和补偿单元35将使在步骤ST65、步骤ST67和步骤ST69中计算的成本函数值变得最小的预测块尺寸（运动补偿块尺寸）确定为LMB最优帧间预测模式。

以这种方式，根据本申请的发明的图像编码装置和方法，在对编码目标的图像设定块的情况下，如果生成了具有比该块的块尺寸更小的尺寸的边缘块，而被确定为边缘块的区域被设定为目标，那么LMB运动预测和补偿单元35通过使用与被确定为边缘块的区域尺寸相对应的预测块尺寸以及与通过沿着水平方向和竖直方向之一划分被确定为边缘块的区域而获得的多个非正方形区域的尺寸相对应的预测块尺寸来检测使编码效率增加的预测块尺寸。出于这个原因，使编码效率成为最高的预测块被检测，并且当以所检测到的预测块尺寸对图像数据进行编码处理时，在边缘块中，可以设定具有比相关技术领域中的尺寸更大的尺寸的预测块。因此，可以通过减少预测块的数量来降低编码流的数据量。

此外，无论块是否是边缘块，无损编码单元16都在不改变语法元素的情况下生成编码流。因此，即使在使用根据边缘块设定的预测块尺寸的情况下，也不必改变无损编码单元16中的处理。

<5.图像解码装置的配置>

通过对输入图像进行编码而生成的编码流经由预定的传输路径、记录介质等提供给图像解码装置以进行解码。

图16示出了图像解码装置的配置。图像解码装置50具有累积缓冲器51、无损解码单元52、逆量化单元53、逆正交变换单元54、加法单元55、去块效应滤波器56、画面重排缓冲器57、D/A转换单元58、帧存储器61、选择器62、AVC帧内预测单元71、LMB帧内预测单元72、AVC运动预测和补偿单元73、边缘LMB确定单元74、LMB运动预测和补偿单元75以及选择器76。

累积缓冲器51累积被发送的编码流。无损解码单元52对从与图1中的无损编码单元16的编码***相对应的***中的累积缓冲器51提供的编码流进行解码。此外，无损解码单元52将通过对编码流的头信息进行解码而获得的预测模式信息输出给去块效应滤波器56、AVC帧内预测单元71、LMB帧内预测单元72、AVC运动预测和补偿单元73和LMB运动预测和补偿单元75。

逆量化单元53对由与图1中的量化单元15的量化***相对应的***中的无损解码单元52解码的量化数据进行逆量化。逆正交变换单元54对逆量化单元53的输出进行与图1中的正交变换单元14的正交变换***相对应的***中的逆正交变换处理，以输出给加法单元55。

加法单元55将经逆正交变换的数据加到从选择器76提供的预测图像数据，来生成要输出给去块效应滤波器56和帧存储器61的解码图像数据。

去块效应滤波器56对从加法单元55提供的解码图像数据进行滤波处理以去除块失真，然后提供给用于累积的帧存储器61并输出到画面重排缓冲器57。

画面重排缓冲器57进行图像的画面重排。也就是说，通过图1中的画面重排图缓冲器12针对编码的顺序重新排列的帧的顺序被重新排列为原始显示顺序，以输出到D/A转换单元58。

D/A转换单元58对从画面重排缓冲器57提供的图像数据进行D/A转换以输出到未在附图中示出的显示器，从而显示该图像。

帧存储器61保存从加法单元55提供的滤波处理前的解码图像数据以及从去块效应滤波器24提供的经滤波处理的解码图像数据。

基于从无损解码单元52提供的预测模式信息，在以H.264/AVC***中规定的宏块进行帧内预测的情况下，当解码预测块时，选择器62将从帧存储器61读出的滤波处理前的解码图像数据提供给AVC帧内预测单元71。基于从无损解码单元52提供的预测模式信息，在以较大宏块进行帧内预测的情况下，当解码预测块时，选择器26将从帧存储器61读出的滤波处理前的解码图像数据提供给LMB帧内预测单元72。基于从无损解码单元52提供的预测模式信息，在以在H.264/AVC***中规定的宏块进行帧间预测的情况下，当解码预测块时，选择器62将从帧存储器61读出的经滤波处理的解码图像数据提供给AVC运动预测和补偿单元73。此外，基于从无损解码单元52提供的预测模式信息，在以较大宏块进行帧间预测的情况下，当解码预测块时，选择器26将从帧存储器61读出的经滤波处理的解码图像数据提供给LMB运动预测和补偿单元75。

AVC帧内预测单元71基于从无损解码单元52提供的预测模式信息生成预测图像，并将所生成的预测图像数据输出到选择器76。LMB帧内预测单元72基于从无损解码单元52提供的预测模式信息生成预测图像，并将所生成的预测图像数据输出到选择器76。

AVC运动预测和补偿单元73基于从无损解码单元52提供的预测模式信息进行运动补偿，并生成要输出到选择器76的预测图像数据。也就是说，基于预测模式信息中包括的参考帧信息和运动矢量信息，AVC运动预测和补偿单元73以基于运动矢量信息的运动矢量对于由参考帧信息指示的参考图像进行运动补偿，以生成预测图像数据。

边缘LMB确定单元74以与如图1所示出的边缘LMB确定单元34中类似的方式对边缘块进行确定。边缘LMB确定单元74基于解码目标图像的图像尺寸和进行解码处理的宏块的位置来确定具有比该宏块的块尺寸更小的尺寸的边缘块。边缘LMB确定单元74可以通过使用例如沿着解码目标图像的水平方向和竖直方向的像素的数量以及要被顺序地解码的宏块的地址信息来确定相关的块是否是边缘块。此外，因为预测模式的切换不仅能够以帧为单元进行而且也能够以切片为单元进行，所以对边缘块的确定不仅针对每个帧进行，也针对每个切片进行。

LMB运动预测和补偿单元75基于从无损解码单元52提供的预测模式信息以及边缘块确定结果进行运动补偿，并生成要输出到选择器76的预测图像数据。也就是说，基于预测模式信息中包括的参考帧信息和运动矢量信息，LMB运动预测和补偿单元73以基于运动矢量信息的运动矢量对由参考帧信息指示的参考图像进行运动补偿，以生成预测图像数据。此外，LMB运动预测和补偿单元75据根据对应于边缘块设定的宏块类型来生成预测图像数。

选择器76将在AVC帧内预测单元71、LMB帧内预测单元72、AVC运动预测和补偿单元73和LMB运动预测和补偿单元75中生成的预测图像数据提供给加法单元55。

<6.LMB运动预测和补偿单元的配置>

图17示出了LMB运动预测和补偿单元75的配置。LMB运动预测和补偿单元75具有LMB模式解码单元751和运动补偿单元752。

LMB模式解码单元751基于包括在从无损解码单元52提供的预测模式信息中的指示宏块类型的信息和来自边缘LMB确定单元74的边缘块确定结果来确定预测块尺寸。如上所述，不论块是否是边缘块，图像编码装置10的无损编码单元16都在不改变语法元素的情况下生成编码流。因此，LMB模式解码单元751基于来自边缘LMB确定单元74的边缘块确定结果来切换是语法元素的含义的语义。具体地，当边缘块确定结果指示块是边缘块时，作为语义，使用与图6、图8和图9所示的mb64_type和mb32_type相对应的预测块尺寸。此外，当边缘块确定结果指示该块不是边缘块时，作为语义，使用与图3所示的mb64_type和mb32_type相对应的预测块尺寸。应当注意的是，为了确定使用图6、图8和图9中哪一个，边缘LMB确定单元74可以通过使用例如沿着解码目标的图像的水平方向和竖直方向的像素的数量以及顺序设定的宏块的地址信息来确定少于宏块的像素的数量。边缘LMB确定单元74可以基于所确定的少于宏块的像素的数量和指示宏块尺寸的信息来确定使用图6、图8和图9中哪一个。

此外，LMB模式解码单元751将包括在由无损解码单元52提供的预测模式信息中的参考帧信息和运动矢量信息输出给运动补偿单元752。

运动补偿单元752基于由运动矢量信息指示的运动矢量和由LMB模式解码单元751确定的预测块尺寸，通过使用由参考帧信息所指示的参考图像数据来进行运动补偿。应当注意的是，参考图像数据使用存储在帧存储器61中的关于参考帧的图像数据。运动补偿单元752将所生成的预测图像数据输出给选择器76。

<7.图像解码装置的操作>

接下来，参考图18中的流程图，将描述在图像解码装置50中进行的图像解码处理操作。

在步骤ST81中，累积缓冲器51累积被传输的编码流。在步骤ST82中，无损解码单元52进行无损解码处理。无损解码单元52对从累积缓冲器51提供的编码流进行解码。也就是说，获得由图1中的无损编码单元16编码的各个图片的量化数据。此外，无损解码单元52对包括在编码流的头信息中的预测模式信息进行无损解码，并将所获得的预测模式信息提供给去块效应滤波器56以及选择器62和选择器76。此外，在预测模式信息是与帧内预测模式有关的信息的情况下，无损解码单元52将预测模式信息输出给AVC帧内预测单元71和LMB帧内预测单元72。此外，在预测模式信息是与帧间预测模式有关的信息的情况下，无损解码单元52将预测模式信息输出给AVC运动预测和补偿单元73以及LMB运动预测和补偿单元75。

在步骤ST83中，逆量化单元53进行逆量化处理。逆量化单元53以与图1中的量化单元15的特征相对应的特征，对由无损解码单元52解码的量化数据进行逆量化。

在步骤ST84中，逆正交变换单元54进行逆正交变换处理。逆正交变换单元54以与图1中的正交变换单元14的特征相对应的特征，对由逆量化单元53逆量化的变换系数数据进行逆正交变换。

在步骤ST85中，加法单元55进行解码图像数据的生成。加法单元55将通过进行逆正交变换处理获得的数据加到在将在下面描述的步骤ST89中选则的预测图像数据，以生成解码图像数据。据此，原始图像被解码。

在步骤ST86中，去块效应滤波器56进行滤波处理。去块效应滤波器56对由加法单元55输出的解码图像数据进行滤波处理，以去除包括在解码图像中的块失真。

在步骤ST87中，帧存储器61存储解码图像数据。

在步骤ST88中，AVC帧内预测单元71、LMB帧内预测单元72、AVC运动预测和补偿单元73、LMB运动预测和补偿单元75对应于从无损解码单元52提供的预测模式信息对各个图像进行预测处理。

也就是说，在从无损解码单元52提供帧内预测模式信息的情况下，AVC帧内预测单元71和LMB帧内预测单元72以帧内预测模式进行帧内预测处理，以生成预测图像数据。此外，在从无损解码单元52提供帧间预测模式信息的情况下，AVC运动预测和补偿单元73和LMB运动预测和补偿单元75以帧间预测模式进行运动预测和补偿处理，以生成预测图像数据。

在步骤ST89中，选择器76进行对预测图像数据的选择。也就是说，选择器76将在AVC帧内预测单元71、LMB帧内预测单元72、AVC运动预测和补偿单元73和LMB运动预测和补偿单元75中生成的预测图像数据提供给加法单元55，以如上所述加到逆正交变换单元54的输出从而生成解码图像数据。

在步骤ST90中，画面重排缓冲器57进行图像重排。也就是说，画面重排缓冲器57将为了由图1中的图像编码装置10中的画面重排缓冲器12进行编码而重新排列的帧的顺序重新排列成原始显示顺序。

在步骤ST91中，D/A转换单元58对来自画面重排缓冲器57的图像数据进行D/A转换。该图像被输出给未在附图中示出的显示器，从而显示该图像。

接下来，参考图19中的流程图，将描述在图18中的步骤ST88中的预测步处理。

在步骤ST101中，无损解码单元52确定目标块是否经过帧内编码。在通过进行无损解码而获得的预测模式信息是帧内预测模式信息的情况下，无损解码单元52将预测模式信息提供给AVC帧内预测单元71和LMB帧内预测单元72，并前进到步骤ST102。此外，在预测模式信息不是帧内预测模式信息的情况下，无损解码单元52将预测模式信息提供给AVC运动预测和补偿单元73和LMB运动预测和补偿单元75，并前进到步骤ST103。此外，无损解码单元52可以利用包括在预测模式信息中的关于宏块尺寸的信息，并将预测模式信息提供给相应的AVC帧内预测单元71、LMB的帧内预测单元72、AVC运动预测和补偿单元73、或LMB运动预测和补偿单元75。此外，预测模式信息可以被提供给AVC帧内预测单元71、LMB帧内预测单元72、AVC运动预测和补偿单元73以及LMB运动预测和补偿单元75，以确定该预测模式信息是否是各个单元的对应信息。

在步骤ST102中，AVC帧内预测单元71或LMB的帧内预测单元72进行帧内预测处理。在由预测模式信息指示的宏块是H.264/AVC中规定的尺寸的情况下，AVC帧内预测单元71通过使用经由选择器62提供的解码图像数据和预测模式信息来进行帧内预测，以生成预测图像数据。此外，AVC帧内预测单元71将所生成的预测图像数据输出给选择器76。在由预测模式信息指示的宏块是比H.264/AVC中规定的尺寸更大的尺寸的情况下，LMB帧内预测单元72通过使用经由选择器62提供的解码图像数据和预测模式信息来进行帧内预测，以生成预测图像数据。此外，LMB帧内预测单元72将所生成的预测图像数据输出给选择器76。

在步骤ST103中，AVC运动预测和补偿单元73或LMB运动预测和补偿单元75进行帧间预测处理。在由预测模式信息指示的宏块是H.264/AVC中规定的尺寸的情况下，AVC运动预测和补偿单元73使用由预测模式信息指示的运动矢量信息和参考帧信息、关于宏块类型的信息等，对经由选择器62提供的解码图像数据进行运动补偿。此外，AVC运动预测和补偿单元73将通过运动补偿生成的预测图像数据输出给选择器76。在由预测模式信息指示的宏块是大于H.264/AVC中规定的尺寸的尺寸的情况下，LMB运动预测和补偿单元75使用由预测模式信息指示的运动矢量信息和参考帧信息、边缘确定结果、关于宏块类型的信息等，对经由选择器62提供的解码图像信息进行运动补偿。此外，LMB运动预测和补偿单元75将通过运动补偿生成的预测图像数据输出给选择器76。

此外，将通过使用图20的流程图来描述图19的步骤ST103中在LMB运动预测和补偿单元75中进行的帧间预测处理。

在步骤ST111中，LMB运动预测和补偿单元75获得预测模式信息和对相关的块的边缘块确定结果。LMB运动预测和补偿单元75从无损解码单元52获得预测模式信息。此外，LMB运动预测和补偿单元75从边缘LMB确定单元74获得对相关的块的边缘块确定结果，并前进到步骤ST112。

在步骤ST112中，LMB运动预测和补偿单元75计算运动矢量。LMB运动预测和补偿单元75根据包括在预测模式信息中的运动矢量信息和预测矢量来计算关于相关的块的运动矢量，并前进到步骤ST113。

在步骤ST113中，LMB运动预测和补偿单元75确定相关的块是否是边缘块。当确定结果指示边缘块时，LMB运动预测和补偿单元75前进到步骤ST114，当确定结果不指示边缘块时，LMB运动预测和补偿单元75前进到步骤ST117。

在步骤ST114中，LMB运动预测和补偿单元75确定边缘块是否是在宏块被设定为32×32像素的情况下的边缘块（边缘LMB32）。在基于包括在预测模式信息中的指示宏块尺寸的信息确定宏块被设定为32×32像素的情况下，因为边缘块是边缘块（边缘LMB32），所以LMB运动预测和补偿单元75前进到ST115。此外，在确定宏块被设定为64×64像素的情况下，因为边缘块是在宏块被设定为64×64像素的情况下的边缘块（边缘LMB64），所以LMB运动预测和补偿单元75前进到ST116。

在步骤ST115中，LMB运动预测和补偿单元75对于边缘块对包括在预测模式信息中的宏块类型mb32_type进行确定。也就是说，LMB运动预测和补偿单元75基于图6中的语义来确定对应于宏块类型mb32_type的预测块尺寸，并前进到步骤ST118。

在步骤ST116中，LMB运动预测和补偿单元75对于边缘块对包括在预测模式信息中的宏块类型mb64_type进行确定。也就是说，LMB运动预测和补偿单元75根据基于图8或图9中的语义的边缘块的尺寸来确定对应于宏块类型mb64_type的预测块尺寸，并前进到步骤ST118。

在步骤ST117中，LMB运动预测和补偿单元75确定宏块类型mb32_type或mb64_type。也就是说，LMB运动预测和补偿单元75基于图3中的语义来确定对应于宏块类型mb32_type、mb64_type的预测块尺寸，并前进到步骤ST118。

在步骤ST118中，LMB运动预测和补偿单元75进行运动补偿，并生成预测图像数据。LMB运动预测和补偿单元75基于所确定的预测块尺寸、运动矢量以及参考帧，通过使用从选择器62提供的解码图像数据来进行运动补偿，并生成预测图像数据。

也就是说，在边缘LMB确定单元74确定边缘块的情况下，基于通过对图像数据进行解码处理而获得的宏块类型信息，LMB运动预测和补偿单元75确定预测块尺寸是被确定为边缘块的区域还是通过沿着相对于被确定为边缘块的区域的水平方向和竖直方向之一划分被确定为边缘块的区域而获得的区域的尺寸。LMB运动预测和补偿单元75以所确定的预测块尺寸来生成用于对图像数据进行解码处理的预测图像数据。另外，在由边缘LMB确定单元74确定的边缘块是正方形区域的情况下，基于通过对图像数据的解码处理而获得的宏块类型信息，LMB运动预测和补偿单元75关于被确定为边缘块的正方形区域确定预测块尺寸是否是针对宏块以具有比宏块更小的尺寸的较低水平设定的预测块尺寸之一，并且以所确定的预测块尺寸生成预测图像数据。

以这种方式，根据本申请的发明的图像解码装置和方法，在编码目标图像的边缘部分处生成具有比对其进行解码处理的块更小的尺寸的边缘块的情况下，当被确定为边缘块的区域被设定为目标时，即使当通过使用与被确定为边缘块的尺寸相对应的预测块尺寸和与通过沿着水平方向和竖直方向之一划分被确定为边缘块的区域而获得的多个非正方形区域的尺寸相对应的预测块尺寸在图像编码装置中设定使编码效率提高的预测块尺寸时，也可以生成预测图像数据，根据该预测图像数据预测具有所设定的该预测块尺寸的图像。因此，通过使用所生成的预测图像数据进行图像解码处理，可以对编码流正确地进行解码处理。

此外，当使用根据边缘块的预测块尺寸时，即使通过图像编码装置在不改变语法元素的情况下生成编码流的情况下，图像解码装置也能够通过使用对边缘块的确定结果等，根据边缘块执行对语义的切换。因此，可以基于宏块类型信息，根据边缘块正确地确定预测块尺寸。出于这个原因，不必将指示边缘块的预测块尺寸的语法元素从图像编码装置发送给图像解码装置，从而不会发生编码流的数据量的增加。

此外，根据上述模式，描述了通过使用边缘块确定结果来切换语义，并且在LMB运动预测和补偿单元35和75中以根据边缘块的预测块尺寸进行运动补偿和生成预测图像的情况。然而，使用根据边缘块的预测块尺寸的预测处理不限于帧间预测处理。例如，可以通过使用边缘块确定结果来进行语义的切换，并且在LMB帧内预测单元32和72中，可以以根据边缘块的预测块尺寸进行预测。

此外，本说明书中所述的一系列处理可以由硬件或软件、或两者的组合配置来执行。在执行基于软件的处理的情况下，记录处理序列的程序被安装到结合在专用硬件中的计算机中的存储器中以便执行。或者，也可以将程序安装到能执行各种处理的通用个人计算机中以便执行。

例如，程序可以被预先记录在用作记录介质的硬盘或ROM（只读存储器）中。或者，程序可以暂时或永久地存储（记录）在可移动记录介质中，例如软盘、CD-ROM（压缩盘只读存储器）、MO（磁光）盘、DVD（数字多功能光盘）、磁盘或半导体存储器。上述可移动记录介质可以被设置作为所谓的套装软件。

应当注意的是，程序可以从上述可移除记录介质安装到计算机中。此外，程序可以从下载网站无线传输至计算机或者以有线的方式经由例如LAN（局域网）或因特网的网络传输至计算机，并且计算机可以接收由此传输的要安装到记录介质如内置硬盘中的程序。

此外，本发明不应该被解释成限于本发明的上述实施方式。根据本发明的实施方式，本发明通过例证的方式被公开，而显而易见的是，本领域技术人员可以在不偏离本发明的要点的情况下设计出实施方式的变型和改变。也就是说，为了确定本发明的要点，应当考虑权利要求的范围。

工业实用性

根据本发明的图像编码装置和图像编码方法以及图像解码装置和图像解码方法，关于具有比对其进行编码处理或解码处理的块的块尺寸更小的尺寸的边缘块，以与被确定为边缘块的区域的尺寸相对应的预测块尺寸以及以与通过沿着水平方向和竖直方向之一划分被确定为边缘块的区域而获得的多个非正方形区域的尺寸相对应的预测块尺寸来确定编码效率，并且以使编码效率提高的预测块尺寸进行图像的编码和解码。出于这个原因，对于边缘块使用宏块的在具有小尺寸的较低水平下的预测块尺寸，并且可以避免将边缘块划分成大量的要被编码的块，使得可以通过使用更大的块来减少编码数据的数据量。因此，如在MPEG、H.26x等中，该技术适合下述图像编码装置、图像解码装置等：在经由卫星广播、有线电视、因特网以及例如移动电话的网络介质发送和接收通过以块为单元进行编码而获得的图像信息（比特流）的情况下，或者当在存储介质例如光盘或磁盘以及闪存处理该图像信息的情况下，使用该图像编码装置、图像解码装置等。

附图标记列表

10图像编码装置

11A/D转换单元

12、57画面重排缓冲器

13减法单元

14正交变换单元

15量化单元

16无损编码单元

17、51累积缓冲器

18码率控制单元

21、53逆量化单元

22、54逆正交变换单元

23、55加法单元

24、56去块效应滤波器

25、61帧存储器

26、62、76选择器

31、71AVC帧内预测单元

32、72LMB帧内预测单元

33、73AVC运动预测和补偿单元

34、74边缘LMB确定单元

35、75LMB运动预测和补偿单元

36预测图像和最优模式选择单元

50图像解码装置

52无损解码单元

58D/A转换单元

351运动搜索单元

352成本函数值计算单元

353模式确定单元

354运动补偿单元

751LMB模式解码单元

752运动补偿单元

权利要求书(按照条约第19条的修改)

1.一种对图像数据进行编码处理的图像编码装置，所述装置包括：

边缘块确定单元，被配置成在关于编码目标的图像设定了块的情况下，确定具有比所述块的块尺寸更小的尺寸的边缘块；

预测处理单元，被配置成当被所述边缘块确定单元确定为所述边缘块的区域被设定为目标时，检测与被确定为所述边缘块的所述区域的尺寸相对应的预测块尺寸，或者与通过沿着水平方向和竖直方向之一划分被确定为所述边缘块的所述区域而所获得的多个非正方形区域的尺寸相对应的预测块尺寸；以及

编码单元，被配置成对所述图像数据和与对所述预测处理单元检测到的所述预测块尺寸进行的预测处理有关的预测模式信息进行编码，以生成编码流。

2.根据权利要求1所述的图像编码装置，

其中，所述预测处理单元确定与被确定为所述边缘块的所述区域的尺寸相对应的预测块尺寸，或与通过沿着水平方向和竖直方向之一划分被确定为所述边缘块的所述区域而获得的所述多个非正方形区域的尺寸相对应的预测块尺寸的编码效率，并且检测使所述编码效率提高的预测块尺寸。

3.根据权利要求2所述的图像编码装置，

其中，通过使用相对于块被设置在尺寸小于所述块的较低水平的预测块尺寸，所述预测处理单元确定当在被确定为所述边缘块的正方形区域和经所述划分生成的正方形区域被设定为目标时，各个预测块尺寸下的编码效率。

4.根据权利要求3所述的图像编码装置，

其中，所述预测处理单元在所述块大于预定尺寸的情况下，使用与被确定为所述边缘块的所述区域的尺寸相对应的预测块尺寸，或与通过沿着水平方向和竖直方向之一划分被确定为所述边缘块的所述区域而获得的所述多个非正方形区域的尺寸相对应的预测块尺寸。

5.根据权利要求4所述的图像编码装置，

其中，所述边缘块确定单元针对每个帧或每个切片对所述边缘块进行确定。

6.根据权利要求1所述的图像编码装置，还包括：

设定单元，被配置成设定语法元素的语义，以使得指示所述块的编码类型的块类型和所述预测块尺寸之间的对应关系，与所述块和由所述边缘块确定单元确定的所述边缘块相匹配。

7.根据权利要求6所述的图像编码装置，

其中，取决于所述块是否是所述边缘块，所述编码单元保持所述语法元素，并且所述编码单元生成所述编码流。

8.一种对图像数据进行编码处理的图像编码方法，所述方法包括步骤：

在针对编码目标的图像设定了块的情况下，确定具有比所述块的块尺寸更小的尺寸的边缘块；

当被确定为所述边缘块的区域被设定为目标时，检测与被确定为所述边缘块的所述区域的尺寸相对应的预测块尺寸，或者与通过沿着水平方向和竖直方向之一划分被确定为所述边缘块的所述区域而获得的多个非正方形区域的尺寸相对应的预测块尺寸；以及

对所述图像数据和与对所检测到的预测块尺寸进行的预测处理有关的预测模式信息进行编码，并生成编码流。

9.一种对通过编码图像数据而获得的编码流进行解码处理的图像解码装置，所述装置包括：

边缘块确定单元，被配置成基于解码目标图像的图像尺寸和对其进行所述解码处理的块的位置，来确定具有比所述块的块尺寸更小的尺寸的边缘块；

预测处理单元，被配置成在所述边缘块确定单元确定了所述边缘块的情况下，当被确定为所述边缘块的非正方形区域被设定为目标时，以与被确定为所述边缘块的区域的尺寸相对应的块尺寸，或者与通过沿着水平方向和竖直方向之一划分被确定为所述边缘块的所述区域而获得的区域的尺寸相对应的预测块尺寸，来生成用于对所述图像数据进行的所述解码处理的预测图像数据；以及

解码单元，被配置成通过使用由所述预测处理单元生成的所述预测图像数据来解码所述编码流。

10.根据权利要求9所述的图像解码装置，

其中，基于通过对所述图像数据进行所述解码处理而获得的块类型信息，所述预测处理单元确定所述预测块尺寸是被确定为所述边缘块的所述区域的尺寸还是通过沿着水平方向和竖直方向的方向之一划分被确定为所述边缘块的所述区域而获得的区域的尺寸，并且以所确定的预测块尺寸生成所述预测图像数据。

11.根据权利要求10所述的图像解码装置，

其中，在由所述边缘块确定单元确定的所述边缘块是正方形区域的情况下，基于通过对所述图像数据的所述解码处理而获得的所述块类型信息，所述预测处理单元当被确定为所述边缘块的正方形区域被设定为目标时，所述预测块尺寸是否是相对于宏块被设置在尺寸小于所述宏块的较低水平的预测块尺寸之一，并且以所确定的预测块尺寸生成用于对所述图像数据进行所述解码处理的所述预测图像数据。

12.根据权利要求9所述的图像解码装置，

其中，在这样的状态下生成所述编码流：其中在语法元素被保持的同时，所述语法元素的语义被设定成：使得指示所述块的编码类型的块类型和所述预测块尺寸之间的对应关系与所述块和所述边缘块相匹配。

13.根据权利要求11所述的图像解码装置，

其中，所述预测处理单元通过根据所述边缘块确定单元的确定结果，对指示所述编码流中所包括的所述预测块尺寸的语法元素的语义进行切换，来确定所述块和所述边缘块中的所述预测块尺寸。

14.根据权利要求13所述的图像解码装置，

其中，所述边缘块确定单元针对每个帧或每个切片，对具有比所述块的所述块尺寸更小的尺寸的所述边缘块进行所述确定。

15.一种对通过编码图像数据而获得的编码流进行解码处理的图像解码方法，所述方法包括步骤：

基于解码目标图像的图像尺寸和对其进行所述解码处理的块的位置，来确定具有比所述块的块尺寸更小的尺寸的边缘块；

在确定了所述边缘块的情况下，当被确定为所述边缘块的非正方形区域被设定为目标时，以与被确定为所述边缘块的区域的尺寸或通过沿着水平方向和竖直方向之一划分被确定为所述边缘块的所述区域而获得的区域的尺寸相对应的预测块尺寸，来生成用于对所述图像数据进行的所述解码处理的预测图像数据；以及

通过使用所生成的预测图像数据来解码所述编码流。

Claims (13)

1.一种对图像数据进行编码处理的图像编码装置，所述装置包括：

边缘块确定单元，被配置成在关于编码目标的图像设定了块的情况下，确定具有比所述块的块尺寸更小的尺寸的边缘块；

预测处理单元，被配置成当被所述边缘块确定单元确定为所述边缘块的区域被设定为目标时，检测与被确定为所述边缘块的所述区域的尺寸相对应的预测块尺寸，或者与通过沿着水平方向和竖直方向之一划分被确定为所述边缘块的所述区域而所获得的多个非正方形区域的尺寸相对应的预测块尺寸；以及

编码单元，被配置成对所述图像数据和与对所述预测处理单元检测到的所述预测块尺寸进行的预测处理有关的预测模式信息进行编码，以生成编码流。

2.根据权利要求1所述的图像编码装置，

其中，所述预测处理单元确定与被确定为所述边缘块的所述区域的尺寸相对应的预测块尺寸，或与通过沿着水平方向和竖直方向之一划分被确定为所述边缘块的所述区域而获得的所述多个非正方形区域的尺寸相对应的预测块尺寸的编码效率，并且检测使所述编码效率提高的预测块尺寸。

3.根据权利要求2所述的图像编码装置，

其中，通过使用相对于块被设置在尺寸小于所述块的较低水平的预测块尺寸，所述预测处理单元确定当在被确定为所述边缘块的正方形区域和经所述划分生成的正方形区域被设定为目标时，各个预测块尺寸下的编码效率。

4.根据权利要求3所述的图像编码装置，

其中，所述预测处理单元在所述块大于预定尺寸的情况下，使用与被确定为所述边缘块的所述区域的尺寸相对应的预测块尺寸，或与通过沿着水平方向和竖直方向之一划分被确定为所述边缘块的所述区域而获得的所述多个非正方形区域的尺寸相对应的预测块尺寸。

5.根据权利要求4所述的图像编码装置，

其中，所述边缘块确定单元针对每个帧或每个切片对所述边缘块进行确定。

6.根据权利要求1所述的图像编码装置，

其中，取决于所述块是否是所述边缘块，所述编码单元保持所述语法元素，并且所述编码单元生成所述编码流。

7.一种对图像数据进行编码处理的图像编码方法，所述方法包括步骤：

在针对编码目标的图像设定了块的情况下，确定具有比所述块的块尺寸更小的尺寸的边缘块；

当被确定为所述边缘块的区域被设定为目标时，检测与被确定为所述边缘块的所述区域的尺寸相对应的预测块尺寸，或者与通过沿着水平方向和竖直方向之一划分被确定为所述边缘块的所述区域而获得的多个非正方形区域的尺寸相对应的预测块尺寸；以及

对所述图像数据和与对所检测到的预测块尺寸进行的预测处理有关的预测模式信息进行编码，并生成编码流。

8.一种对通过编码图像数据而获得的编码流进行解码处理的图像解码装置，所述装置包括：

边缘块确定单元，被配置成基于解码目标图像的图像尺寸和对其进行所述解码处理的块的位置，来确定具有比所述块的块尺寸更小的尺寸的边缘块；

预测处理单元，被配置成在所述边缘块确定单元确定了所述边缘块的情况下，当被确定为所述边缘块的非正方形区域被设定为目标时，以与被确定为所述边缘块的区域的尺寸相对应的块尺寸，或者与通过沿着水平方向和竖直方向之一划分被确定为所述边缘块的所述区域而获得的区域的尺寸相对应的预测块尺寸，来生成用于对所述图像数据进行的所述解码处理的预测图像数据；以及

解码单元，被配置成通过使用由所述预测处理单元生成的所述预测图像数据来解码所述编码流。

9.根据权利要求8所述的图像解码装置，

其中，基于通过对所述图像数据进行所述解码处理而获得的块类型信息，所述预测处理单元确定所述预测块尺寸是被确定为所述边缘块的所述区域的尺寸还是通过沿着水平方向和竖直方向的方向之一划分被确定为所述边缘块的所述区域而获得的区域的尺寸，并且以所确定的预测块尺寸生成所述预测图像数据。

10.根据权利要求9所述的图像解码装置，

其中，在由所述边缘块确定单元确定的所述边缘块是正方形区域的情况下，基于通过对所述图像数据的所述解码处理而获得的所述块类型信息，所述预测处理单元当被确定为所述边缘块的正方形区域被设定为目标时，所述预测块尺寸是否是相对于宏块被设置在尺寸小于所述宏块的较低水平的预测块尺寸之一，并且以所确定的预测块尺寸生成用于对所述图像数据进行所述解码处理的所述预测图像数据。

11.根据权利要求10所述的图像解码装置，

其中，所述预测处理单元通过根据所述边缘块确定单元的确定结果，对指示所述编码流中所包括的所述预测块尺寸的语法元素的语义进行切换，来确定所述块和所述边缘块中的所述预测块尺寸。

12.根据权利要求11所述的图像解码装置，

其中，所述边缘块确定单元针对每个帧或每个切片，对具有比所述块的所述块尺寸更小的尺寸的所述边缘块进行所述确定。

13.一种对通过编码图像数据而获得的编码流进行解码处理的图像解码方法，所述方法包括步骤：

基于解码目标图像的图像尺寸和对其进行所述解码处理的块的位置，来确定具有比所述块的块尺寸更小的尺寸的边缘块；

在确定了所述边缘块的情况下，当被确定为所述边缘块的非正方形区域被设定为目标时，以与被确定为所述边缘块的区域的尺寸或通过沿着水平方向和竖直方向之一划分被确定为所述边缘块的所述区域而获得的区域的尺寸相对应的预测块尺寸，来生成用于对所述图像数据进行的所述解码处理的预测图像数据；以及

通过使用所生成的预测图像数据来解码所述编码流。

Images