CN103168471A - 图像处理装置和图像处理方法 - Google Patents

图像处理装置和图像处理方法 Download PDF

Info

Publication number
CN103168471A
CN103168471A CN2011800502981A CN201180050298A CN103168471A CN 103168471 A CN103168471 A CN 103168471A CN 2011800502981 A CN2011800502981 A CN 2011800502981A CN 201180050298 A CN201180050298 A CN 201180050298A CN 103168471 A CN103168471 A CN 103168471A
Authority
CN
China
Prior art keywords
information
motion compensation
motion
adjacent
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2011800502981A
Other languages
English (en)
Inventor
佐藤数史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN103168471A publication Critical patent/CN103168471A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明使得可以实现高编码效率。块选择处理单元（33）根据要被处理用于编码的运动补偿块的块大小和已被编码的相邻运动补偿块的块大小，从与该运动补偿块相邻的相邻运动补偿块中选择块。预测运动矢量信息生成单元（34）通过使用所选择的块的运动矢量信息，生成关于要编码的运动补偿块的预测运动矢量信息。运动预测/补偿单元（32）通过使用由预测运动矢量信息生成单元（34）生成的预测运动矢量信息，进行帧间预测并生成预测图像数据。

Description

图像处理装置和图像处理方法
技术领域
本技术涉及一种图像处理装置和图像处理方法。具体地，该技术提供了一种甚至在使用具有扩展大小的宏块时也可以实现高编码效率的图像处理装置和图像处理方法。
背景技术
近年来，将图像信息处置为数字信息并且在这样做时实现高效信息传送和累积的设备或者符合用于通过如离散余弦变换的正交变换和运动补偿进行压缩的标准（诸如MPEG）的设备已在广播站和一般家庭中得以普及。
具体地，MPEG2（ISO/IEC13818-2）被定义为通用的图像编码技术，并且当前用于针对专业人士和一般消费者的各种应用。通过使用MPEG2压缩技术，例如，将4Mbps至8Mbps的比特率分配给具有720×480个像素的标准分辨率隔行扫描图像（interlaced image）。另外，将18Mbps至22Mbps的比特率分配给具有1920×1088个像素的高分辨率交织图像。通过这样的比特率分配，可以实现高压缩率和极好的图像质量。
尽管在编码和解码中需要比诸如MPEG2的传统编码技术的计算量大的计算量，但是在增强压缩视频编码的联合模型的名义下进行了用于实现高编码效率的标准化，其中该联合模型已成为作为H.264和MPEG Part10（下文中称为“H.264/AVC（高级视频编码）”）的国际标准。
如图1所示，在H.264/AVC中，将由16×16个像素形成的宏块分割为16×16、16×8、8×16或8×8像素的运动补偿块，这些运动补偿块可以具有相互独立的运动矢量信息。如图1所示，每个8×8像素子宏块可以进一步被分割成8×8、8×4、4×8或4×4像素的运动补偿块，这些运动补偿块可以具有相互独立的运动矢量信息。在MPEG-2中，运动预测/补偿操作中的单位在帧运动补偿模式下为16×16个像素，并且在场运动补偿模式下在第一场和第二场的每个场中均为16×8个像素。
在H.264/AVC中，执行这种运动预测/补偿操作。结果，生成大量的运动矢量信息，并且按原样对运动矢量信息进行编码将导致编码效率的降低。
为了解决该问题，在H.264/AVC中使用下述的中值预测，并且实现了编码运动矢量信息量的减小。
在图2中，块E是要编码的运动补偿块，并且块A至D是与运动补偿块E相邻的编码后运动补偿块。
这里，X是A、B、C、D或E，并且mvX表示关于运动补偿块X的运动矢量信息。
通过使用关于运动补偿块A、B和C的运动矢量信息，根据等式（1）、通过中值预测来生成关于运动补偿块E的预测运动矢量信息pmvE。
pmvE=med(mvA,mvB,mvC)…(1)
如果由于块C位于图像帧的角落等处而无法获得关于相邻运动补偿块C的信息，则替代地使用关于相邻运动补偿块D的信息。
在压缩图像信息中，根据等式（2），通过使用pmvE来生成要被编码为关于运动补偿块E的运动矢量信息的数据mvdE。
mvdE=mvE-pmvE…(2)
在实际操作中，对相互独立的运动矢量信息的水平分量和垂直分量执行处理。
另外，在H.264/AVC中，指定多参考帧技术。现在参照图3，描述了在H.264/AVC中定义的多参考帧技术。
在MPEG2等中，在P画面的情况下，通过参考存储在帧存储器中的仅一个参考帧来执行运动预测/补偿操作。然而，在H.264/AVC中，多于一个参考帧存储在存储器中，以使得对于每个块可以参考不同的存储器，如图3所示。
尽管B画面中的运动矢量信息量非常大，但是在H.264/AVC中存在称为直接模式的预定模式。在直接模式中，运动矢量信息没有包含在压缩图像信息中，并且解码装置从关于周围块或锚点块（同位块）的运动矢量信息中提取关于块的运动矢量信息。锚点块是在参考图像中具有与正被编码的运动补偿块相同的x-y坐标的块。
直接模式包括空间直接模式和时间直接模式，并且可以针对每个切片（slice）来选择这两种模式中的一种。
在空间直接模式下，通过中值预测所生成的运动矢量信息pmvE用作要用于块的运动矢量信息mvE，如等式（3）所示。
mvE=pmvE…(3)
现在参照图4描述时间直接模式。在图4中，在L0参考画面中位于与块相同的空间地址的块是锚点块，并且关于锚点块的运动矢量信息是运动“mvcol”。另外，“TDB”表示在时间轴上画面与L0参考画面之间的距离，并且“TDD”表示在时间轴上L0参考画面与L1参考画面之间的距离。在该情况下，根据等式（4）和（5）来计算画面中的L0运动矢量信息mvL0和L1运动矢量信息mvL1。
mvL0=(TDB/TDD)mvcol…(4)
mvL1=((TDD-TDB)/TDD)mvcol…(5)
在压缩图像信息中，不存在表示时间轴上的距离的信息，因此根据等式（4）和（5）的计算使用POC（画面序列号）。
在AVC压缩图像信息中，直接模式可以以16×16像素宏块为单位或以8×8像素子宏块为单位来定义。
同时，非专利文献1已提出了对如图2所示的使用中值预测的运动矢量编码的改进。根据非专利文献1，可以自适应地使用时间预测运动矢量信息或时空预测运动矢量信息以及通过中值预测而获得的空间预测运动矢量信息。
即，在图5中，运动矢量信息mvcol是关于相对于运动补偿块的锚点块的运动矢量信息。另外，运动矢量信息mvtk（k=0至8）是关于周围块的运动矢量信息。
时间预测运动矢量信息mvtm是通过使用等式（6）根据五条运动矢量信息而生成的。替选地，可通过使用等式（7）根据九条运动矢量信息来生成时间预测运动矢量信息mvtm。
mvtm5=med(mvcol,mvt0,…mvt3)…(6)
mvtm9=med(mvcol,mvt0,…mvt7)…(7)
时空预测运动矢量信息mvspt是通过使用等式（8）根据五条运动矢量信息而生成的。
mvspt=med(mvcol,mvcol,mvA,mvB,mvC)…(8)
在对图像信息进行编码的图像处理装置中，通过使用关于各个块的预测运动矢量信息来计算各个块的成本函数值，并且选择最优的预测运动矢量信息。通过压缩图像信息，针对每个块传送表示关于使用了哪个预测运动矢量信息的信息的标志。
另外，对于以较高压缩率进行编码以便压缩4000×2000个像素的图像等或者在当今传送容量有限的环境中（如在因特网中）分发高清图像的需求日益增加。鉴于此，非专利文献2公开了在层级结构中使用宏块的大小比MPEG2或H.264/AVC中的宏块的大小更大的扩展宏块。即，在扩展宏块中，16×16像素块和更小的块与H.264/AVC中的宏块兼容。作为这些块的超集，定义诸如32×32像素宏块的更大块。
引用列表
非专利文献
非专利文献1："Motion Vector Coding with Optimal PMV Selection"(Video Coding Experts Group(VCEG),Study Group16,ITU,VCEG-AI22,2008年7月)
非专利文献2："Video Coding Using Extended Block Sizes"(StudyGroup16,Contribution123,ITU,COM16-C123-E,2009年1月)
发明内容
本发明要解决的问题
如图6所示，当正被编码的运动补偿块和左侧相邻的运动补偿块是16×16像素块并且上部相邻和右上相邻的运动补偿块是4×4像素块时，假设运动补偿块的上端为随机运动区域与静止图像区域之间的边界。然而，在H.264/AVC中，当对运动矢量信息进行编码时没有考虑出现在运动边界的不连续性。结果，通过使用关于随机运动区域和静止图像区域中的相邻运动补偿块的运动矢量信息来执行中值预测，并且存在无法生成用于实现高编码效率的预测运动矢量的可能性。
此外，当使用如非专利文献2中所公开的扩展宏块时，存在如下情况：例如，通过减小随机运动区域中的运动补偿块大小并且增大静止图像区域中的运动补偿块大小来提高编码效率。在这样的情况下，在位于运动边界上的编码当前运动补偿块和经过运动边界的与编码当前运动补偿块相邻的相邻运动补偿块之间的运动矢量信息差甚至变得更大。因此，使用通过中值预测而生成的预测运动矢量将导致实现高编码效率的难度增加。
鉴于此，本技术的目的是提供一种可以实现高编码效率的图像处理装置和图像处理方法。
问题的解决方案
本技术的第一方面在于一种图像处理装置，该图像处理装置通过使用以层级结构定义的运动补偿块来执行编码或解码。该图像处理装置包括：块选择处理单元，根据正经受编码或解码的当前运动补偿块的块大小和与当前运动补偿块相邻的编码后相邻运动补偿块的块大小，从相邻运动补偿块中选择块；以及预测运动矢量信息生成单元，通过使用关于由块选择处理单元选择的块的运动矢量信息，生成要用在对关于当前运动补偿块的运动矢量信息的编码操作或解码操作中的预测运动矢量信息。
根据该技术，根据正被编码或解码的当前运动补偿块的块大小和与当前运动补偿块相邻的编码后相邻运动补偿块的块大小，仅选择以与当前运动补偿块相同的层级的块大小所编码的相邻运动补偿块。此外，基于关于所选择的相邻运动补偿块的运动矢量信息，生成预测运动矢量信息。
当已以不同层级的块大小对相对于当前运动补偿块位于右上位置的相邻运动补偿块进行了编码时，使用左上相邻运动补偿块来替代右上相邻运动补偿块。当已以与当前运动补偿块相同的层级的块大小对要用在中值预测中的三个相邻运动补偿块的全部三个都进行了编码时，通过使用关于这三个相邻运动补偿块的运动矢量信息来执行中值预测，以生成预测运动矢量信息。当已以同一层级的块大小对两个块进行了编码时，计算由与属于同一层级的两个相邻运动补偿块相关的运动矢量信息表示的运动矢量的平均值，并且将表示平均值的运动矢量信息或关于两个相邻运动补偿块之一的运动矢量信息设置为预测运动矢量信息。此外，当已以同一层级的块大小对一个块进行了编码时，将与属于相同层级的一个相邻运动补偿块相关的运动矢量信息设置为预测运动矢量信息。当不存在属于同一层级的相邻运动补偿块时，预测运动矢量信息表示零矢量。
当与当前运动补偿块在时间上相邻的相邻运动补偿块具有同一分辨率的大小时，关于时间相邻运动补偿块的运动矢量信息被设置为时间预测运动矢量信息，并且基于与要用在中值预测中的三个相邻运动补偿块相关的运动矢量信息而生成的时间预测运动矢量信息或空间预测运动矢量信息用作预测运动矢量信息。当仅可以生成空间预测运动矢量信息时，或者当仅可以生成时间预测运动矢量信息时，可以生成的信息用作预测运动矢量信息。此外，当既不能生成空间预测运动矢量信息又不能生成时间预测运动矢量信息时，表示零矢量的信息用作预测运动矢量信息。
该技术的第二方面在于一种图像处理装置中的图像处理方法，该图像处理方法用于通过使用以层级结构定义的运动补偿块来执行编码或解码。该图像处理方法包括以下步骤：根据正经受编码或解码的当前运动补偿块的块大小和与当前运动补偿块相邻的编码后相邻运动补偿块的块大小，从相邻运动补偿块中选择块；以及通过使用关于所选择的块的运动矢量信息，生成要用在对关于当前运动补偿块的运动矢量信息的编码操作或解码操作中的预测运动矢量信息。
本发明的效果
根据该技术，根据正被编码或解码的当前运动补偿块的块大小和与当前运动补偿块相邻的编码后相邻运动补偿块的块大小，从相邻运动补偿块中选择块。另外，通过使用关于所选择的块的运动矢量信息，生成关于正被处理的当前运动补偿块的预测运动矢量信息。即，通过根据正被处理的当前运动补偿块和相邻运动补偿块的块大小自适应地使用关于相邻运动补偿块的运动矢量信息来生成预测运动矢量信息。因此，可以根据对出现在运动边界的不连续性的检测结果来生成预测运动矢量信息，并且可以实现高编码效率。
附图说明
图1是示出H.264/AVC中的运动补偿块的图。
图2是用于说明中值预测的图。
图3是用于说明多参考帧技术的图。
图4是用于说明时间直接模式的图。
图5是用于说明时间预测运动矢量信息和时空预测运动矢量信息的图。
图6是示出正被编码的运动补偿块和编码后相邻运动补偿块的示例大小的图。
图7是示出图像编码装置的结构的图。
图8是示出运动预测/补偿单元和预测运动矢量生成单元的结构的图。
图9是用于说明具有1/4像素精度的运动预测/补偿操作的图。
图10示出了宏块大小被扩展的层级结构。
图11是示出图像编码装置的操作的流程图。
图12是示出预测操作的流程图。
图13是示出帧内预测操作的流程图。
图14是示出帧间预测操作的流程图。
图15是示出预测运动矢量信息生成操作的流程图。
图16是示出不仅使用空间块而且使用时间块的预测运动矢量信息生成操作的流程图。
图17是示出图像解码装置的结构的图。
图18是示出运动补偿单元和预测运动矢量生成单元的结构的图。
图19是示出图像解码装置的操作的流程图。
图20是示出预测图像生成操作的流程图。
图21是示出帧间预测图像生成操作的流程图。
图22是示意性地示出计算机装置的示例结构的图。
图23是示意性地示出电视机设备的示例结构的图。
图24是示意性地示出便携式电话装置的示例结构的图。
图25是示意性地示出记录/再现设备的示例结构的图。
图26是示意性地示出成像设备的示例结构的图。
具体实施方式
以下是用于实现本技术的实施例的描述。将按以下顺序进行说明。
1.图像编码装置的结构
2.图像编码装置的操作
3.图像解码装置的结构
4.图像解码装置的操作
5.软件处理
6.对电子设备的应用
[1.图像编码装置的结构]
图7示出了执行图像编码的图像处理装置（下文中称为“图像编码装置”）的结构。图像编码装置10包括模拟/数字转换器（A/D转换器）11、屏幕重排缓冲器12、减法单元13、正交变换单元14、量化单元15、无损编码单元16、累积缓冲器17和速率控制单元18。图像编码装置10还包括逆量化单元21、逆正交变换单元22、加法单元23、去块滤波器24、帧存储器25、帧内预测单元31、运动预测/补偿单元32、块选择处理单元33、预测运动矢量信息生成单元34和预测图像/最优模式选择单元35。
A/D转换器11将模拟图像信号转换成数字图像数据，并且将该图像数据输出到屏幕重排缓冲器12。
屏幕重排缓冲器12对从A/D转换器11输出的图像数据的帧进行重排。屏幕重排缓冲器12根据与编码操作有关的GOP（画面组）结构对帧进行重排，并且将重排后的图像数据输出到减法单元13、帧内预测单元31和运动预测/补偿单元32。
减法单元13接收从屏幕重排缓冲器12输出的图像数据和由稍后描述的预测图像/最优模式选择单元35选择的预测图像数据。减法单元13计算作为从屏幕重排缓冲器12输出的图像数据与从预测图像/最优模式选择单元15提供的预测图像数据之间的差的预测误差数据，并且将预测误差数据输出到正交变换单元14。
正交变换单元14对从减法单元13输出的预测误差数据执行诸如离散余弦变换（DCT）或卡洛变换（Karhunen-Loeve transform）的正交变换操作。正交变换单元14将通过执行正交变换操作而获得的变换系数数据输出到量化单元15。
量化单元15接收从正交变换单元14输出的变换系数数据和从稍后描述的速率控制单元18提供的速率控制信号。量化单元15对变换系数数据进行量化，并且将量化数据输出到无损编码单元16和逆量化单元21。基于从速率控制单元18提供的速率控制信号，量化单元15切换量化系数（量化位阶），以改变量化数据的比特率。
无损编码单元16接收从量化单元15输出的量化数据、从稍后描述的帧内预测单元31提供的预测模式信息和从运动预测/补偿单元32提供的预测模式信息、差运动矢量信息等。另外，从预测图像/最优模式选择单元35提供表示最优模式是帧内预测还是帧间预测的信息。根据预测模式是帧内预测还是帧间预测，预测模式信息包含表示预测模式的信息、关于运动补偿块的块大小信息等。无损编码单元16通过可变长编码或算术编码等对量化数据执行无损编码操作，以生成压缩图像信息并将其输出到累积缓冲器17。当最优模式是帧内预测时，无损编码单元16对从帧内预测单元31提供的预测模式信息执行无损编码。当最优模式是帧间预测时，无损编码单元16对从运动预测/补偿单元32提供的预测模式信息、差运动矢量信息等执行无损编码。此外，无损编码单元16将经受了无损编码的信息并入压缩图像信息中。例如，无损编码单元16将信息添加到作为压缩图像信息的编码流中的报头信息中。
累积缓冲器17存储从无损编码单元16提供的压缩图像信息。累积缓冲器17还以根据传送路径的传送速率输出所存储的压缩图像信息。
速率控制单元18监视累积缓冲器17中的自由空间，根据自由空间生成速率控制信号，并且将速率控制信号输出到量化单元15。速率控制单元18例如从累积缓冲器17获得表示自由空间的信息。当剩余的自由空间较小时，速率控制单元18通过速率控制信号降低量化数据的比特率。当累积缓冲器17中的剩余自由空间足够大时，速率控制单元18通过速率控制信号增加量化数据的比特率。
逆量化单元21对从量化单元15提供的量化数据进行逆量化。逆量化单元21将通过执行逆量化而获得的变换系数数据输出到逆正交变换单元22。
逆正交变换单元22对从逆量化单元21提供的变换系数数据执行逆正交变换操作，并且将所得到的数据输出到加法单元23。
加法单元23将从逆正交变换单元22提供的数据与从预测图像/最优模式选择单元35提供的预测图像数据相加，以生成解码图像数据。然后，加法单元23将解码图像数据输出到去块滤波器24和帧存储器25。解码图像数据用作参考图像的图像数据。
去块滤波器24执行滤波操作以减少在图像编码时发生的块失真。去块滤波器24执行滤波操作以从由加法单元23提供的解码图像数据去除块失真，并且将滤波后的解码图像数据输出到帧存储器25。
帧存储器25存储尚未经受滤波操作并且已从加法单元23提供的解码图像数据以及已经受滤波操作并且已从去块滤波器24提供的解码图像数据。存储在帧存储器25中的解码图像数据作为参考图像数据经由选择器26而被提供到帧内预测单元31或运动预测/补偿单元32。
当在帧内预测单元31处执行帧内预测时，选择器26将尚未经受去块滤波操作并且存储在帧存储器25中的解码图像数据作为参考图像数据提供到帧内预测单元31。当在运动预测/补偿单元32处执行帧间预测时，选择器26将已经受去块滤波操作并且存储在帧存储器25中的解码图像数据作为参考图像数据提供到运动预测/补偿单元32。
使用从屏幕重排缓冲器12提供的编码目标图像的输入图像数据和从帧存储器25提供的参考图像数据，帧内预测单元31以所有候选帧内预测模式执行预测以确定最优帧内预测模式。帧内预测单元31计算例如每种帧内预测模式下的成本函数值，并且基于所算出的成本函数值设置作为具有最高编码效率的帧内预测模式的最优帧内预测模式。帧内预测单元31将在最优帧内预测模式下生成的预测图像数据和最优帧内预测模式下的成本函数值输出到预测图像/最优模式选择单元35。帧内预测单元31还将表示最优帧内预测模式的预测模式信息输出到无损编码单元16。
使用从屏幕重排缓冲器12提供的编码目标图像的输入图像数据和从帧存储器25提供的参考图像数据，运动预测/补偿单元32以所有候选帧间预测模式执行预测以确定最优帧间预测模式。运动预测/补偿单元32计算例如每种帧间预测模式下的成本函数值，并且基于所算出的成本函数值设置作为具有最高编码效率的帧间预测模式的最优帧间预测模式。运动预测/补偿单元32将在最优帧间预测模式下生成的预测图像数据和最优帧间预测模式下的成本函数值输出到预测图像/最优模式选择单元35。运动预测/补偿单元32还将关于最优帧间预测模式的预测模式信息输出到无损编码单元16。运动预测/补偿单元12还使用由预测运动矢量信息生成单元34生成的预测运动矢量信息来生成差运动矢量信息，并且确定当使用差运动矢量信息时具有最高编码效率的帧间预测模式。
块选择处理单元33根据正被编码的运动补偿块的块大小和与该运动补偿块相邻的编码后相邻运动补偿块的块大小，从相邻运动补偿块中选择块。块选择处理单元33仅选择已以与正被编码的运动补偿块相同的层级的大小进行了编码的相邻运动补偿块，并且将块选择结果输出到预测运动矢量信息生成单元34。
预测运动矢量信息生成单元34使用关于由块选择处理单元33选择的块的运动矢量信息，生成要用于对关于正被编码的运动补偿块的运动矢量信息进行编码的预测运动矢量信息。预测运动矢量信息输出单元34还将所生成的预测运动矢量信息输出到运动预测/补偿单元32。
图8示出了运动预测/补偿单元32和预测运动矢量信息生成单元34的结构。运动预测/补偿单元32包括运动搜索单元321、成本函数值计算单元322、模式确定单元323、运动补偿处理单元324和运动矢量/块大小信息缓冲器325。
从屏幕重排缓冲器12提供的重排后的输入图像数据和从帧存储器25读取的参考图像数据被提供到运动搜索单元321。运动搜索单元321以所有候选帧间预测模式进行运动搜索，以检测运动矢量。运动搜索单元321将表示所检测的运动矢量的运动矢量信息连同对于已检测到运动矢量的情况的输入图像数据和参考图像数据一起输出到成本函数值计算单元322。
运动矢量信息、输入图像数据和参考图像数据从运动搜索单元321提供到成本函数值计算单元322，并且预测运动矢量信息从预测运动矢量信息生成单元34提供到成本函数值计算单元322。使用运动矢量信息、输入图像数据、参考图像数据和预测运动矢量信息，成本函数值计算单元322计算所有候选帧间预测模式下的成本函数值。
如作为H.264/AVC中的参考软件的JM（联合模型）中所指定的，通过高复杂度模式或低复杂度模式的技术来计算成本函数值。
具体地，在高复杂度模式下，以每种候选预测模式临时执行以无损编码操作结束的操作，以计算在每种预测模式下由以下等式（9）表示的成本函数值：
Cost(Mode∈Ω)=D+λ·R…(9)
这里，Ω表示用于对运动补偿块的图像进行编码的候选预测模式的全体集合。D表示在以预测模式执行编码的情况下解码图像与输入图像之间的能量差（失真）。R表示包括正交变换系数和预测模式信息的比特生成率，并且λ表示作为量化参数QP的函数而给出的拉格朗日乘数。
即，为了在高复杂度模式下执行编码，需要以所有候选预测模式执行临时编码操作以计算以上参数D和R，因此，需要较大计算量。
另一方面，在低复杂度模式下，以所有候选预测模式生成预测图像、包含差运动矢量信息和预测模式信息的报头比特（header bit）等，以计算由以下等式（10）表示的成本函数值：
Cost(Mode∈Ω)=D+QP2Quant(QP)·Header_Bit…(10)
这里，Ω表示用于对运动补偿块的图像进行编码的候选预测模式的全体集合。D表示在以预测模式执行编码的情况下解码图像与输入图像之间的能量差（失真）。Header_Bit表示与预测模式对应的报头比特，并且QP2Quant是作为量化参数QP的函数而给出的函数。
即，在低复杂度模式下，需要以每种预测模式执行预测操作，但是不需要任何解码图像。因此，计算量可以小于高复杂度模式下所需的计算量。
如上所述，成本函数值计算单元322将差运动矢量信息纳入考虑来计算成本函数值，该差运动矢量信息表示由从运动搜索单元321提供的运动矢量信息所表示的运动矢量与由预测运动矢量信息表示的预测运动矢量之间的差。成本函数值计算单元322将所算出的成本函数值输出到模式确定单元323。
模式确定单元323将具有最小成本函数值的模式确定为最优帧间预测模式。模式确定单元323还将表示所确定的最优帧间预测模式的预测模式信息以及与最优帧间预测模式有关的运动矢量信息和差运动矢量信息等输出到运动补偿处理单元324。这里，预测模式信息包含关于运动补偿块的块大小信息等。
基于最优帧间预测模式信息和运动矢量信息，运动补偿处理单元324对从帧存储器25读取的参考图像数据执行运动补偿，生成预测图像数据，并且将预测图像数据输出到预测图像/最优模式选择单元35。运动补偿处理单元324还将关于最优帧间预测的预测模式信息、该模式下的差运动矢量信息等输出到无损编码单元16。
运动矢量/块大小信息缓冲器325存储关于最优帧间预测模式的运动矢量信息和关于运动补偿块的块大小信息。运动矢量/块大小信息缓冲器325还将关于与正被编码的运动补偿块相邻的编码后运动补偿块的运动矢量信息（下文中称为“相邻运动矢量信息”）和相应的块大小信息（下文中称为“相邻块大小信息”）输出到预测运动矢量信息生成单元34。
运动预测/补偿单元32执行例如在H.264/AVC中指定的具有1/4像素精度的运动预测/补偿操作。图9是用于说明具有1/4像素精度的运动预测/补偿操作的图。在图9中，位置“A”表示存储在帧存储器25中的每个整数精度像素的位置，位置“b”、“c”和“d”表示1/2像素精度的像素的位置，位置“e1”、“e2”和“e3”表示1/4像素精度的像素的位置。
在下文中，Clip1()如等式（11）中所示的那样来定义。
[数学式1]
Clipl ( a ) = 0 ; if ( a < 0 ) a ; otherwise max _ pix ; if ( a > max _ pix ) &CenterDot; &CenterDot; &CenterDot; ( 11 )
在等式（11）中，当输入图像具有8位精度时，max_pix的值是255。
位置“b”和“d”的像素值通过使用如等式（12）和（13）所示的6抽头FIR滤波器来生成。
F=A-2-5·A-1+20·A0+20·A1-5·A2+A3…(12)
b,d=Clip1((F+16)>>5)…(13)
位置“c”的像素值通过使用如等式（14）或（15）和等式（16）所示的6抽头FIR滤波器来生成。
F=b-2-5·b-1+20·b0+20·b1-5·b2+b3…(14)
F=d-2-5·d-1+20·d0+20·d1-5·d2+d3…(15)
c=Clip1((F+512)>>10)…(16)
仅在水平方向和垂直方向上均执行了乘积和运算之后，在最后执行Clip1处理一次。
位置“e1”至“e3”的像素值通过如等式（17）至（19）所示的线性插值来生成。
e1=(A+b+1)>>1…(17)
e2=(b+d+1)>>1…(18)
e3=(b+c+1)>>1…(19)
以此方式，运动预测/补偿单元32以1/4像素精度执行运动预测/补偿操作。
预测运动矢量信息生成单元34包括相邻运动矢量/块大小信息缓冲器341和运动矢量信息处理单元342。
相邻运动矢量/块大小信息缓冲器341存储从运动预测/补偿单元32的运动矢量/块大小信息缓冲器325提供的相邻运动矢量信息和相邻块大小信息。相邻运动矢量/块大小信息缓冲器341还将所存储的相邻块大小信息输出到块选择处理单元33。相邻运动矢量/块大小信息缓冲器341还将所存储的相邻运动矢量信息输出到运动矢量信息处理单元342。
基于与以从块选择处理单元33提供的块选择结果表示的相邻运动补偿块相关的运动矢量信息，运动矢量信息处理单元342生成预测运动矢量信息。运动矢量信息处理单元342将所生成的预测运动矢量信息输出到运动预测/补偿单元32的成本函数值计算单元322。应注意，基于从相邻运动矢量/块大小信息缓冲器341提供的相邻块大小信息，块选择处理单元33仅选择具有与正被编码的运动补偿块相同的层级的大小的编码后相邻运动补偿块。块选择处理单元33将表示所选择的相邻运动补偿块的块选择结果输出到预测运动矢量信息生成单元34的运动矢量信息处理单元342。
返回参照图7，预测图像/最优模式选择单元35将从帧内预测单元31提供的成本函数值与从运动预测/补偿单元32提供的成本函数值进行比较，并且选择较小的成本函数值作为具有最高编码效率的最优模式。预测图像/最优模式选择单元35还将以最优模式所生成的预测图像数据输出到减法单元13和加法单元23。此外，预测图像/最优模式选择单元35将表示最优模式是帧内预测模式还是帧间预测模式的信息输出到无损编码单元16。预测图像/最优模式选择单元35针对每个切片而切换到帧内预测或帧间预测。
[2.图像编码装置的操作]
在图像编码装置中，使得宏块大小比H.264/AVC中的宏块大小大，并且执行编码操作。
图10示出了宏块大小被扩展的层级结构。在图10中，图10(C)和图10(D)示出了在H.264/AVC中定义的16×16像素宏块和8×8像素子宏块。作为大小大于H.264/AVC中的大小的宏块，指定了图10(A)所示的64×64像素宏块和图10(B)所示的32×32像素宏块。应注意，在图10中，每个“跳过/直接（skip/direct）”表示在选择了跳过宏块模式或直接模式的情况下所使用的块大小。另外，每个“ME”表示运动补偿块大小。每个“P8×8”表示可以在具有更小的块大小的更低层级进一步分割块。
在一个层级，设置包括分割后的宏块的大小的运动补偿块的块大小。例如，在图10(A)所示的64×64像素宏块的层级，设置64×64个像素、64×32个像素、32×64个像素和32×32个像素作为属于同一层级的运动补偿块的块大小。
图11是示出图像编码装置的操作的流程图。在步骤ST11中，A/D转换器11对输入图像信号执行A/D转换。
在步骤ST12中，屏幕重排缓冲器12执行图像重排。屏幕重排缓冲器12存储从A/D转换器11提供的图像数据，并且替代显示顺序而以编码顺序对各个画面进行重排。
在步骤ST13中，减法单元13生成预测误差数据。减法单元13通过计算在步骤ST12中重排的图像的图像数据与由预测图像/最优模式选择单元35选择的预测图像数据之间的差别来生成预测误差数据。预测误差数据具有比原始图像数据小的数据量。因此，可以使得数据量比在直接对图像进行编码的情况下小。
在步骤ST14中，正交变换单元14执行正交变换操作。正交变换单元14对从减法单元13提供的预测误差数据执行正交变换。具体地，对预测误差数据执行诸如离散余弦变换或卡洛变换的正交变换，并且输出变换系数数据。
在步骤ST15中，量化单元15执行量化操作。量化单元15对变换系数数据进行量化。在量化中，如稍后将在步骤ST25的描述中所述的那样执行速率控制。
在步骤ST16中，逆量化单元21执行逆量化操作。逆量化单元21对在量化单元15处所量化的变换系数数据进行逆量化，该逆量化单元21具有与量化单元15的特性兼容的特性。
在步骤ST17中，逆正交变换单元22执行逆正交变换操作。逆正交变换单元22对在逆量化单元21处所逆量化的变换系数数据执行逆正交变换，该逆正交变换单元22具有与正交变换单元14的特性兼容的特性。
在步骤ST18中，加法单元23生成参考图像数据。加法单元23通过将从预测图像/最优模式选择单元35提供的预测图像数据和对应于预测图像并且已经受了逆正交变换的位置的数据相加，生成参考图像数据（解码图像数据）。
在步骤ST19中，去块滤波器24执行滤波操作。去块滤波器24通过对从加法单元23输出的解码图像数据进行滤波来去除块失真。
在步骤ST20中，帧存储器25存储参考图像数据。帧存储器25存储滤波后的参考图像数据（解码图像数据）。
在步骤ST21中，帧内预测单元31和运动预测/补偿单元32均执行预测操作。具体地，帧内预测单元31以帧内预测模式执行帧内预测操作，并且运动预测/补偿单元32以帧间预测模式执行运动预测/补偿操作。稍后将参照图12详细描述预测操作。在该步骤中，以所有候选预测模式执行预测操作，并且以所有候选预测模式计算成本函数值。基于所算出的成本函数值，选择最优帧内预测模式和最优帧间预测模式，并且将以所选择的预测模式生成的预测图像、成本函数和预测模式信息提供到预测图像/最优模式选择单元35。
在步骤ST22中，预测图像/最优模式选择单元35选择预测图像数据。基于从帧内预测单元31和运动预测/补偿单元32输出的各个成本函数值，预测图像/最优模式选择单元35确定最优模式以优化编码效率。预测图像/最优模式选择单元35还选择所确定的最优模式的预测图像数据，并且将所选择的预测图像数据输出到减法单元13和加法单元23。该预测图像数据用在如上所述的步骤ST13和ST18的操作中。
在步骤ST23中，无损编码单元16执行无损编码操作。无损编码单元16对从量化单元15输出的量化数据执行无损编码。即，对量化数据执行诸如可变长编码或算术编码的无损编码以压缩数据。无损编码单元16还对与在步骤ST22中选择的预测图像数据对应的预测模式信息等执行无损编码，以使得预测模式信息等的无损编码数据并入通过对量化数据执行无损编码而生成的压缩图像信息中。
在步骤ST24中，累积缓冲器17执行累积操作。累积缓冲器17存储从无损编码单元16输出的压缩图像信息。存储在累积缓冲器17中的压缩图像信息在需要时被读取并且经由传送路径被传送到解码侧。
在步骤ST25中，速率控制单元18执行速率控制。速率控制单元18控制量化单元15的量化操作，以使得在累积缓冲器17存储压缩图像信息时在累积缓冲器17中不会发生上溢或下溢。
现在参照图12中的流程图，描述图11的步骤ST21中的预测操作。
在步骤ST31中，帧内预测单元31执行帧内预测操作。帧内预测单元31以所有候选帧内预测模式对正被编码的运动补偿块的图像执行帧内预测。在每种帧内预测中要参考的解码图像的图像数据是仍要经受去块滤波器24处的块化滤波操作的解码图像数据。在帧内预测操作中，以所有候选帧内预测模式执行帧内预测，并且以所有候选帧内预测模式计算成本函数值。基于所算出的成本函数值，从所有帧内预测模式中选择具有最高编码效率的帧内预测模式。
在步骤ST32中，运动预测/补偿单元32执行帧间预测操作。使用存储在帧存储器25中并且已经受了去块滤波操作的解码图像数据，运动预测/补偿单元32以候选帧间预测模式执行帧间预测操作。在帧间预测操作中，以所有候选帧间预测模式执行帧间预测操作，并且以所有候选帧间预测模式计算成本函数值。基于所算出的成本函数值，从所有帧间预测模式中选择具有最高编码效率的帧间预测模式。
现在参照图13中的流程图，描述图12的步骤ST31中的帧内预测操作。
在步骤ST41中，帧内预测单元31执行各个预测模式下的帧内预测操作。使用仍要经受块化滤波操作的解码图像数据，帧内预测单元31以各种帧内预测模式生成预测图像数据。
在步骤ST42中，帧内预测单元31计算各种预测模式下的成本函数值。如作为H.264/AVC中的参考软件的JM（联合模型）中所指定的，通过如上所述的高复杂度模式或低复杂度模式的技术来计算成本函数值。具体地，在高复杂度模式下，作为步骤ST42的操作，以所有候选预测模式临时执行以无损编码操作结束的操作，以在各种预测模式下计算由等式（9）表示的成本函数值。在低复杂度模式下，作为步骤ST42的操作，以所有候选预测模式执行预测图像的生成和报头比特（诸如，运动矢量信息和预测模式信息）的计算，并且在各种预测模式下计算由等式（10）表示的成本函数值。
在步骤ST43中，帧内预测单元31确定最优帧内预测模式。基于在步骤ST42中算出的成本函数值，帧内预测单元31选择具有在所算出的成本函数值当中的最小成本函数值的一种帧内预测模式，并且将所选择的帧内预测模式确定为最优帧内预测模式。
现在参照图14中的流程图，描述图12的步骤ST32中的帧间预测操作。
在步骤ST51中，运动预测/补偿单元32执行运动预测操作。运动预测/补偿单元32以每种预测模式执行运动预测，以检测运动矢量。然后，操作移到步骤ST52。
在步骤ST52中，预测运动矢量信息生成单元34生成预测运动矢量信息。使用与具有与正被编码的运动补偿块相同的层级的块大小的编码后相邻运动补偿块相关的运动矢量信息，预测运动矢量信息生成单元34生成预测运动矢量信息。例如，正被编码的运动补偿块具有图10(A)所示的层级的块大小（64×64个像素、32×64个像素和32×32个像素）之一。在该情况下，通过使用与具有同一层级的块大小的相邻运动补偿块相关的运动矢量信息来生成预测运动矢量信息。
图15是示出预测运动矢量信息生成操作的流程图。在步骤ST61中，块选择处理单元33确定右上相邻运动补偿块是否具有同一层级。块选择处理单元33确定相对于正被编码的运动补偿块位于右上位置的相邻运动补偿块是否具有与正被编码的运动补偿块相同的层级的块大小。在右上相邻运动补偿块或正被编码的运动补偿块是图2中的块E的情况下，块选择处理单元33确定相邻运动补偿块C是否具有与块E相同的层级的块大小。当确定了右上相邻运动补偿块不具有同一层级的块大小时，块选择处理单元33移到步骤ST62。当确定了右上相邻运动补偿块具有同一层级的块大小时，块选择处理单元33移到步骤ST63。
在步骤ST62中，块选择处理单元33使用左上相邻运动补偿块来替代右上相邻运动补偿块，并且移到步骤ST63。通过执行这样的操作，当运动补偿块位于帧的角落处并且不存在右上相邻运动补偿块时，块选择处理单元33防止要在生成预测运动矢量信息时使用的相邻运动补偿块减少。
在步骤ST63中，块选择处理单元33确定是否存在属于同一层级的三个相邻运动补偿块。当相对于正被编码的运动补偿块位于左部、上部和右上（或左上）位置的三个相邻运动补偿块具有与正被编码的运动补偿块相同的层级的块大小时，块选择处理单元33移到步骤ST64。当三个相邻运动补偿块中的至少一个具有不同层级的块大小时，块选择处理单元33移到步骤ST65。当例如图2中的块E的大小是图10(A)所示的层级的为64×32个像素的块大小并且块A、B和C（或D）具有图10(A)所示的层级的块大小时，块选择处理单元33移到步骤ST64。另外，当块A、B和C（或D）中的至少一个不具有图10(A)所示的层级的块大小时，块选择处理单元33移到步骤ST65。
在步骤ST64中，块选择处理单元33执行中值预测选择操作。块选择处理单元33将表示对三个相邻运动补偿块的选择的块选择结果输出到预测运动矢量信息生成单元34，并且使得预测运动矢量信息生成单元34执行中值预测。当块选择结果表示三个相邻运动补偿块时，预测运动矢量信息生成单元34的运动矢量信息处理单元342通过使用与由块选择结果表示的三个相邻运动补偿块相关的运动矢量信息来执行中值预测。
在步骤ST65中，块选择处理单元33确定是否存在属于同一层级的两个相邻运动补偿块。当相对于正被编码的运动补偿块位于左部、上部和右上（或左上）位置的相邻运动补偿块中的两个具有与正被编码的运动补偿块相同的层级的块大小时，块选择处理单元33移到步骤ST66。当两个或三个相邻运动补偿块不具有与正被编码的运动补偿块相同的层级的块大小时，块选择处理单元33移到步骤ST67。
在步骤ST66中，块选择处理单元33执行平均值选择操作或单个块选择操作。当执行平均值选择操作时，块选择处理单元33将表示对属于同一层级的两个相邻运动补偿块的选择的块选择结果输出到预测运动矢量信息生成单元34。当块选择结果表示两个相邻运动补偿块时，预测运动矢量信息生成单元34的运动矢量信息处理单元342计算由关于两个相邻运动补偿块的运动矢量信息表示的运动矢量之间的平均值。运动矢量信息处理单元342还将表示所算出的平均值的运动矢量信息设置为预测运动矢量信息。当执行单个块选择操作时，块选择处理单元33将表示属于同一层级的两个相邻运动补偿块之一的块选择结果输出到预测运动矢量信息输出单元34。当块选择结果表示一个相邻运动补偿块时，预测运动矢量信息生成单元34的运动矢量信息处理单元342设置预测运动矢量信息，该预测运动矢量信息是与由块选择结果表示的相邻运动补偿块相关的运动矢量信息。
在步骤ST67中，块选择处理单元33确定是否存在属于同一层级的一个相邻运动补偿块。当相对于正被编码的运动补偿块位于左部、上部和右上（或左上）位置的相邻运动补偿块中的仅一个具有与正被编码的运动补偿块相同的层级的块大小时，块选择处理单元33移到步骤ST68。当三个相邻运动补偿块不具有与正被编码的运动补偿块相同的层级的块大小时，块选择处理单元33移到步骤ST69。
在步骤ST68中，块选择处理单元33执行共同层级块选择操作。块选择处理单元33将表示对属于同一层级的一个相邻运动补偿块的选择的块选择结果输出到预测运动矢量信息生成单元34。当块选择结果表示一个相邻运动补偿块时，预测运动矢量信息生成单元34的运动矢量信息处理单元342设置预测运动矢量信息，该预测运动矢量信息是与由块选择结果表示的相邻运动补偿块相关的运动矢量信息。
在步骤ST69中，块选择处理单元33执行不选择块操作。块选择处理单元33将表示不存在属于同一层级的相邻运动补偿块的块选择结果输出到预测运动矢量信息生成单元34。当块选择结果表示不存在相邻运动补偿块时，预测运动矢量信息生成单元34的运动矢量信息处理单元342生成表示零矢量的预测运动矢量信息。
如上所述，块选择处理单元33根据正被编码的运动补偿块和相邻运动补偿块的块大小选择一个或多个相邻运动补偿块。预测运动矢量信息生成单元34还通过使用关于所选择的相邻运动补偿块的运动矢量信息来生成预测运动矢量信息，并且将预测运动矢量信息输出到运动预测/补偿单元32。
预测运动矢量信息生成单元34还输出预测运动矢量信息或者用于标识选择了两个相邻运动补偿块中的哪一个的标识信息，其中该预测运动矢量信息是由关于两个相邻运动补偿块的运动矢量信息表示的平均运动矢量值。平均运动矢量值或标识信息包含在压缩图像信息中。
图15所示的预测运动矢量信息生成操作是通过使用空间相邻运动补偿块来生成预测运动矢量信息。如果通过还使用时间相邻运动补偿块来生成预测运动矢量信息，则所生成的预测运动矢量信息可以进一步提高编码效率。
图16示出了使用空间和时间相邻运动补偿块的预测运动矢量信息生成操作。
在步骤ST71中，预测运动矢量信息生成单元34确定是否已基于属于与正被编码的运动补偿块相同的层级的块而生成了空间和时间预测运动矢量信息。当已通过图15所示的操作基于与具有与正被编码的运动补偿块相同的层级的块大小的空间相邻运动补偿块相关的运动矢量信息生成了预测运动矢量信息时，预测运动矢量信息生成单元34确定是否已基于属于与正被编码的运动补偿块相同的层级的块生成了预测运动矢量信息。当与正被编码的运动补偿块在时间上相邻的相邻运动补偿块（诸如锚点块）具有与正被编码的运动补偿块相同的层级的块大小、并且已基于关于锚点块的运动矢量信息生成了预测运动矢量信息时，预测运动矢量信息生成单元34确定已基于属于与正被编码的运动补偿块相同的层级的块生成了时间预测运动矢量信息。当已基于属于与正被编码的运动补偿块相同的层级的块生成了空间和时间预测运动矢量信息时，预测运动矢量信息生成单元34移到步骤ST72。当无法基于属于与正被编码的运动补偿块相同的层级的块而至少生成空间预测运动矢量信息或时间预测运动矢量信息时，预测运动矢量信息生成单元34移到步骤ST75。
在步骤ST72中，预测运动矢量信息生成单元34确定运动矢量是否相同。当由空间预测运动矢量信息表示的运动矢量与由时间预测运动矢量信息表示的运动矢量匹配时，预测运动矢量信息生成单元34移到步骤ST73。当这些运动矢量不相同时，预测运动矢量信息生成单元34移到步骤ST74。
在步骤ST73中，预测运动矢量信息生成单元34将任一条信息确定为预测运动矢量信息。当运动矢量相同时，预测运动矢量信息生成单元34将空间预测运动矢量信息或时间预测运动矢量信息作为预测运动矢量信息输出到运动预测/补偿单元32。
在步骤ST74中，预测运动矢量信息生成单元34执行最优预测运动矢量选择操作。预测运动矢量信息生成单元34将在选择空间预测运动矢量信息时所获得的成本函数值与在选择时间预测运动矢量信息时所获得的成本函数值进行比较，并且将具有较高编码效率的信息作为预测运动矢量信息输出到运动预测/补偿单元32。这里，通过使用运动预测/补偿单元32的成本函数值计算单元322来计算成本函数值。
在步骤ST75中，预测运动矢量信息生成单元34确定是否已基于属于与正被编码的运动补偿块相同的层级的块生成了时间预测运动矢量信息。当正被编码的运动补偿块和在生成时间预测运动矢量信息时所使用的锚点块具有同一层级的块大小时，预测运动矢量信息生成单元34确定已生成了时间预测运动矢量信息，并且移到步骤ST76。当在生成时间预测运动矢量信息时所使用的锚点块不具有同一层级的块大小时，预测运动矢量信息生成单元34移到步骤ST77。
在步骤ST76中，预测运动矢量信息生成单元34将时间预测运动矢量信息确定为预测运动矢量信息。预测运动矢量信息生成单元34将如以上参照图5所述的那样算出的时间预测运动矢量信息确定为预测运动矢量信息，并且将预测运动矢量信息输出到运动预测/补偿单元32。
在步骤ST77中，预测运动矢量信息生成单元34确定是否已基于属于与正被编码的运动补偿块相同的层级的块生成了空间预测运动矢量信息。当已通过使用与具有与正被编码的运动补偿块相同的层级的块大小的编码后相邻运动补偿块相关的运动矢量信息来生成了空间预测运动矢量信息时，预测运动矢量信息生成单元34移到步骤ST78。当无法通过使用与具有同一层级的块大小的编码后相邻运动补偿块相关的运动矢量信息来生成空间预测运动矢量信息时，预测运动矢量信息生成单元34移到步骤ST79。
在步骤ST78中，预测运动矢量信息生成单元34将空间预测运动矢量信息确定为预测运动矢量信息。预测运动矢量信息生成单元34将通过图15的步骤ST61至ST68的过程而生成的空间预测运动矢量信息确定为预测运动矢量信息，并且将预测运动矢量信息输出到运动预测/补偿单元32。
在步骤ST79中，预测运动矢量信息生成单元34将零矢量信息确定为预测运动矢量信息。由于尚未基于属于与正被编码的运动补偿块相同的层级的相邻运动补偿块生成空间和时间预测运动矢量信息，因此预测运动矢量信息生成单元34将表示零矢量的运动矢量信息确定为预测运动矢量信息。预测运动矢量信息生成单元34将表示零矢量的预测运动矢量信息输出到运动预测/补偿单元32。
如上所述，当通过不仅使用空间块还使用时间块来生成预测运动矢量信息时，与在通过仅使用空间相邻运动补偿块来生成预测运动矢量信息的情况下相比，可以更适当地优化预测运动矢量信息。当可以生成空间预测运动矢量信息和时间预测运动矢量信息时，预测运动矢量信息生成单元34生成用于标识选择了哪个信息的标识信息以及预测运动矢量信息。以此方式，可以在解码时生成与在编码时所生成的预测运动矢量信息相同的预测运动矢量信息。
返回参照图14，在步骤ST53中，运动预测/补偿单元32执行运动矢量编码操作。运动预测/补偿单元32的成本函数值计算单元322通过计算差运动矢量来生成差运动矢量信息，该差运动矢量是由运动搜索单元321检测到的运动矢量与由预测运动矢量信息生成单元34生成的预测运动矢量之间的差。成本函数值计算单元322还生成所有预测模式下的差运动矢量信息。
在步骤ST54中，运动预测/补偿单元32计算各种预测模式下的成本函数值。使用上述等式（9）或（10），运动预测/补偿单元32计算成本函数值。使用差运动矢量信息，运动预测/补偿单元32还计算比特生成率。帧间预测模式下的成本函数值计算涉及在H.264/AVC中所指定的跳过宏块模式或直接模式下的成本函数值的评估。
在步骤ST55中，运动预测/补偿单元32确定最优帧间预测模式。基于在步骤ST54中算出的成本函数值，运动预测/补偿单元32选择具有所算出的成本函数值当中的最小成本函数值的一种预测模式，并且将所选择的预测模式确定为最优帧间预测模式。
如上所述，图像编码装置10根据正被编码的运动补偿块和与正被编码的运动补偿块在空间和时间上相邻的编码后相邻运动补偿块的块大小，选择相邻运动补偿块。另外，图像编码装置10通过使用关于所选择的相邻运动补偿块的运动矢量信息来生成预测运动矢量信息。即，通过根据正被处理的当前运动补偿块和相邻运动补偿块的块大小而自适应地使用关于相邻运动补偿块的运动矢量信息，生成预测运动矢量信息。因此，可以根据对出现在运动边界的不连续性的检测结果来生成预测运动矢量信息，并且可以实现高编码效率。例如，在图6所示的静止图像区域中的运动矢量编码操作中，在不使用与随机运动区域中块大小较小的相邻运动补偿块相关的运动矢量信息的情况下生成预测运动矢量信息。因此，可以提高运动矢量编码操作的效率。
[3.图像解码装置的结构]
接下来，描述图像解码装置。通过对输入图像进行编码而生成的压缩图像信息经由预定传送路径或记录介质等被提供到图像解码装置并且在其中被解码。
图17示出了对压缩图像信息进行解码的图像处理装置（下文中称为“图像解码装置”）的结构。图像解码装置50包括累积缓冲器51、无损解码单元52、逆量化单元53、逆正交变换单元54、加法单元55、去块滤波器56、屏幕重排缓冲器57和数字/模拟转换器（D/A转换器）58。图像解码装置50还包括帧存储器61、选择器62和75、帧内预测单元71、运动补偿单元72、块选择处理单元73和预测运动矢量信息生成单元74。
累积缓冲器51存储所传送的压缩图像信息。无损解码单元52通过与图7的无损编码单元16所使用的编码技术兼容的技术，对从累积缓冲器51提供的压缩图像信息进行解码。
无损解码单元52将通过对压缩图像信息进行解码而获得的预测模式信息输出到帧内预测单元71和运动补偿单元72。
逆量化单元53使用与图7的量化单元15使用的量化技术兼容的技术，对经无损解码单元52解码的量化数据进行逆量化。逆正交变换单元54通过与图7的正交变换单元14使用的正交变换技术兼容的技术，对来自逆量化单元53的输出执行逆正交变换，并且将结果输出到加法单元55。
加法单元55通过将经受了逆正交变换的数据与从选择器75提供的预测图像数据相加来生成解码图像数据，并且将解码图像数据输出到去块滤波器56和帧存储器61。
去块滤波器56对从加法单元55提供的解码图像数据执行去块滤波操作，并且去除块失真。所得到的数据被提供到帧存储器61并且存储在帧存储器61中，并且还被输出到屏幕重排缓冲器57。
屏幕重排缓冲器57执行图像重排。具体地，以原始显示顺序对在图7的屏幕重排缓冲器12处以编码顺序重排的帧顺序进行重排，并且将其输出到D/A转换器58。
D/A转换器58对从屏幕重排缓冲器57提供的图像数据执行D/A转换，并且将转换后的图像数据输出到显示器（未示出）以显示图像。
帧存储器61存储仍要经受去块滤波器24处的滤波操作的解码图像数据和经受了去块滤波器24处的滤波操作的解码图像数据。
当执行帧内预测图像解码时，基于从无损解码单元52提供的预测模式信息，选择器62将仍要经受滤波操作并且存储在帧存储器61中的解码图像数据提供到帧内预测单元71。当执行帧间预测图像解码时，选择器62将已经受了滤波操作并且存储在帧存储器61中的解码图像数据提供到运动补偿单元72。
基于从无损解码单元52提供的预测模式信息和经由选择器62从帧存储器61提供的解码图像数据，帧内预测单元71生成预测图像数据，并且将所生成的预测图像数据输出到选择器75。
运动补偿单元72将从无损解码单元52提供的差运动矢量信息与从预测运动矢量信息生成单元74提供的预测运动矢量信息相加，以生成关于正被解码的运动补偿块的运动矢量信息。基于所生成的运动矢量信息和从无损解码单元52提供的预测模式信息，运动补偿单元72还执行运动补偿以通过使用从帧存储器61提供的解码图像数据来生成预测图像数据，并且将预测图像数据输出到选择器75。
块选择处理单元73根据正被解码的运动补偿块的块大小和与该运动补偿块相邻的编码后相邻运动补偿块的块大小，从相邻运动补偿块中选择块。块选择处理单元73仅选择已以与正被解码的运动补偿块相同的层级的大小进行了编码的相邻运动补偿块，并且将块选择结果输出到预测运动矢量信息生成单元74。
预测运动矢量信息生成单元74使用关于由块选择处理单元73选择的块的运动矢量信息，生成要用于对关于正被解码的运动补偿块的运动矢量信息进行解码的预测运动矢量信息。预测运动矢量信息生成单元74还将所生成的预测运动矢量信息输出到运动补偿单元72。
图18示出了运动补偿单元72和预测运动矢量信息生成单元74的结构。
运动补偿单元72包括块大小信息缓冲器721、差运动矢量信息缓冲器722、运动矢量信息合成单元723、运动补偿处理单元724和运动矢量信息缓冲器725。
块大小信息缓冲器721存储表示从无损解码单元52提供的运动补偿块的块大小的信息。块大小信息缓冲器721还将所存储的表示宏块大小的信息输出到运动补偿处理单元724和预测运动矢量信息生成单元74。
差运动矢量信息缓冲器722存储从无损解码单元52提供的关于运动补偿块的差运动矢量信息。差运动矢量信息缓冲器724还将所存储的差运动矢量信息输出到运动矢量信息合成单元723。
运动矢量信息合成单元723将从差运动矢量信息缓冲器722提供的差运动矢量信息与在预测运动矢量信息生成单元74处所生成的预测运动矢量信息相加。运动矢量信息合成单元723将通过将差运动矢量信息与预测运动矢量信息相加而获得的、关于运动补偿块的运动矢量信息输出到运动补偿处理单元724和运动矢量信息缓冲器725。
基于从无损解码单元52提供的预测模式信息，运动补偿处理单元724从帧存储器61读取参考图像的图像数据。基于参考图像的图像数据、从块大小信息缓冲器721提供的运动补偿块的块大小和从运动矢量信息合成单元723提供的关于运动补偿块的运动矢量信息，运动补偿处理单元724执行运动补偿以生成预测图像数据。运动补偿处理单元724将所生成的预测图像数据输出到选择器75。
运动矢量信息缓冲器725存储从运动矢量信息合成单元723提供的运动矢量信息。运动矢量信息缓冲器725还将预测运动矢量信息输出到预测运动矢量信息生成单元74。
预测运动矢量信息生成单元74包括临时块大小信息缓冲器741、相邻运动矢量信息缓冲器742和运动矢量信息处理单元743。
临时块大小信息缓冲器741存储从运动补偿单元72的块大小信息缓冲器721提供的相邻运动补偿块大小信息。临时块大小信息缓冲器741还将所存储的相邻运动补偿块大小信息输出到块选择处理单元73。
相邻运动矢量信息缓冲器742存储从运动补偿单元72的运动矢量信息缓冲器725提供的相邻运动矢量信息。相邻运动矢量信息缓冲器742还将所存储的相邻运动矢量信息输出到运动矢量信息处理单元743。
基于从块选择处理单元743提供的块选择结果，运动矢量信息处理单元743选择关于由块选择结果表示的相邻运动补偿块的运动矢量信息，并且生成预测运动矢量信息。运动矢量信息处理单元743将所生成的预测运动矢量信息输出到运动补偿单元72的运动矢量信息合成单元723。
返回参照图17，基于从无损解码单元52提供的预测模式信息，选择器75在帧内预测的情况下选择帧内预测单元71，并且在帧间预测的情况下选择运动补偿单元72。选择器75将在所选择的帧内预测单元71或运动补偿单元72处所生成的预测图像数据输出到加法单元55。
[4.图像解码装置的操作]
现在参照图19中的流程图，描述由图像解码装置50执行的图像解码操作。
在步骤ST81中，累积缓冲器51存储所传送的压缩图像信息。在步骤ST82中，无损解码单元52执行无损解码操作。无损解码单元52对从累积缓冲器51提供的压缩图像信息进行解码。具体地，获得在图7的无损编码单元16处所编码的每幅画面的量化数据。无损解码单元52还对压缩图像信息中所包含的预测模式信息执行无损解码。当所获得的预测模式信息是关于帧内预测模式的信息时，预测模式信息被输出到帧内预测单元71。另一方面，当预测模式信息是关于帧间预测模式的信息时，无损解码单元52将预测模式信息输出到运动补偿单元72。
在步骤ST83中，逆量化单元53执行逆量化操作。逆量化单元53对经无损解码单元52解码的量化数据进行逆量化，该逆量化单元53具有与图7的量化单元15的特性兼容的特性。
在步骤ST84中，逆正交变换单元54执行逆正交变换操作。逆正交变换单元54对经逆量化单元53逆量化的变换系数数据执行逆正交变换，该逆正交变换单元54具有与图7的正交变换单元14的特性兼容的特性。
在步骤ST85中，加法单元55生成解码图像数据。加法单元55将通通过逆正交变换操作获得的数据与在稍后将描述的步骤ST89中所选择的预测图像数据相加，并且生成解码图像数据。以此方式，对原始图像进行解码。
在步骤ST86中，去块滤波器56执行滤波操作。去块滤波器56对从加法单元55输出的解码图像数据执行去块滤波操作，并且去除解码图像中所包含的块失真。
在步骤ST87中，帧存储器61执行解码图像数据存储操作。
在步骤ST88中，帧内预测单元71和运动补偿单元72执行预测图像生成操作。帧内预测单元71和运动补偿单元72分别根据从无损解码单元52提供的预测模式信息而执行预测图像生成操作。
具体地，当已从无损解码单元52提供了关于帧内预测的预测模式信息时，帧内预测单元71基于预测模式信息生成预测图像数据。另一方面，当已从无损解码单元52提供了关于帧间预测的预测模式信息时，运动补偿单元72基于预测模式信息执行运动补偿以生成预测图像数据。
在步骤ST89中，选择器75选择预测图像数据。选择器75选择从帧内预测单元71提供的预测图像和从运动补偿单元72提供的预测图像数据，并且将所选择的预测图像数据提供到加法单元55，如上所述，在步骤ST85中，加法单元55将所选择的预测图像数据与来自逆正交变换单元54的输出相加。
在步骤ST90中，屏幕重排缓冲器57执行图像重排。具体地，由屏幕重排缓冲器57以原始显示顺序对由图7的图像编码装置10的屏幕重排缓冲器12为了进行编码所重排的帧顺序进行重排。
在步骤ST91中，D/A转换器58对从屏幕重排缓冲器57提供的图像数据执行D/A转换。图像被输出到显示器（未示出）并且被显示。
现在参照图20中的流程图，描述图19的步骤ST88中的预测图像生成操作。
在步骤ST101中，无损解码单元52确定是否已对目标块进行了帧内编码。当通过执行无损解码而获得的预测模式信息是关于帧内预测的预测模式信息时，无损解码单元52将预测模式信息提供到帧内预测单元71，并且移到步骤ST102。另一方面，当预测模式信息是关于帧间预测模式的预测模式信息时，无损解码单元52将预测模式信息提供到运动补偿单元72，并且移到步骤ST103。
在步骤ST102中，帧内预测单元71执行帧内预测图像生成操作。使用预测模式信息和尚未经受去块滤波操作并且存储在帧存储器61中的解码图像数据，帧内预测单元71执行帧内预测，以生成预测图像数据。
在步骤ST103中，运动补偿单元72执行帧间预测图像生成操作。基于从无损解码单元52提供的预测模式信息和差运动矢量信息，运动补偿单元72对从帧存储器61读取的参考图像执行运动补偿，并且生成预测图像数据。
图21是示出步骤ST103的帧间预测图像生成操作的流程图。在步骤ST111中，运动补偿单元72获得预测模式信息。运动补偿单元72从无损解码单元52获得预测模式信息，并且移到步骤ST112。
在步骤ST112中，运动补偿单元72对运动矢量信息进行重新配置。运动补偿单元72基于在预测运动矢量信息生成单元74处所生成的预测运动矢量信息和由预测模式信息表示的差运动矢量信息而对运动矢量信息进行重新配置，然后移到步骤ST113。如以上参照图15和图16所述的那样来生成预测运动矢量信息。即，块选择处理单元73执行与图像编码装置10的块选择处理单元33所执行的操作相同的操作，并且预测运动矢量信息生成单元74执行与图像编码装置10的预测运动矢量信息生成单元34所执行的操作相同的操作。
在步骤ST113中，运动补偿单元72生成预测图像数据。基于在步骤ST111中所获得的预测模式信息和在步骤ST112中重新配置的运动矢量信息，运动补偿单元72通过从帧存储器61读取参考图像数据来执行运动补偿，并且生成预测图像数据并将其输出到选择器75。
如上所述，图像解码装置50根据正被解码的运动补偿块和与正被解码的运动补偿块在空间和时间上相邻的编码后相邻运动补偿块的块大小，选择相邻运动补偿块。另外，图像解码装置50通过使用关于所选择的相邻运动补偿块的运动矢量信息来生成预测运动矢量信息。即，通过根据正被处理的运动补偿块和相邻运动补偿块的块大小自适应地使用关于相邻运动补偿块的运动矢量信息，生成与在图像编码装置10中所生成的预测运动矢量信息相同的预测运动矢量信息。因此，基于所生成的预测运动矢量信息和从图像编码装置10提供的差运动矢量信息，图像解码装置50可以正确地对关于正被解码的运动补偿块的运动矢量信息进行解压缩。
当两个相邻运动补偿块具有同一层级的块大小时，将表示平均值或两个相邻运动补偿块之间使用运动矢量信息的块的标识信息作为生成预测运动矢量信息所需的信息并入压缩图像信息中。另外，表示空间预测运动矢量信息和时间预测运动矢量信息中的哪一个已被用作预测运动矢量信息的标识信息被并入压缩图像信息中。因此，可以通过使用标识信息来正确地生成预测运动矢量信息，并且防止了压缩图像信息的总比特率的较大增加。
[5.软件处理]
该说明书中所描述的这系列操作可以由硬件、软件或硬件和软件的组合来执行。当操作由软件来执行时，记录有操作序列的程序被安装在并入计算机的专用硬件中的存储器中。替选地，操作可以通过将程序安装在可以执行各种操作的通用计算机中来执行。
图22是示出根据程序执行上述系列操作的计算机装置的示例结构的图。计算机装置80的CPU801根据记录在ROM802或记录单元808上的程序来执行各种操作。
要由CPU801执行的程序和数据适当地存储在RAM803中。CPU801、ROM802和RAM803通过总线804相互连接。
输入/输出接口805也经由总线804连接到CPU801。输入单元806（诸如，触摸板、键盘、鼠标或麦克风）和由显示器等构成的输出单元807连接到输入/输出接口805。CPU801根据通过输入单元806输入的指令而执行各种操作。CPU801将操作结果输出到输出单元807。
连接到输入/输出接口805的记录单元808由例如硬盘构成，并且记录要由CPU801执行的程序和各种数据。通信单元809经由有线或无线通信介质（诸如，如因特网或局域网的网络或者数字广播）与外部装置通信。替选地，计算机装置80可经由通信单元809获得程序，并且将程序记录在ROM802或记录单元808上。
当安装了作为磁盘、光盘、磁光盘、半导体存储器等的可移动介质85时，驱动器810驱动可移动介质85以获得记录程序或记录数据。所获得的程序或数据在必要时被传递到ROM802、RAM803或记录单元808。
CPU801读取并执行用于执行上述系列操作的程序，以对记录在记录单元808或可移动介质85上的图像信号或者对经由通信单元809提供的图像信号执行编码操作，并且对压缩图像信息执行解码操作。
[6.对电子设备的应用]
在上述示例中，H.264/AVC用作编码/解码技术。然而，本技术可以应用于使用其它用于执行运动预测/补偿操作的编码/解码技术的图像编码装置和图像解码装置。
此外，当经由网络介质（诸如，卫星广播、有线电视（电视机）、因特网或便携式电话装置）接收到例如如在MPEG或H.26x中通过诸如离散余弦变换的正交变换和运动补偿而压缩的图像信息（比特流）时，可以使用本技术。本技术还可以应用于当对存储介质（诸如，光盘或磁盘或者闪存）上的压缩图像信息进行处理时所使用的图像编码装置和图像解码装置。
上述图像编码装置10和图像解码装置50可以应用于任意电子设备。以下是这样的示例的描述。
图23示意性地示出了应用了本技术的电视机设备的示例结构。电视机设备90包括天线901、调谐器902、解复用器903、解码器904、视频信号处理单元905、显示单元906、音频信号处理单元907、扬声器908和外部接口单元909。电视机设备90还包括控制单元910、用户接口单元911等。
调谐器902从在天线901处接收到的广播波信号中选择期望的频道并且执行解调。所得到的流被输出到解复用器903。
解复用器903从该流提取要观看的节目的视频分组和音频分组，并且将所提取的分组的数据输出到解码器904。解复用器903还将诸如EPG（电子节目指南）的数据分组输出到控制单元910。在执行加扰的情况下，解复用器等取消该加扰。
解码器904执行分组解码操作，并且将通过解码操作而生成的视频数据输出到视频信号处理单元905，并且将音频数据输出到音频信号处理单元907。
视频信号处理单元905根据用户设置而使得视频数据经受去噪和视频处理等。视频信号处理单元905生成要显示在显示单元906上的节目的视频数据，或者通过基于经由网络提供的应用的操作而生成图像数据等。视频信号处理单元905还生成用于显示用于项目选择的菜单屏幕等的视频数据，并且将该视频数据叠加在节目的视频数据上。基于以此方式生成的视频数据，视频信号处理单元905生成用于驱动显示单元906的驱动信号。
基于来自视频信号处理单元905的驱动信号，显示单元906驱动用于显示节目的视频的显示装置（例如，液晶显示元件）。
音频信号处理单元907使得音频数据经受诸如去噪的预定处理，并且对处理后的音频数据执行D/A转换操作和放大操作。所得到的音频数据作为音频输出而被提供到扬声器908。
外部接口单元909是用于与外部装置或网络连接的接口，并且发送和接收诸如视频数据和音频数据的数据。
用户接口单元911连接到控制单元910。用户接口单元911由操作开关、远程控制信号接收单元等构成，并且将根据用户操作的操作信号提供到控制单元910。
控制单元910由CPU（中央处理单元）、存储器等构成。存储器存储要在CPU处执行的程序、CPU执行各种操作所需的各种数据、EPG数据、经由网络获得的数据等。在预定时间（诸如，在启动电视机设备90时）在CPU处读取并执行存储在存储器中的程序。CPU执行程序以控制各个部件，使得电视机设备90根据用户操作而工作。
在电视机设备90中，总线912被设置用于将调谐器902、解复用器903、视频信号处理单元905、音频信号处理单元907、外部接口单元909等连接到控制单元910。
在具有这样的结构的电视机设备中，解码器904具有本发明的图像解码装置（图像解码方法）的功能。因此，基于所生成的预测运动矢量信息和所接收的差运动矢量信息，电视机设备可以正确地恢复关于要解码的运动补偿块的运动矢量信息。即使广播侧通过使用根据正被编码的运动补偿块和编码后相邻运动补偿块的块大小而生成的预测运动矢量信息来执行运动矢量编码操作，电视机设备也可以执行正确的解码。
图24示意性地示出了应用了本技术的便携式电话装置的示例结构。便携式电话装置92包括通信单元922、音频编解码器923、摄像单元926、图像处理单元927、复用/分离单元928、记录/再现单元929、显示单元930和控制单元931。这些部件经由总线933相互连接。
另外，天线921连接到通信单元922，并且扬声器924和麦克风925连接到音频编解码器923。此外，操作单元932连接到控制单元931。
便携式电话装置92以各种模式（诸如，音频通信模式和数据通信模式）执行各种操作，诸如音频信号的发送和接收、电子邮件和图像数据的发送和接收、图像捕获和数据记录。
在音频通信模式下，在麦克风925处所生成的音频信号被转换成音频数据，并且在音频编解码器923处对该数据进行压缩。压缩后的数据被提供到通信单元922。通信单元922对音频数据执行调制操作、频率转换操作等，以生成发送信号。通信单元92还将发送信号提供到天线921，并且发送信号被发送到基站（未示出）。通信单元922还对在天线921处接收到的信号进行放大，并且执行频率转换操作、解调操作等。所得到的音频数据被提供到音频编解码器923。音频编解码器923对音频数据进行解压缩，并且将音频数据转换成模拟音频信号。然后，模拟音频信号被输出到扬声器924。
当在数据通信模式下执行邮件发送时，控制单元931接收通过对操作单元932进行操作而输入的文本数据，并且输入文本显示在显示单元930上。根据通过操作单元932的用户指令等，控制单元931生成邮件数据并且将其提供到通信单元922。通信单元922对邮件数据执行调制操作、频率转换操作等，并且从天线921发送所得到的发送信号。通信单元922还对在天线921处接收到的信号进行放大，并且执行频率转换操作、解调操作等以恢复邮件数据。该邮件数据被提供到显示单元930，并且显示邮件的内容。
便携式电话装置92可以使得记录/再现单元929将所接收到的邮件数据存储到存储介质中。存储介质是可重写存储介质。例如，存储介质可以是诸如RAM或内部闪存的半导体存储器、硬盘或可移动介质（诸如磁盘、磁光盘、光盘、USB存储器或存储卡）。
当以数据通信模式发送图像数据时，在摄像单元926处所生成的图像数据被提供到图像处理单元927。图像处理单元927对图像数据执行编码操作，以生成压缩图像信息。
复用/分离单元928通过预定技术对在图像处理单元927处所生成的压缩图像信息和从音频编解码器923提供的音频数据进行复用，并且将复用数据提供到通信单元922。通信单元922对复用数据执行调制操作、频率转换操作等，并且从天线921发送所得到的发送信号。通信单元922还对在天线921处接收到的信号进行放大，并且执行频率转换操作、解调操作等以恢复复用数据。该复用数据被提供到复用/分离单元928。复用/分离单元928对复用数据进行分割，并且将压缩图像信息提供到图像处理单元927，且将音频数据提供到音频编解码器923。
图像处理单元927对压缩图像信息执行解码操作以生成图像数据。该图像数据被提供到显示单元930以显示所接收到的图像。音频编解码器923将音频数据转换成模拟音频信号并且将模拟音频信号输出到扬声器924，并且输出所接收到的声音。
在具有以上结构的便携式电话装置中，图像处理单元927具有本发明的图像处理装置（图像处理方法）的功能。因此，当发送图像时，根据基于正被编码的运动补偿块和相邻运动补偿块的块大小对出现在运动边界的不连续性的检测结果，生成预测运动矢量信息。因此，可以提高运动矢量编码操作的编码效率。另外，可以正确地对通过图像编码操作而生成的压缩图像信息进行解码。
图25示意性地示出了应用了本技术的记录/再现设备的示例结构。记录/再现设备93将所接收到的广播节目的音频数据和视频数据记录在记录介质上，并且在根据来自用户的指令的时间将所记录的数据提供给用户。记录/再现设备94还可以从例如其它设备获得音频数据和视频数据，并且将数据记录在记录介质上。此外，记录/再现设备94对记录在记录介质上的音频数据和视频数据进行解码并将其输出，以使得监视器装置等可以显示图像并输出声音。
记录/再现设备94包括调谐器941、外部接口单元942、编码器943、HDD（硬盘驱动器）单元944、盘驱动器945、选择器946、解码器947、OSD（屏幕上显示器）单元948、控制单元949和用户接口单元950。
调谐器941从在天线（未示出）处接收到的广播信号中选择期望频道。调谐器941对所接收到的期望频道的信号进行解调，并且将所得到的压缩图像信息输出到选择器946。
外部接口单元942由IEEE1394接口、网络接口单元、USB接口、闪存接口等中的至少一个构成。外部接口单元942是用于与外部装置、网络、存储卡等连接的接口，并且接收要记录的数据（诸如，视频数据和音频数据）等。
编码器943对已从外部接口单元942提供的并且尚未被编码的视频数据和音频数据执行预定编码，并且将压缩图像信息输出到选择器946。
HDD单元944将诸如视频和声音的内容数据、各种程序和其它数据记录在内部硬盘上，并且在再现等时从硬盘读取数据。
盘驱动器945对所安装的光盘执行信号记录和再现。光盘可以例如是DVD盘（诸如DVD-视频、DVD-RAM、DVD-R、DVD-RW、DVD+R或DVD+RW）或蓝光盘。
选择器946在视频和音频记录时从调谐器941或编码器943选择流，并且将该流提供到HDD单元944或盘驱动器945。选择器946还在视频和音频再现时将从HDD单元944或盘驱动器945输出的流提供到解码器947。
解码器947对流执行解码操作。解码器947将通过执行解码而生成的视频数据提供到OSD单元948。解码器947还输出通过执行解码而生成的音频数据。
OSD单元948还生成用于显示用于项目选择的菜单屏幕等的视频数据，并且将该视频数据叠加在从解码器947输出的视频数据上。
用户接口单元950连接到控制单元949。用户接口单元950由操作开关、远程控制信号接收单元等构成，并且将根据用户操作的操作信号提供到控制单元949。
控制单元949由CPU、存储器等构成。存储器存储要在CPU处执行的程序和CPU执行操作所需的各种数据。CPU在预定时间（诸如在启动记录/再现设备94时）读取并执行存储在存储器中的程序。CPU执行程序以控制各个部件，使得记录/再现设备94根据用户操作而工作。
在具有以上结构的记录/再现设备中，编码器943具有本发明的图像处理装置（图像处理方法）的功能。因此，当图像记录在记录介质上时，根据基于正被编码的运动补偿块和相邻运动补偿块的块大小对出现在运动边界的不连续性的检测结果，生成预测运动矢量信息。因此，可以提高运动矢量编码操作的效率。另外，可以正确地对通过图像编码操作而生成的压缩图像信息进行解码。
图26示意性地示出了应用了本技术的成像设备的示例结构。成像设备96捕获对象的图像，并且使得显示单元显示对象的图像或者将图像作为图像数据记录在记录介质上。
成像设备96包括光学组件961、成像单元962、摄像装置信号处理单元963、图像数据处理单元964、显示单元965、外部接口单元966、存储器单元967、介质驱动器968、OSD单元969和控制单元970。用户接口单元971连接到控制单元970。此外，图像数据处理单元964、外部接口单元966、存储器单元967、介质驱动器968、OSD单元969、控制单元970等经由总线972而连接。
光学组件961由聚焦透镜、光圈等构成。光学组件961在成像单元962的成像表面上形成对象的光学图像。由CCD或CMOS图像传感器构成的成像单元962通过光电转换、根据光学图像生成电信号，并且将电信号提供到摄像装置信号处理单元963。
摄像装置信号处理单元963对从成像单元962提供的电信号执行各种摄像装置信号处理，诸如拐点（knee）校正、伽马校正和颜色校正。摄像装置信号处理单元963将经受了摄像装置信号处理的图像数据提供到图像数据处理单元964。
图像数据处理单元964对从摄像装置信号处理单元963提供的图像数据执行编码操作。图像数据处理单元964将通过执行编码操作而生成的压缩图像信息提供到外部接口单元966和介质驱动器968。图像数据处理单元964还对从外部接口单元966和介质驱动器968提供的压缩图像信息执行解码操作。图像数据处理单元964将通过执行解码操作而生成的图像数据提供到显示单元965。图像数据处理单元964还执行操作以将从摄像装置信号处理单元963提供的图像数据提供到显示单元965，或者将从OSD单元969获得的显示数据叠加在图像数据上并将图像数据提供到显示单元965。
OSD单元969生成由符号、字符或数字构成的菜单屏幕和图标的显示数据，并且将该数据提供到图像数据处理单元964。
外部接口单元966由例如USB输入/输出端子等构成，并且当执行图像打印时连接到打印机。驱动器在必要时也连接到外部接口单元966，并且诸如磁盘或光盘的可移动介质适当地安装在驱动器上。在必要时安装从这样的可移动介质读取的程序。此外，外部接口单元966包括连接到诸如LAN或因特网的预定网络的网络接口。控制单元970根据例如来自用户接口单元971的指令而从存储器单元967读取压缩图像信息，并且可以将压缩图像信息从外部接口单元966提供到经由网络与其连接的其它设备。控制单元970还可以经由外部接口单元966获得经由网络从其它设备提供的压缩图像信息或图像数据，并且将压缩图像信息或图像数据提供到图像数据处理单元964。
要由介质驱动器968驱动的记录介质可以是可读/可重写的可移动介质，诸如磁盘、磁光盘、光盘或半导体存储器。记录介质可以是任意类型的可移动介质，并且可以是磁带装置、盘或存储卡。记录介质当然可以是非接触式IC卡等。
替选地，介质驱动器968和记录介质可被集成，并且可由诸如内部硬盘驱动器或SSD（固态驱动器）的不可移动存储介质构成。
控制单元970由CPU、存储器等构成。存储器存储要在CPU处执行的程序以及CPU执行操作所需的各种数据等。CPU在预定时间（诸如，在启动成像设备96时）读取并执行存储在存储器中的程序。CPU执行程序以控制各个部件，使得成像设备96根据用户操作而工作。
在具有以上结构的成像设备中，图像数据处理单元964具有本发明的图像处理装置（图像处理方法）的功能。因此，当所捕获的图像记录在存储器单元967、记录介质等上时，根据基于正被编码的运动补偿块和相邻运动补偿块的块大小对出现在运动边界的不连续性的检测结果，生成预测运动矢量信息。因此，可以提高运动矢量编码操作的效率。另外，可以正确地对通过图像编码操作而生成的压缩图像信息进行解码。
此外，本技术不应被解释为限于上述实施例。实施例通过示例公开了本技术，但是显而易见地，本领域技术人员可以在不背离本技术的范围的情况下，以其它实施例来修改或替换这些实施例。即，在理解本技术的主题时，应将权利要求纳入考虑。
工业应用性
在根据该技术的图像处理装置、图像处理方法和程序中，根据正被编码或解码的当前运动补偿块的块大小和与当前运动补偿块相邻的编码后相邻运动补偿块的块大小，从相邻运动补偿块中选择块。另外，通过使用关于所选择的块的运动矢量信息来生成关于正被处理的当前运动补偿块的预测运动矢量信息。即，通过根据正被处理的当前运动补偿块和相邻运动补偿块的块大小而自适应地使用关于相邻运动补偿块的运动矢量信息，生成预测运动矢量信息。因此，可以根据对出现在运动边界的不连续性的检测结果来生成预测运动矢量信息，并且可以实现高编码效率。鉴于此，本技术适合于经由网络介质（诸如，卫星广播、有线电视、因特网或便携式电话）发送和接收压缩图像信息（比特流），或者适合于通过使用存储介质（诸如，光盘、磁盘和闪存）执行图像记录和再现的装置等。
附图标记列表
10…图像编码装置 11…A/D转换器 12、57…屏幕重排缓冲器13…减法单元 14…正交变换单元 15…量化单元 16…无损量化单元17、51…累积缓冲器 18…速率控制单元 21、53…逆量化单元 22、54…逆正交变换单元 23、55…加法单元 24、56…去块滤波器 25、61…帧存储器 26、62、75…选择器 31、71…帧内预测单元 32…运动预测/补偿单元 33、73…块选择处理单元 34、74…预测运动矢量信息生成单元35…预测图像/最优模式选择单元 50…图像解码装置 52…无损解码单元 58…D/A转换器 72…运动补偿单元 80…计算机装置 90…电视机设备 92…便携式电话装置 94…记录/再现设备 96…成像设备 321…运动搜索单元 322…成本函数值计算单元 323…模式确定单元 324…运动补偿处理单元 325…运动矢量/块大小信息缓冲器 341…相邻运动矢量/块大小信息缓冲器 342、743…运动矢量信息处理单元 721…块大小信息缓冲器 722…差运动矢量信息缓冲器 723…运动矢量信息合成单元 724…运动补偿处理单元 725…运动矢量信息缓冲器 741…临时块大小信息缓冲器 742…相邻运动矢量信息缓冲器
权利要求书(按照条约第19条的修改)
1.一种图像处理装置，用于通过使用以层级结构定义的运动补偿块来执行解码，
所述图像处理装置包括：
块选择处理单元，被配置成根据正经受解码的当前运动补偿块的块大小和与所述当前运动补偿块相邻的已处理的相邻运动补偿块的块大小，从所述相邻运动补偿块中选择块；以及
预测运动矢量信息生成单元，被配置成通过使用关于由所述块选择处理单元选择的块的运动矢量信息，生成要用在对关于所述当前运动补偿块的运动矢量信息的解码操作中的预测运动矢量信息。
2.根据权利要求1所述的图像处理装置，其中，所述块选择处理单元仅选择以与所述当前运动补偿块相同的层级的块大小所编码的相邻运动补偿块。
3.根据权利要求2所述的图像处理装置，其中，当已以不同层级的块大小对要用在中值预测中的三个空间相邻运动补偿块当中的、相对于所述当前运动补偿块位于右上位置的相邻运动补偿块进行了编码时，所述块选择处理单元使用左上相邻运动补偿块来替代右上相邻运动补偿块。
4.根据权利要求3所述的图像处理装置，其中，
当已以与所述当前运动补偿块相同的层级的块大小对全部所述三个相邻运动补偿块都进行了编码时，所述块选择处理单元选择所述三个相邻运动补偿块，并且
所述预测运动矢量信息生成单元通过使用关于所选择的三个相邻运动补偿块的运动矢量信息来执行所述中值预测，以生成所述预测运动矢量信息。
5.根据权利要求3所述的图像处理装置，其中，
当已以与所述当前运动补偿块相同的层级的块大小对所述三个相邻运动补偿块中的两个进行了编码时，所述块选择处理单元选择具有同一层级的块大小的两个相邻运动补偿块，并且
替代执行所述中值预测，所述预测运动矢量信息生成单元通过将由关于所选择的两个相邻运动补偿块的运动矢量信息表示的运动矢量的平均值用作预测运动矢量来生成所述预测运动矢量信息。
6.根据权利要求3所述的图像处理装置，其中，
当已以与所述当前运动补偿块相同的层级的块大小对所述三个相邻运动补偿块中的两个进行了编码时，所述块选择处理单元选择具有同一层级的块大小的两个相邻运动补偿块，并且
替代执行所述中值预测，所述预测运动矢量信息生成单元选择关于所选择的两个相邻运动补偿块的运动矢量信息中的一个作为所述预测运动矢量信息，并且连同所述预测运动矢量信息生成用于识别选择了关于所述两个相邻运动补偿块的运动矢量信息中的哪个运动矢量信息的标识信息。
7.根据权利要求6所述的图像处理装置，还包括：
无损解码单元，被配置成从压缩图像信息中提取所述标识信息，
其中，当已以与所述当前运动补偿块相同的层级的块大小对所述三个相邻运动补偿块中的两个进行了编码时，所述块选择处理单元选择具有同一层级的块大小的两个相邻运动补偿块，并且
所述预测运动矢量信息生成单元基于所提取的标识信息而从关于所选择的两个相邻运动补偿块的运动矢量信息中选择运动矢量信息，并且将所选择的运动矢量信息设置为所述预测运动矢量信息。
8.根据权利要求3所述的图像处理装置，其中，
当已以与所述当前运动补偿块相同的层级的块大小对所述三个相邻运动补偿块之一进行了编码时，所述块选择处理单元选择具有相同层级的块大小的一个相邻运动补偿块，并且
替代执行所述中值预测，所述预测运动矢量信息生成单元将关于所选择的一个相邻运动补偿块的运动矢量信息设置为所述预测运动矢量信息。
9.根据权利要求3所述的图像处理装置，其中，
当没有以与所述当前运动补偿块相同的层级的块大小对所述三个相邻运动补偿块中的任一个进行编码时，所述块选择处理单元不执行块选择，并且
当没有选择任何相邻运动补偿块时，替代执行所述中值预测，所述预测运动矢量信息生成单元将表示零矢量的信息设置为所述预测运动矢量信息。
10.根据权利要求2所述的图像处理装置，其中，
所述块选择处理单元选择以与所述当前运动补偿块相同的层级的块大小所编码的时间相邻运动补偿块，并且
所述预测运动矢量信息生成单元将关于所述时间相邻运动补偿块的运动矢量信息设置为所述预测运动矢量信息。
11.根据权利要求10所述的图像处理装置，其中，
所述块选择处理单元从要用在中值预测中的空间相邻运动补偿块和所述时间相邻运动补偿块中选择以与所述当前运动补偿块相同的层级的块大小所编码的相邻运动补偿块，并且
所述预测运动矢量信息生成单元选择空间预测运动矢量信息或时间预测运动矢量信息，并且将所选择的预测运动矢量信息设置为所述预测运动矢量信息，所述空间预测运动矢量信息是基于关于所述空间相邻运动补偿块的运动矢量信息而生成的，所述时间预测运动矢量信息是关于所述时间相邻运动补偿块的运动矢量信息。
12.根据权利要求11所述的图像处理装置，其中，当仅生成了所述空间预测运动矢量信息时，所述预测运动矢量信息生成单元将所述空间预测运动矢量信息设置为所述预测运动矢量信息，并且当仅生成了所述时间预测运动矢量信息时，所述预测运动矢量信息生成单元将所述时间预测运动矢量信息设置为所述预测运动矢量信息。
13.根据权利要求12所述的图像处理装置，其中，当既没有生成所述空间预测运动矢量信息也没有生成所述时间预测运动矢量信息时，所述预测运动矢量信息生成单元将表示零矢量的信息设置为所述预测运动矢量信息。
14.根据权利要求11所述的图像处理装置，其中，所述预测运动矢量信息生成单元生成用于标识选择了所述空间预测运动矢量信息和所述时间预测运动矢量信息中的哪一个的标识信息。
15.根据权利要求14所述的图像处理装置，还包括：
无损解码单元，被配置成从压缩图像信息中提取所述标识信息，
其中，所述块选择处理单元从所述时间相邻运动补偿块和所述空间相邻运动补偿块中选择以与所述当前运动补偿块相同的层级的块大小所编码的相邻运动补偿块，并且
当所提取的标识信息表示选择了所述空间预测运动矢量信息时，所述预测运动矢量信息生成单元将所述空间预测运动矢量信息设置为所述预测运动矢量信息，而当所提取的标识信息表示选择了所述时间预测运动矢量信息时，所述预测运动矢量信息生成单元将关于所述时间相邻运动补偿块的运动矢量信息设置为所述预测运动矢量信息，所述空间预测运动矢量信息是基于关于所述空间相邻运动补偿块的运动矢量信息而生成的。
16.一种图像处理装置中的图像处理方法，用于通过使用以层级结构定义的运动补偿块来执行解码，
所述图像处理方法包括以下步骤：
根据正经受解码的当前运动补偿块的块大小和与所述当前运动补偿块相邻的已处理的相邻运动补偿块的块大小，从所述相邻运动补偿块中选择块；以及
通过使用关于所选择的块的运动矢量信息，生成要用在对关于所述当前运动补偿块的运动矢量信息的解码操作中的预测运动矢量信息。
17.一种图像处理装置，用于通过使用以层级结构定义的运动补偿块来执行编码，
所述图像处理装置包括：
块选择处理单元，被配置成根据正经受编码的当前运动补偿块的块大小和与所述当前运动补偿块相邻的已处理的相邻运动补偿块的块大小，从所述相邻运动补偿块中选择块；以及
预测运动矢量信息生成单元，被配置成通过使用关于由所述块选择处理单元选择的块的运动矢量信息，生成要用在对关于所述当前运动补偿块的运动矢量信息的编码操作中的预测运动矢量信息。
18.一种图像处理装置中的图像处理方法，用于通过使用以层级结构定义的运动补偿块来执行编码，
所述图像处理方法包括以下步骤：
根据正经受编码的当前运动补偿块的块大小和与所述当前运动补偿块相邻的已处理的相邻运动补偿块的块大小，从所述相邻运动补偿块中选择块；以及
通过使用关于所选择的块的运动矢量信息，生成要用在对关于所述当前运动补偿块的运动矢量信息的编码操作中的预测运动矢量信息。

Claims (16)

1.一种图像处理装置，用于通过使用以层级结构定义的运动补偿块来执行编码或解码，
所述图像处理装置包括：
块选择处理单元，被配置成根据正经受编码或解码的当前运动补偿块的块大小和与所述当前运动补偿块相邻的编码后相邻运动补偿块的块大小，从相邻运动补偿块中选择块；以及
预测运动矢量信息生成单元，被配置成通过使用关于由所述块选择处理单元选择的块的运动矢量信息，生成要用在对关于所述当前运动补偿块的运动矢量信息的编码操作或解码操作中的预测运动矢量信息。
2.根据权利要求1所述的图像处理装置，其中，所述块选择处理单元仅选择以与所述当前运动补偿块相同的层级的块大小所编码的相邻运动补偿块。
3.根据权利要求2所述的图像处理装置，其中，当已以不同层级的块大小对要用在中值预测中的三个空间相邻运动补偿块当中的、相对于所述当前运动补偿块位于右上位置的相邻运动补偿块进行了编码时，所述块选择处理单元使用左上相邻运动补偿块来替代右上相邻运动补偿块。
4.根据权利要求3所述的图像处理装置，其中，
当已以与所述当前运动补偿块相同的层级的块大小对全部所述三个相邻运动补偿块都进行了编码时，所述块选择处理单元选择所述三个相邻运动补偿块，并且
所述预测运动矢量信息生成单元通过使用关于所选择的三个相邻运动补偿块的运动矢量信息来执行所述中值预测，以生成所述预测运动矢量信息。
5.根据权利要求3所述的图像处理装置，其中，
当已以与所述当前运动补偿块相同的层级的块大小对所述三个相邻运动补偿块中的两个进行了编码时，所述块选择处理单元选择具有同一层级的块大小的两个相邻运动补偿块，并且
替代执行所述中值预测，所述预测运动矢量信息生成单元通过将由关于所选择的两个相邻运动补偿块的运动矢量信息表示的运动矢量的平均值用作预测运动矢量来生成所述预测运动矢量信息。
6.根据权利要求3所述的图像处理装置，其中，
当已以与所述当前运动补偿块相同的层级的块大小对所述三个相邻运动补偿块中的两个进行了编码时，所述块选择处理单元选择具有同一层级的块大小的两个相邻运动补偿块，并且
替代执行所述中值预测，所述预测运动矢量信息生成单元选择关于所选择的两个相邻运动补偿块的运动矢量信息中的一个作为所述预测运动矢量信息，并且连同所述预测运动矢量信息生成用于识别选择了关于所述两个相邻运动补偿块的运动矢量信息中的哪个运动矢量信息的标识信息。
7.根据权利要求6所述的图像处理装置，还包括：
无损解码单元，被配置成从压缩图像信息中提取所述标识信息，
其中，当已以与所述当前运动补偿块相同的层级的块大小对所述三个相邻运动补偿块中的两个进行了编码时，所述块选择处理单元选择具有同一层级的块大小的两个相邻运动补偿块，并且
所述预测运动矢量信息生成单元基于所提取的标识信息而从关于所选择的两个相邻运动补偿块的运动矢量信息中选择运动矢量信息，并且将所选择的运动矢量信息设置为所述预测运动矢量信息。
8.根据权利要求3所述的图像处理装置，其中，
当已以与所述当前运动补偿块相同的层级的块大小对所述三个相邻运动补偿块之一进行了编码时，所述块选择处理单元选择具有相同层级的块大小的一个相邻运动补偿块，并且
替代执行所述中值预测，所述预测运动矢量信息生成单元将关于所选择的一个相邻运动补偿块的运动矢量信息设置为所述预测运动矢量信息。
9.根据权利要求3所述的图像处理装置，其中，
当没有以与所述当前运动补偿块相同的层级的块大小对所述三个相邻运动补偿块中的任一个进行编码时，所述块选择处理单元不执行块选择，并且
当没有选择任何相邻运动补偿块时，替代执行所述中值预测，所述预测运动矢量信息生成单元将表示零矢量的信息设置为所述预测运动矢量信息。
10.根据权利要求2所述的图像处理装置，其中，
所述块选择处理单元选择以与所述当前运动补偿块相同的层级的块大小所编码的时间相邻运动补偿块，并且
所述预测运动矢量信息生成单元将关于所述时间相邻运动补偿块的运动矢量信息设置为所述预测运动矢量信息。
11.根据权利要求10所述的图像处理装置，其中，
所述块选择处理单元从要用在中值预测中的空间相邻运动补偿块和所述时间相邻运动补偿块中选择以与所述当前运动补偿块相同的层级的块大小所编码的相邻运动补偿块，并且
所述预测运动矢量信息生成单元选择空间预测运动矢量信息或时间预测运动矢量信息，并且将所选择的预测运动矢量信息设置为所述预测运动矢量信息，所述空间预测运动矢量信息是基于关于所述空间相邻运动补偿块的运动矢量信息而生成的，所述时间预测运动矢量信息是关于所述时间相邻运动补偿块的运动矢量信息。
12.根据权利要求11所述的图像处理装置，其中，当仅生成了所述空间预测运动矢量信息时，所述预测运动矢量信息生成单元将所述空间预测运动矢量信息设置为所述预测运动矢量信息，而当仅生成了所述时间预测运动矢量信息时，所述预测运动矢量信息生成单元将所述时间预测运动矢量信息设置为所述预测运动矢量信息。
13.根据权利要求12所述的图像处理装置，其中，当既没有生成所述空间预测运动矢量信息也没有生成所述时间预测运动矢量信息时，所述预测运动矢量信息生成单元将表示零矢量的信息设置为所述预测运动矢量信息。
14.根据权利要求11所述的图像处理装置，其中，所述预测运动矢量信息生成单元生成用于标识选择了所述空间预测运动矢量信息和所述时间预测运动矢量信息中的哪一个的标识信息。
15.根据权利要求14所述的图像处理装置，还包括：
无损解码单元，被配置成从压缩图像信息中提取所述标识信息，
其中，所述块选择处理单元从所述时间相邻运动补偿块和所述空间相邻运动补偿块中选择以与所述当前运动补偿块相同的层级的块大小所编码的相邻运动补偿块，并且
当所提取的标识信息表示选择了所述空间预测运动矢量信息时，所述预测运动矢量信息生成单元将所述空间预测运动矢量信息设置为所述预测运动矢量信息，而当所提取的标识信息表示选择了所述时间预测运动矢量信息时，所述预测运动矢量信息生成单元将关于所述时间相邻运动补偿块的运动矢量信息设置为所述预测运动矢量信息，所述空间预测运动矢量信息是基于关于所述空间相邻运动补偿块的运动矢量信息而生成的。
16.一种图像处理装置中的图像处理方法，用于通过使用以层级结构定义的运动补偿块来执行编码或解码，
所述图像处理方法包括以下步骤：
根据正经受编码或解码的当前运动补偿块的块大小和与所述当前运动补偿块相邻的编码后相邻运动补偿块的块大小，从相邻运动补偿块中选择块；以及
通过使用关于所选择的块的运动矢量信息，生成要用在对关于所述当前运动补偿块的运动矢量信息的编码操作或解码操作中的预测运动矢量信息。
CN2011800502981A 2010-10-25 2011-10-17 图像处理装置和图像处理方法 Pending CN103168471A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010-238351 2010-10-25
JP2010238351A JP2012094959A (ja) 2010-10-25 2010-10-25 画像処理装置と画像処理方法およびプログラム
PCT/JP2011/073809 WO2012056924A1 (ja) 2010-10-25 2011-10-17 画像処理装置と画像処理方法

Publications (1)

Publication Number Publication Date
CN103168471A true CN103168471A (zh) 2013-06-19

Family

ID=45993639

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011800502981A Pending CN103168471A (zh) 2010-10-25 2011-10-17 图像处理装置和图像处理方法

Country Status (4)

Country Link
US (1) US20130208805A1 (zh)
JP (1) JP2012094959A (zh)
CN (1) CN103168471A (zh)
WO (1) WO2012056924A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017063404A1 (zh) * 2015-10-16 2017-04-20 中兴通讯股份有限公司 编码处理、解码处理方法及装置、编码器及解码器

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012120822A1 (en) * 2011-03-09 2012-09-13 Canon Kabushiki Kaisha Image coding apparatus, method for coding image, program therefor, image decoding apparatus, method for decoding image, and program therefor
US10298927B2 (en) * 2014-03-28 2019-05-21 Sony Corporation Image decoding device and method
US11616970B1 (en) * 2022-01-25 2023-03-28 Mediatek Inc. Motion vector refinement apparatus having motion vector predictor derivation circuit that is allowed to start new task without waiting for motion vector difference computation and associated motion vector refinement method

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1829328A (zh) * 2005-02-28 2006-09-06 三星电子株式会社 预测图像产生方法及设备和图像视频编/解码方法及设备
JP2008283490A (ja) * 2007-05-10 2008-11-20 Ntt Docomo Inc 動画像符号化装置、方法及びプログラム、並びに動画像復号化装置、方法及びプログラム
WO2010064396A1 (ja) * 2008-12-03 2010-06-10 株式会社日立製作所 動画像復号化方法および動画像符号化方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2725577B1 (fr) * 1994-10-10 1996-11-29 Thomson Consumer Electronics Procede de codage ou de decodage de vecteurs mouvement et dispositif de codage ou de decodage mettant en oeuvre ledit procede
KR100774296B1 (ko) * 2002-07-16 2007-11-08 삼성전자주식회사 움직임 벡터 부호화 방법, 복호화 방법 및 그 장치
JP4841101B2 (ja) * 2002-12-02 2011-12-21 ソニー株式会社 動き予測補償方法及び動き予測補償装置
JP4179548B2 (ja) * 2003-09-24 2008-11-12 Ｋｄｄｉ株式会社 動きベクトル検出装置
CN1977541B (zh) * 2004-06-29 2010-05-26 索尼株式会社 运动补偿预测方法和运动补偿预测装置
KR100588132B1 (ko) * 2004-10-04 2006-06-09 삼성전자주식회사 디스플레이장치
JP2006333436A (ja) * 2005-01-07 2006-12-07 Ntt Docomo Inc 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラム、及び、動画像復号プログラム
US20070268964A1 (en) * 2006-05-22 2007-11-22 Microsoft Corporation Unit co-location-based motion estimation
US7573407B2 (en) * 2006-11-14 2009-08-11 Qualcomm Incorporated Memory efficient adaptive block coding
JP4325708B2 (ja) * 2007-07-05 2009-09-02 ソニー株式会社 データ処理装置、データ処理方法およびデータ処理プログラム、符号化装置、符号化方法および符号化プログラム、ならびに、復号装置、復号方法および復号プログラム
FR2945698B1 (fr) * 2009-05-18 2017-12-22 Canon Kk Procede et dispositif de codage d'une sequence video
JP2011091696A (ja) * 2009-10-23 2011-05-06 Victor Co Of Japan Ltd 動きベクトル予測方法
JP2011259204A (ja) * 2010-06-09 2011-12-22 Sony Corp 画像復号化装置と画像符号装置およびその方法とプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1829328A (zh) * 2005-02-28 2006-09-06 三星电子株式会社 预测图像产生方法及设备和图像视频编/解码方法及设备
JP2008283490A (ja) * 2007-05-10 2008-11-20 Ntt Docomo Inc 動画像符号化装置、方法及びプログラム、並びに動画像復号化装置、方法及びプログラム
WO2010064396A1 (ja) * 2008-12-03 2010-06-10 株式会社日立製作所 動画像復号化方法および動画像符号化方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017063404A1 (zh) * 2015-10-16 2017-04-20 中兴通讯股份有限公司 编码处理、解码处理方法及装置、编码器及解码器
US10904523B2 (en) 2015-10-16 2021-01-26 Zte Corporation Encoding processing method and device, decoding processing method and device, encoder, and decoder
US11272176B2 (en) 2015-10-16 2022-03-08 Zte Corporation Encoding processing method and device, decoding processing method and device, encoder, and decoder

Also Published As

Publication number Publication date
US20130208805A1 (en) 2013-08-15
WO2012056924A1 (ja) 2012-05-03
JP2012094959A (ja) 2012-05-17

Similar Documents

Publication Publication Date Title
JP6468380B2 (ja) 画像処理装置、画像処理方法、プログラム、並びに記録媒体
CN103026710A (zh) 图像处理装置和图像处理方法
CN102812708B (zh) 图像处理设备和方法
CN102918843B (zh) 图像解码装置、图像编码装置以及用于图像解码和编码的方法和程序
CN103329536A (zh) 图像解码装置、图像编码装置及其方法
KR20130118727A (ko) 화상 복호화 장치와 화상 부호화 장치 및 그 방법과 프로그램
CN102160379A (zh) 图像处理装置和图像处理方法
CN103190148A (zh) 图像处理装置和图像处理方法
CN102696227A (zh) 图像处理设备和方法
CN102948150A (zh) 图像解码装置、图像编码装置、及其方法和程序
CN103168471A (zh) 图像处理装置和图像处理方法
CN102160383A (zh) 图像处理装置和方法
CN102986225A (zh) 信息处理设备和信息处理方法
CN103238329A (zh) 图像解码装置、运动矢量解码方法、图像编码装置和运动矢量编码方法
CN103314589A (zh) 图像处理装置和方法
CN102823255A (zh) 图像处理设备和图像处理方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20130619