CN102742273A - 图像处理装置和方法 - Google Patents

Abstract

提供了一种能够提高编码效率的图像处理装置和方法。正交变换单元（151）在输入图像的目标块中，一次4×4地将正交变换应用于像素值。2×2块生成单元（152）从来自前述变换的系数数据中提取四个DC分量，并且使用所述DC分量生成2×2块。另一正交变换单元（153）将另一正交变换应用于2×2块。8×8块生成单元（161）生成8×8块，其中前述2×2块在左上角。逆正交变换单元（162）将逆正交变换应用于8×8块。经逆变换的8×8块的像素值形成了被用作预测图像的曲面。

Description

图像处理装置和方法

技术领域

本发明涉及一种图像处理装置和方法，更具体地，涉及一种能够进一步提高编码效率的图像处理装置和方法。

背景技术

近年来，在来自广播站的信息分送和普通家庭处的信息接收两者中，如下装置变得普遍：这些装置符合诸如移动图像专家组（MPEG）的方案以便数字地处置图像信息，并且出于高效信息传输和积累的目的，通过诸如离散余弦变换的正交变换以及使用图像信息特有的冗余的运动补偿来压缩数字图像信息。

特别地，MPEG2（国际标准化组织（ISO）/国际电工委员会（IEC）13818-2）被定义为通用图像编码方案，并且当前用在用于专业用户和消费者的广泛的多种应用中，涵盖所有隔行扫描图像和顺次扫描图像、以及标准分辨率图像和高分辨率图像两者的标准。使用MPEG2压缩技术，例如通过将4至8Mbps的编码量（位率）分配给具有720×480个像素的标准分辨率的隔行扫描图像，并且将18至22Mbps的编码量分配给具有1920×1088个像素的高分辨率的隔行扫描图像，可以实现高压缩比和有利的图像质量。

MPEG2主要以适于广播的高分辨率编码为目标，并且未涵盖比MPEG1涵盖的编码量低的编码量（位率），就是说，不支持具有较高压缩率的编码方案。由于蜂窝电话的普及，推测未来对这种编码方案的需要将增加，并且与这种推测对应，MPEG4编码方案被标准化。关于图像编码方案的标准被核准作为国际标准，ISO/IEC 14496-2，1998年12月。

此外，近年来H.26L（ITU电信标准部（ITU-T）Q6/16视频编码专家组（VCEG））已被标准化，其最初旨在用于电视会议的图像编码的用途。较之诸如MPEG2或MPEG4的传统的编码方案，已知H.26L方案用于实现较高的编码效率，尽管其需要较大的计算量用于编码和解码。此外，作为MPEG4活动的一部分，基于H.26L并且引入H.26L不支持的功能，作为用于实现更高的编码效率的增强压缩视频编码的联合模型的编码方案当前正在标准化中。在2003年3月，以上方案以H.264和MPEG4Part10（高级视频编码（AVC））为名称成为国际标准。

此外，作为以上方案的扩展，保真度范围扩展（FRExt）被标准化，其包括诸如RGB、4:2:2和4:4:4的商用编码工具，由MPEG-2定义的8×8离散余弦变换（DCT），以及量化矩阵。因此，产生了允许通过使用H.264/AVC甚至来有利地表达电影中的影片噪声的编码方案，并且该方案用于各种应用，诸如蓝光盘（商标）。

然而，近来对用于压缩约4000×2000个像素（这是高画质图像的像素数目的四倍）的图像并且在诸如互联网的具有有限的传输容量的环境中分送高画质图像的更高压缩率的编码的需要日益增加。为了满足这些需要，在上述ITU-T下的VCEG上继续进行用于提高编码效率的讨论。

通过H.264/AVC方案实现较之传统的MPEG2方案等更高的编码效率的因素之一是帧内预测处理。

在H.264/AVC方案中，关于亮度信号的帧内预测模式包括九种具有4×4个像素和8×8个像素的块的预测模式，以及四种具有16×16个像素的宏块的预测模式。此外，关于色差信号的帧内预测模式包括四种具有8×8个像素的块的预测模式。色差信号的帧内预测模式的设定可以与亮度信号的帧内预测模式无关。

对于具有4×4个像素和8×8个像素的亮度信号的帧内预测模式，针对具有4×4个像素和8×8个像素的亮度信号的每个块，定义一个帧内预测模式。对于具有16×16个像素的亮度信号的帧内预测模式以及色差信号的帧内预测模式，针对一个宏块定义一个预测模式。

近年来，已提出了用于进一步提高H.264/AVC方案中的帧内预测效率的方法。（参见例如非专利文献1和非专利文献2）。

引用列表

非专利文献

非专利文献1："Intra Prediction by Template Matching,"T.K.Tan et al,ICIP2006

非专利文献2："Tools for Improving Texture and Motion Compensation,"MPEG Workshop,Oct 2008

发明内容

本发明要解决的问题

然而，H.264/AVC方案提供的压缩率仍不足，并且需要进一步减少压缩中的信息。

考虑到前述情形，本发明的目的在于进一步提高编码效率。

对问题的解决方案

本发明的一个方面是一种图像处理装置，其包括：曲面参数生成部件，使用将经历屏幕内编码的图像数据的处理目标块的像素值，生成指示对处理目标块的像素值进行近似的曲面的曲面参数；曲面生成部件，生成由曲面参数生成部件生成的曲面参数表示的、作为预测图像的曲面；算术部件，从处理目标块的像素值中减去由曲面生成部件生成的、作为预测图像的曲面的像素值，从而生成差分数据；以及编码部件，对算术部件生成的差分数据进行编码。

曲面参数生成部件可以通过对经正交变换的处理目标块的系数数据的直流分量形成的直流分量块进行正交变换，来生成曲面参数。曲面生成部件可以通过使具有作为分量的、由曲面参数生成部件生成的曲面参数的曲面块经历逆正交变换，来生成曲面。

曲面生成部件可以形成尺寸与用在屏幕内预测中的屏幕内预测块的尺寸相同的曲面块，从而使块尺寸与屏幕内预测块的尺寸相同的曲面块经历逆正交变换。

曲面尺寸块具有作为分量的曲面参数和0。

屏幕内预测块的尺寸可以是8×8，并且直流分量块的尺寸可以是2×2。

该图像处理装置进一步包括：正交变换部件，使算术部件生成的差分数据经历正交变换；以及量化部件，对通过正交变换部件进行的差分数据的正交变换而生成的系数数据进行量化。编码部件对量化部件所量化的系数数据进行编码，从而生成编码数据。

该图像处理装置进一步包括：传输部件，传输编码部件生成的编码数据和曲面参数生成部件生成的曲面参数。

曲面生成部件包括：8×8块生成部件，使用由曲面参数生成部件生成的曲面参数来生成8×8块；以及逆正交变换部件，使8×8块生成部件生成的8×8块经历逆正交变换。

编码部件对曲面参数生成部件生成的曲面参数进行编码，并且传输部件传输由编码部件编码的曲面参数。

本发明的另一方面是一种由图像处理装置使用的图像处理方法，其包括：图像处理装置的曲面参数生成部件使用将经历屏幕内编码的图像数据的处理目标块的像素值，生成指示对处理目标块的像素值进行近似的曲面的曲面参数；图像处理装置的曲面生成部件生成由所生成的曲面参数表示的、作为预测图像的曲面；图像处理装置的算术部件从处理目标块的像素值中减去作为预测图像而生成的曲面的像素值，从而生成差分数据；以及图像处理装置的编码部件对所生成的差分数据进行编码。

本发明的另一方面是一种图像处理装置，其包括：解码部件，对编码数据进行解码，编码数据是通过对图像数据和经历使用图像数据的帧内预测的预测图像之间的差分数据进行编码而形成的；曲面生成部件，使用指示对图像数据的处理目标块的像素值进行近似的曲面的曲面参数，生成由曲面形成的预测图像；以及算术部件，使曲面生成部件生成的预测图像与通过解码部件进行的解码而获得的差分数据相加。

曲面生成部件通过使曲面块经历逆正交变换来生成曲面，曲面块具有作为分量的、通过对经正交变换的处理目标块的系数数据的直流分量形成的直流分量块进行正交变换而生成的曲面参数。

曲面生成部件可以形成尺寸与用在屏幕内预测中的屏幕内预测块的尺寸相同的曲面块，从而使块尺寸与屏幕内预测块的尺寸相同的曲面块经历逆正交变换。

曲面尺寸块具有作为分量的曲面参数和0。

屏幕内预测块的尺寸可以是8×8，并且直流分量块的尺寸可以是2×2。

该图像处理装置进一步包括：逆量化部件，对差分数据进行逆量化；以及逆正交变换部件，使由逆量化部件进行了逆量化的差分数据经历逆正交变换。算术部件可以使预测图像与经历逆正交变换部件的逆正交变换的差分数据相加。

该图像处理装置进一步包括接收部件，其接收编码数据和曲面参数，并且曲面生成部件可以使用接收部件接收到的曲面参数来生成预测图像。

对曲面参数进行编码。解码部件可以进一步包括对编码的曲面参数进行解码的解码部件。

曲面生成部件包括：8×8块生成部件，使用曲面参数来生成8×8块；以及逆正交变换部件，使8×8块生成部件生成的8×8块经历逆正交变换。

本发明的另一方面是一种由图像处理装置使用的图像处理方法，其中图像处理装置的解码部件对编码数据进行解码，编码数据是通过对图像数据和经历使用图像数据的帧内预测的预测图像之间的差分数据进行编码而形成的；图像处理装置的曲面生成部件使用指示对图像数据的处理目标块的像素值进行近似的曲面的曲面参数，生成由曲面形成的预测图像；以及图像处理装置的算术部件使所生成的预测图像与通过解码而获得的差分数据相加。

在本发明的一个方面，使用将经历屏幕内编码的图像数据的处理目标块的像素值，生成指示对处理目标块的像素值进行近似的曲面的曲面参数；生成由曲面参数表示的、作为预测图像的曲面；从处理目标块的像素值中减去作为预测图像而生成的曲面的像素值，从而生成差分数据；以及对所生成的差分数据进行编码。

在本发明的另一方面，对编码数据进行解码，编码数据是通过对图像数据和经历使用图像数据的帧内预测的预测图像之间的差分数据进行编码而形成的；使用指示对图像数据的处理目标块的像素值进行近似的曲面的曲面参数，生成由曲面形成的预测图像；以及使所生成的预测图像与通过解码而获得的差分数据相加。

本发明的效果

根据本发明，可以执行图像数据的编码或编码图像数据的解码，可以进一步提高编码效率。

附图说明

图1是示出被应用本发明的图像编码装置的主要配置示例的框图。

图2是示出宏块的示例的示图。

图3是示出帧内预测部的主要配置示例的框图。

图4是用于描述正交变换的状态的示例的示图。

图5是示出4×4像素帧内预测模式的示例的示图。

图6是示出8×8像素帧内预测模式的示例的示图。

图7是示出16×16像素帧内预测模式的示例的示图。

图8是示出曲面预测图像生成部的主要配置示例的框图。

图9是示出近似曲面的示例的示图。

图10是示出熵编码部的主要配置示例的框图。

图11是用于描述编码处理的流程的示例的流程图。

图12是用于描述预测处理的流程的示例的流程图。

图13是用于描述帧内预测处理的流程的示例的流程图。

图14是用于描述预测图像生成处理的流程的示例的流程图。

图15是示出被应用本发明的图像解码装置的主要配置示例的框图。

图16是示出帧内预测部的主要配置示例的框图。

图17是用于描述解码处理的流程的示例的流程图。

图18是用于描述预测处理的流程的示例的流程图。

图19是用于描述帧内预测处理的流程的示例的流程图。

图20是示出宏块的其他示例的示图。

图21是示出被应用本发明的个人计算机的主要配置示例的框图。

图22是示出被应用本发明的电视接收器的主要配置示例的框图。

图23是示出被应用本发明的蜂窝电话的主要配置示例的框图。

图24是示出被应用本发明的硬盘记录器的主要配置示例的框图。

图25是示出被应用本发明的摄像装置的主要配置示例的框图。

具体实施方式

下文将描述用于实施本发明的实施例（以下称为实施例）。将以如下顺序呈现各实施例：

1.第一实施例（图像编码装置）

2.第二实施例（图像解码装置）

3.第三实施例（个人计算机）

4.第四实施例（电视接收器）

5.第五实施例（蜂窝电话）

6.第六实施例（硬盘记录器）

7.第七实施例（摄像装置）

<1.第一实施例>

[图像编码装置]

图1示出了作为被应用本发明的图像处理装置的图像编码装置的一个实施例的配置。

图1中所示的图像编码装置100是使图像经历例如H.264和移动图像专家组（MPEG）4 Part 10（高级视频编码（AVC））（以下称为H.264/AVC）方案中的压缩编码的编码装置。然而，图像编码装置100还具有使用根据编码前的图像数据而非根据解码参考图像生成的曲面的预测模式，作为一个帧内解码模式。

在图1的示例中，图像编码装置100具有模拟/数字（A/D）转换部101、屏幕排序缓冲器102、算术部103、正交变换部104、量化部105、可逆编码部106和积累缓冲器107。此外，图像编码装置100具有逆量化部108、逆正交变换部109和算术部110。图像编码装置100还具有解块滤波器111和帧存储器112。图像编码装置100进一步具有选择部113、帧内预测部114、运动预测补偿部115和选择部116。此外，图像编码装置100具有速率控制部117。

A/D转换部101使输入图像数据经历A/D转换，并且将数据输出到屏幕排序缓冲器102用于存储。屏幕排序缓冲器102根据图片组（GOP）结构，使所存储的图像的帧的排序从显示的顺序变为编码的顺序。屏幕排序缓冲器102将排序顺序改变的帧的图像提供给算术部103、帧内预测部114和运动预测补偿部115。

算术部103在从屏幕排序缓冲器102读取的图像中减去从选择部116提供的预测图像，并且将差分信息输出到正交变换部104。例如，在图像将经历帧内编码的情况下，算术部103使从预测部114提供的预测图像与从屏幕排序缓冲器102读取的图像相加。此外，例如，在图像将经历帧间编码的情况下，算术部103使从运动预测补偿部115提供的预测图像与从屏幕排序缓冲器102读取的图像相加。

正交变换部104使来自算术部103的差分信息经历诸如离散余弦变换和Karhunen-Loeve变换的正交变换，并且将变换系数提供给量化部105。量化部105对从正交变换部104输出的变换系数进行量化。量化部105将经量化的系数提供给可逆编码部106。

可逆编码部106使经量化的变换系数经历诸如可变长度编码和算术编码的可逆编码。

可逆编码部106从帧内预测部114获取指示帧内预测的信息、与后面描述的近似曲面相关的参数（曲面参数）等，并且从运动预测补偿部115获取指示帧间预测模式的信息。指示帧内预测的信息在下文中还将被称为帧内预测模式信息。关于指示帧间预测模式的信息模式的信息在下文中还将被称为帧间预测模式信息。

可逆编码部106对经量化的变换系数进行编码，并且设定滤波器系数、帧内预测模式信息、帧间预测模式信息、量化参数和曲面参数等，作为编码数据的报头信息的一部分（复用）。可逆编码部016将通过编码获得的编码数据提供给积累缓冲器107用于积累。

例如，可逆编码部106执行诸如可变长度编码或算术编码的可逆编码处理。可变长度编码可以是H.264/AVC方案定义的上下文自适应可变长度编码（CAVLC）等。算术编码可以是上下文自适应二进制算术编码（CABAC）等。

积累缓冲器107临时保存从可逆编码部106提供的编码数据，并且将该数据作为按H.264/AVC方案编码的编码图像，例如在预定定时输出到下一级中的记录装置或传输路径（未示出）。

此外，量化部105量化的变换系数还被提供给逆量化部108。逆量化部108使用与量化部105的量化对应的方法对经量化的变换系数进行逆量化，并且将获得的变换系数提供给逆正交变换部109。

逆正交变换部109使用与正交变换部104的正交变换处理对应的方法，使所提供的变换系数经历逆正交变换。逆正交变换的输出被提供给算术部110。

算术部110使从选择部116提供的预测图像与从逆正交变换部109提供的逆正交变换的结果相加，就是说，与恢复的差分信息相加，从而获得局部解码图像（解码图像）。例如，如果差分信息对应于将经历帧内编码的图像，则算术部110使从帧内预测部114提供的预测图像与差分信息相加。此外，如果差分信息对应于将经历帧间编码的图像，则算术部110使从运动预测补偿部115提供的预测图像与差分信息相加。

相加的结果被提供给解块滤波器111或帧存储器112。

解块滤波器111适当地执行解块滤波处理以从解码图像去除块失真，并且例如使用Wiener滤波器适当地执行环路滤波处理，从而实现图像质量的提高。解块滤波器111对像素进行分类，并且对每个类执行适当的滤波处理。解块滤波器111将滤波处理的结果提供给帧存储器112。

在预定的定时，帧存储器112经由选择部113将积累的参考图像输出到帧内预测部114或运动预测补偿部115。

例如，在图像将经历帧内编码的情况下，帧存储器112经由选择部113将参考图像提供给帧内预测部114。例如，在图像将经历帧间编码的情况下，帧存储器112经由选择部113将参考图像提供给运动预测补偿部115。

在图像编码装置100中，例如，来自屏幕排序缓冲器102的I图片、B图片和P图片作为将经历帧内预测（还被称为帧内处理）的图像被提供给帧内预测部114。此外，从屏幕排序缓冲器102读取的B图片和P图片作为将经历帧间预测（还被称为帧间处理）的图像被提供给运动预测补偿部115。

如果从帧存储器112提供的参考图像将经历帧内编码，则选择部113将图像提供给帧内预测部114，并且如果图像将经历帧间编码，则选择部113将图像提供给运动预测补偿部115。

帧内预测部114使用屏幕中的像素值来执行帧内预测（屏幕内预测）用于生成预测图像。帧内预测部114在多个模式中执行帧内预测（帧内预测模式）。

帧内预测模式包括用于基于经由选择部113从帧存储器112提供的参考图像来生成预测图像的模式。帧内预测模式还包括用于使用从屏幕排序缓冲器102读取的将经历帧内预测的图像（处理目标块的像素值）来生成预测图像的模式。

帧内预测部114在所有帧内预测模式中生成预测图像，评估每个预测图像，并且选择最优模式。在选择最优帧内预测模式时，帧内预测部114经由选择部116将在最优模式中生成的预测图像提供给算术部103。

此外，如上文所述，帧内预测部114适当地向可逆编码部106提供指示所使用的帧内预测模式的帧内预测模式信息以及诸如预测图像的曲面参数的信息。

对于将经历帧间编码的图像，运动预测补偿部115使用从屏幕排序缓冲器102提供的输入图像和经由选择部113从帧存储器112提供的、作为参考帧的解码图像，来计算运动向量。运动预测补偿部115根据所计算的运动向量执行运动补偿处理，从而生成预测图像（帧间预测图像信息）。

运动预测补偿部115在所有候选帧间预测模式中执行帧间预测处理，从而生成预测图像。运动预测补偿部115经由选择部116将所生成的预测图像提供给算术部103。

运动预测补偿部115向可逆编码部106提供指示所使用的帧间预测模式的帧间预测模式信息以及指示计算的运动向量的运动向量信息。

在图像将经历帧内编码的情况下，选择部116将来自帧内预测部114的输出提供给算术部103，并且在图像将经历帧间编码的情况下，选择部116将来自运动预测补偿部115的输出提供给算术部103。

速率控制部117基于积累缓冲器107中积累的压缩图像，控制量化部105的量化操作的速率以便防止出现上溢或下溢。

[宏块]

图2是示出H.264/AVC方案中的用于运动预测补偿的块尺寸的示例的示图。在H.264/AVC方案中，以可变的块尺寸执行运动预测补偿。

图2在上部示出了由16×16个像素形成的宏块，其按左起的顺序被分成16×16个像素、16×8个像素、8×16个像素和8×8个像素的分区。图5在下部示出了由8×8个像素形成的子宏块，其按左起的顺序被分成8×8个像素、8×4个像素、4×8个像素和4×4个像素的分区。

具体地，在H.264/AVC方案中，一个宏块可被分成16×16个像素、16×8个像素、8×16个像素和8×8个像素的任何分区，每个分区包括独立的运动向量信息。8×8个像素的分区可被分成8×8个像素、8×4个像素、4×8个像素和4×4个像素的任何子分区，每个子分区包括独立的运动向量信息。

[帧内预测部]

图3是示出图1中所示的帧内预测部114的主要配置示例的框图。

如图3中所示，帧内预测部114具有预测图像生成部131、曲面预测图像生成部132、成本函数计算部133和模式确定部134。

如上文所述，帧内预测部114具有用于使用从帧存储器112获取的参考图像（***像素）来生成预测图像的模式和用于使用处理目标图像来生成预测图像的模式两者。预测图像生成部131在使用从帧存储器112获取的参考图像（***像素）的模式中生成预测图像。

同时，曲面预测图像生成部132在使用处理目标图像的模式中生成预测图像。更具体地，曲面预测图像生成部132在曲面中近似处理目标图像的像素值，并且将近似曲面设定为预测图像。

预测图像生成部131或者曲面预测图像生成部132生成的预测图像被提供给成本函数计算部133。

成本函数计算部133在4×4个像素、8×8个像素和16×16个像素的帧内预测模式中计算由预测图像生成部131生成的预测图像的成本函数值。成本函数计算部133还计算由曲面预测图像生成部132生成的预测图像的成本函数值。

这里，在高复杂度模式或低复杂度模式中计算成本函数值。这些模式由H.264/AVC方案中的作为参考软件的联合模型（JM）定义。

具体地，在高复杂度模式中，假设在所有候选预测模式中执行直到编码处理的处理。随后，在各个预测模式中计算由下式（1）表示的成本函数值，并且具有最小成本函数值的预测模式被选择为最优预测模式。

Cost(Mode)＝D+λ·R    ...（1）

在式（1）中，D表示初始图像和解码图像之间的差（失真）；R表示包括高达正交变换系数的所生成的码量；并且λ表示作为量化参数QP的函数给出的拉格朗日乘子。

同时，在低复杂度模式中，在所有候选预测模式中执行预测图像的生成以及包括运动向量信息、预测模式信息和标志信息的报头位的计算。随后，在所有预测模式中计算由下式（2）表示的成本函数值，并且具有最小成本函数值的预测模式被选择为最优预测模式。

Cost(Mode)＝D+QPtoQuant(QP)·Header_Bit  ...（2）

在式（2）中，D表示初始图像和解码图像之间的差（失真）；Header_Bit表示预测模式的报头位，并且QPtoQuant表示量化参数QP的函数。

在低复杂度模式中，在所有预测模式中仅生成预测图像，但是不需要执行编码处理或解码处理，导致了较小的算术运算量。

成本函数计算部133将这样计算的成本函数值提供给模式确定部134。模式确定部134根据所提供的成本函数值选择最优帧内预测模式。具体地，模式确定部134将具有最小成本函数值的帧内预测模式选择为最优帧内预测模式。

在必要时，模式确定部134经由选择部116将被选择为最优帧内预测模式的预测模式中的预测图像提供给算术部103和算术部110。在必要时，模式确定部134还将预测模式的信息提供给可逆编码部106。

此外，如果曲面预测图像生成部132的预测模式被选择为最优帧内预测模式，则模式确定部134从曲面预测图像生成部132获取曲面参数，并且将这些参数提供给可逆编码部106。

[正交变换]

图4是用于描述正交变换的状态的示例的示图。

在图4中所示的示例中，提供给块的数字-1至25表示块的位流顺序（解码侧的处理顺序）。在亮度信号的情况下，宏块被分成4×4个像素，并且执行4×4像素DCT。此外，仅在帧内16×16预测模式的情况下，收集来自所有块的直流分量以生成如-1块所示的4×4矩阵，并且进一步执行正交变换。

同时，在色差信号的情况下，宏块被分成4×4个像素，执行4×4像素DCT，并且随后收集来自块的直流分量以生成如图4中的块16和17所示的2×2矩阵。随后进一步执行正交变换。

前文的主题适用于帧内8×8预测模式，仅适用于其中在高层次（profile）或更高层次中对目标宏块执行8×8正交变换的情况。

[帧内预测模式]

这里，将描述预测图像生成部131的预测处理。在H.264/AVC方案限定的AVC中，预测图像生成部131在三个模式中执行帧内预测：帧内4×4预测模式、帧内8×8预测模式、和帧内16×16预测模式。这些模式旨在限定块单位并且针对每个宏块而被设定。此外，对于每个宏块，色差信号的帧内预测模式的设定与亮度信号的帧内预测模式的设定无关。

此外，在帧内4×4预测模式的情况下，如图5中所示，可以针对4×4个像素的每个目标块设定九种预测模式中的一个。在帧内8×8预测模式的情况下，如图6中所示，可以针对8×8个像素的每个目标块设定九种预测模式中的一个。在帧内16×16预测模式的情况下，如图7中所示，可以针对16×16个像素的每个目标块设定四种预测模式中的一个。

帧内4×4预测模式、帧内8×8预测模式、和帧内16×16预测模式还将被适当地称为4×4像素预测模式、8×8像素预测模式、和16×16像素预测模式。

图7是示出关于亮度信号的四种类型的16×16像素帧内预测模式（Intra 16×16_pred_mode）的示图。

将经历帧内处理的目标宏块被指定为A，并且P(x,y);x,y=-1,0，...,15被设定为与目标宏块A相邻的像素的像素值。

模式0是竖直预测模式，其仅在P(x,-1);x,y=-1,0,...,15“可用”时适用。在该情况下，如下式（3）中的那样生成目标宏块A的每个像素的预测像素值Pred(x,y)：

Pred(x,y)=P(x,-1);x,y=0,…,15…（3）

模式1是水平预测模式，其仅在P(-1,y);x,y=-1,0，...,15“可用”时适用。在该情况下，如下式（4）中的那样生成目标宏块A的每个像素的预测像素值Pred(x,y)：

Pred(x,y)=P(-1,y);x,y=0,…,15…（4）

模式2是DC预测模式，并且如果P(x,-1)和P(-1,y);x,y=-1,0，...,15均“可用”，则如下式（5）中的那样生成目标宏块A的每个像素的预测像素值Pred(x,y)：

[式1]

$\mathrm{Pred}(x,y)=[\underset{x^{\&prime;}=0}{\overset{15}{\mathrm{\&Sigma;}}}P(x^{\&prime;},-1)+\underset{y^{\&prime;}=0}{\overset{15}{\mathrm{\&Sigma;}}}P(-1,y^{\&prime;})+16]>>5$

$\mathrm{withx},y=0,...,15...\left(5\right)$

此外，如果P(x,-1);x,y=-1,0，...,15“不可用”，则如下式（6）中的那样生成目标宏块A的每个像素的预测像素值Pred(x,y)。

[式2]

$\mathrm{Pred}(x,y)=[\underset{y^{\&prime;}=0}{\overset{15}{\mathrm{\&Sigma;}}}P(-1,y^{\&prime;})+8]>>4,\mathrm{with\; x},y=0,...,15...\left(16\right)$

如果P(-1,y);x,y=-1,0，...,15不可用，则如下式（7）中的那样生成目标宏块A的每个像素的预测像素值Pred(x,y)。

[式3]

$\mathrm{Pred}(x,y)=[\underset{y^{\&prime;}=0}{\overset{15}{\mathrm{\&Sigma;}}}P(x^{\&prime;},-1)+8]>>4,\mathrm{with\; x},y=0,...,15...\left(7\right)$

果P(x,-1)和P(-1,y);x,y=-1,0，...,15均“不可用”，则使用预测像素值128。

模式3是平面预测模式，其仅在P(x,-1)和P(-1,y);x,y=-1,0，...,15均“可用”时适用。在该情况下，根据下式（8）生成目标宏块A的每个像素的预测像素值Pred(x,y)。

[式4]

Pred(x，y)＝Clip1((a+b·(x-7)+c·(y-7)+16)＞＞5)

a＝16·(P(-1，15)+P(15，-1))

b＝(5·H+32)＞＞6

c＝(5·V+32)＞＞6

$H=\underset{x=1}{\overset{8}{\mathrm{\&Sigma;}}}x\&CenterDot;(P(7+x,-1)-P(7-x,-1))$

$V=\underset{y=1}{\overset{8}{\mathrm{\&Sigma;}}}y\&CenterDot;(P(-\mathrm{1,7}+y)-P(-\mathrm{1,7}-y))...\left(8\right)$

色差信号的帧内预测模式的设定可以与亮度信号的帧内预测模式无关。色差信号的帧内预测模式与上述的亮度信号的16×16像素帧内预测模式一致。

然而，亮度信号的16×16像素帧内预测模式以16×16像素块为目标，而色差信号的帧内预测模式以8×8像素块为目标。

如前文所述，亮度信号的帧内预测模式包括以4×4个像素和8×8个像素为块单位的九种预测模式，以及以16×16个像素为块单位的四种预测模式。针对每个宏块单位设定块单位模式。色差信号的帧内预测模式包括以8×8个像素为块单位的四种预测模式。色差信号的帧内预测模式的设定可以与亮度信号的帧内预测模式无关。

对于亮度信号的4×4像素帧内预测模式（帧内4×4预测模式）和8×8像素帧内预测模式（帧内8×8预测模式），针对亮度信号的每个4×4像素块和8×8像素块设定一个帧内预测模式。对于亮度信号的16×16像素帧内预测模式（帧内16×16预测模式）和色差信号的帧内预测模式，针对一个宏块设定一个预测模式。

[曲面预测图像生成部]

在16×16像素帧内预测模式的模式3（平面预测模式）中，根据与处理目标块相邻的少量像素来预测处理目标块的平面。相邻像素值使用从帧存储器112提供的参考图像的像素值。此外，在解码处理中使用解码图像的像素值。因此，该模式没有提供高预测精度并且可能降低编码效率。

同时，曲面预测图像生成部132使用输入图像（初始图像）的处理目标块的像素值来进行预测。此外，作为预测，曲面预测图像生成部132利用曲面对实际像素值进行近似。因此，曲面预测图像生成部132提高了预测精度并且增强了编码效率。然而，在该情况下，不能在解码侧获得初始图像，并且因此指示预测曲面的参数（曲面参数）也被传输到解码侧。

图8是示出图3中所示的曲面预测图像生成部132的主要配置示例的框图。

如图8中所示，曲面预测图像生成部132具有正交变换部151、直流分量块生成部152、正交变换部153、曲面生成部154和熵编码部155。

正交变换部151按照每个预定尺寸，对从屏幕排序缓冲器102提供的输入图像的处理目标块的像素值进行正交变换。就是说，正交变换部151将处理目标块分成预定数目的部分，并且使块经历正交变换。正交变换部151将经正交变换的系数数据提供给直流分量块生成部152。

直流分量块生成部152从一组经正交变换的系数数据中提取直流分量，并且使用所提取的分量生成预定尺寸的直流分量块。就是说，直流分量块由处理目标块的直流分量形成。直流分量块生成部152将所生成的直流分量块提供给正交变换部153。

正交变换部153进一步使直流分量块经历正交变换。正交变换部153将所生成的系数数据提供给曲面生成部154和熵编码部155。

曲面生成部154使用经正交变换部153进行正交变换的直流分量块，来生成对处理目标块的像素值进行近似的曲面。

曲面生成部154具有曲面块生成部161和逆正交变换部162。曲面生成部161使用通过直流分量块的正交变换获得的系数数据的块（在后面的描述中被称为曲面参数），来生成尺寸与处理目标块相同的块（曲面块）。在曲面块中，直流分量的低通分量根据曲面参数的块尺寸由曲面参数占据。此外，曲面块的其他部分被设定在系数值“0”处。就是说，曲面块具有布置在左上侧的曲面参数块以及具有系数“0”的其他部分，并且在尺寸上与处理目标块相同。顺便提及，曲面参数块的直流分量构成了曲面块的直流分量。曲面生成部161将所生成的曲面块提供给逆正交变换部162。

逆正交变换部162使所提供的曲面块经历逆正交变换。经历逆正交变换的曲面块的像素值形成曲面。曲面被设定为近似曲面（即预测图像）。逆正交变换部162将经逆正交变换的曲面块提供给成本函数计算部133。

熵编码部155使经正交变换部153正交变换的直流分量块（即曲面参数）经历熵编码。该编码减少了曲面参数的数据量。熵编码部155将所生成的编码数据提供给模式确定部134。

[近似曲面]

首先，将描述利用曲面的近似。图9是示出近似曲面的示例的示图。

正交变换部151将例如图9A中所示的8×8处理目标块170分成例如图9B中所示的四个4×4块，并且使各块经历正交变换。直流分量块生成部152从经正交变换的系数数据171至174中提取直流分量171A至174A作为左上端的系数，并且收集各分量以生成如图9C中所示的2×2的直流分量块175。

系数在直流分量块175中的位置相对于图9B中所示的情况保持不变：直流分量171A位于左上侧；直流分量172A位于右上侧；直流分量173A位于左下侧；并且直流分量174A位于右下侧。

直流分量块175示出了四个区域中的直流分量：即处理目标块170的左上区域、右上区域、左下区域和右下区域。就是说，直流分量块175示出了整个处理目标块170的低频分量。

正交变换部153进一步对直流分量块175进行正交变换。通过对直流分量块175进行正交变换来形成图9D中所示的2×2块176。

曲面生成部161生成如图9E中所示的8×8曲面块177。如上文所述，曲面块177的左上端（低通分量）由曲面参数的2×2块形成，并且其他部分被系数值“0”占据。

换言之，图9E中所示的曲面块177是仅包括通过直流分量块的正交变换获得的块176的系数数据块。就是说，曲面块177是仅包括处理目标块170的低频分量的系数数据。

逆正交变换部162通过使曲面块177经历逆正交变换来生成如图9F中所示的曲面178。曲面178是仅包括处理目标块170的低频分量的曲面，其被用作处理目标的预测图像。

在帧内预测模式的平面模式中，在平面中执行预测，并且预测仅限于能够掌握整个处理目标块的像素值的改变趋势的程度。

同时，曲面预测图像生成部132通过使用如图9中所示的方法生成的曲面进行预测，该预测的自由度大于帧内预测模式的平面模式中的预测。因此，可以掌握整个处理目标块的像素值的更细微的改变趋势。

然而，曲面在最初时旨在近似整个处理目标块，并且因此难于对应于曲面178的处理目标块的局部改变。因此，如上文所述，曲面预测图像生成部132可以通过去除处理目标块的像素值的高频分量，来生成近似曲面（预测图像），以便减少由于像素值的局部改变引起的错误的发生。

如前文所述，通过对直流分量块生成部152生成的直流分量块175进行正交变换而形成的系数数据176定义了近似曲面的特性。因此，系数数据176的值被称为曲面参数。在前文的描述中，处理目标块的尺寸被设定为8×8，并且正交变换部151按4×4对处理目标块进行正交变换。此外，直流分量块生成部152收集直流分量以生成2×2直流分量块，并且正交变换部153对2×2直流分量进行正交变换。此外，曲面生成部161生成尺寸与处理目标块相同的8×8曲面块，并且逆正交变换部162使8×8曲面块经历逆正交变换。然而，块尺寸可以不同于前述情况。例如，处理目标块的尺寸可以被设定为16×16，正交变换部151按4×4对处理目标块进行正交变换，直流分量块生成部152收集直流分量以生成4×4直流分量块，正交变换部153对4×4直流分量进行正交变换，曲面生成部161生成16×16曲面块，并且逆正交变换部162使16×16曲面块经历逆正交变换。处理目标块和曲面块的尺寸基本上是任意决定的，并且可以是32×32或更大。此外，可以按可行范围内的任意尺寸由正交变换部151对处理目标块进行正交变换。例如，如果处理目标块的尺寸是32×32，则正交变换部151可以按4×4、8×8或16×16，或者按合理的任何其他尺寸执行正交变换。直流分量块和曲面参数块的尺寸根据处理目标块的尺寸和正交变换尺寸而变化。就是说，直流分量块和曲面参数块的尺寸可以是不同于2×2或4×4的任何其他尺寸。

[熵编码部]

根据从屏幕排序缓冲器102获取的原始图像的处理目标块的像素值来生成这样确定的曲面参数。就是说，不能从解码图像数据生成曲面参数，并且因此需要向解码侧提供曲面参数。

因此，使曲面参数经历熵编码部155的熵编码以便减少数据量并且能够较容易地提供给解码侧。图10是图8中所示的熵编码部155的主要配置示例的框图。

例如，如图10中所示，熵编码部155具有上下文生成部191、二进制编码部192和基于上下文的自适应二进制算术编码（CABAC）193。

上下文生成部191根据从正交变换部153提供的预测编码的结果以及***块的状态，来生成一个或更多个上下文，并且定义上下文的概率模型。

二进制编码部192使从上下文生成部191输出的上下文二值化。CABAC 193使二值化的上下文经历算术编码。从CABAC 193输出的编码数据（编码曲面参数）被提供给模式确定部134。CABAC 193还根据编码结果，从上下文生成部191更新概率模型。

[编码处理]

接下来，将描述由这样配置的图像编码装置100执行的处理流程。首先，将参照图11中所示的流程图描述编码处理流程的示例。

在步骤S101中，A/D转换部101使输入图像经历A/D转换。在步骤S102中，屏幕排序缓冲器102存储从A/D转换部101提供的图像，并且使图像的排序从图片的显示顺序变为对图片进行编码的顺序。

在步骤S103中，帧内预测部114和运动预测补偿部115均执行图像预测处理。具体地，在步骤S103中，帧内预测部114在帧内预测模式中执行帧内预测处理。运动预测补偿部115在帧间预测模式中执行运动预测补偿处理。

在步骤S104中，选择部116基于从帧内预测部114和运动预测补偿部115输出的成本函数值来判定最优预测模式。具体地，选择部116从帧内预测部114生成的预测图像或者运动预测补偿部115生成的预测图像中进行选择。

关于预测图像的选择的信息被提供给帧内预测部114或运动预测补偿部115。如果最优帧内预测模式中的预测图像被选择，则帧内预测部114将指示最优帧内预测模式的信息（即帧内预测模式信息）提供给可逆编码部106。

此外，如果通过使用初始图像来执行预测的曲面预测图像生成部132的预测模式被选择为最优帧内预测模式，则帧内预测部114还将预测曲面参数的编码数据提供给可逆编码部106。

如果最优帧间预测模式中的预测图像被选择，则运动预测补偿部115向可逆编码部106输出指示最优帧间预测模式的信息，并且在必要时输出根据最优帧间预测模式的信息。根据最优帧间预测模式的信息可以包括运动向量信息、标志信息和参考帧信息。

在步骤S105中，算术部103计算在步骤S102中排序的图像和在步骤S103中通过预测处理获取的预测图像之间的差。在帧间预测的情况下从运动预测补偿部115经由选择部116将预测图像提供给算术部103，或者在帧内预测的情况下从帧内预测部114经由选择部116将预测图像提供给算术部103。

与初始图像数据相比，差分数据的数据量减少。因此，与其中图像按原样编码的情况相比，可以压缩数据量。

在步骤S106中，正交变换部104对从算术部103提供的差分信息进行正交变换。具体地，正交变换部104执行诸如离散余弦变换或Karhunen-Loeve变换的正交变换，并且输出变换系数。在步骤S107中，量化部105对变换系数进行量化。

在步骤S108中，可逆编码部106对从量化部105输出的经量化的变换系数进行编码。具体地，可逆编码部106使差分图像（在帧间预测的情况下是二次差分图像）经历诸如可变长度编码或算术编码的可逆编码。

可逆编码部106对在步骤S104中的处理选择的预测图像的预测模式相关的信息进行编码，并且将编码信息添加到通过对差分图像进行编码而获得的编码数据的报头信息。

具体地，可逆编码部106还对从帧内预测部114提供的帧内预测模式信息或者从运动预测补偿部115提供的根据最优帧间预测模式的信息进行编码，并且将编码信息添加到报头信息。此外，如果从帧内预测部114提供曲面参数的编码数据，则可逆编码部106还将编码数据添加到编码数据的报头信息等。

在步骤S109中，积累缓冲器107积累从可逆编码部106输出的编码数据。积累缓冲器107中积累的编码数据被适当地读取并且经由传送路径传输到解码侧。

在步骤S110中，根据积累缓冲器107中积累的压缩图像，速率控制部117控制量化部105的量化运动的速率，以便不致引起上溢或下溢。

如下文所述对由步骤S107中的处理量化的差分信息进行局部解码。具体地，在步骤S111中，逆量化部108通过使用与量化部105的特性对应的特性，对经量化部105量化的变换系数进行逆量化。在步骤S112中，逆正交变换部109通过使用与正交变换部104的特性对应的特性，使经逆量化部108逆量化的变换系数经历逆正交变换。

在步骤S113中，算术部110使经由选择部116输入的预测图像与局部解码的差分信息相加，从而生成局部解码图像（与针对算术部103的输入对应的图像）。在步骤S114中，解块滤波器111对从算术部110输出的图像进行滤波，从而去除块应力。在步骤S115中，帧存储器112存储经滤波的图像。还从算术部110向帧存储器112提供未被解块滤波器111滤波的图像，并且存储这些图像。

[预测处理]

接下来，将参照图12中所示的流程图描述图11中所示的步骤S103中执行的预测处理的流程的示例。

在步骤S131中，帧内预测部114在所有候选帧内预测模式中对处理目标块的像素执行帧内预测。帧内预测模式包括其中使用从帧存储器112提供的参考图像来进行预测的模式以及其中使用从屏幕排序缓冲器102获取的初始图像来进行预测的模式两者。如果使用从帧存储器112提供的参考图像来进行预测，则未经历解块滤波器111的解块滤波的像素被用作解码参考像素。

如果从屏幕排序缓冲器102提供的处理目标图像将经历帧间处理，则从帧存储器112读取参考图像并且经由选择部113将参考图像提供给运动预测补偿部115。在步骤S132中，运动预测补偿部115根据这些图像执行帧间运动预测处理。具体地，运动预测补偿部115参照从帧存储器112提供的图像，在所有候选帧间预测模式中执行运动预测处理。

在步骤S133中，运动预测补偿部115将在步骤S132中计算的帧间预测模式的成本函数值中的、具有最小值的预测模式确定为最优帧间预测模式。随后，运动预测补偿部115向选择部116提供在将经历帧间处理的图像和在最优帧间预测模式中生成的二次差分信息之间的差以及最优帧间预测模式中的成本函数值。

[帧内预测处理]

图13是用于描述图12中所示的步骤S131中执行的帧内预测处理的流程的示例的流程图。

当在步骤S151中开始帧内预测处理时，预测图像生成部131使用从帧存储器112提供的参考图像的相邻块的像素，在每个模式中生成预测图像。

在步骤S152中，曲面预测图像生成部132使用从屏幕排序缓冲器102提供的初始图像（原始图像）来生成预测图像。

在步骤S153中，成本函数计算部133计算每个模式的成本函数值。

在步骤S154中，模式确定部134根据在步骤S153中计算的模式的成本函数值，确定帧内预测模式的最优模式。

在步骤S155中，模式确定部134根据在步骤S153中计算的模式的成本函数值，选择最优帧内预测模式。

模式确定部134将在被选择为最优帧内预测模式的模式中生成的预测图像提供给算术部103和算术部110。模式确定部134还将指示所选择的预测模式的信息提供给可逆编码部106。此外，在使用原始图像生成预测图像的模式中，模式确定部134还将曲面参数的编码数据提供给可逆编码部106。

在完成步骤S155中的处理之后，帧内预测部114返回图12中所示的处理以执行步骤S132和后续处理。

[预测图像生成处理]

接下来，将参照图14中的流程图描述在图13中所示的步骤S152中执行的预测图像生成处理的流程的示例。

当在步骤S171中开始预测图像生成处理时，曲面预测图像生成部132的正交变换部151（图8）将从屏幕排序缓冲器102提供的8×8处理目标块分成四个4×4块，并且对每个4×4块进行正交变换。

在步骤S172中，直流分量块生成部152从4×4块提取直流分量，并且生成包括这些分量的2×2直流分量块。

在步骤S173中，正交变换部153对由步骤S172中的处理生成的直流分量块进行正交变换，以生成曲面参数块。

在步骤S174中，曲面生成部161生成8×8曲面块，其中曲面参数块被置于左上端（低通分量）并且其他部分具有值“0”。

在步骤S175中，逆正交变换部162使由步骤S174中的处理生成的曲面块经历逆正交变换，从而形成曲面。

在步骤S176中，熵编码部155使由步骤S173中的处理生成的曲面参数经历熵编码。

在完成步骤S176中的处理之后，曲面预测图像生成部132终止预测图像生成处理，并且返回图13中所示的处理以执行步骤S153和后续处理。

如上文所述，曲面预测图像生成部132使用初始图像执行曲面近似，使得较之传统的帧内预测模式3（平面预测模式）的情况，可以提高预测精度。将该模式设置成帧内预测模式允许图像编码装置100进一步提高编码效率。前文的块的尺寸仅是如上文参照图9等描述的示例。此外，在前面的描述中，曲面参数与编码数据的报头信息组合地传输。然而，曲面参数可以存储在任意位置。例如，曲面参数可以存储在补充增强信息（SEI）（例如，序列或图片的报头等）的参数集合中。替选地，曲面参数可以与编码数据分离地（作为分离的文件）、从图像编码装置传输到图像解码装置。

<2.第二实施例>

[图像解码装置]

由参照第一实施例描述的图像编码装置100编码的编码数据经由预定的传送路径传输到与图像编码装置100对应的图像解码装置用于解码。

下面将描述图像解码装置。图15是示出被应用本发明的图像解码装置的主要配置示例的框图。

如图15中所示，图像解码装置200具有积累缓冲器201；可逆解码部202；逆量化部203；逆正交变换部204；算术部205；解块滤波器206；屏幕排序缓冲器207；D/A转换部208；帧存储器209；选择部210；帧内预测部211；运动预测补偿部212；和选择部213。

积累缓冲器201积累传输的编码数据。该编码数据由图像编码装置100编码。可逆解码部202通过与图1中所示的可逆编码部106的编码方案对应的方案，在预定的定时对从积累缓冲器201读取的编码数据进行解码。

逆量化部203通过与图1中所示的量化部105的量化方案对应的方案，对通过可逆解码部202的解码而获得的系数数据进行逆量化。逆量化部203将经逆量化的系数数据提供给逆正交变换部204。逆正交变换部204通过与图1中所示的正交变换部104的正交变换方案对应的方案，使系数数据经历逆正交变换，从而获得与图像编码装置100的正交变换之前的残差数据对应的经解码的残差数据。

通过逆正交变换获得的经解码的残差数据被提供给算术部205。此外，还从帧内预测部211或运动预测补偿部212经由选择部213向算术部205提供预测图像。

算术部205使经解码的残差数据和预测图像相加，从而获得与图像编码装置100的算术部103进行预测图像减法之前的图像数据对应的经解码的图像数据。算术部205将经解码的图像数据提供给解块滤波器206。

解块滤波器206从解码图像去除块失真，并且将解码图像提供给帧存储器209用于积累，并且还将解码图像提供给屏幕排序缓冲器207。

屏幕排序缓冲器207对图像排序。具体地，由图1中所示的屏幕排序缓冲器102按编码顺序排序的帧被再次排序成初始显示顺序。D/A转换部208使从屏幕排序缓冲器207提供的图像经历D/A转换，并且在未示出的显示器上输出图像用于显示。

选择部210从帧存储器209读取将被帧间处理的图像和将参考的图像，并且将这些图像提供给运动预测补偿部212。选择部210还从帧存储器209读取将用于帧内预测的图像，并且将这些图像提供给帧内预测部211。

从可逆解码部202适当地向帧内预测部211提供通过对报头信息进行解码而获得的指示帧内预测模式的信息、与曲面参数相关的信息等。帧内预测部211基于这些信息生成预测图像，并且将所生成的预测图像提供给选择部213。

运动预测补偿部212从可逆解码部202获取通过对报头信息进行解码而获得的信息（预测模式信息、运动向量信息和参考帧信息）。如果提供了指示帧间预测模式的信息，则运动预测补偿部212基于来自可逆解码部202的帧间运动向量信息来生成预测图像，并且将所生成的预测图像提供给选择部213。

选择部213选择由运动预测补偿部212或帧内预测部211生成的预测图像，并且将预测图像提供给算术部205。

[帧内预测部]

图16是示出图15中所示的帧内预测部211的主要配置示例的框图。

如图16中所示，帧内预测部211具有帧内预测模式确定部221；预测图像生成部222、熵解码部223；和曲面生成部224。

帧内预测模式确定部221基于从可逆解码部202提供的信息来确定帧内预测模式。在用于使用参考图像生成预测图像的模式中，帧内预测模式确定部221控制预测图像生成部222以便生成预测图像。在用于从曲面参数生成预测图像的模式中，帧内预测模式确定部221将连同帧内预测模式信息一起提供的曲面参数提供给熵解码部223。

预测图像生成部222从帧存储器209获取相邻块的参考图像，并且通过与图像编码装置100的预测图像生成部131（图3）的方法相同的方法，使用相邻像素的像素值来生成预测图像。预测图像生成部222将所生成的预测图像提供给算术部205。

经由帧内预测模式确定部221提供给熵解码部223的曲面参数已通过熵编码部155（图8）经历熵编码。熵解码部223通过与熵编码方法对应的方法，使曲面参数经历熵解码。熵解码部223将解码的曲面参数提供给曲面生成部224。

曲面生成部224按照与图像编码装置100的曲面生成部154（图8）相同的方式，基于曲面参数生成近似曲面（预测图像）。曲面生成部224具有曲面块生成部231和逆正交变换部232。

曲面块生成部231按照与曲面块生成部161（图8）相同的方式生成曲面块，其中曲面参数的块是低通分量（左上端的系数）并且其他部分具有系数值“0”。就是说，生成了与图9E中所示的曲面块177相似的块。

逆正交变换部232使曲面块生成部231生成的8×8曲面块经历逆正交变换。就是说，生成了与图9F中所示的曲面178相似的曲面（近似曲面）。

逆正交变换部232将所生成的近似曲面作为预测图像提供给算术部205。

[解码处理]

接下来，将描述图像解码装置200执行的处理的流程。首先，将参照图17中所示的流程图描述解码处理的流程的示例。

当在步骤S201中开始解码处理时，积累缓冲器201积累所传输的编码数据。在步骤S202中，可逆解码部202对从积累缓冲器201提供的编码数据进行解码。就是说，对可逆编码部106编码的I图片、P图片和B图片进行解码。

此时，还对运动向量信息、参考帧信息、预测模式信息（帧内预测模式或帧间预测模式）、标志信息、曲面参数等进行解码。

具体地，如果预测模式信息是帧内预测模式信息，则将预测模式信息提供给帧内预测部211。如果预测模式信息是帧间预测模式信息，则将与预测模式信息对应的运动向量信息提供给运动预测补偿部212。

此外，如果存在曲面参数，则将曲面参数提供给帧内预测部211。

在步骤S203中，逆量化部203使用与图1中所示的量化部105的特性对应的特性，对可逆解码部202解码的变换系数进行逆量化。在步骤S204中，逆正交变换部204使用与图1中所示的正交变换部104的特性对应的特性，使经逆量化部203逆量化的变换系数经历逆正交变换。因此，对图1中所示的与针对正交变换部104的输入（来自算术部103的输出）对应的差分信息进行解码。

在步骤S205中，帧内预测部211或运动预测补偿部212根据从可逆解码器202提供的预测模式信息，执行图像预测处理。

具体地，如果从可逆解码部202提供帧内预测模式信息，则帧内预测部211在帧内预测模式中执行帧内预测处理。此外，如果从可逆解码部202还提供了曲面参数，则帧内预测部211使用曲面参数来执行帧内预测处理。

如果从可逆解码部202提供帧间预测模式信息，则运动预测补偿部212在帧间预测模式中执行运动预测处理。

在步骤S206中，选择部213选择预测图像。具体地，向选择部213提供由帧内预测部211生成的预测图像或者由运动预测补偿部212生成的预测图像。选择部213选择任一预测图像。所选择的预测图像被提供给算术部205。

在步骤S207中，算术部205使通过步骤S206中的处理选择的预测图像与通过步骤S204中的处理获得的差分信息相加。因此，初始图像数据被解码。

在步骤S208中，解块滤波器206对从算术部205提供的解码图像数据进行滤波。因此，去除了块失真。

在步骤S209中，帧存储器209存储经滤波的解码图像数据。

在步骤S210中，屏幕排序缓冲器207改变解码图像数据的帧的排序。具体地，由图像编码装置100的屏幕排序缓冲器102（图1）按编码顺序排序的帧被再次排序成初始显示顺序。

在步骤S211中，D/A转换部208使具有通过屏幕排序缓冲器207排序的帧的解码图像数据经历D/A转换。解码图像数据被输出到未示出的显示器用于显示。

[预测处理]

接下来，将参照图18中所示的流程图描述在图17中所示的步骤S205中执行的预测处理的流程的示例。

当预测处理开始时，可逆解码部202确定是否基于帧内预测模式信息执行帧内编码。如果确定执行帧内编码，则可逆解码部202将帧内预测模式信息提供给帧内预测部211并且使处理移至步骤S232。如果存在曲面参数，则可逆解码部202还将曲面参数提供给帧内预测部211。

在步骤S232中，帧内预测部211执行帧内预测处理。在完成帧内预测处理之后，图像解码装置200返回图17中所示的处理以执行步骤S206和后续处理。

此外，如果在步骤S231中确定执行帧间编码，则可逆解码部202将帧间预测模式信息提供给运动预测补偿部212，并且处理移至步骤S233。

在步骤S233中，运动预测补偿部212执行帧间运动预测补偿处理。在完成帧间运动预测补偿处理之后，图像解码装置200返回图17中所示的处理以执行步骤S206和后续处理。

[帧内预测处理]

接下来，将参照图19中所示的流程图描述在图18中所示的步骤S232中执行的帧内预测处理的流程的示例。

当帧内预测处理开始时，帧内预测模式确定部221在步骤S251中确定是否执行原始图像预测处理，用于使用根据从图像编码装置100提供的初始图像（原始图像）生成的曲面参数来执行预测处理。如果基于从可逆解码部202提供的帧内预测模式信息确定执行原始图像预测处理，则帧内预测模式确定部221将处理移至步骤S252。

在步骤S252中，帧内预测模式确定部221从可逆解码部202获取曲面参数。

在步骤S253中，熵解码部223使曲面参数经历熵解码。

在步骤S254中，曲面块生成部231生成8×8曲面块，其中熵解码的曲面参数块（2×2）被置于左上端（低通分量）并且其他部分具有值“0”。

在步骤S255中，逆正交变换部232使所生成的曲面块经历逆正交变换，从而生成曲面。该曲面作为预测图像被提供给算术部205。

在完成步骤S255中的处理之后，帧内预测部211返回图18中所示的处理并且终止预测处理。图像解码装置200返回图17中所示的处理以执行步骤S206和后续处理。

此外，如果在步骤S251中确定未执行原始图像预测处理，则帧内预测模式确定部221将处理移至步骤S256。

在步骤S256中，预测图像生成部222从帧存储器209获取参考图像，并且执行相邻预测处理，用于从参考图像中包含的相邻像素预测处理目标块。在完成步骤S256中的处理之后，帧内预测部211返回图18中所示的处理并且终止预测处理。图像解码装置200返回图17中所示的处理以执行步骤S206和后续处理。

如前文所述，帧内预测部211使用从图像编码装置100提供的曲面参数来生成预测图像，并且因此图像解码装置200可以对图像编码装置100使用初始图像在帧内预测模式中编码的数据进行解码。就是说，图像解码装置200能够以高预测精度对在帧内预测模式中编码的数据进行解码。

此外，熵解码部223可以对熵编码的曲面参数进行解码。就是说，图像解码装置200能够以减少的数据量使用曲面参数执行解码处理。

就是说，图像解码装置200可以进一步提高编码效率。

替选地，可以使用Hadamard变换等替代上文所述的正交变换或逆正交变换。此外，上文所述的块尺寸仅是示例。

[宏块]

如前文描述中的那样，宏块的尺寸是16×16或更小。替选地，宏块的尺寸可以比16×16大。

本发明可以应用于例如图20中所示的所有尺寸的宏块。例如，本发明不仅可以应用于一般的16×16个像素的宏块，还可以应用于32×32个像素的宏块（扩展宏块）。

图20在上部从左开始示出了32×32个像素的宏块，其被分成32×32个像素、32×16个像素、16×32个像素和16×16个像素的块（分区）。图20还在中部从左开始示出了16×16个像素的块，其被分成16×16个像素、16×8个像素、8×16个像素和8×8个像素的块。图20进一步在下部从左开始以如下顺序示出了8×8个像素的块，其被分成8×8个像素、8×4个像素、4×8个像素和4×4个像素的块。

就是说，32×32个像素的宏块可以按上部所示的32×32个像素、32×16个像素、16×32个像素和16×16个像素的块进行处理。

上部右侧所示的16×16个像素的块可以按照与H.264/AVC方案相同的方式，按中部所示的16×16个像素、16×8个像素、8×16个像素和8×8个像素的块进行处理。

中部右侧所示的8×8个像素的块可以按照与H.264/AVC方案相同的方式，按下部所示的8×8个像素、8×4个像素、4×8个像素和4×4个像素的块进行处理。

这些块可以被分类成如下三个层级。具体地，图20的上部所示的32×32个像素、32×16个像素和16×32个像素的块被指定为第一层级。上部右侧所示的16×16个像素的块，以及中部所示的16×16个像素、16×8个像素、8×16个像素的块被指定为第二层级。中部右侧指示的8×8个像素的块，以及下部所示的8×8个像素、8×4个像素、4×8个像素和4×4个像素的块被指定为第三层级。

通过采用这样的分级结构，在维持与H.264/AVC方案的兼容性的同时，关于16×16个像素或更小的块的较大的块可以被定义为块的超集。

<3.第三实施例>

[个人计算机]

上述系列处理可以由硬件或软件执行。在该情况下，硬件或软件可以被配置成例如图21中所示的个人计算机。

在图21中，个人计算机500具有CPU 501，其根据只读存储器（ROM）502中存储的程序或者从存储部513加载到随机存取存储器（RAM）503中的程序来执行各种处理。RAM 503还适当地存储CPU 501执行各种处理所需的数据等。

CPU 501、ROM 502和RAM 503经由总线504相互连接。总线504还连接到输入/输出接口510。

输入/输出接口510连接到由键盘、鼠标等形成的输入部511；由包括阴极射线管（CRT）和液晶显示器（LCD）的显示器以及扬声器等形成的输出部512；由硬盘等形成的存储部513；以及由调制解调器等形成的通信部514。通信部514经由包括互联网的网络执行通信处理。

输入/输出接口510还按照需要连接到驱动器515，并且适当地附接到诸如磁盘、光盘、磁光盘或半导体存储器的可移除介质521。从这些介质读取的计算机程序按照需要安装到存储部513中。

如果前述系列处理将由软件执行，则从网络或记录介质安装构成该软件的程序。

如图21中所示，例如，记录介质不仅可由记录程序的可移除介质521形成，而且可由记录程序的ROM 502、存储部513中包括的硬盘等形成，其中记录程序的可移除介质521包括磁盘（包括软盘）、光盘（包括致密盘只读存储器（CD-ROM）和数字多用途盘（DVD））、磁光盘（MD（包括小型盘））或者半导体存储器，并且其中记录程序的ROM 502、存储部513中包括的硬盘等以预先并入到装置本体的状态递送到用户。

将由计算机执行的程序可以根据这里描述的顺序按时间顺序执行，或者可以并行地执行或在调用任何程序时的需要的定时等处执行。

这里列举的用于描述将记录在记录介质中的程序的步骤不仅包括根据这里描述的顺序按时间顺序执行的处理，而且包括并行地或单独地执行的处理，即使处理不总是按时间顺序执行。

这里的***指的示由多个装置（单元）形成的整体设备。

在前面的描述中，一个装置（或一个处理部）的配置可以由多个装置（或处理部）形成。相反地，多个装置（或处理部）的配置可以由一个装置（或一个处理部）共同地形成。毋庸置疑，可以将前述配置以外的任何配置添加到前述装置（或处理部）。此外，装置（或处理部）的配置的一部分可以包括在另一装置（或另一处理部）的配置中，条件是配置和运动与上文作为整体***描述的装置的配置和运动基本上相同。就是说，本发明的实施例不限于前述实施例，而是可以在不偏离本发明的精神的情况下进行各种方式的修改。

例如，图像编码装置100和图像解码装置200可以应用于任何电子装置。下文将描述一些应用示例。

<4.第四实施例>

[电视接收器]

图22是示出使用被应用本发明的图像解码装置200的电视接收器的主要配置示例的框图。

图22中所示的电视接收器1000包括地面调谐器1013；视频解码器1015；视频信号处理电路1018；图形生成电路1019；面板驱动电路1020；和显示面板1021。

地面调谐器1013经由天线接收模拟地面广播的广播波信号，对信号进行解调以获取视频信号，并且将信号提供给视频解码器1015。视频解码器1015对从地面调谐器1013提供的视频信号执行解码处理，并且将获得的数字分量信号提供给视频信号处理电路1018。

视频信号处理电路1018对从视频解码器1015提供的视频数据执行诸如噪声去除的预定处理，并且将获得的视频数据提供给图形生成电路1019。

图形生成电路1019生成将显示在显示面板1021上的电视节目的视频数据，经由网络提供的、由基于应用的处理得到的图像数据等，并且将生成的视频数据和图像数据提供给面板驱动电路1020。图形生成电路1019还适当地生成用于显示用户选择项目使用的屏幕的视频数据（图形），将数据叠加在电视节目的视频数据上，并且将通过叠加获得的视频数据提供给面板驱动电路1020。

面板驱动电路1020基于从图形生成电路1019提供的数据来驱动显示面板1021，并且在显示面板1021上显示电视节目的视频图像以及上述各种屏幕。

显示面板1021由液晶显示器（LCD）等形成，并且在面板驱动电路1020的控制下显示电视节目的视频图像等。

此外，电视接收器1000还具有音频模拟/数字（A/D）转换电路1014；音频信号处理电路1022；回声消除/音频合成电路1023；音频放大电路1024；和扬声器1025。

地面调谐器1013对接收到的广播波信号解调，以不仅获取视频信号，还获取音频信号。地面调谐器1013将获取的音频信号提供给音频A/D转换电路1014。

音频A/D转换电路1014对从地面调谐器1013提供的音频信号执行A/D转换处理，并且将获得的数字音频信号提供给音频信号处理电路1022。

音频信号处理电路1022对从音频A/D转换电路1014提供的音频数据执行诸如噪声去除的预定处理，并且将获得的音频数据提供给回声消除/音频合成电路1023。

回声消除/音频合成电路1023将从音频信号处理电路1022提供的音频数据提供给音频放大电路1024。

音频放大电路1024对从回声消除/音频合成电路1023提供的音频数据执行D/A转换处理和放大处理以将音频数据调整到预定音量，并且随后通过扬声器1025输出音频。

此外，电视接收器1000还具有数字调谐器1016和MPEG解码器1017。

数字调谐器1016经由天线接收数字广播（数字地面广播、广播卫星（BS）/通信卫星（CS）数字广播）的广播波信号，对信号进行解调以获取运动图片专家组-输送流（MPEG-TS），并且将其提供给MPEG解码器1017。

MPEG解码器1017对从数字调谐器1016提供的MPEG-TS进行解扰并且提取包含将再现（将观看）的电视节目的数据的流。MPEG解码器1017对构成所提取的流的音频分组进行解码并且将获得的音频数据提供给音频信号处理电路1022，并且还对构成流的视频分组进行解码并且将获得的视频数据提供给视频信号处理电路1018。此外，MPEG解码器1017经由未示出的路径将从MPEG-TS提取的电子节目指南（EPG）数据提供给CPU 1032。

电视接收器1000使用图像解码装置200作为如上文所述的对视频分组进行解码的MPEG解码器1017。从广播站等传送的MPEG-TS等已被图像编码装置100编码。

如图像解码装置200的情况中的那样，MPEG解码器1017使用从图像编码装置100提供的编码数据中提取的曲面参数来生成预测图像，并且使用预测图像从残差信息生成解码图像数据。因此，MPEG解码器1017能够进一步提高编码效率。

如从视频解码器1015提供的视频数据的情况中的那样，从MPEG解码器1017提供的视频数据在视频信号处理电路1018处经历预定处理，并且所生成的视频数据等在图形生成电路1019处被适当地叠加，并且经由面板驱动电路1020被提供给显示面板1021用于图像显示。

如从音频A/D转换电路1014提供的音频数据的情况中的那样，从MPEG解码器1017提供的音频数据在音频信号处理电路1022处经历预定处理，经由回声消除/音频合成电路1023提供给音频放大电路1024，并且经历D/A转换处理和放大处理。作为结果，通过扬声器1025输出被调整到预定音量的声音。

此外，电视接收器1000还具有麦克风1026和A/D转换电路1027。

A/D转换电路1027接收由电视接收器1000中的麦克风1026捕获的用户用于音频通信的音频信号，并且对接收到的音频信号执行A/D转换处理，并且将获得的数字音频数据提供给回声消除/音频合成电路1023。

如果从A/D转换电路1027提供了电视接收器1000的用户（用户A）的音频数据，则回声消除/音频合成电路1023对用户（用户A）的音频数据执行回声消除，使音频数据与其他音频数据组合，并且经由音频放大电路1024通过扬声器1025输出获得的音频数据。

此外，电视接收器1000还具有音频编解码器1028；内部总线1029；同步动态随机存取存储器（SDRAM）1030；闪速存储器1031；CPU 1032；通用串行总线（USB）I/F 1033；和网络I/F 1034。

A/D转换电路1027接收由电视接收器1000中的麦克风1026捕获的用户用于音频通信的语音的音频信号，并且对接收到的音频信号执行A/D转换处理，并且将获得的数字音频数据提供给音频编解码器1028。

音频编解码器1028将从A/D转换电路1027提供的音频数据转换成用于在网络上传送的预定格式的数据，并且经由内部总线1029将该数据提供给网络I/F 1034。

网络I/F 1034经由附接到网络端子1035的线缆连接到网络。例如，网络I/F 1034将从音频编解码器1028提供的音频数据传送到连接到网络的另一装置。此外，网络I/F 1034经由网络端子1035接收从经由网络连接的另一装置传送的音频数据，并且经由内部总线1029将其提供给音频编解码器1028。

音频编解码器1028将从网络I/F 1034提供的音频数据转换成预定格式的数据，并且将该数据提供给回声消除/音频合成电路1023。

回声消除/音频合成电路1023对从音频编解码器1028提供的音频数据执行回声消除，使音频数据与其他音频数据组合，并且经由音频放大电路1024通过扬声器1025输出获得的音频数据。

SDRAM 1030存储CPU 1032执行处理所需的各种数据。

闪速存储器1031存储将由CPU 1032执行的程序。CPU 1032在电视接收器1000启动时等的预定的定时，读取闪速存储器1031中存储的程序。闪速存储器1031还存储经由数字广播获取的EPG数据、经由网络从预定服务器获取的数据等。

例如，闪速存储器1031存储包含在CPU 1032的控制下经由网络从预定服务器获取的内容数据的MPEG-TS。例如，闪速存储器1031在CPU1032的控制下经由内部总线1029将MPEG-TS提供给MPEG解码器1017。

MPEG解码器1017按照与从数字调谐器1016提供的MPEG-TS的情况相同的方式处理MPEG-TS。因此，电视接收器1000可以经由网络接收由视频、音频等形成的内容数据，使用MPEG解码器1017对该数据进行解码，并且显示视频图像和输出声音。

此外，电视接收器1000还具有光接收部1037，其接收从遥控器1051传送的红外信号。

光接收部1037从遥控器1051接收红外线，对红外线进行解调，并且向CPU 1032输出所获得的指示用户操作的内容的控制码。

CPU 1032执行闪速存储器1031中存储的程序并且根据从光接收部1037提供的控制码等来控制电视接收器1000的整体操作。CPU 1032和电视接收器1000的各部件经由未示出的路径连接。

USB I/F 1033针对经由附接到USB端子1036的USB线缆连接的电视接收器1000的外部装置执行数据的传送/接收。网络I/F 1034经由附接到网络端子1035的线缆连接到网络，以针对连接到网络的各种装置执行音频数据以外的数据的传送/接收。

电视接收器1000可以使用图像解码装置200作为MPEG解码器1017来进一步提高编码效率。因此，电视接收器1000可以进一步提高对经由天线接收到的广播波信号和经由网络获取的内容数据进行编码的效率，从而以较低的成本实现实时处理。

<5.第五实施例>

[蜂窝电话]

图23是示出使用被应用本发明的图像编码装置100和图像解码装置200的蜂窝电话的主要配置示例的框图。

图23中所示的蜂窝电话1100具有被配置成全面地控制所有部件的主控制部1150；电源电路部1151；操作输入控制部1152；图像编码器1153；摄像装置I/F部1154；LCD控制部1155；图像解码器1156；复用分离部1157；记录再现部1162；调制/解调电路部1158；和音频编解码器1159。这些部件经由总线1160相互连接。

蜂窝电话1100还具有操作键1119；电荷耦合器件（CCD）摄像装置1116；液晶显示器1118；存储部1123；传送/接收电路部1163；天线1114；麦克风1121；和扬声器1117。

当呼叫结束并且用户接通电源键时，电源电路部1151从电池组向各部件供电，从而使蜂窝电话1100进入可操作状态。

蜂窝电话1100在由CPU、ROM、RAM等形成的主控制部1150的控制下，在诸如音频通信模式和数据通信模式的各种模式中，执行诸如音频信号的传送/接收、电子邮件和图像数据的传送/接收、图像拍摄、或者数据记录的各种操作。

例如，在音频通信模式中，蜂窝电话1100通过使用音频编解码器1159将麦克风1121收集的声音的音频信号转换成数字音频数据，并且在调制/解调电路部1158处对这些信号执行扩频处理，并且随后在传送/接收电路部1163处对这些信号执行数字-模拟转换处理和频率转换处理。蜂窝电话1100经由天线1114将通过前述转换处理获得的传送信号传送到未示出的基站。传输到基站的传送信号（音频信号）经由公共电话线网络被提供给通信的另一端的蜂窝电话。

此外，例如，在音频通信模式中，蜂窝电话1100对在传送/接收电路部1163处通过天线1114接收到的信号进行放大，对信号执行频率转换处理和模拟-数字转换处理，在调制/解调电路部1158处对信号执行逆扩频处理，并且通过音频编解码器1159将信号转换成模拟音频信号。蜂窝电话1100通过扬声器1117输出通过前述转换处理获得的模拟音频信号。

此外，如果例如在数据通信模式中传送电子邮件，则蜂窝电话1100接受在操作输入控制部1152处通过操作键1119的操作而输入的电子邮件的文本数据。蜂窝电话1100在主控制部1150处处理文本数据，并且经由LCD控制部1155将文本数据作为图像显示在液晶显示器1118上。

蜂窝电话1100还基于操作输入控制部1152接受的文本数据并且根据用户指令等，在主控制部1150处生成电子邮件数据。蜂窝电话1100在调制/解调电路部1158处对电子邮件数据执行扩频处理，并且在传送/接收电路部1163处对电子邮件数据执行数字-模拟转换处理和频率转换处理。蜂窝电话1100经由天线1114将通过前述转换处理获得的传送信号传送到未示出的基站。传输到基站的传送信号（电子邮件）经由网络、邮件服务器等被提供给规定目标。

此外，如果例如在数据通信模式中接收电子邮件，则蜂窝电话1100在传送/接收电路部1163处经由天线1114接收从基站传送的信号，对信号进行放大，并且随后对信号执行频率转换处理和模拟-数字转换处理。蜂窝电话1100在调制/解调电路部1158处对接收信号执行逆扩频处理，从而恢复初始的电子邮件数据。蜂窝电话1100经由LCD控制部1155在液晶显示器1118上显示恢复的电子邮件数据。

蜂窝电话1100还可以经由记录再现部1162将接收到的电子邮件数据记录（存储）在存储部1123中。

该存储部1123是任意的可重写记录介质。存储部1123可以是例如，诸如RAM或内建闪速存储器的半导体存储器，硬盘，或者诸如磁盘、磁光盘、光盘、USB存储器或存储器卡的可移除介质。毋庸置疑，存储部1123可以是任何其他介质。

此外，如果例如在数据通信模式中传送图像数据，则蜂窝电话1100通过利用CCD摄像装置1116进行图像拍摄来生成图像数据。CCD摄像装置1116具有诸如透镜和光圈的光学器件，以及作为光电转换元件的CCD。该CCD摄像装置1116对物体进行拍摄，并且将接收到的光的强度转换成电信号以生成物体的图像的图像数据。CCD摄像装置1116经由摄像装置I/F部1154在图像编码器1153处对图像数据进行编码，从而将图像数据转换成编码图像数据。

蜂窝电话1100使用上述图像编码装置100作为执行前述处理的图像编码器1153。如图像编码装置100的情况中的那样，图像编码器1053通过使用初始图像的处理目标块的像素值来执行曲面近似，从而生成预测图像。图像编码器1053可以通过使用预测图像对图像数据进行编码来进一步提高编码效率。

同时，在通过CCD摄像装置1116进行图像拍摄期间，蜂窝电话1100使麦克风1121收集的声音经历模拟-数字转换，用于在音频编解码器1159处进一步对其编码。

蜂窝电话1100通过预定方案在复用分离部1157处复用从图像编码器1153提供的编码图像数据以及从音频编解码器1159提供的数字音频数据。蜂窝电话1100在调制/解调电路部1158处对得到的复用数据执行扩频处理，并且在传送/接收电路部1163处对复用数据执行数字-模拟转换处理和频率转换处理。蜂窝电话1100经由天线1114将通过前述转换处理获得的传送信号传送到未示出的基站。传输到基站的传送信号（图像数据）经由网络等被提供给通信的另一端。

如果未传送图像数据，则蜂窝电话1100还可以经由LCD控制部1155而非图像编码器1153在液晶显示器1118上显示由CCD摄像装置1116生成的图像数据。

此外，如果例如在数据通信模式中接收链接到简化主页等的运动图像文件的数据，则蜂窝电话1100经由天线1114在传送/接收电路部1163处接收从基站传送的信号，对信号进行放大，并且对信号执行频率转换处理和模拟-数字转换处理。蜂窝电话1100在调制/解调电路部1158处对接收到的信号执行历逆扩频处理，从而恢复初始的复用数据。蜂窝电话1100在复用分离部1157处将复用数据分离成编码图像数据和音频数据。

蜂窝电话1100通过在图像解码器1156处对编码图像数据进行解码，生成再现运动图像数据，并且经由LCD控制部1155将该数据显示在液晶显示器1118上。因此，例如链接到简化主页的运动图像文件中包括的运动图像数据被显示在液晶显示器1118上。

蜂窝电话1100使用上述图像解码装置200作为执行前述处理的图像解码器1156。就是说，如图像解码装置200的情况中的那样，图像解码器1156使用从图像编码装置100提供的编码数据中提取的曲面参数来生成预测图像，并且使用预测图像从残差信息生成解码图像数据。因此，图像解码器1156可以进一步提高编码效率。

同时，蜂窝电话1100在音频编解码器1159处将数字音频数据转换成模拟音频信号，并且通过扬声器1117输出该数据。因此，再现了例如链接到简化主页的运动图像文件中包括的音频数据。

此外，如电子邮件的情况中的那样，蜂窝电话1100还可以经由记录再现部1162将接收到的链接到简化主页等的数据记录（存储）在存储部1123中。

蜂窝电话1100还可以在主控制部1150处分析通过CCD摄像装置1116的图像拍摄获得的二维码，并且获取二维码中记录的信息。

此外，蜂窝电话1100可以通过红外线在红外通信部1181处与外部装置通信。

蜂窝电话1100可以使用图像编码装置100作为图像编码器1153以进一步提高例如在对CCD摄像装置1116处生成的图像数据进行编码和传输时的编码效率，从而以较低的成本实现实时处理。

蜂窝电话1100可以使用图像解码装置200作为图像解码器1156以进一步提高例如对链接到简化主页的运动图像文件中的数据（编码数据）进行编码时的效率，从而以较低的成本实现实时处理。

如前文描述中的那样，蜂窝电话1100使用CCD摄像装置1116。替选地，蜂窝电话1100可以采用使用互补金属氧化物半导体（CMOS）的图像传感器（CMOS图像传感器）替代该CCD摄像装置1116。在该情况下，如使用CCD摄像装置1116的情况中的那样，蜂窝电话1100可以对物体进行拍摄并且生成物体的图像的图像数据。

此外，在前文描述中例示了蜂窝电话1100。然而，如蜂窝电话1100的情况中的那样，图像编码装置100和图像解码装置200也可以应用于其他装置，例如诸如个人数字助理（PDA）、智能电话、超级移动个人计算机（UMPC）、上网本和笔记本个人计算机，只要这些装置具有与蜂窝电话1100相同的拍摄功能和通信功能即可。

<6.第六实施例>

[硬盘记录器]

图24是示出使用被应用本发明的图像编码装置100和图像解码装置200的硬盘记录器的主要配置示例的框图。

图24中所示的硬盘记录器（HDD记录器）1200在内建硬盘中存储由调谐器接收的并且从卫星或地面天线等传送的广播波信号（电视信号）中包括的广播节目的音频数据和视频数据，并且在用户指令指定的定时处将存储的数据提供给用户。

例如，硬盘记录器1200可以从广播波信号提取音频数据和视频数据，适当地对数据进行解码，并且将数据存储在内建硬盘中。此外，例如，硬盘记录器1200还可以经由网络从其他装置获取音频数据和视频数据，适当地对数据进行解码，并且将数据存储在内建硬盘中。

此外，例如，硬盘记录器1200可以对内建硬盘中记录的音频数据和视频数据进行解码并且将数据提供给监视器1260，从而在监视器1260的屏幕上显示数据的图像并且从监视器1260的扬声器输出数据的声音。此外，硬盘记录器1200还可以对从经由调谐器获取的广播波信号提取的音频数据和视频数据，或者经由网络从其他装置获取的音频数据和视频数据进行解码，并且将数据提供给监视器1260，从而在监视器1260的屏幕上显示数据的图像并且通过监视器1260的扬声器输出数据的声音。

毋庸置疑，硬盘记录器1200还可以执行其他操作。

如图24中所示，硬盘记录器1200具有接收部1221；解调部1222；解复用器1223；音频解码器1224；视频解码器1225；和记录器控制部1226。硬盘记录器1200进一步具有EPG数据存储器1227；程序存储器1228；工作存储器1229；显示转换器1230；屏幕上显示（OSD）控制部1231；显示控制部1232；记录再现部1233；D/A转换器1234；和通信部1235。

此外，显示转换器1230还具有视频编码器1241。记录再现部1233具有编码器1251和解码器1252。

接收部1221从遥控器（未示出）接收红外信号并且将信号转换成电信号，并且将信号输出到记录器控制部1226。记录器控制部1226由例如微处理器等形成，并且根据程序存储器1228中存储的程序执行各种处理。记录器控制部1226按照需要使用工作存储器1229。

通信部1235连接到网络以经由网络执行与其他装置的通信处理。例如，记录器控制部1226控制通信部1235以便与调谐器（未示出）通信并且主要向调谐器输出频道选择控制信号。

解调部1222对从调谐器提供的信号进行解调并且将信号输出到解复用器1223。解复用器1223将从解调部1222提供的数据分成音频数据、视频数据和EPG数据，并且将分离的数据分别输出到音频解码器1224、视频解码器1225和记录器控制部1226。

音频解码器1224对输入的音频数据进行解码并且将数据输出到记录再现部1233。视频解码器1225对输入的视频数据进行解码并且将数据输出到显示转换器1230。记录器控制部1226将输入的EPG数据提供给EPG数据存储器1227用于存储。

显示转换器1230通过使用视频编码器1241将从视频解码器1225或记录器控制部1226提供的视频数据编码成例如根据美国电视标准委员会（NTSC）方案的视频数据，并且将数据输出到记录再现部1233。显示转换器1230还将从视频解码器1225或记录器控制部1226提供的视频数据的屏幕尺寸转换成与监视器1260的尺寸对应的尺寸，并且通过使用视频编码器1241将视频数据转换成根据NTSC方案的视频数据，将数据转换成模拟信号，并且将数据输出到显示控制部1232。

显示控制部1232在记录器控制部1226的控制下，将从屏幕上显示（OSD）控制部1231输出的OSD信号叠加在从显示转换器1230输入的视频信号上，将信号输出到监视器1260的显示器用于显示。

此外，还向监视器1260提供从音频解码器1224输出并且被D/A转换器1234转换成模拟信号的音频数据。监视器1260通过内建扬声器输出该音频信号。

记录再现部1233具有作为其中记录视频数据、音频数据等的记录介质的硬盘。

例如，记录再现部1233通过使用编码器1251对从音频解码器1224提供的音频数据进行编码。记录再现部1233还通过使用编码器1251对从显示转换器1230的视频编码器1241提供的视频数据进行编码。记录再现部1233通过使用复用器来组合音频数据的编码数据和视频数据的编码数据。记录再现部1233使组合数据经历信道编码和放大，并且经由记录头将数据写入硬盘。

记录再现部1233经由再现头再现硬盘中记录的数据，对数据进行放大，并且通过解复用器将数据分成音频数据和视频数据。记录再现部1233通过使用解码器1252对音频数据和视频数据进行解码。记录再现部1233使解码的音频数据经历D/A转换并且将数据输出到监视器1260的扬声器。记录再现部1233还使解码的视频数据经历D/A转换，并且将数据输出到监视器1260的显示器。

记录器控制部1226根据经由接收部1221接收的、来自遥控器的红外信号所指示的用户指令，从EPG数据存储器1227读取最新的EPG数据，并且将数据提供给OSD控制部1231。OSD控制部1231生成与输入EPG数据对应的图像数据，并且将数据输出到显示控制部1232。显示控制部1232将从OSD控制部1231输入的视频数据输出到监视器1260的显示器用于显示。因此，EPG（电子节目指南）显示在监视器1260的显示器上。

再者，硬盘记录器1200可以经由诸如互联网的网络，获取从其他装置提供的诸如视频数据、音频数据和EPG数据的各种类型的数据。

由记录器控制部1226控制通信部1235以便经由网络获取从其他装置传送的诸如视频数据、音频数据和EPG数据的编码数据，并且将数据提供给记录器控制部1226。记录器控制部1226将获取的视频数据和音频数据的编码数据提供给记录再现部1233用于存储在硬盘中。此时，记录器控制部1226和记录再现部1233可以根据需要执行重新编码等的处理。

此外，记录器控制部1226对获取的视频数据和音频数据的编码数据进行解码，并且将获得的视频数据提供给显示转换器1230。显示转换器1230按照与从视频解码器1225提供的视频数据相同的方式，处理从记录器控制部1226提供的视频数据，并且经由显示控制部1232将数据提供给监视器1260用于显示图像。

此外，与图像显示相呼应，记录器控制部1226可以经由D/A转换器1234向监视器1260提供解码的音频数据以便通过扬声器输出声音。

此外，记录器控制部1226对获取的EPG数据的编码数据进行解码，并且将解码的EPG数据提供给EPG数据存储器1227。

上述硬盘记录器1200使用图像解码装置200作为视频解码器1225、解码器1252以及内建在记录器控制部1226中的解码器。就是说，如图像解码装置200的情况中的那样，视频解码器1225、解码器1252以及内建在记录器控制部1226中的解码器使用从图像编码装置100提供的编码数据中提取的曲面参数来生成预测图像，并且随后使用预测图像从残差信息生成解码图像数据。因此，视频解码器1225、解码器1252以及内建在记录器控制部1226中的解码器可以进一步提高编码效率。

因此，硬盘记录器1200可以进一步提高对调谐器或通信部1235接收的视频数据（编码数据）以及记录再现部1233再现的视频数据（编码数据）进行编码的效率，从而以较低的成本实现实时处理。

此外，硬盘记录器1200使用图像编码装置100作为编码器1251。因此，如图像编码装置100的情况中的那样，编码器1251使用初始图像的处理目标块的像素值来执行曲面近似，从而生成预测图像。因此，编码器1251可以进一步提高编码效率。

因此，硬盘记录器1200可以进一步提高例如记录在硬盘中的编码数据的编码效率，从而以较低的成本实现实时处理。

在前文描述中，硬盘记录器1200将视频数据和音频数据记录在硬盘中。毋庸置疑，可以使用任何类型的记录介质。例如，按照与上述硬盘记录器1200的情况相同的方式，图像编码装置100和图像解码装置200还可以应用于使用除了硬盘以外的、诸如闪速存储器、光盘或录像带的记录介质的记录器。

<7.第七实施例>

[摄像装置]

图25是示出使用被应用本发明的图像编码装置100和图像解码装置200的摄像装置的主要配置示例的框图。

图25中所示的摄像装置1300对物体进行拍摄，并且将物体的图像显示在LCD 1316上或者将图像作为图像数据记录在记录介质1333中。

透镜模块1311允许光（即，物体的视频图像）进入CCD/CMOS 1312。CCD/CMOS 1312是使用CCD或CMOS的图像传感器，其将接收到的光的强度转换成电信号，并且将信号提供给摄像装置信号处理部1313。

摄像装置信号处理部1313将从CCD/CMOS 1312提供的电信号转换成Y、Cr和Cb的色差信号，并且将信号提供给图像信号处理部1314。图像信号处理部1314在控制器1321的控制下，对从摄像装置信号处理部1313提供的图像信号执行预定的图像处理或者通过使用编码器1341对图像信号进行编码。图像信号处理部1314将通过对图像信号进行编码生成的编码数据提供给解码器1315。此外，图像信号处理部1314获取在屏幕上显示（OSD）1320处生成的显示数据，并且将数据提供给解码器1315。

在前述处理中，摄像装置信号处理部1313适当地使用经由总线1317连接的动态随机存取存储器（DRAM）1318，从而根据需要允许DRAM1318保存图像数据、通过对图像数据进行编码获得的编码数据等。

解码器1315对从图像信号处理部1314提供的编码数据进行解码，并且将获得的图像数据（解码的图像数据）提供给LCD 1316。解码器1315还将从图像信号处理部1314提供的显示数据提供给LCD 1316。LCD 1316适当地组合从解码器1315提供的解码的图像数据的图像以及显示数据的图像，并且显示组合图像。

屏幕上显示1320在控制器1321的控制下，经由总线1317向图像信号处理部1314输出关于由符号、字符或图形形成的菜单屏幕、图标等的显示数据。

控制器1321根据指示用户使用操作部1222指定的内容的信号，执行各种处理，并且经由总线1317控制图像信号处理部1314、DRAM 1318、外部接口1319、屏幕上显示1320、介质驱动器1323等。闪速ROM 1324存储控制器1321执行各种操作所需的程序、数据等。

例如，控制器1321可以对DRAM 1318中存储的图像数据进行编码或者对DRAM 1318中存储的编码数据进行解码，而不是由图像信号处理部1314或解码器1315进行这些操作。此时，控制器1321可以通过与图像信号处理部1314和解码器1315相同的方案来执行编码和解码处理，或者可以使用图像信号处理部1314和解码器1315不支持的方案来执行编码和解码处理。

此外，如果例如从操作部1322发出开始图像打印的指令，则控制器1321从DRAM 1318读出图像数据，并且经由总线1317将用于打印的数据提供给连接到外部接口1319的打印机1334。

此外，如果例如从操作部1322发出图像记录的指令，则控制器1321从DRAM 1318读取编码数据，并且经由总线1317将用于存储的数据提供给附接到介质驱动器1323的记录介质1333。

记录介质1333是任意的可读/可写可移除介质，例如诸如磁盘、磁光盘、光盘或半导体存储器。记录介质1333可以是任何类型的可移除介质，并且可以是磁带装置、盘片、或存储器卡。毋庸置疑，记录介质1333可以是非接触IC卡等。

此外，介质驱动器1323和记录介质1333可以集成以便由例如诸如内建的硬盘驱动器或固态驱动器（SSD）的不可移除的记录介质形成。

外部接口1319由例如USB输入/输出端子等形成，并且连接到打印机1334用于图像打印。此外，外部接口1319根据需要连接到驱动器1331，并且适当地附接到诸如磁盘、光盘或磁光盘的可移除介质1332，并且从这些介质读取的计算机程序根据需要安装到闪速ROM 1324。

此外，外部接口1319具有连接到诸如LAN或互联网的预定网络的网络接口。例如，控制器1321根据来自操作部1322的指令，从DRAM 1318读取编码数据，并且将数据从外部接口1319提供给经由网络连接的其他装置。此外，控制器1321可以经由外部接口1319获取从其他装置经由网络提供的编码数据或图像数据，并且允许DRAM 1318保持该数据或者将该数据提供给图像信号处理部1314。

上述摄像装置1300使用图像解码装置200作为解码器1315。就是说，如图像解码装置200的情况中的那样，解码器1315使用从图像编码装置100提供的编码数据中提取的曲面参数来生成预测图像，并且使用预测图像从残差信息生成解码图像数据。因此，解码器1315可以进一步提高编码效率。

因此，摄像装置1300可以进一步提高在CCD/CMOS 1312处生成的图像数据、从DRAM 1318或记录介质1333读取的视频数据的编码数据以及经由网络获取的视频数据的编码数据的编码效率，从而以较低的成本实现实时处理。

此外，摄像装置1300使用图像编码装置100作为编码器1341。如图像编码装置100的情况中的那样，编码器1341使用初始图像的处理目标块的像素值来执行曲面近似，从而生成预测图像。因此，编码器1341可以进一步提高编码效率。

因此，摄像装置1300可以进一步提高例如DRAM 1318和记录介质1333中存储的编码数据以及提供给其他装置的编码数据的编码效率，从而以较低的成本实现实时处理。

图像解码装置200使用的解码方法可以应用于控制器1321执行的解码处理。相似地，图像编码装置100使用的编码方法可以应用于控制器1321执行的编码处理。

此外，摄像装置1300拍摄的图像数据可以是运动图像数据或者静止图像数据。

毋庸置疑，图像编码装置100和图像解码装置200可以应用于上述装置以外的装置和***。

附图标记列表

100图像编码装置

114帧内预测部

132曲面预测图像生成部

151正交变换部

152直流分量块生成部

153正交变换部

154曲面生成部

155熵编码部

161曲面块生成部

162逆正交变换部

200图像解码装置

211帧内预测部

221帧内预测模式确定部

223熵解码部

224曲面生成部

231曲面块生成部

232逆正交变换部

Claims (19)

1.一种图像处理装置，包括：

曲面参数生成部件，使用将经历屏幕内编码的图像数据的处理目标块的像素值，生成指示对作为目标的所述处理目标块的像素值进行近似的曲面的曲面参数；

曲面生成部件，生成由所述曲面参数生成部件生成的所述曲面参数表示的、作为预测图像的曲面；

算术部件，从所述处理目标块的像素值中减去由所述曲面生成部件生成的、作为所述预测图像的所述曲面的像素值，从而生成差分数据；以及

编码部件，对所述算术部件生成的所述差分数据进行编码。

2.根据权利要求1所述的图像处理装置，其中

所述曲面参数生成部件通过对经正交变换的所述处理目标块的系数数据的直流分量形成的直流分量块进行正交变换，来生成曲面参数，以及

所述曲面生成部件通过使具有作为分量的、由所述曲面参数生成部件生成的曲面参数的曲面块经历逆正交变换，来生成所述曲面。

3.根据权利要求2所述的图像处理装置，其中所述曲面生成部件形成尺寸与用在屏幕内预测中的屏幕内预测块的尺寸相同的曲面块，从而使块尺寸与屏幕内预测块的尺寸相同的所述曲面块经历逆正交变换。

4.根据权利要求3所述的图像处理装置，其中所述曲面尺寸块具有作为分量的曲面参数和0。

5.根据权利要求4所述的图像处理装置，其中

所述屏幕内预测块的尺寸是8×8，以及

所述直流分量块的尺寸是2×2。

6.根据权利要求1所述的图像处理装置，进一步包括：

正交变换部件，使所述算术部件生成的所述差分数据经历正交变换；以及

量化部件，对通过所述正交变换部件进行的所述差分数据的正交变换而生成的系数数据进行量化，

其中所述编码部件对所述量化部件所量化的所述系数数据进行编码，从而生成编码数据。

7.根据权利要求6所述的图像处理装置，进一步包括：传输部件，传输所述编码部件生成的编码数据和所述曲面参数生成部件生成的曲面参数。

8.根据权利要求7所述的图像处理装置，其中

所述编码部件对所述曲面参数生成部件生成的所述曲面参数进行编码，以及

所述传输部件传输由所述编码部件编码的曲面参数。

9.一种由图像处理装置使用的图像处理方法，其中

所述图像处理装置的曲面参数生成部件使用将经历屏幕内编码的图像数据的处理目标块的像素值，生成指示对作为目标的所述处理目标块的像素值进行近似的曲面的曲面参数；

所述图像处理装置的曲面生成部件生成由所生成的所述曲面参数表示的、作为预测图像的曲面；

所述图像处理装置的算术部件从所述处理目标块的像素值中减去作为所述预测图像而生成的所述曲面的像素值，从而生成差分数据；以及

所述图像处理装置的编码部件对所生成的所述差分数据进行编码。

10.一种图像处理装置，包括：

解码部件，对编码数据进行解码，所述编码数据是通过对图像数据和经历使用所述图像数据的帧内预测的预测图像之间的差分数据进行编码而形成的；

曲面生成部件，使用指示对所述图像数据的处理目标块的像素值进行近似的曲面的曲面参数，生成由所述曲面形成的所述预测图像；以及

算术部件，使所述曲面生成部件生成的所述预测图像与通过所述解码部件进行的解码而获得的所述差分数据相加。

11.根据权利要求10的图像处理装置，其中所述曲面生成部件通过使曲面块经历逆正交变换来生成所述曲面，所述曲面块具有作为分量的、通过对经正交变换的处理目标块的系数数据的直流分量形成的直流分量块进行正交变换而生成的所述曲面参数。

12.根据权利要求11的图像处理装置，其中所述曲面生成部件形成尺寸与用在屏幕内预测中的屏幕内预测块的尺寸相同的曲面块，从而使块尺寸与屏幕内预测块的尺寸相同的所述曲面块经历逆正交变换。

13.根据权利要求12所述的图像处理装置，其中所述曲面尺寸块具有作为分量的曲面参数和0。

14.根据权利要求13所述的图像处理装置，其中

所述屏幕内预测块的尺寸是8×8，以及

所述直流分量块的尺寸是2×2。

15.根据权利要求10所述的图像处理装置，进一步包括：

逆量化部件，对所述差分数据进行逆量化；以及

逆正交变换部件，使由所述逆量化部件进行了逆量化的所述差分数据经历逆正交变换，

其中所述算术部件使所述预测图像与经历所述逆正交变换部件的逆正交变换的所述差分数据相加。

16.根据权利要求10所述的图像处理装置，进一步包括：接收部件，接收所述编码数据和所述曲面参数，

其中所述曲面生成部件使用所述接收部件接收到的所述曲面参数来生成所述预测图像。

17.根据权利要求10所述的图像处理装置，其中

对所述曲面参数进行编码，以及

所述解码部件进一步包括对编码的所述曲面参数进行解码的解码部件。

18.根据权利要求10所述的图像处理装置，其中所述曲面生成部件包括：

8×8块生成部件，使用所生成的所述曲面参数来生成8×8块；以及

逆正交变换部件，使所述8×8块生成部件生成的所述8×8块经历逆正交变换。

19.一种由图像处理装置使用的图像处理方法，其中：

所述图像处理装置的解码部件对编码数据进行解码，所述编码数据是通过对图像数据和经历使用所述图像数据的帧内预测的预测图像之间的差分数据进行编码而形成的，

所述图像处理装置的曲面生成部件使用指示对所述图像数据的处理目标块的像素值进行近似的曲面的曲面参数，生成由所述曲面形成的所述预测图像，以及

所述图像处理装置的算术部件使所生成的所述预测图像与通过解码而获得的所述差分数据相加。

Images