CN103190148A - 图像处理装置和图像处理方法 - Google Patents

Abstract

在预测图像的质量上的劣化要被减小，以便限制在压缩效率上的降低。当运动预测/补偿单元32通过基于通过运动检测而检测的运动矢量，使用参考图像数据执行运动补偿来产生预测图像数据时，根据运动矢量的大小来改变确定当前块的参考图像数据的具有小数像素精度的图像数据的插值滤波器的滤波特性。结果，当运动大小大时将滤波特性改变为用于执行去噪的特性，并且当在参考图像中包含大量的高通分量时，诸如当运动矢量具有整数像素精度、运动大小小并且运动模糊不常出现时将滤波特性改变为不执行滤波操作的特性。因此，可以限制因为在预测图像的质量上的劣化导致的在压缩效率上的降低。

Description

图像处理装置和图像处理方法

技术领域

本技术涉及图像处理装置和图像处理方法。更具体地，本技术用于减少在预测图像的质量上的劣化，并且限制在压缩效率上的降低。

背景技术

近些年来，将图像信息处理为数字信息并且在如此进行中实现高效率信息发送和累积的设备或符合用于通过像离散余弦变换那样的正交变换和运动补偿的压缩的诸如MPEG的标准的设备已经在广播站和一般家庭中普及。

具体地说，MPEG2（ISO/IEC13818-2）被定义为通用图像编码标准，并且当前用于专业人员和一般消费者的大量应用。根据MPEG2压缩标准，向具有例如720×480像素的标准分辨率的隔行图像分配4至8Mbps的比特率。以这种方式，可以实现高压缩率和良好的图像质量。也向具有1920×1088像素的高分辨率隔行图像分配18至22Mbps的比特率，以便实现高压缩率和良好的图像质量。

虽然在编码和解码中要求比诸如MPEG2或MPEG4的传统编码方法更大的计算量，但是以已经变为作为H.264和MPEG-4第10部分（以下称为“H.264/AVC（高级视频编码）”）的国际标准的增强压缩视频编码的联合模型的名义进行用于实现较高编码效率的标准化。

在H.264/AVC中，16×16像素形成的宏块被划分为可以具有独立于彼此的运动矢量的16×16、16×8、8×16或8×8像素区域，如图1中所示。此外，如图1中所示，将8×8像素区域划分为可以具有独立于彼此的运动矢量的8×8、8×4、4×8或4×4像素区域。在MPEG2中，在运动预测/补偿操作中的每一个单元在帧运动补偿模式中为16×16像素，并且在场运动补偿模式中在第一场和第二场的每一个中为16×8像素。使用这样的单元，执行运动预测/补偿操作。

此外，在H.264/AVC中，如在专利文件1中公开，执行具有诸如1/4像素精度的小数像素精度的运动预测/补偿操作。图2是用于说明具有1/4像素精度的运动预测/补偿操作的图。在图2中，位置“A”表示在帧存储器中存储的每一个整数精度像素的位置，位置“b”、“c”和“d”表示具有1/2像素精度的位置，位置“e1”、“e2”和“e3”表示具有1/4像素精度的位置。

在下面，如在等式（1）中所示定义Clip1()：

[数学公式1]

在等式（1）中，当输入图像具有8比特精度时，max_pix的值是255。

通过使用如在等式（2）和（3）中所示的6抽头FIR滤波器来产生在位置“b”和“d”处的像素值：

F=A_-2-5·A_-1+20·A₀+20·A₁-5·A₂+A₃…(2)

b,d=Clip1((F+16)>>5)…(3)

通过使用如在等式（4）或（5）和等式（6）中所示的6抽头FIR滤波器来产生在位置“c”处的像素值：

F=b_-2-5·b_-1+20·b₀+20·b₁-5·b₂+b₃…(4)

F=d_-2-5·d_-1+20·d₀+20·d₁-5·d₂+d₃…(5)

c=Clip1((F+512)>>10)…(6)

仅在水平方向和垂直方向两者上执行乘积和运算后，在最后执行一次Clip1处理。

通过如在等式（7）至（9）中所示的线性插值来产生在位置“e1”至“e3”处的像素值：

e1=(A+b+1)>>1…(7)

e2=(b+d+1)>>1…(8)

e3=(b+c+1)>>1…(9)

在图像压缩的领域中，正在考虑用于实现比H.264/AVC高的编码效率的HEVC（高效率视频编码）的标准化。在HEVC中，定义了扩展宏块的概念的被称为编码单元（CU）的基本单元。此外，非专利文件1提出了以从16×16像素宏块扩展的块大小的图像压缩。在HEVC中，还通过划分编码单元来定义作为用于预测的基本单元的预测单元（PU）。

引用列表

专利文件

专利文件1：日本专利申请公报No.2010-016453

非专利文件

非专利文件1："Video Coding Using Extended Block Sizes"(StudyGroup16,Contribution123,ITU，COM16-C123-E，January2009)

发明内容

本发明要解决的问题

当通过利用参考图像数据执行运动补偿来产生预测图像数据时，基于通过运动预测检测的运动矢量，执行滤波操作以便去除噪声。然而，如果参考图像数据包含大量的高通分量，或者如果运动大小和运动模糊小，则有可能在滤波操作期间丢失高通分量，导致在预测图像的质量上的劣化和在压缩效率上的减小

鉴于上面的情况，该技术旨在提供一种图像处理装置和图像处理方法，它们可以减少在预测图像的质量上的劣化，并且限制在压缩效率上降低。

对于问题的解决方案

本技术的第一方面是一种图像处理装置，所述图像处理装置包括：插值滤波单元，其确定当前块的参考图像数据的具有小数像素精度的图像数据；滤波控制单元，其根据所述当前块的运动矢量的大小来改变所述插值滤波单元的滤波特性；以及运动补偿处理单元，其通过使用由所述插值滤波单元确定的图像数据来执行运动补偿，并且基于所述运动矢量产生预测图像数据。

根据本技术，在诸如将输入图像数据划分为像素块、利用参考图像数据对于相应的像素块执行预测操作并且编码在所述输入图像数据和所述预测图像数据之间的差的图像编码装置或对于由图像编码装置产生的压缩图像信息执行解码操作的图像解码装置的图像处理装置中，根据通过使用所述参考图像数据对于当前块执行的运动检测而获得的所述运动矢量的大小来改变确定具有要编码或解码的当前块的所述参考图像数据的小数像素精度的图像数据的插值滤波单元的滤波特性。当所述运动矢量具有整数像素精度并且大于阈值时，将所述滤波特性改变为使得从所述参考图像数据去除噪声的特性。当所述运动矢量具有整数像素精度并且等于或小于所述阈值时，将所述滤波特性改变为使得不执行滤波操作的特性。例如，对于其中所述运动大小是零的参考图像数据，所述阈值被设置为零，使得不执行滤波操作。替代地，可以根据在用于产生预测图像数据的帧和要用于运动补偿的所述参考图像数据的帧之间的在时间方向上的距离来自适应地改变所述阈值。

本技术的第二方面是一种图像处理方法，所述图像处理方法包括：插值滤波步骤，其确定当前块的参考图像数据的具有小数像素精度的图像数据；滤波控制步骤，其根据所述当前块的运动矢量的大小来改变所述插值滤波步骤的滤波特性；以及运动补偿处理步骤，其通过使用在所述插值滤波步骤中确定的图像数据来执行运动补偿，并且基于所述运动矢量产生预测图像数据。

本发明的效果

根据本技术，通过插值滤波单元来确定当前块的参考图像数据的具有小数像素精度的图像数据。根据所述当前块的运动矢量的大小来改变所述插值滤波单元的滤波特性。此外，基于运动矢量，通过使用由所述插值滤波单元确定的图像数据来执行运动补偿并且产生预测图像数据。因此，当参考图像数据包含大量高通分量时，或者当例如运动大小和运动模糊小时，改变滤波特性使得不执行任何滤波操作，并且可以限制因为在预测图像的质量上的劣化导致的在压缩效率上的降低。

附图说明

图1是示出在H.264/AVC中的块大小的图。

图2是用于说明具有1/4像素精度的运动预测/补偿操作的图。

图3是图示图像编码装置的结构的图。

图4是示出运动预测/补偿单元的结构的图。

图5是示出在补偿控制单元中的执行滤波控制的部分的结构的图。

图6是示出当使用第一滤波系数时获得的滤波特性和当使用第二滤波系数时获得的滤波特性的图。

图7示出其中扩展宏块大小的分层结构。

图8是示出图像编码装置的操作的流程图。

图9是示出预测操作的流程图。

图10是示出帧内预测操作的流程图。

图11是示出帧间预测操作的流程图。

图12是示出运动补偿操作的流程图。

图13是示出图像解码装置的结构的图。

图14是示出运动补偿单元的结构的图。

图15是示出图像解码装置的操作的流程图。

图16是示出预测图像产生操作的流程图。

图17是示出帧间预测图像产生操作的流程图。

图18是示意地示出计算机装置的示例结构的图。

图19是示意地示出电视机设备的示例结构的图。

图20是示意地示出便携电话装置的示例结构的图。

图21是示意地示出记录/再现设备的示例结构的图。

图22是示意地示出成像设备的示例结构的图。

具体实施方式

下面是用于执行本技术的实施例的说明。将以下面的顺序来进行说明。

1.图像编码装置的结构

2.图像编码装置的操作

3.图像解码装置的结构

4.图像解码装置的操作

5.软件处理

6.对于电子设备的应用

[1.图像编码装置的结构]

图3示出其中图像处理装置被应用到图像编码装置的结构。图像编码装置10包括模/数转换器（A/D转换器）11、屏幕重排缓冲器12、减法单元13、正交变换单元14、量化单元15、无损编码单元16、累积缓冲器17和速率控制单元18。图像编码装置10进一步包括逆量化单元21、逆正交变换单元22、相加单元23、去块滤波器24、帧存储器26、帧内预测单元31、运动预测/补偿单元32和预测图像/最佳模式选择单元33。

A/D转换器11将模拟图像信号转换为数字图像数据，并且向屏幕重排缓冲器12输出图像数据。

屏幕重排缓冲器12重排从A/D转换器11输出的图像数据的帧。屏幕重排缓冲器12根据与编码操作相关的GOP（图像组）结构而重排帧，并且向减法单元13、帧内预测单元31和运动预测/补偿单元32输出重排的图像数据。

减法单元13接收从屏幕重排缓冲器12输出的图像数据和由下述的预测图像/最佳模式选择单元33选择的预测图像数据。减法单元13计算作为在从屏幕重排缓冲器12输出的图像数据和从预测图像/最佳模式选择单元33供应的预测图像数据之间的差的预测误差数据，并且向正交变换单元14输出预测误差数据。

正交变换单元14对于从减法单元13输出的预测误差数据执行正交变换操作，诸如离散余弦变换（DCT）或卡洛变换。正交变换单元14向量化单元15输出通过执行正交变换操作而获得的变换系数数据。

量化单元15接收从正交变换单元14输出的变换系数数据和从下述的速率控制单元18供应的速率控制信号。量化单元15量化变换系数数据，并且向无损编码单元16和逆量化单元21输出量化的数据。基于从速率控制单元18供应的速率控制信号，量化单元15转换量化参数（量化等级）以改变量化数据的比特率。

无损编码单元16接收从量化单元15输出的量化数据、从下述的帧内预测单元31供应的预测模式信息和从运动预测/补偿单元32供应的预测模式信息和差运动矢量等。此外，从预测图像/最佳模式选择单元33供应用于指示最佳模式是否是帧内预测或帧间预测的信息。预测模式信息根据预测模式是否是帧内预测或帧间预测而包含用于指示预测模式和关于运动预测单元的块大小信息等的信息。无损编码单元16通过可变长度编码或算术编码等来对于量化数据执行无损编码操作，以产生和向累积缓冲器17输出压缩图像信息。当最佳模式是帧内预测时，无损编码单元16对于从帧内预测单元31供应的预测模式信息执行无损编码。当最佳模式是帧间预测时，无损编码单元16对于从运动预测/补偿单元32供应的预测模式信息和差运动矢量等执行无损编码。此外，无损编码单元16将经受无损编码的信息包含到压缩图像信息内。例如，无损编码单元16将信息加到作为压缩图像信息的编码流中的首部信息上。

累积缓冲器17存储从无损编码单元16供应的压缩图像信息。累积缓冲器17也以适合于传输路径的传输速率来输出所存储的压缩图像信息。

速率控制单元18监控在累积缓冲器17中的空闲空间，根据空闲空间来产生速率控制信号，并且向量化单元15输出速率控制信号。速率控制单元18例如从累积缓冲器17获得用于指示空闲空间的信息。当剩余的空闲空间小时，速率控制单元18通过速率控制信号来降低量化数据的比特率。当在累积缓冲器17中的剩余空闲空间足够大时，速率控制单元18通过速率控制信号来增大量化数据的比特率。

逆量化单元21逆量化从量化单元15供应的量化数据。逆量化单元21向逆正交变换单元22输出通过执行逆量化操作而获得的变换系数数据。

逆正交变换单元22对于从逆量化单元21供应的变换系数数据执行逆正交变换操作，并且向相加单元23输出得出的数据。

相加单元23将从逆正交变换单元22供应的数据加到从预测图像/最佳模式选择单元33供应的预测图像数据，以产生解码图像数据。相加单元23然后向去块滤波器24和帧内预测单元31输出解码图像数据。解码图像数据被用作参考图像的图像数据。

去块滤波器24执行滤波操作以减少在图像编码时出现的块失真。去块滤波器24执行滤波操作以从自相加单元23供应的解码图像数据去除块失真，并且向帧存储器26输出经滤波的解码图像数据。

帧存储器26存储已经经受滤波操作并且被从去块滤波器24供应的解码图像数据。在帧存储器26中存储的解码图像数据作为参考图像数据被供应到运动预测/补偿单元32。

使用从屏幕重排缓冲器12供应的编码目标图像的输入图像数据和从相加单元23供应的参考图像数据，帧内预测单元31在所有的候选帧内预测模式中执行预测，以确定最佳帧内预测模式。帧内预测单元31计算例如在帧内预测模式的每一个中的代价函数值，并且基于所计算的代价函数值来设置作为具有最高编码效率的帧内预测模式的最佳帧内预测模式。帧内预测单元31向预测图像/最佳模式选择单元33输出在最佳帧内预测模式中产生的预测图像数据和在最佳帧内预测模式中的代价函数值。帧内预测单元31进一步向无损编码单元16输出用于指示最佳帧内预测模式的预测模式信息。

使用从屏幕重排缓冲器12供应的编码目标图像的输入图像数据和从帧存储器26供应的参考图像数据，运动预测/补偿单元32在所有候选帧间预测模式中执行预测，以确定最佳帧间预测模式。运动预测/补偿单元32计算例如在帧间预测模式的每一个中的代价函数值，并且基于所计算的代价函数值来设置作为具有最高编码效率的帧间预测模式的最佳帧间预测模式。运动预测/补偿单元32向预测图像/最佳模式选择单元33输出在最佳帧间预测模式中产生的预测图像数据和在最佳帧间预测模式中的代价函数值。运动预测/补偿单元32进一步向无损编码单元16输出关于最佳帧间预测模式的预测模式信息。

图4示出运动预测/补偿单元32的结构。运动预测/补偿单元32包括运动检测单元321、模式确定单元322、运动补偿处理单元323和运动矢量缓冲器324。

从屏幕重排缓冲器12供应的重排的输入图像数据和从帧存储器26读取的参考图像数据被供应到运动检测单元321。运动检测单元321在所有的候选帧间预测模式中进行运动搜索，以检测运动矢量。运动检测单元321将用于指示所检测的运动矢量的运动矢量与其中已经检测到运动矢量的情况的输入图像数据和参考图像数据一起向模式确定单元322输出。

模式确定单元322接收来自运动检测单元321的运动矢量和输入图像数据、来自运动补偿处理单元323的预测图像数据和来自运动矢量缓冲器324的相邻预测单元的运动矢量。使用相邻预测单元的运动矢量，模式确定单元322执行中值预测等以设置预测运动矢量，并且计算用于指示在由运动检测单元321检测的运动矢量和预测运动矢量之间的差的差运动矢量。使用在输入图像数据和预测图像数据之间的差运动矢量，模式确定单元322计算在所有的候选帧间预测模式中的代价函数值。模式确定单元322将具有最小计算的代价函数值的模式确定为最佳帧间预测模式。模式确定单元322进一步向运动补偿处理单元323输出用于指示所确定的最佳帧间预测模式和代价函数值的预测模式信息以及与最佳帧间预测模式相关的运动矢量和差运动矢量等。模式确定单元322也向运动补偿处理单元323输出与帧间预测模式相关的预测模式信息和运动矢量，以便计算在所有的候选帧间预测模式中的代价函数值。

如在作为在H.264/AVC中的参考软件的JM（联合模型）中指定，通过高复杂度模式或低复杂度模式的方法来计算代价函数值。

具体地说，在高复杂度模式中，在每一个候选预测模式中临时执行以无损编码操作结束的操作，以计算在每一个预测模式中的通过下面的等式（10）表达的代价函数值：

Cost(Mode∈Ω)=D+λ·R…(10)

在此，Ω表示用于编码预测单元的图像的通用的一组候选预测模式。D表示在其中在预测模式中执行编码的情况下在预测图像和输入图像之间的差能量（失真）。R表示包括正交变换系数和预测模式信息的比特产生速率，并且λ表示作为量化参数QP的函数给出的拉格朗日乘子。

即，为了在高复杂度模式中执行编码，需要在所有的候选预测模式中执行临时编码操作，以计算上面的参数D和R，并且因此需要大量的计算。

另一方面，在低复杂度模式中在所有的候选预测模式中产生预测图像和包含差运动矢量和预定模式信息的首部比特等，并且，计算通过下面的等式（11）表达的代价函数值。

Cost(Mode∈Ω)=D+QP2Quant(QP)·Header_Bit…(11)

在此，Ω表示用于编码预测单元的图像的通用的一组候选预测模式。D表示在其中在预测模式中执行编码的情况下在预测图像和输入图像之间的差能量（失真）。Header_Bit表示与预测模式对应的首部比特，并且QP2Quant是作为量化参数QP的函数给出的函数。

即，在低复杂度模式中，需要在每一个预测模式中执行预测操作，但是不需要任何解码的图像。因此，计算量可以小于在高复杂度模式中所需的计算量。

运动补偿处理单元323包括补偿控制单元3231、系数表3232和滤波单元3233。基于从模式确定单元322供应的预测单元的块大小（以及形状）和运动矢量以及参考索引，补偿控制单元3231控制从帧存储器26的参考图像数据的读取。滤波单元3233执行插值滤波操作以确定当前块的参考图像数据的具有小数像素精度的图像数据。此外，基于运动矢量，滤波单元3233通过使用经由插值滤波操作而确定的图像数据来执行运动补偿，以产生预测图像数据。此外，补偿控制单元3231根据从模式确定单元322供应的运动矢量的大小来改变滤波单元3233的滤波特性。例如，运动补偿处理单元323使得滤波特性在当运动矢量的大小大于预定阈值时和当运动矢量的大小等于或小于阈值时之间不同。补偿控制单元3231根据运动矢量的大小从系数表3232选择滤波系数，并且向滤波单元3233供应所选择的滤波系数，以改变滤波特性。虽然在图4中从系数表3232向滤波单元3233供应滤波系数，但是可以从补偿控制单元3231向滤波单元3233供应滤波系数。

图5是示出在补偿控制单元3231中执行滤波控制的部分的结构的图。补偿控制单元3231包括阈值设置单元3231a和阈值确定单元3231b。

补偿控制单元3231基于块大小与运动矢量的整数部分和参考索引从帧存储器26读取参考图像数据。

当运动矢量具有整数像素精度时，阈值设置单元3231a设置用于改变滤波单元3233的滤波特性的阈值MVth。阈值设置单元3231a向阈值确定单元3231b输出所设置的阈值MVth。阈值设置单元3231a使用预定固定值来作为阈值MVth。阈值设置单元3231a也可以根据在用于产生预测图像数据的帧和参考图像数据的帧之间在时间方向上的距离来自适应地改变阈值。例如在相同的运动继续的情况下，当在用于产生预测图像数据的帧和参考图像数据的帧之间的距离在时间方向上短时运动矢量大小小，并且当在时间方向上的该距离长时，该运动矢量大小大。因此，可以通过根据在时间方向上的该距离来自适应地改变阈值来设置与期望的运动对应的阈值。

等式（12）表达根据在时间方向上的距离自适应地改变的阈值MVth。

MVth=k*|POC0-POC1|…(12)

在等式（12）中，系数k是预先被设置来用于根据在时间方向上的距离而计算阈值MVth的值。POC0表示作为要产生的预测图像数据的帧的帧的POC（画面顺序计数）。POC1表示参考图像数据的帧的POC。可以通过在最佳帧间预测模式中的参考索引来彼此区分POC0和POC1。

阈值确定单元3231b确定运动矢量的整数部分是否等于或大于阈值MVth，并且向系数表3232输出确定结果。

运动矢量的小数部分和从阈值确定单元3231b产生的确定结果被供应到系数表3232。系数表3232也存储用于设置用于去除噪声的滤波特性的滤波系数、和用于通过基于具有小数像素精度的运动矢量执行插值滤波操作而产生具有小数像素精度的图像数据的滤波系数等。

当运动矢量的小数部分是零时，或者当运动矢量具有整数像素精度时，系数表3232输出与运动矢量的大小（长度）对应的滤波系数。例如，当确定结果指示运动矢量的小数部分是零并且整数部分等于或小于阈值MVth时，系数表3232向滤波单元3233输出具有使得不执行任何滤波操作的特性的第一滤波系数。当确定结果指示运动矢量的小数部分是零，并且整数部分大于阈值MVth时，系数表3232向滤波单元3233输出具有使得从参考图像数据去除噪声的滤波特性的第二滤波系数。如果在此使得阈值MVth为零，则不对于图像的静态区域执行任何滤波操作，并且，可以仅对于图像的运动区域执行去噪。

当运动矢量的小数部分不是零时，系数表3232向滤波单元3233输出第三系数，该第三系数用于基于具有小数像素精度的运动矢量来产生预测图像数据或者用于产生预测图像数据并且执行去噪。

图6示出当使用第一滤波系数时获得的滤波特性和当使用第二滤波系数时获得的滤波特性的示例。应当注意，当使用第一滤波系数时获得的滤波特性应当是不执行滤波操作的特性，并且当使用第二滤波系数时获得的滤波特性应当是用于去噪的滤波特性。在任何一种情况下，滤波特性不限于在图6中所示的那些。例如，可以实现与在图6中所示的特性不同的阻尼特性。

滤波单元3233通过使用从系数表3232供应的滤波系数来对于参考图像数据执行滤波操作，并且产生预测图像数据。当模式确定单元322要计算代价函数值以确定最佳帧间预测模式时，滤波单元3233向模式确定单元322输出所产生的预测图像数据。滤波单元3233也向预测图像/最佳模式选择单元33输出在最佳帧间预测模式中产生的预测图像数据。

虽然在附图中未示出，但是运动补偿处理单元323向运动矢量缓冲器324输出在最佳帧间预测模式中检测的运动矢量，并且向无损编码单元16输出关于最佳帧间预测的预测模式信息和在该模式中的差运动矢量。此外，运动补偿处理单元323向在图3中所示的预测图像/最佳模式选择单元33输出在最佳帧间预测中的代价函数值。

预测图像/最佳模式选择单元33将从帧内预测单元31供应的代价函数值与从运动预测/补偿单元32供应的代价函数值相比较，并且将较小的代价函数值选择为具有最高编码效率的最佳模式。预测图像/最佳模式选择单元33也向减法单元13和相加单元23输出在最佳模式中产生的预测图像数据。此外，预测图像/最佳模式选择单元33向无损编码单元16输出用于指示最佳模式是否是帧内预测模式或帧间预测模式的信息。预测图像/最佳模式选择单元33对于每一个片转换到帧内预测或帧间预测。

[2.图像编码装置的操作]

在图像编码装置中，使得宏块大小例如比在H.264/AVC中的那些大，并且执行编码操作。图7示出其中扩展宏块大小的分层结构。在图7中，图7（C）和7（D）示出其中编码单元是在H.264/AVC中指定的16×16像素宏块和8×8像素子宏块的情况。图7（A）示出其中编码单元的块大小是64×64像素的情况，图7（B）示出其中编码单元的块大小是32×32像素的情况。应当注意，在图7中，每一个“跳过/直接”指示在其中选择跳过的宏块模式或直接模式的情况下使用的块大小。

在一个分层级中，设置预测单元，该预测单元包括通过划分编码单元而获得的大小。例如，在图7（A）中所示的64×64像素宏块的分层级上，将64×64像素、64×32像素、32×64像素和32×32像素设置为属于同一分层级的预测单元的块大小。虽然未示出，但是也能够通过将编码单元划分为两个不对称块大小来设置预测单元。应当注意，每一个“ME”指示预测单元的块大小。每一个“P8×8”指示可以在具有较小的块大小的较低分层级上进一步划分块。

现在参考在图8中所示的流程图来描述图像编码装置的操作。在步骤ST11中，A/D转换器11对于输入图像信号执行A/D转换。

在步骤ST12中，屏幕重排缓冲器12执行图像重排。屏幕重排缓冲器12存储从A/D转换器11供应的图像数据，并且以编码顺序而不是以显示顺序来重排相应的画面。

在步骤ST13中，减法单元13产生预测误差数据。减法单元13通过下述方式来产生预测误差数据：计算在步骤ST12中重排的图像的图像数据和由预测图像/最佳模式选择单元33选择的预测图像数据之间的差。预测误差数据具有比原始图像数据小的数据量。因此，可以使得数据量比其中直接编码图像的情况下小。

在步骤ST14中，正交变换单元14执行正交变换操作。正交变换单元14正交变换从减法单元13供应的预测误差数据。具体地说，对于预测误差数据执行诸如离散余弦变换或卡洛变换的正交变换，并且输出变换系数数据。

在步骤ST15中，量化单元15执行量化操作。量化单元15量化变换系数数据。在该量化中，执行速率控制，如在步骤ST25的描述中下述。

在步骤ST16中，逆量化单元21执行逆量化操作。逆量化单元21逆量化由量化单元15量化的变换系数数据，该逆量化单元21具有与量化单元15的特性兼容的特性。

在步骤ST17中，逆正交变换单元22执行逆正交变换操作。逆正交变换单元22对于由逆量化单元21逆量化的变换系数数据执行逆正交变换，该逆正交变换单元22具有与正交变换单元14的特性兼容的特性。

在步骤ST18中，相加单元23产生参考图像数据。相加单元23通过下述方式来产生解码数据（参考图像数据）：向与预测图像对应并且已经经受逆正交变换的位置的数据加上从预测图像/最佳模式选择单元33供应的预测图像数据。

在步骤ST19中，去块滤波器24执行滤波操作。去块滤波器24通过将从相加单元23输出的解码图像数据滤波来去除块失真。

在步骤ST20中，帧存储器26存储参考图像数据。帧存储器26存储经滤波的解码数据（参考图像数据）。

在步骤ST21中，帧内预测单元31和运动预测/补偿单元32每一个执行预测操作。具体地说，帧内预测单元31在帧内预测模式中执行帧内预测操作，并且运动预测/补偿单元32在帧间预测模式中执行运动预测/补偿操作。下面参考图9来详细描述预测操作。在这个步骤中，在所有的预测模式中执行预测操作，并且在所有的候选预测模式中计算代价函数值。基于所计算的代价函数值，选择最佳帧内预测模式和最佳帧间预测模式，并且，向预测图像/最佳模式选择单元33供应在所选择的预测模式中产生的预测图像、代价函数和预测模式信息。

在步骤ST22中，预测图像/最佳模式选择单元33选择预测图像数据。基于从帧内预测单元31和运动预测/补偿单元32输出的相应的代价函数值，预测图像/最佳模式选择单元33确定用于优化编码效率的最佳模式。即，预测图像/最佳模式选择单元33从在图7中所示的相应分层级、在所选择的编码单元中的每一个预测单元的块大小和要执行哪种预测帧内预测或帧间预测来确定具有最高编码效率的编码单元。预测图像/最佳模式选择单元33进一步向减法单元13和相加单元23输出在所确定的最佳模式中的预测图像数据。在步骤ST13和ST18中的操作中使用该预测图像数据，如上所述。

在步骤ST23中，无损编码单元16执行无损编码操作。无损编码单元16对于从量化单元15输出的量化数据执行无损编码。即，对于量化数据执行诸如可变长度编码或算术编码的无损编码，以压缩该数据。无损编码单元16也对于与在步骤ST22中选择的预测图像数据对应的预测模式信息等执行无损编码，使得将预测模式信息等的无损编码的数据并入通过对于量化数据执行无损编码产生的压缩图像信息内。

在步骤ST24中，累积缓冲器17执行累积操作。累积缓冲器17存储从无损编码单元16输出的压缩图像信息。在累积缓冲器17中存储的压缩图像信息被读取并且在必要时经由传输路径被发送到解码侧。

在步骤ST25中，速率控制单元18执行速率控制。速率控制单元18控制量化单元15的量化操作速率，使得当累积缓冲器17存储压缩图像信息时不在累积缓冲器17中出现溢出或下溢。

现在参考在图9中的流程图来描述在图8中的步骤ST21中的预测操作。

在步骤ST31中，帧内预测单元31执行帧内预测操作。帧内预测单元31在所有候选帧内预测模式中对于正被编码的预测单元的图像执行帧内预测。在每一个帧内预测中要被引用的解码图像的图像数据是还要在去块滤波器24处经受块滤波操作的解码图像数据。在这个帧内预测操作中，在所有的候选帧内预测模式中执行帧内预测，并且，在所有的候选帧内预测模式中计算代价函数值。基于所计算的代价函数值，从所有的帧内预测模式选择具有最高编码效率的帧内预测模式。

在步骤ST32中，运动预测/补偿单元32执行帧间预测操作。使用在帧存储器26中存储并且已经经受解块滤波操作的解码图像数据，运动预测/补偿单元32在候选帧间预测模式中执行帧间预测操作。在这个帧间预测操作中，在所有的候选帧间预测模式中执行预测操作，并且在所有的候选帧间预测模式中计算代价函数值。基于所计算的代价函数值，从所有的帧间预测模式中选择具有最高编码效率的帧间预测模式。

现在参考在图10中的流程图来描述在图9中的步骤ST31中的帧内预测操作。

在步骤ST41中，帧内预测单元31在相应的预测模式中执行帧内预测。使用还要经受块滤波操作的解码图像数据，帧内预测单元31在每一个帧内预测模式中产生预测图像数据。

在步骤ST42中，帧内预测单元31在每一个预测模式中计算代价函数值。如在作为在H.264/AVC中的参考软件的JM（联合模型）中指定，例如，通过如上所述的高复杂度模式或低复杂度模式的方法来计算代价函数值。具体地说，在高复杂度模式中，在所有候选预测模式中作为步骤ST42的操作临时执行以无损编码操作结束的操作，以计算在每一个预测模式中由上述的等式（10）表达的代价函数值。另一方面，在低复杂度模式中，在所有候选预测模式中作为步骤ST42的操作执行预测图像的产生和诸如运动矢量和预测模式信息的首部比特的计算，并且，在每一个预测模式中计算由上述的等式（11）表达的代价函数值。

在步骤ST43中，帧内预测单元31确定最佳帧内预测模式。基于在步骤ST42中计算的代价函数值，帧内预测单元31选择具有在所计算的代价函数值中的最小代价函数值的那个帧内预测模式，并且将所选择的帧内预测模式确定为最佳帧内预测模式。

现在参考图11中的流程图来描述在图9中的步骤ST32中的帧间预测操作。

在步骤ST51中，运动预测/补偿单元32执行运动检测操作。运动预测/补偿单元32检测运动矢量，并且移向步骤ST52。

在步骤ST52中，运动预测/补偿单元32执行运动补偿操作。基于在步骤ST51中检测的运动矢量，运动预测/补偿单元32执行运动补偿，并且通过使用参考图像数据来产生预测图像数据。

图12是示出运动补偿操作的流程图。在步骤ST61中，运动预测/补偿单元32读取参考图像数据。基于经受运动补偿的预测单元的块大小、从经受运动补偿的预测单元检测的运动矢量和用于指示在检测运动矢量中使用的参考图像的参考索引，运动预测/补偿单元32确定从其要读取参考图像数据的区域。此外，运动预测/补偿单元32从帧存储器26读取所确定的读取区域的图像数据，并且移向步骤ST62。

在步骤ST62中，运动预测/补偿单元32确定运动矢量的小数部分是否是零。当从在经受运动补偿的预测单元检测的运动矢量的小数部分是零时，运动预测/补偿单元32移向步骤ST63。当运动矢量的小数部分不是零时，运动预测/补偿单元32移向步骤ST67。

在步骤ST63中，运动预测/补偿单元32设置阈值。基于预定固定值或上述的等式（12），运动预测/补偿单元32设置阈值MVth，并且移向步骤ST64。

在步骤ST64中，运动预测/补偿单元32确定整数部分是否等于或小于阈值。当从在经受运动补偿的预测单元检测的运动矢量的整数部分等于或小于阈值MVth时，运动预测/补偿单元32移向步骤ST65。当整数部分大于阈值MVth时，运动预测/补偿单元32移向步骤ST66。

在步骤ST65中，运动预测/补偿单元32选择第一滤波系数。运动预测/补偿单元32设置作为要在滤波操作中使用的滤波系数的第一滤波系数以利用参考图像数据执行运动补偿并且产生预测图像数据，并且然后移向步骤ST68。第一滤波系数是具有使得不执行滤波操作的特性的滤波系数，并且当产生预测图像数据时在滤波单元3233处通过参考图像数据而不去噪。

在步骤ST66中，运动预测/补偿单元32选择第二滤波系数。运动预测/补偿单元32设置作为要在滤波操作中使用的滤波系数的第二滤波系数，并且然后移向步骤ST68。这个第二滤波系数是具有使得当产生预测图像数据时在滤波单元3233处去除噪声或执行低通滤波操作并且执行去噪的特性的滤波系数。

当从步骤ST62移向步骤ST67时，运动预测/补偿单元32根据小数部分来选择第三滤波系数。运动预测/补偿单元32根据运动矢量的小数部分来设置第三滤波系数，并且在滤波操作中使用第三滤波系数以使用参考图像数据来执行运动补偿并且产生预测图像数据。运动预测/补偿单元32然后移向步骤ST68。像在传统的图像编码装置中那样，这个第三滤波系数是具有使得基于具有小数像素精度的运动矢量来产生预测图像数据或产生预测图像数据并且执行去噪的特性的滤波系数。

在步骤ST68中，运动预测/补偿单元32产生预测图像数据。运动预测/补偿单元32通过使用从第一至第三滤波系数选择的滤波系数执行滤波操作来产生预测图像数据。

在图11中的步骤ST52的运动补偿操作中以上述方式来产生预测图像数据，并且操作然后移向步骤ST53。

在步骤ST53中，运动预测/补偿单元32计算代价函数值。使用要编码的预测单元的输入图像数据和在步骤ST52中产生的预测图像数据等，运动预测/补偿单元32如上所述计算代价函数值，并且移向步骤ST54。

在步骤ST54中，运动预测/补偿单元32确定最佳帧间预测模式。运动预测/补偿单元32对于所有的帧间预测模式执行步骤ST51至ST53的过程，并且确定具有在所计算的代价函数值中的最小代价函数值的参考索引、编码单元的块大小和在编码单元中的预测单元的块大小。以这种方式，确定最佳帧间预测模式。在确定具有最小代价函数值的模式中，也使用当在跳过模式中执行帧间预测时计算的代价函数值。

当预测图像/最佳模式选择单元33将最佳帧间预测模式选择为最佳预测模式时，运动预测/补偿单元32产生预测图像数据，使得可以向减法单元13和相加单元23供应在最佳帧间预测模式中的预测图像数据。

如上所述，在图像编码装置10中，当具有整数像素精度的运动矢量的整数部分等于或小于在帧间预测中的阈值时，选择第一滤波系数，并且不对于参考图像数据执行去噪。因此，当因为小的运动大小（例如，当运动大小是零时）和较少的运动模糊导致在参考图像数据中包含大量的高通分量时，在滤波操作期间不丢失高通分量。因此，可以防止在预测图像的质量上的劣化。

当运动矢量有具有比阈值大的整数部分的整数像素精度时，选择第二滤波系数，并且对于参考图像数据执行去噪。因此，当运动大小大并且运动模糊经常出现时，产生具有较少噪声的预测图像数据。因此，可以以高效率来执行编码操作。当运动大小大时，高通分量的数量经常小于在其中运动大小小的情况下的高通分量的数量。因此，即使执行去噪，因为在高通分量的数量上的减少导致的在预测图像的质量上的劣化小。

此外，当运动矢量具有诸如1/2像素精度或1/4像素精度的小数像素精度时，选择第三滤波系数，并且执行诸如通过插值滤波操作和去噪的预测图像数据的产生的滤波操作。因此，可以基于具有小数像素精度的运动矢量通过使用小量预测图像数据来执行高效编码操作。

此外，在图像编码装置10中，阈值MVth或作为用于在解码时产生设置的阈值MVth的阈值产生信息的系数k经受无损编码，并且因此被包含在下面的信息的至少一种中：序列参数集（SPS）、画面参数集（PPS）、片首部、宏块首部和编码单元首部信息等。使用该布置，下述的图像解码装置50可以通过使用阈值MVth或在那些信息中包含的阈值产生信息以与图像编码装置10相同的方式来正确地改变滤波特性。

[3.图像解码装置的结构]

接下来，描述图像处理装置被应用到图像解码装置的情况。通过编码输入图像而产生的压缩图像信息经由预定传输路径或记录介质等被供应到图像解码装置，并且在其中被解码。

图13示出对于压缩图像信息执行解码操作的图像解码装置的结构。图像解码装置50包括累积缓冲器51、无损解码单元52、逆量化单元53、逆正交变换单元54、相加单元55、去块滤波器56、屏幕重排缓冲器57和数字/模拟转换器（D/A转换器）58。图像解码装置50进一步包括帧存储器61、帧内预测单元71、运动补偿单元72和选择器73。

累积缓冲器51存储发送的压缩图像信息。无损解码单元52通过与由在图3中所示的无损编码单元16使用的编码方法兼容的方法来解码从累积缓冲器51供应的压缩图像信息。

无损解码单元52向帧内预测单元71和运动补偿单元72输出通过解码压缩图像信息而获得的预测模式信息。无损解码单元52也向运动补偿单元72输出通过解码压缩图像信息而获得的差运动矢量和阈值或阈值产生信息。

逆量化单元53使用与由在图3中的量化单元15使用的量化方法兼容的方法来逆量化由无损解码单元52解码的量化数据。逆正交变换单元54通过与由在图3中的正交变换单元14使用的正交变换方法兼容的方法来对于来自逆量化单元53的输出执行逆正交变换，并且向相加单元55输出结果。

相加单元55通过向从选择器73供应的预测图像数据加上经受逆正交变换的数据来产生解码图像数据，并且向去块滤波器56和帧内预测单元71输出解码图像数据。

去块滤波器56对于从相加单元55供应的解码图像数据执行去块滤波操作，并且去除块失真。结果产生的数据被供应到和存储在存储器61中，并且也被输出到屏幕重排缓冲器57。

屏幕重排缓冲器57执行图像重排。具体地说，由在图3中所示的屏幕重排缓冲器12以编码顺序重排的帧顺序被以原始显示顺序重排，并且被输出到D/A转换器58。

D/A转换器58对于从屏幕重排缓冲器57供应的图像数据执行D/A转换，并且向显示器（未示出）输出经转换的图像数据以显示图像。

帧存储器61存储作为在去块滤波器24处经受滤波操作的解码图像数据的参考图像数据。

基于从无损解码单元52供应的预测模式信息和从相加单元55供应的解码图像数据，帧内预测单元71产生预测图像数据，并且向选择器73输出所产生的预测图像数据。

基于从无损解码单元52供应的预测模式信息和差运动矢量，运动补偿单元72通过从帧存储器61读取参考图像数据来执行运动补偿，并且产生预测图像数据。运动补偿单元72向选择器73输出所产生的预测图像数据。运动补偿单元72也根据运动矢量的大小来改变滤波特性并且产生预测图像数据。

基于从无损解码单元52供应的预测模式信息，选择器73在帧内预测的情况下选择帧内预测单元71，并且在帧间预测的情况下选择运动补偿单元72。选择器73向相加单元55输出在被选择的帧内预测单元71或运动补偿单元72处产生的预测图像数据。

图14示出运动补偿单元72的结构。运动补偿单元72包括运动矢量组合单元721、运动补偿处理单元722和运动矢量缓冲器723。

运动矢量组合单元721通过相加要解码的预测单元的并且从无损解码单元52供应的差运动矢量和预测运动矢量来计算预测单元的运动矢量。预测单元的运动矢量然后被输出到运动补偿处理单元722。运动矢量组合单元721通过使用在运动矢量缓冲器723中存储的相邻的预测单元的运动矢量来产生预测运动矢量。

运动补偿处理单元722包括补偿控制单元7221、系数表7222和滤波单元7223。基于从无损解码单元52供应的预测模式信息和从运动矢量组合单元721供应的运动矢量，补偿控制单元7221控制从帧存储器61的参考图像数据的读取。滤波单元7223执行插值滤波操作以确定当前块的参考图像数据的具有小数像素精度的图像数据。此外，基于运动矢量，滤波单元7223通过使用经由插值滤波操作而确定的图像数据来执行运动补偿，以产生预测图像数据。此外，补偿控制单元7221根据从运动矢量组合单元721供应的运动矢量的大小来改变滤波单元7223的滤波特性。补偿控制单元7221根据运动矢量的大小来从系数表7222选择滤波系数，并且向滤波单元7223供应所选择的滤波系数，以改变滤波特性。替代地，补偿控制单元7221通过使用从无损解码单元52供应的阈值或使用利用从无损解码单元52供应的阈值产生信息根据等式（12）计算的阈值来以与在图4中所示的补偿控制单元3231相同的方式来改变滤波特性。因此，当通过补偿控制单元3231来使得阈值为零时，在图像解码装置50中对于图像的静态区域不执行任何滤波操作，并且可以仅对于图像的运动区域执行去噪。

像系数表3232那样，系数表7222当基于具有整数像素精度的运动矢量来产生预测图像数据时根据运动矢量的大小来输出用于执行去噪的滤波系数。例如，当确定结果指示运动矢量的小数部分是零，并且整数部分等于或小于阈值MVth时，系数表7222向滤波单元7223输出用于不对于预测图像数据执行去噪的滤波系数。当确定结果指示运动矢量的小数部分是零，并且整数部分大于阈值MVth时，系数表7222向滤波单元7223输出用于对于预测图像数据执行去噪的滤波系数。

此外，像系数表3232那样，当基于具有小数像素精度的运动矢量来产生预测图像数据时，系数表7222向滤波单元7223输出用于产生预测数据或用于产生预测图像数据和执行去噪的滤波系数，即，当运动矢量的小数部分不是零时，系数表7222根据运动矢量的小数部分来向滤波单元7223输出用于产生预测图像数据或用于产生预测图像数据和执行去噪的滤波系数。

滤波单元7223通过使用从系数表7222供应的滤波系数来对于参考图像数据执行滤波操作，并且产生和向在图13中所示的选择器73输出预测图像数据。

基于从无损解码单元52供应的预测模式信息，选择器73在帧内预测的情况下选择帧内预测单元71，并且在帧间预测的情况下选择运动补偿单元72。选择器73向相加单元55输出在所选择的帧内预测单元71或运动补偿单元72处产生的预测图像数据。

[4.图像解码装置的操作]

现在参考图15中的流程图来描述由图像解码装置50执行的图像解码操作。

在步骤ST81中，累积缓冲器51存储所供应的压缩图像信息。在步骤ST82中，无损解码单元52执行无损解码操作。无损解码单元52解码从累积缓冲器51供应的压缩图像信息。具体地说，获得由在图3中所示的无损编码单元16编码的每一个画面的量化数据。无损解码单元52也对于在压缩图像信息中包含的预测模式信息等执行无损解码。当所获得的预测模式信息是关于帧内预测模式的信息时，向帧内预测单元71输出预测模式信息。另一方面，当预测模式信息是关于帧间预测模式的信息时，无损解码单元52向运动补偿单元72输出预测模式信息。无损解码单元52进一步向运动补偿单元72输出通过解码压缩图像信息而获得的差运动矢量和阈值或阈值产生信息。

在步骤ST83中，逆量化单元53执行逆量化操作。逆量化单元53逆量化由无损解码单元52解码的量化数据，该逆量化单元53具有与在图3中所示的量化单元15的特性兼容的特性。

在步骤ST84中，逆正交变换单元54执行逆正交变换操作。逆正交变换单元54对于由逆量化单元53逆量化的变换系数数据执行逆正交变换，该逆正交变换单元54具有与在图3中所示的正交变换单元14的特性兼容的特性。

在步骤ST85中，相加单元55产生解码图像数据。相加单元55向在下述的步骤ST89中选择的预测图像数据加上通过逆正交变换操作而获得的数据，并且产生解码图像数据。以这种方式，解码原始图像。

在步骤ST86中，去块滤波器56执行滤波操作。去块滤波器56对于从相加单元55输出的解码图像数据执行去块滤波操作，并且去除在解码的图像中包含的块失真。

在步骤ST87中，帧存储器61执行解码图像数据存储操作。应当注意，在帧存储器61中存储的解码图像数据和从相加单元55输出的解码图像数据用在产生作为参考图像数据的预测图像数据中。

在步骤ST88中，帧内预测单元71和运动补偿单元72执行预测图像产生操作。帧内预测单元71和运动补偿单元72每一个根据从无损解码单元52供应的预测模式信息来执行预测图像产生操作。

具体地说，当已经从无损解码单元52供应关于帧内预测的预测模式信息时，帧内预测单元71基于预测模式信息来产生预测图像数据。另一方面，当已经从无损解码单元52供应关于帧间预测的预测模式信息时，运动补偿单元72基于预测模式信息来执行运动补偿，以产生预测图像数据。

在步骤ST89中，选择器73选择预测图像数据。选择器73选择从帧内预测单元71供应的预测图像或从运动补偿单元72供应的预测图像数据，并且向相加单元55供应所选择的预测图像数据，相加单元55在如上所述的步骤ST85中将所选择的预测图像数据加到来自逆正交变换单元54的输出。

在步骤ST90中，屏幕重排缓冲器57执行图像重排。具体地说，通过屏幕重排缓冲器57以原始显示顺序来重排由在图3中所示的图像编码装置10的屏幕重排缓冲器12重排以用于编码的帧的顺序。

在步骤ST91中，D/A转换器58对于从屏幕重排缓冲器57供应的图像数据执行D/A转换。图像被输出到显示器（未示出），并且被显示。

现在参考在图16中的流程图来描述在图15中的步骤ST88中的预测图像产生操作。

在步骤ST101中，无损解码单元52确定是否已经帧内编码了要解码的预测单元的块。当通过执行无损解码获得的预测模式信息是关于帧内预测的预测模式信息时，无损解码单元52向帧内预测单元71供应预测模式信息，并且移向步骤ST102。另一方面，当预测模式信息是关于帧间预测的预测模式信息时，无损解码单元52向运动补偿单元72供应预测模式信息，并且移向步骤ST103。

在步骤ST102中，帧内预测单元71执行帧内预测图像产生操作。使用预测模式信息和还没有经受去块滤波操作和已经被从相加单元55供应的解码图像数据，帧内预测单元71执行帧内预测以产生预测图像数据。

在步骤ST103中，运动补偿单元72执行帧间预测图像产生操作。基于从无损解码单元52供应的预测模式信息等，运动补偿单元72从帧存储器61读取参考图像数据，并且产生预测图像数据。

图17是示出步骤ST103的帧间预测图像产生操作的流程图。在步骤ST111中，运动补偿单元72获得预测模式信息和阈值。运动补偿单元72从无损解码单元52获得预测模式信息和阈值或阈值产生信息，并且移向步骤ST112。

在步骤ST112中，运动补偿单元72重新配置运动矢量。运动补偿单元72向从无损解码单元52供应的差运动矢量加上例如使用相邻预测单元的运动矢量通过中值预测产生的预测运动矢量。通过相加预测运动矢量和差运动矢量，运动补偿单元72重新配置预测单元的运动矢量，并且然后移向步骤ST113。

在步骤ST113中，运动补偿单元72执行运动补偿操作。基于在步骤ST111中获得的预测模式信息和在步骤ST112中重新配置的运动矢量，运动补偿单元72从帧存储器61读取参考图像数据。运动补偿单元72以与在图11中所示的运动补偿操作相同的方式，也根据运动矢量相对于所读取的参考图像数据的大小来改变滤波特性，并且产生预测图像数据。

如上所述，在图像解码装置50中，像在图像编码装置10中那样，当在帧间预测中运动矢量有具有等于或小于阈值的整数部分的整数像素精度时，选择第一滤波系数，并且，不对于参考图像数据执行滤波操作。因此，当因为小运动大小（诸如当运动大小是零时）和较少的运动模糊导致在参考图像数据中包含大量的高通分量时，在滤波操作期间不丢失高通分量。因此，可以防止在预测图像的质量上的劣化。

当运动矢量有具有比阈值大的整数部分的整数像素精度时，选择第二滤波系数，并且对于参考图像数据执行去噪。因此，当运动大小大并且运动模糊经常出现时，产生具有较少噪声的预测图像数据。因此，可以以高效率来执行编码操作。当运动大小大时，高通分量的数量经常小于在其中运动大小小的情况下的高通分量的数量。因此，即使执行去噪，因为在高通分量的数量上的减少导致在预测图像的质量上的劣化也小。

此外，当运动矢量具有诸如1/2像素精度或1/4像素精度的小数像素精度时，选择第三滤波系数，并且执行滤波操作，诸如通过插值滤波操作和去噪的预测图像数据的产生。因此，可以通过基于具有小数像素精度的运动矢量使用小数量的预测图像数据来执行高效编码操作。

此外，因为例如基于从序列参数集（SPS）、画面参数集（PPS）、片首部、宏块首部或编码单元首部信息获得的阈值MVth或阈值设置信息来改变滤波特性，所以图像解码装置50可以以与图像编码装置10相同的方式来正确地改变滤波特性。

在图像编码装置10和图像解码装置50中，当运动矢量的大小大于设置的阈值时，滤波特性被改变为用于从参考图像数据去除噪声的特性，并且当运动矢量的大小等于或小于阈值时，滤波特性改变为用于不执行任何滤波操作的特性。然而，即使当运动矢量的大小具有小数像素精度时也可以根据运动矢量的大小来改变滤波特性。此外，可以设置不止一个阈值，以执行具有较高精度的滤波特性的改变。

[5.软件处理]

可以通过硬件、软件或硬件和软件的组合来执行上述的系列操作。当通过软件执行操作时，在被包含到计算机中的专用硬件内的存储器中安装其中记录了操作序列的程序。替代地，可以通过向可以执行各种操作的通用计算机内安装程序来执行操作。

图18是示出根据程序来执行上述的系列操作的计算机装置的示例结构的图。计算机装置80的CPU801根据在ROM802或记录单元808上记录的程序来执行各种操作。

根据情况在RAM803中存储要由CPU801执行的程序和各种数据。CPU801、ROM802和RAM803通过总线804彼此连接。

输入/输出接口805也经由总线804连接到CPU801。诸如触摸板、键盘、鼠标或麦克风的输入单元806和使用显示器等形成的输出单元807连接到输入/输出接口805。CPU801根据通过输入单元806输入的指令来执行各种操作。CPU801向输出单元807输出操作结果。

使用例如硬盘来形成连接到输入/输出接口805的记录单元808，并且记录单元808记录要由CPU801执行的程序和各种数据。通信单元809经由诸如网络的有线或无线通信介质或数字广播来与外部装置进行通信，该网络例如是因特网或局域网。替代地，计算机装置80可以经由通信单元809来获得程序，并且在ROM802或记录单元808上记录程序。

当安装作为磁盘、光盘、磁光盘或半导体存储器等的可装卸介质85时，驱动器810驱动该介质以获得记录的程序或记录的数据。在必要时，所获得的程序或数据被传送到ROM802、RAM803或记录单元808。

CPU801读取和执行用于执行上述系列操作的程序，以对于在记录单元808或可装卸介质85上记录的图像信号和经由通信单元809供应的图像信号执行编码操作，并且对于压缩的图像信息执行解码操作。

[6.对于电子设备的应用]

在上述的示例中，H.264/AVC被用作编码/解码方法。然而，本技术可以被应用到图像编码装置和图像解码装置，该图像编码装置和图像解码装置使用用于执行运动预测/补偿操作的其他编码/解码方法。

此外，本技术可以被应用到当下述时间使用的图像编码装置和图像解码装置：像在MPEG或H.26x等中那样通过诸如离散余弦变换和运动补偿的正交变换而压缩的图像信息（比特流）经由诸如卫星广播、有线TV（电视）、因特网或便携电话装置的网络介质被接收，或者在诸如光盘或磁盘或快闪存储器的存储介质中被处理。

下面是上述的图像编码装置10或图像解码装置50被应用到的电子设备的说明。

图19示意地示出了本技术被应用到的电视设备的示例结构。电视设备90包括天线901、调谐器902、去复用器903、解码器904、视频信号处理单元905、显示单元906、音频信号处理单元907、扬声器908和外部接口单元909。电视设备90进一步包括控制单元910和用户接口单元911等。

调谐器902从在天线901处接收的广播波信号选择期望的频道，并且执行解调。结果产生的流被输出到去复用器903。

去复用器903从流提取要观看的表演的视频和音频分组，并且向解码器904输出所提取的分组的数据。去复用器903也向控制单元910输出诸如EPG（电子节目指南）的数据的分组。当执行加扰时，去复用器等消除加扰。

解码器904执行分组解码操作，并且向视频信号处理单元905输出通过解码操作产生的视频数据，并且向音频信号处理单元907输出音频数据。

视频信号处理单元905根据用户设置将视频数据进行去噪和视频处理等。视频信号处理单元905产生要在显示单元906上显示的表演的视频数据，或者通过基于经由网络供应的应用的操作来产生图像数据等。视频信号处理单元905也产生用于显示用于项目选择的菜单屏幕等的视频数据，并且将该视频数据叠加在表演的视频数据上。基于以这种方式产生的视频数据，视频信号处理单元905产生驱动信号以驱动显示单元906。

基于来自视频信号处理单元905的驱动信号，显示单元906驱动显示装置（例如，液晶显示元件）以显示表演的视频。

音频信号处理单元907将音频数据进行诸如去噪的预定处理，并且对于经处理的音频数据执行D/A转换操作和放大操作。得出的音频数据作为音频输出被供应到扬声器908。

外部接口单元909是用于与外部装置或网络连接的接口，并且发送和接收诸如视频数据和音频数据的数据。

用户接口单元911连接到控制单元910。使用操作开关和遥控信号接收单元等形成用户接口单元911，并且用户接口单元911向控制单元910供应根据用户操作的操作信号。

使用CPU（中央处理单元）和存储器等来形成控制单元910。存储器存储要由CPU执行的程序、CPU执行操作所需的各种数据、EPG数据和经由网络获得的数据等。CPU在诸如电视设备90的启动时的预定时间读取和执行在存储器中存储的程序。CPU执行该程序以控制相应的部件，使得电视设备90根据用户操作运行。

在电视设备90中，设置了用于将调谐器902、去复用器903、视频信号处理单元905、音频信号处理单元907和外部接口单元909等连接到控制单元910的总线912。

在具有这样的结构的电视设备中，解码器904具有本发明的图像解码装置（图像解码方法）的功能。因此，当在广播站侧的图像编码操作中已经通过根据运动矢量改变滤波特性而产生预测图像数据时，可以通过以与广播站侧相同的方式改变滤波特性来产生预测图像数据。因此，可以在电视设备中执行正确的解码操作，同时防止因为在预测图像的质量上的劣化导致的在压缩效率上的降低。

图20示意地示出了本技术被应用到的便携电话装置的示例结构。便携电话装置92包括通信单元922、音频编码解码器923、相机单元926、图像处理单元927、复用/分离单元928、记录/再现单元929、显示单元930和控制单元931。那些部件经由总线933彼此连接。

此外，天线921连接到通信单元922，并且扬声器924和麦克风925连接到音频编码解码器923。此外，操作单元932连接到控制单元931。

便携电话装置92在诸如音频通信模式和数据通信模式的各种模式中执行各种操作，诸如音频信号的发送和接收、电子邮件和图像数据的发送和接收、图像拍摄和数据记录。

在音频通信模式中，在麦克风925处产生的音频信号被转换为音频数据，并且该数据在音频编码解码器923处被压缩。压缩数据被供应到通信单元922。通信单元922对于音频数据执行调制操作和频率转换操作等，以产生发送信号。通信单元922也向天线921供应发送信号，并且该发送信号被发送到基站（未示出）。通信单元922也放大在天线921处接收的信号，并且执行频率转换操作和解调操作等。得出的音频数据被供应到音频编码解码器923。音频编码解码器923解压缩音频数据，并且将音频数据转换为模拟音频信号。模拟音频信号然后被输出到扬声器924。

当在数据通信模式中执行邮件发送时，控制单元931接收通过操作操作单元932而输入的文本数据，并且在显示单元930上显示输入的文本。根据通过操作单元932的用户指令等，控制单元931产生和向通信单元922供应邮件数据。通信单元922对于邮件数据执行调制操作和频率转换操作等，并且从天线921发送得出的发送信号。通信单元922也放大在天线921处接收的信号，并且执行频率转换操作和解调操作等以解压缩邮件数据。该邮件数据被供应到显示单元930，并且显示邮件的内容。

便携电话装置92可以使得记录/再现单元929向存储介质内存储所接收的邮件数据。存储介质是可重写存储介质。例如，该存储介质可以是诸如RAM或内部快闪存储器的半导体存储器、硬盘或诸如磁盘、磁光盘、光盘、USB存储器或存储卡的可装卸介质。

当在数据通信模式中发送图像数据时，在相机单元926处产生的图像数据被供应到图像处理单元927。图像处理单元927对于图像数据执行编码操作，以产生压缩图像信息。

复用/分离单元928通过预定方法来复用在图像处理单元927处产生的压缩图像信息和从音频编码解码器923供应的音频数据，并且向通信单元922供应复用的数据。通信单元922对于复用的数据执行调制操作和频率转换操作等，并且从天线921发送得出的发送信号。通信单元922也放大在天线921处接收的信号，并且执行频率转换操作和解调操作等以解压缩复用数据。该复用数据被供应到复用/分离单元928。复用/分离单元928划分复用数据，并且向图像处理单元927供应压缩图像信息，并且向音频编码解码器923供应音频数据。

图像处理单元927对于压缩图像信息执行解码操作，以产生图像数据。该图像数据被供应到显示单元930，以显示所接收的图像。音频编码解码器923将音频数据转换为模拟音频信号，并且向扬声器924供应模拟音频信号，使得输出接收的声音。

在具有上面的结构的便携电话装置中，图像处理单元927具有本发明的图像处理装置（图像处理方法）的功能。因此，在例如用于编码要发送的图像的操作中根据运动矢量的大小来改变滤波特性，使得可以限制因为在预测图像的质量上的劣化导致的在压缩效率上的降低。此外，在用于解码所接收的图像的操作中，可以通过以与在编码操作中相同的方式改变滤波特性来产生预测图像数据。因此，可以执行正确的解码操作。

图21示意地示出本技术被应用到的记录/再现设备的示例结构。记录/再现设备94在记录介质上记录所接收的广播表演的音频数据和视频数据，并且根据来自用户的指令在某个时间向用户提供记录的数据。记录/再现设备94也可以例如从另一个设备获得音频数据和视频数据，并且将该数据记录在记录介质上。此外，记录/再现设备94解码和输出在记录介质上记录的音频数据和视频数据，使得监控装置等可以显示图像和输出声音。

记录/再现设备94包括调谐器941、外部接口单元942、编码器943、HDD（硬盘驱动器）单元944、盘驱动器945、选择器946、解码器947、OSD（屏上显示）单元948、控制单元949和用户接口单元950。

调谐器941从在天线（未示出）处接收的广播信号选择期望的频道。调谐器941解调所接收的期望频道的信号，并且向选择器946输出得出的压缩图像信息。

使用IEEE1394接口、网络接口单元、USB接口和快闪存储器接口等的至少一种来形成外部接口单元942。外部接口单元942是用于与外部装置、网络或存储卡等连接的接口，并且接收数据，诸如要记录的视频数据和音频数据等。

在其中还没有编码从外部接口单元942供应的视频数据和音频数据的情况下，编码器943通过预定方法来执行编码操作，并且向选择器946输出压缩图像信息。

HDD单元944在内部硬盘上记录诸如视频和声音的内容数据、各种程序和其他数据，并且在再现等时从硬盘读取数据。

盘驱动器945对于安装的光盘执行信号记录和再现。光盘可以例如是DVD盘（诸如DVD-Video、DVD-RAM、DVD-R、DVD-RW、DVD+R或DVD+RW）或蓝光盘。

选择器946在视频和音频记录时从调谐器941或编码器943选择流，并且向HDD单元944或盘驱动器945供应该流。选择器946也在视频和音频再现时向解码器947供应从HDD单元944或盘驱动器945输出的流。

解码器947对于流执行解码操作。解码器947向OSD单元948供应通过执行解码而产生的视频数据。解码器947也输出通过执行解码而产生的音频数据。

OSD单元948也产生用于显示用于项目选择的菜单屏幕等的视频数据，并且将该视频数据叠加在从解码器947输出的视频数据上。

用户接口单元950连接到控制单元949。使用操作开关和遥控信号接收单元等来形成用户接口单元950，并且用户接口单元950向控制单元949供应根据用户操作的操作信号。

使用CPU和存储器等来形成控制单元949。该存储器存储由CPU执行的程序和CPU执行操作所需的各种数据。在诸如记录/再现设备94的启动时的预定时间处，CPU读取和执行在存储器中存储的程序。CPU执行程序以控制相应的分量，使得记录/再现设备94根据用户操作运行。

在具有上面的结构的记录/再现设备中，编码器943具有本发明的图像处理装置（图像处理方法）的功能。因此，在例如图像记录时在编码操作中根据运动矢量的大小来改变滤波特性，使得可以限制因为在预测图像的质量上的劣化导致的在压缩效率上的降低。此外，在用于解码记录图像的操作中，可以通过以与在编码操作中相同的方式来改变滤波特性来产生预测图像数据。因此，可以执行正确的解码操作。

图22示意地示出了本技术被应用到的成像设备的示例结构。成像设备96拍摄对象的图像，并且使得显示单元显示该对象的图像或在记录介质上将该图像记录为图像数据。

成像设备96包括光学块961、成像单元962、相机信号处理单元963、图像数据处理单元964、显示单元965、外部接口单元966、存储器单元967、介质驱动器968、OSD单元969和控制单元970。用户接口单元971连接到控制单元970。此外，图像数据处理单元964、外部接口单元966、存储器单元967、介质驱动器968、OSD单元969和控制单元970等经由总线972连接。

使用聚集透镜和光圈等来形成光学块961。光学块961在成像单元962的成像表面上形成对象的光学图像。使用CCD或CMOS图像传感器形成的成像单元962通过光电转换根据光学图像来产生电信号，并且向相机信号处理单元963供应该电信号。

相机信号处理单元963对于从成像单元962供应的电信号执行各种相机信号处理，诸如拐点校正、伽马校正和颜色校正。相机信号处理单元963向图像数据处理单元964供应经受相机信号处理的图像数据。

图像数据处理单元964对于从相机信号处理单元963供应的图像数据执行编码操作。图像数据处理单元964向外部接口单元966和介质驱动器968供应通过执行编码操作而产生的压缩图像信息。图像数据处理单元964也对于从外部接口单元966和介质驱动器968供应的压缩图像信息执行解码操作。图像数据处理单元964向显示单元965供应通过执行解码操作而产生的图像数据。图像数据处理单元964也执行用于向显示单元965供应从相机信号处理单元963供应的图像数据的操作，或者在图像数据上叠加从OSD单元969获得的显示数据，并且向显示单元965供应图像数据。

OSD单元969产生使用符号、字符或图形形成的菜单屏幕或诸如图标的显示数据，并且将这样的数据输出到图像数据处理单元964。

外部接口单元966使用例如USB输入/输出端子等被形成，并且当执行图像打印时连接到打印机。驱动器也在必要时连接到外部接口单元966，并且，诸如磁盘或光盘的可装卸介质根据情况被安装在驱动器上。在必要时安装从这样的可装卸介质读取的程序。此外，外部接口单元966包括连接到诸如LAN或因特网的预定网络的网络接口。控制单元970例如根据来自用户接口单元971的指令从存储器单元967读取压缩图像信息，并且可以经由网络向与其连接的另一个设备供应来自外部接口单元966的压缩图像信息。控制单元970也可以经由外部接口单元966来获得压缩图像信息或从另一个设备经由网络供应的图像数据，并且向图像数据处理单元964供应压缩图像信息或图像数据。

要由介质驱动器968驱动的记录介质可以是可读/可重写可装卸介质，诸如磁盘、磁光盘、光盘或半导体存储器。该记录介质可以是任何类型的可装卸介质，并且可以是带装置、盘或存储卡。记录介质当然可以是非接触IC卡等。

替代地，可以集成介质驱动器968和记录介质，并且可以使用诸如内部硬盘驱动器或SSD（固态驱动器）的固定存储介质来形成介质驱动器968和记录介质。

使用CPU和存储器等来形成控制单元970。该存储器存储要由CPU执行的程序和CPU执行操作所需的各种数据等。CPU在诸如成像设备96的启动时的预定时间读取和执行在存储器中存储的程序。CPU执行程序以控制相应的部件，使得成像设备96根据用户操作来运行。

在具有上面的结构的成像设备中，图像数据处理单元964具有本发明的图像处理装置（图像处理方法）的功能。因此，当在存储器单元967或记录介质等中记录拍摄的图像时执行的编码操作中根据运动矢量的大小来改变滤波特性。因此，可以限制因为在预测图像的质量上的劣化导致的在压缩效率上的降低。此外，在用于解码记录图像的操作中，可以通过以与在编码操作中相同的方式来改变滤波特性来产生预测图像数据。因此，可以执行正确的解码操作。

此外，本技术不应当被解释为限于上述实施例。上述实施例通过示例公开了本技术，并且应当显然的是本领域内的技术人员可以在不偏离本技术的范围的情况下修改那些实施例或将那些实施例替换为其他实施例。即，应当在明白本技术的主题的情况下考虑权利要求。

工业适用性

利用本技术的图像处理装置和图像处理方法，通过插值滤波单元来确定当前块的参考图像数据的具有小数像素精度的图像数据。根据当前块的运动矢量的大小来改变插值滤波单元的滤波特性。此外，基于运动矢量，通过使用由插值滤波单元确定的图像数据来执行运动补偿，并且产生预测图像数据。因此，例如，当参考图像数据包含大量高通分量时，或者当运动大小和运动模糊小时，改变滤波特性以便不执行任何滤波操作，并且可以限制因为在预测图像的质量上的劣化导致的在压缩系数上的减小。鉴于上面的情况，本技术适合于当下述时间使用的图像编码装置和图像解码装置等：通过对于每一个块执行编码而获得的压缩图像信息（比特流）经由诸如卫星广播、有线电视广播、因特网或便携电话的网络介质被发送和接收，或者在诸如光盘或磁盘或快闪存储器的存储介质上被处理。

附图标记列表

10…图像编码装置  11…A/D转换器  12、57…屏幕重排缓冲器13…减法单元  14…正交变换单元  15…量化单元16…无损量化单元17、51…累积缓冲器  18…速率控制单元  21、53…逆量化单元  22、54…逆正交变换单元  23、55…相加单元  24、56…去块滤波器  26、61…帧存储器  31、71…帧内预测单元  32…运动预测/补偿单元  33…预测图像/最佳模式选择单元  50…图像解码装置  52…无损解码单元  58…D/A转换器  62、73…选择器  72…运动补偿单元  80…计算机装置  90…电视设备  92…便携电话装置  94…记录/再现设备  96…成像设备  321…运动检测单元  322…模式确定单元  323、722…运动补偿处理单元3231、7221…补偿控制单元  3231a…阈值设置单元  3231b…阈值确定单元  3232、7222…系数表  3233、7223…滤波单元  324、723…运动矢量缓冲器  721…运动矢量组合单元

Claims (8)

1.一种图像处理装置，包括：

插值滤波单元，其被配置来确定当前块的参考图像数据的具有小数像素精度的图像数据；

滤波控制单元，其被配置来根据所述当前块的运动矢量的大小来改变所述插值滤波单元的滤波特性；以及

运动补偿处理单元，其被配置来通过使用由所述插值滤波单元确定的图像数据来执行运动补偿，并且基于所述运动矢量产生预测图像数据。

2.根据权利要求1所述的图像处理装置，其中，所述滤波控制单元当所述运动矢量的大小大于预定阈值时和当所述运动矢量的大小等于或小于所述阈值时，改变所述滤波特性。

3.根据权利要求2所述的图像处理装置，其中，所述滤波控制单元当所述运动矢量具有整数像素精度并且所述运动矢量的大小大于预定阈值时设置用于从所述参考图像数据去除噪声的特性，并且当所述运动矢量的大小等于或小于所述阈值时设置用于不执行滤波处理的特性。

4.根据权利要求2所述的图像处理装置，其中，所述滤波控制单元根据在用于产生所述预测图像数据的帧和要在所述运动补偿中使用的参考图像数据的帧之间在时间方向上的距离来改变所述阈值。

5.根据权利要求4所述的图像处理装置，其中，所述滤波控制单元当所述距离变得更长时使得所述阈值更大。

6.根据权利要求2所述的图像处理装置，其中，所述滤波控制单元使得所述阈值为零。

7.根据权利要求2所述的图像处理装置，其中，所述滤波控制单元使用从所述压缩图像信息获得的阈值或基于从所述压缩图像信息获得的阈值产生信息而产生的阈值。

8.一种图像处理方法，包括：

插值滤波步骤，其确定当前块的参考图像数据的具有小数像素精度的图像数据；

滤波控制步骤，其根据所述当前块的运动矢量的大小来改变所述插值滤波步骤的滤波特性；以及

运动补偿处理步骤，其通过使用在所述插值滤波步骤中确定的图像数据来执行运动补偿，并且基于所述运动矢量产生预测图像数据。

Images