CN102668570B - 图像处理设备及其方法 - Google Patents

Abstract

公开的是图像处理设备及其方法，能改善解码图像的图像质量且还能关于运动补偿改善将要参考的图像的图像质量。蚊式噪声滤波器（114）设置在运动补偿环内，运动补偿环至少包括计算单元（13）、正交变换单元（111）、量化单元（112）、逆量化单元（18）、逆正交变换单元（19）、计算单元（20）、帧存储器（22）、开关（23）、运动预测和补偿单元（25）和预测图像选择单元（26）。蚊式噪声滤波器（114）采用来自正交变换单元（111）、量化单元（112）和无损编码单元（113）的信息来确定是否应用用于消除蚊式噪声的滤波处理。所公开的图像处理设备及其方法可以应用到诸如基于H.264/AVC编码图像的图像编码设备。

Description

图像处理设备及其方法

技术领域

本发明涉及图像处理设备和方法，更特别地，涉及通过去除蚊式噪声（mosquito noise）来提高编码效率的图像处理设备和方法。

背景技术

近年来，有些设备已经投入广泛应用，这些设备采用编码格式操纵图像信息作为数字信号对图像进行压缩编码，此时，通过例如离散余弦变换等的正交变换和运动补偿，利用图像信息特有的冗余，压缩图像，以便在那时执行高度有效的信息传输和存储。这种编码方法的范例包括MPEG（动态图像专家组）等。

具体而言，MPEG2（ISO/IEC 13818-2）被定义为通用图像编码格式，是涵盖隔行扫描图像和顺序扫描图像、以及标准分辨率图像和高清晰度图象的标准。例如，MPEG2现在被很宽范围的应用用于专业用途和消费用途。通过采用MPEG2压缩格式，例如，对于具有720×480像素的标准分辨率的隔行扫描图像，分配4到8Mbps的代码量（比特率）。此外，通过采用MPEG2压缩格式，例如，对于具有1920×1088像素的高分辨率的隔行扫描图像，分配18到22Mbps的代码量（比特率）。于是，可以实现高压缩率和优异的图像质量。

利用MPEG2，主要采用适于广播用途的高图像质量编码作为对象，但不处理比MPEG1的代码量低的代码量（比特率），即不处理压缩率更高的格式。根据个人数字助理的普及，预计从现在起对这种编码格式的需求将增加，响应于此，已经进行了MPEG4编码格式的标准化。对于图像编码格式，在1998年12月将其规格确认为国际标准ISO/IEC 14496-2。

此外，近年来，称为H.26L（ITU-T Q6/16VCEG）的标准（最初旨在用于视频会议用途的图像编码）的标准化已经取得进展。对于H.26L，已知与常规编码格式例如MPEG2或MPEG4相比，尽管其编码和解码需要更大计算量，但实现了更高的编码效率。此外，当前，作为MPEG4活动的一部分，为了以这种H.26L作为基础也利用H.26L不支持的功能，以实现更高的编码效率，已经进行了标准化作为增强压缩视频编码的联合模型。作为标准化的时间表，H.264和MPEG-4Part10（高级视频编码，下文称为264/AVC）在2003年3月成为国际标准。

图1是方框图，示出了以基于H.264/AVC的压缩图像作为输出的图像编码设备的配置范例。

对于图1中的范例，图像编码设备1具有A/D转换单元11、屏幕重新布置缓存器12、计算单元13、正交变换单元14、量化单元15、无损编码单元16和存储缓存器17、逆量化单元18、逆正交变换单元19、计算单元20、去块效应滤波器21、帧存储器22、开关23、帧内预测单元24、运动预测/补偿单元25、预测图像选择单元26和速率控制单元27。

A/D转换单元11执行输入图像的A/D转换并输出到屏幕重新布置缓存器12且存储。屏幕重新布置缓存器12将按照存储顺序的用于显示的帧图像重新布置成用于根据GOP（图像组）编码的帧的顺序。

计算单元13从从屏幕重新布置缓存器12读出的图像减去预测图像选择单元26选择的来自帧内预测单元24的预测图像或来自运动预测/补偿单元25的预测图像，并向正交变换单元14输出其差异信息。正交变换单元14对来自计算单元13的差异信息进行正交变换，例如离散余弦变换、Karhunen-Loéve变换等，并输出其变换系数。量化单元15对正交变换单元14输出的变换系数进行量化。

将充当量化单元15输出的量化变换系数输入到无损编码单元16，并对其进行无损编码，例如可变长度编码、算术编码等，从而进行压缩。

无损编码单元16从帧内预测单元24获得表示帧内预测的信息，并从运动预测/补偿单元25获得表示帧间预测模式等的信息。注意，在下文中，表示帧内预测的信息和表示帧间预测的信息也将分别称为帧内预测模式信息和帧间预测模式信息。

无损编码单元16对量化变换系数进行编码，还对表示帧内预测的信息、表示帧间预测模式的信息等编码，并在压缩图像中将这些作为标头信息的一部分。无损编码单元16向存储缓存器17供应编码的数据加以存储。

例如，利用无损编码单元16，进行无损编码处理，例如可变长度编码、算术编码等。可变长度编码的范例包括H.264/AVC格式规定的CAVLC（前后自适应可变长度编码）。算术编码的范例包括CABAC（前后自适应二进制算术编码）。

存储缓存器17将无损编码单元16供应的数据（作为由H.264/AVC格式编码的压缩图像）输出到解码侧，例如，图中未示出的下游的记录设备或传输路径等。

此外，量化单元15输出的量化变换系数还被输入到逆量化单元18，加以逆量化，然后进一步在逆正交变换单元19经历逆正交变换。由计算单元20将受到逆正交变换的输出添加到从预测图像选择单元26供应的预测图像，并变为局部解码的图像。去块效应滤波器21去除解码图像的块噪声，然后供应给帧存储器22加以存储。受到去块效应滤波器21的去块效应滤波处理之前的图像也被供应给帧存储器22加以存储。

开关23向运动预测/补偿单元25或帧内预测单元24输出帧存储器22中存储的参考图像。

利用这种图像编码设备1，例如，将来自屏幕重新布置缓存器12的I图片、B图片和P图片供应给帧内预测单元24作为要进行帧内预测的图像（也称为帧内处理）。此外，将从屏幕重新布置缓存器12读出的B图片和P图片供应给运动预测/补偿单元25作为经历帧间预测（也称为帧间处理）的图像。

帧内预测单元24基于从屏幕重新布置缓存器12读出的要进行帧内预测的图像和从帧存储器22供应的参考图像进行所有候选帧内预测模式的帧内预测处理，以产生预测图像。

此时，帧内预测单元24针对所有候选帧内预测模式计算成本函数值，并选择所计算的成本函数值提供最小值的帧内预测模式，作为最佳帧内预测模式。

帧内预测单元24向预测图像选择单元26供应在最佳帧内预测模式中产生的预测图像及其成本函数值。在预测图像选择单元26选择了在最佳帧内预测模式中产生的预测图像时，帧内预测单元24向无损编码单元16供应表示最佳帧内预测模式的信息。无损编码单元16对这个信息进行编码，并采用其作为压缩图像中的标头信息的一部分。

从屏幕重新布置缓存器12读出的经历帧间处理的图像和参考图像经由开关23从帧存储器22供应到运动预测/补偿单元25。运动预测/补偿单元25以所有候选帧间预测模式进行块的运动预测以产生每个块的运动矢量。

运动预测/补偿单元25使用每个块的预测运动矢量计算对于所有候选帧间预测模式的成本函数值。运动预测/补偿单元25确定计算的成本函数值中提供最小值的块的预测模式作为最佳帧间预测模式。

运动预测/补偿单元25向预测图像选择单元26供应所确定的最佳帧间预测模式的要处理的块的预测图像及其成本函数值。在预测图像选择单元26选择了最佳帧间预测模式的要处理块的预测图像时，运动预测/补偿单元25向无损编码单元16输出表示最佳帧间预测模式的信息（帧间预测模式信息）。

此时，还向无损编码单元16输出运动矢量信息、参考帧信息等。无损编码单元16还对来自运动预测/补偿单元25的信息进行无损编码处理，例如可变长度编码、算术编码等，并***到压缩图像的标头部分中。

预测图像选择单元26基于从帧内预测单元24或运动预测/补偿单元25输出的每个成本函数值确定最佳帧内预测模式和最佳帧间预测模式中的最佳预测模式。预测图像选择单元26然后选择所确定的最佳预测模式的预测图像，并供应给计算单元13和20。此时，预测图像选择单元26向帧内预测单元24或运动预测/补偿单元25供应预测图像的选择信息。

速率控制单元27基于存储缓存器17中存储的压缩图像控制量化单元15的量化操作速率，以既不导致溢出也不导致下溢（underflow）。

图2是方框图，示出了与图1的图像编码设备对应的图像解码设备的配置范例。

对于图2中的范例而言，图像解码设备31配置有存储缓存器41、无损解码单元42、逆量化单元43、逆正交变换单元44、计算单元45、去块效应滤波器46、屏幕重新布置缓存器47、D/A转换单元48、帧存储器49、开关50、帧内预测单元51、运动补偿单元52和开关53。

存储缓存器41存储所传输的压缩图像。逆解码单元42对存储缓存器41供应的图1中的无损编码单元16编码的信息（具有无损编码单元16的编码格式对应的格式）进行解码。逆量化单元43对无损解码单元42解码的、具有与图1中的量化单元15的量化格式对应的格式的图像进行逆量化。逆正交变换单元44对逆量化单元43的输出（具有与图1中正交变换单元14的正交变换格式对应的格式）进行逆正交变换。

受到逆正交变换的输出从计算单元45添加到从开关53供应的预测图像并解码。去块效应滤波器46去除解码图像的块噪声，然后供应给帧存储器49加以存储，还输出到屏幕重新布置缓存器47。

屏幕重新布置缓存器47进行图像的重新布置。具体而言，通过图1中的屏幕重新布置缓存器12为编码次序而重新布置的帧次序被重新布置成原始显示次序。D/A转换单元48对屏幕重新布置缓存器47供应的图像进行D/A转换，输出到未示出的显示器加以显示。

开关50从帧存储器49读出要进行帧间处理的图像以及要参考的图像，输出到运动补偿单元52，还从帧存储器49读出要进行帧内预测的图像并供应到帧内预测单元51。

从无损解码单元42向帧内预测单元51供应对标头信息解码获得表示帧内预测模式的信息。帧内预测单元51基于该信息产生预测图像，并向开关53输出所产生的预测图像。

在对标头信息进行解码所获得的信息中，从无损解码单元42向运动补偿单元52供应帧间预测模式信息、运动矢量信息、参考帧信息等。为每个宏块发送帧间预测模式信息。针对每个要处理的块发送运动矢量信息和参照帧信息。

运动补偿单元52按为无损解码单元42供应的帧间预测模式信息指出的预测模式使用从无损解码单元42供应的运动矢量信息、参考帧信息等以产生与要处理的块对应的预测图像的像素值。经由开关53向计算单元45供应所产生的预测图像的像素值。

开关53选择运动补偿单元52或帧内预测单元51产生的预测图像并供应给计算单元45。

此外，作为这种H.264/AVC的扩展，在2005年2月完成了FRExt（逼真度范围扩展）的标准化，包括商业应用所需的编码工具，例如MPEG-2规定的RGB、4:2:2或4:4、8×8DCT和量化矩阵。于是，可以将H.264/AVC用作即使电影中包括影片噪声时仍然能够适当表达的编码格式，并开始用于宽范围的应用，例如蓝光盘（注册商标）等。

不过，当前，对进一步高压缩编码的需求已经增加，例如意图压缩大约4000×2000像素的图像，这是高视觉图像的四倍，或者，对于进一步高压缩编码的需求已经增加，例如，意图在传输能力有限的环境之内，例如因特网内分布高视觉图像。因此，在ITU-T控制下利用上述VCEG（=视频编码专家组），已经连续进行了与改善编码效率相关的研究。

作为改进这种编码效率的技术，在PTL 1中提出了一种称为自适应环路滤波器（ALF（自适应环路滤波器））的技术。

图3是方框图，示出已经应用了自适应环路滤波器的图像编码设备的配置范例。注意，对于图3中的范例，为了描述方便，省略了图1中的A/D转换单元11、屏幕重新布置缓存器12、存储缓存器17、开关23、帧内预测单元24、预测图像选择单元26和速率控制单元27。而且，也省略了箭头等。因此，在图3中的范例的情况中，直接向运动预测/补偿单元25输入来自帧存储器22的参考图像，直接向计算设备13和20输出来自运动预测/补偿单元25的预测图像。

具体而言，图3中的图像编码设备61与图1中的图像编码设备1不同之处仅在于，在去块效应滤波器21和帧存储器22之间增加自适应环路滤波器71。

自适应环路滤波器71进行自适应环路滤波器系数的计算，以便最小化来自屏幕重新布置缓存器12（附图被省略）的原始图像的剩余误差，并使用这个自适应环路滤波器系数对来自去块效应滤波器21的解码图像进行滤波处理。对于这种滤波器，例如，采用维纳滤波器（Wiener Filter）。

而且，自适应环路滤波器71向无损编码单元16发送计算的自适应环路滤波器系数。无损编码单元16对这个自适应环路滤波器系数执行无损编码处理，例如可变长度编码、算术编码等，并***压缩图像的标头部分中。

图4是方框图，示出与图3的图像编码设备对应的图像解码设备的配置范例。注意，对于图4中的范例，为了描述方便，省略了图2中的存储缓存器41、屏幕重新布置缓存器47、D/A转换单元48、开关50、帧内预测单元51和开关53。而且，也省略了箭头等。因此，在图4中的范例的情况下，直接向运动补偿单元52输入来自帧存储器49的参考图像，直接向计算单元45输出来自运动补偿单元52的预测图像。

具体而言，图4中的图像解码设备81与图2中的图像解码设备31不同之处仅在于，在去块效应滤波器46和帧存储器49之间增加自适应环路滤波器91。

向自适应环路滤波器91供应在无损解码单元42处解码并从标头提取的自适应环路滤波器系数。自适应环路滤波器91使用供应的滤波器系数对来自去块效应滤波器46的解码图像进行滤波处理。对于这种滤波器，例如，采用维纳滤波器。

于是，可以改善解码图像的图像质量，此外还可以改善参考图像的图像质量。

现在，对于以上H.264/AVC格式，宏块尺寸为16×16像素。不过，对于大图像帧，例如UHD（超高清晰度；4000×2000像素），16×16像素的宏块大小不是最佳的，大图像帧将由下一代编码格式处理。

因此，利用NPL2等，已经提出了扩大宏块尺寸到例如32×32像素的尺寸。

引用列表

非专利文献

NPL 1：Takeshi.Chujoh等人，“Block-based Adaptive LoopFilter”ITU-T SG16 Q6 VCEG Contribution,A118,Germany,July,2008

NPL 2：“Video Coding Using Extended Block Sizes”，VCEG-AD09，ITU-Telecommunications Standardization SectorSTUDY GROUP Question 16-Contribution 123,January 2009。

发明内容

技术问题

现在，由于在进行块基础的编码（例如MPEG）时可能导致的图像质量劣化，蚊式噪声（失真）以及块噪声（失真）可能被参考。利用图1中的图像编码设备1和图2中的图像解码设备31，尽管可以在运动补偿环内由去块效应滤波器21去除块噪声，但是难以去除蚊式噪声。

此外，如NPL2所述，对于尺寸大于常规H.264/AVC格式的宏块，例如32×32像素、64×64像素等，例如，在采用16×16像素增量的正交变换的情况下，就图像质量而言，这种蚊式噪声可能出现得更显著。

已经考虑到这种情况做出了本发明，根据本发明，可以通过消除蚊式噪声来改善编码效率。

问题的解决方案

根据本发明第一方面的一种图像处理设备包括：滤波处理装置，配置成在图像的运动补偿环内，在根据宏块的编码信息中的句法元素和正交变换尺寸的控制下对所述图像中的要处理的所述宏块执行用于去除蚊式噪声的滤波处理；以及编码装置，配置成对所述图像和所述编码信息进行编码。

所述编码信息中的句法元素可以包括关于所述宏块的生成码量和量化位阶。

所述滤波处理装置可以包括：阈值确定装置，配置成根据所述宏块的正交变换尺寸确定阈值；难度水平参数计算装置，配置成利用与关于所述宏块的所述生成码量和量化位阶相关的信息计算所述宏块的难度水平参数；以及滤波处理控制装置，配置成进行控制，以便在由所述难度水平参数计算装置计算的所述难度水平参数大于由所述阈值确定装置确定的所述阈值的情况下，对所述宏块进行所述滤波处理。

所述阈值可以包括用户能够设置的偏离值。

所述滤波处理装置可以使用生成比特作为与所述生成码量相关的信息。

在将CABAC用作无损编码格式的情况下，所述滤波处理装置可以使用生成比特或生成二进元作为与所述生成码量相关的信息。

所述编码信息中的句法元素可以包括所述宏块中的量化参数以及量化之后的非零正交变换系数的数量。

所述滤波处理装置可以包括：阈值确定装置，配置成根据所述宏块的正交变换尺寸和量化参数确定阈值；以及滤波处理控制装置，配置成进行控制，以便在量化之后的非零正交变换系数的所述数量大于所述阈值确定装置确定的所述阈值的情况下，对所述宏块进行所述滤波处理。

所述阈值可以包括用户能够设置的偏离值。

所述编码信息中的句法元素可以包括关于所述宏块的运动矢量信息。

所述滤波处理装置可以关于所述宏块中包括的像素值，以要处理的像素为中心，利用具有预定窗口尺寸的二维滤波器执行平滑化处理作为所述滤波处理。

根据本发明的第一方面的一种图像处理方法包括如下步骤：利用图像处理设备的滤波处理装置，在图像的运动补偿环内，在根据宏块的编码信息中的句法元素和正交变换尺寸的控制下对所述图像中的要处理的所述宏块执行用于去除蚊式噪声的滤波处理；以及利用编码装置对所述图像和所述编码信息进行编码。

对于本发明的第一方面，在图像的运动补偿环内，在根据宏块的正交变换尺寸的控制下，对图像中的要处理的宏块执行用于去除蚊式噪声的滤波处理，且该图像和编码信息被编码。

根据本发明的第二方面的一种图像处理设备包括：滤波处理装置，配置成在图像的运动补偿环内，在根据宏块的编码信息中的句法元素和正交变换尺寸的控制下对所述图像中的要处理的所述宏块执行用于去除蚊式噪声的滤波处理；以及解码装置，配置成对已经编码的所述图像和所述编码信息进行解码。

根据本发明的第二方面的一种图像处理方法包括如下步骤：利用图像处理设备的滤波处理装置，在图像的运动补偿环内，在根据宏块的编码信息中的句法元素和正交变换尺寸的控制下对所述图像中的要处理的所述宏块执行用于去除蚊式噪声的滤波处理；以及利用解码装置对已经编码的所述图像和所述编码信息进行解码。

对于本发明的第二方面，在图像的运动补偿环内，在根据宏块的正交变换尺寸的控制下对图像中的要处理的宏块执行用于去除蚊式噪声的滤波处理，且所编码的图像和所编码的编码信息被解码。

注意，以上的图像处理设备可以是独立设备或者是构成一个图像编码设备或图像解码设备的内部模块。

本发明的有益效果

根据本发明，可以消除蚊式噪声。此外，根据本发明，可以改善解码图像和参考图像的图像质量。因此，可以提高编码效率。

附图说明

图1是方框图，示出采用H.264/AVC格式的图像编码设备的配置范例。

图2是方框图，示出采用H.264/AVC格式的图像解码设备的配置范例。

图3是方框图，示出已经应用了自适应环路滤波器的图像编码设备的配置范例。

图4是方框图，示出已经应用了自适应环路滤波器的图像解码设备的配置范例。

图5是方框图，示出已经应用了本发明的图像编码设备实施例的配置。

图6是用于说明正交变换的增量的范例的图。

图7是用于说明执行4×4正交变换的宏块处理的图。

图8是示出通过蝶形计算实现整数变换和逆整数变换的方法的图。

图9是用于说明去块效应滤波器的操作原理的图。

图10是用于说明定义Bs的方法的图。

图11是用于说明去块效应滤波器的操作原理的图。

图12是示出indexA和indexB之间的相关性范例以及α和β的值的图。

图13是示出Bs、indexA和tCO之间的相关性范例的图。

图14是示出宏块范例的图。

图15是示出图5中的蚊式噪声滤波器的配置范例的方框图。

图16是示出图5中的蚊式噪声滤波器的另一配置范例的方框图。

图17是说明图5中的图像编码设备的编码处理的流程图。

图18是说明图17中的步骤S23中的帧内预测处理的流程图。

图19是说明图17中的步骤S24中的运动预测/补偿处理的流程图。

图20是说明图17中的步骤S20中的蚊式噪声滤波处理的范例的流程图。

图21是说明图17中的步骤S20中的蚊式噪声滤波处理的另一范例的流程图。

图22是方框图，示出已经应用了本发明的图像解码设备实施例的配置。

图23是说明图22中的图像解码设备的解码处理的流程图。

图24是说明图23中的步骤S140中的预测处理的流程图。

图25是示出计算机硬件配置范例的方框图。

图26是示出已经应用本发明的电视接收机的基本配置范例的方框图。

图27是方框图，示出已经应用了本发明的蜂窝电话的基本配置范例。

图28是方框图，示出已经应用了本发明的硬盘记录器的基本配置范例。

图29是方框图，示出已经应用了本发明的摄像机的基本配置范例。

具体实施方式

在下文中，将参考附图描述本发明的实施例。

[图像编码设备的配置范例]

图5示出应用本发明的用作图像处理设备的图像编码设备实施例的配置。

图5中的图像编码设备101与图1中的图像编码设备1的相同之处在于提供了A/D转换单元11、屏幕重新布置缓存器12、计算单元13、存储缓存器17、逆量化单元18、逆正交变换单元19、计算单元20、去块效应滤波器21、帧存储器22、开关23、帧内预测单元24、运动预测/补偿单元25、预测图像选择单元26和速率控制单元27。

此外，图5中的图像编码设备101与图1中的图像编码设备1的不同之处在于分别用正交变换单元111、量化单元112和无损编码单元113替换正交变换单元14、量化单元15和无损编码单元16，还在于增加了图3中的自适应环路滤波器71和蚊式噪声滤波器114。

具体而言，以与图1中的正交变换单元14相同的方式，正交变换单元111对来自计算单元13的差异信息进行正交变换，例如离散余弦变换、Karhunen-Loéve变换等，并向量化单元112供应其变换系数。与图1中的正交变换单元14相对照，正交变换单元111还向蚊式噪声滤波器114供应与向每个宏块应用4×4正交变换和8×8正交变换中的哪种相关的信息（正交变换尺寸）。

量化单元112以与图1中的量化单元15相同的方式对正交变换单元111输出的变换系数进行量化并向无损编码单元113供应量化变换系数。此外，与图1中的量化单元15相对照，量化单元112向蚊式噪声滤波器114供应与每个宏块相关的量化值。

无损编码单元113以与图1中的无损编码单元16相同的方式对量化的变换系数进行编码，还对表示帧内预测的信息、表示帧间预测模式的信息等进行编码，以将这些作为压缩图像中的标头信息的一部分，并向存储缓存器17供应编码数据加以存储。注意，此时，无损编码单元113还对自适应环路滤波器71计算的滤波器系数进行编码（例如图3中的情况）以将其作为压缩图像中的标头信息的一部分。

此外，与图1中的无损编码单元16相对照，无损编码单元113向蚊式噪声滤波器114供应与每个宏块产生的码量相关的信息。

在自适应环路滤波器71之前，去块效应滤波器21之后提供蚊式噪声滤波器114。具体而言，在计算单元13、正交变换单元111、量化单元112、逆量化单元18、逆正交变换单元19、计算单元20、去块效应滤波器21、自适应环路滤波器71、帧存储器22、开关23、运动预测/补偿单元25和预测图像选择单元26构成的运动补偿环路之内提供蚊式噪声滤波器114。亦即，由运动补偿环路之内的环路使用图像。

蚊式噪声滤波器114使用来自正交变换单元111、量化单元112和无损编码单元113的信息判断是否进行滤波处理以去除蚊式噪声。

在执行滤波处理的情况下，蚊式噪声滤波器114对去块效应滤波器21之后的解码图像进行滤波处理以去除蚊式噪声，并向自适应环路滤波器71输出受到滤波处理的图像。在不执行滤波处理的情况下，蚊式噪声滤波器114向自适应环路滤波器71无变化地输出去块效应滤波器21之后的解码图像。

[正交变换的描述]

接下来，将详细描述上述的每种处理。首先，将参考图6描述正交变换。

对于MPEG2编码格式，利用8×8像素作为增量执行用于正交变换的处理。另一方面，与AVC编码格式以相同方式执行正交变换的图像编码设备101在基线档次（profile）、主要档次和扩展档次中以4×4像素为增量执行正交变换。而且，在高或更高档次中，在增大宏块时，图像编码设备101能够在图6中A所示的以4×4像素为增量的正交变换和图6中B所示的以8×8像素为增量的正交变换之间切换。

[4×4正交变换]

首先，将描述4×4正交变换格式。以4×4像素为增量的正交变换具有以下特征。

第一个特征是，对于MPEG2编码格式，可以在特定范围之内针对每种编码格式自由设置变换的计算精确度，因此必须针对逆变换中的失配采取措施，但利用本方法，变换和逆变换都是标准中规定的，因此不必为失配采取这样的措施。

第二个特征是实现了16位（bit）寄存器的实施，从而可以利用低功耗型数字信号处理器（DSP（数字信号处理器）)，例如用于便携式终端等的处理器，实现计算。

第三个特征是，尽管对于利用8×8像素增量的正交变换的编码方法，例如MPEG2等，观测到了高频系数处量化误差导致的蚊式噪声，但利用本方法不能可读地观测到这种蚊式噪声。

图7示出正交变换和量化处理的概况。亦即，将一个宏块中包括的亮度信号的16×16像素和色差信号的8×8像素都分成图7中所示的4×4像素块，对其每个块进行整数变换处理和量化处理。此外，对于色差信号，如图7中所示，产生仅收集直流分量的2×2矩阵，对这些矩阵进行2阶阿达马变换和量化处理。

而且，在当前宏块是帧内16×16模式时，如图7中所示，产生仅收集直流分量的4×4矩阵，对这些矩阵进行4阶阿达马变换和量化。

4阶正交变换处理可以描述于下面的表达式（1）中。

[数学表达式1]

$\left[Y\right]=\left[A\right]\left[X\right]{\left[A\right]}^T=\left[\begin{array}{cccc}a& a& a& a\\ b& c& -c& -b\\ a& -a& -a& a\\ c& -b& b& -c\end{array}\right]\left[X\right]\left[\begin{array}{cccc}a& b& a& c\\ a& c& -a& -b\\ a& -c& -a& b\\ a& -b& a& -c\end{array}\right]$

其中

$a=\frac{1}{2},$ $b=\sqrt{\frac{1}{2}}\cos \left(\frac{\mathrm{\π}}{8}\right),c=\sqrt{\frac{1}{2}}\cos \left(\frac{3\mathrm{\π}}{8}\right)...\left(1\right)$

以下表达式（2）是能够从这个表达式（1）产生的变体。

[数学表达式2]

$\left[Y\right]=\left(\right[C\left]\right[X\left]{\left[C\right]}^T\right)\⊗\left[E\right]$

其中 $a=\frac{1}{2},$ $b=\sqrt{\frac{2}{5}},$ $d=\frac{1}{2}...\left(2\right)$

以下表达式（3）是能够从这个表达式（2）产生的进一步变体。

[数学表达式3]

$\left[Y\right]=\left(\right[C_f\left]\right[X\left]{\left[C_f\right]}^t\right)\⊗\left[E_f\right]$

因此，矩阵[C_f]可以表达为以下表达式（4）。

[数学表达式4]

$\left[C_f\right]=\left[\begin{array}{cccc}1& 1& 1& 1\\ 2& 1& -1& -2\\ 1& -1& -1& 1\\ 1& -2& 2& -1\end{array}\right]...\left(4\right)$

亦即，图像编码设备101使用表达式（4）中右侧示出的矩阵作为整数变换矩阵。

因此，可以通过加（加-减）和偏移（移位）来实现整数变换。

此外，从表达式（3），可以将矩阵[Ef］表达为以下表达式（5）。

[数学表达式5]

$\left[E_f\right]=\left[\begin{array}{cccc}{a}^2& \mathrm{ab}/2& a^2& \mathrm{ab}/2\\ \mathrm{ab}& b^2/4& \mathrm{ab}& b^2/4\\ a^2& \mathrm{ab}/2& a^2& \mathrm{ab}/2\\ \mathrm{ab}/2& b^2/4& \mathrm{ab}/2& b^2/4\end{array}\right]...\left(5\right)$

该表达式（5）右侧项是由图像编码设备101针对每个4×4分量执行不同量化处理所实现的。换言之，图像编码设备101通过组合整数变换和量化处理实现正交变换。

而且，可以将逆整数变换表示为以下表达式（6）。

[数学表达式6]

$\left[X^{,}\right]={\left[C_i\right]}^T\left(\right[Y]\⊗[E_i\left]\right)\left[C_i\right]$

因此，表达式（6）右侧可以表达为以下表达式（7）和表达式（8）中那样。

[数学表达式7]

[数学表达式8]

$\left[C_i\right]=\left[\begin{array}{cccc}1& 1& 1& 1\\ 1& 1/2& -1/2& -1\\ 1& -1& -1& 1\\ 1/2& -1& 1& -1/2\end{array}\right]...\left(8\right)$

表达式（7）中右侧示出的矩阵是作为逆量化的结果获得的4×4矩阵，而关于解码图像的4×4矩阵是通过应用表达式（8）右侧所示的逆整数矩阵而计算的。

也可以仅仅通过加（加-减）和偏移（移位）来实现逆整数变换。

图8中的A和图8中的B示出了通过蝶形计算实现整数变换和逆整数变换的技术。

[8×8正交变换]

接下来，将对能用于AVC高和更高档次的8×8正交变换进行描述。

对于图像编码设备101，8×8正交变换定义为仅利用加减和移位计算实现的整数变换，与4×4的情况相同。

首先，图像编码设备101针对水平方向上的八个点进行正交变换的计算并接下来针对垂直方向上的八个点进行变换。

为了简化描述，将描述8阶一维整数变换。

对于输入信号{d0,d1,d2,d3,d4,d5,d6,d7}，首先进行以下表达式（9）到表达式（16）的计算。

e0=d0+d7  ...(9)

e1=d1+d6  ...(10)

e2=d2+d5  ...(11)

e3=d3+d6  ...(12)

e4=d0-d7  ...(13)

e5=d1-d6  ...(14)

e6=d2-d5  ...(15)

e7=d3-d4  ...(16)

接下来，针对{e0,e1,e2,e3,e4,e5,e6,e7}进行以下表达式（17）到表达式（24）的计算。

e'0=e0+e3  ...(17)

e'1=e1+e2  ...(18)

e'2=e0-e3  ...(19)

e'3=e1-e2  ...(20)

e'4=e5+e6+(e4>>1+e4)  ...(21)

e'5=e4-e7-(e6>>1+e6)  ...(22)

e'6=e4+e7-(e5>>1+e5)  ...(23)

e'7=e5-e6+(e7>>1+e7)  ...(24)

此外，针对{e'0,e'1,e'2,e'3,e'4,e'5,e'6,e'7}进行下面的表达式（25）到表达式（32）的计算，获得正交变换的系数{D0，D1,D2,D3,D4,D5,D6,D7}。

D0=e'0+e'1  ...(25)

D2=e'2+e'3>>1  ...(26)

D4=e'0-e'1  ...(27)

D6=e'2>>1-e'3  ...(28)

D1=e'4+e'7>>2  ...(29)

D3=e'5+e'6>>2  ...(30)

D5=e'6-e'5>>2  ...(31)

D7=-e'7+e'4>>2  ...(32)

如下进行从{D0，D1，D2，D3，D4，D5，D6，D7}到{d0，d1，d2，d3，d4，d5，d6，d7}的逆正交变换。

亦即，首先，如以下表达式（34）到表达式（40）那样计算从{D0，D1，D2，D3，D4，D5，D6，D7}到{f0，f1，f2，f3，f4，f5，f6，f7}。

f0=D0+D4  ...(33)

f1=-D3+D5-(D7+D7>>1)  ...(34)

f2=D0-D4  ...(35)

f3=D1+D7-(D3+D3>>1)  ...(36)

f4=D2>>1-D6  ...(37)

f5=-D1+D7+(D5+D5>>1)  ...(38)

f6=D2+D6>>1  ...(39)

f7=D3+D5+(D1+D1>>1)  ...(40)

接下来，如以下表达式（41）到表达式（48）那样计算从{f0，f1，f2，f3，f4，f5，f6，f7}到{f′0，f′1，f′2，f′3，f′4，f′5，f′6，f′7}。

f′0=f0+f6  ...(41)

f′1=f1+f7>>2  ...(42)

f′2=f2+f4  ...(43)

f′3=f3+f5>>2  ...(44)

f′4=f2-f4  ...(45)

f′5=f3>>2-f5  ...(46)

f′6=f0-f6  ...(47)

f′7=f7-f1>>2  ...(48)

最后，如以下表达式（49）到表达式（56）那样计算从{f′0，f′1，f′2，f′3，f′4，f′5，f′6，f′7}到{d0，d1，d2，d3，d4，d5，d6，d7}。

d0=f′0+f′7  ...(49)

d1=f′2+f′5  ...(50)

d2=f′4+f′3  ...(51)

d3=f′6+f′1  ...(52)

d4=f′6-f′1  ...(53)

d5=f′4-f′3  ...(54)

d6=f′2-f′5  ...(55)

d7=f′0-f′7  ...(56)

[去块效应滤波器]

接下来将描述去块效应滤波器。去块效应滤波器21包括在运动补偿环路中，并去除解码图像中的块噪声。因此，抑制了块噪声传播到运动补偿处理参照的图像。

可以由包括在编码数据中的图片参数集RBSP（原始字节序列载荷）中包括的deblocking_filter_control_present_flag和在片段标头中的disable_deblocking_filter_idc两个参数选择用于去块效应滤波器处理的以下三种方法（a）到（c）。

应用到块边界和宏块边界

仅应用到宏块边界

不应用

至于量化参数QP，在向亮度信号应用以下处理的情况下使用QPY，在向色差信号应用的情况下使用QPC。此外，尽管在运动矢量编码、帧内预测和熵编码（CAVLC/CABAC）中将属于不同片段的像素值处理为“不可用”，但是对于去块效应滤波器处理，甚至是属于不同片段的像素值都被处理为“可用”，只要它们属于同一图片。

在下文中，将把去块效应滤波器处理之前的像素值称为p0到p3和q0到q3，把去块效应滤波器处理之后的像素值称为p0'到p3'和q0'到q3'，如图9中所示。

首先，在去块效应滤波器处理之前，如图10中所示的表格那样，为图9中的p和q定义Bs（边界强度）。

在以下表达式（57）和表达式（58）中所示的条件成立的情况下，对图9中的（p2，p1，p0，q0，q1，q2）仅进行去块效应滤波器处理。

Bs>0  ...(57)

|p0-q0|<α;|p1-p0|<β;|q1-10|<β  ...(58)

在默认状态中，表达式（58）中的α和β的值是根据下文所示的QP确定的，但用户能够如图11中图表中箭头所示，通过包括在编码数据片段标头中包括的称为slice_alpha_c0_offset_div2和slice_beta_offset_div2的两个参数调节其强度。

如图12中的表格中所示，从索引A获得α。通过同样的方式，从索引B获得β。利用如下表达式（59）到表达式（61）定义这些索引A（indexA）和索引B（indexB）。

qP_av=(qP_p+qP_q+1)>>1  ...(59)

indexA=Clip3(0,51,qP_av+FilterOffsetA)  ...(60)

indexB=Clip3(0,51,qP_av+FilterOffsetB)  ...(61)

在表达式（60）和表达式（61）中，FilterOffsetA和FilterOffsetB对应于用户的调节量。

对于去块效应滤波器处理，针对Bs<4的情况和Bs=4的情况定义相互不同的方法，如下面将描述的那样。在Bs<4的情况下，如以下表达式（62）到表达式（64）那样获得去块效应滤波器处理之后的像素值p'0和q'0。

Δ=Clip3(-t_c,t_c((((q0-p0)<<2)+(p1-q1)+4)>>3))  ...(62)

p'0=Clip1(p0+Δ)  ...(63)

q'0=Clip1(q0+Δ)  ...(64)

现在，利用以下表达式（65）或表达式（66）计算t_c。亦即，在chromaEdgeFlag的值为“0”的情况下，如以下表达式（65）那样计算t_c。

t_c=t_c0+((a_p<β)?1:0)+((a_p<β)?1:0)  ...(65)

此外，在chromaEdgeFlag的值是“0”之外的值时，如以下表达式（66）那样计算t_c。

t_c=t_c0+1  ...(66)

如图13中A和图13中B中的表格所示，根据Bs和indexA的值定义t_c的值。

此外，如以下表达式（67）和（68）那样计算表达式（65）中的a_p和a_q的值。

a_p=|p2-p0|  ...(67)

a_q=|q2-q0|  ...(68)

如下获得去块效应滤波器处理之后的像素值p'1。亦即，在chromaEdgeFlag的值为“0”且ap的值等于或小于β的情况下，如以下表达式（69）那样获得p'1。

p'1=p1+Clip3(-t_c0,t_c0,(p2+((p0+q0+1)>>1)-(p1<<1))>>1)  ...(69)

此外，在表达式（69）不成立的情况下，如以下表达式（70）那样获得p'1。

p'1=p1  ...(70)

如下获得去块效应滤波器处理之后的像素值q'1。亦即，在chromaEdgeFlag的值为“0”且a_q的值等于或小于β的情况下，如以下表达式（71）那样获得q'1。

q'1=q1+Clip3(-t_c0,t_c0,(q2+((p0+q0+1)>>1)-(q1<<1))>>1)  ...(71)

此外，在表达式（71）不成立的情况下，如以下表达式（72）那样获得q'1。

q'1=q1  ...(72)

在滤波之前，p'2和q'2的值与p2和q2的值相比不变。亦即，如以下表达式（73）那样获得p'2，如以下表达式（74）那样获得q'2。

p'2=p2  ...(73)

q'2=q2  ...(74)

在Bs=4的情况下，如下获得去块效应滤波之后的像素值p'I（i=0..2）。在chromaEdgeFlag的值为“0”且以下表达式（75）中所示的条件成立时，如以下表达式（76）到表达式（78）那样获得p'0、p'1和p'2。

ap<β&&|p0-q0|<((α>>2)+2)  ...(75)

p'0=(p2+2×p1+2×p0+2×q0+q1+4)>>3  ...(76)

p'1=(p2+p1+p0+q0+2)>>2  ...(77)

p'2=(2×p3+3×p2+p1+p0+q0+4)>>3  ...(78)

此外，在表达式（75）中所示的条件不成立的情况下，如以下表达式（79）到（81）那样获得p'0，p'1和p'2。

p'0=(2×p1+p0+q1+2)>>2  ...(79)

p'1=p1  ...(80)

p'2=p2  ...(81)

如下获得去块效应滤波器处理之后的像素值q'i（I=0..2）。亦即，在chromaEdgeFlag的值为“0”且以下表达式（82）中所示的条件成立时，如以下表达式（83）到（85）那样获得q'0，q'1和q'2。

aq<β&&|p0-q0|<((α>>2)+2)  ...(82)

q'0=(p1+2×p0+2×q0+2×q1+q2+4)>>3  ...(83)

q'1=(p0+q0+q1+q2+2)>>2  ...(84)

q'2=(2×q3+3×q2+q1+q0+p4+4)>>3  ...(85)

此外，在表达式（82）中所示的条件不成立的情况下，如以下表达式（86）到（88）那样获得q'0，q'1和q'2。

q'0=(2×q1+q0+p1+2)>>2  ...(86)

q'1=q1  ...(87)

q'2=q2  ...(86)

[扩展宏块的范例]

此外，使宏块尺寸为16像素×16像素对于服务于下一代编码格式的目标的诸如UHD（超高清晰度；4000像素×2000像素）的大图像帧不是最佳的。利用图像编码设备101，如图14中所示，可以使宏块尺寸是例如32像素×32像素或64×64像素的尺寸。

图14是示出NPL 2中提出的块尺寸范例的图示。对于NPL 2，将宏块尺寸扩展到32×32像素。

对于图14中的上层，按照从左侧开始的顺序表示被分成32×32像素、32×16像素、16×32像素和16×16像素的块（分区）的32×32像素构成的宏块。对于图14中的中层，按照从左侧开始的顺序表示被分成16×16像素、16×8像素、8×16像素和8×8像素的块的16×16像素构成的块。此外，对于图14中的下层，按照从左侧开始的顺序表示被分成8×8像素、8×4像素、4×8像素和4×4像素的块的8×8像素构成的块。

亦即，对于32×32像素的宏块，可以进行图14中上层所示的32×32像素、32×16像素、16×32像素和16×16像素的块的处理。

对于上层中右侧所示的16×16像素的块，以与H.264/AVC格式相同的方式，可以进行中层所示的16×16像素、16×8像素、8×16像素和8×8像素的块的处理。

对于中层右侧所示的8×8像素的块，以与H.264/AVC格式相同的方式，可以进行下层所示的8×8像素、8×4像素、4×8像素和4×4像素的块的处理。

可以将这些块归入以下三种层次。具体而言，将把图14中的上层所示的32×32像素、32×16像素和16×32像素的块称为第一层次。将把上层右侧所示的16×16像素块以及中层所示的16×16像素、16×8像素、8×16像素的块称为第二层次。将把中层右侧所示的8×8像素块以及下层所示的8×8像素、8×4像素、4×8像素和4×4像素的块称为第三层次。

采用诸如图14的层次结构，因此，对于等于或小于16×16像素块的块，尽管保持了与当前AVC中的宏块的兼容性，但定义了更大的块作为其超集。

[预测模式的选择]

此外，为了实现更高的编码效率，选择适当的预测模式是重要的。例如，对于图像编码设备101，可以想到用于选择高复杂度模式和低复杂度模式的两模式确定方法的方法。在该方法的情况下，对于任一种模式，计算与每种预测模式相关的成本函数值，并选择使成本函数值最小的预测模式作为用于当前块乃至宏块的可选择模式。

可以如以下表达式（89）那样获得高复杂度模式的成本函数值。

Cost(Mode∈Ω)=D+λ×R  ...(89)

在表达式（89）中，Ω是用于对当前块乃至宏块进行编码的候选模式的全集。此外，D是在利用当前预测模式的模式进行编码的情况下解码图像和输入图像之间的差异能量。此外，λ是作为量化参数的函数给出的拉格朗日乘子。此外，R是在利用当前模式的模式进行编码的情况下的总码量，包括正交变换系数。

亦即，为了利用高复杂度模式执行编码，需要由所有候选模式的模式执行一次试验编码处理，以计算以上参数D和R，这需要更大量的计算。

另一方面，可以如以下表达式（90）所示的那样获得低复杂度模式中的成本函数值。

Cost(Mode∈Ω)=D+QP2Quant(QP)×HeaderBit  ...(90)

在表达式（90）中，与高复杂度模式的情况不同，D是预测图像和输入图像之间的差异能量。此外，QP2Quant（QP）作为量化参数QP的函数给出。此外，HeaderBit是与属于标头但不包括正交变换系数的信息（例如运动矢量和模式）相关的码量。

亦即，在低复杂度模式中，需要与每个候选模式的模式相关地执行预测处理，但不需要全程执行到解码图像，因此不需要全程执行到解码处理。因此，与高复杂度模式相比，能够以更少量的计算实现。

对于高档次，还基于上述高复杂度模式和低复杂度模式之一进行诸如图6所示的4×4正交变换和8×8正交变换之间的选择。

[详细配置范例]

对于以上图像编码设备101而言，向图像编码处理应用蚊式噪声滤波器处理。图像编码设备101包括运动预测/补偿环路之内的蚊式噪声滤波器114，并根据每个宏块的正交变换尺寸控制关于其宏块的滤波处理。

此后将描述蚊式噪声滤波器114的配置细节。蚊式噪声由于高频分量下正交变换系数的量化误差导致了蚊式噪声。

对于H.264/AVC，如上所述，在等于或大于高档次的情况下，可以通过切换宏块增量，来采用图6的A中所示的4×4像素增量的正交变换和图6的B中所示的8×8像素增量的正交变换。此外，如上文参考图14所述，在已经采用了诸如32像素×32像素或64×64像素的尺寸的情况下，还可以考虑引入16×16像素增量的正交变换。不过，对于应用了更大正交变换尺寸的宏块，容易导致蚊式噪声。

此外，尽管在当前宏块中包括的纹理平坦的情况下，不容易造成蚊式噪声，但在当前宏块中包括边缘的情况下，容易导致蚊式噪声。

通过这种方式，对于当前宏块而言是否出现蚊式噪声取决于当前宏块的纹理信息和正交变换尺寸。

对于图5中的蚊式噪声滤波器114，利用是否执行滤波处理以去除蚊式噪声的事实来进行控制。对于这种滤波处理控制，有两种方法。即使对于任一种方法，至少采用正交变换尺寸的信息。

首先将描述第一种方法。对于第一种方法，首先，利用当前宏块中的量化位阶Q和生成比特B如以下表达式（91）那样计算关于当前宏块用作复杂度之一（难度水平参数）的行为X。

X=Q*B...(91)

注意，在无损编码格式为CABAC格式的情况下，可以采用当前宏块的生成二进元（generation bin）代替生成比特。

在这个行为值高时，在当前宏块中包括边缘，即将当前宏块设想为复杂纹理，在行为值低时，将当前宏块设想为平坦区，即简单纹理。

在通过这种方式计算行为X并比较预定阈值Θ（T）的情况下，在以下表达式（92）成立时，对当前宏块中包括的像素值进行用于去除蚊式噪声的滤波处理。

X>Θ(T)+Θ_offset...(92)

在这里，T表示当前宏块尺寸的正交变换尺寸。亦即，根据正交变换尺寸确定阈值Θ。此外，Θ_offset是用户能够设置的偏离值，由此可以设置蚊式噪声滤波器的强度。注意，偏离值可以被省略。

对于阈值Θ，针对更大的正交变换尺寸设置更小阈值，由此蚊式噪声滤波器能够容易地工作。这是因为在正交变换尺寸更大的情况下容易发生蚊式噪声。

接下来将描述第二种方法。对于第二种方法，首先，统计当前宏块中包括的量化处理之后的非零正交变换的数量。在这个数量取为N且这个N满足以下关于预定阈值Θ（QP，T）的表达式（93）时，对当前宏块执行用于去除蚊式噪声的滤波处理。

N>Θ(QP,T)+Θ_offset…(93)

对于表达式（93），Θ_offset也是用户能够设置的偏离值，由此可以设置蚊式噪声滤波器的强度。注意，偏离值可以被省略。

此外，对于预定的量化参数QP，例如如以下表达式（94）那样设置阈值Θ。

Θ(T=4×4,QP)>Θ(T=8×8,QP)>Θ(T=16×16,QP)>......(94)

亦即，对于同样的量化参数QP，将较大的正交变换尺寸设置到较小阈值，因此，蚊式噪声滤波器能够容易地工作。这是因为在更大正交变换尺寸的情况下容易导致蚊式噪声。

此外，关于特定的正交变换尺寸，在设置两个量化参数qp₁和qp₂以具有关系qp₁<qp₂的情况下，如以下表达式（95）那样设置阈值Θ。

Θ(T,qp₁)>Θ(T,qp₂)…(95)

亦即，在已经用更高的量化参数执行编码的情况下，可以想到包括更多量化噪声，容易导致蚊式噪声，因此，通过设置低阈值，蚊式噪声滤波器能够容易地工作。

亦即，在第二种方法的情况下，当正交变换尺寸大或者量化参数高时，将阈值设置得更小，因此，蚊式噪声滤波器能够容易地工作。另一方面，在正交变换尺寸小或者量化参数低时，将阈值设置得更大，因此，防止了蚊式噪声滤波器容易地工作。

如上所述，对于图5中的图像编码设备101，使用关于每个宏块的编码信息，例如正交变换系数、正交变换尺寸、量化值、生成码量等，并控制（判断）是否对当前宏块进行用于去除蚊式噪声的滤波处理。

这里提到的编码信息是被无损编码单元113编码并加入压缩图像的标头且传输到解码侧的句法元素的信息。

注意，本发明的范围不限于以上两种方法。例如，可以使用另一种编码信息（句法元素）用于控制蚊式噪声滤波器。例如，对于静止区域，蚊式噪声容易明显，但对于动态区域，蚊式噪声不易明显，因此，可以通过考虑要由运动预测/补偿单元25搜索的运动矢量信息来进行蚊式噪声滤波器的控制。

如上所述，在已经决定对当前宏块执行用于去除蚊式噪声的滤波处理的情况下，作为去除蚊式噪声的滤波处理，由二维滤波器对所确定的宏块中包括的所有像素值进行平滑化处理，二维滤波器具有预定的窗口尺寸，以要处理的像素作为中心。具体而言，由以下表达式（96）所示的具有3×3窗口尺寸的高斯滤波器执行平滑化处理。

[数学表达式96]

$\frac{1}{16}\left[\begin{array}{ccc}1& 2& 1\\ 2& 4& 2\\ 1& 2& 1\end{array}\right]---\left(96\right)$

注意，对于用于平滑化的滤波器系数，例如，可以计算并采用可变滤波器系数，例如自适应滤波器，取代诸如表达式（96）的固定滤波器系数。在这种情况下，将计算的滤波器系数添加到压缩图像的标头并传输到解码侧。

[蚊式噪声滤波器的配置范例]

图15是示出用于执行第一种方法的蚊式噪声滤波器的配置范例的方框图。

对于图15中的范例，蚊式噪声滤波器114配置有阈值确定单元151、复杂性计算单元152、滤波器控制单元153和滤波处理单元154。

从正交变换单元111向阈值确定单元151供应与当前宏块的正交变换尺寸相关的信息。阈值确定单元151基于当前宏块的正交变换尺寸确定用于去除蚊式噪声的滤波处理的阈值Θ（T）。向滤波器控制单元153供应所确定的Θ（T）的信息。

从量化单元112向复杂性计算单元152供应与当前宏块相关的量化值的信息。从无损编码单元113向复杂性计算单元152供应与当前宏块的产生码量（生成比特）相关的信息。注意，在采用CABAC方法作为无损编码方法的情况下，可以供应生成二进码替代生成比特。

复杂性计算单元152使用以上表达式（91）计算关于当前宏块的复杂性（表达式（91）情况中的行为）并向滤波器控制单元153供应所计算的复杂性值。

滤波器控制单元153利用以上表达式（92）的阈值确定处理来确定是否对当前宏块执行用于去除蚊式噪声的滤波处理，并将其控制信息供应到滤波处理单元154。

将去块效应滤波器处理之后的用作去块效应滤波器21的输出的像素值以及来自滤波器控制单元153的控制信息输入到滤波处理单元154。滤波处理单元154使用例如表达式（96）的滤波器系数，基于来自滤波器控制单元153的控制信息执行滤波处理。滤波处理之后的像素值被输出到自适应环路滤波器71。

图16是示出用于执行第二种方法的蚊式噪声滤波器的配置范例的方框图。

对于图16中的范例，蚊式噪声滤波器114配置有阈值确定单元161、非零系数数量缓存器162、滤波器控制单元163和滤波处理单元164。

将来自正交变换单元111的与当前宏块的正交变换尺寸相关的信息以及来自量化单元112的关于当前宏块的量化值的信息供应给阈值确定单元161。阈值确定单元161基于当前宏块的正交变换尺寸和量化值确定用于去除蚊式噪声的滤波处理的阈值Θ（QP，T）。向滤波器控制单元163供应所确定的阈值Θ（QP，T）的信息。

从量化单元112向非零系数数量缓存器162供应关于当前宏块的量化后的正交变换系数（非零系数）数量的信息用于存储。向滤波器控制单元163供应非零系数数量缓存器162中存储的非零系数数量的信息。

滤波器控制单元163利用以上表达式（93）的阈值确定处理，确定是否从阈值Θ（QP，T）的信息和非零系数数量的信息对当前宏块执行用于去除蚊式噪声的滤波处理，并将其控制信息供给到滤波处理单元164。

将去块效应滤波器处理之后的用作去块效应滤波器21的输出的像素值以及来自滤波器控制单元163的控制信息输入到滤波处理单元164。滤波处理单元164使用例如表达式（96）中的滤波器系数，基于来自滤波器控制单元163的控制信息执行滤波处理。向自适应环路滤波器71输出滤波处理之后的像素值。

[对图像编码设备的编码处理的描述]

接下来，将参考图17中的流程图描述图5中的图像编码设备101的编码处理。

在步骤S11中，A/D转换单元11将输入图像从模拟转换成数字。在步骤S12中，屏幕重新布置缓存器12存储从A/D转换单元11供应的图像并进行从用于显示图片的序列到用于编码的序列的重新布置。

在步骤S13中，计算单元13计算步骤S12中的处理重新布置的图像和预测图像之间的差异。在执行帧间预测的情况下从运动预测/补偿单元25，在执行帧内预测的情况下从帧内预测单元24，分别经由预测图像选择单元26向计算单元13供应预测图像。

与初始图像数据相比，差异数据的数据量更小。因此，与无变化地对初始图像进行编码的情况相比，可以压缩数据量。

在步骤S14中，正交变换单元111对从计算单元13供应的差异信息进行正交变换。具体而言，执行正交变换，例如离散余弦变换、Karhunen-Loéve变换等，并输出变换系数。此时，正交变换单元111向蚊式噪声滤波器114供应每个宏块的正交变换尺寸的信息。

在步骤S15，量化单元112对变换系数进行量化。此时，量化单元112向蚊式噪声滤波器114供应与每个宏块相关的量化值。在这种量化时，控制速率，例如如在步骤528中的后述处理那样。

如下对这样量化的差异信息进行局部解码。具体而言，在步骤S16中，逆量化单元18利用与量化单元112的属性对应的属性对量化单元112量化的变换系数进行逆量化。在步骤S17中，逆正交变换单元19利用与正交变换单元111的属性对应的属性对受到逆量化单元18逆量化的变换系数进行逆正交变换。

在步骤S18中，计算单元20向局部解码的差异信息增加经由预测图像选择单元26输入的预测图像，并产生局部解码图像（与计算单元13的输入对应的图像）。

在步骤S19中，去块效应滤波器21对计算单元20输出的图像进行去块效应滤波。于是，消除了块噪声。向蚊式噪声滤波器114输出来自去块效应滤波器21的解码图像。

在步骤S20中，蚊式噪声滤波器114对去块效应滤波之后的解码图像进行蚊式噪声滤波。稍后将参考图20和图21描述这种蚊式噪声滤波的详情。将来自蚊式噪声滤波器114的图像输出到自适应环路滤波器71。

在步骤S21中，自适应环路滤波器71执行自适应环路滤波。具体而言，自适应环路滤波器71进行自适应环路滤波器系数的计算，以便使来自屏幕重新布置缓存器12的初始图像和来自蚊式噪声滤波器114的图像之间的剩余误差最小化。

自适应环路滤波器71然后使用这种自适应环路滤波器系数对来自蚊式噪声滤波器114的解码图像进行滤波处理。向帧存储器22输出滤波处理之后的解码图像。

此时，自适应环路滤波器71向无损编码单元113发送所计算的自适应环路滤波器系数。在下文描述的步骤S26中由无损编码单元113对自适应环路滤波器系数的信息进行编码，并添加到压缩图像的标头。

在步骤S22中，帧存储器22存储经历滤波的图像。注意，也从计算单元20向帧存储器22供应未经历去块效应滤波器21的滤波处理的图像加以存储。

在从屏幕重新布置缓存器12供应的要处理的图像是要进行帧内处理的块的图像时，从帧存储器22读出要参考的解码图像并经由开关23供应到帧内预测单元24。

基于这些图像，在步骤S23中，帧内预测单元24以充当候选的所有帧内预测模式对要处理的块的像素进行帧内预测。注意，对于要参考的解码像素，采用未经历去块效应滤波器21的去块效应滤波的像素。

尽管将稍后参考图18描述步骤S23中的帧内预测处理的详情，但根据这种处理，以充当候选的所有帧内预测模式进行帧内预测，并针对充当候选的所有帧内预测模式计算成本函数值。基于所计算的成本函数值，然后选择最佳帧内预测模式，向预测图像选择单元26供应最佳帧内预测模式的帧内预测所产生的预测图像及其成本函数值。

在从屏幕重新布置缓存器12供应的要处理图像是要经历帧间处理的图像时，从帧存储器22读出要参考的解码图像并经由开关23供应到运动预测/补偿单元25。基于这些图像，在步骤S24中，运动预测/补偿单元25执行运动预测/补偿处理。

稍后将参考图19描述步骤S24中的运动预测/补偿处理的详情。根据这种处理，以充当候选的所有帧间预测模式执行运动预测处理，针对充当候选的所有帧间预测模式计算成本函数值，并基于所计算的成本函数值，确定最佳的帧间预测模式。然后向预测图像选择单元26供应最佳帧间预测模式所产生的预测图像及其成本函数值。

在步骤S25中，预测图像选择单元26基于从帧内预测单元24和运动预测/补偿单元25输出的成本函数值确定最佳帧内预测模式和最佳帧间预测模式之一作为最佳预测模式。预测图像选择单元26然后选择所确定的最佳预测模式的预测图像，并供应给计算单元13和20。在步骤S13和S18中将这个预测图像用于以上计算。

注意，向帧内预测单元24或运动预测/补偿单元25供应这个预测图像的选择信息。在已经选择了最佳帧内预测模式的预测图像的情况下，帧内预测单元24向无损编码单元16供应表示最佳帧内预测模式的信息（即，帧内预测模式信息）。

在已经选择了最佳帧间预测模式的预测图像时，运动预测/补偿单元25向无损编码单元113输出表示最佳帧间预测模式的信息，此外根据需要，输出根据最佳帧间预测模式的信息。根据最佳帧间预测模式的信息的范例包括运动矢量信息和参考帧信息。

在步骤S26中，无损编码单元113对从量化单元112输出的量化变换系数进行编码。具体而言，对差异图像进行无损编码，例如可变长度编码、算术编码等，并进行压缩。此时，向蚊式噪声滤波器114供应当前宏块的生成比特。注意，在采用CABAC方法作为无损编码方法的情况下，可以供应生成二进元替代生成比特。

此外，此时，还对在以上步骤S21中输入到无损编码单元113的自适应环路滤波器系数以及在以上步骤S25中从帧内预测单元24输入到无损编码单元113的帧内预测模式信息或来自运动预测/补偿单元25的根据最佳帧间预测模式的信息等进行编码并添加到标头信息中。

例如，针对每个宏块对表示帧间预测模式的信息进行编码。针对每个要处理的块对运动矢量信息和参照帧信息进行编码。针对每个片段（slice）对自适应环路滤波器系数编码。

在步骤S27中，存储缓存器17存储差异图像作为压缩图像。适当时读出存储缓存器17中存储的压缩图像并经由传输路径传输到解码侧。

在步骤S28中，速率控制单元27基于存储缓存器17中存储的压缩图像控制量化单元15的量化操作速率从而既不导致溢出也不导致下溢。

[帧内预测处理的描述]

接下来将参考图18中的流程图描述图17的步骤S23中的帧内预测处理。注意，对于图18中的范例，将关于以亮度信号作为范例的情况进行描述。

在步骤S41中，帧内预测单元24在4×4像素、8×8像素和16×16像素的帧内预测模式上进行帧内预测。

对于亮度信号的帧内预测模式，有九种4×4像素和8×8像素块增量以及四种16×16像素宏块增量的预测模式，对于色差信号的帧内预测模式，有四种8×8像素块增量的预测模式。可以独立于亮度信号的帧内预测模式设置色差信号的帧内预测模式。对于亮度信号的4×4像素和8×8像素的帧内预测模式，为4×4像素和8×8像素亮度信号的每个块定义一个帧内预测模式。对于亮度信号的16×16像素的帧内预测模式和色差信号的帧内预测模式，针对一个宏块定义一个预测模式。

具体而言，帧内预测单元24参考从帧存储器22读出并经开关23供应的解码图像对要处理的块的像素进行帧内预测。以每种帧内预测模式进行这种帧内预测处理，因此，产生每种帧内预测模式中的预测图像。注意，对于要参考的解码像素，采用未经历去块效应滤波器21的去块效应滤波的像素。

在步骤S42中，帧内预测单元24针对4×4像素、8×8像素和16×16像素的每种帧内预测模式计算成本函数值。这里，对于用于获得成本函数值的成本函数，采用表达式（89）或表达式（90）的成本函数。

在步骤S43中，帧内预测单元24针对4×4像素、8×8像素和16×16像素的每种帧内预测模式确定对应的最佳模式。亦即，如上所述，在帧内4×4预测模式和帧内8×8预测模式的情况下，有九种预测模式，在帧内16×16预测模式的情况下，有四种预测模式。因此，帧内预测单元24基于在步骤S42中计算的成本函数值，从这些模式中确定最佳帧内4×4预测模式、最佳帧内8×8预测模式和最佳16×16预测模式。

在步骤S44中，帧内预测单元24基于在步骤S42中计算的成本函数值，从针对4×4像素、8×8像素和16×16像素的帧内预测模式确定的最佳模式中选择最佳帧内预测模式，即，从针对4×4像素、8×8像素和16×16像素确定的最佳模式中选择其成本函数值最低的模式作为最佳帧内预测模式。帧内预测单元24然后向预测图像选择单元26供应以最佳帧内预测模式产生的预测图像及其成本函数值。

[运动预测/补偿处理的描述]

接下来将参考图19的流程图描述图17的步骤S24中的运动预测/补偿处理。

在步骤S61中，运动预测/补偿单元25针对由16×16像素到4×4像素构成的八种帧间预测模式确定运动矢量和参考图像。亦即，针对每个帧间预测模式的待处理块确定运动矢量和参考图像每者。

在步骤S62中，运动预测/补偿单元25基于在步骤S61中确定的运动矢量，针对由16×16像素到4×4像素构成的八种帧间预测模式，对参考图像进行运动预测和补偿处理。根据这种运动预测和补偿处理，产生每种帧间预测模式中的预测图像。

在步骤S63中，运动预测/补偿单元25针对由16×16像素到4×4像素构成的八种帧间预测模式计算以上表达式（89）或表达式（90）中指出的成本函数值。

在步骤S64中，运动预测/补偿单元25针对在步骤S63中计算的帧间预测模式比较成本函数值，并确定提供最小值的预测模式为最佳帧间预测模式。运动预测/补偿单元25然后向预测图像选择单元26供应在最佳帧间预测模式中产生的预测图像及其成本函数值。

[对蚊式噪声滤波器处理的描述]

接下来将参考图20中的流程图描述图12的步骤S20中的蚊式噪声滤波器处理。注意，图20中的蚊式噪声滤波器处理是由图15中的蚊式噪声滤波器114执行的处理。

从量化单元112向复杂性计算单元152供应与当前宏块相关的量化值的信息。从无损编码单元113向复杂性计算单元152供应与当前宏块的产生码量（生成比特）相关的信息。

在步骤S81中，复杂性计算单元152接收量化位阶Q作为与当前宏块相关的量化值信息，在步骤S82中，接收生成比特B作为与当前宏块的产生码量相关的信息。在步骤S83中，复杂性计算单元152利用以上表达式（91）针对当前宏块计算用作复杂性的行为。向滤波器控制单元153供应所计算的复杂性值。

从正交变换单元111向阈值确定单元151供应与当前宏块的正交变换尺寸相关的信息。在步骤S84中，阈值确定单元151接收当前宏块的正交变换尺寸，在步骤S85中，从当前宏块的正交变换尺寸确定用于去除蚊式噪声的滤波处理的阈值Θ=Θ（T）+Θ_offset。向滤波器控制单元153供应所确定的阈值Θ的信息。

在步骤S86中，滤波器控制单元153确定来自复杂性计算单元152的行为X是否大于来自阈值确定单元151的阈值Θ。在步骤S86中，在行为X大于阈值Θ的情况下，处理进行到步骤S87。

在步骤S87中，滤波处理单元154基于来自滤波器控制单元153的控制信息，例如利用表达式（96）的滤波器系数，对去块效应滤波器处理之后的像素值进行用于去除蚊式噪声的滤波处理，并向自适应环路滤波器71输出滤波处理之后的像素值。

另一方面，在步骤S86中确定行为X小于阈值Θ的情况下，跳过步骤S87。亦即，滤波处理单元154基于来自滤波器控制单元153的控制信息不对去块效应滤波器处理之后的像素值进行滤波处理，并无变化地向自适应环路滤波器71输出。

此外，将参考图21中的流程图描述图12的步骤S20中的蚊式噪声滤波器处理的另一范例。注意，图21中的蚊式噪声滤波器处理是由图16中的蚊式噪声滤波器114执行的处理。

从量化单元112向非零系数数量缓存器162供应关于当前宏块的量化后的正交变换系数（非零系数）数量的信息。在步骤S101中，非零系数数量缓存器162接收非零正交变换系数的数量N作为关于当前宏块的量化之后的正交变换系数（非零系数）数量的信息并存储该数量N。向滤波器控制单元163供应所存储的非零系数的数量信息。

将来自正交变换单元111的与当前宏块的正交变换尺寸相关的信息以及来自量化单元112的关于当前宏块的量化值信息供应给阈值确定单元161。

在步骤S102，阈值确定单元161接收量化参数作为关于当前宏块的量化值的信息，在步骤S103中，接收当前宏块的正交变换尺寸作为关于当前宏块正交变换尺寸的信息。在步骤S104中，阈值确定单元161从当前宏块的量化参数和正交变换尺寸确定用于去除蚊式噪声的滤波处理的阈值Θ=Θ（QP，T）+Θ_offset。向滤波器控制单元163供应所确定的阈值Θ的信息。

在步骤S105中，滤波器控制单元163判断来自非零系数数量缓存器162的非零正交变换系数的数量N是否大于来自阈值确定单元161的阈值Θ。在步骤S105中确定非零正交变换系数的数量N大于阈值Θ的情况下，处理进行到步骤S106。

在步骤S106中，滤波处理单元164基于来自滤波器控制单元163的控制信息，例如利用表达式（96）的滤波器系数，对去块效应滤波器处理之后的像素值进行用于去除蚊式噪声的滤波处理，并向自适应环路滤波器71输出滤波处理之后的像素值。

另一方面，在步骤S105中确定非零正交变换系数的数量N小于阈值Θ时，跳过步骤S106。具体而言，基于来自滤波器控制单元163的控制信息，滤波处理单元164不对去块效应滤波器处理之后的像素值进行滤波处理，并无变化地向自适应环路滤波器71输出去块效应滤波器处理之后的像素值。

编码压缩图像经由预定传输路径传输并由图像解码设备解码。

[图像解码设备的配置范例]

图22示出用作已经应用了本发明的图像处理设备的图像解码设备实施例的配置。

图22中的图像解码设备202与图2中图像解码设备31的相同之处在于有存储缓存器41、计算单元45、去块效应滤波器46、屏幕重新布置缓存器47、D/A转换单元48、帧存储器49、开关50、帧内预测单元51、运动补偿单元52和开关53。

此外，图22中的图像解码设备201与图2中的图像解码设备31的不同之处在于，分别用无损解码单元211、逆量化单元212和逆正交变换单元213替代无损解码单元42、逆量化单元43和逆正交变换单元44，并在于增加了图4中的自适应环路滤波器91和蚊式噪声滤波器214。

具体而言，无损解码单元211以与图2中的无损解码单元42相同的方式，利用与无损编码单元113的编码格式对应的格式，对从存储缓存器41供应并由图5中的无损编码单元113编码的信息进行解码。此时，尽管也对运动矢量信息、参考帧信息、预测模式信息（表示帧内预测模式或帧间预测模式的信息）、自适应环路滤波器系数等进行解码，但是与图2中的无损解码单元42相对照，无损解码单元211向蚊式噪声滤波器114供应与每个块的产生码量相关的信息。

逆量化单元212以与图2中的逆量化单元43相同的方式，利用与图5中的量化单元112的量化格式对应的格式对无损解码单元211解码的图像进行逆量化。此外，与图2中的逆量化单元43不同的是，逆量化单元212向蚊式噪声滤波器214供应与每个宏块相关的量化值。

以与图2中的逆正交变换单元44相同的方式，逆正交变换单元213利用与图5中正交变换单元111的正交变换格式对应的格式，对逆量化单元212的输出进行逆正交变换。此外，与图2中的正交变换单元44不同的是，逆正交变换单元213向蚊式噪声滤波器214供应与向每个宏块应用4×4正交变换和8×8正交变换中的哪种相关的信息（正交变换尺寸）。

在去块效应滤波器46之后，在自适应环路滤波器91之前提供蚊式噪声滤波器214。具体而言，在计算单元45、去块效应滤波器46、自适应环路滤波器91、帧存储器49、开关50、运动补偿单元52和开关53构成的运动补偿环路之内提供蚊式噪声滤波器214。亦即，由运动补偿环路以环路方式使用图像。

蚊式噪声滤波器214使用来自无损解码单元211、逆量化单元212和逆正交变换单元213的信息来确定是否执行用于去除蚊式噪声的滤波处理。

在执行滤波处理的情况下，蚊式噪声滤波器214对去块效应滤波器46之后的解码图像进行用于去除蚊式噪声的滤波处理，并向自适应环路滤波器91输出经历滤波处理的图像。在不执行滤波处理的情况下，蚊式噪声滤波器214将去块效应滤波器46之后的解码图像无变化地输出到自适应环路滤波器91。

注意，蚊式噪声滤波器214的配置范例与上文参考图15或图16所述的图像编码设备101的蚊式噪声滤波器114的配置相同，仅仅除了信息的输入目的地和图像的输入/输出目的地不同之外，因此，将省略其描述。

[图像解码设备的解码处理的描述]

接下来，将参考图23的流程图描述图像解码设备201执行的解码处理。

在步骤S131，存储缓存器41存储所传输的图像。在步骤S132中，无损解码单元211对从存储缓存器41供应的压缩图像进行解码。亦即，对图5中的无损编码单元113编码的I图片、P图片和B图片进行解码。

此时，还对运动矢量信息、参考帧信息、预测模式信息（表示帧内预测模式或帧间预测模式的信息）、自适应环路滤波器系数等进行解码。

具体而言，在预测模式信息为帧内预测模式信息的情况下，向帧内预测单元51供应预测模式信息。在预测模式信息为帧间预测模式信息的情况下，向运动补偿单元52供应与预测模式信息对应的运动矢量信息和参考帧信息。针对每个片段对自适应环路滤波器系数进行解码并供应给自适应环路滤波器91。

此外，此时，无损解码单元211向蚊式噪声滤波器214供应与每个宏块的生成码量相关的信息。该信息用于稍后描述的步骤S137中的蚊式噪声滤波器处理。

在步骤S133中，逆量化单元212利用与图5中的量化单元112的属性对应的属性对无损解码单元211解码的变换系数进行逆量化。此时，逆量化单元212向蚊式噪声滤波器214供应关于宏块的量化值的信息。该信息用于稍后描述的步骤S137中的蚊式噪声滤波器处理。

在步骤S134中，逆正交变换单元213利用与图5中的正交变换单元111的属性对应的属性对经历逆量化单元212的逆量化的变换系数进行逆正交变换。于是，与图5中的正交变换单元111的输入（计算单元13的输出）对应的差异信息被解码。注意，此时，逆正交变换单元213向蚊式噪声滤波器214供应关于当前宏块的正交变换尺寸的信息。该信息用于稍后描述的步骤S137中的蚊式噪声滤波器处理。

在步骤S135中，计算单元45把要在后述步骤S141中的处理处选择并要经由开关53输入的预测图像添加到差异信息。于是，原始图像被解码。在步骤S136中，去块效应滤波器46对从计算单元45输出的图像进行去块效应滤波器处理。于是，消除了块噪声。

在步骤S137，蚊式噪声滤波器214利用以上步骤S132、步骤S133和步骤S134中供应的信息对去块效应滤波器之后的解码图像进行蚊式噪声滤波器处理。该蚊式噪声滤波器处理的细节与上文参考图20和图21所述的以上图像编码设备101的蚊式噪声滤波器处理相同，因此将省略其描述。来自蚊式噪声滤波器214的图像被输出到自适应环路滤波器91。

在步骤S138中，自适应环路滤波器91执行自适应环路滤波处理。具体而言，针对以上步骤S132中的每个片段，从无损解码单元211（即图像编码设备101）向自适应环路滤波器91供应自适应环路滤波器系数。自适应环路滤波器91使用其自适应环路滤波器系数对来自蚊式噪声滤波器114的解码图像进行滤波处理。向帧存储器49和屏幕重新布置缓存器47输出滤波处理之后的解码图像。

在步骤S139中，帧存储器49存储经历滤波的图像。

在步骤S140中，帧内预测单元51或运动补偿单元52响应于从无损解码单元211供应的预测模式信息执行预测图像产生处理。

具体而言，在已经从无损解码单元211供应帧内预测模式信息的情况下，帧内预测单元51执行帧内预测模式的帧内预测处理以产生帧内预测图像。在已经从无损解码单元211供应帧间预测模式信息的情况下，运动补偿单元52执行帧间预测模式的运动预测/补偿处理以产生帧间预测图像。

尽管稍后将参考图24描述步骤S140中的预测处理详情，但根据这种处理，向开关53供应帧内预测单元51产生的预测图像（帧内预测图像）或运动补偿单元52产生的预测图像（帧间预测图像）。

在步骤S141中，开关53选择预测图像。亦即，供应帧内预测单元51产生的预测图像或运动补偿单元52产生的预测图像。因此，所供应的预测图像被选择并供应给计算单元45，且如上所述，在步骤S135中，被加到逆正交变换单元213的输出。

在步骤S142中，屏幕重新布置缓存器47对自适应环路滤波器91之后的图像进行重新布置。亦即，将为了由图像编码设备101的屏幕重新布置缓存器12编码而重新布置的帧次序被重新布置成原始显示次序。

在步骤S143中，D/A转换单元48将来自屏幕重新布置缓存器47的图像从数字转换成模拟。该图像被输出到未示出的显示器，并在其上显示图像。

[图像解码设备的预测处理的描述]

接下来将参考图24中的流程图描述图23的步骤S140中的预测处理。

帧内预测单元51在步骤S171中确定待处理的块是否已经经历了帧内编码。基于从无损解码单元211向帧内预测单元51供应的帧内预测模式信息，帧内预测单元51在步骤S171中确定要处理的块已经经历了帧内编码，处理前进到步骤S172。

在步骤S172中，帧内预测单元51获得帧内预测模式信息，并在步骤S173中执行帧内预测以产生帧内预测图像。

具体而言，在要处理的图像是要进行帧内处理的图像时，从帧存储器49读出必要的图像并经由开关50供应给帧内预测单元51。在步骤S173中，帧内预测单元51根据在步骤S172中获得的帧内预测模式信息执行帧内预测以产生预测图像。所产生的预测图像输出到开关53。

另一方面，在步骤S171中确定尚未执行帧内预测的情况下，处理前进到步骤S174。

在要处理的图像是要进行帧间预测的图像时，从无损解码单元211向运动补偿单元52供应帧间预测模式信息、参考帧信息和运动矢量信息。

在步骤S174中，运动补偿单元52从无损解码单元211获得预测模式信息等。具体而言，获得运动（帧间）预测模式信息、参考帧信息和运动矢量信息。

在步骤S175中，运动补偿单元52利用运动矢量信息对来自帧存储器49的参考图像进行补偿以产生帧间预测图像。所产生的预测图像经由开关53供应到计算单元45，并在图23的步骤S135中被加到逆正交变换单元213的输出。

如上所述，用图像编码设备101和图像解码设备201，根据关于每个宏块的编码信息，例如正交变换系数、正交变换尺寸、量化值、码量等，进行用于去除蚊式噪声的滤波处理。

现在，蚊式噪声是类似于块噪声的局部噪声，但与块噪声不同，在去块效应滤波器21处去除它很困难。

因此，根据宏块的编码信息进行用于去除蚊式噪声的滤波处理，且因此，解码图像的图像质量得到改善。此外，在运动补偿环路之内执行针对蚊式噪声的滤波处理，因此，还关于运动补偿改善了从现在起要参考的图像的图像质量。其结果是提高了编码效率。

此外，对于蚊式噪声的控制，采用一开始为了发送到解码侧而计算的编码信息，因此，不必通过计算新信息来执行控制。

注意，对于以上描述，尽管已经描述了正交变换尺寸为4×4像素和8×8像素的范例，但正交变换尺寸不限于这些尺寸。本发明也适用于更大的正交变换尺寸。

对于以上描述，尽管采用H.264/AVC格式作为编码格式，但本发明不限于此，可以应用基于正交变换和运动补偿的其他编码格式/解码格式。

注意，可以将本发明应用于在经由网络介质（例如卫星广播、有线电视、因特网、蜂窝电话等）接收通过正交变换（诸如离散余弦变换等）和运动补偿压缩（如用MPEG、H.26x等那样）的图像信息（比特流）时使用的图像编码设备和图像解码设备。此外，本发明可以应用于在处理存储介质（诸如光盘、磁盘和闪存）上的图像信息时使用的图像编码设备和图像解码设备。此外，本发明可以应用于包括在这样的图像编码设备和图像解码设备等中的运动预测补偿设备。

上述系列处理可以由硬件执行，或者可以由软件执行。在通过软件执行该系列的处理的情况下，在计算机中安装构成其软件的程序。在这里，计算机的范例包括内置于专用硬件中的计算机以及可以通过安装到其上的各种类型的程序执行各种功能的通用个人计算机。

[个人计算机的配置范例]

图25是方框图，示出利用程序执行上述系列的处理的计算机的硬件的配置范例。

对于计算机而言，通过总线254将CPU（中央处理单元）251、ROM（只读存储器）252和RAM（随机存取存储器）253相互连接。

此外，输入/输出接口255连接到总线254。输入单元256、输出单元257、存储单元258、通信单元259和驱动器260连接到输入/输出接口255。

输入单元256包括键盘、鼠标、麦克风等。输出单元257包括显示器、扬声器等。存储单元258包括硬盘、非易失性存储器等。通信单元259包括网络接口等。驱动器260驱动可移除介质261，例如磁盘、光盘、磁光盘、半导体存储器等。

对于这样配置的计算机，例如，CPU 251经由输入/输出接口255和总线254将存储单元258中存储的程序加载到RAM 253，并执行程序，因此，执行上述系列的处理。

可以通过记录于用作例如程序包介质等的可移除介质261中来提供计算机（CPU 251）执行的程序。此外，可以经由电缆或无线传输介质（例如局域网、因特网或数字广播）来提供程序。

对于计算机，可以通过在驱动器260上安装可移除介质261，经由输入/输出接口255在存储单元258中安装程序。此外，可以由通信单元259经由电缆或无线传输介质接收程序并安装在存储单元258中。此外，可以事先在ROM 252或存储单元258中安装程序。

注意，计算机执行的程序可以是按沿着本说明书中描述的序列的时间顺序执行处理的程序，或者可以是并行或在必要时刻，例如进行调用时，执行处理的程序。

本发明的实施例不限于上述实施例，可以做出各种修改而不脱离本发明的实质。

例如，可以将以上图像编码设备101和图像解码设备201应用于可选择的电设备。以下将描述其范例。

[电视接收机的配置范例]

图26是方框图，示出利用已应用了本发明的图像解码设备的电视接收机的基本配置范例。

图26所示的电视接收机300包括地面调谐器313、视频解码器315、视频信号处理电路318、图形生成电路319、面板驱动电路320和显示面板321。

地面调谐器313经由天线接收地面模拟广播的广播波信号，解调，获得视频信号，并将这些供应到视频解码器315。视频解码器315对从地面调谐器313供应的视频信号进行解码处理，并向视频信号处理电路318供应所获得的数字分量信号。

视频信号处理电路318对从视频解码器315供应的视频数据进行预定处理，例如噪声消除等，并向图形生成电路319供应所获得的视频数据。

图形生成电路319产生要显示在显示面板321上的节目的视频数据或由于基于经由网络等供应的应用的处理导致的图像数据，并向面板驱动电路320供应所产生的视频数据或图像数据。此外，图形生成电路319还执行处理，例如适当时向面板驱动电路320供应通过产生用于用户的显示用于项目选择等的屏幕画面的视频数据（图形）并将其叠加在节目视频上所获得的视频数据。

面板驱动电路320基于从图形生成电路319供应的数据驱动显示面板321，以在显示面板321上显示节目视频或上述各种屏幕画面。

显示面板321包括LCD（液晶显示器）等，且根据面板驱动电路320的控制显示节目视频等。

此外，电视接收机300还包括音频A/D（模拟/数字）转换电路314、音频信号处理电路322、回波消除/音频合成电路323、音频放大器电路324和扬声器325。

地面调谐器313对所接收到的广播波信号进行解调，由此不仅获得视频信号而且获得音频信号。地面调谐器313向音频A/D转换电路314供应所获得的音频信号。

音频A/D转换电路314对从地面调谐器313供应的音频信号进行A/D转换处理，并向音频信号处理电路322供应所获得的数字音频信号。

音频信号处理电路322对从音频A/D转换电路314供应的音频数据进行预定处理，例如去除噪声等，并向回波消除/音频合成电路323供应所获得的音频数据。

回波消除/音频合成电路323向音频放大器电路324供应从音频信号处理电路322供应的音频数据。

音频放大器电路324对从回波消除/音频合成电路323供应的音频数据进行D/A转换处理，进行放大处理以调节到预定音量，然后从扬声器325输出音频。

此外，电视接收机300还包括数字调谐器316和MPEG解码器317。

数字调谐器316经由天线接收数字广播（地面数字广播、BS（广播卫星）/CS（通信卫星）数字广播）的广播波信号，解调以获得MPEG-TS（动态图像专家组-传输流）并将此供应给MPEG解码器317。

MPEG解码器317对赋予从数字调谐器316供应的MPEG-TS的加扰进行解扰，并提取包括作为播放对象（观看对象）的节目数据的流。MPEG解码器317对包括在所提取的流中的音频包进行解码，向音频信号处理电路322供应所获得的音频数据，且还对包括在流中的视频包进行解码，并向视频信号处理电路318供应所获得的视频数据。此外，MPEG解码器317经由未示出的路径向CPU 332供应从MPEG-TS提取的EPG（电子程序指南）数据。

电视接收机300使用上述图像解码设备201作为MPEG解码器317，用于通过这种方式对视频包进行解码。因此，MPEG解码器317能够以与图像解码设备201的情况相同的方式改善解码图像的图像质量，并关于运动补偿进一步改善从现在起要参考的图像的图像质量。其结果是提高了编码效率。

以与从视频解码器315供应的视频数据的情况相同的方式，在视频信号处理电路318对从MPEG解码器317供应的视频数据进行预定处理。然后经历了预定处理的视频数据适当时在图形生成电路319处叠加在所产生的视频数据等上，经由面板驱动电路320供应到显示面板321，并且其图像显示在显示面板321上。

以与从音频A/D转换电路314供应的音频数据的情况相同的方式，从MPEG解码器317供应的音频数据在音频信号处理电路322处经历预定处理，经由回波消除/音频合成电路323供应到音频放大器电路324并经历D/A转换处理和放大处理。作为其结果，从扬声器325输出以预定音量调节的音频。

此外，电视接收机300还包括麦克风326和A/D转换电路327。

A/D转换电路327接收由麦克风326收集的提供给电视接收机300的用作音频会话的用户音频信号，对所接收到的音频信号进行A/D转换处理，并向回波消除/音频合成电路323供应所获得的数字音频数据。

在从A/D转换电路327供应电视接收机300的用户（用户A）的音频数据的情况下，回波消除/音频合成电路323以用户（用户A）的音频数据作为对象执行回波消除，并经由音频放大器电路324从扬声器325输出通过与其他音频数据合成所获得的音频数据等。

此外，电视接收机300还包括音频编解码器328、内部总线329、SDRAM（同步动态随机存取存储器）330、闪存331、CPU 332、USB（通用串行总线）I/F 333和网络I/F 334。

A/D转换电路327接收由麦克风326收集的提供给电视接收机300的用作音频会话的用户音频信号，对所接收到的音频信号进行A/D转换处理，并向音频编解码器328供应所获得的数字音频数据。

音频编解码器328将从A/D转换电路327供应的音频数据转换成预定格式的数据，用于通过网络传输，并经由内部总线329向网络I/F334供应。

经由网络端子335上安装的电缆将网络I/F 334连接到网络。网络I/F 334向例如连接到其网络的另一设备发送从音频编解码器328供应的音频数据。此外，网络I/F 334经由网络端子335接收经由网络从连接到其上的另一设备发送的音频数据，并经由例如内部总线329向音频编解码器328供应该音频数据。

音频编解码器328将从网络I/F 334供应的音频数据转换成预定格式的数据，并将其供应到回波消除/音频合成电路323。

回波消除/音频合成电路323以从音频编解码器328供应的音频数据作为对象执行回波消除，并经由音频放大器电路324从扬声器325输出通过合成该音频数据和其他音频数据等获得的音频数据。

SDRAM 330存储CPU 332执行处理所需的各种类型的数据。

闪存331存储要由CPU 332执行的程序。由CPU 332在预定时刻，例如在启动电视接收机300时等，读出闪存331中存储的程序。还在闪存331中存储经由数字广播获得的EPG数据、经由网络从预定服务器获得的数据等。

例如，在闪存331中存储在CPU 332控制下经由网络从预定服务器获得的包括内容数据的MPEG-TS。例如，闪存331在CPU 332的控制下经由内部总线329向MPEG解码器317供应其MPEG-TS。

MPEG解码器317以与从数字调谐器316供应的MPEG-TS的情况相同的方式处理其MPEG-TS。通过这种方式，电视接收机300经由网络接收包括视频、音频等的内容数据，利用MPEG解码器317解码，由此可以显示其视频并可以输出其音频。

此外，电视接收机300还包括光接收单元337，用于接收从遥控器351发送的红外信号。

光接收单元337接收来自遥控器351的红外线，并向CPU 332输出通过解调获得的表示用户操作内容的控制代码。

CPU 332执行闪存331中存储的程序以根据从光接收单元337等供应的控制代码控制电视接收机300的整个操作。CPU 332和电视接收机300的单元经由未示出的路径连接。

USB I/F 333关于电视接收机300的外部设备执行数据的发送/接收，该外部设备经由USB端子336上安装的USB电缆连接。网络I/F334经由网络端子335上安装的电缆连接到网络，还关于连接到网络的各种设备执行音频数据之外的数据的发送/接收。

电视接收机300能够利用图像解码设备201作为MPEG解码器317来改善编码效率。作为其结果，电视接收机300能够从经由天线接收的广播信号或经由网络获得的内容数据获得并显示更高图像质量的解码图像。

[蜂窝电话的配置范例]

图27是方框图，示出利用已应用本发明的图像编码设备和图像解码设备的蜂窝电话的基本配置范例。

图27所示的蜂窝电话400包括配置成整体控制各单元的主控制单元450、电源电路单元451、操作输入控制单元452、图像编码器453、摄像机I/F单元454、LCD控制单元455、图像解码器456、复用/分离单元457、记录/播放单元462、调制/解调电路单元458和音频编解码器459。这些单元经由总线460相互连接。

此外，蜂窝电话400包括操作键419、CCD（电荷耦合设备）摄像机416、液晶显示器418、存储单元423、发送/接收电路单元463、天线414、麦克风（MIC）421和扬声器417。

在呼叫结束且通过用户操作而打开电源键时，电源电路单元451通过从电池组向各单元供电而以工作状态激活蜂窝电话400。

蜂窝电话400基于由CPU、ROM、RAM等构成的主控制单元450的控制，以各种模式（例如话音通话模式、数据通信模式等）执行各种操作（例如发送/接收音频信号、发送/接收电子邮件和图像数据、拍摄图像、数据记录等）。

例如，在语音通话模式中，蜂窝电话400通过音频编解码器459将麦克风（麦克）421收集的音频信号转换成数字音频数据，在调制/解调电路单元458处对其进行频谱扩展处理，并在发送/接收电路单元463处对其进行数字/模拟转换处理和频率转换处理。蜂窝电话400经由天线414向未示出的基站发送通过其转换处理而获得的用于发送的信号。发送到基站的用于发送的信号（音频信号）经由公共电话网络供应到另一方的蜂窝电话。

此外，例如，在语音通话模式中，蜂窝电话400放大在天线414、在发送/接收电路单元463接收到的接收信号，进一步进行频率变换处理和模拟/数字转换处理，在调制/解调电路单元458进行频谱逆扩展处理并由音频编解码器459转换成模拟音频信号。蜂窝电话400从扬声器417输出其转换和获得的模拟音频信号。

此外，例如，在数据通信模式中发送电子邮件的情况下，蜂窝电话400接受在操作输入控制单元452处通过操作操作键所输入的电子邮件的文本数据。蜂窝电话400在主控制单元450处理其文本数据并经由LCD控制单元455在液晶显示器418上显示为图像。

此外，蜂窝电话400基于操作输入控制单元452接受的文本数据、用户指令等在主控制单元450处产生电子邮件数据。蜂窝电话400在调制/解调电路单元458对其电子邮件数据进行频谱扩展处理，并在发送/接收电路单元463处进行数字/模拟转换处理和频率转换处理。蜂窝电话400经由天线414向未示出的基站发送通过其转换处理所获得的用于发送的信号。发送到基站的发送信号（电子邮件）经由网络、邮件服务器等供应到预定目的地。

此外，例如，在数据通信模式中接收电子邮件的情况下，蜂窝电话400利用发送/接收电路单元463经由天线414接收从基站发送的信号，放大，并进一步进行频率转换处理和模拟/数字转换处理。蜂窝电话400在调制/解调电路单元458对其接收信号进行频谱逆扩展处理，以恢复原始的电子邮件数据。蜂窝电话400经由LCD控制单元455在液晶显示器418上显示恢复的电子邮件数据。

注意，蜂窝电话400可以经由记录/播放单元462在存储单元423中记录（存储）所接收到的电子邮件数据。

该存储单元423是可选的可重写记录介质。存储单元423可以是半导体存储器，例如RAM、内置闪存等，可以是硬盘，或者可以是可移除介质，例如磁盘、磁光盘、光盘、USB存储器、存储卡等。无需说明的是，存储单元423可以是除这些之外的存储器。

此外，例如，在数据通信模式中发送图像数据的情况下，蜂窝电话400通过在CCD摄像机416处成像而产生图像数据。CCD摄像机416包括CCD，CCD充当光学设备，例如透镜、膜片等，并充当光电转换设备，对对象进行成像，将接收到的光强度转换成电信号，并产生对象图像的图像数据。CCD摄像机416经由摄像机I/F单元454在图像编码器453处进行图像数据的压缩编码，并转换成编码图像数据。

蜂窝电话400采用上述图像编码设备101作为图像编码器453用于执行这种处理。因此，以与图像编码设备101相同的方式，图像编码器453能够改善解码图像的图像质量，并关于运动补偿进一步改善从现在起要参考的图像的图像质量。其结果是提高了编码效率。

注意，与此同时，蜂窝电话400将麦克风（麦克）421在CCD摄像机416进行拍摄的同时收集到的音频在音频编解码器459处从模拟转换到数字，并进一步对其编码。

蜂窝电话400利用预定方法在复用/分离单元457处对从图像编码器453供应的编码图像数据和从音频编解码器459供应的数字音频数据复用。蜂窝电话400在调制/解调电路单元458对作为其结果所获得的复用数据进行频谱扩展处理，并在发送/接收收电路单元463处进行数字/模拟转换处理和频率转换处理。蜂窝电话400经由天线414向未示出的基站发送通过其转换处理所获得的用于发送的信号。发送到基站的用于发送的信号（图像数据）经由网络等供应到另一方。

注意，在不发送图像数据的情况下，蜂窝电话400也可以经由LCD控制单元455而非图像编码器453在液晶显示器418上显示在CCD摄像机416处产生的图像数据。

此外，例如，在数据通信模式中接收链接到简单网站等的动态图像文件的数据的情况下，蜂窝电话400经由天线414在发送/接收电路单元463处接收从基站发送的信号，放大，并进一步进行频率转换处理和模拟/数字转换处理。蜂窝电话400在调制/解调电路单元458对接收的信号进行频谱逆扩展处理，以恢复原始复用数据。蜂窝电话400在复用/分离单元457处将其复用数据分离成编码图像数据和音频数据。

蜂窝电话400在图像解码器456处对编码图像数据进行解码，由此产生播放动态图像数据，并经由LCD控制单元455在液晶显示器418上显示之。于是，例如在液晶显示器418上显示链接到简单网站的动态图像文件中包括的动态图像数据。

蜂窝电话400采用上述图像解码设备201作为图像解码器456用于执行这种处理。因此，以与图像解码设备201相同的方式，图像解码器456能够改善解码图像的图像质量，并关于运动补偿进一步改善从现在起要参考的图像的图像质量。其结果是提高了编码效率。

此时，同时，蜂窝电话400在音频编解码器459处将数字音频数据转换成模拟音频信号并将其从扬声器417输出。于是，例如播放链接到简单网站的动态图像文件中包括的音频数据。

注意，与电子邮件的情况相同的方式，蜂窝电话400可以经由记录/播放单元462在存储单元423中记录（存储）链接到简单网站的所接收的数据等。

此外，蜂窝电话400在主控制单元450分析CCD摄像机416获得的成像二维码，由此可以获得二维码中记录的信息。

此外，蜂窝电话400能够利用红外线在红外通信单元481处与外部设备进行通信。

蜂窝电话400采用图像编码设备101作为图像编码器453，由此可以提高编码效率。结果，蜂窝电话400能够向另一设备提供编码效率良好的编码数据（图像数据）。

此外，蜂窝电话400采用图像解码设备201作为图像解码器456，由此可以提高解码效率。结果，蜂窝电话400能够从例如链接到简单网站的动态图像文件等获得并显示更高清晰度的解码图像。

注意，迄今的描述中蜂窝电话400都采用CCD摄像机416，但蜂窝电话400可以采用利用CMOS（互补金属氧化物半导体）的图像传感器（CMOS图像传感器）替代这种CCD摄像机416。在这种情况下，蜂窝电话400也能够以与采用CCD摄像机416的情况相同的方式对对象进行成像并产生对象图像的图像数据。

此外，迄今为止对蜂窝电话400进行了描述，但可以按与蜂窝电话400的情况相同的方式向任何种类的设备应用图像编码设备101和图像解码设备201，只要其是与蜂窝电话400具有相同成像功能和通信功能的设备即可，例如PDA（个人数字助理）、智能电话、UMPC（超级移动个人计算机）、上网本、笔记本尺寸的个人计算机等。

[硬盘记录器的配置范例]

图28是方框图，示出采用已应用本发明的图像编码设备和图像解码设备的硬盘记录器的基本配置范例。

图28中所示的硬盘记录器（HDD记录器）500是这样的设备，其在内置的硬盘中存储从卫星或地面天线等发送且调谐器接收的广播波信号（电视信号）中包括的广播节目的音频数据和视频数据，并在根据用户指示的时刻向用户提供所存储的数据。

例如，硬盘记录器500能够从广播波信号提取音频数据和视频数据，适当时对这些数据进行解码，并存储在内置的硬盘中。此外，例如，硬盘记录器500还能够经由网络从另一设备获得音频数据和视频数据，适当时对这些数据进行解码，并存储在内置的硬盘中。

此外，例如，硬盘记录器500能够对内置硬盘中记录的音频数据和视频数据进行解码，将其供应到监视器560，在监视器560的屏幕上显示其图像，并从监视器560的扬声器输出其音频。

例如，硬盘记录器500能够对从经由调谐器获得的广播信号提取的音频数据和视频数据或经由网络从另一设备获得的音频数据和视频数据进行解码，将其供应到监视器560，在监视器560的屏幕上显示其图像，并从监视器560的扬声器输出其音频。

当然，可以执行除这些之外的操作。

如图28所示，硬盘记录器500包括接收单元521、解调单元522、解复用器523、音频解码器524、视频解码器525和记录器控制单元526。硬盘记录器500还包括EPG数据存储器527、程序存储器528、作品存储器529、显示转换器530、OSD（屏上显示器）控制单元531、显示控制单元532、记录/播放单元533、D/A转换器534和通信单元535。

此外，显示转换器530包括视频编码器541。记录/播放单元533包括编码器551和解码器552。

接收单元521从遥控器（未示出）接收红外信号，转换成电信号并输出到记录器控制单元526。例如，记录器控制单元526配置有微处理器等，根据程序存储器528中存储的程序执行各种处理。此时，记录器控制单元526根据需要使用作品存储器529。

连接到网络的通信单元535经由网络与另一设备进行通信处理。例如，通信单元535受到记录器控制单元526的控制以与调谐器（未示出）通信，并向调谐器主要输出信道选择控制信号。

解调单元522对从调谐器供应的信号解调并输出到解复用器523。解复用器523将从解调单元522供应的数据分离成音频数据、视频数据和EPG数据，并分别向音频解码器524、视频解码器525和记录器控制单元526输出。

音频解码器524对例如具有MPEG格式的输入音频数据解码并输出到记录/播放单元533。视频解码器525对例如具有MPEG格式的输入视频数据解码并输出到显示转换器530。记录器控制单元526向EPG数据存储器527供应输入的EPG数据加以存储。

显示转换器530利用视频编码器541将从视频解码器525或记录器控制单元526供应的视频数据编码成例如符合NTSC（国家电视标准委员会）格式的视频数据并输出到记录/播放单元533。此外，显示转换器530将从视频解码器525或记录器控制单元526供应的视频数据的屏幕尺寸转换成与监视器560的尺寸对应的尺寸，利用视频编码器541转换其屏幕尺寸已经转换成符合NTSC格式的视频数据的视频数据，转换成模拟信号，并输出到显示控制器532。

显示控制器532在记录器控制单元526的控制下将从OSD（屏上显示器）控制单元531输出的OSD信号叠加在从显示转换器530输入的视频信号上，并向监视器560的显示器输出以进行显示。

此外，已经利用D/A转换器534将从音频解码器524输出的音频数据转换成模拟信号，并供应给监视器560。监视器560从内置扬声器输出这个音频信号。

记录/播放单元533包括硬盘作为记录介质，其中记录视频数据、音频数据等。

记录/播放单元533通过编码器551用MPEG格式对从音频解码器524供应的音频数据进行编码。此外，记录/播放单元533通过编码器551用MPEG格式对从显示转换器530的视频编码器541供应的视频数据进行编码。记录/播放单元533利用复用器合成其音频数据的编码数据和其视频数据的编码数据。记录/播放单元533通过信道编码对其合成数据进行放大，并经由记录头在硬盘中写入其数据。

记录/播放单元533经由播放头播放硬盘中记录的数据，放大，并利用解复用器分离成音频数据和视频数据。记录/播放单元533利用MPEG格式由解码器552对音频数据和视频数据进行解码。记录/播放单元533将解码的音频数据从数字转换成模拟，并输出到监视器560的扬声器。此外，记录/播放单元533将解码的视频数据从数字转换成模拟，并输出到监视器560的显示器。

记录器控制单元526基于经接收单元521从遥控器接收的红外信号表示的用户指令从EPG数据存储器527读出最新的EPG数据，并供应给OSD控制单元531。OSD控制单元531产生与输入的EPG数据对应的图像数据，并向显示控制器532输出。显示控制器532向监视器560的显示器输出从OSD控制单元531输入的视频数据用于显示。于是，在监视器560的显示器上显示EPG（电子节目指南）。

此外，硬盘记录器500能够经由网络（诸如因特网等）获得从另一设备供应的各种数据，例如视频数据、音频数据、EPG数据等。

通信单元535受到记录器控制单元526的控制以经由网络获得另一设备发送的编码数据，例如视频数据、音频数据、EPG数据等，并将其供应给记录器控制单元526。记录器控制单元526向记录/播放单元533供应所获得的视频数据和音频数据的编码数据，并存储在例如硬盘中。此时，记录器控制单元526和记录/播放单元533可以根据需要执行诸如重新编码的处理。

此外，记录器控制单元526对所获得的视频数据和音频数据的编码数据进行解码并向显示转换器530供应所获得的视频数据。显示转换器530以与视频解码器525供应的视频数据相同的方式处理从记录器控制单元526供应的视频数据，经由显示控制单元532供应到监视器560以用于显示其图像。

备选地，可以进行这样的布置，其中根据该图像显示，记录器控制单元526经由D/A转换器534向监视器560供应解码的音频数据，并从扬声器输出其音频。

此外，记录器控制单元526对所获得的EPG数据的编码数据进行解码并向EPG数据存储器527供应解码的EPG数据。

这样配置的硬盘记录器500采用图像解码设备201作为视频解码器525、解码器552和记录器控制单元526中容置的解码器。因此，以与图像解码设备201相同的方式，视频解码器525、解码器552和记录器控制单元526中容置的解码器能够改善解码图像的图像质量，并关于运动补偿进一步改善从现在起要参考的图像的图像质量。其结果是提高了编码效率。

因此，硬盘记录器500能够实现处理速度的提高，还产生更高清晰度的预测图像。其结果是硬盘记录器500能够从经由调谐器接收的视频数据的编码数据，从自记录/播放单元533的硬盘读出的视频数据的编码数据以及经由网络获得的视频数据的编码数据获得更高清晰度的解码图像，并在例如监视器560上显示。

此外，硬盘记录器500采用图像编码设备101作为编码器551。因此，以与图像编码设备101的情况相同的方式，编码器551能够改善解码图像的图像质量，并关于运动补偿进一步改善从现在起要参考的图像的图像质量。其结果是提高了编码效率。

因此，硬盘记录器500能够实现处理速度的提高，还提高了例如要在硬盘中记录的编码数据的编码效率。其结果是硬盘记录器500能够更有效地使用硬盘的存储区域。

注意，迄今为止关于在硬盘中记录视频数据和音频数据的硬盘记录器500进行了描述，但不言而喻的是，可以采用任何种类的记录介质。例如，即使对于使用除硬盘之外的记录介质（例如闪存、光盘、录像带等）的记录器，也可以按与以上硬盘记录器500的情况相同的方式向其应用图像编码设备101和图像解码设备201。

[摄像机的配置范例]

图29是方框图，示出利用已应用本发明的图像编码设备和图像解码设备的摄像机的基本配置范例。

图29所示的摄像机600对对象进行成像，在LCD 616上显示对象的图像并在记录介质633中记录其作为图像数据。

透镜块611向CCD/CMOS 612输入光（即对象的图片）。CCD/CMOS 612是采用CCD或CMOS的图像传感器，其将接收光的强度转换成电信号并供应到摄像机信号处理单元613。

摄像机信号处理单元613将从CCD/COMS 612供应的电信号转换成Y、Cr和Cb的色差信号并供应给图像信号处理单元614。图像信号处理单元614在控制器621的控制下对从摄像机信号处理单元613供应的图像信号进行预定图像处理，或利用例如MPEG格式由编码器641对其图像信号进行编码。图像信号处理单元614向解码器615供应对图像信号进行编码所产生的编码数据。此外，图像信号处理单元614获得在屏上显示器（OSD）620处产生的用于显示的数据并将其供应给解码器615。

利用上述处理，摄像机信号处理单元613适当地利用经总线617连接的DRAM（动态随机存取存储器）618以根据需要在其DRAM 618中保存图像数据、从其图像数据编码得到的编码数据等。

解码器615对从图像信号处理单元614供应的编码数据进行解码并向LCD 616供应所获得的图像数据（解码图像数据）。此外，解码器615向LCD 616供应从图像信号处理单元614供应的用于显示的数据。LCD 616适当地合成解码图像数据的图像和从解码器615供应的用于显示的数据图像，并显示其合成图像。

在控制器621的控制下，屏上显示器620经由总线617向图像信号处理单元614输出用于显示的数据，例如由符号、字符或数字构成的菜单屏或图标等。

基于表示用户利用操作单元622命令的内容的信号，控制器621执行各种处理，还经由总线617控制图像信号处理单元614、DRAM618、外部接口619、屏上显示器620、介质驱动器623等。在闪存ROM624中存储控制器621执行各种处理所需的程序、数据等。

例如，替代图像信号处理单元614和解码器615，控制器621能够对DRAM 618中存储的图像数据进行编码，或者对DRAM 618中存储的编码数据进行解码。此时，控制器621可以利用与图像信号处理单元614和解码器615的编码/解码格式相同的格式执行编码/解码处理，或者可以利用图像信号处理单元614和解码器615都不能处理的格式执行编码/解码处理。

此外，例如，在已经从操作单元622指示开始打印图像的情况下，控制器621从DRAM 618读出图像数据，并将其经由总线617供应到连接到外部接口619的打印机634以供打印。

此外，例如，在已经从操作单元622指示记录图像的情况下，控制器621从DRAM 618读出编码数据，并经由总线617将其供应到介质驱动器623上安装的记录介质633以供存储。

记录介质633是可选的可读/可写可移除介质，例如磁盘、磁光盘、光盘、半导体存储器等。不言而喻的是，记录介质633关于可移除介质的类型也是可选的，因此可以是带（tape）设备，或者可以是盘，或者可以是存储卡。不言而喻，记录介质633可以是非接触IC卡等。

备选地，可以配置介质驱动器623和记录介质633以集成到不可移动记录介质中，例如内置硬盘驱动器、SSD（固态驱动器）等。

外部接口619配置有例如USB输入/输出端子等，并在执行图像打印时连接到打印机634。此外，驱动器631根据需要连接到外部接口619，其上适当时安装可移除介质632，例如磁盘、光盘或磁光盘，并根据需要在闪存ROM 624中安装从其读出的计算机程序。

此外，外部接口619包括要连接到预定网络，例如LAN、因特网等的网络接口。例如，根据来自操作单元622的指令，控制器621能够从DRAM 618读出编码数据，并从外部接口619将其供应到经由网络连接的另一设备。此外，控制器621能够经由外部接口619获得经由网络从另一设备供应的编码数据或图像数据，并在DRAM 618中保持它或将其供应给图像信号处理单元614。

这样配置的摄像机600采用图像解码设备201作为解码器615。因此，以与图像解码设备201相同的方式，解码器615能够改善解码图像的图像质量，并关于运动补偿进一步改善从现在起要参考的图像的图像质量。其结果是提高了编码效率。

因此，摄像机600能够产生具有高精确度的预测图像。作为其结果，摄像机600能够从例如在CCD/CMOS 612处产生的图像数据、从DRAM 618或记录介质633读出的视频数据编码数据以及经由网络获得的视频数据的编码数据，以更高速度获得更高清晰度解码图像，并在LCD 616上显示。

此外，摄像机600采用图像编码设备101作为编码器641。因此，以与图像编码设备101的情况相同的方式，编码器641能够改善解码图像的图像质量，并关于运动补偿进一步改善从现在起要参考的图像的图像质量。其结果是提高了编码效率。

因此，摄像机600能够改善要在例如硬盘中记录的编码数据的编码效率。作为其结果，摄像机600能够以更高速度更有效地使用DRAM618或记录介质633的存储区域。

注意，可以向控制器621执行的解码处理应用图像解码设备201的解码方法。以相同的方式，可以向控制器621执行的编码处理应用图像编码设备101的编码方法。

此外，摄像机600拍摄的图像数据可以是动态图像或可以是静态图像。

当然，可以向除上述设备之外的设备或***应用图像编码设备101和图像解码设备201。

附图标记列表

101图像编码设备，111正交变换单元，112量化单元，113无损编码单元，114蚊式噪声滤波器，151阈值确定单元，152复杂性计算单元，153滤波器控制单元，154滤波处理单元，161阈值确定单元，162非零系数数量缓存器，163滤波器控制单元，164滤波处理单元，201图像解码设备，211无损解码单元，212逆量化单元，213逆正交变换单元，214蚊式噪声滤波器

Claims (13)

1.一种图像处理设备，包括：

滤波处理装置，配置成在图像的运动补偿环内，在根据块的编码信息中的句法元素和正交变换尺寸的控制下对所述图像中的要处理的所述块执行用于去除蚊式噪声的滤波处理；以及

编码装置，配置成对所述图像和所述编码信息进行编码，

其中所述编码信息中的句法元素包括关于所述块的生成码量和量化位阶，并且

其中所述滤波处理装置包括：

阈值确定装置，配置成根据所述块的正交变换尺寸确定阈值；

难度水平参数计算装置，配置成利用与关于所述块的所述生成码量相关的信息和量化位阶计算所述块的难度水平参数；以及

滤波处理控制装置，配置成进行控制，以便在由所述难度水平参数计算装置计算的所述难度水平参数大于由所述阈值确定装置确定的所述阈值的情况下，对所述块进行所述滤波处理。

2.根据权利要求1所述的图像处理设备，其中所述阈值包括用户能够设置的偏离值。

3.根据权利要求1所述的图像处理设备，其中所述滤波处理装置使用生成比特作为与所述生成码量相关的信息。

4.根据权利要求1所述的图像处理设备，其中在将CABAC用作无损编码格式的情况下，所述滤波处理装置使用生成比特或生成二进元作为与所述生成码量相关的信息。

5.根据权利要求1所述的图像处理设备，其中所述编码信息中的句法元素包括关于所述块的运动矢量信息。

6.根据权利要求1所述的图像处理设备，其中所述滤波处理装置对于所述块中包括的像素值，以要处理的像素为中心，利用具有预定窗口尺寸的二维滤波器执行平滑化处理作为所述滤波处理。

7.一种图像处理设备，包括：

滤波处理装置，配置成在图像的运动补偿环内，在根据块的编码信息中的句法元素和正交变换尺寸的控制下对所述图像中的要处理的所述块执行用于去除蚊式噪声的滤波处理；以及

编码装置，配置成对所述图像和所述编码信息进行编码，

其中所述编码信息中的句法元素包括所述块中的量化参数以及量化之后的非零正交变换系数的数量，并且

其中所述滤波处理装置包括：

阈值确定装置，配置成根据所述块的正交变换尺寸和量化参数确定阈值；以及

滤波处理控制装置，配置成进行控制，以便在量化之后的非零正交变换系数的所述数量大于所述阈值确定装置确定的所述阈值的情况下，对所述块进行所述滤波处理。

8.根据权利要求7所述的图像处理设备，其中所述阈值包括用户能够设置的偏离值。

9.根据权利要求7所述的图像处理设备，其中所述编码信息中的句法元素包括关于所述块的运动矢量信息。

10.根据权利要求7所述的图像处理设备，其中所述滤波处理装置对于所述块中包括的像素值，以要处理的像素为中心，利用具有预定窗口尺寸的二维滤波器执行平滑化处理作为所述滤波处理。

11.一种图像处理方法，包括如下步骤：

利用图像处理设备的滤波处理装置，在图像的运动补偿环内，在根据块的编码信息中的句法元素和正交变换尺寸的控制下对所述图像中的要处理的所述块执行用于去除蚊式噪声的滤波处理；以及

利用编码装置对所述图像和所述编码信息进行编码，

其中所述编码信息中的句法元素包括关于所述块的生成码量和量化位阶，并且

其中，在根据块的编码信息中的句法元素和正交变换尺寸的控制下执行用于去除蚊式噪声的滤波处理包括：

根据所述块的正交变换尺寸确定阈值；

利用与关于所述块的所述生成码量相关的信息和量化位阶计算所述块的难度水平参数；以及

在所述难度水平参数大于所述阈值的情况下，对所述块进行所述滤波处理。

12.一种图像处理设备，包括：

滤波处理装置，配置成在图像的运动补偿环内，在根据块的编码信息中的句法元素和正交变换尺寸的控制下对所述图像中的要处理的所述块执行用于去除蚊式噪声的滤波处理；以及

解码装置，配置成对已经编码的所述图像和所述编码信息进行解码，

其中所述编码信息中的句法元素包括关于所述块的生成码量和量化位阶，并且

其中所述滤波处理装置包括：

阈值确定装置，配置成根据所述块的正交变换尺寸确定阈值；

难度水平参数计算装置，配置成利用与关于所述块的所述生成码量相关的信息和量化位阶计算所述块的难度水平参数；以及

滤波处理控制装置，配置成进行控制，以便在由所述难度水平参数计算装置计算的所述难度水平参数大于由所述阈值确定装置确定的所述阈值的情况下，对所述块进行所述滤波处理。

13.一种图像处理方法，包括如下步骤：

利用图像处理设备的滤波处理装置，在图像的运动补偿环内，在根据块的编码信息中的句法元素和正交变换尺寸的控制下对所述图像中的要处理的所述块执行用于去除蚊式噪声的滤波处理；以及

利用解码装置对已经编码的所述图像和所述编码信息进行解码，

其中所述编码信息中的句法元素包括关于所述块的生成码量和量化位阶，并且

其中，在根据块的编码信息中的句法元素和正交变换尺寸的控制下执行用于去除蚊式噪声的滤波处理包括：

根据所述块的正交变换尺寸确定阈值；

利用与关于所述块的所述生成码量相关的信息和量化位阶计算所述块的难度水平参数；以及

在所述难度水平参数大于所述阈值的情况下，对所述块进行所述滤波处理。