CN102823246A - 图像处理设备和图像处理方法 - Google Patents

Abstract

本发明被配置为使得即使在使用扩展的宏块尺寸的情况中也获得具有良好的图像质量的解码图像。去块滤波器24进行滤波以从编码流中降低块失真，在该编码流中，图像数据已经按各个块被编码。滤波强度调整器41根据预测图像数据的块尺寸来调整滤波强度。例如，在图像编码期间，根据预测图像数据的块尺寸来调整滤波强度，以得到使用滤波的解码图像数据所生成的最佳编码效率。本发明还可以被配置为在图像解码期间进行滤波以去除解码图像数据中的块失真，其中，根据预测图像数据的块尺寸来调整滤波强度。

Description

图像处理设备和图像处理方法

技术领域

本发明涉及图像处理设备和图像处理方法。具体地说，这样配置使得获得具有良好的图像质量的解码图像。

背景技术

近来，已经普及数字化地处理图像信息的广播站和一般家用设备，并且，在数字化地处理图像信息时，为了有效的信息传输和存储为目的，这些广播站和一般家用设备压缩图像。这样的设备通过实现诸如MPEG的编码格式并通过运动补偿来压缩图像，其中，这些编码格式使用诸如离散余弦变换的正交变换来压缩信息。

特别地，MPEG-2（ISO/IEC 13818-2）被定义为通用图像编码格式，并且当前被广泛地应用于专业用途和消费者用途的广范围的应用中。通过使用MPEG-2压缩格式，例如，如果给定具有720×480像素的标准清晰度的隔行扫描的图像，那么可以通过分配从4到8Mbps的比特率来实现良好的图像质量。另外，如果给出具有1920×1088像素的高清晰度的隔行扫描的图像，那么可以通过分配从18到22Mbps的比特率来实现良好的图像质量。

虽然MPEG-2主要针对适合于广播的高图像质量编码，但是其并不与具有比MPEG-1的比特率低的比特率的编码格式兼容，或者，换句话说，并不与具有高压缩率的编码格式兼容。由于移动装置的普及，普遍认为未来对这样的编码格式的需求将会增长，并且响应于此，MPEG-4编码格式已经被标准化了。在1998年12月MPEG-4作为ISO/IEC 14496-2被指定为用于图像编码的国际标准。

此外，最初用于视频会议的图像编码的目的的H.26L(ITU-TQ6/16 VCEG)的标准化最近已经取得了进展。与诸如MPEG-2和MPEG-4的之前的编码格式相比，已知H.26L针对编码和解码提出了更多的计算要求，但是实现了更高的编码效率。此外，作为MPEG-4活动的链接，基于实现更高编码效率的H.26L的格式当前正被标准化为增强压缩视频编码的联合模型（Joint Model ofEnhanced-Compression Video Coding）。作为该标准化方案的一部分，H.264和MPEG-4部分10（高级视频编码，在下文中简称为“H.264/AVC”）在2003年3月被国际标准化。

另外，作为上述的扩展，FRExt（保真度范围扩展）的标准化在2005年2月完成。FRExt包括诸如RGB、4:2:2和4:4:4的业务使用所需的编码工具，以及在MPEG-2中定义的8x8 DCT和量化矩阵。结果，H.264/AVC可以被用于能够良好地表达甚至是包含在电影中的影片噪声的图像编码，这导致其被用于诸如Blu-Ray（商标）的广范围的应用中。

使用这样的编码和解码处理，图像数据以块的单位被编码。此外，当对编码数据进行解码时，进行滤波并基于边界强度和量化参数来进行去块，例如，如PTL 1中所指出的。

但是，对甚至以更高压缩率进行编码的需求也在增长，诸如用于压缩具有大约4000×2000像素的图像，或者用于在诸如互联网的有限传输能力的环境中传送高清晰度图像。这样，将宏块尺寸扩展超过MPEG-2和H.264/AVC的尺寸而达到例如32×32像素的尺寸已经在诸如NPL 1的文献中提出了。即，使用NPL 1中的提议，通过采用分层的宏块结构，在保持与用于16×16以下的像素的块的H.264/AVC格式的兼容的同时，将较大的块定义为超集。

引文列表

专利文献

专利文献1：日本未审专利申请公开No.2007-36463

非专利文献

非专利文献1:"Video Coding Using Extended Block",(StudyGroup 16,Contribution 123,ITU,Jan 2009)

发明内容

技术问题

但是，在使用扩展的宏块尺寸（特别是以低的比特率）的情况中，块失真（blocking artifacts）增加。出于这一原因，如果使用传统的去块滤波器来去除块失真，那么存在块失真将不会被充分地去除的风险，从而导致较差的图像质量。

因此，本发明的目的在于提供这样的图像处理设备和图像处理方法，通过该图像处理设备和图像处理方法，即使在使用扩展的宏块尺寸的情况下，也获得具有良好的图像质量的解码图像。

解决问题的方案

本发明的第一方面是一种图像处理设备，该图像处理设备设置有：解码器，通过对编码流进行解码来生成解码图像数据，在该编码流中，图像数据按各个块已经被编码；滤波器，进行滤波，以从由解码器生成的解码图像数据中去除块失真；以及滤波强度调整器，根据邻近块边界的相邻块的块尺寸来调整滤波的滤波强度。

本发明的第二方面是一种图像处理设备，该图像处理设备设置有：滤波器，进行滤波以从解码图像数据中去除块失真；滤波强度调整器，根据邻近块边界的相邻块的块尺寸来调整滤波的滤波强度；以及编码器，通过使用已经由滤波器进行滤波的解码图像数据来对图像数据进行编码。

就本发明而言，例如，对下述解码图像数据进行去除块失真的滤波：已经通过对由图像数据的编码生成的量化数据进行逆量化并对该逆量化数据进行逆正交变换而获得的解码图像数据，或者，已经通过对编码流进行无损解码所获得的量化数据进行逆量化并对该逆量化数据进行逆正交变换而获得的解码图像数据。就该滤波而言，滤波强度被调整，从而使得更容易对较大的块尺寸进行滤波。就该滤波强度调整而言，根据块尺寸来配置用于调整滤波强度的参数值。此外，在两个相邻块具有不同的块尺寸的情况中，根据较大的块尺寸来调整滤波强度。此外，就滤波强度调整而言，编码标准中的语法元素的值被调整。例如，可以通过调整由H.264/AVC标准中的语法元素slice_alpha_c0_offset_div2和slice_beta_offset_div2指定的FilterOffsetA和FilterOffsetB的值来调整滤波强度。此外，当使用与预先设置的参数值不同的参数值时，图片参数集中的语法元素deblocking_filter_control_present_flag的值被设置为诸如“1”的给定值，并且在片段头（slice header）中记述FilterOffsetA和FilterOffsetB的值。

本发明的第三方面是一种图像处理方法，该图像处理方法设置有：通过对编码流进行解码来生成解码图像数据的步骤，在该编码流中，图像数据按各个块已经被编码；进行滤波以从由解码器生成的解码图像数据中去除块失真的步骤；以及根据邻近块边界的相邻块的块尺寸来调整滤波的滤波强度的步骤。

本发明的第四方面是一种图像处理方法，该图像处理方法设置有：进行滤波以从解码图像数据中去除块失真的步骤，根据邻近块边界的相邻块的块尺寸来调整滤波的滤波强度的步骤，以及通过使用已经由滤波器进行滤波的解码图像数据来对图像数据进行编码的步骤。

本发明的有益效果

根据本发明，当进行滤波以从解码图像数据中去除块失真时，根据邻近块边界的相邻块的块尺寸来调整滤波强度。出于这一原因，即使使用扩展尺寸的宏块，也根据块尺寸来调整滤波强度，并且因此获得具有降低的块失真和良好的图像质量的解码图像。

附图说明

图1是示出图像编码设备的配置的示图。

图2是示出用于通过去块滤波器进行的滤波的像素数据的示图。

图3是示出量化参数QP与阈值α之间的关系的示图。

图4是示出去块滤波器和滤波强度调整器的配置的示图。

图5是示出在图像编码处理中使用的预测块尺寸的示图。

图6是示出由HEVC编码格式定义的示例性CU的示图。

图7是示出图像编码处理操作的流程图。

图8是示出预测处理的流程图。

图9是示出内预测处理（intra predication process）的流程图。

图10是示出帧间预测处理（inter predication process）的流程图。

图11是示出滤波配置处理的流程图。

图12示出图像解码设备的配置。

图13是示出图像解码处理操作的流程图。

具体实施方式

在下文中，将描述用于实现本发明的实施例。本发明的图像处理设备可以应用于在每个块的基础上对图像数据进行编码的图像编码设备，并且可以应用于对编码流进行解码的图像解码设备，在该编码流中，已经在每个块的基础上对图像数据进行了编码。将以下面的顺序描述本发明的图像处理设备被应用到图像编码设备的情况和本发明的图像处理设备被应用到图像解码设备的情况。

1.图像编码设备的配置

2.通过去块滤波器进行的滤波

3.在图像编码设备中的去块滤波器和滤波强度调整器的配置

4.图像编码设备的操作

5.图像解码设备的配置

6.图像解码设备的操作

<1.图像编码设备的配置>

图1示出图像编码设备的配置。图像编码设备10设置有：模拟/数字转换器（A/D转换器）11、帧排序缓冲器12、减法器13、正交变换单元14、量化器15、无损编码器16、累积缓冲器17和速率控制器18。另外，图像编码设备10设置有：逆量化器21、逆正交变换单元22、加法器23、去块滤波器24、帧存储器25、选择器26、帧内预测器31、运动预测/补偿单元32和预测图像/最佳模式选择器33。

A/D转换器11将模拟图像信号转换为数字图像信号，该数字图像信号被输出到帧排序缓冲器12。

帧排序缓冲器12以帧顺序对从A/D转换器11输出的图像数据进行排序。帧排序缓冲器12根据由编码处理给出的GOP（图片组）结构对帧进行排序，并将排序的图像数据输出到减法器13、帧内预测器31和运动预测/补偿单元32。

将从帧排序缓冲器12输出的图像数据和由稍后讨论的预测图像/最佳模式选择器33选择的预测图像数据供应给减法器13。减法器13计算预测误差数据（即，从帧排序缓冲器12输出的图像数据与由预测图像/最佳模式选择器33供应的预测图像数据之间的差），并将预测误差数据输出到正交变换单元14。

正交变换单元14对从减法器13输出的预测误差数据进行诸如离散余弦变换（DCT）或Karhunen-Loeve变换的正交变换。正交变换单元14将通过正交变换获得的变换系数数据输出到量化器15。

将从正交变换单元14输出的变换系数数据和来自稍后讨论的速率控制器18的速率控制信号供应给量化器15。量化器15对变换系数数据进行量化，并将量化的数据输出到无损编码器16和逆量化器21。量化器15还基于来自速率控制器18的速率控制信号来切换量化参数（量化尺度），从而改变量化数据的比特率。

将从量化器15输出的量化数据和来自稍后讨论的帧内预测器31、运动预测/补偿单元32和预测图像/最佳模式选择器33的预测模式信息供应给无损编码器16。在本文中，例如，取决于预测模式是帧内预测还是帧间预测，预测模式信息可以包括可用来识别预测块尺寸的宏块类型、预测模式、运动向量信息和参考图片信息。无损编码器16通过例如可变长度编码或算术编码来对量化数据进行无损编码，并生成输出到累积缓冲器17的编码流。无损编码器16还对被添加到编码流头信息的预测模式信息进行无损编码。

累积缓冲器17对来自无损编码器16的编码流进行缓存。累积缓冲器17还以取决于传输信道的传输速率将缓存的编码流输出。

速率控制器18监测累积缓冲器17中的空闲空间的量，根据空闲空间的量生成速率控制信号，并将速率控制信号输出到量化器15。例如，速率控制器18从累积缓冲器17获取指示空闲空间的量的信息。当空闲空间的量变低时，速率控制器18通过速率控制信号降低量化数据的比特率。此外，当在累积缓冲器17中存在足够大量的空闲空间时，速率控制器18通过速率控制信号提升量化数据的比特率。

逆量化器21将从量化器15供应的量化数据进行逆量化。逆量化器21将通过逆量化获得的变换系数数据输出到逆正交变换单元22。

逆正交变换单元22对从逆量化器21供应的变换系数数据进行逆正交变换，并将因此而获得的数据输出到加法器23。

加法器23将来自逆正交变换单元22的数据和从预测图像/最佳模式选择器33供应的预测图像数据相加到一起以产生解码图像数据，该解码图像数据被输出到去块滤波器24和帧存储器25。

去块滤波器24进行滤波以降低在图像编码期间产生的块失真。去块滤波器24进行滤波以从自加法器23供应的解码图像数据中去除块失真，并将滤波和解码的图像数据输出到帧存储器25。去块滤波器24还基于从稍后讨论的滤波强度调整器41供应的参数值来调整滤波强度。

帧存储器25存储从加法器23供应的解码图像数据和从去块滤波器24供应的滤波和解码的图像数据。

选择器26将从帧存储器25读出的未滤波的解码图像数据供应到用于帧内预测的帧内预测器31。选择器26还将从帧存储器25读出的滤波的解码图像数据供应到用于帧间预测的运动预测/补偿单元32。

帧内预测器31使用从帧排序缓冲器12输出的编码目标图像的图像数据以及从帧存储器25读出的未滤波的解码图像数据，在所有候选帧内预测模式中进行帧内预测处理。另外，帧内预测器31计算每一种帧内预测模式的成本函数值，并将获得最小计算成本函数值的帧内预测模式，或者换句话说，获得最佳编码效率的帧内预测模式，选作最佳帧内预测模式。帧内预测器31将通过最佳帧内预测模式生成的预测图像数据、关于最佳帧内预测模式的预测模式信息和最佳帧内预测模式的成本函数值输出到预测图像/最佳模式选择器33。此外，为了获得如稍后讨论的在成本函数值的计算中使用的比特流，帧内预测器31在每个帧内预测模式中的帧内预测时将关于帧内预测模式的预测模式信息输出到无损编码器16。

运动预测/补偿单元32对所有对应于宏块的预测块尺寸进行运动预测/补偿。运动预测/补偿单元32使用从帧存储器25读出的滤波的解码图像来检测从帧排序缓冲器12读出的编码目标图像中的由各预测块尺寸所给出的每个图像块的运动向量。另外，运动预测/补偿单元32基于检测到的运动向量对解码图像进行运动补偿以生成预测图像。运动预测/补偿单元32还针对每个预测块尺寸计算成本函数值，并将获得最小计算成本函数值的预测块尺寸，或者换句话说，获得最佳编码效率的预测块尺寸，选作最佳帧间预测模式。运动预测/补偿单元32将通过最佳帧间预测模式生成的预测图像数据、关于最佳帧间预测模式的预测模式信息和最佳帧间预测模式的成本函数值输出到预测图像/最佳模式选择器33。此外，为了获得如稍后讨论的在成本函数值的计算中使用的比特流，运动预测/补偿单元32在使用每个预测块尺寸进行帧间预测时将关于帧间预测模式的预测模式信息输出到无损编码器16。请注意，运动预测/补偿单元32还使用跳过的宏块和作为帧间预测模式的直接模式来预测。

预测图像/最佳模式选择器33在宏块级别上比较从帧内预测器31供应的成本函数值与从运动预测/补偿单元32供应的成本函数值，并将具有较低的成本函数值的预测模式选作具有最佳编码效率的最佳模式。预测图像/最佳模式选择器33还将使用最佳模式生成的预测图像数据输出到减法器13和加法器23。另外，预测图像/最佳模式选择器33将关于最佳模式的预测模式信息输出到无损编码器16和滤波强度调整器41。在本文中，预测图像/最佳模式选择器33在片段级别（slicelevel）上进行帧内预测或帧间预测。

滤波强度调整器41根据由关于最佳模式的预测模式信息所指示的预测块尺寸来配置用于调整滤波强度的参数值，并将配置的参数值输出到去块滤波器24。

<2.通过去块滤波器进行的滤波>

当使用去块滤波器进行滤波时，可以指定三种类型的滤波：

（a）滤波块边界以及宏块边界

（b）仅滤波宏块边界

（c）不进行滤波

这三种类型的滤波是根据H.264/AVC编码格式中的两个参数来指定的，这两个参数，即，包含在图像压缩信息中的图片参数集RBSP中的deblocking_filter_control_present_flag  和片段头中的disable_deblocking_filter_idc。

关于量化参数QP，QPY被用于将下列处理应用于亮度数据的情况中，而QPC被用于将下列处理应用于色度数据的情况中。此外，对于运动向量编码、帧内预测和熵编码（CAVLC/CABAC），属于不同片段的像素值作为“不可用”被处理。此外，对于滤波，如果像素值属于同一图片，即使这些像素值属于不同的片段，那么它们也作为“可用”被处理。

在下面的解释中，如图2中的（A）所示，在相邻块P与Q之间的块边界处的未滤波的像素数据被标记为p0到p3和q0到q3。此外，如图2中的（B）所示，滤波的像素数据被标记为p0’到p3’和q0’到q3’。

在滤波之前，针对图2中的像素p和像素q，块边界强度数据Bs（边界强度）被定义为如表格1中所示。

[表1]

如表格1所示，在像素p或像素q属于要被帧内编码的宏块MB，并且另外，像素被置于宏块MB的边界处的情况中，块边界强度数据Bs被分配最高的滤波强度“4”。

在像素p或像素q属于要被帧内编码的宏块MB，但是另外，像素没有被置于宏块MB的边界处的情况中，块边界强度数据Bs被分配仅次于“4”的高滤波强度“3”。

在像素p或像素q都不属于要被帧内编码的宏块MB，并且另外，某些像素具有变换系数的情况中，块边界强度数据Bs被分配仅次于“3”的高滤波强度“2”。

在满足下述条件的情况下块边界强度数据Bs被分配滤波强度“1”：p或像素q都不属于要被帧内编码的宏块MB，并且另外，没有像素具有变换系数，同时，参考帧不同、参考帧的数量不同，或者运动向量不同。

在像素p或像素q都不属于要被帧内编码的宏块MB，并且都不具有变换系数，但是参考帧和运动向量相同的情况中，块边界强度数据Bs被分配滤波强度“0”，这意味着没有进行滤波。

只有在公式(1)中的条件成立的情况中才对图2中的（p2,p1,p0,q0,q1,q2）进行滤波。

Bs>0

|p0-q0|<α;|p1-p0|<β;|q1-q0|<β            (1)

在本文中，阈值α和β是调整滤波强度的参数值，或者换句话说，多么容易地进行滤波的参数值。默认地，α和β的值根据如下的量化参数来确定。用户还可以利用包含在图像压缩信息的片段头中的两个参数slice_alpha_c0_offset_div2和slice_beta_offset_div2来调整强度。在本文中，图3示出量化参数QP与阈值α之间的关系。图3演示滤波强度由于在将偏移量与量化参数QP相加时该曲线（该曲线示出量化参数QP与阈值α之间的关系）在箭头方向上移动的方式而怎样被调整。

此外，通过分别使用相邻块P和Q的量化参数qPp和qPq根据公式(2)到公式(4)来计算indexA和indexB，从表2中示出的表格中获得阈值α和β。

qPav=(qPp+qPq+1)＞>1                         (2)

indexA=Clip3(0,51,qPav+FilterOffsetA)        (3)

indexB=Clip3(0,51,qPav+FilterOffsetB)        (4)

[表2]

针对“Bs<4”的情况和“Bs=4”的情况，定义不同的滤波方法。首先，将描述“Bs<4”的情况。

去块滤波器进行由公式(5)到公式(7)所示的操作，并计算滤波像素数据p0’和q0’。在公式(7)中，Clip3表示削波处理。

p0'=Clip1(p0+Δ)        (5)

q0'=Clip1(q0+Δ)        (6)

Δ=Clip3(-tc,tc((((q0-p0)<<2)+(p1-q1)+4)>>3))    (7)

在chromaEdgeFlag为“0”的情况中，去块滤波器基于公式(8)计算公式(7)中的“tc”，在其它情况中，去块滤波器基于公式(9)计算公式(7)中的“tc”。

在公式(8)中，如果满足括号（）中的条件，那么“()?1:0”表示1，在其它所有情况中，“()?1:0”表示“0”。

tc=tc0+((ap<β)?1:0)+(aq<β)?1:0)        (8)

tc=tc0+1                                 (9)

如表3中一样，根据Bs和indexA的值来定义tc的值。

[表3]

此外，去块滤波器根据公式(10)和公式(11)计算公式(8)中的ap和aq。

ap=|p2-p0|    (10)

aq=|q2-q0|    (11)

在chromaEdgeFlag为“0”，并且另外，ap小于或等于“β”的情况中，去块滤波器通过进行在公式(12)中指示的操作来计算滤波像素数据p1’。在其它所有情况中，通过公式(13)来获得滤波像素数据p1’。

p1'=p1+Clip3(-tc0,tc0,(p2+((p0+q0+1)>>1)-(p1<<1))>>1)    (12)

p1′＝p1    (13)

在chromaEdgeFlag为“0”，并且另外，aq小于或等于“β”的情况中，去块滤波器通过进行在公式(14)中指示的操作来计算滤波像素数据q1’。在其它所有情况中，通过公式(15)来获得滤波像素数据q1’。

q1'=q1+Clip3(-tc0,tc0,(q2+((p0+q0+1)＞>1)-(q1<<1))＞>1)    (14)

q1'=q1    (15)

接下来，将描述“Bs=4”的情况。在chromaEdgeFlag指示“0”，并且另外，满足公式(16)中的条件的情况中，去块滤波器根据公式(17)到公式(19)来计算像素数据p0’、p1’和p2’。

ap<β&&|p0-q0|<((α>>2)+2)    (16)

p0′＝(p2+2·p1+2·p0+2·q0+q1+4)＞>3    (17)

p1′＝(p2+p1+p0+q0+2)＞>2    (18)

p2′＝(2·p3+3·p2+p1+p0+q0+4)＞>3    (19)

在chromaEdgeFlag指示“0”，并且另外，不满足公式(16)中的条件的情况中，去块滤波器根据公式(20)到公式(22)来计算像素数据p0’、p1’和p2’。

p0′＝(2·p1+p0+q1+2)＞>2    (20)

p1'=p1    (21)

p2'=p2    (22)

在chromaEdgeFlag指示“0”，并且另外，满足公式(23)中的条件的情况中，去块滤波器根据公式(24)到公式(26)来计算像素数据q0’、q1’和q2’。

aq<β&&|p0-q0|<((α>>2)+2)    (23)

q0′＝(p1+2·p0+2·q0+2·q1+q2+4)＞>3    (24)

q1′＝(p0+q0+q1+q2+2)＞>2    (25)

q2′＝(2·q3+3·q2+q1+q0+p4+4)＞>3    (26)

在chromaEdgeFlag指示“0”，并且另外，不满足公式(23)中的条件的情况中，去块滤波器根据公式(27)到公式(29)来计算像素数据q0’、q1’和q2’。

q0′＝(2·q1+q0+p1+2)＞>2    (27)

q1'=q1    (28)

q2'=q2    (29)

<3.图像编码设备中的去块滤波器和滤波强度调整器的配置>

滤波强度调整器41根据针对给定宏块的最佳模式的预测块尺寸来调整去块滤波器24的滤波强度。

典型地，在较大的块尺寸的情况中，块失真更易被人看到。此外，对于不包含太多纹理信息的平坦区域（flat area），较大的块尺寸更容易被选择。

此外，尽管如果去块滤波器的滤波强度被加强，那么块失真被去除，但是同时还存在一个问题，即，由于由去块滤波器进行的滤波是低通滤波，因此图像的锐度失去了。

因此，如果例如这样配置使得滤波更容易地被进行到最初不包含太多纹理信息的使用较大预测块尺寸的块，那么可以去除对纹理几乎没有影响的容易看见的块失真并得到具有良好的图像质量的解码图像。

滤波强度调整器41通过根据预测块尺寸配置调整滤波强度的参数值来调整去块滤波器24的滤波强度。

此外，并不总是出现两个相邻块将具有相等的预测块尺寸的情况。因此，当在针对目标块或相邻块的最佳模式中预测块尺寸是扩展块尺寸的情况中，滤波强度调整器41根据较大的预测块尺寸来调整滤波强度。

另外，在使用多个具有比给定宏块大的块尺寸的宏块的情况中，滤波强度调整器41根据针对两个相邻块的预测块尺寸的组合来调整滤波强度，从而使得滤波强度随块尺寸的增加而增加。

图4示出去块滤波器和滤波强度调整器的配置。滤波强度调整器41被设置有块尺寸缓冲器411和参数选择器412。块尺寸缓冲器411缓存一帧图像的指示由预测图像/最佳模式选择器33选择的最佳模式的预测块尺寸的信息。换句话说，进入一种状态，其中，块尺寸缓冲器411存储关于要被编码的单个帧图像中的各个宏块的预测块尺寸的信息。

参数选择器412基于在块尺寸缓冲器411中的预测块尺寸信息来配置参数值，从而使得更容易地对具有较大块尺寸的解码图像的部分进行滤波。例如，参数选择器412可以为由H.264/AVC标准中的语法元素slice_alpha_c0_offset_div2和slice_beta_offset_div2指定的FilterOffsetA和FilterOffsetB的值设置较大的值。参数选择器412还根据相邻预测块尺寸的组合来事先配置FilterOffsetA和FilterOffsetB，并基于预测块尺寸信息来确定相邻块具有哪种预测块尺寸。另外，其被配置为使得使用取决于确定的预测块尺寸的组合的值。

此外，参数选择器412根据之前的公式(2)到公式(4)计算indexA和indexB，并使用在表2中示出的表格根据预测块尺寸来配置阈值α和β，即，设置滤波强度的参数值，然后，这些参数值被输出到去块滤波器24的滤波强度确定单元241。

滤波强度确定单元241基于从无损编码器16供应的预测模式信息来确定块边界强度数据Bs，并将确定的块边界强度数据Bs以及从参数选择器412供应的阈值α和β输出到滤波处理器242。

滤波处理器242使用块边界强度数据Bs、阈值α和β以及在块边界处的像素数据p3、p2、p1、p0、q0、q1、q2和q3来进行上述滤波操作，并计算滤波的像素数据p3’、p2’、p1’、p0’、q0’、q1’、q2’和q3’。

<4.图像编码设备的操作>

接下来，将描述图像编码处理操作。图5示出在图像编码处理中使用的预测块尺寸。在H.264/AVC格式中，如图5中的（C）和（D）所示，定义从16×16像素到4×4像素的预测块尺寸。此外，例如，在使用具有扩展超过H.264/AVC格式的尺寸的宏块的情况中（例如，在使用32×32像素宏块的情况中），定义由图5中的（B）所示的预测块尺寸。此外，例如，在使用64×64像素宏块的情况中，定义由图5中的（A）所示的预测块尺寸。

在图5中，“跳过/直接（skip/direct）”指示当在运动预测/补偿单元32中选择跳过宏块或直接模式时的预测块尺寸。此外，“ME”指示运动补偿块尺寸。此外，“P8×8”指示宏块可以在更低的层被进一步地分成具有更小尺寸的宏块。

同时，以相比于H.264/AVC格式进一步改进编码效率为目标，在JCTVC（联合协作组-视频编码）（ITU-T与ISO/IEC之间的联合标准化组）的努力下，称为HEVC（高效视频编码）的编码格式的标准化已经取得了进展。在2010年9月，“Test Model underConsideration”（JCTVC-B205）已经作为初稿被出版了。

使用HEVC编码格式，CU（编码单位）被定义，从而可以使用具有扩展超过H.264/AVC的尺寸的尺寸的宏块。

CU（又称为CTB（编码树块））实现与H.264/AVC格式中的宏块的角色类似的角色。此外，虽然在H.264/AVC格式中宏块被固定在16×16像素的尺寸，但是就HEVC编码格式而言，尺寸不固定并且按各个序列在图像压缩信息中被指定。

特别地，具有最大尺寸的CU被称为LCU（最大编码单位）。此外，具有最小尺寸的CU被称为SCU（最小编码单位）。虽然这些尺寸在包含于图像压缩信息中的序列参数集中被指定，但是它们中的每一个都被限制为由2的幂所表示的正方形尺寸。

图6示出由HEVC编码格式定义的示例性CU。在示出的该例子中，LCU的尺寸为128，并且最大的层深度为5。当split_flag的值为1时，尺寸2N×2N的CU在下面一层被分割成尺寸N×N的CU。

另外，CU被分割成PU（预测单位）和TU（变换单位），PU是帧内预测或帧间预测的单位，TU是正交变换的单位。

CU另外被分割成PU（其是帧内预测或帧间预测的单位），或者TU（其是正交变换的单位），并进行预测处理和正交变换处理。当前，就HEVC编码格式而言，除了4×4和8×8以外，还可以使用16×16和32×32正交变换。

在本说明书中，块和宏块包括上面讨论的CU、PU和TU的概念，并且并不限于固定尺寸的块。

图7是示出图像编码处理操作的流程图。在步骤ST11中，A/D转换器11对输入的图像信号进行A/D转换。

在步骤ST12中，帧排序缓冲器12对图像进行排序。帧排序缓冲器12存储由A/D转换器11供应的图像数据，从而将图片从它们的显示顺序重新排序为编码顺序。

在步骤ST13中，减法器13生成预测误差数据。减法器13通过计算在步骤ST12中排序的图像的图像数据与由预测图像/最佳模式选择器33供应的预测图像数据之间的差来生成预测误差数据。与最初的图像数据相比，预测误差数据具有更小的数据尺寸。因此，与直接对图像进行编码的情况相比，数据尺寸可以被压缩。在本文中，当在从帧内预测器31供应的预测图像与从运动预测/补偿单元32供应的预测图像之间进行的选择由预测图像/最佳模式选择器33以片段的单位进行时，在选择从帧内预测器31供应的预测图像的片段上进行帧内预测。同时，在选择来自运动预测/补偿单元32的预测图像的片段上进行帧间预测。

在步骤ST14中，正交变换单元14进行正交变换。正交变换单元14对从减法器13供应的预测误差数据进行正交变换。具体地说，对预测误差数据进行诸如离散余弦变换或Karhunen-Loeve变换的正交变换，并输出变换系数数据。

在步骤ST15中，量化器15进行量化。量化器15对变换系数数据进行量化。在量化期间，在步骤ST25的处理中如稍后描述的那样进行速率控制。

在步骤ST16中，逆量化器21进行逆量化。逆量化器21使用与量化器15的特性相对应的特性对已经由量化器15进行了量化的变换系数数据进行逆量化。

在步骤ST17中，逆正交变换单元22进行逆正交变换。逆正交变换单元22使用与正交变换单元14的特性相对应的特性对已经由逆量化器21进行了逆量化的变换系数数据进行逆正交变换。

在步骤ST18中，加法器23生成解码图像数据。加法器23通过将从预测图像/最佳模式选择器33供应的预测图像数据与对应于该预测图像的位置处的逆正交变换数据相加来生成解码图像数据。

在步骤ST19中，去块滤波器24进行滤波。去块滤波器24对由加法器23输出的解码图像数据进行滤波以去除块失真。

在步骤ST20中，帧存储器25存储解码图像数据。帧存储器25存储未滤波的解码图像数据和滤波的解码图像数据。

在步骤ST21中，帧内预测器31和运动预测/补偿单元32进行相应的预测处理。也就是，帧内预测器31在帧内预测模式中进行帧内预测，而运动预测/补偿单元32在帧间预测模式中进行运动预测/补偿。稍后将参考图8讨论预测处理的细节，但是作为这些处理的结果，在所有候选预测模式中进行预测，并且分别针对所有候选预测模式计算成本函数值。然后，基于计算的成本函数值选择最佳帧内预测模式和最佳帧间预测模式，并且将使用选择的预测模式生成的预测图像及其成本函数值和预测模式信息供应到预测图像/最佳模式选择器33。

在步骤ST22中，预测图像/最佳模式选择器33选择预测图像数据。预测图像/最佳模式选择器33基于由帧内预测器31和运动预测/补偿单元32输出的各个成本函数值来确定具有最佳编码效率的最佳模式。另外，预测图像/最佳模式选择器33选择这样确定的最佳模式的预测图像，并将其供应到减法器13和加法器23。如上面所讨论的，该预测图像被用于步骤ST13和ST18中的操作中。同时，对应于所选预测图像数据的预测模式信息被输出到无损编码器16和滤波强度调整器41。

在步骤ST23中，无损编码器16进行无损编码。无损编码器16对由量化器15输出的量化数据进行无损编码。换句话说，通过将诸如可变长度编码或算术编码的无损编码应用于量化数据来压缩数据。在这一点处，在上面讨论的在步骤ST22中输入到无损编码器16中的预测模式信息（例如，可以包括宏块类型、预测模式、运动向量信息和参考图片信息）也被无损地编码。此外，无损编码预测模式信息数据被添加到通过对量化数据进行无损编码生成的编码流的头信息。

在步骤ST24中，累积缓冲器17进行缓存处理以对编码流进行缓存。在累积缓冲器17中缓存的编码流被适当地读出并经由传输信道被发送到解码器。

在步骤ST25中，速率控制器18进行速率控制。速率控制器18控制由量化器15进行的量化操作的速率，从而使得当编码流正在被缓存在累积缓冲器17中时，在累积缓冲器17中不发生溢出或下溢。

接下来，将参考图8中的流程图来描述在图7的步骤ST21中的预测处理。

在步骤ST31中，帧内预测器31进行帧内预测。帧内预测器31在所有候选帧内预测模式下对处理目标块图像进行帧内预测。在本文中，没有被去块滤波器24进行滤波的存储在帧存储器25中的解码图像数据被用作在帧内预测期间被参考的解码图像的图像数据。帧内预测处理的细节将在稍后被讨论，但是作为该处理的结果，在所有候选帧内预测模式中进行帧内预测，并且针对所有候选帧内预测模式计算成本函数值。然后，基于计算的成本函数值，从所有帧内预测模式中选择具有最佳编码效率的一个帧内预测模式。

在步骤ST32中，运动预测/补偿单元32进行帧间预测。运动预测/补偿单元32使用存储在帧存储器25中的滤波的解码图像数据来在所有的帧间预测模式（所有的预测块尺寸）中进行帧间预测。帧间预测处理的细节将在稍后被讨论，但是作为该处理的结果，在所有候选帧间预测模式中进行预测处理，并且针对所有候选帧间预测模式计算成本函数值。然后，基于计算的成本函数值，从所有帧间预测模式中选择具有最佳编码效率的一个帧间预测模式。

接下来，将参考图9中的流程图来描述在图8的步骤ST31中的帧内预测处理。

在步骤ST41中，帧内预测器31在各个预测模式中进行帧内预测。帧内预测器31使用存储在帧存储器25中的未滤波的解码图像数据来针对每个帧内预测模式生成预测图像数据。

在步骤ST42中，帧内预测器31针对每个预测模式计算成本函数值。如由JM（联合模型）（用于H.264/AVC格式的参考软件）所定义的，成本函数值的计算是基于高复杂度模式或低复杂度模式中的技术来进行的。

换句话说，在高复杂度模式中，在步骤ST41中的处理涉及在所有候选预测模式中临时地进行无损编码，以及针对每个预测模式计算通过下面的公式(30)表示的成本函数值。

Cost(Mode∈Ω)=D+λ·R    (30)

Ω表示用于对块和宏块进行编码的所有候选预测模式的集合。D表示已经在预测模式中被编码的编码图像与输入图像之间的差分能量（失真）。R是比特率，包含正交变换系数和预测模式信息等。λ是作为量化参数QP的函数给出的Lagrange乘子。

换句话说，由于在高复杂度模式中的编码涉及计算上述参数D和R，因此需要临时地在所有候选预测模式中进行一次编码，这样的计算强度较大。

同时，在低复杂度模式中，在步骤ST41中的处理涉及生成预测图像并针对所有候选预测模式计算诸如运动向量信息和预测模式信息的头比特。另外，针对每个预测模式计算由下面的公式(31)表示的成本函数值。

Cost(Mode∈Ω)=D+QPtoQuant(QP)·Header_Bit    (31)

Ω表示用于对块和宏块进行编码的所有候选预测模式的集合。D表示已经在预测模式中被编码的编码图像与输入图像之间的差分能量（失真）。Header_Bit是针对预测模式的头比特的数量，QPtoQuant是作为量化参数QP的函数给出的函数。

换句话说，尽管在低复杂度模式中需要针对每个预测模式进行预测处理，但是解码图像不是必要的，并且因此可以通过比高复杂度模式少的计算来实现低复杂度模式。

在步骤ST43中，帧内预测器31确定最佳帧内预测模式。通过从在步骤ST42中计算的成本函数值中选择其成本函数值得到最小值的一个帧内预测模式，帧内预测器31确定最佳帧内预测模式。

接下来，将参考图10中的流程图来描述在图8的步骤ST32中的帧间预测处理。

在步骤ST51中，运动预测/补偿单元32分别针对每个预测模式确定运动向量和参考图像。换句话说，运动预测/补偿单元32分别在每个预测模式中针对目标块确定运动向量和参考图像。

在步骤ST52中，运动预测/补偿单元32在每个预测模式中进行运动补偿。对于每个预测模式（每个预测块尺寸），运动预测/补偿单元32基于在步骤ST51中确定的运动向量对参考图像进行运动补偿，并针对每个预测模式生成预测图像数据。

在步骤ST53中，运动预测/补偿单元32在每个预测模式中生成运动向量信息。运动预测/补偿单元32对针对每个预测模式确定的运动向量生成运动向量信息，以包含在编码流中。例如，预测模式向量可以使用中间预测（median prediction）等来确定，并且可以生成表示通过运动预测检测的运动向量与预测运动向量之间的差的运动向量信息。以这种方式生成的运动向量信息还被用于在下面的步骤ST54中计算成本函数值，并且在其对应预测图像最终由预测图像/最佳模式选择器33选择的情况中，运动向量信息被包含在预测模式信息中并被输出到无损编码器16。

在步骤ST54中，运动预测/补偿单元32针对每个帧间预测模式计算成本函数值。运动预测/补偿单元32使用之前讨论的公式(30)或公式(31)来计算成本函数值。在本文中，针对帧间预测模式的成本函数值的计算还包括评价在H.264/AVC格式中定义的跳过模式（skipmode）和直接模式（direct mode）的成本函数值。

在步骤ST55中，运动预测/补偿单元32确定最佳帧间预测模式。通过从在步骤ST54中计算的成本函数值中选择其成本函数值得到最小值的一个预测模式，运动预测/补偿单元32确定最佳帧间预测模式。

接下来，将描述去块滤波调整处理。在规定关于H.264/AVC编码模式中的去块滤波的参数的方法中，在图片参数集中存在deblocking_filter_control_present_flag。其被配置为使得在该标志具有值“1”的情况中在片段头中存在slice_alpha_c0_offset_div2和slice_beta_offset_div2，而在它们不存在的情况中，使用默认值“0”。

相反地，在本发明中，如表4中一样，FilterOffsetA和FilterOffsetB的值都是根据两个相邻块尺寸的组合来定义的，在表4中，例如，偏移值SZa和SZb取为整数，使得0<SZa≤SZb≤6。

[表4]

在使用多个具有比给定宏块大的块尺寸的宏块的情况中，表4示出针对两个相邻块的预测块尺寸的各个组合的偏移值，从而使得滤波强度随块尺寸的增大而增大。此外，在表4中的偏移值被设置为使得在两个相邻块具有不同的预测块尺寸的情况中根据较大的预测块尺寸来调整滤波强度。换句话说，FilterOffsetA和FilterOffsetB的值被配置为与这两个相邻块中的较大尺寸的块匹配。例如，当较大的块是64个像素时使用偏移值SZb，当较大的块是32个像素时使用偏移值SZa，并且对于16×16像素，使用偏移值“0”。

图11是示出滤波配置处理的流程图。在步骤ST61中，滤波强度调整器41获取最佳模式的预测块尺寸。滤波强度调整器41获取对应于在图7的步骤ST22中选择的预测图像的预测块尺寸，或者换句话说，当在最佳模式中进行编码时使用的预测块尺寸。

在步骤ST62中，滤波强度调整器41确定当前块或相邻块的边界部分是否是64像素。在当前块或相邻块的边界部分是64像素时，滤波强度调整器41前进到步骤ST63，并且在当前块和相邻块的边界部分都小于64像素时，滤波强度调整器41前进到步骤ST64。

在步骤ST63中，滤波强度调整器41选择偏移值SZb，将其设置为FilterOffsetA和FilterOffsetB，并前进到步骤ST67。

在步骤ST64中，滤波强度调整器41确定当前块或相邻块的边界部分是否是32像素。在当前块或相邻块的边界部分是32像素时，滤波强度调整器41前进到步骤ST65，并且在当前块和相邻块的边界部分都小于32像素时，滤波强度调整器41前进到步骤ST66。

在步骤ST65中，滤波强度调整器41选择偏移值SZa（≤SZb），将其设置为FilterOffsetA和FilterOffsetB，并前进到步骤ST67。

在步骤ST66中，滤波强度调整器41选择偏移值0（<SZa），将其设置为FilterOffsetA和FilterOffsetB，并前进到步骤ST67。

在步骤ST67中，滤波强度调整器41调整滤波强度。滤波强度调整器41使用在步骤ST63、ST65或ST66中配置的FilterOffsetA和FilterOffsetB来确定阈值α和β，即，设置滤波强度的参数值，并将其输出到去块滤波器24。

以这种方式，作为当边界部分处的块尺寸大时滤波强度调整器41使用增加的偏移值来配置阈值α和β的结果，去块滤波器24更容易进行滤波。

请注意，尽管通过表4和图11中的例子示出了64×64像素、32×32像素和16×16像素的组合，但是这些组合并不限于这些尺寸。此外，尽管当较大的块是64个像素时使用偏移值SZb，当较大的块是32个像素时使用偏移值SZa，并且对于16×16像素，使用偏移值“0”，但是偏移值并不仅限于上述组合，只要通过更容易对较大的块进行滤波来获得良好的图像质量即可。

此外，在用户想配置与表4不同的他或她自己的值的情况中，用户可以在片段头中配置FilterOffsetA16、FilterOffsetA32、FilterOffsetA64、FilterOffsetB16、FilterOffsetB32和FilterOffsetB64的值，其中，在图片系数集中，给定值“1”被设置为deblocking_filter_control_present_flag的值。这些参数分别对应于两个相邻块中的较大的是16×16、32×32和64×64的情况。即使deblocking_filter_control_present_flag的值为1，FilterOffsetA32、FilterOffsetA64、FilterOffsetB32和FilterOffsetB64的值也不存在于片段头中。在这种情况中，例如，可以使用如下值：

FilterOffsetA32=FilterOffsetA16+SZa

FilterOffsetA64=FilterOffsetA16+SZb

FilterOffsetB32=FilterOffsetB16+SZa

FilterOffsetB64=FilterOffsetB16+SZb。

以这种方式，根据已经应用了本发明的图像编码设备和方法，确定了得到最佳编码效率的块尺寸，并且使用确定的块尺寸来对图像数据进行编码。此时，表示块尺寸的信息被缓存在滤波强度调整器41的块尺寸缓冲器411中。因此，当已经使用得到最佳编码效率的块尺寸进行编码的图像数据被解码并生成解码图像数据时，在解码图像中的预测块的位置是清晰的。出于这一原因，如果基于缓存在块尺寸缓冲器411中的信息来调整滤波强度从而使得更容易对大块尺寸进行滤波，那么即使块尺寸大，也可以降低块失真。此外，由于在解码图像中可以降低块失真，因此可以进一步降低编码数据尺寸，这是由于可以防止由块失真的影响导致的预测误差数据的增加。

<5.图像解码设备的配置>

已经通过对输入图像进行编码而生成的编码流经由给定的传输信道或记录介质等被供应到图像解码设备并被解码。

图12示出图像解码设备的配置。图像解码设备50设置有累积缓冲器51、无损解码器52、逆量化器53、逆正交变换单元54、加法器55、去块滤波器56、帧排序缓冲器57和D/A转换器58。另外，图像解码设备50设置有帧存储器61、选择器62和65、帧内预测器63、运动补偿单元64和滤波强度调整器71。

累积缓冲器51缓存发送给其上的编码流。无损解码器52以与图1中的无损编码器16的编码格式相对应的格式对由累积缓冲器51供应的编码流进行解码。此外，无损解码器52对编码流中的头信息进行解码以获得预测模式信息，该预测模式信息被输出到帧内预测器63、运动补偿单元64和去块滤波器56。

逆量化器53获得已经由无损解码器52解码的量化数据并以与图1的量化器15的量化格式相对应的格式对其进行逆量化。逆正交变换单元54获取来自逆量化器53的输出，以与图1中的正交变换单元14的正交变换格式相对应的格式进行逆正交变换，并将结果输出到加法器55。

加法器55将逆正交变换数据与从选择器65供应的预测图像数据相加，以生成解码图像数据，该解码图像数据被输出到去块滤波器56和帧存储器61。

去块滤波器56对从加法器55供应的解码图像数据进行滤波以去除块失真，然后将结果供应到帧存储器61以进行缓存，同时还将结果输出到帧排序缓冲器57。去块滤波器56还基于从无损解码器52供应的预测模式信息和从稍后讨论的滤波强度调整器71供应的用于滤波强度调整的阈值α和β来调整滤波强度。

帧排序缓冲器57对图像进行排序。换句话说，由图1中的帧排序缓冲器12重新排序成编码顺序的帧序列被重新排序成最初的显示顺序并被输出到D/A转换器58。

D/A转换器58对从帧排序缓冲器57供应的图像数据进行D/A转换，并通过将图像数据输出到未在图中示出的显示器来显示图像。

帧存储器61存储从加法器55供应的未滤波的解码图像数据和从去块滤波器24供应的滤波的解码图像数据。

当对已经进行了帧内预测的预测块进行解码时，选择器62基于从无损解码器52供应的预测模式信息将从帧存储器61读出的未滤波的解码图像数据供应给帧内预测器63。此外，当对已经进行了帧间预测的预测块进行解码时，选择器26基于从无损解码器52供应的预测模式信息将从帧存储器61读出的滤波的解码图像数据供应给运动补偿单元64。

帧内预测器63基于从无损解码器52供应的预测模式信息生成预测图像，并将生成的预测图像数据输出到选择器65。帧内预测器63还将指示生成的预测图像的块尺寸的信息输出到滤波强度调整器71。

运动补偿单元64基于从无损解码器52供应的预测模式信息进行运动补偿并生成预测图像数据，并将结果输出到选择器65。换句话说，基于包含在预测模式信息中的运动向量信息和参考帧信息，运动补偿单元64通过使用基于运动向量信息的运动向量对由参考帧信息指示的参考图像进行运动补偿来生成预测图像数据。运动补偿单元64还将指示生成的预测图像的块尺寸的信息输出到滤波强度调整器71。

选择器65将由帧内预测器63生成的预测图像数据供应到加法器55。选择器65还由运动补偿单元64生成的预测图像数据供应到加法器55。

滤波强度调整器71与在图4中示出的滤波强度调整器41类似地配置并且类似地操作。滤波强度调整器71通过根据预测块尺寸配置调整滤波强度的参数值来调整去块滤波器56的滤波强度。此外，在预测块尺寸在针对目标块或相邻块的最佳模式中是扩展块尺寸的情况中，滤波强度调整器71根据较大的预测块尺寸来调整滤波强度。另外，在使用多个具有比给定宏块大的块尺寸的宏块的情况中，滤波强度调整器71根据针对两个相邻块的预定块尺寸的组合来调整滤波强度，从而使得滤波强度随块尺寸的增加而增加。换句话说，滤波强度调整器71根据从帧内预测器63或运动补偿单元64供应的块尺寸配置阈值α和β，即，用于调整滤波强度的参数值，并将配置的参数值输出到去块滤波器56。

<6.图像解码设备的操作>

接下来，将参考图13中的流程图描述由图像解码设备50进行的图像解码处理操作。

在步骤ST71，累积缓冲器51缓存发送给其上的编码流。在步骤ST72中，无损解码器52进行无损解码。无损解码器52对从累积缓冲器51供应的编码流进行解码。换句话说，获得已经由图1中的无损编码器16进行编码的各个图片的量化数据。此外，无损解码器52对包含在编码流的头信息中的预测模式信息进行无损解码，并将获得的预测模式信息供应到去块滤波器56以及选择器62和65。此外，在预测模式信息是关于帧内预测模式的信息的情况中，无损解码器52将预测模式信息输出到帧内预测器63。此外，在预测模式信息是关于帧间预测模式的信息的情况中，无损解码器52将预测模式信息输出到运动补偿单元64。

在步骤ST73中，逆量化器53进行逆量化。逆量化器53获得已经由无损解码器52解码的量化数据，并使用与图1中的量化器15的特性相对应的特性对其进行逆量化。

在步骤ST74中，逆正交变换单元54进行逆正交变换。逆正交变换单元54使用与图1中的正交变换单元14的特性相对应的特性对已经由逆量化器53进行了逆量化的变换系数数据进行逆正交变换。

在步骤ST75中，加法器55生成解码图像数据。加法器55通过将通过进行逆正交变换获得的数据与在稍后讨论的步骤ST79中选择的预测图像数据相加来生成解码图像数据。通过这样做，最初的图像被解码。

在步骤ST76中，去块滤波器56进行滤波。去块滤波器56对由加法器55输出的解码图像数据进行滤波，以去除包含在解码图像中的块失真。

在步骤ST77中，帧存储器61进行解码图像数据存储处理。

在步骤ST78中，帧内预测器63和运动补偿单元64进行预测处理。帧内预测器63和运动补偿单元64进行对应于从无损解码器52供应的预测模式信息的各个预测处理。

换句话说，在从无损解码器52供应针对帧内预测的预测模式信息的情况中，帧内预测器63基于预测模式信息进行帧内预测处理，并生成预测图像数据。此外，在从无损解码器52供应针对帧间预测的预测模式信息的情况中，运动补偿单元64基于预测模式信息进行运动补偿，并生成预测图像数据。

在步骤ST79中，选择器65选择预测图像数据。换句话说，选择器65在从帧内预测器63供应的预测图像与由运动补偿单元64生成的预测图像数据之间选择，并将选择供应到加法器55，如上面所讨论的，加法器55使得该选择与在步骤ST75中来自逆正交变换单元54的输出相加。

在步骤ST80中，帧排序缓冲器57对图像进行排序。换句话说，帧排序缓冲器57获得由图1中的图像编码设备10的帧排序缓冲器12重新排序为编码顺序的帧序列，并将该帧序列重新排序为最初的显示顺序。

在步骤ST81中，D/A转换器58对来自帧排序缓冲器57的图像数据进行D/A转换。图像被输出到未在图中示出的显示器，并显示该图像。

此外，通过图13中的步骤ST76中的滤波处理，滤波强度调整器71进行之前讨论的在图11中示出的滤波强度调整处理。滤波强度调整器71配置阈值α和β，即，设置滤波强度的参数值，从而使得通过调整由例如H.264/AVC标准中的语法元素slice_alpha_c0_offset_div2和slice_beta_offset_div2指定的FilterOffsetA和FilterOffsetB的值来更容易对较大的预测块尺寸进行滤波。

以这种方式，滤波强度调整器71根据在进行编码时的预测块尺寸来生成阈值α和β，即，调整滤波强度的参数值，并将其输出到去块滤波器56。去块滤波器56基于预测模式信息确定块边界强度数据Bs，并使用阈值α和β对解码图像数据进行滤波。

此外，当图片参数集中的语法元素deblocking_filter_control_present_flag的值被设置为给定值，并且FilterOffsetA和FilterOffsetB的值被记述在片段头中时，滤波强度调整器71使用记述的值来生成阈值α和β，并将其输出到去块滤波器56。如果进行了这样的滤波强度调整，那么即使在用户配置与图像编码设备中的表4中的值不同的他或她自己的值的情况中的图像解码设备中，也可以根据用户设置来进行滤波。

以这种方式，根据应用本发明的图像解码设备和方法，指示在编码处理中使用的块尺寸的信息被缓存在滤波强度调整器71的块尺寸缓冲器中。因此，当通过对编码流进行解码来生成解码图像数据时，在解码图像中的预测块的位置是清晰的。出于这一原因，如果基于缓存在块尺寸缓冲器中的信息来调整滤波强度，从而使得更容易对大块尺寸进行滤波，那么即使块尺寸大，也可以降低块失真。因此，可以获得具有良好的图像质量的解码图像。

另外，可以在硬件、软件或两者的混合配置中执行本说明书中描述的处理。当在软件中执行处理的情况中，记述处理序列的程序可以被安装在置于专用硬件中的计算机的存储器上并被执行。或者，还可以在能够执行各种处理的通用计算机上安装并执行该程序。

例如，该程序可以被事先记录在硬盘或ROM（只读存储器）的形式的记录介质上。或者，程序可以临时性地或永久地存储（记录）在诸如软盘、CD-ROM（光盘-只读存储器）、MO（磁光）盘、DVD（数字多功能盘）、磁盘或半导体存储器的可移动记录介质中。这样的可移动记录介质可以以被称为封装介质的形式提供。

同时，除了如上所述的从可移动记录介质被安装到计算机上以外，该程序还可以从下载网站无线传输到计算机，或者经由诸如LAN（局域网）或互联网的网络以有线方式传输到计算机。在计算机上，以上述方式传输的该程序可以被接收和安装到诸如内部硬盘的记录介质上。

此外，本发明并不能被解释为仅限于本发明的前述实施例。本发明的实施例以示例性和演示性的方式公开了本发明，并且，在不脱离本发明的实质的情况下，本领域技术人员可以想到修改和替换。换句话说，本发明的实质应当考虑权利要求书时被确定。

工业应用性

使用本发明的图像处理设备和图像处理方法，当进行滤波以从解码图像数据中去除块失真时，根据邻近块边界的相邻块的块尺寸来调整滤波强度。出于这一原因，即使使用扩展尺寸的宏块，也根据块尺寸来调整滤波强度，并且因此获得具有降低的块失真和良好的图像质量的解码图像。因此，本发明适用于这样的图像编码设备和图像解码设备，即，当通过与MPEG和H.26X一样以块的单位进行编码而获得的图像信息（比特流）经由诸如卫星广播、有线电视、互联网和移动电话的网络媒体被发送和接收，或者在诸如光盘或磁盘和闪存的记录介质上被处理时，使用该图像编码设备和图像解码设备。

附图标记列表

10图像编码设备

11A/D转换器

12、57帧排序缓冲器

13减法器

14正交变换单元

15量化器

16无损编码器

17、51累积缓冲器

18速率控制器

21、53逆量化器

22、54逆正交变换单元

23、55加法器

24去块滤波器

25、61帧存储器

26、62、65选择器

31、63帧内预测器

32运动预测/补偿单元

33预测图像/最佳模式选择器

41滤波强度调整器

50图像解码设备

52无损解码器

58D/A转换器

***补偿单元

71滤波强度调整器

241滤波强度确定单元

242滤波处理器

411块尺寸缓冲器

412参数选择器

Claims (20)

1.一种图像处理设备，包括：

解码器，该解码器通过对编码流进行解码来生成解码图像数据，在该编码流中，图像数据按各个块已经被编码；

滤波器，该滤波器进行滤波，以从由解码器生成的解码图像数据中去除块失真；以及

滤波强度调整器，该滤波强度调整器根据邻近块边界的相邻块的块尺寸来调整滤波的滤波强度。

2.根据权利要求1所述的图像处理设备，其中，滤波强度调整器调整滤波强度，从而使得较容易对具有较大的块尺寸的相邻块进行滤波。

3.根据权利要求2所述的图像处理设备，其中，滤波强度调整器根据块尺寸来配置用于调整滤波强度的参数值。

4.根据权利要求3所述的图像处理设备，其中，滤波强度调整器根据相邻块的块尺寸的组合来调整滤波的滤波强度。

5.根据权利要求4所述的图像处理设备，其中，在相邻块具有不同的块尺寸的情况中，滤波强度调整器根据较大的块尺寸来调整滤波强度。

6.根据权利要求5所述的图像处理设备，其中，在使用具有比给定宏块大的块尺寸的多个宏块的情况中，滤波强度调整器根据相邻块的块尺寸的组合来配置参数值，从而使得滤波强度随着块尺寸的增加而增加。

7.根据权利要求3所述的图像处理设备，其中，滤波强度调整器通过调整编码标准中的语法元素的值来调整滤波强度。

8.根据权利要求7所述的图像处理设备，其中，滤波强度调整器通过调整由H.264/AVC标准中的语法元素slice_alpha_c0_offset_div2和slice_beta_offset_div2指定的FilterOffsetA和FilterOffsetB的值来调整滤波强度。

9.根据权利要求7所述的图像处理设备，其中，在使用与预先设置的参数值不同的参数值的情况中，图片参数集中的语法元素deblocking_filter_control_present_flag的值被设置为给定值，并且在片段头中记述FilterOffsetA和FilterOffsetB的值。

10.一种图像处理方法，包括：

通过对编码流进行解码来生成解码图像数据的步骤，在该编码流中，图像数据按各个块已经被编码；

进行滤波以从由解码器生成的解码图像数据中去除块失真的步骤；以及

根据邻近块边界的相邻块的块尺寸来调整滤波的滤波强度的步骤。

11.一种图像处理设备，包括：

滤波器，该滤波器进行滤波以从解码图像数据中去除块失真；

滤波强度调整器，该滤波强度调整器根据邻近块边界的相邻块的块尺寸来调整滤波的滤波强度；以及

编码器，该编码器通过使用已经由滤波器进行滤波的解码图像数据来对图像数据进行编码。

12.根据权利要求11所述的图像处理设备，其中，滤波强度调整器调整滤波强度，从而使得较容易对具有较大的块尺寸的相邻块进行滤波。

13.根据权利要求12所述的图像处理设备，其中，滤波强度调整器根据块尺寸来配置用于调整滤波强度的参数值。

14.根据权利要求13所述的图像处理设备，其中，滤波强度调整器根据相邻块的块尺寸的组合来调整滤波的滤波强度。

15.根据权利要求14所述的图像处理设备，其中，在相邻块具有不同的块尺寸的情况中，滤波强度调整器根据较大的块尺寸来调整滤波强度。

16.根据权利要求15所述的图像处理设备，其中，在使用具有比给定宏块大的块尺寸的多个宏块的情况中，滤波强度调整器根据相邻块的块尺寸的组合来配置参数值，从而使得滤波强度随着块尺寸的增加而增加。

17.根据权利要求13所述的图像处理设备，其中，滤波强度调整器通过调整编码标准中的语法元素的值来调整滤波强度。

18.根据权利要求17所述的图像处理设备，其中，滤波强度调整器通过调整由H.264/AVC标准中的语法元素slice_alpha_c0_offset_div2和slice_beta_offset_div2指定的FilterOffsetA和FilterOffsetB的值来调整滤波强度。

19.根据权利要求17所述的图像处理设备，其中，在使用与预先设置的参数值不同的参数值的情况中，图片参数集中的语法元素deblocking_filter_control_present_flag的值被设置为给定值，并且在片段头中记述FilterOffsetA和FilterOffsetB的值。

20.一种图像处理方法，包括：

进行滤波以从解码图像数据中去除块失真的步骤；

根据邻近块边界的相邻块的块尺寸来调整滤波的滤波强度的步骤；以及

通过使用已经由滤波器进行滤波的解码图像数据来对图像数据进行编码的步骤。

Images