CN103385001B - 用于去块的高效率决策 - Google Patents

Abstract

本发明涉及去块滤波，可以将其有利地用于图像或视频信号的逐块编码和解码。具体而言，本发明涉及对是否对图像块应用去块滤波进行有效率的精确决策。通过对是否为相邻图像块之间的边界的片段应用去块滤波执行个体决策来实现有效率的精确决策，其中个体决策基于构成图像块的像素线自身中包括的像素。

Description

用于去块的高效率决策

技术领域

本发明涉及图像的滤波。具体而言，本发明涉及去块滤波以及对启用或禁用视频图像的图像块的去块滤波的决策。

背景技术

目前，大多数标准化视频编码算法基于混合式视频编码。混合式视频编码方法通常组合几种不同的无损和有损压缩方案，以便实现期望的压缩增益。混合式视频编码还是ITU-T标准（H.26x标准，例如H.261，H.263）以及ISO/IEC标准（MPEG-x标准，例如MPEG-1、MPEG-2和MPEG-4）的依据。最新的高级视频编码标准当前是表示为H.264/MPEG-4高级视频编码（AVC）的标准，其是联合视频专家组（JVT）、ITU-T和ISO/IEC MPEG专家组联合团队进行标准化工作的成果。这种编解码器正在由Joint Collaborative Team on Video Coding（JCT-VC）以High-Efficiency Video Coding（HEVC）的名义进一步开发，具体目的是改善关于高分辨率视频编码的效率。

编码器的视频信号输入是称为帧的图像序列，每个帧都是像素的二维矩阵。基于混合式视频编码的所有上述标准包括将每个个体视频帧细分成多个像素构成的更小的块。块的尺寸例如可能根据图像的内容而变化。编码方式可能通常随着每个块变化。例如，在HEVC中，这种块的最大可能尺寸是64×64像素。因此将其称为最大编码单元（LCU）。在H.264/MPEG-4AVC中，宏块（通常表示16×16像素的块）是执行编码的基本图像元，可能进一步将其分成更小的子块，对所述子块应用一些编码/解码步骤。

典型地，混合式视频编码的编码步骤包括空间和/或时间预测。因此，首先利用与其空间相邻的块或与其时间相邻的块，即先前编码的视频帧，预测要编码的每个块。然后计算要编码的块及其预测之间的差异块，也称为预测残余块。另一个编码步骤是残余块从空间（像素）域到频域中的变换。变换的目的是减小输入块的相关性。另一编码步骤是变换系数的量化。在这个步骤中，进行实际的有损（不可逆）压缩。通常，利用熵编码进一步压紧（无损压缩）压缩的变换系数值。此外，对重构编码视频信号所需的辅助信息进行编码并与编码视频信号一起提供。例如，这是关于空间和/或时间预测、量化的量等的信息。

图1是现有技术的混合式编码器100的范例，例如典型的H.264/MPEG-4AVC和/或HEVC视频编码器。减法器105首先确定输入的视频图像（输入信号s）要被编码的当前块和对应预测块之间的差异e，将其用作要被编码的当前块的预测。可以通过时间或空间预测180获得预测信号。预测类型可以基于每个帧或每个块变化。使用时间预测预测的块和/或帧称为“互”编码，使用空间预测预测的块和/或帧称为“内”编码。从存储器中存储的先前编码的图像，利用时间预测导出预测信号。利用空间预测，从先前已经编码、解码并存储在存储器中的相邻块中边界像素的值，导出预测信号。输入信号和预测信号之间的差异e表示为预测误差或残余，被变换110，获得系数，系数被量化120。然后向量化系数应用熵编码器190，以便进一步减少以无损方式存储和/或传送的数据量。这主要是通过应用具有可变长度的代码字的代码实现的，其中基于其发生的概率来选择代码字的长度。

在视频编码器100之内，结合解码单元以获得解码（重构）的视频信号s'。与编码步骤一致，解码步骤包括逆量化和逆变换130。由于量化误差，也称为量化噪声的原因，这样获得的预测误差信号e'与原始预测误差信号不同。然后通过将解码的预测误差信号e'增加140到预测信号，获得重构图像信号s'。为了维持编码器侧和解码器侧之间的兼容性，基于在编码器和解码器两侧都已知的已编码并接下来解码的视频信号，获得预测信号。

由于量化的原因，量化噪声被叠加到重构的视频信号上。由于逐块编码，叠加的噪声常常具有阻塞特性，尤其对于强量化而言，这会导致解码图像中看得见的块边界。这样的分块伪影对人的视觉感有不利效果。为了减少这些伪影，将去块滤波器150应用于每个重构的图像块。将去块滤波器应用于重构的信号s'。去块滤波器通常对块边缘进行平滑，导致解码图像的主观质量改善。此外，由于将图像的滤波部分用于其他图像的运动补偿预测，所以滤波还减少了预测误差，从而能够提高编码效率。

在去块滤波器之后，可以向包括已经去块的信号s''的图像应用自适应循环滤波器160，用于逐个像素地提高保真度（“客观”质量）。使用自适应循环滤波器（ALF）补偿由压缩导致的图像失真。典型地，自适应循环滤波器为维纳滤波器，如图1所示，确定滤波系数，从而将重构的图像s'和源图像s之间的均方误差（MSE）最小化。可以逐个帧计算并发送ALF的系数。可以将ALF应用到整个帧（视频序列的图像）或局部区域（块）。可以发送表示将要过滤哪些区域的额外辅助信息（基于块，基于帧或基于四叉树）。

为了解码，互解码块也需要在参考帧缓存（未示出）中存储先前编码并随后解码的图像部分。采用运动补偿预测来预测180互编码块。首先，由运动估算器为先前编码并解码的视频帧之内的当前块找到最佳匹配块。最佳匹配块然后变为预测信号，当前块与其最佳匹配之间的相对位移（运动）然后以辅助信息体内三维运动矢量的形式发送，成为运动数据，辅助信息是与编码的视频数据一起提供的。三维空间由两个空间维度和一个时间维度构成。为了优化预测精确度，可以以空间子像素分辨率，例如像素分辨率的一半或四分之一，确定运动矢量。具有空间子像素分辨率的运动矢量可以指向已经解码的帧之内没有真实像素值的空间位置，即子像素位置。因此，需要这种像素值的空间内插，以便执行运动补偿预测。这可以通过内插滤波器（在图1中，集成于预测块180之内）实现。

对于内编码模式和互编码模式而言，都对当前输入信号和预测信号之间的差异e进行变换110和量化120，获得量化系数。通常，采用正交变换，例如二维离散余弦变换（DCT）或其整数版本，因为其有效率地减小了自然视频图像的相关性。在变换之后，低频分量通常对于图像质量而言比高频分量更重要，因此可以花费比高频分量更多的比特来对低频分量编码。在熵编码器中，将量化系数的二维矩阵转换成一维数组。典型地，通过所谓的之字形扫描执行这种变换，从二维阵列的左上角中的DC系数开始，按照预定序列扫描二维阵列，在右下角的AC系数处结束。由于能量通常集中于二维系数矩阵的左上部，对应于低频，所以之字形扫描获得的阵列中最后的值通常为零。这样能够利用游程长度代码作为实际熵编码的一部分/在实际熵编码之前进行高效率的编码。

图2示出了根据H.264/MPEG-4AVC或HEVC视频编码标准的现有技术解码器200。编码的视频信号（解码器的输入信号）首先传递到熵解码器990，对为诸如运动数据、预测模式等解码所需的量化系数、信息元素解码。对量化系数进行逆扫描，以便获得二维矩阵，然后将其馈送给逆量化和逆变换230。在逆量化和逆变换230之后，获得解码（量化）的预测误差信号e'，在未引入量化噪声且未发生误差时，其对应于从编码器的信号输入减去预测信号而获得的差异。

从时间或空间预测280获得预测信号。解码的信息元通常还包括用于预测必要的信息，例如内预测时的预测类型，以及运动补偿预测时的运动数据。然后利用加法器240将空域中的量化预测误差信号加到从运动补偿预测或帧内预测280获得的预测信号。重构的图像s'可以通过去块滤波器250，样本自适应偏移处理以及自适应循环滤波器260，将所得的解码信号存储在存储器270中，以应用于随后块/图像的时间或空间预测。

在对图像进行压缩和解压时，分块伪影通常是对于用户而言最恼人的伪影。去块滤波有助于通过平滑重构图像中块间的边缘而改善用户的知觉体验。去块滤波中的困难之一是在由于应用量化器而由分块导致的边缘之间以及作为编码信号部分的边缘之间抉择。仅在块边界上的边缘是由于压缩伪影导致时，才需要应用去块滤波器。在其他情况下，通过应用去块滤波器，重构的信号可能会令人绝望的失真。另一个困难是选择适当的滤波器进行去块滤波。典型地，在具有不同频率响应的几个低通滤波器之间做出决策，导致强的或弱的低通滤波。为了决定是否应用去块滤波以及选择适当的滤波器，考虑两个块边界附近的图像数据。

总而言之，例如参见图1，现有混合式视频编码器应用逐块的预测和逐块的预测误差编码。预测误差编码包括量化步骤。由于这种逐块的处理，会发生所谓的分块伪影，尤其是在粗量化的情况下。与大信号相关联的分块伪影在块边缘处变化。这些分块伪影对于观看者而言非常恼人。为了减少这些分块伪影，应用去块滤波，例如，在H.264/MPEG-4AVC视频编码标准中或在HM中，这是HEVC视频编码标准化活动的测试模型。去块滤波器在块边界处判断每个样本是否经过滤波并在判定要滤波时应用低通滤波器。这种决策的目的是仅过滤因为在逐块处理时应用量化而在块边界处发生大的信号变化的那些样本。这种滤波的结果是块边界处的平滑化信号。平滑化的信号抑制或减少了分块伪影。不应当过滤块边界处的大信号变化属于要编码的原始信号的那些样本，以便保持高频，从而保持可见清晰度。在决策错误的情况下，图像或者被不必要地平滑化或者保持为成块。

根据以上内容，希望可靠地判断是否需要在相邻图像块之间的块边界处应用去块滤波。H.264/MPEG-4AVC标准提供了决策操作，用于逐个块，针对每个个体像素线，即块边界处的像素行或像素列中接近其边界的像素进行去块滤波。通常，在H.264/MPEG-4AVC标准中执行去块滤波处理的图像块的块大小是8×8像素块。要指出的是，出于其他目的，最小的块大小可能不同，例如，预测支持4×4的块。

图3示出了根据H.264/MPEG-4AVC针对每个个体像素线用于垂直边界/边缘的水平滤波的决策。图3示出了四个8×8像素图像块、先前处理过的块310、320、340和当前块330。在先前处理的块340和当前块330之间的垂直边界处，决定是否应用去块滤波。垂直于垂直边界运行的像素线的像素值充当着针对每条个体像素线进行决策的依据。具体而言，每条像素线的被标记区中的像素值，例如第五像素线的被标记区350中的像素值，是滤波决策的依据。

类似地，如图4中所示，针对每个个体像素列进行针对水平边界/边缘的垂直滤波决策。例如，对于当前块430的第五列，基于由虚线矩形450标记的像素进行是否滤波的决策，该列的像素接近先前处理的块420的边界。

如图5所示，利用相邻块的像素值，在边界处进行每个个体像素列或每个个体像素线的每个样本的决策过程。在图5中，块p代表如3或图4所示的先前处理块340或440，具有一条线（行或列）的像素值p0，p1和p2。块q代表当前块330或430，如图3或图4中所示，在相同的线中具有像素值q0，q1和q2。像素q0是最接近与块q的边界的线中的像素。像素q1是第二接近与块q的边界的同一条线中的像素，等等。具体而言，如果满足以下条件，对像素线的像素值p0和q0进行滤波：

|p₀-q₀|<α(QP+Offset_A),

|p₁-p₀|<β(QP+Offset_B),且

|q₁-q₀|<β(QP+Offset_B),

其中，QP是量化参数，Offset_A和Offsett_B是切片水平的偏移，而β被选择成小于Α。此外，如果另外

|p₂-p₀|<β(QP+Offset_B)，

则对线的像素p1进行滤波。

此外，如果另外

|q₂-q₀|<β(QP+Offset_B)，

则对对应于像素值q1的像素线或像素列的像素进行滤波。

根据H.264/MPEG-4AVC，对于每条个体像素线（对于相应的水平和垂直去块滤波的行或列），执行如上所述的决策操作。可以针对以高精确度与去块决策相关联的每个个体像素线打开/关闭滤波。不过，这种方法也与高计算开支相关联。

在“High Efficiency Video Coding（HEVC）text specification WorkingDraft1”（HM deblocking filter，JCTVC-C403）中建议了一种决策过程，用于针对上述H.264/MPG-4AVC标准应用具有较低计算开支的去块滤波，该文可以在http：∥wftp3.itu.int/av-arch/jctvc-site/2010_10_C_Guangzhou/中免费获取，在此通过引用并入本文。在这里，仅基于块中像素线的信息，针对两个相邻图像块之间的整个块边界应用一次去块滤波开/关决策。而且这里执行去块滤波处理的图像块的块大小是8×8像素。

在下文中参考图6、8和9描述了根据JCTVC-C403用于垂直边缘/边界的水平滤波的决策。图6示出了四个8×8像素块、先前处理过的块610、620、640和当前块630。先前处理的块640和当前块630之间的垂直边界是决定是否应用去块滤波的边界。垂直边界在对应于8条线（行）660的边界段上延伸。第三和第六条像素线的取向垂直于垂直边界，充当去块滤波决策的依据。具体而言，第三和第六像素线的被标记区650中的像素值被用作滤波决策的依据。因此，与8条线660的片段对应的整个边界的滤波决策将仅基于块的8条像素线中两条的子集。

类似地，参考图7，根据JCTVC-C403针对水平边缘/边界的垂直滤波的决策基于构成水平边界的8列750的片段中仅两个像素列760的像素值。

图8示出了像素值的矩阵，其对应于图6的先前块640和当前块630的部分。矩阵中的像素值为p_i,j和q_i,j，i是垂直于块间边界变化的指数，j是沿块间边界变化的指数j。图8中的指数i仅在从0到3的范围中变化，这对应于要滤波的线之内的像素位置，采用其进行决策和/或滤波。未示出先前和当前块的其余像素位置。图8中的指数j在0到7的范围中变化，对应于其垂直边界要被滤波的块中的8个像素行。指数为j=2和j=5的两条像素线820对应于相应的第三和第六像素线，被用作整个块边界的滤波决策（开/关决策）的依据并用虚线标记。为了决定是否对对应于整个边界的8条像素线的片段进行滤波，评估以下条件：

|p2₂-2·p1₂+p0₂|+|q2₂-2·q1₂+q0₂|+|p2₅-2·p1₅+p0₅|+|q2₅-2·q1₅+q0₅|<β，

其中β为阈值。如果以上条件为真，决定向边界的所有8条线应用滤波。

图9中进一步示出了这个决策过程。在将上方的方程分成仅包含指数j=2的像素线像素值的项d_1,v以及仅包含指数j=5的线的像素值的项d_2,v时，可以将用于滤波的决策重新写为：

d_1,v+d_2,v<β,

其中

d_1,v=|p2₂-2·p1₂+p0₂|+|q2₂-2·q1₂+q0₂|

且

d_2,v=|p2₅-2·p1₅+p0₅|+|q2₅-2·q1₅+q0₅|。

因此，利用两个值d_1,v和d_2,v，由阈值操作决定是否应该对整个垂直边界进行滤波。这里使用指数v表示评估垂直边界的决策。

图8示出了形成两个相邻块A和B的边界部分的像素值的矩阵。要指出的是，这个边界也可以是水平边界，因此块A是先前处理的块，块B是当前块，块A是块B的上方邻居。这种布置对应于图7中的先前块720和当前块730的部分。矩阵中的像素值为p_i，j和q_i，j，i是垂直于块间边界变化的指数，指数i在从0到3的范围中，在本范例中仅对应于图示块A和B的一部分，j是沿块A和B间边界变化，范围从0到7，对应于要由去块滤波处理的线数（在第三种情况下，为列数）。在当前语境中，“处理”或“去块处理”包括决定是否应用去块滤波和/或选择滤波类型。这里，滤波器类型是指用于过滤块的特定线中边界附近像素的弱、强或无滤波器。例如，在上述“High Efficiency Video Coding（HEVC）text specification WorkingDraft1”的8.1.6节中描述了边界滤波强度的推导过程。具体而言，在决定要对块滤波时，针对每条线进行个体决策，以决定应用强滤波器还是弱滤波器。如果决定要应用弱滤波器，测试是否将其应用于整条线。在这种意义上讲，与弱滤波器相比，强滤波器被用于像素线中边界周围更多的像素。通常，强滤波器是通带比弱滤波器更窄的滤波器。

指数为j=2和j=5的两个像素列820对应于第三和第六像素列，被用作滤波决策的依据并用虚线标记。如果

|p2₂-2·p1₂+p0₂|+|q2₂-2·q1₂+q0₂|+|p2₅-2·p1₅+p0₅|+|q2₅-2·q1₅+q0₅|<β，

则对水平边界进行滤波，其中β再次为阈值。如果以上决策为真，将滤波应用于水平边界的全部8个列，其对应于整个边界。图10中进一步示出了这个决策过程。在将以上所述方程分成仅包含指数j=2的像素列的像素值的项d_1，h以及仅包含指数j=5的像素列的像素值的项d_2，h时，可以将滤波决策重新写为：

d_1,h+d_2,h<β,

其中

d_1,h=|p2₂-2·p1₂+p0₂|+|q2₂-2·q1₂+q0₂|

且

d_2,h=|p2₅-2·p1₅+p0₅|+|q2₅-2·q1₅+q0₅|。

因此，利用两个值d_1，h和d_2，h，由阈值操作决定是否应该对整个水平边界进行滤波。这里使用指数h表示评估水平边界的决策。

总而言之，根据JVCT-D403，可以仅基于垂直于该边界的两条像素线或像素列为整个边界开/关滤波。仅对于8条线/列的每个片段的两个位置，执行决策过程。可以针对对应于整个块的8条线/列的每个片段打开/关闭滤波。这与更低的计算开支相关联，但也与更低的决策精确度相关联。

在2011年1月Daegu的文献JCTVC-D263“Parallel deblocking Filter”中（可从http://wftp3.itu.int/av-arch/jctvc-site/2011_01_D_Daegu/免费获取，在此通过引用并入），类似于JCTVC-C403执行针对块的去块滤波的决策操作：仅基于两个垂直或水平相邻的图像块的两个像素行或像素列的像素值，针对整个块边界应用一个去块滤波开/关决策。不过，两种方法之间的差异是，被用作决策是否对边界滤波的依据的像素行或像素列在块中具有不同的位置。

在下文中参考图11和13简要描述根据JCTVC-D263用于垂直边界/边缘的水平滤波的决策。在图11中，用作决定是否进行滤波的依据的像素线是先前块1140和当前块1130之间边界处的第四和第五条线1160。整个垂直边界对应于8条线1150的片段。

图13示出了形成公共边界周围块A和B的部分的像素值的矩阵。块A和B分别对应于图11中的先前块1140和当前块1130。矩阵中的像素值为p_i，j和q_i，j，i是垂直于块间边界变化的指数，在从0到3的范围中，j是沿块A和B间边界变化的指数，范围从0到7。指数为j=3和j=4的两条像素线1320对应于第四和第五像素线，被用作滤波决策的依据并用虚线标记。评估以下条件，以便判断是否对接近当前块中边界的像素滤波：

|p2₃-2·p1₃+p0₃|+|q2₃-2·q1₃+q0₃|+|p2₄-2·p1₄+p0₄|+|q2₄-2·q1₄+q0₄|<β，

其中β为阈值。如果以上决策为真，对边界中对应于包括8条线的片段的所有线执行滤波和/或其他决策。在将上方的方程分成仅包含指数j=3的像素线的像素值的项d_1，v以及仅包含指数j=4的线的像素值的项d_2，v时，可以将滤波决策重新写为：

d_1,v+d_2,v<β,

其中

d_1,v=|p2₃-2·p1₃+p0₃|+|q2₃-2·q1₃+q0₃|

且

d_2,v=|p2₄-2·p1₄+p0₄|+|q2₄-2·q1₄+q0₄|。

因此，利用两个值d_1，v和d_2，v，由阈值操作决定是否应该对对应片段的所有8条线进行滤波。这里使用指数v表示评估垂直边界的决策。

类似地，如图12中所示，根据JCTVC-D263决策对当前块1230和先前块1220之间的水平边缘/边界进行垂直滤波仅基于构成块1230和1220之间的水平边界的8列中的像素的片段1250中的两列1260的像素值。

图13也可以被看做对应于图12的先前块1220和当前块1230的部分。矩阵中的像素值为p_i，j和q_i，j，i是垂直于块间边界变化的指数，在从0到3的范围中，j是沿块A和B间边界变化的指数，范围从0到7。指数为j=3和j=4的两个像素列1320在本范例中对应于第四和第五像素列，被用作滤波决策的依据并用虚线标记。因此，在

|p2₃-2·p1₃+p0₃|+|q2₃-2·q1₃+q0₃|+|p2₄-2·p1₄+p0₄|+|q2₄-2·q1₄+q0₄|<β时,

则对水平边界进行滤波，其中β为阈值。如果以上条件为真，向对应于由8列构成的一条片段的边界的所有列应用滤波。在将上方的方程分成仅包含指数j=3的像素列像素值的项d_1，h以及仅包含指数j=4的列的像素值的项d_2，h时，可以将滤波决策重新写为：

d_1,h+d_2,h<β,

其中

d_1,h=|p2₃-2·p1₃+p0₃|+|q2₃-2·q1₃+q0₃|

且

d_2,h=|p2₄-2·p1₄+p0₄|+|q2₄-2·q1₄+q0₄|。

因此，利用两个值d_1，h和d_2，h，由阈值操作决定是否应该对片段1010的所有8列进行滤波。这里使用指数h表示评估水平边界的决策。

总而言之，类似于JVCT-D403，根据JVCT-D263，可以仅基于来自这一片段的两条像素线或像素列为整个边界片段开/关滤波。仅对于8条线（行或列）的每个片段的两个位置，执行决策过程。于是，可以针对8条线/列的每个片段打开/关闭滤波。这与更低的计算开支相关联，但也与更低的决策精确度相关联。JCTVC-D263相对于JCTVC-C403的优点是使用其他样本允许更高程度的并行处理。不过，与例如H.264/MPEG-4AVC相比，两种方法，JCTVC-C403和JCTVC-D263都提供了更低精确度的决策。

在H.264/MPEG-4AVC中，如图2到图5所示执行决策。在块边界处的每个像素位置，利用与块边界相邻的样本计算个体值。基于这些个体值，在块边界的每个位置（对于垂直于块边界的每条线）执行个体决策操作。这与高的计算开支相关联，同时提供了高精确度的决策。在JCTVC-C403中，块边缘处的像素形成如图6和图7所示的8条线/列的片段（对应于用于去块滤波的最小块尺寸）。对于每个8条线/列的片段，仅针对位置子集计算值，在上文的范例中，仅针对两个位置，而非所有8个位置计算值。基于这些值，进行一次单一决策，以决策是否对片段的全部8条线/列进行滤波。与H.264/MPEG-4AVC相比，计算开支减少了，因为计算的值更少。术语值是指基于接近边界的线中的像素值的度量，例如上文所示的d_1,v或d_2,v或d_1,h或d_2,h。此外，存储带宽减小了，因为对于值的计算而言，需要从存储器访问更少的样本。不过，与H.264/MPEG-4AVC中的决策精确度相比，决策的精确度也减小了。在JCTVC-D263中，类似于JCTVC-C403执行值的计算和决策操作。差异在于，使用8条线/列的片段的其他位置处的样本计算值。使用这些其他样本允许更高程度的并行处理。与JCTVC-C403相比，计算开支以及存储带宽是相同的。不过，进一步降低了决策的精确度。在图11到图13中解释了详情。于是，已知的方法与高计算开支和高存储带宽相关联，或与决策的低精确度相关联。另一方面，决策的低精确度可能导致低编码效率。高计算开支和高存储带宽都可能导致高实施成本。

发明内容

考虑到现有去块滤波方法的以上问题，本发明旨在提供一种精确度提高且计算开支减少的更有效率的去块滤波。

本发明的特别方法是通过基于块的像素线子集中包括的像素逐个针对边界的每个片段判断，判断是否向所述块的边界的片段应用去块滤波器。

根据本发明的一方面，提供了一种用于对分成块的图像进行去块处理的方法，所述块的边界要进行处理，其中每个块由垂直于与相邻块的边界的像素线构成，所述方法包括如下步骤：通过基于所述块的像素线的子集中包括的像素逐个针对所述边界的每个片段判断，判断是否向所述块的边界的片段应用去块滤波器，以及根据相应的个体判断的结果向所述边界的片段应用或不应用去块滤波器。

根据本发明的另一方面，提供了一种用于对分成块的图像进行去块处理的设备，所述块的边界要进行处理，其中每个块由垂直于与相邻块的边界的像素线构成，所述设备包括：判断单元，被配置成通过基于所述块的像素线的子集中包括的像素逐个针对所述边界的每个片段判断，判断是否向所述块的边界的片段应用去块滤波器，以及去块滤波单元，被配置成根据相应的个体判断的结果向所述边界的片段应用或不应用去块滤波器。

附图说明

从结合附图给出的以下描述和优选实施例，本发明的以上和其他目的和特征将变得更加明显，在附图中：

图1是方框图，示出了现有混合式编码器的范例；

图2是方框图，示出了现有混合式解码器的范例；

图3是示意图，示出了根据H.264/MPEG-4AVC对垂直边缘进行水平去块滤波的决策；

图4是示意图，示出了根据H.264/MPEG-4AVC对水平边缘进行垂直去块滤波的决策；

图5为示意图，示出了根据H.264/MPEG-4AVC，针对块边界处的每个样本是否滤波的决策过程；

图6为示意图，示出了根据JCTVC-C403，针对块边界处的每个样本是否滤波的决策过程，以对垂直边缘进行水平滤波；

图7为示意图，示出了根据JCTVC-C403，针对块边界处的每个样本是否滤波的决策过程，以对水平边缘进行垂直滤波；

图8是示意图，示出了根据JCTVC-C403，针对8条线/列的每个片段是否滤波的决策过程；

图9为示意图，示出了根据JCTVC-C403，针对块边界处的每个样本是否滤波的决策过程，以对垂直边缘进行水平滤波；

图10为示意图，示出了根据JCTVC-C403，针对块边界处的每个样本是否滤波的决策过程，以如同根据图7那样对水平边缘进行垂直滤波；

图11为示意图，示出了根据JCTVC-D263，针对块边界处的每个样本是否滤波的决策过程，以对垂直边缘进行水平滤波；

图12为示意图，示出了根据JCTVC-D263，针对块边界处的每个样本是否滤波的决策过程，以对水平边缘进行垂直滤波；

图13是示意图，示出了根据JCTVC-D263，针对8条线/列的每个片段是否滤波的决策过程；

图14是示意图，示出了根据本发明实施例对垂直边界进行水平滤波的决策过程；

图15是示意图，示出了根据本发明实施例对水平边界进行垂直滤波的决策；

图16是示意图，示出了根据本发明实施例对垂直边界进行水平滤波的决策过程；

图17是示意图，示出了根据本发明实施例对水平边界进行垂直滤波的决策；

图18是示意图，示出了根据本发明实施例对垂直边界进行水平滤波的决策；

图19是示意图，示出了根据本发明实施例对水平边界进行垂直滤波的决策；

图20是示意图，示出了根据本发明实施例的决策过程；

图21是示意图，示出了根据本发明实施例的决策过程；

图22是示意图，示出了根据本发明实施例的决策过程；

图23是根据HM2.0的混合式视频编码器的一般化方框图；

图24是针对范例测试序列Kimono的区域的去块滤波器之前和之后的信号图示；

图25是示意图，示出了大小为16×16样本的范例编码单元（CU）的垂直边缘和水平边缘；

图26示出了用于去块的垂直边缘一部分的标记；

图27示出了用于根据HM2.0决定是否滤波的样本图示；

图28示出了类似于H.264/MPEG-4AVC中那样用于决定是否滤波的样本图示；

图29示出了根据本发明实施例用于决定是否滤波的样本图示；

图30示出了与参考HM2.0相比与H.264/MPEG-4AVC中那样类似的决策的BD比特率和运行时间比例；

图31示出了与参考HM2.0相比包括HM2.0和H.264/MPEG-4AVC的决策的BD比特率和运行时间比例；

图32示出了与表中所示参考结果相比，本发明实施例的方法的主观质量；

图33示出了在参考HM2.0.测试情况下：低迟延、高效率、QP37，测试序列Vidyo3的去块帧的修剪部分；

图34示出了在提议测试情况下：低迟延、高效率、QP37，测试序列Vidyo3的去块帧的修剪部分；

图35示出了在参考HM2.0.测试情况下：低迟延、高效率、QP37，测试序列Vidyo3的去块帧的修剪部分；

图36示出了在提议测试情况下：低迟延、高效率、QP37，测试序列Vidyo3的去块帧的修剪部分；

图37示出了对所有测试案例和测试序列平均的BD比特率减小，相对于与参考HM2.0相比每个边缘片段的所需操作的额外数量；

图38是示意图，示出了用于实施内容分发服务的内容提供***的总体配置；

图39为示意图，示出了数字广播***的总体配置；

图40是方框图，示出了电视配置的范例；

图41是方框图，示出了从记录介质，即光盘读取或在其上写入信息的信息再现/记录单元的配置范例；

图42为示意图，示出了记录介质，即光盘的配置范例；

图43A为示意图，示出了蜂窝电话的范例；

图43B是方框图，示出了蜂窝电话配置的范例；

图44是示意图，示出了复用数据的结构；

图45是示意性示出了如何在复用数据中复用每个流的图；

图46是示意图，更详细地示出了如何在PES分组流中存储视频流；

图47是示意图，示出了复用数据中TS分组和源分组的结构；

图48是示意图，示出了PMT的数据结构；

图49是示意图，示出了复用数据信息的内部结构；

图50是示意图，示出了流属性信息的内部结构；

图51是示意图，示出了由于识别视频数据的步骤；

图52是示意方框图，示出了根据每个实施例，用于实施视频编码方法和视频解码方法的集成电路配置范例；

图53是示意图，示出了用于在驱动频率之间切换的配置；

图54是示意图，示出了用于识别视频数据以及在驱动频率之间切换的步骤；

图55是示意图，示出了视频数据标准与驱动频率相关联的查找表范例；

图56A是示意图，示出了用于共享信号处理单元的模块的配置范例；

图56B是示意图，示出了用于共享信号处理单元的模块的配置另一范例。

具体实施方式

本发明根本的问题基于这样的发现：当前采用的用于去块滤波的方法导致滤波质量下降或相当高的计算开支。

为了提供更有效率的滤波方法，根据本发明，针对要由去块滤波器滤波的块的片段而非整个块进行与去块滤波相关的决策。此外，仅基于块中位于边界处的像素子集进行决策。

通常，也如背景部分中所述，决策可以是是否对边界的片段进行滤波和/或是否对距边界特定距离的像素应用滤波（对应于关于滤波器强度的决策）的决策等。

在这里，块是由边界界定的最小像素（样本）块，通过去块滤波处理它。在块的每个边界处的处理包括决策是否应用滤波和/或应用哪种滤波器和/或是否根据决策应用滤波器。仍然如背景部分中所述，由去块滤波处理边界的块尺寸通常为8×8像素，类似于H.264和HEVC标准，如JCTVC-D403和JCTVC-D263那样。可以进一步将块视为由垂直于块的指定边界的像素线构成。

术语边界是指分开两个相邻块的像素的逻辑线。将要通过去块滤波进行处理的最小块的边界在被取向为垂直于边界的块的所有像素线上延伸，并且还在垂直取向的块的两个其他边界之间延伸。

片段是块的一部分，包括被取向为垂直于像素将要由去块滤波器处理的边界的一条或多条像素线。块的片段是整个块的像素线的子集，即适当的部分子集，意味着它包括少于块的所有像素线。于是，片段在平行于边界的方向上在特定数量的像素线上延伸。不过，片段不会在块的所有像素线上延伸。此外，边界的片段对应于边界上块部分的片段位于边界的部分。

块的边界处的像素是块中接近与相邻块的边界的像素。边界处的像素可以包括直接在（最接近）边界的像素、第二接近边界的像素和/或第三接近的，等等。

通常由1维垂直或水平滤波器进行去块滤波。正交于边界，具体而言，正交于包括在垂直于边界的块的像素线中的边界处像素，应用滤波器。

图14和16示出了根据本发明实施例的决策过程，用于对两个相邻图像块之间的垂直边界进行水平滤波。类似地，图15和17示出了根据本发明实施例的决策过程，用于对两个相邻图像块之间的水平边界进行垂直滤波。

图14示出了四个8×8像素图像块，即左侧的先前处理块1410、1420、1440和当前块1430。块1410是当前块1430的左上邻居，块1420是当前块1430的上方邻居，块1440是当前块1430的左侧邻居。左相邻块1440和当前块1430之间的垂直边界1450是进行水平滤波决策的边界。这个边界1450基本在上水平边界1470和下水平边界1480之间延伸并同时受其限制。可以对上水平边界1470和下水平边界1480进行垂直滤波。与边界1450相邻的先前块1440和当前块1430由垂直于边界取向的8条像素线构成。因此，图14中进行水平滤波的垂直边界在8条像素线1450的片段上延伸。可以将边界分成片段，其中最小的片段在一条像素线上延伸。

为了决定是否向块边界1450的片段应用去块滤波器，将来自当前块1430和/或先前块1440的像素线（适当部分）子集的像素用作决策依据。同样如背景部分中所述的方法那样，先前块1440和当前块1430中的线（行）子集的像素是这些块之间的公共边界处（接近公共边界）的像素。在图14的范例中，将八条像素线中的两条用于决定是否向边界的每个片段应用去块滤波器。在这种情况下，选择第三和第六像素线。这两条像素线代表构成先前块1440和当前块1430的8条像素线的（适当部分）子集。在这里，将块的像素线的适当部分子集定义为任意数量的像素线，其小于构成图像块的像素线总数。接下来，来自线子集（在这种情况下，来自两条像素线）的样本用于针对边界片段执行个体决策，如图14的右侧所示。例如，通过根据来自线子集的像素计算线决策项d_1,v和d_2,v，来实现这个目的。可以根据如上所述的JCTVC-C403或JCTVC-D263，类似值d_1,v和d_2,v，计算值d_1,v和d_2,v。例如，可以将这些值计算为两个相邻块1440和1430的每个相应块中相邻像素之间，或来自两个块1440和1430的像素之间的一阶或二阶梯度。可以将这些梯度计算为这些像素之间的差异。这样的度量对于估计两个块之间的分块效应是有利的。

此外，针对从1到N的若干片段，将对应于线决策项d_1,v和d_2,v的个体函数的个体决策值F_N与每个片段的阈值β比较：

F_N(d_1,v,d_2,v)<β。

在以上条件为真的情况下，将滤波应用于垂直边界1450的个体片段。要指出的是，不必在分开的步骤中计算线项d_1,v和d_2,v。也可以计算个体决策值而无需事先具有预先计算并存储的线决策项。在本范例中，与要滤波的块的每条线对应的每个边界位置都是片段，对于这些线中的每个，基于来自线的子集的像素的个体函数来决定是否要对这个边界位置进行滤波。在本范例中这对应于基于1）块线的子集的像素，和2）片段的位置，对个体决策项进行内插或外插（根据片段位置）。

图15示出了对水平边界进行垂直滤波的决策，类似于上文参考图14所述的垂直边界的水平滤波。在这里，替代第三和第六像素线，第三和第六像素列是滤波决策的依据。从第三和第六像素列形成的线的子集获得的信息对应于计算值，线决策项d_1,h和d_2,h。此外，针对从1到N的若干片段，将个体决策值（F_N），即线决策项d_1，h和d_2，h的个体函数与每个片段的阈值β进行比较：

F_N(d_1,h,d_2,h)<β

在以上条件为真的情况下，将滤波应用于水平边界1550的个体片段。在本范例中，每条线可以是应用个体函数F_N的个体片段。无需将该函数计算为线决策项的函数，也可以直接从子集线中的个体像素计算它。

图16例示了基于边界个体片段的第三和第六像素线，用于计算值的以上个体函数的特定解和实施。在这种情况下，基于相应三个个体决策值进行针对相应块（边界）的三个个体决策。具体而言，图16在右侧示出了，对于第一到第三像素线，为以下决策利用基于第三像素线的像素获得的值d_1,v：

2·d_1,v<β。

在以上条件为真的情况下，将滤波应用于在边界1650的第一到第三像素线上延伸的片段。不过，也可以将此视为与分别在第一、第二或第三像素线上延伸的个体片段的相同决策。于是，也可以将针对第一和第二像素线的个体决策值视为第三片段的个体决策值的最近邻内插。这意味着用于线决策项被计算的线的个体决策值还用于相同片段之内的其他线。对于边界的对应于边界第四和第五像素线的另一片段，使用来自第三和第六像素线的信息。将值d_1,v和d_2,v用于以下决策：

d_1,v+d_2,v<β

在以上条件为真的情况下，将滤波应用于在边界1650的第四和第五像素线上延伸的片段。不过，也可以将此视为与分别在第四或第五像素线上延伸的个体片段的相同决策。对于边界的对应于边界第六到第八像素线的另一片段，使用第六像素线的信息进行滤波决策。将值d_2,v用于以下决策：

2·d_2,v<β

在以上条件为真的情况下，将滤波应用于在边界1650的第六到第八像素线上延伸的片段。不过，也可以将此视为与分别在第六、第七或第八像素线上延伸的个体片段的相同决策。虽然如此，为了实现本发明的优点，逐个针对边界的至少两个片段进行决策，并在决策过程中应用至少两个逐个计算的决策值。

对应于图16，图17示出了基于水平边界的每个片段的第三和第六像素线，用于计算值的以上个体函数的特定解和实施。具体而言，图17在右侧示出了，对于第一到第三像素列，为以下决策利用基于第三像素列的像素获得的值d_1，h：

2·d_1,h<β。

在以上条件为真的情况下，将滤波应用于在边界1750的第一到第三像素列上延伸的片段。不过，也可以将此视为与分别在第一、第二或第三像素列上延伸的个体片段的相同决策。对于边界的对应于边界第四和第五像素列的另一片段，使用来自第三和第六像素列的信息。对应地，将值d_1，h和d_2，h用于以下决策：

d_1,h+d_2,h<β

在以上条件为真的情况下，将滤波应用于在边界1750的第四和第五像素列上延伸的片段。不过，也可以将此视为与分别在第四或第五像素列上延伸的个体片段的相同决策。对于边界的对应于边界的第六到第八像素位置的另一片段，使用第六像素列的信息进行滤波决策。对应的，将值d_2，h用于以下决策：

2·d_2,h<β

在以上条件为真的情况下，将滤波应用于在边界1750的第六到第八像素列上延伸的片段。不过，也可以将此视为与分别在第六、第七或第八像素列上延伸的个体片段的相同决策。

总之，根据本发明的本实施例，通过如下方式执行判断是否向块边界的片段应用去块滤波器的过程：基于块的像素线的子集中包括的像素逐个判断边界的每个片段，并根据相应的个体判断的结果向边界的片段应用或不应用去块滤波器。

此外，在判断是否向块的边界的片段应用去块滤波器时，利用块的像素线的子集的至少一条像素线中包括的像素的像素值来获得边界的每个片段的个体决策值，并针对边界的每个个体片段将所述个体决策值与阈值比较。

来自所获得的个体决策值的个体决策值中的至少一个仅基于像素线的子集的一条像素线。在另一次个体决策时，通过向首先获得的决策值应用最近邻内插，可以获得基于像素线的子集的一条像素线的值。

此外，至少另一个个体决策值可以基于像素线的子集的至少两条像素线。这后一个个体决策值可以是基于像素线的子集一条像素线的个体决策值的线性组合。

根据本发明的另一实施例，判断是否向块的边界的片段应用去块滤波器的过程基于另一个块的像素线中包括的像素，所述另一块除了基于块的像素线的子集中包括的像素，还隔着垂直于当前处理的边界的另一边界与所述块相邻。因此，为了针对边界的片段来执行个体决策，不仅使用块的像素线的子集中包括的信息，而且分别使用相邻或先前块的像素线（行或列）。例如在图18中示出了这种情况，用于垂直边界/边缘的水平滤波决策。具体而言，作为范例，在图18中，如左侧所示，从四个图像块1810、1820、1830和1840的两个上方先前块1810、1820的第三条线的像素获得针对片段的个体决策的附加信息。除了通过当前块1830和先前块1840的像素线的子集的像素值来计算决策项d_1,v、d_2,v之外，还使用先前块1810和1820的第三条线的这些像素值来计算决策项d_0,v。如右侧所示，针对片段的个体决策现在基于计算值d_1,v和d_2,v，其自身基于与垂直边界相邻的先前块1840和当前块1830的第三和第六像素线，还基于计算值d_0,v，计算值d_0,v基于先前块1810和1820的第三像素线。接下来，将个体决策值F_N，即先前获得的信息的个体函数，计算值（决策项）d_1,v、d_2,v和d_0,v与针对从1到N的若干片段的每个片段的阈值β比较：

F_N(d_0,v,d_1,v,d_2,v)<β。

在以上条件为真的情况下，将滤波应用于垂直边界的个体片段。类似地，也可以将这个原理用于水平边界的垂直滤波的决策，如图19所示。

根据本发明的另一实施例，在判断是否向块的边界的片段应用去块滤波器的过程中，沿着平行于被处理的边界的方向规则分布作为判断依据的像素线。作为本实施例的范例，图20示出了用于先前块2040和当前块2030之间垂直边界的水平滤波的决策。在这里，沿着平行于垂直边界的方向规则地间隔开用作对垂直边界的片段去块滤波决策依据的像素线。换言之，用于计算例如线决策项d的像素线彼此具有相同的规则距离。在图20的范例中，用作去块滤波决策依据的所有像素线间隔开未用作去块滤波决策依据的三条像素线。本实施例可能对于实现更有效率的去块滤波决策有益。

在本发明的另一实施例中，在判断是否向块的边界的片段应用去块滤波器的过程中，对基于像素线的子集的一条像素线的个体决策值进行线性内插，以便获得针对边界的每个片段的个体决策值，然后将其与阈值比较。图21和22示出了根据本实施例用于水平边缘的垂直滤波的决策。具体而言，用作针对边界的每个片段的个体决策依据的像素线的子集现在由构成该块的八条像素线中的四条像素线构成。在图21中，这是第一、第三、第六和第八像素线。基于上述内容，计算值d_1,v、d_2,v、d_3,v和d_4,v（线决策项）并用于针对构成先前块2140和当前块2130之间的垂直边界的每个片段，获得个体决策值，如图22中所示。具体而言，用于判断是否在对应于第一像素线的第一片段处应用去块滤波器的条件如下：

2·d_1,v<β。

用于判断是否在对应于第二像素线的第二片段处应用去块滤波器的条件如下：

d_1,v+d_2,v<β

用于判断是否在对应于第三像素线的第三片段处应用去块滤波器的条件如下：

2·d_2,v<β

用于判断是否在对应于第四像素线的第四片段处应用去块滤波器的条件如下：

(4·d_2,v+2·d_3,v)/3<β

或者，用于判断是否在对应于第四像素线的第四片段处应用去块滤波器的条件可以如下：

(4·d_2,v+2·d_3,v)<3·β

用于判断是否在对应于第五像素位置的边界的第五片段处应用去块滤波器的条件如下：

(2·d_2,v+4·d_3,v)/3<β

或者，用于判断是否在对应于第五像素位置的边界的第五片段处应用去块滤波器的条件如下：

(2·d_2,v+4·d_3,v)<3·β

用于判断是否在对应于第六像素位置的边界的第六片段处应用去块滤波器的条件如下：

2·d_3,v<β

用于判断是否在对应于第七像素位置的边界的第七片段处应用去块滤波器的条件如下：

d_3,v+d_4,v<β

用于判断是否在对应于第八像素位置的边界的第八片段处应用去块滤波器的条件如下：

2·d_4,v<β

在以上条件之一为真的情况下，将滤波应用于垂直边界的相应个体片段。根据以上方法，利用值d_1,v、d_2,v、d_3,v、d_4,v的线性组合（线决策项）来执行针对片段的个体决策。此外，以上方法对应于对针对边界处一个像素位置上延伸的片段获得的个体决策值进行内插。此外，显然可以应用相同的方法来判断是否在水平边缘/边界处应用去块滤波器。

总之，为了利用高编码效率和低计算开支和低存储带宽来去块，不针对每个个***置（还针对JCTVC-C403和JCTVC-D263）计算决策和/或线决策项。这导致有限的存储带宽和有限的计算开支。不过，使用计算值（线决策项）的个体函数以便在边缘的每个位置来执行个体和精确的决策。图14和图15中示出了一般范例。图16和图17中示出了更具体的范例。作为具体解决方案，在函数中还使用其他，例如相邻片段的计算值，参见图18和图19。可能有益的是使用用于计算值的位置的规则分布，参见图20。参见图21-22，计算针对8个边缘位置的边缘的每个片段的另一具体解。对于每个边缘位置，利用4个计算值的线性组合执行个体决策。本发明的效果是利用同样低的计算开支和同样低的存储带宽提高了编码效率。

在下文中，将本发明相对于现有技术的效率图示为范例。在HM2.0中，利用两个计算的决策值，针对八个列/线的边缘片段进行实现去块的单一决策。与HM2.0相反，H.264/MPEG-4AVC基于针对每个边缘片段逐个计算的八个决策值使用八个个体决策。决策与H.264/MPEG-4AVC中那些类似的变化可能在所有测试案例上平均以相同质量将比特率减小0.2%。不过，额外决策值的计算与额外计算开支相关联。为了以更低的额外计算开支实现相同的平均比特率减小，想到了决策的修改。本发明执行八次个体决策，但仅需要针对每个片段计算四个决策值。与HM2.0相比实现了0.2%的相同平均比特率减小（I-HE：0.1%，I-LC：0.1%，RA-HE：0.2%，RA-LC：0.2%，LD-HE：0.3%，LD-LC：0.3%），平均下来大致没有编码器/解码器运行时间的增加。对于低迟延高效率配置而言，对于E类序列实现了0.7%的平均比特率减小。在相同比特率下，提高的主观质量引人注目。

当前的HM2.0（例如参见，HM2.0软件：http://hevc.kw.bbc.co.uk/trac/browser/tags/HM-2.0，以及T.Wiegand，W.-J.Han，J.-R.Ohm，G.J.Sullivan，High EfficiencyVideo Coding（HEVC）text specification Working Draft1，JCTVC-C403,2010年10月，中国广州，下文将两者都称为HM2.0）应用了混合式编码。在图23中，示出了混合式编码器的一般化方框图。在第一步骤中，通过运动补偿预测或内部预测逐块预测要编码的输入信号。通过应用离散余弦变换（整数DCT）的近似，继之以系数的量化，对所得的预测误差进行逐块变换。由于逐块的运动补偿预测以及逐块的预测误差编码，所谓的分块伪影常常在解码图像中变得可见。这些分块伪影对于人类观看者而言往往令人烦恼。为了减少这些恼人的分块伪影，应用自适应去块滤波器。利用自适应循环滤波器，在输出并存储以供进一步预测之前，对去块的信号进一步滤波。图24示出了针对范例测试序列Kimono的区域的去块滤波器之前和之后的信号。

基于编码单元（CU）进行图像的去块，编码单元可以具有各种大小，例如8×8样本、16×16样本。对预测和变换块的垂直和水平边缘进行去块。每个边缘都由一个或几个片段构成，而片段由8条相继的线或列构成。在水平边缘的片段h_i之前对垂直边缘的片段v_i去块。图25示出了大小为16×16样本的范例编码单元以及对应的4个片段v₁,…,v₄和四个片段h₁,…,h₄的位置。对垂直边缘去块的顺序是从上到下，从左到右。对水平边缘去块的顺序是从左到右，从上到下。在下文中，将边缘的片段的相应边上的样本表示为A和B，参见图26（来自JCT-VC，Test Model under Consideration，JCTVC-B205_draft007，2010年7月21-28日，瑞士日内瓦）。对于垂直边缘，片段A对应于B的左相邻部分，对于水平边缘，对应于B的上相邻部分。对于8条线/列的每个片段，如以下部分中解释的那样执行决策和滤波操作。

在第一步中，在根据HM2.0决策时，利用图27所示的两条线/列的样本计算两个值d₂和d₅：

d₂=|p2₂-2·p1₂+p0₂|+|q2₂-2·q1₂+q0₂|

d₅=|p2₅-2·p1₅+p0₅|+|q2₅-2·q1₅+q0₅|。

利用两个值d₂和d₅，通过阈值操作

d₂+d₅<β

决定是否对对应片段的全部8条线/列进行滤波。为了进行决策，每一8条线/列的片段需要20次操作。

与HM2.0相反，H.264/MPEG-4AVC针对每条线/列应用个体决策（类似于H.264/MPEG-4AVC中的决策）。为了研究与H.264/MPEG-4AVC中类似的决策，如图28所示，针对每8条线/列计算个体值d_i。

d_i=|p2_i-2·p1_i+p0_i|+|q2_i-2·q1_i+q0_i|其中i=0,…,7。

利用个体值d_i，针对每条线/列，通过阈值操作

2·d_i<β

决定是否对对应的片段的线/列进行滤波。为了进行决策，每一8条线/列的片段需要88次操作。

为了针对8条线/列的片段执行决策，HM2.0需要20次操作。如果类似于H.264/MPEG-4AVC中那样进行决策，需要88次操作。

在本实施例中，提出了一种决策，其在由所需操作数量度量的计算开支方面折衷了HM2.0和H.264/MPEG-4AVC的决策。如图29所示，针对每一8条线/列的片段计算四个值d₀、d₂、d₅和d₇：

d_i=|p2_i-2·p1_i+p0_i|+|q2_i-2·q1_i+q0_i|其中i=0,2,5,7。

利用这些值，针对每条个体线/列，通过阈值操作

2·d_i<β对于i=0,2,5,7

d₀+d₂<β对于i=1

d₅+d₇<β对于i=6

(4·d₂+2·d₅)<3·β对于i=3

(4·d₅+2·d₂)<3·β对于i=4

决定是否对对应的片段的线/列进行滤波。为了进行决策，每一8条线/列的片段仅需要58次操作。

下文描述了试验和结果。与H.264/MPEG-4AVC中类似的决策，以及折衷HM2.0和H.264/MPEG-4AVC的决策都被集成到HM2.0的参考软件中。

在下文中描述了BD-比特率和运行时间比例的试验和结果。遵循常见状况（例如参见F.Bossen，common test conditions and software reference configurations，JCTVC-D500，Daegu，2011年1月韩国Daegu），评估全部六种测试案例的性能，六种测试案例为Intra、Random access和Low delay，均处于高效率和低复杂性操作模式中。对于所有的运行时间测量，使用相同配置的计算机。

在图30中针对与H.264/MPEG-4AVC中类似的决策，在图31中，针对这种HM2.0和H.264/MPEG-4AVC的决策，示出了与参考HM2.0相比的BD-速率结果以及编码器/解码器运行时间比例。负BD速率数字显示出与参考相比的增益。小于100%的运行时间比反映出，运行时间低于参考的运行时间。针对两种情况都可以观察到以下结果：在所有测试序列和配置上比特率减小平均为0.2%，以及对于LD-LC，类别E平均为0.7%。平均起来，大致没有编码器/解码器运行时间的增加。

在下文中描述了主观评价。在CE12中，已经选择了各种测试序列用于主观评价。对于这些测试序列，利用图32的表格中所示的结果对提议的主观质量与参考进行了比较。对于六个测试序列中的五个，主观质量的差异无法察觉。对于六个测试序列中的一个，提议显然比参考更清晰，而没有增加的分块。此外，提议表现出更少的彩色伪影。

在图33和图34中示出了清晰度的增大。在图33中，针对参考HM2.0、低迟延、高效率、QP37的情况，示出了测试序列Vidyo3的去块帧的修剪部分。图34示出了针对所提议去块情况的相同修剪部分。

在图35中示出了彩色伪影的减少，针对参考HM2.0、低迟延、高效率、QP37的情况，示出了测试序列Vidyo3的去块帧的修剪部分。图36示出了针对所提议去块情况的相同修剪部分。

在下文中，描述了编码效率与复杂性的关系。在图37中，示出了所有测试案例和测试序列上平均的所实现的比特率减小，参照8条线/列的每边缘片段所需操作的额外数量，两者都与参考HM2.0比较。可以观察出来：与参考相比，折衷H.264/MPEG-4AVC的决策实现了相同的0.2%的平均比特率减小，但比与H.264/MPEG-4AVC中类似的决策少44%的操作。

可以组合如上所述本发明的所有实施例。

可以在独立的计算机***中，通过在记录介质中记录程序来简单地实现每个实施例中描述的处理，所述程序用于实现每个实施例中描述的视频编码方法和视频解码方法的配置。记录介质可以是任何记录介质，只要可以记录程序即可，例如磁盘、光盘、磁光盘、IC卡和半导体存储器。

在下文中，将描述每个实施例中描述的视频编码方法和视频解码方法的应用以及使用其的***。

图38示出了用于实施内容分发服务的内容提供***ex100的总体配置。用于提供通信业务的区域被分成期望大小的单元，在每个单元中放置基站ex106、ex107、ex108、ex109和ex110，它们是固定无线站。

内容提供***ex100分别经由因特网ex101、因特网服务提供商ex102、电话网ex104以及基站ex106到ex110，连接到诸如计算机ex111、个人数字助理（PDA）ex112、摄像机ex113、蜂窝电话ex114和游戏机ex115的装置。

不过，内容提供***ex100的配置不限于图38中所示的配置，连接任意元件的组合是可接受的。此外，每个装置都可以直接连接到电话网络ex104，而不是通过基站ex106到ex110，即固定无线站。此外，装置可以经由短距离无线通信等彼此连接。

摄像机ex113，例如数字视频摄像机，能够拍摄视频。摄像机ex116，例如数字视频摄像机，能够拍摄静止图像和视频。此外，蜂窝电话ex114可以是符合任何标准的蜂窝电话，标准例如是全球移动通信***（GSM）、码分多址（CDMA）、宽带码分多址（W-CDMA）、长期演进（LTE）和高速分组接入（HSPA）。或者，蜂窝电话ex114可以是个人手机***（PHS）。

在内容提供***ex100中，流媒体服务器ex103经由电话网络ex104和基站ex109连接到摄像机ex113等，能够分布实况显示等的图像。在这样的配置中，如上文在每个实施例中所述那样对用户使用摄像机ex113拍摄的内容（例如，音乐实况展示的视频）编码，将编码的内容发送到流媒体服务器ex103。另一方面，流媒体服务器ex103根据客户端请求向其进行所发送内容数据的流分布。客户端包括能够对上述编码数据解码的计算机ex111、PDAex112、摄像机ex113、蜂窝电话ex114以及游戏机ex115。已接收到所分布数据的每个装置对编码数据进行解码和再现。

可以由发送数据的摄像机ex113或流媒体服务器ex103对俘获的数据进行编码，或者可以在摄像机ex113和流媒体服务器ex103之间共享编码过程。类似地，可以由客户端或流媒体服务器ex103对分布的数据进行解码，或者可以在客户端和流媒体服务器ex103之间共享解码过程。此外，可以通过计算机ex111向流媒体服务器ex103不仅发送由摄像机ex113俘获的静止图像和视频数据，而且发送摄像机ex116俘获的数据。可以由摄像机ex116、计算机ex111或流媒体服务器ex103执行编码过程，或在它们之间共享。

此外，可以由一般包括在计算机ex111和装置的每个中的LSI ex500执行编码和解码过程。可以由单个芯片或多个芯片配置LSI ex500。可以将用于对视频编码和解码的软件集成到计算机ex111等可读的某种记录介质（例如CD-ROM、软盘和硬盘）中，可以利用软件执行编码和解码过程。此外，在蜂窝电话ex114装备有摄像机时，可以发送由摄像机获得的图像数据。视频数据是由蜂窝电话ex114中包括的LSI ex500进行编码的数据。

此外，流媒体服务器ex103可以由服务器和计算机构成，可以分散数据并处理分散的数据，记录或分布数据。

如上所述，客户端可以接收并再现内容提供***ex100中的编码数据。换言之，客户端能够接收用户发送的信息并对其进行解码，并在内容提供***ex100中实时再现解码数据，使得没有任何特定权利和设备的用户能够实现个人广播。

除了内容提供***ex100的范例之外，可以在图39中所示的数字广播***ex200中实现每个实施例中描述的视频编码设备和视频解码设备中的至少一个。更具体而言，广播电台ex201经由无线电波向广播卫星ex202传送或发射通过向视频数据上复用音频数据等获得的复用数据。视频数据是由每个实施例中描述的视频编码方法编码的数据。在接收复用数据时，广播卫星ex202发射用于广播的无线电波。然后，具有卫星广播接收功能的***ex204接收无线电波。

接下来，诸如电视（接收机）ex300和机顶盒（STB）ex217的装置对接收的复用数据解码并再现解码数据。

此外，读取器/记录器ex218（i）读取记录介质ex215，例如DVD和BD上记录的复用数据并对其解码，或（i）对记录介质ex215中的视频信号编码，在一些情况下，写入通过在编码数据上复用音频信号获得的数据。读取器/记录器ex218能够包括视频解码设备或视频编码设备，如每个实施例中所示。在这种情况下，在监视器ex219上显示再现的视频信号，并可以由另一个装置或***，利用记录了复用数据的记录介质ex215再现。还可以在连接到用于有线电视的电缆ex203或用于卫星和/或地面广播的天线ex204的机顶盒ex217中实现视频编码设备，从而在电视ex300的监视器ex219上显示视频信号。可以不在机顶盒中，而在电视ex300中实现视频解码设备。

图40示出了电视（接收机）ex300，其利用了每个实施例中描述的视频编码方法和视频解码方法。电视ex300包括：调谐器ex301，通过接收广播的天线ex204或电缆ex203，获得或提供通过向视频数据上复用音频数据获得的复用数据；对接收的复用数据进行解调或将数据调制成要供应给外部的复用数据的调制/解调单元ex302；以及复用/解复用单元ex303，将调制的复用数据解复用成视频数据和音频数据，或将信号处理单元ex306编码的视频数据和音频数据复用成数据。

电视ex300还包括：信号处理单元ex306，包括音频信号处理单元ex304和视频信号处理单元ex305，分别对音频数据和视频数据解码以及对音频数据和视频数据编码；以及输出单元ex309，包括提供解码的音频信号的扬声器ex307以及显示解码视频信号的显示单元ex308，例如显示器。此外，电视ex300包括接口单元ex317，包括接收用户操作输入的操作输入单元ex312。此外，电视ex300包括控制单元ex310，其从总体上控制电视ex300的每个构成元件，以及电源电路单元ex311，向每个元件供电。除了操作输入单元ex312之外，接口单元ex317可以包括：连接到外部装置，例如读取器/记录器ex218的电桥ex313；插槽单元ex314，使得能够连接记录介质ex216，例如SD卡；要连接到外部记录介质，例如硬盘的驱动器ex315；以及要连接到电话网络的调制调解器ex316。在这里，记录介质ex216能够使用非易失性/易失性半导体存储器元件以电学方式记录信息，以便存储。电视ex300的构成元件通过同步总线彼此连接。

首先，将描述这样的配置：电视ex300对通过天线ex204等从外部获得的复用数据解码并再现解码数据。在电视ex300中，在通过遥控器ex220等进行用户操作时，复用/解复用单元ex303在包括CPU的控制单元ex310的控制下对调制/解调单元ex302解调的复用数据进行解复用。此外，在电视ex300中，利用每个实施例中描述的解码方法，音频信号处理单元ex304对解复用的音频数据进行解码，视频信号处理单元ex305对解复用的视频数据进行解码。输出单元ex309分别向外提供解码视频信号和音频信号。在输出单元ex309提供视频信号和音频信号时，可以在缓存ex318和ex319等中暂时存储信号，从而彼此同步地再现信号。此外，电视ex300可以不通过广播等，而是从记录介质ex215和ex216，例如磁盘、光盘和SD卡读取复用数据。接下来，将描述这样的配置：电视ex300对音频信号和视频信号编码并向外发射数据或在记录介质上写入数据。在电视ex300中，在通过遥控器ex220等进行用户操作时，在控制单元ex310的控制下，利用每个实施例中描述的编码方法，音频信号处理单元ex304对音频信号进行编码，视频信号处理单元ex305对视频信号进行编码。复用/解复用单元ex303对编码的视频信号和音频信号进行复用，并向外提供所得信号。在复用/解复用单元ex303对视频信号和音频信号进行复用时，可以在缓存ex320和ex321等中暂时存储信号，从而彼此同步地再现信号。在这里，如图所示，缓存ex318、ex319、ex320和ex321可以是多个，或者可以在电视ex300中共享至少一个缓存。此外，可以在缓存中存储数据，从而可以例如在调制/解调单元ex302和复用/解复用单元ex303之间避免***溢出和下溢。

此外，除了用于从广播或记录介质获得音频和视频数据的配置之外，电视ex300可以包括用于从微音器或摄像机接收AV输入的配置，并可以对获得的数据进行编码。尽管在说明书中电视ex300能够对数据进行编码、复用并向外提供，但它可能仅能够对数据进行接收、解码和向外提供，但不对数据进行编码、复用并向外提供。

此外，在读取器/记录器ex218从记录介质或在记录介质上读取或写入复用数据时，电视ex300和读取器/记录器ex218之一可以对复用数据进行解码或编码，电视ex300和读取器/记录器ex218可以贡献解码或编码。

作为范例，图41示出了在从光盘读取数据或在光盘上写入数据时信息再现/记录单元ex400的配置。信息再现/记录单元ex400包括要在下文中描述的构成元件ex401、ex402、ex403、ex404、ex405、ex406和ex407。光学头ex401在记录介质ex215，即光盘的记录表面中辐照激光光点，以写入信息，并从记录介质ex215的记录表面检测反射光以读取信息。调制记录单元ex402以电气方式驱动光学头ex401中包括的半导体激光器，并根据记录的数据调制激光。再现解调单元ex403放大利用光学头ex401中包括的光电探测器通过以电学方式检测从记录表面反射的光获得的再现信号，并通过分离记录介质ex215上记录的信号分量对再现信号解调以再现必要信息。缓存ex404暂时保存要在记录介质ex215上记录的信息以及从记录介质ex215再现的信息。磁盘电动机ex405旋转记录介质ex215。伺服控制单元ex406将光学头ex401移动到预定信息道，同时控制磁盘电动机ex405的旋转驱动，以跟随激光光点。***控制单元ex407在总体上控制信息再现/记录单元ex400。可以由***控制单元ex407使用缓存ex404中存储的各种信息并产生和根据需要增加新的信息，并由调制记录单元ex402、再现解调单元ex403和伺服控制单元ex406通过光学头ex401记录并再现信息，同时以协同方式***作，实现读取和写入过程。***控制单元ex407包括例如微处理器，并通过令计算机执行用于读取和写入的程序来执行处理。

尽管在说明书中光学头ex401辐照激光光点，但其可以利用近场光执行高密度的记录。

图42示出了记录介质ex215，即光盘。在记录介质ex215的记录表面上，以螺旋方式形成导向槽，信息道ex230预先记录地址信息，表示根据导向槽的形状变化在盘上的绝对位置。地址信息包括用于确定记录块ex231，即用于记录数据的单元的位置的信息。在记录和再现数据的设备中再现信息道ex230和读取地址信息可能导致记录块的位置的确定。此外，记录介质ex215包括数据记录区域ex233、内部圆周区域ex232和外部圆周区域ex234。数据记录区域ex233是记录用户数据时使用的区域。作为数据记录区域ex233内部与外部的内部圆周区域ex232和外部圆周区域ex234分别用于除记录用户数据之外的特定用途。信息再现/记录单元ex400从记录介质ex215的数据记录区域ex233或在其上读取和写入编码的音频、编码的视频数据，或通过复用编码的音频和视频数据获得的复用数据。

尽管在说明书中将具有层的光盘，例如DVD和BD描述为范例，但光盘不限于此，可以是具有多层结构并能够被记录在除表面之外的部分上的光盘。此外，光盘可以具有用于多维记录/再现的结构，例如利用不同波长的光在光盘的相同部分中记录信息并从各种角度记录具有不同层的信息。

此外，具有天线ex205的汽车ex210能够从卫星ex202等接收数据，并在设置于汽车ex210中、数字广播***ex200中的诸如汽车导航***ex211的显示装置上再现视频。在这里，汽车导航***ex211的配置将是例如包括来自图40中所示配置的GPS接收单元的配置。对于计算机ex111、蜂窝电话ex114等的配置，将是同样的情况。

图43A示出了蜂窝电话ex114，其利用了每个实施例中描述的视频编码方法和视频解码方法。蜂窝电话ex114包括：天线ex350，用于通过基站ex110发射和接收无线电波；摄像机单元ex365，能够拍摄运动和静止图像；以及显示单元ex358，例如液晶显示器，用于显示数据，例如由摄像机单元ex365拍摄的或由天线ex350接收的解码视频。蜂窝电话ex114还包括：包括操作键单元ex366的主体单元；音频输出单元ex357，例如扬声器，用于输出音频；音频输入单元ex356，例如微音器，用于输入音频；存储单元ex367，用于存储拍摄的视频或静止图像、记录的音频、所接收视频、静止图像、电子邮件或其他的编码或解码数据；以及插槽单元ex364，即接口单元，用于与存储单元ex367以相同方式存储数据的记录介质。

接下来，将参考图43B描述蜂窝电话ex114的配置范例。在蜂窝电话ex114中，经由同步总线ex370，将设计成总体控制主体每个单元（包括显示单元ex358以及操作键单元ex366）的主控制单元ex360相互连接到电源电路单元ex361、操作输入控制单元ex362、视频信号处理单元ex355、摄像机接口单元ex363、液晶显示器（LCD）控制单元ex359、调制/解调单元ex352、复用/解复用单元ex353、音频信号处理单元ex354、插槽单元ex364和存储单元ex367。

在通过用户操作打开呼叫结束键或电源键时，电源电路单元ex361从电池组为相应单元供电，以便激活手机ex114。

在蜂窝电话ex114中，音频信号处理单元ex354在语音转换模式中，在包括CPU、ROM和RAM的主控制单元ex360的控制下将音频输入单元ex356收集的音频信号转换成数字音频信号。然后，调制/解调单元ex352对数字音频信号进行扩展频谱处理，发射和接收单元ex351对数据执行数字到模拟变换和频率变换，从而经由天线ex350发射所得数据。

而且，在蜂窝电话ex114中，发射和接收单元ex351在语音转换模式中放大天线ex350接收的数据，并对数据执行频率变换和模拟到数字变换。然后，调制/解调单元ex352对数据进行逆扩展频谱处理，音频信号处理单元ex354将其转换成模拟音频信号，从而经由音频输出单元ex356输出它们。

此外，在发送数据通信模式中的电子邮件时，经由操作输入控制单元ex362向主控制单元ex360发出通过操作主体的操作键单元ex366等输入的电子邮件的文本数据。主控制单元ex360令调制/解调单元ex352对文本数据进行扩展频谱处理，发射和接收单元ex351对所得数据执行数字到模拟变换和频率变换，以经由天线ex350向基站ex110发射数据。在接收到电子邮件时，对所接收数据执行与发射电子邮件的处理大致相反的处理，向显示单元ex358提供所得数据。

在发射数据通信模式中的视频、静止图像或视频和音频时，视频信号处理单元ex355利用每个实施例中示出的视频编码方法压缩从摄像机单元ex365供应的视频信号并对其编码，并向复用/解复用单元ex353发射编码的视频数据。相反，在摄像机单元ex365拍摄视频、静止图像等时，音频信号处理单元ex354对音频输入单元ex356收集的音频信号进行编码并向复用/解复用单元ex353发送编码的音频数据。

复用/解复用单元ex353利用预定方法，对从视频信号处理单元ex355供应的经编码的视频数据以及从音频信号处理单元ex354供应的经编码的音频数据进行复用。

然后，调制/解调单元ex352对复用的数据进行扩展频谱处理，发射和接收单元ex351对数据执行数字到模拟变换和频率变换，从而经由天线ex350发射所得数据。

在数据通信模式中接收与网页等链接的视频文件的数据时，或在接收附带视频和/或音频的电子邮件时，为了对经由天线ex350接收的复用数据进行解码，复用/解复用单元ex353将复用数据解复用成视频数据比特流和音频数据比特流，并通过同步总线ex370为视频信号处理单元ex355供应编码的视频数据，为音频信号处理单元ex354供应编码的音频数据。视频信号处理单元ex355利用与每个实施例中所示的编码方法对应的视频解码方法对视频信号进行解码，然后显示单元ex358经由LCD控制单元ex359显示，例如链接到网页的视频文件中包括的视频和静止图像。此外，音频信号处理单元ex354对音频信号进行解码，音频输出单元ex357提供音频。

此外，类似于电视ex300，诸如蜂窝电话ex114的终端可能有3种实施配置，不仅包括（i）发射和接收终端，包括编码设备和解码设备，而且包括（ii）仅包括编码设备的发射终端，以及（iii）仅包括解码设备的接收终端。尽管数字广播***ex200在说明书中接收和发射通过向视频数据上复用音频数据获得的复用数据，复用数据可以是通过向视频数据上复用非音频数据而是字符数据获得的数据，可以不是复用数据，而是视频数据自身。

这样一来，可以将每个实施例中的视频编码方法和视频解码方法用于任何所述装置和***中。于是，可以获得每个实施例中描述的优点。

此外，本发明不限于实施例，各种修改和变化都是可能的，而不脱离本发明的范围。

可以通过根据需要在（i）每个实施例中所示的视频编码方法或视频编码设备以及（ii）符合不同标准，例如MPEG-2、H.264/AVC和VC-1的视频编码方法或视频编码设备之间切换来产生视频数据。

在这里，在产生符合不同标准的多个视频数据并然后解码时，需要选择解码方法以符合不同标准。不过，由于不能检测到要解码的多个视频数据的每个要符合哪个标准，所以存在不能选择适当解码方法的问题。

为了解决该问题，通过向视频数据上复用音频数据等获得的复用数据具有这样的结构：包括指明视频数据符合哪种标准的识别信息。在下文中将描述包括在每个实施例中所示的视频编码方法和视频编码设备中产生的视频数据的复用数据的具体结构。复用数据是MPEG2-传输流格式的数字流。

图44示出了复用数据的结构。如图44中所示，可以通过复用视频流、音频流、表示图形流（PG）和交互图形流中的至少一种获得复用数据。视频流代表电影的基本视频和辅助视频，音频流（IG）代表基本音频部分和要与基本音频部分混合的辅助音频部分，表示图形流代表电影的字幕。在这里，基本视频是要在屏幕上显示的标称视频，辅助视频是要在基本视频中的更小窗口上显示的视频。此外，交互图形流代表要通过在屏幕上布置GUI成分产生的交互屏幕。在每个实施例中所示的视频编码方法或视频编码设备中或在符合常规标准，例如MPEG-2、H.264/AVC和VC-1的视频编码方法或视频编码设备中，对视频流进行编码。根据诸如Dolby-AC-3、Dolby Digital Plus、MLP、DTS、DTS-HD和线性PCM的标准对音频流编码。

由PID标识复用数据中包括的每个流。例如，将0x1011分配到用于电影视频的视频流，将0x1100到x111F分配到音频流，将0x1200到0x121F分配到表示图形流，将0x1400到0x141F分配到交互图形流，将0x1B00到0x1B1F分配到用于电影的辅助视频的视频流，并将0x1a00到0x1A1F分配到用于与基本音频混合的辅助视频的音频流。

图45示意性示出了如何复用数据。首先，将视频帧构成的视频流ex235以及音频帧构成的音频流ex238变换成PES分组流ex236和PES分组流ex239，进一步分别变换成TS分组ex237和TS分组ex240。类似地，将表示图形流ex241的数据和交互图形流ex244的数据变换成PES分组流ex242和PES分组流ex245，进一步分别变换成TS分组ex243和TS分组ex246。将这些TS分组复用成流以获得复用数据ex247。

图46更详细地示出了如何在PES分组流中存储视频流。图20中的第一个条示出了视频流中的视频帧流。第二个条示出了PES分组的流。如图20中表示为yy1、yy2、yy3和yy4的箭头所示，视频流被分成图片，I图片、B图片和P图片，每个都是视频表示单元，图片被存储在每个PES分组的有效载荷（payload）中。每个PES分组都具有PES报头，PES报头存储表示图片显示时间的表示时间戳（PTS）以及表示图片解码时间的解码时间戳（DTS）。

图47示出了要最终写在复用数据上的TS分组的格式。每个TS分组都是188字节固定长度的分组，包括4字节的TS报头和用于存储数据的184字节TS有效载荷，报头具有诸如PID的信息，PID标识流。划分PES分组并分别存储在TS有效负载中。在使用BD ROM时，为每个TS分组给予4-字节的TP_Extra_Header，从而获得192-字节的源分组。在复用数据上写入源分组。TP_Extra_Header存储诸如Arrival_Time_Stamp（ATS）的信息。ATS示出了要向PID滤波器传输每个TS分组的传输开始时间。如图47的底部所示，在复用数据中布置源分组。从复用数据头递增的数字被称为源分组编号（SPN）。

复用数据中包括的TS分组的每个不仅包括音频、视频、字幕等的流，而且包括节目关联表（PAT）、节目图表（PMT）和节目时钟参考（ＰCR）。PAT示出了复用数据中使用的PMT中的PID表示什么，PAT自身的PID被注册为零。PMT存储着复用数据中包括的视频、音频、字幕等的流以及对应于PID的流的属性信息。PMT还具有与复用数据相关的各种描述符。描述符具有诸如复制控制信息的信息，表示是否允许复制复用数据。PCR存储着与ATS对应的STC时间信息，表示何时向解码器传输PCR分组，以便实现到达时间时钟（ATC），即ATS的时间轴，和***时间时钟（STC），即PTS和DTS的时间轴之间的同步。

图48详细示出了PMT的数据结构。PMT报头设置在PMT的顶部。PMT报头描述PMT等中包括的数据长度。在PMT报头之后设置与复用数据相关的多个描述符。在描述符中描述了诸如复制控制信息的信息。在描述符之后，设置与复用数据中包括的流相关的多条流信息。每条流信息都包括流描述符，每个流描述符描述诸如标识流的压缩编解码器的流类型、流PID和流属性信息（例如帧速率或纵横比）的信息。流描述符的数量与复用数据中的流数量相等。

在记录介质等上记录复用数据时，与复用数据信息文件一起记录它。

复用数据信息文件的每个都是图49所示的复用数据的管理信息。复用数据信息文件与复用数据一一对应，每个文件包括复用数据信息、流属性信息和条目图。

如图49所示，复用数据包括***速率、再现开始时间和再现结束时间。***速率表示后面描述的***目标解码器向PID滤波器传输复用数据的最大传输速率。复用数据中包括的ATS间隔被设置成高于***速率。再现开始时间表示复用数据头部的视频帧中的PTS。向复用数据的结尾的视频帧中的PTS增加一个帧的间隔，将PTS设置为再现结束时间。

如图50中所示，针对复用数据中包括的每个流的每个PID，在流属性信息中注册一条属性信息。根据对应的流是视频流、音频流、表示图形流还是交互图形流，每条属性信息具有不同的信息。每条视频流属性信息都携带包括使用哪种压缩编解码器压缩视频流以及视频流中包括的各条图片数据的分辨率、纵横比和帧速率的信息。每条音频流属性信息都携带包括使用哪种压缩编解码器压缩音频流、在音频流中包括多少通道、音频流支持哪种语言以及采样频率有多高的信息。视频流属性信息和音频流属性信息用于在播放机回放信息之前对解码器进行初始化。

要使用的复用数据是PMT中包括的流类型。此外，在记录介质等上记录复用数据时，使用复用数据信息中包括的视频流属性信息。更具体而言，每个实施例中描述的视频编码方法或视频编码设备包括向PMT或视频流属性信息中包括的流类型分配表示由每个实施例中的视频编码方法或视频编码设备产生的视频数据的唯一信息的步骤或单元。利用该配置，可以将每个实施例中描述的视频编码方法或视频编码设备产生的视频数据与符合另一种标准的视频数据区分开。

此外，图51示出了视频解码方法的步骤。在步骤exS100中，从复用数据获得PMT或视频流属性信息中包括的流类型。接下来，在步骤exS101中，判断流类型或视频流属性信息是否表示复用数据由每个实施例中的视频编码方法或视频编码设备产生。在判定流类型或视频流属性信息表示复用数据由每个实施例中的视频编码方法或视频编码设备产生时，在步骤exS102中，通过每个实施例中的视频解码方法进行解码。此外，在流类型或视频流属性信息表示符合常规标准，例如MPEG-2、H.264/AVC和VC-1时，在步骤exS103中，由符合常规标准的视频解码方法进行解码。

这样一来，向流类型或视频流属性信息分配新的唯一值使得能够判断每个实施例中描述的视频解码方法或视频解码设备能否进行解码。即使在复用数据符合不同标准时，也可以选择适当的解码方法或设备。于是，能够对信息解码而没有任何误差。此外，可以在上述装置和***中使用视频编码方法或设备或视频解码方法或设备。

通常以集成电路或大规模集成（LSI）电路的形式实现每个实施例中的视频编码方法、视频编码设备、视频解码方法和视频解码设备的每个。作为LSI的范例，图52示出了制作到一个芯片中的LSI ex500的配置。LSIex500包括如下所述的元件ex501、ex502、ex503、ex504、ex505、ex506、ex507、ex508和ex509，各元件通过总线ex510彼此连接。在打开电源电路单元ex505时，通过为每个元件供电，激活电源电路单元ex505。

例如，在进行编码时，LSI ex500在包括CPU ex502、存储控制器ex503、流控制器ex504和驱动频率控制单元ex512的控制单元ex501的控制下，通过AV IO ex509，从微音器ex117、摄像机ex113等接收AV信号。将接收的AV信号暂时存储在外部储存器ex511，例如SDRAM中。在控制单元ex501的控制下，根据要发送到信号处理单元ex507的处理量和速度，将存储的数据分割成数据部分。然后，信号处理单元ex507对音频信号和/或视频信号进行编码。在这里，视频信号的编码是每个实施例中描述的编码。此外，信号处理单元ex507有时复用编码的音频数据和编码的视频数据，流IO ex506向外提供复用数据。向基站ex107发送提供的复用数据，或在记录介质ex215上写入提供的复用数据。在复用数据集时，应当在缓存ex508中暂时存储数据，使得数据集彼此同步。

尽管存储器ex511是LSI ex500外部的元件，但其可以包括在LSIex500中。缓存ex508不限于一个缓存，而是可以由多个缓存构成。此外，可以将LSI ex500制作成一个芯片或多个芯片。

此外，尽管控制单元ex510包括CPU ex502、存储控制器ex503、流控制器ex504、驱动频率控制单元ex512，但控制单元ex510的配置不限于此。例如，信号处理单元ex507还可以包括CPU。在信号处理单元ex507中包括另一个CPU能够提高处理速度。此外，作为另一范例，CPU ex502可以充当或是信号处理单元ex507的一部分，例如，可以包括音频信号处理单元。在这种情况下，控制单元ex501包括信号处理单元ex507或包括信号处理单元ex507的一部分的CPU ex502。

这里使用的名称是LSI，但根据集成度，也可以称为IC、***LSI、超级LSI或超大规模LSI。

此外，用于实现集成的方式不限于LSI，专用电路或通用处理器等也可以实现集成。可以使用在制造LSI之后可编程的现场可编程门阵列（FPGA）或允许重新配置LSI的连接或配置的可重配置处理器实现相同目的。

将来，随着半导体技术的发展，新型技术可能替代LSI。可以利用这样的技术集成功能块。可以将本发明应用于生物技术。

在对每个实施例中描述的视频编码方法或视频编码设备产生的视频数据进行解码时，与对符合常规标准，例如MPEG-2、H.264/AVC和VC-1的视频数据解码时相比，处理量可能会增大。于是，在对符合常规标准的视频数据进行解码时，LSI ex500需要被设置到比要使用的CPU ex502更高的驱动频率。不过，在将驱动频率设置得更高时，存在着功耗增大的问题。

为了解决该问题，视频解码设备，例如电视ex300和LSI ex500被配置成判断视频数据符合哪种标准，并根据确定的标准在驱动频率之间切换。图53示出了配置ex800。在由每个实施例中描述的视频编码方法或视频编码设备产生视频数据时，驱动频率切换单元ex803将驱动频率设置到更高驱动频率。然后，驱动频率切换单元ex803指示执行每个实施例中所述视频解码方法的解码处理单元ex801对视频数据进行解码。在视频数据符合常规标准时，驱动频率切换单元ex803将驱动频率设置成比每个实施例中所述的视频编码方法或视频编码设备产生的视频数据更低的驱动频率。然后，驱动频率切换单元ex803指示符合常规标准的解码处理单元ex802对视频数据解码。

更具体而言，驱动频率切换单元ex803包括CPU ex502以及图26中的驱动频率控制单元ex512。在这里，执行每个实施例中所述视频解码方法的解码处理单元ex801以及符合常规标准的解码处理单元ex802的每个对应于图50中的信号处理单元ex507。CPU ex502判断视频数据符合哪种标准。然后，驱动频率控制单元ex512基于来自CPU ex502的信号确定驱动频率。此外，信号处理单元ex507基于来自CPU ex502的信号对视频数据解码。例如，描述的识别信息可能用于识别视频数据。识别信息不限于上述那种，而是可以是任何信息，只要该信息表示视频数据符合哪种标准即可。例如，在可以基于用于判定视频数据用于电视或磁盘等的外部信号判断视频数据符合哪种标准时，可以基于这样的外部信号做出判断。此外，CPU ex502基于例如查找表选择驱动频率，在查找表中将视频数据的标准与驱动频率相关联，如图55中所示。可以通过在缓存ex508中以及LSI的内部存储器中存储查找表并由CPU ex502参考查找表，来选择驱动频率。

图54示出了用于执行方法的步骤。首先，在步骤exS200中，信号处理单元ex507从复用数据获得识别信息。接下来，在步骤exS201中，CPUex502基于识别信息来判断视频数据是否是由每个实施例中描述的编码方法和编码设备产生的。在视频数据是由每个实施例中描述的视频编码方法或视频编码设备产生时，在步骤exS202中，CPU ex502向驱动频率控制单元ex512发射信号，用于将驱动频率设置到更高的驱动频率。然后，驱动频率控制单元ex512将驱动频率设置到更高的驱动频率。另一方面，在识别信息表示视频数据符合常规标准，例如MPEG-2、H.264/AVC和VC-1时，在步骤exS203中，CPU ex502向驱动频率控制单元ex512发送信号，用于将驱动频率设置到更低驱动频率。然后，驱动频率控制单元ex512将驱动频率设置到比由每个实施例中所述的视频编码方法和视频编码设备产生视频数据的情况下更低的驱动频率。

此外，与切换驱动频率一起，可以通过改变要施加到LSI ex500或包括LSI ex500的设备的电压来改善功率守恒效应。例如，在将驱动频率设置得更低时，可能将要施加到LSI ex500或包括LSI ex500的设备的电压设置到比将驱动频率设置得更高的情况下更低的电压。

此外，在用于解码的处理量更大时，可以将驱动频率设置得更高，在用于解码的处理量更小时，可以如用于设置驱动频率的方法那样将驱动频率设置得更低。于是，设置方法不限于上述那些。例如，在用于对符合H.264/AVC的视频数据解码的处理量大于用于对每个实施例所述的视频编码方法和视频编码设备产生的视频数据解码的处理量时，可能按照上述设置的相反顺序设置驱动频率。

此外，用于设置驱动频率的方法不限于用于将驱动频率设置得更低的方法。例如，在识别信息表示视频数据是由每个实施例中所述的视频编码方法和视频编码设备产生时，可能将要施加到LSI ex500或包括LSI ex500的设备的电压设置得更高。在识别信息表示视频数据符合常规标准，例如MPEG-2、H.264/AVC和VC-1时，可能将要施加到LSI ex500或包括LSIex500的设备的电压设置得更低。作为另一范例，在识别信息表示视频数据是由每个实施例中描述的视频编码方法和视频编码设备产生的时，可能不必中止CPU ex502的驱动。在识别信息表示视频数据符合常规标准，例如MPEG-2、H.264/AVC和VC-1时，可能在给定时刻中止CPU ex502的驱动，因为CPU ex具有额外的处理能力。即使在识别信息表示视频数据是由每个实施例中描述的视频编码方法和视频编码设备产生的时，在CPUex502具有额外处理能力的情况下，也可能在给定时刻中止CPU ex502的驱动。在这种情况下，可能将中止时间设置得比识别信息表示视频数据符合诸如MPEG-2、H.264/AVC和VC-1的常规标准的情况下更短。

因此，可以通过根据视频数据符合的标准在驱动频率之间切换来改善功率守恒效应。此外，在利用电池驱动LSI ex500或包括LSI ex500的设备时，利用功率守恒效应可以延长电池寿命。

存在这样的情况：向诸如电视和移动电话的装置和***提供符合不同标准的多个视频数据。为了能够对符合不同标准的多个视频数据解码，LSI ex500的信号处理单元ex507需要符合不同的标准。不过，随着逐个使用符合相应标准的信号处理单元ex507，会出现LSI ex500的电路尺度增大以及成本增大的问题。

为了解决该问题，想到的是这样的配置：部分共享用于实施每个实施例中所述视频解码方法的解码处理单元和符合诸如MPEG-2、H.264/AVC和VC-1的常规标准的解码处理单元。图56A中的ex900示出了该配置的范例。例如，每个实施例中所述的视频解码方法和符合H.264/AVC的视频解码方法部分共有处理的细节，例如熵编码、逆量化、去块滤波和运动补偿预测。要共享的处理细节可以包括使用符合H.264/AVC的解码处理单元ex902。相反，可能使用专用的解码处理单元ex901进行本发明特有的其他处理。由于本发明的特征在于应用去块滤波，所以将例如专用的解码处理单元ex901用于这样的滤波。否则，可能为熵解码、逆量化、空间或运动补偿预测之一或所有处理共享解码处理单元。可以为要共享的处理共享用于实施每个实施例中所述视频解码方法的解码处理单元，可以将专用的解码处理单元用于H.264/AVC特有的处理。

此外，图56B中的ex1000示出了部分共享处理的另一个范例。本范例使用了包括支持本发明特有处理的专用解码处理单元ex1001、支持另一种常规标准特有的处理的专用解码处理单元ex1002以及支持要在本发明的视频解码方法和常规视频解码方法之间共享的处理的解码处理单元ex1003的配置。在这里，专用解码处理单元ex1001和ex1002未必分别是本发明的处理和常规标准的处理专用的，可以是能够实施一般处理的单元。此外，可以用LSI ex500实现该配置。

这样一来，通过为要在本发明中的视频解码方法和符合常规标准的视频解码方法之间共享的处理共享解码处理单元，能够减小LSI的电路尺度并降低成本。

已经结合基于H.264/AVC的视频编码***概述了大部分范例，术语主要涉及H.264/AVC术语。不过，相对于基于H.264/AVC的编码的这种术语和各实施例的描述并非要将本发明的原理和构思限于这样的***。而且，符合H.264/AVC标准的编码和解码的详细解释意在更好地理解这里描述的示范性实施例，不应被理解为将本发明限制于所述的视频编码中的过程和功能的具体实施。虽然如此，可以容易地在所述的视频编码中应用这里提出的改进。此外，也可以容易地将本发明的原理用于当前JCT-VC论述的H.264/AVC编码和/或HEVC的增强。

总之，本发明涉及去块滤波，可以将其有利地用于图像或视频信号的逐块编码和解码。具体而言，本发明涉及对是否对图像块应用去块滤波进行有效率的精确决策。通过对是否为相邻图像块之间的边界片段应用去块滤波执行个体决策来实现有效率的精确决策，其中个体决策基于构成图像块的像素线自己中包括的像素。

Claims (25)

1.一种用于对分成8像素×8像素的最小块的图像进行去块处理的方法，要对所述最小块的边界进行处理，其中每个块由垂直于与相邻块的边界的8条像素线构成，所述方法包括如下步骤：

通过基于所述块的8条像素线中的构成子集的4条像素线各自中包括的6个像素逐个地对所述块中包括的所述边界的每个片段进行判断，来判断是否向所述块的所述边界的所述片段应用去块滤波器，

根据相应的个体判断的结果向所述边界的所述片段应用或不应用所述去块滤波器，

在所述4条像素线各自中包括的6个像素中，3个像素包括于所述块，其余的3个像素包括于所述相邻块。

2.根据权利要求1所述的方法，其中判断是否向所述块的所述边界的片段应用去块滤波器的所述步骤包括如下步骤：

利用所述块的所述8条像素线中的构成所述子集的所述4条像素线各自中包括的6个像素的像素值，来获得针对所述边界的每个片段的个体决策值，以及

针对所述边界的每个个体片段，将所述个体决策值与阈值进行比较。

3.根据权利要求2所述的方法，其中获得针对所述边界的每个片段的个体决策值的所述步骤包括如下步骤：

基于所述8条像素线中的所述子集的单条像素线来获得所述个体决策值的至少一个个体决策值。

4.根据权利要求3所述的方法，其中获得针对所述边界的每个片段的个体决策值的所述步骤包括如下步骤：

通过对基于所述8条像素线中的所述子集的所述单条像素线的所述至少一个个体决策值应用最近邻内插，来获得基于所述8条像素线中的所述子集的所述单条像素线的至少一个个体决策值。

5.根据权利要求3所述的方法，其中获得针对所述边界的每个片段的个体决策值的所述步骤还包括如下步骤：

基于所述8条像素线中的所述子集的至少两条像素线来获得至少一个个体决策值。

6.根据权利要求5所述的方法，其中基于至少两条像素线来获得至少一个个体决策值的所述步骤包括如下步骤：

通过对基于所述8条像素线中的所述子集的单条像素线的个体决策值进行线性组合来获得所述个体决策值。

7.根据权利要求5所述的方法，其中基于所述8条像素线中的所述子集的至少两条像素线来获得至少一个个体决策值的所述步骤包括如下步骤：

对基于所述8条像素线中的所述子集的单条像素线的个体决策值进行线性内插。

8.根据权利要求1所述的方法，其中在判断是否向所述块的所述边界的所述片段应用去块滤波器的所述步骤中，除了基于所述块的所述8条像素线中的构成所述子集的所述4条像素线各自中包括的6个像素之外，所述判断还基于另一块的像素线中包括的像素，所述另一块与所述块相邻并跨过垂直于所述边界的另一边界。

9.根据权利要求1所述的方法，其中在判断是否向所述块的所述边界的所述片段应用去块滤波器的所述步骤中，沿平行于所述边界的方向规则分布充当判断依据的所述4条像素线。

10.根据权利要求1所述的方法，还包括如下步骤：

判断在所述块的所述边界的每个片段处应用哪种类型的去块滤波。

11.一种用于对包括多个像素的图像的图像块进行编码的方法，所述方法包括如下步骤：

压缩并重构所述图像块，以及

根据权利要求1到10中的任一项向所重构的块应用滤波。

12.一种用于对包括多个像素的图像的编码图像块进行解码的方法，所述方法包括如下步骤：

重构所述编码图像块，以及

根据权利要求1到10中的任一项向所述重构图像块应用滤波。

13.一种用于对分成8像素×8像素的最小块的图像进行去块处理的设备，要对所述最小块的边界进行处理，其中每个块由垂直于与相邻块的边界的8条像素线构成，所述设备包括：

判断单元，被配置成通过基于所述块的8条像素线中的构成子集的4条像素线各自中包括的6个像素逐个地针对所述块中包括的所述边界的每个片段进行判断，来判断是否向所述块的所述边界的所述片段应用去块滤波器，以及

去块滤波单元，被配置成根据相应的个体判断的结果向所述边界的所述片段应用或不应用所述去块滤波器，

在所述4条像素线各自中包括的6个像素中，3个像素包括于所述块，其余的3个像素包括于所述相邻块。

14.根据权利要求13所述的设备，其中所述判断单元还包括：

处理单元，被配置成利用所述块的所述8条像素线中的构成所述子集的所述4条像素线各自中包括的6个像素的像素值，来获得针对所述边界的每个片段的个体决策值，以及

比较单元，被配置成针对所述边界的每个个体片段将所述个体决策值与阈值进行比较。

15.根据权利要求14所述的设备，其中所述处理单元被配置成基于所述8条像素线中的所述子集的单条像素线来获得所述个体决策值中的至少一个个体决策值。

16.根据权利要求15所述的设备，其中所述处理单元被配置成，通过对基于所述8条像素线中的所述子集的所述单条像素线的所述至少一个个体决策值应用最近邻内插，来获得基于所述8条像素线中的所述子集的所述单条像素线的至少一个个体决策值。

17.根据权利要求15所述的设备，其中所述处理单元被配置成基于所述8条像素线中的所述子集的至少两条像素线来获得至少一个个体决策值。

18.根据权利要求17所述的设备，其中所述处理单元被配置成利用基于所述8条像素线中的所述子集的单条像素线的个体决策值的线性组合，来获得基于所述8条像素线中的所述子集的至少两条像素线的所述至少一个个体决策值。

19.根据权利要求17所述的设备，其中所述处理单元被配置成通过对基于所述8条像素线中的所述子集的单条像素线的个体决策值进行线性内插，来获得基于所述8条像素线中的所述子集的至少两条像素线的所述至少一个个体决策值。

20.根据权利要求13所述的设备，其中所述判断单元被配置成除了基于所述块的所述8条像素线中的构成所述子集的4条像素线各自中包括的6个像素之外，还基于另一块的像素线中包括的像素来判断是否向所述边界的片段应用去块滤波器，所述另一块与所述块相邻并跨过垂直于所述边界的另一边界。

21.根据权利要求13所述的设备，其中所述判断单元被配置成决定是否向所述边界的片段应用去块滤波器，其中沿平行于所述边界的方向规则分布充当判断依据的所述像素线。

22.根据权利要求13所述的设备，其中所述判断单元被配置成判断向所述边界的每个片段应用哪种类型的去块滤波。

23.一种用于对包括多个像素的图像的图像块进行编码的设备，所述设备包括：

具有解码器的编码器，用于压缩和重构当前块，以及

根据权利要求13到22中的任一项所述的用于对所重构的块进行滤波的设备。

24.一种用于对包括多个像素的图像的编码图像块进行解码的设备，所述设备包括：

用于重构所述编码图像块的解码器，以及

根据权利要求13到22中的任一项所述的用于对所重构的图像块进行滤波的设备。

25.一种用于实现根据权利要求13到22中的任一项所述的设备的集成电路，其包括用于存储要被滤波的像素的存储器。