CN101421935B

CN101421935B - 视频去块滤波器

Info

Publication number: CN101421935B
Application number: CN2005800011043A
Authority: CN
Inventors: C·黄
Original assignee: Divx LLC
Current assignee: Devi Vision Co ltd; Divi Holdings Ltd.
Priority date: 2004-09-20
Filing date: 2005-09-20
Publication date: 2011-05-25
Anticipated expiration: 2025-09-20
Also published as: US20110069765A1; BR122018015543B1; US7729426B2; HK1132389A1; BRPI0506163A; US20060098744A1; WO2006034331A3; CN101421935A; WO2006034331A2; US8139651B2; BRPI0506163B1

Abstract

公开了去块滤波器，其中滤波器的本质特征是基于重构图像帧中块边界所处区域的细节等级确定的。本发明的方法实施例包括：识别所述重构图像帧中两块之间的边界，确定所述重构图像帧中块边界所处区域的细节等级，其中所述区域包括重构图像帧中多行和多列像素，以及至少一个不与所述块边界直接相邻的像素，并且基于确定的细节等级，选取滤波器以应用到所述块边界任一侧预定像素上。

Description

视频去块滤波器

背景技术

本发明涉及图像压缩，并且特别涉及压缩图像的去块方法。

数字视频序列由像素帧组成，其中像素特征采用数字信息表示。可以采用压缩减少表示数字序列所需的数据量。几种压缩方案试图利用视频序列中经常出现的特征，实现视频序列编码所需数字数据量的显著减少。

诸如MPEG-4标准中所描述的编码方案，可包括图像压缩算法，该类算法将图像帧划分为像素块，并利用块内像素的特征对图像帧块编码。当对编码后的视频帧进行重构时，对相邻块分别按照有损压缩方案处理，可在块边界产生瑕疵(artifact)。可以采用一种技术去除瑕疵，并改进重构图像的质量，这包含对与块边界相邻的像素应用去块滤波器(deblocking filter)。

由活动图像专家组(即ISO/IEC14496)研发的MPEG-4标准，包含一例去块滤波器，在利用符合MPEG-4的编码器对编码后的图像进行重构时，可应用上述去块滤波器。MPEG-4标准的公开内容全部并入本发明的说明书。滤波处理通常是由解码器来执行的，而且滤波器被应用到8×8像素块的边缘，这些像素块用于对图像帧编码。在许多情况下，滤波器被应用于色度数据和亮度数据两者。

MPEG-4标准中规定的去块滤波器可按两种模式其中之一工作，通常这两种模式被称为“直流偏置模式”和“缺省模式”。通过围绕每个块边界的像素条件来确定选用哪种模式。典型地，选用“直流偏置模式”对位于图像帧非常光滑区域内(即没有太多细节的区域)的块边界进行滤波。典型地，在所有其他情况下选用缺省模式。术语“光滑”描述在图像帧的一块区域中，相邻像素之间的色度与亮度不发生变化或渐变。典型地，术语“细节”用于描述在图像帧中，相邻像素之间的视觉元素变化显著。通常通过对位于图像光滑区域内的块边界应用滤波器，对块边界之间的变化进行光滑处理，即可改进重构图像的外部特性。然而，对位于具有高细节等级的区域内的块边界进行光滑处理，实际上可能有损重构图像帧的外部特性。

MPEG-4标准中规定的解码过程包括，将MPEG-4去块滤波器应用到处在垂直块边界的每行像素，以及处在水平块边界的每列像素。相对于每行或每列像素应用去块滤波器，涉及与何种滤波模式最适当相关的决定。为了确定使用何种滤波模式，解码器检测在块边界任一侧的行或列中的五个像素。然后应用以下滤波模式确定算法，该算法运用十个像素v₀-v₉的色度或亮度值：eq_cnt＝φ(v₀-v₁)+φ(v₁-v₂)+φ(v₂-v₃)+φ(v₃-v₄)+φ(v₅-v₆)+φ(v₇-v₈)+φ(v₈-v₉)其中如果|γ|≤THR1则φ(γ)＝1，否则为0。如果(eq_cnt≥THR2)则应用直流偏置模式，否则应用缺省模式。

可以基于所需视觉图像的质量，确定阈值THR1和THR2。合适的阈值为THR1＝1以及THR2＝6。

MPEG-4标准规定了去块滤波器的“直流偏置模式”，并试图减少图像中非常光滑区域中因直流偏置导致的方块瑕疵。在“直流偏置模式下，对在块边界任一侧的四个像素(即v₁-v₈)的色度或亮度值应用的滤波器如下：max＝MAX(v₁，v₂，v₃，v₄，v₅，v₆，v₇，v₈)，min＝MIN(v₁，v₂，v₃，v₄，v₅，v₆，v₇，v₈)，如果(|max-min|＜2·QP){

v_{n}^{'} = Σ_{k = - 4}^{4} b_{k} \cdot p_{n + k}, 1 \leq n \leq 8

{b_k：-4≤k≤4}＝{1，1，2，2，4，2，2，1，1}//16}否则不会发生变化。其中QP是用于对两个块进行编码的量化因子的平均值。

MPEG-4标准还规定了去块滤波器的“缺省模式”，并涉及与块边界相邻的两个像素的替换，所述替换如下：v₄′＝v₄-dv₅′＝v₅+d且d＝CLIP(5·(a_3，0′-a_3，0)//8，0，(v₄-v₅)/2)·δ(|a_3，0|＜QP)其中a_3，0′＝SIGN(a_3，0)·MIN(|a_3，0|，|a_3，1|，|a_3，2|)

频率成分a_3，0、a_3，1、及a_3，2，可借助以下近似DCT核[2-55-2]与像素向量的简单内积来计算：a_3，0＝[2-55-2]·[v₃v₄v₅v₆]^T//8a_3，1＝[2-55-2]·[v₁v₂v₃v₄]^T//8，a_3，2＝[2-55-2]·[v₅v₆v₇v₈]^T//8

MPEG-4标准中描述的去块滤波器的“缺省模式”中所用到的算法，可涉及到包含四抽头滤波和削波的复杂计算。

发明内容

本发明的实施例包含去块滤波器以及应用去块滤波器的方法。在本发明的实施例中，基于重构的图像帧中块边界所处区域内的相对光滑或细节等级，确定去块滤波器的特性。在许多实施例中，通过检测一组像素确定区域的细节等级，该组像素包含多行和多列像素以及至少一个不与块边界相邻的像素。在一些实施例中，像素组是被块边界分开的像素块。在多个实施例中，可通过正进行过滤的像素区域中图像的细节等级，来进一步确定滤波器的特征。

本发明的一个方法实施例包含：识别重构图像帧中两块之间的边界；确定块边界所处区域中重构图像帧的细节等级，其中该区域包含重构图像帧中的多行和多列像素，以及至少一个不与块边界直接相邻的像素；并且基于所确定的细节等级，选取要应用到所述块边界任一侧的预定像素上的滤波器。

在进一步的实施例中，确定块边界所处区域中重构图像帧的细节等级，进一步包含对围绕块边界的一组像素中至少几个像素之差的绝对值求和。

在另一实施例中，所述块边界是水平块边界，且所述像素组是被该水平块边界分开的像素块。此外，除了被块边界分开的成对像素外，对于像素块的每列中的每对垂直相邻像素之差的绝对值求和。

在再一个实施例中，所述像素组是被水平块边界均匀分开的8×8块。

在又一个实施例中，细节等级的确定涉及以下求和计算：其中i＝1至7且i≠4，j＝1至8。其中：v_i，j是8×8像素中块第i行j列的像素的色度。

在另外一个实施例中，细节等级的确定涉及以下求和计算：

其中i＝1至7且i≠4，i＝1至8。其中：v_i，j是8×8像素块中第i行j列的像素的亮度。

在另一个实施例中，所述像素组是被水平块边界均匀分开的4×8块。

还是在进一步的实施例中，细节等级的确定涉及以下求和计算：其中i＝1至7且i≠4，j＝1至4。其中：v_i，j是4×8像素块中第i行j列的像素的色度。

同样是在另一实施例中，细节等级的确定涉及以下求和计算：

其中i＝1至7且i≠4，j＝1至4。其中：v_i，j是4×8像素块中第i行j列的像素的亮度。

又在进一步的实施例中，所述块边界是垂直块边界，所述像素组是被该垂直块边界分开的像素块，并且，除了被块边界分开的成对像素外，对于像素块的每行中的每对相邻像素之差的绝对值求和。

在又一实施例中，像素组是被垂直块边界均匀分开的8×8块。

同样是在再一个实施例中，细节等级的确定涉及以下求和计算：

其中i＝1至8，j＝1至7且j≠4。其中：v_i，j是8×8像素块中第i行j列的像素的色度。

在又一另一个实施例中，细节等级的确定涉及以下求和计算：

其中i＝1至8，j＝1至7且j≠4。其中：v_i，j是8×8像素块中第i行j列的像素的亮度。

在进一步附加实施例中，所述像素组是被垂直块边界均匀分开的8×4块。

在另一附加实施例中，细节等级的确定涉及以下求和计算：

其中i＝1至4，j＝1至7且j≠4。其中：v_i，j是8×4像素块中第i行j列的像素的色度。

在再一个附加实施例中，细节等级的确定涉及以下求和计算：

其中i＝1至4，i＝1至7且j≠4。其中：v_i，j是8×4像素块中的第i行j列的像素的亮度。

在又一个附加实施例中，基于所确定的细节等级，选取要应用到所述块边界任一侧的预定像素上的滤波器，包含将所确定的细节等级与一阈值进行比较。

在又一个进一步附加实施例中，阈值根据量化因子变化，该量化因子用于对处在块边界的块进行编码。

在又一另外一个附加实施例中，基于所确定的细节等级，选取要应用到所述块边界任一侧的预定像素上的滤波器，进一步包含，当细节等级大于阈值时，选取滤波器以应用到预定像素上。另外，滤波器的选取包含确定正在滤波的像素区域中的图像细节。

在又一进一步附加实施例中，所述块边界是水平块边界，并且确定正在滤波的像素区域中的图像细节，包含以下关于计算被水平块边界分开的一列像素的下列表达式：(|v_-2-v_-1|*3+|v_-1-v₁|*2+|v₁-v₂)*3//8其中v_i是与水平块边界相距i个像素的像素的色度。

在又一另一个附加实施例中，所述块边界是水平块边界，并且确定正在滤波的像素区域中的图像细节，包含以下关于计算被水平块边界分开的一列像素的下列表达式：(|v_-2-v_-1|*3+|v_-1-v₁|*2+|v₁-v₂)*3//8其中v_i是与水平块边界相距i个像素的像素的亮度。

在另一进一步实施例中，所述块边界是垂直块边界；并且确定正在滤波的像素区域中的图像细节，包含以下关于计算被该垂直块边界分开的一行像素的下列表达式：(|v_-2-v_-1|*3+|v_-1-v₁|*2+|v₁-v₂)*3//8其中v_i是与垂直块边界相距i个像素的像素的色度。

在另一进一步实施例中，所述块边界是垂直块边界；并且确定正在滤波的像素区域中的图像细节，包含以下关于计算被垂直块边界分开的一行像素的下列表达式：(|v_-2-v_-1|*3+|v_-1-v₁|*2+|v₁-v₂)*3//8其中v_i是与垂直块边界相距i个像素的像素的亮度。

在又一另一个进一步实施例中，选取滤波器以应用到块边界任一侧的每个像素上，进一步包含，将所确定的正在滤波的像素区域中的细节等级与第一阈值进行比较，当细节等级小于阈值时，应用第一滤波器。

在又一再一进一步实施例中，第一阈值相对于量化因子的值变化，该量化因子用于对每个位于块边界处的块进行编码。

在另一进一步附加实施例中，选取滤波器以应用到块边界任一侧的每个像素上，进一步包含：将所确定的正在滤波的像素区域的细节等级与第二阈值进行比较；并且当细节等级大于所述第一阈值且小于第二阈值时，应用第二滤波器。

在另一进一步附加实施例中，选取滤波器以应用到块边界任一侧的每个像素上，进一步包含：当细节等级小于第一阈值时，应用以下滤波器：v_-1′＝([4 9 3]·[v_-2 v_-1 v₁]^T)//16v₁′＝([4 9 3]·[v₂ v₁ v_-1]^T)//16

当细节等级大于第一阈值且小于第二阈值时，应用以下滤波器：v_-1′＝([3 11 2]·[v_-2 v_-1 v₁]^T)//16v₁′＝([3 11 2]·[v₂ v₁ v_-1]^T)//16否则应用以下滤波器：v_-1′＝v_-1v₁′＝v₁其中v_i是从块边界位移i个像素的像素的色度。

在又一进一步附加实施例中，选取滤波器以应用到块边界任一侧的每个像素上，进一步包含：当所述细节等级小于所述第一阈值时，应用以下滤波器：v_-1′＝([4 9 3]·[v_-2 v_-1 v₁]^T)//16v₁′＝([4 9 3]·[v₂ v₁ v_-1]^T)//16

当细节等级大于第一阈值且小于第二阈值时，应用以下滤波器：v_-1′＝([3 11 2]·[v_-2 v_-1 v₁]^T)//16v₁′＝([3 11 2]·[v₂ v₁ v_-1]^T)//16否则应用以下滤波器：v_-1′＝v_-1v₁′＝v₁其中v_i是从块边界位移i个像素的像素的亮度。

本发明所述装置的实施例包含三抽头滤波器。此外，对该三抽头滤波器的输入包含三个像素的色度，该三抽头滤波器被构造成用于在一组像素之间变化增大的情况下，增大第二输入的权重，该像素组包含至少三个提供给所述输入的像素；并且三抽头滤波器被构造成用于在像素组之间变化增大的情况下，减小第一和第三输入的权重，所述像素组包含至少三个提供给所述输入的像素。

在一个进一步的实施例中，所述像素组包含至少三个被提供给所述输入的像素，该像素组进一步包含第四像素；其中所述三抽头滤波器被构造成，通过对像素色度之间差值的绝对值加权后求和，来确定所述像素之间的变化。

在另一实施例中，所述三抽头滤波器被构造成用于计算：(|v₁-v₂|*3+|v₂-v₃|*2+|v₃-v₄|*3)//8其中v_i是第i个像素的色度。

在又一进一步实施例中，所述三抽头滤波器的权重关于第二输入是不对称的。

又一另一个实施例包含三抽头滤波器。此外，三抽头滤波器的输入包三个像素的亮度，三抽头滤波器被构造成用于在一组像素之间变化增大的情况下，增大第二输入的权重，这组像素包含至少三个提供给所述输入的像素；并且三抽头滤波器被构造成用于在像素组之间变化增大的情况下，减小第一和第三输入的权重，所述像素组包含至少三个提供给所述输入的像素。

在又一进一步的实施例中，包含至少三个提供到所述输入的像素的像素组，进一步包含第四像素；其中三抽头滤波器被构造成，通过对像素色度之间差值的绝对值加权后求和，确定所述像素之间的变化。

在另外一个实施例中，所述三抽头滤波器被构造成用于计算：(|v₁-v₂|*3+|v₂-v₃|*2+|v₃-v₄|*3)//8其中v_i是第i个像素的亮度。

在另一进一步实施例中，所述三抽头滤波器的权重关于第二输入是不对称的。

附图说明

图1是一重构图像帧的示意图，该图像帧通过运用编码方案获取的视频数据进行重构，该编码方案采用8×8像素块的特征。

图2表示依照本发明的实施例，重构图像帧中块边界滤波过程的流程图。

图3是依照本发明实施例的像素块的示意图，该像素块用于确定应用到水平块边界的适当的滤波处理。以及

图4是依照本发明实施例的像素块的示意图，该像素块用于确定应用到垂直块边界的滤波处理。

具体实施例

现在参看附图，其描述一种去块方案，该方案基于围绕块边界的区域中图像帧的细节等级，对块边界边缘施加不同程度的光滑处理。在多个实施例中，通过分析一组像素的特征，确定应用到与块边界相邻像素的滤波器的特定特征，这组像素包含在块边界任一侧的多行和多列像素。一旦确定像素组的细节等级，即可将与该细节等级相适应的滤波器，应用到与块边界相邻的像素。

图1表示一重构图像帧的一部分。重构图像帧10由多个像素12组成。在这个说明性实施例中，图像帧是根据用像素块的特征来编码的数据进行重构的。图1表示出位于重构像素块之间的水平块边界14以及垂直块边界16。在这个说明性实施例中，所述像素块是8×8块。在其他实施例中，像素块包含的像素数目可以更多或更少，在水平和/或垂直尺度上有不同的像素数目。依照本发明的实施例中，可将去块滤波器应用到沿水平以及垂直块边界的像素，以改进图像帧的视觉效果。

图2表示依照本发明的实施例，应用去块滤波器的过程。过程20包含识别(22)水平以及垂直块边界的位置。然后确定(24)图像帧中块边界所处区域的细节等级。如果所述过程确定(26)块边界位于重构图像的光滑区域内，则可将平滑滤波器应用到(28)与块边界相邻的像素。当块边界位于具有细节等级阈值的区域内时，可将与细节等级相适应的滤波器应用到(30)沿水平或垂直块边界的像素。如以下将要进一步论述的，可将第一去块滤波器应用到像素的色度，和/或可将第二去块滤波器应用到像素的亮度。在许多实施例中，可运用相同技术，确定应用到像素色度和/或亮度的滤波器的特征。

依照本发明的去块滤波器的许多实施例，运用包含多行以及多列像素的像素组，确定块边界是否位于光滑的图像区域内，或位于含有高细节等级的区域内，其中多行以及多列像素包含不与块边界相邻的像素。图3描述依照本发明实施例的像素，其可用于确定水平块边界是否位于重构图像帧的光滑区域内。像素组40包含多行以及多列像素。在这个说明性实施例中，像素组40是被水平块边界14从中间分开的8×8块。在其他实施例中，像素组的尺寸可以变化。

在此说明性实施例中，用于确定块边界所处图像区域的细节等级的像素组中的每个像素，被标记为v_i，j，其中i和j表示该像素相对于8×8像素组左上角的位置。当将去块滤波器应用到像素色度时，v_i，j可以是像素的色度值。当将去块滤波器应用到像素亮度时，v_i，j可以是像素的亮度值。

在一些实施例中，可以通过对像素组中相邻像素之差的绝对值求和，确定像素组的细节等级。当运用对像素的色度或亮度之差的绝对值求和，来确定色度或亮度的细节等级时，被块边界分开的像素之差的绝对值经常是不计算的。可以不计算被块边界分开的像素差的绝对值，是因为这些像素差的绝对值，可能更多反映被用来对图像帧中相邻块进行编码的量化因子的值的差异，而不是这个区域中图像的细节等级。在水平块边界14情况下的多个实施例中，除被块边界分开的成对像素外，在像素组的每一列中，对每对垂直相邻像素差的绝对值求和。在垂直块边界16情况下的多个实施例中，除被块边界分开的成对像素外，在所述像素组的每一行中，对每对水平相邻像素差的绝对值求和。

在一个实施例中，水平块边界所处区域的相对光滑度，可以依照以下算法确定：

sum_SAD = \underset{i}{Σ} \underset{j}{Σ} | v_{i + 1, j} - v_{i, j} |,

其中i＝1至7且i≠4，i＝1至8。如果(sum_SAD≤THR(QP)*2)，块边界处于相对光滑的区域内，否则块边界处于相对复杂(detailed)的区域内。其中THR(QP)是与QP相适应的阈值QP是位于块边界每一侧的两个8×8像素块的量化因子的平均值。

在一个实施例中，对应于每个QP的阈值如表1所列。表1：作为QP的函数的THR(QP)

QP	THR(QP)
		1	10
2	12
		3	15
4	18
		5	21
6	23
		7	25
8	27
		9	29

10	31
		11	33
12	35
		13	37
14	39
		15	41
16	43
		17	45
18	47
		19	49
20	51
		21	52
22	53
		23	54
24	55
		25	56
26	57
		27	59
28	61
		29	63
30	65

31

68

在其他实施例中，可以基于因将各种滤波器应用到沿块边界的像素而产生的相对图像质量，采用其他与QP相应的THR(QP)值。此外，QP值可以由其他方法确定。在一个实施例中，QP是作为图像帧中每块的量化因子的平均值而被确定的。在进一步实施例中，QP是作为被用来对与块边界相邻的一个块进行编码的量化因子的值而被确定的。在其他实施例中，QP可由多种方法确定，其表示被用来对图像帧进行编码的量化因子的值。

在许多实施例中，当工作在“直流偏置模式”时，如果确定块边界处在光滑的图像区域内(例如sum_SAD≤THR(QP)*2)，将应用具有与MPEG-4标准中规定的去块滤波器相似特性的滤波器。在其他实施例中，可以应用其他平滑滤波器。在多个实施例中，如果确定块边界处在相对复杂的图像区域内(例如sum_SAD＞THR(QP)*2)，将应用与细节等级相适应的滤波器。以下将论述依照本发明滤波器的实施例，其适合于块边界处在具有相当高的细节等级的区域内的情况。

当重构图像帧包含处在复杂图像区域内的块边界时，可以通过应用与细节等级相适应的滤波等级，来改进图像的质量。在一个实施例中，去块滤波器沿着块边界所应用的光滑度，与正在滤波的区域中图像的细节等级成反比。

在一些实施例中，是基于将要被滤波器处理的像素表示的图像部分的细节等级，来确定要应用的滤波器。在一个实施例中，滤波器被应用到与块边界相邻的单行或单列中的像素。在进一步的实施例中，滤波器被应用到块边界任一侧的两个像素上，由这四个像素表示的图像部分的细节等级，是通过以下表达式计算：var＝(|v_3，j-v_4，j|*3+|v_4，j-v_5，j|*2+|v_5，j-v_6，j|*3)//8

采用简单三抽头低通滤波器，可产生依照本发明实施例的去块滤波器，该滤波器依照以下算法，对细节等级进行修正：如果(var≤THR_1(QP))v_4，j′＝([4 9 3]·[v_3，j v_4，j v_5，j]^T)//16v_5，j′＝([4 9 3]·[v_6，j v_5，j v_4，j]^T)//16而如果(var≤THR_2(QP))v_4，j′＝([3 11 2]·[v_3，j v_4，j v_5，j]^T)//16v_5，j′＝([3 11 2]·[v_6，j v_5，j v_4，j]^T)//16否则v_4，j′＝v_4，jv_5，j′＝v_5，j其中THR_1(QP)与THR_2(QP)表示细节等级的不同阈值，且它们与QP相适应。QP是块边界每一侧的两个8×8块的量化因子的平均值。

在一个实施例中，每个QP的阈值是表2所示数值。表2：对应于QP的THR_1与THR_2值

QP	THR_1(QP)	THR_2(QP)
			1	1	2
2	1	3
			3	2	5
4	2	6

5	3	8
			6	4	9
7	5	10
			8	5	11
9	6	12
			10	6	13
11	7	14
			12	7	15
13	8	16
			14	8	17
15	9	18
			16	9	19
17	10	20
			18	10	21
19	11	22
			20	11	23
21	12	24
			22	12	25
23	13	26
			24	13	27
25	14	28

26	14	30
			27	15	32
28	15	34
			29	16	36
30	16	38
			31	17	40

在上述实施例中，当细节等级小于第一阈值(即var≤THR_1(QP))时，去块滤波器应用最大光滑度。当细节等级介于第一与第二阈值之间(即THR_1(QP)＜var≤THR_2(QP))时，应用的光滑度减小。并且当细节等级超过第二阈值(即var＞THR_2(QP))时，去块滤波器对像素不应用任何光滑处理。

在其他实施例中，可以运用其他数值的THR_1(QP)以及THR_2(QP)，这些数值的确定，是建立在对重构图像应用去块滤波器后得来的图像质量的观测基础上的。如上所述，依照本发明中去块滤波器的其他实施例，用其他方法推导出QP，其表示对重构图像帧中的块进行编码的量化因子的数值。

尽管上述实施例运用了两个阈值来确定光滑等级，由去块滤波器将该光滑等级应用到与块边界相邻的像素，该块边界位于图像的复杂区域内。许多实施例对与块边界相邻的所有像素，运用相同的细节等级，该块边界位于图像中相对复杂的区域内。作为选择，依照本发明中去块滤波器的实施例，可包含单个或两个以上阈值，来确定所应用的适当的滤波器。

在许多实施例中，随着正在滤波的像素所表示的图像部分的细节等级增加，运用三抽头滤波器来增加提供给滤波器第二输入的权重。此外，在一些实施例中，随着正在滤波的像素所表示的图像部分的细节等级增加，减小提供给三抽头滤波器第一和第三输入的权重。另外，在依照本发明的许多实施例中，三抽头滤波器关于正在滤波的像素是不对称的。在许多情况下，依照本发明的实施例运用不对称的权重，可以减少由跨块边界滤波所导致的转换畸变。

在许多实施例中，用来对垂直块边界进行光滑处理的技术，与对水平块边界进行光滑处理所运用的技术相似。在其他实施例中，用来确定垂直块边界所处图像区域的细节等级的技术，不需要对应于用于确定水平块边界所处图像区域的细节等级的技术。

图4表示一组像素，可用该组像素来确定垂直块边界是否位于图像的相对光滑区域内，或位于图像的相对复杂区域内。像素组50构成8×4像素块12，该像素块包含在垂直块边界16任一侧的四个像素。如上所述，也可以采用其他尺寸更大或更小的像素组。

在一个实施例中，确定垂直块边界16是位于相对光滑的区域内，还是位于相对复杂的区域内，包括分析8×4块中的像素，如下所示：

sum_SAD = \underset{i}{Σ} \underset{j}{Σ} | v_{i, j} - v_{i, j + 1} |,

其中i＝1至4，j＝1至7，且j≠4。如果(sum_SAD≤THR(QP))，块边界即位于相对光滑的区域内，否则，块边界即位于相对复杂的区域内，其中THR(QP)是与QP相适应的阈值，而QP是位于块边界每一侧的两个8×8块的量化因子的平均值。

在一个实施例中，应用于每个QP的阈值如以上表1所列。在其他实施例中，可基于对沿块边界的像素应用各种滤波器所产生的相对图像质量，采用其他值。

一旦作出块边界是位于相对光滑的区域内，还是位于相对复杂的区域内的决定，即可依照本发明的实施例，运用去块滤波器，对沿垂直块边界的像素进行滤波，该去块滤波器相似于上述水平块边界滤波的对应去块滤波器。在其他实施例中，可以应用其他适当的去块滤波器。另外，尽管以上说明涉及垂直块边界，但依照本发明的实施例，可应用相同技术，利用4×8块，来确定围绕水平块边界的图像的细节等级。

尽管上述说明包含本发明的多个特定实施例，这些实施例不能被解释为对本发明范围的限制，而应作为本发明实施例的范例。例如，尽管确定块边界所处图像区域中相对光滑度或细节等级的论述，是相对于8×8、8×4、4×8像素块进行的，但针对像素组中像素的行数以及列数增加和/或减少的情况，所述技术同样也是适用的。因此，本发明的范围，不应当通过所述实施例确定，而应当通过附加权利要求及其等同内容确定。

Claims

1.一种去除重构图像帧中方块的方法，其包含：

识别所述重构图像帧中两块之间的边界；

确定所述重构图像帧中块边界所处区域的细节等级，其中所述区域包含所述重构图像帧中多行和多列像素，且包含至少一个不与所述块边界直接相邻的像素；

基于所确定的细节等级，选取滤波器以应用到所述块边界任一侧的预定像素上。

2.如权利要求1所述的方法，其中确定所述重构图像帧中块边界所处区域的细节等级进一步包含：对围绕所述块边界的一组像素中至少一些像素之差的绝对值求和。

3.如权利要求2所述的方法，其中：

所述块边界是水平块边界；

所述像素组是一块由所述水平块边界分开的像素块；

除被所述块边界分开的成对像素外，在所述像素块的每一列中，对每对垂直相邻像素之差的绝对值求和。

4.如权利要求2所述的方法，其中所述像素组是被水平块边界均匀分开的8×8块。

5.如权利要求4所述的方法，其中确定所述细节等级包括以下求和计算：

其中i＝1至7且i≠4，j＝1至8，

其中：

v_i，j是所述8×8像素块中第i行j列的像素的色度。

6.如权利要求4所述的方法，其中确定所述细节等级，包括以下求和计算：

其中i＝1至7且i≠4，j＝1至8，

其中：

v_i，j是所述8×8像素块中第i行j列的像素的亮度。

7.如权利要求3所述的方法，其中所述像素组是被所述水平块边界均匀分开的4×8块。

8.如权利要求7所述的方法，其中确定所述细节等级包括以下求和计算：

其中i＝1至7且i≠4，j＝1至4，

其中：

v_i，j是所述4×8像素块中第i行j列的像素的色度。

9.如权利要求7所述的方法，其中确定所述细节等级包括以下求和计算：

其中i＝1至7且i≠4，j＝1至4，

其中：

v_i，j是所述4×8像素块中第i行j列的像素的亮度。

10.如权利要求2所述的方法，其中：

所述块边界是垂直块边界；

所述像素组是被所述垂直块边界分开的像素块；

除被所述块边界分开的成对像素外，在所述像素块的每一行中，对每对相邻像素之差的绝对值求和。

11.如权利要求10所述的方法，其中所述像素组是被所述垂直块边界均匀分开的8×8块。

12.如权利要求11所述的方法，其中确定所述细节等级包括以下求和计算：

其中i＝1至8，j＝1至7且j≠4，

其中：

v_i，j是所述8×8像素块中第i行j列的像素的色度。

13.如权利要求11所述的方法，其中确定所述细节等级包括以下求和计算：

其中i＝1至8，j＝1至7且j≠4，

其中：

v_i，j是所述8×8像素块中第i行j列的像素的亮度。

14.如权利要求10所述的方法，其中所述像素组是被所述垂直块边界均匀分开的8×4块。

15.如权利要求14所述的方法，其中确定所述细节等级包括以下求和计算：

其中i＝1至4，j＝1至7且j≠4，

其中：

v_i，j是所述8×4像素块中第i行j列的像素的色度。

16.如权利要求14所述的方法，其中确定所述细节等级包括以下求和计算：

其中i＝1至4，j＝1至7且j≠4，

其中：

v_i，j是所述8×4像素块中第i行j列的像素的亮度。

17.如权利要求1所述的方法，其中基于所确定的细节等级，选取滤波器以应用到所述块边界的任一侧预定像素上包含：将所确定的细节等级与一阈值进行比较。

18.如权利要求17所述的方法，其中所述阈值相对于对在所述块边界处的块进行编码时所使用的量化因子而变化。

19.如权利要求17所述的方法，其中基于所确定的细节等级，选取滤波器以应用到所述块边界任一侧预定像素上进一步包含：

当所述细节等级大于所述阈值时，选取滤波器以应用到预定像素上；

其中滤波器的选取包含：确定正在滤波的像素区域中的图像细节。

20.如权利要求19所述的方法，其中：

所述块边界是水平块边界；并且

确定正在滤波的像素区域中的图像细节包含计算以下与被所述水平块边界分开的一列像素有关的下列表达式：

(|v_-2-v_-1|*3+|v_-1-v₁|*2+|v₁-v₂|*3)//8

其中v_i是与所述水平块边界相距i个像素的像素的色度。

21.如权利要求19所述的方法，其中：

所述块边界是水平块边界；并且

确定正在滤波的像素区域中的图像细节，包含计算以下与被所述水平块边界分开的一列像素有关的下列表达式：

(|v_-2-v_-1|*3+|v_-1-v₁|*2+|v₁-v₂|*3)//8

其中v_i是与所述水平块边界相距i个像素的像素的亮度。

22.如权利要求19所述的方法，其中：

所述块边界是垂直块边界；并且

确定正在滤波的像素区域中的图像细节，包含计算以下与被所述垂直块边界分开的一行像素有关的下列表达式：

(|v_-2-v_-1|*3+|v_-1-v₁|*2+|v₁-v₂|*3)//8

其中v_i是与所述垂直块边界相距i个像素的像素的色度。

23.如权利要求19所述的方法，其中：

所述块边界是垂直块边界；并且

(|v_-2-v_-1|*3+|v_-1-v₁|*2+|v₁-v₂|*3)//8

其中v_i是与所述垂直块边界相距i个像素的像素的亮度。

24.如权利要求19所述的方法，其中选取滤波器以应用到所述块边界任一侧的每个像素上进一步包含：

将所确定的正在滤波的像素区域中的细节等级，与第一阈值进行比较；并且

当所述细节等级小于所述第一阈值时，应用第一滤波器。

25.如权利要求24所述的方法，其中所述第一阈值相对于对每个在所述块边界处的块进行编码时所使用的量化因子的值而变化。

26.如权利要求24所述的方法，其中选取滤波器以应用到所述块边界任一侧的每个像素上进一步包含：

将所确定的正在滤波的像素区域的细节等级与第二阈值进行比较；并且

当所述细节等级大于所述第一阈值且小于所述第二阈值时，应用第二滤波器。

27.如权利要求26所述的方法，其中选取滤波器以应用到所述块边界任一侧的每个像素上进一步包含：

当所述细节等级小于所述第一阈值时，应用以下滤波器：

v_-1′＝([4 9 3]·[v_-2 v_-1 v₁]^T)//16

v₁′＝([4 9 3]·[v₂ v₁ v_-1]^T)//16

当所述细节等级大于所述第一阈值且小于所述第二阈值时，应用以下滤波器：

v_-1′＝([3 11 2]·[v_-2 v_-1 v₁]^T)//16

v₁′＝([3 11 2]·[v₂ v₁ v_-1]^T)//16

否则应用以下滤波器：

v_-1′＝v_-1

v₁′＝v₁

其中v_i是从所述块边界位移i个像素的像素的色度。

28.如权利要求26所述的方法，其中选取滤波器以应用到所述块边界任一侧的每个像素上进一步包含：

当所述细节等级小于所述第一阈值时，应用以下滤波器：

v_-1′＝([4 9 3]·[v_-2 v_-1 v₁])^T)//16

v₁′＝([4 9 3]·[v₂ v₁ v_-1]^T)//16

v_-1′＝([3 11 2]·[v_-2 v_-1 v₁]^T)//16

v₁′＝([3 11 2]·[v₂ v₁ v_-1]^T)//16

否则应用以下滤波器：

v_-1′＝v_-1

v₁′＝v₁

其中v_i是从所述块边界位移i个像素的像素的亮度。