CN101087368A

CN101087368A - 测量压缩数字图像的mpeg噪声强度的方法和装置

Info

Publication number: CN101087368A
Application number: CNA2007100847427A
Authority: CN
Inventors: 李尚根; 金永择
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2006-06-06
Filing date: 2007-02-28
Publication date: 2007-12-12
Also published as: EP1865726A1; KR20070116717A; US20070280552A1

Abstract

提供了一种基于在空间域从输入图像(帧或场画面)计算的全局和局部边缘统计来估计每个块边界的块伪像的强度的方法和***。这种方法***地测量与诸如JPEG、MPEG和H.26x的基于块的压缩/编码方案相关的压缩伪像的强度。

Description

测量压缩数字图像的MPEG噪声强度的方法和装置

技术领域

本发明通常涉及数字图像处理，更具体地讲，涉及从压缩图像/视频去除压缩噪声。

背景技术

减少压缩(编码)噪声(例如减少MPEG噪声)是一种在诸如TV机的显示装置中的后处理器实现的主要功能之一。可通过多种数字压缩技术处理数字视频内容以及对其进行编码以克服通信网络中数据带宽限制而产生压缩噪声。

在美国广播的当前数字TV(DTV)使用MPEG-2国际视频压缩标准来压缩数字视频内容。DVD视频内容也可通过MPEG-2被压缩。可通过MPEG-2、MPEG-4或H.264处理高清晰度(HD)内容。这些压缩的数字视频包含不同程度的伪像，所述伪像降低显示的视频图像和场景的质量。这里的描述中MPEG处理的数字视频中的伪像称为“MPEG噪声”或“压缩噪声”。因而减少压缩噪声是在显示到屏幕之前从数字视频中检测这些干扰的MPEG噪声，并去除/减少这些干扰的MPEG噪声的处理。

此外，图像中的块边界的不连续、多边缘、块伪像是不期望的现象。块伪像出现在通过诸如JPEG、MPEG和H.26X的基于块的编码方案压缩的图像/视频中。在这些编码方案中，将画面划分成N×N阵列的被称为宏块的矩形块(N通常为16)。然后，再将每个宏块子划分成M×M(M通常为8)的子块。典型地，独立于其他子块，通过8×8的离散余弦变换(DCT)、量化、Z字形扫描以及熵编码来处理每个子块。

因为独立地处理每个子块(和每个宏块)，所以连接相邻块的图像/视频数据的临界部分经常被丢失，并在块的边界处出现多边缘和不连续。随着对图像/视频压缩的越多(即，以较高的压缩率对图像/视频进行压缩)，块伪像变得越严重。

有几种减少压缩噪声的方法。这几种方法包括估计伪像强度并根据测量的值减少伪像。

在编码的图像内的不同空间位置出现具有不同强度的块伪像。如果将单个的去块滤波器同样地应用于所有的块边界，则要么没有充分减少强的块伪像，要么较好的图像特性变模糊。

发明内容

在一个实施例中，本发明提供了一种基于在空间域从输入图像(帧或场画面)计算的全局和局部边缘统计来估计每个块边界的块伪像的强度的方法和***。在一个实施例中，这种方法***地测量与诸如JPEG、MPEG和H.26x的基于块的压缩/编码方案相关的压缩伪像的强度。

在一个示例中，根据本发明的健壮和有效的去块和去环方法测量每个块边界的MPEG噪声强度并调整去块/去环参数，从而改善整个处理的性能。

本发明还提供一种对图像/视频应用程序的给定图像的质量测量以确定输入图像是否需要增强。在一个实施例中，首先将编码的输入图像分成用于估计局部压缩噪声强度的非重叠的子图像，然后从每个子块计算局部参数。然后，使用计算的参数和分析图像内容的活性来估计图像的局部和全局部分的噪声强度值。使用估计的噪声强度值来确定输入图像是否需要诸如噪声降低的增强。

根据本发明的实施例，降低块伪像的有效方法应该测量每个块边界的块伪像强度并相应地调整去块滤波器的参数。结果，将较多的滤波应用于强的块伪像，而将较少的滤波应用于弱的块伪像。自适应的去块滤波器改善了整个去块处理的性能。

参照下面的描述、权利要求和附图，本发明的这些和其他特征、方面和优点将变得易于理解。

附图说明

图1示出根据本发明实施例的图像处理***的实施例的功能性方框图。

图2示出根据本发明实施例的图1的压缩噪声估计器的实施例的功能性方框图。

图3示出根据本发明实施例的图2的局部参数计算模块的实施例的示例性的功能性方框图。

图4A-B示出根据本发明实施例的分别用于垂直和水平边缘方向的图像的示例性的Sobel运算。

图5示出根据本发明实施例的测量压缩的数字图像的MPEG噪声强度的功能性流程。

在附图中，相同的标号表示相似的部件。

具体实施方式

在一个实施例中，本发明提供一种测量压缩的数字图像帧中的编码噪声强度的方法和***。此外，本发明提供一种基于在空间域从输入图像(帧或场画面)计算的全局或局部边缘统计来估计每个块边界的块伪像强度的方法和***。在一个实施例中，这种方法***地测量与诸如JPEG、MPEG和H.26x的基于块的压缩(编码)方案有关的压缩伪像强度。

在对原始压缩图像没有任何预先了解的情况下，在像素域内对解码的数字图像估计局部和全局压缩噪声信息。基于块边缘边界周围的局部和全局边缘统计来确定这种由图像压缩引起的噪声信息，所述局部和全局边缘统计是在空间域中从输入图像(帧或场画面)计算的。

图1示出根据本发明实施例的实现测量压缩的数字图像的MPEG噪声强度用于图像增强的方法的图像处理***10的功能性方框图。所述***10在输入处理器100接收压缩的(解码的)输入图像，在图像增强器102中增强图像以产生被传送到输出图像处理器106的增强的输出图像。根据本发明的实施例，图像增强器102中的增强是估计由压缩伪像估计器104确定的压缩伪像的功能。下面将更详细地描述***10中执行的处理。

彩***信号通常包括三个颜色信道，即，亮度(Y)信道和两个色度(U、V)信道。通常只需要对亮度信道执行根据本发明的压缩强度参数估计。

通常，考虑到带宽效率和存储器的设计，使用8比特来表示Y值。因此，传统的图像处理***向每个像素分配0到255范围(0表示最暗的亮度，255表示最亮的亮度)内的Y值。对色度信道(U，V)执行压缩强度参数估计对估计量化参数没有(或很少)显而易见的效果。

在***10中，将解码的亮度数据从处理器100中的缓冲器读取到图像增强器102中。在此阶段，图像增强器102基于压缩噪声估计器104的输出改善输入数据(例如，对亮度数据滤波)。来自图像增强器102的增强的(滤波的)亮度数据被输出到处理器106以在显示之前将来自两个色度信道的解码的数据组合。

图2示出根据本发明实施例的实现估计压缩噪声强度的方法的图1的压缩噪声估计器104的实施例的功能性方框图。估计器104通过分析块边缘统计来估计块伪像(压缩噪声)的强度。估计器104的输入是输入图像100，估计器104的输出是用于控制图像增强块102的估计的伪像级。

在增强器102中根据估计器104中估计的块伪像强度来调整去块或去环处理的控制值。

首先，通过局部参数计算模块200(下面进一步描述)获得局部参数。用于局部信息的参数与全局参数相同。局部参数表示在局部区域中块伪像的程度，而全局参数表示在输入图像的整个区域中块伪像的程度。在一个示例中，这种参数包括块差、块比率、块计数和块活性(block activity)。

然后，通过使用局部参数，差模块202确定块差标识，比率模块204确定块比率标识，计数器模块206确定块计数标识，活性模块208确定块活性标识。下面进一步描述模块202、204、206和208。

基于局部参数使用输入图像帧的块边缘统计来计算块差标识、块比率标识、块计数标识和块活性标识。

对整个输入图像帧全局计算每个参数，然后对图像帧的N×N的非重叠子部分再局部计算每个参数。所述子部分是输入图像的一小部分。

当仅在输入图像的部分上出现块伪像时(例如，由于局部区域/对象的高运动)，包括在每个子部分区域中计算的局部参数的局部信息是有用的。

对于输入图像帧的每个子块，分别将块差标识、块比率标识、块计数标识和块活性标识输入到加权模块212、214、216和218。加权模块212、214、216和218分别产生加权因子r1、r2、r3和r4。同样地，加权因子r1、r2、r3和r4分别对应于块差标识、块比率标识、块计数标识和块活性标识。

然后，在组合器(例如，乘法器)220中将获得的加权因子r1、r2、r3和r4组合在一起以产生对压缩噪声强度的估计R，其中，R是全局信息，而r是局部信息(它们可能不同)。在一个示例中，获得的压缩噪声强度在某一范围内变化，例如，从0到1，其中，0指示低压缩噪声，而1指示高压缩噪声(例如，严重的块伪像)。

在这里描述的本发明的示例性实施例中，因为输入图像帧被分成N×N的非重叠子部分(例如，子图像)，所以局部噪声强度标识r的数量是N×N，但是对于整个图像帧仅产生一个全局强度标识R。

图3示出图2的局部参数计算模块200的实施例的示例性的功能性方框图。模块200包括：边缘算子300和局部参数产生器302。在本示例中，边缘算子300在水平方向和垂直方向上将Sobel边缘运算(或任何其他合适的边缘运算)应用于输入图像的每个像素Y₁(亮度)。然后，在局部参数产生器302中对像素计算局部信息作为用于进一步处理的Y₂(用数字表示的值)。如下所述在模块302中计算局部参数。在一个示例中，通过将块边界处的所有值求和取平均来计算块差。

图4A-4B分别示出根据本发明实施例的垂直和水平边缘方向的图3的示例性的Sobel运算。

回头参照图2和图3，差模块202确定块差标识作为位于块边界的边缘像素的差的平均幅度。将Sobel边缘算子(检测器)300的输出值取平均计算的块差标识位于选择的范围(a，b)内，其中，a和b是选择合适范围内的值的阈值。如果存在块伪像，则在块边界出现信号不连续。为了与实际的信号不连续(例如，实际边缘)相区分，使用上边界阈值a，而阈值的下边界b应该大于0。Sobel算子对图像执行2-D空间梯度测量，并着重强调了与边缘相应的高空间梯度的区域。

对每个子部分(子图像)全局或局部计算块边缘差标识，其中：在每个子部分(子图像)中，对水平边界计算一个边缘值，对垂直边界计算另一个边缘值。

比率模块204以全局像素和局部像素两种方式计算所述块比率标识。如果边缘算子300的输出落入给定的范围内，例如，大于a而小于b，则将像素分类为边缘像素。然后，如下对图像中的边缘像素的总数量进行计算。根据索引i＝(x％8)＝0...7(其中，x是列号，％是取余运算)将输入图像的列分成8组。对每一组i＝0...7分别计算边缘像素的数量。然后，对位于块边界i＝7的列确定块计数BC_b，另一块计数BC_m被确定为除块边界处的一个的8组中的最大计数值。块计数BC_b和另一计数BC_m计算块比率。BC_m表示最大的计数值组当用BC_b计算块比率时使用。块比率指示图像的复杂度的全局信息或子部分的局部信息。

然后块比率标识被确定为两个计数之间的比率(即，BC_m除以BC_b)。如果块边界的BC_b是8组中的最大数，则将第二最大数分配给BC_m。在这种情况下，块比率标识小于1。否则，块比率标识大于1。重复上述步骤以获得沿输入图像的行的垂直方向的块比率。

计数模块206确定块计数标识作为位于块边界的边缘像素的总数量。对每个子部分(子图像)全局或局部计算块计数标识，其中：在每个子图像中，对水平边界计算块边缘计数，对垂直边界计算另一块边缘计数。

活性模块208对子部分(子图像)全局或局部确定块活性标识，其中：通过对垂直和水平方向的子图像(子部分)内的像素差值的符号改变的数量进行计数来计算块活性。值得注意的是，在块内(计算的子部分的内部块)而不是在块边界测量块活性。如果符号改变的数量高于阈值，则指示子图像的内容复杂，去除伪像的处理应该减弱。

块比率标识指示块伪像的存在和程度。如果块比率标识大，例如，大于3/4，则因为块边界的不连续没有显著高于其他内部块，所以可以忽略的数量的块伪像被期望。随着块比率标识减小，在子部分(子图像)中的所有块边界很可能出现越多的块伪像。

通常，大的块边缘值(基于阈值确定的但可能具有实验值)指示在子部分的块边界处存在实际的边缘特征。在这种情况下，优选地避免平滑块边界的任何强滤波操作。然而，如果块比率标识非常小，则大的块边缘值指示块伪像非常强，块边界的像素值中存在大的差。

同样地，大的块计数标识指示在块边界存在许多边缘特征(边缘特征可能是实际的边缘或块伪像)。如果块比率标识小，则大的块计数标识指示存在许多块伪像。如果块比率标识大，则大的边缘块计数值(块计数标识)指示图像在邻近块边界存在许多边缘特征。

当描述图像的块边缘内容的上述四个参数(即，块差、比率、计数和活性标识)被组合时，因为每个参数指示图像的情况，所以提供有用的信息，如果它们被一起考虑，则它们向下面的图像增强器(例如，去块处理)提供控制值(在这种情况下的R和r)。由于所述四个参数采用指示块伪像程度的值(r1到r4)(0用于没有块伪像，而1用于严重的块伪像)，所以可从加权功能模块212到218用合适的阈值估计块伪像强度和程度。

加权功能模块212和216实现的示例性加强函数f(x)可被表示为：

其中，x是每个参数(即，块差、块比率、块计数和块活性)的输入值。值τ₁和τ₂分别是第一阈值和第二阈值。用于模块212和216的加权函数的形状除阈值之外都相同。同样地，通过1-f(x)来定义用于模块214和218的加权函数。此外，用于模块214和218的这些的加权函数的形式除了阈值之外都相同。

在乘法器220中将所有的加权因子(r1、r2、r3和r4)一起相乘获得局部压缩噪声强度r，通过将用于全部图像帧的每个估计的强度因子的平均值R_i相乘来计算全局压缩噪声强度R：

R = Π_{i}^{4} R_{i}

其中，R_i是每第i个估计的强度因子的平均值(i＝1...4)，并被定义为：

R_{i} = \frac{1}{N \cdot N} Σ_{m = 1}^{N} Σ_{n = 1}^{N} r_{i}^{mn}

其中，r_i ^mn是位于(m，n)子部分的第i个加权因子。索引(m，n)指示在图像中子部分的位置。

值得注意的是，为了获得全局信息，可应用除了将图像分成几个非重叠部分之外与局部信息相同的过程。同样地，除了将输入图像分成几个子部分之外，获得压缩噪声强度R的强度因子R_i的过程与上述获得局部信息(参数)的过程相同。

最终，将计算的全局R和局部r值(例如，全局和局部信息)用于进一步的图像处理(例如，图1的增强器102中的去块或去环)。当估计的伪像强度低时，避免平滑块边界的强滤波操作。实际中，如果对于x＝1...4的所有其他参数r_x和R_x都在0到1内，则值R和r的每一个的范围是0到1。值0指示在给定的输入图像中没有块或环伪像，不需要平滑边界，而1指示在给定的图像中存在强的块或环伪像，需要对块或环进行强滤波。

计算的全局R和局部r值在减少解码的视频序列中的编码伪像(例如：减少由于对各个块的独立处理而出现的块的边界之间的人造的不连续的块伪像，减少在邻近强边缘的图像均匀区域中通常出现的蚊式噪声(环形))中有用。图2中的模块240指示全局测量R和局部测量r可处理在图像增强器102中的去块的程度。

图5示出根据本发明实施例的测量压缩的数字图像的MPEG噪声强度(例如，上面描述的由图2的示例实现的)的功能性流程500。参照图5，接收输入图像(处理502)，对在图像的位置(i，j)的像素执行Sobel运算以确定像素差值Y_d(处理504)。值得注意的是，为了解释简单，这里使用下面的流程考虑垂直块伪像的水平运算。处理506确定绝对值|Y_d|是否在预定范围内(例如，a＜|Y_d|＜b)。如果|Y_d|没有在预定范围内，则对下一像素执行处理504。如果|Y_d|在预定范围内，则分别通过处理526和520确定块差和块计数值。

此外，在操作507，仅对在处理508中的块内的列(bin＝1，...，6)执行检查Y_d的符号改变，处理510使用该结果以确定块活性全局和局部信息。处理508检查和收集用于引入块内的像素位置的信息(bin＝1，...，6)。换句话讲，块边界的像素位置(bin＝0和7)被排除使用符号改变来测试块内活性。处理522仅根据列号i来将信息置于和堆积(stack)成8bin来分析全部图像或在处理524中子部分的图像(m，n)的块伪像。

在还考虑用于局部块伪像信息的列位置“bin”和子部分位置“(m，n)”的块差处理526和块计数处理520中使用值Y_d。值得注意的是，不用将图像分成子部分(m，n)就可测量全局块伪像信息。

在完成列方面的处理之后，处理528使用第8和第7bin的值来确定块比率。在加权处理512中对块差、块计数和块活性的值进行再处理以分别产生全局标识R₁、R₂、R₃、R₄以及相应的局部标识r₁、r₂、r₃、r₄。然后，处理514确定：基于全局标识R₁、R₂、R₃、R₄的组合(相乘)被确定的全局块伪像强度因子R；基于局部标识r₁、r₂、r₃、r₄的组合(相乘)被确定的局部块伪像强度因子r。然后，在处理516，图像增强。

尽管本发明受到许多不同形式的实施例以及优选实施例的影响，这些实施例在附图中示出并在此被详细描述，但是应该明白，该描述应该被认为是本发明原理的示例，而不应该被认为将本发明的多方面限于示出的实施例。如本领域的技术人员所知，可以以许多方式(例如，处理器执行的程序指令、逻辑电路、ASIC、固件等)来实现根据本发明的前面提到的上述示例性机制。因此，本发明不限于在此描述的示例性实施例。

参照特定的本发明的优选方案尽可能详细地描述了本发明；然而，其他方案也是可以的。因此，权利要求的精神和范围应该不限于在此包含的优选方案的描述。

Claims

1、一种测量解码的数字图像帧中的基于块的编码噪声强度的方法，包括以下步骤：

接收解码的图像帧；和

通过确定每个块边界的块伪像强度来估计图像帧中的编码噪声的强度。

2、如权利要求1所述的方法，其中，估计的步骤还包括以下步骤：

在空间域中从图像帧确定边缘统计，基于所述边缘统计来估计每个块边界的块伪像的强度。

3、如权利要求2所述的方法，其中，确定边缘统计的步骤还包括：在空间域中从图像帧确定全局和局部边缘统计。

4、如权利要求3所述的方法，其中，确定边缘统计的步骤还包括：在没有原始压缩的图像的任何预先了解的情况下，在像素域中估计全局和局部边缘统计。

5、如权利要求3所述的方法，其中，确定边缘统计的步骤还包括以下步骤：

对于图像帧，确定：

使用块边缘统计计算的块差标识；

关于块边缘统计计算的块比率标识；

关于块边缘统计计算的块计数标识；和

关于块边缘统计计算的块活性标识。

6、如权利要求5所述的方法，还包括对整个图像帧全局确定所述标识的步骤。

7、如权利要求5所述的方法，还包括对图像帧的N×N的非重叠部分局部确定所述标识的步骤。

8、如权利要求5所述的方法，其中，估计块伪像强度的步骤还包括基于所述标识的一个或多个估计每个块边界的块伪像的强度。

9、如权利要求5所述的方法，其中，块差标识包括位于块边界的边缘像素的平均幅度。

10、如权利要求9所述的方法，其中，通过将Sobel边缘运算的结果值平均来计算块差标识。

11、如权利要求5所述的方法，其中，块比率标识指示块伪像的存在和程度。

12、如权利要求11所述的方法，其中，块比率标识包括BC_m除以BC_b的比。

13、如权利要求5所述的方法，其中，块计数标识包括位于块边界的边缘像素的总数量。

14、如权利要求5所述的方法，其中，块活性标识包括子部分内的符号改变的数量。

15、如权利要求5所述的方法，还包括以下步骤：

产生用于所述标识的每一个的加权因子；和

将加权因子的一个或多个相组合来产生压缩噪声的强度。

16、如权利要求15所述的方法，还包括将加权因子相组合以产生压缩噪声的强度。

17、一种降低解码的数字图像帧中的基于块的编码的噪声的图像增强***，包括：

估计器，通过确定每个块边界的块伪像强度来测量解码的数字图像帧中的基于块的编码噪声的强度；和

增强器，作为块伪像的强度的函数，降低图像帧中的基于块的编码噪声，以产生增强的图像。

18、如权利要求17所述的***，其中，增强器执行去块操作。

19、如权利要求17所述的***，其中，增强器执行去环操作。

20、如权利要求17所述的***，其中，增强器增强图像的亮度信道。

21、如权利要求20所述的***，还包括：处理器，在显示之前将增强的亮度信道和色度信号相组合。

22、如权利要求17所述的***，其中，估计器，在空间域从图像帧确定边缘统计，并基于边缘统计来估计每个块边界的块伪像的强度。

23、如权利要求22所述的***，其中，估计器在空间域中从图像帧确定全局和局部边缘统计。

24、如权利要求23所述的***，其中，估计器通过确定以下内容来确定边缘统计：

使用块边缘统计计算的块差标识；

关于块边缘统计计算的块比率标识；

关于块边缘统计计算的块计数标识；和

关于块边缘统计计算的块活性标识。

25、如权利要求24所述的***，其中，估计器基于所述标识估计基于块的编码噪声的强度。