CN1813268A - 用于非对称增强图像和视频的锐度度量 - Google Patents

Abstract

锐度度量代表一个用于图像和视频采集、存储以及再现***的人工(47)或者自动(41)锐度控制***的控制变量。在人工***中，通常对一个可控参数进行调节，以试图在预先设定的极限内使得锐度最大化，以便避免图像失真。一种用于测量已经被非对称增强的图像或画面中的锐度的方法(10)使用来自对图像的预定块的离散余弦变换的统计，并且使用关于每个块中的一个或多个垂直边缘以及一个或多个水平边缘的边缘像素数量(14)和能量内容的信息来对非对称性进行补偿(15)。这种做法的一个实施例确定了该图像的基于峰度的锐度度量(12)，然后对该基于峰度的锐度度量进行补偿，以便考虑水平方向和垂直方向上的锐度增强的差异(13)。

Description

用于非对称增强图像和视频的锐度度量

本发明总体涉及用于处理视频和图像数据的方法和设备，尤其涉及一种对用于采集、传输和存储***的视频和图像数据进行编码和解码的方法和设备。

测量视频图像的锐度意味着相对于背景对边缘清晰度和细节明晰度进行评价。当图像或视频被非对称地增强时，即水平增强量与垂直增强量不同时，现有度量给出的值不能与视觉测试的感知结果相对应。例如，一些现有技术是在水平锐度和垂直锐度的相对比例没有改变的情况下对图像锐度进行比较。而当该比例改变时，其最终结果与比较不同图像的所得结果相似，因而使得这些度量在提供一致结果方面无效。

在许多图像捕获和显示***中使用了锐度度量以使锐度控制自动化、使得锐度设置可以定制以及提供自适应锐度增强。锐度度量可以用作高质量数字视频中的锐度增强算法的控制变量，或者作为用于质量足够高而其它因素保持恒定的情况的质量指标。与其它度量相结合，锐度可以用于计算总体质量。

非对称锐度增强是使增强程度适合于实际内容的算法所使用的重要选项。非对称锐度增强可以通过利用2D锐度增强(其使用通常可在现在的电视机中找到的1D滤波器)的低成本硬件实现选项而产生。1D滤波器应用的灵活性和内容自适应增强技术可以导致非对称锐度增强。目前，还没有用于在这些条件下测量锐度的方法。

因此，本发明旨在开发一种在图像或画面已经被非对称增强时仍然能够正常操作的对视频图像或画面的锐度进行量化的方法和设备。

通过提供一种用于测量非对称锐度增强的方法，本发明解决了这些问题和其它问题，所述方法使用了对8×8个块(或者以其它适合的大小实施，在这种情况下8×8与块DCT算法的现有实现方式相兼容)进行离散余弦变换(DCT)的统计数字，并使用关于边缘像素数量以及垂直和水平边缘的能量的信息对非对称性进行补偿。

根据本发明的一个方面，用于测量图像或画面(已被分成一个或多个块)中锐度的方法对图像使用基于峰度的锐度度量，并对基于峰度的锐度度量进行补偿以考虑水平方向和垂直方向上锐度增强的差异。

根据本发明的另一方面，所述补偿包括基于每个块的边缘像素的平均数量(nep)(在整个图像或该图像的一个样本上估算该平均数量)为基于峰度的锐度度量添加一个项。

根据本发明的再一方面，所述补偿包括基于平均水平能量

和平均垂直能量

(在整个图像或该图像的一个样本上估算所述平均垂直和水平能量)为基于峰度的锐度度量添加一个项。

根据本发明的再一方面，所述补偿包括基于平均水平能量

平均垂直能量 和平均对角线能量

(在整个图像或该图像的一个样本上估算所述平均垂直、水平和对角线能量)为基于峰度的锐度度量添加一个项。

根据本发明的再一方面，所述补偿包括基于包含边缘的块的数量(neb)和不包含边缘的块的数量(nfb)为基于峰度的锐度度量添加一个项。在这种情况下，可以使用来自整个图像的实际值或者使用估算值。

图1描述了根据本发明的一个方面的用于测量非对称增强图像或画面中的锐度的方法的示例性实施例。

图2描述了根据本发明的另一个方面的用于计算8×8离散余弦变换中的各种能量的方法的示例性实施例。

图3描述了对于边缘块的平均8×8离散余弦变换图，其中示出了锐度增强效果。

图4示出了包括用于图像/视频采集、存储和再现***的人工锐度控制和自动锐度控制的不同实施例的普通体系结构。

值得注意的是，文中对于“一个实施例”或者“实施例”的任何引用是指在本发明的该至少一个实施例中包括了结合该实施例描述的特定特征、结构或特性。本说明书中多个地方出现的短语“在一个实施例中”并不一定全都指代相同的实施例。

图像后处理和增强已经成为数字电视***的一个关键部分，尤其对于高分辨率和高清晰度技术(包括图像采集，存储和再现***)而言更是如此。诸如医疗成像、雷达成像以及光学成像等的专业应用也可以使用本发明的实施例。为了评估增强效果以及控制增强的量，唯一的解决方案是采用质量度量，尤其是锐度度量。锐度是一种信息，一种在图像中可以看到的细节和边缘明晰度的主观感知。关于图像分析和感知的研究已经证明锐度与内容高度相关，并且还与空间分辨率、对比度和噪声相关。

现有技术的增强算法使用了非对称增强以提高感知质量。例如，在许多情况下，增强垂直边缘比以相同的量增强水平边缘具有更大的感知影响。而现有的锐度度量不能处理这种情况。本发明允许监测并控制导致锐度中的非对称改变的锐度增强算法和其它处理。

本发明的实施例可以在用于电视(诸如STD、HDTV、LCDTC、PDP、LCoSTV)、自动电视控制以及存储和重放设备(DVD、DVD-RW等)的锐度增强模块中实现。该锐度度量还是用在上述相同产品和涉及服务视频质量的其它产品中的总体质量度量的一个组成部分。图4示出了使用本发明度量计算的设备的实施例。

在确定锐度度量时，频谱(FFT和DCT)的一维(1D)和二维(2D)峰度可能是有用的。此外，在没有使用固定原型做参考的情况下，也可以测量锐度。基于局部边缘峰度的锐度度量还被合并入无参考的总体质量度量。

当应用锐度度量来控制锐度增强算法时，在使用非对称锐度增强时，也就是使用不同的水平增益和垂直增益时，基于峰度的度量并不是很适用。遗憾的是，为了适应于人类视觉***的敏感度以及内容，频繁地使用了非对称增强。

本领域研究人员的集体观测(已经被主观测试证实)表明，使用2d内核(kernel)导致了更大的或者与任何1d内核相当的锐度，并且1dh和1dv增强的相对效果取决于内容。然而，如果仅仅使用峰度度量，那么在多数情况下使用相同的垂直和水平锐度量的2D内核排在接近底部的位置，偶尔位于中间。所述结果对于隔行视频和逐行视频是类似的。

因此，峰度锐度度量并不能精确地反映所测试的任何一种情况下的2D增强的感知效果。

对于相同内核的增加的增益而测量到的锐度增加，看起来对于峰度度量效果很好，因而表明该度量可能没有考虑到某种使2D增强曲线没有1D增强曲线那么陡的因素。因此，必须使用其它图像参数来补偿对于2D增强的低敏感度。

峰度是一种对于分布的“尖峰”的度量。正态分布具有的峰度值为三(3)，如果尖峰越高、曲线越窄则该峰度值增加。在8×8离散余弦变换(DCT)的情况下，表面不是正态的或者对称的，但是可以认为是对称表面的一个象限，此处尖峰可以被部分识别。通过峰度的增加反映了由于对称(2D)锐度增强引起的DCT表面的变化。

图3示出了对于所有的块进行的平均8×8DCT的表面图，所述所有的块包括原始图像的边缘、同一图像的1DH增强版本的边缘、同一图像的1DV增强版本的边缘和同一图像的2D增强版本的边缘。锐度增强的效果产生了朝着更高频率的表面偏移，以及同一表面上的膨胀效应，该膨胀效应影响那些受到内核影响的频率(图3中以黑色箭头示出)。这些效果推升峰度值，就像重心正向上移动。

对于特定的测试图像，垂直方向的1D增强比水平方向的增强对于2D峰度具有强得多的效果。在垂直方向的1D增强比使用相同增益的2D增强产生大得多的峰度偏移。应当注意，与在图3中的1D增强的效果相比，2D增强(2D1内核)对于表面轮廓和峰值的DCT具有更缓和、更对称的效果。

DCT的2D峰度对于非对称处理的高度敏感性表明，需要将其它因素考虑在内以补偿非对称性，同时保留反映边缘锐度变化的能力。考虑了两个潜在的补偿因素：两个方向上的边缘范围和边缘能量。

为了找到考虑了非对称增强下的锐度的更加完整的模型，我们使用通常在数学建模中使用的方法，该方法包括一次对一个变量(或等效物)进行图形分析，并对于其对该模型的影响而做出推论。

通过观察包含边缘的8×8个块中的边缘像素的平均数量，我们分析边缘范围的影响。对于所研究的图像，我们注意到边缘的数量跟随所观察到的锐度增加而增加。我们已经确定，2D增强引起边缘像素平均数量的最大增加，尤其是大于1DV增强的情况。

因此，边缘像素的平均数量看起来与基于峰度的锐度补偿相关；它反应了各种增强方法之间的感知差别。然而，边缘范围主要是对使用峰化方法的增强算法起作用，其它的方法可能不会引起边缘像素数量的增加。我们发现，由增强的分辨率引起的锐度增强在被用于可缩放编码器或格式转换中时没有引起边缘像素数量的增加，而且也不应引起边缘像素数量的增加。因此除了边缘范围以外还需要另一个补偿因素。

接着我们观察包含边缘的块的8×8DCT中所包含的垂直和水平边缘能量的数量。图2示出了用于计算8×8DCT的水平、垂直以及对角线能量的方法。

对于一个测试图像子集将平均水平能量和对角线能量之间的比值(Ex/Ey)进行绘图显示出更接近于1DH、1DV和2D1增强序列的主观观察的相对等级(relative ranking)。所述结果对于2D和1DV显示出较高的相对等级，同时1DH曲线则一直位于其它曲线的下方。

对水平、垂直以及对角线能量的进一步分析表明，还可以使用诸如水平和垂直能量的几何平均值与算术平均值之比的项，以补偿非对称性，所述非对称性导致使用基于峰度的度量得到夸大的锐度值。

原则上，通过边缘范围和边缘能量进行峰度调制可以保留内核间等级，并且偏移曲线以捕获正确的内核内等级。接下来的部分将说明如何实现这一点。

为提出一个补偿基于峰度的锐度度量的函数，我们已经分析了与下面的全局图像特征相关的四个项的特性：

1.每块的边缘像素的平均数量( nep)。正如前面所阐明的那样，对于增加边缘范围的方法，该值给出了各内核之间的预期等级。

2.包含边缘的块的平均水平能量、平均垂直能量、平均对角线能量之和与平均对角线能量的比值(即 )。该项是被平均对角线能量标准化的总能量，该项还包括纹理的贡献(纹理不如边缘对于锐度评估那么重要)。

3.平均水平能量和平均垂直能量的几何平均值与算术平均值的比值的平方

该比值是偏心率(Exc)或者非对称性因素，其对于对称频谱具有最大值1。随着非对称性增加，该因素的值减小。

4.包含边缘的块的数量与不包含边缘的块(或平坦块)的数量的比值(neb/nfb)。这是一个重要的感知因素，因为如果存在更多的边缘块则感知锐度更高。

我们提出一个包括边缘块的平均峰度(k)以及上述各项的组合的算术公式。可能有多种组合；我们已经测试了几个，并且得出了一个通用公式，该公式示出了能量和边缘范围项对平均峰度的期望调制：

$\mathrm{Sh}=f_1[C_1+C_2*\stackrel{\‾}{k}*\stackrel{\‾}{\mathrm{nep}}*\frac{(\stackrel{\‾}{E_x}+\stackrel{\‾}{E_y}+\stackrel{\‾}{E_d})}{\stackrel{\‾}{E_d}}*\frac{4*\stackrel{\‾}{E_x}*\stackrel{\‾}{E_y}}{{(\stackrel{\‾}{E_x}+\stackrel{\‾}{E_y})}^2}*\frac{\mathrm{neb}}{\mathrm{nfb}}]+C_3*\stackrel{\‾}{\mathrm{nep}}---\left(1\right)$

f₁为对数函数ln(x)，常数C₁、C₂和C₃用实验方法确定，我们使用C₁＝1、C₂＝0.1以及C₃＝0.1的值，我们认为这些值在最优值附近，但是可能需要基于将来的实验数据进一步调节。

参考图1，其中所示的是用于测量图像或画面中锐度的方法的示例性实施例10。在图像或画面被分成1个或多个块(例如8×8或者其它适当的大小(单元11))之后，确定该图像的基于峰度的锐度度量(单元12)。然后对该度量进行补偿以考虑水平方向和垂直方向上的锐度增强的差异(单元13)。一种补偿技术通过基于每块的边缘像素的平均数量为基于峰度的锐度度量添加一个项来进行补偿(单元14)。也可以通过基于平均水平能量和平均垂直能量和平均对角线能量(这些能量可以对整个图像计算，或根据图像样本进行估算)为基于峰度的锐度度量添加一个项来进行补偿(单元15)。此外，还可以基于平均水平能量和平均垂直能量的几何平均值以及平均水平能量和平均垂直能量的算术平均值来为基于峰度的锐度度量添加一个项(单元16)。此外，可以基于包含边缘的块的数量(neb)与不包含边缘的块的数量(nfb)来为基于峰度的锐度度量添加一个项(单元17)。在下面的等式中总结了上述计算：

$\mathrm{Sh}=f_1[C_1+C_2*\stackrel{\‾}{k}*\stackrel{\‾}{\mathrm{nep}}*\frac{(\stackrel{\‾}{E_x}+\stackrel{\‾}{E_y}+\stackrel{\‾}{E_d})}{\stackrel{\‾}{E_d}}*\frac{4*\stackrel{\‾}{E_x}*\stackrel{\‾}{E_y}}{{(\stackrel{\‾}{E_x}+\stackrel{\‾}{E_y})}^2}*\frac{\mathrm{neb}}{\mathrm{nfb}}]+C_3*\stackrel{\‾}{\mathrm{nep}}$ (单元18)

上述合并了边缘和能量补偿的锐度度量已经对几个图形进行了测试。结果表明2D内核比1D内核显现出更高的锐度。测试结果表明2D内核一直比1D内核的更好。

已经保留了其中基于峰度的锐度度量显示出正确内核内特性的先前结果。一个有趣的情况是分辨率增强的视频，其表现出与不同感知质量水平相对应的不同锐度水平。逐帧绘制的经补偿的锐度度量值表明锐度水平对应于视觉观察，即分辨率越高，锐度越高。无论是对时间窗进行平均还是使用每帧的值，利用锐度度量可以有效检测由于增强而产生的变化。

测试表明已经保留了现有峰度度量的性能，同时改善了对应于非对称性锐度增强的结果。边缘区域的峰度是非常有前景的锐度指标，并且如果对边缘范围和能量非对称性进行了补偿，这种峰度也可以处理非对称锐度增强。在该操作中使用的补偿项都是全局性的，即从包含边缘的块取得的平均值。使用从全局统计中得出的概率方法，也可以补偿局部峰度以在局部层级测量锐度。到此为止所使用的各项反映了图像的全局统计情况，而局部层级的特定条件可能与平均值有很大偏差，例如块中的边缘像素的数量在1至28或者更大之间变化，能量值也可以变化很大。因此，为了预测局部增强，我们可以使用从全局数据得出的模型。

图4描述了一般实施例40的方框图，其中示出了用于例如采集、存储和再现视频/图像的***的人工锐度控制器47或自动锐度控制器41。在自动锐度控制器41中，根据图像或部分图像来计算锐度度量，并且对视频链模块42-45中的可控参数进行操作以便在允许范围内使锐度最大化。图像源可以是采集模块(例如摄录一体机48d中的CCD、光学成像仪48a-c或者诸如VCR、DVD、CD或HD之类的存储单元48e)。为了检测某人是否正在使用一个利用了对称锐度控制的***，一个人可以简单地输入一个非对称增强的图像，该***将不会再对其进行增强，例如当该图像已经被垂直增强时，***将认为该图像已经处于最大锐度。经对称补偿的***将尽可能多地在两个方向上增强图像。由水平和垂直边缘形成的测试模式将非常容易地用于该目的。

尽管这里特别示出并描述了多种实施例，但是应当理解的是，上述教导包括了本发明的修改和变化，并且所述修改和变化在所附权利要求书的范围之内而没有背离本发明的精神和预定范围。例如，虽然使用特定形式的等式将锐度模型化，但是在没有背离本发明范围的情况下，还可以使用利用了类似补偿项的其它函数。此外，该实例也不应被理解为限制包含在权利要求书中的本发明的修改和变化，而仅仅是说明一个可能的变型。

Claims (32)

1.一种用于测量图像或画面中的锐度的方法，包括：

将该图像或画面分成具有预定尺寸的一个或多个块，并且对所述一个或多个块中的每一个都重复下面的操作(11)：

确定该图像的基于峰度的锐度度量(12)；和

对该基于峰度的锐度度量进行补偿，以便考虑水平方向和垂直方向上的锐度增强的差异(13)。

2.根据权利要求1所述的方法，其中所述补偿包括基于每块的边缘像素的平均数量( nep)来为所述基于峰度的锐度度量添加一个项(14)。

3.根据权利要求1所述的方法，其中所述补偿包括基于平均水平能量 和平均垂直能量 来为所述基于峰度的锐度度量添加一个项(15)。

4.根据权利要求1所述的方法，其中所述补偿包括基于平均水平能量

平均垂直能量

和平均对角线能量

来为所述基于峰度的锐度度量添加一个项(15)。

5.根据权利要求1所述的方法，其中所述补偿包括基于平均水平能量 与平均垂直能量 的几何平均值(Ex*Ey)^1/2来为所述基于峰度的锐度度量添加一个项(16)。

6.根据权利要求1所述的方法，其中所述补偿包括基于平均水平能量

与平均垂直能量

的算术平均值 来为所述基于峰度的锐度度量添加一个项(16)。

7.根据权利要求1所述的方法，其中所述补偿包括基于平均水平能量 与平均垂直能量 的几何平均值(E_x*E_y)^1/2和平均水平能量

与平均垂直能量 的算术平均值

来为所述基于峰度的锐度度量添加一个项(16)。

8.根据权利要求1所述的方法，其中所述补偿包括基于包含边缘的块的数量(neb)来为所述基于峰度的锐度度量添加一个项(17)。

9.根据权利要求1所述的方法，其中所述补偿包括基于不包含边缘的块的数量(nfb)来为所述基于峰度的锐度度量添加一个项(17)。

10.根据权利要求1所述的方法，其中所述补偿包括基于包含边缘的块的数量(neb)和不包含边缘的块的数量(nfb)来为所述基于峰度的锐度度量添加一个项(17)。

11.根据权利要求4所述的方法，其中所述补偿包括基于每块的边缘像素的平均数量( nep)来为所述基于峰度的锐度度量添加一个项(14)。

12.根据权利要求7所述的方法，其中所述补偿包括基于每块的边缘像素的平均数量( nep)来为所述基于峰度的锐度度量添加一个项(14)。

13.根据权利要求10所述的方法，其中所述补偿包括基于每块的边缘像素的平均数量( nep)来为所述基于峰度的锐度度量添加一个项(14)。

14.根据权利要求12所述的方法，其中所述补偿包括基于平均水平能量

平均垂直能量

和平均对角线能量 来为所述基于峰度的锐度度量添加一个项(15)。

15.根据权利要求11所述的方法，其中所述补偿包括基于包含边缘的块的数量(neb)和不包含边缘的块的数量(nfb)来为所述基于峰度的锐度度量添加一个项(17)。

16.根据权利要求4所述的方法，其中所述补偿包括基于平均水平能量 与平均垂直能量

的几何平均值(E_x*E_y)^1/2和平均水平能量 与平均垂直能量 的算术平均值 来为所述基于峰度的锐度度量添加一个项，其中所述几何平均值与算术平均值的比值的平方

为组合的补偿项(16)。

17.根据权利要求16所述的方法，其中所述补偿包括基于包含边缘的块的数量(neb)和不包含边缘的块的数量(nfb)来为所述基于峰度的锐度度量添加一个项(17)。

18.根据权利要求13所述的方法，其中所述补偿包括基于平均水平能量

与平均垂直能量

的几何平均值(E_x*E_y)^1/2和平均水平能量

与平均垂直能量

的算术平均值

来为所述基于峰度的锐度度量添加一个项(16)。

19.根据权利要求4所述的方法，其中所述补偿包括基于包含边缘的块的数量(neb)和不包含边缘的块的数量(nfb)来为所述基于峰度的锐度度量添加一个项(17)。

20.根据权利要求7所述的方法，其中所述补偿包括基于包含边缘的块的数量(neb)和不包含边缘的块的数量(nfb)来为所述基于峰度的锐度度量添加一个项(17)。

21.根据权利要求14所述的方法，其中所述补偿包括基于包含边缘的块的数量(neb)和不包含边缘的块的数量(nfb)来为所述基于峰度的锐度度量添加一个项(17)。

22.根据权利要求1所述的方法，其中所述补偿包括计算下面等式：

$\mathrm{Sh}=f_1[C_1+C_2*\stackrel{\‾}{k}*\stackrel{\‾}{\mathrm{nep}}*\frac{(\stackrel{\‾}{E_x}+\stackrel{\‾}{E_y}+\stackrel{\‾}{E_d})}{\stackrel{\‾}{E_d}}*\frac{4*\stackrel{\‾}{E_x}*\stackrel{\‾}{E_y}}{{(\stackrel{\‾}{E_x}+\stackrel{\‾}{E_y})}^2}*\frac{\mathrm{neb}}{\mathrm{nfb}}]+C_3*\stackrel{\‾}{\mathrm{nep}},$

其中：

Sh为锐度度量；

f₁为一个预定函数；

C₁、C₂和C₃为预定的常数；

k为平均峰度；

nep为每块的边缘像素的平均数量；

为平均垂直能量；

为平均水平能量；

为平均对角线能量；

neb为包含边缘的块的数量；和

nfb为不包含边缘的块的数量(18)。

23.根据权利要求7所述的方法，其中所述平均垂直能量和平均水平能量是通过对整个图像的各值进行计算而得到的(15)。

24.根据权利要求7所述的方法，其中所述平均垂直能量和平均水平能量是根据所述图像的样本进行估算的(15)。

25.一种用于测量图像或画面中的锐度的方法，包括：

对该图像的多个预定尺寸块中的每一个执行离散余弦变换；和

使用关于所述多个块中的每个块中的一个或多个垂直边缘以及一个或多个水平边缘的边缘像素数量以及能量内容的信息来对非对称性进行补偿(13)。

26.一种图像处理设备(40)，包括：

一个图像检测器(48a-e)，用于将图像转换为电子版本；和

一个锐度控制器(41)，其耦合至该图像检测器以检测图像的电子版本中的锐度并对该锐度进行调节，所述控制器用于通过以下过程计算图像的锐度度量：

将图像或画面分成具有预定尺寸的一个或多个块，并且对所述一个或多个块中的每一个都重复下面的操作(11)：

确定该图像的基于峰度的锐度度量(12)；和

补偿该基于峰度的锐度度量，以便考虑水平方向和垂直方向上的锐度增强的差异(13)。

27.根据权利要求25所述的设备，其中所述补偿包括基于每块的边缘像素的平均数量( nep)来为所述基于峰度的锐度度量添加一个项(14)。

28.根据权利要求25所述的设备，其中所述补偿包括基于平均水平能量 平均垂直能量 和平均对角线能量

来为所述基于峰度的锐度度量添加一个项(15)。

29.根据权利要求25所述的设备，其中所述补偿包括基于平均水平能量 与平均垂直能量 的几何平均值(E_x*E_y)^1/2和平均水平能量

与平均垂直能量 的算术平均值

来为所述基于峰度的锐度度量添加一个项(16)。

30.根据权利要求25所述的设备，其中所述补偿包括基于包含边缘的块的数量(neb)和不包含边缘的块的数量(nfb)来为所述基于峰度的锐度度量添加一个项(17)。

31.根据权利要求28所述的设备，其中所述平均垂直能量和平均水平能量是通过对整个图像的各值进行计算而得到的(16)。

32.根据权利要求28所述的设备，其中所述平均垂直能量和平均水平能量是根据所述图像的样本进行估算的(16)。

Images