CN1656824A - 根据局部边缘统计分布估计清晰度度量的方法和*** - Google Patents

Abstract

本发明涉及用于在不对源数据进行访问的情况下评价视频数据质量的方法和***。该***被构造用于通过检测边缘像素(14)并且使用8×8像素块将它们包围起来而估计清晰度度量。对于每个块，根据DCT的峰度计算清晰度(16)。最终的度量是边缘轮廓中的块的平均清晰度并且包括空间域和频域信息的强健组合。

Description

根据局部边缘统计分布 估计清晰度度量的方法和***

技术领域

本发明涉及一种测量视频数据的清晰度质量的方法和***，并且具体而言，涉及一种在不参照源视频数据的情况下评价画面的清晰度质量的方法和***。

背景技术

视频专家的终极目标是向观看者提供感知上最引人入胜的图像。确定所得到的图像质量好与坏的一种方法是请观众小组观看某些视频序列并给出他们的意见。分析视频序列的另一种方法是提供一个自动化机构来评价视频图像质量的优劣。使用了各种各样的度量标准(即，清晰度、块化度、环化度、削边度、对比度和时间缺损度)来评价总体视频图像质量程度。详细来说，对清晰度的感知与图像的细节清楚程度以及轮廓分明度有关。图像的相对清晰度在空间域中可以通过与参考图像相比较的轮廓分明度来衡量；或者，在变换域中，通过同样相对于参照物的与轮廓和细微细节有关的高频能量的差异来衡量。这是主要的两种清晰度衡量手段，即，利用频域信息或空间域信息。

衡量视频数据的画面质量的一种常用手段是在经过处理的图像与未经处理的源图像之间进行比较。不过，对于服务时的质量监控和连续质量控制***的开发而言，采用原始视频图像作为参照基准缺乏实用性。因此，本发明提出了一种客观质量评价技术，使用视频图像清晰度度量来评价画面的客观质量，而不利用源数据。

发明内容

本发明致力于一种无需访问源数据就能评价视频数据的质量的设备和方法，其中视频数据质量的评价是通过检测边缘像素并使用8×8像素块将它们包围起来；利用每个块的DCT的峰度来计算清晰度；并且对边缘轮廓上的块的清晰度求平均来实现的。

按照本发明的一个方面，给出了一种在不访问源数据的情况下评价视频数据的清晰度质量的方法。该方法包括步骤：接收输入视频帧；为所述输入视频帧获取由边缘像素构成的边缘图像；将所述边缘图像的选定部分的每个边缘像素分配到一个8×8块的中心；对所述8×8块进行离散余弦变换(DCT)，以产生一组DCT系数；对所述8×8块的所述DCT系数进行归一化，以获得一个二元概率密度函数；和计算所述归一化DCT系数的峰度，以产生清晰度度量。该方法还包括为每个8×8块对所求得的峰度求平均以确定总的清晰度度量的步骤。边缘图像是通过选择具有大于预定阈值级别的频带的边缘而获得的。

按照本发明的另一个方面，一种用于评价视频数据的清晰度质量的设备包括：一个边缘检测装置，适用于接收输入视频帧，以便为输入视频帧获取由边缘像素构成的边缘图像；一个分段装置，用于接收所述输入视频帧，并且在不重复的情况下将所述边缘图像的选定部分的每个边缘像素分配给一个8×8块，并且可以选择把这些边缘像素放在块的中心；和一个峰度估计器，用于对所述8×8块进行离散余弦变换(DCT)，以产生一组DCT系数，对所述8×8块的DCT系数进行归一化，以获得一个二元概率密度函数，并且估计其峰度。所述设备还包括一个求和装置，用于为每个8×8块对所估计的峰度求平均，以获得总的清晰度度量，其中所估计的峰度表示所述8×8块的清晰度质量。按照本实施方式，所述边缘检测装置可选择一个边缘，所述边缘具有大于预定阈值等级的频带，并且所述峰度估计器用于在估计DCT系数的峰度之前，从DCT系数中除去选定的DCT系数。

按照本发明的再有的一个方面，一种信号处理器，可响应于输入视频帧来评价清晰度质量，包括：一个输入部分、一个输出部分和一个连接在所述输入和输出部分之间的处理单元，所述处理单元被构造得适用于接收所述输入视频帧；为所述输入视频帧获取由边缘像素构成的边缘图像；将所述边缘图像的选定部分的每个边缘像素分配到一个8×8块的中心；对所述8×8块进行离散余弦变换(DCT)，以产生一组DCT系数；对8×8块的所述DCT系数进行归一化，以获得一个二元概率密度函数；和计算所述归一化DCT系数的峰度，以产生清晰度度量。

另一个方面就是，可以以简单、可靠并且廉价的实施方式来实现本发明。

通过后面对附图中所示出的优选实施方式的更加详细的说明，本发明的前述和其它的特征和优点将会变得显而易见，在附图中，在各个视图中的附图标记指代相同的部分。附图没有必要按比例画出；而是将重点放在了介绍本发明原理这一角度上。

附图说明

附图1是由正态分布产生的随机数的峰度的图示说明；

附图2是按照本发明的示范性实施方式建立的设备的框图；

附图3表示按照本发明检测边缘像素以产生边缘轮廓的操作步骤；

附图4是表示按照本发明的视频质量的操作步骤的流程图；

附图5是表示按照本发明的视频质量的操作步骤的流程图；

附图6是按照本发明的示范性实施方式的可应用实施方式的简化框图；

附图7是按照本发明的示范性实施方式的可应用实施方式的简化框图；和

附图8是按照本发明的示范性实施方式的可应用实施方式的简化框图；

具体实施方式

在下面的说明中，为了实现解释说明而非限制的目的，给出了具体的细节，比如特定的体系结构、接口、技术等等，以便实现对本发明的透彻理解。为了清楚简明的目的，省略了公知装置、电路和方法的详细介绍，以避免不必要的细节造成本发明的说明书晦涩难懂。

为了便于理解本发明，将对与MPEG2编码有关的背景信息进行简要解释。本领域的普通技术人员将会意识到，总地来说，MPEG2编码是通过将图像分割为16×16像素的宏块进行的，每个宏块具有与其相关的单独的量化器缩放值。将宏块再分为各个8×8像素块。对每个8×8像素块进行离散余弦变换(DCT)，以为其中的64个频带中的每一个生成DCT系数。然后将8×8像素块中的DCT系数除以相应的编码参数，即，量化权值。给定8×8像素块的量化权值是以8×8量化矩阵的形式表达的。此后，对DCT系数施与其它的运算，即，量化器缩放值，并且从而完成MPEG2编码。

此外，本领域的技术人员将会意识到，很多统计分析中的基本任务是描述数据组的位置和变化性的特征。而且，其它的数据特征包括偏度(skewness)和峰度。偏度是对称性的度量，并且如果一个数据组或分布看起来中心点的左右是相同的，那么可以将其看作是对称的。峰度是数据相对于正态分布而言是尖锐还是平坦的衡量标准。具有高峰度的数据组往往具有接近中央的清晰尖顶，然后迅速向下倾斜，并且具有大拖尾。具有低峰度的数据组往往具有接近均值的平坦顶部，而不是尖锐的尖顶。附图1表示与峰度(K)增大相应的概率密度函数的尖顶增大的图像表示。标准正态分布的峰度是三。

下文中将参照附图2-7介绍，本发明结合了上述的统计分析和MPEG编码技术，在无需对源图像进行访问的情况下，评价图像的视频质量。

附图2是本发明的清晰度度量检测器10的简化框图，该清晰度度量检测器10包括一个分段模块12、一个边缘检测器14、一个K估计器16和一个加法器18，用于在无需对源图像进行访问的情况下，估计从DCT系数推测出来的图像质量。如附图2所示，在从模拟视频数据转换成数字图像数据之后，数字图像数据被传送给了清晰度度量检测器10，该检测器10可能是，例如，微处理器、中央处理单元、计算机、电路卡、专用集成电路(ASIC)

参照附图3，边缘检测器14构成为用于生成每个输入视频帧的边缘轮廓。附图3表示原始和边缘图像，以及可能的块分配的例子。检测出频率值大于预定阈值的所有边缘。注意，位于从高到低或从低到高的过渡中心处的边缘像素值表示该过渡的中心。在数学上，该中心对应于梯度(或过渡值的一阶导数)的最大值和二阶导数的零点。在本领域中，检测视频帧中的边缘是公知的技术，并且可以以多种不同的方式进行。例如，见J.Canny所著的《边缘检测的计算方法(AComputational Approach to Edge Detection)》(IEEE Transactionson Pattern Analysis and Machine Intelligence，PAMI-8卷，第6号，1986年11月)，该文章的内容以引用的方式并入本文。这篇文章给出了一种检测器，能够在剔除通常与MPEG块化人工伪痕和低电平噪声有关的弱边缘的同时进行边缘检测。

同时，分段模块12使输入数字图像数据隶属于8×8像素块并且将每个边缘像素分配给一个8×8块。块的分配可以采取将边缘像素置于块的中心的方式来完成，但是决不能将一个边缘像素分配给超过一个块。最简单的实施方式使用MPEG栅格，即，原点在(0，0)大小为8×8的栅格。然后K估计器16对每个包含一个边缘图像的8×8块进行DCT处理，以便为边缘轮廓的每个块上的AC频段产生DCT系数。这样，对于给定的2D像素区域，即，8×8像素块，得到了相应的2D系数F(u，v)。然后在排除了F(0，0)之后，对F(u，v)进行归一化，以形成二元概率密度函数(PDF)，p(u，v)。最后，K估计器16对于每个具有中心位于边缘像素位置上的图像块的边缘频率轮廓的块计算2D峰度，下文中将采用数学方法对此进行介绍。令D(u，v)为8×8块DCT系数矩阵。剔除掉D(0，0)之后，可以对这些系数的分布进行归一化，以形成一个正规二元概率密度函数(PDF)，p(x，y)，如下所示：

∑∑p(x，y)＝1                               (1)

本领域的技术人员将会意识到，随机变量的非高斯分布的经典衡量标准，即，X，就是峰度。峰度是概率分布偏离高斯(正态)形状的度量。如附图1所示，高斯变量的峰度度量为零，而大多数非高斯随机变量的峰度度量大于零。注意，也有非高斯随机变量具有零峰度，但是可以将它们看作是很少出现的。

对于具有平均数μ_x的给定随机变量x，峰度是这样定义的：

$\mathrm{kurt}\left(x\right)=\mathrm{\β}2=m_4/m_2^2,----\left(2\right)$

其中m₄和m₂分别表示第四和第二中心矩；并且

其中第k个中心矩是这样定义的：

此处E指的是随机变量的概率期望值或均值。

$p\left(x\right)=\underset{y}{\mathrm{\Σ}}p(x,y),----\left(4\right)$

此处E指的是随机变量的概率期望值或均值。

而且，如果x₁和x₂是两个独立随机变量，那么峰度具有下述线性属性：

β₂(x₁+x₂)＝β₂(x₁)+β₂(x₂)，                     (5)

β₂(α·x₁)＝α⁴β₂(x₁)，                (6)

此处α是比例因子。

此外，令W为具有到第四矩的有限矩的p维随机向量(即，

并且μ和Γ分别为均值向量和W的协方差矩阵。于是，p维峰度可以表示为：

β_2p＝E[(W-μ)^TΓ^-1(W-μ)]²               (7)

此处T代表向量的转置。

最后，使用上述的等式(7)并且在p＝2的情况下，将随机向量W＝[X，Y]^T应用于整个图像的傅立叶变换。这个结果可以表示为：

此处

${\mathrm{\γ}}_{k,l}=\frac{\underset{i=0}{\overset{n}{\mathrm{\Σ}}}\underset{j=0}{\overset{m}{\mathrm{\Σ}}}{(x_i-{\mathrm{\μ}}_x)}^k{(y_i-{\mathrm{\μ}}_y)}^{1}p(x_i,y_i)}{{\left(\underset{i=0}{\overset{n}{\mathrm{\Σ}}}{(x_i-{\mathrm{\μ}}_x)}^{2}p\left(x_i\right)\right)}^{k/2}{\left(\underset{j=0}{\overset{m}{\mathrm{\Σ}}}{(y_i-{\mathrm{\μ}}_y)}^{2}p\left(y_i\right)\right)}^{1/2}},----\left(9\right)$

${\mathrm{\σ}}_{\mathrm{xy}}^2=E\left[(X-{\mathrm{\μ}}_x)(Y-{\mathrm{\μ}}_y)\right],----\left(10\right)$

和

$\mathrm{\ρ}={\mathrm{\σ}}_{\mathrm{xy}}^2/\left[{\mathrm{\σ}}_x{\mathrm{\σ}}_y\right],----\left(11\right)$

注意，2D峰度是整个m×n图像或其中的任何区域的清晰度指标。不过，存在着依据本发明建立的非常重要的差别。虽然当图像变得更加清晰时整个图像的2D峰度降低了，但是8×8块的峰度随着清晰度增大。这一效果是边缘附近的局部频率分布的结果。这样，对于给定的2D图像区域f(X，Y)，即，8×8像素块，其中m，n＝0，1，...7，可以得到相应的2D DCT系数F(u，v)，其中u和v是空间频率。然后在剔除了F(0，0)之后对F(u，v)进行归一化，以形成双变概率密度函数，p(u，v)。

参照附图4，每个具有中心位于边缘像素位置上的图像块的边缘轮廓的8×8 DCT块的峰度是依照等式(8)计算出来的。于是，对于其中具有边缘轮廓的每个8×8像素块，确定出了穿过边缘频率轮廓的像素数量w。此后，8×8块的2D峰度K乘以相应的w。注意，每个具有边缘轮廓的块上的2D峰度值(w×K)代表边缘频率轮廓的局部峰度，并且因此它是清晰度的局部衡量标准。这样，平均值能够代表整个帧的清晰度衡量标准。因此，在依照等式(8)计算了每个具有边缘轮廓的块上的2D峰度之后，加法器18通过对被具有边缘轮廓的块的总数相除之后的每个具有边缘轮廓的块的(w×K)求和，而对具有边缘轮廓的所有8×8块上的峰度求平均。而且，该平均可以针对每帧或每图像进行求算，或者也可以作为某一时间窗上的运行平均来求解，以获得清晰度衡量标准的不同等级，这取决于应用而变。

附图5是表示按照本发明的实施方式的评价视频质量的操作步骤的流程图。应当注意到，处理和判断框可以表示由功能上等效的电路所执行的步骤，比如数字信号处理器电路或专用集成电路(ASIC)。该流程图并不表示任何具体的编程语言的语法。而是，该流程图表示了本领域技术人员构造电路或生成计算机软件来执行特定设备所需的处理而需要的功能性信息。

当在步骤110中接收到输入视频帧的时候，在步骤120中使用附图2的边缘检测器14为每个输入视频帧生成边缘图像。然后，在步骤140中使用附图2中的分段模块12将每个边缘像素分配给一个8×8块。在步骤160中进行8×8DCT、F(u，v)，并且在步骤180中进行归一化，以得到PDF、p(u，v)。此后，在步骤200中使用附图2中的K估计器16对边缘频率轮廓的每个块进行2D峰度计算。在步骤202中，如果所有的边缘像素都得到了处理，那么在步骤204中使用附图2的加法器18对所有8×8块求峰度的平均。

从前面可以清楚地看出，本发明具有这样的优点：清晰度度量***10使用围住图像边缘的小区域的峰度，从而考虑频率特性以及局部空间信息。所得到的清晰度衡量结果是不依赖于内容的，通过关注边缘区域中的局部峰度，本发明能够避免噪声。应注意到，很多视频应用，比如视频成像器的聚焦控制、视频处理算法开发、实时视频质量监控/控制以及网络视频的实时质量控制都将受益于本发明的指导思想。由于度量具有简单且一般的方法，因此可以用作实时质量观测器，具有如下三个优点。它具有1)***且一致的清晰度质量控制，2)采用起来非常便宜，并且对很多实施应用来说，在没有人参与的情况下是切实可行的，3)将质量观察人员从大量烦琐的工作中解放了出来。例如，附图6-8是应用了本发明的实施方式的场合的简化框图。参照附图6，清晰度检测器10可以连接到任何类型的视频生成装置上，比如无人管理摄像机或能够根据特定图像产生视频数据的其它视频器材。参照附图7，视频存储器22可以是本领域中公知的任何现有的视频存储介质。参照附图8，可以在视频采集操作中实施清晰度度量检测器，比如检测、编码、传输、增强等等，从而可以使用适当选取的监控和控制点来安装不同范围的清晰度控制环路。

虽然图示和介绍了本发明的优选实施方式，但是本领域的技术人员应当理解，在不超出本发明的范围的情况下，可以进行各种不同的改变和修改，并且可以使用等效物代替其元件。此外，可以进行很多的修改来适应具体的环境和本发明的指导思想，而不会超出中心范围。因此，我们期望本发明并不局限于作为为了实现本发明而设想的最佳模式所公开的具体实施方式，而是包括所有落在所附的权利要求书的范围之内的实施方式。

Claims (12)

1.一种评价视频数据的清晰度质量的方法，该方法包括步骤：

(a)接收输入视频帧；

(b)为所述输入视频帧获取由边缘像素构成的边缘图像；

(c)将所述边缘图像的选定部分的每个边缘像素分配到一个8×8块的中心；

(d)对所述8×8块进行离散余弦变换(DCT)，以产生一组DCT系数；

(e)对所述8×8块的所述DCT系数进行归一化，以获得一个二元概率密度函数；和

(f)计算所述归一化DCT系数的峰度，以产生清晰度度量。

2.按照权利要求1所述的方法，还包括对包含所述边缘像素的每个8×8块重复进行所述步骤(c)到(f)的步骤。

3.按照权利要求2所述的方法，还包括为每个8×8块对所计算的峰度求平均以确定总的清晰度度量的步骤。

4.按照权利要求1所述的方法，其中获取所述边缘图像的所述步骤(b)涉及选择具有大于预定阈值等级之频带的边缘。

5.按照权利要求1所述的方法，其中确定所述DCT系数的所述步骤(d)还包括从DCT系数中除去预定DCT系数的步骤。

6.一种用于评价视频数据的清晰度质量的设备，包括：

一个边缘检测装置(14)，适于接收输入视频帧，以便为所述输入视频帧获取由边缘像素构成的边缘图像；

一个分段装置(12)，用于接收所述输入视频帧，并且在不重复的情况下将所述边缘图像的选定部分的每个边缘像素分配给一个8×8块，并且可以选择以边缘像素为块的中心；和

一个峰度估计器(16)，用于对所述8×8块进行离散余弦变换(DCT)，以产生一组DCT系数，对所述8×8块的所述DCT系数进行归一化，以获得一个二元概率密度函数，并且估计其峰度。

7.按照权利要求6所述的设备，其中所述边缘图像的选定部分的所述每个边缘像素被分配到所述8×8块的中心。

8.按照权利要求6所述的设备，还包括一个求和装置(18)，用于平均所述每个8×8块的所述估计的峰度，以获得总的清晰度度量。

9.按照权利要求6所述的设备，其中所估计的峰度表示所述8×8块的清晰度质量。

10.按照权利要求6所述的设备，其中所述边缘检测装置(14)可选择具有大于预定阈值等级之频带的边缘。

11.按照权利要求6所述的设备，其中所述峰度估计器(16)在估计DCT系数的峰度之前，从DCT系数中除去选定的DCT系数。

12.一种信号处理器，可响应于输入视频帧来评价清晰度质量，包括：

一个输入部分、一个输出部分和一个连接在所述输入和所述输出部分之间的处理单元，所述处理单元被构造成适于接收所述输入视频帧；为所述输入视频帧获取由边缘像素构成的边缘图像；将所述边缘图像的选定部分的每个边缘像素分配到一个8×8块的中心；对所述8×8块进行离散余弦变换(DCT)，以产生一组DCT系数；对所述8×8块的所述DCT系数进行归一化，以获得一个二元概率密度函数；和计算所述归一化DCT系数的峰度，以产生清晰度度量。

Images