CN102598687A - 计算视频图像中的模糊的方法和装置 - Google Patents

Abstract

模糊是与图像质量相关的最重要的特征之一。精确地估计图像的模糊级别对精确地估计它的质量有很大帮助。一种计算视频图像的模糊的方法包括：计算水平模糊值；并确定视频图像的特性参数，所述特性参数至少包括逐行的/隔行的和空间分辨率级别。如果视频图像是逐行的，则也计算垂直模糊值，并且将垂直模糊值与水平模糊值相组合。下一步骤是：根据预定的最小值和最大值，规范化水平模糊值、或组合的水平和垂直模糊值，其中所述最小值和最大值适应于所述空间分辨率级别。

Description

计算视频图像中的模糊的方法和装置

技术领域

本发明涉及一种用于确定和计算视频图像中的模糊(blur)的方法和装置。

背景技术

模糊是与图像质量相关的最重要的特征之一。精确地估计图像的模糊级别对精确地估计它的质量有很大帮助。已经提出了各种方法来解决这个问题，例如在作者为Debing Liu、Zhibo Chen、Huadong Ma、Feng Xu和Xiaodong Gu的“No-Reference Block Based Blur Detection”¹中，或在作者为P.Marziliano、F.Dufaux、S.Winkler和T.Ebrahimi的“A no-reference perceptual blur metric”²中，或者在类似的专利申请WO03/092306中。

所有目前已知的模糊检测方案仅仅根据图像自身的信息来估计图像的模糊级别。然而，设计一种对于所有类型的模糊都具有高性能的普通模糊检测方案是困难的。模糊检测被用于图像质量确定或估计，或者模糊检测在模糊消除之前。对于上面两者，令人期望的是知道模糊的来源是什么。单单根据图像，这是比较困难的或者甚至是不可能的。因此，目前使用普通模糊检测方案。因为这样的普通解决方案在不同的情况下无法考虑特定的模糊类型，因此它的精度不高。

发明内容

已经意识到，存在许多类型的模糊，例如通过H.264编码或者通过MPEG-2编码产生的模糊，并且那些不同类型的模糊具有不同的特征。模糊检测和计算可能受许多因素例如图像分辨率、编码配置、编解码器类型和模糊类型影响。缺乏那些因素的信息将明确地影响模糊检测的性能。那些因素中的一些仅仅根据图像自身是不能获得的或者不能被精确地估计。

在本发明中，我们提出了一种改进的可配置的模糊检测和/或计算方案。在一方面，模糊检测和/或计算基于计算水平模糊值、确定视频图像的特性参数和规范化模糊值。如果视频图像是逐行的，则也计算垂直模糊值并且在规范化之前将该垂直模糊值与该水平模糊值相组合。提高的模糊值可用于图像质量确定或估计，或者作为用于模糊消除算法的控制参数。

在一个实施例中，用户首先给出特性因素的一些配置，并且随后基于用户配置应用适当的模糊检测方案。在另一个实施例中，从视频解码器直接地获得特性因素。附加的信息将极大地提高模糊检测的性能。

例如，可以将视频区分为隔行的或逐行的。在它们之间有许多不同之处，并且考虑这些不同之处会改善模糊确定和模糊计算。本发明的一方面是对于隔行的视频图像使用特定的模糊检测方案，对于逐行的视频图像使用不同的特定模糊检测方案。

根据本发明的一方面，一种确定和/或计算视频图像的模糊的方法，包括以下步骤：计算水平模糊值；确定视频图像的特性参数，所述特性参数至少包括逐行的/隔行的和空间分辨率级别；如果视频图像是逐行的，则也计算垂直模糊值，并且将其与水平模糊值相组合；和根据预定的最小值(min)和最大值(max)，规范化水平模糊值、或组合的水平和垂直模糊值，其中所述最小值和最大值适应于所述空间分辨率级别。

在一个实施例中，计算水平模糊值的步骤是至少或者仅对垂直MB边缘的中心周围的图像区域进行的。在一个实施例中，计算垂直模糊值的步骤也是对水平MB边缘的中心周围的图像区域进行的。

在一个实施例中，计算模糊值包括计算当前像素周围的局部变化。

在一个实施例中，水平模糊值的局部变化是根据垂直线上的像素和水平线上的像素来计算的，其中使用了比来自垂直线更多的来自水平线的像素，并且其中水平MB边缘的所述中心是所述两条线的一端。在一个实施例中，如果局部变化在最大阈值以上或者在最小阈值之下，则所述当前像素被排除在模糊计算之外。

在一个实施例中，视频图像的特性参数中的一个或多个是通过用户接口或者在通过用户接口输入之后从存储器中获得的。在一个实施例中，视频图像的特性参数中的一个或多个是通过机器接口从视频解码器中获得的。在一个实施例中，视频图像的特性参数中的一个或多个是通过与视频图像相关联的元数据获得的。也可以从不同的这些源中获得不同的特性参数。

根据本发明的另一方面，一种计算机程序产品包括：使得计算机执行上述方法的代码。

根据本发明的另一方面，一种用于计算视频图像的模糊的装置包括：用于计算水平模糊值的部件；用于确定视频图像的特性参数的部件，所述特性参数至少包括逐行的/隔行的和空间分辨率级别；用于如果视频图像是逐行的则也计算垂直模糊值并且将其与水平模糊值相组合的部件；和用于根据预定的最小值和最大值规范化水平模糊值、或组合的水平和垂直模糊值的部件，其中所述最小值和最大值适应于所述空间分辨率级别。

所附权利要求、下面的描述和附图中披露了本发明的有益实施例。

附图说明

参考附图来描述本发明的示例性实施例，其中

图1示出了可配置的模糊检测方案的过程；

图2示出了针对逐行的或隔行的图像的模糊计算；

图3示出了水平模糊计算的示例性流程图；

图4示出了局部模糊计算的位置和局部变化计算的区域；和

图5示出了局部模糊计算的示例。

具体实施方式

本发明披露了一种灵活且可配置的模糊检测和/或模糊计算方案。

图1一般图示了包含三个步骤的可配置的模糊检测过程：

首先，获得配置数据。这些可以通过用户输入。对于将要估计的图像，用户可以给出配置的特性参数以便指出特定情形。用户配置可以是影响模糊检测方案的任何事物，例如分辨率、逐行的或隔行的、编解码器类型、编码配置和模糊类型(压缩模糊、运动模糊、焦点没对准模糊、低通滤波模糊、上取样模糊等等)。这些特性参数可以单独或者以任意组合被使用。

将要注意，特性参数也可以在通过用户接口输入之后从存储器中获得，或者通过机器接口从视频解码器和/或通过与视频图像相关联的元数据中获得。在后一种情况，根据本发明，视频解码器包括用于从视频信号提取这些元数据的部件和用于将元数据提供给模糊检测器或计算器的部件。

其次，根据配置自动地选择合适的模糊检测方案。模糊检测方案根据上述的配置数据而改变。所述改变可以是完全地框架改变，或者它可以仅仅是一些参数的调整。如果没有定义配置，则可以选择默认模糊检测方案。

再次，输出均匀(或统一)的模糊值。根据不同的配置，模糊检测方案不同地工作，这结果影响所计算的模糊值的价值。也就是，从不同的模糊检测和/或模糊计算方案获得的模糊值不是直接可比较的。因此，根据本发明，它们被统一或标准化为统一的格式。在一个实施例中，这可以通过缩放来获得。例如，使用线性缩放。其他更复杂的缩放类型也是可能的。

在本发明的一个实施例中，所计算的模糊值被缩放到(0-100)的范围，其中0表示最小模糊，且100表示最大模糊。可替换地，缩放可以是(0-1)或(0％-100％)或类似的范围。针对不同的配置，缩放规则可以不同。

下面是可配置的模糊检测/计算方案的示例性实施例。它具有对应于以下特性参数的两个配置项：视频格式(具有两个选项)和分辨率(具有两个选项)。

视频格式可以是“逐行的”，其中将被估计的图像来自逐行的视频，或者可以是“其他/非逐行的”，其中将被估计的图像来自隔行的视频，或者如果视频是逐行的或隔行的，则它是未知的。

分辨率可以是“高分辨率”，例如比等于1280×720像素的更高，或者可以是“其他”(即，低于1280×720像素，例如SD、CIF、QCIF等等)。

在一个实施例中，本发明包括使用用户配置来帮助模糊检测，即，设计出特定情节。在这个实施例中，用户配置包括两个项：视频分辨率(高分辨率或其它)和视频格式(逐行的或其它)。也可以存在其他配置，例如编解码器类型(MPEG-2、H.264、JPEG等)、编码配置和模糊类型(运动模糊、焦点没对准模糊、压缩模糊、上取样模糊、低通滤波模糊等)。用户配置可以经由文本接口、语音接口、存储器接口、开关配置接口来输入。

在一个实施例中，模糊检测/计算方案可被概括如下：根据配置数据(逐行的或其它、高分辨率或其它分辨率类型)，自动选择合适的方案并且自动设置相关的参数。同样根据配置数据，使用不同的缩放规则来获得均匀的模糊值。

本发明的一个优点是，利用附加的配置信息，可以大大地提高具体特定情形中的模糊检测的精度，并因此在更多的情形中可以使用该方案。

图2示例性示出了基于用户配置的模糊检测方案的流程图。它包含三个步骤：

1.计算水平模糊(blur_h)。

这将被图解说明如下(参考图3)。

2.根据用户配置，从多个预定的不同方案中选择合适的方案。

对于逐行的图像，计算垂直模糊，并且随后将垂直模糊与水平模糊相组合以便获得最终模糊。这是因为垂直和水平模糊计算具有类似的性能，并且他们的组合可以帮助获得更稳定的结果。垂直模糊的计算是以与水平模糊的方式相同的方式进行的，下面将对其更详细地说明。

对于其他(隔行的图像或不明确的图像)，不计算垂直模糊。相反，仅仅水平模糊被用作最终模糊。这是因为在隔行的图像中顶场和底场可能未被对准，这将大大地影响垂直模糊计算。更好的是仅使用水平模糊作为最终模糊。已经发现，去隔行过程仍旧无法解决这个问题，尤其对于低质量图像。

3.输出均匀的模糊值

根据用户配置，存在四种类型的图像：高分辨率/p、非高分辨率/p、高分辨率/i和非高分辨率/i。通过对大量四种类型图像的统计分析或者从其他源可以获得下限和上限。在统计分析之后，公式(1)给出了缩放规则，

其中x是计算后的模糊值，c_min是计算后的模糊值的下限，c_max是计算后的模糊值的上限。c_min和c_max是预先定义的，例如如表1中的那样。

不同对的c_min和c_max用于具有不同分辨率配置的图像，因为对于不同分辨率图像，模糊检测方案是不同的，并且相关的计算后的模糊值在不同的范围内(参见图3)。在一个实施例，基于对具有不同分辨率的大量图像的分析实验性地设置它们。

分辨率：	[cmin，cmax]：
		高分辨率	[3，13]
其他	[2，6]

表1：对于不同类型的图像的最终模糊值的下限和上限

将要注意，可以修改上述实施例，从而在通过用户接口被输出之后从存储器、通过来自视频解码器的机器接口、或者从与视频图像相关联的元数据，获得一些或全部特性参数。

图3示出了水平模糊计算的流程图。

原则上，垂直模糊能够以相同的方式来计算。它包含下列步骤：

步骤1：选择计算局部模糊的位置

在本发明中，用于局部模糊计算的位置被设置在宏块(MB)边界的中心处。如图4所示，P_v1和P_v2是用于计算垂直模糊的位置，并且处于MB的水平边界的中心上。P_h1和P_h2是在MB的垂直边界的中心上，并且是用于计算水平模糊的位置。由于点的离散光栅以及每MB边缘的偶数点，边缘的“中心”上的位置可被实现为边缘的“近似实际中心”。例如，在16×16MB中，垂直边缘的第8或第9比特可被用作中心。在图4a)中所示的示例中，使用第9比特(从顶部计数起)。在所有的MB中使用相同的计数和相同的像素。

步骤2：计算局部变化(Var_1)

如图4a)中所示，在位置P_h1周围具有水平方向上16个像素与垂直方向上8个像素的黑交叉区域是用于局部变化计算的区域。对于垂直局部模糊计算，在具有垂直方向上16个像素和水平方向上8个像素的交叉区域中计算局部变化，如图4b)中示意性示出。

局部变化计算的公式如下：

$\mathrm{Var}\_l=\sqrt{\frac{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{(x_i-\stackrel{\‾}{x})}^2}{N-1}}---\left(2\right)$

其中N是所用像素的数量(在该示例中，8+16＝24)，x_i是图4a)中p_h1周围的黑交叉区域中的像素，

是所有x_i的平均值。

步骤3：判断Var_1是否在预定的范围内。

已经发现，在太复杂或者太平坦组织的区域中，局部模糊计算可能相当不准确。Var_1的范围限制可能有助于排除那些区域。该范围可以根据分辨率实验性地确定。在表2中示出了一个示例。例如，如果在高分辨率图像中的特定MB边缘处使用的上述24个像素的变化计算产生值20，则它在所述范围之内，并且使用MB边缘。如果在高分辨率图像中的另一MB边缘处使用的上述24个像素的变化计算产生值34，则它在所述范围之外，并且对于模糊确定/计算不使用MB边缘。在一个实施例中，高分辨率图像的范围比其他(或未知)分辨率类型图像的范围具有最小下限和最大下限，如表2中。

分辨率类型：

范围：

高分辨率	[a，b]＝[1，30]
		其他	[c，d]＝[2，40]

表2：排除的局部变化的范围

步骤4：局部模糊的计算

在一个实施例中，根据分辨率，使用用于局部模糊的不同计算方法。图5中示出了一个示例。

a)高分辨率

该算法检测沿着水平方向具有局部最小或最大亮度值的两个像素。这两个像素之间的距离是局部模糊。在检测过程中，包括具有相同亮度的像素。在图5中，P0是用于局部模糊计算的位置，P1是具有局部最小亮度值的像素，P2是具有局部最大亮度值的像素，并且局部模糊值是P1与P2之间的空间距离(即，六个像素)。

b)其他分辨率类型

与高分辨率的方案不同，具有相同亮度值的像素被排除在检测过程以外。

在图5中，P0是用于局部模糊计算的位置，P1是具有局部最小亮度值的像素。

与高分辨率的方案不同，检测过程在P3处停止，因为P0是具有局部最大亮度值的像素，且P3等于P0。局部模糊值是P1与P0之间的空间距离(即，两个像素)。

在其他实施例中，仅使用“高分辨率”计算方法。在又另外实施例中，仅使用“其他分辨率”计算方法。

步骤5：计算最终水平模糊值

在该步骤中，其相关的Var_1处于预先定义的范围内的所有水平局部模糊值被平均，以便得到最终水平模糊。一个实施例包括通过计算算术平均来平均其相关Var_1在所述范围内的所有水平局部模糊值。

尽管已经示出、描述并指出应用于本发明优选实施例的本发明的基本新颖的特征，但是将会理解，在不脱离本发明的精神的前提下，本领域技术人员能够以所披露的装置的形式和细节以及在它们的操作中，做出所述装置和方法的各种删减、替代和变化。尽管已经参考视频图像披露了本发明，但是本领域技术人员会意识到此处描述的方法和装置可应用于任何数字图像。明显的意图是，以实现相同结果的基本相同的方式执行基本相同的功能的那些元件的所有组合在本发明的范畴之内。元件从一个所述实施例到另一个实施例的替代也是完全可以意料和预期的。

而且，将要注意，此处等效地使用“均匀的”和“统一的”。

将会理解，已经纯实例地描述了本发明，并且在不脱离本发明范畴的前提下可以进行细节的改动。

说明书和权利要求书(适当的地方)以及附图中披露的每个特征可以单独地或者以任何合适组合来提供。权利要求书中出现的附图标记仅仅是说明性的并且对权利要求书的范畴没有限制效果。

Claims (10)

1.一种计算视频图像的模糊的方法，包括以下步骤：

计算水平模糊值；

确定视频图像的特性参数，所述特性参数至少包括逐行的/隔行的和空间分辨率级别；

如果视频图像是逐行的，则也计算垂直模糊值，并且将其与水平模糊值相组合；和

根据预定的最小值和最大值，规范化水平模糊值、或组合的水平和垂直模糊值，其中所述最小值和最大值适应于所述空间分辨率级别。

2.根据权利要求1的方法，其中计算水平模糊值是对垂直MB边缘的中心(P_h1)周围的图像区域进行的。

3.根据权利要求1或2的方法，其中计算垂直模糊值是对水平MB边缘的中心(P_v1)周围的图像区域进行的。

4.根据权利要求1至3之一的方法，其中计算模糊值包括计算当前像素周围的局部变化。

5.根据回引权利要求2时的权利要求4的方法，其中水平模糊值的局部变化是根据垂直线上的像素和水平线上的像素来计算的，其中使用比来自垂直线的像素更多的来自水平线的像素，并且其中水平MB边缘的所述中心是所述两条线的一端。

6.根据权利要求4或5的方法，其中如果局部变化在最大阈值以上或者在最小阈值之下，则所述当前像素被排除在模糊计算之外。

7.根据权利要求1至6中任一项的方法，其中视频图像的特性参数中的一个或多个是通过用户接口或者在通过用户接口输入之后从存储器中获得的。

8.根据权利要求1至7中任一项的方法，其中视频图像的特性参数中的一个或多个是通过机器接口从视频解码器中获得的。

9.根据权利要求1至8中任一项的方法，其中视频图像的特性参数中的一个或多个是通过与视频图像相关联的元数据获得的。

10.一种用于计算视频图像的模糊的装置，其使用根据权利要求1至9中任一项的方法。

Images