CN109587474B - 基于失真恢复度的无参考视频质量评价方法及装置 - Google Patents

Abstract

本发明提供了一种基于失真恢复度的无参考视频质量评价方法及装置，其中，无参考视频质量评价方法中包括：S10提取待评价视频中的每帧图像；S20依次提取每帧图像中的亮度分量，得到每帧图像的灰度图；S30使用预先训练的图像失真恢复模型依次对每帧图像的灰度图进行恢复；S40根据预设规则依次计算每帧图像的灰度图的质量恢复度；S50根据每帧图像的灰度图的质量恢复度对待评价视频的质量进行评价，其是一种客观的视频质量评价方法，在视频质量的评估过程中无需观察者人工参与，能够节省大量的成本，并且具有更高的效率。

Description

基于失真恢复度的无参考视频质量评价方法及装置

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种基于失真恢复度的无参考视频质量评价方法及装置。

背景技术

在视频的获取、存储、处理和传输过程中，不可避免的会引入视频的失真，例如画面模糊、噪声等，这些失真将直接引起用户观看视频主观体验的下降，因此，对视频内容提供商来说，如何低成本、快速、准确的评估视频质量是一个非常重要的问题。

视频质量评估方法分为主观评估方法和客观评估方法。主观方法由观察者(人)对视频的主观质量进行评分，一般采用平均意见得分(Mean Opinion Score，MOS)或者平均意见差异得分(Differential Mean Opinion Score，DMOS)来表示，其中，MOS是观察者直接对视频质量做出的评分判断，DMOS是观察者同时观看失真视频和原始视频对两者之间的质量的差异做出的评分。主观评估方法可以直接用来度量人眼对视频质量的主观体验，优点在于结果准确，但是主观评估方法需要多名观察者对同一个视频观看打分后取平均值，成本高，效率低，因而无法在实际应用中直接使用。

客观评估方法是计算机根据一定的算法直接对视频计算得出视频的质量，无需人工干预。通常来说，客观视频质量评估方法会针对每一帧图像单独进行处理，分别计算视频片段中每一帧图像的客观质量。根据是否需要参考图像，客观评估方法分为三类：全参考(Full Reference，FR)方法，部分参考(Reduced Reference，RR)方法和无参考(NoReference，NR)方。FR方法是通过对比失真图像和原始无失真图像之间的差异对失真图像的质量进行评估，目前常用的指标包括：峰值信噪比(Peak Signal Noise Ratio，PSNR)、结构相似度(Structure Similarity，SSIM)、视觉信息保真度(Visual InformationFidelity，VIF)等，虽然该方法的准确性较高，但是需要原始无失真图像的参与，这在实际中往往很难获得。RR方法需要将失真图像和原始无失真图像的某些特征进行比较，以判断图像质量损失的程度，用于比较的特征包括小波变换系数的概率分布、多尺度几何分析、对比敏感度函数等，虽然该方法不需要完整的原始图像信息，但是原始图像的特征信息的获取在实际中同样难以获得，从而限制了其应用的范围。NR方法不需要原始图像的任何信息，直接根据失真图像自身来估计图像的质量，因而在实际中有着最为广泛的应用。

无参考图像质量评估方法主要分为两类，一类是面向特定失真的方法，一类是面向非特定失真的方法。面向特定失真的方法，是针对不同的失真类型分别评估，得出每种类型的失真的严重程度，失真类型包括噪声、模糊、块效应等。实际中，图像的失真可能是多种失真类型的组合，例如在图像压缩过程中，随着图像压缩程度的提高，高频分量的损失必然会引起图像模糊程度的增加，而H.264/H.265等基于块的编码压缩方式，又会使压缩后的图像在视觉上呈现出明显的块效应，因而面向非特定类型的失真更接近人眼视觉***的评价方式，更具有实用价值。在面向非特定失真的评估方法中，盲/无参考图像空域质量评估(Blind/Referenceless Image Spatial Quality Evaluator，BRISQUE)是一个典型的代表。BRISQUE算法的基本思想是，尽管自然场景图像的亮度或颜色分布可能存在很大差异，但使用亮度归一化方式对图像进行处理后，图像的归一化亮度系数将具有显著的统计规律，而失真则会破坏这种统计规律。基于这一思想，BRISQUE算法首先计算图像多尺度的去均值对比度归一化(Mean Subtracted Contrast Normalized，MSCN)系数，并对这些系数及其沿不同方向的相关系数进行非对称广义高斯拟合，得到的参数作为特征，然后训练支持向量回归(Support Vector Regression，SVR)模型进行训练，得到最终的图像质量评估模型。BRISQUE算法完全工作在空域，整体执行效率非常高，算法的运行速度非常快。但是，在实际中发现，不同类型的图像，MSCN分布差异较大，在一个广泛的数据集上拟合出来的模型，存在着较大的偏差。此外，BRISQUE模型仅针对自然场景的图像，而对于影视、综艺类视频，由于存着在大量的特效处理，其MSCN系数分布的差异度也较大，难以训练统一的模型进行治疗评价。

虽然无参考视频质量评估方法从视频内容到终端用户的各环节中都有着非常广泛的应用，但是，由于缺乏原始的无失真视频作为对比、视频的内容***，使得无参考视频质量评价这一任务变得非常困难。

发明内容

针对上述问题，本发明提供了一种基于失真恢复度的无参考视频质量评价方法及装置，有效解决现有技术中无参考视频质量评价难以实现的技术问题。

本发明提供的技术方案如下：

一种基于失真恢复度的无参考视频质量评价方法，包括：

S10提取待评价视频中的每帧图像；

S20依次提取每帧图像中的亮度分量，得到每帧图像的灰度图；

S30使用预先训练的图像失真恢复模型依次对每帧图像的灰度图进行恢复；

S40根据预设规则依次计算每帧图像的灰度图的质量恢复度；

S50根据每帧图像的灰度图的质量恢复度对待评价视频的质量进行评价。

进一步优选地，在步骤S20，依次提取每帧图像中的亮度分量，得到每帧图像的灰度图中，具体为：通过将RGB图像转化为YCbCr图像的方式得到每帧图像中的亮度分量，转换方法为，

其中，Y为YCbCr图像中的亮度分量，Cb和Cr为YCbCr图像的色度分量，R、G和B分别表示RGB图像中的红色、蓝色和绿色分量。

进一步优选地，在步骤S30中，包括对图像失真恢复模型进行训练的步骤：

S31构建图像失真恢复模型；

S32构建训练数据集，所述训练数据集中包括失真图像和无失真图像；

S32采用有监督的训练方法对图像失真恢复模型进行训练，在训练过程中，图像失真恢复模型的输入为失真图像，输出为无失真图像。

进一步优选地，在步骤S32中，对无失真图像进行不同等级的压缩得到相应等级的失真图像；

在步骤S33中，使用不同等级的失真图像对图像失真恢复模型进行训练。

进一步优选地，在步骤S40中，计算输入图像失真恢复模型的灰度图及输出的恢复图像之间的RD-PSNR和/或RD-SSIM，得到每帧图像的质量恢复度。

本发明还提供了一种基于失真恢复度的无参考视频质量评价装置，包括：

图像提取模块，用于提取待评价视频中的每帧图像；

亮度分量提取模块，用于依次提取图像提取模块提取的每帧图像中的亮度分量，得到每帧图像的灰度图；

图像失真恢复模型，用于依次对亮度分量提取模块提取的每帧图像的灰度图进行恢复；

质量评价模块，用于根据预设规则依次计算每帧图像的灰度图的质量恢复度，及根据每帧图像的灰度图的质量恢复度对待评价视频的质量进行评价。

进一步优选地，在亮度分量提取模块中，具体为：通过将RGB图像转化为YCbCr图像的方式得到每帧图像中的亮度分量，转换装置为，

其中，Y为YCbCr图像中的亮度分量，Cb和Cr为YCbCr图像的色度分量，R、G和B分别表示RGB图像中的红色、蓝色和绿色分量。

进一步优选地，在所述无参考视频质量评价装置中还包括图像失真恢复模型训练模块，包括：

模型构建单元，用于构建图像失真恢复模型；

训练集构建单元，用于构建训练数据集，所述训练数据集中包括失真图像和无失真图像；

训练单元，用于采用有监督的训练装置对图像失真恢复模型进行训练，在训练过程中，图像失真恢复模型的输入为失真图像，输出为无失真图像。

进一步优选地，在训练集构建单元中，对无失真图像进行不同等级的压缩得到相应等级的失真图像；

在训练单元中，使用不同等级的失真图像对图像失真恢复模型进行训练。

进一步优选地，在质量评价模块中，计算输入图像失真恢复模型的灰度图及输出的恢复图像之间的RD-PSNR和/或RD-SSIM，得到每帧图像的质量恢复度。

本发明提供的基于失真恢复度的无参考视频质量评价方法及装置，带来的有益效果包括：

本发明提供的无参考视频质量评价方法，采用预先构建的图像失真恢复模型分别对待评价视频中每帧图像的灰度图进行恢复，并通过计算恢复图像与恢复前的灰度图间的RD-PSNR和/或RD-SSIM得到每帧图像的质量恢复度，进而对待评价视频的质量进行评价，是一种客观的视频质量评价方法，在视频质量的评估过程中无需观察者人工参与，能够节省大量的成本，并且具有更高的效率，且为不同分辨率的视频间的质量比较提供了一个可行的方案；另外，该无参考视频质量评价方法能够面向非特定失真类型的失真视频进行质量评估，能够处理不同类型失真耦合情况下的视频质量失真，应用非常广泛；再有，在该无参考视频质量评价方法中提出的失真恢复度这一度量指标，更符合人眼视觉***对视频质量的主观感知模式，与人的主观体验的一致性更好。

附图说明

下面将以明确易懂的方式，结合附图说明优选实施方式，对上述特性、技术特征、优点及其实现方式予以进一步说明。

图1为本发明中基于失真恢复度的无参考视频质量评价方法的流程示意图；

图2为本发明中对原始的无失真图像进行图像压缩的过程图；

图3为本发明中基于失真恢复度的无参考视频质量评价装置结构示意图。

附图标记：

100-无参考视频质量评价装置，110-图像提取模块，120-亮度分量提取模块，130-图像失真恢复模型，140-质量评价模块。

具体实施方式

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对照附图说明本发明的具体实施方式。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。

如图1所示为本发明提供的基于失真恢复度的无参考视频质量评价方法的流程示意图，从图中可以看出，在该无参考视频质量评价方法中包括：

S10提取待评价视频中的每帧图像；

S20依次提取每帧图像中的亮度分量，得到每帧图像的灰度图；

S30使用预先训练的图像失真恢复模型依次对每帧图像的灰度图进行恢复；

S40根据预设规则依次计算每帧图像的灰度图的质量恢复度；

S50根据每帧图像的灰度图的质量恢复度对待评价视频的质量进行评价。

由于本发明中提供的无参考视频质量评价方法是通过对待评价视频中每帧图像进行分别进行质量评估实现的，是以在步骤S10中，通过视频解码的方式从待评价视频中获取每帧图像。

对于人类视觉***来说，对色度的敏感程度要低于对亮度的敏感程度，因此，在本发明提供的无参考视频质量评价方法针对每帧图像中的亮度分量对其质量进行评价。我们知道，彩色图像一般采用R(红色)、G(绿色)和B(蓝色)三原色的方式进行表示，亮度和色度分离后的图像采用Y、Cb及Cr表示，其中Y为亮度分量，Cb和Cr为色度分量。根据标准ITU-RBT.601-7，从RGB格式向YCbCr格式的转换公式如式(1)：

基于此，在步骤S20，通过将RGB图像转化为YCbCr图像的方式得到每帧图像中的亮度分量Y，进而得到每帧图像的灰度图。

得到每帧图像的灰度图之后，随即采用预先训练的图像失真恢复模型依次进行恢复，得到恢复图像。在训练图像失真恢复模型的过程中，首先，构建图像失真恢复模型；之后，构建包括失真图像和无失真图像；最后，采用有监督的训练方法对图像失真恢复模型进行训练。在训练过程中，图像失真恢复模型的输入为失真图像，输出为无失真图像，以此训练得到图像失真恢复模型。在图像恢复的过程中，将待评价视频中每帧图像对应的灰度图输入该图像失真恢复模型即可得到恢复后的图像。我们知道，图像失真恢复是计算机视觉和图像处理领域研究的一个重要方向，在众多的失真类型中，图像模糊在视频中广泛存在。而造成视频模糊的原因很多，常见的原因包括：视频拍摄过程中目标与相机之间的快速的相对运动、摄像机对焦模糊、视频压缩过程中高频量的损失等。随着深度学习技术的发展，图像失真恢复的效果越来越好，在本发明中，对图像失真恢复算法不做限定，任何效果良好的图像失真恢复算法均可用在本发明的无参考视频质量评价方法中，用于构建图像失真恢复模型对灰度图进行恢复。

为了保证图像失真恢复模型的准确性，在构建训练集的过程中，应该确保训练集中包括不同质量的图像；在模型训练过程中，使用不同质量的失真图像对图像失真恢复模型进行训练。即，在训练集中除了包括标准的数据集之外，需额外准备多级质量图像对模型参数进行微调。具体，多级质量图像可以通过对原始的无失真图像进行不同程度的压缩得到，如，在一实例中，压缩等级分为5级：失真图像等级1～5，其中，失真图像等级1对应的图像质量最差，失真图像等级5对应的图像质量最高，如图2所示。

使用图像失真恢复模型对每帧图像的灰度图进行恢复得到恢复图像之后，计算输入图像失真恢复模型的灰度图及输出的恢复图像之间的RD-PSNR和/或RD-SSIM，得到每帧图像的质量恢复度，RD-PSNR的计算公式如式(2)：

其中，MSE为灰度图I及输出的恢复图像K之间的均方差，

灰度图及输出的恢复图像的图像分辨率为M×N，I(i,j)为灰度图I中(i,j)处的像素值，K(i,j)I(i,j)为恢复图像K中(i,j)处的像素值。

RD-SSIM的计算公式如式(3)：

其中：μ_I为灰度图I(输入图像)的均值，

μ_K为输出恢复图像K的均值，

σ_I为灰度图I的方差，

σ_K为输出恢复图像K的方差，

σ_IK为灰度图I和输出恢复图像之间的协方差：

c₁、c₂为系数，c₁＝(k₁L)²，c₂＝(k₂L)²，L为图像像素值的动态范围。在一实例中，当灰度图I的像素值用8bit表示时，L＝2^bitdepth-1＝255，k₁和k₂的推荐默认值为k₁＝0.01，k₂＝0.03。

对于视频V，其帧的集合为{f₁,f₂,…,f_#V}，其中#V表示视频V中帧的数量，则度量视频V质量的两个指标如式(4)和(5)：

如图3所示为本发明提供的基于失真恢复度的无参考视频质量评价装置结构示意图，从图中可以看出，在该无参考视频质量评价装置100中包括：图像提取模块110、亮度分量提取模块120、图像失真恢复模型130及质量评价模块140，其中，亮度分量提取模块120与图像提取模块110连接，图像失真恢复模型130与亮度分量提取模块120连接，质量评价模块140与图像失真恢复模型130连接。图像提取模块110用于提取待评价视频中的每帧图像；亮度分量提取模块120用于依次提取图像提取模块110提取的每帧图像中的亮度分量，得到每帧图像的灰度图；图像失真恢复模型130用于依次对亮度分量提取模块120提取的每帧图像的灰度图进行恢复；质量评价模块140用于根据预设规则依次计算每帧图像的灰度图的质量恢复度，及根据每帧图像的灰度图的质量恢复度对待评价视频的质量进行评价。

由于本发明中提供的无参考视频质量评价方法是通过对待评价视频中每帧图像进行分别进行质量评估实现的，是以在图像提取模块110中，通过视频解码的方式从待评价视频中获取每帧图像。

对于人类视觉***来说，对色度的敏感程度要低于对亮度的敏感程度，因此，在本发明提供的无参考视频质量评价方法针对每帧图像中的亮度分量对其质量进行评价。我们知道，彩色图像一般采用R(红色)、G(绿色)和B(蓝色)三原色的方式进行表示，亮度和色度分离后的图像采用Y、Cb及Cr表示，其中Y为亮度分量，Cb和Cr为色度分量。根据标准ITU-RBT.601-7，从RGB格式向YCbCr格式的转换公式如式(1)：

基于此，在亮度分量提取模块120中，通过将RGB图像转化为YCbCr图像的方式得到每帧图像中的亮度分量Y，进而得到每帧图像的灰度图。

亮度分量提取模块120得到每帧图像的灰度图之后，随即采用预先训练的图像失真恢复模型130依次进行恢复，得到恢复图像。在训练图像失真恢复模型130的过程中，首先，通过模型构建单元构建图像失真恢复模型130；之后，通过训练集构建单元构建包括失真图像和无失真图像；最后，训练单元采用有监督的训练方法对图像失真恢复模型130进行训练。在训练过程中，图像失真恢复模型130的输入为失真图像，输出为无失真图像，以此训练得到图像失真恢复模型130。在图像恢复的过程中，将待评价视频中每帧图像对应的灰度图输入该图像失真恢复模型130即可得到恢复后的图像。我们知道，图像失真恢复是计算机视觉和图像处理领域研究的一个重要方向，在众多的失真类型中，图像模糊在视频中广泛存在。而造成视频模糊的原因很多，常见的原因包括：视频拍摄过程中目标与相机之间的快速的相对运动、摄像机对焦模糊、视频压缩过程中高频量的损失等。随着深度学习技术的发展，图像失真恢复的效果越来越好，在本发明中，对图像失真恢复算法不做限定，任何效果良好的图像失真恢复算法均可用在本发明的无参考视频质量评价方法中，用于构建图像失真恢复模型130对灰度图进行恢复。

为了保证图像失真恢复模型130的准确性，在训练集构建单元构建训练集的过程中，应该确保训练集中包括不同质量的图像；在模型训练过程中，使用不同质量的失真图像对图像失真恢复模型130进行训练。即，在训练集中除了包括标准的数据集之外，需额外准备多级质量图像对模型参数进行微调。具体，多级质量图像可以通过对原始的无失真图像进行不同程度的压缩得到，如，在一实例中，压缩等级分为5级：失真图像等级1～5，其中，失真图像等级1对应的图像质量最差，失真图像等级5对应的图像质量最高，如图2所示。

使用图像失真恢复模型130对每帧图像的灰度图进行恢复得到恢复图像之后，质量评价模块140计算输入图像失真恢复模型130的灰度图及输出的恢复图像之间的RD-PSNR和/或RD-SSIM，得到每帧图像的质量恢复度，RD-PSNR的计算公式如式(2)：

其中，MSE为灰度图I及输出的恢复图像K之间的均方差，

灰度图及输出的恢复图像的图像分辨率为M×N，I(i,j)为灰度图I中(i,j)处的像素值，K(i,j)I(i,j)为恢复图像K中(i,j)处的像素值。

RD-SSIM的计算公式如式(3)：

其中：μ_I为灰度图I(输入图像)的均值，

μ_K为输出恢复图像K的均值，

σ_I为灰度图I的方差，

σ_K为输出恢复图像K的方差，

σ_IK为灰度图I和输出恢复图像之间的协方差：

c₁、c₂为系数，c₁＝(k₁L)²，c₂＝(k₂L)²，L为图像像素值的动态范围。在一实例中，当灰度图I的像素值用8bit表示时，L＝2^bitdepth-1＝255，k₁和k₂的推荐默认值为k₁＝0.01，k₂＝0.03。

对于视频V，其帧的集合为{f₁,f₂,…,f_#V}，其中#V表示视频V中帧的数量，则度量视频V质量的两个指标如式(4)和(5)：

应当说明的是，上述实施例均可根据需要自由组合。以上仅是本发明的优选实施方式，应当指出，对于本技术领域的普通相关人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (6)

1.一种基于失真恢复度的无参考视频质量评价方法，其特征在于，包括：

S10提取待评价视频中的每帧图像；

S20依次提取每帧图像中的亮度分量，得到每帧图像的灰度图；

S30使用预先训练的图像失真恢复模型依次对每帧图像的灰度图进行恢复；

S40根据预设规则依次计算每帧图像的灰度图的质量恢复度；

S50根据每帧图像的灰度图的质量恢复度对待评价视频的质量进行评价；

在步骤S20，依次提取每帧图像中的亮度分量，得到每帧图像的灰度图中，具体为：通过将RGB图像转化为YCbCr图像的方式得到每帧图像中的亮度分量，转换方法为，

其中，Y为YCbCr图像中的亮度分量，Cb和Cr为YCbCr图像的色度分量，R、G和B分别表示RGB图像中的红色、蓝色和绿色分量；

在步骤S30中，包括对图像失真恢复模型进行训练的步骤：

S31构建图像失真恢复模型；

S32构建训练数据集，所述训练数据集中包括失真图像和无失真图像；

S32采用有监督的训练方法对图像失真恢复模型进行训练，在训练过程中，图像失真恢复模型的输入为失真图像，输出为无失真图像。

2.如权利要求1所述的无参考视频质量评价方法，其特征在于，

在步骤S32中，对无失真图像进行不同等级的压缩得到相应等级的失真图像；

在步骤S33中，使用不同等级的失真图像对图像失真恢复模型进行训练。

3.如权利要求1或2所述的无参考视频质量评价方法，其特征在于，在步骤S40中，计算输入图像失真恢复模型的灰度图及输出的恢复图像之间的RD-PSNR和/或RD-SSIM，得到每帧图像的质量恢复度。

4.一种基于失真恢复度的无参考视频质量评价装置，其特征在于，包括：

图像提取模块，用于提取待评价视频中的每帧图像；

亮度分量提取模块，用于依次提取图像提取模块提取的每帧图像中的亮度分量，得到每帧图像的灰度图；

图像失真恢复模型，用于依次对亮度分量提取模块提取的每帧图像的灰度图进行恢复；

质量评价模块，用于根据预设规则依次计算每帧图像的灰度图的质量恢复度，及根据每帧图像的灰度图的质量恢复度对待评价视频的质量进行评价；

在亮度分量提取模块中，具体为：通过将RGB图像转化为YCbCr图像的方式得到每帧图像中的亮度分量，转换装置为，

其中，Y为YCbCr图像中的亮度分量，Cb和Cr为YCbCr图像的色度分量，R、G和B分别表示RGB图像中的红色、蓝色和绿色分量；

在所述无参考视频质量评价装置中还包括图像失真恢复模型训练模块，包括：

模型构建单元，用于构建图像失真恢复模型；

训练集构建单元，用于构建训练数据集，所述训练数据集中包括失真图像和无失真图像；

训练单元，用于采用有监督的训练装置对图像失真恢复模型进行训练，在训练过程中，图像失真恢复模型的输入为失真图像，输出为无失真图像。

5.如权利要求4所述的无参考视频质量评价装置，其特征在于，

在训练集构建单元中，对无失真图像进行不同等级的压缩得到相应等级的失真图像；

在训练单元中，使用不同等级的失真图像对图像失真恢复模型进行训练。

6.如权利要求4或5所述的无参考视频质量评价装置，其特征在于，在质量评价模块中，计算输入图像失真恢复模型的灰度图及输出的恢复图像之间的RD-PSNR和/或RD-SSIM，得到每帧图像的质量恢复度。

Images