CN108900864B - 基于运动轨迹的全参考视频质量评价方法 - Google Patents

Abstract

本发明公开了一种基于运动轨迹的全参考视频质量评价方法，主要解决现有技术评价准确度低、计算复杂度高的问题。其实现方案是：将测试视频与参考视频划分为等长度的序列片段；计算测试序列片段的静态质量；对测试序列片段的第一帧进行点采样；分别计算测试序列片段和参考序列片段的光流；计算采样点在参考序列片段中的运动轨迹，剔除运动轨迹中的无效轨迹；分别提取测试序列片段和参考序列片段沿着运动轨迹的光流特征，并计算两者的特征差异；计算测试序列片段的动态质量；根据序列片段的静态质量和动态质量计算测试视频的质量。本发明在提高质量评价的准确度的同时减小了计算复杂度，可用于视频压缩、传输和处理中的质量检测评估。

Description

基于运动轨迹的全参考视频质量评价方法

技术领域

本发明属于图像及视频处理技术领域，特别涉及一种全参考视频质量评价方法，可用于视频压缩、传输和处理中的质量检测评估。

技术背景

随着手持智能设备的发展和网络通信技术的进步，微信视频、手机摄像、网络直播等已经融入到了人们的日常生活中。由于受网络带宽和存储设备容量的限制，视频通常都需要经过压缩编码再进行传输与处理。一方面，受硬件设备影响，视频在拍摄过程中会不可避免受到噪声的干扰，影响视频的质量；另一方面，视频在进行压缩时也会造成一些原始信息的丢失；同时，在进行视频传输时，受网络环境影响，随时有可能发生网络丢包现象，从而影响到后续的视频观看和处理，甚至会造成关键信息的遗漏和错判。通过人为主观地进行视频质量的监控虽然准确无误，但是却会浪费大量的时间和人力，效率低下，且无法实现自动化。

基于以上人为评判的缺点，研究者们致力于建立客观的视频质量评价方法，取代人工评判。根据需要的参考视频信息的多少，可以将现有的客观视频质量评价方法分为三类，其中：

第一类为：无参考视频质量评价方法。该方法完全不需要原始参考视频，直接利用计算模型对测试视频进行质量预测。由于没有参考视频信息，所以评价结果很差，限制了其实际应用。

第二类为：部分参考视频质量评价方法。该方法对原始参考视频提取一定数量的特征，通过对比参考视频与测试视频之间的特征差异，评价测试视频的质量。由于只能得到一部分的参考视频信息，评价结果依然不容乐观，应用领域狭小。

第三类为：全参考视频质量评价方法。该方法需要用到全部的原始参考视频信息，通过对比原始参考视频和受噪声污染的视频的差异程度，给出测试视频的质量分数。由于使用了全部的参考视频信息，所以评价准确性在三类方法中最好。围绕此类方法，现有技术提出了很多的技术方案，例如：

1.Seshadrinathan等人采用三维的Gabor滤波器对视频进行时空域分解，通过度量参考视频和测试视频之间的滤波器系数差异，计算测试视频质量；Manasa等人认为视频噪声会导致相邻两帧之间的光流产生差异，通过度量参考视频和测试视频之间的光流相似程度，计算测试视频的质量。但是这些方法的计算复杂度过高，计算时间过长，限制了其在实际中的应用。

2.Peng等人提出了一种基于时空域纹理特征的视频质量评价方法；Chandler等人将视频看做是一个三维的立方体，分别从不同角度的二维平面，即xy平面，yt平面和xt平面计算测试视频和参考视频的差异性。但是这些方法由于没有考虑到人的运动感知特性，质量评价结果难以与人的主观感知结果保持一致，评价的稳定性差。

发明内容

本发明目的在于针对上述全参考视频质量评价方法中的不足，结合人类视觉***的运动感知特性，提出一种基于运动轨迹的全参考视频质量评价方法，以在减小计算复杂度的同时提高视频质量评价的准确性。

本发明的技术思路是：将测试视频分为多个序列片段，对每个序列片段的静态信息和动态信息进行质量估计，将静态质量和动态质量的乘积作为序列片段的总的质量估计，最后将序列片段的质量的均值作为测试视频的最终质量估计值。其实现步骤包括如下：

(1)将待测的测试视频V^d及其参考视频V^r按照同样的长度划分为n个序列片段：其中，V_i ^d表示第i个测试序列片段，V_i ^r表示第i个参考序列片段，i＝1,2,...,n，n≥2且n为整数；

(2)计算第i个测试序列片段V_i ^d的静态质量估计值Qs_i；

(3)计算第i个测试序列片段V_i ^d的动态质量估计值Qt_i：

(3a)对V_i ^d的第一帧进行点采样，得到采样点的集合为P＝{p₁,p₂,...,p_k,...,p_N}，其中p_k表示第k个采样点，k＝1,...,N，N为采样得到的点的数量，N≥5且N为整数；

(3b)分别计算参考序列片段V_i ^r和测试序列片段V_i ^d每相邻两帧之间的稠密光流：

其中，F^r表示参考序列片段V_i ^r的光流集合，表示参考序列片段V_i ^r中第m帧和第m+1帧之间的光流，F^d表示测试序列片段V_i ^d的光流集合，表示测试序列片段V_i ^d中第m帧和第m+1帧之间的光流，m＝1,...,L-1，L为序列片段的帧数，L≥12且L为整数；

(3c)计算采样点在参考序列片段V_i ^r中的运动轨迹R；

(3d)从运动轨迹R中剔除无效轨迹，得到有效轨迹

(3e)对第j条有效轨迹表示有效轨迹的数量，分别提取参考序列片段V_i ^r沿着有效轨迹的光流特征和测试序列片段V_i ^d沿着有效轨迹的光流特征

(3f)计算(3e)所述两个光流特征和的相似性偏差，并将其均值作为测试序列片段V_i ^d沿着有效轨迹的动态质量qt_j；

(3g)将测试序列片段V_i ^d沿着所有有效轨迹的动态质量的均值与标准差之和作为测试序列片段V_i ^d的动态质量值Qt_i；

(4)将第i个测试序列片段的静态质量值Qs_i和第i个测试序列片段的动态质量值Qt_i的乘积作为第i个测试序列片段V_i ^d的总的质量Q_i；

(5)将所有测试序列片段质量{Q₁,Q₂,...,Q_i,...,Q_n}的均值作为测试视频V^d的质量值Q；

(6)根据质量值Q对测试视频的质量进行判断：

若Q＝0，则表示该测试视频没有被噪声污染；

若0＜Q≤0.005，则表示该测试视频被噪声轻度污染；

若0.005＜Q≤0.01，则表示该测试视频被噪声中度污染；

若Q＞0.01，则表示该测试视频被噪声重度污染。

本发明与现有技术相比，具有如下优点：

1)本发明提出的全参考视频质量评价方法将视频质量的计算看作为一段段视频序列片段质量的累积，更符合人对于视频质量的感知过程。

2)本发明将视频分为静态部分和动态部分分别进行质量估计，同时对动态部分只关注运动内容沿着运动轨迹的信息变化，与视觉中的运动感知过程更相符，因而质量评价结果与人的主观评价结果更具有一致性。

3)本发明由于没有复杂的三维滤波计算以及大段视频的存储需求，因而减小了计算复杂度和内存消耗。

附图说明

图1是本发明的实现流程图。

具体实施方式

以下结合附图对本发明作进一步详细描述。

参照图1，本发明的具体实现步骤如下：

步骤1，将参考视频V^r和测试视频划V^d按照同等长度划分为序列片段。

测试视频V^d和参考视频V^r通常有150帧到600帧，本实例按照L＝18帧的长度，分别将测试视频和参考视频分为n个序列片段：V^d＝{V₁ ^d，...,V_i ^d,...V_n ^d}，其中，V_i ^d表示第i个测试序列片段，V_i ^r表示第i个参考序列片段，i＝1,2,...,n，n≥2且n为整数。

步骤2，计算第i个测试序列片段V_i ^d的静态质量估计值Qs_i。

静态信息以每一帧的图像形式呈现，其静态质量可以通过测试序列片段V_i ^d中每一帧的静态图像质量评价方法进行估计；现有的静态图像质量评价方法包括多尺度结构相似性MSSSIM、特征相似性FSIM和梯度相似度偏差GMSD，本实例采用梯度相似度偏差进行静态质量估计，其实现方式如下：

(2a)对第i个参考序列片段V_i ^r和第i个测试序列片段V_i ^d中的每一帧I提取梯度分量Gx和Gy：

Gx＝I*dx，Gy＝I*dy

其中，*表示线性卷积运算，dx、dy分别为水平方向和垂直方向的卷积核，

(2b)根据(2a)的计算结果，计算梯度幅值GM：

(2c)将第i个参考序列片段V_i ^r在第w帧的梯度幅值记为将第i个测试序列片段在第w帧的梯度幅值记为则第i个测试序列片段V_i ^d在第w帧的梯度相似度偏差表示为：

其中，w＝1,2,...,L，·表示对矩阵中的各个元素分别进行乘法操作，-表示对矩阵中的各个元素分别进行除法操作，c为常数，设为255，Stdev()表示计算括号内的标准差；

(2d)将第i个测试序列片段V_i ^d中每一帧的梯度相似度偏差的均值作为第i个测试视频序列片段V_i ^d的静态质量估计值Qs_i：

步骤3，计算第i个测试序列片段V_i ^d的动态质量估计值Qt_i。

动态信息为视频中的运动内容信息，对动态质量的估计按如下步骤进行：

(3a)对V_i ^d的第一帧进行点采样，采样方式包括稠密间隔采样和基于角点响应值的采样，本实例采用基于角点响应值的采样方法，得到采样点的集合为P＝{p₁,p₂,...,p_k,...,p_N}，其中p_k表示第k个采样点，k＝1,...,N，N为采样得到的点的数量，N≥5且N为整数；

(3b)分别计算参考序列片段V_i ^r和测试序列片段V_i ^d每相邻两帧之间的稠密光流：

光流计算的方法包括Farneback光流算法、BA光流算法和LK光流算法，本实例采用Farneback算法计算光流，其结果如下：

其中，F^r表示参考序列片段V_i ^r的光流集合，表示参考序列片段V_i ^r中第m帧和第m+1帧之间的光流，F^d表示测试序列片段V_i ^d的光流集合，表示测试序列片段V_i ^d中第m帧和第m+1帧之间的光流，m＝1,...,L-1，L为序列片段的帧数，L≥12且L为整数；

(3c)计算采样点在参考序列片段V_i ^r中的运动轨迹R：

(3c1)用表示步骤(3a)中的第k个采样点p_k的坐标位置，当m依次从1取到L-1，通过如下公式迭代计算新的坐标位置：

其中，表示第k个采样点p_k在第m帧中的x轴坐标，表示第k个采样点p_k在第m帧中的y轴坐标，表示第m帧参考光流在坐标的水平分量值，表示第m帧参考光流在坐标的垂直分量值；

(3c2)将(3c1)中的m+1个点按照时间顺序串联构成一个集合，作为第k条运动轨迹其中w＝1,2,...,L；

(3c3)将(3c2)中的k从1取到N，构成第i个参考序列片段V_i ^r中的运动轨迹R＝{R₁,R₂,...,R_k,...,R_N}；

(3d)从运动轨迹R中剔除无效轨迹，得到有效轨迹

由于在计算动态质量的过程中只关注运动的内容，所以对于完全静止的轨迹，需要剔除；并且，由于光流算法存在误差，所以得到的轨迹可能存在错误轨迹和重复轨迹，本实例通过设定三个阈值剔除错误轨迹和重复轨迹。具体实现方式如下：

3d1)设定相邻阈值D₁＝10，标准差阈值D₂＝10，重复阈值D₃＝345.6，基于以下条件判断第k条轨迹R_k是否为无效轨迹：

若第k条轨迹R_k在参考序列片段V_i ^r中完全静止，则该轨迹R_k为无效轨迹；

若第k条轨迹R_k中任意相邻两个轨迹点的欧式距离超过相邻阈值D₁，则该轨迹R_k为无效轨迹；

若第k条轨迹R_k的标准差超过标准差阈值D₂，则该轨迹R_k为无效轨迹；

若第k条轨迹R_k与任意一条不同于轨迹R_k自身的轨迹的欧式距离不超过重复阈值D₃，则该轨迹R_k为无效轨迹；

(3d2)从运动轨迹R中剔除无效轨迹，得到有效轨迹

(3e)对第j条有效轨迹分别提取参考序列片段V_i ^r沿着有效轨迹的光流特征和测试序列片段V_i ^d沿着有效轨迹的光流特征其中表示有效轨迹的数量；

(3e1)用表示轨迹中的第m个坐标位置，将第m帧的参考光流中以点为中心、大小为M×M的区域投影到B维参考光流直方图中，取m从1取到L-1，构成参考光流直方图集合其中M＝48，B＝32；

(3e2)将参考光流直方图集合中的每个直方图按照直方图的维度进行累加，得到参考序列片段V_i ^r沿着有效轨迹的光流特征

(3e3)用表示轨迹中的第m个坐标位置，将第m帧的测试光流中以点为中心、大小为M×M的区域投影到B维测试光流直方图中，取m从1到L-1，构成测试光流直方图集合其中M＝48，B＝32；

(3e4)将测试光流直方图集合中的每个直方图按照直方图的维度进行累加，得到测试序列片段V_i ^d沿着有效轨迹的光流特征

(3f)计算(3e)所述两个光流特征和的相似性偏差d_j：

其中，·表示对矩阵中的各个元素分别进行乘法操作，-表示对矩阵中的各个元素分别进行除法操作，T是为了防止分母为零，设为0.0001；

(3g)计算测试序列片段V_i ^d沿着有效轨迹的动态质量qt_j：

qt_j＝Mean(d_j)，

其中，Mean()表示对括号内的所有元素求平均，d_j为(3f)中的相似度偏差；

(3h)计算测试序列片段V_i ^d的动态质量值Qt_i：

其中qt_j为(3g)中测试序列片段V_i ^d沿着有效轨迹的动态质量，表示测试序列片段V_i ^d沿着有效轨迹的动态质量的集合。

步骤4，计算测试视频V^d的最终质量值Q。

(4a)根据步骤2计算得到的静态质量估计值Qs_i和步骤3计算得到的动态质量估计值Qt_i，按如下公式计算第i个测试视频序列片段V_i ^d的质量估计值Q_i：

Q_i＝Qs_i×Qt_i，

其中，×表示数值乘法；

(4b)取i从1到n，将所有测试序列片段质量{Q₁,Q₂,...,Q_i,...,Q_n}的均值作为测试视频V^d的质量值Q：

步骤5，根据质量值Q对测试视频的质量进行判断。

由于每个测试样本的计算质量值Q的取值范围在0到1之间，Q的值越大代表测试样本的污染程度越严重，因此可以根据质量值Q的大小进行测试视频的质量判断：

若Q＝0，则表示该测试视频没有被噪声污染；

若0＜Q≤0.005，则表示该测试视频被噪声轻度污染；

若0.005＜Q≤0.01，则表示该测试视频被噪声中度污染；

若Q＞0.01，则表示该测试视频被噪声重度污染。

本发明的效果可以通过以下仿真实验进一步说明：

仿真1：用本发明在公开的视频质量评价数据集LIVE上进行质量评价准确度测试，其评价结果与人的主观感知结果的斯皮尔曼相关系数SROCC为0.88，优于现有的全参考视频质量评价算法的结果，表明本发明的评价结果与人的感知结果更具有一致性。

仿真2：用本发明在装载了Windows10***、3.6GHz的i7CPU的测试平台上进行计算速度测试，其计算一个分辨率为768*432、250帧的测试视频仅需要17s，计算速度优于现有的大部分全参考质量评价算法，如Seshadrinathan的MOVIE方法、Manasa的光流相似度方法、Chandler的Vis3方法和Peng的方法，表明本发明相较于上述算法有更低的计算复杂度。

以上描述仅是本发明的一个具体实例，不构成对本发明的任何限制。显然对于本领域的专业人员来说，在了解了本发明内容和原理后，都可能在不背离本发明原理、结构的情况下，进行形式和细节上的各种修改和改变，但是这些基于本发明思想的修正和改变仍在本发明的权利要求保护范围之内。

Claims (7)

1.一种基于运动轨迹的全参考视频质量评价方法，包括：

(1)将待测的测试视频V^d及其参考视频V^r按照同样的长度划分为n个序列片段：其中，V_i ^d表示第i个测试序列片段，V_i ^r表示第i个参考序列片段，i＝1,2,...,n，n≥2且n为整数；

(2)计算第i个测试序列片段V_i ^d的静态质量估计值Qs_i；

(3)计算第i个测试序列片段V_i ^d的动态质量估计值Qt_i：

(3a)对V_i ^d的第一帧进行点采样，得到采样点的集合为P＝{p₁,p₂,...,p_k,...,p_N}，其中p_k表示第k个采样点，k＝1,...,N，N为采样得到的点的数量，N≥5且N为整数；

(3b)分别计算参考序列片段V_i ^r和测试序列片段V_i ^d每相邻两帧之间的稠密光流：

其中，F^r表示参考序列片段V_i ^r的光流集合，表示参考序列片段V_i ^r中第m帧和第m+1帧之间的光流，F^d表示测试序列片段V_i ^d的光流集合，表示测试序列片段V_i ^d中第m帧和第m+1帧之间的光流，m＝1,...,L-1，L为序列片段的帧数，L≥12且L为整数；

(3c)计算采样点在参考序列片段V_i ^r中的运动轨迹R；

(3d)从运动轨迹R中剔除无效轨迹，得到有效轨迹

(3e)对第j条有效轨迹 表示有效轨迹的数量，分别提取参考序列片段V_i ^r沿着有效轨迹的光流特征和测试序列片段V_i ^d沿着有效轨迹的光流特征

(3f)计算(3e)所述参考序列片段V_i ^r沿着有效轨迹的光流特征和测试序列片段V_i ^d沿着有效轨迹的光流特征的相似性偏差，并将其均值作为测试序列片段V_i ^d沿着有效轨迹的动态质量qt_j；

(3g)将测试序列片段V_i ^d沿着所有有效轨迹的动态质量的均值与标准差之和作为测试序列片段V_i ^d的动态质量值Qt_i；

(4)将第i个测试序列片段的静态质量值Qs_i和第i个测试序列片段的动态质量值Qt_i的乘积作为第i个测试序列片段V_i ^d的总的质量Q_i；

(5)将所有测试序列片段质量{Q₁,Q₂,...,Q_i,...,Q_n}的均值作为测试视频V^d的质量值Q；

(6)根据质量值Q对测试视频的质量进行判断：

若Q＝0，则表示该测试视频没有被噪声污染；

若0＜Q≤0.005，则表示该测试视频被噪声轻度污染；

若0.005＜Q≤0.01，则表示该测试视频被噪声中度污染；

若Q＞0.01，则表示该测试视频被噪声重度污染。

2.如权利要求1所述的方法，其步骤(2)中计算第i个序列片段V_i ^d的静态质量估计Qs_i，按如下步骤进行：

(2a)对第i个参考序列片段V_i ^r和第i个测试序列片段V_i ^d中的每一帧I提取梯度分量Gx和Gy：

Gx＝I*dx，Gy＝I*dy

其中，*表示线性卷积运算，dx、dy分别为水平方向和垂直方向的卷积核，

(2b)根据(2a)的计算结果，计算梯度幅值GM：

(2c)将第i个参考序列片段V_i ^r在第w帧的梯度幅值记为第i个测试序列片段V_i ^d在第w帧的梯度幅值记为则第i个测试序列片段V_i ^d在第w帧的梯度相似度偏差表示为：

其中，w＝1,2,...,L，·表示对矩阵中的各个元素分别进行乘法操作，-表示对矩阵中的各个元素分别进行除法操作，c为常数，设为255，Stdev()表示计算括号内的标准差；

(2d)将第i个测试序列片段V_i ^d中每一帧的梯度相似度偏差的均值作为第i个测试视频序列片段V_i ^d的静态质量估计值Qs_i：

3.如权利要求1所述的方法，其步骤(3c)中计算采样点在第i个参考序列片段V_i ^r中的运动轨迹R，按如下步骤进行：

(3c1)用表示步骤(3a)中的第k个采样点p_k的坐标位置，当m依次从1取到L-1，通过如下公式迭代计算新的坐标位置：

其中，表示第k个采样点p_k在第m帧中的x轴坐标，表示第k个采样点p_k在第m帧中的y轴坐标，表示第m帧参考光流在坐标的水平分量值，表示第m帧参考光流在坐标的垂直分量值；

(3c2)将(3c1)中的m+1个点按照时间顺序串联构成一个集合，作为第k条运动轨迹其中w＝1,2,...,L；

(3c3)将(3c2)中的k从1取到N，构成第i个参考序列片段V_i ^r中的运动轨迹R＝{R₁,R₂,...,R_k,...,R_N}。

4.如权利要求1所述的方法，其步骤(3d)中从运动轨迹R中剔除无效轨迹，得到有效轨迹按如下步骤进行：

(3d1)设定相邻阈值D₁＝10，标准差阈值D₂＝10，重复阈值D₃＝345.6，基于以下条件判断第k条轨迹R_k是否为无效轨迹：

若第k条轨迹R_k在参考序列片段V_i ^r中完全静止，则该轨迹R_k为无效轨迹；

若第k条轨迹R_k中任意相邻两个轨迹点的欧式距离超过相邻阈值D₁，则该轨迹R_k为无效轨迹；

若第k条轨迹R_k的标准差超过标准差阈值D₂，则该轨迹R_k为无效轨迹；

若第k条轨迹R_k与任意一条不同于轨迹R_k自身的轨迹的欧式距离不超过重复阈值D₃，则该轨迹R_k为无效轨迹；

(3d2)从运动轨迹R中剔除无效轨迹，得到有效轨迹

5.如权利要求1所述的方法，其步骤(3e)中提取参考序列片段V_i ^r沿着有效轨迹的光流特征按如下步骤进行：

(3e1)用表示轨迹中的第m个坐标位置，将第m帧的参考光流中以点为中心、大小为M×M的区域投影到B维参考光流直方图中，取m从1取L-1，得到参考光流直方图集合其中M＝48，B＝32；

(3e2)将参考光流直方图集合中的每个直方图按照直方图的维度进行累加，作为参考序列片段V_i ^r沿着有效轨迹的光流特征

6.如权利要求1所述的方法，其步骤(3e)中提取测试序列片段V_i ^d沿着有效轨迹的光流特征按如下步骤进行：

(3e3)用表示轨迹中的第m个坐标位置，将第m帧的测试光流中以点为中心、大小为M×M的区域投影到B维测试光流直方图中，取m从1到L-1，得到测试光流直方图集合其中M＝48，B＝32；

(3e4)将测试光流直方图集合中的每个直方图按照直方图的维度进行累加，作为测试序列片段V_i ^d沿着有效轨迹的光流特征

7.如权利要求1所述的方法，其中步骤(3f)中计算(3e)所述两个光流特征和的相似性偏差，其计算公式如下：

(3f1)计算光流特征和的相似性偏差d_j：

其中，·表示对矩阵中的各个元素分别进行乘法操作，表示对矩阵中的各个元素分别进行除法操作，T是为了防止分母为零，设为0.0001。