CN101426148A - 一种视频客观质量评价方法 - Google Patents

Abstract

本发明公开了一种视频客观质量评价方法，优点在于通过重建视频中各个宏块与原始视频中各个宏块之间的能量差异和根据当前宏块的一些特性而对前面得到的能量差异进行加权处理从而获得重建视频的全局失真度量，可有效的利用该全局失真度量作为视频客观质量评价的评价值来评价重建视频的质量好坏，本发明方法在压缩、模糊、噪声方面均表现出了良好的性能；在计算重建视频中宏块的加权系数时，本发明考虑到了视频中场景的运动性，根据场景的运动性获取不同的运动加权系数，还考虑到了视频中的场景结构信息和亮度信息，根据结构信息和亮度信息的不同重要性获取了不同的加权系数，从而有效的提高了本发明方法的各方面的性能。

Description

一种视频客观质量评价方法

技术领域

本发明涉及一种视频质量评价技术，尤其是涉及一种视频客观质量评价方法。

背景技术

随着视频处理技术在各个领域中的广泛应用，人们发现，在不同的应用领域，对视频质量的要求也各不相同。视频数据通常先存储在用于存放视频数据的各种数据库中，然后通过网络进行视频数据传播，但在视频传播前及传播中的采样、压缩、处理、传输和重建等过程中很容易受到各种各样的失真损失，因此对视频进行有效的视频质量评价是至关重要的。

目前为止，视频质量评价方法主要分为两大类：主观质量评价方法和客观质量评价方法。主观质量评价方法较客观质量评价方法具有较强的可靠性，主观质量评价方法就是由一系列不同年龄段，从事各种职业的评估者对特定的视频进行打分评价，但主观质量评价方法由于需要许多评估者参与且需按复杂程序和步骤进行，存在实施速度缓慢、耗时长、条件要求苛刻、费用高、使用不方便等缺点，使得主观质量评价方法无论从时间还是从资金方面来说，代价都是昂贵的。因此，目前，对视频质量评价方法的研究主要集中在客观质量评价方法上。

对于视频客观质量评价方法，其中PSNR(Peak Signal to Noise Ratio，峰值信噪比)和MSE(Mean Square Error，均方根)因其具有实现过程简单和低复杂度等优点而广泛应用在视频质量评价领域，但它们与人们感知到的视频质量之间相关性比较差，只在独立不相关的噪声方面表现了良好的性能，而在压缩、模糊方面相关性较差。最近ZhouWang等人提出了一种基于结构失真的视频质量评价方法MSSIM(Mean StructuralSimilarity)，这种方法是根据人眼对场景中的结构信息的高度敏感性而提出的，实验证明MSSIM要优于PSNR和MSE，并且有着良好的性能和较宽的适用范围，但是在人们进一步研究学习过程中发现，这种方法对模糊和噪声损失方面评价效果较差。后来Guang—Hao Chen等人提出了一种基于结构边缘信息的图像质量评价方法ESSIM(Edge-Based Structural Similarity)，这种方法对于压缩、模糊、噪声方面性能较MSSIM略有提高，但是这种方法直接应用到视频领域时没有考虑到视频中场景的连续性和运动对象的运动性，导致这种方法在视频领域应用的性能依然不是很好。

发明内容

本发明所要解决的技术问题是提供一种视频客观质量评价方法，该方法通过重建视频中各个宏块与原始视频中各个宏块之间的能量差异和重建视频中各个宏块的加权系数获得重建视频的结构失真度量来评价视频质量。

本发明解决上述技术问题所采用的技术方案为：一种视频客观质量评价方法，包括以下步骤：

①定义外部视频捕获工具获取的未经处理的视频为原始视频，采用现有技术对原始视频的各个帧进行编码，定义当前正在处理的原始视频的帧为当前帧，当当前帧采用帧内编码时得到I帧，当当前帧采用双向空间预测编码时得到B帧，当当前帧采用单向空间预测编码时得到P帧，在对当前帧进行编码的过程中当该当前帧采用双向空间预测编码或单向空间预测编码时提取该当前帧图像中各个具有不同尺寸大小的原始宏块的运动向量值，然后将各个原始宏块划分成8×8宏块，并将被划分的原始宏块的运动向量值赋值给其划分成的各个8×8宏块，作为8×8宏块的运动向量值；

②对编码后得到的码流进行解码得到重建视频，定义重建视频中第i个帧图像为当前帧图像，根据当前帧图像中各个8×8宏块的运动向量值计算当前帧图像的平均运动向量值，再利用当前帧图像的平均运动向量值将当前帧图像确定为非剧烈运动场景或剧烈运动场景；

③计算当前帧图像中各个8×8宏块与原始视频中对应的8×8宏块之间的能量差异，根据能量差异和当前帧图像中各个8×8宏块的加权系数，利用现有的能量失真ESD算法计算当前帧图像的结构失真度量；

④采用计算重建视频中第i个帧图像的结构失真度量相同的计算方法获取重建视频中各个帧图像的结构失真度量，再利用重建视频中各个帧图像的结构失真度量计算重建视频的全局结构失真度量。

所述的步骤③的具体过程为：③-1、定义当前帧图像中第j个8×8宏块为当前8×8宏块，记为Block′_i，j，将与当前8×8宏块Block′_i，j相应的原始视频中的8×8宏块记为Block_i，j，将当前8×8宏块Block′_i，j中各个像素的亮度值记为P′_j(x_j，y_j)，Block′_i，j＝[P′_j(x_j，y_j)]，将与当前8×8宏块Block′_i，j相应的原始视频中的8×8宏块Block_i，j中各个像素的亮度值记为P_j(x_j，y_j)，Block_i，j＝[P_j(x_j，y_j)]，其中，(x_j，y_j)为第j个8×8宏块中的像素坐标；③-2、计算Block′_i，j的结构信息特征序列SI′_i，j， ${\mathrm{SI}\&prime;}_{i,j}=\frac{{\mathrm{Block}\&prime;}_{i,j}}{\sqrt{\underset{x_j,y_j}{\mathrm{\&Sigma;}}{P\&prime;}_j{(x_j,y_j)}^2}},$ 再利用SI′_i，j计算Block′_i，j的结构能量E′_i，j，E′_i，j＝<Block′_i，j，SI′_i，j>，其中，符号“<>”为内积操作符号；计算Block_i，j的结构信息特征序列SI_i，j， ${\mathrm{SI}}_{i,j}=\frac{{\mathrm{Block}}_{i,j}}{\sqrt{\underset{x_j,y_j}{\mathrm{\&Sigma;}}{P}_j{(x_j,y_j)}^2}},$ 再利用SI_i，j计算Block_i，j的结构能量E_i，j，E_i，j＝<Block_i，j，SI_i，j>，其中，符号“<>”为内积操作符号；③-3、根据E′_i，j和E_i，j值，得到Block′_i，j与Block_i，j之间的能量差异|E_i，j-E_i，j′|；③-4、计算Block′_i，j的加权系数w_i，j，当当前帧图像为由I帧图像解码后得到的帧图像时，w_i，j＝l_i，j×e_i，j，当当前帧图像为由B帧或P帧图像解码后得到的帧图像时，w_i，j＝l_i，j×e_i，j×v_i，j，其中，l_i，j为Block′_i，j的亮度加权系数， $l_{i,j}=\left\{\begin{array}{cc}0& {\mathrm{\&mu;}}_{i,j}\&le;36\\ ({\mathrm{\&mu;}}_{i,j}-36)/16& 36<{\mathrm{\&mu;}}_{i,j}\&le;52\\ 1& {\mathrm{\&mu;}}_{i,j}>52\end{array}\right.,$ μ_i，j为Block′_i，j中所有像素的平均亮度值，e_i，j为Block′_i，j的结构加权系数， $e_{i,j}=\left\{\begin{array}{cc}4& \mathrm{AVE}\_{\mathrm{AMP}}_{i,j}\&GreaterEqual;510\\ 2& 255\&le;\mathrm{AVE}\_{\mathrm{AMP}}_{i,j}<510\\ 1& \mathrm{AVE}\_{\mathrm{AMP}}_{i,j}<255\end{array}\right.,$ AVE_AMP_i，j为当前帧图像采用现有技术滤波处理后得到的当前8×8宏块中所有像素的像素平均值，v_i，j为Block′_i，j的运动加权系数，当当前帧图像为非剧烈运动场景时， $v_{i,j}=\left\{\begin{array}{cc}1& m_{i,j}\&le;12\\ 2-(20-m_{i,j})/8& 12<m_{i,j}\&le;20\\ 2& m_{i,j}>20\end{array}\right.,$ m_i，j为Block′_i，j的运动向量值，当当前帧图像为剧烈运动场景且当前帧图像中剧烈宏块个数占当前帧图像中所有8×8宏块个数的比重小于95％时， $v_{i,j}=\left\{\begin{array}{cc}2& m_{i,j}\&le;45\\ 1+(55-m_{i,j})/10& 45<m_{i,j}\&le;55\\ 1& m_{i,j}>55\end{array}\right.,$ 当当前帧图像为剧烈运动场景且当前帧图像中剧烈宏块个数占当前帧图像中所有8×8宏块个数的比重大于等于95％时， $v_{i,j}=\left\{\begin{array}{cc}1& m_{i,j}\&le;45\\ 2-(55-m_{i,j})/10& 45<m_{i,j}\&le;55\\ 2& m_{i,j}>55\end{array}\right.;$ ③-5、采用与第j个8×8宏块相同的处理方法获取当前帧图像中各个8×8宏块与原始视频中对应的8×8宏块之间的能量差异，采用计算Block′_i，j的加权系数w_i，j相同的计算方法获取当前帧图像中各个8×8宏块的加权系数；③-6、利用现有的能量失真ESD(Energy of Structural Distortion，能量失真)算法计算当前帧图像的结构失真度量WESD_i， ${\mathrm{WESD}}_i=\sqrt{\underset{j=1}{\overset{K}{\mathrm{\&Sigma;}}}\frac{{\mathrm{\&omega;}}_{i,j}}{K}{(E_{i,j}-{E\&prime;}_{i,j})}^2},$ 其中，K为当前帧图像中8×8宏块的个数，w_i，j为第i帧图像中第j个8×8宏块Block′_i，j的加权系数，E′_i，j为Block′_i，j的结构能量，E_i，j为与Block′_i，j相应的原始视频中的8×8宏块Block_i，j的结构能量。

所述的步骤④的具体过程为：计算重建视频的全局结构失真度量WESD， $\mathrm{WESD}=\frac{{\mathrm{\&Sigma;}}_{i=1}^F{W}_i*{\mathrm{WESD}}_i}{{\mathrm{\&Sigma;}}_{i=1}^F{W}_i},$ 其中，F为重建视频中帧图像的个数，W_i为第i个帧图像的权值， $W_i=\left\{\begin{array}{cc}1& 0<{\mathrm{WESD}}_i\&le;10\\ 2& 10<{\mathrm{WESD}}_i\&le;20\\ 3& 20<{\mathrm{WESD}}_i\&le;30\\ 4& 30<{\mathrm{WESD}}_i\&le;40\\ 5& 50\&le;{\mathrm{WESD}}_i\end{array}\right.,$ WESD_i为第i个帧图像的结构失真度量。

所述的步骤③-4中当前帧图像采用现有技术滤波处理后得到的当前8×8宏块中所有像素的像素平均值AVE_AMP_i，j的计算过程为：对当前帧图像采用现有的sobel滤波技术进行滤波处理，滤波处理过程中采用垂直边缘检测模板和水平边缘检测模板；将滤波处理后当前8×8宏块中坐标为(m，n)的像素的像素值记为AMP_m，n，AMP_m，n＝|(-1)*p_m-1，n-1+(-2)*p_m-1，n+(-1)*p_m+1，n+1+(1)*p_m+1，n-1+(2)*p_m+1，n+(1)*p_m+1，n+1|+|(-1)*P_m-1，n-1+(-2)*p_m，n+(-1)*p_m+1，n+(1)*p_m-1，n-1+(2)*p_m，n+(1)*p_m+1，n+1|，其中，p_m，n为坐标为(m，n)的像素的亮度值；计算滤波处理后当前8×8宏块中所有像素的像素平均值AVE_AMP_i，j， $\mathrm{AVE}\_{\mathrm{AMP}}_{i,j}=\underset{{\mathrm{AMP}}_{m,n}\&Element;(i,j)}{\mathrm{\&Sigma;}}{\mathrm{AMP}}_{m,n}.$

所述的步骤②将当前帧图像确定为非剧烈运动场景或剧烈运动场景是以当前帧图像的平均运动向量值为标准进行确定的，当当前帧图像的平均运动向量值小于16时，将当前帧图像确定为非剧烈运动场景；当当前帧图像的平均运动向量值大于等于16时，将当前帧图像确定为剧烈运动场景。

所述的③-4剧烈宏块的确定方法为：当当前帧图像为剧烈运动场景时，如果当前帧图像中的8×8宏块的运动向量值大于等于40，则该8×8宏块为剧烈宏块，否则，该8×8宏块为非剧烈宏块。

与现有技术相比，本发明的优点在于通过重建视频中各个宏块与原始视频中各个宏块之间的能量差异和根据当前宏块的一些特性而对前面得到的能量差异进行加权处理从而获得重建视频的全局失真度量，可有效的利用该全局失真度量作为视频客观质量评价的评价值来评价重建视频的质量好坏，本发明方法在压缩、模糊、噪声(包括椒盐噪声、随机噪声和部分椒盐噪声)方面均表现出了良好的性能；在计算重建视频中宏块的加权系数时，本发明考虑到了视频中场景的运动性，根据场景的运动性获取不同的运动加权系数，还考虑到了视频中的场景结构信息和亮度信息，根据结构信息和亮度信息的不同重要性获取了不同的加权系数，从而有效的提高了本发明方法的各方面的性能；原始视频中宏块的运动向量值是在编码过程中提取的，在实际应用中不需要额外的计算工作。

附图说明

图1为本发明方法的流程示意图；

图2为由VQEG组织提供的“tree”原始视频序列的第一帧图像；

图3为由VQEG组织提供的“Harp”原始视频序列的第一帧图像；

图4为由VQEG组织提供的“Canoa Valsesia”原始视频序列的第一帧图像；

图5为由VQEG组织提供的“F1 Car”原始视频序列的第一帧图像；

图6为由VQEG组织提供的“Fries”原始视频序列的第一帧图像；

图7为由VQEG组织提供的“Rugby”原始视频序列的第一帧图像；

图8a为垂直边缘检测模板；

图8b为水平边缘检测模板。

具体实施方式

以下结合附图实施例对本发明作进一步详细描述。

一种视频客观质量评价方法，如图1所示，包括以下步骤：

①定义外部视频捕获工具获取的未经处理的视频为原始视频，采用现有技术对原始视频的各个帧进行编码，定义当前正在处理的原始视频的帧为当前帧，当当前帧采用帧内编码时得到I帧，当当前帧采用双向空间预测编码时得到B帧，当当前帧采用单向空间预测编码时得到P帧，在对当前帧进行编码的过程中当该当前帧采用双向空间预测编码或单向空间预测编码时提取该当前帧图像中各个具有不同尺寸大小的原始宏块的运动向量值，然后将各个原始宏块划分成8×8宏块，并将被划分的原始宏块的运动向量值赋值给其划分成的各个8×8宏块，作为8×8宏块的运动向量值。原始宏块具有以下几种尺寸大小：8×8、8×16、16×8、16×16，因为在实验过程中，基于8×8宏块进行数据处理时，评价效果最佳，所以在本发明中将原始宏块分割成8×8宏块。

本发明中原始视频直接采用由VQEG组织提供的视频序列，图2至图7给出了VQEG组织提供的6个视频序列的第一帧图像，这6个帧图像的分辨率均为720×576。图2所示的“tree”视频序列的第一帧图像，其内容特点是静态树，属于静态拍摄，场景中存在很多细节，如枝叶、树干等。图3所示的“Harp”视频序列的第一帧图像，其内容特点是弹奏竖琴，里面有一段时间，会拉近屏幕，某些细节被放大。图4所示的“Canoa Valsesia”视频序列的第一帧图像，其内容特点是划独木舟，中间有一个转弯的过程，场景画面动静结合。图5所示的“F1 Car”视频序列的第一帧图像，其内容特点是赛车比赛，中间有赛车冲出跑道，画面拉近放大的过程。图6所示的“Fries”视频序列的第一帧图像，其内容特点是炸薯条，中间有场景变化，主题明确。图7所示的“Rugby”视频序列的第一帧图像，其内容特点是橄榄球比赛，画面运动剧烈，以球为变化中心，人物很多，场面比较杂乱。

本发明中重建视频共分为以下5种质量损失，包括压缩损失、模糊损失、加入椒盐噪声、加入随机噪声和部分帧加入椒盐噪声，其中，压缩损失中，针对VQEG组织提供的6个原始视频，量化步长分别选取6、12、18、24、30；模糊损失中，针对VQEG组织提供的6个原始视频，模糊模板分别选取3×3、5×5、9×9、11×11、15×15、19×19；加入椒盐噪声中，针对VQEG组织提供的6个原始视频，加入噪声分别为0.1％、0.5％、1％、2％、5％；加入随机噪声中，针对VQEG组织提供的6个原始视频，随机变化幅度范围分别选取16、24、32、64、128；部分帧加入椒盐噪声中，针对VQEG组织提供的6个原始视频，加噪声帧的密度分别选取5％、10％、20％、30％、50％，其中噪声帧中加入噪声的密度分别选取0.1％、0.5％、1％、2％、5％。

其中，编解码环境是在由XVID组织提供的xvidcore-1.1.3版本上进行，编码参数设置如下：-i src7_ref＿62501.yuv-w720-h576-type0-max_bframes2-max_key_interval90，参数说明如下：-i后面参数是输入的文件名，-w后面参数是视频宽度，-h后面参数视频高度，-type后面是视频类型，0表示是该视频的数据格式为YUV格式，-max_bframes后面参数是最大B帧的间隔，-max_key_interval后面参数是最大I帧间隔。

②对编码后得到的码流进行解码得到重建视频，定义重建视频中第i个帧图像为当前帧图像，根据当前帧图像中各个8×8宏块的运动向量值计算当前帧图像的平均运动向量值，再利用当前帧图像的平均运动向量值将当前帧图像确定为非剧烈运动场景或剧烈运动场景。在本实施例中，当前帧图像的平均运动向量值为6480个8×8宏块的运动向量值之和除以6480。8×8宏块的个数6480由当前帧图像的大小即720×576除以8×8得到。

上述当前帧图像确定为非剧烈运动场景或剧烈运动场景是以当前帧图像的平均运动向量值为标准进行确定的，当当前帧图像的平均运动向量值小于16时，将当前帧图像确定为非剧烈运动场景；当当前帧图像的平均运动向量值大于等于16时，将当前帧图像确定为剧烈运动场景。此处，值16是在实验过程中，先经过多个观察者观看视频内容，统计多个观察者各自的看法，然后将原始视频划分成以上两类，最后分析统计各类视频编码过程中原始视频的各宏块产生的运动向量值的特征而得到的值16。

③计算当前帧图像中各个8×8宏块与原始视频中对应的8×8宏块之间的能量差异，根据能量差异和当前帧图像中各个8×8宏块的加权系数，利用现有的能量失真ESD算法计算当前帧图像的结构失真度量。具体步骤如下：

③-1、定义当前帧图像中第j个8×8宏块为当前8×8宏块，记为Block′_i，j，将与当前8×8宏块Block′_i，j相应的原始视频中的8×8宏块记为Block_i，j，将当前8×8宏块Block′_i，j中各个像素的亮度值记为P′_j(x_j，y_j)，Block′_i，j＝[P′_j(x_j，y_j)]，将与当前8×8宏块Block′_i，j相应的原始视频中的8×8宏块Block_i，j中各个像素的亮度值记为P_j(x_j，y_j)，Block_i，j＝[P_j(x_j，y_j)]，其中，(x_j，y_j)为第j个8×8宏块中的像素坐标，x_j的变化范围为[1，8]，y_j的变化范围为[1，8]。

③-2、计算Block′_i，j的结构信息特征序列SI′_i，j， ${\mathrm{SI}\&prime;}_{i,j}=\frac{{\mathrm{Block}\&prime;}_{i,j}}{\sqrt{\underset{x_j,y_j}{\mathrm{\&Sigma;}}{P\&prime;}_j{(x_j,y_j)}^2}},$ 再利用SI′_i，j计算Block′_i，j的结构能量E′_i，j，E′_i，j＝<Block′_i，j，SI′_i，j>，其中，符号“<>”为内积操作符号，Block′_i，j与SI′_i，j的内积操作即可以看成Block′_i，j在SI′_i，j上的投影能量，可以有效的表示重建视频中的帧图像相对于原始视频中的帧图像的结构能量损失程度；计算Block_i，j的结构信息特征序列SI_i，j， ${\mathrm{SI}}_{i,j}=\frac{{\mathrm{Block}}_{i,j}}{\sqrt{\underset{x_j,y_j}{\mathrm{\&Sigma;}}{P}_j{(x_j,y_j)}^2}},$ 再利用SI_i，j计算Block_i，j的结构能量E_i，j，E_i，j＝<Block_i，j，SI_i，j>，其中，符号“<>”为内积操作符号。根据 ${\mathrm{SI}}_{i,j}=\frac{{\mathrm{Block}}_{i,j}}{\sqrt{\underset{x_j,y_j}{\mathrm{\&Sigma;}}{P}_j{(x_j,y_j)}^2}}$ 可知，<SI_i，j，SI_i，j>＝1，此特性保证了当与其他帧图像计算结构能量时，不会破坏其他帧图像的结构能量。

③-3、根据E′_i，j和E_i，j值，得到Block′_i，j与Block_i，j之间的能量差异|E_i，j-E_i，j′|。

③-4、计算Block′_i，j的加权系数w_i，j，当当前帧图像为由I帧图像解码后得到的帧图像时，w_i，j＝l_i，j×e_i，j，当当前帧图像为由B帧或P帧图像解码后得到的帧图像时，w_i，j＝l_i，j×e_i，j×v_i，j。

其中，l_i，j为Block′_i，j的亮度加权系数。针对一帧图像中的黑色区域，人们往往不会注意到这部分信息，因此需将对这部分区域赋予一个较小的权值，使用块亮度信息中的平均值来判断块的亮度情况。 $l_{i,j}=\left\{\begin{array}{cc}0& {\mathrm{\&mu;}}_{i,j}\&le;36\\ ({\mathrm{\&mu;}}_{i,j}-36)/16& 36<{\mathrm{\&mu;}}_{i,j}\&le;52\\ 1& {\mathrm{\&mu;}}_{i,j}>52\end{array}\right.,$ μ_i，j为Block′_i，j中所有像素的平均亮度值，在本实施例中Block′_i，j包含有64个像素。另外，此处的值36和值52是经过如下实验得到的，我们先观察一帧图像，确定亮度区域和灰度区域，然后分析并统计这两部分区域对应的实际亮度值，从而得到人眼对亮度敏感程度的一个范围，进而确定了此处的值36和值52。

其中，e_i，j为Block′_i，j的结构加权系数。看一帧图像时，首先会注意到这帧图像中的轮廓和边缘信息，轮廓和边缘信息是一帧图像中的最重要信息，因此，对于不同重要程度的宏块给予不同大小的权值。 $e_{i,j}=\left\{\begin{array}{cc}4& \mathrm{AVE}\_{\mathrm{AMP}}_{i,j}\&GreaterEqual;510\\ 2& 255\&le;\mathrm{AVE}\_{\mathrm{AMP}}_{i,j}<510\\ 1& \mathrm{AVE}\_{\mathrm{AMP}}_{i,j}<255\end{array}\right.,$ AVE_AMP_i，j为当前帧图像采用现有技术滤波处理后得到的当前8×8宏块中所有像素的像素平均值，AVE_AMP_i，j的计算过程为：对当前帧图像采用现有的sobel滤波技术进行滤波处理，滤波处理过程中采用图8a所示的垂直边缘检测模板和图8b所示的水平边缘检测模板；将滤波处理后当前8×8宏块中坐标为(m，n)的像素的像素值记为AMP_m，n，AMP_m，n＝|(-1)*p_m-1，n-1+(-2)*P_m-1，n+(-1)*p_m+1，n+1+(1)*p_m+1，n-1+(2)*p_m+1，n+(1)*p_m+1，n+1|+|(-1)*p_m-1，n-1+(-2)*p_m，n+(-1)*p_m+1，n+(1)*p_m-1，n-1+(2)*p_m，n+(1)*p_m+1，n+1|，其中，p_m，n为坐标为(m，n)的像素的亮度值；计算滤波处理后当前8×8宏块中所有像素的像素平均值AVE_AMP_i，j， $\mathrm{AVE}\_{\mathrm{AMP}}_{i,j}=\underset{{\mathrm{AMP}}_{m,n}\&Element;(i,j)}{\mathrm{\&Sigma;}}{\mathrm{AMP}}_{m,n}$ 。在此，值255、510是经过如下实验得到，首先我们对一帧图像进行滤波处理，然后显示滤波后值(AMP_m，n)大于一指定域值那部分图像，指定域值可以为由大量统计后得到的比较理想的值510，从图像中可以获知这部分区域是重要的轮廓边缘信息，在值510附近做小范围的浮动，整体结果变化不大。值255也是经过这样的实验得到，最后是经过整体测试结果来最终确定这些值的。

其中，v_i，j为Block′_i，j的运动加权系数。当当前帧图像为非剧烈运动场景时，即整个场景特点是场景变化不大且只有部分对象在运动或变化， $v_{i,j}=\left\{\begin{array}{cc}1& m_{i,j}\&le;12\\ 2-(20-m_{i,j})/8& 12<m_{i,j}\&le;20\\ 2& m_{i,j}>20\end{array}\right.,$ m_i，j为Block′_i，j的运动向量值，当当前帧图像为剧烈运动场景且当前帧图像中剧烈宏块个数占当前帧图像中所有8×8宏块个数的比重小于95％时，说明大部分对象变化不是很明显，而是一部分对象在高速运动，这部分高速运动的对象是主体，人们注意力会集中在高速运动的对象上，因此给予高速运动的对象一个高的权值， $v_{i,j}=\left\{\begin{array}{cc}2& m_{i,j}\&le;45\\ 1+(55-m_{i,j})/10& 45<m_{i,j}\&le;55\\ 1& m_{i,j}>55\end{array}\right.,$ 当当前帧图像为剧烈运动场景且当前帧图像中剧烈宏块个数占当前帧图像中所有8×8宏块个数的比重大于等于95％时，说明运动剧烈的宏块较多，这时人们会更关注相对变化较小的对象， $v_{i,j}=\left\{\begin{array}{cc}1& m_{i,j}\&le;45\\ 2-(55-m_{i,j})/10& 45<m_{i,j}\&le;55\\ 2& m_{i,j}>55\end{array}\right.;$ 。此外，值95％是首先过对视频运动信息数据进行分析统计，得到一个大概值，然后根据实验结果进行调整而得到的一个值。此处，值12、20、45、55是根据实际视频中对应的块运动信息值，分析并统计其变化范围而得到的。

上述剧烈宏块的确定方法为：当当前帧图像为剧烈运动场景时，如果当前帧图像中的8×8宏块的运动向量值大于等于40，则该8×8宏块为剧烈宏块，否则，该8×8宏块为非剧烈宏块。此处，值40是根据视频实际的运动信息值分析而得到的。

③-5、采用与第j个8×8宏块相同的处理方法获取当前帧图像中各个8×8宏块与原始视频中对应的8×8宏块之间的能量差异，采用计算Block′_i，j的加权系数w_i，j相同的计算方法获取当前帧图像中各个8×8宏块的加权系数。

③-6、利用现有的能量失真ESD算法计算当前帧图像的结构失真度量WESD_i， ${\mathrm{WESD}}_i=\sqrt{\underset{j=1}{\overset{K}{\mathrm{\&Sigma;}}}\frac{{\mathrm{\&omega;}}_{i,j}}{K}{(E_{i,j}-{E\&prime;}_{i,j})}^2},$ 其中，K为当前帧图像中8×8宏块的个数，在此实施例中，K＝(720×576)/(8×8)＝6480，w_i，j为第i帧图像中第j个8×8宏块Block′_i，j的加权系数，E′_i，j为Block′_i，j的结构能量，E_i，j为与Block′_i，j相应的原始视频中的8×8宏块Block_i，j的结构能量。

④采用计算重建视频中第i个帧图像的结构失真度量相同的计算方法获取重建视频中各个帧图像的结构失真度量，再利用重建视频中各个帧图像的结构失真度量计算重建视频的全局结构失真度量。具体过程为：计算重建视频的全局结构失真度量WESD， $\mathrm{WESD}=\frac{{\mathrm{\&Sigma;}}_{i=1}^F{W}_i*{\mathrm{WESD}}_i}{{\mathrm{\&Sigma;}}_{i=1}^F{W}_i},$ 其中，F为重建视频中帧图像的个数，W_i为第i个帧图像的权值， $W_i=\left\{\begin{array}{cc}1& 0<{\mathrm{WESD}}_i\&le;10\\ 2& 10<{\mathrm{WESD}}_i\&le;20\\ 3& 20<{\mathrm{WESD}}_i\&le;30\\ 4& 30<{\mathrm{WESD}}_i\&le;40\\ 5& 50\&le;{\mathrm{WESD}}_i\end{array}\right.,$ WESD_i为第i个帧图像的结构失真度量。将最终得到的全局结构失真度量作为视频客观质量评价的评价值。在此，值10、20、30、40、50是根据做主观实验时，打分时会划分出5个标准，加上人的思维方式如非常好、好、一般、不好、非常差等的影响，而划分出的，另外具体值时根据实验测试结果而最终定下来的。

对采用本发明方法与采用现有的PSNR、MSSIM和ESSIM方法，在相同的实验条件下进行视频客观质量评价对比实验，实验结果如表1至表5所示。

表1压缩损失比较数据

表2模糊损失比较数据

表3部分椒盐噪声损失比较数据

表4椒盐噪声损失比较数据

表5随机噪声损失比较数据

表1至表5中pearson和RMSE用于反映模型预测的准确性，spearman用于反映模型预测的单调性。其中，二次曲线回归数据是在spss12.0版本上计算得来的。

分析表1至表5我们可以得到以下结论：

A.本发明的客观质量评价方法在整体评价结果中，针对压缩损失、模糊损失、加入椒盐噪声、加入随机噪声和部分帧加入椒盐噪声这5种失真，综合性能是最好的。

B.在压缩损失上，本发明的客观质量评价结果最佳，明显优于PSNR、MSSIM和ESSIM方法。

C.在模糊损失上，本发明的客观质量评价结果要明显优于PSNR、MSSIM和ESSIM方法，弥补了现有的三种方法在这方面表现出来的缺陷。

D.在噪声损失中，虽然性能要略差于PSNR，但是要明显优于MSSIM和ESSIM方法，接近PSNR的视频效果。

Claims (6)

1、一种视频客观质量评价方法，其特征在于包括以下步骤：

①定义外部视频捕获工具获取的未经处理的视频为原始视频，采用现有技术对原始视频的各个帧进行编码，定义当前正在处理的原始视频的帧为当前帧，当当前帧采用帧内编码时得到I帧，当当前帧采用双向空间预测编码时得到B帧，当当前帧采用单向空间预测编码时得到P帧，在对当前帧进行编码的过程中当该当前帧采用双向空间预测编码或单向空间预测编码时提取该当前帧图像中各个具有不同尺寸大小的原始宏块的运动向量值，然后将各个原始宏块划分成8×8宏块，并将被划分的原始宏块的运动向量值赋值给其划分成的各个8×8宏块，作为8×8宏块的运动向量值；

②对编码后得到的码流进行解码得到重建视频，定义重建视频中第i个帧图像为当前帧图像，根据当前帧图像中各个8×8宏块的运动向量值计算当前帧图像的平均运动向量值，再利用当前帧图像的平均运动向量值将当前帧图像确定为非剧烈运动场景或剧烈运动场景；

③计算当前帧图像中各个8×8宏块与原始视频中对应的8×8宏块之间的能量差异，根据能量差异和当前帧图像中各个8×8宏块的加权系数，利用现有的能量失真ESD算法计算当前帧图像的结构失真度量；

④采用计算重建视频中第i个帧图像的结构失真度量相同的计算方法获取重建视频中各个帧图像的结构失真度量，再利用重建视频中各个帧图像的结构失真度量计算重建视频的全局结构失真度量。

2、根据权利要求1所述的一种视频客观质量评价方法，其特征在于所述的步骤③的具体过程为：③-1、定义当前帧图像中第j个8×8宏块为当前8×8宏块，记为Bloc′_i，j，将与当前8×8宏块Block′_i，j相应的原始视频中的8×8宏块记为Block_i，j，将当前8×8宏块Block′_i，j中各个像素的亮度值记为P′_j(x_j，y_j)，Block′_i，j＝[P′_j(x_j，y_j)]，将与当前8×8宏块Block′_i，j相应的原始视频中的8×8宏块Block_i，j中各个像素的亮度值记为P_j(x_j，y_j)，Block_i，j＝[P_j(x_j，y_j)]，其中，(x_j，y_j)为第j个8×8宏块中的像素坐标；③-2、计算Block′_i，j的结构信息特征序列SI′_i，j， ${\mathrm{SI}\&prime;}_{\mathrm{ij}}=\frac{{\mathrm{Block}\&prime;}_{i,j}}{\sqrt{\underset{x_j,y_j}{\mathrm{\&Sigma;}}{P\&prime;}_j{(x_j,y_j)}^2}}$ ，再利用SI′_i，j计算Block′_i，j的结构能量E′_i，j， ${E\&prime;}_{i,j}=\&lang;{\mathrm{Block}\&prime;}_{i,j},{\mathrm{SI}\&prime;}_{i,j}\&rang;$ ，其中，符号“<>”为内积操作符号；计算Block_i，j的结构信息特征序列SI_i，j， ${\mathrm{SI}}_{\mathrm{ij}}=\frac{{\mathrm{Block}}_{i,j}}{\sqrt{\underset{x_j,y_j}{\mathrm{\&Sigma;}}{P}_j{(x_j,y_j)}^2}}$ ，再利用SI_i，j计算Block_i，j的结构能量E_i，j， $E_{i,j}=\&lang;{\mathrm{Block}}_{i,j},{\mathrm{SI}}_{i,j}\&rang;$ ，其中，符号“<>”为内积操作符号；③-3、根据E′_i，j和E_i，j值，得到Block′_i，j与Block_i，j之间的能量差异|E_i，j-E_i，j′|；③-4、计算Block′_i，j的加权系数w_i，j，当当前帧图像为由I帧图像解码后得到的帧图像时，w_i，j＝l_i，j×e_i，j，当当前帧图像为由B帧或P帧图像解码后得到的帧图像时，w_i，j＝l_i，j×e_i，j×v_i，j，其中，l_i，j为Block′_i，j的亮度加权系数， $l_{\mathrm{ij}}=\left\{\begin{array}{cc}0& {\mathrm{\&mu;}}_{i,j}\&le;36\\ ({\mathrm{\&mu;}}_{i,j}-36)/16& 36<{\mathrm{\&mu;}}_{i,j}\&le;52\\ 1& {\mathrm{\&mu;}}_{i,j}>52\end{array}\right.,$ μ_i，j为Block′_i，j中所有像素的平均亮度值，e_i，j为Block′_i，j的结构加权系数， $e_{\mathrm{ij}}=\left\{\begin{array}{cc}4& \mathrm{AVE}\_{\mathrm{AMP}}_{i,j}\&GreaterEqual;510\\ 2& 255\&le;\mathrm{AVE}\_{\mathrm{AMP}}_{i,j}<510\\ 1& \mathrm{AVE}\_{\mathrm{AMP}}_{i,j}<255\end{array}\right.$ ，AVE_AMP_i，j为当前帧图像采用现有技术滤波处理后得到的当前8×8宏块中所有像素的像素平均值，v_i，j为Block′_i，j的运动加权系数，当当前帧图像为非剧烈运动场景时， $v_{\mathrm{ij}}=\left\{\begin{array}{cc}1& m_{ij}\&le;12\\ 2-\left({20-m}_{ij}\right)/8& 12<m_{ij}\&le;20\\ 2& m_{ij}>20\end{array}\right.$ ，m_ij为Block′_i，j的运动向量值，当当前帧图像为剧烈运动场景且当前帧图像中剧烈宏块个数占当前帧图像中所有8×8宏块个数的比重小于95％时， $v_{\mathrm{ij}}=\left\{\begin{array}{cc}2& m_{ij}\&le;45\\ 1+\left({55-m}_{ij}\right)/10& 45<m_{ij}\&le;55\\ 1& m_{ij}>55\end{array}\right.$ ，当当前帧图像为剧烈运动场景且当前帧图像中剧烈宏块个数占当前帧图像中所有8×8宏块个数的比重大于等于95％时， $v_{\mathrm{ij}}=\left\{\begin{array}{cc}1& m_{ij}\&le;45\\ 2-\left({55-m}_{ij}\right)/10& 45<m_{ij}\&le;55\\ 2& m_{ij}>55\end{array}\right.$ ；③-5、采用与第j个8×8宏块相同的处理方法获取当前帧图像中各个8×8宏块与原始视频中对应的8×8宏块之间的能量差异，采用计算Block′_i，j的加权系数w_i，j相同的计算方法获取当前帧图像中各个8×8宏块的加权系数；③-6、利用现有的能量失真ESD算法计算当前帧图像的结构失真度量WESD_i， ${\mathrm{WESD}}_i=\sqrt{\underset{j=1}{\overset{K}{\mathrm{\&Sigma;}}}\frac{{\mathrm{\&omega;}}_{i,j}}{K}{(E_{i,j}-{E\&prime;}_{i,j})}^2}$ ，其中，K为当前帧图像中8×8宏块的个数，w_i，j为第i帧图像中第j个8×8宏块Block′_i，j的加权系数，E′_i，j为Block′_i，j的结构能量，E_i，j为与Block′_i，j相应的原始视频中的8×8宏块Block_i，j的结构能量。

3、根据权利要求2所述的一种视频客观质量评价方法，其特征在于所述的步骤④的具体过程为：计算重建视频的全局结构失真度量WESD， $\mathrm{WESD}=\frac{{\mathrm{\&Sigma;}}_{i=1}^F{W}_i*{\mathrm{WESD}}_i}{{\mathrm{\&Sigma;}}_{i=1}^F{W}_i}$ ，其中，F为重建视频中帧图像的个数，W_i为第i个帧图像的权值， $W_i=\left\{\begin{array}{cc}1& 0<{\mathrm{WESD}}_i\&le;10\\ 2& 10<{\mathrm{WESD}}_i\&le;20\\ 3& 20<{\mathrm{WESD}}_i\&le;30\\ 4& 30<{\mathrm{WESD}}_i\&le;40\\ 5& 50<{\mathrm{WESD}}_i\end{array}\right.,$ WESD_i为第i个帧图像的结构失真度量。

4、根据权利要求2所述的一种视频客观质量评价方法，其特征在于所述的步骤③-4中当前帧图像采用现有技术滤波处理后得到的当前8×8宏块中所有像素的像素平均值AVE_AMP_i，j的计算过程为：对当前帧图像采用现有的sobel滤波技术进行滤波处理，滤波处理过程中采用垂直边缘检测模板和水平边缘检测模板；将滤波处理后当前8×8宏块中坐标为(m，n)的像素的像素值记为AMP_m，n，AMP_m，n＝|(-1)*p_m-1，n-1+(-2)*p_m-1，n+(-1)*p_m+1，n+1+(1)*p_m+1，n-1+(2)*p_m+1，n+(1)*p_m+1，n+1|+|(-1)*p_m-1，n-1+(-2)*p_m，n+(-1)*p_m+1，n+(1)*p_m-1，n-1+(2)*p_m，n+(1)*p_m+1，n+1|，其中，p_m，n为坐标为(m，n)的像素的亮度值；计算滤波处理后当前8×8宏块中所有像素的像素平均值AVE_AMP_i，j， $\mathrm{AVE}\_{\mathrm{AMP}}_{i,j}=\underset{{\mathrm{AMP}}_{m,n}\&Element;(i,j)}{\mathrm{\&Sigma;}}{\mathrm{AMP}}_{m,n}.$

5、根据权利要求1所述的一种视频客观质量评价方法，其特征在于所述的步骤②将当前帧图像确定为非剧烈运动场景或剧烈运动场景是以当前帧图像的平均运动向量值为标准进行确定的，当当前帧图像的平均运动向量值小于16时，将当前帧图像确定为非剧烈运动场景；当当前帧图像的平均运动向量值大于等于16时，将当前帧图像确定为剧烈运动场景。

6、根据权利要求2所述的一种视频客观质量评价方法，其特征在于所述的③-4剧烈宏块的确定方法为：当当前帧图像为剧烈运动场景时，如果当前帧图像中的8×8宏块的运动向量值大于等于40，则该8×8宏块为剧烈宏块，否则，该8×8宏块为非剧烈宏块。

Images