CN106548472A - 基于沃尔什哈达玛变换的无参考图像质量评价方法 - Google Patents

Abstract

本发明涉及一种基于沃尔什哈达玛变换的无参考图像质量评价方法，包括下列步骤：选择进行训练的失真图像；对各个失真图像进行图像变换，得到图像的局部沃尔什哈达玛变换图；在三个尺度上分别对零列率项和非零列率项应用旋转不变均匀LBP算子进行图像特征提取；特征训练，利用SVR网络训练特征，得到图像特征到主观质量分数的映射关系模型，将此模型作为预测模型，对图像的质量进行预测。

Description

基于沃尔什哈达玛变换的无参考图像质量评价方法

技术领域

本发明属于图像质量评价领域，涉及一种无参考图像质量评价方法。

背景技术

随着显示技术的快速发展，人们在使用各种电子产品的过程中，对图像的质量提出了更高的要求，而图像质量评价在高质量图片获取中起到了至关重要的作用。图像质量评价方法可以分为主观评价方法和客观评价方法。根据算法对原始无失真图像的依赖程度，客观评价方法又可以分为全参考图像质量评价(full-reference image qualityassessment,FR-IQA)算法、半参考图像质量评价(reduced-reference image qualityassessment,RR-IQA)算法和无参考图像质量评价(no-reference image qualityassessment,NR-IQA)算法。

近几年，随着图像质量评价研究的不断深入，涌现了大量优秀的单失真图像质量评价算法。然而，图像在获得、传输、压缩、存储时会引入多种失真，简单地利用单失真图像质量评价算法评价多失真图像质量存在很大误差。针对混合失真的图像质量评价方法较为复杂不仅需要考虑单个失真对图像质量的影响，而且还需要考虑不同失真之间的相互作用，掩盖效应等，混合失真图像质量评价处于刚刚起步阶段。Gu Ke等人模拟了人类视觉***(Human Visual System,HVS)质量评价过程，将多种失真分开考虑和估计，最后将这些估计的分数进行加权得到最后的图像质量分数；在此基础上，Gu Ke等人又加入了自由能解释多种失真之间的相互作用和掩盖效应。Li等人通过提取反映图像失真程度的多种特征，相位一致性、灰度共生矩阵等特征，利用支持向量回归(support vectorregression,SVR)建立特征到质量分数的映射关系，评价多失真图像质量。Lu等人选择性地选取对失真敏感的特征，采用改进的Bag-of-word编码特征，最后通过简单的线性加权实现了特征到质量分数的映射。现有的研究对于多失真图像的认识不够透彻，多种失真之间的关系把握不够准确，但由于现实生活中的图像大部分是多失真图像，所以针对混合失真的图像质量评价将是未来图像质量评价领域研究的重点。因此，本发明试图应用LWHT和旋转不变均匀LBP提取图像特征，评价混合失真图像的质量。

[1]L.P.G.G.and D.S.,"Walsh–Hadamard Transform Kernel-Based FeatureVector for Shot Boundary Detection,"in IEEE Transactions on Image Processing,vol.23,no.12,pp.5187-5197,Dec.2014.

[2]M.Zhang,J.Xie,X.Zhou and H.Fujita,"No reference image qualityassessment based on local binary pattern statistics,"Visual Communicationsand Image Processing(VCIP),2013,Kuching,2013,pp.1-6.

发明内容

本发明的目的在于提出一种基于沃尔什哈达玛变换的无参考图像质量评价方法，应用LWHT和旋转不变均匀LBP提取图像特征，评价混合失真图像质量。本发明方法步骤如下：

一种基于沃尔什哈达玛变换的无参考图像质量评价方法，包括下列步骤：

1)选择进行训练的失真图像；

2)对各个失真图像进行图像变换，得到图像的局部沃尔什哈达玛变换图

3)在三个尺度上分别对零列率项和非零列率项应用旋转不变均匀LBP算子进行图像特征提取；

4)特征训练，利用SVR网络训练特征，得到图像特征到主观质量分数的映射关系模型，将此模型作为预测模型，对图像的质量进行预测。

本发明的有益效果在于基于沃尔什哈达玛变换的无参考图像质量评价方法不同于传统的基于空域的单失真图像质量评价算法，而是通过LWHT生成局部沃尔什哈达玛变换图，在沃尔什哈达玛变换域进行特征提取的混合失真图像质量评价算法。本发明方法与主观感受的一致性强，性能优于目前存在的大部分FR-IQA算法和NR-IQA算法。

附图说明

图1为本发明方法的总体实现框图；

图2为二维沃尔什哈达玛变换核；

图3为16幅局部沃尔什哈达玛变换图；

图4为沃尔什哈达玛变换零列率项和非零列率项，第1幅特征图是零列率项，第2幅和第3幅特征图是非零列率项。

具体实施方式

本发明提出一种基于沃尔什哈达玛变换的无参考图像质量评价方法，其总体实现框图如图1所示。为使本发明的技术方案更加清楚，下面对本发明具体实施方式做进一步地描述。

1.数据库选择

实验素材为MLIVE和MDID2013两个混合失真图像数据库，MLIVE数据库包含两个子集，每个子集包含15幅参考图像及其相应的225幅不同程度的失真图像，MDID2013数据库包含12幅参考图像及其相应的324幅不同程度的失真图像。数据库具体信息见表1。

表1数据库信息

2.图像变换，通过LWHT得到图像局部沃尔什哈达玛变换图

给定的一幅图像I，其LWHT由图像所有重叠块经WHTM变换实现，本发明方法采用四阶WHT，具体实现过程如下：

1)重排哈达玛矩阵得到WHTM

式1是最低二阶哈达玛矩阵，由二阶哈达玛矩阵的克罗内克积递推可得到N阶哈达玛矩阵H_N：

式中，N表示哈达玛矩阵的阶数。

计算N阶哈达玛矩阵每行±1符号改变次数，符号改变次数称为列率，按照列率递增的顺序重排哈达玛矩阵即可得到WHTM。四阶WHTM如下

式中，数字0，1，2，3为四阶哈达玛矩阵的列率。

2)利用WHTM获得二维WHTK

WHTM的每一行称为一维沃尔什哈达玛基向量，由一维行列沃尔什哈达玛基向量的张量积可以得到二维沃尔什哈达玛变换核g(x,y,u,v)，如图2所示。从图中可以发现，主对角线以上的WHTK是主对角线以下的WHTK的转置。用w_i＝g(x,y,u,v)，u,v＝0,1,2,3，i＝1,2,…,16表示WHTK，w₁＝g(x,y,0,0)表示左上角的沃尔什哈达玛变换零列率核，其余变换核为沃尔什哈达玛变换非零列率核。

3)投影图像，图像的LWHT是图像所有重叠块在WHTK上的投影，投影后将得到16幅局部沃尔什哈达玛变换图

图像块投影后得到的矩阵称为沃尔什哈达玛投影矩阵，图像在沃尔什哈达玛变换零列率核上的投影称为零列率项，在沃尔什哈达玛变换非零列率核上的投影称为非零列率项，零列率项和非零列率项统称为局部沃尔什哈达玛变换图。大小为N×N的图像块f(x,y)在WHTK上的投影公式如下

式中：(x,y)表示图像块像素点的坐标，x,y＝0,1,…,N-1(通常N为2的整数次幂，N＝2ⁿ)，H(u,v)表示沃尔什哈达玛变换值。

一幅图像经四阶WHT后将得到16幅局部沃尔什哈达玛变换图，其中一幅为零列率项，另外15幅为非零列率项。图3给出了一幅图像的16幅局部沃尔什哈达玛变换图。

3.特征提取，提取局部沃尔什哈达玛变换图的旋转不变均匀LBP统计特征

1)选择有代表性的零列率项和非零列率项

WHT具有多种有用的性质：

①零列率项测量图像的亮度信息。

②空域能量和沃尔什哈达玛变换域能量守恒。

③能量压缩特性，图像经WHT后，大部分的能量被压缩到少数几个沃尔什哈达玛变

换值中，这几个沃尔什哈达玛变换值相对于其它的沃尔什哈达玛变换值具有更重要的意义。

图像变换具有分离图像多种频率的能力，图像的低频成份与图像的亮度特征相对应，图像的高频成份与图像的边缘特征相对应；由第一条变换性质知，零列率项测量图像的亮度信息，所以可以从零列率项的统计特性中获得图像的亮度特征，零列率项对应于图像的低频成份，沃尔什哈达玛变换零列率核具有捕捉图像低频成份的能力；由空域和沃尔什哈达玛变换域能量守恒可以得出，图像变换前后能量不变，又由于零列率项对应于图像的低频成份，而图像经WHT变换后分成零列率项和非零列率项，所以非零列率项对应于图像的高频成份，沃尔什哈达玛变换非零列率核具有捕捉图像高频成份的能力，可以从非零列率项的统计特性中提取图像的边缘特征。

由于图像灰度值分布越均匀，图像的能量越集中在沃尔什哈达玛投影矩阵的边角上，自然图像和失真图像灰度值分布都比较均匀，图像经WHT后，大部分的能量被压缩到少数几个边角沃尔什哈达玛变换值中，而且任意两个非零列率项都足以表达图像的高频特性，所以本发明为了降低冗余并没有在所有的局部沃尔什哈达玛变换图上进行特征提取，而是选择在唯一的零列率项和两个非零列率项上进行特征提取。从图像在w₅＝g(x,y,1,0)和w₆＝g(x,y,1,1)两个沃尔什哈达玛变换非零列率核上的投影中提取图像边缘信息，在w₁＝g(x,y,0,0)沃尔什哈达玛变换零列率核上的投影中提取图像的亮度信息。

w₁＝[1,1,1,1；1,1,1,1；1,1,1,1；1,1,1,1], (7)

w₅＝[1,1,1,1；1,1,1,1；-1,-1,-1,-1；-1,-1,-1,-1], (8)

w₆＝[1,1,-1,-1；1,1,-1,-1；-1,-1,1,1；-1,-1,1,1], (9)

2)计算选择的零列率项和非零列率项

一幅大小为M₁×M₂的图像I，求其四阶WHT，本发明采用滑动窗口法将图像分成M₁×M₂个大小为4×4的重叠块，设，m＝1,2,…,M₁×M₂是第m个图像块B_m在w₁，w₅，w₆三个WHTK上的沃尔什哈达玛变换值，计算公式如下：

式中，表示卷积。将得到的M₁×M₂个，，分别放在大小为M₁×M₂的三幅特征图的对应位置，第一幅特征图是零列率项，第二幅和第三幅特征图是非零列率项，如图4所示。

3)提取零列率项和非零列率项的统计特征

不同失真程度的图像，低频成份和高频成份衰减程度不同，对应于低频成份的零列率项和对应于高

频成份的非零列率项的统计特性自然也不同。本发明通过利用这些性质进行的特征提取。

由于多尺度符合人类视觉***观察图像的过程，图像的不同尺度对算法性能有影响，又由于从零列率项和非零列率项的统计特性中分别可以提取图像的亮度信息和边缘信息，旋转不变均匀LBP算子是一种有效的统计算子，所以本发明在三个尺度上分别对零列率项和非零列率项应用R＝1，P＝8的旋转不变均匀LBP算子进行图像特征提取。具体实现过程如下：

①利用旋转不变均匀LBP算子编码图像中的每一个像素点，即可得到旋转不变均匀LBP图，旋转不变均匀LBP算子计算公式如下：

式中：U表示0、1跳变次数，riu2表示0、1跳变次数不超过2次的旋转不变均匀LBP。式7是均匀模式0、1跳变次数计算公式，式8是旋转不变均匀LBP编码公式。

②计算旋转不变均匀LBP图的统计直方图，用统计直方图表示图像的统计特征，公式如下：

式中：k表示旋转不变均匀LBP的不同编码模式，K表示旋转不变均匀LBP的不同编码模式总数。

本发明在三个尺度上分别对零列率项和非零列率项应用旋转不变均匀LBP算子得到旋转不变均匀LBP图，对旋转不变均匀LBP图求其统计直方图，得到的90维的特征即是原始图像的亮度特征和边缘特征。

4.特征训练，利用SVR网络训练特征，得到训练模型，实现特征到客观质量分数的映射

利用SVR网络对图像的特征向量及其相应的主观质量分数进行训练，得到图像的特征向量与主观质量分数的映射关系模型，将此模型作为预测模型，对图像的质量进行预测。本发明中，SVR网络采用的核函数为径向基函数。

为证明本发明方法获得的图像预测客观质量分数与主观质量分数有很高的一致性，预测客观质量分数能准确反映图像的质量，将本发明方法在MLIVE和MDID2013两个混合失真图像数据库上进行测试，取3个国际上常用的衡量客观图像质量评价算法的指标评估本发明方法的性能，3个指标分别为斯皮尔曼排序相关系数(Spearman rank-ordercorrelation coefficient,SRCC)、皮尔森线性相关系数(Pearson linear correlationcoefficient,PLCC)和均方根误差(Root Mean Squared Error,RMSE)，其中，PLCC和RMSE指标衡量客观算法的预测准确性，SRCC指标衡量客观算法的预测单调性。PLCC和SRCC的值越接近1，RMSE的值越小，说明算法性能越好，预测客观质量分数与主观质量分数的相关性越高。为了减少非线性因素对算法性能的影响，本发明在计算PLCC和RMSE时采用5参数的Logistic函数对主、客观评价分数进行非线性回归。5参数的Logistic函数公式如下：

Q(x)＝μ₁logistic(μ₂,(x-μ₃))+μ₄x+μ₅, (17)

本发明方法分别在两个混合失真数据库上测试算法性能，具体测试过程如下：

1)随机取每个数据库中80％的图像作为训练集，其余20％的图像作为测试集。

2)利用SVR网络对训练集图像的特征向量及其对应的主观质量分数进行训练，得到特征向量到主观质量分数的映射关系模型，利用此模型对测试集图像的质量进行预测。计算预测客观质量分数与主观质量分数的SRCC、PLCC和RMSE的值。

3)重复1)、2)过程1000次，取1000次测试得到的SRCC、PLCC和RMSE值的中值作为最终的性能，用于算法比较。

5.比较和分析算法性能

比较本发明方法与一些优秀的FR-IQA和NR-IQA算法，FR-IQA算法包括PSNR、SSIM、VSNR、VIF、FSIM、IGM、GMSD，NR-IQA算法包括BRISQUE、NFERM、NIQE、IL-NIQE，如表2所示，为了方便观看，表格中用斜体加粗字体表示性能最高的一个算法。从表格中可以看出，本发明方法与主观评价的相关程度、准确程度均有明显的提高，与其它算法相比性能最优，SRCC和PLCC值最大，RMSE值最小，说明本发明方法的预测客观质量分数与主观质量分数相关性高。

表2算法性能比较

本发明方法具有以下优点：

(1)本发明方法与主观感受的一致性强。

(2)本发明方法与主观评价的相关程度、准确程度均有明显的提高。

(3)本发明方法不同于传统的基于空域的单失真图像质量评价算法，而是基于变换域的混合失真图像质量评价方法，性能优于目前存在的大部分FR-IQA算法和NR-IQA算法。

Claims (1)

1.一种基于沃尔什哈达玛变换的无参考图像质量评价方法，包括下列步骤：

1)选择进行训练的失真图像；

2)对各个失真图像进行图像变换，得到图像的局部沃尔什哈达玛变换图

3)在三个尺度上分别对零列率项和非零列率项应用旋转不变均匀LBP算子进行图像特征提取；

4)特征训练，利用SVR网络训练特征，得到图像特征到主观质量分数的映射关系模型，将此模型作为预测模型，对图像的质量进行预测。