CN108289222B - 一种基于结构相似度映射字典学习的无参考图像质量评价方法 - Google Patents

Abstract

本发明公开一种基于结构相似度映射字典学习的无参考图像质量评价方法，该方法将字典训练图像集的结构相似度映射图像和参考图像联合训练得到联合字典，采用联合字典对评价训练图像集和评价测试图像集中的失真图像进行稀疏分解，得到其结构相似度映射图，再从中提取多个方向下的灰度共生矩阵并转换成向量，计算灰度共生矩阵向量在多尺度下的标准差、偏度和峰度组合成特征向量，送到支持向量回归机中进行训练和测试，预测得到客观质量评价分值。该方法训练得到结构相似度映射字典，并采用结构相似度映射字典进行特征提取，与大脑视觉皮层的神经特性较吻合，从而能得到预测效果更精确的无参考图像质量评价结果。

Description

一种基于结构相似度映射字典学习的无参考图像质量评价 方法

技术领域

本发明属于图像处理领域，尤其涉及一种基于结构相似度字典学习的无参考图像质量评价方法。

背景技术

图像质量评价是图像处理领域的关键问题，图像质量评价方法根据是否有人的参与可分成主观图像质量评价方法和客观图像质量评价方法。主观图像质量评价方法由人对图像进行打分，评价结果精确，但评价过程复杂，耗时时间长，难以得到实时应用。客观图像质量评价方法无需人的参与，通过特定的计算机算法自动预测图像质量。根据是否使用原始无失真图像作为参考，可将客观图像质量评价方法分成全参考图像质量评价方法，半参考图像质量评价方法和无参考图像质量评价方法。全参考算法使用参考图像的所有信息预测图像质量，半参考图像质量评价方法采用参考图像的部分信息进行图像质量预测，无参考图像质量评价方法不使用参考图像的任何信息进行图像质量评价。目前的无参考图像质量评价方法，根据适用范围，大致可分为两类:针对特定失真类型的方法和适用于多种失真类型的方法。由于针对特定失真类型的方法需要知道其失真类型，故其适用范围受到了限制，因此研究适用于多种失真类型的通用方法成了图像质量评价领域的热点。然而，现阶段对于人类视觉***和自然图像统计特性等方面的理解并不充分，无参考图像质量评价的研究进展相对缓慢。

发明内容

针对现有技术的不足，本发明提供一种基于结构相似度字典学习的无参考图像质量评价方法，该方法预测结果精确。具体技术方案如下：

一种基于结构相似度映射字典学习的无参考图像质量评价方法，其特征在于，该方法包括如下步骤：

S1：将原始图像随机分成评价训练图像集、评价测试图像集和字典训练图像集，所述的评价训练图像集、评价测试图像集和字典训练图像集均包括多幅参考图像和与其对应的失真图像；

S2：首先将字典训练图像集中的图像进行灰度化处理，设字典训练图像集中参考灰度图像为O，失真灰度图像为Y，采用如下公式计算得到结构相似度映射图，即SSIM映射图；

其中，i和j分别为SSIM映射图的行索引和列索引，a和n分别为二维高斯滤波器系数的行索引和列索引，ω_a,n为二维高斯滤波器系数,J为滤波器窗口大小，C₁和C₂为避免分母为0设置的常数，μ_O为参考灰度图像经高斯滤波后的邻域灰度值的均值，μ_Y为失真灰度图像经高斯滤波后的邻域灰度值的均值，σ_O为参考灰度图像经高斯滤波后的邻域灰度值的标准差，σ_Y为失真灰度图像经高斯滤波后的邻域灰度值的标准差，σ_OY为参考灰度图像O和失真灰度图像Y之间的协方差；

S3：将SSIM映射图取值缩放到[0,255]范围，并截断取整，并在横向和纵向进行大小缩放，缩放成大小为M×M的SSIM缩放矩阵R；

S4：从所有字典训练图像集图像中提取得到的SSIM缩放矩阵R中随机选取N个K×K像素块，将K×K像素块按行扫描的方式向量化成K²×1维的列向量，将N个K²×1维的向量组成维数为N×K²的样本矩阵Y₁，采用核奇异值分解的方法学习SSIM映射字典D₁，采用公式如下：

其中Y₁为样本矩阵，X为稀疏矩阵，D₁为SSIM映射字典，X_i为矩阵X的第i列的列向量，T为控制稀疏度设置的阈值；

S5：将字典训练图像集中的参考图像转换成的灰度图像进行横向和纵向的大小缩放，缩放为大小为M×M的缩放参考图像矩阵E；

S6：从所有参考图像得到的缩放参考图像矩阵E中随机选取N个K×K像素块，将K×K像素块按行扫描的方式向量化成K²×1维的列向量，将N个K²×1维的列向量组成维数为N×K²的矩阵Y₂，同样采用核奇异值分解的方法学习字典D₂；

S7：将学习后的字典D₁和字典D₂组合成联合字典D＝{D₁,D₂}；

S8：将评价训练图像集和评价测试图像集中的失真图像进行灰度化处理，并将处理后的灰度图像缩放成大小为M×M的缩放图像，同样将缩放图像分解成K×K像素块，并将其向量化成K²×1维的列向量Z，采用联合字典D进行分解，得到稀疏系数向量α＝{α₁,α₂}，其中α₁为像素块向量Z在字典D₁上的稀疏分解系数，α₂为像素块向量Z在字典D₂具上的稀疏分解系数，采用公式如下：

其中λ为正则化参数；

S9：采用稀疏分解系数α₁和字典D₁，得到SSIM映射图像块B_i，将所有SSIM映射图像块B_i合并成SSIM映射图像B；

S10：将SSIM映射图像B取值缩放到[0,255]范围，并截断取整，并求取像素距离为d和2～4个角度方向的灰度共生矩阵，其中，1≤d≤3；

S11：将灰度共生矩阵展开成灰度共生矩阵向量，计算得到灰度共生矩阵向量的均值μ_m、标准差σ_m、偏度β_m和峰度γ_m，其中m为角度索引；

S12：将SSIM映射图像B进行G级的下采样，得到不同尺度下的SSIM映射图像；

S13：对不同尺度下的SSIM映射图像重复S10-S12；

S14：将不同角度方向下的标准差σ_S,m、偏度β_S,m和峰度γ_S,m组合成尺度特征向量F_S，其中，S为尺度索引，1≤S≤N；再将N个尺度下的尺度特征向量组合成特征向量F，组合公式如下：

F＝{F₁,F₂,F₃,...F_N}

然后将特征向量F合并主观MOS分值送到支持向量回归机中进行训练，得到训练后的支持向量回归机；将测试图像同样按以上流程提取出特征向量F，送到训练后的支持向量回归机中进行测试，得到客观图像质量评价结果。

进一步地，所述的S10中，求取像素距离d＝1和方向为θ＝0°，θ＝45°，θ＝90°和θ＝135°四个方向的灰度共生矩阵，记为CM₀(p,q)、CM₄₅(p,q)、CM₉₀(p,q)和CM₁₃₅(p,q)，其中0≤p≤255，0≤q≤255；

所述的S11中，灰度共生矩阵向量分别记为HCM₀，HCM₄₅,HCM₉₀和HCM₁₃₅，计算得到灰度共生矩阵向量的均值μ_m,标准差σ_m,偏度β_m和峰度γ_m，其中m取值0°,45°,90°,135°，计算公式如下：

其中L为HCM₀、HCM₄₅、HCM₉₀和HCM₁₃₅中的元素总个数；

所述的S14中，F_S的公式如下：

F_S＝{σ_S,0°,β_S,0°,γ_S,0°,σ_S,45°,β_S,45°,γ_S,45°,σ_S,90°,β_S,90°,γ_S,90°,σ_S,135°,β_S,135°,γ_S,135°}。

进一步地，所述的尺度索引1≤S≤3，所述的特征向量F的组合公式为：

F＝{F₁,F₂,F₃}。

进一步地，所述的S5中采用双线性插值方法进行图像的缩放。

进一步地，所述的S14中的支持向量回归机采用台湾大学开发的libsvm软件包或matlab支持向量机工具包进行训练和测试，并采用径向基函数作为核函数，并将每个特征值缩放到[-1,1]范围，再将缩放特征送入到支持向量回归机中进行训练和测试。

与现有技术相比，本发明的有益效果如下：

该方法采用从训练图像集的结构相似度映射图像和参考图像中联合训练得到联合字典，并采用联合字典进行稀疏分解，得到测试图像的结构相似度映射图并从中提取视觉特征，预测得到客观质量评价分值；该方法采用的稀疏分解方法与大脑视觉皮层的神经特性较吻合，从而能得到预测效果更精确的无参考图像质量评价结果。

附图说明

图1为本发明的无参考图像质量评价方法的流程图。

具体实施方式

下面根据附图和优选实施例详细描述本发明，本发明的目的和效果将变得更加明白，以下结合附图和实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本实施例以美国德州大学奥斯汀分校的LIVE图像数据库中的29幅参考图像及其失真图像为例。

S1：选取15幅参考图像及其失真图像作为评价训练图像集，9幅参考图像及其失真图像作为评价测试图像集，5幅参考图像及其失真图像作为字典训练图像集；

S2：将字典训练图像集中的每一个参考图像和与其对应的失真图像输入matlab中，若输入图像为彩色图像，将彩色图像转换成灰度图像，然后调用ssim子程序，计算得到结构相似度映射图，即SSIM映射图；

记参考灰度图像为O，失真灰度图像为Y，则SSIM映射图计算公式为：

其中，i和j分别为SSIM映射图的行索引和列索引，a和n分别为二维高斯滤波器系数的行索引和列索引，ω_a,n为均值为0,方差为1.5,高度和宽度为11的二维高斯滤波器系数；其中J为滤波器窗口大小，取值为5；C₁和C₂为避免分母为0设置的常数,C₁＝6.5,C₂＝58.5；μ_O为参考灰度图像经高斯滤波后的邻域灰度值的均值，μ_Y为失真灰度图像经高斯滤波后的邻域灰度值的均值，σ_O为参考灰度图像经高斯滤波后的邻域灰度值的标准差，σ_Y为失真灰度图像经高斯滤波后的邻域灰度值的标准差，σ_OY为参考灰度图像O和失真灰度图像Y之间的协方差。

S3：将SSIM映射图矩阵取值缩放到[0,255]范围，并截断取整，并在横向和纵向采用双线性插值方法进行大小缩放，缩放为大小为512×512的缩放矩阵R；

S4：在字典训练图像集的图像提取的所有缩放矩阵R中随机选取1000个8×8像素块，将8×8像素块按行扫描的方式向量化成64×1维的列向量，将1000个64×1维的列向量组成维数为1000×64维的样本矩阵Y₁，采用核奇异值分解(K-SVD)的方法学习字典D₁，采用公式如下：

字典D₁的学习采用两步迭代算法：第一步，固定字典D₁，采用OMP(匹配追踪)得到字典D₁下矩阵Y₁的稀疏矩阵X；第二步，固定稀疏分解X，更新字典D₁，直到满足迭代退出条件，从而得到训练字典D₁；其中T为控制稀疏度设置的阈值,取值为5；

S5：将字典训练图像集中的参考图像转换成的灰度图像采用双线性插值方法进行横向和纵向的大小缩放，缩放为大小为512×512的缩放参考图像矩阵E；

S6：在缩放参考图像矩阵E中同样随机选取1000个8×8像素块，将8×8像素块按行扫描的方式向量化成64×1维的列向量，将1000个64×1维的列向量组成维数为1000×64维的矩阵Y₂，采用核奇异值分解(KSVD)的方法学习字典D₂；

S7：将学习后的字典D₁和字典D₂组合成联合字典D＝{D₁,D₂}；

S8：将评价训练图像集和评价测试图像集中的失真图像输入到matlab中，如输入图像为彩色图像，将彩色图像转换成灰度图像；并将灰度图像缩放成大小为512×512的缩放图像，再将缩放图像分解成8×8像素块，并把8×8像素块按行扫描的方式向量化成64×1维的像素块向量Z，采用字典D进行分解，得到稀疏系数向量α＝{α₁,α₂}，其中α₁为像素块向量Z在字典D₁上的稀疏分解系数，α₂为像素块向量Z在字典D₂具上的稀疏分解系数，采用公式如下：

其中λ为正则化参数，具体采用OMP(匹配追踪)得到字典D下像素块向量Z的稀疏分解矩阵α，并从α中提取出系数α₁；

S9：采用稀疏分解系数α₁和字典D₁，得到SSIM映射图像块B_i，将所有SSIM映射图像块B_i按失真图像块抽取的顺序重新合并成SSIM映射图像B；

S10：对SSIM映射图像B求取像素距离d＝1，方向为θ＝0°，θ＝45°，θ＝90°和θ＝135°四个方向的灰度共生矩阵，具体是：

将SSIM映射图像B取值缩放到[0,255]范围，并截断取整，同时计算方向为θ＝0°，θ＝45°，θ＝90°和θ＝135°四个方向的灰度共生矩阵，记为CM₀(p,q)、CM₄₅(p,q)、CM₉₀(p,q)和CM₁₃₅(p,q)，其中0≤p≤255，0≤q≤255；

S11：将灰度共生矩阵展开成灰度共生矩阵向量，分别记为HCM₀，HCM₄₅,HCM₉₀和HCM₁₃₅，计算得到灰度共生矩阵向量的均值μ_m,标准差σ_m,偏度β_m和峰度γ_m，其中m取值0°,45°,90°,135°，计算公式如下：

其中L为HCM₀、HCM₄₅、HCM₉₀和HCM₁₃₅中的元素总个数。

S12：将SSIM映射图像B进行3级的下采样，得到3个不同尺度下的SSIM映射图像，具体下采样方法是：对上一层图像采用窗口为5x5，方差为1的高斯滤波器进行滤波，并进行横向和纵向2:1的下采样，得到下一尺度的图像；

S13：对不同尺度下的SSIM映射图像重复S10-S12；

S14：将不同角度下的标准差σ_S,m、偏度β_S,m和峰度γ_S,m组合成尺度特征向量F_S，其中S为尺度索引，m为角度索引，1≤S≤3，m取值为0°,45°,90°,135°，组合公式如下：

F_S＝{σ_S,0°,β_S,0°,γ_S,0°,σ_S,45°,β_S,45°,γ_S,45°,σ_S,90°,β_S,90°,γ_S,90°,σ_S,135°,β_S,135°,γ_S,135°}

将不同尺度下的尺度特征向量组合成36维的特征向量F，组合公式如下：

F＝{F₁,F₂,F₃}

然后将特征向量F合并主观MOS分值送到支持向量回归机中进行训练，得到训练后的支持向量回归机；将测试图像同样按以上流程提取出特征向量F，送到训练后的支持向量回归机中进行测试，得到客观图像质量评价结果；以上步骤中支持向量回归机采用台湾大学开发的libsvm软件包或matlab支持向量机工具包进行训练和测试，采用径向基函数作为核函数，并将每个特征值缩放到[-1,1]范围，再将缩放特征送入到支持向量回归机中进行训练和测试。

本领域普通技术人员可以理解，以上所述仅为发明的优选实例而已，并不用于限制发明，尽管参照前述实例对发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实例记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在发明的精神和原则之内，所做的修改、等同替换等均应包含在发明的保护范围之内。

Claims (5)

1.一种基于结构相似度映射字典学习的无参考图像质量评价方法，其特征在于，该方法包括如下步骤：

S1：将原始图像随机分成评价训练图像集、评价测试图像集和字典训练图像集，所述的评价训练图像集、评价测试图像集和字典训练图像集均包括多幅参考图像和与其对应的失真图像；

S2：首先将字典训练图像集中的图像进行灰度化处理，设字典训练图像集中参考灰度图像为O，失真灰度图像为Y，采用如下公式计算得到结构相似度映射图，即SSIM映射图；

其中，i和j分别为SSIM映射图的行索引和列索引，a和n分别为二维高斯滤波器系数的行索引和列索引，ω_a,n为二维高斯滤波器系数,J为滤波器窗口大小，C₁和C₂为避免分母为0设置的常数，μ_O为参考灰度图像经高斯滤波后的邻域灰度值的均值，μ_Y为失真灰度图像经高斯滤波后的邻域灰度值的均值，σ_O为参考灰度图像经高斯滤波后的邻域灰度值的标准差，σ_Y为失真灰度图像经高斯滤波后的邻域灰度值的标准差，σ_OY为参考灰度图像O和失真灰度图像Y之间的协方差；

S3：将SSIM映射图取值缩放到[0,255]范围，并截断取整，并在横向和纵向进行大小缩放，缩放成大小为M×M的SSIM缩放矩阵R；

S4：从所有字典训练图像集图像中提取得到的SSIM缩放矩阵R中随机选取N个K×K像素块，将K×K像素块按行扫描的方式向量化成K²×1维的列向量，将N个K²×1维的向量组成维数为N×K²的样本矩阵Y₁，采用核奇异值分解的方法学习SSIM映射字典D₁，采用公式如下：

其中Y₁为样本矩阵，X为稀疏矩阵，D₁为SSIM映射字典，X_i为矩阵X的第i列的列向量，T为控制稀疏度设置的阈值；

S5：将字典训练图像集中的参考图像转换成的灰度图像进行横向和纵向的大小缩放，缩放为大小为M×M的缩放参考图像矩阵E；

S6：从所有参考图像得到的缩放参考图像矩阵E中随机选取N个K×K像素块，将K×K像素块按行扫描的方式向量化成K²×1维的列向量，将N个K²×1维的列向量组成维数为N×K²的矩阵Y₂，同样采用核奇异值分解的方法学习字典D₂；

S7：将学习后的字典D₁和字典D₂组合成联合字典D＝{D₁,D₂}；

S8：将评价训练图像集和评价测试图像集中的失真图像进行灰度化处理，并将处理后的灰度图像缩放成大小为M×M的缩放图像，同样将缩放图像分解成K×K像素块，并将其向量化成K²×1维的列向量Z，采用联合字典D进行分解，得到稀疏系数向量α＝{α₁,α₂}，其中α₁为像素块向量Z在字典D₁上的稀疏分解系数，α₂为像素块向量Z在字典D₂具上的稀疏分解系数，采用公式如下：

其中λ为正则化参数；

S9：采用稀疏分解系数α₁和字典D₁，得到SSIM映射图像块B_i，将所有SSIM映射图像块B_i合并成SSIM映射图像B；

S10：将SSIM映射图像B取值缩放到[0,255]范围，并截断取整，并求取像素距离为d和2～4个角度方向的灰度共生矩阵，其中，1≤d≤3；

S11：将灰度共生矩阵展开成灰度共生矩阵向量，计算得到灰度共生矩阵向量的均值μ_m、标准差σ_m、偏度β_m和峰度γ_m，其中m为角度索引；

S12：将SSIM映射图像B进行G级的下采样，得到不同尺度下的SSIM映射图像；

S13：对不同尺度下的SSIM映射图像重复S10-S12；

S14：将不同角度方向下的标准差σ_S,m、偏度β_S,m和峰度γ_S,m组合成尺度特征向量F_S，其中，S为尺度索引，1≤S≤N；再将N个尺度下的尺度特征向量组合成特征向量F，组合公式如下：

F＝{F₁,F₂,F₃,...F_N}

然后将特征向量F合并主观MOS分值送到支持向量回归机中进行训练，得到训练后的支持向量回归机；将测试图像同样按以上流程提取出特征向量F，送到训练后的支持向量回归机中进行测试，得到客观图像质量评价结果。

2.根据权利要求1所述的基于结构相似度映射字典学习的无参考图像质量评价方法，其特征在于：

所述的S10中，求取像素距离d＝1和方向为θ＝0°，θ＝45°，θ＝90°和θ＝135°四个方向的灰度共生矩阵，记为CM₀(p,q)、CM₄₅(p,q)、CM₉₀(p,q)和CM₁₃₅(p,q)，其中0≤p≤255，0≤q≤255；

所述的S11中，灰度共生矩阵向量分别记为HCM₀，HCM₄₅,HCM₉₀和HCM₁₃₅，计算得到灰度共生矩阵向量的均值μ_m,标准差σ_m,偏度β_m和峰度γ_m，其中m取值0°,45°,90°,135°，计算公式如下：

其中L为HCM₀、HCM₄₅、HCM₉₀和HCM₁₃₅中的元素总个数；

所述的S14中，F_S的公式如下：

F_S＝{σ_S,0°,β_S,0°,γ_S,0°,σ_S,45°,β_S,45°,γ_S,45°,σ_S,90°,β_S,90°,γ_S,90°,σ_S,135°,β_S,135°,γ_S,135°}。

3.根据权利要求2所述的基于结构相似度映射字典学习的无参考图像质量评价方法，其特征在于，所述的尺度索引1≤S≤3，所述的特征向量F的组合公式为：

F＝{F₁,F₂,F₃}。

4.根据权利要求1所述的基于结构相似度映射字典学习的无参考图像质量评价方法，其特征在于，所述的S5中采用双线性插值方法进行图像的缩放。

5.根据权利要求1所述的基于结构相似度映射字典学习的无参考图像质量评价方法，其特征在于，所述的S14中的支持向量回归机采用台湾大学开发的libsvm软件包或matlab支持向量机工具包进行训练和测试，并采用径向基函数作为核函数，并将每个特征值缩放到[-1,1]范围，再将缩放特征送入到支持向量回归机中进行训练和测试。

Images