发明内容
本发明的目的是提供一种基于stacking无参考型超分辨图像质量评价方法,解决了现有技术中存在的超分辨图像质量评价方法难以准确有效评价超分辨图像质量的问题。
本发明所采用的技术方案是,基于stacking无参考型超分辨图像质量评价方法,具体包括以下步骤:首先通过现有训练好的VGGnet模型提取超分辨图像的深度特征,用于量化超分辨图像的退化;然后,将包含SVR算法和k-NN算法的stacking回归算法用作第一层回归模型,以构建从VGGnet模型提取的深度特征到预测质量分数的映射模型,再采用线性回归算法得到第二层回归模型,从而形成stacking回归模型,以实现无参考评价超分辨图像的质量。
本发明的特点还在于:
具体包括以下步骤:
步骤1、在特征提取阶段,先将初始训练集图像输入到现有训练好的VGGnet模型中,然后输出训练集图像全连接层第七层的深度特征,组成特征训练集D;同时将初始验证集图像也输入到现有训练好的VGGnet模型,得到验证集图像全连接层第七层的深度特征,组成验证集V;
步骤2、将步骤1中的特征训练集D分为k个大小相同、但互不重叠的训练子集D1,D2,...,Dk;
步骤3、令作为训练集,Dj作为测试集,采用SVR算法在训练集/>上分别训练k个SVR基础回归器Lj_SVR,输出每个SVR基础回归器在测试集Dj上的SVR训练集预测值/>k个输出的SVR训练集预测值堆叠得到SVR元训练集同时将验证集V里的数据输入SVR基础回归器,获得每个SVR基础回归器在验证集V上的验证集预测值Vj_SVR,再将输出的验证集预测值进行算数平均得到SVR元验证集
步骤4、采用k-NN算法在训练集上分别训练k个k-NN基础回归器Lj_KNN,输出每个k-NN基础回归器在测试集Dj上的k-NN训练集预测值/>k个输出的训练集预测值堆叠得到k-NN元训练集/>同时将验证集V里的数据输入k-NN基础回归器,获得每个k-NN基础回归器在验证集V上的验证集预测值Vj_KNN,再将输出的验证集预测值进行算数平均得到k-NN元验证集/>
步骤5、将步骤3得到的SVR元训练集和步骤4得到的k-NN元训练集按列组合成一个高为训练集大小、宽度为算法个数的矩阵,加上从现有数据库中得到的主观质量分数构成第二层的训练集Train,即元回归器的训练集;
步骤6、采用线性回归器作为元回归器,将步骤5得到的训练集输入元回归器训练得到元回归模型;
步骤7、将步骤3得到的SVR元验证集和步骤4得到的k-NN元验证集按列组合成一个高为验证集大小、宽度为算法个数的矩阵,构成第二层的验证集Test,即元回归器的验证集;
步骤8、将步骤7得到的元回归器的验证集输入步骤6训练好的元回归模型中,即可得到最终的预测结果。
步骤3中SVR基础回归器中特征xi与图像的主观质量分数qi之间的关系表示如下:
qi=<w,φ(xi)>+b
其中w和b分别表示特征的权值和偏置值,这两个值都是从训练集中学习得到的;φ(.)为核函数,其作用是将原始低维数据映射到高维空间。
核函数采用径向基函数,其表达式为:
其中为σ为RBF核的标准差,xi和xj是图像的第i个和第j个深度特征。
步骤4中k-NN基础回归器中算法具体为:
x={x1,x2,…,xm}∈Rn表示m个训练集图像的特征,表示相应的主观得分,yj是第j个测试图像特征向量,首先利用距离度量来测量所有训练集图像特征向量和第j个测试图像特征向量之间的相似度,找到与k个距离最短的训练集图像特征相对应的主观质量分数/>并计算这些主观质量分数的平均值作为第j张测试图像的预测结果,公式为:
距离度量采用欧几里得距离公式:
其中n是特征向量的维数。
本发明的有益效果是:
(1)本发明提出了一种有效的无参考型超分辨图像质量评价方法来评估超分辨图像的质量,通过预先训练的VGGnet模型提取超分辨图像的深度特征,与传统人工设计的特征相比,该深度特征可以更准确地反映超分辨图像的降质机理。
(2)本发明提出了利用SVR和k-NN的两种不同基础回归器的互补性优势,以完成深度特征和质量分数之间的初步映射。此外,将简单的线性回归作为元回归器,以进一步提高整个模型的预测准确性。与已有回归模型相比较,本发明提出的算法能够有效地表征特征与质量分数之间的映射关系。
(3)仿真结果表明,与现有无参考型图像质量评价方法相比,本发明能够获得更为接近人眼主观评价的超分辨图像质量分数。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本发明基于stacking无参考型超分辨图像质量评价方法,如图1和2所示,主要包括两个阶段:深度特征提取阶段和两层stacking回归模型的训练阶段,具体包括以下步骤:首先通过现有训练好的VGGnet模型提取超分辨图像的深度特征,用于量化超分辨图像的退化;然后,将包含SVR算法和k-NN算法的stacking回归算法用作第一层回归模型,以构建从VGGnet模型提取的深度特征到预测质量分数的映射模型,再采用线性回归算法得到第二层回归模型,从而形成stacking回归模型,以实现无参考评价超分辨图像的质量。
本发明基于stacking无参考型超分辨图像质量评价方法,具体包括以下步骤:
步骤1、在特征提取阶段,先将初始训练集图像输入到现有训练好的VGGnet模型中,然后输出训练集图像全连接层第七层的深度特征,组成特征训练集D;同时将初始验证集图像也输入到现有训练好的VGGnet模型,得到验证集图像全连接层第七层的深度特征,组成原验证集V;
步骤2、将步骤1中的特征训练集D分为k个大小相同、但互不重叠的训练子集D1,D2,...,DK;
步骤3、令作为训练集,Dj作为测试集,采用SVR算法在训练集/>上分别训练k个SVR基础回归器Lj_SVR,输出每个SVR基础回归器在测试集Dj上的SVR训练集预测值/>k个输出的SVR训练集预测值堆叠得到SVR元训练集同时将验证集V里的数据输入SVR基础回归器,获得每个SVR基础回归器在验证集V上的验证集预测值Vj_SVR,再将输出的验证集预测值进行算数平均得到SVR元验证集
步骤4、采用k-NN算法在训练集上分别训练k个k-NN基础回归器Lj_KNN,输出每个k-NN基础回归器在测试集Dj上的k-NN训练集预测值/>k个输出的训练集预测值堆叠得到k-NN元训练集/>同时将验证集V里的数据输入k-NN基础回归器,获得每个k-NN基础回归器在验证集V上的验证集预测值Vj_KNN,再将输出的验证集预测值进行算数平均得到k-NN元验证集/>
步骤5、将步骤3得到的SVR元训练集和步骤4得到的k-NN元训练集按列组合成一个高为训练集大小、宽度为算法个数的矩阵,加上从现有数据库中得到的主观质量分数构成第二层的训练集Train,即元回归器的训练集;
步骤6、采用线性回归器作为元回归器,将步骤5得到的训练集输入元回归器训练得到元回归模型;
步骤7、将步骤3得到的SVR元验证集和步骤4得到的k-NN元验证集按列组合成一个高为验证集大小、宽度为算法个数的矩阵,构成第二层的验证集Test,即元回归器的验证集;
步骤8、将步骤7得到的元回归器的验证集输入步骤6训练好的元回归模型中,即可得到最终的预测结果。
在第一层的堆叠回归中,我们将SVR作为基本回归器之一来粗略估计SR图像的感知分数,步骤3中SVR基础回归器中特征xi与图像的主观质量分数qi之间的关系表示如下:
qi=<w,φ(xi)>+b
其中w和b分别表示特征的权值和偏置值,这两个值都是从训练集中学习得到的;φ(.)为核函数,其作用是将原始低维数据映射到高维空间。
核函数采用径向基函数,其表达式为:
其中为σ为RBF核的标准差,xi和xj是图像样本的第i个和第j个深度特征。通过在stacking结构中应用SVR算法,训练集图像可以通过五次交叉验证实验来预测训练集所有图像质量得分。
k-NN回归使用简单的多数表决方案,通过对k个最近的值进行平均来获得粗略预测,步骤4中k-NN基础回归器中算法具体为:
x={x1,x2,…,xm}∈Rn表示m个训练集图像的特征,表示相应的主观得分,yj是第j个测试图像特征向量,首先利用距离度量来测量所有训练集图像特征向量和第j个测试图像特征向量之间的相似度,找到k个距离最短的训练集图像特征相对应的主观质量分数/>并计算这些主观质量分数的平均值作为第j张测试图像的预测结果,公式为:
距离度量采用欧几里得距离公式:
其中n是特征向量的维数。
以下通过仿真实验验证本发明的评价性能。具体仿真内容如下:
仿真实验一:在图像质量评价中,图像客观预测分数与主观质量分数是否具有一致性是衡量评价模型的重要方法之一。在直角坐标系中,横坐标为主观质量分数,纵坐标为客观预测分数,坐标系中的每一点对应一幅测试图像,最终测试集中所有图像将形成散点图,并利用逻辑函数进行线性拟合,其拟合函数为:
上式中:x表示利用客观评价算法得到的原始质量分数,Q(x)为经过非线性回归映射后的质量分数,αi(i=1,2,...,5)可以借助MATLAB中nlinfit函数估计的回归拟合参数。
若散点图中的点在拟合曲线附近波动越小,证明预测分数与主观评价分数的一致性越高,算法的性能越好。如图3所示,在超分辨图像数据集中,采用80%的数据作为训练集和剩余的20%测试集进行一致性对比实验,选择其它五种具有代表性的图像质量评价方法与本发明仿真结果进行比较,以验证本发明的主客观一致性。由图3很明显可以看出,图3(f)中的散点相较于图3(a)、(b)、(c)、(d)、(e)更靠近拟合曲线,因此,图3(f)所对应的本发明的方法相比其他无参考型图像质量评价方法具有更好的一致性。五种具有代表性的图像质量评价方法分别为:Saad等人提出的BLIINDS方法(IEEE Trans.on Image Process.,2012:3339-3352),Mittal等人提出的BRISQUE方法(IEEE Trans.on Image Process.,2012:4695-4708),Liu等人提出的SSEQ方法(Signal Processing:Image Communication,2014:856-863),Zhang等人提出的方法ILNIQE(IEEE Trans.on Image Process.,2015:2576-2591),Ma的方法(Computer Vision and Image Understanding,2017:1-16)。本发明的数据集来源于Ma方法的论文,主要包括1620幅超分辨图像和图像对应的主观质量分数。
图4为超分辨数据集中训练验证实验的评估结果展示图,同时给出主观质量评价分数、Ma等人评价方法的图像质量预测结果和本发明仿真的预测结果。对于前两列中具有更丰富细节的超分辨图像,尽管Ma等人的方法具有较好的预测结果,但是与主观分数相比较,本发明仿真的预测结果更优于Ma等人的预测结果。对于后两列中细节较少的超分辨图像,本发明仿真的预测结果仍优于Ma等人的预测结果。特别是在超分辨图像的最后一列中,当超分辨图像质量较差时,所提出的方法可以与主观得分产生更一致的预测得分,与Ma等人的方法相比,具有明显的优势。这是因为本发明基于深度学习的特征有利于准确量化超分辨图像的质量。此外,应用异质stacking回归模型建立深度特征与主观分数之间的映射关系有利于提高预测精度。
仿真实验二:为了进一步验证本发明的无参考型超分辨图像质量评价方法的有效性,我们在训练模型的超分辨图像数据库外,根据图像整体清晰度、局部纹理丰富性及结构合理性选取了24幅超分辨图像。这些超分辨图像是四幅低分辨图像通过使用六种不同类型的超分辨方法(A+,ANR,CNN,MoE,FD,SERF)上采样因子为3得到的。其中六种不同类型的超分辨方法的分别为:Timofte等人提出的方法,简称A+(Asian Conference on ComputerVision,2014:111-126),Timofte等人提出的方法,简称ANR(ICCV,2013:1920-1927),Dong等人提出的方法,简称CNN(Proc.European Conf.Comput.Vis.,2014:184-199),Zhang等人提出的方法,简称MoE(IEEE Signal Processing Letters,2015:102-106),Hu等人提出的方法,简称SERF(IEEE Trans.Image Process.,2016:4091-4102),Yang等人提出的方法,简称FD(ICCV,2014:561-568)。
利用本发明的图像质量评价算法进行仿真评价得到预测结果如图5所示,小括号内的分数即为预测评价分数。从评估结果可以看出,A+和CNN获得的图像质量较好,而ANR和FD获得的图像质量较差,这不仅与主观感知一致,而且与图像超分辨率重建方法的经验分析相一致。因此,可以证明本发明所提出的评估算法具有一定的合理性。
本发明基于stacking无参考型超分辨图像质量评价方法,其有益效果在于:上述仿真实验结果表明,本发明与已有的无参考型超分辨图像质量评价方法相比,所得到的评价结果更有效,能够与主观感知具有更好的一致性。同时,本发明重建图像在客观评价上也展示出其与其他无参考型图像质量评价方法相比更为巨大的优势。