一种基于Stacking集成学习的图像超分辨方法
技术领域
本发明属于图像超分辨技术领域,具体涉及一种基于Stacking集成学习的图像超分辨方法。
背景技术
随着信息技术的飞速发展,电子图像已成为人们传递信息的重要手段。然而,受传统数字成像设备的固有限制,所获得的图像往往经过了光学模糊、运动模糊、欠采样以及***噪声等一系列退化过程,使人们难以获得理想的高分辨率图像,如何获取更高质量的图像成为一个日益紧迫的问题。图像超分辨技术作为一种有效的图像复原手段,成功突破了物理成像环境的限制,能够以最低成本从一幅或多幅低分辨率图像中重建出高于成像***物理分辨率的高质量图像,是解决上述难题的关键。
图像超分辨技术可大致分为三类:基于插值的方法、基于重构的方法和基于实例学习的方法。其中,基于实例学习的超分辨方法因其优越的重建性能而获得广泛应用。然而,目前大多数超分辨方法通常只采用某种单一的图像特征进行模型训练,而忽略了自然图像具有多样性和复杂性的特点。由于每种特征都有其自身局限性,总是有意突出图像某些方面的特征,简化甚至忽略其他方面的特征,从而导致模型泛化能力受限,重建效果不理。例如,梯度特征有利于保持清晰的图像边缘,但不利于恢复图像中复杂的纹理细节;而纹理特征有利于生成新的纹理细节,但不利于保持锐利的边缘。
发明内容
本发明的目的是提供一种基于Stacking集成学习的图像超分辨方法,解决了现有技术中存在的图像特征过于单一、超分辨模型泛化能力不强的问题。
本发明所采用的技术方案是,一种基于Stacking集成学习的图像超分辨方法,首先,对待处理图像进行特征提取,并用基模型估计高分辨图像块;然后,用元模型估计高分辨图像块;最后,将两种高分辨图像块依次添加至低分辨图像的插值图像上,以获得最终的高分辨图像。
本发明的特点还在于:
具体按照以下步骤实施:
步骤1、提取待处理图像A的梯度特征和纹理特征,输出梯度特征矩阵、纹理特征矩阵;
步骤2、采用基模型中的梯度回归器对梯度特征矩阵进行处理,输出高分辨特征矩阵
同时,采用基模型中的纹理回归器对纹理特征矩阵进行处理,输出高分辨特征矩阵
步骤3、对步骤2的输出高分辨特征矩阵
和高分辨特征矩阵
进行合并,输出高分辨特征矩阵
步骤4、采用元模型中的回归器对矩阵
进行处理,输出高分辨特征矩阵
步骤5、将基模型的输出高分辨特征矩阵
高分辨特征矩阵
和元模型的输出高分辨特征矩阵
添加至插值图像块特征,输出高分辨特征向量;
步骤6、将高分辨特征向量转换为图像块,并将图像块进行融合,输出高分辨率图像。
步骤1具体按照以下步骤实施:
步骤1.1、采用双立方插值算法对待处理图像A进行上采样,输出插值图像A0;
步骤1.2、将插值图像A0从RGB颜色空间转换到YCbCr颜色空间,并分离出亮度通道图像A1,及色度通道图像A2和A3;
步骤1.3、将亮度通道图像A1分割为9×9的图像块,且相邻的两个图像块相互重叠;
步骤1.4、依次提取图像块的梯度特征和纹理特征,输出梯度特征矩阵
纹理特征矩阵
步骤1.4中,梯度特征提取过程具体如下:
将亮度通道图像A1中的图像块转换为81×1的向量形式,采用Roberts算子对向量进行卷积,输出梯度特征向量;
所述步骤1.4中,纹理特征提取过程具体如下:
将亮度通道图像A1中的图像块转换为81×1的向量形式,向量中每个元素减去所有元素的平均值,输出纹理特征向量。
步骤2具体按照以下步骤实施:
步骤2.1、基模型对梯度特征矩阵、纹理特征矩阵进行处理
(1)采用基模型中的梯度回归器对梯度特征矩阵
进行处理
对梯度特征矩阵
中的每个特征向量
进行如下处理:根据相关性最大原则从梯度回归器中选择最优回归器
计算
与特征向量
的乘积,输出高分辨特征向量
(2)采用基模型中的纹理回归器对纹理特征矩阵
进行处理
对纹理特征矩阵
中的每个特征向量
进行如下处理:根据相关性最大原则从纹理回归器中选择最优回归器
计算
与特征向量
的乘积输出高分辨特征向量
步骤2.2、计算高分辨特征矩阵
高分辨特征矩阵
的平均值,输出高分辨特征矩阵
和高分辨特征矩阵
步骤4具体按照以下步骤实施:
对高分辨特征矩阵
中的每个特征向量
进行如下处理:根据相关性最大原则从元模型回归器中选择最优回归器
计算回归函数
与特征向量
的乘积,输出高分辨特征向量
步骤4.2、计算高分辨率特征矩阵
的平均值,输出高分辨率特征矩阵
步骤5具体过程如下:
计算高分辨特征矩阵
高分辨特征矩阵
的平均值;将平均值、高分辨特征矩阵
插值图像块P
1相加,输出高分辨特征矩阵
其中,插值图像块P
1由步骤1.3中亮度通道图像A
1提取图像块特征得到,提取过程为,将9×9的图像块转换为81×1的向量形式。
步骤6具体过程如下:
将81×1的高分辨特征向量转换为9×9的图像块;将所有图像块依次拼接,相邻图像块之间的重叠部分取该位置上的平均值,输出高分辨图像;其中,高分辨图像的大小与步骤1.1中上采样后图像的大小一致。
步骤2中,基模型的训练按照以下步骤实施:
步骤1、采用双立方插值算法对训练集中的低分辨图像Yl进行上采样,输出插值图像Y0;
步骤2、分别提取插值图像Y0的梯度特征ygl和纹理特征ytl,输出梯度特征空间{ygl,yh}、纹理特征空间{ytl,yh};其中,yh表示图像的高频成分,即原始高分辨图像块特征y与插值图像块特征y0之差;
步骤3、采用C倍交叉验证法对梯度特征空间{y
gl,y
h}、梯度特征空间{y
gl,y
h}进行训练,输出一组梯度回归器
和一组纹理回归器
步骤4、采用梯度回归器
纹理回归器
进行处理,输出高分辨特征矩阵
高分辨特征矩阵
其中,
表示第i个梯度特征向量;
表示第i个纹理特征向量;
表示与
与匹配度最高的回归器;
表示与
匹配度最高的回归器;j的值由如下公式计算得到:
即,将字典D
g中的所有原子
投影到第i个梯度特征向量
选出令投影值最大的回归器作为将
转换为高分辨特征向量
的回归器。
步骤3具体按照以下步骤实施:
步骤3.1、利用K-SVD字典学习算法,在梯度特征ygl上学习得到超完备字典Dg,K-SVD字典学习优化公式如下:
式中,ygl为低分辨梯度特征向量,A为ygl的稀疏表示系数。同理可学习得到纹理特征空间ytl上的超完备字典Dt;
步骤3.2、以字典Dg和Dt中的k个原子分别为锚点,在各自的高-低分辨率特征空间上搜索与各个原子相关性最大的p个近邻,组成高-低分辨率邻域对;
步骤3.3、利用脊回归模型对每个高-低分辨率邻域对
分别学习线性回归器;第k个邻域上的梯度回归器根据下式建立:
式中,
对应于字典D
g中的第k个原子
I为一个p×p的单位矩阵。λ为正则化常数。同理可得纹理回归器
经C倍交叉验证后最终得到一组梯度回归器
和一组纹理回归器
步骤4中,元模型的训练按照以下步骤实施:
步骤1、将YG和YT进行合并,作为下一层的低分辨输入ym,同时将新产生的高频细节y′h作为下一层的高分辨输入,生成新的高-低分辨率特征空间{ym,y′h},即:
ym={YG,YT} (4)
本发明的有益效果是:
(1)本发明对低分辨图像进行处理时同时采用了梯度特征和纹理特征进行图像描述,克服了现有超分辨技术中由特征单一造成的对图像描述不充分的问题;
(2)本发明所采用的Stacking集成学习策略,能够对由不同特征重建出的高分辨特征进行有效融合,提高了对不同类型图像的泛化能力;
(3)本发明中的模型训练过程,采用了交叉验证方法,有效防止了数据过拟合,使模型具有较强的鲁棒性;进而使得生成的高分辨图像更加真实可靠。
附图说明
图1是本发明基于Stacking集成学习的图像超分辨方法的流程图;
图2是本发明基于Stacking集成学习的图像超分辨方法中基模型和元模型的训练流程图;
图3是本发明基于Stacking集成学习的图像超分辨方法中实施例1的结果对比图;
图4本发明基于Stacking集成学习的图像超分辨方法中实施例2的结果对比图;
图5发明基于Stacking集成学习的图像超分辨方法中实施例3的结果对比图;
图6本发明基于Stacking集成学习的图像超分辨方法中实施例4的结果对比图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
如图1所示,本发明一种基于Stacking集成学习的图像超分辨方法,首先,对待处理图像进行特征提取,并用基模型估计高分辨图像块;然后,用元模型估计高分辨图像块;最后,将两种高分辨图像块依次添加至低分辨图像的插值图像上,以获得最终的高分辨图像。
具体按照以下步骤实施:
步骤1、提取待处理图像A的梯度特征和纹理特征,输出梯度特征矩阵、纹理特征矩阵;
步骤1具体按照以下步骤实施:
步骤1.1、采用双立方插值算法对待处理图像A进行上采样,输出插值图像A0;
步骤1.2、将插值图像A0从RGB颜色空间转换到YCbCr颜色空间,并分离出亮度通道图像A1,及色度通道图像A2和A3;
步骤1.3、将亮度通道图像A1分割为9×9的图像块,且相邻的两个图像块相互重叠;
步骤1.4、依次提取图像块的梯度特征和纹理特征,输出梯度特征矩阵
纹理特征矩阵
梯度特征提取过程具体如下:
将亮度通道图像A1中的图像块转换为81×1的向量形式,采用Roberts算子对向量进行卷积,输出梯度特征向量;
纹理特征提取过程具体如下:
将亮度通道图像A1中的图像块转换为81×1的向量形式,向量中每个元素减去所有元素的平均值,输出纹理特征向量。
步骤2、采用基模型中的梯度回归器对梯度特征矩阵进行处理,输出高分辨特征矩阵
同时,采用基模型中的纹理回归器对纹理特征矩阵进行处理,输出高分辨特征矩阵
步骤2具体按照以下步骤实施:
步骤2.1、基模型对梯度特征矩阵、纹理特征矩阵进行处理
(1)采用基模型中的梯度回归器对梯度特征矩阵
进行处理
对梯度特征矩阵
中的每个特征向量
进行如下处理:根据相关性最大原则从梯度回归器中选择最优回归器
计算
与特征向量
的乘积,输出高分辨特征向量
(2)采用基模型中的纹理回归器对纹理特征矩阵
进行处理
对纹理特征矩阵
中的每个特征向量
进行如下处理:根据相关性最大原则从纹理回归器中选择最优回归器
计算
与特征向量
的乘积输出高分辨特征向量
步骤2.2、计算高分辨特征矩阵
高分辨特征矩阵
的平均值,输出高分辨特征矩阵
和高分辨特征矩阵
步骤3、对步骤2的输出高分辨特征矩阵
和高分辨特征矩阵
进行合并,输出高分辨特征矩阵
步骤4、采用元模型中的回归器对矩阵
进行处理,输出高分辨特征矩阵
对高分辨特征矩阵
中的每个特征向量
进行如下处理:根据相关性最大原则从元模型回归器中选择最优回归器
计算回归函数
与特征向量
的乘积,输出高分辨特征向量
步骤4.2、计算高分辨率特征矩阵
的平均值,输出高分辨率特征矩阵
步骤5、将基模型的输出高分辨特征矩阵
高分辨特征矩阵
和元模型的输出高分辨特征矩阵
添加至插值图像块特征,输出高分辨特征向量;
步骤5具体过程如下:
计算高分辨特征矩阵
高分辨特征矩阵
的平均值;将平均值、高分辨特征矩阵
插值图像块P
1相加,输出高分辨特征矩阵
其中,插值图像块P
1由步骤1.3中亮度通道图像A
1提取图像块特征得到,提取过程为,将9×9的图像块转换为81×1的向量形式。
步骤6、将高分辨特征向量转换为图像块,并将图像块进行融合,输出高分辨率图像;
步骤6具体过程如下:
将81×1的高分辨特征向量转换为9×9的图像块;将所有图像块依次拼接,相邻图像块之间的重叠部分取该位置上的平均值,输出高分辨图像;其中,高分辨图像的大小与步骤1.1中上采样后图像的大小一致。
如图2所示,步骤2中,基模型的训练按照以下步骤实施:
步骤1、采用双立方插值算法对训练集中的低分辨图像Yl进行上采样,输出插值图像Y0;
步骤2、分别提取插值图像Y0的梯度特征ygl和纹理特征ytl,输出梯度特征空间{ygl,yh}、纹理特征空间{ytl,yh};其中,yh表示图像的高频成分,即原始高分辨图像块特征y与插值图像块特征y0之差;
步骤3、采用C倍交叉验证法对梯度特征空间{y
gl,y
h}、梯度特征空间{y
gl,y
h}进行训练,输出一组梯度回归器
和一组纹理回归器
步骤3具体按照以下步骤实施:
步骤3.1、利用K-SVD字典学习算法,在梯度特征ygl上学习得到超完备字典Dg,K-SVD字典学习优化公式如下:
式中,ygl为低分辨梯度特征向量,A为ygl的稀疏表示系数。同理可学习得到纹理特征空间ytl上的超完备字典Dt;
步骤3.2、以字典Dg和Dt中的k个原子分别为锚点,在各自的高-低分辨率特征空间上搜索与各个原子相关性最大的p个近邻,组成高-低分辨率邻域对;
步骤3.3、利用脊回归模型对每个高-低分辨率邻域对
分别学习线性回归器;第k个邻域上的梯度回归器根据下式建立:
式中,
对应于字典D
g中的第k个原子
I为一个p×p的单位矩阵。λ为正则化常数。同理可得纹理回归器
经C倍交叉验证后最终得到一组梯度回归器
和一组纹理回归器
步骤4、采用梯度回归器
纹理回归器
进行处理,输出高分辨特征矩阵
高分辨特征矩阵
其中,
表示第i个梯度特征向量;
表示第i个纹理特征向量;
表示与
与匹配度最高的回归器;
表示与
匹配度最高的回归器;j的值由如下公式计算得到:
即,将字典D
g中的所有原子
投影到第i个梯度特征向量
选出令投影值最大的回归器作为将
转换为高分辨特征向量
的回归器。
如图2所示,步骤4中,元模型的训练按照以下步骤实施:
步骤1、将YG和YT进行堆叠,作为下一层的低分辨输入ym,同时将新产生的高频细节y′h作为下一层的高分辨输入,生成新的高-低分辨率特征空间{ym,y′h},即:
ym={YG,YT} (4)
实施例1
图3为数据集Set5中“Bird”图像在3倍放大下的比较结果;现有技术ANR方法、FD方法、MoE方法、SERF方法、A+方法、SRCNN方法和本发明方法在“Bird”图像上获得的PSNR值和SSIM值分别如下所示:
ANR方法(PSNR:34.4762,SSIM:0.9466);
FD方法(PSNR:34.5145,SSIM:0.945)
MoE方法(PSNR:35.5153,SSIM:0.9562)
SERF方法(PSNR:34.8058,SSIM:0.9494)
A+方法(PSNR:35.3465,SSIM:0.9521)
SRCNN方法(PSNR:34.9966,SSIM:0.9495)
本发明中方法((PSNR:35.9623,SSIM:0.9577)
经对比,本发明方法不论在主观视觉质量还是客观评价指标上均优于其他几种对比方法。
实施例2
图4为数据集Set14中“Foreman”图像在3倍放大下的比较结果;现有技术ANR方法、FD方法、MoE方法、SERF方法、A+方法、SRCNN方法和本发明方法在“Foreman”图像上获得的PSNR值和SSIM值分别如下所示:
ANR方法(PSNR:33.5772,SSIM:0.9308)
FD方法(PSNR:33.615,SSIM:0.930)
MoE方法(PSNR:34.4286,SSIM:0.94)
SERF方法(PSNR:33.5352,SSIM:0.9333)
A+方法(PSNR:34.7736,SSIM:0.9401)
SRCNN方法(PSNR:34.0179,SSIM:0.9339)
本发明方法(PSNR:34.9644,SSIM:0.9433)
经对比,本发明方法在图像边缘处能够保持更清晰的轮廓,并产生较少的影伪,同时取得了优于其他几种对比方法的PSNR和SSIM结果。
实施例3
图5为数据集Set14中“ppt3”图像在3倍放大下的比较结果;现有技术ANR方法、FD方法、MoE方法、SERF方法、A+方法、SRCNN方法和本发明方法在“ppt3”图像上获得的PSNR值和SSIM值分别如下所示
ANR方法(PSNR:24.7488,SSIM:0.9087)
FD方法(PSNR:24.9568,SSIM:0.9021)
MoE方法(PSNR:25.5296,SSIM:0.9243)
SERF方法(PSNR:25.5109,SSIM:0.9173)
A+方法(PSNR:25.8523,SSIM:0.9297)
SRCNN方法(PSNR:25.9622,SSIM:0.9184)
本发明方法(PSNR:26.2349,SSIM:0.9393)
经对比,本发明方法在图像文字区域能够产生较好的重建效果,并取得了优于其他几种对比方法的PSNR和SSIM结果。
实施例4
为了验证Stacking集成学***均PSNR值和SSIM值;图(a)为2倍放大下的PSNR值;图(b)为3倍放大下的PSNR值;图(c)为2倍放大下的SSIM值;图(d)为3倍放大下的SSIM值;从图中可以看出,梯度模型在2倍放大下比纹理模型更具优势,而纹理模型在3倍放大下能够获得优于梯度模型的重建结果;上述结果表明,梯度模型适用于放大倍数较小的情况,而当放大倍数较大时,纹理模型更有利于恢复低分辨图像中丢失的高频细节。相比之下,本发明提出的Stacking模型在2倍放大和3倍放大的情况下均能取得最优重建结果。
本发明对低分辨图像进行处理时同时采用了梯度特征和纹理特征进行图像描述,克服了现有超分辨技术中由特征单一造成的对图像描述不充分的问题;本发明所采用的Stacking集成学习策略,能够对由不同特征重建出的高分辨特征进行有效融合,提高了对不同类型图像的泛化能力;本发明中的模型训练过程,采用了交叉验证方法,有效防止了数据过拟合,使模型具有较强的鲁棒性;进而使得生成的高分辨图像更加真实可靠。