CN111275620B - 一种基于Stacking集成学习的图像超分辨方法 - Google Patents

一种基于Stacking集成学习的图像超分辨方法 Download PDF

Info

Publication number
CN111275620B
CN111275620B CN202010052099.5A CN202010052099A CN111275620B CN 111275620 B CN111275620 B CN 111275620B CN 202010052099 A CN202010052099 A CN 202010052099A CN 111275620 B CN111275620 B CN 111275620B
Authority
CN
China
Prior art keywords
resolution
image
gradient
feature
texture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010052099.5A
Other languages
English (en)
Other versions
CN111275620A (zh
Inventor
张凯兵
罗爽
朱丹妮
卢健
李敏奇
刘薇
苏泽斌
景军锋
陈小改
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jinhua Qingniao Computer Information Technology Co ltd
Shenzhen Wanzhida Technology Co ltd
Original Assignee
Jinhua Qingniao Computer Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jinhua Qingniao Computer Information Technology Co ltd filed Critical Jinhua Qingniao Computer Information Technology Co ltd
Priority to CN202010052099.5A priority Critical patent/CN111275620B/zh
Publication of CN111275620A publication Critical patent/CN111275620A/zh
Application granted granted Critical
Publication of CN111275620B publication Critical patent/CN111275620B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

本发明公开了一种基于Stacking集成学习的图像超分辨方法，首先，对待处理图像进行特征提取，并用基模型估计高分辨图像块；然后，用元模型估计高分辨图像块；最后，将两种高分辨图像块依次添加至低分辨图像的插值图像上，以获得最终的高分辨图像。本发明一种基于Stacking集成学习的图像超分辨方法，解决了现有技术中存在的图像特征过于单一、超分辨模型泛化能力不强的问题。

Description

一种基于Stacking集成学习的图像超分辨方法
技术领域
本发明属于图像超分辨技术领域，具体涉及一种基于Stacking集成学习的图像超分辨方法。
背景技术
随着信息技术的飞速发展，电子图像已成为人们传递信息的重要手段。然而，受传统数字成像设备的固有限制，所获得的图像往往经过了光学模糊、运动模糊、欠采样以及***噪声等一系列退化过程，使人们难以获得理想的高分辨率图像，如何获取更高质量的图像成为一个日益紧迫的问题。图像超分辨技术作为一种有效的图像复原手段，成功突破了物理成像环境的限制，能够以最低成本从一幅或多幅低分辨率图像中重建出高于成像***物理分辨率的高质量图像，是解决上述难题的关键。
图像超分辨技术可大致分为三类：基于插值的方法、基于重构的方法和基于实例学习的方法。其中，基于实例学习的超分辨方法因其优越的重建性能而获得广泛应用。然而，目前大多数超分辨方法通常只采用某种单一的图像特征进行模型训练，而忽略了自然图像具有多样性和复杂性的特点。由于每种特征都有其自身局限性，总是有意突出图像某些方面的特征，简化甚至忽略其他方面的特征，从而导致模型泛化能力受限，重建效果不理。例如，梯度特征有利于保持清晰的图像边缘，但不利于恢复图像中复杂的纹理细节；而纹理特征有利于生成新的纹理细节，但不利于保持锐利的边缘。
发明内容
本发明的目的是提供一种基于Stacking集成学习的图像超分辨方法，解决了现有技术中存在的图像特征过于单一、超分辨模型泛化能力不强的问题。
本发明所采用的技术方案是，一种基于Stacking集成学习的图像超分辨方法，首先，对待处理图像进行特征提取，并用基模型估计高分辨图像块；然后，用元模型估计高分辨图像块；最后，将两种高分辨图像块依次添加至低分辨图像的插值图像上，以获得最终的高分辨图像。
本发明的特点还在于：
具体按照以下步骤实施：
步骤1、提取待处理图像A的梯度特征和纹理特征，输出梯度特征矩阵、纹理特征矩阵；
步骤2、采用基模型中的梯度回归器对梯度特征矩阵进行处理，输出高分辨特征矩阵同时，采用基模型中的纹理回归器对纹理特征矩阵进行处理，输出高分辨特征矩阵/>
步骤3、对步骤2的输出高分辨特征矩阵和高分辨特征矩阵/>进行合并，输出高分辨特征矩阵/>
步骤4、采用元模型中的回归器对矩阵进行处理，输出高分辨特征矩阵/>
步骤5、将基模型的输出高分辨特征矩阵高分辨特征矩阵/>和元模型的输出高分辨特征矩阵/>添加至插值图像块特征，输出高分辨特征向量；
步骤6、将高分辨特征向量转换为图像块，并将图像块进行融合，输出高分辨率图像。
步骤1具体按照以下步骤实施：
步骤1.1、采用双立方插值算法对待处理图像A进行上采样，输出插值图像A0；
步骤1.2、将插值图像A0从RGB颜色空间转换到YCbCr颜色空间，并分离出亮度通道图像A1，及色度通道图像A2和A3；
步骤1.3、将亮度通道图像A1分割为9×9的图像块，且相邻的两个图像块相互重叠；
步骤1.4、依次提取图像块的梯度特征和纹理特征，输出梯度特征矩阵纹理特征矩阵/>
步骤1.4中，梯度特征提取过程具体如下：
将亮度通道图像A1中的图像块转换为81×1的向量形式，采用Roberts算子对向量进行卷积，输出梯度特征向量；
所述步骤1.4中，纹理特征提取过程具体如下：
将亮度通道图像A1中的图像块转换为81×1的向量形式，向量中每个元素减去所有元素的平均值，输出纹理特征向量。
步骤2具体按照以下步骤实施：
步骤2.1、基模型对梯度特征矩阵、纹理特征矩阵进行处理
(1)采用基模型中的梯度回归器对梯度特征矩阵进行处理
对梯度特征矩阵中的每个特征向量/>进行如下处理：根据相关性最大原则从梯度回归器中选择最优回归器/>计算/>与特征向量/>的乘积，输出高分辨特征向量/>
(2)采用基模型中的纹理回归器对纹理特征矩阵进行处理
对纹理特征矩阵中的每个特征向量/>进行如下处理：根据相关性最大原则从纹理回归器中选择最优回归器/>计算/>与特征向量/>的乘积输出高分辨特征向量/>
步骤2.2、计算高分辨特征矩阵高分辨特征矩阵/>的平均值，输出高分辨特征矩阵/>和高分辨特征矩阵/>
步骤4具体按照以下步骤实施：
步骤4.1、元模型对高分辨特征矩阵进行处理
对高分辨特征矩阵中的每个特征向量/>进行如下处理：根据相关性最大原则从元模型回归器中选择最优回归器/>计算回归函数/>与特征向量/>的乘积，输出高分辨特征向量/>
输出高分辨率特征矩阵
步骤4.2、计算高分辨率特征矩阵的平均值，输出高分辨率特征矩阵/>
步骤5具体过程如下：
计算高分辨特征矩阵高分辨特征矩阵/>的平均值；将平均值、高分辨特征矩阵/>插值图像块P1相加，输出高分辨特征矩阵/>其中，插值图像块P1由步骤1.3中亮度通道图像A1提取图像块特征得到，提取过程为，将9×9的图像块转换为81×1的向量形式。
步骤6具体过程如下：
将81×1的高分辨特征向量转换为9×9的图像块；将所有图像块依次拼接，相邻图像块之间的重叠部分取该位置上的平均值，输出高分辨图像；其中，高分辨图像的大小与步骤1.1中上采样后图像的大小一致。
步骤2中，基模型的训练按照以下步骤实施：
步骤1、采用双立方插值算法对训练集中的低分辨图像Yl进行上采样，输出插值图像Y0；
步骤2、分别提取插值图像Y0的梯度特征ygl和纹理特征ytl，输出梯度特征空间{ygl,yh}、纹理特征空间{ytl,yh}；其中，yh表示图像的高频成分，即原始高分辨图像块特征y与插值图像块特征y0之差；
步骤3、采用C倍交叉验证法对梯度特征空间{ygl,yh}、梯度特征空间{ygl,yh}进行训练，输出一组梯度回归器和一组纹理回归器/>
步骤4、采用梯度回归器纹理回归器/>进行处理，输出高分辨特征矩阵/>高分辨特征矩阵/>其中，/> 表示第i个梯度特征向量；/>表示第i个纹理特征向量；/>表示与/>与匹配度最高的回归器；/>表示与/>匹配度最高的回归器；j的值由如下公式计算得到：
即，将字典Dg中的所有原子投影到第i个梯度特征向量/>选出令投影值最大的回归器作为将/>转换为高分辨特征向量/>的回归器。
步骤3具体按照以下步骤实施：
步骤3.1、利用K-SVD字典学习算法，在梯度特征ygl上学习得到超完备字典Dg，K-SVD字典学习优化公式如下：
式中，ygl为低分辨梯度特征向量，A为ygl的稀疏表示系数。同理可学习得到纹理特征空间ytl上的超完备字典Dt；
步骤3.2、以字典Dg和Dt中的k个原子分别为锚点，在各自的高-低分辨率特征空间上搜索与各个原子相关性最大的p个近邻，组成高-低分辨率邻域对；
步骤3.3、利用脊回归模型对每个高-低分辨率邻域对分别学习线性回归器；第k个邻域上的梯度回归器根据下式建立：
式中，对应于字典Dg中的第k个原子/>I为一个p×p的单位矩阵。λ为正则化常数。同理可得纹理回归器/>经C倍交叉验证后最终得到一组梯度回归器/>和一组纹理回归器/>
步骤4中，元模型的训练按照以下步骤实施：
步骤1、将YG和YT进行合并，作为下一层的低分辨输入ym，同时将新产生的高频细节y′h作为下一层的高分辨输入，生成新的高-低分辨率特征空间{ym,y′h}，即：
ym＝{YG,YT} (4)
步骤2、采用步骤3的方法训练，输出一组元回归器
本发明的有益效果是：
(1)本发明对低分辨图像进行处理时同时采用了梯度特征和纹理特征进行图像描述，克服了现有超分辨技术中由特征单一造成的对图像描述不充分的问题；
(2)本发明所采用的Stacking集成学习策略，能够对由不同特征重建出的高分辨特征进行有效融合，提高了对不同类型图像的泛化能力；
(3)本发明中的模型训练过程，采用了交叉验证方法，有效防止了数据过拟合，使模型具有较强的鲁棒性；进而使得生成的高分辨图像更加真实可靠。
附图说明
图1是本发明基于Stacking集成学习的图像超分辨方法的流程图；
图2是本发明基于Stacking集成学习的图像超分辨方法中基模型和元模型的训练流程图；
图3是本发明基于Stacking集成学习的图像超分辨方法中实施例1的结果对比图；
图4本发明基于Stacking集成学习的图像超分辨方法中实施例2的结果对比图；
图5发明基于Stacking集成学习的图像超分辨方法中实施例3的结果对比图；
图6本发明基于Stacking集成学习的图像超分辨方法中实施例4的结果对比图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
如图1所示，本发明一种基于Stacking集成学习的图像超分辨方法，首先，对待处理图像进行特征提取，并用基模型估计高分辨图像块；然后，用元模型估计高分辨图像块；最后，将两种高分辨图像块依次添加至低分辨图像的插值图像上，以获得最终的高分辨图像。
具体按照以下步骤实施：
步骤1、提取待处理图像A的梯度特征和纹理特征，输出梯度特征矩阵、纹理特征矩阵；
步骤1具体按照以下步骤实施：
步骤1.1、采用双立方插值算法对待处理图像A进行上采样，输出插值图像A0；
步骤1.2、将插值图像A0从RGB颜色空间转换到YCbCr颜色空间，并分离出亮度通道图像A1，及色度通道图像A2和A3；
步骤1.3、将亮度通道图像A1分割为9×9的图像块，且相邻的两个图像块相互重叠；
步骤1.4、依次提取图像块的梯度特征和纹理特征，输出梯度特征矩阵纹理特征矩阵/>
梯度特征提取过程具体如下：
将亮度通道图像A1中的图像块转换为81×1的向量形式，采用Roberts算子对向量进行卷积，输出梯度特征向量；
纹理特征提取过程具体如下：
将亮度通道图像A1中的图像块转换为81×1的向量形式，向量中每个元素减去所有元素的平均值，输出纹理特征向量。
步骤2、采用基模型中的梯度回归器对梯度特征矩阵进行处理，输出高分辨特征矩阵同时，采用基模型中的纹理回归器对纹理特征矩阵进行处理，输出高分辨特征矩阵/>
步骤2具体按照以下步骤实施：
步骤2.1、基模型对梯度特征矩阵、纹理特征矩阵进行处理
(1)采用基模型中的梯度回归器对梯度特征矩阵进行处理
对梯度特征矩阵中的每个特征向量/>进行如下处理：根据相关性最大原则从梯度回归器中选择最优回归器/>计算/>与特征向量/>的乘积，输出高分辨特征向量/>
(2)采用基模型中的纹理回归器对纹理特征矩阵进行处理
对纹理特征矩阵中的每个特征向量/>进行如下处理：根据相关性最大原则从纹理回归器中选择最优回归器/>计算/>与特征向量/>的乘积输出高分辨特征向量/>
步骤2.2、计算高分辨特征矩阵高分辨特征矩阵/>的平均值，输出高分辨特征矩阵/>和高分辨特征矩阵/>
步骤3、对步骤2的输出高分辨特征矩阵和高分辨特征矩阵/>进行合并，输出高分辨特征矩阵/>
步骤4、采用元模型中的回归器对矩阵进行处理，输出高分辨特征矩阵/>
步骤4.1、元模型对高分辨特征矩阵进行处理
对高分辨特征矩阵中的每个特征向量/>进行如下处理：根据相关性最大原则从元模型回归器中选择最优回归器/>计算回归函数/>与特征向量/>的乘积，输出高分辨特征向量/>
输出高分辨率特征矩阵
步骤4.2、计算高分辨率特征矩阵的平均值，输出高分辨率特征矩阵/>
步骤5、将基模型的输出高分辨特征矩阵高分辨特征矩阵/>和元模型的输出高分辨特征矩阵/>添加至插值图像块特征，输出高分辨特征向量；
步骤5具体过程如下：
计算高分辨特征矩阵高分辨特征矩阵/>的平均值；将平均值、高分辨特征矩阵/>插值图像块P1相加，输出高分辨特征矩阵/>其中，插值图像块P1由步骤1.3中亮度通道图像A1提取图像块特征得到，提取过程为，将9×9的图像块转换为81×1的向量形式。
步骤6、将高分辨特征向量转换为图像块，并将图像块进行融合，输出高分辨率图像；
步骤6具体过程如下：
将81×1的高分辨特征向量转换为9×9的图像块；将所有图像块依次拼接，相邻图像块之间的重叠部分取该位置上的平均值，输出高分辨图像；其中，高分辨图像的大小与步骤1.1中上采样后图像的大小一致。
如图2所示，步骤2中，基模型的训练按照以下步骤实施：
步骤1、采用双立方插值算法对训练集中的低分辨图像Yl进行上采样，输出插值图像Y0；
步骤2、分别提取插值图像Y0的梯度特征ygl和纹理特征ytl，输出梯度特征空间{ygl,yh}、纹理特征空间{ytl,yh}；其中，yh表示图像的高频成分，即原始高分辨图像块特征y与插值图像块特征y0之差；
步骤3、采用C倍交叉验证法对梯度特征空间{ygl,yh}、梯度特征空间{ygl,yh}进行训练，输出一组梯度回归器和一组纹理回归器/>
步骤3具体按照以下步骤实施：
步骤3.1、利用K-SVD字典学习算法，在梯度特征ygl上学习得到超完备字典Dg，K-SVD字典学习优化公式如下：
式中，ygl为低分辨梯度特征向量，A为ygl的稀疏表示系数。同理可学习得到纹理特征空间ytl上的超完备字典Dt；
步骤3.2、以字典Dg和Dt中的k个原子分别为锚点，在各自的高-低分辨率特征空间上搜索与各个原子相关性最大的p个近邻，组成高-低分辨率邻域对；
步骤3.3、利用脊回归模型对每个高-低分辨率邻域对分别学习线性回归器；第k个邻域上的梯度回归器根据下式建立：
式中，对应于字典Dg中的第k个原子/>I为一个p×p的单位矩阵。λ为正则化常数。同理可得纹理回归器/>经C倍交叉验证后最终得到一组梯度回归器/>和一组纹理回归器/>
步骤4、采用梯度回归器纹理回归器/>进行处理，输出高分辨特征矩阵/>高分辨特征矩阵/>其中，/> 表示第i个梯度特征向量；/>表示第i个纹理特征向量；/>表示与/>与匹配度最高的回归器；/>表示与/>匹配度最高的回归器；j的值由如下公式计算得到：
即，将字典Dg中的所有原子投影到第i个梯度特征向量/>选出令投影值最大的回归器作为将/>转换为高分辨特征向量/>的回归器。
如图2所示，步骤4中，元模型的训练按照以下步骤实施：
步骤1、将YG和YT进行堆叠，作为下一层的低分辨输入ym，同时将新产生的高频细节y′h作为下一层的高分辨输入，生成新的高-低分辨率特征空间{ym,y′h}，即：
ym＝{YG,YT} (4)
步骤2、采用步骤3的方法训练，输出一组元回归器
实施例1
图3为数据集Set5中“Bird”图像在3倍放大下的比较结果；现有技术ANR方法、FD方法、MoE方法、SERF方法、A+方法、SRCNN方法和本发明方法在“Bird”图像上获得的PSNR值和SSIM值分别如下所示：
ANR方法(PSNR：34.4762，SSIM：0.9466)；
FD方法(PSNR：34.5145，SSIM：0.945)
MoE方法(PSNR：35.5153，SSIM：0.9562)
SERF方法(PSNR：34.8058，SSIM：0.9494)
A+方法(PSNR：35.3465，SSIM：0.9521)
SRCNN方法(PSNR：34.9966，SSIM：0.9495)
本发明中方法((PSNR：35.9623，SSIM：0.9577)
经对比，本发明方法不论在主观视觉质量还是客观评价指标上均优于其他几种对比方法。
实施例2
图4为数据集Set14中“Foreman”图像在3倍放大下的比较结果；现有技术ANR方法、FD方法、MoE方法、SERF方法、A+方法、SRCNN方法和本发明方法在“Foreman”图像上获得的PSNR值和SSIM值分别如下所示：
ANR方法(PSNR：33.5772，SSIM：0.9308)
FD方法(PSNR：33.615，SSIM：0.930)
MoE方法(PSNR：34.4286，SSIM：0.94)
SERF方法(PSNR：33.5352，SSIM：0.9333)
A+方法(PSNR：34.7736，SSIM：0.9401)
SRCNN方法(PSNR：34.0179，SSIM：0.9339)
本发明方法(PSNR：34.9644，SSIM：0.9433)
经对比，本发明方法在图像边缘处能够保持更清晰的轮廓，并产生较少的影伪，同时取得了优于其他几种对比方法的PSNR和SSIM结果。
实施例3
图5为数据集Set14中“ppt3”图像在3倍放大下的比较结果；现有技术ANR方法、FD方法、MoE方法、SERF方法、A+方法、SRCNN方法和本发明方法在“ppt3”图像上获得的PSNR值和SSIM值分别如下所示
ANR方法(PSNR：24.7488，SSIM：0.9087)
FD方法(PSNR：24.9568，SSIM：0.9021)
MoE方法(PSNR：25.5296，SSIM：0.9243)
SERF方法(PSNR：25.5109，SSIM：0.9173)
A+方法(PSNR：25.8523，SSIM：0.9297)
SRCNN方法(PSNR：25.9622，SSIM：0.9184)
本发明方法(PSNR：26.2349，SSIM：0.9393)
经对比，本发明方法在图像文字区域能够产生较好的重建效果，并取得了优于其他几种对比方法的PSNR和SSIM结果。
实施例4
为了验证Stacking集成学***均PSNR值和SSIM值；图(a)为2倍放大下的PSNR值；图(b)为3倍放大下的PSNR值；图(c)为2倍放大下的SSIM值；图(d)为3倍放大下的SSIM值；从图中可以看出，梯度模型在2倍放大下比纹理模型更具优势，而纹理模型在3倍放大下能够获得优于梯度模型的重建结果；上述结果表明，梯度模型适用于放大倍数较小的情况，而当放大倍数较大时，纹理模型更有利于恢复低分辨图像中丢失的高频细节。相比之下，本发明提出的Stacking模型在2倍放大和3倍放大的情况下均能取得最优重建结果。
本发明对低分辨图像进行处理时同时采用了梯度特征和纹理特征进行图像描述，克服了现有超分辨技术中由特征单一造成的对图像描述不充分的问题；本发明所采用的Stacking集成学习策略，能够对由不同特征重建出的高分辨特征进行有效融合，提高了对不同类型图像的泛化能力；本发明中的模型训练过程，采用了交叉验证方法，有效防止了数据过拟合，使模型具有较强的鲁棒性；进而使得生成的高分辨图像更加真实可靠。

Claims (9)

1.一种基于Stacking集成学习的图像超分辨方法，其特征在于，首先，对待处理图像进行特征提取，并用基模型估计高分辨图像块；然后，用元模型估计高分辨图像块；最后，将两种高分辨图像块依次添加至低分辨图像的插值图像上，以获得最终的高分辨图像；
具体按照以下步骤实施：
步骤1、提取待处理图像A的梯度特征和纹理特征，输出梯度特征矩阵、纹理特征矩阵；
步骤2、采用基模型中的梯度回归器对梯度特征矩阵进行处理，输出高分辨特征矩阵同时，采用基模型中的纹理回归器对纹理特征矩阵进行处理，输出高分辨特征矩阵/>
步骤3、对步骤2的输出高分辨特征矩阵和高分辨特征矩阵/>进行合并，输出高分辨特征矩阵/>
步骤4、采用元模型中的回归器对矩阵进行处理，输出高分辨特征矩阵/>
步骤5、将基模型的输出高分辨特征矩阵高分辨特征矩阵/>和元模型的输出高分辨特征矩阵/>添加至插值图像块特征，输出高分辨特征向量；
步骤6、将高分辨特征向量转换为图像块，并将图像块进行融合，输出高分辨率图像。
2.如权利要求1所述的基于Stacking集成学习的图像超分辨方法，其特征在于，所述步骤1具体按照以下步骤实施：
步骤1.1、采用双立方插值算法对待处理图像A进行上采样，输出插值图像A0；
步骤1.2、将插值图像A0从RGB颜色空间转换到YCbCr颜色空间，并分离出亮度通道图像A1，及色度通道图像A2和A3；
步骤1.3、将亮度通道图像A1分割为9×9的图像块，且相邻的两个图像块相互重叠；
步骤1.4、依次提取图像块的梯度特征和纹理特征，输出梯度特征矩阵纹理特征矩阵/>
3.如权利要求2所述的基于Stacking集成学习的图像超分辨方法，其特征在于，所述步骤1.4中，梯度特征提取过程具体如下：
将亮度通道图像A1中的图像块转换为81×1的向量形式，采用Roberts算子对向量进行卷积，输出梯度特征向量；
所述步骤1.4中，纹理特征提取过程具体如下：
将亮度通道图像A1中的图像块转换为81×1的向量形式，向量中每个元素减去所有元素的平均值，输出纹理特征向量。
4.如权利要求2所述的基于Stacking集成学习的图像超分辨方法，其特征在于，所述步骤2具体按照以下步骤实施：
步骤2.1、基模型对梯度特征矩阵、纹理特征矩阵进行处理
(1)采用基模型中的梯度回归器对梯度特征矩阵进行处理
对梯度特征矩阵中的每个特征向量/>进行如下处理：根据相关性最大原则从梯度回归器中选择最优回归器/>计算/>与特征向量/>的乘积，输出高分辨特征向量
(2)采用基模型中的纹理回归器对纹理特征矩阵进行处理
对纹理特征矩阵中的每个特征向量/>进行如下处理：根据相关性最大原则从纹理回归器中选择最优回归器/>计算/>与特征向量/>的乘积输出高分辨特征向量/>
步骤2.2、计算高分辨特征矩阵高分辨特征矩阵/>的平均值，输出高分辨特征矩阵/>和高分辨特征矩阵/>
5.如权利要求3所述的基于Stacking集成学习的图像超分辨方法，其特征在于，所述步骤4具体按照以下步骤实施：
步骤4.1、元模型对高分辨特征矩阵进行处理
对高分辨特征矩阵中的每个特征向量/>进行如下处理：根据相关性最大原则从元模型回归器中选择最优回归器/>计算回归函数/>与特征向量/>的乘积，输出高分辨特征向量/>
输出高分辨率特征矩阵
步骤4.2、计算高分辨率特征矩阵的平均值，输出高分辨率特征矩阵/>
6.如权利要求4所述的基于Stacking集成学习的图像超分辨方法，其特征在于，所述步骤5具体过程如下：
计算高分辨特征矩阵高分辨特征矩阵/>的平均值；将平均值、高分辨特征矩阵/>插值图像块P1相加，输出高分辨特征矩阵/>其中，插值图像块P1由步骤1.3中亮度通道图像A1提取图像块特征得到，提取过程为，将9×9的图像块转换为81×1的向量形式。
7.如权利要求5所述的基于Stacking集成学习的图像超分辨方法，其特征在于，所述步骤6具体过程如下：
将81×1的高分辨特征向量转换为9×9的图像块；将所有图像块依次拼接，相邻图像块之间的重叠部分取该位置上的平均值，输出高分辨图像；其中，高分辨图像的大小与步骤1.1中上采样后图像的大小一致。
8.如权利要求1所述的基于Stacking集成学习的图像超分辨方法，其特征在于，所述步骤2中，基模型的训练按照以下步骤实施：
步骤1、采用双立方插值算法对训练集中的低分辨图像Yl进行上采样，输出插值图像Y0；
步骤2、分别提取插值图像Y0的梯度特征ygl和纹理特征ytl，输出梯度特征空间{ygl,yh}、纹理特征空间{ytl,yh}；其中，yh表示图像的高频成分，即原始高分辨图像块特征y与插值图像块特征y0之差；
步骤3、采用C倍交叉验证法对梯度特征空间{ygl,yh}、梯度特征空间{ygl,yh}进行训练，输出一组梯度回归器和一组纹理回归器/>
步骤3具体按照以下步骤实施：
步骤3.1、利用K-SVD字典学习算法，在梯度特征ygl上学习得到超完备字典Dg，K-SVD字典学习优化公式如下：
式中，ygl为低分辨梯度特征向量，A为ygl的稀疏表示系数，同理可学习得到纹理特征空间ytl上的超完备字典Dt；
步骤3.2、以字典Dg和Dt中的k个原子分别为锚点，在各自的高-低分辨率特征空间上搜索与各个原子相关性最大的p个近邻，组成高-低分辨率邻域对；
步骤3.3、利用脊回归模型对每个高-低分辨率邻域对分别学习线性回归器；第k个邻域上的梯度回归器根据下式建立：
式中，对应于字典Dg中的第k个原子/>I为一个p×p的单位矩阵，λ为正则化常数，同理可得纹理回归器/>经C倍交叉验证后最终得到一组梯度回归器/>和一组纹理回归器/>步骤4、采用梯度回归器/>纹理回归器/>进行处理，输出高分辨特征矩阵/>高分辨特征矩阵/>其中，/> 表示第i个梯度特征向量；/>表示第i个纹理特征向量；/>表示与/>与匹配度最高的回归器；/>表示与/>匹配度最高的回归器；j的值由如下公式计算得到：
即，将字典Dg中的所有原子投影到第i个梯度特征向量/>选出令投影值最大的回归器作为将/>转换为高分辨特征向量/>的回归器。
9.如权利要求8所述的基于Stacking集成学习的图像超分辨方法，其特征在于，所述步骤4中，元模型的训练按照以下步骤实施：
步骤1、将YG和YT进行堆叠，作为下一层的低分辨输入ym，同时将新产生的高频细节y′h作为下一层的高分辨输入，生成新的高-低分辨率特征空间{ym,y′h}，即：
ym＝{YG,YT} (4)
步骤2、采用步骤3的方法训练，输出一组元回归器
CN202010052099.5A 2020-01-17 2020-01-17 一种基于Stacking集成学习的图像超分辨方法 Active CN111275620B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010052099.5A CN111275620B (zh) 2020-01-17 2020-01-17 一种基于Stacking集成学习的图像超分辨方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010052099.5A CN111275620B (zh) 2020-01-17 2020-01-17 一种基于Stacking集成学习的图像超分辨方法

Publications (2)

Publication Number Publication Date
CN111275620A CN111275620A (zh) 2020-06-12
CN111275620B true CN111275620B (zh) 2023-08-01

Family

ID=71002275

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010052099.5A Active CN111275620B (zh) 2020-01-17 2020-01-17 一种基于Stacking集成学习的图像超分辨方法

Country Status (1)

Country Link
CN (1) CN111275620B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112529818B (zh) * 2020-12-25 2022-03-29 万里云医疗信息科技（北京）有限公司 基于神经网络的骨影抑制方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018120329A1 (zh) * 2016-12-28 2018-07-05 深圳市华星光电技术有限公司 基于稀疏域重构的单帧图像超分辨重建方法及装置
CN109615576A (zh) * 2018-06-28 2019-04-12 西安工程大学 基于级联回归基学习的单帧图像超分辨重建方法
CN110047044A (zh) * 2019-03-21 2019-07-23 深圳先进技术研究院 一种图像处理模型的构建方法、装置及终端设备
CN110136060A (zh) * 2019-04-24 2019-08-16 西安电子科技大学 基于浅层密集连接网络的图像超分辨率重建方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105931179B (zh) * 2016-04-08 2018-10-26 武汉大学 一种联合稀疏表示与深度学习的图像超分辨率方法及***

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018120329A1 (zh) * 2016-12-28 2018-07-05 深圳市华星光电技术有限公司 基于稀疏域重构的单帧图像超分辨重建方法及装置
CN109615576A (zh) * 2018-06-28 2019-04-12 西安工程大学 基于级联回归基学习的单帧图像超分辨重建方法
CN110047044A (zh) * 2019-03-21 2019-07-23 深圳先进技术研究院 一种图像处理模型的构建方法、装置及终端设备
CN110136060A (zh) * 2019-04-24 2019-08-16 西安电子科技大学 基于浅层密集连接网络的图像超分辨率重建方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
李云红 ; 王珍 ; 张凯兵 ; 章为川 ; 闫亚娣 ; .基于学习的图像超分辨重建方法综述.计算机工程与应用.2018,(15),全文. *
胡长胜 ; 詹曙 ; 吴从中 ; .基于深度特征学习的图像超分辨率重建.自动化学报.2017,(05),全文. *

Also Published As

Publication number Publication date
CN111275620A (zh) 2020-06-12

Similar Documents

Publication Publication Date Title
CN110119780B (zh) 基于生成对抗网络的高光谱图像超分辨重建方法
CN106952228B (zh) 基于图像非局部自相似性的单幅图像的超分辨率重建方法
CN108257095B (zh) 用于处理图像的***
CN111062872B (zh) 一种基于边缘检测的图像超分辨率重建方法及***
CN106683067B (zh) 一种基于残差子图像的深度学习超分辨率重建方法
CN108961186A (zh) 一种基于深度学习的老旧影片修复重制方法
Li et al. Example-based image super-resolution with class-specific predictors
Zhang et al. A single-image super-resolution method based on progressive-iterative approximation
CN107123091A (zh) 一种基于深度学习的近红外人脸图像超分辨率重建方法
CN112669214B (zh) 一种基于交替方向乘子算法的模糊图像超分辨率重建方法
CN108171654B (zh) 带干扰抑制的汉字图像超分辨率重建方法
CN108416736B (zh) 一种基于二次锚点邻域回归的图像超分辨率重建方法
CN114266957B (zh) 一种基于多降质方式数据增广的高光谱图像超分辨率复原方法
CN109886906B (zh) 一种细节敏感的实时弱光视频增强方法和***
CN110599402A (zh) 一种基于多特征稀疏表示的图像超分辨率重建方法
CN112163998A (zh) 一种匹配自然降质条件的单图像超分辨率分析方法
CN117274059A (zh) 基于图像编码-解码的低分辨率图像重构方法及其***
CN111275620B (zh) 一种基于Stacking集成学习的图像超分辨方法
Hsu et al. Wavelet pyramid recurrent structure-preserving attention network for single image super-resolution
CN113962905A (zh) 基于多阶段特征互补网络的单幅图像去雨方法
CN113240581A (zh) 一种针对未知模糊核的真实世界图像超分辨率方法
CN108492264B (zh) 一种基于sigmoid变换的单帧图像快速超分辨方法
CN110648291B (zh) 一种基于深度学习的无人机运动模糊图像的复原方法
CN112308772A (zh) 基于深度学习局部与非局部信息的超分辨率重建方法
CN111242082A (zh) 基于分数阶正交偏最小二乘的人脸超分辨率重建识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20230710

Address after: Room 209, 211, No.1, Yatai Incubation Base, No. 697, Yongkang Street, Wucheng District, Jinhua, Zhejiang Province, 321000

Applicant after: Jinhua Qingniao Computer Information Technology Co.,Ltd.

Address before: 518000 1002, Building A, Zhiyun Industrial Park, No. 13, Huaxing Road, Henglang Community, Longhua District, Shenzhen, Guangdong Province

Applicant before: Shenzhen Wanzhida Technology Co.,Ltd.

Effective date of registration: 20230710

Address after: 518000 1002, Building A, Zhiyun Industrial Park, No. 13, Huaxing Road, Henglang Community, Longhua District, Shenzhen, Guangdong Province

Applicant after: Shenzhen Wanzhida Technology Co.,Ltd.

Address before: 710048 Shaanxi province Xi'an Beilin District Jinhua Road No. 19

Applicant before: XI'AN POLYTECHNIC University

GR01 Patent grant
GR01 Patent grant