CN111275620A - 一种基于Stacking集成学习的图像超分辨方法 - Google Patents

一种基于Stacking集成学习的图像超分辨方法 Download PDF

Info

Publication number
CN111275620A
CN111275620A CN202010052099.5A CN202010052099A CN111275620A CN 111275620 A CN111275620 A CN 111275620A CN 202010052099 A CN202010052099 A CN 202010052099A CN 111275620 A CN111275620 A CN 111275620A
Authority
CN
China
Prior art keywords
resolution
image
feature
gradient
texture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010052099.5A
Other languages
English (en)
Other versions
CN111275620B (zh
Inventor
张凯兵
罗爽
朱丹妮
卢健
李敏奇
刘薇
苏泽斌
景军锋
陈小改
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jinhua Qingniao Computer Information Technology Co ltd
Shenzhen Wanzhida Technology Co ltd
Original Assignee
Xian Polytechnic University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Polytechnic University filed Critical Xian Polytechnic University
Priority to CN202010052099.5A priority Critical patent/CN111275620B/zh
Publication of CN111275620A publication Critical patent/CN111275620A/zh
Application granted granted Critical
Publication of CN111275620B publication Critical patent/CN111275620B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

本发明公开了一种基于Stacking集成学习的图像超分辨方法，首先，对待处理图像进行特征提取，并用基模型估计高分辨图像块；然后，用元模型估计高分辨图像块；最后，将两种高分辨图像块依次添加至低分辨图像的插值图像上，以获得最终的高分辨图像。本发明一种基于Stacking集成学习的图像超分辨方法，解决了现有技术中存在的图像特征过于单一、超分辨模型泛化能力不强的问题。

Description

一种基于Stacking集成学习的图像超分辨方法
技术领域
本发明属于图像超分辨技术领域，具体涉及一种基于Stacking集成学习的图像超分辨方法。
背景技术
随着信息技术的飞速发展，电子图像已成为人们传递信息的重要手段。然而，受传统数字成像设备的固有限制，所获得的图像往往经过了光学模糊、运动模糊、欠采样以及***噪声等一系列退化过程，使人们难以获得理想的高分辨率图像，如何获取更高质量的图像成为一个日益紧迫的问题。图像超分辨技术作为一种有效的图像复原手段，成功突破了物理成像环境的限制，能够以最低成本从一幅或多幅低分辨率图像中重建出高于成像***物理分辨率的高质量图像，是解决上述难题的关键。
图像超分辨技术可大致分为三类：基于插值的方法、基于重构的方法和基于实例学习的方法。其中，基于实例学习的超分辨方法因其优越的重建性能而获得广泛应用。然而，目前大多数超分辨方法通常只采用某种单一的图像特征进行模型训练，而忽略了自然图像具有多样性和复杂性的特点。由于每种特征都有其自身局限性，总是有意突出图像某些方面的特征，简化甚至忽略其他方面的特征，从而导致模型泛化能力受限，重建效果不理。例如，梯度特征有利于保持清晰的图像边缘，但不利于恢复图像中复杂的纹理细节；而纹理特征有利于生成新的纹理细节，但不利于保持锐利的边缘。
发明内容
本发明的目的是提供一种基于Stacking集成学习的图像超分辨方法，解决了现有技术中存在的图像特征过于单一、超分辨模型泛化能力不强的问题。
本发明所采用的技术方案是，一种基于Stacking集成学习的图像超分辨方法，首先，对待处理图像进行特征提取，并用基模型估计高分辨图像块；然后，用元模型估计高分辨图像块；最后，将两种高分辨图像块依次添加至低分辨图像的插值图像上，以获得最终的高分辨图像。
本发明的特点还在于：
具体按照以下步骤实施：
步骤1、提取待处理图像A的梯度特征和纹理特征，输出梯度特征矩阵、纹理特征矩阵；
步骤2、采用基模型中的梯度回归器对梯度特征矩阵进行处理，输出高分辨特征矩阵
Figure BDA0002371538260000021
同时，采用基模型中的纹理回归器对纹理特征矩阵进行处理，输出高分辨特征矩阵
Figure BDA0002371538260000022
步骤3、对步骤2的输出高分辨特征矩阵
Figure BDA0002371538260000023
和高分辨特征矩阵
Figure BDA0002371538260000024
进行合并，输出高分辨特征矩阵
Figure BDA0002371538260000025
步骤4、采用元模型中的回归器对矩阵
Figure BDA0002371538260000026
进行处理，输出高分辨特征矩阵
Figure BDA0002371538260000027
步骤5、将基模型的输出高分辨特征矩阵
Figure BDA0002371538260000031
高分辨特征矩阵
Figure BDA0002371538260000032
和元模型的输出高分辨特征矩阵
Figure BDA0002371538260000033
添加至插值图像块特征，输出高分辨特征向量；
步骤6、将高分辨特征向量转换为图像块，并将图像块进行融合，输出高分辨率图像。
步骤1具体按照以下步骤实施：
步骤1.1、采用双立方插值算法对待处理图像A进行上采样，输出插值图像A0；
步骤1.2、将插值图像A0从RGB颜色空间转换到YCbCr颜色空间，并分离出亮度通道图像A1，及色度通道图像A2和A3；
步骤1.3、将亮度通道图像A1分割为9×9的图像块，且相邻的两个图像块相互重叠；
步骤1.4、依次提取图像块的梯度特征和纹理特征，输出梯度特征矩阵
Figure BDA0002371538260000034
纹理特征矩阵
Figure BDA0002371538260000035
步骤1.4中，梯度特征提取过程具体如下：
将亮度通道图像A1中的图像块转换为81×1的向量形式，采用Roberts算子对向量进行卷积，输出梯度特征向量；
所述步骤1.4中，纹理特征提取过程具体如下：
将亮度通道图像A1中的图像块转换为81×1的向量形式，向量中每个元素减去所有元素的平均值，输出纹理特征向量。
步骤2具体按照以下步骤实施：
步骤2.1、基模型对梯度特征矩阵、纹理特征矩阵进行处理
(1)采用基模型中的梯度回归器对梯度特征矩阵
Figure BDA0002371538260000041
进行处理
对梯度特征矩阵
Figure BDA0002371538260000042
中的每个特征向量
Figure BDA0002371538260000043
进行如下处理：根据相关性最大原则从梯度回归器中选择最优回归器
Figure BDA0002371538260000044
计算
Figure BDA0002371538260000045
与特征向量
Figure BDA0002371538260000046
的乘积，输出高分辨特征向量
Figure BDA0002371538260000047
(2)采用基模型中的纹理回归器对纹理特征矩阵
Figure BDA0002371538260000048
进行处理
对纹理特征矩阵
Figure BDA0002371538260000049
中的每个特征向量
Figure BDA00023715382600000410
进行如下处理：根据相关性最大原则从纹理回归器中选择最优回归器
Figure BDA00023715382600000411
计算
Figure BDA00023715382600000412
与特征向量
Figure BDA00023715382600000413
的乘积输出高分辨特征向量
Figure BDA00023715382600000414
步骤2.2、计算高分辨特征矩阵
Figure BDA00023715382600000415
高分辨特征矩阵
Figure BDA00023715382600000416
的平均值，输出高分辨特征矩阵
Figure BDA00023715382600000417
和高分辨特征矩阵
Figure BDA00023715382600000418
步骤4具体按照以下步骤实施：
步骤4.1、元模型对高分辨特征矩阵
Figure BDA00023715382600000419
进行处理
对高分辨特征矩阵
Figure BDA00023715382600000420
中的每个特征向量
Figure BDA00023715382600000421
进行如下处理：根据相关性最大原则从元模型回归器中选择最优回归器
Figure BDA00023715382600000422
计算回归函数
Figure BDA00023715382600000423
与特征向量
Figure BDA00023715382600000424
的乘积，输出高分辨特征向量
Figure BDA00023715382600000425
输出高分辨率特征矩阵
Figure BDA00023715382600000426
步骤4.2、计算高分辨率特征矩阵
Figure BDA00023715382600000427
的平均值，输出高分辨率特征矩阵
Figure BDA00023715382600000428
步骤5具体过程如下：
计算高分辨特征矩阵
Figure BDA00023715382600000429
高分辨特征矩阵
Figure BDA00023715382600000430
的平均值；将平均值、高分辨特征矩阵
Figure BDA0002371538260000051
插值图像块P1相加，输出高分辨特征矩阵
Figure BDA0002371538260000052
其中，插值图像块P1由步骤1.3中亮度通道图像A1提取图像块特征得到，提取过程为，将9×9的图像块转换为81×1的向量形式。
步骤6具体过程如下：
将81×1的高分辨特征向量转换为9×9的图像块；将所有图像块依次拼接，相邻图像块之间的重叠部分取该位置上的平均值，输出高分辨图像；其中，高分辨图像的大小与步骤1.1中上采样后图像的大小一致。
步骤2中，基模型的训练按照以下步骤实施：
步骤1、采用双立方插值算法对训练集中的低分辨图像Yl进行上采样，输出插值图像Y0；
步骤2、分别提取插值图像Y0的梯度特征ygl和纹理特征ytl，输出梯度特征空间{ygl,yh}、纹理特征空间{ytl,yh}；其中，yh表示图像的高频成分，即原始高分辨图像块特征y与插值图像块特征y0之差；
步骤3、采用C倍交叉验证法对梯度特征空间{ygl,yh}、梯度特征空间{ygl,yh}进行训练，输出一组梯度回归器
Figure BDA0002371538260000053
和一组纹理回归器
Figure BDA0002371538260000054
步骤4、采用梯度回归器
Figure BDA0002371538260000055
纹理回归器
Figure BDA0002371538260000056
进行处理，输出高分辨特征矩阵
Figure BDA0002371538260000057
高分辨特征矩阵
Figure BDA0002371538260000058
其中，
Figure BDA0002371538260000059
Figure BDA00023715382600000510
表示第i个梯度特征向量；
Figure BDA00023715382600000511
表示第i个纹理特征向量；
Figure BDA00023715382600000512
表示与
Figure BDA00023715382600000513
与匹配度最高的回归器；
Figure BDA00023715382600000514
表示与
Figure BDA00023715382600000515
匹配度最高的回归器；j的值由如下公式计算得到：
Figure BDA0002371538260000061
即，将字典Dg中的所有原子
Figure BDA0002371538260000062
投影到第i个梯度特征向量
Figure BDA0002371538260000063
选出令投影值最大的回归器作为将
Figure BDA0002371538260000064
转换为高分辨特征向量
Figure BDA0002371538260000065
的回归器。
步骤3具体按照以下步骤实施：
步骤3.1、利用K-SVD字典学习算法，在梯度特征ygl上学习得到超完备字典Dg，K-SVD字典学习优化公式如下：
Figure BDA0002371538260000066
式中，ygl为低分辨梯度特征向量，A为ygl的稀疏表示系数。同理可学习得到纹理特征空间ytl上的超完备字典Dt；
步骤3.2、以字典Dg和Dt中的k个原子分别为锚点，在各自的高-低分辨率特征空间上搜索与各个原子相关性最大的p个近邻，组成高-低分辨率邻域对；
步骤3.3、利用脊回归模型对每个高-低分辨率邻域对
Figure BDA0002371538260000067
分别学习线性回归器；第k个邻域上的梯度回归器根据下式建立：
Figure BDA0002371538260000068
式中，
Figure BDA0002371538260000069
对应于字典Dg中的第k个原子
Figure BDA00023715382600000610
I为一个p×p的单位矩阵。λ为正则化常数。同理可得纹理回归器
Figure BDA00023715382600000611
经C倍交叉验证后最终得到一组梯度回归器
Figure BDA00023715382600000612
和一组纹理回归器
Figure BDA00023715382600000613
步骤4中，元模型的训练按照以下步骤实施：
步骤1、将YG和YT进行合并，作为下一层的低分辨输入ym，同时将新产生的高频细节y′h作为下一层的高分辨输入，生成新的高-低分辨率特征空间{ym,y′h}，即：
ym＝{YG,YT} (4)
Figure BDA0002371538260000071
步骤2、采用步骤3的方法训练，输出一组元回归器
Figure BDA0002371538260000072
本发明的有益效果是：
(1)本发明对低分辨图像进行处理时同时采用了梯度特征和纹理特征进行图像描述，克服了现有超分辨技术中由特征单一造成的对图像描述不充分的问题；
(2)本发明所采用的Stacking集成学习策略，能够对由不同特征重建出的高分辨特征进行有效融合，提高了对不同类型图像的泛化能力；
(3)本发明中的模型训练过程，采用了交叉验证方法，有效防止了数据过拟合，使模型具有较强的鲁棒性；进而使得生成的高分辨图像更加真实可靠。
附图说明
图1是本发明基于Stacking集成学习的图像超分辨方法的流程图；
图2是本发明基于Stacking集成学习的图像超分辨方法中基模型和元模型的训练流程图；
图3是本发明基于Stacking集成学习的图像超分辨方法中实施例1的结果对比图；
图4本发明基于Stacking集成学习的图像超分辨方法中实施例2的结果对比图；
图5发明基于Stacking集成学习的图像超分辨方法中实施例3的结果对比图；
图6本发明基于Stacking集成学习的图像超分辨方法中实施例4的结果对比图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
如图1所示，本发明一种基于Stacking集成学习的图像超分辨方法，首先，对待处理图像进行特征提取，并用基模型估计高分辨图像块；然后，用元模型估计高分辨图像块；最后，将两种高分辨图像块依次添加至低分辨图像的插值图像上，以获得最终的高分辨图像。
具体按照以下步骤实施：
步骤1、提取待处理图像A的梯度特征和纹理特征，输出梯度特征矩阵、纹理特征矩阵；
步骤1具体按照以下步骤实施：
步骤1.1、采用双立方插值算法对待处理图像A进行上采样，输出插值图像A0；
步骤1.2、将插值图像A0从RGB颜色空间转换到YCbCr颜色空间，并分离出亮度通道图像A1，及色度通道图像A2和A3；
步骤1.3、将亮度通道图像A1分割为9×9的图像块，且相邻的两个图像块相互重叠；
步骤1.4、依次提取图像块的梯度特征和纹理特征，输出梯度特征矩阵
Figure BDA0002371538260000081
纹理特征矩阵
Figure BDA0002371538260000082
梯度特征提取过程具体如下：
将亮度通道图像A1中的图像块转换为81×1的向量形式，采用Roberts算子对向量进行卷积，输出梯度特征向量；
纹理特征提取过程具体如下：
将亮度通道图像A1中的图像块转换为81×1的向量形式，向量中每个元素减去所有元素的平均值，输出纹理特征向量。
步骤2、采用基模型中的梯度回归器对梯度特征矩阵进行处理，输出高分辨特征矩阵
Figure BDA0002371538260000091
同时，采用基模型中的纹理回归器对纹理特征矩阵进行处理，输出高分辨特征矩阵
Figure BDA0002371538260000092
步骤2具体按照以下步骤实施：
步骤2.1、基模型对梯度特征矩阵、纹理特征矩阵进行处理
(1)采用基模型中的梯度回归器对梯度特征矩阵
Figure BDA0002371538260000093
进行处理
对梯度特征矩阵
Figure BDA0002371538260000094
中的每个特征向量
Figure BDA0002371538260000095
进行如下处理：根据相关性最大原则从梯度回归器中选择最优回归器
Figure BDA0002371538260000096
计算
Figure BDA0002371538260000097
与特征向量
Figure BDA0002371538260000098
的乘积，输出高分辨特征向量
Figure BDA0002371538260000099
(2)采用基模型中的纹理回归器对纹理特征矩阵
Figure BDA00023715382600000910
进行处理
对纹理特征矩阵
Figure BDA00023715382600000911
中的每个特征向量
Figure BDA00023715382600000912
进行如下处理：根据相关性最大原则从纹理回归器中选择最优回归器
Figure BDA00023715382600000913
计算
Figure BDA00023715382600000914
与特征向量
Figure BDA00023715382600000915
的乘积输出高分辨特征向量
Figure BDA00023715382600000916
步骤2.2、计算高分辨特征矩阵
Figure BDA00023715382600000917
高分辨特征矩阵
Figure BDA00023715382600000918
的平均值，输出高分辨特征矩阵
Figure BDA0002371538260000101
和高分辨特征矩阵
Figure BDA0002371538260000102
步骤3、对步骤2的输出高分辨特征矩阵
Figure BDA0002371538260000103
和高分辨特征矩阵
Figure BDA0002371538260000104
进行合并，输出高分辨特征矩阵
Figure BDA0002371538260000105
步骤4、采用元模型中的回归器对矩阵
Figure BDA0002371538260000106
进行处理，输出高分辨特征矩阵
Figure BDA0002371538260000107
步骤4.1、元模型对高分辨特征矩阵
Figure BDA0002371538260000108
进行处理
对高分辨特征矩阵
Figure BDA0002371538260000109
中的每个特征向量
Figure BDA00023715382600001010
进行如下处理：根据相关性最大原则从元模型回归器中选择最优回归器
Figure BDA00023715382600001011
计算回归函数
Figure BDA00023715382600001012
与特征向量
Figure BDA00023715382600001013
的乘积，输出高分辨特征向量
Figure BDA00023715382600001014
输出高分辨率特征矩阵
Figure BDA00023715382600001015
步骤4.2、计算高分辨率特征矩阵
Figure BDA00023715382600001016
的平均值，输出高分辨率特征矩阵
Figure BDA00023715382600001017
步骤5、将基模型的输出高分辨特征矩阵
Figure BDA00023715382600001018
高分辨特征矩阵
Figure BDA00023715382600001019
和元模型的输出高分辨特征矩阵
Figure BDA00023715382600001020
添加至插值图像块特征，输出高分辨特征向量；
步骤5具体过程如下：
计算高分辨特征矩阵
Figure BDA00023715382600001021
高分辨特征矩阵
Figure BDA00023715382600001022
的平均值；将平均值、高分辨特征矩阵
Figure BDA00023715382600001023
插值图像块P1相加，输出高分辨特征矩阵
Figure BDA00023715382600001024
其中，插值图像块P1由步骤1.3中亮度通道图像A1提取图像块特征得到，提取过程为，将9×9的图像块转换为81×1的向量形式。
步骤6、将高分辨特征向量转换为图像块，并将图像块进行融合，输出高分辨率图像；
步骤6具体过程如下：
将81×1的高分辨特征向量转换为9×9的图像块；将所有图像块依次拼接，相邻图像块之间的重叠部分取该位置上的平均值，输出高分辨图像；其中，高分辨图像的大小与步骤1.1中上采样后图像的大小一致。
如图2所示，步骤2中，基模型的训练按照以下步骤实施：
步骤1、采用双立方插值算法对训练集中的低分辨图像Yl进行上采样，输出插值图像Y0；
步骤2、分别提取插值图像Y0的梯度特征ygl和纹理特征ytl，输出梯度特征空间{ygl,yh}、纹理特征空间{ytl,yh}；其中，yh表示图像的高频成分，即原始高分辨图像块特征y与插值图像块特征y0之差；
步骤3、采用C倍交叉验证法对梯度特征空间{ygl,yh}、梯度特征空间{ygl,yh}进行训练，输出一组梯度回归器
Figure BDA0002371538260000111
和一组纹理回归器
Figure BDA0002371538260000112
步骤3具体按照以下步骤实施：
步骤3.1、利用K-SVD字典学习算法，在梯度特征ygl上学习得到超完备字典Dg，K-SVD字典学习优化公式如下：
Figure BDA0002371538260000113
式中，ygl为低分辨梯度特征向量，A为ygl的稀疏表示系数。同理可学习得到纹理特征空间ytl上的超完备字典Dt；
步骤3.2、以字典Dg和Dt中的k个原子分别为锚点，在各自的高-低分辨率特征空间上搜索与各个原子相关性最大的p个近邻，组成高-低分辨率邻域对；
步骤3.3、利用脊回归模型对每个高-低分辨率邻域对
Figure BDA0002371538260000121
分别学习线性回归器；第k个邻域上的梯度回归器根据下式建立：
Figure BDA0002371538260000122
式中，
Figure BDA0002371538260000123
对应于字典Dg中的第k个原子
Figure BDA0002371538260000124
I为一个p×p的单位矩阵。λ为正则化常数。同理可得纹理回归器
Figure BDA0002371538260000125
经C倍交叉验证后最终得到一组梯度回归器
Figure BDA0002371538260000126
和一组纹理回归器
Figure BDA0002371538260000127
步骤4、采用梯度回归器
Figure BDA0002371538260000128
纹理回归器
Figure BDA0002371538260000129
进行处理，输出高分辨特征矩阵
Figure BDA00023715382600001210
高分辨特征矩阵
Figure BDA00023715382600001211
其中，
Figure BDA00023715382600001212
Figure BDA00023715382600001213
表示第i个梯度特征向量；
Figure BDA00023715382600001214
表示第i个纹理特征向量；
Figure BDA00023715382600001215
表示与
Figure BDA00023715382600001216
与匹配度最高的回归器；
Figure BDA00023715382600001217
表示与
Figure BDA00023715382600001218
匹配度最高的回归器；j的值由如下公式计算得到：
Figure BDA00023715382600001219
即，将字典Dg中的所有原子
Figure BDA00023715382600001220
投影到第i个梯度特征向量
Figure BDA00023715382600001221
选出令投影值最大的回归器作为将
Figure BDA00023715382600001222
转换为高分辨特征向量
Figure BDA00023715382600001223
的回归器。
如图2所示，步骤4中，元模型的训练按照以下步骤实施：
步骤1、将YG和YT进行堆叠，作为下一层的低分辨输入ym，同时将新产生的高频细节y′h作为下一层的高分辨输入，生成新的高-低分辨率特征空间{ym,y′h}，即：
ym＝{YG,YT} (4)
Figure BDA0002371538260000131
步骤2、采用步骤3的方法训练，输出一组元回归器
Figure BDA0002371538260000132
实施例1
图3为数据集Set5中“Bird”图像在3倍放大下的比较结果；现有技术ANR方法、FD方法、MoE方法、SERF方法、A+方法、SRCNN方法和本发明方法在“Bird”图像上获得的PSNR值和SSIM值分别如下所示：
ANR方法(PSNR：34.4762，SSIM：0.9466)；
FD方法(PSNR：34.5145，SSIM：0.945)
MoE方法(PSNR：35.5153，SSIM：0.9562)
SERF方法(PSNR：34.8058，SSIM：0.9494)
A+方法(PSNR：35.3465，SSIM：0.9521)
SRCNN方法(PSNR：34.9966，SSIM：0.9495)
本发明中方法((PSNR：35.9623，SSIM：0.9577)
经对比，本发明方法不论在主观视觉质量还是客观评价指标上均优于其他几种对比方法。
实施例2
图4为数据集Set14中“Foreman”图像在3倍放大下的比较结果；现有技术ANR方法、FD方法、MoE方法、SERF方法、A+方法、SRCNN方法和本发明方法在“Foreman”图像上获得的PSNR值和SSIM值分别如下所示：
ANR方法(PSNR：33.5772，SSIM：0.9308)
FD方法(PSNR：33.615，SSIM：0.930)
MoE方法(PSNR：34.4286，SSIM：0.94)
SERF方法(PSNR：33.5352，SSIM：0.9333)
A+方法(PSNR：34.7736，SSIM：0.9401)
SRCNN方法(PSNR：34.0179，SSIM：0.9339)
本发明方法(PSNR：34.9644，SSIM：0.9433)
经对比，本发明方法在图像边缘处能够保持更清晰的轮廓，并产生较少的影伪，同时取得了优于其他几种对比方法的PSNR和SSIM结果。
实施例3
图5为数据集Set14中“ppt3”图像在3倍放大下的比较结果；现有技术ANR方法、FD方法、MoE方法、SERF方法、A+方法、SRCNN方法和本发明方法在“ppt3”图像上获得的PSNR值和SSIM值分别如下所示
ANR方法(PSNR：24.7488，SSIM：0.9087)
FD方法(PSNR：24.9568，SSIM：0.9021)
MoE方法(PSNR：25.5296，SSIM：0.9243)
SERF方法(PSNR：25.5109，SSIM：0.9173)
A+方法(PSNR：25.8523，SSIM：0.9297)
SRCNN方法(PSNR：25.9622，SSIM：0.9184)
本发明方法(PSNR：26.2349，SSIM：0.9393)
经对比，本发明方法在图像文字区域能够产生较好的重建效果，并取得了优于其他几种对比方法的PSNR和SSIM结果。
实施例4
为了验证Stacking集成学***均PSNR值和SSIM值；图(a)为2倍放大下的PSNR值；图(b)为3倍放大下的PSNR值；图(c)为2倍放大下的SSIM值；图(d)为3倍放大下的SSIM值；从图中可以看出，梯度模型在2倍放大下比纹理模型更具优势，而纹理模型在3倍放大下能够获得优于梯度模型的重建结果；上述结果表明，梯度模型适用于放大倍数较小的情况，而当放大倍数较大时，纹理模型更有利于恢复低分辨图像中丢失的高频细节。相比之下，本发明提出的Stacking模型在2倍放大和3倍放大的情况下均能取得最优重建结果。
本发明对低分辨图像进行处理时同时采用了梯度特征和纹理特征进行图像描述，克服了现有超分辨技术中由特征单一造成的对图像描述不充分的问题；本发明所采用的Stacking集成学习策略，能够对由不同特征重建出的高分辨特征进行有效融合，提高了对不同类型图像的泛化能力；本发明中的模型训练过程，采用了交叉验证方法，有效防止了数据过拟合，使模型具有较强的鲁棒性；进而使得生成的高分辨图像更加真实可靠。

Claims (10)

1.一种基于Stacking集成学习的图像超分辨方法，其特征在于，首先，对待处理图像进行特征提取，并用基模型估计高分辨图像块；然后，用元模型估计高分辨图像块；最后，将两种高分辨图像块依次添加至低分辨图像的插值图像上，以获得最终的高分辨图像。
2.如权利要求1所述的基于Stacking集成学习的图像超分辨方法，其特征在于，具体按照以下步骤实施：
步骤1、提取待处理图像A的梯度特征和纹理特征，输出梯度特征矩阵、纹理特征矩阵；
步骤2、采用基模型中的梯度回归器对梯度特征矩阵进行处理，输出高分辨特征矩阵
Figure FDA0002371538250000011
同时，采用基模型中的纹理回归器对纹理特征矩阵进行处理，输出高分辨特征矩阵
Figure FDA0002371538250000012
步骤3、对步骤2的输出高分辨特征矩阵
Figure FDA0002371538250000013
和高分辨特征矩阵
Figure FDA0002371538250000014
进行合并，输出高分辨特征矩阵
Figure FDA0002371538250000015
步骤4、采用元模型中的回归器对矩阵
Figure FDA0002371538250000016
进行处理，输出高分辨特征矩阵
Figure FDA0002371538250000017
步骤5、将基模型的输出高分辨特征矩阵
Figure FDA0002371538250000018
高分辨特征矩阵
Figure FDA0002371538250000019
和元模型的输出高分辨特征矩阵
Figure FDA00023715382500000110
添加至插值图像块特征，输出高分辨特征向量；
步骤6、将高分辨特征向量转换为图像块，并将图像块进行融合，输出高分辨率图像。
3.如权利要求1所述的基于Stacking集成学习的图像超分辨方法，其特征在于，所述步骤1具体按照以下步骤实施：
步骤1.1、采用双立方插值算法对待处理图像A进行上采样，输出插值图像A0；
步骤1.2、将插值图像A0从RGB颜色空间转换到YCbCr颜色空间，并分离出亮度通道图像A1，及色度通道图像A2和A3；
步骤1.3、将亮度通道图像A1分割为9×9的图像块，且相邻的两个图像块相互重叠；
步骤1.4、依次提取图像块的梯度特征和纹理特征，输出梯度特征矩阵
Figure FDA0002371538250000021
纹理特征矩阵
Figure FDA0002371538250000022
4.如权利要求3所述的基于Stacking集成学习的图像超分辨方法，其特征在于，所述步骤1.4中，梯度特征提取过程具体如下：
将亮度通道图像A1中的图像块转换为81×1的向量形式，采用Roberts算子对向量进行卷积，输出梯度特征向量；
所述步骤1.4中，纹理特征提取过程具体如下：
将亮度通道图像A1中的图像块转换为81×1的向量形式，向量中每个元素减去所有元素的平均值，输出纹理特征向量。
5.如权利要求3所述的基于Stacking集成学习的图像超分辨方法，其特征在于，所述步骤2具体按照以下步骤实施：
步骤2.1、基模型对梯度特征矩阵、纹理特征矩阵进行处理
(1)采用基模型中的梯度回归器对梯度特征矩阵
Figure FDA0002371538250000023
进行处理
对梯度特征矩阵
Figure FDA0002371538250000024
中的每个特征向量
Figure FDA0002371538250000025
进行如下处理：根据相关性最大原则从梯度回归器中选择最优回归器
Figure FDA0002371538250000031
计算
Figure FDA0002371538250000032
与特征向量
Figure FDA0002371538250000033
的乘积，输出高分辨特征向量
Figure FDA0002371538250000034
(2)采用基模型中的纹理回归器对纹理特征矩阵
Figure FDA0002371538250000035
进行处理
对纹理特征矩阵
Figure FDA0002371538250000036
中的每个特征向量
Figure FDA0002371538250000037
进行如下处理：根据相关性最大原则从纹理回归器中选择最优回归器
Figure FDA0002371538250000038
计算
Figure FDA0002371538250000039
与特征向量
Figure FDA00023715382500000310
的乘积输出高分辨特征向量
Figure FDA00023715382500000311
步骤2.2、计算高分辨特征矩阵
Figure FDA00023715382500000312
高分辨特征矩阵
Figure FDA00023715382500000313
的平均值，输出高分辨特征矩阵
Figure FDA00023715382500000314
和高分辨特征矩阵
Figure FDA00023715382500000315
6.如权利要求4所述的基于Stacking集成学习的图像超分辨方法，其特征在于，所述步骤4具体按照以下步骤实施：
步骤4.1、元模型对高分辨特征矩阵
Figure FDA00023715382500000316
进行处理
对高分辨特征矩阵
Figure FDA00023715382500000317
中的每个特征向量
Figure FDA00023715382500000318
进行如下处理：根据相关性最大原则从元模型回归器中选择最优回归器
Figure FDA00023715382500000319
计算回归函数
Figure FDA00023715382500000320
与特征向量
Figure FDA00023715382500000321
的乘积，输出高分辨特征向量
Figure FDA00023715382500000322
输出高分辨率特征矩阵
Figure FDA00023715382500000323
步骤4.2、计算高分辨率特征矩阵
Figure FDA00023715382500000324
的平均值，输出高分辨率特征矩阵
Figure FDA00023715382500000325
7.如权利要求5所述的基于Stacking集成学习的图像超分辨方法，其特征在于，所述步骤5具体过程如下：
计算高分辨特征矩阵
Figure FDA00023715382500000326
高分辨特征矩阵
Figure FDA00023715382500000327
的平均值；将平均值、高分辨特征矩阵
Figure FDA00023715382500000328
插值图像块P1相加，输出高分辨特征矩阵
Figure FDA00023715382500000329
其中，插值图像块P1由步骤1.3中亮度通道图像A1提取图像块特征得到，提取过程为，将9×9的图像块转换为81×1的向量形式。
8.如权利要求6所述的基于Stacking集成学习的图像超分辨方法，其特征在于，所述步骤6具体过程如下：
将81×1的高分辨特征向量转换为9×9的图像块；将所有图像块依次拼接，相邻图像块之间的重叠部分取该位置上的平均值，输出高分辨图像；其中，高分辨图像的大小与步骤1.1中上采样后图像的大小一致。
9.如权利要求1所述的基于Stacking集成学习的图像超分辨方法，其特征在于，所述步骤2中，基模型的训练按照以下步骤实施：
步骤1、采用双立方插值算法对训练集中的低分辨图像Yl进行上采样，输出插值图像Y0；
步骤2、分别提取插值图像Y0的梯度特征ygl和纹理特征ytl，输出梯度特征空间{ygl,yh}、纹理特征空间{ytl,yh}；其中，yh表示图像的高频成分，即原始高分辨图像块特征y与插值图像块特征y0之差；
步骤3、采用C倍交叉验证法对梯度特征空间{ygl,yh}、梯度特征空间{ygl,yh}进行训练，输出一组梯度回归器
Figure FDA0002371538250000041
和一组纹理回归器
Figure FDA0002371538250000042
步骤3具体按照以下步骤实施：
步骤3.1、利用K-SVD字典学习算法，在梯度特征ygl上学习得到超完备字典Dg，K-SVD字典学习优化公式如下：
Figure FDA0002371538250000043
式中，ygl为低分辨梯度特征向量，A为ygl的稀疏表示系数。同理可学习得到纹理特征空间ytl上的超完备字典Dt；
步骤3.2、以字典Dg和Dt中的k个原子分别为锚点，在各自的高-低分辨率特征空间上搜索与各个原子相关性最大的p个近邻，组成高-低分辨率邻域对；
步骤3.3、利用脊回归模型对每个高-低分辨率邻域对
Figure FDA0002371538250000051
分别学习线性回归器；第k个邻域上的梯度回归器根据下式建立：
Figure FDA0002371538250000052
式中，
Figure FDA0002371538250000053
对应于字典Dg中的第k个原子
Figure FDA0002371538250000054
I为一个p×p的单位矩阵。λ为正则化常数。同理可得纹理回归器
Figure FDA0002371538250000055
经C倍交叉验证后最终得到一组梯度回归器
Figure FDA0002371538250000056
和一组纹理回归器
Figure FDA0002371538250000057
步骤4、采用梯度回归器
Figure FDA0002371538250000058
纹理回归器
Figure FDA0002371538250000059
进行处理，输出高分辨特征矩阵
Figure FDA00023715382500000510
高分辨特征矩阵
Figure FDA00023715382500000511
其中，
Figure FDA00023715382500000512
Figure FDA00023715382500000513
表示第i个梯度特征向量；
Figure FDA00023715382500000514
表示第i个纹理特征向量；
Figure FDA00023715382500000515
表示与
Figure FDA00023715382500000516
与匹配度最高的回归器；
Figure FDA00023715382500000517
表示与
Figure FDA00023715382500000518
匹配度最高的回归器；j的值由如下公式计算得到：
Figure FDA00023715382500000519
即，将字典Dg中的所有原子
Figure FDA00023715382500000520
投影到第i个梯度特征向量
Figure FDA00023715382500000521
选出令投影值最大的回归器作为将
Figure FDA00023715382500000522
转换为高分辨特征向量
Figure FDA00023715382500000523
的回归器。
10.如权利要求9所述的基于Stacking集成学习的图像超分辨方法，其特征在于，所述步骤4中，元模型的训练按照以下步骤实施：
步骤1、将YG和YT进行堆叠，作为下一层的低分辨输入ym，同时将新产生的高频细节y′h作为下一层的高分辨输入，生成新的高-低分辨率特征空间{ym,y′h}，即：
ym＝{YG,YT} (4)
Figure FDA0002371538250000061
步骤2、采用步骤3的方法训练，输出一组元回归器
Figure FDA0002371538250000062
CN202010052099.5A 2020-01-17 2020-01-17 一种基于Stacking集成学习的图像超分辨方法 Active CN111275620B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010052099.5A CN111275620B (zh) 2020-01-17 2020-01-17 一种基于Stacking集成学习的图像超分辨方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010052099.5A CN111275620B (zh) 2020-01-17 2020-01-17 一种基于Stacking集成学习的图像超分辨方法

Publications (2)

Publication Number Publication Date
CN111275620A true CN111275620A (zh) 2020-06-12
CN111275620B CN111275620B (zh) 2023-08-01

Family

ID=71002275

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010052099.5A Active CN111275620B (zh) 2020-01-17 2020-01-17 一种基于Stacking集成学习的图像超分辨方法

Country Status (1)

Country Link
CN (1) CN111275620B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112529818A (zh) * 2020-12-25 2021-03-19 万里云医疗信息科技（北京）有限公司 基于神经网络的骨影抑制方法、装置、设备及存储介质
CN117934139A (zh) * 2024-01-29 2024-04-26 中国人民警察大学(公安部国际执法合作学院、中国维和警察培训中心) 基于Stacking融合算法的银行卡诈骗预测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170293825A1 (en) * 2016-04-08 2017-10-12 Wuhan University Method and system for reconstructing super-resolution image
WO2018120329A1 (zh) * 2016-12-28 2018-07-05 深圳市华星光电技术有限公司 基于稀疏域重构的单帧图像超分辨重建方法及装置
CN109615576A (zh) * 2018-06-28 2019-04-12 西安工程大学 基于级联回归基学习的单帧图像超分辨重建方法
CN110047044A (zh) * 2019-03-21 2019-07-23 深圳先进技术研究院 一种图像处理模型的构建方法、装置及终端设备
CN110136060A (zh) * 2019-04-24 2019-08-16 西安电子科技大学 基于浅层密集连接网络的图像超分辨率重建方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170293825A1 (en) * 2016-04-08 2017-10-12 Wuhan University Method and system for reconstructing super-resolution image
WO2018120329A1 (zh) * 2016-12-28 2018-07-05 深圳市华星光电技术有限公司 基于稀疏域重构的单帧图像超分辨重建方法及装置
CN109615576A (zh) * 2018-06-28 2019-04-12 西安工程大学 基于级联回归基学习的单帧图像超分辨重建方法
CN110047044A (zh) * 2019-03-21 2019-07-23 深圳先进技术研究院 一种图像处理模型的构建方法、装置及终端设备
CN110136060A (zh) * 2019-04-24 2019-08-16 西安电子科技大学 基于浅层密集连接网络的图像超分辨率重建方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
李云红;王珍;张凯兵;章为川;闫亚娣;: "基于学习的图像超分辨重建方法综述" *
胡长胜;詹曙;吴从中;: "基于深度特征学习的图像超分辨率重建" *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112529818A (zh) * 2020-12-25 2021-03-19 万里云医疗信息科技（北京）有限公司 基于神经网络的骨影抑制方法、装置、设备及存储介质
CN117934139A (zh) * 2024-01-29 2024-04-26 中国人民警察大学(公安部国际执法合作学院、中国维和警察培训中心) 基于Stacking融合算法的银行卡诈骗预测方法

Also Published As

Publication number Publication date
CN111275620B (zh) 2023-08-01

Similar Documents

Publication Publication Date Title
CN110969577B (zh) 一种基于深度双重注意力网络的视频超分辨率重建方法
Yang et al. Scale-free single image deraining via visibility-enhanced recurrent wavelet learning
CN108257095B (zh) 用于处理图像的***
CN110119780B (zh) 基于生成对抗网络的高光谱图像超分辨重建方法
CN106952228B (zh) 基于图像非局部自相似性的单幅图像的超分辨率重建方法
Guo et al. Deep wavelet prediction for image super-resolution
Kappeler et al. Video super-resolution with convolutional neural networks
CN102902961B (zh) 基于k近邻稀疏编码均值约束的人脸超分辨率处理方法
CN112801877B (zh) 一种视频帧的超分辨率重构方法
CN105631807B (zh) 基于稀疏域选取的单帧图像超分辨重建方法
CN106127688B (zh) 一种超分辨率图像重建方法及其***
CN106920214B (zh) 空间目标图像超分辨率重建方法
Zhang et al. A single-image super-resolution method based on progressive-iterative approximation
Li et al. Example-based image super-resolution with class-specific predictors
Ni et al. Color image demosaicing using progressive collaborative representation
CN110599402A (zh) 一种基于多特征稀疏表示的图像超分辨率重建方法
Xing et al. Residual swin transformer channel attention network for image demosaicing
CN111275620B (zh) 一种基于Stacking集成学习的图像超分辨方法
Wang et al. Image super-resolution using a improved generative adversarial network
CN113962905B (zh) 基于多阶段特征互补网络的单幅图像去雨方法
Hsu et al. Wavelet pyramid recurrent structure-preserving attention network for single image super-resolution
Zhang et al. High-quality image restoration from partial random samples in spatial domain
Amaranageswarao et al. Residual learning based densely connected deep dilated network for joint deblocking and super resolution
CN110443754B (zh) 一种数字图像分辨率提升的方法
CN108492264B (zh) 一种基于sigmoid变换的单帧图像快速超分辨方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20230710

Address after: Room 209, 211, No.1, Yatai Incubation Base, No. 697, Yongkang Street, Wucheng District, Jinhua, Zhejiang Province, 321000

Applicant after: Jinhua Qingniao Computer Information Technology Co.,Ltd.

Address before: 518000 1002, Building A, Zhiyun Industrial Park, No. 13, Huaxing Road, Henglang Community, Longhua District, Shenzhen, Guangdong Province

Applicant before: Shenzhen Wanzhida Technology Co.,Ltd.

Effective date of registration: 20230710

Address after: 518000 1002, Building A, Zhiyun Industrial Park, No. 13, Huaxing Road, Henglang Community, Longhua District, Shenzhen, Guangdong Province

Applicant after: Shenzhen Wanzhida Technology Co.,Ltd.

Address before: 710048 Shaanxi province Xi'an Beilin District Jinhua Road No. 19

Applicant before: XI'AN POLYTECHNIC University

GR01 Patent grant
GR01 Patent grant