CN115829834A - 基于半耦合深度卷积字典学习的图像超分辨率重建方法 - Google Patents
基于半耦合深度卷积字典学习的图像超分辨率重建方法 Download PDFInfo
- Publication number
- CN115829834A CN115829834A CN202211133791.6A CN202211133791A CN115829834A CN 115829834 A CN115829834 A CN 115829834A CN 202211133791 A CN202211133791 A CN 202211133791A CN 115829834 A CN115829834 A CN 115829834A
- Authority
- CN
- China
- Prior art keywords
- image
- net
- dictionary
- learning
- coefficient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于半耦合深度卷积字典学习的图像超分辨率重建方法,包括:准备输入的训练集数据;构建半耦合深度卷积字典学习模型;构建和训练求解该模型的深度神经网络,得到训练好的系数映射网络、字典和系数;利用训练好的系数映射网络、字典和系数重建低分辨率图像得到高分辨率图像。本发明充分利用深度学习的学习能力和字典学习的可解释性,对低分辨率图像进行超分辨率重建,提升图像的分辨率,进而增强图像的显示效果。
Description
技术领域
本发明属于图像处理技术领域,具体涉及一种基于半耦合深度卷积字典学习的图像超分辨率重建方法。
背景技术
研究表明,人类活动中绝大部分的信息是通过视觉***进行感知的。图像作为记录和传递视觉信息的载体,具有形象直观、信息量大、通俗易懂等优点,在天文观测、定位跟踪、医学成像、交通监控等诸多领域均有着极为重要的应用。随着移动互联网时代的到来以及信息技术的推陈出新,人们对图像质量和分辨率的需求日益增长,这使图像的数据量也呈指数式上升。一方面,拍摄图像的分辨率越来越高,若不采用高效的图像压缩技术,将大大加重存储空间和带宽的压力,导致可存储的图像数量急剧下降。另一方面,在图像采集与传输过程中,压缩后的图像可能存在压缩失真、分辨率低等问题,不利于图像的后续处理,达不到实际应用的要求,使现有的技术和设备面临着巨大的挑战。
超分辨率(Super Resolution,SR)重建通过软件技术将已有的低分辨率图像进行重建处理,在提升图像分辨率的同时恢复图像丢失的高频细节,具有成本低、实用性强的特点,成为图像处理领域的研究热点。
目前的深度神经网络已经在图像超分辨率的任务上取得了良好的效果,研究人员提出了ESRGAN方法(Enhanced super-resolution generative adversarial networks),但由于深度神经网络自身的黑盒特性,很多深度学习的模型并不具备可靠的理论保证。而传统的基于模型的方法,如基于稀疏表示的图像超分辨率重建法(Image super-resolution via sparse representation),具有很好的灵活性和可解释性。深度展开模型结合了基于模型方法和基于深度学习方法两者的优点,现有的深度展开网络已经证明了该方法的可行性,甚至某些网络在图像处理任务上的性能超越了深度神经网络,具有一定的优越性,还有人提出了DCDicL方法用于图像去噪(Deep convolutional dictionarylearning for image denoising)。与此同时,现有的基于卷积字典学习的超分辨率任务的先验项是人为设定的,然而,利用这些直观的先验信息可能会忽略一些表征图像结构的潜在信息。
发明内容
解决的技术问题:本发明提出一种基于半耦合深度卷积字典学习的图像超分辨率重建方法,充分利用深度学习的学习能力和字典学习的可解释性,对低分辨率图像进行超分辨率重建,提升图像的分辨率,进而增强图像的显示效果。
技术方案:
一种基于半耦合深度卷积字典学习的图像超分辨率重建方法,所述图像超分辨率重建方法包括以下步骤:
S1,准备输入的训练集数据:对HR图像进行降质退化处理得到对应的LR图像,构建训练集{Xi,Yi},其中Xi为LR图像,Yi为HR图像,下标i表示LR图像或HR图像中的第i个;LR表示低分辨率,HR表示高分辨率;
S2,构建半耦合深度卷积字典学习模型:
式(1)中,X和Y表示LR图像和HR图像,Dx和Dy分别是LR图像和HR图像的字典,Ax、Ay是LR图像和HR图像对应的表示系数,为表示系数的先验信息,φ(·)为字典的先验信息,*表示卷积,λ表示正则化参数,σx、σy、为各项系数,fy(·)为LR图像和HR图像表示系数之间的系数映射函数;
S3,构建和训练求解半耦合深度卷积字典学习模型的深度神经网络,深度神经网络包括Net-X、Net-Y、Net-F、Hyper-Net四个模块,其中Net-X用于学习LR图像的表示系数Ax和LR图像对应的字典Dx,Net-Y用于学习HR图像的表示系数Ay和HR图像对应的字典Dy,Net-F用于训练学习Ax到Ay的系数映射函数fy(·),Hyper-Net用于在每个迭代阶段学习模型中的超参数,利用系数映射损失函数约束映射后的表示系数和HR图像的表示系数之间的差异,并利用重建损失函数约束预测的重建图像和原始HR图像之间的差异,不断调整网络模型参数,直到T个迭代阶段后模型收敛,完成模型的训练,得到训练好的系数映射网络、字典和系数;
进一步地,步骤S1中,准备输入数据的过程包括以下子步骤:
S11,采用下述公式对HR图像进行降质退化处理得到对应的LR图像:
X=(Y*k)↓s+n
其中,X为LR图像,Y为HR图像,*为卷积运算,k为模糊核,↓s表示s倍的下采样,n为加性高斯白噪声;
S12,将降质退化处理得到的LR图像进行空值上采样,使其与对应HR图的大小一致;
S13,将HR图像和LR图像分割为大小为预设大小的图像块,将分割后的图像进行集合,得到训练集,利用训练集训练网络,图像块大小和批次样本数量与网络载体的设备性能相关。
其中,αx,αy,βx,βy,为通过网络Hyper-Net学习得到的超参数,vec表示向量化操作,即把矩阵转换为列向量,vec-1表示反向量化操作,unf表示将卷积运算中的矩阵展开成乘积运算的矩阵形式,F(·)和F-1(·)分别表示2D傅里叶变换和反变换,表示2D傅立叶变换的复共轭,表示逐元素相乘,涉及的除法也为逐元素相除,式(3)、式(5)中的 表示通过构建深度神经网络Net-A来求解式(7)、式(9)中的表示通过构建深度神经网络Net-D来求解上标(t)表示第t个迭代阶段,上标T为矩阵转置。
Head-Net-X采用Head-Net网络结构,Head-Net网络结构为:至少包括2个卷积层,在每2个卷积层之间含有1个ReLu激活函数,每个卷积层至少含有64个通道;在第0个迭代阶段,输入LR图像、退化模型的模糊核k、噪声标准差σ至Head-Net-X,得到初始化的表示系数和用0初始化的字典
采用Net-A网络结构,Net-A网络结构为:包括7个模块,每一个模块包含nr个残差单元,每个残差单元至少包含2个卷积层和跳跃连接,在每2个卷积层之间含有1个ReLu激活函数,在前3个模块的卷积层中使用步长卷积下采样特征图谱,在后3个模块的卷积层中使用转置卷积上采样特征图谱,前4个模块的卷积层分别有64,128,256,512个通道;在第t个迭代阶段处理数据的过程为:输入式(2)求出的辅助变量超参数,得到表示系数
采用Net-D网络结构,Net-D网络结构为:至少包括6个卷积层,在每2个卷积层之间含有1个ReLu激活函数,每一个卷积层至少包含16个通道,在第一个卷积层的输入和最后一个卷积层的输出之间设置跳跃连接;在第t个迭代阶段处理数据的过程为:输入式(6)求出的辅助变量超参数,得到字典
进一步地,系数映射损失函数为:
其中θF表示Net-F网络的参数,为第t个迭代阶段LR图像的表示系数,为第t个迭代阶段HR图像的表示系数,为第t-1个迭代阶段的系数映射函数,N为批处理样本的数量,下标i表示LR图像或HR图像中的第i个。
进一步地,Hyper-Net网络结构为:至少包括4个卷积层,在每2个卷积层之间含有1个ReLu激活函数,在最后1个卷积层后有1个SoftPlus层;Hyper-Net在第t个迭代阶段处理数据的过程为:输入噪声标准差σ,得到超参数。
进一步地,所述重建损失函数为:
有益效果:
第一,本发明的基于半耦合深度卷积字典学习的图像超分辨率重建方法,充分利用了深度神经网络的学习能力,学习表示系数和字典的先验信息,同时还通过网络提取表示系数特征,学习系数映射函数,能够较好地保持图像中的结构和纹理要素,有效提高图像的重建质量。
第二,本发明的基于半耦合深度卷积字典学习的图像超分辨率重建方法,由于深度神经网络自身的黑盒特性,很多深度学习的模型并不具备可靠的理论保证,本发明除了利用深度的学习能力外,还充分利用传统字典学习方法的可解释性,使得本发明中设计的网络结构在理论上也是可解释的。
第三,本发明的基于半耦合深度卷积字典学习的图像超分辨率重建方法,在主网络的核心模块融合了U-Net网络和Residual残差网络,使得该模型能学习更丰富的全局特征,有着更强的学习能力。
附图说明
图1为本发明实施例的图像超分辨率重建模型整体结构图。
图2为本发明实施例的Head-Net网络结构图。
图3为本发明实施例的Net-A网络结构图。
图4为本发明实施例的Net-D网络结构图。
图5为本发明实施例的Hyper-Net网络结构图。
图6为原始高分辨率图像示意图。
图7为bicubic方法处理后所得的图像示意图。
图8为SRMD方法处理后所得的图像示意图。
图9为USRNet方法处理后所得的图像示意图。
图10为SwinIR方法处理后所得的图像示意图。
图11为本发明实施例处理后所得的图像示意图。
具体实施方式
下面的实施例可使本专业技术人员更全面地理解本发明,但不以任何方式限制本发明。
本实施例公开了一种基于半耦合深度卷积字典学习的图像超分辨率重建方法,具体包括以下步骤:
步骤一:准备输入的训练集数据。
获取用于训练和测试的公用数据集;本实施例中使用DIV2K、Flickr2K、CBSD68三个公用数据集,其中DIV2K和Flickr2K分别包含800幅和2650幅图像用作训练,CBSD68中包含68幅图像用作测试;对HR图像进行降质退化处理得到对应的LR图像,以此构建训练集{Xi,Yi},其中Xi为LR图像,Yi为HR图像,下标i表示LR或HR图像中的第i个。
降质退化处理的退化模型公式为:X=(Y*k)↓s+n;其中,X为LR图像,Y为HR图像,*为卷积运算,k为模糊核,↓s表示s倍的下采样,n为加性高斯白噪声。
在本实施例中,模糊核k设置为各同向性的高斯模糊核,下采样倍数s设置为2,噪声标准差设置为0到5之间的随机数。
在本实施例中,将降质退化处理得到的LR图像进行空值上采样(即对LR图像进行0值填充),使其与对应HR图的大小一致;将HR图像和LR图像分割为大小为64×64的图像块,将分割后的图像进行集合,得到训练集;利用训练集训练网络时,批处理样本的数量N设置为32。
步骤二:构建并求解半耦合深度卷积字典学习模型。
步骤三:构建和训练求解半耦合深度卷积字典学习模型的深度神经网络,得到训练好的系数映射函数、字典和表示系数。
如图1所示,求解半耦合深度卷积字典学习模型的深度神经网络包括Net-X、Net-Y、Net-F、Hyper-Net四个模块,其中Net-X用于学习LR图像的表示系数Ax和LR图像对应的字典Dx,Net-Y用于学习HR图像的表示系数Ay和HR图像对应的字典Dy,Net-F用于训练学习Ax到Ay的系数映射函数fy(·),Hyper-Net用于在每个迭代阶段学习模型中的超参数,利用系数映射损失函数约束映射后的表示系数和HR图像的表示系数之间的差异,并利用重建损失函数约束重建图像和原始HR图像之间的差异,不断调整网络模型参数,直到T个迭代阶段后模型收敛,完成模型的训练。
如图2所示,Head-Net网络结构为:包括2个卷积层,在这2个卷积层之间含有1个ReLu激活函数,每个卷积层含有64个通道。
如图3所示,Net-A网络结构为:包括7个模块,每一个模块包含4个残差单元,每个残差单元包含2个卷积层和跳跃连接,在这2个卷积层之间含有1个ReLu激活函数,在前3个模块的卷积层中使用步长卷积下采样特征图谱,在后3个模块的卷积层中使用转置卷积上采样特征图谱,前4个模块的卷积层分别有64,128,256,512个通道.
如图4所示,Net-D网络结构为:包括6个卷积层,在每2个卷积层之间含有1个ReLu激活函数,每一个卷积层包含16个通道,在第一个卷积层的输入和最后一个卷积层的输出之间设置跳跃连接。
Net-F采用Net-A网络结构;该模块在第t个迭代阶段处理数据的过程为:输入得到并通过系数映射损失函数约束与之间的差异,以此将更新为系数映射损失函数为:其中θF表示Net-F网络的参数,为第t个迭代阶段LR图像的表示系数,为第t个迭代阶段HR图像的表示系数,为第t-1个迭代阶段的系数映射函数,N为批处理样本的数量,下标i表示LR或HR图像中的第i个。
如图5所示,Hyper-Net网络结构为:包括4个卷积层,在每2个卷积层之间含有1个ReLu激活函数,在最后1个卷积层后有1个SoftPlus层,每个卷积层包含个256通道;该模块在第t个迭代阶段处理数据的过程为:输入噪声标准差σ,得到超参数。
利用重建损失函数约束重建图像和原始HR图像之间的差异;其中θ表示网络的参数,为第t个迭代阶段HR图像的字典,和为第t个阶段LR图像和HR图像的表示系数,*表示卷积,为系数映射函数,Yi为HR图像,N为批处理样本的数量,下标i表示LR或HR图像中的第i个;
在本实施例中,在训练求解半耦合深度卷积字典学习模型的深度神经网络时,使用ADAM优化方法与反向传播来优化调整网络中的参数,初始学习率为10-4,学习率衰减周期为20000次,训练迭代次数为40000次。
步骤四:利用训练好的系数映射函数、字典和表示系数重建低分辨率图像得到高分辨率图像。
下面结合表1和图6至图11,通过实施例的效果评价来进一步说明本发明。
在本实施例中,使用峰值信噪比(Peak Signal-to-Noise Ratio,PSNR)和结构相似性(Structure Similarity,SSIM)作为结果的客观评价指标;
在本实施例中,使用CBSD68数据集中的图像作为测试图像,表1列出了本实施例和其他先进的图像超分辨率方法得到的结果图像的平均PSNR和SSIM。从表1可以看出,本实施例方法得到的结果与其他方法的结果相比有显著提升。
表1
客观评价指标 | Bicubic | SRMD | USRNet | SwinIR | 本实施例方法 |
PSNR | 23.53 | 26.21 | 28.47 | 23.69 | 29.41 |
SSIM | 0.6145 | 0.7693 | 0.8096 | 0.6084 | 0.8553 |
图6至图11分别为一幅原始HR图像和用Bicubic、SRMD、USRNet、SwinIR和本实施例方法处理得到的超分辨率结果图像。从图中可以看出,Bicubic和SwinIR方法的结果图像明显存在细节模糊,SRMD和USRnet方法的结果图像中细节较清晰,但某些局部区域存在细节模糊,本实施例方法得到的结果图像中高频细节更加丰富。本实施例方法结果的视觉效果和客观评价指标均表明本发明方法在兼顾网络可解释性的同时,可以获得更好的图像超分辨率重建质量。
以上所述,仅是本发明的较佳实施例,并非对本发明做任何形式上的限制,凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化,均落入本发明的保护范围之内。
Claims (9)
1.一种基于半耦合深度卷积字典学习的图像超分辨率重建方法,其特征在于,所述图像超分辨率重建方法包括以下步骤:
S1,准备输入的训练集数据:对HR图像进行降质退化处理得到对应的LR图像,构建训练集{Xi,Yi},其中Xi为LR图像,Yi为HR图像,下标i表示LR图像或HR图像中的第i个;LR表示低分辨率,HR表示高分辨率;
S2,构建半耦合深度卷积字典学习模型:
式(1)中,X和Y表示LR图像和HR图像,Dx和Dy分别是LR图像和HR图像的字典,Ax、Ay是LR图像和HR图像对应的表示系数,为表示系数的先验信息,φ(·)为字典的先验信息,*表示卷积,λ表示正则化参数,σx、σy、为各项系数,fy(·)为LR图像和HR图像表示系数之间的系数映射函数;
S3,构建和训练求解半耦合深度卷积字典学习模型的深度神经网络,深度神经网络包括Net-X、Net-Y、Net-F、Hyper-Net四个模块,其中Net-X用于学习LR图像的表示系数Ax和LR图像对应的字典Dx,Net-Y用于学习HR图像的表示系数Ay和HR图像对应的字典Dy,Net-F用于训练学习Ax到Ay的系数映射函数fy(·),Hyper-Net用于在每个迭代阶段学习模型中的超参数,利用系数映射损失函数约束映射后的表示系数和HR图像的表示系数之间的差异,并利用重建损失函数约束预测的重建图像和原始HR图像之间的差异,不断调整网络模型参数,直到T个迭代阶段后模型收敛,完成模型的训练,得到训练好的系数映射网络、字典和系数;
2.根据权利要求1所述的基于半耦合深度卷积字典学习的图像超分辨率重建方法,其特征在于,步骤S1中,准备输入数据的过程包括以下子步骤:
S11,采用下述公式对HR图像进行降质退化处理得到对应的LR图像:
X=(Y*k)↓s+n
其中,X为LR图像,Y为HR图像,*为卷积运算,k为模糊核,↓s表示s倍的下采样,n为加性高斯白噪声;
S12,将降质退化处理得到的LR图像进行空值上采样,使其与对应HR图的大小一致;
S13,将HR图像和LR图像分割为大小为预设大小的图像块,将分割后的图像进行集合,得到训练集,利用训练集分批次训练网络,图像块大小和批次样本数量与网络载体的设备性能相关。
3.根据权利要求1所述的基于半耦合深度卷积字典学习的图像超分辨率重建方法,其特征在于,引入辅助变量并利用半二次***算法迭代求解式(1),在第t个迭代阶段中,式(1)的求解过程为按顺序依次计算式(2)至式(10):
Head-Net-X采用Head-Net网络结构,Head-Net网络结构为:至少包括2个卷积层,在每2个卷积层之间含有1个ReLu激活函数,每个卷积层至少含有64个通道;在第0个迭代阶段,输入LR图像、退化模型的模糊核k、噪声标准差σ至Head-Net-X,得到初始化的表示系数和用0初始化的字典
采用Net-A网络结构,Net-A网络结构为:包括7个模块,每一个模块包含nr个残差单元,每个残差单元至少包含2个卷积层和跳跃连接,在每2个卷积层之间含有1个ReLu激活函数,在前3个模块的卷积层中使用步长卷积下采样特征图谱,在后3个模块的卷积层中使用转置卷积上采样特征图谱,前4个模块的卷积层分别有64,128,256,512个通道;在第t个迭代阶段处理数据的过程为:输入式(2)求出的辅助变量超参数,得到表示系数
8.根据权利要求3所述的基于半耦合深度卷积字典学习的图像超分辨率重建方法,其特征在于,Hyper-Net网络结构为:至少包括4个卷积层,在每2个卷积层之间含有1个ReLu激活函数,在最后1个卷积层后有1个SoftPlus层;Hyper-Net在第t个迭代阶段处理数据的过程为:输入噪声标准差σ,得到超参数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211133791.6A CN115829834A (zh) | 2022-09-16 | 2022-09-16 | 基于半耦合深度卷积字典学习的图像超分辨率重建方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211133791.6A CN115829834A (zh) | 2022-09-16 | 2022-09-16 | 基于半耦合深度卷积字典学习的图像超分辨率重建方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115829834A true CN115829834A (zh) | 2023-03-21 |
Family
ID=85523705
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211133791.6A Pending CN115829834A (zh) | 2022-09-16 | 2022-09-16 | 基于半耦合深度卷积字典学习的图像超分辨率重建方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115829834A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116611995A (zh) * | 2023-04-06 | 2023-08-18 | 江苏大学 | 一种基于深度展开网络的手写文本图像超分辨率重建方法 |
CN117877686A (zh) * | 2024-03-13 | 2024-04-12 | 自贡市第一人民医院 | 一种中医护理数据智能管理方法及*** |
-
2022
- 2022-09-16 CN CN202211133791.6A patent/CN115829834A/zh active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116611995A (zh) * | 2023-04-06 | 2023-08-18 | 江苏大学 | 一种基于深度展开网络的手写文本图像超分辨率重建方法 |
CN117877686A (zh) * | 2024-03-13 | 2024-04-12 | 自贡市第一人民医院 | 一种中医护理数据智能管理方法及*** |
CN117877686B (zh) * | 2024-03-13 | 2024-05-07 | 自贡市第一人民医院 | 一种中医护理数据智能管理方法及*** |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109886871B (zh) | 基于通道注意力机制和多层特征融合的图像超分辨率方法 | |
CN109035142B (zh) | 一种对抗网络结合航拍图像先验的卫星图像超分辨方法 | |
CN109272452B (zh) | 小波域中基于集团结构子带共同学习超分辨率网络的方法 | |
CN111652804B (zh) | 基于膨胀卷积金字塔与瓶颈网络的超分辨率重建方法 | |
CN111815516B (zh) | 一种弱监督红外遥感图像超分辨率重建方法 | |
CN107993194B (zh) | 一种基于平稳小波变换的超分辨率重建方法 | |
CN110288524B (zh) | 基于增强型上采样和辨别融合机制的深度学习超分辨率方法 | |
CN111932461A (zh) | 一种基于卷积神经网络的自学习图像超分辨率重建方法及*** | |
CN111986092B (zh) | 一种基于双重网络的图像超分辨率重建方法及*** | |
Yang et al. | Image super-resolution based on deep neural network of multiple attention mechanism | |
CN115456918B (zh) | 一种基于小波高频通道合成的图像去噪方法及装置 | |
CN111640059B (zh) | 基于高斯混合模型的多字典图像超分辨方法 | |
CN116797456A (zh) | 图像超分辨率重建方法、***、设备和存储介质 | |
CN116168197A (zh) | 一种基于Transformer分割网络和正则化训练的图像分割方法 | |
CN113962882B (zh) | 一种基于可控金字塔小波网络的jpeg图像压缩伪影消除方法 | |
CN115829834A (zh) | 基于半耦合深度卷积字典学习的图像超分辨率重建方法 | |
CN111951203A (zh) | 视点合成方法、装置、设备及计算机可读存储介质 | |
CN111461976A (zh) | 基于高效轻量级坐标神经网络的图像超分辨率方法 | |
Wen et al. | The power of complementary regularizers: Image recovery via transform learning and low-rank modeling | |
CN114359039A (zh) | 基于知识蒸馏的图像超分方法 | |
CN116188272B (zh) | 适用于多模糊核的两阶段深度网络图像超分辨率重建方法 | |
CN116128722A (zh) | 基于频域-纹理特征融合的图像超分辨率重建方法及*** | |
CN113674154B (zh) | 一种基于生成对抗网络的单幅图像超分辨率重建方法及*** | |
CN115311137A (zh) | 一种基于网络二值化推理加速的图像超分辨率重建方法 | |
CN107133921A (zh) | 基于多层次邻域嵌入的图像超分辨率重建方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |