CN109816593B - 一种基于注意力机制的生成对抗网络的超分辨率图像重建方法 - Google Patents
一种基于注意力机制的生成对抗网络的超分辨率图像重建方法 Download PDFInfo
- Publication number
- CN109816593B CN109816593B CN201910088423.6A CN201910088423A CN109816593B CN 109816593 B CN109816593 B CN 109816593B CN 201910088423 A CN201910088423 A CN 201910088423A CN 109816593 B CN109816593 B CN 109816593B
- Authority
- CN
- China
- Prior art keywords
- network
- resolution image
- training
- perception
- data set
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于注意力机制的生成对抗网络的超分辨率图像重建方法,包括:预处理ImageNet数据集,制作高、低分辨率图像对应的训练数据集;构建用于训练的生成对抗网络模型,在该模型中引入注意力机制;将得到的训练数据集依次输入生成对抗网络中进行模型训练;将待处理的图像输入到训练完毕的生成网络模型中,得到重建后的高分辨率图像。本发明通过在感知网络中加入注意力机制来提取目标的显著性区域,利用局部信息和全局信息结合的方式使生成的图像更加接近于真实的高分辨率图像,并引入感知损失提高生成效果,使重建后的图像边缘和细节信息更加清晰,重建效果更佳。
Description
技术领域
本发明涉及图像重建方法,尤其涉及一种基于生成对抗网络的超分辨率图像重建方法。
背景技术
图像超分辨率重建是一种利用低分辨率图像来产生高分辨率图像的技术。图像超分辨率重建应用领域及其宽广,在军事,医学,公共安全,计算机视觉等方面都存在着重要的应用前景。
目前超分辨率重建算法主要可分为:基于重建的方法和基于学习的方法。基于重建的方法的基础是均衡及非均衡采样定理,假设低分辨率的输入采样信号能很好地预估出原始的高分辨率信号。基于学习的方法采用大量的高分辨率图像构造学习库产生学习模型,重建的过程中引入由学习模型获得的先验知识。其中深度学习方法,利用低分辨率和高分辨率图像之间端到端的映射关系,直接学习两者的映射函数,以得到图像的高频细节,获得较好的图像恢复效果。
在先技术“基于生成对抗网络和亚像素卷积的人脸超分辨率重建方法”(申请号:CN201710347472.8)利用生成对抗网络和亚像素卷积层进行人脸超分辨率重建,简单利用生成对抗网络的对抗结构,使用原始的交叉熵损失函数将数据集中的低分辨率图像送入生成网络生成高分辨率图像,再将生成的高分辨率图像和真实的高分辨率图像送入判别网络中,判别生成效果,不断进行训练,调整参数。其存在的主要问题是重建图像边缘细节信息不足,最终图像的表现效果不佳。重建过程对于前景和背景进行同等程度的重建,造成计算资源的浪费。
发明内容
为了解决上述技术问题本发明提出了一种基于注意力机制的生成对抗网络的图像超分辨率重建方法。
本发明的技术方案是这样实现的:
一种基于注意力机制的生成对抗网络的图像超分辨率图像重建方法,包括以下步骤:
A、预处理ImageNet数据集,制作高、低分辨率图像对应的训练数据集;
B、构建用于训练的生成对抗网络模型,在该模型中引入注意力机制;
C、将步骤A得到的训练数据集依次输入生成对抗网络中进行模型训练;
D、将待处理的图像输入到训练完毕的生成网络模型中,得到重建后的高分辨率图像。
进一步的,步骤A中所述的训练数据集的制作方法为:
A1、获取ImageNet数据集,随机挑选部分图像作为训练数据集;
A2、对获得的训练数据集中的所有图像进行归一化处理得到尺寸一致的高分辨率图像数据集;
A3、对高分辨率图像数据集进行双线性插值处理,下采样得到低分辨率图像。
更进一步的,步骤A3中所述高分辨率图像与低分辨率图像的实际张量大小分别为rH*rW*C和H*W*C,其中r为降采样比例,具体缩小比例为2-5倍。
更进一步的,所述降采样比例r为4,即为4倍缩小比例。
进一步的,步骤B中所述用于训练的生成对抗网络模型的构建方法为:
B1、使用ResNet网络构建生成网络;
B2、使用感知网络提取感知损失;
B3、在感知网络中加入注意力机制,得到注意力损失;
B4、使用多个卷积层和全连接层构建判别网络;
B5、生成对抗网络模型,使用基于Wasserstein距离的对抗损失函数。
进一步的,步骤C中所述模型训练的步骤为:
C1、利用TensorFlow深度学习平台,优化函数为Adam,基础学习率设置为10e-4,学习策略step为100000,gamma为0.1,采用GPU进行加速训练;
C2、预训练,利用步骤A1处理后剩余的ImageNet数据集作为预训练数据集,预训练生成对抗模型中的感知网络,不断迭代使得感知网络具备识别能力,预训练完毕后,感知网络停止更新;
C3、正式训练,将训练集中成对的高低分辨率图像作为样本输入,将低分辨率图像输入生成网络中,得到重建后的高分辨率图像,再将重建后的高分辨率图像和真实的高分辨率图像分别送入感知网络和判别网络中,前者得到感知损失、注意力损失最终得到生成损失,后者得到判别信息,指导生成网络进行训练。
本发明的有益效果在于:
1.通过在感知网络中加入注意力机制来提取目标的显著性区域,利用局部信息和全局信息结合的方式使生成的图像更加接近于真实的高分辨率图像。
2.基于人眼的注意力机制,使得显著性区域重建效果更优,符合人眼的观察模式。
3.引入感知损失提高生成效果,使重建后的图像边缘和细节信息更加清晰,重建效果更佳。
附图说明
图1是本发明所述超分辨率图像重建方法的工作框图。
图2是本发明所述超分辨率图像重建方法的生成网络结构图。
图3是本发明所述超分辨率图像重建方法的判别网络结构图。
具体实施方式
下面结合附图详述本发明具体实施方式:
如图1、2、3所示,一种基于注意力机制的生成对抗网络的图像超分辨率图像重建方法,包括以下步骤:
A、预处理ImageNet数据集,制作高、低分辨率图像对应的训练数据集;
B、构建用于训练的生成对抗网络模型,在该模型中引入注意力机制;
C、将步骤A得到的训练数据集依次输入生成对抗网络中进行模型训练;
D、将待处理的输入到训练完毕的生成网络模型中,得到重建后的高分辨率图像。
进一步的,步骤A中所述的训练数据集的制作方法为:
A1、获取ImageNet数据集,随机挑选部分图像作为训练数据集;
A2、对获得的训练数据集中的所有图像进行归一化处理得到尺寸一致的高分辨率图像数据集;
A3、对高分辨率图像数据集进行双线性插值处理,下采样得到低分辨率图像。
更进一步的,步骤A3中所述高分辨率图像与低分辨率图像的实际张量大小分别为rH*rW*C和H*W*C,其中r为降采样比例,具体缩小比例为2-5倍,优选的,所述降采样比例r为4,即为4倍缩小比例。
进一步的,步骤B中所述用于训练的生成对抗网络模型的构建方法为:
B1、使用ResNet网络构建生成网络;
B2、使用感知网络提取感知损失;
B3、在感知网络中加入注意力机制,得到注意力损失;
B4、使用多个卷积层和全连接层构建判别网络;
B5、生成对抗网络模型,使用基于Wasserstein距离的对抗损失函数。
如图2所示,上述步骤B1-B5所述方法中使用ResNet的残差卷积块搭建生成网络,每一层输出图像大小与输入图像的大小相等。残差块由两组卷积层、批归一化层、激活层组成,其中激活函数为PReLU函数。其后接两组亚像素卷积模块,其中亚像素卷积层的实现过程为逐步进行尺度变换提升图像分辨率,在每次尺度变换的过程中加入多次卷积操作提取更多信息。将一个大小为H*W*r^2C张量变换为rH*rW*C大小的张量,提升图像的分辨率。
使用预训练完毕的VGG网络作为提取感知损失的感知网络,在感知网络后端加入显著性检测模块,提取图像的注意力机制关注的显著性区域。通过对比两个输入之间的显著性区域的IoU指标得到注意力损失。
如图3所示,搭建由卷积层、批归一化层、激活层组成的判别网络,其中激活函数为LReLU函数,最终通过全连接层和sigmoid激活函数得到判别损失。
损失函数主要包括生成损失和判别损失,其中生成损失包括内容损失、感知损失、对抗损失和注意力损失;判别损失为生成的高分辨率图像和真实的高分辨率图像通过判别网络得到的差异损失。
生成网络的内容损失为生成的高分辨率图像和真实的高分辨率图像之间的最小均方误差损失,公式为:
感知损失为生成的高分辨率图像和真实的高分辨率图像通过感知网络并计算两特征图像之间的差异损失,公式为:
对抗损失利用Wasserstein距离计算对抗的损失,公式为:
注意力损失通过IOU指标得到,公式为:
IOU=两区域重叠部分面积/两区域集合部分面积
进一步的,步骤C中所述模型训练的步骤为:
C1、利用TensorFlow深度学习平台,优化函数为Adam,基础学习率设置为10e-4,学习策略step为100000,gamma为0.1,采用GPU进行加速训练;
C2、预训练,利用步骤A1处理后剩余的ImageNet数据集作为预训练数据集,预训练生成对抗模型中的感知网络,不断迭代使得感知网络具备识别能力,预训练完毕后,感知网络停止更新;
C3、正式训练:将训练集中成对的高低分辨率图像作为样本输入,将低分辨率图像输入生成网络中,得到重建后的高分辨率图像,再将重建后的高分辨率图像和真实的高分辨率图像分别送入感知网络和判别网络中,前者得到感知损失、注意力损失最终得到生成损失,后者得到判别信息,指导生成网络进行训练。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,根据本发明的技术方案及其发明构思加以等同替换或改变,都应涵盖在本发明的保护范围之内。
Claims (5)
1.一种基于注意力机制的生成对抗网络的超分辨率图像重建方法,其特征在于,包括以下步骤:
A、预处理ImageNet数据集,制作高、低分辨率图像对应的训练数据集;
B、构建用于训练的生成对抗网络模型,在该模型中引入注意力机制;
C、将步骤A得到的训练数据集依次输入生成对抗网络中进行模型训练;
D、将待处理的图像输入到训练完毕的生成网络模型中,得到重建后的高分辨率图像;
其中,步骤B中所述用于训练的生成对抗网络模型的构建方法为:
B1、使用ResNet网络构建生成网络;
B2、使用感知网络提取感知损失;
B3、在感知网络中加入注意力机制,得到注意力损失;
B4、使用多个卷积层和全连接层构建判别网络;
B5、生成对抗网络模型,使用基于Wasserstein距离的对抗损失函数。
2.根据权利要求1所述的方法,其特征在于:步骤A中所述的训练数据集的制作方法为:
A1、获取ImageNet数据集,随机挑选部分图像作为训练数据集;
A2、对获得的训练数据集中的所有图像进行归一化处理得到尺寸一致的高分辨率图像数据集;
A3、对高分辨率图像数据集进行双线性插值处理,下采样得到低分辨率图像。
3.根据权利要求2所述的方法,其特征在于:步骤A3中所述高分辨率图像与低分辨率图像的实际张量大小分别为rH*rW*C和H*W*C,其中r为降采样比例,具体缩小比例为2-5倍。
4.根据权利要求3所述的方法,其特征在于:所述降采样比例r为4,即为4倍缩小比例。
5.根据权利要求1所述的方法,其特征在于,步骤C中所述模型训练的步骤为:
C1、利用TensorFlow深度学习平台,优化函数为Adam,基础学习率设置为10e-4,学习策略step为100000,gamma为0 .1,采用GPU进行加速训练;
C2、预训练,利用步骤A1处理后剩余的ImageNet数据集作为预训练数据集,预训练生成对抗模型中的感知网络,不断迭代使得感知网络具备识别能力,预训练完毕后,感知网络停止更新;
C3、正式训练,将训练集中成对的高、低分辨率图像作为样本输入,将低分辨率图像输入生成网络中,得到重建后的高分辨率图像,再将重建后的高分辨率图像和真实的高分辨率图像分别送入感知网络和判别网络中,感知网络得到感知损失、注意力损失最终得到生成损失,判别网络得到判别信息,指导生成网络进行训练。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910088423.6A CN109816593B (zh) | 2019-01-18 | 2019-01-18 | 一种基于注意力机制的生成对抗网络的超分辨率图像重建方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910088423.6A CN109816593B (zh) | 2019-01-18 | 2019-01-18 | 一种基于注意力机制的生成对抗网络的超分辨率图像重建方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109816593A CN109816593A (zh) | 2019-05-28 |
CN109816593B true CN109816593B (zh) | 2022-12-20 |
Family
ID=66605872
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910088423.6A Active CN109816593B (zh) | 2019-01-18 | 2019-01-18 | 一种基于注意力机制的生成对抗网络的超分辨率图像重建方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109816593B (zh) |
Families Citing this family (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108986041A (zh) * | 2018-06-13 | 2018-12-11 | 浙江大华技术股份有限公司 | 一种图像恢复方法、装置、电子设备及可读存储介质 |
CN110334749B (zh) * | 2019-06-20 | 2021-08-03 | 浙江工业大学 | 基于注意力机制的对抗攻击防御模型、构建方法及应用 |
CN110443758B (zh) * | 2019-07-05 | 2023-08-25 | 广东省人民医院(广东省医学科学院) | 一种医疗影像去噪方法及装置 |
CN110660020B (zh) * | 2019-08-15 | 2024-02-09 | 天津中科智能识别产业技术研究院有限公司 | 一种基于融合互信息的对抗生成网络的图像超分辨率方法 |
CN110457511B (zh) * | 2019-08-16 | 2022-12-06 | 成都数之联科技股份有限公司 | 基于注意力机制和生成对抗网络的图像分类方法及*** |
CN110490807A (zh) * | 2019-08-27 | 2019-11-22 | 中国人民公安大学 | 图像重建方法、装置及存储介质 |
CN110728658A (zh) * | 2019-09-16 | 2020-01-24 | 武汉大学 | 一种基于深度学习的高分辨率遥感影像弱目标检测方法 |
CN111080513B (zh) * | 2019-10-24 | 2023-12-26 | 天津中科智能识别产业技术研究院有限公司 | 一种基于注意力机制的人脸图像超分辨率方法 |
CN111028146B (zh) * | 2019-11-06 | 2022-03-18 | 武汉理工大学 | 基于双判别器的生成对抗网络的图像超分辨率方法 |
CN111062886A (zh) * | 2019-12-10 | 2020-04-24 | 携程计算机技术(上海)有限公司 | 酒店图片的超分辨方法、***、电子产品和介质 |
CN111369442B (zh) * | 2020-03-10 | 2022-03-15 | 西安电子科技大学 | 基于模糊核分类与注意力机制的遥感图像超分辨重建方法 |
CN111402137B (zh) * | 2020-03-20 | 2023-04-18 | 南京信息工程大学 | 一种基于感知损失引导的深度注意力编解码单图像超分辨率算法 |
CN111476353B (zh) * | 2020-04-07 | 2022-07-15 | 中国科学院重庆绿色智能技术研究院 | 一种引入显著性的gan图像超分辨率方法 |
CN112102167B (zh) * | 2020-08-31 | 2024-04-26 | 深圳市航宇数字视觉科技有限公司 | 一种基于视觉感知的图像超分辨率方法 |
CN112070670B (zh) * | 2020-09-03 | 2022-05-10 | 武汉工程大学 | 全局-局部分离注意力机制的人脸超分辨率方法及*** |
CN112767427A (zh) * | 2021-01-19 | 2021-05-07 | 西安邮电大学 | 一种补偿边缘信息的低分辨率图像识别算法 |
CN112800937B (zh) * | 2021-01-26 | 2023-09-05 | 华南理工大学 | 一种智能人脸识别方法 |
CN112836795B (zh) * | 2021-01-27 | 2023-08-18 | 西安理工大学 | 一种多源非均衡域自适应方法 |
CN113012045B (zh) * | 2021-02-23 | 2022-07-15 | 西南交通大学 | 一种用于合成医学图像的生成对抗网络 |
CN113674154B (zh) * | 2021-08-23 | 2023-10-27 | 北京印刷学院 | 一种基于生成对抗网络的单幅图像超分辨率重建方法及*** |
CN117036161A (zh) * | 2023-06-13 | 2023-11-10 | 河海大学 | 一种基于生成式对抗网络的大坝缺陷恢复方法 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107154023A (zh) * | 2017-05-17 | 2017-09-12 | 电子科技大学 | 基于生成对抗网络和亚像素卷积的人脸超分辨率重建方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018053340A1 (en) * | 2016-09-15 | 2018-03-22 | Twitter, Inc. | Super resolution using a generative adversarial network |
-
2019
- 2019-01-18 CN CN201910088423.6A patent/CN109816593B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107154023A (zh) * | 2017-05-17 | 2017-09-12 | 电子科技大学 | 基于生成对抗网络和亚像素卷积的人脸超分辨率重建方法 |
Non-Patent Citations (1)
Title |
---|
基于生成对抗网络的单帧红外图像超分辨算法;邵保泰等;《红外与毫米波学报》;20180815(第04期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN109816593A (zh) | 2019-05-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109816593B (zh) | 一种基于注意力机制的生成对抗网络的超分辨率图像重建方法 | |
CN109509152B (zh) | 一种基于特征融合的生成对抗网络的图像超分辨率重建方法 | |
CN111402129B (zh) | 一种基于联合上采样卷积神经网络的双目立体匹配方法 | |
CN112734646B (zh) | 一种基于特征通道划分的图像超分辨率重建方法 | |
CN111899168B (zh) | 一种基于特征增强的遥感影像超分辨率重建方法和*** | |
CN109993702B (zh) | 基于生成对抗网络的满文图像超分辨率重建方法 | |
Liu et al. | Effective image super resolution via hierarchical convolutional neural network | |
CN110599502B (zh) | 一种基于深度学习的皮肤病变分割方法 | |
CN111861886B (zh) | 一种基于多尺度反馈网络的图像超分辨率重建方法 | |
Yang et al. | Image super-resolution based on deep neural network of multiple attention mechanism | |
CN114862731B (zh) | 低秩先验与空谱信息引导的多-高光谱影像融合方法 | |
CN111681188A (zh) | 基于结合图像像素先验和图像梯度先验的图像去模糊方法 | |
CN114926734B (zh) | 基于特征聚合和注意融合的固体废弃物检测装置及方法 | |
CN115713462A (zh) | 超分辨模型训练方法、图像识别方法、装置及设备 | |
CN114943646A (zh) | 基于纹理导向的梯度权重损失和注意力机制超分辨方法 | |
CN117788296A (zh) | 基于异构组合深度网络的红外遥感图像超分辨率重建方法 | |
CN117593187A (zh) | 基于元学习和Transformer的遥感图像任意尺度超分辨率重建方法 | |
CN116385265B (zh) | 一种图像超分辨率网络的训练方法及装置 | |
CN117173022A (zh) | 基于多路径融合和注意力的遥感图像超分辨率重建方法 | |
CN116823610A (zh) | 一种基于深度学习的水下图像超分辨率生成方法和*** | |
CN113421188B (zh) | 一种图像均衡增强的方法、***、装置及存储介质 | |
CN112785498B (zh) | 一种基于深度学习的病理图像超分建模方法 | |
CN114140317A (zh) | 一种基于级联生成对抗网络的图像动漫化方法 | |
Shi et al. | DSR-Diff: Depth map super-resolution with diffusion model | |
CN117455774B (zh) | 一种基于差分输出的图像重建方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |