CN112669214A - 一种基于交替方向乘子算法的模糊图像超分辨率重建方法 - Google Patents
一种基于交替方向乘子算法的模糊图像超分辨率重建方法 Download PDFInfo
- Publication number
- CN112669214A CN112669214A CN202110002643.XA CN202110002643A CN112669214A CN 112669214 A CN112669214 A CN 112669214A CN 202110002643 A CN202110002643 A CN 202110002643A CN 112669214 A CN112669214 A CN 112669214A
- Authority
- CN
- China
- Prior art keywords
- image
- resolution
- features
- super
- resolution image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000012545 processing Methods 0.000 claims abstract description 7
- 238000005070 sampling Methods 0.000 claims description 16
- 238000006731 degradation reaction Methods 0.000 claims description 12
- 238000012549 training Methods 0.000 claims description 9
- 230000015556 catabolic process Effects 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 8
- 238000005457 optimization Methods 0.000 claims description 8
- 239000000654 additive Substances 0.000 claims description 7
- 230000000996 additive effect Effects 0.000 claims description 7
- 238000013527 convolutional neural network Methods 0.000 claims description 4
- 238000004088 simulation Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 3
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 2
- 230000003190 augmentative effect Effects 0.000 claims description 2
- 239000011159 matrix material Substances 0.000 claims description 2
- 230000000593 degrading effect Effects 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 7
- 101100365548 Caenorhabditis elegans set-14 gene Proteins 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000000750 progressive effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 230000021317 sensory perception Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
Abstract
本发明属于图像处理技术领域,公开了一种基于交替方向乘子算法的模糊图像超分辨率重建方法。本发明通过构造一个正向的观察模型使退化后的低分辨率图像能够更接近真实场景中的有退化低分辨率图像,并且搭建了基于交替方向乘子算法的模糊图像超分辨重建模型,将图像去模糊过程与获取高质量特征图过程分离,获得了更好的模糊图像超分辨重建效果。该方法相比于直接进行双三次插值下采样进行超分辨率重建方法,更能处理真实场景下低分辨率图像重建。
Description
技术领域
本发明属于图像处理技术领域,涉及一种交替方向乘子算法的模糊图像超分辨率重建方法。
背景技术
超分辨率技术是将给定的低分辨率图像或图像序列转化为对应的高分辨率图像或图像序列。低分辨率图像清晰度较低、细节较少经过超分辨率算法处理后的高分辨率图像细节清晰、纹理丰富的同时,能在整体结构上与低分辨率图像一致。从而在不影响图像整体内容的情况下,使人们对于图像的感官感受获得了极大提升。图像超分辨重建技术有着重要的价值,在安防监控、医疗图像、影视制作、卫星成像等领域都有着广泛的应用。
然而,大多超分辨方法通过对高分辨率图像进行双三次插值下采样得到对应的低分辨率图像。图像采集过程通常会经历自然的空间分辨率损失。这种自然损耗主要是由光学畸变、物体移动、不正确的聚焦、快门速度的限制、传输过程中出现的噪声、传感器内的噪声以及传感器的密度不佳等问题造成获取的图像由于噪声、模糊以及欠采样效应而劣化,因此基于双三次插值方法训练的深度学习模型无法很好的处理真实图像超分辨率重建的问题。
发明内容
本发明要解决的问题是针对上述技术的不足,提供了一种基于交替方向乘子法的模糊图像的超分辨率重建方法,解决深度学习模型处理真实图像超分辨率重建问题。
本发明的具体技术方案如下:
一种基于交替方向乘子算法的模糊图像超分辨率重建方法,包括步骤如下:
步骤1:构建低分辨率图像和原始高分辨率图像图像对的仿真数据集;
步骤2:步骤2:搭建基于交替方向乘子算法的图像超分辨重建模型,网络模型分为两部分,分别为逐步精化网络和去模糊网络,最后使用亚像素卷积模块实现从特征图重建为高质量图像的过程。
步骤2.1:搭建逐步精化网络,以获得图像的粗糙特征和细节特征;细节特征视为不断进行卷积操作提取得到的高频特征,这部分特征用于合成高质量图像的特征图,粗糙特征沿着通道方向连接,进入去模糊网络;根据输入特征Finput,这一过程表示为:
其中,Fcoarse表示粗糙特征,Frefined表示细节特征,C表示卷积操作,Split表示通道拆分操作,Concat表示通道连接操作;
步骤2.2:搭建针对粗糙特征的去模糊网络,针对粗糙特征去模糊,选取交替方向乘子法作为优化方法,交替方向乘子法是图像处理中最常用的凸优化方法之一。它将原始非线性问题的优化转换为寻找经典拉格朗日函数的鞍点问题。
步骤2.2.1:首先引入一个辅助变量z,得到等价的约束优化公式:
步骤2.2.2:再将所述优化问题转化为无约束问题,利用增广拉格朗日函数得到以下方程:
步骤2.2.3:最后将求解拉格朗日函数的鞍点问题转化为以下三个子问题:
步骤2.2.4:假设在圆形边界条件下卷积,公式(6)利用快速傅里叶变换(FFT)求解:
步骤2.3:搭建亚像素卷积模块,从步骤2.2得到的不含粗糙特征的特征图重建为高质量图像;
步骤3:训练整个图像超分辨率重建网络,直至网络收敛。
进一步地,上述步骤1:构建低分辨率图像和原始高分辨率图像图像对的仿真数据集:结合图像采集的退化过程,将高分辨率图像的退化过程表示如下公式:
步骤1.1:在模糊处理中仅考虑各向同性高斯模糊核,在2,3,4倍超分辨倍率下,模糊核宽度范围设置为[0.2,2],[0.2,3]和[0.2,4]。构建具有模糊退化的低分辨率图像。
步骤1.2:退化模型使用的双三次插值方式对具有模糊退化的低分辨率图像进行下采样。通过构造采样权重矩阵,以每个像素邻近的16个像素点为采样点,采样跨步大小为下采样倍率的2,3,4倍。
步骤1.3:由于传输过程中出现的噪声、传感器内的噪声可能导致成像过程中出现噪声。退化模型中通过加性白高斯噪声对此过程进行建模。使用均值为0,方差范围为[0,15]的加性白高斯噪声对图像进行退化。
步骤1.4:将低分辨率图像和对应的高分辨率图像随机剪裁。低分辨率图像块大小为48×48×3,在2,3,4倍超分辨倍率下,对应的高分辨率图像块大小分别为96×96×3、144×144×3、192×192×3。
步骤1.5:对图像块进行数据增强处理,通过旋转和翻转操作,扩大训练数据集。
本发明的有益效果为,基于交替方向乘子算法的模糊图像超分辨率重建方法在PSNR指标上具有更好的性能。该方法相比于直接进行双三次插值下采样进行超分辨率重建方法,更能处理真实场景下低分辨率图像重建。
附图说明
图1是本发明的网络架构。
图2是本发明的逐步精化网络结构图。
图3是本发明的针对粗糙特征的去模糊网络结构。
图4是本发明的超分辨率重建效果图。
具体实施方式
下面结合附图对本发明的具体实施做详细说明。
本实施方式的方法,软件环境为Ubuntu16.04***,深度学习框架为PyTorch。
步骤1:使用Urban100作为训练数据,其中包括90张训练集和10张交叉验证集。通过建立的退化模型构建低分辨率图像和高分辨率图像对进行端到端的训练。在2,3,4倍超分辨倍率下,模糊核宽度范围设置为[0.2,2],[0.2,3]和[0.2,4];模糊核大小固定为15×15像素;在下采样方式上,使用双三次插值方式进行下采样;对于退化噪声,使用均值为0,方差范围为[0,15]的加性白高斯噪声。
步骤2:搭建基于卷积神经网络的图像超分辨模型。网络架构如图1所示。
步骤2.1:在逐步精化网路中,采用3×3卷积层提取输入特征,扩大图片通道数,卷积层结果使用LeakyReLU函数进行激活。随后,在卷积的基础上对通道拆分,拆分后的特征分为两部分:粗糙特征、细节特征,细节特征继续进行卷积操作进行特征提取,粗糙特征保留。最后,细节特征视为不断进行卷积操作提取得到的高频特征,这部分特征用于合成高质量图像的特征图,粗糙特征沿着通道方向连接,进入去模糊网络。逐步精化网络结构,如图2所示。逐步精化网络各层结构及详细参数如下表1所示:
表1逐步精化网络各层结构及详细参数
步骤2.2:针对粗糙特征的去模糊网络中,设置总迭代次数为6次。先利用快速傅里叶变换预计算出初始值在代码实现中,快速傅里叶变换和其逆变换分别用PyTorch中torch.rfft()和torch.irfft()。其次将去模糊过程和更新残差过程结合采用残差网络实现。在每次迭代中,λ初始值设置为0.05,参数μ初始值设置为0.01,随着迭代次数增加μ不断增大直至收敛。针对粗糙特征的去模糊网络结构如图3所示。
步骤2.3:搭建亚像素卷积模块,从步骤2.2得到的不含粗糙特征的特征图重建为高质量图像。亚像素卷积模块由两个3×3卷积层和一个上采样层构成,第一个卷积层将特征图的维度从C×H×W转换为(s2C)×H×W,其中,C表示特征图通道数,H表示特征图高度,W表示特征图宽度;上采样层采用像素重排列的方式将特征图的维度从(s2C)×H×W转换为C×sH×sW,其中s表示超分辨放大倍率,第二个卷积层将特征图转换为RGB色彩图像,输出最终的超分辨结果。
步骤3:在训练过程中,设置学习率初始化为0.0001,学习率衰减步长为200,衰减率为0.5;设置损失函数为MSE损失;选择Adam算法优化各层网络参数。重建效果如图4所示。
步骤4:在测试过程中,由于基于卷积神经网络的图像超分辨模型采用残差模块,因此选择SR-ResNet作为对比模型;测试数据使用Set5和Set14;模糊核宽度设置为2.6;在超分辨×4任务上测试PSNR指标。当SR-ResNet模型处理模糊核宽度为2.6的Set5和Set14数据集时,PSNR值分别为24.615、23.046,而基于卷积神经网络的图像超分辨模型处理模糊核宽度为2.6的Set5和Set14数据集时,PSNR值分别为29.425、26.340。
综上所述,基于交替方向乘子算法的模糊图像超分辨率重建方法在PSNR指标上具有更好的性能。该方法相比于直接进行双三次插值下采样进行超分辨率重建方法,更能处理真实场景下低分辨率图像重建。
Claims (3)
1.一种基于交替方向乘子算法的模糊图像超分辨率重建方法,其特征在于,包括以下步骤,
步骤1:构建低分辨率图像和原始高分辨率图像图像对的仿真数据集;
步骤2:搭建基于卷积神经网络的图像超分辨模型;
步骤2.1:搭建逐步精化网络,以获得图像的粗糙特征和细节特征;细节特征视为不断进行卷积操作提取得到的高频特征,这部分特征用于合成高质量图像的特征图,粗糙特征沿着通道方向连接,进入去模糊网络;根据输入特征Finput,这一过程表示为:
其中,Fcoarse表示粗糙特征,Frefined表示细节特征,C表示卷积操作,Split表示通道拆分操作,Concat表示通道连接操作;
步骤2.2:搭建针对粗糙特征的去模糊网络,针对粗糙特征去模糊,选取交替方向乘子法作为优化方法:已知含有粗糙特征的模糊图像模糊核下采样因子s和噪声水平σ,为求解含有粗糙特征的去模糊图像基于最大后验概率理论,转化为求解以下方程:
步骤2.2.1:首先引入一个辅助变量z,得到等价的约束优化公式:
步骤2.2.2:再将所述优化问题转化为无约束问题,利用增广拉格朗日函数得到以下方程:
步骤2.2.3:最后将求解拉格朗日函数的鞍点问题转化为以下三个子问题:
步骤2.2.4:假设在圆形边界条件下卷积,公式(6)利用快速傅里叶变换求解:
步骤2.3:搭建亚像素卷积模块,从步骤2.2得到的不含粗糙特征的特征图重建为高质量图像;
步骤3:训练整个图像超分辨率重建网络,直至网络收敛。
2.根据权利要求1所述的基于交替方向乘子法的模糊图像的超分辨率重建方法,其特征在于,构建低分辨率图像和原始高分辨率图像图像对的仿真数据集,按如下步骤进行:
结合图像采集的退化过程,将LR图像的退化过程表示如下公式:
步骤1.1:在模糊处理中仅考虑各向同性高斯模糊核,在2,3,4倍超分辨倍率下,模糊核宽度范围设置为[0.2,2],[0.2,3]和[0.2,4],构建具有模糊退化的低分辨率图像;
步骤1.2:退化模型使用的双三次插值方式对高分辨率图像进行下采样;通过构造采样权重矩阵,以每个像素邻近的16个像素点为采样点,采样跨步大小为下采样倍率的2,3,4倍;
步骤1.3:退化模型中通过加性白高斯噪声对此过程进行建模,使用均值为0,方差范围为[0,15]的加性白高斯噪声对图像进行退化;
步骤1.4:将低分辨率图像和对应的高分辨率图像随机剪裁;低分辨率图像块大小为48×48×3,在2,3,4倍超分辨倍率下,对应的高分辨率图像块大小分别为96×96×3、144×144×3、192×192×3;
步骤1.5:对图像块进行数据增强处理,通过旋转和翻转操作,扩大训练数据集。
3.根据权利要求1所述的基于交替方向乘子法的模糊图像的超分辨率重建方法,其特征在于,所述步骤3按如下步骤进行:
步骤3.1:在训练过程中,设置学习率初始化为0.0001,学习率衰减步长为200,衰减率为0.5;
步骤3.2:设置损失函数为MSE损失;
步骤3.3:选择Adam算法优化各层网络参数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110002643.XA CN112669214B (zh) | 2021-01-04 | 2021-01-04 | 一种基于交替方向乘子算法的模糊图像超分辨率重建方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110002643.XA CN112669214B (zh) | 2021-01-04 | 2021-01-04 | 一种基于交替方向乘子算法的模糊图像超分辨率重建方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112669214A true CN112669214A (zh) | 2021-04-16 |
CN112669214B CN112669214B (zh) | 2023-09-19 |
Family
ID=75412637
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110002643.XA Active CN112669214B (zh) | 2021-01-04 | 2021-01-04 | 一种基于交替方向乘子算法的模糊图像超分辨率重建方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112669214B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113469884A (zh) * | 2021-07-15 | 2021-10-01 | 长视科技股份有限公司 | 基于数据仿真的视频超分辨方法、***、设备及存储介质 |
CN113538245A (zh) * | 2021-08-03 | 2021-10-22 | 四川启睿克科技有限公司 | 基于退化模型的超分辨率图像重建方法及*** |
CN116544146A (zh) * | 2023-05-22 | 2023-08-04 | 浙江固驰电子有限公司 | 功率半导体器件真空烧结设备及方法 |
WO2023155305A1 (zh) * | 2022-02-16 | 2023-08-24 | 平安科技(深圳)有限公司 | 图像重建方法、装置、电子设备及存储介质 |
WO2024120224A1 (zh) * | 2022-12-05 | 2024-06-13 | 杭州堃博生物科技有限公司 | 图像处理方法、装置、电子设备及存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110115934A1 (en) * | 2009-11-19 | 2011-05-19 | Sen Wang | Increasing image resolution using combined differential image |
US20140354886A1 (en) * | 2013-05-29 | 2014-12-04 | Yeda Research & Development Co. Ltd. | Device, system, and method of blind deblurring and blind super-resolution utilizing internal patch recurrence |
CN109767386A (zh) * | 2018-12-22 | 2019-05-17 | 昆明理工大学 | 一种基于深度学习的快速图像超分辨率重建方法 |
CN110705699A (zh) * | 2019-10-18 | 2020-01-17 | 厦门美图之家科技有限公司 | 超分辨率重建方法、装置、电子设备和可读存储介质 |
US20200034948A1 (en) * | 2018-07-27 | 2020-01-30 | Washington University | Ml-based methods for pseudo-ct and hr mr image estimation |
AU2020100462A4 (en) * | 2020-03-26 | 2020-04-30 | Hu, Xiaoyan MISS | Edge-preserving image super-resolution via low rank and total variation model |
-
2021
- 2021-01-04 CN CN202110002643.XA patent/CN112669214B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110115934A1 (en) * | 2009-11-19 | 2011-05-19 | Sen Wang | Increasing image resolution using combined differential image |
US20140354886A1 (en) * | 2013-05-29 | 2014-12-04 | Yeda Research & Development Co. Ltd. | Device, system, and method of blind deblurring and blind super-resolution utilizing internal patch recurrence |
US20200034948A1 (en) * | 2018-07-27 | 2020-01-30 | Washington University | Ml-based methods for pseudo-ct and hr mr image estimation |
CN109767386A (zh) * | 2018-12-22 | 2019-05-17 | 昆明理工大学 | 一种基于深度学习的快速图像超分辨率重建方法 |
CN110705699A (zh) * | 2019-10-18 | 2020-01-17 | 厦门美图之家科技有限公司 | 超分辨率重建方法、装置、电子设备和可读存储介质 |
AU2020100462A4 (en) * | 2020-03-26 | 2020-04-30 | Hu, Xiaoyan MISS | Edge-preserving image super-resolution via low rank and total variation model |
Non-Patent Citations (3)
Title |
---|
HAESOL PARK 等: "Joint Estimation of Camera Pose, Depth, Deblurring, and Super-Resolution From a Blurred Image Sequence", 《PROCEEDINGS OF THE IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION (ICCV)》, pages 4613 - 4621 * |
张伟: "基于稀疏表示的图像超分辨率重构算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 10, pages 138 - 550 * |
李岚 等: "基于改进残差亚像素卷积神经网络的超分辨率图像重建方法研究", 《长春师范大学学报》, vol. 39, no. 8, pages 23 - 29 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113469884A (zh) * | 2021-07-15 | 2021-10-01 | 长视科技股份有限公司 | 基于数据仿真的视频超分辨方法、***、设备及存储介质 |
CN113538245A (zh) * | 2021-08-03 | 2021-10-22 | 四川启睿克科技有限公司 | 基于退化模型的超分辨率图像重建方法及*** |
WO2023155305A1 (zh) * | 2022-02-16 | 2023-08-24 | 平安科技(深圳)有限公司 | 图像重建方法、装置、电子设备及存储介质 |
WO2024120224A1 (zh) * | 2022-12-05 | 2024-06-13 | 杭州堃博生物科技有限公司 | 图像处理方法、装置、电子设备及存储介质 |
CN116544146A (zh) * | 2023-05-22 | 2023-08-04 | 浙江固驰电子有限公司 | 功率半导体器件真空烧结设备及方法 |
CN116544146B (zh) * | 2023-05-22 | 2024-04-09 | 浙江固驰电子有限公司 | 功率半导体器件真空烧结设备及方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112669214B (zh) | 2023-09-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112669214B (zh) | 一种基于交替方向乘子算法的模糊图像超分辨率重建方法 | |
CN106683067B (zh) | 一种基于残差子图像的深度学习超分辨率重建方法 | |
CN106709875B (zh) | 一种基于联合深度网络的压缩低分辨率图像复原方法 | |
CN111028177B (zh) | 一种基于边缘的深度学习图像去运动模糊方法 | |
CN111709895A (zh) | 基于注意力机制的图像盲去模糊方法及*** | |
CN111598778B (zh) | 一种绝缘子图像超分辨率重建方法 | |
CN111784582B (zh) | 一种基于dec_se的低照度图像超分辨率重建方法 | |
CN110796622B (zh) | 一种基于串联神经网络多层特征的图像比特增强方法 | |
CN108492270B (zh) | 一种基于模糊核估计和变分重构的超分辨率方法 | |
CN103136728B (zh) | 基于字典学习和非局部总变差的图像超分辨方法 | |
CN116051428B (zh) | 一种基于深度学习的联合去噪与超分的低光照图像增强方法 | |
CN113724134B (zh) | 一种基于残差蒸馏网络的航拍图像盲超分辨率重建方法 | |
CN112001843A (zh) | 一种基于深度学习的红外图像超分辨率重建方法 | |
CN116029902A (zh) | 一种基于知识蒸馏的无监督真实世界图像超分辨方法 | |
Chen et al. | Image denoising via deep network based on edge enhancement | |
CN117274059A (zh) | 基于图像编码-解码的低分辨率图像重构方法及其*** | |
CN115345791A (zh) | 一种基于注意力机制残差网络模型的红外图像去模糊算法 | |
CN111754399A (zh) | 基于梯度的保持几何结构的图像超分辨率方法 | |
CN112435165B (zh) | 基于生成对抗网络的两阶段视频超分辨率重建方法 | |
CN111986102B (zh) | 一种数字病理图像去模糊方法 | |
CN113962882A (zh) | 一种基于可控金字塔小波网络的jpeg图像压缩伪影消除方法 | |
CN113240581A (zh) | 一种针对未知模糊核的真实世界图像超分辨率方法 | |
CN111899166A (zh) | 一种基于深度学习的医学高光谱显微图像超分辨重构方法 | |
CN116188265A (zh) | 一种基于真实退化的空间可变核感知盲超分重建方法 | |
CN112348745B (zh) | 一种基于残差卷积网络的视频超分辨率重构方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |