CN111260585A - 基于类凸集投影算法的图像恢复方法 - Google Patents
基于类凸集投影算法的图像恢复方法 Download PDFInfo
- Publication number
- CN111260585A CN111260585A CN202010060321.6A CN202010060321A CN111260585A CN 111260585 A CN111260585 A CN 111260585A CN 202010060321 A CN202010060321 A CN 202010060321A CN 111260585 A CN111260585 A CN 111260585A
- Authority
- CN
- China
- Prior art keywords
- image
- residual block
- network
- dsr
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000011084 recovery Methods 0.000 title claims abstract description 52
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000004422 calculation algorithm Methods 0.000 title claims abstract description 36
- 238000012549 training Methods 0.000 claims abstract description 18
- 238000010586 diagram Methods 0.000 claims abstract description 13
- 230000000694 effects Effects 0.000 claims abstract description 13
- 238000012360 testing method Methods 0.000 claims abstract description 11
- 238000012545 processing Methods 0.000 claims abstract description 10
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 83
- 230000006870 function Effects 0.000 claims description 21
- 230000003044 adaptive effect Effects 0.000 claims description 11
- 238000011176 pooling Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 8
- 238000010276 construction Methods 0.000 claims description 4
- 230000007547 defect Effects 0.000 claims description 4
- 230000005764 inhibitory process Effects 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 4
- 230000007246 mechanism Effects 0.000 claims description 4
- 101100365548 Caenorhabditis elegans set-14 gene Proteins 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 238000009826 distribution Methods 0.000 claims description 2
- 238000011478 gradient descent method Methods 0.000 claims description 2
- 239000011159 matrix material Substances 0.000 claims description 2
- 239000000203 mixture Substances 0.000 claims description 2
- 230000009466 transformation Effects 0.000 claims description 2
- 238000004804 winding Methods 0.000 claims description 2
- 239000000284 extract Substances 0.000 abstract description 5
- 238000004519 manufacturing process Methods 0.000 abstract description 3
- 230000000007 visual effect Effects 0.000 abstract description 3
- 230000002401 inhibitory effect Effects 0.000 abstract 1
- 238000013135 deep learning Methods 0.000 description 3
- 238000006731 degradation reaction Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012821 model calculation Methods 0.000 description 1
- 230000002969 morbid Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 210000000697 sensory organ Anatomy 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于类凸集投影算法的图像恢复算法,用于解决现有图像恢复网络特征图中存在大量噪声的问题。实现步骤为:1)构建训练样本集和测试样本集;2)构建显示的特征去噪模块;3)构建基于类凸集投影算法的图像恢复网络模型PL‑DSR;4)对PL‑DSR网络模型进行训练;5)对PL‑DSR网络模型进行测试;6)生成恢复图像。本发明基于传统的凸集投影算法构建一种显示的特征去噪模块,用于对特征图中的噪声进行抑制,将其引入到经典EDSR网络中,构建出基于类凸集投影算法的图像恢复网络PL‑DSR。该网络可以有效的抑制特征图中的噪声,提取到结构化更加清晰的特征,在减少模型复杂度的同时进一步提升了恢复效果和人的视觉感官体验,可用于完成摄影、影视作品的后期制作加工。
Description
技术领域
本发明属于数字图像处理技术领域,特别设计一种基于类凸集投影算法的图像恢复方法,对退化图像的进行恢复,可用于完成摄影、影视作品的后期制作加工。
背景技术
计算机视觉领域的一个重要分支是图像生成,图像生成包括图像恢复、图像上色、图像语义分割、图像或视频的风格转换等。在计算机视觉领域,图像恢复是一个病态的逆问题,即在指定低分辨率图像的情况下,利用退化过程的先验知识,来建立图像的退化模型,恢复出原始的高分辨率图像。
传统的图像恢复模型主要包括:1)基于插值的算法(最近邻域法,双线性插值法,双三次插值法等);2)基于样例学习的方法(字典学习)。基于插值的恢复算法由于没有充分利用低、高分辨率图像对之间的先验知识,因此往往得到的恢复图像质量很差。字典学习虽然通过设计低、高分辨率字典很好的利用了先验知识,但由于该类算法手工设计特征,并不能提取到最为有效的信息,所以在一定程度上影响了恢复效果。
最近几年,随着深度学习的兴起,众多学者将深度神经网络应用于图像恢复领域,比如说SRCNN、VDSR、ESPCN、SRResNet、EDSR等等。神经网络模型具有自适应提取特征的能力,弥补了传统字典学习中手工提取特征的不足,从而提高了图像恢复质量。
由于篇幅的限制,我们仅介绍两个较新的经典网络模型SRResNet和EDSR:
Ledig et al.在论文《Photo-realistic single image super-resolutionusing a generative adversarial network》中首次使用了He et al.构建ResNet网络中的residual block,提出了SRResNet。然而ResNet中的residual block是用来解决高级视觉问题的,如果直接将它应用于图像恢复等低级视觉问题会造成一定的影响。Lim et al.在《Enhanced deep residual networks for single image super-resolution》论文中移除了原始residual block中的BN层,提出了EDSR。该网络在减小模型计算量的同时所获得的效果也优于SRResNet。为了进一步研究性能提升的因素,我们分别可视化出两种网络提取到的特征图,发现EDSR提取到的特征比SRResNet包含更少的噪声,而且其结构化的高频信息也更为丰富,这说明了特征中的噪声程度影响着恢复结果。然而,现有的图像恢复网络均没有考虑特征中的噪声程度对于恢复结果的影响。
发明内容
本发明的目的在于针对上述已有技术中的不足,提出一种基于类凸集投影算法的图像恢复网络PL-DSR。相比于现有的图像恢复网络,PL-DSR可以提取到更加丰富的特征,在降低网络参数量的同时提升了图像恢复效果。
本发明的技术思路是:首先,基于传统的凸集投影算法构建一种显示的特征去噪模块,用于对特征图中的噪声进行抑制。然后,将该模块引入到经典EDSR网络中,构建出基于类凸集投影算法的图像恢复网络PL-DSR。该网络可以有效的抑制特征图中的噪声,提取到结构化更加清晰的特征,在减少模型复杂度的同时进一步提升了恢复效果和人的视觉感官体验。具体步骤如下:
(1)构建训练样本集和测试样本集:
(1a)获取DIV2K公开数据集中的高分辨率(HR)图像,通过HR得到N个分辨率大小为S×S的图像块,并对每个图像块通过bicubic下采样,得到与之对应的低分辨率(LR)图像块。其中,N≥200000,S=19;
(1b)获取Set5,Set14,BSD100,Urban100,Manga109公开数据集中的HR图像,对其通过bicubic下采样,得到与之对应的LR图像。
(2)构建显示的特征去噪模块:
(2a)构建特征去噪模块的核心思想:
设计特征去噪模块的核心思想是通过网络来泛化传统的软阈值算法(softthresholding)。从传统的信号处理角度讲,卷积是一个“变换”的过程,对特征去噪本质上是在变换域去噪。软阈值算法是一种用于变换域去噪的经典方法。软阈值函数Gst(x)表示为:
(2b)设计软阈值模块:
设计软阈值模块(ST block)的关键在于能够让网络自适应学习每个特征图对应的阈值,完成特征去噪的任务。整个模块的构建包括全局池化、自动编码器、阈值生成,特征去噪四部分,其中:
全局池化,包括一个global average pooling(GAP)层,用于提取输入特征图每个通道的平均能量;
自动编码器,包括两个简单的全连接(FC)层,用于提取经全局池化后得到的均值向量的主成分,然后生成相应的缩放因子向量;
软阈值生成,将均值向量与缩放因子相乘,得到对应的软阈值因子;
特征去噪:将生成的软阈值与输入的特征图经过软阈值函数Gst,完成特征去噪。
(2c)设计自适应软阈值模块:
实际上,将ST block直接应用到EDSR中有两个缺点:1)ST block不是一个轻量化模块,提取到的特征可能是冗余的。为了解决这个问题,将第一个FC层的通道数减少为原来的rc表示缩减率;2)ST block没有考虑特征图的空间相关性,学习到的阈值并不是最优的。因此,因此,提出一个自适应软阈值模块来获取更优的阈值。
(3)构建基于类凸集投影算法的图像恢复网络模型PL-DSR:
(3a)PL-DSR模型的构建:
从传统的图像处理角度重新诠释了EDSR网络模型,认为该模型与传统的凸集投影算法非常相似,却唯独少了在变换域去噪的一步。具体地:1)将用于特征提取的第一个卷积层视作为对输入图像进行了一个“变换”运算;2)EDSR将提取到的特征通过了一系列的残差块,每个残差块的组成是conv-relu-conv,然后将这三层的功能分别视作为“逆变换-空间域的非负抑制-变换”的过程;3)级联多个残差块被视作为该过程的反复迭代。其次,将ASTblock应用到EDSR网络中,得到PL-DSR网络模型,完成对特征图进行显示的去噪,能够提取到结构化更加清晰的特征,在减小网络复杂度的同时获得比EDSR更好的恢复效果。
(3b)定义图像恢复网络模型的损失函数;
定义L1范数恢复损失函数L:
(4)对PL-DSR模型进行训练:
将训练样本集中的LR-HR图像块作为网络的输入,对PL-DSR模型进行K次迭代训练,得到训练好的模型。其中,K≥50000;
(5)对PL-DSR模型进行测试:
将测试样本集作为训练好的PL-DSR模型的输入,得到对应的恢复图像。
(6)生成恢复图像:
将待恢复的LR图像作为PL-DSR模型的输入,得到恢复后的图像。
本发明与现有技术相比具有以下优点:
1.本发明基于传统的凸集投影算法的思想构建了一种显示的特征去噪模块,即通过网络来泛化用于经典的软阈值算法。该模块不但结构简单,而且能够有效的抑制特征中的噪声,使得网络可以提取到结构化更加清晰的特征,有效的解决了现有网络特征图中噪声程度高,纹理细节模糊等缺点。
2.本发明基于EDSR网络模型构建了一种基于类凸集投影算法的图像恢复网络PL-DSR,即将构建的显示的特征去噪模块应用于EDSR网络中,并阐述了PL-DSR与凸集投影算法之间的联系,将深度学习技术与传统技术紧密联系到一起。具备显示的去噪模块,PL-DSR使用更少的残差块和通道数获得与EDSR相当的性能。相比于现有技术,恢复图像保留了更多的纹理、边缘等高频信息。
附图说明
图1为本发明的实现流程图;
图2为本发明构建的显示的去噪模块结构的示意图;
图3为本发明构建的基于类凸集投影算法的图像恢复网络结构的示意图;
图4为本发明与现有技术的特征可视化对比图;
图5为本发明与EDSR基准网络在不同残差块和通道数获得的性能对比图;
图6为本发明与现有技术的模型复杂度与恢复性能的对比图;
图7为本发明与现有技术的图像恢复结果对比图。
具体实施方式
下面结合附图对本发明的实施例和效果进行详细说明。
参照图1,本发明的实现步骤如下:
步骤1)构建训练样本集和测试样本集:
(1a)获取DIV2K公开数据集中的高分辨率(HR)图像,通过HR得到N个分辨率大小为S×S的图像块,并对每个图像块通过bicubic下采样,得到与之对应的低分辨率(LR)图像块。其中,N≥200000,S=19;
(1b)获取Set5,Set14,BSD100,Urban100,Manga109公开数据集中的HR图像,对其通过bicubic下采样,得到与之对应的LR图像。
步骤2)构建显示的特征去噪模块:
参照图2,构建显示的特征去噪模块包括软阈值模块(ST block)和自适应软阈值模块(AST block)。其中,ST block包括了全局池化、自动编码器、阈值生成,特征去噪四部分,AST block基于ST block引入了空间自适应机制,学习更优的阈值。
(2a)ST block:
参照图2(a),该四部分详细描述如下:
假定X∈RW×H×C是输入的特征图,其中W,H和C分别代表其宽度,高度和通道数。xc∈RW×H×C表示X的第c个通道,X=[x1,…,xc,…,xC]。首先,将X进行绝对值并通过一个globalaverage pooling(GAP)层得到长度为C的向量U:
uc是U的第c个分量。然后,利用两个全连接(FC)层提取U的主成分V∈RC:
V=W2×ReLU(W1×U)
其中,W1∈RW×H×C和W2∈RW×H×C分别表示这两个FC层的系数,ReLU是一种非线性激活函数,ReLU(x)=max(0,x)。其次,将V通过一个sigmoid层得到相应的缩放因子向量Z∈RC:
Z=sigmoid(V)
之后,将U和Z的第c个分量uc和zc相乘便得到了特征图xc的阈值τc:
τc=uc·zc
那么输入特征图X对应的阈值向量T=[τ1,…,τc,…,τC]。最后利用软阈值函数Gst就得到输出的特征图Y=[y1,…,yc,…,yC]:
yc(i,j)=Gst(xc(i,j),τc)
(2b)AST block:
参照图2(b),采用了空间自适应机制,具体的,通过一个简单的3×3卷积层以及sigmoid激活,便得到了一个空间相关性矩阵Θ∈RW×H。该模块对于输入特征图X在(i,j,c)点的阈值τc(i,j)为:
τc(i,j)=θ(i,j)·uc·zc
步骤3)构建基于类凸集投影算法的图像恢复网络模型PL-DSR:
(3a)PL-DSR模型的构建:
参照图3,PL-DSR网络模型包括特征提取部分(第一个卷积层),非线性映射部分(多个残差块,每个残差块的组成为conv-relu-conv-AST block),恢复部分(上采样模块和输出的卷积层)。对于每个模块,我们都从传统的图像处理角度给予了泛化的解释,并跟凸集投影算法做了比较,展示了两者之间的联系。具体的:
1)将用于特征提取的卷积层视作为对输入图像进行“变换”运算;
2)将每个残差块的功能分别视作为“逆变换-空间域的非负抑制-变换-变换域去噪”的过程;
3)级联多个残差块被视作为该过程的反复迭代。
各个部分的详细结构分别为:
特征提取部分:输入层→第一卷积层
非线性映射部分:第一卷积层的输出→第一残差块→第二残差块→第三残差块→第四残差块→第五残差块→第六残差块→第七残差块→第八残差块→第九残差块→第十残差块→第十一残差块→第十二残差块→第十三残差块→第十四残差块→第十五残差块→第十六残差块→第十七残差块→第十八残差块→第十九残差块→第二十残差块→第二十一残差块→第二十二残差块→第二十三残差块→第二十四残差块→第二十五残差块→第二十六残差块→第二十七残差块→第二十八残差块→第二十九残差块→第三十残差块→第三十一残差块→第三十二残差块
恢复部分:第三十二残差块的输出→第一上采样层→卷积层→第二上采样层→卷积层→卷积层
其中,每一层的参数设置都相同:kernel size=3,stride=1,channel=128,激活函数是ReLU。AST block的参数设置为:缩减因子rc=8,3×3卷积层的输入channel=128,输出channel=1。
(3b)定义图像恢复网络模型的损失函数;
定义L1范数图像恢复损失函数L:
步骤4)对PL-DSR模型进行训练:
将训练样本集中的LR-HR图像块作为网络的输入,对PL-DSR进行K次迭代训练,得到训练好的模型。其中,K≥50000,具体实现步骤为:
(4a)初始化网络参数,设置迭代次数D,最大迭代次数为K,K≥50000,并令D=1;
(4b)将LR和HR图像块同时输入到网络中,得到网络输出的恢复图像块SR;
(4c)根据图像恢复损失函数L计算SR图像块与HR图像块之间的损失,用于保留原始HR图像块的结构化特征;
(4d)使用梯度下降法,通过恢复的损失值对网络的参数进行更新;
(4e)判断D是否等于K,若是,得到训练好的PL-DSR网络模型;否则,令D=D+1,并执行步骤(4b)。
步骤5)对PL-DSR模型进行测试:
将测试样本集作为训练好的PL-DSR模型的输入,得到对应的恢复图像。
步骤6)生成恢复图像:
将待恢复的LR图像作为PL-DSR模型的输入,得到恢复后的图像。
本发明的效果可通过以下仿真进一步说明
1.实验条件
本实验的硬件测试平台是:Intel Core i7 CPU,主频3.60GHz,内存8GB;软件仿真平台为:Ubuntu 16.04 64位操作***;软件仿真语言:Python;使用深度学习框架:Pytorch。
2.实验内容与结果分析
实验内容:使用本发明和Ledig et al.,Lim et al.等人的方法对同一低分辨率图像进行恢复,在上述实验条件下,分别进行了五个仿真实验。
参照图4,可视化了三种网络提取到的特征图。图4(a)是输入的LR图像,图4(b)是SRResNet生成的特征图,图4(c)是EDSR生成的特征图,图4(d)是本发明方法生成的特征图。从对比结果可以看出,本方法发明的特征去噪模块可以有效的抑制特征图中的噪声,使得网络能够提取到结构化更加清晰,纹理更加清楚的特征。
为了验证软阈值(ST)模块和自适应软阈值(AST)模块对恢复性能的影响,我们分别构建了PL-DSR_ST和PL-DSR_AST两种网络,同时比较了EDSR基准网络的恢复性能。采用的测试集是DIV2K validation,按照下式,计算峰值信噪比PSNR值:
结果如表1所示。
表1三种基准网络的重构效果PNSR(dB)对比表
可以看出,加入ST block之后,网络的恢复性能优于EDSR基准网络,这也进一步验证了特征去噪模块的有效性。除此之外,PL-DSR_AST网络取得的PSNR值最高,这说明了引入空间自适应机制可以让网络学习到更好的阈值,从而提升恢复质量。
参照图5,验证了本发明方法和EDSR网络模型在不同残差块数量和通道数的性能对比图。图5(a)是当通道数固定为64时,在不同残差块数量下的性能,图5(b)是当残差块数量固定为32时,在不同通道数下的性能。可以看出,无论残差块数量和通道数取值多少,本发明方法均优于EDSR网络模型。
参照图6,对比了本发明方法与现有技术的模型复杂度与性能的对比图。可以看出,本发明方法不仅恢复性能好,而且模型复杂度也低。相比于现有技术,本发明方法在模型复杂度和恢复性能两者之间能够更好的均衡。
参照图7,对比了本发明方法与现有技术的图像恢复结果对比图。可以看出,本发明方法恢复出的图像保留了更多的纹理特征,边缘更加清晰,更接近于原始的HR图像。
综上所述,本发明基于传统的凸集投影算法设计一种显示的特征去噪模块,将其引入到经典EDSR网络中,构建出基于类凸集投影算法的图像恢复网络PL-DSR。该网络可以有效的抑制特征图中的噪声,提取到结构化更加清晰的特征,在减少模型复杂度的同时进一步提升了恢复效果。提升了人的视觉感官体验,可用于完成摄影、影视作品的后期制作加工。
以上描述仅是本发明的一个具体实例,并不构成对本发明的任何限制。显然对于本领域的专业人员来说,在了解了本发明内容和原理后,都可在不背离本发明原理、结构的情况下,进行形式和细节上的各种修正和改变,但是这些基于本发明思想的修正和改变仍在本发明的权利要求保护范围之内。
Claims (4)
1.一种基于类凸集投影算法的图像恢复方法,其特征在于,包括如下步骤:
(1)构建训练样本集和测试样本集:
(1a)获取DIV2K公开数据集中的高分辨率(HR)图像,通过HR得到N个分辨率大小为S×S的图像块,并对每个图像块通过bicubic下采样,得到与之对应的低分辨率(LR)图像块。其中,N≥200000,S=19;
(1b)获取Set5,Set14,BSD100,Urban100,Manga109公开数据集中的HR图像,对其通过bicubic下采样,得到与之对应的LR图像。
(2)构建显示的特征去噪模块:
(2a)构建特征去噪模块的核心思想:
设计特征去噪模块的核心思想是通过网络来泛化传统的软阈值算法(softthresholding)。从传统的信号处理角度讲,卷积是一个“变换”的过程,对特征去噪本质上是在变换域去噪。软阈值算法是一种用于变换域去噪的经典方法。软阈值函数Gst(x)表示为:
(2b)设计软阈值模块:
设计软阈值模块的关键在于能够让网络自适应学习每个特征图对应的阈值,完成特征去噪的任务。整个模块的构建包括全局池化、自动编码器、阈值生成,特征去噪四部分,其中:
全局池化,包括一个全局池化层,用于提取输入特征图每个通道的平均能量;
自动编码器,包括两个简单的全连接层,用于提取经全局池化后得到的均值向量的主成分,然后生成相应的缩放因子向量;
软阈值生成,将均值向量与缩放因子相乘,得到对应的软阈值因子;
特征去噪:将生成的软阈值与输入的特征图经过软阈值函数Gst,完成特征去噪。
(2c)设计自适应软阈值模块:
上述软阈值模块有两个缺陷:1)该模块不是一个轻量化模块,提取到的特征可能是冗余的。为了解决这个问题,将第一个全连接层的通道数减少为原来的rc表示缩减率;2)软阈值模块没有考虑特征图的空间相关性,学习到的阈值并不是最优的。因此,提出一个自适应软阈值模块来获取更优的阈值。
(3)构建基于类凸集投影算法的图像恢复网络模型PL-DSR:
(3a)PL-DSR模型的构建:
从传统的图像处理角度重新诠释了EDSR网络模型,认为该模型与传统的凸集投影算法非常相似,却唯独少了在变换域去噪的一步。具体地:1)将用于特征提取的第一个卷积层视作为对输入图像进行了一个“变换”运算;2)EDSR将提取到的特征通过了一系列的残差块,每个残差块的组成是conv-relu-conv,然后将这三层的功能分别视作为“逆变换-空间域的非负抑制-变换”的过程;3)级联多个残差块被视作为该过程的反复迭代。其次,将自适应软阈值模块应用到EDSR网络中,得到PL-DSR网络模型,完成对特征图进行显示的去噪,能够提取到结构化更加清晰的特征,在减小网络复杂度的同时获得比EDSR更好的恢复效果。
(3b)定义图像恢复网络模型的损失函数;
定义L1范数恢复损失函数L:
(4)对PL-DSR模型进行训练:
将训练样本集中的LR-HR图像块作为网络的输入,对PL-DSR模型进行K次迭代训练,得到训练好的模型。其中,K≥50000;
(5)对PL-DSR模型进行测试:
将测试样本集作为训练好的PL-DSR模型的输入,得到对应的恢复图像。
(6)生成恢复图像:
将待恢复的LR图像作为PL-DSR模型的输入,得到恢复后的图像。
2.根据权利要求1所述的基于类凸集投影算法的图像恢复方法,其特征在于,步骤(2)中所述的软阈值模块和自适应软阈值模块,其具体结构分别为:
(2a)软阈值模块:
软阈值模块的构建包括全局池化、自动编码器、阈值生成,特征去噪四部分,其详细描述如下:
假定X∈RW×H×C是输入的特征图,其中W,H和C分别代表其宽度,高度和通道数。xc∈RW×H×C表示X的第c个通道,X=[x1,…,xc,…,xC]。首先,将X进行绝对值并通过一个全局池化层得到长度为C的向量U:
uc是U的第c个分量。然后,利用两个全连接(FC)层提取U的主成分V∈RC:
V=W2×ReLU(W1×U)
其中,W1∈RW×H×C和W2∈RW×H×C分别表示这两个FC层的系数,ReLU是一种非线性激活函数,ReLU(x)=max(0,x)。其次,将V通过一个sigmoid层得到相应的缩放因子向量Z∈RC:
Z=sigmoid(V)
之后,将U和Z的第c个分量uc和zc相乘便得到了特征图xc的阈值τc:
τc=uc·zc
那么输入特征图X对应的阈值向量T=[τ1,…,τc,…,τC]。最后利用软阈值函数Gst就得到输出的特征图Y=[y1,…,yc,…,yC]:
yc(i,j)=Gst(xc(i,j),τc)
(2b)自适应软阈值模块:
针对软阈值模块的缺陷,采用了空间自适应机制,具体的,通过一个简单的3×3卷积层以及sigmoid激活,便得到了一个空间相关性矩阵Θ∈RW×H。该模块对于输入特征图X在(i,j,c)点的阈值τc(i,j)为:
τc(i,j)=θ(i,j)·uc·zc。
3.根据权利要求1所述的基于类凸集投影算法的图像恢复方法,其特征在于,步骤(3a)中所述的PL-DSR网络模型,其具体结构为:
PL-DSR网络模型包括特征提取部分(第一个卷积层),非线性映射部分(多个残差块,每个残差块的组成为conv-relu-conv-AST block),恢复部分(上采样模块和输出的卷积层)。对于每个模块,我们都从传统的图像处理角度给予了泛化的解释,并跟凸集投影算法做了比较,展示了两者之间的联系。具体的:
1)将用于特征提取的卷积层视作为对输入图像进行“变换”运算;
2)将每个残差块的功能分别视作为“逆变换-空间域的非负抑制-变换-变换域去噪”的过程;
3)级联多个残差块被视作为该过程的反复迭代。
各个部分的详细结构分别为:
特征提取部分:输入层→第一卷积层
非线性映射部分:第一卷积层的输出→第一残差块→第二残差块→第三残差块→第四残差块→第五残差块→第六残差块→第七残差块→第八残差块→第九残差块→第十残差块→第十一残差块→第十二残差块→第十三残差块→第十四残差块→第十五残差块→第十六残差块→第十七残差块→第十八残差块→第十九残差块→第二十残差块→第二十一残差块→第二十二残差块→第二十三残差块→第二十四残差块→第二十五残差块→第二十六残差块→第二十七残差块→第二十八残差块→第二十九残差块→第三十残差块→第三十一残差块→第三十二残差块
恢复部分:第三十二残差块的输出→第一上采样层→卷积层→第二上采样层→卷积层→卷积层。
4.根据权利要求1所述的基于类凸集投影算法的图像恢复方法,其特征在于,步骤(4)中所述的对PL-DSR网络模型进行训练,实现步骤为:
(4a)初始化网络参数,设置迭代次数D,最大迭代次数为K,K≥50000,并令D=1;
(4b)将LR和HR图像块同时输入到网络中,得到网络输出的恢复图像块SR;
(4c)根据图像恢复损失函数L计算SR图像块与HR图像块之间的损失,用于保留原始HR图像块的结构化特征;
(4d)使用梯度下降法,通过恢复的损失值对网络的参数进行更新;
(4e)判断D是否等于K,若是,得到训练好的PL-DSR网络模型;否则,令D=D+1,并执行步骤(4b)。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010060321.6A CN111260585A (zh) | 2020-01-19 | 2020-01-19 | 基于类凸集投影算法的图像恢复方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010060321.6A CN111260585A (zh) | 2020-01-19 | 2020-01-19 | 基于类凸集投影算法的图像恢复方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111260585A true CN111260585A (zh) | 2020-06-09 |
Family
ID=70949347
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010060321.6A Pending CN111260585A (zh) | 2020-01-19 | 2020-01-19 | 基于类凸集投影算法的图像恢复方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111260585A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112508013A (zh) * | 2020-12-02 | 2021-03-16 | 哈尔滨市科佳通用机电股份有限公司 | 一种锁扣丢失故障检测方法、***及装置 |
CN113269691A (zh) * | 2021-05-27 | 2021-08-17 | 北京卫星信息工程研究所 | 一种基于卷积稀疏进行噪声仿射拟合的sar图像去噪方法 |
CN113920008A (zh) * | 2020-07-08 | 2022-01-11 | 武汉Tcl集团工业研究院有限公司 | 图像复原方法、装置、存储介质和电子设备 |
-
2020
- 2020-01-19 CN CN202010060321.6A patent/CN111260585A/zh active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113920008A (zh) * | 2020-07-08 | 2022-01-11 | 武汉Tcl集团工业研究院有限公司 | 图像复原方法、装置、存储介质和电子设备 |
CN112508013A (zh) * | 2020-12-02 | 2021-03-16 | 哈尔滨市科佳通用机电股份有限公司 | 一种锁扣丢失故障检测方法、***及装置 |
CN112508013B (zh) * | 2020-12-02 | 2021-07-16 | 哈尔滨市科佳通用机电股份有限公司 | 一种锁扣丢失故障检测方法、***及装置 |
CN113269691A (zh) * | 2021-05-27 | 2021-08-17 | 北京卫星信息工程研究所 | 一种基于卷积稀疏进行噪声仿射拟合的sar图像去噪方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113240580B (zh) | 一种基于多维度知识蒸馏的轻量级图像超分辨率重建方法 | |
CN109087273B (zh) | 基于增强的神经网络的图像复原方法、存储介质及*** | |
CN110136062B (zh) | 一种联合语义分割的超分辨率重建方法 | |
CN105631807B (zh) | 基于稀疏域选取的单帧图像超分辨重建方法 | |
CN111260585A (zh) | 基于类凸集投影算法的图像恢复方法 | |
CN111986075B (zh) | 一种目标边缘清晰化的风格迁移方法 | |
CN114049261B (zh) | 一种关注前景信息的图像超分辨率重建方法 | |
Luo et al. | Lattice network for lightweight image restoration | |
CN112884758B (zh) | 一种基于风格迁移方法的缺陷绝缘子样本生成方法及*** | |
CN111951164B (zh) | 一种图像超分辨率重建网络结构及图像重建效果分析方法 | |
CN109447897B (zh) | 一种真实场景图像合成方法及*** | |
CN112884668A (zh) | 基于多尺度的轻量级低光图像增强方法 | |
CN112686817B (zh) | 一种基于不确定性估计的图像补全方法 | |
CN111861886B (zh) | 一种基于多尺度反馈网络的图像超分辨率重建方法 | |
CN113284100A (zh) | 基于恢复图像对混合域注意力机制的图像质量评价方法 | |
CN114494015B (zh) | 基于盲超分辨率网络的图像重建方法 | |
CN112101364A (zh) | 基于参数重要性增量学习的语义分割方法 | |
CN115063318A (zh) | 自适应频率分解的低光照图像增强方法与相关设备 | |
CN115565043A (zh) | 结合多表征特征以及目标预测法进行目标检测的方法 | |
CN115526779A (zh) | 一种基于动态注意力机制的红外图像超分辨率重建方法 | |
CN114626984A (zh) | 中文文本图像的超分辨率重建方法 | |
CN113034388B (zh) | 一种古代绘画虚拟修复方法及修复模型的构建方法 | |
CN113096015A (zh) | 基于渐进式感知和超轻量级网络的图像超分辨率重建方法 | |
Yu et al. | MagConv: Mask-guided convolution for image inpainting | |
CN112241938A (zh) | 基于光滑塔克分解与高阶张量汉克化的图像修复方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20200609 |
|
WD01 | Invention patent application deemed withdrawn after publication |