CN109785249A - 一种基于持续性记忆密集网络的图像高效去噪方法 - Google Patents
一种基于持续性记忆密集网络的图像高效去噪方法 Download PDFInfo
- Publication number
- CN109785249A CN109785249A CN201811576192.5A CN201811576192A CN109785249A CN 109785249 A CN109785249 A CN 109785249A CN 201811576192 A CN201811576192 A CN 201811576192A CN 109785249 A CN109785249 A CN 109785249A
- Authority
- CN
- China
- Prior art keywords
- network
- noise
- rdu
- block
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000000605 extraction Methods 0.000 claims abstract description 44
- 238000012549 training Methods 0.000 claims abstract description 39
- 230000007850 degeneration Effects 0.000 claims abstract description 24
- 238000012360 testing method Methods 0.000 claims abstract description 12
- 238000011156 evaluation Methods 0.000 claims abstract description 11
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims abstract description 8
- 230000008569 process Effects 0.000 claims description 19
- 238000001228 spectrum Methods 0.000 claims description 15
- 239000000284 extract Substances 0.000 claims description 13
- 238000013507 mapping Methods 0.000 claims description 7
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 230000006870 function Effects 0.000 claims description 3
- 230000010354 integration Effects 0.000 claims description 3
- 239000000463 material Substances 0.000 claims description 3
- 239000000203 mixture Substances 0.000 claims description 3
- 230000002085 persistent effect Effects 0.000 claims description 3
- 238000011946 reduction process Methods 0.000 claims description 3
- 241000208340 Araliaceae Species 0.000 claims description 2
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims description 2
- 235000003140 Panax quinquefolius Nutrition 0.000 claims description 2
- 235000008434 ginseng Nutrition 0.000 claims description 2
- 239000012141 concentrate Substances 0.000 claims 1
- 238000012545 processing Methods 0.000 abstract 1
- 230000000694 effects Effects 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000010207 Bayesian analysis Methods 0.000 description 1
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明涉及基于持续性记忆密集网络的图像高效去噪方法,属图像处理领域。本发明首先选取训练集、验证集及测试集,并进行预处理,得到带噪声的退化块与不带噪声的清晰块;通过浅层特征抽取模块、持续性记忆密集网络模块、内层嵌套网络模块和残差求值模块对带噪声的退化块进行处理,得到预估去噪块;使用网络输出的预估去噪块与已知不带噪声的清晰块计算均方误差,以进行损失值度量;从网络末端开始,使用Adam算子求权值梯度值并更新网络参数;待网络收敛后训练终止并获得去噪模型;在训练好的去噪模型输入含高斯噪声图像得到去除噪声的图像。本发明在不破坏原图像纹理边缘信息的情况下,能以较高精度处理自然图像中存在的高斯白噪声。
Description
技术领域
本发明涉及一种基于持续性记忆密集网络的图像高效去噪方法,属于图像处理技术领域。
背景技术
图像去噪是计算机视觉中的一个经典基本问题,该问题在学术研究以及工业应用中均获得了广泛关注。去噪的目标是从一个含噪图像y=x+n中恢复出清晰图像x,其中的噪声n常被假设为加性高斯白噪声。从贝叶斯分析的角度看,在似然值已知的条件下,图像的先验模型对去噪起到相当关键的作用。在过去的数十年里,去噪方法已囊括了大部分的图像先验,包括非局部自相似性模型,稀疏模型,梯度模型和隐马尔科夫域模型等,其中基于自相似模型的方法,如BM3D等的去噪效果均表现良好。
然而,基于先验方法的去噪模型存在的一个明显不足之处在于,测试阶段需要较长的时间进行优化计算,并且鉴于原有技术基础理论突破有限,图像的去噪性能已到达瓶颈阶段,要进一步大幅度提高复原效果正变得越来越难。同时,由于去噪模型为非凸问题,优化过程中涉及到的一些参数需要进行手动设定,这也进一步约束了去噪性能的进一步提高。近几年来,随着深度学习技术在图像分类、识别等工程领域接连出现较大突破,学术界正试图结合使用深度卷积网络来进行图像去噪,并在探索过程中引入了一些性能突出的算法。
2008年,Viren Jain等人提出使用卷积网络的方法(Natural Image Denoisingwith Convolutional Networks,简称CN1)来进行自然图像的去噪,该方法结合特定的噪声模型来生成训练样本,通过训练,获得了优于基于小波方法和基于马尔科夫随机场的相关方法,在盲去噪中的性能与其他基于非盲设定的模型不相上下。作者认为,基于卷积网络与基于马尔科夫随机场(MRF)的方法在数学表示上有一定的联系,但MRF方法在概率模型的参数估计和推断中占用了大量的计算资源。卷积网络的方法则避免进行密度估计的统计分析,而是将去噪过程转化为回归分析问题。2012年,Xie Junyuan等人提出堆叠稀疏噪声自编码方法(Stacked sparse denoising auto-encoder architecture,简称SSDA),该方法结合使用稀疏编码和深度网络来进行图像去噪,其中深度网络使用预训练的去噪自编码来进行初始化。与CN1的训练过程相似,SSDA逐层增加网络隐藏层,并利用前面多层的权重参数来初始化下一个隐藏层的初始参数值。而在每增加一个隐藏层后,引入KL散度来计算当前所有层状态下模型的损失值,即通过使用较小的对数权重来使隐藏单元的均值激活值尽可能趋于零从而达到稀疏的效果。以上两种方法的网络是逐层训练的,并且网络的权重初始值并非自动生成,而是在每层内部都需要人为干预,该做法会在一定程度上约束原模型性能的达到最优值,并且整体的训练过程费时。同时,模型的构造都是全连接网络上的逐层堆叠,这将促使生成模型的总体参数在网络深度较浅时也异常大。
2016年,Mao Xiaojiao等人提出对称跨层连接的深度卷积编码解码网络RED30用于图像去噪,该网络由多个卷积层与去卷积层作为基本单元,直接进行从噪声图像到清晰图像之间的端到端学***面堆叠或使用残差块进行堆叠。基本块的链式连接结构到一定深度后容易导致梯度消失的问题,而其深度不足又难以获得一个复杂的映射过程。为此,本发明通过引入密集网络结构来解除这两个因素之间存在的相互制约关系。
发明内容
本发明提供了一种基于持续性记忆密集网络的图像高效去噪方法,能实现图像的高效去噪,同时尽可能多地保留原图像的细节。
本发明的技术方案是:一种基于持续性记忆密集网络的图像高效去噪方法(Hierarchical Nesting Dense Block for Single-image Super-resolution,简称DBSR),包括如下步骤:
Step1、选取训练集、验证集及测试集,并对训练集和验证集进行预处理,得到带噪声的退化块与不带噪声的清晰块;
Step2、通过浅层特征抽取模块、持续性记忆密集网络模块、内层嵌套网络模块和残差求值模块对带噪声的退化块进行处理,得到预估去噪块;
首先使用浅层特征抽取模块对输入图像进行初步噪声特征抽取,随后将抽取所得的信息传递到持续性记忆密集网络模块,由该模块使用残差密集单元的堆叠进行精细噪声特征的提取;经过多个残差密集单元输出的三维组合后,所得信息进一步传递到二通路的内层嵌套网络模块进行特征精细化过程;此时所得到的信息为即为网络的抽取得到的噪声,由浅层特征抽取模块的输出与内层嵌套网络模块的输出值进行相减即可得到预估去噪块;
Step3、使用网络输出的预估去噪块与已知不带噪声的清晰块计算均方误差,以进行损失值度量;
Step4、从网络末端开始,使用Adam算子求权值梯度值并更新网络参数;
Step5、循环步骤Step2-Step4,待网络收敛后训练终止并获得去噪模型;
Step6、在训练好的去噪模型输入含高斯噪声图像得到去除噪声的图像。
进一步地,所述步骤Step1中,选用图像复原与增强比赛NTIRE中所使用的900张2K高清png图像作为模型的训练集、验证集,其中前800张图像用于模型训练,后100张用于验证;选用图像去噪标准数据集Set12,BSD68对网络模型进行测试,在训练集与验证集中,对每张2K高清原图添加高斯白噪声,随后以步长27分别在高清原图和噪声图的相同位置截取大小为96×96的图像块,得到不带噪声的清晰块ynf和带噪声的退化块x。
进一步地,所述步骤2中,网络首层使用包含单个卷积块的浅层特征抽取模块初步抽取噪声特征;随后,以残差密集单元作为基本单位,并通过基本单位的逐层嵌套来构造持续性记忆密集网络模块,以抽取多粒度噪声特征信息;在网络的后半部分,内层嵌套网络使用两个并行子网络对噪声特征图谱进行通道整合,通过不同个数、不同大小的卷积核实现噪声信息特征的精细化,以得到图像高频噪声信息;最后,网络末端将包含高频噪声信息的图像内容与初步抽取的噪声特征进行综合,通过残差求值模块中求差值的做法来去除噪声的图像。
进一步地,所述步骤Step2的具体步骤:
Step2.1、浅层特征抽取模块初步抽取噪声特征:以带噪声的退化块x作为输入值,通过浅层特征抽取模块增加输入块的通道数,并对其进行噪声信息的初步提取;
浅层特征抽取模块以带噪声的退化块x作为输入,经过卷积操作Conv、权值偏置和带参数修正线性单元PReLU后,输出T-1;该过程用数学公式表达为:T-1=PReLU(aC1,C1),其中C1=W1*x+b1为卷积偏置过程的输出,W1为卷积操作的权重参数,b1为偏置量,a为带参数修正线性单元PReLU的初始值;
Step2.2、持续性记忆密集网络模块精细化噪声特征信息:
持续性记忆密集网络模块(persistent memory dense block,PMDB)以残差密集单元(Residual Dense Unit,RDU)作为其基本单位,通过在RDU内部进一步嵌套RDU的做法来达到抽取多粒度噪声特征信息的目的;
具体做法为:PMDB以浅层特征抽取模块的输出值T-1作为输入,经过一个卷积块后得到输出值T0;随后T0被传递到含有递归连接的多个RDU单元,得到输出值TPMDB;由于PMDB整个模块的主要构成为RDU单元,故先对RDU单元展开描述;
为方便理解,首先对不带嵌套的RDU单元其中信息的传递进行说明;以RDUk表示PMDB上堆叠的第k个RDU,其中 为PMDB所在层RDU单元的总个数;则其输入值为RDUk-1,输出值为RDUk+1;在RDUk内部,使用一个卷积块对输入值的维度进行压缩,得到噪声特征RDUk,b1,符号b1用于标识该卷积块,紧接着,该噪声特征输入到一个持续性记忆密集网络Ndense,输出RDUk,nd,符号nd用于标识该密集网络,在密集网络中,使用了8个卷积块,每个卷积块输出的特征图谱个数为64,故最后将8个卷积块以通道连接的方式结合起来时,得到64×8=512个特征图谱;由于特征图谱维数过高容易导致内存负载过重,故在密集网络末端使用1×1的卷积核将通道数从512下降到64;持续性记忆密集网络Ndense用数学表示为:
RDUk,nd=Hl([d1,…,di,…,d8])
其中Hl为Ndense末端的通道降维过程,di表示Ndense内部第i个卷积块RDUk,di的输出值,符号[·]表示三维合并操作Concatenation,最后,使用一个全局残差连接将噪声特征提取出来,数学表达为:RDUk+1=RDUk-1-RDUk,nd=fRDU(RDUk-1),其中fRDU表示RDU该单元所对应的映射函数;
在带嵌套RDU单元的PMDB中,除了持续性记忆密集网络Ndense内部卷积块RDUk,di的输入值不同以外,带嵌套RDU单元内部使用的卷积块个数、通道连接的方式以及特征图谱降维都与不带嵌套的RDU单元保持一致;在非嵌套RDU单元内部的密集网络Ndense,输出结果为di的卷积块其输入值为di-1,而在带嵌套RDU单元内部的密集网络,每个卷积块的输入值来自于另一个RDU单元,即输出结果为di的卷积块其输入值为fRDU(di-1);
在持续性记忆密集网络模块PMDB末端,使用递归连接的方式将前面各层的输出进行三维合并堆叠,得到该模块的输出值TPMDB,其中的三维合并操作表示为:TPMDB=[RDU1,…,RDUk,…,RDUD],其中的RDUk表示第k个RDU单元;
Step2.3、内层嵌套网络模块进行噪声信息的精细化:内层嵌套网络模块以持续性记忆密集网络模块的输出值TPMDB作为输入,其内部使用两个并行子网络对噪声信息作进一步的精细化抽取;其中一个网络通路使用大小为1×1的滤波器将图像原特征通道下降到64个,另一个通路也先采用同样的方法降低维度,随后使用3×3的滤波器将64个通道降低到32;嵌套网络模块能在不增加过多参数的情况下给网络引入更复杂的非线性映射,模块末端将两个通路的特征图谱进行三维合并,此时得到的输出结果Tnin为在原清晰图像中加入的噪声信息;
Step2.4、残差求值模块:该模块主要将浅层网络抽取所得的特征T-1与内层嵌套网络模块的输出Tnin进行相减并使用卷积块对差值微调,得到预估去噪块yest。
进一步地,所述步骤Step3包括:
使用网络输出的预估去噪块yest与已知不带噪声的清晰块ynf进行损失值的计算;具体是使用均方误差值衡量两者之间的距离,数学表达为: 其中N为一次迭代所输入的带噪声退化块x的总个数,yest (i)表示第i张带噪声退化块在经过网络训练后得到的预估去噪块结果,ynf (i)则为第i张输入带噪声退化块所对应的不带噪声的清晰块,Θ为Step2中所有参数的统称。
进一步地,所述步骤Step4、Step5的具体内容如下:
对网络权值使用Adam算子进行更新,循环步骤Step2-Step3,迭代的停止条件是,网络损失值在相邻迭代次数之间变化小于1e-3;或网络在收敛时的迭代次数达到200次,迭代完成后,得到训练好的网络模型。
本发明的有益效果是:
1、特征提取过程使用了持续性记忆密集网络模块,使提取得到的噪声点更加精确;
2、在持续性记忆密集网络模块中使用了迭代块连接,受噪声影响程度不同的块能被统一组合起来进行处理;
3、噪声特征抽取后期加入了内层嵌套网络模块,该模块有助于在网络内部加入更复杂的映射,保证了在抽取噪声点的同时不至于过多地破坏原图像的结构信息;
4、网络末端加入残差求值模块能极大程度上减轻网络训练的难度;
5、通过不同的训练集,该模型能用于图像去块、去模糊过程,在进一步加入上采样层后,能应用到图像超分辨率重建过程;
6、本发明在不破坏原图像纹理边缘信息的情况下,能以较高精度处理自然图像中存在的高斯白噪声。
附图说明
图1为本发明步骤Step2的流程图;
图2为高斯白噪声标准差σ=45时模型训练的收敛图及各种算法相应的PSNR值;
图3为多种算法在标准测试集Set12的图片“img004”上,标准差σ=45时,去噪效果及局部放大图,其中(3a)原始图像;(3b)带噪图像;(3c)EPLL算法;(3d)BM3D算法;(3e)NCSR算法;(3f)DnCNN算法;(3g)MemNet算法;(3h)本发明的DBSR算法;
图4为多种算法在标准测试集Set12的图片“img011”上,标准差σ=15时,去噪效果及局部放大图,其中(4a)原始图像;(4b)带噪图像;(4c)EPLL算法;(4d)BM3D算法;(4e)NCSR算法;(4f)DnCNN算法;(4g)MemNet算法;(4h)本发明的DBSR算法。
具体实施方式
实施例1:如图1-4所示,一种基于持续性记忆密集网络的图像高效去噪方法,包括如下步骤:
Step1、选取训练集、验证集及测试集,并对训练集和验证集进行预处理,得到带噪声的退化块与不带噪声的清晰块;
Step2、通过浅层特征抽取模块、持续性记忆密集网络模块、内层嵌套网络模块和残差求值模块对带噪声的退化块进行处理,得到预估去噪块;
首先使用浅层特征抽取模块对输入图像进行初步噪声特征抽取,随后将抽取所得的信息传递到持续性记忆密集网络模块,由该模块使用残差密集单元的堆叠进行精细噪声特征的提取;经过多个残差密集单元输出的三维组合后,所得信息进一步传递到二通路的内层嵌套网络模块进行特征精细化过程;此时所得到的信息为即为网络的抽取得到的噪声,由浅层特征抽取模块的输出与内层嵌套网络模块的输出值进行相减即可得到预估去噪块;
Step3、使用网络输出的预估去噪块与已知不带噪声的清晰块计算均方误差,以进行损失值度量;
Step4、从网络末端开始,使用Adam算子求权值梯度值并更新网络参数;
Step5、循环步骤Step2-Step4,待网络收敛后训练终止并获得去噪模型;
Step6、在训练好的去噪模型输入含高斯噪声图像得到去除噪声的图像。
进一步地,所述步骤Step1中,选用图像复原与增强比赛NTIRE中所使用的900张2K高清png图像作为模型的训练集、验证集,其中前800张图像用于模型训练,后100张用于验证;选用图像去噪标准数据集Set12,BSD68对网络模型进行测试,在训练集与验证集中,对每张2K高清原图添加高斯白噪声,随后以步长27分别在高清原图和噪声图的相同位置截取大小为96×96的图像块,得到不带噪声的清晰块ynf和带噪声的退化块x。
进一步地,所述步骤2中,网络首层使用包含单个卷积块的浅层特征抽取模块初步抽取噪声特征;随后,以残差密集单元作为基本单位,并通过基本单位的逐层嵌套来构造持续性记忆密集网络模块,以抽取多粒度噪声特征信息;在网络的后半部分,内层嵌套网络使用两个并行子网络对噪声特征图谱进行通道整合,通过不同个数、不同大小的卷积核实现噪声信息特征的精细化,以得到图像高频噪声信息;最后,网络末端将包含高频噪声信息的图像内容与初步抽取的噪声特征进行综合,通过残差求值模块中求差值的做法来去除噪声的图像。
进一步地,所述步骤Step2的具体步骤:
Step2.1、浅层特征抽取模块初步抽取噪声特征:以带噪声的退化块x作为输入值,通过浅层特征抽取模块增加输入块的通道数,并对其进行噪声信息的初步提取;
浅层特征抽取模块以带噪声的退化块x作为输入,经过卷积操作Conv、权值偏置和带参数修正线性单元PReLU后,输出T-1;该过程用数学公式表达为:T-1=PReLU(aC1,C1),其中C1=W1*x+b1为卷积偏置过程的输出,W1为卷积操作的权重参数,b1为偏置量,a为带参数修正线性单元PReLU的初始值;
Step2.2、持续性记忆密集网络模块精细化噪声特征信息:
持续性记忆密集网络模块(persistent memory dense block,PMDB)以残差密集单元(Residual Dense Unit,RDU)作为其基本单位,通过在RDU内部进一步嵌套RDU的做法来达到抽取多粒度噪声特征信息的目的;
具体做法为:PMDB以浅层特征抽取模块的输出值T-1作为输入,经过一个卷积块后得到输出值T0;随后T0被传递到含有递归连接的多个RDU单元,得到输出值TPMDB;由于PMDB整个模块的主要构成为RDU单元,故先对RDU单元展开描述;
为方便理解,首先对不带嵌套的RDU单元其中信息的传递进行说明;以RDUk表示PMDB上堆叠的第k个RDU,其中 为PMDB所在层RDU单元的总个数;则其输入值为RDUk-1,输出值为RDUk+1;在RDUk内部,使用一个卷积块对输入值的维度进行压缩,得到噪声特征RDUk,b1,符号b1用于标识该卷积块,紧接着,该噪声特征输入到一个持续性记忆密集网络Ndense,输出RDUk,nd,符号nd用于标识该密集网络,在密集网络中,使用了8个卷积块,每个卷积块输出的特征图谱个数为64,故最后将8个卷积块以通道连接的方式结合起来时,得到64×8=512个特征图谱;由于特征图谱维数过高容易导致内存负载过重,故在密集网络末端使用1×1的卷积核将通道数从512下降到64;持续性记忆密集网络Ndense用数学表示为:
RDUk,nd=Hl([d1,…,di,…,d8])
其中Hl为Ndense末端的通道降维过程,di表示Ndense内部第i个卷积块RDUk,di的输出值,符号[·]表示三维合并操作Concatenation,最后,使用一个全局残差连接将噪声特征提取出来,数学表达为:RDUk+1=RDUk-1-RDUk,nd=fRDU(RDUk-1),其中fRDU表示RDU该单元所对应的映射函数;
在带嵌套RDU单元的PMDB中,除了持续性记忆密集网络Ndense内部卷积块RDUk,di的输入值不同以外,带嵌套RDU单元内部使用的卷积块个数、通道连接的方式以及特征图谱降维都与不带嵌套的RDU单元保持一致;在非嵌套RDU单元内部的密集网络Ndense,输出结果为di的卷积块其输入值为di-1,而在带嵌套RDU单元内部的密集网络,每个卷积块的输入值来自于另一个RDU单元,即输出结果为di的卷积块其输入值为fRDU(di-1);
在持续性记忆密集网络模块PMDB末端,使用递归连接的方式将前面各层的输出进行三维合并堆叠,得到该模块的输出值TPMDB,其中的三维合并操作表示为:TPMDB=[RDU1,…,RDUk,…,RDUD],其中的RDUk表示第k个RDU单元;
Step2.3、内层嵌套网络模块进行噪声信息的精细化:内层嵌套网络模块以持续性记忆密集网络模块的输出值TPMDB作为输入,其内部使用两个并行子网络对噪声信息作进一步的精细化抽取;其中一个网络通路使用大小为1×1的滤波器将图像原特征通道下降到64个,另一个通路也先采用同样的方法降低维度,随后使用3×3的滤波器将64个通道降低到32;嵌套网络模块能在不增加过多参数的情况下给网络引入更复杂的非线性映射,模块末端将两个通路的特征图谱进行三维合并,此时得到的输出结果Tnin为在原清晰图像中加入的噪声信息;
Step2.4、残差求值模块:该模块主要将浅层网络抽取所得的特征T-1与内层嵌套网络模块的输出Tnin进行相减并使用卷积块对差值微调,得到预估去噪块yest。
进一步地,所述步骤Step3包括:
使用网络输出的预估去噪块yest与已知不带噪声的清晰块ynf进行损失值的计算;具体是使用均方误差值衡量两者之间的距离,数学表达为: 其中N为一次迭代所输入的带噪声退化块x的总个数,yest (i)表示第i张带噪声退化块在经过网络训练后得到的预估去噪块结果,ynf (i)则为第i张输入带噪声退化块所对应的不带噪声的清晰块,Θ为Step2中所有参数的统称。
本发明的网络训练参数及训练目标说明如下:
Step2中包含的训练参数有:浅层特征抽取模块中单个卷积块,持续性记忆密集网络模块PMDB以及内层嵌套网络模块中所包含的卷积核大小,卷积核个数,带参数修正线性单元的初始值;Step4中Adam算子所涉及的学习率,迭代过程的迭代次数等。
本发明的训练目标是Step3中,在模型完成训练时计算得到的损失值已经收敛到一个较低值。
进一步地,所述步骤Step4、Step5的具体内容如下:
对网络权值使用Adam算子进行更新,循环步骤Step2-Step3,迭代的停止条件是,网络损失值在相邻迭代次数之间变化小于1e-3;或网络在收敛时的迭代次数达到200次,迭代完成后,得到训练好的网络模型。
为了说明本发明的效果,如图2所示为高斯白噪声标准差σ=45时模型训练的收敛图及各种算法相应的PSNR值;
从图2可看出,本发明所提出的去噪算法在峰值信噪比PSNR上有较大优势,相比于最近提出的MemNet其提升幅度为0.11dB,相比于传统经典去噪算法BM3D,提升幅度较明显,大小为1.54dB.
图3定性比较了若干种经典算法,在去除噪声的同时对原图像细节信息的保真度。对比发现,经典算法如BM3D、NCSR的复原图像中仍有较多噪声,而基于深度学习的算法DnCNN/MemNet复原图像的噪声已被有效去除,但细节信息有所失真。本发明在去除噪声与对原信息的保真情况两方面均明显优于前述算法。
图4定性比较了若干种经典算法,在对原图像细节信息的保真度较高的情况下对噪声去除的能力。对比发现,经典算法如BM3D、NCSR和基于深度学习的算法DnCNN上的噪声信息仍较多,而MemNet和本发明处理的噪声图像其噪声已经得到有效抑制,但本发明在信息保真度方面要优于MemNet算法。
上面结合附图对本发明的具体实施方式作了详细说明,但是本发明并不限于上述实施方式,在本领域普通技术人员所具备的知识范围内,还可以在不脱离本发明宗旨的前提下作出各种变化。
Claims (6)
1.一种基于持续性记忆密集网络的图像高效去噪方法,其特征在于:包括如下步骤:
Step1、选取训练集、验证集及测试集,并对训练集和验证集进行预处理,得到带噪声的退化块与不带噪声的清晰块;
Step2、通过浅层特征抽取模块、持续性记忆密集网络模块、内层嵌套网络模块和残差求值模块对带噪声的退化块进行处理,得到预估去噪块;
首先使用浅层特征抽取模块对输入图像进行初步噪声特征抽取,随后将抽取所得的信息传递到持续性记忆密集网络模块,由该模块使用残差密集单元的堆叠进行精细噪声特征的提取;经过多个残差密集单元输出的三维组合后,所得信息进一步传递到二通路的内层嵌套网络模块进行特征精细化过程;此时所得到的信息为即为网络的抽取得到的噪声,由浅层特征抽取模块的输出与内层嵌套网络模块的输出值进行相减即可得到预估去噪块;
Step3、使用网络输出的预估去噪块与已知不带噪声的清晰块计算均方误差,以进行损失值度量;
Step4、从网络末端开始,使用Adam算子求权值梯度值并更新网络参数;
Step5、循环步骤Step2-Step4,待网络收敛后训练终止并获得去噪模型;
Step6、在训练好的去噪模型输入含高斯噪声图像得到去除噪声的图像。
2.根据权利要求1所述的基于持续性记忆密集网络的图像高效去噪方法,其特征在于:所述步骤Step1中,选用图像复原与增强比赛NTIRE中所使用的900张2K高清png图像作为模型的训练集、验证集,其中前800张图像用于模型训练,后100张用于验证;选用图像去噪标准数据集Set12,BSD68对网络模型进行测试,在训练集与验证集中,对每张2K高清原图添加高斯白噪声,随后以步长27分别在高清原图和噪声图的相同位置截取大小为96×96的图像块,得到不带噪声的清晰块ynf和带噪声的退化块x。
3.根据权利要求1所述的基于持续性记忆密集网络的图像高效去噪方法,其特征在于:所述步骤2中,网络首层使用包含单个卷积块的浅层特征抽取模块初步抽取噪声特征;随后,以残差密集单元作为基本单位,并通过基本单位的逐层嵌套来构造持续性记忆密集网络模块,以抽取多粒度噪声特征信息;在网络的后半部分,内层嵌套网络使用两个并行子网络对噪声特征图谱进行通道整合,通过不同个数、不同大小的卷积核实现噪声信息特征的精细化,以得到图像高频噪声信息;最后,网络末端将包含高频噪声信息的图像内容与初步抽取的噪声特征进行综合,通过残差求值模块中求差值的做法来去除噪声的图像。
4.根据权利要求1所述的基于持续性记忆密集网络的图像高效去噪方法,其特征在于:所述步骤Step2的具体步骤:
Step2.1、浅层特征抽取模块初步抽取噪声特征:以带噪声的退化块x作为输入值,通过浅层特征抽取模块增加输入块的通道数,并对其进行噪声信息的初步提取;
浅层特征抽取模块以带噪声的退化块x作为输入,经过卷积操作Conv、权值偏置和带参数修正线性单元PReLU后,输出T-1;该过程用数学公式表达为:T-1=PReLU(aC1,C1),其中C1=W1*x+b1为卷积偏置过程的输出,W1为卷积操作的权重参数,b1为偏置量,a为带参数修正线性单元PReLU的初始值;
Step2.2、持续性记忆密集网络模块精细化噪声特征信息:
持续性记忆密集网络模块(persistent memory dense block,PMDB)以残差密集单元(Residual Dense Unit,RDU)作为其基本单位,通过在RDU内部进一步嵌套RDU的做法来达到抽取多粒度噪声特征信息的目的;
具体做法为:PMDB以浅层特征抽取模块的输出值T-1作为输入,经过一个卷积块后得到输出值T0;随后T0被传递到含有递归连接的多个RDU单元,得到输出值TPMDB;由于PMDB整个模块的主要构成为RDU单元,故先对RDU单元展开描述;
为方便理解,首先对不带嵌套的RDU单元其中信息的传递进行说明;以RDUk表示PMDB上堆叠的第k个RDU,其中 为PMDB所在层RDU单元的总个数;则其输入值为RDUk-1,输出值为RDUk+1;在RDUk内部,使用一个卷积块对输入值的维度进行压缩,得到噪声特征RDUk,b1,符号b1用于标识该卷积块,紧接着,该噪声特征输入到一个持续性记忆密集网络Ndense,输出RDUk,nd,符号nd用于标识该密集网络,在密集网络中,使用了8个卷积块,每个卷积块输出的特征图谱个数为64,故最后将8个卷积块以通道连接的方式结合起来时,得到64×8=512个特征图谱;由于特征图谱维数过高容易导致内存负载过重,故在密集网络末端使用1×1的卷积核将通道数从512下降到64;持续性记忆密集网络Ndense用数学表示为:
RDUk,nd=Hl([d1,…,di,…,d8])
其中Hl为Ndense末端的通道降维过程,di表示Ndense内部第i个卷积块RDUk,di的输出值,符号[·]表示三维合并操作Concatenation,最后,使用一个全局残差连接将噪声特征提取出来,数学表达为:RDUk+1=RDUk-1-RDUk,nd=fRDU(RDUk-1),其中fRDU表示RDU该单元所对应的映射函数;
在带嵌套RDU单元的PMDB中,除了持续性记忆密集网络Ndense内部卷积块RDUk,di的输入值不同以外,带嵌套RDU单元内部使用的卷积块个数、通道连接的方式以及特征图谱降维都与不带嵌套的RDU单元保持一致;在非嵌套RDU单元内部的密集网络Ndense,输出结果为di的卷积块其输入值为di-1,而在带嵌套RDU单元内部的密集网络,每个卷积块的输入值来自于另一个RDU单元,即输出结果为di的卷积块其输入值为fRDU(di-1);
在持续性记忆密集网络模块PMDB末端,使用递归连接的方式将前面各层的输出进行三维合并堆叠,得到该模块的输出值TPMDB,其中的三维合并操作表示为:TPMDB=[RDU1,…,RDUk,…,RDUD],其中的RDUk表示第k个RDU单元;
Step2.3、内层嵌套网络模块进行噪声信息的精细化:内层嵌套网络模块以持续性记忆密集网络模块的输出值TPMDB作为输入,其内部使用两个并行子网络对噪声信息作进一步的精细化抽取;其中一个网络通路使用大小为1×1的滤波器将图像原特征通道下降到64个,另一个通路也先采用同样的方法降低维度,随后使用3×3的滤波器将64个通道降低到32;嵌套网络模块能在不增加过多参数的情况下给网络引入更复杂的非线性映射,模块末端将两个通路的特征图谱进行三维合并,此时得到的输出结果Tnin为在原清晰图像中加入的噪声信息;
Step2.4、残差求值模块:该模块主要将浅层网络抽取所得的特征T-1与内层嵌套网络模块的输出Tnin进行相减并使用卷积块对差值微调,得到预估去噪块yest。
5.根据权利要求4所述的基于持续性记忆密集网络的图像高效去噪方法,其特征在于:所述步骤Step3包括:
使用网络输出的预估去噪块yest与已知不带噪声的清晰块ynf进行损失值的计算;具体是使用均方误差值衡量两者之间的距离,数学表达为: 其中N为一次迭代所输入的带噪声退化块x的总个数,yest (i)表示第i张带噪声退化块在经过网络训练后得到的预估去噪块结果,ynf (i)则为第i张输入带噪声退化块所对应的不带噪声的清晰块,Θ为Step2中所有参数的统称。
6.根据权利要求4所述的基于持续性记忆密集网络的图像高效去噪方法,其特征在于:所述步骤Step4、Step5的具体内容如下:
对网络权值使用Adam算子进行更新,循环步骤Step2-Step3,迭代的停止条件是,网络损失值在相邻迭代次数之间变化小于1e-3;或网络在收敛时的迭代次数达到200次,迭代完成后,得到训练好的网络模型。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811576192.5A CN109785249A (zh) | 2018-12-22 | 2018-12-22 | 一种基于持续性记忆密集网络的图像高效去噪方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811576192.5A CN109785249A (zh) | 2018-12-22 | 2018-12-22 | 一种基于持续性记忆密集网络的图像高效去噪方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109785249A true CN109785249A (zh) | 2019-05-21 |
Family
ID=66497556
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811576192.5A Pending CN109785249A (zh) | 2018-12-22 | 2018-12-22 | 一种基于持续性记忆密集网络的图像高效去噪方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109785249A (zh) |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110232361A (zh) * | 2019-06-18 | 2019-09-13 | 中国科学院合肥物质科学研究院 | 基于三维残差稠密网络的人体行为意图识别方法与*** |
CN110349103A (zh) * | 2019-07-01 | 2019-10-18 | 昆明理工大学 | 一种基于深度神经网络和跳跃连接的无干净标签图像去噪方法 |
CN110490816A (zh) * | 2019-07-15 | 2019-11-22 | 哈尔滨工程大学 | 一种水下异构信息数据降噪方法 |
CN110569738A (zh) * | 2019-08-15 | 2019-12-13 | 杨春立 | 基于密集连接网络的自然场景文本检测方法、设备和介质 |
CN110738231A (zh) * | 2019-07-25 | 2020-01-31 | 太原理工大学 | 改进S-DNet神经网络模型的乳腺X射线图像的分类方法 |
CN110838095A (zh) * | 2019-11-06 | 2020-02-25 | 广西师范大学 | 一种基于循环密集神经网络的单幅图像去雨方法和*** |
CN111105375A (zh) * | 2019-12-17 | 2020-05-05 | 北京金山云网络技术有限公司 | 图像生成方法及其模型训练方法、装置及电子设备 |
CN111275643A (zh) * | 2020-01-20 | 2020-06-12 | 西南科技大学 | 基于通道和空间注意力的真实噪声盲去噪网络模型及方法 |
CN111681298A (zh) * | 2020-06-08 | 2020-09-18 | 南开大学 | 一种基于多特征残差网络的压缩感知图像重建方法 |
CN112150384A (zh) * | 2020-09-29 | 2020-12-29 | 中科方寸知微(南京)科技有限公司 | 一种基于残差网络与动态卷积网络模型融合的方法及*** |
CN112419219A (zh) * | 2020-11-25 | 2021-02-26 | 广州虎牙科技有限公司 | 图像增强模型训练方法、图像增强方法以及相关装置 |
CN113284059A (zh) * | 2021-04-29 | 2021-08-20 | Oppo广东移动通信有限公司 | 模型训练方法、图像增强方法、装置、电子设备及介质 |
EP3985972A4 (en) * | 2019-10-16 | 2022-11-16 | Tencent Technology (Shenzhen) Company Limited | MACHINE LEARNING-BASED ARTIFACT REMOVAL METHOD AND APPARATUS, AND MACHINE LEARNING-BASED ARTIFACT REMOVAL MODEL TRAINING METHOD AND APPARATUS |
CN116051408A (zh) * | 2023-01-06 | 2023-05-02 | 郑州轻工业大学 | 一种基于残差自编码的图像深度去噪方法 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102156960A (zh) * | 2010-12-16 | 2011-08-17 | 新奥特(北京)视频技术有限公司 | 一种图像噪声添加方法 |
US20150086126A1 (en) * | 2012-04-27 | 2015-03-26 | Nec Corporation | Image processing method, image processing system, image processing device, and image processing device |
US20150339806A1 (en) * | 2014-05-26 | 2015-11-26 | Fujitsu Limited | Image denoising method and image denoising apparatus |
CN106709875A (zh) * | 2016-12-30 | 2017-05-24 | 北京工业大学 | 一种基于联合深度网络的压缩低分辨率图像复原方法 |
CN108304755A (zh) * | 2017-03-08 | 2018-07-20 | 腾讯科技(深圳)有限公司 | 用于图像处理的神经网络模型的训练方法和装置 |
CN108492265A (zh) * | 2018-03-16 | 2018-09-04 | 西安电子科技大学 | 基于gan的cfa图像去马赛克联合去噪方法 |
CN108629736A (zh) * | 2017-03-15 | 2018-10-09 | 三星电子株式会社 | 用于设计超分辨率深度卷积神经网络的***和方法 |
CN108961186A (zh) * | 2018-06-29 | 2018-12-07 | 赵岩 | 一种基于深度学习的老旧影片修复重制方法 |
CN109767386A (zh) * | 2018-12-22 | 2019-05-17 | 昆明理工大学 | 一种基于深度学习的快速图像超分辨率重建方法 |
-
2018
- 2018-12-22 CN CN201811576192.5A patent/CN109785249A/zh active Pending
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102156960A (zh) * | 2010-12-16 | 2011-08-17 | 新奥特(北京)视频技术有限公司 | 一种图像噪声添加方法 |
US20150086126A1 (en) * | 2012-04-27 | 2015-03-26 | Nec Corporation | Image processing method, image processing system, image processing device, and image processing device |
US20150339806A1 (en) * | 2014-05-26 | 2015-11-26 | Fujitsu Limited | Image denoising method and image denoising apparatus |
CN106709875A (zh) * | 2016-12-30 | 2017-05-24 | 北京工业大学 | 一种基于联合深度网络的压缩低分辨率图像复原方法 |
CN108304755A (zh) * | 2017-03-08 | 2018-07-20 | 腾讯科技(深圳)有限公司 | 用于图像处理的神经网络模型的训练方法和装置 |
CN108629736A (zh) * | 2017-03-15 | 2018-10-09 | 三星电子株式会社 | 用于设计超分辨率深度卷积神经网络的***和方法 |
CN108492265A (zh) * | 2018-03-16 | 2018-09-04 | 西安电子科技大学 | 基于gan的cfa图像去马赛克联合去噪方法 |
CN108961186A (zh) * | 2018-06-29 | 2018-12-07 | 赵岩 | 一种基于深度学习的老旧影片修复重制方法 |
CN109767386A (zh) * | 2018-12-22 | 2019-05-17 | 昆明理工大学 | 一种基于深度学习的快速图像超分辨率重建方法 |
Non-Patent Citations (4)
Title |
---|
BAOSHUN SHI等: "SBM3D: Sparse Regularization Model Induced by BM3D for Weighted Diffraction Imaging", 《IEEE ACCESS》 * |
GIORGIO PATRINI等: "Making Deep Neural Networks Robust to Label Noise: A Loss Correction Approach", 《2017 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 * |
刘辉等: "基于均匀空间色差度量的彩色图像椒盐噪声滤波算法", 《传感器与微***》 * |
高净植等: "改进深度残差卷积神经网络的LDCT图像估计", 《计算机工程与应用》 * |
Cited By (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110232361B (zh) * | 2019-06-18 | 2021-04-02 | 中国科学院合肥物质科学研究院 | 基于三维残差稠密网络的人体行为意图识别方法与*** |
CN110232361A (zh) * | 2019-06-18 | 2019-09-13 | 中国科学院合肥物质科学研究院 | 基于三维残差稠密网络的人体行为意图识别方法与*** |
CN110349103A (zh) * | 2019-07-01 | 2019-10-18 | 昆明理工大学 | 一种基于深度神经网络和跳跃连接的无干净标签图像去噪方法 |
CN110490816A (zh) * | 2019-07-15 | 2019-11-22 | 哈尔滨工程大学 | 一种水下异构信息数据降噪方法 |
CN110490816B (zh) * | 2019-07-15 | 2022-11-15 | 哈尔滨工程大学 | 一种水下异构信息数据降噪方法 |
CN110738231A (zh) * | 2019-07-25 | 2020-01-31 | 太原理工大学 | 改进S-DNet神经网络模型的乳腺X射线图像的分类方法 |
CN110738231B (zh) * | 2019-07-25 | 2022-12-27 | 太原理工大学 | 改进S-DNet神经网络模型的乳腺X射线图像的分类方法 |
CN110569738A (zh) * | 2019-08-15 | 2019-12-13 | 杨春立 | 基于密集连接网络的自然场景文本检测方法、设备和介质 |
CN110569738B (zh) * | 2019-08-15 | 2023-06-06 | 杨春立 | 基于密集连接网络的自然场景文本检测方法、设备和介质 |
US11985358B2 (en) | 2019-10-16 | 2024-05-14 | Tencent Technology (Shenzhen) Company Limited | Artifact removal method and apparatus based on machine learning, and method and apparatus for training artifact removal model based on machine learning |
EP3985972A4 (en) * | 2019-10-16 | 2022-11-16 | Tencent Technology (Shenzhen) Company Limited | MACHINE LEARNING-BASED ARTIFACT REMOVAL METHOD AND APPARATUS, AND MACHINE LEARNING-BASED ARTIFACT REMOVAL MODEL TRAINING METHOD AND APPARATUS |
CN110838095A (zh) * | 2019-11-06 | 2020-02-25 | 广西师范大学 | 一种基于循环密集神经网络的单幅图像去雨方法和*** |
CN110838095B (zh) * | 2019-11-06 | 2022-06-07 | 广西师范大学 | 一种基于循环密集神经网络的单幅图像去雨方法和*** |
CN111105375A (zh) * | 2019-12-17 | 2020-05-05 | 北京金山云网络技术有限公司 | 图像生成方法及其模型训练方法、装置及电子设备 |
CN111105375B (zh) * | 2019-12-17 | 2023-08-22 | 北京金山云网络技术有限公司 | 图像生成方法及其模型训练方法、装置及电子设备 |
CN111275643B (zh) * | 2020-01-20 | 2022-09-02 | 西南科技大学 | 基于通道和空间注意力的真实噪声盲去噪网络***及方法 |
CN111275643A (zh) * | 2020-01-20 | 2020-06-12 | 西南科技大学 | 基于通道和空间注意力的真实噪声盲去噪网络模型及方法 |
CN111681298A (zh) * | 2020-06-08 | 2020-09-18 | 南开大学 | 一种基于多特征残差网络的压缩感知图像重建方法 |
CN112150384A (zh) * | 2020-09-29 | 2020-12-29 | 中科方寸知微(南京)科技有限公司 | 一种基于残差网络与动态卷积网络模型融合的方法及*** |
CN112150384B (zh) * | 2020-09-29 | 2024-03-29 | 中科方寸知微(南京)科技有限公司 | 一种基于残差网络与动态卷积网络模型融合的方法及*** |
CN112419219A (zh) * | 2020-11-25 | 2021-02-26 | 广州虎牙科技有限公司 | 图像增强模型训练方法、图像增强方法以及相关装置 |
CN113284059A (zh) * | 2021-04-29 | 2021-08-20 | Oppo广东移动通信有限公司 | 模型训练方法、图像增强方法、装置、电子设备及介质 |
CN116051408B (zh) * | 2023-01-06 | 2023-10-27 | 郑州轻工业大学 | 一种基于残差自编码的图像深度去噪方法 |
CN116051408A (zh) * | 2023-01-06 | 2023-05-02 | 郑州轻工业大学 | 一种基于残差自编码的图像深度去噪方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109785249A (zh) | 一种基于持续性记忆密集网络的图像高效去噪方法 | |
CN106204467B (zh) | 一种基于级联残差神经网络的图像去噪方法 | |
CN104361328B (zh) | 一种基于自适应多列深度模型的人脸图像正规化方法 | |
CN110796625B (zh) | 一种基于组稀疏表示和加权全变分的图像压缩感知重构方法 | |
De-Maeztu et al. | Near real-time stereo matching using geodesic diffusion | |
CN106251303A (zh) | 一种使用深度全卷积编码‑解码网络的图像降噪方法 | |
CN110349103A (zh) | 一种基于深度神经网络和跳跃连接的无干净标签图像去噪方法 | |
CN109064423B (zh) | 一种基于非对称循环生成对抗损失的智能修图方法 | |
CN111192211B (zh) | 一种基于单个深度神经网络的多噪声类型盲去噪方法 | |
CN103927531A (zh) | 一种基于局部二值和粒子群优化bp神经网络的人脸识别方法 | |
CN109858487A (zh) | 基于分水岭算法和图像类别标签的弱监督语义分割方法 | |
CN106204482A (zh) | 基于加权稀疏的混合噪声去除方法 | |
CN111723701A (zh) | 一种水中目标识别方法 | |
CN110648292A (zh) | 一种基于深度卷积网络的高噪声图像去噪方法 | |
CN114663685B (zh) | 一种行人重识别模型训练的方法、装置和设备 | |
CN103208097A (zh) | 图像多方向形态结构分组的主分量分析协同滤波方法 | |
CN112200733B (zh) | 一种基于图卷积网络的网格去噪方法 | |
Su et al. | Multi‐scale cross‐path concatenation residual network for Poisson denoising | |
Yap et al. | A recursive soft-decision approach to blind image deconvolution | |
CN105913451B (zh) | 一种基于图模型的自然图像超像素分割方法 | |
CN111291810A (zh) | 基于目标属性解耦的信息处理模型生成方法及相关设备 | |
CN114998107A (zh) | 一种图像盲超分辨网络模型、方法、设备及存储介质 | |
CN103903232A (zh) | 在小波域利用进化规划进行图像去噪和增强的方法 | |
CN103037168A (zh) | 基于复合型PCNN的平稳Surfacelet域多聚焦图像融合方法 | |
Peng et al. | Lightweight Adaptive Feature De-drifting for Compressed Image Classification |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
AD01 | Patent right deemed abandoned | ||
AD01 | Patent right deemed abandoned |
Effective date of abandoning: 20230707 |