CN111667424B - 一种基于无监督的真实图像去噪方法 - Google Patents

一种基于无监督的真实图像去噪方法 Download PDF

Info

Publication number
CN111667424B
CN111667424B CN202010468066.9A CN202010468066A CN111667424B CN 111667424 B CN111667424 B CN 111667424B CN 202010468066 A CN202010468066 A CN 202010468066A CN 111667424 B CN111667424 B CN 111667424B
Authority
CN
China
Prior art keywords
image
noise
loss
loss function
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010468066.9A
Other languages
English (en)
Other versions
CN111667424A (zh
Inventor
范赐恩
李晓鹏
邹炼
田胜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN202010468066.9A priority Critical patent/CN111667424B/zh
Publication of CN111667424A publication Critical patent/CN111667424A/zh
Application granted granted Critical
Publication of CN111667424B publication Critical patent/CN111667424B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明属于图像去噪技术领域,公开了一种基于无监督的真实图像去噪方法,包括构建真实图像去噪网络,构建真实图像去噪网络的总损失函数,将待去噪的图像输入至真实图像去噪网络,以总损失函数为指导训练真实图像去噪网络,总损失函数收敛后得到去噪后的干净图像。本发明解决了现有技术中真实图像的干净样本难以获取,训练数据集构建困难的问题,采用无监督方式,只利用待去噪的图像便可以实现图像去噪,可以广泛应用于各类真实图像去噪。

Description

一种基于无监督的真实图像去噪方法
技术领域
本发明涉及图像去噪技术领域,尤其涉及一种基于无监督的真实图像去噪方法。
背景技术
图像在获取和传输过程中会受到成像设备与外部环境噪声干扰等影响,为了增强图像的视觉效果,方便进一步的研究使用,我们需要对带噪图像进行去噪处理。尤其是随着摄影设备的普及,需要处理的图像大多数为含有未知噪声的真实图像。因此,真实图像去噪的研究成为图像处理领域的热点。
当前图像去噪方法主要分为两类,一类是基于图像先验的传统去噪方法,主要以三维块匹配算法(Block Matching 3D,BM3D)为代表,该方法主要在图像中寻找相似的块,整合为一个三维矩阵,在三维空间进行滤波,再将结果反变换融合到二维,形成去噪后的图像,是目前去噪领域公认最好的算法之一,但是这类方法往往需要人为设置超参数,且处理时间太长,在真实图像去噪上表现一般。另外一类是基于深度学习的有监督图像去噪方法,比如Zhang等人提出的基于残差网络结构的去噪方法(Residual Learning of Deep CNNfor Image Denoising,DnCNN),通过学习干净图像和噪声图像之间的映射关系,实现图像去噪,去噪性能超过了BM3D,在高斯盲去噪问题上取得了非常好的效果,在真实图像去噪上也表现出优秀的性能,但是这类方法需要有干净图像作为目标图像进行训练,然而真实世界的噪声图像所对应的干净目标图像往往难以获得。因此,探寻一种在真实图像上去噪效果好,且不需要训练集的无监督去噪的方法,是当前图像去噪领域亟待解决的问题。
发明内容
本申请实施例通过提供一种基于无监督的真实图像去噪方法,解决了现有技术中真实图像的干净样本难以获取,训练数据集构建困难的问题。
本申请实施例提供一种基于无监督的真实图像去噪方法,包括以下步骤:
步骤1、构建真实图像去噪网络;
步骤2、构建所述真实图像去噪网络的总损失函数;
步骤3、将待去噪的图像输入至所述真实图像去噪网络,以所述总损失函数为指导训练所述真实图像去噪网络,所述总损失函数收敛后得到去噪后的干净图像;
其中,所述真实图像去噪网络包括干净图像生成模块、图像损失构造模块、噪声生成模块、噪声损失构造模块、重构噪声图像合成模块、合成损失构造模块、总损失合成模块;
所述干净图像生成模块用于重建干净图像,获得图像层信息;
所述图像损失构造模块用于结合所述图像层信息、图像先验,构造干净图像损失函数;
所述噪声生成模块用于重建真实噪声,获得噪声层信息;
所述噪声损失构造模块用于结合所述噪声层信息、噪声先验,构造噪声损失函数;
所述重构噪声图像合成模块用于根据所述图像层信息、所述噪声层信息合成重构噪声图像;
所述合成损失构造模块用于根据所述重构噪声图像、原始噪声图像,构造重构图像损失函数;
所述总损失合成模块用于获得所述总损失函数,所述总损失函数由所述干净图像损失函数、所述噪声损失函数、所述重构图像损失函数组成。
优选的,所述干净图像生成模块使用基于编解码网络结构改进的递进式反投影网络结构,所述递进式反投影网络结构的第一层为卷积层,中间编码过程由多个下投影层构成,解码过程由多个上投影层构成,最后一层为卷积层;
所述下投影层对应下投影模块,所述上投影层对应上投影模块;所述下投影模块在编码过程中学习浅层特征到深层特征的映射关系,所述上投影模块在解码过程中学习低分辨率特征到高分辨率特征的映射关系;所述下投影模块和所述上投影模块相互连接。
优选的,所述递进式反投影网络结构的第一层是一个3×3的卷积层,中间编码过程由5个下投影层构成,解码过程由5个上投影层构成,最后一层是一个3×3的卷积层;第2至第4层的下投影层的结果通过级联操作,采用大小均为3×3,步长为1的卷积核进行维度压缩后直接传递给相对应的上投影模块;
其中,所述递进式反投影网络结构中的所有卷积操作后都加有一个BN层和一个PReLU层。
优选的,投影模块中设计有错误反馈机制;
在所述下投影模块中对输入H采用步长为2的卷积核进行下采样得到L0,再采用步长为2的反卷积核进行上采样得到H0,H0与下投影模块的输入H相减得到残差因子eh,再对eh采用步长为2的卷积核进行下采样得到el,再将el与L0相加得到输出L;
在所述上投影模块中对输入L采用步长为2的卷积核进行上采样得到H0,再采用步长为2的反卷积核进行下采样得到L0,L0与上投影模块的输入L相减得到残差因子el,再对el采用步长为2的卷积核进行上采样得到eh,再将eh与H0相加得到输出H。
优选的,所述干净图像生成模块的输入为随机噪声图像V,目标为原始噪声图像yi,输出为图像层信息x′;计算所述原始噪声图像yi与所述图像层信息x′之间的均方误差,得到所述干净图像损失函数;
所述干净图像损失函数表示为:
Figure BDA0002513308460000041
其中,Lossimage为干净图像损失函数。
优选的,所述噪声先验的构造方式为:评估原始噪声图像yi的噪声等级;使用BM3D算法对原始噪声图像yi进行去噪,得到BM3D去噪结果
Figure BDA0002513308460000044
通过原始噪声图像yi减去BM3D去噪结果
Figure BDA0002513308460000045
得到所述噪声先验vi
优选的,所述噪声生成模块基于残差网络结构,第一层由卷积和PReLU激活单元组成,第2至第5层均由卷积、BN和PReLU激活单元组成,最后一层为卷积层;
所述噪声生成模块的输入为原始噪声图像yi,目标为噪声先验vi,训练的输出为噪声层信息ni
优选的,计算噪声层信息ni与噪声先验vi之间的均方误差,得到所述噪声损失函数;
所述噪声损失函数表示为:
Figure BDA0002513308460000042
其中,Lossnoise为噪声损失函数。
优选的,将图像层信息x′和噪声层信息ni相加,得到所述重构噪声图像yi′;
计算所述重构噪声图像yi′与原始噪声图像yi之间的均方误差,得到所述重构图像损失函数;
所述重构图像损失函数表示为:
Figure BDA0002513308460000043
其中,Lossrec为重构图像损失函数。
优选的,所述总损失函数Loss表示为:
Loss=Lossimage+Lossnoise+3*Lossrec
以获得所述总损失函数Loss的最小值为标准训练所述真实图像去噪网络;训练过程中,对所述干净图像生成模块输出的图像层信息x′进行加权得到加权图像层信息Out_avgimg,对所述噪声生成模块输出的噪声层信息ni进行加权得到加权噪声层信息Out_avgnoise;取所述总损失函数Loss最小时的加权图像层信息Out_avgimg作为训练出的去噪后的干净图像。
本申请实施例中提供的一个或多个技术方案,至少具有如下技术效果或优点:
在本申请实施例中,提供的基于无监督的真实图像去噪方法包括构建真实图像去噪网络;构建真实图像去噪网络的总损失函数;将待去噪的图像输入至真实图像去噪网络,以总损失函数为指导训练真实图像去噪网络,总损失函数收敛后得到去噪后的干净图像。其中的真实图像去噪网络包括干净图像生成模块、图像损失构造模块、噪声生成模块、噪声损失构造模块、重构噪声图像合成模块、合成损失构造模块、总损失合成模块。干净图像生成模块用于重建干净图像,获得图像层信息;噪声生成模块用于重建真实噪声,获得噪声层信息。即本发明采用无监督方式,只利用待去噪的图像便可以实现图像去噪。本方法核心包含干净图像生成模块和噪声生成模块,前者重建干净图像,并结合深度图像先验,构造约束项;后者重建真实噪声,并构造噪声先验约束项。两个模块的输出相加合成重构噪声图像,通过原始噪声图像约束重构噪声图像的生成过程;三个约束项共同引导训练真实图像去噪网络,实现对真实噪声的去除。本方法可以广泛应用于各类真实图像去噪,解决了当前深度学习算法受干净图像局限的难题。
附图说明
为了更清楚地说明本实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一个实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种基于无监督的真实图像去噪方法的总体框图;
图2为本发明实施例提供的一种基于无监督的真实图像去噪方法中干净图像生成模块的网络模型结构图;
图3为本发明实施例提供的一种基于无监督的真实图像去噪方法中下投影模块和上投影模块的结构图;
图4为本发明实施例提供的一种基于无监督的真实图像去噪方法中噪声先验的模块结构图;
图5为本发明实施例提供的一种基于无监督的真实图像去噪方法中噪声生成模块的网络模型结构图。
具体实施方式
为了更好的理解上述技术方案,下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
本实施例提供了一种基于无监督的真实图像去噪方法,包括以下步骤:
步骤1、构建真实图像去噪网络。
步骤2、构建所述真实图像去噪网络的总损失函数。
步骤3、将待去噪的图像输入至所述真实图像去噪网络,以所述总损失函数为指导训练所述真实图像去噪网络,所述总损失函数收敛后得到去噪后的干净图像。
其中,所述真实图像去噪网络包括干净图像生成模块、图像损失构造模块、噪声生成模块、噪声损失构造模块、重构噪声图像合成模块、合成损失构造模块、总损失合成模块。
所述干净图像生成模块用于重建干净图像,获得图像层信息;所述图像损失构造模块用于结合所述图像层信息、图像先验,构造干净图像损失函数;所述噪声生成模块用于重建真实噪声,获得噪声层信息;所述噪声损失构造模块用于结合所述噪声层信息、噪声先验,构造噪声损失函数;所述重构噪声图像合成模块用于根据所述图像层信息、所述噪声层信息合成重构噪声图像;所述合成损失构造模块用于根据所述重构噪声图像、原始噪声图像,构造重构图像损失函数;所述总损失合成模块用于获得所述总损失函数,所述总损失函数由所述干净图像损失函数、所述噪声损失函数、所述重构图像损失函数组成。
下面对本发明做进一步的补充说明。
根据图像噪声退化模型,图像加性噪声可以理解为噪声图像y是由干净的图像层x和噪声层n叠加而成,如式(1)所示:
y=x+n (1)
本发明的目的是通过干净图像生成模块和噪声生成模块这两个模块分别生成图像层信息和噪声层信息,模拟含噪图像的退化过程,然后将两个输出相加得到重构噪声图像,建立起两个模块的关系,即相加得到的重构噪声图像要与原始噪声图像尽可能一样,这样两个模块(干净图像生成模块和噪声生成模块)在训练时就会相互促进,最终得到最合理的“干净”图像层信息x′,由此便实现了真实带噪图像的无监督去噪这一过程。
下面结合图1对本实施例提供了一种基于无监督的真实图像去噪方法的各主要部分进行说明。
(1)生成图像层信息,构造干净图像损失函数。
1.1、构造随机噪声图像。
随机噪声图像V的大小与输入的原始噪声图像yi的大小相同,随机噪声图像V作为干净图像生成模块的输入。
1.2、搭建干净图像生成模块,重建干净图像。
为了从随机噪声学习得到特定的图像层,清晰地恢复出对应真实图像的信息,干净图像生成模块使用基于编解码网络结构改进的递进式反投影网络结构,如图2所示,网络的第一层是一个3×3的卷积层,中间编码过程由5个下投影层(Down-projection层)构成,解码过程由5个上投影层(Up-projection层)构成。其中,Down-projection和Up-projection(二者结构如图3所示)分别是所设计的下投影模块和上投影模块,下投影模块是在编码过程中学习浅层特征到深层特征的映射关系,上投影模块是在解码过程中学习低分辨率特征到高分辨率特征的映射关系。
如图3所示,在下投影模块中对输入H采用步长为2的卷积核进行下采样得到L0,再采用步长为2的反卷积核进行上采样得到H0,H0与下投影模块的输入H相减得到残差因子eh,再对eh采用步长为2的卷积核进行下采样得到el,再将el与L0相加得到输出L,其中eh体现了错误反馈机制。上投影模块的操作则与下投影模块相反。本发明将下投影模块的第2-4层结果通过级联操作,采用大小均为3×3,步长为1的卷积核来进行维度压缩后直接传递给相对应的上投影模块,使下投影的浅层特征和上投影的深层特征相结合,从而获得更精准的图像重建结构。网络的最后一层是一个3×3的卷积层。网络中所有卷积操作后面都会加上一个BN层做数据归一化和一个PReLU层作为激活函数,为了简化说明,这部分在图示中省略。由于本发明的网络采用了多次上采样和下采样,因此输入的图片宽高尺寸满足32的倍数。干净图像生成模块的输出图像就是干净图像x′,尺寸和输入相同。
1.3、构造干净图像损失函数。
结合深度图像先验,原始噪声图像yi为目标图像,计算yi与输出x′(即图像层信息)这两张图像间的均方误差(MSE)作为干净图像损失函数Lossimage,定义为式(2):
Figure BDA0002513308460000081
即干净图像生成模块的输入为随机噪声图像V,目标为原始噪声图像yi,可记为y={y1,y2,…,ym},由于本发明使用的是相同内容的噪声图像,因此这些原始噪声图像对应同一个干净图像,他们的差异只有噪声的差异。所以虽然输入图像在改变,但输出均为清晰图像x。接着将输出x′与原始噪声图像yi求mse损失,得到干净图像损失函数Lossimage
(2)生成噪声层信息,构造噪声损失函数。
2.1、构造噪声先验。
首先估计原始噪声图像yi的噪声等级,可采用常用的高斯噪声估计方法。然后使用BM3D算法对m张原始噪声图像y={y1,y2,…,ym}进行去噪,得到噪声先验vi,记为v={v1,v2,…,vm},其中m∈N*。构造的噪声先验的模块结构如图4所示。
即利用已经评估出的噪声等级(对应图4中的“噪声水平的方差估计”),使用BM3D算法,针对BM3D进行真实彩色图像去噪。
此外,为了加快BM3D算法的处理速度,将RGB彩色空间图像先转换为YUV色彩空间,由于Y分量会包含更多的图像信息,而U、V分量拥有更多的低频信息,因此在采用BM3D去噪过程中,会仅在Y分量上搜寻相似块,然后直接在U、V分量图上使用Y分量的相似块信息。最后将三种分量上的最终估计结果合并后转换回RGB色彩空间。所获得的去噪结果记为
Figure BDA0002513308460000091
通过原始噪声图像yi减去BM3D去噪结果
Figure BDA0002513308460000092
可以得到噪声先验vi,定义为式(3):
Figure BDA0002513308460000093
2.2、构建噪声生成模块。
噪声生成模块的网络模型使用残差网络,输入为m张原始噪声图像y={y1,y2,…,ym},目标为m个噪声先验v={v1,v2,…,vm},训练的输出为ni,记为n={n1,n2,…,nm},即得到噪声层信息。
如图5所示,噪声生成模块的网络的第一层由3×3的卷积和PReLU激活单元组成。第2-5层均由3×3的卷积、BN和PReLU激活单元组成。最后一层是3×3的卷积。输入为原始噪声图片yi,目标为噪声先验vi重建图像,输出为噪声层信息ni
2.3、构造噪声损失函数。
噪声先验vi为目标图像,计算噪声生成模块输出的噪声层信息ni与噪声先验vi间的均方误差(MSE),得到噪声损失函数Lossnoise,定义为式(4):
Figure BDA0002513308460000101
(3)构建重构图像损失函数。
3.1、生成重构噪声图像。
因为噪声图像是由干净图像和噪声两部分组成,因此将干净图像生成模块的网络输出x′和噪声生成模块的网络输出ni相加,可以得到重构噪声图像yi′,重构噪声图像yi′的表达式如式(5):
y′i=x′+ni (5)
3.2、获得重构图像的损失函数。
将重构噪声图像yi′与原始噪声图像yi求mse损失,得到重构图像损失函数Lossrec,定义为式(6):
Figure BDA0002513308460000102
(4)构造总损失函数,以总损失函数为指导训练真实图像去噪网络。
总损失函数由上述三个损失函数Lossimage、Lossnoise、Lossrec组成,以此指导训练真实图像去噪网络。训练过程中,对干净图像生成模块的输出进行加权得到Out_avgimg,对噪声生成模块的输出进行加权得到Out_avgnoise,来增强输出的稳定性。
具体的,总损失函数如式(7)所示:
Loss=Lossimage+Lossnoise+3*Lossrec (7)
取总损失函数Loss最小时的Out_avgimg作为训练出的去噪后的图像。
即将待去噪的图像输入到真实图像去噪网络,以总损失函数为指导训练真实图像去噪网络,总损失函数收敛后可直接得到该图像去噪后的干净图像。
综上,本发明提出的一种基于无监督的真实图像去噪方法,不需要大量噪声图片进行训练,只需要一张或多张内容相同的原始噪声图像,便可以实现去噪,既充分利用了深度学习方法优秀的去噪性能,又解决了其训练数据集难以构造的缺陷。本发明提供的方法既不需要清晰样本,又不需要噪声图像对来进行预训练,只需要待处理的噪声图像即可进行去噪,为当前真实图像去噪中数据缺乏提供了解决方案。本发明可以在各种真实环境下使用,比如遥感图像,生物医学图像等,这些领域通常不可能获得干净的训练目标。此外,本发明在图像生成模块中使用了一种基于编解码的递进式反投影网络结构,获得更精准的图像重建结构,更好的保留图像原有的细节信息。
本发明实施例提供的一种基于无监督的真实图像去噪方法至少包括如下技术效果:
(1)现有的深度学习算法需要真实噪声图像和清晰图像对监督网络训练。本发明结合图像先验和噪声先验,只需要一张带噪图像即可直接得到该图像去噪后的干净图像。可以广泛应用于各类真实场景并得到很好的去噪效果。
(2)本发明支持多帧模式,可以输入多张相同内容的图像,且不会增加去噪时间。结合现在摄像设备一般都具备连拍功能,可以提高去噪效果。实验验证图像张数越多去噪效果越好。
(3)本发明为了从随机噪声学习得到特定的干净图像层,清晰地恢复出对应真实图像的信息,使用基于编解码网络结构而改进的递进式反投影网络结构。这种结构中设计了下投影模块和上投影模块,在投影模块中,设计了错误反馈机制和相互连接的上下采样结构。通过错误反馈机制,可以在通过上映射或者下映射的投影误差来重构以获得更好的上/下编码结果。而相互连接的上下采样结构,则可以充分利用高低分辨率之间特征的相互依赖关系。
最后所应说明的是,以上具体实施方式仅用以说明本发明的技术方案而非限制,尽管参照实例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或者等同替换,而不脱离本发明技术方案的精神和范围,其均应涵盖在本发明的权利要求范围当中。

Claims (8)

1.一种基于无监督的真实图像去噪方法,其特征在于,包括以下步骤:
步骤1、构建真实图像去噪网络;
步骤2、构建所述真实图像去噪网络的总损失函数;
步骤3、将待去噪的图像输入至所述真实图像去噪网络,以所述总损失函数为指导训练所述真实图像去噪网络,所述总损失函数收敛后得到去噪后的干净图像;
其中,所述真实图像去噪网络包括干净图像生成模块、图像损失构造模块、噪声生成模块、噪声损失构造模块、重构噪声图像合成模块、合成损失构造模块、总损失合成模块;
所述干净图像生成模块用于重建干净图像,获得图像层信息;
所述图像损失构造模块用于结合所述图像层信息、图像先验,构造干净图像损失函数;
所述噪声生成模块用于重建真实噪声,获得噪声层信息;
所述噪声损失构造模块用于结合所述噪声层信息、噪声先验,构造噪声损失函数;
所述重构噪声图像合成模块用于根据所述图像层信息、所述噪声层信息合成重构噪声图像;
所述合成损失构造模块用于根据所述重构噪声图像、原始噪声图像,构造重构图像损失函数;
所述总损失合成模块用于获得所述总损失函数,所述总损失函数由所述干净图像损失函数、所述噪声损失函数、所述重构图像损失函数组成;
所述干净图像生成模块使用基于编解码网络结构改进的递进式反投影网络结构,所述递进式反投影网络结构的第一层为卷积层,中间编码过程由多个下投影层构成,解码过程由多个上投影层构成,最后一层为卷积层;
所述下投影层对应下投影模块,所述上投影层对应上投影模块;所述下投影模块在编码过程中学习浅层特征到深层特征的映射关系,所述上投影模块在解码过程中学习低分辨率特征到高分辨率特征的映射关系;所述下投影模块和所述上投影模块相互连接;
所述噪声生成模块基于残差网络结构,第一层由卷积和PReLU激活单元组成,第2至第5层均由卷积、BN和PReLU激活单元组成,最后一层为卷积层;
所述噪声生成模块的输入为原始噪声图像yi,目标为噪声先验vi,训练的输出为噪声层信息ni
2.根据权利要求1所述的基于无监督的真实图像去噪方法,其特征在于,所述递进式反投影网络结构的第一层是一个3×3的卷积层,中间编码过程由5个下投影层构成,解码过程由5个上投影层构成,最后一层是一个3×3的卷积层;第2至第4层的下投影层的结果通过级联操作,采用大小均为3×3,步长为1的卷积核进行维度压缩后直接传递给相对应的上投影模块;
其中,所述递进式反投影网络结构中的所有卷积操作后都加有一个BN层和一个PReLU层。
3.根据权利要求1所述的基于无监督的真实图像去噪方法,其特征在于,投影模块中设计有错误反馈机制;
在所述下投影模块中对输入H采用步长为2的卷积核进行下采样得到L0,再采用步长为2的反卷积核进行上采样得到H0,H0与下投影模块的输入H相减得到残差因子eh,再对eh采用步长为2的卷积核进行下采样得到el,再将el与L0相加得到输出L;
在所述上投影模块中对输入L采用步长为2的卷积核进行上采样得到H0,再采用步长为2的反卷积核进行下采样得到L0,L0与上投影模块的输入L相减得到残差因子el,再对el采用步长为2的卷积核进行上采样得到eh,再将eh与H0相加得到输出H。
4.根据权利要求1所述的基于无监督的真实图像去噪方法,其特征在于,所述干净图像生成模块的输入为随机噪声图像V,目标为原始噪声图像yi,输出为图像层信息x′;计算所述原始噪声图像yi与所述图像层信息x′之间的均方误差,得到所述干净图像损失函数;
所述干净图像损失函数表示为:
Figure FDA0003394056400000031
其中,Lossimage为干净图像损失函数。
5.根据权利要求1所述的基于无监督的真实图像去噪方法,其特征在于,所述噪声先验的构造方式为:评估原始噪声图像yi的噪声等级;使用BM3D算法对原始噪声图像yi进行去噪,得到BM3D去噪结果
Figure FDA0003394056400000032
通过原始噪声图像yi减去BM3D去噪结果
Figure FDA0003394056400000033
得到所述噪声先验vi
6.根据权利要求1所述的基于无监督的真实图像去噪方法,其特征在于,计算噪声层信息ni与噪声先验vi之间的均方误差,得到所述噪声损失函数;
所述噪声损失函数表示为:
Figure FDA0003394056400000034
其中,Lossnoise为噪声损失函数。
7.根据权利要求1所述的基于无监督的真实图像去噪方法,其特征在于,将图像层信息x′和噪声层信息ni相加,得到所述重构噪声图像yi′;
计算所述重构噪声图像yi′与原始噪声图像yi之间的均方误差,得到所述重构图像损失函数;
所述重构图像损失函数表示为:
Figure FDA0003394056400000035
其中,Lossrec为重构图像损失函数。
8.根据权利要求1所述的基于无监督的真实图像去噪方法,其特征在于,所述总损失函数Loss表示为:
Loss=Lossimage+Lossnoise+3*Lossrec
其中,Lossimage为干净图像损失函数,Lossnoise为噪声损失函数,Lossrec为重构图像损失函数;
以获得所述总损失函数Loss的最小值为标准训练所述真实图像去噪网络;训练过程中,对所述干净图像生成模块输出的图像层信息x′进行加权得到加权图像层信息Out_avgimg,对所述噪声生成模块输出的噪声层信息ni进行加权得到加权噪声层信息Out_avgnoise;取所述总损失函数Loss最小时的加权图像层信息Out_avgimg作为训练出的去噪后的干净图像。
CN202010468066.9A 2020-05-28 2020-05-28 一种基于无监督的真实图像去噪方法 Active CN111667424B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010468066.9A CN111667424B (zh) 2020-05-28 2020-05-28 一种基于无监督的真实图像去噪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010468066.9A CN111667424B (zh) 2020-05-28 2020-05-28 一种基于无监督的真实图像去噪方法

Publications (2)

Publication Number Publication Date
CN111667424A CN111667424A (zh) 2020-09-15
CN111667424B true CN111667424B (zh) 2022-04-01

Family

ID=72385145

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010468066.9A Active CN111667424B (zh) 2020-05-28 2020-05-28 一种基于无监督的真实图像去噪方法

Country Status (1)

Country Link
CN (1) CN111667424B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112488943B (zh) * 2020-12-02 2024-02-02 北京字跳网络技术有限公司 模型训练和图像去雾方法、装置、设备
CN112767260A (zh) * 2020-12-30 2021-05-07 上海联影智能医疗科技有限公司 图像质量提升方法、装置、计算机设备和存储介质
CN112801888A (zh) * 2021-01-06 2021-05-14 杭州海康威视数字技术股份有限公司 图像处理方法、装置、计算机设备及存储介质
CN113343807A (zh) * 2021-05-27 2021-09-03 北京深睿博联科技有限责任公司 一种重构引导下的复杂场景的目标检测方法及装置
CN113643202A (zh) * 2021-07-29 2021-11-12 西安理工大学 一种基于噪声注意力图指导的微光图像增强方法
CN114066760A (zh) * 2021-11-18 2022-02-18 成都微光集电科技有限公司 图像去噪方法、网络模型的训练方法、装置、介质和设备
CN116138796A (zh) * 2022-09-07 2023-05-23 南方医科大学南方医院 动态正电子发射断层成像技术参数成像方法、***及介质
CN116071265B (zh) * 2023-02-21 2023-08-08 哈尔滨工业大学 基于空间自适应自监督学习的图像去噪方法
CN116343050B (zh) * 2023-05-26 2023-08-01 成都理工大学 基于自适应权重的遥感图像噪声标注的目标检测方法
CN116433674B (zh) * 2023-06-15 2023-08-18 锋睿领创(珠海)科技有限公司 半导体硅晶圆检测方法、装置、计算机设备及介质
CN116563173B (zh) * 2023-07-11 2023-09-08 成都理工大学 基于多噪声自监督学习的探地雷达图像去噪方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106204468A (zh) * 2016-06-27 2016-12-07 深圳市未来媒体技术研究院 一种基于ReLU卷积神经网络的图像去噪方法
CN106204467A (zh) * 2016-06-27 2016-12-07 深圳市未来媒体技术研究院 一种基于级联残差神经网络的图像去噪方法
CN107909558A (zh) * 2017-12-12 2018-04-13 成都信息工程大学 一种基于无监督学习的非局部均值图像去噪方法
CN108876737A (zh) * 2018-06-06 2018-11-23 武汉大学 一种联合残差学习和结构相似度的图像去噪方法
CN109410149A (zh) * 2018-11-08 2019-03-01 安徽理工大学 一种基于并行特征提取的cnn去噪方法
CN109859147A (zh) * 2019-03-01 2019-06-07 武汉大学 一种基于生成对抗网络噪声建模的真实图像去噪方法
CN110428385A (zh) * 2019-08-09 2019-11-08 南京工业大学 一种基于无监督对抗神经网络的sd-oct去噪方法
CN110517195A (zh) * 2019-07-26 2019-11-29 西安电子科技大学 无监督sar图像去噪方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11532073B2 (en) * 2018-03-29 2022-12-20 Pixar Temporal techniques of denoising Monte Carlo renderings using neural networks
CN110473154B (zh) * 2019-07-31 2021-11-16 西安理工大学 一种基于生成对抗网络的图像去噪方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106204468A (zh) * 2016-06-27 2016-12-07 深圳市未来媒体技术研究院 一种基于ReLU卷积神经网络的图像去噪方法
CN106204467A (zh) * 2016-06-27 2016-12-07 深圳市未来媒体技术研究院 一种基于级联残差神经网络的图像去噪方法
CN107909558A (zh) * 2017-12-12 2018-04-13 成都信息工程大学 一种基于无监督学习的非局部均值图像去噪方法
CN108876737A (zh) * 2018-06-06 2018-11-23 武汉大学 一种联合残差学习和结构相似度的图像去噪方法
CN109410149A (zh) * 2018-11-08 2019-03-01 安徽理工大学 一种基于并行特征提取的cnn去噪方法
CN109859147A (zh) * 2019-03-01 2019-06-07 武汉大学 一种基于生成对抗网络噪声建模的真实图像去噪方法
CN110517195A (zh) * 2019-07-26 2019-11-29 西安电子科技大学 无监督sar图像去噪方法
CN110428385A (zh) * 2019-08-09 2019-11-08 南京工业大学 一种基于无监督对抗神经网络的sd-oct去噪方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Unsupervised model based SAR data denoising;D.Gleich 等;《ISIE 2005》;20051114;第1251-1254页 *
一种改进的深度卷积神经网络图像去噪算法;白瑞君 等;《科学技术与工程》;20191231;第19卷(第36期);第247-252页 *

Also Published As

Publication number Publication date
CN111667424A (zh) 2020-09-15

Similar Documents

Publication Publication Date Title
CN111667424B (zh) 一种基于无监督的真实图像去噪方法
Liu et al. Video super-resolution based on deep learning: a comprehensive survey
CN110969577B (zh) 一种基于深度双重注意力网络的视频超分辨率重建方法
Bojanowski et al. Optimizing the latent space of generative networks
Zhang et al. Image restoration: From sparse and low-rank priors to deep priors [lecture notes]
WO2022267641A1 (zh) 一种基于循环生成对抗网络的图像去雾方法及***
Gilbert et al. Volumetric performance capture from minimal camera viewpoints
CN113362250B (zh) 一种基于双树四元小波与深度学习的图像去噪方法及***
CN110796622B (zh) 一种基于串联神经网络多层特征的图像比特增强方法
CN109949222B (zh) 基于语义图的图像超分辨率重建方法
CN111028150A (zh) 一种快速时空残差注意力视频超分辨率重建方法
CN111179167A (zh) 一种基于多阶段注意力增强网络的图像超分辨方法
CN111127325B (zh) 基于循环神经网络的卫星视频超分辨率重建方法及***
CN116051428B (zh) 一种基于深度学习的联合去噪与超分的低光照图像增强方法
CN111402137B (zh) 一种基于感知损失引导的深度注意力编解码单图像超分辨率算法
CN115880158B (zh) 一种基于变分自编码的盲图像超分辨率重建方法及***
CN115170915A (zh) 一种基于端到端注意力网络的红外与可见光图像融合方法
Kong et al. A comprehensive comparison of multi-dimensional image denoising methods
CN112215140A (zh) 一种基于时空对抗的3维信号处理方法
CN117011357A (zh) 基于3d运动流和法线图约束的人体深度估计方法及***
CN116977651A (zh) 一种基于双分支和多尺度特征提取的图像去噪方法
CN116612009A (zh) 一种多尺度连接生成对抗网络医学图像超分辨率重建方法
CN114549361B (zh) 一种基于改进U-Net模型的去图像运动模糊方法
CN113066033B (zh) 一种彩色图像的多阶段去噪***及方法
Cai et al. Real-time super-resolution for real-world images on mobile devices

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant