CN111861930A - 图像去噪方法、装置以及电子设备、图像超分去噪方法 - Google Patents

图像去噪方法、装置以及电子设备、图像超分去噪方法 Download PDF

Info

Publication number
CN111861930A
CN111861930A CN202010729938.2A CN202010729938A CN111861930A CN 111861930 A CN111861930 A CN 111861930A CN 202010729938 A CN202010729938 A CN 202010729938A CN 111861930 A CN111861930 A CN 111861930A
Authority
CN
China
Prior art keywords
image
network
noise
training
denoising
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010729938.2A
Other languages
English (en)
Inventor
胡风硕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN202010729938.2A priority Critical patent/CN111861930A/zh
Publication of CN111861930A publication Critical patent/CN111861930A/zh
Priority to US17/355,938 priority patent/US11721000B2/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种图像去噪方法、装置以及电子设备、图像超分去噪方法。其中图像去噪方法包括：分别获取图像内容不同的无噪声的第一图像和具有真实噪声的第二图像；利用第一图像和第二图像对初始噪声生成网络和鉴别网络进行交替迭代训练得到新建噪声生成网络；将第一图像输入新建噪声生成网络，输出具有模拟噪声的第三图像；利用第一图像和第三图像作为成对的训练样本对初始图像去噪网络进行训练，得到训练后的新建图像去噪网络；其中，新建图像去噪网络被配置为将有噪声的原始图像转换为无噪声的新建图像。该图像去噪方法，可通过对不对称训练集进行训练，得到用于实现将低分辨率图像转换为高分辨率图像的图像去噪网络，提升图像超分辨率效果。

Description

图像去噪方法、装置以及电子设备、图像超分去噪方法
技术领域
本发明涉及图像处理技术领域，尤其涉及一种图像去噪方法、装置以及电子设备、图像超分去噪方法。
背景技术
图像超分辨率，是指从一幅低分辨率图像或图像序列中恢复出高分辨率图像。高分辨率图像具有高像素密度，可以提供更多的细节，这些细节往往在实际应用中可以起到关键作用。要获得高分辨率图像，最直接的方法是采用高分辨率图像传感器，但由于传感器和光学器件制造工艺和成本的限制，在很多场合和大规模部署中该方法很难实现。因此，利用现有的设备，通过超分辨率算法获取高分辨率图像具有重要的现实意义。
目前，超分辨率算法，大都是基于成对数据集进行训练以获得模型，当将该模型应用于不同于训练数据集分布的低分辨率图像上时，图像超分辨率效果不佳，容易出现各种伪影。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本发明的第一个目的在于提出一种图像去噪方法，可通过对不对称训练集进行训练，得到用于实现将低分辨率图像转换为高分辨率图像的图像去噪网络，以提升图像超分辨率效果。
本发明的第二个目的在于提出一种计算机可读存储介质。
本发明的第三个目的在于提出一种电子设备。
本发明的第四个目的在于提出一种图像去噪装置。
本发明的第五个目的在于提出一种图像超分去噪方法。
为达到上述目的，本发明第一方面实施例提出一种图像去噪方法，所述方法包括以下步骤：分别获取图像内容不同的无噪声的第一图像和具有真实噪声的第二图像；利用所述第一图像和所述第二图像对初始噪声生成网络和鉴别网络进行交替迭代训练得到新建噪声生成网络；将所述第一图像输入所述新建噪声生成网络，输出具有模拟噪声的第三图像；利用所述第一图像和所述第三图像作为成对的训练样本对初始图像去噪网络进行训练，得到训练后的新建图像去噪网络；其中，新建图像去噪网络被配置为将有噪声的原始图像转换为无噪声的新建图像。
本发明实施例的图像去噪方法，通过分别获取图像内容不同的无噪声的第一图像和具有真实噪声的第二图像，进而利用第一图像和第二图像对初始噪声生成网络和鉴别网络进行交替迭代训练得到新建噪声生成网络，将第一图像输入新建噪声生成网络，得到具有模拟噪声的第三图像，从而将第一图像和第三图像作为成对的训练样本对初始图像去噪网络进行训练，得到训练后的新建图像去噪网络，该新建图像去噪网络可以将有噪声的原始图像转换为无噪声的新建图像。由此，可通过对不对称训练集进行训练，得到用于实现将低分辨率图像转换为高分辨率图像的图像去噪网络，提升图像超分辨率效果。
另外，本发明上述的图像去噪方法还可以具有如下附加的技术特征：
根据本发明的一个实施例，所述分别获取图像内容不同的无噪声的第一图像和具有真实噪声的第二图像，包括：分别获取图像内容不同的无噪声的第四图像和具有真实噪声的第五图像；对所述第四图像进行裁切或缩放处理得到所述第一图像，并对所述第五图像进行裁切或缩放处理得到所述第二图像，以将所述第一图像和所述第二图像作为不成对训练样本。
根据本发明的一个实施例，所述利用所述第一图像和所述第二图像对初始噪声生成网络和鉴别网络进行交替迭代训练得到新建噪声生成网络，包括：初始噪声生成网络训练阶段和鉴别网络训练阶段交替进行；所述初始噪声生成网络训练阶段包括：将所述第一图像输入所述初始噪声生成网络，以获得具有模拟噪声的第一生成图像；将所述第一生成图像输入到所述鉴别网络得到第一鉴别结果；根据所述第一图像、所述第一生成图像和所述第一鉴别结果得到第一损失；根据所述第一损失对所述初始噪声生成网络进行参数调整；所述鉴别网络训练阶段包括：将所述第一图像输入到参数调整后的初始噪声生成网络，输出具有模拟噪声的第二生成图像；将所述第二生成图像输入到所述鉴别网络得到第二鉴别结果；将所述第二图像输入到所述鉴别网络得到第三鉴别结果；根据所述第二鉴别结果和所述第三鉴别结果得到第二损失；根据所述第二损失对所述鉴别网络进行参数调整。
根据本发明的一个实施例，所述将所述第一生成图像输入到所述鉴别网络得到第一鉴别结果，包括：将所述第一生成图像输入到高斯高通滤波器得到第一中间图像；将所述第一中间图像输入到所述鉴别网络得到所述第一鉴别结果；所述将所述第二生成图像输入到所述鉴别网络得到第二鉴别结果，包括：将所述第二生成图像输入到所述高斯高通滤波器得到第二中间图像；将所述第二中间图像输入到所述鉴别网络得到第二鉴别结果；所述将所述第二图像输入到所述鉴别网络得到所述第三鉴别结果，包括：将所述第二图像输入到所述高斯高通滤波器得到第三中间图像；将所述第三中间图像输入到所述鉴别网络得到所述第三鉴别结果。
根据本发明的一个实施例，所述第一损失包括颜色损失、感知损失和纹理损失，所述颜色损失的获得方法，包括：将所述第一图像、所述第一生成图像分别输入高斯低通滤波器得到第一滤波图像、第一生成滤波图像；根据所述第一滤波图像和所述第一生成滤波图像得到所述颜色损失。
根据本发明的一个实施例，所述第一损失通过下式计算得到：
LG＝Lcol+αLtex+βLper，
Figure BDA0002602903720000031
Figure BDA0002602903720000032
其中，LG为所述第一损失，Lcol为所述颜色损失，Ltex为所述纹理损失，Lper为所述感知损失，n表示训练时一次迭代输入的图片数，FL表示高斯低通滤波得到的高频特征，x表示第一图像，FH表示高斯高通滤波得到的低频特征，D表示鉴别网络，G表示噪声生成网络。
根据本发明的一个实施例，所述第二损失通过下式计算得到：
Figure BDA0002602903720000033
其中，LD为所述第二损失，y表示第二图像。
根据本发明的一个实施例，所述初始噪声生成网络包括12个残差子网络，其中，所述残差子网络包括第一卷积层和第二卷积层，所述第一卷积层的输入端为所述残差子网络的输入端，所述第一卷积层的输出端进行Relu(Rectified Linear Units，整流线性单元)激活处理后，连接至所述第二卷积层的输入端，所述第二卷积层的输出端作为所述残差子网络的输出端，且所述残差子网络的输入端和输出端连接。
为达到上述目的，本发明第二方面实施例提出一种计算机可读存储介质，其上存储有图像去噪程序，该图像去噪程序被处理器执行时实现上述的图像去噪方法。
本发明实施例的计算机可读存储介质，在其上存储的与图像去噪程序被处理器执行时，可通过对不对称训练集进行训练，得到用于实现将低分辨率图像转换为高分辨率图像的图像去噪网络，提升图像超分辨率效果。
为达到上述目的，本发明第三方面实施例提出了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的图像去噪程序，所述处理器执行所述图像去噪程序时，实现上述的图像去噪方法。
本发明实施例的电子设备，在其存储器上存储的与上述图像去噪方法对应的计算机程序被处理器执行时，可通过对不对称训练集进行训练，得到用于实现将低分辨率图像转换为高分辨率图像的图像去噪网络，提升图像超分辨率效果。
为达到上述目的，本发明第四方面实施例提出一种图像去噪装置，所述图像去噪装置包括：第一获取模块，用于分别获取图像内容不同的无噪声的第一图像和具有真实噪声的第二图像；第一训练模块，用于利用所述第一图像和所述第二图像对初始噪声生成网络和鉴别网络进行交替迭代训练得到新建噪声生成网络；第二获取模块，用于将所述第一图像输入所述新建噪声生成网络，输出具有模拟噪声的第三图像；第二训练模块，用于利用所述第一图像和所述第三图像作为成对的训练样本对初始图像去噪网络进行训练，得到训练后的新建图像去噪网络；其中，所述新建图像去噪网络被配置为将有噪声的原始图像转换为无噪声的新建图像。
本发明实施例的图像去噪装置，通过第一获取模块获取图像内容不同的无噪声的第一图像和具有真实噪声的第二图像，并通过第一训练模块利用第一图像和第二图像对初始噪声生成网络和鉴别网络进行交替迭代训练得到新建噪声生成网络，从而通过第二获取模块将第一图像输入新建噪声生成网络，输出具有模拟噪声的第三图像，进而通过第二训练模块利用第一图像和第三图像作为成对的训练样本对初始图像去噪网络进行训练，得到训练后的新建图像去噪网络，利用该信件图像去噪网络将有噪声的原始图像转换为无噪声的新建图像。由此，可通过对不对称训练集进行训练，得到用于实现将低分辨率图像转换为高分辨率图像的图像去噪网络，提升图像超分辨率效果。
为达到上述目的，本发明第五方面实施例提出一种图像超分去噪方法，所述方法包括以下步骤：分别获取图像内容不同的无噪声的第一参考图像和具有真实噪声的第二参考图像；对第一参考图像进行裁剪或缩放得到第三参考图像，对第二参考图像进行裁剪或缩放处理得到第四参考图像；利用所述第三参考图像和所述第四参考图像对初始噪声生成网络和鉴别网络进行交替迭代训练得到新建噪声生成网络；将所述第一参考图像转化为第一训练样本图像，将所述第一训练样本图像输入到新建噪声生成网络，输出第二训练样本图像，其中，所述第一参考图像的分辨率大于所述第一训练样本图像的分辨率，所述第二训练样本图像的分辨率与第一训练样本图像的分辨率相同；将所述第一参考图像和所述第二训练样本图像作为成对的训练样本，对初始图像超分去噪网络进行训练，得到训练后的新建图像超分去噪网络；其中，所述新建图像超分去噪网络被配置为将有噪声的具有第一分辨率的原始图像转换为无噪声的具有第二分辨率的新建图像，所述第一分辨率小于第二分辨率。
本发明实施例的图像超分去噪方法，通过分别获取图像内容不同的无噪声的第一图像和具有真实噪声的第二图像，并利用第一图像和第二图像对初始噪声生成网络和鉴别网络进行交替迭代训练得到新建噪声生成网络，从而将第一图像转化为第一训练样本图像，将第一训练样本图像输入到新建噪声生成网络，输出第二训练样本图像，进而将第一图像和第二训练样本图像作为成对的训练样本，对初始图像超分去噪网络进行训练，得到训练后的新建图像超分去噪网络，通过该新建图像超分去噪网络，将有噪声的原始图像转换为无噪声的新建图像。由此，可通过对不对称训练集进行训练，得到用于实现将低分辨率图像转换为高分辨率图像的图像去噪网络，提升图像超分辨率效果。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
图1是本发明一个实施例的图像去噪方法的流程图；
图2是本发明另一个实施例的图像去噪方法的流程图；
图3是本发明又一个实施例的图像去噪方法的流程图；
图4是本发明一个实施例的图像处理过程的示意图；
图5是本发明一个示例的不成对训练图片；
图6是本发明一个示例的输入训练好的图像去噪网络的低分辨率图像；
图7是本发明一个示例的训练好的图像去噪网络输出的高分辨率图像；
图8是本发明实施例的图像去噪装置的结构框图；
图9是本发明一个实施例的图像超分去噪方法的流程图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参考附图1-9描述本发明实施例的图像去噪方法、装置以及电子设备、图像超分去噪方法。
图1是本发明一个实施例的图像去噪方法的流程图。
如图1所示，图像去噪方法包括以下步骤：
S11,分别获取图像内容不同的无噪声的第一图像和具有真实噪声的第二图像。
具体地，如图4所示，分别获取图像内容不同的无噪声的第一图像和具有真实噪声的第二图像，可包括：分别获取图像内容不同的无噪声的第四图像和具有真实噪声的第五图像，并对第四图像进行裁切或缩放处理得到第一图像，对第五图像进行裁切或缩放处理得到第二图像，以将第一图像和第二图像作为不成对训练样本。该获取过程可如图5所示。
具体而言，将无噪声的第四图像裁切成无噪声的第一图像，将具有真实噪声的第五图像裁切成具有真实噪声的第二图像，例如，可以是将10000张1024*1024的大图裁切成160000张256*256的小图，即每张高分辨率大图可裁切成16张256*256的低分辨率小图。将无噪声的第四图像缩放为无噪声的第一图像，将具有真实噪声的第五图像缩放为具有真实噪声的第二图像，例如，可以是将160000张1024*1024的大图缩放成160000张256*256的小图。
应当理解，裁切即在图像中随机位置取固定大小(如128，256，512)的图像块，既保证了图像内容分辨率不变，也比缩放图像的方式获得更多的训练样本。由此，为了得到相同数量的小图(即第一图像和第二图像)，相较于该缩小处理，上述的裁切处理，所需处理的大图(即第四图像和第五图像)数量少，处理速度更快，效率更高。
S12,利用第一图像和第二图像对初始噪声生成网络和鉴别网络进行交替迭代训练得到新建噪声生成网络。
其中，鉴别网络可为VGG(Visual Geometry Group，视觉几何图形编组)网络或者Resnet(残差网络)网络，也可为其他网络。训练初始噪声生成网络的目的是，使初始噪声生成网络生成的具有模拟噪声的第三图像可以骗过鉴别网络使鉴别网络无法判断初始噪声生成网络生成的第三图像是真还是假，从而使生成的模拟噪声更接近真实噪声的分布；训练鉴别网络的目的是，使鉴别网络可以发现具有模拟噪声的第三图像和具有真实噪声的第二图像并不是一张图片。初始噪声生成网络训练阶段和鉴别网络训练阶段交替进行。例如，可以先进行初始噪声生成网络训练阶段，再进行鉴别网络训练阶段，再不断重复上述过程。需要说明的是第N次被训练的初始噪声生成网络是对第N-1被训练的初始噪声生成网络进行参数调整后得到的,第N次被训练的鉴别网络是对第N-1被训练的鉴别网络进行参数调整后得到的,其中N是大于等于2的整数。
作为一个示例，如图2所示，上述初始噪声生成网络训练阶段包括以下步骤：
S21，将第一图像输入初始噪声生成网络，以获得具有模拟噪声的第一生成图像。
可选地，初始噪声生成网络在上述第一图像中加入的模拟噪声可为高斯噪声，也可通过高斯模糊、上下采样等方式加入模拟噪声。
S22，将第一生成图像输入到鉴别网络得到第一鉴别结果。
具体地，如图5所示，将第一生成图像输入到高斯高通滤波器得到第一中间图像，进而将第一中间图像输入到鉴别网络得到第一鉴别结果。
S23，根据第一图像、第一生成图像和第一鉴别结果得到第一损失。
其中，第一损失包括颜色损失、感知损失、纹理损失。颜色损失，只在低频上衡量，使得加入模拟噪声的第三图像与无噪声的第一图像是一幅图；感知损失，在全频上衡量，即衡量图像高频与低频的紧密联系；纹理损失，在高频上，用以衡量生成的模拟噪声符合真实噪声的分布。
具体地，将第一图像、第一生成图像分别输入高斯低通滤波器得到第一滤波图像、第一生成滤波图像，进而根据第一滤波图像和第一生成滤波图像得到颜色损失。
作为一个示例，可以根据公式
Figure BDA0002602903720000071
计算颜色损失。
其中，Lcol为颜色损失，FL表示高斯低通滤波得到的高频特征，n表示训练时一次迭代输入的图片数，i的取值范围是[1，n]，x(i)表示输入的第i个第一图像，G表示噪声生成网络。
可以根据公式
Figure BDA0002602903720000072
计算纹理损失。
其中，Ltex为纹理损失，n表示训练时一次迭代输入的图片数，FH表示高斯高通滤波得到的低频特征，D表示鉴别网络。
可选地，可以将VGG损失作为感知损失，即将输入输出图像分别输入VGG网络，将VGG网络的某几层特征图拿出来做损失，例如，可以使用公式
Figure BDA0002602903720000073
计算感知损失，其中，j表示VGG网络的第j层，1/CjHjWj表示第j层网络的特征图的尺寸，y与
Figure BDA0002602903720000074
均表示将输入图像进行图像转换后得到的风格图像，Ф表示VGG网络。
进而，根据公式LG＝Lcol+αLtex+βLper计算第一损失。
其中，LG为第一损失，Lper为感知损失。
S24，根据第一损失对初始噪声生成网络进行参数调整。
需要说明的是，上述初始噪声生成网络包括12个残差子网络，其中，残差子网络包括第一卷积层和第二卷积层，第一卷积层的输入端为残差子网络的输入端，第一卷积层的输出端进行Relu激活处理后，连接至第二卷积层的输入端，第二卷积层的输出端作为残差子网络的输出端，且残差子网络的输入端和输出端连接。
进一步地，进行鉴别网络训练阶段。作为一个示例，如图3所示，上述鉴别网络训练阶段包括以下步骤：
S31，将第一图像输入到参数调整后的初始噪声生成网络，输出具有模拟噪声的第二生成图像。
S32，将第二生成图像输入到鉴别网络得到第二鉴别结果。
具体地，将第二生成图像输入到高斯高通滤波器得到第二中间图像，进而将第二中间图像输入到鉴别网络得到第二鉴别结果。
S33，将第二图像输入到鉴别网络得到第三鉴别结果。
具体地，将第二图像输入到高斯高通滤波器得到第三中间图像，进而将第三中间图像输入到鉴别网络得到第三鉴别结果。
S34，根据第二鉴别结果和第三鉴别结果得到第二损失。
具体地，根据公式
Figure BDA0002602903720000081
计算第二损失。
其中，LD为第二损失，y(i)表示输入的第i个第二图像。
S35，根据第二损失对所述鉴别网络进行参数调整。
进一步地，重复上述初始噪声生成网络训练阶段和鉴别网络训练阶段，直到鉴别网络的第二损失满足预设条件，此时具有模拟噪声的第三图像可以“骗过”鉴别网络。
需要说明的是，上述的高斯低通滤波器和高斯高通滤波器是为了将图像的高低频信息分离，有针对性的进行约束。上述的噪声生成网络和鉴别网络的内部结构均可根据需要进行设计，但噪声生成网络+鉴别网络的整体对抗结构需要保持。
S13,将第一图像输入新建噪声生成网络，输出具有模拟噪声的第三图像。
S14,利用第一图像和第三图像作为成对的训练样本对初始图像去噪网络进行训练，得到训练后的新建图像去噪网络。
具体地，如图5所示，由于鉴别通过的具有模拟噪声的第三图像更接近具有真实噪声的第二图像，因此将无噪声的第一图像和鉴别通过的具有模拟噪声的第三图像作为成对的训练样本，输入图像去噪网络进行训练，得到训练好的图像去噪网络，该图像去噪网络不仅可提升具有真实噪声的图像的清晰度，还可减轻超分辨率伪影的问题。
进一步地，利用上述新建图像去噪网络将有噪声的原始图像转换为无噪声的新建图像。
作为一个示例，向上述新建图像去噪网络中输入图6所示的低分辨率图(即有噪声的原始图像)，该图像去噪网络可输出高分辨率图(即无噪声的新建图像)如图7所示，可以明显的看出，相对于图6，图7的图像清晰度与超分辨率伪影均有了较好的改善。
综上，本发明实施例的图像去噪方法，通过对不对称训练集进行训练，得到用于实现将低分辨率图像转换为高分辨率图像的图像去噪网络，通过该网络提升图像超分辨率效果。
进一步地，本发明提出一种计算机可读存储介质。
本发明实施例的计算机可读存储介质，其上存储有图像去噪程序，该图像去噪程序被处理器执行时实现上述的图像去噪方法。
本发明实施例的计算机可读存储介质，在其上存储的图像去噪程序被处理器执行时，可通过对不对称训练集进行训练，得到用于实现将低分辨率图像转换为高分辨率图像的图像去噪网络，提升图像超分辨率效果。
进一步地，本发明提出一种电子设备。
本发明实施例的电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的图像去噪程序，处理器执行图像去噪程序时，实现上述的图像去噪方法。
本发明实施例的电子设备，通过实现上述的图像去噪方法，可通过对不对称训练集进行训练，得到用于实现将低分辨率图像转换为高分辨率图像的图像去噪网络，提升图像超分辨率效果。
图8是本发明实施例的图像去噪装置的结构框图。
如图8所示，该图像去噪装置100包括第一获取模块101、第一训练模块102、第二获取模块103、第二训练模块104。
具体地，第一获取模块101，用于分别获取图像内容不同的无噪声的第一图像和具有真实噪声的第二图像；第一训练模块102，用于利用第一图像和第二图像对初始噪声生成网络和鉴别网络进行交替迭代训练得到新建噪声生成网络；第二获取模块103，用于将第一图像输入新建噪声生成网络，输出具有模拟噪声的第三图像；第二训练模块104，用于利用第一图像和第三图像作为成对的训练样本对初始图像去噪网络进行训练，得到训练后的新建图像去噪网络；其中，新建图像去噪网络被配置为将有噪声的原始图像转换为无噪声的新建图像。
该图像去噪装置，通过对不对称训练集进行训练，得到用于实现将低分辨率图像转换为高分辨率图像的图像去噪网络，提升图像超分辨率效果。
在本发明一个实施例中，第一获取模块101具体用于：分别获取图像内容不同的无噪声的第四图像和具有真实噪声的第五图像；对第四图像进行裁切或缩放处理得到第一图像，并对第五图像进行裁切或缩放处理得到第二图像，以将第一图像和第二图像作为不成对训练样本。
在本发明一个实施例中，第一训练模块102具体用于：将第一图像输入初始噪声生成网络，以获得具有模拟噪声的第一生成图像；将第一生成图像输入到鉴别网络得到第一鉴别结果；根据第一图像、第一生成图像和第一鉴别结果得到第一损失；根据第一损失对初始噪声生成网络进行参数调整。
第一训练模块102还可用于：将第一图像输入到参数调整后的初始噪声生成网络，输出具有模拟噪声的第二生成图像；将第二生成图像输入到鉴别网络得到第二鉴别结果；将第二图像输入到鉴别网络得到第三鉴别结果；根据第二鉴别结果和第三鉴别结果得到第二损失；根据第二损失对鉴别网络进行参数调整。
其中，上述初始噪声生成网络训练阶段和上述鉴别网络训练阶段交替进行。
在本发明一个实施例中，第一训练模块102还可用于：将第一生成图像输入到高斯高通滤波器得到第一中间图像；将第一中间图像输入到鉴别网络得到第一鉴别结果。
第一训练模块102还可用于：将第二生成图像输入到高斯高通滤波器得到第二中间图像；将第二中间图像输入到鉴别网络得到第二鉴别结果。
第一训练模块102还可用于：将第二图像输入到高斯高通滤波器得到第三中间图像；将第三中间图像输入到鉴别网络得到第三鉴别结果。
在本发明一个实施例中，第一训练模块102还可用于：将第一图像、第一生成图像分别输入高斯低通滤波器得到第一滤波图像、第一生成滤波图像；根据第一滤波图像和第一生成滤波图像得到颜色损失。
进一步地，第一损失通过下式计算得到：
LG＝Lcol+αLtex+βLper，
Figure BDA0002602903720000101
Figure BDA0002602903720000102
其中，LG为第一损失，Lcol为颜色损失，Ltex为纹理损失，Lper为感知损失，n表示训练时一次迭代输入的图片数，FL表示高斯低通滤波得到的高频特征，x表示第一图像，FH表示高斯高通滤波得到的低频特征，D表示鉴别网络，G表示噪声生成网络。
在本发明一个实施例中，第一训练模块102还可用于：通过下式计算第二损失：
Figure BDA0002602903720000103
其中，LD为第二损失，y表示第二图像。
需要说明的是，本发明实施例的图像去噪装置的其他具体实施方式，可以参见上述实施例的图像去噪方法。
综上，本发明实施例的图像去噪装置，通过不对称训练集上的超分辨率算法，将超分辨率算法应用于未知退化模型的低分辨率图像，改善真实场景中的超分辨率效果，提升画质清晰度。
图9是本发明一个实施例的图像超分去噪方法的流程图。
如图9所示，图像超分去噪方法包括以下步骤：
S41，分别获取图像内容不同的无噪声的第一参考图像和具有真实噪声的第二参考图像。
S42，对第一参考图像进行裁剪或缩放得到第三参考图像，对第二参考图像进行裁剪或缩放处理得到第四参考图像。
S43，利用第三参考图像和第四参考图像对初始噪声生成网络和鉴别网络进行交替迭代训练得到新建噪声生成网络。
其中，初始噪声生成网络训练阶段包括：将第三参考图像输入初始噪声生成网络，以获得具有模拟噪声的第一参考生成图像；将第一参考生成图像输入到鉴别网络得到第一参考鉴别结果；根据第三参考图像、第一参考生成图像和第一参考鉴别结果得到第一损失；根据第一损失对初始噪声生成网络进行参数调整。鉴别网络训练阶段包括：将第三参考图像输入到参数调整后的初始噪声生成网络，输出具有模拟噪声的第二参考生成图像；将第二参考生成图像输入到鉴别网络得到第二参考鉴别结果；将第四参考图像输入到鉴别网络得到第三参考鉴别结果；根据第二参考鉴别结果和第三参考鉴别结果得到第二损失；根据第二参考损失对鉴别网络进行参数调整。
需要说明的是，上述初始噪声生成网络包括12个残差子网络，其中，残差子网络包括第一卷积层和第二卷积层，第一卷积层的输入端为残差子网络的输入端，第一卷积层的输出端进行Relu激活处理后，连接至第二卷积层的输入端，第二卷积层的输出端作为残差子网络的输出端，且残差子网络的输入端和输出端连接。上述初始噪声生成网络训练阶段和上述鉴别网络训练阶段交替进行。上述将第一参考生成图像输入到鉴别网络得到第一参考鉴别结果，包括：将第一参考生成图像输入到高斯高通滤波器得到第一参考中间图像；将第一参考中间图像输入到鉴别网络得到第一参考鉴别结果；上述将第二参考生成图像输入到鉴别网络得到第二参考鉴别结果，包括：将第二参考生成图像输入到所述高斯高通滤波器得到第二参考中间图像；将第二参考中间图像输入到鉴别网络得到第二参考鉴别结果；上述将第四参考参考图像输入到鉴别网络得到第三参考鉴别结果，包括：将第四参考图像输入到高斯高通滤波器得到第三参考中间图像；将第三参考中间图像输入到鉴别网络得到第三参考鉴别结果。
上述第一损失通过下式计算得到：
LG＝Lcol+αLtex+βLper，
Figure BDA0002602903720000111
Figure BDA0002602903720000112
其中，LG为第一损失，Lcol为颜色损失，Ltex为纹理损失，Lper为感知损失，n表示训练时一次迭代输入的图片数，FL表示高斯低通滤波得到的高频特征，x表示第三参考图像，FH表示高斯高通滤波得到的低频特征，D表示鉴别网络，G表示噪声生成网络。
上述颜色损失的获得方法，具体为：将第三参考图像、第一参考生成图像分别输入高斯低通滤波器得到第一参考滤波图像、第一参考生成滤波图像；根据第一参考滤波图像和第一参考生成滤波图像得到颜色损失。
上述第二损失通过下式计算得到：
Figure BDA0002602903720000113
其中，LD为所述第二损失，y表示第四参考图像。
S44，将第一参考图像转化为第一训练样本图像，将第一训练样本图像输入到新建噪声生成网络，输出第二训练样本图像，其中，第一参考图像的分辨率大于第一训练样本图像的分辨率，第二训练样本图像的分辨率与第一训练样本图像的分辨率相同。
其中，上述将第一参考图像转化为第一训练样本图像的方法可以为下采样处理，例如，可以对无噪声的第一参考图像进行下采样得到第五参考图像，并将第五参考图像输入如图5所示的噪声生成模型G，获得具有模拟噪声的第三参考生成图像。此具有模拟噪声的第三参考生成图像与无噪声的第一参考图像是成对训练数据，可以用于训练超分辨率去噪网络。
S45，将第一参考图像和第二训练样本图像作为成对的训练样本，对初始图像超分去噪网络进行训练，得到训练后的新建图像超分去噪网络。
进一步地，将新建图像超分去噪网络配置为将有噪声的具有第一分辨率的原始图像转换为无噪声的具有第二分辨率的新建图像。其中，第一分辨率小于第二分辨率。
综上，本发明实施例的图像超分去噪方法，通过对不对称训练集进行训练，得到用于实现将低分辨率图像转换为高分辨率图像的图像去噪网络，提升图像超分辨率效果。
需要说明的是，在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行***、装置或设备(如基于计算机的***、包括处理器的***或其他可以从指令执行***、装置或设备取指令并执行指令的***)使用，或结合这些指令执行***、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行***、装置或设备或结合这些指令执行***、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (12)

1.一种图像去噪方法，其特征在于，包括以下步骤：
分别获取图像内容不同的无噪声的第一图像和具有真实噪声的第二图像；
利用所述第一图像和所述第二图像对初始噪声生成网络和鉴别网络进行交替迭代训练得到新建噪声生成网络；
将所述第一图像输入所述新建噪声生成网络，输出具有模拟噪声的第三图像；
利用所述第一图像和所述第三图像作为成对的训练样本对初始图像去噪网络进行训练，得到训练后的新建图像去噪网络；
其中，新建图像去噪网络被配置为将有噪声的原始图像转换为无噪声的新建图像。
2.如权利要求1所述的图像去噪方法，其特征在于，所述分别获取图像内容不同的无噪声的第一图像和具有真实噪声的第二图像，包括：
分别获取图像内容不同的无噪声的第四图像和具有真实噪声的第五图像；
对所述第四图像进行裁切或缩放处理得到所述第一图像，并对所述第五图像进行裁切或缩放处理得到所述第二图像，以将所述第一图像和所述第二图像作为不成对训练样本。
3.如权利要求1所述的图像去噪方法，其特征在于，所述利用所述第一图像和所述第二图像对初始噪声生成网络和鉴别网络进行交替迭代训练得到新建噪声生成网络，包括：
初始噪声生成网络训练阶段和鉴别网络训练阶段交替进行；
所述初始噪声生成网络训练阶段包括：
将所述第一图像输入所述初始噪声生成网络，以获得具有模拟噪声的第一生成图像；
将所述第一生成图像输入到所述鉴别网络得到第一鉴别结果；
根据所述第一图像、所述第一生成图像和所述第一鉴别结果得到第一损失；
根据所述第一损失对所述初始噪声生成网络进行参数调整；
所述鉴别网络训练阶段包括：
将所述第一图像输入到参数调整后的初始噪声生成网络，输出具有模拟噪声的第二生成图像；
将所述第二生成图像输入到所述鉴别网络得到第二鉴别结果；
将所述第二图像输入到所述鉴别网络得到第三鉴别结果；
根据所述第二鉴别结果和所述第三鉴别结果得到第二损失；
根据所述第二损失对所述鉴别网络进行参数调整。
4.如权利要求3所述的图像去噪方法，其特征在于，
所述将所述第一生成图像输入到所述鉴别网络得到第一鉴别结果，包括：
将所述第一生成图像输入到高斯高通滤波器得到第一中间图像；
将所述第一中间图像输入到所述鉴别网络得到所述第一鉴别结果；
所述将所述第二生成图像输入到所述鉴别网络得到第二鉴别结果，包括：
将所述第二生成图像输入到所述高斯高通滤波器得到第二中间图像；
将所述第二中间图像输入到所述鉴别网络得到第二鉴别结果；
所述将所述第二图像输入到所述鉴别网络得到所述第三鉴别结果，包括：
将所述第二图像输入到所述高斯高通滤波器得到第三中间图像；
将所述第三中间图像输入到所述鉴别网络得到所述第三鉴别结果。
5.如权利要求3所述的图像去噪方法，其特征在于，所述第一损失包括颜色损失、感知损失和纹理损失，所述颜色损失的获得方法，包括：
将所述第一图像、所述第一生成图像分别输入高斯低通滤波器得到第一滤波图像、第一生成滤波图像；
根据所述第一滤波图像和所述第一生成滤波图像得到所述颜色损失。
6.如权利要求5所述的图像去噪方法，其特征在于，所述第一损失通过下式计算得到：
LG＝Lcol+αLtex+βLper，
Figure FDA0002602903710000021
其中，LG为所述第一损失，Lcol为所述颜色损失，Ltex为所述纹理损失，Lper为所述感知损失，n表示训练时一次迭代输入的图片数，FL表示高斯低通滤波得到的高频特征，x表示第一图像，FH表示高斯高通滤波得到的低频特征，D表示鉴别网络，G表示噪声生成网络。
7.如权利要求6所述的图像去噪方法，其特征在于，所述第二损失通过下式计算得到：
Figure FDA0002602903710000022
其中，LD为所述第二损失，y表示第二图像。
8.如权利要求1所述的图像去噪方法，其特征在于，所述初始噪声生成网络包括12个残差子网络，其中，所述残差子网络包括第一卷积层和第二卷积层，所述第一卷积层的输入端为所述残差子网络的输入端，所述第一卷积层的输出端进行Relu激活处理后，连接至所述第二卷积层的输入端，所述第二卷积层的输出端作为所述残差子网络的输出端，且所述残差子网络的输入端和输出端连接。
9.一种计算机可读存储介质，其特征在于，其上存储有图像去噪程序，该图像去噪程序被处理器执行时实现如权利要求1-8中任一项所述的图像去噪方法。
10.一种电子设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的图像去噪程序，所述处理器执行所述图像去噪程序时，实现如权利要求1-8中任一项所述的图像去噪方法。
11.一种图像去噪装置，其特征在于，包括：
第一获取模块，用于分别获取图像内容不同的无噪声的第一图像和具有真实噪声的第二图像；
第一训练模块，用于利用所述第一图像和所述第二图像对初始噪声生成网络和鉴别网络进行交替迭代训练得到新建噪声生成网络；
第二获取模块，用于将所述第一图像输入所述新建噪声生成网络，输出具有模拟噪声的第三图像；
第二训练模块，用于利用所述第一图像和所述第三图像作为成对的训练样本对初始图像去噪网络进行训练，得到训练后的新建图像去噪网络；
其中，所述新建图像去噪网络被配置为将有噪声的原始图像转换为无噪声的新建图像。
12.一种图像超分去噪方法，其特征在于，包括以下步骤：
分别获取图像内容不同的无噪声的第一参考图像和具有真实噪声的第二参考图像；
对第一参考图像进行裁剪或缩放得到第三参考图像，对第二参考图像进行裁剪或缩放处理得到第四参考图像；
利用所述第三参考图像和所述第四参考图像对初始噪声生成网络和鉴别网络进行交替迭代训练得到新建噪声生成网络；
将所述第一参考图像转化为第一训练样本图像，将所述第一训练样本图像输入到新建噪声生成网络，输出第二训练样本图像，其中，所述第一参考图像的分辨率大于所述第一训练样本图像的分辨率，所述第二训练样本图像的分辨率与第一训练样本图像的分辨率相同；
将所述第一参考图像和所述第二训练样本图像作为成对的训练样本，对初始图像超分去噪网络进行训练，得到训练后的新建图像超分去噪网络；
其中，所述新建图像超分去噪网络被配置为将有噪声的具有第一分辨率的原始图像转换为无噪声的具有第二分辨率的新建图像，所述第一分辨率小于第二分辨率。
CN202010729938.2A 2020-07-27 2020-07-27 图像去噪方法、装置以及电子设备、图像超分去噪方法 Pending CN111861930A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010729938.2A CN111861930A (zh) 2020-07-27 2020-07-27 图像去噪方法、装置以及电子设备、图像超分去噪方法
US17/355,938 US11721000B2 (en) 2020-07-27 2021-06-23 Image denoising method and apparatus, electronic device and non-transitory computer readalble storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010729938.2A CN111861930A (zh) 2020-07-27 2020-07-27 图像去噪方法、装置以及电子设备、图像超分去噪方法

Publications (1)

Publication Number Publication Date
CN111861930A true CN111861930A (zh) 2020-10-30

Family

ID=72947186

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010729938.2A Pending CN111861930A (zh) 2020-07-27 2020-07-27 图像去噪方法、装置以及电子设备、图像超分去噪方法

Country Status (2)

Country Link
US (1) US11721000B2 (zh)
CN (1) CN111861930A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113516238A (zh) * 2020-11-25 2021-10-19 阿里巴巴集团控股有限公司 一种模型训练方法、去噪方法、模型、设备及存储介质
CN113538223A (zh) * 2021-07-28 2021-10-22 维沃移动通信有限公司 噪声图像生成方法、装置、电子设备及存储介质
CN115034972A (zh) * 2021-12-24 2022-09-09 广东东软学院 图像去噪方法、装置及设备

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115457568B (zh) * 2022-09-20 2023-06-16 吉林大学 一种基于生成对抗网络的历史文档图像降噪方法及***
CN116385280B (zh) * 2023-01-09 2024-01-23 爱芯元智半导体(上海)有限公司 一种图像降噪***、方法及降噪神经网络训练方法
CN117290669B (zh) * 2023-11-24 2024-02-06 之江实验室 基于深度学习的光纤温度传感信号降噪方法、装置和介质
CN117541501B (zh) * 2024-01-09 2024-05-31 清华大学 扫描光场自监督网络去噪方法、装置、电子设备及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180075581A1 (en) * 2016-09-15 2018-03-15 Twitter, Inc. Super resolution using a generative adversarial network
CN109636746A (zh) * 2018-11-30 2019-04-16 上海皓桦科技股份有限公司 图像噪声去除***、方法及设备
CN110223254A (zh) * 2019-06-10 2019-09-10 大连民族大学 一种基于对抗生成网络的图像去噪方法
CN110288547A (zh) * 2019-06-27 2019-09-27 北京字节跳动网络技术有限公司 用于生成图像去噪模型的方法和装置
CN110490804A (zh) * 2019-08-14 2019-11-22 西安工程大学 一种基于生成对抗网络的生成超分辨图像的方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10504004B2 (en) * 2016-09-16 2019-12-10 General Dynamics Mission Systems, Inc. Systems and methods for deep model translation generation
US10937540B2 (en) * 2017-12-21 2021-03-02 International Business Machines Coporation Medical image classification based on a generative adversarial network trained discriminator
US10540578B2 (en) * 2017-12-21 2020-01-21 International Business Machines Corporation Adapting a generative adversarial network to new data sources for image classification
CN110827216B (zh) * 2019-10-23 2023-07-14 上海理工大学 图像去噪的多生成器生成对抗网络学习方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180075581A1 (en) * 2016-09-15 2018-03-15 Twitter, Inc. Super resolution using a generative adversarial network
CN109636746A (zh) * 2018-11-30 2019-04-16 上海皓桦科技股份有限公司 图像噪声去除***、方法及设备
CN110223254A (zh) * 2019-06-10 2019-09-10 大连民族大学 一种基于对抗生成网络的图像去噪方法
CN110288547A (zh) * 2019-06-27 2019-09-27 北京字节跳动网络技术有限公司 用于生成图像去噪模型的方法和装置
CN110490804A (zh) * 2019-08-14 2019-11-22 西安工程大学 一种基于生成对抗网络的生成超分辨图像的方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113516238A (zh) * 2020-11-25 2021-10-19 阿里巴巴集团控股有限公司 一种模型训练方法、去噪方法、模型、设备及存储介质
CN113538223A (zh) * 2021-07-28 2021-10-22 维沃移动通信有限公司 噪声图像生成方法、装置、电子设备及存储介质
WO2023005818A1 (zh) * 2021-07-28 2023-02-02 维沃移动通信有限公司 噪声图像生成方法、装置、电子设备及存储介质
CN115034972A (zh) * 2021-12-24 2022-09-09 广东东软学院 图像去噪方法、装置及设备

Also Published As

Publication number Publication date
US11721000B2 (en) 2023-08-08
US20220028041A1 (en) 2022-01-27

Similar Documents

Publication Publication Date Title
CN111861930A (zh) 图像去噪方法、装置以及电子设备、图像超分去噪方法
CN108122197B (zh) 一种基于深度学习的图像超分辨率重建方法
US6754398B1 (en) Method of and system for image processing and recording medium for carrying out the method
CN103871041B (zh) 基于认知正则化参数构建的图像超分辨率重构方法
JP3995854B2 (ja) 画像処理方法および装置並びに記録媒体
CN107341765B (zh) 一种基于卡通纹理分解的图像超分辨率重建方法
US8041142B2 (en) Method and device for reconstructing images
CN111598778A (zh) 一种绝缘子图像超分辨率重建方法
Mandal et al. Noise adaptive super-resolution from single image via non-local mean and sparse representation
CN113538246B (zh) 基于无监督多阶段融合网络的遥感图像超分辨率重建方法
CN108416736B (zh) 一种基于二次锚点邻域回归的图像超分辨率重建方法
CN110866870B (zh) 一种医学图像任意倍数放大的超分辨处理方法
Chen et al. Enhancement and recovery in atomic force microscopy images
CN112330548A (zh) 基于多尺度融合的水下图像修复方法、装置、设备及介质
Lepcha et al. An efficient medical image super resolution based on piecewise linear regression strategy using domain transform filtering
JP2001167264A (ja) 画像処理方法および装置並びに記録媒体
Jindal et al. A novel image zooming technique using wavelet coefficients
CN116068468B (zh) 时域***矩阵联合x-space的MPI重建方法
Getreuer Contour stencils for edge-adaptive image interpolation
KR101341617B1 (ko) 단일 영상의 오차모델을 기반으로 한 고해상도 영상 복원장치 및 방법
CN107767342B (zh) 一种基于积分平差模型的小波变换超分辨率图像重建方法
Ye et al. Four image interpolation techniques for ultrasound breast phantom data acquired using Fischer's full field digital mammography and ultrasound system (FFDMUS): a comparative approach
CN115272067A (zh) 一种基于神经网络的激光雷达三维距离像超分辨率重建方法
CN111223044B (zh) 基于密集连接网络的全色图像与多光谱图像融合的方法
Chavez et al. Super resolution imaging via sparse interpolation in wavelet domain with implementation in DSP and GPU

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination