CN111986114A - 一种基于自监督约束的双尺度图像盲去噪方法及*** - Google Patents

一种基于自监督约束的双尺度图像盲去噪方法及*** Download PDF

Info

Publication number
CN111986114A
CN111986114A CN202010847027.XA CN202010847027A CN111986114A CN 111986114 A CN111986114 A CN 111986114A CN 202010847027 A CN202010847027 A CN 202010847027A CN 111986114 A CN111986114 A CN 111986114A
Authority
CN
China
Prior art keywords
scale
image
small
noise
self
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010847027.XA
Other languages
English (en)
Other versions
CN111986114B (zh
Inventor
潘金山
王迪
唐金辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN202010847027.XA priority Critical patent/CN111986114B/zh
Publication of CN111986114A publication Critical patent/CN111986114A/zh
Application granted granted Critical
Publication of CN111986114B publication Critical patent/CN111986114B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于自监督约束的双尺度图像盲去噪方法及***。该方法包括：根据小尺度的噪声图像和大尺度的噪声图像，构建双尺度的边缘保持自监督约束、双尺度的背景一致性自监督约束和双尺度的结构相似性注意力自监督约束，以各自监督约束为约束条件，根据小尺度的噪声图像数据集和大尺度的噪声图像数据集训练盲去噪网络，通过训练后的盲去噪网络实现噪声图像的自监督去噪。

Description

一种基于自监督约束的双尺度图像盲去噪方法及***
技术领域
本发明涉及图像去噪技术领域，特别是涉及一种基于自监督约束的双尺度图像盲去噪方法及***。
背景技术
人们观测到的图像大多都是通过数字成像设备获取的，在成像的过程中由于外部光线和设备内部元器件的干扰，原始清晰图像在传输和压缩的过程中容易遭受噪声的退化，导致观测到的图像往往是噪声图像。因此，图像去噪算法成为当前的一个重要的研究热点。
目前的图像去噪算法主要分为两大类，一类是基于图像先验的传统去噪方法，另一类是基于深度学习的图像去噪方法。传统去噪方法主要涉及到结构自相似性、稀疏表示、字典编码以及马尔科夫随机场等图像先验知识，它们致力于处理特定的加性高斯白噪声，严重依赖于给定的噪声强度，对于未知噪声强度的真实图像泛化性能较差。基于深度学习的图像去噪方法作为目前主流的图像去噪方法已经缓解了传统去噪方法的不足。在给定合成/真实噪声数据集的条件下，基于深度学习的图像去噪方法通过设计合理的卷积神经网络学习噪声的内在统计特性，最终达到去除噪声的目的。
发明内容
基于此，本发明的目的是提供一种基于自监督约束的双尺度图像盲去噪方法及***，根据噪声图像的不同尺度，构建双尺度的边缘保持自监督约束、双尺度的背景一致性自监督约束和双尺度的结构相似性注意力自监督约束，实现噪声图像的自监督去噪。
为实现上述目的，本发明提供了如下方案：
一种基于自监督约束的双尺度图像盲去噪方法，所述方法包括：
获取噪声图像数据集；
在所述数据集的各噪声图像上随机裁剪设定数量以及设定尺寸的大尺度噪声图像，所述大尺度噪声图像构成大尺度噪声图像数据集；
对各大尺度噪声图像进行设定尺度的下采样得到小尺度噪声图像，所述小尺度噪声图像构成小尺度噪声图像数据集；
根据所述小尺度噪声图像和小尺度去噪图像的梯度和均方误差构建小尺度的边缘保持自监督约束；根据所述大尺度噪声图像和大尺度去噪图像的梯度和均方误差构建大尺度的边缘保持自监督约束；
根据所述小尺度噪声图像和所述小尺度去噪图像的背景一致性构建小尺度的背景一致性自监督约束；根据所述大尺度噪声图像和所述大尺度去噪图像的背景一致性构建大尺度的背景一致性自监督约束；
根据所述小尺度噪声图像和所述小尺度去噪图像的结构相似性构建小尺度的结构相似性注意力自监督约束；根据所述大尺度噪声图像和所述大尺度去噪图像的结构相似性构建大尺度的结构相似性注意力自监督约束；
采用所述大尺度噪声图像数据集和所述小尺度噪声图像数据集，以所述小尺度的边缘保持自监督约束、所述大尺度的边缘保持自监督约束、所述小尺度的背景一致性自监督约束、所述大尺度的背景一致性自监督约束、所述小尺度的结构相似性注意力自监督约束和所述大尺度的结构相似性注意力自监督约束为约束条件，以所述小尺度噪声图像作为盲去噪网络的第一次输入，小尺度去噪图像作为所述盲去噪网络的第一次输出，合并图像作为所述盲去噪网络的第二次输入，大尺度去噪图像为所述盲去噪网络的第二次输出，训练所述盲去噪网络；所述合并图像为所述小尺度去噪图像的放大图和与所述小尺度噪声图像对应的大尺度噪声图像合并后的图像；所述放大图为所述小尺度去噪图像进行所述设定尺度的上采样确定的；
根据训练后的所述盲去噪网络对待去噪的图像进行去噪。
可选地，所述盲去噪网络包括噪声估计子网络和非盲去噪子网络；所述训练盲去噪网络具体包括：
以所述小尺度噪声图像作为噪声估计子网络的第一次输入，所述小尺度噪声图像的噪声强度图和第一去噪图像作为所述噪声估计子网络的第一次输出，所述噪声估计子网络的第一次输出作为非盲去噪子网络的第一次输入，所述小尺度去噪图像作为所述非盲去噪子网络的第一次输出，所述合并图像作为所述噪声估计子网络的第二次输入，所述合并图像的噪声强度图和第二去噪图像作为所述噪声估计子网络的第二次输出，所述噪声估计子网络的第二次输出作为所述非盲去噪子网络的第二次输入，所述大尺度去噪图像为所述非盲去噪子网络的第二次输出；
所述第一去噪图像为所述小尺度噪声图像去除噪声强度后的图像；所述第二去噪图像为所述合并图像去除噪声强度后的图像。
可选地，所述小尺度的边缘保持自监督约束的表达式为
Figure BDA0002643400390000031
图像，
Figure BDA0002643400390000032
表示所述小尺度噪声图像，
Figure BDA0002643400390000033
表示沿水平方向的梯度算子，
Figure BDA0002643400390000034
表示垂直方向的梯度算子，λ表示第一平滑参数和α表示第二平滑参数，ε为常数；
所述大尺度的边缘保持自监督约束的表达式为
Figure BDA0002643400390000035
其中，
Figure BDA0002643400390000036
表示所述大尺度去噪图像，
Figure BDA0002643400390000037
表示所述大尺度噪声图像。
可选地，所述小尺度背景一致性自监督约束的表达式为
Figure BDA0002643400390000038
其中，
Figure BDA0002643400390000039
表示所述小尺度噪声图像，
Figure BDA00026434003900000310
表示所述小尺度去噪图像，
Figure BDA00026434003900000311
表示所述第一噪声强度图，
Figure BDA00026434003900000312
表示重建的小尺度噪声图像，
Figure BDA00026434003900000313
Figure BDA00026434003900000314
表示对
Figure BDA00026434003900000315
进行高斯模糊操作，
Figure BDA00026434003900000316
表示对
Figure BDA00026434003900000317
进行高斯模糊操作，σ表示进行高斯模糊操作的尺度；
所述大尺度背景一致性自监督约束的表达式为
Figure BDA00026434003900000318
其中，
Figure BDA00026434003900000319
表示所述大尺度噪声图像，
Figure BDA00026434003900000320
表示所述大尺度去噪图像，
Figure BDA0002643400390000041
表示所述第二噪声强度图，
Figure BDA0002643400390000042
表示重建的大尺度噪声图像，
Figure BDA0002643400390000043
Figure BDA0002643400390000044
表示对
Figure BDA0002643400390000045
进行高斯模糊操作，
Figure BDA0002643400390000046
表示对
Figure BDA0002643400390000047
进行高斯模糊操作。
可选地，所述小尺度结构相似性注意力自监督约束的表达式为
Figure BDA0002643400390000048
所述大尺度结构相似性注意力自监督约束的表达式为
Figure BDA0002643400390000049
其中，
Figure BDA00026434003900000410
表示小尺度结构相似性注意力图谱
Figure BDA00026434003900000411
与所述小尺度噪声图像
Figure BDA00026434003900000412
相乘，
Figure BDA00026434003900000413
表示小尺度结构相似性注意力图谱
Figure BDA00026434003900000414
与所述重建的小尺度噪声图像
Figure BDA00026434003900000415
相乘，
Figure BDA00026434003900000416
表示大尺度结构相似性注意力图谱
Figure BDA00026434003900000417
与所述大尺度噪声图像
Figure BDA00026434003900000418
相乘，
Figure BDA00026434003900000419
表示大尺度结构相似性注意力图谱
Figure BDA00026434003900000420
与所述重建的大尺度噪声图像
Figure BDA00026434003900000421
相乘，
Figure BDA00026434003900000422
为小尺度噪声图像对
Figure BDA00026434003900000423
通过结构相似性度量函数生成的结构相似性图谱后进行高斯变换确定的，
Figure BDA00026434003900000424
为大尺度噪声图像对
Figure BDA00026434003900000425
通过结构相似性度量函数生成的结构相似性图谱后进行高斯变换确定的。
一种基于自监督约束的双尺度图像盲去噪***，所述***包括：
数据集获取模块，用于获取噪声图像数据集；
大尺度噪声图像数据集确定模块，用于在所述数据集的各噪声图像上随机裁剪设定数量以及设定尺寸的大尺度噪声图像，所述大尺度噪声图像构成大尺度噪声图像数据集；
小尺度噪声图像数据集确定模块，用于对各大尺度噪声图像进行设定尺度的下采样得到小尺度噪声图像，所述小尺度噪声图像构成小尺度噪声图像数据集；
边缘保持自监督约束确定模块，用于根据所述小尺度噪声图像和小尺度去噪图像的梯度和均方误差构建小尺度的边缘保持自监督约束；根据所述大尺度噪声图像和大尺度去噪图像的梯度和均方误差构建大尺度的边缘保持自监督约束；
背景一致性自监督约束确定模块，用于根据所述小尺度噪声图像和所述小尺度去噪图像的背景一致性构建小尺度的背景一致性自监督约束；根据所述大尺度噪声图像和所述大尺度去噪图像的背景一致性构建大尺度的背景一致性自监督约束；
结构相似性注意力自监督约束确定模块，用于根据所述小尺度噪声图像和所述小尺度去噪图像的结构相似性构建小尺度的结构相似性注意力自监督约束；根据所述大尺度噪声图像和所述大尺度去噪图像的结构相似性构建大尺度的结构相似性注意力自监督约束；
盲去噪网络训练模块，用于采用所述大尺度噪声图像数据集和所述小尺度噪声图像数据集，以所述小尺度的边缘保持自监督约束、所述大尺度的边缘保持自监督约束、所述小尺度的背景一致性自监督约束、所述大尺度的背景一致性自监督约束、所述小尺度的结构相似性注意力自监督约束和所述大尺度的结构相似性注意力自监督约束为约束条件，以所述小尺度噪声图像作为盲去噪网络的第一次输入，小尺度去噪图像作为所述盲去噪网络的第一次输出，合并图像作为所述盲去噪网络的第二次输入，大尺度去噪图像为所述盲去噪网络的第二次输出，训练所述盲去噪网络；所述合并图像为所述小尺度去噪图像的放大图和与所述小尺度噪声图像对应的大尺度噪声图像合并后的图像；所述放大图为所述小尺度去噪图像进行所述设定尺度的上采样确定的；
去噪模块，用于根据训练后的所述盲去噪网络对待去噪的图像进行去噪。
可选地，所述盲去噪网络包括噪声估计子网络和非盲去噪子网络；所述训练盲去噪网络具体包括：
以所述小尺度噪声图像作为噪声估计子网络的第一次输入，所述小尺度噪声图像的噪声强度图和第一去噪图像作为所述噪声估计子网络的第一次输出，所述噪声估计子网络的第一次输出作为非盲去噪子网络的第一次输入，所述小尺度去噪图像作为所述非盲去噪子网络的第一次输出，所述合并图像作为所述噪声估计子网络的第二次输入，所述合并图像的噪声强度图和第二去噪图像作为所述噪声估计子网络的第二次输出，所述噪声估计子网络的第二次输出作为所述非盲去噪子网络的第二次输入，所述大尺度去噪图像为所述非盲去噪子网络的第二次输出；
所述第一去噪图像为所述小尺度噪声图像去除噪声强度后的图像；所述第二去噪图像为所述合并图像去除噪声强度后的图像。
可选地，所述小尺度的边缘保持自监督约束的表达式为
Figure BDA0002643400390000061
其中，
Figure BDA0002643400390000062
表示所述小尺度去噪图像，
Figure BDA0002643400390000063
表示所述小尺度噪声图像，
Figure BDA0002643400390000064
表示沿水平方向的梯度算子，
Figure BDA0002643400390000065
表示垂直方向的梯度算子，λ表示第一平滑参数和α表示第二平滑参数，ε为常数；
所述大尺度的边缘保持自监督约束的表达式为
Figure BDA0002643400390000066
其中，
Figure BDA0002643400390000067
表示所述大尺度去噪图像，
Figure BDA0002643400390000068
表示所述大尺度噪声图像。
可选地，所述小尺度背景一致性自监督约束的表达式为
Figure BDA0002643400390000069
其中，
Figure BDA00026434003900000610
表示所述小尺度噪声图像，
Figure BDA00026434003900000611
表示所述小尺度去噪图像，
Figure BDA00026434003900000612
表示所述第一噪声强度图，
Figure BDA00026434003900000613
表示重建的小尺度噪声图像，
Figure BDA00026434003900000614
Figure BDA00026434003900000615
表示对
Figure BDA00026434003900000616
进行高斯模糊操作，
Figure BDA00026434003900000617
表示对
Figure BDA00026434003900000618
进行高斯模糊操作，σ表示进行高斯模糊操作的尺度；
所述大尺度背景一致性自监督约束的表达式为
Figure BDA0002643400390000071
其中，
Figure BDA0002643400390000072
表示所述大尺度噪声图像，
Figure BDA0002643400390000073
表示所述大尺度去噪图像，
Figure BDA0002643400390000074
表示所述第二噪声强度图，
Figure BDA0002643400390000075
表示重建的大尺度噪声图像，
Figure BDA0002643400390000076
Figure BDA0002643400390000077
表示对
Figure BDA0002643400390000078
进行高斯模糊操作，
Figure BDA0002643400390000079
表示对
Figure BDA00026434003900000710
进行高斯模糊操作。
可选地，所述小尺度结构相似性注意力自监督约束的表达式为
Figure BDA00026434003900000711
所述大尺度结构相似性注意力自监督约束的表达式为
Figure BDA00026434003900000712
其中，
Figure BDA00026434003900000713
表示小尺度结构相似性注意力图谱
Figure BDA00026434003900000714
与所述小尺度噪声图像
Figure BDA00026434003900000715
相乘，
Figure BDA00026434003900000716
表示小尺度结构相似性注意力图谱
Figure BDA00026434003900000717
与所述重建的小尺度噪声图像
Figure BDA00026434003900000718
相乘，
Figure BDA00026434003900000719
表示大尺度结构相似性注意力图谱
Figure BDA00026434003900000720
与所述大尺度噪声图像
Figure BDA00026434003900000721
相乘，
Figure BDA00026434003900000722
表示大尺度结构相似性注意力图谱
Figure BDA00026434003900000723
与所述重建的大尺度噪声图像
Figure BDA00026434003900000724
相乘，
Figure BDA00026434003900000725
为小尺度噪声图像对
Figure BDA00026434003900000726
通过结构相似性度量函数生成的结构相似性图谱后进行高斯变换确定的
Figure BDA00026434003900000727
为大尺度噪声图像对
Figure BDA00026434003900000728
通过结构相似性度量函数生成的结构相似性图谱后进行高斯变换确定的。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明公开了一种基于自监督约束的双尺度图像盲去噪方法及***，根据小尺度的噪声图像和大尺度的噪声图像，构建双尺度的边缘保持自监督约束、双尺度的背景一致性自监督约束和双尺度的结构相似性注意力自监督约束，以各自监督约束为约束条件，根据小尺度的噪声图像数据集和大尺度的噪声图像数据集训练盲去噪网络，通过训练后的盲去噪网络实现噪声图像的自监督去噪。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一种基于自监督约束的双尺度图像盲去噪方法流程示意图；
图2为本发明一种基于自监督约束的双尺度图像盲去噪方法原理图；
图3为本发明一种基于自监督约束的双尺度图像盲去噪***结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种基于自监督约束的双尺度图像盲去噪方法及***，根据噪声图像的不同尺度，构建双尺度的边缘保持自监督约束、双尺度的背景一致性自监督约束和双尺度的结构相似性注意力自监督约束，实现噪声图像的自监督去噪。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
如图1-2所示，本发明公开了一种基于自监督约束的双尺度图像盲去噪方法，包括以下步骤：
步骤101：获取噪声图像数据集。
其中，步骤101中具体包括，下载公开的真实噪声数据集，下载网络包括https://www.eecs.yorku.ca/～kamel/sidd/benchmark.php和https://noise.visinf.tu-darmstadt.de/。真实噪声数据集包括真实噪声训练数据集Dtrain＝[I1,I2,…,In-1,In]，和真实噪声测试数据集Dtest＝[T1,T2,…,Tm-1,Tm]，In和Tm表示真实噪声图像。
步骤102：在所述数据集的各噪声图像上随机裁剪设定数量设定尺寸的大尺度噪声图像，所述大尺度噪声图像构成大尺度噪声图像数据集。
其中，步骤102中具体包括，设定数量记为K，设定尺寸为H×W。在每一张噪声图像Ik上随机裁剪若干个尺寸为H×W的子图像作为大尺度的噪声图像训练集
Figure BDA0002643400390000091
步骤103：对各大尺度噪声图像进行设定尺度的下采样得到小尺度噪声图像，所述小尺度噪声图像构成小尺度噪声图像数据集。
其中，步骤103中具体包括，对
Figure BDA0002643400390000092
中每一幅噪声图像
Figure BDA0002643400390000093
进行尺度为2的双线性插值下采样操作得到对应的小尺度噪声图像
Figure BDA0002643400390000094
因此构造出尺寸为
Figure BDA0002643400390000095
的小尺度的噪声训练集
Figure BDA0002643400390000096
Figure BDA0002643400390000097
和
Figure BDA0002643400390000098
所包含的样本数量K是相同的。
本发明根据步骤102和步骤103，准备了两个尺度的真实噪声训练集。同理，获得大尺度的真实噪声测试集
Figure BDA0002643400390000099
步骤104：根据所述小尺度噪声图像和小尺度去噪图像的梯度和均方误差构建小尺度的边缘保持自监督约束；根据所述大尺度噪声图像和大尺度去噪图像的梯度和均方误差构建大尺度的边缘保持自监督约束。
步骤105：根据所述小尺度噪声图像和所述小尺度去噪图像的背景一致性构建小尺度的背景一致性自监督约束；根据所述大尺度噪声图像和所述大尺度去噪图像的背景一致性构建大尺度的背景一致性自监督约束。
步骤106：根据所述小尺度噪声图像和所述小尺度去噪图像的结构相似性构建小尺度的结构相似性注意力自监督约束；根据所述大尺度噪声图像和所述大尺度去噪图像的结构相似性构建大尺度的结构相似性注意力自监督约束。
步骤107：采用所述大尺度噪声图像数据集和所述小尺度噪声图像数据集，以所述小尺度的边缘保持自监督约束、所述大尺度的边缘保持自监督约束、所述小尺度的背景一致性自监督约束、所述大尺度的背景一致性自监督约束、所述小尺度的结构相似性注意力自监督约束和所述大尺度的结构相似性注意力自监督约束为约束条件，以所述小尺度噪声图像作为盲去噪网络的第一次输入，小尺度去噪图像作为所述盲去噪网络的第一次输出，合并图像作为所述盲去噪网络的第二次输入，大尺度去噪图像为所述盲去噪网络的第二次输出，训练所述盲去噪网络；所述合并图像为所述小尺度去噪图像的放大图和与所述小尺度噪声图像对应的大尺度噪声图像合并后的图像；所述放大图为所述小尺度去噪图像进行所述设定尺度的上采样确定的。
其中，步骤107之前，具体还包括：构建双尺度真实图像的盲去噪网络，盲去噪网络包括噪声估计子网络和非盲去噪子网络，每个尺度图像的盲去噪网络均包含一个噪声估计子网络和一个图像非盲去噪子网络，且两个尺度的网络共享相同的参数。
搭建噪声估计子网络，称为Net-E，其网络结构包含20个卷积层{conv(1),…,conv(i),…,conv20}；
初始化训练参数集ΘNet-E，初始学习率2e-5，设定图像批处理大小为16，最大迭代次数400次。
搭建图像非盲去噪子网络，称为Net-D，其网络结构是一个内嵌残差密集块的UNet卷积神经网络；
初始化训练参数集ΘNet-D，初始学习率2e-5，设定图像批处理大小为16，最大迭代次数400次。
步骤107具体包括，将小尺度噪声图像
Figure BDA0002643400390000101
输入噪声估计子网络Net-E，输出小尺度噪声图像的噪声强度图
Figure BDA0002643400390000102
和粗略的去噪结果
Figure BDA0002643400390000103
Figure BDA0002643400390000104
为小尺度噪声图像
Figure BDA0002643400390000105
减去小尺度噪声图像的噪声强度图
Figure BDA0002643400390000106
后的图像，然后将
Figure BDA0002643400390000107
和
Figure BDA0002643400390000108
一同输入非盲去噪子网络Net-D，Net-D输出学习到的尺寸为
Figure BDA0002643400390000111
的小尺度去噪图像
Figure BDA0002643400390000112
将尺寸为
Figure BDA0002643400390000113
的小尺度去噪图像
Figure BDA0002643400390000114
进行尺度为2的双线性插值上采样得到尺寸为H×W的图像↑
Figure BDA0002643400390000115
↑
Figure BDA0002643400390000116
与大尺度的噪声图像
Figure BDA0002643400390000117
合并后一同输入Net-E估计出合并图像的噪声强度图
Figure BDA0002643400390000118
和粗略的去噪结果
Figure BDA0002643400390000119
Figure BDA00026434003900001110
为合并图像减去合并图像的噪声强度图
Figure BDA00026434003900001111
后的图像，然后将
Figure BDA00026434003900001112
和
Figure BDA00026434003900001113
输入Net-D，输出学习到的尺寸为H×W大尺度去噪图像
Figure BDA00026434003900001114
步骤104具体包括：使用小尺度去噪图像
Figure BDA00026434003900001115
与其输入噪声图像
Figure BDA00026434003900001116
借助均方误差
Figure BDA00026434003900001117
和图像全变分先验
Figure BDA00026434003900001118
为小尺度图像去噪分支构造出一种边缘保持自监督约束
Figure BDA00026434003900001119
其中
Figure BDA00026434003900001120
是小尺度分支的边缘保持自监督约束函数，
Figure BDA00026434003900001121
和
Figure BDA00026434003900001122
分别表示沿水平方向和竖直方向的梯度算子，参数λ和α是可以调节的平滑参数，λ为第一平滑参数，α为第二平滑参数，ε是一个极小常量。
同理，使用大尺度去噪图像
Figure BDA00026434003900001123
及其输入噪声图像
Figure BDA00026434003900001124
为大尺度图像去噪分支构造边缘保持自监督约束
Figure BDA00026434003900001125
步骤105具体包括：首先使用小尺度去噪图像
Figure BDA00026434003900001126
和大尺度去噪图像
Figure BDA00026434003900001127
分别与估计的对应的噪声强度图
Figure BDA00026434003900001128
和
Figure BDA00026434003900001129
合并得到重建的小尺度噪声图像
Figure BDA00026434003900001130
和重建的大尺度噪声图像
Figure BDA00026434003900001131
然后，提出背景指导模块BGM，对小尺度和大尺度网络的输入噪声图像对
Figure BDA00026434003900001132
和重建噪声图像对
Figure BDA00026434003900001133
分别进行尺度为σ＝3,5,9的高斯模糊操作Bσ(·)后再计算梯度误差
Figure BDA00026434003900001134
和
Figure BDA00026434003900001135
以此构造小尺度图像去噪分支的背景一致性自监督约束
Figure BDA0002643400390000121
和大尺度图像去噪分支的背景一致性自监督约束
Figure BDA0002643400390000122
步骤106具体包括：首先得到两个尺度的重建噪声图像
Figure BDA0002643400390000123
和
Figure BDA0002643400390000124
然后，提出结构相似性注意力机制SAM，使用尺寸分别为H×W和
Figure BDA0002643400390000125
的两个尺度的输入噪声图像对
Figure BDA0002643400390000126
和重建噪声图像对
Figure BDA0002643400390000127
分别通过结构相似性度量函数SSIM生成结构相似性图谱
Figure BDA0002643400390000128
和
Figure BDA0002643400390000129
接下来使用高斯函数对这两个结构相似性图谱进行高斯变换得到对应的结构相似性注意力图谱
Figure BDA00026434003900001210
和
Figure BDA00026434003900001211
最后与噪声图像对
Figure BDA00026434003900001212
和
Figure BDA00026434003900001213
进行元素间的乘法得到特征重组的噪声图像对
Figure BDA00026434003900001214
和
Figure BDA00026434003900001215
以此借助均方误差
Figure BDA00026434003900001216
和
Figure BDA00026434003900001217
分别构造小尺度和大尺度去噪分支的结构相似性注意力自监督约束
Figure BDA00026434003900001218
和
Figure BDA00026434003900001219
使用上述三种双尺度的自监督约束条件同时约束网络(也可以说成“同时对网络进行训练”)，即对网络进行训练，不断更新网络Net-E和Net-D的参数，参数涉及权重、梯度和偏置，直至训练到最大迭代数，至此模型训练完成。
图2中x表示小尺度噪声图像，yS表示小尺度噪声图像的噪声强度图，yD表示第一去噪图像，y表示小尺度去噪图像，y*＝y+yS，表示重建的小尺度噪声图像。
Figure BDA00026434003900001220
表示小尺度去噪图像的放大图与大尺度噪声图像的合并图像，
Figure BDA00026434003900001221
表示大尺度噪声图像的噪声强度图，
Figure BDA0002643400390000131
表示第二去噪图像，
Figure BDA0002643400390000132
表示大尺度去噪图像，
Figure BDA0002643400390000133
Figure BDA0002643400390000134
表示重建的大尺度噪声图像。
步骤108：根据训练后的所述盲去噪网络对待去噪的图像进行去噪。
其中，步骤108具体包括：依次从预先准备好的小尺度测试集
Figure BDA0002643400390000135
中读取噪声图像Ti s输入训练好的盲去噪网络中，得到小尺度的去噪结果
Figure BDA0002643400390000136
将小尺度去噪结果
Figure BDA0002643400390000137
经过双线性插值上采样操作得到↑
Figure BDA0002643400390000138
然后将其与大尺度的测试图像Ti l一同输入到训练好的盲去噪网络中，得到大尺度去噪结果
Figure BDA0002643400390000139
即最终的去噪图像。
本发明还提供了一种基于自监督约束的双尺度图像盲去噪***，包括：
数据集获取模块201，用于获取噪声图像数据集；
大尺度噪声图像数据集确定模块202，用于在所述数据集的各噪声图像上随机裁剪设定数量设定尺寸的大尺度噪声图像，所述大尺度噪声图像构成大尺度噪声图像数据集；
小尺度噪声图像数据集确定模块203，用于对各大尺度噪声图像进行设定尺度的下采样得到小尺度噪声图像，所述小尺度噪声图像构成小尺度噪声图像数据集；
边缘保持自监督约束确定模块204，用于根据所述小尺度噪声图像和小尺度去噪图像的梯度和均方误差构建小尺度的边缘保持自监督约束；根据所述大尺度噪声图像和大尺度去噪图像的梯度和均方误差构建大尺度的边缘保持自监督约束；
背景一致性自监督约束确定模块205，用于根据所述小尺度噪声图像和所述小尺度去噪图像的背景一致性构建小尺度的背景一致性自监督约束；根据所述大尺度噪声图像和所述大尺度去噪图像的背景一致性构建大尺度的背景一致性自监督约束；
结构相似性注意力自监督约束确定模块206，用于根据所述小尺度噪声图像和所述小尺度去噪图像的结构相似性构建小尺度的结构相似性注意力自监督约束；根据所述大尺度噪声图像和所述大尺度去噪图像的结构相似性构建大尺度的结构相似性注意力自监督约束；
盲去噪网络训练模块207，用于采用所述大尺度噪声图像数据集和所述小尺度噪声图像数据集，以所述小尺度的边缘保持自监督约束、所述大尺度的边缘保持自监督约束、所述小尺度的背景一致性自监督约束、所述大尺度的背景一致性自监督约束、所述小尺度的结构相似性注意力自监督约束和所述大尺度的结构相似性注意力自监督约束为约束条件，以所述小尺度噪声图像作为盲去噪网络的第一次输入，小尺度去噪图像作为所述盲去噪网络的第一次输出，合并图像作为所述盲去噪网络的第二次输入，大尺度去噪图像为所述盲去噪网络的第二次输出，训练所述盲去噪网络；所述合并图像为所述小尺度去噪图像的放大图和与所述小尺度噪声图像对应的大尺度噪声图像合并后的图像；所述放大图为所述小尺度去噪图像进行所述设定尺度的上采样确定的；
去噪模块208，用于根据训练后的所述盲去噪网络对待去噪的图像进行去噪。
所述盲去噪网络包括噪声估计子网络和非盲去噪子网络；所述训练盲去噪网络具体包括：
以所述小尺度噪声图像作为噪声估计子网络的第一次输入，所述小尺度噪声图像的噪声强度图和第一去噪图像作为所述噪声估计子网络的第一次输出，所述噪声估计子网络的第一次输出作为非盲去噪子网络的第一次输入，所述小尺度去噪图像作为所述非盲去噪子网络的第一次输出，所述合并图像作为所述噪声估计子网络的第二次输入，所述合并图像的噪声强度图和第二去噪图像作为所述噪声估计子网络的第二次输出，所述噪声估计子网络的第二次输出作为所述非盲去噪子网络的第二次输入，所述大尺度去噪图像为所述非盲去噪子网络的第二次输出；
所述第一去噪图像为所述小尺度噪声图像去除噪声强度后的图像；所述第二去噪图像为所述合并图像去除噪声强度后的图像。
所述小尺度的边缘保持自监督约束的表达式为
Figure BDA0002643400390000141
其中，
Figure BDA0002643400390000142
表示所述小尺度去噪图像，
Figure BDA0002643400390000143
表示所述小尺度噪声图像，
Figure BDA0002643400390000144
表示沿水平方向的梯度算子，
Figure BDA0002643400390000145
表示垂直方向的梯度算子，λ表示第一平滑参数和α表示第二平滑参数，ε为常数；
所述大尺度的边缘保持自监督约束的表达式为
Figure BDA0002643400390000151
其中，
Figure BDA0002643400390000152
表示所述大尺度去噪图像，
Figure BDA0002643400390000153
表示所述大尺度噪声图像。
所述小尺度背景一致性自监督约束的表达式为
Figure BDA0002643400390000154
其中，
Figure BDA0002643400390000155
表示所述小尺度噪声图像，
Figure BDA0002643400390000156
表示所述小尺度去噪图像，
Figure BDA0002643400390000157
表示所述第一噪声强度图，
Figure BDA0002643400390000158
表示重建的小尺度噪声图像，
Figure BDA0002643400390000159
Figure BDA00026434003900001510
表示对
Figure BDA00026434003900001511
进行高斯模糊操作，
Figure BDA00026434003900001512
表示对
Figure BDA00026434003900001513
进行高斯模糊操作，σ表示进行高斯模糊操作的尺度；
所述大尺度背景一致性自监督约束的表达式为
Figure BDA00026434003900001514
其中，
Figure BDA00026434003900001515
表示所述大尺度噪声图像，
Figure BDA00026434003900001516
表示所述大尺度去噪图像，
Figure BDA00026434003900001517
表示所述第二噪声强度图，
Figure BDA00026434003900001518
表示重建的大尺度噪声图像，
Figure BDA00026434003900001519
Figure BDA00026434003900001520
表示对
Figure BDA00026434003900001521
进行高斯模糊操作，
Figure BDA00026434003900001522
表示对
Figure BDA00026434003900001523
进行高斯模糊操作。
所述小尺度结构相似性注意力自监督约束的表达式为
Figure BDA00026434003900001524
所述大尺度结构相似性注意力自监督约束的表达式为
Figure BDA00026434003900001525
其中，
Figure BDA00026434003900001526
表示小尺度结构相似性注意力图谱
Figure BDA00026434003900001527
与所述小尺度噪声图像
Figure BDA00026434003900001528
相乘，
Figure BDA0002643400390000161
表示小尺度结构相似性注意力图谱
Figure BDA0002643400390000162
与所述重建的小尺度噪声图像
Figure BDA0002643400390000163
相乘，
Figure BDA0002643400390000164
表示大尺度结构相似性注意力图谱
Figure BDA0002643400390000165
与所述大尺度噪声图像
Figure BDA0002643400390000166
相乘，
Figure BDA0002643400390000167
表示大尺度结构相似性注意力图谱
Figure BDA0002643400390000168
与所述重建的大尺度噪声图像
Figure BDA0002643400390000169
相乘，
Figure BDA00026434003900001610
为小尺度噪声图像对
Figure BDA00026434003900001611
通过结构相似性度量函数生成的结构相似性图谱后进行高斯变换确定的，
Figure BDA00026434003900001612
为大尺度噪声图像对
Figure BDA00026434003900001613
通过结构相似性度量函数生成的结构相似性图谱后进行高斯变换确定的。
本发明涉及一种基于自监督约束的双尺度图像盲去噪方法及***，根据小尺度的噪声图像和大尺度的噪声图像，构建双尺度的边缘保持自监督约束、双尺度的背景一致性自监督约束和双尺度的结构相似性注意力自监督约束，以各自监督约束为约束条件，根据小尺度的噪声图像数据集和大尺度的噪声图像数据集训练盲去噪网络，通过训练后的盲去噪网络实现噪声图像的自监督去噪。训练后的盲去噪网络能够将输入的一张真实场景下拍摄的噪声图像，复原出清晰的去噪图像。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种基于自监督约束的双尺度图像盲去噪方法，其特征在于，所述方法包括：
获取噪声图像数据集；
在所述数据集的各噪声图像上随机裁剪设定数量以及设定尺寸的大尺度噪声图像，所述大尺度噪声图像构成大尺度噪声图像数据集；
对各大尺度噪声图像进行设定尺度的下采样得到小尺度噪声图像，所述小尺度噪声图像构成小尺度噪声图像数据集；
根据所述小尺度噪声图像和小尺度去噪图像的梯度和均方误差构建小尺度的边缘保持自监督约束；根据所述大尺度噪声图像和大尺度去噪图像的梯度和均方误差构建大尺度的边缘保持自监督约束；
根据所述小尺度噪声图像和重建的小尺度噪声图像的背景一致性构建小尺度的背景一致性自监督约束；根据所述大尺度噪声图像和重建的大尺度噪声图像的背景一致性构建大尺度的背景一致性自监督约束；
根据所述小尺度噪声图像和所述小尺度去噪图像的结构相似性构建小尺度的结构相似性注意力自监督约束；根据所述大尺度噪声图像和所述大尺度去噪图像的结构相似性构建大尺度的结构相似性注意力自监督约束；
采用所述大尺度噪声图像数据集和所述小尺度噪声图像数据集，以所述小尺度的边缘保持自监督约束、所述大尺度的边缘保持自监督约束、所述小尺度的背景一致性自监督约束、所述大尺度的背景一致性自监督约束、所述小尺度的结构相似性注意力自监督约束和所述大尺度的结构相似性注意力自监督约束为约束条件，以所述小尺度噪声图像作为盲去噪网络的第一次输入，小尺度去噪图像作为所述盲去噪网络的第一次输出，合并图像作为所述盲去噪网络的第二次输入，大尺度去噪图像为所述盲去噪网络的第二次输出，训练所述盲去噪网络；所述合并图像为所述小尺度去噪图像的放大图和与所述小尺度噪声图像对应的大尺度噪声图像合并后的图像；所述放大图为所述小尺度去噪图像进行所述设定尺度的上采样确定的；
根据训练后的所述盲去噪网络对待去噪的图像进行去噪。
2.根据权利要求1所述的基于自监督约束的双尺度图像盲去噪方法，其特征在于，所述盲去噪网络包括噪声估计子网络和非盲去噪子网络；所述训练盲去噪网络具体包括：
以所述小尺度噪声图像作为噪声估计子网络的第一次输入，所述小尺度噪声图像的噪声强度图和第一去噪图像作为所述噪声估计子网络的第一次输出，所述噪声估计子网络的第一次输出作为非盲去噪子网络的第一次输入，所述小尺度去噪图像作为所述非盲去噪子网络的第一次输出，所述合并图像作为所述噪声估计子网络的第二次输入，所述合并图像的噪声强度图和第二去噪图像作为所述噪声估计子网络的第二次输出，所述噪声估计子网络的第二次输出作为所述非盲去噪子网络的第二次输入，所述大尺度去噪图像为所述非盲去噪子网络的第二次输出；
所述第一去噪图像为所述小尺度噪声图像去除噪声强度后的图像；所述第二去噪图像为所述合并图像去除噪声强度后的图像。
3.根据权利要求1所述的基于自监督约束的双尺度图像盲去噪方法，其特征在于，所述小尺度的边缘保持自监督约束的表达式为
Figure FDA0002643400380000021
其中，
Figure FDA0002643400380000022
表示所述小尺度去噪图像，
Figure FDA0002643400380000023
表示所述小尺度噪声图像，
Figure FDA0002643400380000024
表示沿水平方向的梯度算子，
Figure FDA0002643400380000025
表示垂直方向的梯度算子，λ表示第一平滑参数和α表示第二平滑参数，ε为常数；
所述大尺度的边缘保持自监督约束的表达式为
Figure FDA0002643400380000026
其中，
Figure FDA0002643400380000027
表示所述大尺度去噪图像，
Figure FDA0002643400380000028
表示所述大尺度噪声图像。
4.根据权利要求2所述的基于自监督约束的双尺度图像盲去噪方法，其特征在于，所述小尺度背景一致性自监督约束的表达式为
Figure FDA0002643400380000031
其中，
Figure FDA0002643400380000032
表示所述小尺度噪声图像，
Figure FDA0002643400380000033
表示所述小尺度去噪图像，
Figure FDA0002643400380000034
表示所述第一噪声强度图，
Figure FDA0002643400380000035
表示重建的小尺度噪声图像，
Figure FDA0002643400380000036
Figure FDA0002643400380000037
表示对
Figure FDA0002643400380000038
进行高斯模糊操作，
Figure FDA0002643400380000039
表示对
Figure FDA00026434003800000310
进行高斯模糊操作，σ表示进行高斯模糊操作的尺度；
所述大尺度背景一致性自监督约束的表达式为
Figure FDA00026434003800000311
其中，
Figure FDA00026434003800000312
表示所述大尺度噪声图像，
Figure FDA00026434003800000313
表示所述大尺度去噪图像，
Figure FDA00026434003800000314
表示所述第二噪声强度图，
Figure FDA00026434003800000315
表示重建的大尺度噪声图像，
Figure FDA00026434003800000316
Figure FDA00026434003800000317
表示对
Figure FDA00026434003800000318
进行高斯模糊操作，
Figure FDA00026434003800000319
表示对
Figure FDA00026434003800000320
进行高斯模糊操作。
5.根据权利要求4所述的基于自监督约束的双尺度图像盲去噪方法，其特征在于，所述小尺度结构相似性注意力自监督约束的表达式为
Figure FDA00026434003800000321
所述大尺度结构相似性注意力自监督约束的表达式为
Figure FDA00026434003800000322
其中，
Figure FDA00026434003800000323
表示小尺度结构相似性注意力图谱
Figure FDA00026434003800000324
与所述小尺度噪声图像
Figure FDA00026434003800000325
相乘，
Figure FDA00026434003800000326
表示小尺度结构相似性注意力图谱
Figure FDA00026434003800000327
与所述重建的小尺度噪声图像
Figure FDA00026434003800000328
相乘，
Figure FDA00026434003800000329
表示大尺度结构相似性注意力图谱
Figure FDA00026434003800000330
与所述大尺度噪声图像
Figure FDA00026434003800000331
相乘，
Figure FDA00026434003800000332
表示大尺度结构相似性注意力图谱
Figure FDA00026434003800000333
与所述重建的大尺度噪声图像
Figure FDA0002643400380000041
相乘，
Figure FDA0002643400380000042
为小尺度噪声图像对
Figure FDA0002643400380000043
通过结构相似性度量函数生成的结构相似性图谱后进行高斯变换确定的，
Figure FDA0002643400380000044
为大尺度噪声图像对
Figure FDA0002643400380000045
通过结构相似性度量函数生成的结构相似性图谱后进行高斯变换确定的。
6.一种基于自监督约束的双尺度图像盲去噪***，其特征在于，所述***包括：
数据集获取模块，用于获取噪声图像数据集；
大尺度噪声图像数据集确定模块，用于在所述数据集的各噪声图像上随机裁剪设定数量以及设定尺寸的大尺度噪声图像，所述大尺度噪声图像构成大尺度噪声图像数据集；
小尺度噪声图像数据集确定模块，用于对各大尺度噪声图像进行设定尺度的下采样得到小尺度噪声图像，所述小尺度噪声图像构成小尺度噪声图像数据集；
边缘保持自监督约束确定模块，用于根据所述小尺度噪声图像和小尺度去噪图像的梯度和均方误差构建小尺度的边缘保持自监督约束；根据所述大尺度噪声图像和大尺度去噪图像的梯度和均方误差构建大尺度的边缘保持自监督约束；
背景一致性自监督约束确定模块，用于根据所述小尺度噪声图像和所述小尺度去噪图像的背景一致性构建小尺度的背景一致性自监督约束；根据所述大尺度噪声图像和所述大尺度去噪图像的背景一致性构建大尺度的背景一致性自监督约束；
结构相似性注意力自监督约束确定模块，用于根据所述小尺度噪声图像和所述小尺度去噪图像的结构相似性构建小尺度的结构相似性注意力自监督约束；根据所述大尺度噪声图像和所述大尺度去噪图像的结构相似性构建大尺度的结构相似性注意力自监督约束；
盲去噪网络训练模块，用于采用所述大尺度噪声图像数据集和所述小尺度噪声图像数据集，以所述小尺度的边缘保持自监督约束、所述大尺度的边缘保持自监督约束、所述小尺度的背景一致性自监督约束、所述大尺度的背景一致性自监督约束、所述小尺度的结构相似性注意力自监督约束和所述大尺度的结构相似性注意力自监督约束为约束条件，以所述小尺度噪声图像作为盲去噪网络的第一次输入，小尺度去噪图像作为所述盲去噪网络的第一次输出，合并图像作为所述盲去噪网络的第二次输入，大尺度去噪图像为所述盲去噪网络的第二次输出，训练所述盲去噪网络；所述合并图像为所述小尺度去噪图像的放大图和与所述小尺度噪声图像对应的大尺度噪声图像合并后的图像；所述放大图为所述小尺度去噪图像进行所述设定尺度的上采样确定的；
去噪模块，用于根据训练后的所述盲去噪网络对待去噪的图像进行去噪。
7.根据权利要求6所述的基于自监督约束的双尺度图像盲去噪***，其特征在于，所述盲去噪网络包括噪声估计子网络和非盲去噪子网络；所述训练盲去噪网络具体包括：
以所述小尺度噪声图像作为噪声估计子网络的第一次输入，所述小尺度噪声图像的噪声强度图和第一去噪图像作为所述噪声估计子网络的第一次输出，所述噪声估计子网络的第一次输出作为非盲去噪子网络的第一次输入，所述小尺度去噪图像作为所述非盲去噪子网络的第一次输出，所述合并图像作为所述噪声估计子网络的第二次输入，所述合并图像的噪声强度图和第二去噪图像作为所述噪声估计子网络的第二次输出，所述噪声估计子网络的第二次输出作为所述非盲去噪子网络的第二次输入，所述大尺度去噪图像为所述非盲去噪子网络的第二次输出；
所述第一去噪图像为所述小尺度噪声图像去除噪声强度后的图像；所述第二去噪图像为所述合并图像去除噪声强度后的图像。
8.根据权利要求6所述的基于自监督约束的双尺度图像盲去噪***，其特征在于，所述小尺度的边缘保持自监督约束的表达式为
Figure FDA0002643400380000051
其中，
Figure FDA0002643400380000052
表示所述小尺度去噪图像，
Figure FDA0002643400380000053
表示所述小尺度噪声图像，
Figure FDA0002643400380000054
表示沿水平方向的梯度算子，
Figure FDA0002643400380000055
表示垂直方向的梯度算子，λ表示第一平滑参数和α表示第二平滑参数，ε为常数；
所述大尺度的边缘保持自监督约束的表达式为
Figure FDA0002643400380000061
其中，
Figure FDA0002643400380000062
表示所述大尺度去噪图像，
Figure FDA0002643400380000063
表示所述大尺度噪声图像。
9.根据权利要求7所述的基于自监督约束的双尺度图像盲去噪***，其特征在于，所述小尺度背景一致性自监督约束的表达式为
Figure FDA0002643400380000064
其中，
Figure FDA0002643400380000065
表示所述小尺度噪声图像，
Figure FDA0002643400380000066
表示所述小尺度去噪图像，
Figure FDA0002643400380000067
表示所述第一噪声强度图，
Figure FDA0002643400380000068
表示重建的小尺度噪声图像，
Figure FDA0002643400380000069
Figure FDA00026434003800000610
表示对
Figure FDA00026434003800000611
进行高斯模糊操作，
Figure FDA00026434003800000612
表示对
Figure FDA00026434003800000613
进行高斯模糊操作，σ表示进行高斯模糊操作的尺度；
所述大尺度背景一致性自监督约束的表达式为
Figure FDA00026434003800000614
其中，
Figure FDA00026434003800000615
表示所述大尺度噪声图像，
Figure FDA00026434003800000616
表示所述大尺度去噪图像，
Figure FDA00026434003800000617
表示所述第二噪声强度图，
Figure FDA00026434003800000618
表示重建的大尺度噪声图像，
Figure FDA00026434003800000619
Figure FDA00026434003800000620
表示对
Figure FDA00026434003800000621
进行高斯模糊操作，
Figure FDA00026434003800000622
表示对
Figure FDA00026434003800000623
进行高斯模糊操作。
10.根据权利要求9所述的基于自监督约束的双尺度图像盲去噪***，其特征在于，所述小尺度结构相似性注意力自监督约束的表达式为
Figure FDA0002643400380000071
所述大尺度结构相似性注意力自监督约束的表达式为
Figure FDA0002643400380000072
其中，
Figure FDA0002643400380000073
表示小尺度结构相似性注意力图谱
Figure FDA0002643400380000074
与所述小尺度噪声图像
Figure FDA0002643400380000075
相乘，
Figure FDA0002643400380000076
表示小尺度结构相似性注意力图谱
Figure FDA0002643400380000077
与所述重建的小尺度噪声图像
Figure FDA0002643400380000078
相乘，
Figure FDA0002643400380000079
表示大尺度结构相似性注意力图谱
Figure FDA00026434003800000710
与所述大尺度噪声图像
Figure FDA00026434003800000711
相乘，
Figure FDA00026434003800000712
表示大尺度结构相似性注意力图谱
Figure FDA00026434003800000713
与所述重建的大尺度噪声图像
Figure FDA00026434003800000714
相乘，
Figure FDA00026434003800000715
为小尺度噪声图像对
Figure FDA00026434003800000716
通过结构相似性度量函数生成的结构相似性图谱后进行高斯变换确定的，
Figure FDA00026434003800000717
为大尺度噪声图像对
Figure FDA00026434003800000718
通过结构相似性度量函数生成的结构相似性图谱后进行高斯变换确定的。
CN202010847027.XA 2020-08-21 2020-08-21 一种基于自监督约束的双尺度图像盲去噪方法及*** Active CN111986114B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010847027.XA CN111986114B (zh) 2020-08-21 2020-08-21 一种基于自监督约束的双尺度图像盲去噪方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010847027.XA CN111986114B (zh) 2020-08-21 2020-08-21 一种基于自监督约束的双尺度图像盲去噪方法及***

Publications (2)

Publication Number Publication Date
CN111986114A true CN111986114A (zh) 2020-11-24
CN111986114B CN111986114B (zh) 2021-07-16

Family

ID=73443845

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010847027.XA Active CN111986114B (zh) 2020-08-21 2020-08-21 一种基于自监督约束的双尺度图像盲去噪方法及***

Country Status (1)

Country Link
CN (1) CN111986114B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112634159A (zh) * 2020-12-23 2021-04-09 中国海洋大学 基于盲噪声估计的高光谱图像去噪方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101651643A (zh) * 2009-09-18 2010-02-17 南京信息工程大学 基于空间分集的小波神经网络盲均衡方法
CN108182657A (zh) * 2018-01-26 2018-06-19 深圳市唯特视科技有限公司 一种基于循环生成对抗网络的面部图像转换方法
US10699465B1 (en) * 2018-12-28 2020-06-30 Intel Corporation Cluster of scalar engines to accelerate intersection in leaf node

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101651643A (zh) * 2009-09-18 2010-02-17 南京信息工程大学 基于空间分集的小波神经网络盲均衡方法
CN108182657A (zh) * 2018-01-26 2018-06-19 深圳市唯特视科技有限公司 一种基于循环生成对抗网络的面部图像转换方法
US10699465B1 (en) * 2018-12-28 2020-06-30 Intel Corporation Cluster of scalar engines to accelerate intersection in leaf node

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112634159A (zh) * 2020-12-23 2021-04-09 中国海洋大学 基于盲噪声估计的高光谱图像去噪方法
CN112634159B (zh) * 2020-12-23 2022-07-26 中国海洋大学 基于盲噪声估计的高光谱图像去噪方法

Also Published As

Publication number Publication date
CN111986114B (zh) 2021-07-16

Similar Documents

Publication Publication Date Title
Brifman et al. Turning a denoiser into a super-resolver using plug and play priors
CN109035142B (zh) 一种对抗网络结合航拍图像先验的卫星图像超分辨方法
CN112419184B (zh) 一种综合局部信息和全局信息的空间注意力图像去噪方法
CN106204447A (zh) 基于总变差分和卷积神经网络的超分辨率重建方法
CN112150354B (zh) 联合轮廓增强与去噪统计先验的单幅图像超分辨率方法
CN106169174B (zh) 一种图像放大方法
CN112669214B (zh) 一种基于交替方向乘子算法的模糊图像超分辨率重建方法
CN108492270B (zh) 一种基于模糊核估计和变分重构的超分辨率方法
CN105488759B (zh) 一种基于局部回归模型的图像超分辨率重建方法
Thakur et al. Agsdnet: Attention and gradient-based sar denoising network
CN107154064A (zh) 基于深度稀疏编码的自然图像压缩感知重建方法
CN114723630A (zh) 基于空洞双残差多尺度深度网络的图像去模糊方法及***
CN114494015A (zh) 基于盲超分辨率网络的图像重建方法
CN115526779A (zh) 一种基于动态注意力机制的红外图像超分辨率重建方法
CN108122262B (zh) 基于主结构分离的稀疏表示单帧图像超分辨率重建算法
CN114998107A (zh) 一种图像盲超分辨网络模型、方法、设备及存储介质
CN111986114B (zh) 一种基于自监督约束的双尺度图像盲去噪方法及***
CN113379647B (zh) 一种优化psf估计的多特征图像复原方法
CN112200752B (zh) 一种基于er网络多帧图像去模糊***及其方法
CN113096032A (zh) 一种基于图像区域划分的非均匀一致模糊去除方法
CN116563110A (zh) 基于Bicubic下采样图像空间对齐的盲图像超分辨率重建方法
CN111028168A (zh) 一种含噪声模糊的高能闪光图像去模糊方法
CN106056554A (zh) 一种梯度域卷积稀疏编码的磁共振快速成像方法
CN113298232B (zh) 一种基于深度学习神经网络的红外光谱盲自去卷积方法
CN113379641B (zh) 一种基于自编码卷积神经网络的单幅图像去雨方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant