CN114627025A - 图像去噪方法、装置、电子设备、存储介质 - Google Patents

图像去噪方法、装置、电子设备、存储介质 Download PDF

Info

Publication number
CN114627025A
CN114627025A CN202210305348.6A CN202210305348A CN114627025A CN 114627025 A CN114627025 A CN 114627025A CN 202210305348 A CN202210305348 A CN 202210305348A CN 114627025 A CN114627025 A CN 114627025A
Authority
CN
China
Prior art keywords
image
feature map
neural network
inputting
jump connection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210305348.6A
Other languages
English (en)
Inventor
李佳佳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shell Housing Network Beijing Information Technology Co Ltd
Original Assignee
Shell Housing Network Beijing Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shell Housing Network Beijing Information Technology Co Ltd filed Critical Shell Housing Network Beijing Information Technology Co Ltd
Priority to CN202210305348.6A priority Critical patent/CN114627025A/zh
Publication of CN114627025A publication Critical patent/CN114627025A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施方式公开了一种图像去噪方法、装置、电子设备及存储介质。方法包括：接收原始图像；将所述原始图像输入已训练的去噪神经网络以使所述去噪神经网络输出去噪后图像，其中所述去噪神经网络包含编码器和解码器，所述编码器包括与所述解码器连接的至少一个跳跃连接，所述编码器适配于以跨尺度融合方式将所述原始图像编码成隐层表示，所述解码器适配于基于所述至少一个跳跃连接将所述隐层表示解码成所述去噪后图像。本发明实施方式实现不同尺度之间特征的融合，以多尺度信息的相互传递来提高网络去噪能力。而且，本发明实施方式加入注意力机制来筛选特征层，去噪效率和准确率都具有显著提升。

Description

图像去噪方法、装置、电子设备、存储介质
技术领域
本发明实施方式涉及图像处理技术领域，更具体的说，涉及一种图像去噪方法、装置、电子设备及存储介质。
背景技术
图像去噪(Image Denoising)是指减少数字图像中噪声的过程。现实中的数字图像在数字化和传输过程中常受到成像设备与外部环境噪声干扰等影响，称为含噪图像或噪声图像。图像去噪是一项重要且具有挑战性的计算机视觉任务，因为图像噪点的存在会严重降低图像的质量，可能会使其视觉效果或多媒体任务无法正常工作。
在现有的图像去噪技术中，主要集中于特征提取和神经网络的模型设计。然而，目前的图像去噪神经网络模型通常不考虑跨尺度关系，可能会导致信息丢失，因此去噪能力不强。
发明内容
本发明实施方式提出一种图像去噪方法、装置、电子设备及存储介质。
本发明实施方式的技术方案如下：
一种图像去噪方法，包括：
接收原始图像；
将所述原始图像输入已训练的去噪神经网络以使所述去噪神经网络输出去噪后图像，其中所述去噪神经网络包含编码器和解码器，所述编码器包括与所述解码器连接的至少一个跳跃连接，所述编码器适配于以跨尺度融合方式将所述原始图像编码成隐层表示，所述解码器适配于基于所述至少一个跳跃连接将所述隐层表示解码成所述去噪后图像。
在示范性实施方式中，还包括：
将预定的图像库划分为训练集和测试集；
以训练集中的图像作为无噪声图像，使用图像处理库在所述无噪声图像中加入噪声以作为所述去噪神经网络的训练数据；
基于所述训练数据训练所述去噪神经网络；
基于所述测试集验证所述去噪神经网络的训练效果。
在示范性实施方式中，所述基于所述训练数据训练所述去噪神经网络包括：将结构相似性损失函数和L1范数损失函数的加权结果，确定为基于所述训练数据训练所述去噪神经网络的损失函数。
在示范性实施方式中，所述编码器还包括注意力机制模型；
所述以跨尺度融合方式将所述原始图像编码成隐层表示包括：
将所述原始图像输入第一卷积窗口执行第一卷积运算，以获取第一尺度的特征图和不同于所述第一尺度的、第二尺度的特征图；
将第一尺度的特征图输入第二卷积窗口执行第二卷积运算，以获取第二卷积运算后的特征图；
对第二尺度的特征图执行第一最大池化处理，将第一最大池化处理后的特征图输入第三卷积窗口执行第三卷积运算，以获取第三卷积运算后的特征图；
对第二尺度的特征图执行第二最大池化处理，对第二最大池化处理后的特征图执行第三最大池化处理，以获取第三最大池化处理后的特征图；
将第二卷积运算后的特征图、第三卷积运算后的特征图和第三最大池化处理后的特征图输入所述注意力机制模型，以获取所述隐层表示。
在示范性实施方式中，在将所述原始图像输入第一卷积窗口执行第一卷积运算之前，还包括：
将所述原始图像输入第四卷积窗口以执行第四卷积运算；
将从第四卷积运算后的特征图中提取的共同特征，确定为第一跳跃连接；
所述方法还包括：
将第一卷积运算后的特征图和第一最大池化处理后的特征图的共同特征，确定为第二跳跃连接；
将第二卷积运算后的特征图、第三卷积运算后的特征图和第三最大池化处理后的特征图的共同特征，确定为第三跳跃连接。
在示范性实施方式中，所述基于所述至少一个跳跃连接将所述隐层表示解码成所述去噪后图像包括：
将所述第三跳跃连接加入所述隐层表示；
将加入所述第三跳跃连接的隐层表示输入第一反卷积窗口执行第一反卷积运算，以获取第一反卷积运算后的特征图；
将所述第二跳跃连接加入所述第一反卷积运算后的特征图；
将加入所述第二跳跃连接的、第一反卷积运算后的特征图输入第二反卷积窗口执行第二反卷积运算，以获取第二反卷积运算后的特征图；
将所述第一跳跃连接加入所述第二反卷积运算后的特征图；
将加入所述第一跳跃连接的、第二反卷积运算后的特征图输入第三反卷积窗口执行第三反卷积运算，以获取所述去噪后图像。
一种图像去噪装置，包括：
接收模块，用于接收原始图像；
输入模块，用于将所述原始图像输入已训练的去噪神经网络以使所述去噪神经网络输出去噪后图像，其中所述去噪神经网络包含编码器和解码器，所述编码器包括与所述解码器连接的至少一个跳跃连接，所述编码器适配于以跨尺度融合方式将所述原始图像编码成隐层表示，所述解码器适配于基于所述至少一个跳跃连接将所述隐层表示解码成所述去噪后图像。
在示范性实施方式中，还包括：
训练模块，用于将预定的图像库划分为训练集和测试集；以训练集中的图像作为无噪声图像，使用图像处理库在所述无噪声图像中加入噪声以作为所述去噪神经网络的训练数据；基于所述训练数据训练所述去噪神经网络；基于所述测试集验证所述去噪神经网络的训练效果。
在示范性实施方式中，训练模块，用于将结构相似性损失函数和L1范数损失函数的加权结果，确定为基于所述训练数据训练所述去噪神经网络的损失函数。
在示范性实施方式中，所述编码器还包括注意力机制模型；
所述以跨尺度融合方式将所述原始图像编码成隐层表示包括：
将所述原始图像输入第一卷积窗口执行第一卷积运算，以获取第一尺度的特征图和不同于所述第一尺度的、第二尺度的特征图；
将第一尺度的特征图输入第二卷积窗口执行第二卷积运算，以获取第二卷积运算后的特征图；
对第二尺度的特征图执行第一最大池化处理，将第一最大池化处理后的特征图输入第三卷积窗口执行第三卷积运算，以获取第三卷积运算后的特征图；
对第二尺度的特征图执行第二最大池化处理，对第二最大池化处理后的特征图执行第三最大池化处理，以获取第三最大池化处理后的特征图；
将第二卷积运算后的特征图、第三卷积运算后的特征图和第三最大池化处理后的特征图输入所述注意力机制模型，以获取所述隐层表示。
在示范性实施方式中，在将所述原始图像输入第一卷积窗口执行第一卷积运算之前，将所述原始图像输入第四卷积窗口以执行第四卷积运算；将从第四卷积运算后的特征图中提取的共同特征，确定为第一跳跃连接；
所述去噪神经网络将第一卷积运算后的特征图和第一最大池化处理后的特征图的共同特征，确定为第二跳跃连接；将第二卷积运算后的特征图、第三卷积运算后的特征图和第三最大池化处理后的特征图的共同特征，确定为第三跳跃连接。
在示范性实施方式中，所述基于所述至少一个跳跃连接将所述隐层表示解码成所述去噪后图像包括：将所述第三跳跃连接加入所述隐层表示；将加入所述第三跳跃连接的隐层表示输入第一反卷积窗口执行第一反卷积运算，以获取第一反卷积运算后的特征图；将所述第二跳跃连接加入所述第一反卷积运算后的特征图；将加入所述第二跳跃连接的、第一反卷积运算后的特征图输入第二反卷积窗口执行第二反卷积运算，以获取第二反卷积运算后的特征图；将所述第一跳跃连接加入所述第二反卷积运算后的特征图；将加入所述第一跳跃连接的、第二反卷积运算后的特征图输入第三反卷积窗口执行第三反卷积运算，以获取所述去噪后图像。
一种计算机可读存储介质，其上存储有计算机指令，所述指令被处理器执行时可实现如上任一项所述的图像去噪方法的步骤。
一种电子设备，该电子设备包括：
处理器；
用于存储所述处理器可执行指令的存储器；
所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现如上任一项所述的图像去噪方法。
一种计算机程序产品，包括计算机指令，所述计算机指令在被处理器执行时实施如上任一项所述的图像去噪方法。
从上述技术方案可以看出，在本发明实施方式中，接收原始图像；将原始图像输入已训练的去噪神经网络以使去噪神经网络输出去噪后图像，其中去噪神经网络包含编码器和解码器，编码器包括与所述解码器连接的至少一个跳跃连接，编码器适配于以跨尺度融合方式将原始图像编码成隐层表示，解码器适配于基于至少一个跳跃连接将隐层表示解码成去噪后图像。可见，本发明实施方式在编码器中实现不同尺度之间特征的融合，以多尺度信息的相互传递来提高网络去噪能力。
而且，本发明实施方式加入注意力机制来筛选特征层，去噪效率和准确率都具有显著提升。
还有，本发明实施方式以结构相似性损失函数和L1范数损失函数的加权结果，代替原有的L2范数损失函数以训练网络，提高了去噪准确度。
附图说明
为了更清楚地说明本发明实施方式中的技术方案，下面将对实施方式描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施方式的图像去噪方法的示范性流程图。
图2是本发明实施方式的去噪神经网络的示范性结构图。
图3是本发明实施方式的编码器的示范性结构图。
图4是本发明实施方式的解码器的示范性结构图。
图5是本发明实施方式的注意力机制模型的示范性结构图。
图6是本发明实施方式的图像去噪装置的示范性结构图。
图7是本发明实施方式中的电子设备的示范性结构图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明作进一步的详细描述。
为了描述上的简洁和直观，下文通过描述若干代表性的实施方式来对本发明的方案进行阐述。实施方式中大量的细节仅用于帮助理解本发明的方案。但是很明显，本发明的技术方案实现时可以不局限于这些细节。为了避免不必要地模糊了本发明的方案，一些实施方式没有进行细致地描述，而是仅给出了框架。下文中，“包括”是指“包括但不限于”，“根据……”是指“至少根据……，但不限于仅根据……”。由于汉语的语言习惯，下文中没有特别指出一个成分的数量时，意味着该成分可以是一个也可以是多个，或可理解为至少一个。
下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式仅是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。本发明实施方式的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施方式例如能够以除了在这里图示或描述的那些以外的顺序实施。
本发明实施方式提出一种图像去噪的新型网络，实现不同尺度之间特征的融合(比如，通过网络中的内部尺度连接块)。为了学习具有不同尺度的特征，本发明实施方式提出一种多子网结构，并以结构相似性(SSIM)损失函数加L1损失函数作为损失函数代替原有的L2损失函数以训练网络，衡量重构图像和真值图像的相似度。另外，本发明实施方式还加入注意力机制来筛选特征层，以多尺度信息的相互传递来提高网络去噪能力。
图1是根据本发明实施方式的图像去噪方法的示范性流程图。
如图1所示，所述方法包括：
步骤101：接收原始图像。
步骤102：将原始图像输入已训练的去噪神经网络以使所述去噪神经网络输出去噪后图像，其中所述去噪神经网络包含编码器和解码器，所述编码器包括与所述解码器连接的至少一个跳跃连接，所述编码器适配于以跨尺度融合方式将所述原始图像编码成隐层表示，所述解码器适配于基于所述至少一个跳跃连接将所述隐层表示解码成所述去噪后图像。
可见，本发明实施方式在编码器中实现不同尺度之间特征的融合，以多尺度信息的相互传递来提高网络去噪能力。
图2是本发明实施方式的去噪神经网络的示范性结构图。
去噪神经网络可以实施为无监督的人工神经网络，也可称为自编码器，经过训练可以将其输入复制到输出。去噪神经网络首先将原始图像编码为隐层表示，然后将该隐层表示解码回图像。
具体地，去噪神经网络包含：
(1)、编码器(encode)，用于将数据下采样到较低的维度(即隐层表示)；
(2)、解码器(decoder)，用于从较低维度的隐层表示中重建原始数据，即解码出去噪后图像。
编码器和解码器可以由全连接层、CNN或RNN等模型实现。编码器以跨尺度融合方式将原始图像编码成隐层表示，比如编码器包含多个相互连接的内部尺度连接块以实现以跨尺度融合。编码器还包括与解码器连接的至少一个跳跃连接(Skip Connections或Shortcut Connections)。跳跃连接会跳跃神经网络中的某些层，并将一层的输出作为下一层的输入。跳跃连接可以解决网络层数较深的情况下梯度消失的问题，同时有助于梯度的反向传播，加快训练过程。解码器基于至少一个跳跃连接将隐层表示解码成去噪后图像。
在一个实施方式中，所述方法还包括：将预定的图像库划分为训练集和测试集；以训练集中的图像作为无噪声图像，使用图像处理库在无噪声图像中加入噪声以作为去噪神经网络的训练数据；基于训练数据训练去噪神经网络；基于测试集验证去噪神经网络的训练效果。
比如，可以将PASCAL VOC 2012数据集的图像作为原始的无噪声图像，使用图像处理库Opencv在无噪声图像中加入噪声，其中噪声加入模型可以实施为高斯噪声或椒盐噪声。可以使用库内函数随机生成高斯噪声。
在一个实施方式中，80％的数据集被划分为训练集，剩余的20％的数据集被划分为测试集，为了适应现实场景中需要机器自动检测和去除从未见过的噪声的需求，确保训练集中的噪声不会出现在测试集中，这样可以很好地模拟现实生活中的使用场景。
以上以PASCAL VOC 2012数据集为例对去噪神经网络的训练过程进行描述，本领域技术人员可以意识到，这种描述仅是示范性的，并不用于限定本发明实施方式的保护范围。
在一个示范性实施方式中，基于训练数据训练去噪神经网络包括：将结构相似性损失函数和L1范数损失函数的加权结果，确定为基于训练数据训练去噪神经网络的损失函数。
比如，去噪神经网络的训练过程中采用的损失函数为
Figure BDA0003564817090000091
其中：
Figure BDA0003564817090000092
C1＝(K1L)2；C2＝(K2L)2；
Figure BDA0003564817090000093
Figure BDA0003564817090000094
K1，K2为常数，通常K1<<1，比如，K1具体选为0.01，K2具体选为0.03；L为灰度的动态范围，由图像数值决定，比如当图像数据类型为Unit8时，L为255；N为训练样本的数目；x为生成图像(即去噪后图像)，y为真值图像(即原始图像)，X为生成图像x的集合；σxy为x与y的协方差；σx为x的对比度；σy为y的对比度；μx为x的平均亮度；μy为y的平均亮度；α为预设的权重；
Figure BDA0003564817090000095
为L1范数损失函数。其中：L1范数损失函数被称为最小绝对值偏差(LAD)或绝对值损失函数(LAE)，它是把目标值与估计值的绝对差值的总和最小化。
可见，本发明实施方式以结构相似性损失函数和L1范数损失函数的加权结果，代替原有的L2范数损失函数以训练网络，提高了去噪准确度。
以上示范性描述了噪神经网络的训练过程中采用的损失函数的具体实例，本领域技术人员可以意识到，这种描述仅是示范性的，并不用于限定本发明实施方式的保护范围。
在一个示范性实施方式中，编码器还包括注意力机制模型。其中，编码器以跨尺度融合方式将所述原始图像编码成隐层表示包括：将原始图像输入第一卷积窗口执行第一卷积运算，以获取第一尺度的特征图和不同于第一尺度的、第二尺度的特征图；将第一尺度的特征图输入第二卷积窗口执行第二卷积运算，以获取第二卷积运算后的特征图；对第二尺度的特征图执行第一最大池化处理，将第一最大池化处理后的特征图输入第三卷积窗口执行第三卷积运算，以获取第三卷积运算后的特征图；对第二尺度的特征图执行第二最大池化处理，对第二最大池化处理后的特征图执行第三最大池化处理，以获取第三最大池化处理后的特征图；将第二卷积运算后的特征图、第三卷积运算后的特征图和第三最大池化处理后的特征图输入注意力机制模型，以获取隐层表示。
可见，本发明实施方式加入注意力机制来筛选特征层，去噪效率和准确率都具有显著提升。
在一个示范性实施方式中，在将原始图像输入第一卷积窗口执行第一卷积运算之前，还包括：将所述原始图像输入第四卷积窗口以执行第四卷积运算；将从第四卷积运算后的特征图中提取的共同特征，确定为第一跳跃连接；所述方法还包括：将第一卷积运算后的特征图和第一最大池化处理后的特征图的共同特征，确定为第二跳跃连接；将第二卷积运算后的特征图、第三卷积运算后的特征图和第三最大池化处理后的特征图的共同特征，确定为第三跳跃连接。因此，本发明实施方式通过提取共同特征，可以快捷地生成跳跃连接。
在一个示范性实施方式中，所述基于所述至少一个跳跃连接将所述隐层表示解码成所述去噪后图像包括：将所述第三跳跃连接加入所述隐层表示；将加入所述第三跳跃连接的隐层表示输入第一反卷积窗口执行第一反卷积运算，以获取第一反卷积运算后的特征图；将所述第二跳跃连接加入所述第一反卷积运算后的特征图；将加入所述第二跳跃连接的、第一反卷积运算后的特征图输入第二反卷积窗口执行第二反卷积运算，以获取第二反卷积运算后的特征图；将所述第一跳跃连接加入所述第二反卷积运算后的特征图；将加入所述第一跳跃连接的、第二反卷积运算后的特征图输入第三反卷积窗口执行第三反卷积运算，以获取所述去噪后图像。
因此，本发明实施方式通过引入跳跃连接，可以解决网络层数较深的情况下梯度消失的问题，同时有助于梯度的反向传播，加快训练过程。
图3是本发明实施方式的编码器的示范性结构图。
在图3中，输入编码器的原始图像为：尺寸为256*256*3的有噪声图像(通常为多张有噪声图像)。其中256*256*3的含义是：图像的长为256，高为256，通道数为3。
256*256*3的有噪声图像通过3*3*16(含义为：长*高*通道数)的卷积窗口，生成128*128*16的特征图(对应于多张有噪声图像，特征图通常为多张)。从128*128*16的特征图中提取出共同特征，将提取出的共同特征确定为经由跳跃连接1发送到解码器的数据。
将128*128*16的特征图通过3*3*32的卷积窗口，分别生成64*64*32的特征图和128*128*16的特征图(也就是图像特征量)。可见，这两种特征图的尺度并不相同。而且，64*64*32的特征图和128*128*16的特征图具有特征融合处理。其中：
64*64*32的特征图对应于执行顺序1。在执行顺序1中，64*64*32的特征图通过3*3*128的卷积窗口，以得到32*32*128的特征图。
128*128*16的特征图对应于两个不同的执行顺序，称为执行顺序2和执行顺序3。
对于执行顺序2：将128*128*16的特征图取最大池化，得到64*64*16的特征图，然后将64*64*16的特征图通过3*3*32的卷积窗口，生成32*32*32的特征图。
对于执行顺序3：将128*128*16的特征图取最大池化，得到64*64*16的特征图，然后将64*64*16的特征图再次取最大池化，得到32*32*16的特征图。
提取执行顺序2中的、64*64*16的特征图与执行顺序1中的、64*64*32的特征图之间的共同特征。而且，将该提取的共同特征确定为经由跳跃连接2发送到解码器的数据。
提取执行顺序3中的32*32*16的特征图、执行顺序2中的32*32*32的特征图以及执行顺序1中的32*32*128的特征图之间的共同特征。而且，将该提取的共同特征确定为经由跳跃连接3发送到解码器的数据。
考虑到网络编码生成的特征向量并不是全部具有意义，可能会存在冗余的情况，为了筛选网络中有用的特征层，加入注意力机制，在减少网络数据量的情况下，保证算法的精确性。如图3可见，执行顺序1中的32*32*128的特征图、执行顺序2中的32*32*32的特征图和执行顺序3中的32*32*16的特征图被提供到编码器中的注意力机制模型，基于注意力机制模型生成32*32*32的特征图。
经由跳跃连接1发送到解码器的数据(也就是：从128*128*16的特征图中提取出的相同特征)、经由跳跃连接2发送到解码器的数据(也就是：执行顺序2中的、64*64*16的特征图与执行顺序1中的、64*64*32的特征图的共同特征)、经由跳跃连接3发送到解码器的数据(也就是：执行顺序3中的32*32*16的特征图、执行顺序2中的32*32*32的特征图以及执行顺序1中的32*32*128的特征图的共同特征)和注意力机制模型输出的32*32*32的特征图，都被提供的解码器。
图4是本发明实施方式的解码器的示范性结构图。
在图4中，解码器的输入包括：
(1)、注意力机制模型输出的32*32*32的特征图；
(2)、经由跳跃连接1从编码器接收到的数据(从128*128*16的特征图中提取出的共同特征)；
(3)、经由跳跃连接2从编码器接收到的数据(执行顺序2中的、64*64*16的特征图与执行顺序1中的、64*64*32的特征图的共同特征)；
(4)、经由跳跃连接3从编码器接收到的数据(执行顺序3中的32*32*16的特征图、执行顺序2中的32*32*32的特征图以及执行顺序1中的32*32*128的特征图的共同特征)。
在注意力机制模型输出的、32*32*32的特征图中加入经由跳跃连接3从编码器接收到的数据，从而形成32*32*208的特征图。将32*32*208的特征图提供到3*3*64的反卷积窗口执行反卷积运算。在3*3*64的反卷积运算结果中加入经由跳跃连接2从编码器接收到的数据，并将加入经由跳跃连接2从编码器接收到的数据后的特征图，提供到3*3*32的反卷积窗口执行反卷积运算，以得到64*64*32的特征图。在64*64*32的特征图中加入经由跳跃连接1从编码器接收到的数据。加入经由跳跃连接3从编码器接收到的数据后的特征图，被提供到3*3*16的反卷积窗口执行反卷积运算，形成128*128*16的特征图。将128*128*16的特征图提供到3*3*3的反卷积窗口执行反卷积运算，得到256*256*3的去噪后图像。
本发明实施方式中，通过网络的压缩编码学习数据特征，构建使用卷积和池化的架构的深度网络，其中可以定义ReLu函数作为激活函数。
下面对编码器中的注意力机制模型进行示范性说明。
图5是本发明实施方式的注意力机制模型的示范性结构图。其中，注意力机制模型具体实施为SENet(Squeeze-and-Excitation)。该注意力机制模型注意力机制分成三个部分：挤压(squeeze)部分、激励(excitation)部分以及尺度(scale)部分。
注意力机制模型的输入是图像特征X：(h*w*c)。通过注意力模块来学习每个通道的权重，从而产生通道域的注意力。具体包括：执行挤压操作(F1)，将各通道的全局空间特征作为该通道的表示，形成一个通道描述符。经过挤压操作后，图像特征变成1*1*c。然后，对1*1*c的图像特征执行激励操作(F2)，学习对各通道的依赖程度，不同通道的值乘上不同的权重，从而可以增强对关键通道域的注意力。执行激励操作后，图像特征的维度没有变(依然是1*1*c)，但是向量值变成了新的值。这些新的值和图像特征X的尺度处理(F)加权，可以得到最终的输出值。其中：F为向量直接传递，并不进行操作；F1为对特征层向量进行全局最大池化；F2为全连接操作。
可见，本发明实施方式还构建了注意力机制模型，在减少网络数据量的情况下，保证算法的精确性。
以上以SENet为例对注意力机制模型进行示范性描述，本领域技术人员可以意识到，这种描述仅是示范性的，并不用于限定本发明实施方式的保护范围。
反解码网络生成无噪声图像
构建解码深度网络，将注意力机制模型筛选出的特征层向量作为解码网络的输入，每个阶段的解码过程同步接收编码网络的生成的中间层特征向量来进行反卷积，增加图像底层特征的描述，以保证重构的图像细节更加丰富
图6是本发明实施方式的图像去噪装置的示范性结构图。
如图6，图像去噪装置600包括：
接收模块601，用于接收原始图像；
输入模块602，用于将原始图像输入已训练的去噪神经网络603以使去噪神经网络603输出去噪后图像，其中去噪神经网络603包含编码器和解码器，编码器包括与解码器连接的至少一个跳跃连接，编码器适配于以跨尺度融合方式将原始图像编码成隐层表示，解码器适配于基于至少一个跳跃连接将隐层表示解码成去噪后图像。其中，去噪神经网络603可以包含在图像去噪装置600中，也可以布置在图像去噪装置600可以访问的存储介质中。
在示范性实施方式中，图像去噪装置600还包括：
训练模块604，用于将预定的图像库划分为训练集和测试集；以训练集中的图像作为无噪声图像，使用图像处理库在无噪声图像中加入噪声以作为去噪神经网络603的训练数据；基于训练数据训练去噪神经网络；基于测试集验证去噪神经网络的训练效果。
在示范性实施方式中，训练模块604，用于将结构相似性损失函数和L1范数损失函数的加权结果，确定为基于训练数据训练去噪神经网络的损失函数。
在示范性实施方式中，编码器还包括注意力机制模型；以跨尺度融合方式将原始图像编码成隐层表示包括：将原始图像输入第一卷积窗口执行第一卷积运算，以获取第一尺度的特征图和不同于第一尺度的、第二尺度的特征图；将第一尺度的特征图输入第二卷积窗口执行第二卷积运算，以获取第二卷积运算后的特征图；对第二尺度的特征图执行第一最大池化处理，将第一最大池化处理后的特征图输入第三卷积窗口执行第三卷积运算，以获取第三卷积运算后的特征图；对第二尺度的特征图执行第二最大池化处理，对第二最大池化处理后的特征图执行第三最大池化处理，以获取第三最大池化处理后的特征图；将第二卷积运算后的特征图、第三卷积运算后的特征图和第三最大池化处理后的特征图输入注意力机制模型，以获取隐层表示。
在示范性实施方式中，在将原始图像输入第一卷积窗口执行第一卷积运算之前，将原始图像输入第四卷积窗口以执行第四卷积运算；将从第四卷积运算后的特征图中提取的共同特征，确定为第一跳跃连接；去噪神经网络603将第一卷积运算后的特征图和第一最大池化处理后的特征图的共同特征，确定为第二跳跃连接；将第二卷积运算后的特征图、第三卷积运算后的特征图和第三最大池化处理后的特征图的共同特征，确定为第三跳跃连接。
在示范性实施方式中，基于至少一个跳跃连接将隐层表示解码成去噪后图像包括：将第三跳跃连接加入隐层表示；将加入第三跳跃连接的隐层表示输入第一反卷积窗口执行第一反卷积运算，以获取第一反卷积运算后的特征图；将第二跳跃连接加入第一反卷积运算后的特征图；将加入第二跳跃连接的、第一反卷积运算后的特征图输入第二反卷积窗口执行第二反卷积运算，以获取第二反卷积运算后的特征图；将第一跳跃连接加入第二反卷积运算后的特征图；将加入第一跳跃连接的、第二反卷积运算后的特征图输入第三反卷积窗口执行第三反卷积运算，以获取去噪后图像。
本发明实施方式还提供一种计算机可读介质，计算机可读存储介质存储指令，指令在由处理器执行时可执行如上的小程序的图像去噪方法中的步骤。实际应用中，的计算机可读介质可以是上述实施方式中描述的设备/装置/***中所包含的，也可以是单独存在，而未装配入该设备/装置/***中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或多个程序被执行时，可以实现上述各实施方式描述的小程序的运行环境模拟方法。根据本发明公开的实施方式，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件，或者上述的任意合适的组合，但不用于限制本发明保护的范围。在本发明公开的实施方式中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。
如图7所示，本发明实施方式还提供一种电子设备，其中可以集成本发明实施方式实现方法的装置。如图7所示，其示出了本发明实施方式所涉及的电子设备的示范性结构图。
具体地：该电子设备可以包括一个或一个以上处理核心的处理器401、一个或一个以上计算机可读存储介质的存储器402以及存储在存储器上并可在处理器上运行的计算机程序。在执行存储器402的程序时，可以实现上述图像去噪方法。
在实际应用中，该电子设备还可以包括电源403、输入单元404、以及输出单元405等部件。本领域技术人员可以理解，图7中示出的电子设备的结构并不构成对该电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：处理器401是该电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器402内的软件程序和/或模块，以及调用存储在存储器402内的数据，执行服务器的各种功能和处理数据，从而对该电子设备进行整体监控。存储器402可用于存储软件程序以及模块，即上述计算机可读存储介质。处理器401通过运行存储在存储器402的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序等；存储数据区可存储根据服务器的使用所创建的数据等。此外，存储器402可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器402还可以包括存储器控制器，以提供处理器401对存储器402的访问。
该电子设备还包括给各个部件供电的电源403，可以通过电源管理***与处理器401逻辑相连，从而通过电源管理***实现管理充电、放电、以及功耗管理等功能。电源403还可以包括一个或一个以上的直流或交流电源、再充电***、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。该电子设备还可包括输入单元404，该输入单元404可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。该电子设备还可以包括输出单元405，该输出单元405可以用于显示由用户输入的信息或提供给用户的信息以及各种图像用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。
本发明实施方式还提供一种计算机程序产品，该计算机程序产品包括计算机指令，该计算机指令在被处理器执行时实施如上述任一实施方式的方法。
本发明附图中的流程图和框图，示出了按照本发明公开的各种实施方式的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或者代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应该注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同附图中所标注的顺序发生。例如，两个连接地表示的方框实际上可以基本并行地执行，它们有时也可以按照相反的顺序执行，这根据所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或者流程图中的方框的组合，可以利用执行规定的功能或操作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。
本文中应用了具体实施方式对本发明的原理及实施方式进行了阐述，以上实施方式的说明只是用于帮助理解本发明的方法及其核心思路，并不用于限制本发明。对于本领域的技术人员来说，可以依据本发明的思路、精神和原则，在具体实施方式及应用范围上进行改变，其所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (10)

1.一种图像去噪方法，其特征在于，包括：
接收原始图像；
将所述原始图像输入已训练的去噪神经网络以使所述去噪神经网络输出去噪后图像，其中所述去噪神经网络包含编码器和解码器，所述编码器包括与所述解码器连接的至少一个跳跃连接，所述编码器适配于以跨尺度融合方式将所述原始图像编码成隐层表示，所述解码器适配于基于所述至少一个跳跃连接将所述隐层表示解码成所述去噪后图像。
2.根据权利要求1所述的图像去噪方法，其特征在于，还包括：
将预定的图像库划分为训练集和测试集；
以训练集中的图像作为无噪声图像，使用图像处理库在所述无噪声图像中加入噪声以作为所述去噪神经网络的训练数据；
基于所述训练数据训练所述去噪神经网络；
基于所述测试集验证所述去噪神经网络的训练效果。
3.根据权利要求2所述的图像去噪方法，其特征在于，
所述基于所述训练数据训练所述去噪神经网络包括：将结构相似性损失函数和L1范数损失函数的加权结果，确定为基于所述训练数据训练所述去噪神经网络的损失函数。
4.根据权利要求1所述的图像去噪方法，其特征在于，所述编码器还包括注意力机制模型；
所述以跨尺度融合方式将所述原始图像编码成隐层表示包括：
将所述原始图像输入第一卷积窗口执行第一卷积运算，以获取第一尺度的特征图和不同于所述第一尺度的、第二尺度的特征图；
将第一尺度的特征图输入第二卷积窗口执行第二卷积运算，以获取第二卷积运算后的特征图；
对第二尺度的特征图执行第一最大池化处理，将第一最大池化处理后的特征图输入第三卷积窗口执行第三卷积运算，以获取第三卷积运算后的特征图；
对第二尺度的特征图执行第二最大池化处理，对第二最大池化处理后的特征图执行第三最大池化处理，以获取第三最大池化处理后的特征图；
将第二卷积运算后的特征图、第三卷积运算后的特征图和第三最大池化处理后的特征图输入所述注意力机制模型，以获取所述隐层表示。
5.根据权利要求4所述的图像去噪方法，其特征在于，在将所述原始图像输入第一卷积窗口执行第一卷积运算之前，还包括：
将所述原始图像输入第四卷积窗口以执行第四卷积运算；
将从第四卷积运算后的特征图中提取的共同特征，确定为第一跳跃连接；
所述方法还包括：
将第一卷积运算后的特征图和第一最大池化处理后的特征图的共同特征，确定为第二跳跃连接；
将第二卷积运算后的特征图、第三卷积运算后的特征图和第三最大池化处理后的特征图的共同特征，确定为第三跳跃连接。
6.根据权利要求5所述的图像去噪方法，其特征在于，所述基于所述至少一个跳跃连接将所述隐层表示解码成所述去噪后图像包括：
将所述第三跳跃连接加入所述隐层表示；
将加入所述第三跳跃连接的隐层表示输入第一反卷积窗口执行第一反卷积运算，以获取第一反卷积运算后的特征图；
将所述第二跳跃连接加入所述第一反卷积运算后的特征图；
将加入所述第二跳跃连接的、第一反卷积运算后的特征图输入第二反卷积窗口执行第二反卷积运算，以获取第二反卷积运算后的特征图；
将所述第一跳跃连接加入所述第二反卷积运算后的特征图；
将加入所述第一跳跃连接的、第二反卷积运算后的特征图输入第三反卷积窗口执行第三反卷积运算，以获取所述去噪后图像。
7.一种图像去噪装置，其特征在于，包括：
接收模块，用于接收原始图像；
输入模块，用于将所述原始图像输入已训练的去噪神经网络以使所述去噪神经网络输出去噪后图像，其中所述去噪神经网络包含编码器和解码器，所述编码器包括与所述解码器连接的至少一个跳跃连接，所述编码器适配于以跨尺度融合方式将所述原始图像编码成隐层表示，所述解码器适配于基于所述至少一个跳跃连接将所述隐层表示解码成所述去噪后图像。
8.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，所述指令被处理器执行时可实现权利要求1-6任一项所述的图像去噪方法的步骤。
9.一种电子设备，其特征在于，该电子设备包括：
处理器；
用于存储所述处理器可执行指令的存储器；
所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现权利要求1-6任一项所述的图像去噪方法。
10.一种计算机程序产品，其特征在于，包括计算机指令，所述计算机指令在被处理器执行时实施权利要求1-6任一项所述的图像去噪方法。
CN202210305348.6A 2022-03-25 2022-03-25 图像去噪方法、装置、电子设备、存储介质 Pending CN114627025A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210305348.6A CN114627025A (zh) 2022-03-25 2022-03-25 图像去噪方法、装置、电子设备、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210305348.6A CN114627025A (zh) 2022-03-25 2022-03-25 图像去噪方法、装置、电子设备、存储介质

Publications (1)

Publication Number Publication Date
CN114627025A true CN114627025A (zh) 2022-06-14

Family

ID=81903601

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210305348.6A Pending CN114627025A (zh) 2022-03-25 2022-03-25 图像去噪方法、装置、电子设备、存储介质

Country Status (1)

Country Link
CN (1) CN114627025A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116012266A (zh) * 2023-03-29 2023-04-25 中国科学技术大学 图像去噪方法、***、设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116012266A (zh) * 2023-03-29 2023-04-25 中国科学技术大学 图像去噪方法、***、设备及存储介质

Similar Documents

Publication Publication Date Title
CN110889381B (zh) 换脸方法、装置、电子设备及存储介质
WO2024051445A1 (zh) 图像生成方法以及相关设备
WO2020064990A1 (en) Committed information rate variational autoencoders
CN111105375B (zh) 图像生成方法及其模型训练方法、装置及电子设备
CN111179187B (zh) 基于循环生成对抗网络的单幅图像去雨方法
US20220156987A1 (en) Adaptive convolutions in neural networks
KR102042168B1 (ko) 시계열 적대적인 신경망 기반의 텍스트-비디오 생성 방법 및 장치
CN109168003B (zh) 一种生成用于视频预测的神经网络模型的方法
KR20240065281A (ko) 벡터-양자화된 이미지 모델링
CN113822794A (zh) 一种图像风格转换方法、装置、计算机设备和存储介质
CN110880193A (zh) 一种利用深度语义分割技术的图像压缩方法
CN115713579A (zh) Wav2Lip模型训练方法、图像帧生成方法、电子设备及存储介质
CN110633735B (zh) 基于小波变换的渐进式深度卷积网络图像识别方法及装置
CN114627025A (zh) 图像去噪方法、装置、电子设备、存储介质
CN116935292B (zh) 一种基于自注意力模型的短视频场景分类方法及***
CN115812206A (zh) 用于高质量图像处理的机器学习
CN116264606A (zh) 用于处理视频的方法、设备和计算机程序产品
CN113411521B (zh) 视频处理方法、装置、电子设备及存储介质
US11721007B2 (en) Facial image editing and enhancement using a personalized prior
CN116071478B (zh) 图像重建模型的训练方法和虚拟场景渲染方法
CN115496989B (zh) 一种生成器、生成器训练方法及避免图像坐标粘连方法
US20230044969A1 (en) Video matting
EP4356342A1 (en) Guided contextual attention map for inpainting tasks
KR20200120978A (ko) 고효율 머신러닝을 통한 저사양 장치에서의 빠른 영상 인식 방법 및 그 방법을 수행하는 장치
CN114004302A (zh) 用户问句聚类方法、可读存储介质及计算机程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination