CN115311149A - 图像去噪方法、模型、计算机可读存储介质及终端设备 - Google Patents

图像去噪方法、模型、计算机可读存储介质及终端设备 Download PDF

Info

Publication number
CN115311149A
CN115311149A CN202110500670.XA CN202110500670A CN115311149A CN 115311149 A CN115311149 A CN 115311149A CN 202110500670 A CN202110500670 A CN 202110500670A CN 115311149 A CN115311149 A CN 115311149A
Authority
CN
China
Prior art keywords
image
attention
feature map
module
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110500670.XA
Other languages
English (en)
Inventor
黄海鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan TCL Group Industrial Research Institute Co Ltd
Original Assignee
Wuhan TCL Group Industrial Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan TCL Group Industrial Research Institute Co Ltd filed Critical Wuhan TCL Group Industrial Research Institute Co Ltd
Priority to CN202110500670.XA priority Critical patent/CN115311149A/zh
Publication of CN115311149A publication Critical patent/CN115311149A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种图像去噪方法、模型、计算机可读存储介质及终端设备，所述方法获取待处理图像对应的若干特征图；基于若干特征图中的目标特征图，确定所述待处理图像对应的注意力特征图，其中，所述目标特征图为若干特征图中图像尺寸最小的特征图；基于所述注意力特征图以及除所述目标特征图外的各特征图确定所述待处理图像对应的去噪图像。本申请实施例获取若干携带有图像细节信息的特征图，并利用注意力机制以及目标特征图确定注意力特征图，使得注意力特征图可以包括保留待处理图像的颜色特征以及纹理特征，从而可以提高基于注意力特征和若干特征图确定的去噪图像中的图像细节信息，从而提高去噪图像的图像质量。

Description

图像去噪方法、模型、计算机可读存储介质及终端设备
技术领域
本申请涉及图像处理，特别涉及一种图像去噪方法、模型、计算机可读存储介质及终端设备。
背景技术
随着终端设备的快速发展，终端设备可以使用于各种拍摄场景，其中，夜景拍摄是终端拍摄的一个常见场景。但是，由于夜景拍摄过程中，拍照设备的感光元件长期处于低光环境下的原因，使得拍摄得到的图像中携带有图像噪声，图像噪声会影响图像质量，甚至湮没图像中的部分图像内容，给用户使用带来不便。
发明内容
本申请要解决的技术问题在于，针对现有技术的不足，提供一种图像去噪方法。
为了解决上述技术问题，本申请实施例第一方面提供了一种图像去噪方法，所述的图像去噪方法包括：
获取待处理图像对应的若干特征图；
基于若干特征图中的目标特征图，确定所述待处理图像对应的注意力特征图，其中，所述目标特征图为若干特征图中图像尺寸最小的特征图；
基于所述注意力特征图以及除所述目标特征图外的各特征图确定所述待处理图像对应的去噪图像。
所述图像去噪方法，其中，所述去噪图像的图像尺寸大于所述待处理图像的图像尺寸。
所述图像去噪方法，其中，所述的图像去噪方法应用图像去噪模型，所述图像去噪模型包括下采样模块，所述下采样模块包括卷积单元以及若干下采样单元；所述获取待处理图像对应的若干特征图具体包括：
将待处理图像输入所述卷积单元，通过所述卷积单元输出参考特征图；
利用所述若干下采样单元，基于所述参考特征图确定所述待处理图像对应的若干候选特征图；
将所述参考特征图以及若干候选特征图，作为所述待处理图像对应的若干特征图。
所述图像去噪方法，其中，所述若干下采样单元依次级联，若干下采样单元与若干候选特征图一一对应，各候选特征图为各候选特征图各自对应的下采样单元的输出项，其中，按照级联顺序位于最前的下采样单元的输入项包括参考特征图，按照级联顺序相邻的两个下采样单元中前一下采样单元的输出项为后一下采样单元的输入项。
所述图像去噪方法，其中，所述的图像去噪方法应用图像去噪模型，所述图像去噪模型包括若干级联的注意力模块，若干注意力模块中至少存在第一注意力模块和第二注意力模块，所述第一注意力模块按照级联顺序位于所述第二注意力模块之前，并且所述第二注意力模块的输入项包括与所述第二注意力模块相邻且位于所述第二注意力模块之前的注意力模块和所述第一注意力模块的输入项。
所述图像去噪方法，其中，所述基于若干特征图中的目标特征图，确定所述待处理图像对应的注意力特征图具体包括：
将所述目标特征图输入按照级联顺序位于最前的注意力模块，通过最前的注意力模块输出第一注意力特征图；
将所述第一注意特征图作为目标注意力特征图，将位于第二位的注意力模块作为目标注意力模块；
检测所述目标注意力模块是否为第二注意力模块；
若所述目标注意力模块不为第二注意力模块，则将所述目标注意力特征图作为所述目标注意力模块的输入图像；若所述目标注意力模块为第二注意力模块，将所述目标注意力特征图以及所述目标注意力模块对应的第一注意力模块的输入项作为目标注意力模块的输入图像；
利用目标注意力模块基于所述输入图像，确定第二注意力特征图；
将所述第二注意特征图作为目标注意力特征图，将目标注意力模块的后一注意力模块作为目标注意力模块，并继续执行检测所述目标注意力模块是否为第二注意力模块的步骤，直至目标注意力模块为最后的注意力模块。
所述图像去噪方法，其中，所述注意力模块包括若干级联的注意力单元和融合单元；所述利用目标注意力模块基于所述输入图像，确定第二注意力特征图具体包括：
将所述输入图像输入按照级联顺序位于最前的注意力单元，并通过若干注意力单元输出参照特征图；
将所述参照特征图和所述输入图像输入所述融合单元，通过所述融合单元输出所述待处理图像对应的第二注意力特征图。
所述图像去噪方法，其中，所述注意力单元包括卷积块、第一注意力块、第二注意力块、第一融合块和第二融合块；所述卷积块的输出项为所述第一注意力块的输入项和所述第二注意力块的输入项；所述第一融合块的输入项包括所述第一注意力块的输出项和所述第二注意力块的输出项；所述第二融合块的输入项包括所述卷积块的输入项和所述第一融合块的输出项。
所述图像去噪方法，其中，所述第一注意力块包括第一全局均值池化层、全局最大池化层、第一融合层以及第二融合层，所述卷积块的输出项为第一全局均值池化层的输入项和所述全局最大池化层的输入项，所述第一融合层的输入项包括第一全局均值池化层的输出项和全局最大池化层的输出项，所述第二融合层的输入项包括所述第一融合层的输出项和所述卷积块的输出项。
所述图像去噪方法，其中，所述第二注意力块包括第二全局均值池化层以及第三融合层；所述卷积块的输出项为所述第二全局均值池化层的输入项，所述第三融合层的输入项包括所述第二全局均值池化层的输出项和所述卷积块的输出项。
所述图像去噪方法，其中，所述的图像去噪方法应用图像去噪模型，所述图像去噪模型包括上采样模块，所述上采样模块包括若干级联的上采样单元，按照级联顺序位于最前的上采样单元的输入项为注意力特征图，按照级联顺序相邻的两个上采样单元中前一上采样单元的输出项为后一上采样单元的输入项，并且若干上采样单元中除位于最前的上采样单元外的各上采样单元的输入项均包括若干特征图中的一特征图，并且各上采样单元各自对应的特征图互不相同。
所述图像去噪方法，其中，所述的图像去噪方法应用图像去噪模型，所述图像去噪模型的训练方法具体包括：
获取训练样本集，其中，所述训练样本集包括若干训练图像组，若干训练图像组中的每个训练图像组均包括训练图像和场景图像，所述训练图像为通过向场景图像添加噪声确定的；
将所述训练样本集中的训练图像输入图像去噪模型，通过图像去噪模型输出所述训练图像对应的去噪图像；
基于所述预测图像以及所述训练图像对应的场景图像，对所述预设网络模型进行训练，以得到所述图像去噪模型。
所述图像去噪方法，其中，获取训练样本集具体包括：
获取若干场景图像，其中，若干场景图像中的每个场景图像对应的环境亮度均满足预设条件；
对于若干场景图像中的每张场景图像，确定该场景图像对应的模拟噪声，并将所述模拟噪声添加到该场景图像中，得到该场景图像对应的训练图像，其中，所述模拟噪声大于预设噪声阈值；
基于各场景图像及各场景图像各自对应的训练图像，生成训练样本集。
所述图像去噪方法，其中，所述基于所述预测图像以及所述训练图像对应的场景图像，对所述预设网络模型进行训练，以得到所述图像去噪模型具体包括：
确定所述预测图像以及所述场景图像的最小绝对值偏差损失值，以及结构相似性指数损失值；
基于所述最小绝对值偏差损失值以及所述结构相似性指数损失值，确定所述训练图像对应的总损失值；
基于所述总损失值对所述预设网络模型进行训练，以得到所述图像去噪模型。
所述图像去噪方法，其中，所述基于各场景图像及各场景图像各自对应的训练图像，生成训练样本集之后，所述图像去噪模型的训练方法还包括：
将所述训练样本集中的训练图像输入图像去噪模型，通过图像去噪模型输出所述训练图像对应的去噪图像；
基于所述去噪图像以及所述预测图像，确定所述训练图像对应的色度损失值；
基于所述色度损失值对所述图像去噪模型进行训练，并将训练后的图像去噪模型作为图像去噪模型。
本申请实施例第二方面提供了一种图像去噪模型，所述图像去噪模型包括：
下采样模块，用于获取待处理图像对应的若干特征图；
注意力模块，用于基于若干特征图中的目标特征图，确定所述待处理图像对应的注意力特征图，其中，所述目标特征图为若干特征图中图像尺寸最小的特征图；
上采样模块，用于基于所述注意力特征图以及除所述目标特征图外的各特征图确定所述待处理图像对应的去噪图像。
本申请实施例第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上任一所述的图像去噪方法中的步骤。
本申请实施例第四方面提供了一种终端设备，其包括：处理器、存储器及通信总线；所述存储器上存储有可被所述处理器执行的计算机可读程序；
所述通信总线实现处理器和存储器之间的连接通信；
所述处理器执行所述计算机可读程序时实现如上任一所述的图像去噪方法中的步骤。
有益效果：与现有技术相比，本申请提供了一种图像去噪方法、模型、计算机可读存储介质及终端设备，所述方法获取待处理图像对应的若干特征图；基于若干特征图中的目标特征图，确定所述待处理图像对应的注意力特征图，其中，所述目标特征图为若干特征图中图像尺寸最小的特征图；基于所述注意力特征图以及除所述目标特征图外的各特征图确定所述待处理图像对应的去噪图像。本申请实施例获取若干携带有图像细节信息的特征图，并利用注意力机制以及目标特征图确定注意力特征图，使得注意力特征图可以包括保留待处理图像的颜色特征以及纹理特征，从而可以提高基于注意力特征和若干特征图确定的去噪图像中的图像细节信息，从而提高去噪图像的图像质量。
附图说明
图1为本申请提供的图像去噪方法的流程图。
图2为本申请提供的图像去噪方法的图像去噪模型的结构示意图；
图3为本申请提供的图像去噪方法中注意力模块的结构示意图；
图4为本申请提供的图像去噪方法中原始图像和去噪图像的示意图；
图5为本申请提供的终端设备的结构原理图。
具体实施方式
本申请提供一种图像去噪方法、计算机可读存储介质及终端设备，为使本申请的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本申请进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本申请所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
申请人经过研究发现，随着终端设备的快速发展，终端设备可以使用于各种拍摄场景，其中，夜景拍摄是终端拍摄的一个常见场景。但是，由于夜景拍摄过程中，拍照设备的感光元件长期处于低光环境下的原因，使得拍摄得到的图像中携带有图像噪声，图像噪声会影响图像质量，甚至湮没图像中的部分图像内容，给用户使用带来不便。
为了提高夜景拍摄场景拍摄得到的夜景图像的图像质量，在获取到夜景图像后，会通过超夜景算法对夜景图像进行处理。超夜景算法是通过获取多帧不同的曝光作为输入，进行多帧合成，去马赛克，高动态范围成像(High Dynamic Range Imaging，HDR)以及去噪处理，然后再通过ISP(Image Signal Processing，图像信号处理)输出显示图像。其中，去噪处理的目的是去除噪声图像中的图像噪声，以恢复出潜在的清晰图像，并保留去噪声图像的原始细节。
目前普遍使用的图像去噪的方法主要分为两大类，第一类属于基于滤波思想的，代表方法有BM3D(Block-Matching and 3D filtering，稀疏三维变换域协同过滤的图像去噪)，DCT(Discrete Cosine Transform，离散余弦变换)等。对于经典的BM3D为代表的传统的去噪方法，主要思想是三维块匹配滤波，虽然效果较好，但是由于其算法复杂度较高，针对分辨率较大的图像，例如现在流行的4k图像，需要花费相当长的时间，无法实现实时处理。而且噪声的类型较为复杂，有加性噪声，乘性噪声，因此，采用这种方式鲁棒性欠佳。第二类属于基于数据驱动的深度网络方法，代表方法有基于卷积端到端的残差学习网络DnCnn(Denoising Convolutional Neural Networks，去噪卷积神经网络)，Ridnet(Recursive Information Distillation Network，递归信息蒸馏网络)，CBDnet(Convolutional Blind Denoising Network，卷积盲去噪网络)，PridNet(Ryramid RealImage Denoising Network，金字塔实时去噪网络)等，同时又根据输入的数据类型，可细分为基于raw2raw、raw2rgb以及rgb2rgb这三种不同的方案。近年来，随着以数据为驱动的CNN(Convolutional Neural Networks，卷积神经网络)在去噪任务的飞速发展，从早期的DnCnn到现在的PridNet，Ridnet，基于深度学习的去噪效果已经完成对传统方法的全面超越。然而针对夜景拍摄的图像，基于其噪声分布的多样性等特性，现有的图像去噪方法对夜景图像仍然存在去噪精度低的问题。
为了解决上述问题，在本申请实施例中，获取待处理图像对应的若干特征图；基于若干特征图中的目标特征图，确定所述待处理图像对应的注意力特征图，其中，所述目标特征图为若干特征图中图像尺寸最小的特征图；基于所述注意力特征图以及除所述目标特征图外的各特征图确定所述待处理图像对应的去噪图像。本申请实施例获取若干携带有图像细节信息的特征图，并利用注意力机制以及目标特征图确定注意力特征图，使得注意力特征图可以包括保留待处理图像的颜色特征以及纹理特征，从而可以提高基于注意力特征和若干特征图确定的去噪图像中的图像细节信息，从而提高去噪图像的图像质量。
举例说明，本申请实施例可以应用到夜间拍照、夜间人脸识别、夜间摄影等领域。可以理解的是，在上述应用场景的共性是需要在低光环境下对环境进行拍照，夜景拍照也并不仅限于夜晚的景色，其主要指亮度不满足常规拍照摄影需求的环境下拍照。需要注意的是，上述应用场景仅是为了便于理解本申请而示出，本申请的实施方式在此方面不受任何限制。相反，本申请的实施方式可以应用于适用的任何场景。
下面结合附图，通过对实施例的描述，对申请内容作进一步说明。
如图1所示，本实施提供了一种图像去噪方法，所述方法可以包括以下步骤：
S10、获取待处理图像对应的若干特征图。
具体地，所述待处理图像可以为可以是通过电子设备配置的成像***(如，屏上摄像头)拍摄得到，或者是，通过网络(如，百度)获取到，或者是，通过其他外部设备(如，智能手机)发送的。在本实施例的一个实现方式中，所述待处理图像为通过配置有本实施例提供的图像去噪方法的电子设备的成像***拍摄得到的，并且所待处理图像为该成像***在暗光条件下拍摄的得到，其中，暗光条件指的是拍摄场景的环境光亮度不满足预设条件，例如，待处理图像为成像***在夜景场景下拍摄得到德国。此外，环境光亮度不满足预设条件可以为环境光亮度小于预设亮度阈值等。
所述若干特征图中的各特征图的图像尺寸互不相同，并且若干特征图中的每张特征图均携带有待处理图像的图像内容信息，例如，若干特征图包括特征图A、特征图B以及特征图C，特征图A的图像尺寸为256*256，特征图B的图像尺寸为128*128，特征图C的图像尺寸为56*56。其中，若干特征图可以通过传统图像特征提取方法确定的，也可以是通过神经网络模型提取得到的。
在本实施例的一个实现方式中，所述的图像去噪方法应用图像去噪模型，所述图像去噪模型包括下采样模块，所述下采样模块包括卷积单元以及若干下采样单元；所述获取待处理图像对应的若干特征图具体包括：
将待处理图像输入所述卷积单元，通过所述卷积单元输出参考特征图；
利用所述若干下采样单元，基于所述参考特征图确定所述待处理图像对应的若干候选特征图；
将所述参考特征图以及若干候选特征图，作为所述待处理图像对应的若干特征图。
具体地，所述图像去噪模型为经过训练的深度学习模型，用于去除带去除图像的图像噪声以得到待处理图像对应的去噪图像。其中，图像去噪模型包括下采样模块，所述下采样模块包括卷积单元以及若干下采样单元，卷积单元的输入项为待处理图像，若干下采样单元依次级联，按照级联顺序位于最前的下采样单元的输入项为卷积单元的输出项，按照级联顺序的两个下采样单元中的前一下采样单元的输出项为后一下采样单元的输入项。
在本实施例的一个实现方式中，如图2所示，所述卷积单元可以包括第一卷积层以及第一激活函数层，第一卷积层的步长为1，以使得卷积单元的输入项的图像尺寸与输出项的图像尺寸相同。若干下采样单元中的每个下采样单元均包括第二卷积层和第二激活函数，第二卷积层的步长为2，以使得各下采样单元的输出项的图像尺寸为输入项的图像尺寸的一半，以实现对输入项的下采样。其中，第一激活函数层和各第二激活函数层均配置有ReLu(Rectified Linear Unit，线性整流函数)激活函数，通过ReLu激活函数增强图像去噪模型的泛化能力。当然，在实际应用中，若干下采样单元中的各下采样单元中的第二卷积层的步长也可以不同，例如，若干下采样单元中的下采样单元A中的第二卷积层的步长为3，若干下采样单元中的下采样单元B中的第二卷积层的步长为2等。
若干下采样单元中的每个下采样单元的输出项均为候选特征图，可以理解的是，若干下采样单元的数量与若干候选特征图的数量相同，并且若干下采样单元与若干候选特征图一一对应的，各候选特征图为各候选特征图各自对应的下采样单元的输出项。例如，下采样模块包括N个下采样单元，针对卷积单元的参考特征图，第一下采样单元对该参考特征图进行下采样，得到第一候选特征图；第二下采样单元对第一候选特征图进行下采样，得到第二候选特征图；依次类推，第N下采样单元对第N-1下采样单元输出的第N-1候选特征图进行下采样，以得到第N候选特征图，再将第一候选特征图、第二候选特征图、...、第N候选特征图作为待处理图像对应的N个候选特征图，其中，N为下采样单元的数量，为正整数。
以图2所示的下采样模块包括3个下采样单元为例，对利用所述若干下采样单元，基于所述参考特征图确定所述待处理图像对应的若干候选特征图的具体过程进行说明，其中，将3个下采样单元按照级联顺序分别记为第一下采样单元、第二下采样单元以及第三下采样单元。那么，所述利用所述若干下采样单元，基于所述参考特征图确定所述待处理图像对应的若干候选特征图具体可以包括：将参考特征图输入第一下采样单元，通过第一下采样单元对参考特征图进行下采样，以得到第一候选特征图；将第一候选特征图输入第二下采样单元，通过第二下采样单元对第一候选特征图进行下采样，以得到第二候选特征图；将第二候选特征图输入第三下采样单元，通过第三下采样单元对第二候选特征图进行下采样，以得到第三候选特征图；将第一候选特征图、第二候选特征图以及第三候选特征图作为待处理图像对应的若干候选特征图。
S20、基于若干特征图中的目标特征图，确定所述待处理图像对应的注意力特征图。
具体地，目标特征图为若干特征图中图像尺寸最小的特征图，例如，若干特征图包括特征图A和特征图B，其中，特征图A的图像尺寸小于特征图B的图像尺寸，那么特征图A为目标特征图。注意力特征图携带有待处理图像的颜色特征、纹理特征以及图像细节信息，通过将目标特征图转换为注意力特征图，可以提高若干特征图携带的图像细节信息，从而可以使得候选确定的去噪图像保留待处理图像的图像细节信息、颜色信息以及纹理信息，从而可以提高去噪图像的图像质量。
在本实施例的一个实现方式中，所述的图像去噪方法应用图像去噪模型，所述图像去噪模型包括若干注意力模块，其中，图像去噪模型可以仅包括若干注意力模块，在获取到目标特征图后，在通过图像去噪模型中的若干注意力模块以及目标特征图确定注意力特征图；或者是，图像去噪模型包括下采样模块以及若干注意力模块，若干注意力模块中位于最前的注意力模块与下采样模块相连接，下采样模块输出的目标特征图为最前的注意力模块的输入项，通过若干注意力模块的输出注意力特征图，其中，下采样模块可以为如上所述的下采样模块，具体可以参照上述说明，这里就不具体说明。
在本实施例的一个实现方式中，若干注意力模块可以依次级联，位于最前的注意力模块的输入项为目标特征图，相邻两个注意力模块中前一注意力模块的输出项为后一注意力模块的输入项，位于最后的注意力模块的输出项为注意力特征图。例如，若干注意力模块包括M个注意力模块，针对目标特征图，第一注意力模块基于目标特征图确定注意力特征图A；第二注意力模块基于注意力特征图A确定注意力特征图B；依次类推，第M注意力模块基于注意力模块M-1输出的注意力特征图M-1确定注意力特征图M，并将注意力特征图M作为注意力特征图，其中，M为下采样单元的数量，为正整数。
在本实施例的一个实现方始中，若干注意力模块除依次级联外，若干注意力模块中至少存在第一注意力模块和第二注意力模块，所述第一注意力模块按照级联顺序位于所述第二注意力模块之前，并且所述第二注意力模块的输入项包括与所述第二注意力模块相邻且位于第二注意力模块之前的注意力模块的输出项和所述第一注意力模块的输入项。可以理解的是，若干注意力模块中至少存在两个注意力模块跳跃连接，通过跳跃连接可以增加第二注意力模块学习的到图像细节信息，从而可以增加最后确定的注意力特征图携带的图像细节信息。例如，跳跃连接的两个注意力模块为相邻的两个注意力模块，那么后一注意力模块的输入项包括前一注意力模块的输入项和前一注意力模块的输出项。当然，在实际应用中，若干注意力模块中的任意两个相邻注意力模块包括短连接和跳跃连接，换句话说，若干注意力模块中的任意两个相邻注意力模块中后一注意力模块的输入项包括前一注意力模块的输入项和前一注意力模块的输出项；或者是，若干注意力模块中存在仅两个相邻注意力模块包括短连接和跳跃连接，换句话说，若干注意力模块中的仅存在两个相邻注意力模块，两个相邻注意力模块中后一注意力模块的输入项包括前一注意力模块的输入项和前一注意力模块的输出项。
在本实施例的一个具体实现方式中，若干注意力模块的连接方式如图2所示，若干注意力模块包括4个注意力模块，按照级联顺序分别记为注意力模块a、注意力模块b、注意力模块c以及注意力模块d，其中，注意力模块c与注意力模块d包括短连接和跳跃连接，注意力模块d的输入项包括注意力模块c的输出项和注意力模块c的输入项。
基于此，所述基于若干特征图中的目标特征图，确定所述待处理图像对应的注意力特征图具体包括：
将所述目标特征图输入按照级联顺序位于最前的注意力模块，通过最前的注意力模块输出第一注意力特征图；
将所述第一注意特征图作为目标注意力特征图，将位于第二位的注意力模块作为目标注意力模块；
检测所述目标注意力模块是否为第二注意力模块；
若所述目标注意力模块不为第二注意力模块，则将所述目标注意力特征图作为所述目标注意力模块的输入图像；若所述目标注意力模块为第二注意力模块，将所述目标注意力特征图以及所述目标注意力模块对应的第一注意力模块的输入项作为目标注意力模块的输入图像；
利用目标注意力模块基于所述输入图像，确定第二注意力特征图；
将所述第二注意特征图作为目标注意力特征图，将目标注意力模块作的后一注意力模块为目标注意力模块，并继续执行将目标注意力特征图输入目标注意力模块的步骤，直至目标注意力模块为最后的注意力模块。
具体地，所述第一注意力模块和第二注意力模块为包括跳跃连接的两个注意力模块，可以理解的是，第一注意力模块位于第二注意力模块之前，并且第一注意力模块的输入项为第二注意力模块的输出项。由此，对于位于最前的注意力模块，直接将目标特征图作为最前的注意力模块的输入项。而从位于第二位的注意力模块均会检测该注意力模块是否为第二注意力模块(即该注意力模块是否配置有跳跃连接)；当该注意力模块不为第二注意力模块时，说明该注意力模块的输入项均包括其前一注意力模块的输出项；反之，当该注意力模块为第二注意力模块时，说明该注意力模块的输入项均包括其前一注意力模块的输出项以及其对应的第一注意力模块(即通过与该注意力模块跳跃连接的注意力模块)的输入项。
在确定位于第二位的注意力模块的输入图像后，通过位于第二位的注意力模块后，通过位于第二位的注意力模块确定第二注意力特征图，然后重复执行将所述第二注意特征图作为目标注意力特征图，将位于第三位的注意力模块作为目标注意力模块，并继续执行将目标注意力特征图输入目标注意力模块的步骤，之后获取到位于最后的注意力模块的输出项，以得到待处理图像对应的注意力特征图。
在本实施例的一个实现方式中，注意力模块可以采用RRG(Recursive ResidualGroup，递归残基组)，如图3所示，注意力模块可以包括若干级联的注意力单元201和融合单元20；所述利用目标注意力模块基于所述输入图像，确定第二注意力特征图具体包括：
将所述输入图像输入按照级联顺序位于最前的注意力单元，并通过若干注意力单元输出参照特征图；
将所述参照特征图和所述输入图像输入所述融合单元，通过所述融合单元输出所述待处理图像对应的第二注意力特征图。
具体地，若干注意力单元201依次级联，按照级联顺序位于最前的注意力单元的输入项为输入图像，按照级联顺序相邻的两个注意力单元中的前一注意力单元的输出项为后一注意力单元的输入项，按照级联顺序位于最后的注意力单元的输出项为参考特征图，融合单元的输入项还包括输入图像和参考特征图，通过融合单元将位于参考特征图和输入图像进行融合，得到注意力模块的输出项，待处理图像对应的第二注意力特征图。例如，注意力模块包括P个注意力单元，针对注意力模块的输入图像，第一注意力单元基于输入图像确定注意力特征图a；第二注意力单元基于注意力特征图a确定注意力特征图b；依次类推，第P注意力单元基于第P-1注意力单元输出的注意力特征图P-1确定注意力特征图P，并将注意力特征图P作为参考特征图，其中，M为下采样单元的数量，为正整数。
以注意力模块包括4个注意力单元为例，对将所述输入图像输入按照级联顺序位于最前的注意力单元，并通过若干注意力单元输出参照特征图的具体过程进行说明，其中，将4个注意力单元按照级联顺序分别记为第一注意力单元、第二注意力单元、第三注意力单元以及第四注意力单元。那么，所述将所述输入图像输入按照级联顺序位于最前的注意力单元，并通过若干注意力单元输出参照特征图具体可以包括：将输入图像输入第一注意力单元，通过第一注意力单元输出注意力特征图1；将注意力特征图1输入第二注意力单元，通过第二注意力单元输出注意力特征图2；将注意力特征图2输入第三注意力单元，通过第三注意力单元输出注意力特征图3；将注意力特征图3输入第四注意力单元，通过第四注意力特征图输出注意力特征图4，并注意力特征图4作为待处理图像对应的参照特征图。
在本实施例的一个实现方式中，所述注意力模块还可以包括卷积层，所述卷积层位于最后的注意力单元201和融合单元202之间，最后的注意力单元201输出的参照特征图输入卷积层，通过卷积层对参考特征图进行卷积运算，将将卷积运算后的参照特征图输入融合单元202，以通过融合单元202将积运算后的参照特征图与输入图像融合，得到该注意力模块对应的注意力特征图。这样采用卷积层对参照特征图进行卷积运算，可以丰富卷积运算后的参照特征图中的图像细节信息。在一个具体实现方式中，卷积层的输入项的图像尺度与输入图像的图像尺度相同，所述融合单元可以为加法器，通过加法器将卷积层的输出项与输入图像进行逐像素点相加，以得到该注意力模块对应的注意力特征图。其中，所述卷积层可以的卷积核可以为3*3。
在本实施例的一个实现方式中，所述注意力单元可以采用DAB(Dual attentionBlocks，双重关注模块)，所述注意力单元配置有至少包含一个具有针对时间注意力机制、针对空间的注意力机制和/或针对通道注意力机制，使得每个注意力模块至少包含一个具有针对时间注意力机制、针对空间的注意力机制和/或针对通道注意力机制的注意力单元，通过注意力单元抑制信息量更小的特征，传播信息更为丰富的特征，可以使得注意力单元学习到的特征图保留颜色、纹理以及图像细节特征，使得注意力模块学习的特征图可以保留颜色、纹理以及图像细节特征，进而可以提高基于注意力特征图确定的去噪图像的图像质量。
在本实施例的一个实现方式中，如图3所示，所述注意力单元201包括卷积块213、第一注意力块211、第二注意力块212、第一融合块214和第二融合块215；所述卷积块213的输入项为目标特征图，所述卷积块213的输出项为所述第一注意力块211的输入项和所述第二注意力块212的输入项；所述第一融合块214的输入项包括所述第一注意力块211的输出项和所述第二注意力块212的输出项；所述第二融合块215的输入项包括所述卷积块213的输入项和所述第一融合块214的输出项。其中，第一注意力块用于对时间和空间进行关注，第二注意力块用于对空间进行关注，第一注意力块基于时间注意力机制和空间注意力机制来学习图像特征，第二注意力快基于通道注意力机制来学习图像特征，这样注意力单元包含对时间注意力机制、空间注意力机制和通道注意力机制，使得注意力单元可以保留有效图像特征图，降低图像噪声的传递概率，从而可以减少基于注意特征图确定的去噪图像中的图像噪声，从而提高图像去噪效果。此外，本实施例在基于时间注意力机制、空间注意力机制和通道注意力机制确定中间特征图时，通过第一融合块和第二融合块进行融合连接，降低了随着图像传递过程中的特征损失，可以保留更多的原有的有效信息。
在本实施例的一个实现方式中，所述注意力单元还可以包括卷积层，卷积层位于第一融合块和第二融合块之间，第一融合块的输出项输入卷积层，经过卷积层后输入第二融合块。可以理解的是，第一融合块的输出项为卷积层的输入项，卷积层的输出项为第二融合块的输入项。其中，第一融合块可以采用连接器Concat，第二融合块可以采用加法器；卷积块可以包括第一卷积层、激活函数层以及第二卷积层，第一卷积层、激活函数层以及第二卷积层依次级联，第一卷积层和第二卷积层的卷积核均为3*3，激活函数层配置的激活函数可以为ReLU函数(Rectified Linear Unit，线性整流函数)，通过ReLU函数增加图像去噪模型的泛化能力。
本实施例以3为例对第一注意力块的结构进行说明，所述第一注意力块211包括第一全局均值池化层(Global Average Pooling)2011、全局最大池化层(Global MaxPooling)2012、第一融合层2013以及第二融合层2014，所述卷积块213的输出项为第一全局均值池化层2011的输入项和所述全局最大池化层2012的输入项，所述第一融合层2013的输入项包括第一全局均值池化层2011的输出项和全局最大池化层202的输出项，所述第二融合层2014的输入项包括所述第一融合层2013的输出项和所述卷积块213的输出项。第一注意力块通过第一全局均值池化层(Global Average Pooling)和全局最大池化层(GlobalMax Pooling)来实现时间注意力机制和空间注意力机制，然后将第一全局均值池化层的输出项和全局最大池化层的输出项通过第一融合层进行融合，然后将第一融合层的输出项与卷积块的输出项进行融合，这样在保留有效图像特征图，降低图像噪声的传递概率。
此外，在实际应用中，所述第一注意力块还可以基于实际需求设置其他网络层，例如，如图3所示，所述第一注意力块还可以包括卷积层以及归一化层，卷积层和归一化层位于第一融合层和第二融合层之间，第一融合层的输出项输入卷积层，卷积层的输出项输入归一化层，归一化层的输出项输入第二融合层，这样将归一化层的输出项作为卷积块的输出项的时空注意力系数，通过时空注意力系数对所述卷积块的输出项进行处理，可以学习到待处理图像中的有效图像特征，而去除待处理图像中的图像噪声。其中，第一融合层可以采用连接层Concat，第二融合层可以采用乘法器。
在本实施例的一个实现方式中，所述第二注意力块212包括第二全局均值池化层(Global Average Pooling)2015以及第三融合层2016；所述卷积块213的输出项为所述第二全局均值池化层2015的输入项，所述第三融合层2016的输入项包括所述第二全局均值池化层2015的输出项和所述卷积块213的输出项。第二注意力块通过第二全局均值池化层(Global Average Pooling)来实现时间注意力机制和空间注意力机制，然后将第二全局均值池化层的输出项与卷积块的输出项通过第三融合层进行融合，以待注意力单元的输入项的各个特征通道的重要程度，并基于各个通道的重要程度对各特征通道进行增强或者抑制，从而可以保留有效图像特征图，降低图像噪声的传递概率。
此外，在实际应用中，所述第二注意力块还可以基于实际需求设置其他网络层，例如，如图3所示，第二注意力块包括级联的卷积子块以及归一化层，卷积子块和归一化层位于第二全局均值池化层(Global Average Pooling)和第三融合层之间，卷积子块的输入项为第二全局均值池化层的输出项，卷积子块的输出项为归一化层的输入项，归一化层的输出项为第三融合层的输入项。其中，卷积子块可以包括级联的卷积层a、激活函数层以及卷积层b，卷积层a的卷积核可以为1*1，激活函数层可以为ReLU函数(Rectified LinearUnit，线性整流函数)，卷积层b的卷积核可以为3*3，第三融合层可以为乘法器。
S30、基于所述注意力特征图以及除所述目标特征图外的各特征图确定所述待处理图像对应的去噪图像。
具体地，所述去噪图像的待处理图像对应的去除图像噪声的图像，去噪图像的信噪比高于待处理图像的信噪比，并且去噪图像的图像尺寸大于待处理图像的图像尺寸，例如，去噪图像的图像尺寸为待处理图像的图尺寸的二倍等，这样可以图像去噪时间且减少内存开销。
举例说明，假设图4中的左边为原始图像，右边为采用本实施例中提供的图像去噪方法确定的去噪图像，那么由图4可以看出，右边图像相对于左边图像携带有较少的图像噪声，并文字信息清晰，由此可知，本方案能够很好的对噪声进行去除，并充分的保留文字信息，提高去噪图像相对于待处理图像的图像质量。
在本实施例的一个实现方式中，所述的图像去噪方法应用图像去噪模型，所述图像去噪模型包括上采样模块，利用所述上采样模块，基于注意力特征图以及除所述目标特征图外的各特征图确定所述待处理图像对应的去噪图像。其中，图像去噪模型可以仅包括上采样模块，在获取到注意力特征图以及除所述目标特征图外的各特征图后，在通过图像去噪模型中的上采样模块确定去噪图像；或者是，图像去噪模型还包括下采样模块或若干注意力模块，或者是，图像去噪模型还包括下采样模块和若干注意力模块，其中，下采样模块可以为如上所述的下采样模块，若干注意力模块可以为如上所述的注意力模块，具体可以参照上述说明，这里就不具体说明。
在本实施例的一个具体实现方式中，图像去噪模型还包括下采样模块和若干注意力模块，换句话说，图像去噪模型包括下采样模块、若干注意力模块以及上采样模块，下采样模块和上采样模块构成Unet结构，若干注意力模块级联与下采样模块和上采样模块之间，下采样模块确定的目标特征图为若干注意力模块中位于最前的注意力模块的输入项，上采样模块的输入项包括若干注意力模块中位于最后的注意力模块输出的注意力特征图，以及下采样模块确定若干特征图中除目标特征图外的各特征图。本实施例中的图像去噪模块包括64964的网络参数，所需要峰值内存小且所需推理时间短，例如，推理时间在GTX1080TI上处理4640*3472pixel尺寸的图像仅为0.15s，能够有效的运用到移动终端(例如，手机等)拍照时的去噪。
在本实施例的一个实现方式中，所述上采样模块包括若干级联的上采样单元，按照级联顺序位于最前的上采样单元的输入项为注意力特征图，按照级联顺序相邻的两个上采样单元中前一上采样单元的输出项为后一上采样单元的输入项，并且若干上采样单元中除位于最前的上采样单元外的各上采样单元的输入项均包括若干特征图中的一特征图，并且各上采样单元各自对应的特征图互不相同。在一个具体实现方式中，若干上采样单元中的每个上采样单元均采用双线性插值方式进行上采样，采用双线性插值能够有效提升上采样的速度，并且提升每一次输出的图像的平滑度。
在本实施例的一个实现方式中，上采样模块包括的上采样单元的数量比下采样模块包括的下采样单元的数量多一，以使得通过上采样模块输出的去噪图像的图像尺寸大于待处理图像的图像尺寸，这样可以对小尺寸的待处理图像进行去噪处理，得到大尺寸的去噪图像，从而可以减少去噪图像中的计算量，提高去噪图像的确定速度。
以图2为例，上采样模块包括的4个上采样单元和第一卷积单元，4个上采样单元按照级联顺序依次记为第一上采样单元、第二上采样单元、第二上采样单元以及第四上采样单元。下采样单元包括3个下采样单元和第二卷积单元，3个下采样单元按照级联顺序分别记为第一下采样单元、第二下采样单元以及第三下采样单元；第一上采样单元与位于最后的注意力模块相连接，第四上采样单元与第一卷积单元相连接，并且第二卷积单元第一上采样单元相连接，以使得第一上采样单元的输入项包括第二卷积单元的输出项，第一下采样单元与第二上采样单元相连接，以使得第二上采样单元的输入项包括第一下采样单元的输出项；第二下采样单元与第三上采样单元相连接，以使得第三上采样单元的输入项包括第二下采样单元的输出项。其中，第一卷积都那样可以包括步长为1的卷积层和激活函数层，激活函数层可以为ReLU函数(Rectified Linear Unit，线性整流函数)，通过ReLU函数增加图像去噪模型的泛化能力。
在本实施例的一个实现方式中，所述的图像去噪方法应用图像去噪模型，所述图像去噪模型的训练方法具体包括：
获取训练样本集；
将所述训练样本集中的训练图像输入图像去噪模型，通过图像去噪模型输出所述训练图像对应的去噪图像；
基于所述预测图像以及所述训练图像对应的场景图像，对所述预设网络模型进行训练，以得到所述图像去噪模型。
具体地，所述训练样本集包括若干训练图像组，若干训练图像组中的每个训练图像组均包括训练图像和场景图像，其中，训练图像为通过向场景图像添加噪声确定的。可以理解的是，训练图像为场景图像对应的噪声图像，场景图像为训练图像对应的去噪图像，在训练预设网络模型时，可以将场景图像作为训练图像对应的预测去噪图像的衡量依据，以便于基于场景图像和预测去噪图像对预设网络模型进行训练。其中，预设网络模型的模型结构与上述图像去噪模型的模型结构相同，两者的区别之处在于，预设网络模型的模型参数和图像去噪模型的模型参数不同，预设网络模型的模型参数为初始模型参数，图像去噪模型的模型参数为经过训练样本集训练后的模型参数。
简单介绍本实施例采用的训练环境及训练参数，训练初始模型的硬件环境为GTX1080Ti。在参数初始化时，采用Xavier初始化方式。Xavier初始化方式能够使得网络中信息更好流动，每一层输出的方差尽量相等。预先设定的学习速率为10-4。在优化器的选择方面，采用了自适应优化器，例如AdaGrad(Adaptive Gradient，自适应梯度)优化器、Adam优化器等。学习率可采用多项式衰减方式、自然指数衰减等衰减方式。迭代次数为6000个时期(Epoch)，批次大小(Batch Size)为1。
训练样本集的获取方式可以有多种，例如，将标准图像集中的标准图像作为场景图像，对场景图像进行图像处理(如，线性变换、亮度调整)，在采用噪声模型添加人工合成的模拟噪声，以得到场景图像对应的训练图像。又如，针对同一场景，拍摄低ISO图像作为场景图像，高ISO图像作为训练图像，并调整曝光时间等相机参数使得低ISO图像和高ISO图像的亮度一致。再如，针对同一场景，连续拍摄多张图像，然后对拍摄的多张图像进行处理(例如，图像配准、异常图像剔除等)，然后将处理后的多张图像进行加权平均得到场景图像图像，将多张图像作为中的一张图像作为训练图像，或者将多张图像分别作为训练图像等。
现有的基于深度学习的去噪算法采用的数据集制作主要依赖于对清晰图像进行模拟添加高斯噪声，无法还原真实摄像头采集图像时携带的噪声。对此，提出了SSID(Smartphone Image Denoising Dataset，智能手机相机降噪数据集)，SIDD数据集由真实的手机在不同曝光下采集的图片进行合成，涵盖了不同拜耳阵列(Bayer Pattern)的表达方式，能够充分表达真实环境下的噪声表达，该方法依赖获取150帧不同曝光时间的图像来合成最终的去噪图片，在各个去噪模型的训练中取得较好效果。但是由于低光场景噪声的复杂程度与强度，低光场景下的图像噪声属于高斯噪声与泊松噪声混合分布，采用SIDD方案进行采集难度较大，对噪声图像进行降噪后的干净图像(ground truth)结果有好有坏。因此训练后得到的模型降噪的效果也参差不齐。
而训练模型需要大量的样本，通过手机拍摄合格的样本耗时耗力，因此本实施例中，所获取的标准图像都是在满足常规拍照环境的条件下进行拍摄得到的图像，以得到若干场景图像。然后对每一张场景图像添加模拟噪声，生成该场景图像对应的训练图像，将该场景图像与该场景图像对应的训练图像作为训练图像组以得到训练图像组。
基于此，在本实施例的一个实现方式中，所述获取训练样本集具体包括：
获取若干场景图像；
对于若干场景图像中的每张场景图像，确定该场景图像对应的模拟噪声，并将所述模拟噪声添加到该场景图像中，得到该场景图像对应的训练图像，其中，所述模拟噪声大于预设噪声阈值；
基于各场景图像及各场景图像各自对应的训练图像，生成训练样本集。
具体地，若干场景图像中的各场景图像的获取方式可以相同，例如，均是通过成像模型在预设场景下拍摄得打的，或是在，若干场景图像中部分场景图像的获取方式相同，部分场景图像的获取方式不同，例如，若干场景图像包括第一场景图像和第二场景图像，第一场景图像是通过电子设备配置的成像模组拍摄得到，第二场景图像是通过互联网获取得到的。此外，若干场景图像中的每个场景图像对应的环境亮度均满足预设条件，其中，预设条件可以环境亮度大于预设亮度阈值。可以理解的是，若干场景图像中的每个场景图像的环境亮度均大于预设亮度阈值。例如，通过成像组件在白天采集800张RGB图像，并将采样到的800张RGB图像作为场景图像，其中，每个RGB图像的分辨率均为4640*3472。
在获取到若干场景图像后，对于若干场景图像中的每张场景图像，确定该场景图像对应的模拟噪声，然后将模拟噪声添加到该场景图像中，以得到该场景图像对应的训练图像。其中，模拟噪声可为现有的噪声数据添，也可以基于去噪网络进行反向操作，得到场景图像对应的训练图像。本实施例的一个实现方式，模拟噪声可以采用的去噪网络模型CycleISP(Cycle Image Signal Processing，循环图像信号处理)确定，其中，CycleISP框架可以包括四个部分，分别为RGB2RAW，用于将sRGB图转为RAW图；RAW2RGB，用于将RAW图转为sRGB图；色彩校准(Color Correction)，用于辅助的颜色恢复网络，提供准确的颜色注意机制(explicit color attention)用于RAW2RGB正确地恢复RGB图；加入噪声(NoiseInjection)，在训练CycleISP时设置为OFF，在需要生成噪声数据时设置为ON。此外，所述模拟噪声大于预设噪声阈值，其中，预设噪声阈值为通过CycleISP模型合成的SIDD噪声。在本实施例中，模拟噪声的噪声强度可以为通过CycleISP模型合成的SIDD噪声的120％，这样可以使得基于训练图像集训练得到图像去噪模型更加适应于低光环境拍摄的图像。
在获取到模拟噪声后，将模拟噪声添加到各场景图像中，以得到各场景图像各自对应的训练图像，其中，若干场景图像中可以存储部分场景图像对应的拍摄场景不同，例如，部分场景图像对应于夜景场景，部分场景图像对应于阴天场景等，这样可以提高使得基于训练样本集训练得到的图像去噪模型可以使用不用场景拍摄的图像。此外，在获取到训练图像后，可以对随机图像进行裁剪、旋转、尺度变换、翻转、随机扣取等操作，以增强训练样本集，可以避免大规模采集场景图像所花费的时间和精力。在一个具体实现方式中，训练图像的分辨率为4640*3472pixel，裁剪后得到的训练图像的分辨率为512*512pixel。
在本实施例的一个实现方式中，所述基于所述预测图像以及所述训练图像对应的场景图像，对所述预设网络模型进行训练，以得到所述图像去噪模型具体包括：
确定所述预测图像以及所述场景图像的最小绝对值偏差损失值，以及结构相似性指数损失值；
基于所述最小绝对值偏差损失值以及所述结构相似性指数损失值，确定所述训练图像对应的总损失值；
基于所述总损失值对所述预设网络模型进行训练，以得到所述图像去噪模型。
具体地，总损失值为场景图像与预测图像之间的去噪损失值，其中，总损失值可以采用常规的最小绝对值偏差损失函数、欧式距离函数等损失函数作为去噪损失函数。本实施例所采用的总损失值由若干个损失值组成，其中，若干个损失值包括最小绝对值偏差损失值(L1范数损失值)和结构相似性指数损失值(SSIM损失值，Structural SIMilarity损失值)。
L1范数损失值为通过L1范数损失函数确定的，其中，L1范数损失函数被称为LAD(Least Absolute Deviations，最小绝对值偏差)函数，或者最小绝对值误差(LeastAbsolute Error，LAE)。L1范数损失函数是把目标值与估计值的绝对差值的总和最小化。L1范数损失函数的公式为：
Figure BDA0003056403340000241
其中，
Figure BDA0003056403340000242
为预测图像，y为场景图像，m为训练批大小。
结构相似性指数损失值为SSIM损失函数确定，SSIM损失函数为一种衡量两幅图像相似度的指标，由于自然图像具有极高的结构性，因此在空间上表示为像素间的相关性，SSIM损失函数能够较好地衡量预测图像和标定图像之间的相似性。其中，SSIM损失函数的公式为：
Figure BDA0003056403340000243
其中，μx是场景图像x的平均值，μy是预测图像y的平均值，σx 2是场景图像x的的方差，σy 2是预测图像y的方差，σxy是场景图像x和预测图像y的协方差，c1和c2是常数。此外，由于结构相似性的范围在-1至1之间，从而结构相似性指数损失值的计算公式可以为SSIM_LOSS＝1-SSIM。
在获取到最小绝对值偏差损失值以及结构相似性指数损失值后，通过将最小绝对值偏差损失值以及结构相似性指数损失值加权求和确定总损失值，其中，总损失值Ltotal＝w1*L1+w2*SSIM_LOSS，其中，w1和w2为加权系数，例如，w1等于0.15，w2等于0.85。此外，在获取到总损失值后，将总损失值反向传输预设网络模型中，并根据总损失值调整初始模型的参数，以得到图像去噪模型。
在本实施例的一个实现方式中，所述基于各场景图像及各场景图像各自对应的训练图像，生成训练样本集之后，所述图像去噪模型的训练方法还包括：
将所述训练样本集中的训练图像输入图像去噪模型，通过图像去噪模型输出所述训练图像对应的去噪图像；
基于所述去噪图像以及所述预测图像，确定所述训练图像对应的色度损失值；
基于所述色度损失值对所述图像去噪模型进行训练，并将训练后的图像去噪模型作为图像去噪模型。
具体地，经过色度损失值微调后的图像去噪模型确定的去噪图像的图像质量高于未经过色度损失值微调的图像去噪模型确定的去噪图像的图像质量。这样是由于本实施例采用的去噪方式是先卷积再上采样，虽然尽量保留了原图的细节，但是仍会存在一些色块以及过度不自然的区域，这样色块以及过度不自然的区域主要是由于训练过程中的色彩细节调整欠缺引起。因此在图像去噪模型后，基于色度损失值对图像去噪模型进行调整，可以避免一些色块以及过度不自然的区域，从而可以提高去噪图像的图像质量。
所述色度损失值为基于色彩损失函数确定，通过色彩损失函数计算去噪图像与其对应的场景图像之间的色彩损失值，以得到色度损失值。本实施例采用的色彩损失函数主要为计算去噪图像和标定图像之间在色彩上的损失，以约束图像去噪模型的色彩准确性。在本实施例的一个实现中，在对图像去噪模型进行色度训练时，为减少对图像去噪模型之前已训练好的参数的影响，采用的批次(epoch)的数量为预设的微调数量，微调数量与前文对预设网络模型进行训练的时期数量相比，数量更小，本实施例中的微调数量为1000，其学习率固定为10-6，其他训练参数可与之前训练预设网络模型时的训练参数一致。在得到经过色度损失值微调后的图像去噪模型后，可使用TensorFlow框架实现经过色度损失值微调后的图像去噪模型的模型参数的冻结，从而得到图像去噪模型。此外，为方便在移动端使用训练得到的去噪模型，后续可使用MACE(Mobile AI Compute Engine)等移动端的框架将冻结后的去噪模型对应的PB文件进行移动端的移植。
综上所述，本实施例提供了一种图像去噪方法、模型、计算机可读存储介质及终端设备，所述方法获取待处理图像对应的若干特征图；基于若干特征图中的目标特征图，确定所述待处理图像对应的注意力特征图，其中，所述目标特征图为若干特征图中图像尺寸最小的特征图；基于所述注意力特征图以及除所述目标特征图外的各特征图确定所述待处理图像对应的去噪图像。本申请实施例获取若干携带有图像细节信息的特征图，并利用注意力机制以及目标特征图确定注意力特征图，使得注意力特征图可以包括保留待处理图像的颜色特征以及纹理特征，从而可以提高基于注意力特征和若干特征图确定的去噪图像中的图像细节信息，从而提高去噪图像的图像质量。
此外，本实施例采用Cycle ISP模型模拟SIDD真实噪声场景，利用采集干净的标准图像，对其添加强度更大的模拟真实噪声，构建训练图像集，能够有效解决数据集难采集，以及目前合成的噪声图像及标定图像进行训练效果不佳的问题。同时设计了一个轻量化的端到端图像降噪网络，通过去噪损失函数的设计与训练策略的优化，获得比较好的去噪效果。实验结果表明，在内存占用，推理时间以及最终的去噪效果与图像清晰度上，基于本方法的图像降噪模型具有比较好的综合优势。
基于上述图像去噪方法，本实施例提供了一种图像去噪模型，如图2所示，所述图像去噪模型包括：
下采样模块100，用于获取待处理图像对应的若干特征图；
注意力模块200，用于基于若干特征图中的目标特征图，确定所述待处理图像对应的注意力特征图，其中，所述目标特征图为若干特征图中图像尺寸最小的特征图；
上采样模块300，用于基于所述注意力特征图以及所述若干特征图确定所述待处理图像对应的去噪图像。
此外，值得说明的是，本实施例提供的图像去噪模型的模型结构以及模型训练过程均与上述图像去噪方法中的图像去噪模型和图像去噪模型的训练过程相同，这里就不在赘述，具体可以参数上述说明。
基于上述图像去噪方法，本实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上述实施例所述的图像去噪方法中的步骤。
基于上述图像去噪方法，本申请还提供了一种终端设备，如图5所示，其包括至少一个处理器(processor)20；显示屏21；以及存储器(memory)22，还可以包括通信接口(Communications Interface)23和总线24。其中，处理器20、显示屏21、存储器22和通信接口23可以通过总线24完成相互间的通信。显示屏21设置为显示初始设置模式中预设的用户引导界面。通信接口23可以传输信息。处理器20可以调用存储器22中的逻辑指令，以执行上述实施例中的方法。
此外，上述的存储器22中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取计算机可读存储介质中。
存储器22作为一种计算机可读存储介质，可设置为存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序指令或模块。处理器20通过运行存储在存储器22中的软件程序、指令或模块，从而执行功能应用以及数据处理，即实现上述实施例中的方法。
存储器22可包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器22可以包括高速随机存取存储器，还可以包括非易失性存储器。例如，U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态计算机可读存储介质。
此外，上述计算机可读存储介质以及终端设备中的多条指令处理器加载并执行的具体过程在上述方法中已经详细说明，在这里就不再一一陈述。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (18)

1.一种图像去噪方法，其特征在于，所述的图像去噪方法包括：
获取待处理图像对应的若干特征图；
基于若干特征图中的目标特征图，确定所述待处理图像对应的注意力特征图，其中，所述目标特征图为若干特征图中图像尺寸最小的特征图；
基于所述注意力特征图以及除所述目标特征图外的各特征图确定所述待处理图像对应的去噪图像。
2.根据权利要求1所述图像去噪方法，其特征在于，所述去噪图像的图像尺寸大于所述待处理图像的图像尺寸。
3.根据权利要求1所述图像去噪方法，其特征在于，所述的图像去噪方法应用图像去噪模型，所述图像去噪模型包括下采样模块，所述下采样模块包括卷积单元以及若干下采样单元；所述获取待处理图像对应的若干特征图具体包括：
将待处理图像输入所述卷积单元，通过所述卷积单元输出参考特征图；
利用所述若干下采样单元，基于所述参考特征图确定所述待处理图像对应的若干候选特征图；
将所述参考特征图以及若干候选特征图，作为所述待处理图像对应的若干特征图。
4.根据权利要求3所述图像去噪方法，其特征在于，所述若干下采样单元依次级联，若干下采样单元与若干候选特征图一一对应，各候选特征图为各候选特征图各自对应的下采样单元的输出项，其中，按照级联顺序位于最前的下采样单元的输入项包括参考特征图，按照级联顺序相邻的两个下采样单元中前一下采样单元的输出项为后一下采样单元的输入项。
5.根据权利要求1所述图像去噪方法，其特征在于，所述的图像去噪方法应用图像去噪模型，所述图像去噪模型包括若干级联的注意力模块，若干注意力模块中至少存在第一注意力模块和第二注意力模块，所述第一注意力模块按照级联顺序位于所述第二注意力模块之前，并且所述第二注意力模块的输入项包括与所述第二注意力模块相邻且位于所述第二注意力模块之前的注意力模块的输出项和所述第一注意力模块的输入项。
6.根据权利要求5所述的图像去噪方法，其特征在于，所述基于若干特征图中的目标特征图，确定所述待处理图像对应的注意力特征图具体包括：
将所述目标特征图输入按照级联顺序位于最前的注意力模块，通过最前的注意力模块输出第一注意力特征图；
将所述第一注意特征图作为目标注意力特征图，将位于第二位的注意力模块作为目标注意力模块；
检测所述目标注意力模块是否为第二注意力模块；
若所述目标注意力模块不为第二注意力模块，则将所述目标注意力特征图作为所述目标注意力模块的输入图像；若所述目标注意力模块为第二注意力模块，将所述目标注意力特征图以及所述目标注意力模块对应的第一注意力模块的输入项作为目标注意力模块的输入图像；
利用目标注意力模块基于所述输入图像，确定第二注意力特征图；
将所述第二注意特征图作为目标注意力特征图，将目标注意力模块的后一注意力模块作为目标注意力模块，并继续执行检测所述目标注意力模块是否为第二注意力模块步骤，直至目标注意力模块为最后的注意力模块。
7.根据权利要求6所述的图像去噪方法，其特征在于，所述注意力模块包括若干级联的注意力单元和融合单元；所述利用目标注意力模块基于所述输入图像，确定第二注意力特征图具体包括：
将所述输入图像输入按照级联顺序位于最前的注意力单元，并通过若干注意力单元输出参照特征图；
将所述参照特征图和所述输入图像输入所述融合单元，通过所述融合单元输出所述待处理图像对应的第二注意力特征图。
8.根据权利要求7所述图像去噪方法，其特征在于，所述注意力单元包括卷积块、第一注意力块、第二注意力块、第一融合块和第二融合块；所述卷积块的输出项为所述第一注意力块的输入项和所述第二注意力块的输入项；所述第一融合块的输入项包括所述第一注意力块的输出项和所述第二注意力块的输出项；所述第二融合块的输入项包括所述卷积块的输入项和所述第一融合块的输出项。
9.根据权利要求8所述的图像去噪方法，其特征在于，所述第一注意力块包括第一全局均值池化层、全局最大池化层、第一融合层以及第二融合层，所述卷积块的输出项为第一全局均值池化层的输入项和所述全局最大池化层的输入项，所述第一融合层的输入项包括第一全局均值池化层的输出项和全局最大池化层的输出项，所述第二融合层的输入项包括所述第一融合层的输出项和所述卷积块的输出项。
10.根据权利要求8所述的图像去噪方法，其特征在于，所述第二注意力块包括第二全局均值池化层以及第三融合层；所述卷积块的输出项为所述第二全局均值池化层的输入项，所述第三融合层的输入项包括所述第二全局均值池化层的输出项和所述卷积块的输出项。
11.根据权利要求1所述的图像去噪方法，其特征在于，所述的图像去噪方法应用图像去噪模型，所述图像去噪模型包括上采样模块，所述上采样模块包括若干级联的上采样单元，按照级联顺序位于最前的上采样单元的输入项为注意力特征图，按照级联顺序相邻的两个上采样单元中前一上采样单元的输出项为后一上采样单元的输入项，并且若干上采样单元中除位于最前的上采样单元外的各上采样单元的输入项均包括若干特征图中的一特征图，并且各上采样单元各自对应的特征图互不相同。
12.根据权利要求1-11任意一项所述的图像去噪方法，其特征在于，所述的图像去噪方法应用图像去噪模型，所述图像去噪模型的训练方法具体包括：
获取训练样本集，其中，所述训练样本集包括若干训练图像组，若干训练图像组中的每个训练图像组均包括训练图像和场景图像，所述训练图像为通过向场景图像添加噪声确定的；
将所述训练样本集中的训练图像输入图像去噪模型，通过图像去噪模型输出所述训练图像对应的去噪图像；
基于所述预测图像以及所述训练图像对应的场景图像，对所述预设网络模型进行训练，以得到所述图像去噪模型。
13.根据权利要求12所述的图像去噪方法，其特征在于，获取训练样本集具体包括：
获取若干场景图像，其中，若干场景图像中的每个场景图像对应的环境亮度均满足预设条件；
对于若干场景图像中的每张场景图像，确定该场景图像对应的模拟噪声，并将所述模拟噪声添加到该场景图像中，得到该场景图像对应的训练图像，其中，所述模拟噪声大于预设噪声阈值；
基于各场景图像及各场景图像各自对应的训练图像，生成训练样本集。
14.根据权利要求12所述的图像去噪方法，其特征在于，所述基于所述预测图像以及所述训练图像对应的场景图像，对所述预设网络模型进行训练，以得到所述图像去噪模型具体包括：
确定所述预测图像以及所述场景图像的最小绝对值偏差损失值，以及结构相似性指数损失值；
基于所述最小绝对值偏差损失值以及所述结构相似性指数损失值，确定所述训练图像对应的总损失值；
基于所述总损失值对所述预设网络模型进行训练，以得到所述图像去噪模型。
15.根据权利要求12所述的图像去噪方法，其特征在于，所述基于各场景图像及各场景图像各自对应的训练图像，生成训练样本集之后，所述图像去噪模型的训练方法还包括：
将所述训练样本集中的训练图像输入图像去噪模型，通过图像去噪模型输出所述训练图像对应的去噪图像；
基于所述去噪图像以及所述预测图像，确定所述训练图像对应的色度损失值；
基于所述色度损失值对所述图像去噪模型进行训练，并将训练后的图像去噪模型作为图像去噪模型。
16.一种图像去噪模型，其特征在于，所述图像去噪模型包括：
下采样模块，用于获取待处理图像对应的若干特征图；
注意力模块，用于基于若干特征图中的目标特征图，确定所述待处理图像对应的注意力特征图，其中，所述目标特征图为若干特征图中图像尺寸最小的特征图；
上采样模块，用于基于所述注意力特征图以及除所述目标特征图外的各特征图确定所述待处理图像对应的去噪图像。
17.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1-15任意一项所述的图像去噪方法中的步骤。
18.一种终端设备，其特征在于，包括：处理器、存储器及通信总线；所述存储器上存储有可被所述处理器执行的计算机可读程序；
所述通信总线实现处理器和存储器之间的连接通信；
所述处理器执行所述计算机可读程序时实现如权利要求1-15任意一项所述的图像去噪方法中的步骤。
CN202110500670.XA 2021-05-08 2021-05-08 图像去噪方法、模型、计算机可读存储介质及终端设备 Pending CN115311149A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110500670.XA CN115311149A (zh) 2021-05-08 2021-05-08 图像去噪方法、模型、计算机可读存储介质及终端设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110500670.XA CN115311149A (zh) 2021-05-08 2021-05-08 图像去噪方法、模型、计算机可读存储介质及终端设备

Publications (1)

Publication Number Publication Date
CN115311149A true CN115311149A (zh) 2022-11-08

Family

ID=83854005

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110500670.XA Pending CN115311149A (zh) 2021-05-08 2021-05-08 图像去噪方法、模型、计算机可读存储介质及终端设备

Country Status (1)

Country Link
CN (1) CN115311149A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116823597A (zh) * 2023-08-02 2023-09-29 北京中科闻歌科技股份有限公司 一种图像生成***

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116823597A (zh) * 2023-08-02 2023-09-29 北京中科闻歌科技股份有限公司 一种图像生成***
CN116823597B (zh) * 2023-08-02 2024-05-07 北京中科闻歌科技股份有限公司 一种图像生成***

Similar Documents

Publication Publication Date Title
CN112233038B (zh) 基于多尺度融合及边缘增强的真实图像去噪方法
Xu et al. Learning to restore low-light images via decomposition-and-enhancement
CN111539879B (zh) 基于深度学习的视频盲去噪方法及装置
CN109360171B (zh) 一种基于神经网络的视频图像实时去模糊方法
CN111402146B (zh) 图像处理方法以及图像处理装置
Hu et al. Underwater image restoration based on convolutional neural network
US20220301114A1 (en) Noise Reconstruction For Image Denoising
CN111986084A (zh) 一种基于多任务融合的多相机低光照图像质量增强方法
CN111127336A (zh) 一种基于自适应选择模块的图像信号处理方法
CN113850741B (zh) 图像降噪方法、装置、电子设备以及存储介质
Zhang et al. Deep motion blur removal using noisy/blurry image pairs
Rasheed et al. LSR: Lightening super-resolution deep network for low-light image enhancement
CN116547694A (zh) 用于对模糊图像去模糊的方法和***
CN112509144A (zh) 人脸图像处理方法、装置、电子设备及存储介质
CN115984570A (zh) 一种视频去噪方法、装置、存储介质和电子装置
CN113379606B (zh) 一种基于预训练生成模型的人脸超分辨方法
CN113658091A (zh) 一种图像评价方法、存储介质及终端设备
Saleem et al. A non-reference evaluation of underwater image enhancement methods using a new underwater image dataset
Huang et al. Underwater image enhancement based on color restoration and dual image wavelet fusion
US20240020796A1 (en) Noise reconstruction for image denoising
CN112150363B (zh) 一种基于卷积神经网络的图像夜景处理方法及运行该方法的计算模块与可读存储介质
CN113628134A (zh) 图像降噪方法及装置、电子设备及存储介质
CN115311149A (zh) 图像去噪方法、模型、计算机可读存储介质及终端设备
CN112634175A (zh) 基于双重卷积网络的手机拍摄图像去噪方法
CN116433516A (zh) 一种基于注意力机制的低照度图像去噪增强方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination