CN109754376A - 图像去噪方法及装置 - Google Patents

Abstract

本申请实施例提供一种图像去噪方法及装置，具体实现原理为：将噪声图像样本集输入到卷积神经网络中进行训练，输出训练得到的去噪图像样本集，根据无噪图像样本集和去噪图像样本集分别计算对应的均方误差损失函数值和最大后验损失函数值，并根据均方误差损失函数值和最大后验损失函数值得到总损失函数值，最后基于计算得到的总损失函数值迭代训练卷积神经网络，直到满足训练终止条件时，输出训练得到的图像去噪模型，并根据图像去噪模型对待去噪图像进行去噪处理。由此，通过结合均方误差损失函数值和最大后验损失函数值迭代训练卷积神经网络，可以大大提升真实噪声的去除效果。

Description

图像去噪方法及装置

技术领域

本申请涉及计算机技术领域，具体而言，涉及一种图像去噪方法及装置。

背景技术

目前，图像去噪(Image Denoising)一直以来都是图像恢复领域非常重要的课题，无论在学术价值以及落地应用中都具有很高的研究价值。但是目前的图像去噪方法都普遍建立在加性的高斯白噪声模型上，然而发明人研究发现实际图像中的真实噪声模型并非如此，所以目前的图像去噪算法往往都不能很好地去除真实图像上的噪声。

发明内容

为了克服现有技术中的上述不足，本申请的目的在于提供一种图像去噪方法及装置，以解决或者改善上述问题。

为了实现上述目的，本申请实施例采用的技术方案如下：

第一方面，本申请实施例提供一种图像去噪方法，应用于电子设备，所述方法包括：

获取训练样本集，所述训练样本集包括噪声图像样本集以及与所述噪声图像样本集对应的无噪图像样本集；

将所述噪声图像样本集输入到卷积神经网络中进行训练，输出训练得到的去噪图像样本集；

根据所述无噪图像样本集和所述去噪图像样本集分别计算对应的均方误差损失函数值和最大后验损失函数值，并根据所述均方误差损失函数值和最大后验损失函数值得到总损失函数值；

基于计算得到的总损失函数值迭代训练所述卷积神经网络，直到满足训练终止条件时，输出训练得到的图像去噪模型，并根据所述图像去噪模型对待去噪图像进行去噪处理。

在一种可能的实施方式中，所述获取训练样本集的步骤，包括：

获取图像采集设备基于配置的图像采集参数连续拍摄的多帧噪声图像样本以构建噪声图像样本集，所述图像采集参数包括图像曝光参数以及拍摄频率参数；

针对所述噪声图像样本集中的每帧噪声图像样本，对该帧噪声图像样本中的每个像素点的像素值进行排序，并根据排序结果将像素值小于第一预设像素值以及像素值大于第二预设像素值的异常像素点剔除，得到剔除异常像素点后的噪声图像样本；

计算剔除各帧异常像素点后的噪声图像样本的各个像素点的平均值；

根据预设的噪声图像样本与对应的无噪图像样本之间的关系以及剔除各帧异常像素点后的噪声图像样本的各个像素点的平均值得到与所述噪声图像样本集对应的无噪图像样本集。

在一种可能的实施方式中，所述噪声图像样本与对应的无噪图像样本存在如下关系：

x_n＝clip(y_n+ε_n(y_n))

ε_n(y_n)～N(0,σ_n ²(y_n))

其中，x_n为噪声图像样本，y_n为对应的无噪图像样本，ε_n(y_n)为y_n的噪声分布函数，σ_n ²(y_n)为噪声分布函数服从的方差，其中，σ_n ²(y_n)＝β₁ ⁿy_n+β₂ ⁿ，β₁和β₂与所述图像采集设备的图像传感器参数以及感光度数值相关。

在一种可能的实施方式中，所述将所述噪声图像样本集输入到卷积神经网络中进行训练，输出训练得到的去噪图像样本集的步骤，包括：

将所述噪声图像样本集输入到卷积神经网络中，通过所述卷积神经网络中的各层卷积层依次提取所述噪声图像样本集中各个噪声图像样本的图像特征信息；

将每层卷积层提取得到的各个噪声图像样本的图像特征信息通过连接层发送给与该层卷积层对称设置的反卷积层中，通过该反卷积层根据所述各个噪声图像样本的图像特征信息生成反卷积后的去噪图像样本集。

在一种可能的实施方式中，所述根据所述无噪图像样本集和所述去噪图像样本集分别计算对应的均方误差损失函数值和最大后验损失函数值的步骤，包括：

根据所述无噪图像样本集和所述去噪图像样本集计算均方误差损失函数值，具体为：

分别计算无噪图像样本集中每帧无噪图像样本以及所述去噪图像样本集中与每帧无噪图像样本对应的去噪图像样本之间每个像素点差值的平方值，并将计算得到的各个像素点差值的平方值的均值作为所述均方误差损失函数值；以及

根据所述无噪图像样本集和所述去噪图像样本集计算最大后验损失函数值，具体为：

根据所述无噪图像样本集中的各个无噪图像样本以及在每个无噪图像样本中加入泊松噪声之后的泊松噪声图像，计算所述无噪图像样本集中的各个无噪图像样本存在泊松噪声的后验概率；

根据在每个无噪图像样本中加入泊松噪声之后的泊松噪声图像、在每个无噪图像样本中加入高斯噪声之后的高斯噪声图像，计算各个泊松噪声图像存在高斯噪声的后验概率；

根据各个无噪图像样本存在泊松噪声的后验概率以及各个泊松噪声图像存在高斯噪声的后验概率，计算得到各个无噪图像样本存在泊松高斯噪声的最大后验概率；

计算以各个无噪图像样本存在泊松高斯噪声的最大后验概率为自变量的负对数函数值，并将所述负对数函数值作为所述最大后验损失函数值。

在一种可能的实施方式中，所述根据所述均方误差损失函数值和最大后验损失函数值得到总损失函数值的步骤，包括：

根据预设权重比例分别计算所述均方误差损失函数值的第一权重损失函数值以及所述最大后验损失函数值的第二权重损失函数值；

根据所述第一权重损失函数值和所述第二权重损失函数值得到所述总损失函数值。

第二方面，本申请实施例还提供一种图像去噪装置，应用于电子设备，所述装置包括：

获取模块，用于获取训练样本集，所述训练样本集包括噪声图像样本集以及与所述噪声图像样本集对应的无噪图像样本集；

训练模块，用于将所述噪声图像样本集输入到卷积神经网络中进行训练，输出训练得到的去噪图像样本集；

计算模块，用于根据所述无噪图像样本集和所述去噪图像样本集分别计算对应的均方误差损失函数值和最大后验损失函数值，并根据所述均方误差损失函数值和最大后验损失函数值得到总损失函数值；

去噪处理模块，用于基于计算得到的总损失函数值迭代训练所述卷积神经网络，直到满足训练终止条件时，输出训练得到的图像去噪模型，并根据所述图像去噪模型对待去噪图像进行去噪处理。

第三方面，本申请实施例还提供一种可读存储介质，其上存储有计算机程序，所述计算机程序被执行时实现上述的图像去噪方法。

相对于现有技术而言，本申请具有以下有益效果：

本申请实施例提供一种图像去噪方法及装置，具体实现原理为：将噪声图像样本集输入到卷积神经网络中进行训练，输出训练得到的去噪图像样本集，根据无噪图像样本集和去噪图像样本集分别计算对应的均方误差损失函数值和最大后验损失函数值，并根据均方误差损失函数值和最大后验损失函数值得到总损失函数值，最后基于计算得到的总损失函数值迭代训练卷积神经网络，直到满足训练终止条件时，输出训练得到的图像去噪模型，并根据图像去噪模型对待去噪图像进行去噪处理。由此，通过结合均方误差损失函数值和最大后验损失函数值迭代训练卷积神经网络，可以大大提升真实噪声的去除效果。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它相关的附图。

图1为本申请实施例提供的图像去噪方法的流程示意图；

图2为本申请实施例提供的卷积神经网络的网络结构示意图；

图3为本申请实施例提供的图像去噪装置的功能模块示意图；

图4为本申请实施例提供的用于实现上述图像去噪方法的电子设备的结构示意框图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其它实施例，都属于本申请保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

如前述背景技术获知的技术问题，本申请发明人在研究过程中发现，随着深度学习(Deep Learning，DL)在分类识别等领域中的异军突起，图像恢复领域也很快将DL作为重要的研究工具。由于是监督学习，同时使用真实图像噪声及对应的无噪图像(GroundTruth，GT)作为训练样本集，这样DL去噪算法也就可以真正用于实际生活中。

然而发明人在研究过程中发现目前的DL去噪算法存在以下几个问题：

第一，在采集训练样本时，噪声图像样本容易采集，但是其对应的无噪图像极难获得，如果使用传统去噪算法来对噪声图像样本去噪后作为无噪图像，显然该无噪图像是不准确的，最后通过深度学习得到的图像去噪能力上限也仅仅是传统去噪算法而已。

第二，图像去噪和图像分类识别不同，目前深度学习算法在图像去噪的解释性是不足的，目前难以确定深度学习算法就一定最适合图像去噪，在实际训练过程中，经常出现训练不易收敛，训练后图像细节损失严重等现象。

第三，由于目前的所有图像去噪方法都是假设真实图像噪声是高斯分布的，所以一般都会采用均方误差损失函数值MSE Loss作为图像去噪的损失函数loss function，但是实际上的真实图像噪声并不是高斯分布的，通过这种方式训练得到的深度学习算法会出现如前述背景技术所述的，不能很好地去除真实图像上的噪声的问题。

基于上述技术问题的发现，本申请发明人提出下述技术方案以解决或者改善上述问题。需要注意的是，以上现有技术中的方案所存在的缺陷，均是发明人在经过实践并仔细研究后得出的结果，因此，上述问题的发现过程以及下文中本申请实施例针对上述问题所提出的解决方案，都应该是发明人在发明创造过程中对本申请做出的贡献。

请参阅图1，为本申请实施例提供的图像去噪方法的一种流程示意图，所应说明的是，本申请实施例提供的图像去噪方法不以图1及以下的具体顺序为限制。该方法的具体流程如下：

步骤S210，获取训练样本集。

本实施例中，所述训练样本集包括噪声图像样本集以及与所述噪声图像样本集对应的无噪图像样本集。其中，为了获得较为准确的无噪图像样本集，本申请发明人经过长期研究，提出下述方案：

首先，获取图像采集设备基于配置的图像采集参数连续拍摄的多帧噪声图像样本以构建噪声图像样本集，所述图像采集参数包括图像曝光参数以及拍摄频率参数。

接着，由于噪声图像样本集中各个噪声图像样本的图像噪声的分布的方差是不确定的，因此噪声图像样本的一部分图像噪声的像素值大小实际上是在0～255之外的，但是由于实际数字表示的问题，最终的像素值还是会固定在0～255。如果采用这些噪声图像样本的各个像素点的平均值用于后续生成对应的无噪图像样本，其无噪图像样本实际上是发生了偏移的，从而造成无噪图像样本的不准确。鉴于此，发明人提出可以针对所述噪声图像样本集中的每帧噪声图像样本，对该帧噪声图像样本中的每个像素点的像素值进行排序，并根据排序结果将像素值小于第一预设像素值以及像素值大于第二预设像素值的异常像素点剔除，得到剔除异常像素点后的噪声图像样本。而后，计算剔除各帧异常像素点后的噪声图像样本的各个像素点的平均值。

最后，根据预设的噪声图像样本与对应的无噪图像样本之间的关系以及剔除各帧异常像素点后的噪声图像样本的各个像素点的平均值得到与所述噪声图像样本集对应的无噪图像样本集。

其中，所述噪声图像样本与对应的无噪图像样本存在如下关系：

x_n＝clip(y_n+ε_n(y_n))

ε_n(y_n)～N(0,σ_n ²(y_n))

其中，x_n为噪声图像样本，y_n为对应的无噪图像样本，ε_n(y_n)为y_n的噪声分布函数，σ_n ²(y_n)为噪声分布函数服从的方差，其中，σ_n ²(y_n)＝β₁ ⁿy_n+β₂ ⁿ，β₁和β₂与所述图像采集设备的图像传感器参数以及感光度数值相关。

通过上述方案采集到的无噪图像样本准确性高，能够有效提高后续通过深度学习得到的图像去噪能力。

步骤S220，将所述噪声图像样本集输入到卷积神经网络中进行训练，输出训练得到的去噪图像样本集。

在卷积神经网络的设计中需要考虑到算法的收敛，以及如何在保证去噪效果的同时，减少图像细节纹理的损失。本申请发明人针对上述需求，采取编码-解码模式，去掉了传统卷积神经网络的归一化层，并加入大量Long-Term Link连接层。详细地，在一种可能的实施方式中，请结合参阅图2，本实施例设计的卷积神经网络中包括多个卷积层Convolution作为卷积神经网络的编码Encoder部分以及多个反卷积层Deconvolution作为卷积神经网络的解码Decoder部分。卷积层Convolution的主要作用是将输入的噪声图像样本经过大量卷积层提取噪声图像样本的特征信息，去除图像噪声；反卷积层Deconvolution的作用是恢复噪声图像样本的特征信息中的图像细节。

为了加速卷积神经网络在训练过程中的收敛，本实施例在卷积神经网络中加入大量的Long-Term Link连接层，将前面卷积层Convolution提取到的特征信息直接加入到后面的反卷积层Deconvolution中。由此，可以减少卷积神经网络在采用反向传播法BackPropagation下的梯度消失问题。同时，Long-Term Link连接层可以认为是将前面卷积层Convolution提取到的中高频图像特征信息加回到后面的反卷积层Deconvolution，而这些中高频图像特征信息也就是噪声图像样本的纹理细节，所以加入Long-Term Link连接层可以极大缓解纹理细节损失的问题。

基于上述分析，本实施例通过将所述噪声图像样本集输入到卷积神经网络中，通过所述卷积神经网络中的各层卷积层依次提取所述噪声图像样本集中各个噪声图像样本的图像特征信息，并将每层卷积层提取得到的各个噪声图像样本的图像特征信息通过连接层发送给与该层卷积层对称设置的反卷积层中，通过该反卷积层根据所述各个噪声图像样本的图像特征信息生成反卷积后的去噪图像样本集。

步骤S230，根据所述无噪图像样本集和所述去噪图像样本集分别计算对应的均方误差损失函数值和最大后验损失函数值，并根据所述均方误差损失函数值和最大后验损失函数值得到总损失函数值。

在一种可能的实施方式中根据所述无噪图像样本集和所述去噪图像样本集计算均方误差损失函数值，具体可以为：

分别计算无噪图像样本集中每帧无噪图像样本以及所述去噪图像样本集中与每帧无噪图像样本对应的去噪图像样本之间每个像素点差值的平方值，并将计算得到的各个像素点差值的平方值的均值作为所述均方误差损失函数值MSE LOSS。

在一种可能的实施方式中，根据所述无噪图像样本集和所述去噪图像样本集计算最大后验损失函数值，具体可以为：

首先，根据所述无噪图像样本集中的各个无噪图像样本GT以及在每个无噪图像样本中加入泊松噪声之后的泊松噪声图像poi，计算所述无噪图像样本集中的各个无噪图像样本存在泊松噪声的最大后验概率P(poi|GT)。P(poi|GT)的具体计算公式可以包括：

接着，根据在每个无噪图像样本中加入泊松噪声之后的泊松噪声图像poi、在每个无噪图像样本中加入高斯噪声之后的高斯噪声图像I_noise(noise)，计算各个泊松噪声图像poi存在高斯噪声的最大后验概率P(I_noise|poi)。具体计算公式可以包括：

I_noise＝poi+∈，∈～N(0，σ)

根据各个无噪图像样本存在泊松噪声的后验概率P(poi|GT)以及各个泊松噪声图像存在高斯噪声的后验概率P(I_noise|poi)，计算所述无噪图像样本集中的各个无噪图像样本GT存在泊松高斯噪声的最大后验概率P(I_noise|GT)。具体计算公式可以包括：

最后，计算以各个无噪图像样本存在泊松高斯噪声的最大后验概率为自变量的负对数函数值-logP(I_noise|GT)，并将所述负对数函数值-logP(I_noise|GT)作为所述最大后验损失函数值MAP LOSS，并不断最小化该最大后验损失函数值MAP LOSS。

而后，可以根据预设权重比例分别计算所述均方误差损失函数值MSE LOSS的第一权重损失函数值以及所述最大后验损失函数值MAP LOSS的第二权重损失函数值，然后根据所述第一权重损失函数值和所述第二权重损失函数值得到所述总损失函数值。例如，可以计算所述第一权重损失函数值和所述第二权重损失函数值之和以得到所述总损失函数值。

步骤S240，基于计算得到的总损失函数值迭代训练所述卷积神经网络，直到满足训练终止条件时，输出训练得到的图像去噪模型，并根据所述图像去噪模型对待去噪图像进行去噪处理。

详细地，基于计算得到的总损失函数值，不断更新所述卷积神经网络的网络参数，并重复上述训练步骤进行迭代训练，直到满足训练终止条件(例如总损失函数值不再下降、迭代训练次数达到预设次数等)时，输出训练得到的图像去噪模型，此时该图像去噪模型可以拥有图像去噪能力，并根据所述图像去噪模型对待去噪图像进行去噪处理。

由此，本实施例通过结合均方误差损失函数值和最大后验损失函数值迭代训练卷积神经网络，可以大大提升真实噪声的去除效果。

进一步地，请参阅图3，本申请实施例还提供一种图像去噪装置200，该图像去噪装置200可以包括：

获取模块210，用于获取训练样本集，所述训练样本集包括噪声图像样本集以及与所述噪声图像样本集对应的无噪图像样本集。

训练模块220，用于将所述噪声图像样本集输入到卷积神经网络中进行训练，输出训练得到的去噪图像样本集。

计算模块230，用于根据所述无噪图像样本集和所述去噪图像样本集分别计算对应的均方误差损失函数值和最大后验损失函数值，并根据所述均方误差损失函数值和最大后验损失函数值得到总损失函数值。

去噪处理模块240，用于基于计算得到的总损失函数值迭代训练所述卷积神经网络，直到满足训练终止条件时，输出训练得到的图像去噪模型，并根据所述图像去噪模型对待去噪图像进行去噪处理。

在一种可能的实施方式中，所述获取模块210具体可以通过以下方式获取训练样本集：

获取图像采集设备基于配置的图像采集参数连续拍摄的多帧噪声图像样本以构建噪声图像样本集，所述图像采集参数包括图像曝光参数以及拍摄频率参数；

针对所述噪声图像样本集中的每帧噪声图像样本，对该帧噪声图像样本中的每个像素点的像素值进行排序，并根据排序结果将像素值小于第一预设像素值以及像素值大于第二预设像素值的异常像素点剔除，得到剔除异常像素点后的噪声图像样本；

计算剔除各帧异常像素点后的噪声图像样本的各个像素点的平均值；

根据预设的噪声图像样本与对应的无噪图像样本之间的关系以及剔除各帧异常像素点后的噪声图像样本的各个像素点的平均值得到与所述噪声图像样本集对应的无噪图像样本集；

所述噪声图像样本与对应的无噪图像样本存在如下关系：

x_n＝clip(y_n+ε_n(y_n))

ε_n(y_n)～N(0,σ_n ²(y_n))

其中，x_n为噪声图像样本，y_n为对应的无噪图像样本，ε_n(y_n)为y_n的噪声分布函数，σ_n ²(y_n)为噪声分布函数服从的方差，其中，σ_n ²(y_n)＝β₁ ⁿy_n+β₂ ⁿ，β₁和β₂与所述图像采集设备的图像传感器参数以及感光度数值相关。

在一种可能的实施方式中，所述训练模块230具体可以通过以下方式输出训练得到的去噪图像样本集：

将所述噪声图像样本集输入到卷积神经网络中，通过所述卷积神经网络中的各层卷积层依次提取所述噪声图像样本集中各个噪声图像样本的图像特征信息；

将每层卷积层提取得到的各个噪声图像样本的图像特征信息通过连接层发送给与该层卷积层对称设置的反卷积层中，通过该反卷积层根据所述各个噪声图像样本的图像特征信息生成反卷积后的去噪图像样本集。

在一种可能的实施方式中，所述计算模块240具体可以通过以下方式分别计算对应的均方误差损失函数值和最大后验损失函数值：

根据所述无噪图像样本集和所述去噪图像样本集计算均方误差损失函数值，具体为：

分别计算无噪图像样本集中每帧无噪图像样本以及所述去噪图像样本集中与每帧无噪图像样本对应的去噪图像样本之间每个像素点差值的平方值，并将计算得到的各个像素点差值的平方值的均值作为所述均方误差损失函数值；以及

根据所述无噪图像样本集和所述去噪图像样本集计算最大后验损失函数值，具体为：

根据所述无噪图像样本集中的各个无噪图像样本以及在每个无噪图像样本中加入泊松噪声之后的泊松噪声图像，计算所述无噪图像样本集中的各个无噪图像样本存在泊松噪声的后验概率；

根据在每个无噪图像样本中加入泊松噪声之后的泊松噪声图像、在每个无噪图像样本中加入高斯噪声之后的高斯噪声图像，计算各个泊松噪声图像存在高斯噪声的后验概率；

根据各个无噪图像样本存在泊松噪声的后验概率以及各个泊松噪声图像存在高斯噪声的后验概率，计算得到各个无噪图像样本存在泊松高斯噪声的最大后验概率；

计算以各个无噪图像样本存在泊松高斯噪声的最大后验概率为自变量的负对数函数值，并将所述负对数函数值作为所述最大后验损失函数值。

可以理解的是，本实施例中的各功能模块的具体操作方法可参照上述方法实施例中相应步骤的详细描述，在此不再重复赘述。

进一步地，请参阅图4，为本申请实施例提供的用于上述图像去噪方法的电子设备100的结构示意框图。本实施例中，所述电子设备100可以由总线110作一般性的总线体系结构来实现。根据电子设备100的具体应用和整体设计约束条件，总线110可以包括任意数量的互连总线和桥接。总线110将各种电路连接在一起，这些电路包括处理器120、存储介质130和总线接口140。可选地，电子设备100可以使用总线接口140将网络适配器150等经由总线110连接。网络适配器150可用于实现电子设备100中物理层的信号处理功能，并通过天线实现射频信号的发送和接收。用户接口160可以连接外部设备，例如：键盘、显示器、鼠标或者操纵杆等。总线110还可以连接各种其它电路，如定时源、***设备、电压调节器或者功率管理电路等，这些电路是本领域所熟知的，因此不再详述。

可以替换的，电子设备100也可配置成通用处理***，例如通称为芯片，该通用处理***包括：提供处理功能的一个或多个微处理器，以及提供存储介质130的至少一部分的外部存储器，所有这些都通过外部总线体系结构与其它支持电路连接在一起。

可替换的，电子设备100可以使用下述来实现：具有处理器120、总线接口140、用户接口160的ASIC(专用集成电路)；以及集成在单个芯片中的存储介质130的至少一部分，或者，电子设备100可以使用下述来实现：一个或多个FPGA(现场可编程门阵列)、PLD(可编程逻辑器件)、控制器、状态机、门逻辑、分立硬件部件、任何其它适合的电路、或者能够执行本申请通篇所描述的各种功能的电路的任意组合。

其中，处理器120负责管理总线110和一般处理(包括执行存储在存储介质130上的软件)。处理器120可以使用一个或多个通用处理器和/或专用处理器来实现。处理器120的例子包括微处理器、微控制器、DSP处理器和能够执行软件的其它电路。应当将软件广义地解释为表示指令、数据或其任意组合，而不论是将其称作为软件、固件、中间件、微代码、硬件描述语言还是其它。

在图4中存储介质130被示为与处理器120分离，然而，本领域技术人员很容易明白，存储介质130或其任意部分可位于电子设备100之外。举例来说，存储介质130可以包括传输线、用数据调制的载波波形、和/或与无线节点分离开的计算机制品，这些介质均可以由处理器120通过总线接口140来访问。可替换地，存储介质130或其任意部分可以集成到处理器120中，例如，可以是高速缓存和/或通用寄存器。

所述处理器120可执行上述实施例，具体地，所述存储介质130中可以存储有所述图像去噪装置200，所述处理器120可以用于执行所述图像去噪装置200。

进一步地，本申请实施例还提供了一种非易失性计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例中的图像去噪方法。

综上所述，本申请实施例提供一种图像去噪方法及装置，具体实现原理为：将噪声图像样本集输入到卷积神经网络中进行训练，输出训练得到的去噪图像样本集，根据无噪图像样本集和去噪图像样本集分别计算对应的均方误差损失函数值和最大后验损失函数值，并根据均方误差损失函数值和最大后验损失函数值得到总损失函数值，最后基于计算得到的总损失函数值迭代训练卷积神经网络，直到满足训练终止条件时，输出训练得到的图像去噪模型，并根据图像去噪模型对待去噪图像进行去噪处理。由此，通过结合均方误差损失函数值和最大后验损失函数值迭代训练卷积神经网络，可以大大提升真实噪声的去除效果。

在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置和方法实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

可以替换的，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其它可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的电子设备、服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。

需要说明的是，在本文中，术语"包括"、"包含"或者其任何其它变体意在涵盖非排它性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其它要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句"包括一个……"限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其它的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

Claims (10)

1.一种图像去噪方法，其特征在于，应用于电子设备，所述方法包括：

获取训练样本集，所述训练样本集包括噪声图像样本集以及与所述噪声图像样本集对应的无噪图像样本集；

将所述噪声图像样本集输入到卷积神经网络中进行训练，输出训练得到的去噪图像样本集；

根据所述无噪图像样本集和所述去噪图像样本集分别计算对应的均方误差损失函数值和最大后验损失函数值，并根据所述均方误差损失函数值和最大后验损失函数值得到总损失函数值；

基于计算得到的总损失函数值迭代训练所述卷积神经网络，直到满足训练终止条件时，输出训练得到的图像去噪模型，并根据所述图像去噪模型对待去噪图像进行去噪处理。

2.根据权利要求1所述的图像去噪方法，其特征在于，所述获取训练样本集的步骤，包括：

获取图像采集设备基于配置的图像采集参数连续拍摄的多帧噪声图像样本以构建噪声图像样本集，所述图像采集参数包括图像曝光参数以及拍摄频率参数；

针对所述噪声图像样本集中的每帧噪声图像样本，对该帧噪声图像样本中的每个像素点的像素值进行排序，并根据排序结果将像素值小于第一预设像素值以及像素值大于第二预设像素值的异常像素点剔除，得到剔除异常像素点后的噪声图像样本；

计算剔除各帧异常像素点后的噪声图像样本的各个像素点的平均值；

根据预设的噪声图像样本与对应的无噪图像样本之间的关系以及剔除各帧异常像素点后的噪声图像样本的各个像素点的平均值得到与所述噪声图像样本集对应的无噪图像样本集。

3.根据权利要求2所述的图像去噪方法，其特征在于，所述噪声图像样本与对应的无噪图像样本存在如下关系：

x_n＝clip(y_n+ε_n(y_n))

ε_n(y_n)～N(0,σ_n ²(y_n))

其中，x_n为噪声图像样本，y_n为对应的无噪图像样本，ε_n(y_n)为y_n的噪声分布函数，σ_n ²(y_n)为噪声分布函数服从的方差，其中，σ_n ²(y_n)＝β₁ ⁿy_n+β₂ ⁿ，β₁和β₂与所述图像采集设备的图像传感器参数以及感光度数值相关。

4.根据权利要求1所述的图像去噪方法，其特征在于，所述将所述噪声图像样本集输入到卷积神经网络中进行训练，输出训练得到的去噪图像样本集的步骤，包括：

将所述噪声图像样本集输入到卷积神经网络中，通过所述卷积神经网络中的各层卷积层依次提取所述噪声图像样本集中各个噪声图像样本的图像特征信息；

将每层卷积层提取得到的各个噪声图像样本的图像特征信息通过连接层发送给与该层卷积层对称设置的反卷积层中，通过该反卷积层根据所述各个噪声图像样本的图像特征信息生成反卷积后的去噪图像样本集。

5.根据权利要求1所述的图像去噪方法，其特征在于，所述根据所述无噪图像样本集和所述去噪图像样本集分别计算对应的均方误差损失函数值和最大后验损失函数值的步骤，包括：

根据所述无噪图像样本集和所述去噪图像样本集计算均方误差损失函数值，具体为：

分别计算无噪图像样本集中每帧无噪图像样本以及所述去噪图像样本集中与每帧无噪图像样本对应的去噪图像样本之间每个像素点差值的平方值，并将计算得到的各个像素点差值的平方值的均值作为所述均方误差损失函数值；以及

根据所述无噪图像样本集和所述去噪图像样本集计算最大后验损失函数值，具体为：

根据所述无噪图像样本集中的各个无噪图像样本以及在每个无噪图像样本中加入泊松噪声之后的泊松噪声图像，计算所述无噪图像样本集中的各个无噪图像样本存在泊松噪声的后验概率；

根据在每个无噪图像样本中加入泊松噪声之后的泊松噪声图像、在每个无噪图像样本中加入高斯噪声之后的高斯噪声图像，计算各个泊松噪声图像存在高斯噪声的后验概率；

根据各个无噪图像样本存在泊松噪声的后验概率以及各个泊松噪声图像存在高斯噪声的后验概率，计算得到各个无噪图像样本存在泊松高斯噪声的最大后验概率；

计算以各个无噪图像样本存在泊松高斯噪声的最大后验概率为自变量的负对数函数值，并将所述负对数函数值作为所述最大后验损失函数值。

6.根据权利要求1所述的图像去噪方法，其特征在于，所述根据所述均方误差损失函数值和最大后验损失函数值得到总损失函数值的步骤，包括：

根据预设权重比例分别计算所述均方误差损失函数值的第一权重损失函数值以及所述最大后验损失函数值的第二权重损失函数值；

根据所述第一权重损失函数值和所述第二权重损失函数值得到所述总损失函数值。

7.一种图像去噪装置，其特征在于，应用于电子设备，所述装置包括：

获取模块，用于获取训练样本集，所述训练样本集包括噪声图像样本集以及与所述噪声图像样本集对应的无噪图像样本集；

训练模块，用于将所述噪声图像样本集输入到卷积神经网络中进行训练，输出训练得到的去噪图像样本集；

计算模块，用于根据所述无噪图像样本集和所述去噪图像样本集分别计算对应的均方误差损失函数值和最大后验损失函数值，并根据所述均方误差损失函数值和最大后验损失函数值得到总损失函数值；

去噪处理模块，用于基于计算得到的总损失函数值迭代训练所述卷积神经网络，直到满足训练终止条件时，输出训练得到的图像去噪模型，并根据所述图像去噪模型对待去噪图像进行去噪处理。

8.根据权利要求7所述的图像去噪装置，其特征在于，所述获取模块具体通过以下方式获取训练样本集：

获取图像采集设备基于配置的图像采集参数连续拍摄的多帧噪声图像样本以构建噪声图像样本集，所述图像采集参数包括图像曝光参数以及拍摄频率参数；

针对所述噪声图像样本集中的每帧噪声图像样本，对该帧噪声图像样本中的每个像素点的像素值进行排序，并根据排序结果将像素值小于第一预设像素值以及像素值大于第二预设像素值的异常像素点剔除，得到剔除异常像素点后的噪声图像样本；

计算剔除各帧异常像素点后的噪声图像样本的各个像素点的平均值；

根据预设的噪声图像样本与对应的无噪图像样本之间的关系以及剔除各帧异常像素点后的噪声图像样本的各个像素点的平均值得到与所述噪声图像样本集对应的无噪图像样本集；

所述噪声图像样本与对应的无噪图像样本存在如下关系：

x_n＝clip(y_n+ε_n(y_n))

ε_n(y_n)～N(0,σ_n ²(y_n))

其中，x_n为噪声图像样本，y_n为对应的无噪图像样本，ε_n(y_n)为y_n的噪声分布函数，σ_n ²(y_n)为噪声分布函数服从的方差，其中，σ_n ²(y_n)＝β₁ ⁿy_n+β₂ ⁿ，β₁和β₂与所述图像采集设备的图像传感器参数以及感光度数值相关。

9.根据权利要求7所述的图像去噪装置，其特征在于，所述训练模块具体通过以下方式输出训练得到的去噪图像样本集：

将所述噪声图像样本集输入到卷积神经网络中，通过所述卷积神经网络中的各层卷积层依次提取所述噪声图像样本集中各个噪声图像样本的图像特征信息；

将每层卷积层提取得到的各个噪声图像样本的图像特征信息通过连接层发送给与该层卷积层对称设置的反卷积层中，通过该反卷积层根据所述各个噪声图像样本的图像特征信息生成反卷积后的去噪图像样本集。

10.根据权利要求7所述的图像去噪装置，其特征在于，所述计算模块具体通过以下方式分别计算对应的均方误差损失函数值和最大后验损失函数值：

根据所述无噪图像样本集和所述去噪图像样本集计算均方误差损失函数值，具体为：

分别计算无噪图像样本集中每帧无噪图像样本以及所述去噪图像样本集中与每帧无噪图像样本对应的去噪图像样本之间每个像素点差值的平方值，并将计算得到的各个像素点差值的平方值的均值作为所述均方误差损失函数值；以及

根据所述无噪图像样本集和所述去噪图像样本集计算最大后验损失函数值，具体为：

根据所述无噪图像样本集中的各个无噪图像样本以及在每个无噪图像样本中加入泊松噪声之后的泊松噪声图像，计算所述无噪图像样本集中的各个无噪图像样本存在泊松噪声的后验概率；

根据在每个无噪图像样本中加入泊松噪声之后的泊松噪声图像、在每个无噪图像样本中加入高斯噪声之后的高斯噪声图像，计算各个泊松噪声图像存在高斯噪声的后验概率；

根据各个无噪图像样本存在泊松噪声的后验概率以及各个泊松噪声图像存在高斯噪声的后验概率，计算得到各个无噪图像样本存在泊松高斯噪声的最大后验概率；

计算以各个无噪图像样本存在泊松高斯噪声的最大后验概率为自变量的负对数函数值，并将所述负对数函数值作为所述最大后验损失函数值。