CN112991199A - 一种基于残差密集网络的图像高低频分解噪声去除方法 - Google Patents

Abstract

本发明公开了一种基于残差密集网络的图像高低频分解噪声去除方法，具体包括如下步骤：步骤1，获取待训练图像；步骤2，对步骤1中的待训练图像添加高斯噪声，构建图像对X；步骤3，将步骤1中的待训练图像和步骤2中得到的噪声数据集分别用高通滤波器得到相应的高频图像训练样本和低频图像训练样本；步骤4，将步骤3得到的高频图像训练样本和低频图像训练样本分别输入到残差密集网络中进行训练，分别得到去除噪声后的高频图像和去除噪声后的低频图像；步骤5，将步骤4得到的去除噪声后的高频图像和低频图像一一对应进行相加，得到去噪后的整体图像。解决了现有技术中图像去噪后边缘信息模糊和易产生伪影的问题。

Description

一种基于残差密集网络的图像高低频分解噪声去除方法

技术领域

本发明属于图像处理方法技术领域，涉及一种基于残差密集网络的图像高低频分解噪声去除方法。

背景技术

由于成像设备等各种因素影响，图像在成像或传感过程中会受到噪声干扰，导致后续的图像分割、目标识别等任务收到影响不能顺利进行。比如利用公共监控设备确定犯罪嫌疑人时，图像的噪声使辨别犯罪嫌疑人的面部特征非常困难；在遥感图像中小目标物体成像像素较少，噪声的存在使图像中的小目标物体不好识别。鉴于以上各种情况，如何精准去除图像噪声，去除的同时又能够保护原有图像细节不受损害，成为当下急需解决的一个问题。

发明内容

本发明的目的是提供一种基于残差密集网络的图像高低频分解噪声去除方法，解决了现有技术中图像去噪后边缘信息模糊和易产生伪影的问题。

本发明所采用的技术方案是，一种基于残差密集网络的图像高低频分解噪声去除方法，具体包括如下步骤：

步骤1，获取待训练图像；

步骤2，对步骤1中的待训练图像添加高斯噪声，构建图像对X；

步骤3，将步骤1中的待训练图像和步骤2中得到的噪声数据集分别用高通滤波器得到相应的高频图像训练样本和低频图像训练样本；

步骤4，将步骤3得到的高频图像训练样本和低频图像训练样本分别输入到残差密集网络中进行训练，分别得到去除噪声后的高频图像和去除噪声后的低频图像；

步骤5，将步骤4得到的去除噪声后的高频图像和去除噪声后的低频图像一一对应进行相加，得到去噪后的整体图像。

本发明的特点还在于：

步骤1的具体过程为：

选取A张训练样本图像组成训练样本图像集，从训练样本图像集中随机选取m张图像，每张图片随机切割出i张大小为n×n的图片，即得到m×i张、大小为n×n的图片。

步骤2的具体过程为：

步骤2.1，对步骤1处理后的m×i张图片进行复制，对复制后的每张图像中均添加相同的高斯噪声，得到人工噪声图片；

步骤2.2，将步骤1中未加噪声的图像和步骤2.1加噪声后的图像一一对应，形成m×i个图像对X＝{noised_img,clean_img}，其中noise_img和clean_img分别表示添加噪声后的图像和未添加噪声的图像。

步骤2.1中添加高斯噪声的具体过程为：

步骤A，高斯噪声的概率密度服从高斯分布，如公式(1)所示：

其中，u为平均值means，σ为标准方差sigma；

步骤B，设定参数mean＝0和sigma＝30，根据高斯分布即公式(1)，产生一个高斯随机数；

步骤C，对于复制后的每张图像中的每个像素，通过与步骤B中符合高斯分布的随机数相加，得到输出像素，即输出像素＝输入像素+高斯随机数，并将输出像素值限制或放缩在[0～255]之间；

步骤D，重复步骤B～C，直到整幅未加噪声图像的所有像素循环完，得到输出图像，该输出图像即为人工噪声图片。

步骤3的具体过程为：

步骤3.1，将步骤2.2中m×i个图像对X＝{noised_img,clean_img}通过高通滤波器得到m×i个高频图像对X_high＝{noised_img_high,clean_img_high}，即高频图像训练样本，其中noised_img_high和clean_img_high分别代表噪声图像的高频图像和未加噪声的高频图像；

步骤3.2，将步骤2.2中m×i个图像对X＝{noised_img,clean_img}与步骤3.1中得到的m×i个高频图像对X_high＝{noised_img_high，clean_img_high}一一对应进行相减，得到m×i个低频图像对X_low＝{noised_img_low，clean_img_low}，即低频图像训练样本，其中noised_img_low和clean_img_low分别代表噪声图像的低频图像和未加噪声图像的低频图像。

步骤4的具体过程为：

步骤4.1，把高频图像训练样本输入到残差密集网络中进行训练，得到去除噪声后的高频图像；

步骤4.2，把低频图像训练样本输入到残差密集网络中进行训练，得到去除噪声后的低频图像。

步骤4.1的具体过程为：

步骤4.1.1，将步骤3.1中m×i个高频图像对X_high＝{noised_img_high，clean_img_high}输入到残差密集网络中进行特征提取，从而得到高频训练图像的空间特征；

步骤4.1.2，将步骤4.1.1中得到的高频图像的空间特征输入到残差密集网络的密集块中进行训练，设图像损失函数为逐像素损失函数MSE_loss，如下公式(2)所示，当损失函数达到最小时，将高频图像输出：

其中，x代表高频噪声图像，y代表未加噪声的高频图像，F(x)表示高频噪声图像经过残差密集网络训练得到的去噪高频图片，C、W、H分别代表高频图像对(x，y)的通道、宽度和高度；

步骤4.1.3，将步骤4.1.2输出的高频图像从空间特征经过残差密集网络的反卷积层重构回图像特征，得到去噪后的高频图像。

步骤4.2的具体过程为：

步骤4.2.1，将步骤3.2中m×i个低频图像对X_low＝{noised_img_low,clean_img_low}输入到残差密集网络中进行特征提取，从而得到低频训练图像的空间特征；

步骤4.2.2，将步骤4.2.1中得到的低频图像的空间特征输入到残差密集网络的密集块中进行训练，设图像损失函数为逐像素损失函数MSE_loss ^/，如下公式(3)所示，当损失函数达到最小时，将低频图像输出：

其中，x'代表低频噪声图像，y'代表未加噪声的低频图像，F'(x')表示低频噪声图像经过残差密集网络训练得到的去噪低频图片，C'、W'、H'分别代表低频图像对(x'，y')的通道、宽度和高度；

步骤4.2.3，将步骤4.2.2输出的低频图像从空间特征经过残差密集网络的反卷积层重构回图像特征，得到去噪后的低频图像。

本发明的有益效果如下：

(1)本发明图像噪声去除方法主要是基于残差密集网络进行训练和图像生成，能够最大限度地去除图像噪声并保护图像复杂的边缘信息；

(2)本发明图像噪声去除方法，能够为图像分割、目标检测和识别的后续研究提供一个很好的预处理操作；

(3)本发明图像噪声去除方法中采用高低频分解，针对高频图像多噪声和低频图像的少噪声进行不同程度的训练，使噪声可以去除的更加彻底，是结果更理想。

附图说明

图1是本发明一种基于残差密集网络的图像高低频分解噪声去除方法的总体流程图；

图2是本发明一种基于残差密集网络的图像高低频分解噪声去除方法中残差密集网络结构；

图3是本发明一种基于残差密集网络的图像高低频分解噪声去除方法网络中的残差密集模块(RDB)网络结构图；

图4是本发明一种基于残差密集网络的图像高低频分解噪声去除方法中实施例的去噪图。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

本发明一种基于残差密集网络的图像高低频分解噪声去除方法，如图1所示，具体包括如下步骤：

步骤1，获取待训练图像；

步骤1的具体过程为：

选取A张训练样本图像组成训练样本图像集，从训练样本图像集中随机选取m张图像，每张图片随机切割出i张大小为n×n的图片，即得到m×i张、大小为n×n的图片。

步骤2，对步骤1中的待训练图像添加高斯噪声，构建图像对X；

步骤2的具体过程为：

步骤2.1，对步骤1处理后的m×i张图片进行复制，对复制后的每张图像中均添加相同的高斯噪声，得到人工噪声图片；

步骤2.1中添加高斯噪声的具体过程为：

步骤A，高斯噪声的概率密度服从高斯分布(正态分布)，如公式(1)所示：

其中，u为平均值means，σ为标准方差sigma；图像由一个一个的像素组成，在对图像添加噪声时，就是对图像的所有像素做运算。输入程序中未加噪声的图像，对于输入图像的每个像素，通过与符合高斯分布的随机数相加，得到输出像素，即输出像素＝输入像素+高斯随机数。

步骤B，设定参数mean＝0和sigma＝30，根据高斯分布(正态分布)即公式(1)，产生一个高斯随机数；

步骤C，对于复制后的每张图像中的每个像素，通过与步骤B中符合高斯分布的随机数相加，得到输出像素，并将输出像素值限制或放缩在[0～255]之间；

步骤D，重复步骤B～C，直到整幅未加噪声图像的所有像素循环完，得到输出图像，该输出图像即为人工噪声图片。

步骤2.2，将步骤1中未加噪声的图像和步骤2.1加噪声后的图像一一对应，形成m×i个图像对X＝{noised_img,clean_img}，其中noise_img和clean_img分别表示添加噪声后的图像和未添加噪声的图像。

步骤3，将步骤1中的待训练图像和步骤2中得到的噪声数据集分别用高通滤波器得到相应的高频图像训练样本和低频图像训练样本；

步骤3的具体过程为：

步骤3.1，将步骤2.2中m×i个图像对X＝{noised_img,clean_img}通过高通滤波器得到m×i个高频图像对X_high＝{noised_img_high,clean_img_high}，即高频图像训练样本，其中noised_img_high和clean_img_high分别代表噪声图像的高频图像和未加噪声的高频图像；

步骤3.2，将步骤2.2中m×i个图像对X＝{noised_img,clean_img}与步骤3.1中得到的m×i个高频图像对X_high＝{noised_img_high，clean_img_high}一一对应进行相减，得到m×i个低频图像对X_low＝{noised_img_low，clean_img_low}，即低频图像训练样本，其中noised_img_low和clean_img_low分别代表噪声图像的低频图像和未加噪声图像的低频图像。

步骤4，将步骤3得到的高频图像训练样本和低频图像训练样本分别输入到残差密集网络中进行训练，分别得到去除噪声后的高频图像和去除噪声后的低频图像；

步骤4.1，把高频图像训练样本输入到残差密集网络中进行训练，得到去除噪声后的高频图像；

取步骤3.1中带噪声的高频层图像noised_img_high和未加噪声的高频层图像clean_img_high，输入到残差密集网络中。带噪声的高频图像经过网络计算，具体为：先经过两个卷积模块，然后经过3个残差密集(RDB)模块，最后经过一个反卷积模块和一个Tanh模块，输出一张与输入图像一样大小的去噪后的干净图像。残差密集网络如图2所示，具体执行过程如下。

步骤4.1.1，带噪声的高频图像经过两个卷积模块进行特征提取，从而得到高频训练图像的空间特征。两个卷积层结构如图2中前两个卷积所示，图中Conv、k7、n32、s1表示卷积操作，其中卷积核大小为7×7、卷积核个数为32个、步长s设置为1；Conv、k5、n64、s2表示卷积操作，卷积核大小为5×5、卷积核个数为64个、步长s设置为2；BN表示BatchNormalizati归一化操作。

步骤4.1.2，将步骤4.1.1中得到的高频图像空间特征输入到残差密集网络中的3个密集块进行训练，据损失函数更迭减小来达到图像去噪效果。密集块具体结构如图3所示，其中ConvBlock1-ConvBlock6分别表示6个卷积操作，Conv、k3、n32、s1表示卷积操作，卷积核的大小为3×3、卷积核个数为32个、步长s设置为1。表示网络结构中图像特征传递过程如公式(2)所示：

F_n＝ReLU(W_n[F₀，F₁，......，F_n-1])，n∈{1，2，3，4，5，6} (2)；

公式(2)中，F₀F₁，...F_n-1分别表示每一个ConvBlock的输出，W_n表示每一个ConvBlock内的权重参数，ReLU表示一个非线性激活函数，Concat表示F₀，F₁，...F_n-1在第三个通道方向相互连接，经过Conv，k1，s1卷积操作使得F₇与F₀的通道数相同，最后F₇与F₀两个张量相加，输出F₈，即为一个RDB的输出。本发明使用的损失函数为逐像素损失函数MSE_loss，具体计算如公式(3)，在训练过程中可以监控损失函数的大小，随着训练次数的增加，损失函数逐步减小，但训练过多会造成图像过拟合，从而使损失函数变大。当损失函数达到最小时，便得到本发明中需要的网络模型，此时将高频图像输出；

其中，x代表高频噪声图像，y代表未加噪声的高频图像，F(x)表示高频噪声图片经过残差密集网络训练得到的去噪高频图像，C、W、H分别代表高频图像对(x，y)的通道，宽度和高度。

步骤4.1.3，将步骤4.1.2去噪后的高频图像的空间特征经过反卷积重构回原来的图像特征，得到去噪后的高频图像。具体由图2的后两个卷积层实现，其中Conv、k5、n32、s1/2，表示反卷积操作，反卷积核大小为5×5、反卷积核为32个、步长为s为1/2，Conv、k7、n3、s1表示卷积操作，卷积核大小为7×7、卷积核个数为3个、步长s为1；Tanh表示一个非线性激活函数。

步骤4.2，把低频图像训练样本输入到残差密集网络中进行训练，得到去除噪声后的低频图像；

取步骤3.2中带噪声的低频层图像noised_img_low和未加噪声的低频层图像clean_img_low，输入到残差密集网络中。带噪声的高频图像经过网络计算，具体为：先经过两个卷积模块，然后经过3个残差密集(RDB)模块，最后经过一个反卷积模块和一个Tanh模块，输出一张与输入图像一样大小的去噪后的干净图像。残差密集网络如图2所示，具体执行过程如下。

步骤4.2.1，带噪声的低频图像经过两个卷积模块进行特征提取，从而得到低频训练图像的空间特征。两个卷积层结构如图2中前两个卷积所示，图中Conv、k7、n32、s1表示卷积操作，其中卷积核大小为7×7、卷积核个数为32个、步长s设置为1；Conv、k5、n64、s2表示卷积操作，卷积核大小为5×5、卷积核个数为64个、步长s设置为2；BN表示BatchNormalizati归一化操作。

步骤4.2.2，将步骤4.2.1中得到的低频图像的空间特征输入到残差密集网络中的3个密集块进行训练，据损失函数更迭减小来达到图像去噪效果。密集块具体结构如图3所示，其中ConvBlock1-ConvBlock6分别表示6个卷积操作，Conv、k3、n32、s1表示卷积操作，卷积核的大小为3×3、卷积核个数为32个、步长s设置为1。表示网络结构中图像特征传递过程如公式(2)所示：

F_n＝ReLU(W_n[F₀，F₁，......，F_n-1])，n∈{1，2，3，44，5，6} (2)；

公式中，F₀，F₁，...F_n-1分别表示每一个ConvBlock的输出，W_n表示每一个ConvBlock内的权重参数，ReLU表示一个非线性激活函数，Concat表示F₀，F₁，...F_n-1在第三个通道方向相互连接，经过Conv，k1，s1卷积操作使得F₇与F₀的通道数相同，最后F₇与F₀两个张量相加，输出F₈，即为一个RDB的输出。我们使用的损失函数为逐像素损失函数MSE_loss ^/，具体计算如公式(4)，在训练过程中可以监控损失函数的大小，随着训练次数的增加，损失函数逐步减小，但训练过多会造成图像过拟合，从而使损失函数变大。当损失函数达到最小时，便得到本发明需要的网络模型，此时将低频图像输出：

其中，x'代表低频噪声图像，y'代表未加噪声的低频图像，F'(x')表示低频噪声图像经过残差密集网络训练得到的去噪低频图片，C'、W'、H'分别代表低频图像对(x'，y')的通道、宽度和高度；

步骤4.2.3，将步骤4.2.2去噪后的低频图像的空间特征经过反卷积重构回原来的图像特征，得到去噪后的高频图像。具体由图2的后两个卷积层实现，其中Conv，k5，n32，s1/2，表示反卷积操作，反卷积核大小为5×5、反卷积核为32个、步长为s为1/2，Conv，k7，n3，s1表示卷积操作，卷积核大小为7×7、卷积核个数为3个、步长s为1；Tanh表示一个非线性激活函数。

步骤5中的具体操作为：

将步骤4.1.3和4.2.3中得到的去噪后的高频图像和去噪后的低频图像一一对应相加，得到最终的去噪图像。

最终训练数据训练完后，损失函数达到最小，得到训练好的网络，将经过步骤1，2，3预处理好的测试集数据，分别把高频层测试数据输入到步骤4.1产生的模型中得到去噪后的高频层图像，把低频层测试数据输入到步骤4.2产生的模型中得到去噪后的低频图像。再通过步骤5得到去噪后的整幅图像。如图4所示是噪声图像通过网络处理最终得到的去噪图像。

Claims (8)

1.一种基于残差密集网络的图像高低频分解噪声去除方法，其特征在于：具体包括如下步骤：

步骤1，获取待训练图像；

步骤2，对步骤1中的待训练图像添加高斯噪声，构建图像对X；

步骤3，将步骤1中的待训练图像和步骤2中得到的噪声数据集分别用高通滤波器得到相应的高频图像训练样本和低频图像训练样本；

步骤4，将步骤3得到的高频图像训练样本和低频图像训练样本分别输入到残差密集网络中进行训练，分别得到去除噪声后的高频图像和去除噪声后的低频图像；

步骤5，将步骤4得到的去除噪声后的高频图像和去除噪声后的低频图像一一对应进行相加，得到去噪后的整体图像。

2.根据权利要求1所述的一种基于残差密集网络的图像高低频分解噪声去除方法，其特征在于：所述步骤1的具体过程为：

选取A张训练样本图像组成训练样本图像集，从训练样本图像集中随机选取m张图像，每张图片随机切割出i张大小为n×n的图片，即得到m×i张、大小为n×n的图片。

3.根据权利要求2所述的一种基于残差密集网络的图像高低频分解噪声去除方法，其特征在于：所述步骤2的具体过程为：

步骤2.1，对步骤1处理后的m×i张图片进行复制，对复制后的每张图像中均添加相同的高斯噪声，得到人工噪声图片；

步骤2.2，将步骤1中未加噪声的图像和步骤2.1加噪声后的图像一一对应，形成m×i个图像对X＝{noised_img,clean_img}，其中noise_img和clean_img分别表示添加噪声后的图像和未添加噪声的图像。

4.根据权利要求3所述的一种基于残差密集网络的图像高低频分解噪声去除方法，其特征在于：所述步骤2.1中添加高斯噪声的具体过程为：

步骤A，高斯噪声的概率密度服从高斯分布，如公式(1)所示：

其中，u为平均值means，σ为标准方差sigma；

步骤B，设定参数mean＝0和sigma＝30，根据高斯分布即公式(1)，产生一个高斯随机数；

步骤C，对于复制后的每张图像中的每个像素，通过与步骤B中符合高斯分布的随机数相加，得到输出像素，即输出像素＝输入像素+高斯随机数，并将输出像素值限制或放缩在[0～255]之间；

步骤D，重复步骤B～C，直到整幅未加噪声图像的所有像素循环完，得到输出图像，该输出图像即为人工噪声图片。

5.根据权利要求3所述的一种基于残差密集网络的图像高低频分解噪声去除方法，其特征在于：所述步骤3的具体过程为：

步骤3.1，将步骤2.2中m×i个图像对X＝{noised_img,clean_img}通过高通滤波器得到m×i个高频图像对X_high＝{noised_img_high,clean_img_high}，即高频图像训练样本，其中noised_img_high和clean_img_high分别代表噪声图像的高频图像和未加噪声的高频图像；

步骤3.2，将步骤2.2中m×i个图像对X＝{noised_img,clean_img}与步骤3.1中得到的m×i个高频图像对X_high＝{noised_img_high,clean_img_high}一一对应进行相减，得到m×i个低频图像对X_low＝{noised_img_low,clean_img_low}，即低频图像训练样本，其中noised_img_low和clean_img_low分别代表噪声图像的低频图像和未加噪声图像的低频图像。

6.根据权利要求5所述的一种基于残差密集网络的图像高低频分解噪声去除方法，其特征在于：所述步骤4的具体过程为：

步骤4.1，把高频图像训练样本输入到残差密集网络中进行训练，得到去除噪声后的高频图像；

步骤4.2，把低频图像训练样本输入到残差密集网络中进行训练，得到去除噪声后的低频图像。

7.根据权利要求6所述的一种基于残差密集网络的图像高低频分解噪声去除方法，其特征在于：所述步骤4.1的具体过程为：

步骤4.1.1，将步骤3.1中m×i个高频图像对X_high＝{noised_img_high,clean_img_high}输入到残差密集网络中进行特征提取，从而得到高频训练图像的空间特征；

步骤4.1.2，将步骤4.1.1中得到的高频图像的空间特征输入到残差密集网络的密集块中进行训练，设图像损失函数为逐像素损失函数MSE_loss，如下公式(2)所示，当损失函数达到最小时，将高频图像输出：

其中，x代表高频噪声图像，y代表未加噪声的高频图像，F(x)表示高频噪声图像经过残差密集网络训练得到的去噪高频图片，C、W、H分别代表高频图像对(x,y)的通道、宽度和高度；

步骤4.1.3，将步骤4.1.2输出的高频图像从空间特征经过残差密集网络的反卷积层重构回图像特征，得到去噪后的高频图像。

8.根据权利要求6所述的一种基于残差密集网络的图像高低频分解噪声去除方法，其特征在于：所述步骤4.2的具体过程为：

步骤4.2.1，将步骤3.2中m×i个低频图像对X_low＝{noised_img_low,clean_img_low}输入到残差密集网络中进行特征提取，从而得到低频训练图像的空间特征；

步骤4.2.2，将步骤4.2.1中得到的低频图像的空间特征输入到残差密集网络的密集块中进行训练，设图像损失函数为逐像素损失函数MSE_loss ^/，如下公式(3)所示，当损失函数达到最小时，将低频图像输出：

其中，x'代表低频噪声图像，y'代表未加噪声的低频图像，F'(x')表示低频噪声图像经过残差密集网络训练得到的去噪低频图片，C'、W'、H'分别代表低频图像对(x',y')的通道、宽度和高度；

步骤4.2.3，将步骤4.2.2输出的低频图像从空间特征经过残差密集网络的反卷积层重构回图像特征，得到去噪后的低频图像。

Images