CN109993710A - 一种基于生成对抗网络的水下图像去噪方法 - Google Patents
一种基于生成对抗网络的水下图像去噪方法 Download PDFInfo
- Publication number
- CN109993710A CN109993710A CN201910211120.9A CN201910211120A CN109993710A CN 109993710 A CN109993710 A CN 109993710A CN 201910211120 A CN201910211120 A CN 201910211120A CN 109993710 A CN109993710 A CN 109993710A
- Authority
- CN
- China
- Prior art keywords
- network
- cost
- image
- confrontation
- generating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000012549 training Methods 0.000 claims abstract description 47
- 238000013507 mapping Methods 0.000 claims abstract description 34
- 230000008447 perception Effects 0.000 claims abstract description 25
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims abstract description 21
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims abstract description 18
- 230000000694 effects Effects 0.000 claims abstract description 11
- 230000008569 process Effects 0.000 claims description 17
- 230000006870 function Effects 0.000 claims description 16
- 238000013459 approach Methods 0.000 claims description 10
- 239000011248 coating agent Substances 0.000 claims description 7
- 238000000576 coating method Methods 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 7
- 230000008901 benefit Effects 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 4
- 230000007246 mechanism Effects 0.000 abstract description 4
- 230000002708 enhancing effect Effects 0.000 abstract description 3
- 230000000717 retained effect Effects 0.000 abstract description 2
- 230000000007 visual effect Effects 0.000 abstract 1
- 230000009977 dual effect Effects 0.000 description 4
- 210000001525 retina Anatomy 0.000 description 4
- 230000007613 environmental effect Effects 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000012535 impurity Substances 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 244000005700 microbiome Species 0.000 description 1
- 238000003032 molecular docking Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 241000894007 species Species 0.000 description 1
- 230000009182 swimming Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种基于生成对抗网络的水下图像去噪方法，首先将水下图像输入到一个由若干残差块组成的生成网络，得到特征映射图；然后将输出得到的特征映射图与清水的无噪标签图像分别通过VGG‑19网络映射得到一个深度特征空间，并计算特征映射图与清水的无噪标签图像在深度特征空间中的感知代价，计算感知代价的同时，将生成网络输出的特征映射图输入到对抗网络，最后训练完成后，将含噪的水下图像输入到生成网络，其输出即为处理后的无噪图像。本发明通过引入对抗机制，去噪效果明显，尤其是该方法可有效保留甚至增强图像中的边缘纹理信息，具有更好地视觉效果和成像品质。
Description
技术领域
本发明涉及水下图像处理领域，尤其是一种水下图像的去噪方法。
背景技术
水下图像在海洋资源开发、探索领域发挥着重要作用，主要应用于以下几个方面：(1)军事方面，可以探测识别水下目标，实现水下高清成像，便于搜寻打捞海底沉船与飞机残骸等；(2)环境保护方面，可以监视海洋物种迁徙与海洋生态环境变化等；(3)工程方面，可以监控海底工程建设、实现深海工作站的对接以及为工程后续的全自动检修维护提供便利。相对于空气中成像，在水中拍摄光学图像的环境较为复杂。由于拍摄过程受到水中浮游微生物、杂质以及水体本身的散射效应，导致拍摄得到的水下图像往往模糊不清。通常而言，对水下图像进行一定程度的增强处理，可以使得捕获的目标更加清晰，其中视网膜增强是最为常用的算法之一。但是，经视网膜增强后的水下图像仍然包含大量的噪声，对后期的目标检测、目标识别等任务造成极大的困扰。因此，对增强后的图像进行去噪是非常有必要的。近年来，依赖于深度学习的图像处理、计算机视觉算法均取得了显著的进步。目前而言，大量基于深度学习的图像去噪工作已在国内外开展。文献“Zhang K,Zuo W,Chen Y,etal.Beyond a Gaussian Denoiser:Residual Learning of Deep CNN for ImageDenoising.IEEE Transactions on Image Processing,2017,26(7):3142-3155”提出了一种基于CNN网络的图像去噪方法，该方法依赖于“噪声图像＝图像+噪声”机制，通过训练使网络不断模拟逼近噪声，训练完成后利用“含噪图像-噪声”得到清晰图像。
该方法模型简单，可有效去除已知属性的噪声，但对于水下未知属性的噪声，方法的有效性会大大降低，同时由于卷积操作会导致去噪后图像的边缘轮廓变得模糊，细节信息损失严重。
发明内容
为了克服现有技术的不足，本发明提供一种基于生成对抗网络的水下图像去噪方法，利用生成对抗网络模型与感知代价函数，对视网膜增强后的水下图像进行去噪处理，同时保留并且增强图像中的边缘纹理信息。
本发明解决其技术问题所采用的技术方案包括以下步骤：
步骤一：生成对抗网络结构模型
生成对抗网络包括生成网络与对抗网络两个子网络，分别记为G网络与D网络，在生成网络中，输入的含噪图像首先经过3×3×3×64的卷积层(Convolutional Layer，Conv)与非线性函数的激活层，得到64维度的特征映射图，在激活层中，采用lReLU(LeakyRectified Linear Unit)函数，然后将特征映射图输入到级联的残差块，获取层次更深的特征映射图，在每个残差块中，残差块输入与输出叠加在一起，优点是使网络更容易被训练；最终，将残差块输出的结果经卷积核尺寸为3×3×64×3的卷积层映射得到生成网络的最终结果；
所有卷积层的卷积核的尺寸均设为3×3，在生成网络中，批归一化层(BatchNormalization，BN)级联到卷积层之后；
在对抗网络中，串联卷积层与下采样层，逐步降低输入图像的空间维度，捕获图像的深层次语义信息；
步骤二：计算生成网络的感知代价
在生成网络中采用感知相似度计算生成网络的输出与清水标签图像之间的相似性，令f(x，y)为输入的增强后的水下含噪图像，f′(x，y)为生成网络的输出图像，l(x，y)为清水的无噪标签图像，将f′(x，y)与l(x，y)分别通过VGG-19网络映射到特征空间然后计算感知代价，感知代价公式如公式(1)所示：
式中，||·||2表示计算二范数；
对于特征空间利用预训练好的深度网络模型VGG-19将图像空间映射到特征空间，VGG-19是通过一系列的卷积层与池化层操作逐步降低图像维度，提取高层特征，选取VGG-19中第五个卷积块的第四个卷积层的输出得到特征空间
步骤三：计算生成网络的生成代价
生成代价是指将生成网络的输出f′(x，y)输入到对抗网络中产生的分类代价，对抗网络的本质是一个二分类器，标定含有噪声图像的标签为0，无噪图像的标签为1；生成网络训练过程中，对抗网络的输出经Sigmoid函数激活后，应往标签1的方向逼近，生成代价公式如公式(2)所示：
式中，为生成代价，D(·)为对抗网络的映射过程；
步骤四：计算对抗网络的对抗代价
在对抗网络的训练过程中，含噪图像经对抗网络的输出值趋近0，而无噪图像经对抗网络输出值则趋近1，其对抗网络的训练代价如公式(3)所示：
式中，为对抗代价；
步骤五：网络训练
基于生成对抗网络的水下图像去噪网络在训练阶段是交替完成的，即首先训练生成网络，根据感知代价与生成代价的共同作用，计算代价函数的偏导数作为代价梯度，利用反向传播算法与梯度下降算法优化网络参数，其中γ为生成代价的权重；然后利用训练好的生成网络的输出作为对抗网络的输入，根据对抗网络的代价，利用梯度下降算法更新对抗网络的参数，对抗网络输入分别为生成网络的输出图像且标签为0、无噪的标签图像标签为1，公式(3)的偏导数作为代价梯度，同样利用反向传播算法与梯度下降算法对网络参数进行训练，依次重复训练生成网络与对抗网络，直至代价不再下降，网络训练完成后，将f(x，y)输入到生成网络G，其输出即为去噪后的图像。
本发明的有益效果是本发明去噪效果明显并且增强了边缘纹理，网络训练过程中标签图像制作更容易。根据提出的生成对抗网络模型及对抗训练机制可以看出，本发明具有很好的去噪效果。在创建的水下图像数据集上对发明的去噪方法的有效性进行测试，相对于文献中的CNN网络去噪方法，本发明提出的基于生成对抗网络的水下图像去噪方法在四种图像质量评价标准(PSNR、SSIM、MSE、BRISQUE)下均有了极大地改进，尤其在BRISQUE标准上，去噪效果提升了高达二倍。
附图说明
图1是本发明基于生成对抗网络的水下图像去噪方法的流程图。
图2是生成网络与对抗网络模型，其中(a)是生成网络的模型，(b)是对抗网络的模型。
具体实施方式
下面结合附图和实施例对本发明进一步说明。
为了克服水下图像噪声难以去除、边缘纹理不能增强的问题，本发明提出了一种基于生成对抗网络的水下图像去噪方法。该方法首先将视网膜增强后的含有噪声的水下图像输入到一个由若干残差块组成的生成网络，得到一个具有三通道(r，g，b三通道)输出的特征映射图；然后将输出得到的特征映射图与清水的无噪标签图像分别通过VGG-19网络(该网络已由Google公司提出并公开使用)映射得到一个深度特征空间，并计算特征映射图与清水的无噪标签图像在深度特征空间中的感知代价，使得生成网络输出的特征映射图尽可能接近清水标签图像，同时可以避免由于标签图像与噪声图像由于外部因素(例如像素未完全对齐、光照变化)在图像空间中引起的度量误差。计算感知代价的同时，将生成网络输出的特征映射图输入到对抗网络，通过与清水标签图像进行对抗训练，达到对抗网络的分类能力越来越强、生成网络输出的特征映射图越来越清晰的目的。最后训练完成后，将含噪的水下图像输入到生成网络，其输出即为处理后的无噪图像。本发明通过引入对抗机制，去噪效果明显，尤其是该方法可有效保留甚至增强图像中的边缘纹理信息，具有更好地视觉效果和成像品质。
步骤一：生成对抗网络结构模型
生成对抗网络包括生成网络与对抗网络两个子网络，分别记为G网络与D网络，在生成网络中，输入的含噪图像首先经过3×3×3×64的卷积层(Convolutional Layer，Conv)与非线性函数的激活层，得到64维度的特征映射图，在激活层中，本发明采用lReLU(Leaky Rectified Linear Unit)函数，然后将特征映射图输入到级联的残差块，获取层次更深的特征映射图，随着网络层级的逐渐递增，噪声在特征映射图中的影响逐渐衰弱，在每个残差块中，残差块输入与输出叠加在一起，优点是使网络更容易被训练；最终，将残差块输出的结果经卷积核尺寸为3×3×64×3的卷积层映射得到生成网络的最终结果；
为了增加网络层数的同时减少网络参数，所有卷积层的卷积核的尺寸均设为3×3，因为卷积核的参数初始化对网络的有效性影响非常大，为了消除由参数初始化引起的卷积前后数据分布不一致的问题，在生成网络中，批归一化层(Batch Normalization，BN)级联到卷积层之后；
在对抗网络中，通过串联卷积层与下采样层，逐步降低输入图像的空间维度，捕获图像的深层次语义信息，这样可以避免由于图像旋转、光照变化等因素引起的判定误差；
步骤二：计算生成网络的感知代价
在网络训练阶段，为了消除噪声、同时增强边缘纹理信息，需要使得生成网路的输出图像与标签图像尽可能接近。传统而言，图像空间上的距离度量是常用的样本相似度描述方法。但是，由于标签图像与生成网络输出图像之间存在的像素错位，以及拍摄环境中光照变化、抖动等客观因素，直接在图像空间度量相似度的传统方法存在一定的偏差。因此，在生成网络中本发明采用感知相似度计算生成网络的输出与清水标签图像之间的相似性，令f(x，y)为输入的增强后的水下含噪图像，f′(x，y)为生成网络的输出图像，l(x，y)为清水的无噪标签图像，将f′(x，y)与I(x，y)分别通过VGG-19网络映射到特征空间然后计算感知代价，感知代价公式如公式(1)所示：
式中，||·||2表示计算二范数；
对于特征空间利用预训练好的深度网络模型VGG-19将图像空间映射到特征空间，VGG-19是通过一系列的卷积层与池化层操作逐步降低图像维度，提取高层特征，本发明中选取VGG-19中第五个卷积块的第四个卷积层的输出得到特征空间
步骤三：计算生成网络的生成代价
在生成对抗网络中，生成网络与对抗网络是交替训练的。对抗训练的目的是使得生成网络的输出越来越逼近清水的无噪标签图像，而对抗网络则是使得分类器分辨含噪图像与清水的无噪标签图像的能力越来越强。生成代价是指将生成网络的输出f′(x，y)输入到对抗网络中产生的分类代价。对抗网络的本质是一个二分类器，标定含有噪声图像的标签为0，无噪图像的标签为1。生成网络训练过程中，对抗网络的输出经Sigmoid函数激活后，应往标签1的方向逼近，生成代价公式如公式(2)所示：
式中，为生成代价，D(·)为对抗网络的映射过程；
步骤四：计算对抗网络的对抗代价
对抗网络的目的是经过不断的对抗学习使得分类器可以很好地识别含噪图像与无噪图像。需要在对抗网络的训练过程中，含噪图像经对抗网络的输出值趋近0，而无噪图像经对抗网络输出值则趋近1，其对抗网络的训练代价如公式(3)所示：
式中，为对抗代价；
步骤五：网络训练
基于生成对抗网络的水下图像去噪网络在训练阶段是交替完成的，即首先训练生成网络，根据感知代价与生成代价的共同作用，计算代价函数的偏导数作为代价梯度，利用反向传播算法与梯度下降算法优化网络参数，其中γ为生成代价的权重，设置γ＝0.0061；(经验取值)在此过程中无噪的标签图像只用来度量感知代价，不参与生成代价的计算；然后利用训练好的生成网络的输出作为对抗网络的输入，根据对抗网络的代价，利用梯度下降算法更新对抗网络的参数，对抗网络输入分别为生成网络的输出图像且标签为0、无噪的标签图像标签为1，公式(3)的偏导数作为代价梯度，同样利用反向传播算法与梯度下降算法对网络参数进行训练，依次重复训练生成网络与对抗网络，直至代价不再下降，网络训练完成后，将f(x，y)输入到生成网络G，其输出即为去噪后的图像。
本发明的实施例如下，参照图1，本发明提出的生成对抗网络的水下图像去噪方法的具体步骤如下：
(1)输入噪声图像
将增强后的含噪水下图像输入到本发明提出的生成对抗网络中。
(2)生成对抗网络结构模型
针对水下图像去噪方法的生成对抗网络包括生成网络与对抗网络两个子网络，分别记为G网络与D网络。在生成网络中，输入的含噪图像首先经过3×3×3×64的卷积层(Convolutional Layer，Conv)与非线性函数的激活层，得到64维度的特征映射图。在激活层中，本发明采用lReLU(Leaky Rectified Linear Unit)函数。然后将特征映射图输入到一系列级联的残差块，获取层次更深的特征映射图。随着网络层级的逐渐递增，噪声在特征映射图中的影响逐渐衰弱。另外，在每个残差块中，残差块输入与输出叠加在一起，优点是使网络更容易被训练。最终，将残差块输出的结果经卷积核尺寸为3×3×64×3的卷积层映射得到生成网络的最终结果。为了增加网络层数的同时减少网络参数，所有卷积层的卷积核的尺寸均设为3×3。因为卷积核的参数初始化对网络的有效性影响非常大，为了消除由参数初始化引起的卷积前后数据分布不一致的问题，在生成网络中，批归一化层(BatchNormalization,BN)级联到卷积层之后。在对抗网络中，通过简单的罗列一系列的卷积层与下采样层，逐步降低输入图像的空间维度，捕获图像的深层次语义信息，这样可以避免由于图像旋转、光照变化等因素引起的判定误差。
(3)计算生成网络的感知代价
在网络训练阶段，为了消除噪声、同时增强边缘纹理信息，需要使得生成网路的输出图像与标签图像尽可能接近。传统而言，图像空间上的距离度量是常用的样本相似度描述方法。但是，由于标签图像与生成网络输出图像之间存在的像素错位，以及拍摄环境中光照变化、抖动等客观因素，直接在图像空间度量相似度的传统方法存在一定的偏差。因此，在生成网络中本发明采用感知相似度计算生成网络的输出与清水标签图像之间的相似性。令f(x，y)为输入的增强后的水下含噪图像，f′(x，y)为生成网络的输出图像，l(x，y)为清水的无噪标签图像，将f′(x，y)与l(x，y)分别通过VGG-19网络映射到特征空间然后计算感知代价，感知代价如公式(4)所示：
式中，表示计算二范数。
对于特征空间利用预训练好的深度网络模型VGG-19将图像空间映射到特征空间。VGG-19是通过一系列的卷积层与池化层操作逐步降低图像维度，提取高层特征。本发明中选取VGG-19中第五个卷积块的第四个卷积层的输出得到特征空间
(4)计算生成网络的生成代价
计算生成网络的生成代价。在生成对抗网络中，生成网络与对抗网络是交替训练的。对抗训练的目的是使得生成网络的输出越来越逼近清水的无噪标签图像，而对抗网络则是使得分类器分辨含噪图像与清水的无噪标签图像的能力越来越强。生成代价是指将生成网络的输出f′(x，y)输入到对抗网络中产生的分类代价。对抗网络的本质是一个二分类器，标定含有噪声图像的标签为0，无噪图像的标签为1。生成网络训练过程中，对抗网络的输出经Sigmoid函数激活后，应往标签1的方向逼近，生成代价如公式(5)所示：
式中，D(·)为对抗网络的映射过程。
(5)计算对抗网络的对抗代价
计算对抗网络的对抗代价。对抗网络的目的是经过不断的对抗学习使得分类器可以很好地识别含噪图像与无噪图像。这就需要在对抗网络的训练过程中，含噪图像经对抗网络的输出值趋近0，而无噪图像经对抗网络输出值则趋近1。其对抗网络的训练代价如公式(6)所示：
(6)网络训练
基于生成对抗网络的水下图像去噪网络在训练阶段是交替完成的，即首先训练生成网络，根据感知代价与生成代价的共同作用，计算代价产生的梯度，利用反向传播算法与梯度下降算法(行业内悉知算法)优化网络参数，其中γ为生成代价的权重，设置γ＝0.0061。在此过程中无噪的标签图像只用来度量感知代价，不参与生成代价的计算。然后利用训练好的生成网络的输出作为对抗网络的输入，根据对抗网络的代价更新对抗网络的参数。对抗网络输入分别为生成网络的输出图像(标签为0)、无噪的标签图像(标签为1)，计算公式(6)产生的梯度，同样利用反向传播算法与梯度下降算法对网络参数进行训练。依次重复上述过程，直至代价收敛。网络训练完成后，在测试阶段，将增强后的含噪图像输入到生成网络，生成网络的输出即为图像去噪的结果。
Claims (1)
1.一种基于生成对抗网络的水下图像去噪方法，其特征在于包括下述步骤：
步骤一：生成对抗网络结构模型
生成对抗网络包括生成网络与对抗网络两个子网络，分别记为G网络与D网络，在生成网络中，输入的含噪图像首先经过3×3×3×64的卷积层与非线性函数的激活层，得到64维度的特征映射图，在激活层中，采用1ReLU函数，然后将特征映射图输入到级联的残差块，获取层次更深的特征映射图，在每个残差块中，残差块输入与输出叠加在一起，优点是使网络更容易被训练；最终，将残差块输出的结果经卷积核尺寸为3×3×64×3的卷积层映射得到生成网络的最终结果；
所有卷积层的卷积核的尺寸均设为3×3，在生成网络中，批归一化层级联到卷积层之后；
在对抗网络中，串联卷积层与下采样层，逐步降低输入图像的空间维度，捕获图像的深层次语义信息；
步骤二：计算生成网络的感知代价
在生成网络中采用感知相似度计算生成网络的输出与清水标签图像之间的相似性，令f(x，y)为输入的增强后的水下含噪图像，f′(x，y)为生成网络的输出图像，l(x，y)为清水的无噪标签图像，将f′(x，y)与l(x，y)分别通过VGG-19网络映射到特征空间然后计算感知代价，感知代价公式如公式(1)所示：
式中，||·||2表示计算二范数；
对于特征空间利用预训练好的深度网络模型VGG-19将图像空间映射到特征空间，VGG-19是通过一系列的卷积层与池化层操作逐步降低图像维度，提取高层特征，选取VGG-19中第五个卷积块的第四个卷积层的输出得到特征空间
步骤三：计算生成网络的生成代价
生成代价是指将生成网络的输出f′(x，y)输入到对抗网络中产生的分类代价，对抗网络的本质是一个二分类器，标定含有噪声图像的标签为0，无噪图像的标签为1；生成网络训练过程中，对抗网络的输出经Sigmoid函数激活后，应往标签1的方向逼近，生成代价公式如公式(2)所示：
式中，为生成代价，D(·)为对抗网络的映射过程；
步骤四：计算对抗网络的对抗代价
在对抗网络的训练过程中，含噪图像经对抗网络的输出值趋近0，而无噪图像经对抗网络输出值则趋近1，其对抗网络的训练代价如公式(3)所示：
式中，为对抗代价；
步骤五：网络训练
基于生成对抗网络的水下图像去噪网络在训练阶段是交替完成的，即首先训练生成网络，根据感知代价与生成代价的共同作用，计算代价函数的偏导数作为代价梯度，利用反向传播算法与梯度下降算法优化网络参数，其中γ为生成代价的权重；然后利用训练好的生成网络的输出作为对抗网络的输入，根据对抗网络的代价，利用梯度下降算法更新对抗网络的参数，对抗网络输入分别为生成网络的输出图像且标签为0、无噪的标签图像标签为1，公式(3)的偏导数作为代价梯度，同样利用反向传播算法与梯度下降算法对网络参数进行训练，依次重复训练生成网络与对抗网络，直至代价不再下降，网络训练完成后，将f(x，y)输入到生成网络G，其输出即为去噪后的图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910211120.9A CN109993710B (zh) | 2019-03-20 | 2019-03-20 | 一种基于生成对抗网络的水下图像去噪方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910211120.9A CN109993710B (zh) | 2019-03-20 | 2019-03-20 | 一种基于生成对抗网络的水下图像去噪方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109993710A true CN109993710A (zh) | 2019-07-09 |
| CN109993710B CN109993710B (zh) | 2022-03-11 |
Family
ID=67130738
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910211120.9A Active CN109993710B (zh) | 2019-03-20 | 2019-03-20 | 一种基于生成对抗网络的水下图像去噪方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109993710B (zh) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110414593A (zh) * | 2019-07-24 | 2019-11-05 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、处理器、电子设备及存储介质 |
| CN110490230A (zh) * | 2019-07-16 | 2019-11-22 | 西北工业大学 | 基于深度卷积生成对抗网络的水声目标识别方法 |
| CN110738626A (zh) * | 2019-10-24 | 2020-01-31 | 广东三维家信息科技有限公司 | 渲染图的优化方法、装置及电子设备 |
| CN110852970A (zh) * | 2019-11-08 | 2020-02-28 | 南京工程学院 | 基于深度卷积生成对抗网络的水下机器人图像增强方法 |
| CN111191654A (zh) * | 2019-12-30 | 2020-05-22 | 重庆紫光华山智安科技有限公司 | 道路数据生成方法、装置、电子设备及存储介质 |
| CN111428875A (zh) * | 2020-03-11 | 2020-07-17 | 北京三快在线科技有限公司 | 图像识别方法、装置及相应模型训练方法、装置 |
| CN111476739A (zh) * | 2020-04-17 | 2020-07-31 | 宁波大学科学技术学院 | 水下图像增强方法、***及存储介质 |
| CN111640075A (zh) * | 2020-05-23 | 2020-09-08 | 西北工业大学 | 一种基于生成对抗网络的水下图像去遮挡方法 |
| CN112215054A (zh) * | 2020-07-27 | 2021-01-12 | 西北工业大学 | 一种用于水声信号去噪的深度生成对抗方法 |
| CN112634176A (zh) * | 2021-01-05 | 2021-04-09 | 西南石油大学 | 基于多感知对抗生成网络的手机拍摄图像去噪方法 |
| CN113537401A (zh) * | 2021-08-13 | 2021-10-22 | 哈尔滨工程大学 | 一种基于改进的生成对抗网络的水下图像翻译方法 |
| CN113537026A (zh) * | 2021-07-09 | 2021-10-22 | 上海智臻智能网络科技股份有限公司 | 建筑平面图中的图元检测方法、装置、设备及介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107507153A (zh) * | 2017-09-21 | 2017-12-22 | 百度在线网络技术（北京）有限公司 | 图像去噪方法和装置 |
| CN108038832A (zh) * | 2017-12-25 | 2018-05-15 | 中国科学院深圳先进技术研究院 | 一种水下图像增强方法及*** |
| CN108198154A (zh) * | 2018-03-19 | 2018-06-22 | 中山大学 | 图像去噪方法、装置、设备及存储介质 |
| CN108492258A (zh) * | 2018-01-17 | 2018-09-04 | 天津大学 | 一种基于生成对抗网络的雷达图像去噪方法 |
| CN108537271A (zh) * | 2018-04-04 | 2018-09-14 | 重庆大学 | 一种基于卷积去噪自编码机防御对抗样本攻击的方法 |
| US20180293712A1 (en) * | 2017-04-06 | 2018-10-11 | Pixar | Denoising monte carlo renderings using generative adversarial neural networks |
| CN108765319A (zh) * | 2018-05-09 | 2018-11-06 | 大连理工大学 | 一种基于生成对抗网络的图像去噪方法 |
| CN108805840A (zh) * | 2018-06-11 | 2018-11-13 | Oppo（重庆）智能科技有限公司 | 图像去噪的方法、装置、终端及计算机可读存储介质 |
| US20190012581A1 (en) * | 2017-07-06 | 2019-01-10 | Nokia Technologies Oy | Method and an apparatus for evaluating generative machine learning model |
-
2019
- 2019-03-20 CN CN201910211120.9A patent/CN109993710B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180293712A1 (en) * | 2017-04-06 | 2018-10-11 | Pixar | Denoising monte carlo renderings using generative adversarial neural networks |
| US20190012581A1 (en) * | 2017-07-06 | 2019-01-10 | Nokia Technologies Oy | Method and an apparatus for evaluating generative machine learning model |
| CN107507153A (zh) * | 2017-09-21 | 2017-12-22 | 百度在线网络技术（北京）有限公司 | 图像去噪方法和装置 |
| CN108038832A (zh) * | 2017-12-25 | 2018-05-15 | 中国科学院深圳先进技术研究院 | 一种水下图像增强方法及*** |
| CN108492258A (zh) * | 2018-01-17 | 2018-09-04 | 天津大学 | 一种基于生成对抗网络的雷达图像去噪方法 |
| CN108198154A (zh) * | 2018-03-19 | 2018-06-22 | 中山大学 | 图像去噪方法、装置、设备及存储介质 |
| CN108537271A (zh) * | 2018-04-04 | 2018-09-14 | 重庆大学 | 一种基于卷积去噪自编码机防御对抗样本攻击的方法 |
| CN108765319A (zh) * | 2018-05-09 | 2018-11-06 | 大连理工大学 | 一种基于生成对抗网络的图像去噪方法 |
| CN108805840A (zh) * | 2018-06-11 | 2018-11-13 | Oppo（重庆）智能科技有限公司 | 图像去噪的方法、装置、终端及计算机可读存储介质 |
Non-Patent Citations (4)
| Title |
|---|
| CAMERON FABBRI等: "Enhancing Underwater Imagery Using Generative Adversarial Networks", 《2018 IEEE INTERNATIONAL CONFERENCE ON ROBOTICS AND AUTOMATION (ICRA)》 * |
| LI CHEN等: "Joint Denoising and Super-Resolution via Generative Adversarial Training", 《2018 24TH INTERNATIONAL CONFERENCE ON PATTERN RECOGNITION (ICPR)》 * |
| 张元祺: "基于生成对抗网络的彩色图像去噪方法", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
| 谢川等: "基于对抗生成网络的蒙特卡罗噪声去除算法", 《模式识别与人工智能》 * |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110490230A (zh) * | 2019-07-16 | 2019-11-22 | 西北工业大学 | 基于深度卷积生成对抗网络的水声目标识别方法 |
| CN110414593A (zh) * | 2019-07-24 | 2019-11-05 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、处理器、电子设备及存储介质 |
| CN110738626A (zh) * | 2019-10-24 | 2020-01-31 | 广东三维家信息科技有限公司 | 渲染图的优化方法、装置及电子设备 |
| CN110852970A (zh) * | 2019-11-08 | 2020-02-28 | 南京工程学院 | 基于深度卷积生成对抗网络的水下机器人图像增强方法 |
| CN111191654A (zh) * | 2019-12-30 | 2020-05-22 | 重庆紫光华山智安科技有限公司 | 道路数据生成方法、装置、电子设备及存储介质 |
| CN111428875A (zh) * | 2020-03-11 | 2020-07-17 | 北京三快在线科技有限公司 | 图像识别方法、装置及相应模型训练方法、装置 |
| CN111476739B (zh) * | 2020-04-17 | 2023-04-18 | 宁波大学科学技术学院 | 水下图像增强方法、***及存储介质 |
| CN111476739A (zh) * | 2020-04-17 | 2020-07-31 | 宁波大学科学技术学院 | 水下图像增强方法、***及存储介质 |
| CN111640075A (zh) * | 2020-05-23 | 2020-09-08 | 西北工业大学 | 一种基于生成对抗网络的水下图像去遮挡方法 |
| CN112215054A (zh) * | 2020-07-27 | 2021-01-12 | 西北工业大学 | 一种用于水声信号去噪的深度生成对抗方法 |
| CN112215054B (zh) * | 2020-07-27 | 2022-06-28 | 西北工业大学 | 一种用于水声信号去噪的深度生成对抗方法 |
| CN112634176B (zh) * | 2021-01-05 | 2022-02-25 | 西南石油大学 | 基于多感知对抗生成网络的手机拍摄图像去噪方法 |
| CN112634176A (zh) * | 2021-01-05 | 2021-04-09 | 西南石油大学 | 基于多感知对抗生成网络的手机拍摄图像去噪方法 |
| CN113537026A (zh) * | 2021-07-09 | 2021-10-22 | 上海智臻智能网络科技股份有限公司 | 建筑平面图中的图元检测方法、装置、设备及介质 |
| CN113537401A (zh) * | 2021-08-13 | 2021-10-22 | 哈尔滨工程大学 | 一种基于改进的生成对抗网络的水下图像翻译方法 |
| CN113537401B (zh) * | 2021-08-13 | 2022-08-02 | 哈尔滨工程大学 | 一种基于改进的生成对抗网络的水下图像翻译方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109993710B (zh) | 2022-03-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109993710A (zh) | 一种基于生成对抗网络的水下图像去噪方法 | |
| Yang et al. | An in-depth survey of underwater image enhancement and restoration | |
| Chen et al. | Underwater image enhancement based on deep learning and image formation model | |
| CN108444447B (zh) | 一种用于水下避障***中的渔网实时自主检测方法 | |
| Wang et al. | Real-time underwater onboard vision sensing system for robotic gripping | |
| CN106204618A (zh) | 基于机器视觉的产品包装表面缺陷检测与分类方法 | |
| CN109784148A (zh) | 活体检测方法及装置 | |
| CN108629370B (zh) | 一种基于深度置信网络的分类识别算法及装置 | |
| CN106570485B (zh) | 一种基于深度学习的筏式养殖遥感图像场景标注方法 | |
| Chen et al. | Facial expression recognition based on edge detection | |
| CN111723691A (zh) | 一种三维人脸识别方法、装置、电子设备及存储介质 | |
| CN112541865A (zh) | 基于生成对抗网络的水下图像增强方法 | |
| CN110880010A (zh) | 基于卷积神经网络的视觉slam闭环检测算法 | |
| Huang et al. | An underwater image enhancement method for simultaneous localization and mapping of autonomous underwater vehicle | |
| CN116152928A (zh) | 基于轻量级人体姿态估计模型的防溺水预警方法和*** | |
| Li et al. | Vision-based target detection and positioning approach for underwater robots | |
| CN107944393B (zh) | 人脸鼻尖定位方法 | |
| Tolie et al. | DICAM: Deep Inception and Channel-wise Attention Modules for underwater image enhancement | |
| Sudhakara et al. | An edge detection mechanism using L* A* B color-based contrast enhancement for underwater images | |
| Krishnan et al. | A novel underwater image enhancement technique using ResNet | |
| CN117557487A (zh) | 基于pix2pixHD的光滑物体高光去除方法、***及缺陷检测装置 | |
| CN111563423A (zh) | 基于深度去噪自动编码器的无人机图像目标检测方法及*** | |
| Ge et al. | Real-time object detection algorithm for Underwater Robots | |
| CN115049918A (zh) | 一种用于水下机器人的图像目标快速检测方法及装置 | |
| CN114067159A (zh) | 一种基于eus的粘膜下肿瘤细粒度分类方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |