CN115222609A - 一种基于生成对抗网络模型的水下图像修复方法和生成对抗网络模型训练方法 - Google Patents
一种基于生成对抗网络模型的水下图像修复方法和生成对抗网络模型训练方法 Download PDFInfo
- Publication number
- CN115222609A CN115222609A CN202210157595.6A CN202210157595A CN115222609A CN 115222609 A CN115222609 A CN 115222609A CN 202210157595 A CN202210157595 A CN 202210157595A CN 115222609 A CN115222609 A CN 115222609A
- Authority
- CN
- China
- Prior art keywords
- network
- image
- block
- layer
- convolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000012549 training Methods 0.000 title claims abstract description 35
- 238000006243 chemical reaction Methods 0.000 claims abstract description 9
- 238000012545 processing Methods 0.000 claims abstract description 9
- 238000005070 sampling Methods 0.000 claims abstract description 5
- 230000006870 function Effects 0.000 claims description 52
- 238000009826 distribution Methods 0.000 claims description 19
- 230000004913 activation Effects 0.000 claims description 7
- 238000005457 optimization Methods 0.000 claims description 7
- 230000015572 biosynthetic process Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000003786 synthesis reaction Methods 0.000 claims description 3
- 125000004432 carbon atom Chemical group C* 0.000 claims description 2
- 230000003042 antagnostic effect Effects 0.000 claims 7
- 230000008569 process Effects 0.000 abstract description 7
- 238000000605 extraction Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 12
- 238000004590 computer program Methods 0.000 description 7
- 238000010606 normalization Methods 0.000 description 5
- 238000001228 spectrum Methods 0.000 description 4
- 230000002238 attenuated effect Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 238000006731 degradation reaction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种基于生成对抗网络模型的水下图像修复方法和生成对抗网络模型的训练方法，属于水下图像处理技术领域。生成对抗网络模型包括生成器网络和判别器网络，生成器网络包括依次设置的编码器网络块、特征转换网络块以及解码器网络块，生成器网络和判别器网络均包括多个BN层和PReLU层；在训练时，生成器网络中的编码器网络块和解码器网络块之间还设置有剩余路径网络块。本发明通过在编码器网络块和解码器网络块之间并添加了剩余路径网络块，增强生成器的细节特征提取能力，缓解了编码器低级特征与解码器高级特征之间的语义差异，避免了编码器下采样过程中的细节丢失，使得增强后的图像细节纹理更清晰。
Description
技术领域
本发明属于水下图像处理技术领域，具体涉及一种基于生成对抗网络模型 的水下图像修复方法和生成对抗网络模型训练方法。
背景技术
近年来，由于陆地资源逐渐短缺，人们对海洋资源的开发和利用越来越重 视。因而获取水下图像也成为了海洋资源开发和利用的关键。水下图像也吸引 了越来越多的研究人员的关注。水下图像和普通的图像成像规则有很大的不同， 不同波长的光照射到水下，其衰减速率不同，波长越长的光在水下衰减的越快， 红光衰减的最快，蓝光和绿光相对衰减慢，因此水下图像都呈现蓝绿色偏。水 下环境暗光照弱使得水下图像对比度低，水中悬浮物的散射作用导致水下图像 细节模糊。如何解决水下图像色偏严重、对比度低、细节模糊，是当前研究人 员面临的主要挑战。
研究人员根据水下图像成像原理提出了一系列解决方法，这些解决方法主 要可分为两类，分别是基于传统方法和基于深度学习的方法。其中传统方法主 要是通过调整图像像素值分布来达到增强图像质量的目的。传统方法又分为基 于物理模型的方法和基于非物理模型的方法。非物理模型的方法不需要考虑成 像过程。物理模型的方法目标是构造退化函数，然后估计模型参数包括水下光 和透射率，反演退化过程对图像进行复原，复杂的水下图像在某些程度上类似 于有雾图像，因此图像去雾的方法也被用于水下图像增强上。由于传统的增强 方法容易出现图像过度增强、过度曝光图像增强效果不符合真实场景，所以传 统的方法使用的越来越少。
发明内容
为解决现有技术中的缺陷，本发明公开了一种基于生成对抗网络模型的水 下图像修复方法和生成对抗网络模型训练方法，该方法解决了现在水下图像蓝 绿色偏、对比度低、细节特征模糊的问题。
本发明采用的技术方案为：
一种基于生成对抗网络模型的水下图像修复方法，所述生成对抗网络模型 包括生成器网络和判别器网络，生成器网络包括依次设置的编码器网络块、特 征转换网络块以及解码器网络块，生成器网络和判别器网络均包括多个BN层和 PReLU层；在训练时，生成器网络中的编码器网络块和解码器网络块之间还设 置有剩余路径网络块；
所述水下图像修复方法包括：
获得待处理的水下图像；
将所述待处理的水下图像输入预先训练好的生成对抗网络模型中进行图像 修复处理，得到修复后的水下图像。
本发明第二个目的是提供一种生成对抗网络模型的训练方法，所述生成对 抗网络模型训练方法用于以上所述的水下修复方法中生成网络模型的训练，所 述模型的训练方法包括：
获取水下图像样本数据集，水下图像样本数据集包括原始图像和与原始图 像相映射的失真图像；
将水下图像样本数据集的图像样本输入已搭建好的生成对抗网络模型，对 生成器网络和判别器网络进行交替迭代训练，直至模型损失函数值符合设定要 求时停止训练。
进一步的，所述损失函数的计算方法包括：
计算对抗损失
上式中，
表示最大化D和最小化G的优化函数；V(D,G)表 示优化函数；
表示x是真实分布的期望；x表示真实样本；Pr表示真 实分布；D表示判别器网络，D(x)表示判别器网络判断x属于真实分布Pr的概 率；
表示z是生成分布的期望；z表示输入生成器网络的随机噪声；Pg 表示生成分布；G表示生成器网络，而G(z)表示生成器网络生成的假样本，D(G(z)) 是判别器网络判断生成器网络生成的样本是否属于真实生成分布Pg的概率；
计算L1损失
L1＝E[||IC-G(ID)||1] (公式2)
式中，IC是真实的图像，ID是水下失真图像，G是生成器网络，G(ID)表示 生成器网络生成的水下图像；E代表数学期望；
计算感知损失函数
式中，Lper代表感知损失函数；Cj表示网络的第j层，CjHjWj表示第j层特 征图的大小，
是预先训练好的VGG19网络的最后一个卷积层提取的高级特征；
计算模型损失函数
式中，Ltotal为总损失函数，λ1和λ2分别是L1损失函数和Lper感知损失函数 的权重。
进一步的，所述λ1的权重设置为100，λ2的权重设置为100。
进一步的，所述水下图像样本数据集为通过循环生成对抗网络生成的不对 称数据集。
进一步的，所述编码器网络块包括三个卷积块，每一卷积块均包括依次设 置的卷积层、BN层以及PReLU层，用于对原始图像进行下采样操作，并通过 特征转换网络块输出图像特征至解码器网络块；
所述解码器网络块包括三个卷积块，前两个卷积块均包括依次设置的反卷 积层、BN层以及PReLU层，第三个卷积块包括卷积层和激活函数层，解码器 网络块用于对输入的图像特征进行上采样操作，将图像恢复到真实图像大小。
进一步的，所述编码器网络块的第三个卷积块与解码器网络块的第一个卷 积块之间以及编码器网络块的第二个卷积块与解码器网络块的第二个卷积块之 间均通过剩余路径网络块跳跃连接。
进一步的，所述剩余路径网络块包括一个3x3卷积层、一个1x1卷积层和 两个PReLU层，剩余路径网络块将1x1卷积层添加到经过3x3卷积层和 PReLU层处理后的连接中进行合并处理。
进一步的，所述判别器网络依次包括卷积核为3x3、3x3、3x3、3x3和 1x1的卷积块，前四个3x3卷积块的第一层为卷积层，其后依次为BN层和 PReLU层，前四个3x3卷积块用来提取输入图像的特征，减少特征图像的尺寸 大小；最后一个1x1卷积块为卷积层，用与合成特征，最后输出真实图像的预 测概率。
进一步的，所述PReLU层的激活函数斜率均设置为0.2。
与现有技术相比，本发明所达到的有益效果是：
(1)本发明通过在编码器网络块和解码器网络块之间并添加了剩余路径网 络块，增强生成器的细节特征提取能力，缓解了编码器低级特征与解码器高级 特征之间的语义差异，避免了编码器下采样过程中的细节丢失，使得增强后的 图像细节纹理更清晰。
(2)通过在卷积块中设置带参数修正的PReLU层，避免了x为负时，参 数无法更新的现象，提高了网络的拟合能力。
(3)为了解决生成对抗网络在训练过程中的不稳定性，本文采用了光谱归 一化，限制Lipschitz常数，来稳定判别器训练。
附图说明
图1为本发明实施例1中生成对抗网络模型图；
图2是本发明实施例1中生成器网络结构框图；
图3是本发明实施例1中剩余路径网络块结构框图；
图4是本发明实施例1中判别器网络结构框图。
图中：“Conv”表示卷积层；“Deconv”表示反卷积；“BN”表示批处理归 一化；“PReLU”表示激活层；“Transformation”表示特征转换模块；“ResPath” 表示剩余路径网络块；“Tanh”表示激活函数。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明 本发明的技术方案，而不能以此来限制本发明的保护范围。
实施例1
本实施例提供了一种生成对抗网络模型的训练方法，具体包括以下步骤。
一、准备水下图像样本数据集
本实施例采用的水下样本数据集是由循环生成对抗网络(CycleGAN模型) 生成的，CycleGAN是一种无监督网络模型，不需要成对的数据集。选用ImageNet 图像子集中的6500张自然场景下的图像作为数据集X，用网上下载的1860张 水下失真图像作为数据集Y，CycleGAN学习从数据集X域到数据集Y域的映 射函数F，再利用映射函数F来从数据集X中生成相应的失真图像，以上所有 的图像尺寸大小均为256×256×3。
二、搭建生成对抗网络模型
如图1所示，生成对抗网络模型包括生成器网络和判别器网络，生成器网 络包括依次设置的编码器网络块、特征转换网络块以及解码器网络块。生成器 网络训练编码器网络块和解码器网络块来学习水下失真图像与清晰图像之间的 映射关系。
如图2所示，生成器网络中的编码器网络块包括三个卷积块，每一卷积块 均包括依次设置的卷积层、BN层以及PReLU层，原始图像输入到编码器网络 块，依次经过三个卷积块的卷积层、BN层以及PReLU层，用于对原始图像进 行下采样操作，进行特征提取的同时减少特征图尺寸大小，接着输入图像到特 征转换模块，特征转换模块将特征图转换为清晰图像特征，并通过特征转换网 络块将清晰图像特征输出至解码器网络块。解码器网络块包括三个卷积块，前 两个卷积块均包括依次设置的反卷积层、BN层以及PReLU层，第三个卷积块包括卷积层和激活函数层(Tanh)，解码器网络块用于对输入的图像特征进行上 采样操作，将图像恢复到真实图像大小。
如图3所示，为了缓解编码器网络块的低级特征与解码器网络块的高级特 征之间的语义差异，减少下采样过程中的细节特征丢失，本文在编码器网络块 和解码器网络块的跳跃连接之间加入了剩余路径网络块(Respath)，使得增强后 的图像更好的保留原始图像的细节纹理特征。剩余路径网络块分别设置在编码 器网络块第二个卷积块的BN层和解码器网络块第二个卷积块的BN层之间以及 编码器网络块第三个卷积块的BN层和解码器网络块第一个卷积块的BN层之间。 剩余路径网络块包括一个3x3卷积层、一个1x1卷积层和两个PReLU层，剩 余路径网络块将1x1卷积层添加到经过3x3卷积层和PReLU层处理后的连接 中进行合并处理。剩余路径网络块引入了更多的非线性，提高了网络的表达能 力，且剩余路径网络块增强后的图像细节、纹理更清晰。
如图4所示，在本实施例中使用的判别器是PatchGAN，与全图像判别器相 比，PatchGAN判别器参数少，并且可以以全卷积层的方式处理任意大小的图像。 判别器网络判别器网络依次包括卷积核为3x3、3x3、3x3、3x3和1x1的卷 积块，前四个3x3卷积块的第一层为卷积层，其后依次为BN层和PReLU层， 前四个3x3卷积块用来提取输入图像的特征，减少特征图像的尺寸大小，采用 光谱归一化及PRelu激活函数，分别输出64、128、256、512个特征图；最后 一个1x1卷积块为卷积层，用与合成特征，最后输出真实图像的预测概率。
在判别器网络训练中，为了稳定判别器的训练。我们采用了光谱归一化， 同时光谱归一化计算量小，易于网络实现。本实施例中的所有PReLU层的函数 斜率都设置为0.2。
编码器网络和解码器网络的参数见下表：
三、训练搭建好的生成对抗网络模型
将水下图像样本数据集的图像样本输入已搭建好的生成对抗网络模型，对 生成器网络和判别器网络进行交替迭代训练，直至模型损失函数值符合设定要 求时停止训练。生成器网络输出的生成图像和真实图像一起输入判别器网络， 判别器网络判断是真实图像还是生成的假图像，将真实图像判别为“1”，生成 的假图像判别为“0”。生成器网络和判别器网络之间交替迭代，互相博弈，最 终达到纳什均衡状态。
损失函数的计算方法包括计算对抗损失、L1损失和感知损失。
计算对抗损失：
上式中，
表示最大化D和最小化G的优化函数；V(D,G)表 示优化函数；
表示x是真实分布的期望；x表示真实样本；Pr表示真 实分布；D表示判别器网络，D(x)表示判别器网络判断x属于真实分布Pr的概 率；
表示z是生成分布的期望；z表示输入生成器网络的随机噪声；Pg 表示生成分布；G表示生成器网络，而G(z)表示生成器网络生成的假样本，D(G(z)) 是判别器网络判断生成器网络生成的样本是否属于真实生成分布Pg的概率。生 成器网络希望D(G(z))尽可能得大，此时V(D,G)会变小，因此对于生成器网络来 说要求解minV(D,G)；判别器网络希望能正确分辨真假样本，即D(x)应该尽量大，D(G(z))应该尽量小，此时V(D,G)会变大，因此对于判别器网络来说是求解 maxV(D,G)；可以看出，生成器网络要最小化函数V(D,G)，而判别器网络要最 大化函数V(D,G)，两者对损失函数进行相反方向的优化，这就是对抗的实际意 义。
计算L1损失，损失保证了生成的图像与真实图像内容的一致性。具体公式 如下：
L1＝E[||IC-G(ID)||1] (公式2)
式中，IC是真实的图像，ID是水下失真图像，G是生成器网络，G(ID)表示 生成器网络生成的水下图像；E代表数学期望；使用L1函数作为唯一优化目标， 会由于像素空间上的像素平均而导致生成图像上的模糊伪像，因此，额外引入 了感知损失函数。
针对L1损失造成的生成图像模糊伪像问题，本实施例引入了感知损失函数。 感知损失基于卷积神经网络提取生成图像的特征图和目标图像的特征图之间的 差异。使用感知损失可以减少L1损失导致的高频特征的缺失，使得增强的图像 细节纹理上更接近于真实图像。感知损失函数计算公式如下：
式中，Lper代表感知损失函数；Cj表示网络的第j层，CjHjWj表示第j层特 征图的大小，
是预先训练好的VGG19网络的最后一个卷积层提取的高级特征。
计算模型损失函数
式中，Ltotal为总损失函数，λ1和λ2分别是L1损失函数和Lper感知损失函数 的权重。其中，λ1的权重设置为100，λ2的权重设置为100。
本实施例使用的是Adam优化器来训练模型，并将学习率设置为0.0002， 动量设置为0.5，batchsize设置为1，本实施例采用PyTorch框架实现，并使用 NVIDIA RTX 3060GPU、Intel i5-10400F CPU、16GBRAM在Windows10***中 训练，总共迭代500次。失真的图像数据集采用的CycleGAN生成的合成数据 集，生成的合成数据集外观上都呈现蓝绿色偏、对比度低和细节模糊。
实施例2
本发明还提供了一种水下图像修复方法，包括：
获得待处理的水下图像；
将所述待处理的水下图像输入实施例1中所述的生成对抗网络模型的训练 方法训练得到的生成对抗网络模型中，得到生成器网络生成的修复后的图像。
本实施例采用45张公开的真实水下图像作为测试集，这些图像覆盖了蓝绿 色偏、对比度低、细节模糊等主要方面，通过实施例1中所述的生成对抗网络 模型的训练方法训练得到的生成对抗网络模型，增强后的图像与原始图像相比， 蓝绿色偏消失，亮度对比度提高，细节特征更清晰。
本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计 算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结 合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包 含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品 的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/ 或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或 方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式 处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机 或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流 程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备 以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的 指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流 程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使 得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理， 从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程 或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通 技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变 形，这些改进和变形也应视为本发明的保护范围。
Claims (10)
1.一种基于生成对抗网络模型的水下图像修复方法，其特征在于，所述生成对抗网络模型包括生成器网络和判别器网络，生成器网络包括依次设置的编码器网络块、特征转换网络块以及解码器网络块，生成器网络和判别器网络均包括多个BN层和PReLU层；在训练时，生成器网络中的编码器网络块和解码器网络块之间还设置有剩余路径网络块；
所述水下图像修复方法包括：
获得待处理的水下图像；
将所述待处理的水下图像输入预先训练好的生成对抗网络模型中进行图像修复处理，得到修复后的水下图像。
2.一种生成对抗网络模型的训练方法，其特征在于，所述生成对抗网络模型用于权利要求1所述的水下修复方法中生成网络模型的训练，所述模型的训练方法包括：
获取水下图像样本数据集，水下图像样本数据集包括原始图像和与原始图像相映射的失真图像；
将水下图像样本数据集的图像样本输入已搭建好的生成对抗网络模型，对生成器网络和判别器网络进行交替迭代训练，直至模型损失函数值符合设定要求时停止训练。
3.根据权利要求2所述的生成对抗网络模型的训练方法，其特征在于，所述损失函数的计算方法包括：
计算对抗损失
上式中，
表示最大化D和最小化G的优化函数；V(D,G)表示优化函数；
表示x是真实分布的期望；x表示真实样本；Pr表示真实分布；D表示判别器网络，D(x)表示判别器网络判断x属于真实分布Pr的概率；
表示z是生成分布的期望；z表示输入生成器网络的随机噪声；Pg表示生成分布；G表示生成器网络，而G(z)表示生成器网络生成的假样本，D(G(z))是判别器网络判断生成器网络生成的样本是否属于真实生成分布Pg的概率；
计算L1损失
L1＝E[||IC-G(ID)||1] (公式2)
式中，IC是真实的图像，ID是水下失真图像，G是生成器网络，G(ID)表示生成器网络生成的水下图像；E代表数学期望；
计算感知损失函数
式中，Lper代表感知损失函数；Cj表示网络的第j层，CjHjWj表示第j层特征图的大小，
是预先训练好的VGG19网络的最后一个卷积层提取的高级特征；
计算模型损失函数
式中，Ltotal为总损失函数，λ1和λ2分别是L1损失函数和Lper感知损失函数的权重。
4.根据权利要求3所述的生成对抗网络模型的训练方法，其特征在于，所述λ1的权重设置为100，λ2的权重设置为100。
5.根据权利要求2所述的生成对抗网络模型的训练方法，其特征在于，所述水下图像样本数据集为通过循环生成对抗网络生成的不对称数据集。
6.根据权利要求2所述的生成对抗网络模型的训练方法，其特征在于，所述编码器网络块包括三个卷积块，每一卷积块均包括依次设置的卷积层、BN层以及PReLU层，用于对原始图像进行下采样操作，并通过特征转换网络块输出图像特征至解码器网络块；
所述解码器网络块包括三个卷积块，前两个卷积块均包括依次设置的反卷积层、BN层以及PReLU层，第三个卷积块包括卷积层和激活函数层，解码器网络块用于对输入的图像特征进行上采样操作，将图像恢复到真实图像大小。
7.根据权利要求5所述的生成对抗网络模型的训练方法，其特征在于，所述编码器网络块的第三个卷积块与解码器网络块的第一个卷积块之间以及编码器网络块的第二个卷积块与解码器网络块的第二个卷积块之间均通过剩余路径网络块跳跃连接。
8.根据权利要求2所述的生成对抗网络模型的训练方法，其特征在于，所述剩余路径网络块包括一个3x3卷积层、一个1x1卷积层和两个PReLU层，剩余路径网络块将1x1卷积层添加到经过3x3卷积层和PReLU层处理后的连接中进行合并处理。
9.根据权利要求2所述的水下图像的生成对抗网络模型的训练方法，其特征在于，所述判别器网络依次包括卷积核为3x3、3x3、3x3、3x3和1x1的卷积块，前四个3x3卷积块的第一层为卷积层，其后依次为BN层和PReLU层，前四个3x3卷积块用来提取输入图像的特征，减少特征图像的尺寸大小；最后一个1x1卷积块为卷积层，用与合成特征，最后输出真实图像的预测概率。
10.根据权利要求2所述的水下图像的生成对抗网络模型的训练方法，其特征在于，所述PReLU层的激活函数斜率均设置为0.2。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210157595.6A CN115222609A (zh) | 2022-02-21 | 2022-02-21 | 一种基于生成对抗网络模型的水下图像修复方法和生成对抗网络模型训练方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210157595.6A CN115222609A (zh) | 2022-02-21 | 2022-02-21 | 一种基于生成对抗网络模型的水下图像修复方法和生成对抗网络模型训练方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115222609A true CN115222609A (zh) | 2022-10-21 |
Family
ID=83605926
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210157595.6A Pending CN115222609A (zh) | 2022-02-21 | 2022-02-21 | 一种基于生成对抗网络模型的水下图像修复方法和生成对抗网络模型训练方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115222609A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117974508A (zh) * | 2024-03-28 | 2024-05-03 | 南昌航空大学 | 基于生成对抗网络用于不规则遮挡的虹膜图像修复方法 |
-
2022
- 2022-02-21 CN CN202210157595.6A patent/CN115222609A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117974508A (zh) * | 2024-03-28 | 2024-05-03 | 南昌航空大学 | 基于生成对抗网络用于不规则遮挡的虹膜图像修复方法 |
| CN117974508B (zh) * | 2024-03-28 | 2024-06-07 | 南昌航空大学 | 基于生成对抗网络用于不规则遮挡的虹膜图像修复方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113658051B (zh) | 一种基于循环生成对抗网络的图像去雾方法及*** | |
| Golts et al. | Unsupervised single image dehazing using dark channel prior loss | |
| CN111292264B (zh) | 一种基于深度学习的图像高动态范围重建方法 | |
| CN109544662B (zh) | 一种基于SRUnet的动漫风格线稿上色方法及*** | |
| CN111080531B (zh) | 一种水下鱼类图像的超分辨率重建方法、***及装置 | |
| CN113989129A (zh) | 基于门控和上下文注意力机制的图像修复方法 | |
| CN111833277A (zh) | 一种具有非配对多尺度混合编解码结构的海上图像去雾方法 | |
| CN113379036B (zh) | 一种基于上下文编码器的油气图像脱敏方法 | |
| CN113379715A (zh) | 一种水下图像增强和数据集真值图像获得方法 | |
| CN115272072A (zh) | 一种基于多特征图像融合的水下图像超分辨率方法 | |
| CN115222609A (zh) | 一种基于生成对抗网络模型的水下图像修复方法和生成对抗网络模型训练方法 | |
| CN114494387A (zh) | 一种生成数据集网络模型及雾图生成方法 | |
| CN116452469B (zh) | 一种基于深度学习的图像去雾处理方法及装置 | |
| CN111275642B (zh) | 一种基于显著性前景内容的低光照图像增强方法 | |
| Kumar et al. | Underwater image enhancement using deep learning | |
| CN116416491A (zh) | 一种基于轻量化扩散模型的遥感伪样本生成方法 | |
| CN116703750A (zh) | 基于边缘注意力和多阶微分损失的图像去雾方法及*** | |
| CN116402702A (zh) | 基于深度神经网络的老照片修复方法及*** | |
| CN116051407A (zh) | 一种图像修复方法 | |
| Saito et al. | Image processing method for automatic measurement of number of DNA breaks | |
| KT et al. | A flexible neural renderer for material visualization | |
| Yao et al. | A Generative Image Inpainting Model Based on Edge and Feature Self‐Arrangement Constraints | |
| Tal et al. | Nldnet++: A physics based single image dehazing network | |
| Liang et al. | PIE: Physics-Inspired Low-Light Enhancement | |
| CN117058037A (zh) | 一种基于改进生成对抗网络模型的水下图像修复方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| DD01 | Delivery of document by public notice | ||
| DD01 | Delivery of document by public notice |
Addressee: Patent of Nanjing University of Information Engineering The person in charge Document name: Notice of Conformity |
|
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |