CN111833268B - 一种基于条件生成对抗网络的水下图像增强方法 - Google Patents

一种基于条件生成对抗网络的水下图像增强方法 Download PDF

Info

Publication number
CN111833268B
CN111833268B CN202010660451.3A CN202010660451A CN111833268B CN 111833268 B CN111833268 B CN 111833268B CN 202010660451 A CN202010660451 A CN 202010660451A CN 111833268 B CN111833268 B CN 111833268B
Authority
CN
China
Prior art keywords
image
loss function
underwater
representing
generator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010660451.3A
Other languages
English (en)
Other versions
CN111833268A (zh
Inventor
俞智斌
韩茹月
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ocean University of China
Original Assignee
Ocean University of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ocean University of China filed Critical Ocean University of China
Priority to CN202010660451.3A priority Critical patent/CN111833268B/zh
Publication of CN111833268A publication Critical patent/CN111833268A/zh
Application granted granted Critical
Publication of CN111833268B publication Critical patent/CN111833268B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及水下图像处理技术领域，具体公开了一种基于条件生成对抗网络的水下图像增强方法，其构建了基础图像增强模型，提出了分步式对抗训练策略，同时在训练策略中构建了目标损失函数(由对抗损失函数、L2损失函数和角度损失函数线性组合而成)组成的像素级损失，具有很好的鲁棒性和有效性，即使在缺乏真实水下成对训练数据，使用人工合成的配对数据，依然可以有效地实现对真实水下图像的增强，高效地解决水下图像中存在雾化模糊问题，提高图像的对比度，并且能很好地去除水下图像偏蓝、偏绿的色偏问题，同时可以增强图像中目标物的细节信息，提升图像的能见度，使更远处的目标可以被看得更清晰，促使生成图像更加逼近真实场景。

Description

一种基于条件生成对抗网络的水下图像增强方法
技术领域
本发明涉及水下图像处理技术领域，尤其涉及一种基于条件生成对抗网络的水下图像增强方法。
背景技术
水下图像处理技术能够快速有效地提升水下图像的质量，相比于昂贵的硬件支撑，它的实现成本较低，因此水下图像处理技术等到了受到广泛的关注。这些技术在众多的海洋工程和科研任务中扮演着重要的角色，例如：水下珊瑚监测、海洋生物迁移监测、海底电缆及参劾检测、深海勘探等。水下图像降质的主要原因是由水对光的强吸收、散射作用导致的。水中含有大量的悬浮颗粒，如：微生物、灰尘等，当光线在水中传播与这些颗粒发生碰撞时，光的原始传播方向就会发生偏转；同时水对不同波段的光还有一定的吸收作用，随着的水深的增加，波长较长的光(如：红色光)首先被吸收；因此水下拍摄的图像、视频往往存在着低对比度、雾化模糊、颜色失真等问题。
通常，为了提升水下视野的可见范围，在水下采集图像时会使用照明设备进行人为的光线补偿，然而这不但增加了能源开销，同样给水下图像处理技术带来了额外的挑战。
为了通过图像处理技术改善水下图像因受到水对光的吸收和散射作用，目前出现了一些图像增强方法、图像复原方法和基于生成对抗网络的图像处理方法。
图像增强方法是指：在图像处理过程中，不考虑对水下成像过程建模，通常是重新分配给定图像的像素值来增加对比度或实现颜色校正。其优点是：处理速度相对较快。其缺点是：由于没有考虑到水下成像模型而直接操作图像的像数值，往往存在着过度增强、颜色失真与偏移等问题。
图像复原方法是指：在图像处理过程中考虑到了光传播及成像过程等物理机制，首先要建立水下成像模型，然后再根据一些先验知识或是观测值去估计出成像模型中的关键参数，最后通过反演成像模型恢复出原始清晰图像。其优点是：考虑到水下成像模型，复原出的图像更具有理论推理性。其缺点是：由于涉及到诸多的先验知识，水下图像复原算法的针对性较强，普适性较差，同时涉及到大量的复杂运算，推理的时间较长。
基于生成对抗网络的图像处理方法是指：利用生成对抗网络构建图像处理模型，对图像处理模型进行训练后，可将低质量降质图像转译为高质量清晰图像。其优点是：在数据合成上效果良好。其缺点是：由于采用人工合成的伪水下图像进行模型训练，在真实水下数据上的表现较差(实用泛化能力较差)，模型的性能会有所下降，还存在合成图像缺乏细节、颜色失真、过度引入噪声等问题。
发明内容
本发明提供一种基于条件生成对抗网络的水下图像增强方法，解决的技术问题是：现有基于生成对抗网络的图像处理方法实用泛化能力较差，还存在合成图像缺乏细节、颜色失真、过度引入噪声等问题。
为解决以上技术问题，本发明提供一种基于条件生成对抗网络的水下图像增强方法，包括步骤：
S1.构建基础图像增强模型，所述基础图像增强模型的网络结构采用UGAN网络结构，但其生成器减少了所述UGAN网络结构中生成器的下采样卷积层数，并在每一层反卷积后增加了步长为1的卷积操作；
S2.采用目标损失函数对所述基础图像增强模型进行“螺旋式”对抗训练，得到优化图像增强模型。
进一步地，所述步骤S2具体包括步骤：
S21.向所述基础图像增强模型中输入批量浑浊图片，得到第一级增强图片；
S22.对所述第一级增强图片进行梯度计算，得到第一级梯度；
S23.向所述基础图像增强模型中输入所述第一级增强图片，得到第二级增强图片；
S24.通过所述目标损失函数对所述第二级增强图片进行梯度计算，得到第二级梯度；
S25.按照所述步骤S23-S24相同过程得到第n级增强图片和第n级梯度，n≥2；
S26.根据所述第一级梯度至所述第n级梯度的均值更新所述基础图像增强模型，得到对应的优化图像增强模型。
进一步地，在所述步骤S2中，一一对应的一组所述浑浊图片与所述预设清晰参考图片，组成配对图像对，多对所述配对图像对组成配对数据集；所述配对数据集中至少包括上千对配对图像对。
进一步地，在所述步骤S26中，具体是根据所述第一级梯度至所述第n级梯度的梯度均值更新所述基础图像增强模型。
进一步地，在所述步骤S2中，所述目标损失函数为对抗损失函数、L2损失函数和角度损失函数线性组合而成，其表达式为：
其中，L代表所述目标损失函数，Lspiral_cGAN(G,D)代表所述对抗损失函数，Lspiral_12(G)代表所述L2损失函数，Lspiral_angular(G)代表所述角度损失函数，G、D分别代表所述基础图像增强模型中的生成器与判别器；λ1、λ2分别代表所述L2损失函数、所述角度损失函数的线性常数。
进一步地，所述对抗损失函数的表达式为：
其中，X代表浑浊图片，Y代表增强图片，EX,Y代表X条件下的判别器D对于Y的判定损失；EX代表X条件下，判别器D对于X输入条件下螺旋迭代n次后生成器的输出假图的判定损失；D(X,Y)代表判别器D在X条件下对Y的真假判断结果,代表X输入条件下螺旋迭代n次后生成器G的输出，/>代表判别器D在X条件下对螺旋迭代n次后生成器G的输出图像的真假判断结果。
进一步地，所述L2损失函数的表达式为：
其中，X代表浑浊图片，Y代表增强图片，EX,Y代表X条件下的判别器D对于Y的判定损失，G(X)代表X输入条件下生成器G得到的假图，代表X输入条件下螺旋迭代n次后生成器G的输出假图。
进一步地，所述角度损失函数的表达式为：
其中，Y代表增强图片，EX,Y代表X条件下的判别器D对于Y的判定损失，G(X)代表X输入条件下生成器G得到的假图，N代表螺旋迭代最大次数，代表X输入条件下螺旋迭代n次后生成器G的输出假图。
进一步地，所述基础图像增强模型的网络结构包括一个所述生成器和一组所述判别器；所述生成器包括编码器和解码器，所述编码器由多个下采样卷积层组成，所述解码器由多个与所述下采样卷积层镜像对应的上采样反卷积层组成，同时在所述下采样卷积层和所述上采样反卷积层之间存在特征图的跨越跳接操作；所述判别器为马尔可夫判别器。
进一步地，所述下采样卷积层的卷积核为4×4、步长为2；所述上采样卷积层的卷积核为4×4、步长为1/2；所述步骤S1中增加的长为1的卷积操作，其卷积核为3×3。
本发明提供的一种基于条件生成对抗网络的水下图像增强方法，构建了基础图像增强模型(步骤S1)，进一步提出了分步式对抗训练策略(步骤S2，包括步骤S21-S26)，同时在训练策略中构建了目标损失函数(由对抗损失函数、L2损失函数和角度损失函数线性组合而成)组成的像素级损失，具有很好的鲁棒性和有效性，即使在缺乏真实水下成对训练数据，使用人工合成的配对数据，依然可以有效地实现对真实水下图像的增强，并且在多个真实水下数据集上取得不错的增强结果，促使网络生成图像色彩更加逼近真实场景。
大量定量、定性的实验表明，本发明所提方法对不同水质的水下图像的增强效果优于现有同领域算法，具有更好的视觉体验。从实验结果可以看出，当前方法高效地解决水下图像中存在雾化模糊问题，提高图像的对比度，并且能很好地去除水下图像偏蓝、偏绿的色偏问题，同时可以增强图像中目标物的细节信息，提升图像的能见度，使更远处的目标可以被看得更清晰。
附图说明
图1是本发明实施例提供的一种基于条件生成对抗网络的水下图像增强方法的步骤流程图；
图2是本发明实施例提供的一种基于条件生成对抗网络的水下图像增强方法的模型结构图；
图3是本发明实施例提供的图2中生成器G各层特征及其他网络参数展示图；
图4是本发明实施例提供的图2中判别器Di各层特征及其他网络参数展示图；
图5是本发明实施例提供的图1步骤S2中螺旋式对抗训练的过程展示图；
图6是本发明实施例提供的URPC实验结果的图像对照图；
图7是本发明实施例提供的EUVP实验结果的图像对照图；
图8是本发明实施例提供的消融实验结果的图像对照图。
具体实施方式
下面结合附图具体阐明本发明的实施方式，实施例的给出仅仅是为了说明目的，并不能理解为对本发明的限定，包括附图仅供参考和说明使用，不构成对本发明专利保护范围的限制，因为在不脱离本发明精神和范围基础上，可以对本发明进行许多改变。
(1)方法说明
水下图像增强任务的目的是将低质量水下图像(记为X)经过一系列处理过程得到高质量清晰图像(记为Y)，可以将其归类为从一幅图像(浑浊水质)到另一幅图像(清晰水质)的图像转译问题。可以将水下图像增强任务看作是找到一种方法学习一种从浑浊水质到清晰水质的映射关系F：X->Y。考虑到深度神经网络的新秀—生成对抗网络技术，在处理图像转译问题上的优势，本实施例提出了一种基于条件生成对抗网络(cGAN)的水下图像增强算法。
如图1所示，为本实施例水下图像增强方法所用模型的整体架构，由一个生成器(G)和一组判别器D(D1-Di+1，i>0)组成。其中生成器G通过和判别器D进行相互对抗来学习上面提出的映射关系F。在模型训练过程中，只有同时交替式优化生成器G和判别器D，才能使得生成器G生成更加真实的清晰水质图像。
更具体的，本发明实施例的水下图像增强方法，如图2所示，包括步骤：
S1.构建基础图像增强模型，基础图像增强模型的网络结构采用UGAN网络结构，但其生成器减少了UGAN网络结构中生成器的下采样卷积层数，并在每一层反卷积后增加了步长为1的卷积操作；
S2.采用目标损失函数对基础图像增强模型进行“螺旋式”对抗训练，得到优化图像增强模型。
1、关于步骤S1：
本实施例构建的基础图像增强模型基于UGAN网络结构，UGAN网络结构包括一个生成器G和一组判别器D(D1-Di+1，i>0)；生成器G包括编码器和解码器，编码器由多个下采样卷积层组成，解码器由多个与下采样卷积层镜像对应的上采样反卷积层组成，同时在下采样卷积层和上采样反卷积层之间存在特征图的“跨越跳接”操作。
“跨越跳接”操作可以实现输入与输出之间的低阶信息共享，有利于提升图像的生成质量。假设生成器由n个卷积层(包括全部的上、下采样层)组成，“跨越跳接”指的是将第i个卷积层输出的特征图与第n-i个反卷积层输出的特征图在通道上进行合并，然后作为第n-i+1层的输入。
基于UGAN网络结构已经为公开的技术，本实施例不作过多阐述。
由下采样编码器和上采样解码器组成的网络结构，存在一缺陷，那就是经过下采样卷积后的特征图尺寸会成倍缩小，也就意味着原始图像中一些比较小的目标物体在几次下采样后会丢失，即使之后再经过反卷积上采样，这些丢失的小物体依然无法被还原，这不利于高精度图像的生成，故生成器的网络结构不应过多地使用下采样操作。因此本步骤S1首先减少了UGAN提出的生成器的下采样层数。同时为了缓解因反卷积上采样造成的伪影、马赛克等问题，提升图像的生成质量，又在每一层反卷积后增加了步长为1、卷积核为3×3的卷积操作。
故，在本步骤S1中，下采样卷积层的卷积核为4×4、步长为2；上采样卷积层的卷积核为4×4、步长为1/2。
以输入尺寸为256×256大小的图像举例，图3所示为生成器G中特征图尺寸在经过卷积操作后的尺寸变化详情，其中颜色较深的块代表代表经过上采样反卷积后的特征图尺寸，颜色较深的块代表经过下采样层后的特征图尺寸，在特征图之间的黑色线条代表卷积(反卷积)操作。如图3所示，在前半部分的编码器中，特征图每次经过卷积核为4×4、步长为2的下采样卷积层之后，尺寸缩减至原来的1/4；在后半部分的解码器中，来自前一层的特征图在经过卷积核大小为4×4、步长为1/2的反卷积操作后，尺寸增加至原来的4倍，紧接着将此特征图送入卷积核为3×3、步长为1的卷积层(特征图前后尺寸不变)中进行滤波，得到该上采样层最终的特征图，然后将该特征图和解码器中与之对应的特征图在特征通道上合并送入下一上采样模块。生成器G中的每一个卷积层后紧跟着“批归一化”操作和ReLU非线性激活操作。基于“批归一化”操作和ReLU非线性激活操作已经为公开的技术，本实施例不作过多阐述。
在本步骤S1中，判别器D为马尔可夫判别器(PatchGAN)，其网络结构如图4所示，它由5层卷积层组成，除最后一层卷积层的卷积核大小为3×3、步长为1之外，其它各层均为卷积核大小为4×4、步长为2的下采样卷积层，且每个卷积层后紧跟着“批归一化层”和Leaky-Relu激活层，最后一层卷积层后紧跟Sigmoid激活层。这种结构的判别器最初由Pix2pix提出，是在全连接判别器D的基础上做的修改。全连接判别器是CNN架构，由卷积层和全连接层组成，且全连接层放在最后几层，它的输出一个标量，用来判别整张输入图像的真假。而PatchGAN判别器去掉了全连接判别器中的最后几层全连接层，全由卷积网络组成，它输出一张二维矩阵，矩阵内的每一个元素都映射到输入图像中的一个子区域，用于判别输入图像内子区域的真假。和全连接判别器相比，PatchGAN更能促使生成器G捕获更多的高频信息生成更加真实的图像，且输入图像的尺寸不再受到限制。
2、关于步骤S2：
使用基于数据驱动的深度学习方案去实现水下图像增强最主要的障碍是缺少真实水下配对数据集。尽管可以使用CycleGAN等一些弱监督转域模型或是一些物理降质模型去合成一些水下图像，人为制作水下配对数据集。但这些合成数据往往多样性有限，并且和真实场景下的数据分布存在一定的差异，这些问题会严重降低模型的实用性，模型在合成训练数据上有很好的性能，但预测真实水下场景的效果不尽人意。如何在缺乏真实训练数据的情况下，提升水下增强模型的泛化能力，是当前一个亟待解决的问题。为了解决这个问题，提升模型泛化能力，让其可以在真实水下场景中得到应用，本实施例在生成对抗网络的训练过程中引入了递归思想，提出了一种简单而又有效的方法，即在模型训练过程中引入“螺旋式”对抗训练策略。
如图1所示，步骤S2(“螺旋式”对抗训练策略)具体包括步骤：
S21.向基础图像增强模型中输入批量浑浊图片，得到第一级增强图片；
S22.对第一级增强图片进行梯度计算，得到第一级梯度；
S23.向基础图像增强模型中输入第一级增强图片，得到第二级增强图片；
S24.通过目标损失函数对第二级增强图片进行梯度计算，得到第二级梯度；
S25.按照步骤S23-S24相同过程得到第n级增强图片和第n级梯度，n≥2；
S26.根据第一级梯度至第n级梯度的梯度均值更新基础图像增强模型，得到对应的优化图像增强模型。
其中，在步骤S2中，一一对应的一组浑浊图片与预设清晰参考图片，组成配对图像对，多对配对图像对组成配对数据集；配对数据集中至少包括上千对配对图像对。本实施例的配对数据集由CycleGAN人为合成，包括6182对浑浊-清晰配对图像，尺寸为256×256大小。在训练的过程中，全部的图像都会经过随机裁剪、镜像翻转等数据增强操作。
在原始训练过程中，拿一个批量的数据(混浊x与清晰y数据对)优化过程举例，如图5所示，而在“螺旋式”对抗训练的过程中，这一批量的数据x作为基础图像增强模型θ的输入，得到输出(第一级增强图片),计算梯度/> (第一级梯度),然后继续将/>作为模型θ的输入得到输出/>(第二级增强图片)，随后由目标损失函数/>反向得到更新梯度(第二级梯度),以此类推，得到本次递归操作的最后一次输出/>(第n级增强图片，n≥2)，及由损失函数/>得到的梯度/>(第二级梯度)，最后由的均值/>去更新基础图像增强模型θ，得到优化图像增强模型θ优。
之所以将原始的一步梯度更新修改为多次梯度均值更新，是考虑到水下配对训练数据的特殊性。其浑浊水体的水下图像是人工合成的数据，这和真实的水下场景存在一定的差异性，模型学习的从人造浑浊图像x到真实清晰图像y的映射关系本身就和真实浑浊图像x到真实清晰图像y的映射关系{F：x->y}有一定的差异性，从而模型/>生成的清晰图像/>和真实场景下的图像也存在一定的偏差，也是这就是大部分基于数据驱动的水下增强算法仅在与训练数据同分布的数据上有良好效果在的原因。通过这种多次梯度均值更新的方法，隐式的增加训练数据的多样性，有利于解决模型拟合问题，让模型从更多的数据中提炼出图像增强的本源核心映射关系，在训练数据有限的情况下，有助于增加模型的稳定性、实用性。
进一步地，在上述训练过程中，目标损失函数为对抗损失函数、L2损失函数和角度损失函数线性组合而成，其表达式为：
其中，L代表目标损失函数，Lspiral_cGAN(G,D)代表对抗损失函数，Lspiral_12(G)代表所述L2损失函数，Lspiral_angular(G)所述角度损失函数，G、D分别代表所述基础图像增强模型中的生成器与判别器；λ1、λ2分别代表所述L2损失函数、所述角度损失函数的线性常数。
具体的，对抗损失函数的表达式为：
其中，X代表浑浊图片(假图)，Y代表增强图片(真图)，EX,Y代表X条件下的判别器D对于Y的判定损失；EX代表X条件下，判别器D对于X输入条件下螺旋迭代n次后生成器的输出假图的判定损失；D(X,Y)代表判别器D在X条件下对Y的真假判断结果,代表X输入条件下螺旋迭代n次后生成器G的输出，/>代表判别器D在X条件下对螺旋迭代n次后生成器G的输出图像的真假判断结果。
该表达式由条件对抗网络的标准对抗损失函数变换而来，标准对抗损失函数为：
它表达的是，生成器G通过最小化损失来学习x->y的映射，相反的判别器D总是要最大化这个损失，x(y)代表源域(目标域)图像。
为了促使生成器G捕获更多的低频信息，使生成的图像更具真实性，本实施例在对抗损失函数中增加L2损失函数。具体的，L2损失函数的表达式为：
其中，X代表浑浊图片，Y代表增强图片，EX,Y代表X条件下的判别器D对于Y的判定损失，G(X)代表X输入条件下生成器G得到的假图，代表X输入条件下螺旋迭代n次后生成器G的输出假图。
L2损失可以测量真实图像和生成图像之间的像素值差异，那些远离真实值的像素比较敏感，在模型优化的过程中会促使生成器G关注这些与真实值偏差较大的像素，换而言之，L2在一定程度上可以抑制过/欠曝光问题，因为这些过/欠曝光区域往往和真实像素之间的差别较大。
但是最小化预测值和真实值之间的L2损失，会使生成器G生成所有可能输出的平均值，体现在图像上就是图像的色彩鲜艳程度降低，图像整体倾向于灰色。为了缓解这一问题，本实施例引入了角度损失函数。具体的，角度损失函数的表达式为：
其中，Y代表增强图片，EX,Y代表X条件下的判别器D对于Y的判定损失，G(X)代表X输入条件下生成器G得到的假图，N代表螺旋迭代最大次数，代表X输入条件下螺旋迭代n次后生成器G的输出假图。
本发明实施例提供的一种基于条件生成对抗网络的水下图像增强方法，构建了基础图像增强模型，进一步提出了分步式对抗训练策略(步骤S2，包括步骤S21-S26)，同时在训练策略中构建了目标损失函数(由对抗损失函数、L2损失函数和角度损失函数线性组合而成)组成的像素级损失，具有很好的鲁棒性和有效性，即使在缺乏真实水下成对训练数据，使用人工合成的配对数据，依然可以有效地实现对真实水下图像的增强，并且在多个真实水下数据集上取得不错的增强结果，促使网络生成图像色彩更加逼近真实场景。
(2)实验验证
1、测试数据
为了证明上述方法的实用性和效果，本实施例特别选择了二个真实场景下的水下数据集作为测试数据，详细信息如下所示：
URPC数据集。这个数据集是由大连理工大学和獐子岛联合实验室在獐子岛附近的水域收集的真实水下数据。原始数据中包含4757张水下图像，大部分图像存在偏蓝绿色的色偏问题。同样为了适用于全部的对比算法，本实施例在原始图像的尺寸的基础上微调尺寸。最后本实施例将全部的URPC数据作为测试数据，图像尺寸为1280×768及768×512两类。
EUVP数据集。此数据集是由FUnIE-GAN收集的，包含从不同海域拍摄的不同能见度的各种水下图想。该数据集中的大部分图片都带有强噪声，并且存在偏蓝色的色偏问题。本实施例从该数据集中选择了一个子数据集(包含4129张)作为测试数据，全部图像缩放至768×512尺寸。
2、评价指标
由于真实场景下的水下图像很难或是无法获取参考图像，本实施例在这里选择了无参的评价指标UIQM,这是专门针对水下图像设计的评价指标，它由“水下图像色彩测量(UICM)”、“水下图像清晰度测量(UISM)”和“水下图像对比度测量(UIConM)”三个分量按照一定的线性关系组成，公式如下：
UIQM＝C1*UISM+C2*UISM+C3*UIConM (5)
在试验测试过程中，本实施例跟随了原始工作，令C1＝0.0282，C2＝0.2953，C3＝3.5753。评价指标UIQM结果越高代表水下图像的质量越好。
3、模型训练
如上方法说明，本实施例模型的训练数据来自配对的数据集，它是由CycleGAN人为合成的配对数据集，包括6182对浑浊-清晰配对图像，尺寸为256×256大小。在训练的过程中，全部的数据都会经过随机裁剪、镜像翻转等数据增强操作，模型采用Adam优化，学习率设为1e-4，训练数据的小批量(BatchSize)设置为32，损失函数中λ1＝100，λ2＝0.1。模型在一张型号为GeForce GTX 1080Ti显卡上训练迭代100次，每次螺旋对抗训练的递归次数设置为10。
4、对比试验
为了证实本实施例提出的水下图像增强算法的有效性和鲁棒性，本实施例分别在上面提及的2个真实水下数据集(URPC、URPC)上进行了定性、定量的对比试验。同时为了更加公平地证实上述方法的优越性，本实施例选取了传统水下图像复原/增强算法以及基于深度学习的图像转译算法作为对比方法。其中本实施例选取了5种具有代表性的传统水下图像复原/增强算法，限制对比度自适应直方图均衡化(CLAHE)，色彩模型集成(ICM)，无监督色彩校正方法(UCM)，红通道先验(ARCR)，基于图像融合的增强算法(Fusion)。本实施例同时选择了5种基于生成对抗网络的方法，包括Pix2pix、CycleGAN、强监督水下图像增强模型FUnIE-GAN(FGAN)和弱监督模型FUnIE-GAN-UP(FGANUP)、带有梯度惩罚的UnderwaterGAN(UGANP)。全部基于数据驱动的算法都采用原始参数设置不变，使用UGANP提供的训练数据统一训练。除了FGAN和FGANUP方法，使用的是作者提供的练好的模型，这是因为本实施例训练的FGAN(FGANUP)模型效果没有原始作者提供的效果好。下面详细介绍这些方法在三种测试数据集上的实验结果。
5、结果展示
1)URPC实验结果展示
URPC数据集中的水下图像存在不同程度的色偏(偏绿)、低对比度、雾状模糊等降质问题。在实验中，定量评价指标采用的是UIQM评价指标，一种专门针对水下图像设计的质量评价标准，表1展示的是各个算法在URPC数据集上的UIQM指标实验结果，数值最高的被做了字体加粗处理。
如下表1所示，本实施例的水下图像增强方法(OURS)在UIQM评价指标上取得了最好的性能，这意味着使用本实施例的模型增强后的水下图像色彩更鲜艳，清晰度和对比度更好，外观最吸引人。
表1
定性的实验结果如图6所示，其中：(a)原始水下图像；(b)ICM算法；(c)UCM算法；(d)ARCR算法；(e)CLAHE算法；(f)Fusion算法；(g)CycleGAN算法；(h)Pix2pix算法；(i)FGAN算法；(j)FGANUP算法；(k)UGANP算法；(l)当前算法。其中(a)列代表真实水下图片，(b)至(f)代表基于传统算法复原/增强后的实验结果，(g)至(k)列代表基于数据驱动的方法增强后的水下图像，(l)列展示的是本实施例所提出算法的实验结果。
从图6可以看出：本实施例的图像增强可以实现更具视觉吸引力的增强结果。
针对传统算法，ICM和ARCR对雾状模糊问题有一些积极作用，但效果也有限，尤其是对降质严重的水下图像的增强效果更是一般；UCM和CLAHE算法可以去掉一部分因散射造成的模糊问题，在一定程度上提升图像对比度；基于图像融合的Fusion算法可以有效地消除水下图像中存在的雾状模糊，同时提升图像的亮度，但这种方法往往会造成过度增强问题，部分图像同时会引入颜色失真问题。虽然ICM、ARCR、UCM、CLAHE、Fusion这5种方法对散射效应均有一定的抑制作用，但在解决水下图像偏绿色偏问题上效果有限，Fusion方法甚至继续引入了偏蓝、偏红等色偏问题。
针对基于数据驱动的深度学习方法：
强监督模型Pix2pix和FGAN对图像中偏绿色偏问题有一定的效果，但是两者对解决水下图像存在的因散射造成的雾化问题毫无助力，甚至加重了散射效应，而且Pix2pix模型生成的图像缺乏细节信息，同时还存在引入额外噪声等问题；
如图6(g)所示，弱监督模型CycleGAN很好地学到了浑水域与清晰水域之间的映射关系，在一定程度上去除了散射影响，提升了图像的对比度，但生成图像的色彩、细节等依旧达不到增强要求，同时该模型不适用于大尺寸图像，生成图像往往存在着大量不正确的纹理；
而另一种无监督水下图像增强方法FGANUP对URPC数据集中的水下图像恢复几乎没有贡献；如图6(k)和(l)所示，UGANP和本实施例的方法都可以有效地解决背景偏绿问题，有效地去除散射影响，提升水下图想的对比度，同时与基准模型UGANP相比，本实施例的方法增强后的图像，有更好的视觉效果，色彩更加丰富，细节更加突出，尤其是对远处物体细节增强上有更好的效果。比如，图像中海草和扇贝的细节纹理在视觉上更加清晰，海星、海参的颜色更加鲜艳。综上，通过在URPC数据集上定性、定量比较，在一定程度上证明了本实施例所提方法的有效性。
2)EUVP实验结果展示
EUVP数据集整体带有不同程度的蓝色色偏问题，同时受到散射的影响存在严重的雾化模糊问题和高噪声等问题，如图7(a)列所示。表2总结了各个方法在EUVP数据集上的UIQM均值结果，同时图7展示了部分典型的对比实验结果。图7中：(a)原始水下图像；(b)ICM算法；(c)UCM算法；(d)ARCR算法；(e)CLAHE算法；(f)Fusion算法；(g)CycleGAN算法；(h)Pix2pix算法；(i)FGAN算法；(j)FGANUP算法；(k)UGANP算法；(l)当前算法。其中(a)列代表真实水下图片，(b)至(f)代表基于传统算法复原/增强后的实验结果，(g)至(k)列代表基于数据驱动的方法增强后的水下图像，(l)列展示的是本实施例所提出算法的实验结果。
表2展示了各个算法在EUVP数据集上的UIQM实验结果，从表格中可以看出，在全部对比方法之中，本实施例的结果(OURS)虽然仅次于Fusion算法，排名第二，但依然优胜于基于数据驱动的增强方法。
表2
从图7(b)和(d)列可以看出，ICM和ARCR方法对图像质量的增益有限，它们可以轻微地去除散射影响，提升图像中物体的可见性，但在色彩、细节和对比度方面都不如本实施例的增强结果好，如图像中岩石和鱼类的缺乏细节和对比度，部分图像甚至引入了颜色偏移问题，如最后两列水质从增强前的浅蓝色变成了增强后的深蓝色和粉红色。
基于直方图拉伸的CLAHE方法在EUVP测试数据上的增强效果有限，它仅仅略微提升了图像的亮度，对解决图像中存在的雾状模糊问题及水质色偏问题无促进作用。
如图7(c)和(f)列所示，UCM和Fusion算法可以高效地去除EUVP数据集中的雾化模糊，提升图像的对比度，但UCM方法更容易引入颜色失真问题，如第一列图像中岩石和水面的出现了严重的红色失真，Fusion算法的部分实验结果则会出现过度曝光、过度锐化等过度增强问题。
针对基于深度学习的方法，如图7(h)和(i)列所示，Pix2pix和FGAN方法可以去掉图像中存在偏蓝色色偏问题，但这两种方法没有提升图像的对比度，且生成图像的质量较差，容易人为引入噪声。
FGANUP方法在EUVP数据集上基本无增强效果，CycleGAN对解决水下图像存在的模糊、低对比度、色偏问题有一定的促进作用，但依然存在一定局限性，存在处理大尺寸图像不稳定的现象。
图7(k)和(l)列展示的是UGANP和当前工作的实验增强结果，可以看出这两种方法都提高了水下图像的能见度，很好地解决了因散射影响造成的模糊问题，提高了图像的对比度，使增强后的图像看起来更像是在清晰水下拍摄的图片。虽然UGANP和本实施例的方法一样都可以实现对不同降质程度的水下图像增强，但是与本实施例的结果相比，UGANP生成的图像依然缺乏细节信息，部分图像中依然存在着雾状残留。
6、总结
结合以上全部实验结果，可以证明：本实施例所提方法具有很好的鲁棒性和有效性，即使在缺乏真实水下成对训练数据，使用人工合成的配对数据，依然可以有效地实现对真实水下图像的增强，并且在多个真实水下数据集上取得不错的增强结果。从实验结果可以看出，当前方法高效地解决水下图像中存在雾化模糊问题，提高图像的对比度，并且能很好地去除水下图像偏蓝、偏绿的色偏问题，同时可以增强图像中目标物的细节信息，提升图像的能见度，使更远处的目标可以被看得更清晰。
7、消融实验
为了进一步证明所提出方法的有效性，本实施例进行了模型的消融实验，图8展示了部分消融实验结果，其中：(a)原始水下图像；(b)1次螺旋训练+L2损失+角度损失；(c)2次螺旋训练+L2损失+角度损失；(d)4次螺旋训练+L2损失+角度损失；(e)6次螺旋训练+L2损失+角度损失；(f)4次螺旋训练+L2损失+角度损失；(g)8次螺旋训练+L1损失+角度损失；(h)8次螺旋训练+L2损失；(i)8次螺旋训练+L2损失+角度损失+UGANP；(j)UGANP。
本实验首先实验证实了“螺旋对抗训练”策略的有效性，图8(b)至(f)列展示了不同螺旋次数的实验结果，随着螺旋递归次数的增加，图像的生成质量越来越好。使用L2损失训练的模型【如图8(g)列】相比于L1损失训练的模型【如图8(h)】细节要更多、颜色更鲜亮。同样的，如果在模型训练中去掉角度损失，如图8(g)和(i)所示，图像颜色的鲜艳程度会降低(如图中眼镜和气泡)。当使用UGANP的网络去替换本实施例的生成器G时，增强后结果会丢失一些细节信息【如图8(i)】。图8(j)列结果由UGANP方法得出。值得注意的是，在使用本实施例提出的“螺旋对抗训练”策略和组合损失函数的帮助下，即使是使用UGANP工作提出的网络结构，实验结果依旧优胜于原始UGANP。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (6)

1.一种基于条件生成对抗网络的水下图像增强方法，其特征在于，包括步骤：
S1.构建基础图像增强模型，所述基础图像增强模型的网络结构采用UGAN网络结构，但其生成器减少了所述UGAN网络结构中生成器的下采样卷积层数，并在每一层反卷积后增加了步长为1的卷积操作；
S2.采用目标损失函数对所述基础图像增强模型进行“螺旋式”对抗训练，得到优化图像增强模型；
在所述步骤S2中，所述目标损失函数为对抗损失函数、L2损失函数和角度损失函数线性组合而成，其表达式为：
其中，L代表所述目标损失函数，Lspiral_cGAN(G,D)代表所述对抗损失函数，Lspiral_12(G)代表所述L2损失函数，Lspiral_angular(G)代表所述角度损失函数，G、D分别代表所述基础图像增强模型中的生成器与判别器；λ1、λ2分别代表所述L2损失函数、所述角度损失函数的线性常数；
所述对抗损失函数的表达式为：
其中，X代表浑浊图片，Y代表增强图片，EX,Y代表X条件下的判别器D对于Y的判定损失；EX代表X条件下，判别器D对于X输入条件下螺旋迭代n次后生成器的输出假图的判定损失；D(X,Y)代表判别器D在X条件下对Y的真假判断结果,代表X输入条件下螺旋迭代n次后生成器G的输出，/>代表判别器D在X条件下对螺旋迭代n次后生成器G的输出图像的真假判断结果；
所述基础图像增强模型的网络结构包括一个所述生成器和一组所述判别器；所述生成器包括编码器和解码器，所述编码器由多个下采样卷积层组成，所述解码器由多个与所述下采样卷积层镜像对应的上采样反卷积层组成，同时在所述下采样卷积层和所述上采样反卷积层之间存在特征图的跨越跳接操作；所述判别器为马尔可夫判别器。
2.如权利要求1所述的一种基于条件生成对抗网络的水下图像增强方法，所述步骤S2具体包括步骤：
S21.向所述基础图像增强模型中输入批量浑浊图片，得到第一级增强图片；
S22.对所述第一级增强图片进行梯度计算，得到第一级梯度；
S23.向所述基础图像增强模型中输入所述第一级增强图片，得到第二级增强图片；
S24.通过所述目标损失函数对所述第二级增强图片进行梯度计算，得到第二级梯度；
S25.按照所述步骤S23-S24相同过程得到与对应预设清晰参考图片一致的第n级增强图片和第n级梯度，n≥2；
S26.根据所述第一级梯度至所述第n级梯度的均值更新所述基础图像增强模型，得到对应的优化图像增强模型。
3.如权利要求2所述的一种基于条件生成对抗网络的水下图像增强方法，其特征在于：在所述步骤S2中，一一对应的一组所述浑浊图片与所述预设清晰参考图片，组成配对图像对，多对所述配对图像对组成配对数据集；所述配对数据集中至少包括上千对配对图像对。
4.如权利要求1所述的一种基于条件生成对抗网络的水下图像增强方法，其特征在于，所述L2损失函数的表达式为：
其中，X代表浑浊图片，Y代表增强图片，EX,Y代表X条件下的判别器D对于Y的判定损失，G(X)代表X输入条件下生成器G得到的假图，代表X输入条件下螺旋迭代n次后生成器G的输出假图。
5.如权利要求1所述的一种基于条件生成对抗网络的水下图像增强方法，其特征在于，所述角度损失函数的表达式为：
其中，Y代表增强图片，EX,Y代表X条件下的判别器D对于Y的判定损失，G(X)代表X输入条件下生成器G得到的假图，N代表螺旋迭代最大次数，代表X输入条件下螺旋迭代n次后生成器G的输出假图。
6.如权利要求1所述的一种基于条件生成对抗网络的水下图像增强方法，其特征在于：所述下采样卷积层的卷积核为4×4、步长为2；所述上采样卷积层的卷积核为4×4、步长为1/2；所述步骤S1中增加的步长为1的卷积操作，其卷积核为3×3。
CN202010660451.3A 2020-07-10 2020-07-10 一种基于条件生成对抗网络的水下图像增强方法 Active CN111833268B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010660451.3A CN111833268B (zh) 2020-07-10 2020-07-10 一种基于条件生成对抗网络的水下图像增强方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010660451.3A CN111833268B (zh) 2020-07-10 2020-07-10 一种基于条件生成对抗网络的水下图像增强方法

Publications (2)

Publication Number Publication Date
CN111833268A CN111833268A (zh) 2020-10-27
CN111833268B true CN111833268B (zh) 2023-09-26

Family

ID=72900157

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010660451.3A Active CN111833268B (zh) 2020-07-10 2020-07-10 一种基于条件生成对抗网络的水下图像增强方法

Country Status (1)

Country Link
CN (1) CN111833268B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112837232B (zh) * 2021-01-13 2022-10-04 山东省科学院海洋仪器仪表研究所 一种水下图像增强及细节恢复的方法
CN112926534B (zh) * 2021-04-02 2023-04-28 北京理工大学重庆创新中心 一种基于变换域信息融合的sar图形船只目标检测方法
CN113284061B (zh) * 2021-05-17 2024-04-05 大连海事大学 一种基于梯度网络的水下图像增强方法
CN113469959B (zh) * 2021-06-16 2024-07-23 北京理工大学 基于质量缺陷成像模型的对抗训练优化方法及装置
CN113744166B (zh) * 2021-08-18 2023-08-08 中国科学院计算技术研究所 一种用于浑浊水下鱼类图像增强的方法
CN113971774B (zh) * 2021-10-11 2024-07-02 天津大学 一种输水结构表面淡水壳菜空间分布特征识别方法
CN114596584A (zh) * 2022-03-08 2022-06-07 福建工程学院 海洋生物智能检测识别方法
CN115439361B (zh) * 2022-09-02 2024-02-20 江苏海洋大学 基于自对抗生成对抗网络的水下图像增强方法
CN116309232B (zh) * 2023-05-15 2023-08-18 中国海洋大学 一种结合物理先验与深度学习的水下图像增强方法
CN117495687B (zh) * 2023-12-29 2024-04-02 清华大学深圳国际研究生院 一种水下图像增强方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101826583A (zh) * 2010-04-16 2010-09-08 武汉希瑞技术有限公司 一种氮化镓基led外延用蓝宝石图形化衬底制备方法
CN103035825A (zh) * 2011-10-06 2013-04-10 三星电子株式会社 发光二极管封装件及其制造方法
CN104979386A (zh) * 2014-04-09 2015-10-14 英飞凌科技股份有限公司 具有包括收缩部的半导体台面的半导体器件
CN111062880A (zh) * 2019-11-15 2020-04-24 南京工程学院 一种基于条件生成对抗网络的水下图像实时增强方法
CN111161178A (zh) * 2019-12-25 2020-05-15 湖南大学 基于生成式对抗网络的单幅低光图像增强方法
CN111275647A (zh) * 2020-01-21 2020-06-12 南京信息工程大学 一种基于循环生成对抗网络的水下图像复原方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101826583A (zh) * 2010-04-16 2010-09-08 武汉希瑞技术有限公司 一种氮化镓基led外延用蓝宝石图形化衬底制备方法
CN103035825A (zh) * 2011-10-06 2013-04-10 三星电子株式会社 发光二极管封装件及其制造方法
CN104979386A (zh) * 2014-04-09 2015-10-14 英飞凌科技股份有限公司 具有包括收缩部的半导体台面的半导体器件
CN111062880A (zh) * 2019-11-15 2020-04-24 南京工程学院 一种基于条件生成对抗网络的水下图像实时增强方法
CN111161178A (zh) * 2019-12-25 2020-05-15 湖南大学 基于生成式对抗网络的单幅低光图像增强方法
CN111275647A (zh) * 2020-01-21 2020-06-12 南京信息工程大学 一种基于循环生成对抗网络的水下图像复原方法

Also Published As

Publication number Publication date
CN111833268A (zh) 2020-10-27

Similar Documents

Publication Publication Date Title
CN111833268B (zh) 一种基于条件生成对抗网络的水下图像增强方法
Liu et al. Real-world underwater enhancement: Challenges, benchmarks, and solutions under natural light
CN112288658B (zh) 一种基于多残差联合学习的水下图像增强方法
Zhang et al. Retinex-inspired color correction and detail preserved fusion for underwater image enhancement
CN109360155B (zh) 基于多尺度特征融合的单帧图像去雨方法
CN111028163A (zh) 一种基于卷积神经网络的联合图像去噪与弱光增强方法
CN110288550B (zh) 基于先验知识引导条件生成对抗网络的单张图像去雾方法
Zheng et al. Underwater image enhancement algorithm based on CLAHE and USM
CN110533614B (zh) 一种结合频域和空域的水下图像增强方法
Han et al. Underwater image enhancement based on a spiral generative adversarial framework
CN116012260B (zh) 一种基于深度Retinex的低光图像增强方法
CN111738948A (zh) 一种基于双U-net的水下图像增强方法
CN114820388B (zh) 一种基于编解码器结构的图像去雾方法
CN116188325A (zh) 一种基于深度学习和图像颜色空间特性的图像去噪方法
CN114596233A (zh) 基于注意引导和多尺度特征融合的低照度图像增强方法
Lai et al. Single underwater image enhancement based on differential attenuation compensation
Han et al. UIEGAN: Adversarial learning-based photorealistic image enhancement for intelligent underwater environment perception
Li et al. Adaptive weighted multiscale retinex for underwater image enhancement
CN113436107A (zh) 图像增强方法、智能设备、计算机存储介质
CN114445288A (zh) 一种基于深度学习的轻量级水下图像增强方法
CN113379641A (zh) 一种基于自编码卷积神经网络的单幅图像去雨方法及***
CN113837963A (zh) 基于深度网络在lab颜色空间下的水下图像增强方法
Zhang et al. Uni-Removal: A Semi-Supervised Framework for Simultaneously Addressing Multiple Degradations in Real-World Images
Yin et al. General model-agnostic transfer learning for natural degradation image enhancement
CN113469959B (zh) 基于质量缺陷成像模型的对抗训练优化方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant