CN111415304A - 基于级联深度网络的水下视觉增强方法和装置 - Google Patents

基于级联深度网络的水下视觉增强方法和装置 Download PDF

Info

Publication number
CN111415304A
CN111415304A CN202010121157.5A CN202010121157A CN111415304A CN 111415304 A CN111415304 A CN 111415304A CN 202010121157 A CN202010121157 A CN 202010121157A CN 111415304 A CN111415304 A CN 111415304A
Authority
CN
China
Prior art keywords
image
underwater
enhanced
sample
degraded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010121157.5A
Other languages
English (en)
Inventor
安冬
于晓宁
王雅倩
位耀光
李道亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Agricultural University
Original Assignee
China Agricultural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Agricultural University filed Critical China Agricultural University
Priority to CN202010121157.5A priority Critical patent/CN111415304A/zh
Publication of CN111415304A publication Critical patent/CN111415304A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例提供一种基于级联深度网络的水下视觉增强方法和装置，该方法包括：确定水下退化图像；将所述水下退化图像输入水下图像增强模型，输出对应于所述水下退化图像的增强图像；其中，所述水下图像增强模型是基于样本水下退化图像和对应于各样本水下退化图像的增强图像标签进行训练后得到的，所述水下图像增强模型采用两级卷积神经网络建立的网络训练，每级卷积神经网络由5个卷积层和3个密集连接层组成。本发明实施例提供的方法和装置，实现了水下图像增强建模的准确性的提高，也提高了水下图像增强的效果。

Description

基于级联深度网络的水下视觉增强方法和装置
技术领域
本发明涉及图像增强技术领域，尤其涉及一种基于级联深度网络的水下视觉增强方法和装置。
背景技术
近年来，水下图像增强在图像处理和计算机视觉等领域受到了广泛的关注。由于水下环境和光照条件的复杂性，水下图像增强成为一个具有挑战性的问题。通常情况下，水下图像受到波长依赖的吸收和散射作用导致图像出现退化现象，包括由于水中小颗粒悬浮物对光的散射作用产生的雾化现象，以及水体对不同波长光的吸收作用引起水下图像颜色的失真现象。
传统基于物理成像模型的水下图像增强方法是分别估计水下成像的透射率和全局背景光，两次估计是一个次优的选择，并没有直接最小化重建误差，使得恢复的图像存在局部色斑，出现色偏效应。而且，其存在对复杂水下环境适应性较差，水下成像模型不准确，模型参数估计算法复杂度高等问题。
因此，如何避免现有的水下图像增强方法的模型建立时参数估计复杂程度高，且建模准确性较低的问题，提高水下图像增强的效果，仍然是本领域技术人员亟待解决的问题。
发明内容
本发明实施例借助于水下光学成像物理模型与卷积神经网络，提供一种基于级联深度网络的水下视觉增强方法和装置，用以解决现有的水下图像增强方法的模型建立时参数估计复杂程度高，且建模准确性较低的问题。
第一方面，本发明实施例提供一种基于级联深度网络的水下视觉增强方法，包括：
确定水下退化图像；
将水下退化图像输入水下图像增强模型，输出对应于所述水下退化图像的增强图像；
其中，所述水下图像增强模型是基于样本水下退化图像和对应于各样本水下退化图像的增强图像标签进行训练后得到的，所述水下图像增强模型采用两级卷积神经网络建立的网络训练，每级卷积神经网络由5个卷积层和3个密集连接层组成。
优选地，该方法中，对应于各样本水下退化图像的增强图像标签的获取，具体包括：
将样本水下退化图像分别采用白平衡、直方图均衡化、融合法和UDCP(基于水下暗通道先验的图像复原)算法四种水下图像增强算法获取所述样本水下退化图像对应的四幅增强图像；
采用主观评价和客观评价相结合的方式对所述样本水下退化图像对应的四幅增强图像进行评价，选择四幅增强图像中的最佳图像作为所述样本水下退化图像的增强图像标签。
优选地，该方法中，所述采用主观评价和客观评价相结合的方式对所述样本水下退化图像对应的四幅增强图像进行评价，选择四幅增强图像中的最佳图像作为所述样本水下退化图像的增强图像标签，具体包括：
组织评价人员，以所述样本水下退化图像作为参考，为所述四幅增强图像进行主观打分，选出第一最佳增强图像；
对所述四幅增强图像利用信息熵指标、UCIQE指标和UIQM指标进行客观评价，选出第二最佳增强图像；
若所述第一最佳增强图像与所述第二最佳增强图像一致，则确定所述第一最佳增强图像为样本水下退化图像的增强图像标签；
若所述第一最佳增强图像与所述第二最佳增强图像不一致，则再次进行主观打分，选择第二次主观得分最高的图像作为样本水下退化图像的增强图像标签。
优选地，该方法中，所述水下图像增强模型采用两级卷积神经网络建立的网络训练，每级卷积神经网络由5个卷积层和3个密集连接层组成，具体包括：
所述水下图像增强模型的训练网络采用第一级卷积神经网络和第二级卷积神经网络级联建立；
第一级卷积神经网络的建立基于R、G、B分量的三颜色通道模型，每个颜色通道对应于一个卷积神经网络，所述卷积神经网络包括5个卷积层和3个密集连接层，其中，所述第一级卷积神经网络的输入为样本水下退化图像；
第二级卷积神经网络包括5个卷积层和3个密集连接层，其中，所述第二级卷积神经网络的输入是所述第一级卷积神经网络各颜色通道输出的单通道灰度图合成的半增强图像。
优选地，该方法中，基于样本水下退化图像和对应于各样本水下退化图像的增强图像标签对所述水下图像增强模型进行训练，具体包括：
预先设定训练的最大迭代次数、学习率和最小损失阈值；
当训练的迭代次数达到所述最大迭代次数或者前后两次训练得到的损失函数的差值小于所述最小损失阈值时，停止网络训练并确定最终的水下图像增强模型。
第二发明，本发明实施例提供一种基于级联深度网络的水下视觉增强装置，包括：
确定单元，用于确定水下退化图像；
增强单元，用于将所述水下退化图像输入水下图像增强模型，输出对应于所述水下退化图像的增强图像；
其中，所述水下图像增强模型是基于样本水下退化图像和对应于各样本水下退化图像的增强图像标签进行训练后得到的，所述水下图像增强模型采用两级卷积神经网络建立的网络训练，每级卷积神经网络由5个卷积层和3个密集连接层组成。
优选地，该装置中，对应于各样本水下退化图像的增强图像标签的获取，具体包括：
将样本水下退化图像分别采用白平衡、直方图均衡化、融合法和UDCP算法四种水下图像增强算法获取所述样本水下退化图像对应的四幅增强图像；
采用主观评价和客观评价相结合的方式对所述样本水下退化图像对应的四幅增强图像进行评价，选择四幅增强图像中的最佳图像作为所述样本水下退化图像的增强图像标签。
优选地，该装置中，所述采用主观评价和客观评价相结合的方式对所述样本水下退化图像对应的四幅增强图像进行评价，选择四幅增强图像中的最佳图像作为所述样本水下退化图像的增强图像标签，具体包括：
组织评价人员，以所述样本水下退化图像作为参考，为所述四幅增强图像进行主观打分，选出第一最佳增强图像；
对所述四幅增强图像利用信息熵指标、UCIQE指标和UIQM指标进行客观评价，选出第二最佳增强图像；
若所述第一最佳增强图像与所述第二最佳增强图像一致，则确定所述第一最佳增强图像为样本水下退化图像的增强图像标签；
若所述第一最佳增强图像与所述第二最佳增强图像不一致，则再次进行主观打分，选择第二次主观得分最高的图像作为样本水下退化图像的增强图像标签。
第三方面，本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所提供的基于级联深度网络的水下视觉增强方法的步骤。
第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所提供的基于级联深度网络的水下视觉增强方法的步骤。
本发明实施例提供的方法和装置，通过将水下退化图像输入水下图像增强模型，输出对应于所述水下退化图像的增强图像，而所述水下图像增强模型是基于样本水下退化图像和对应于各样本水下退化图像的增强图像标签进行训练后得到的，所述水下图像增强模型采用两级卷积神经网络建立的网络训练，每级卷积神经网络由5个卷积层和3个密集连接层组成。由于水下图像增强模型是基于大量的样本和标签进行训练得到的，因此，模型的图像增强功能的效果大大提高，同时，因为采用的训练网络是由两级卷积神经网络建立的，因此，训练出来的模型的准确性也大大提高。如此，本发明实施例提供的方法和装置，实现了水下图像增强建模的准确性的提高，也提高了水下图像增强的效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的基于级联深度网络的水下视觉增强方法的流程示意图；
图2为本发明实施例提供的水下图像增强模型的训练网络的训练过程示意图；
图3为本发明实施例提供的基于级联深度网络的水下视觉增强装置的结构示意图；
图4为本发明实施例提供的电子设备的实体结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
现有的水下退化图像的增强方法，普遍存在图像增强模型建立时参数估计复杂程度高，且建模准确性较低的问题。对此，本发明实施例提供了一种基于级联深度网络的水下视觉增强方法。图1为本发明实施例提供的基于级联深度网络的水下视觉增强方法的流程示意图，如图1所示，该方法包括：
步骤110，确定水下退化图像。
具体地，确定需要进行图像增强的水下退化图像。
步骤120，将所述水下退化图像输入水下图像增强模型，输出对应于所述水下退化图像的增强图像；其中，所述水下图像增强模型是基于样本水下退化图像和对应于各样本水下退化图像的增强图像标签进行训练后得到的，所述水下图像增强模型采用两级卷积神经网络建立的网络训练，每级卷积神经网络由5个卷积层和3个密集连接层组成。
具体地，将水下退化图像输入水下图像增强模型，输出对应于所述水下退化图像的增强图像，其中，所述水下图像增强模型是基于样本水下退化图像和对应于各样本水下退化图像的增强图像标签进行训练后得到的，此处基于深度学习的方法对大量的样本水下退化图像和对应于各样本水下退化图像的增强图像标签进行训练，确定水下图像增强模型。所述样本水下退化图像是由获取的不同场景下的水下退化图像组成，而对应于各样本水下退化图像的增强图像标签是对各样本水下退化图像进行图像增强方法处理后增强效果较好的图像。进行水下图像增强模型训练时，使用的训练网络是采用两级卷积神经网络建立的，其中，所述两级卷积神经网络中的每一级都是由5个卷积层和3个密集连接层组成。
本发明实施例提供的方法，通过将水下退化图像输入水下图像增强模型，输出对应于所述水下退化图像的增强图像，而所述水下图像增强模型是基于样本水下退化图像和对应于各样本水下退化图像的增强图像标签进行训练后得到的，所述水下图像增强模型采用两级卷积神经网络建立的网络训练，每级卷积神经网络由5个卷积层和3个密集连接层组成。由于水下图像增强模型是基于大量的样本和标签进行训练得到的，因此，模型的图像增强功能的效果大大提高，同时，因为采用的训练网络是由两级卷积神经网络建立的，因此，训练出来的模型的准确性也大大提高。如此，本发明实施例提供的方法，实现了水下图像增强建模的准确性的提高，也提高了水下图像增强的效果。
基于上述实施例，该方法中，对应于各样本水下退化图像的增强图像标签的获取，具体包括：
将样本水下退化图像分别采用白平衡、直方图均衡化、融合法和UDCP算法四种水下图像增强算法获取所述样本水下退化图像对应的四幅增强图像；
采用主观评价和客观评价相结合的方式对所述样本水下退化图像对应的四幅增强图像进行评价，选择四幅增强图像中的最佳图像作为所述样本水下退化图像的增强图像标签。
具体地，在进行所述水下图像增强模型的训练之前，要确定用于训练的样本和样本标签，而样本水下退化图像即大量采集的不同场景下的水下退化图像，而对于各样本水下退化图像的增强图像标签是对各样本水下退化图像进行图像增强方法处理后增强效果较好的图像。样本标签的获取方式具体如下：对于任意一幅样本水下退化图像，先基于四种典型水下图像增强算法白平衡算法、直方图均衡算法、融合算法和UDCP算法分别对所述样本水下退化图像进行图像增强处理，得到对应于所述样本水下退化图像的四幅增强图像，然后，再采用主观评价和客观评价相结合的方式对上述四幅增强图像进行评价，选出所述四幅增强图像中的最佳图像作为所述样本水下退化图像的增强图像标签。其中，所述主观评价和客观评价相结合的方式包括多种，可以是通过主观评价的打分分值与客观评价的打分分值设定不同权重相加确定每幅增强图像的最后得分，也可以是判定主观评价选出的最佳增强图像与客观评价选出的最佳增强图像是否一致，若一致，则两种评价方式得到的一致的结果作为样本标签，若不一致，再次进行评价，取主观评价的再次评价结果作为样本标签，等等，此处不作具体限定。
基于上述任一实施例，该方法中，所述采用主观评价和客观评价相结合的方式对所述样本水下退化图像对应的四幅增强图像进行评价，选择四幅增强图像中的最佳图像作为所述样本水下退化图像的增强图像标签，具体包括：
组织评价人员，以所述样本水下退化图像作为参考，为所述四幅增强图像进行主观打分，选出第一最佳增强图像；
对所述四幅增强图像利用信息熵指标、UCIQE指标和UIQM指标进行客观评价，选出第二最佳增强图像；
若所述第一最佳增强图像与所述第二最佳增强图像一致，则确定所述第一最佳增强图像为样本水下退化图像的增强图像标签；
若所述第一最佳增强图像与所述第二最佳增强图像不一致，则再次进行主观打分，选择第二次主观得分最高的图像作为样本水下退化图像的增强图像标签。
具体地，在进行主观评价指标进行增强图像的评价中，召集测评人员5名，其中3名从事过图像处理类工作，另外2名未从事过图像处理类工作，5名测评人员以样本水下退化图像作为参考，对经过四种典型水下图像增强算法处理后的四幅增强图像进行两两比对，对每幅增强图像进行A、B、C、D等级评定，进而得到每幅增强图像的评价结果分值goal，具体计算公式如下：
Figure BDA0002393002750000081
其中a、b、c、d代表5名测评人员中选择对应A、B、C、D等级的人数，A＝10分，B＝8分，C＝6分，D＝4分，N为测评人员总人数，取值为5。将四幅增强图像中评价结果分值goal最高的增强图像作为第一最佳增强图像。
进一步地，在主观评价的基础上，利用信息熵、UCIQE和UIQM三项客观指标对四幅增强图像进行客观量化评价。信息熵用于衡量图像中的信息多少，其中信息熵越大，说明图像所含信息越多，则认为图像增强质量越好，具体计算公式如下：
Figure BDA0002393002750000082
其中，P(l)为灰度值l在图像中出现的概率，L为图像的最大灰度等级，L＝255。
UCIQE是水下彩色图像非参考评价指标，是在CIELAB均匀颜色空间上对图像色度、饱和度和对比度的线性组合，用于综合评价图像的色彩、模糊和对比度。假设增强图像有N个像素点，像素点p在CIELAB空间中的值Ip＝[lp,ap,bp]，其中，lp、ap、bp为色彩空间中的坐标，lp表示像素点p的亮度，ap表示像素点p的色度，bp表示像素点p的饱和度。利用CIELAB颜色空间对水下图像质量进行评估的指标UCIQE，具体定义为：
UCIQE＝c1×σc+c2×conl+c3×μs其中，c1、c2、c3是加权系数，对于模糊、偏色的增强图像加权系数c1＝0.4680,c2＝0.2745,c3＝0.2576，对于不同类型的增强，采用不同的加权系数会获得更好的性能。
σc是色度的标准偏差，具体计算为：
Figure BDA0002393002750000091
其中，N为增强图像中含有的像素数，lp表示CIELAB空间中像素p的色度，μ表示CIELAB空间中色度的平均值；
conl是亮度的对比度，通过CIELAB空间中所有像素亮度的最大1％和最小1％的差值来计算得来的；
μs是饱和度的平均值，具体计算为：
Figure BDA0002393002750000092
其中，N为增强图像的像素数，bi为CIELAB空间中像素i的饱和度。
选择UIQM水下彩色图像非参考评价指标进行评价，UIQM是图像色彩、清晰度和对比度的线性组合。水下评价指标UIQM具体计算为：
UIQM＝c1×UICM+c2×UISM+c3×UIConM
其中，c1、c2、c3是加权系数，对于水下图像加权系数c1＝0.0282、c2＝0.2953、c3＝3.5753。UICM表示图像的色彩度度量，UISM为清晰度度量，UIConM为对比度度量。
信息熵用于衡量图像的信息量，UCIQE是对图像色度、饱和度和对比度的评价，而UIQM是基于人眼视觉***，符合人类的视觉感知，可以衡量图像的饱和度、对比度和清晰度。将基于三种评价指标得到的指标数值进行设定不同权值后的求和，将四幅增强图像中求和值最大的增强图像作为客观评价的选出的第二最佳增强图像。
对主观评价结果和客观评价结果进行比对，对于同一样本水下退化图像，若主观评价选出的对应于该样本水下退化图像的第一最佳增强图像与客观评价选出的对应于该样本水下退化图像的第二最佳增强图像一致，则确定这个一致的最佳增强图像为所述样本水下退化图像的增强图像标签；若主观评价选出的对应于该样本水下退化图像的第一最佳增强图像与客观评价选出的对应于该样本水下退化图像的第二最佳增强图像不一致，则再一次进行主观评价，即重新进行人工打分，选择第二次主观评价的结果选出的最佳增强图像作为所述样本水下退化图像的增强图像标签。
基于上述任一实施例，该方法中，所述水下图像增强模型采用两级卷积神经网络建立的网络训练，每级卷积神经网络由5个卷积层和3个密集连接层组成，具体包括：
所述水下图像增强模型的训练网络采用第一级卷积神经网络和第二级卷积神经网络级联建立；
第一级卷积神经网络的建立基于R、G、B分量的三颜色通道模型，每个颜色通道对应于一个卷积神经网络，所述卷积神经网络包括5个卷积层和3个密集连接层，其中，所述第一级卷积神经网络的输入为样本水下退化图像；
第二级卷积神经网络包括5个卷积层和3个密集连接层，其中，所述第二级卷积神经网络的输入是所述第一级卷积神经网络各颜色通道输出的单通道灰度图合成的半增强图像。。
具体地，图2为本发明实施例提供的水下图像增强模型的训练网络的训练过程示意图。如图2所示，所述水下图像增强模型的训练网络采用第一级卷积神经网络和第二级卷积神经网络级联建立；在用样本水下退化图像和对应于样本水下退化图像的增强图像标签进行训练时，提取样本水下退化图像R、G、B颜色通道图像，记为IR(x)，IG(x)，IB(x)，构建针对R、G、B分量的三颜色通道模型作为第一级卷积神经网络，每一个颜色通道对应一个卷积神经网络；再构建基于第一级卷积神经网络输出的微调网络作为第二级卷积神经网络，将第二级卷积神经网络和第一级卷积神经网络进行级联，得到所述水下图像增强模型。
其中，针对R、G、B分量的三颜色通道卷积网络模型结构都相同，各颜色通道模型中包含5个卷积层和3个密集连接层，卷积核大小分别为1x1、3x3、5x5、7x7、3x3；第1个密集连接层连接第1层卷积与第2层卷积输出的特征图，第2个密集连接层连接第2层卷积与第2个密集连接层经过卷积处理后输出的特征图，第3个密集连接层连接以上4次卷积输出的特征图。
其计算公式是：
Figure BDA0002393002750000111
Figure BDA0002393002750000112
Figure BDA0002393002750000113
Figure BDA0002393002750000114
Figure BDA0002393002750000115
其中，
Figure BDA0002393002750000116
分别是c颜色分量(c∈{R,G,B})网络中卷积层组的第1个、第2个、第3个、第4个和第5个卷积层的卷积权值，
Figure BDA0002393002750000117
分别是c颜色分量(c∈{R,G,B})网络中卷积层组的第1个、第2个、第3个、第4个和第5个卷积层的偏置。F1(Ic(x))，F2(Ic(x))，F3(Ic(x))，F4(Ic(x))，F5(Ic(x))分别是c颜色分量(c∈{R,G,B})网络中卷积层组的第1个、第2个、第3个、第4个和第5个卷积层的输出结果。
然后，第一级卷积神经网络将卷积神经网络学习得到的第5个卷积层的输出结果作为水下光学物理成像模型的中间变量Kc(x)，并利用此中间变量重建出颜色恢复的图像。
其中，水下光学物理成像模型公式如下：
Ic(x)＝tc(x)Jc(x)+(1-tc(x))·Ac
其中，Ic(x)为水下退化图像，Jc(x)是原始的无退化图像，Ac为全局背景光，tc(x)为介质透射率，c∈{R,G,B}表示红、绿、蓝颜色分量。
其中，
Figure BDA0002393002750000118
βc为衰减系数，z(x)为目标与相机之间的距离。
原始无退化图像可表示为：
Figure BDA0002393002750000119
对公式Ic(x)＝tc(x)Jc(x)+(1-tc(x))·Ac进行等价变换得到：
Jc(x)＝Kc(x)Ic(x)-Kc(x)+bc
其中，
Figure BDA00023930027500001110
进一步的，借助于模型估计得到的Kc(x)恢复退化的水下图像Jc(x)，将bc设置为1。
进一步的，将恢复得到的三个颜色分量JR(x)、JG(x)、JB(x)合成为水下恢复的图像Jc’(x)。
构建第二级卷积神经网络，即微调网络，该微调网络包含5个卷积层和3个密集连接层，卷积层中卷积核大小分别为1x1、3x3、5x5、7x7、3x3；第1个密集连接层连接第1层卷积与第2层卷积输出的特征图，第2个密集连接层连接第2层卷积与第2个密集连接层经过卷积处理后输出的特征图，第3个密集连接层连接以上4次卷积输出的特征图，计算公式如下：
F1(I(x))＝max(W1*I(x)+b1,0)
F2(I(x))＝max(W2*F1(I(x))+b2,0)
F3(I(x))＝max(W3*{F1(I(x)),F2(I(x))}+b3,0)
F4(I(x))＝max(W4*{F2(I(x)),F3(I(x))}+b4,0)
F5(I(x))＝max(W5*{F1(I(x)),F2(I(x)),F3(I(x)),F4(I(x))}+b5,0)
其中W1，W2，W3，W4，W5分别是所述微调网络中卷积层组的第1个、第2个、第3个、第4个和第5个卷积层的卷积权值，b1，b2，b3，b4，b5分别是网络中卷积层组的第1个、第2个、第3个、第4个和第5个卷积层的偏置。F1(I(x))，F2(I(x))，F3(I(x))，F4(I(x))，F5(I(x))分别是网络中卷积层组的第1个、第2个、第3个、第4个和第5个卷积层的输出结果。
进一步的，第二级卷积神经网络将卷积神经网络学习得到的第5个卷积层的输出结果作为水下光学物理成像模型的中间变量Kc(x)，并根据公式Jc(x)＝Kc(x)Ic(x)-Kc(x)+bc重建出颜色恢复的图像Jc(x)。
基于上述任一实施例，该方法中，基于样本水下退化图像和对应于各样本水下退化图像的增强图像标签对所述水下图像增强模型进行训练，具体包括：
预先设定训练的最大迭代次数、学习率和最小损失阈值；
当训练的迭代次数达到所述最大迭代次数或者前后两次训练得到的损失函数的差值小于所述最小损失阈值时，停止网络训练并确定最终的水下图像增强模型。
具体地，训练第一级卷积神经网络之前需要先设置该模型的基本参数。首先，设置训练集与验证集的比例为9:1，批处理大小为8，学习率为[0.01,0.0001]，迭代次数为67000次，权重衰减设置为0.0001，使用Adam优化算法更新模型的权重。考虑到水下图像细节损失比较严重，本发明实施例使用MSE作为损失函数，结合三通道网络结构，这对于保护图像细节，恢复图像色彩非常有利，其中，MSE表示均方误差。
其中，
Figure BDA0002393002750000131
xm表示真实增强图像标签，ym表示采用网络恢复的图像，M表示样本数目。
训练第二级网络模型之前需要先设置该模型的基本参数。首先，设置训练集与验证集的比例为9:1，块大小为8，学习率为[0.01,0.0001]，迭代次数为67000次，权重衰减设置为0.0001，使用Adam优化算法更新模型的权重。由于第二级网络是对第一级网络输出结果的微调过程，选择SSIM与颜色损失相加作为损失函数，SSIM表示结构相似性，用于保护图像的细节特征，颜色损失用来缩小增强图像与目标图像之间的色差。
其中，真实增强图像标签x与网络恢复的图像y之间的结构相似性SSIM(x,y)＝[l(x,y)α·c(x,y)β·s(x,y)γ]，其中l(x,y)，c(x,y)，s(x,y)分别表示真实增强图像标签x与网络恢复的图像y之间亮度、真实增强图像标签x与网络恢复的图像y之间对比度、真实增强图像标签x与网络恢复的图像y之间结构的对比。其中，
Figure BDA0002393002750000132
μx,μy分别表示x，y的平均值，σx,σy表示x和y的标准差，σxy表示x和y的协方差，c1，c2，c3分别为常数，避免分母为0带来的***错误。设置α＝β＝γ＝1，及c3＝c2/2，SSIM简化为
Figure BDA0002393002750000133
Figure BDA0002393002750000134
其中，Lcolor(X,Y)是颜色损失函数，Xb，Yb是目标图像X与增强图像Y对应的模糊图像，其中，目标图像X对应的模糊图像中的像素点(i,j)的亮度值
Figure BDA0002393002750000141
2维高斯模糊核为
Figure BDA0002393002750000142
其中，A＝0.053，μx＝μy＝0，σx＝σy＝3。
基于上述任一实施例，本发明实施例提供一种基于级联深度网络的水下视觉增强装置，图3为本发明实施例提供的基于级联深度网络的水下视觉增强装置的结构示意图。如图3所示，该装置包括确定单元310和增强单元320，其中，
所述确定单元310，用于确定水下退化图像；
所述增强单元320，用于将所述水下退化图像输入水下图像增强模型，输出对应于所述水下退化图像的增强图像；
其中，所述水下图像增强模型是基于样本水下退化图像和对应于各样本水下退化图像的增强图像标签进行训练后得到的，所述水下图像增强模型采用两级卷积神经网络建立的网络训练，每级卷积神经网络由5个卷积层和3个密集连接层组成。
本发明实施例提供的装置，通过将水下退化图像输入水下图像增强模型，输出对应于所述水下退化图像的增强图像，而所述水下图像增强模型是基于样本水下退化图像和对应于各样本水下退化图像的增强图像标签进行训练后得到的，所述水下图像增强模型采用两级卷积神经网络建立的网络训练，每级卷积神经网络由5个卷积层和3个密集连接层组成。由于水下图像增强模型是基于大量的样本和标签进行训练得到的，因此，模型的图像增强功能的效果大大提高，同时，因为采用的训练网络是由两级卷积神经网络建立的，因此，训练出来的模型的准确性也大大提高。如此，本发明实施例提供的装置，实现了水下图像增强建模的准确性的提高，也提高了水下图像增强的效果。
基于上述任一实施例，该装置中，对应于各样本水下退化图像的增强图像标签的获取，具体包括：
将样本水下退化图像分别采用白平衡、直方图均衡化、融合法和UDCP算法四种水下图像增强算法获取所述样本水下退化图像对应的四幅增强图像；
采用主观评价和客观评价相结合的方式对所述样本水下退化图像对应的四幅增强图像进行评价，选择四幅增强图像中的最佳图像作为所述样本水下退化图像的增强图像标签。
基于上述任一实施例，该装置中，所述采用主观评价和客观评价相结合的方式对所述样本水下退化图像对应的四幅增强图像进行评价，选择四幅增强图像中的最佳图像作为所述样本水下退化图像的增强图像标签，具体包括：
组织评价人员，以所述样本水下退化图像作为参考，为所述四幅增强图像进行主观打分，选出第一最佳增强图像；
对所述四幅增强图像利用信息熵指标、UCIQE指标和UIQM指标进行客观评价，选出第二最佳增强图像；
若所述第一最佳增强图像与所述第二最佳增强图像一致，则确定所述第一最佳增强图像为样本水下退化图像的增强图像标签；
若所述第一最佳增强图像与所述第二最佳增强图像不一致，则再次进行主观打分，选择第二次主观得分最高的图像作为样本水下退化图像的增强图像标签。
基于上述任一实施例，该装置中，所述水下图像增强模型采用两级卷积神经网络建立的网络训练，每级卷积神经网络由5个卷积层和3个密集连接层组成，具体包括：
所述水下图像增强模型的训练网络采用第一级卷积神经网络和第二级卷积神经网络级联建立；
第一级卷积神经网络的建立基于R、G、B分量的三颜色通道模型，每个颜色通道对应于一个卷积神经网络，所述卷积神经网络包括5个卷积层和3个密集连接层，其中，所述第一级卷积神经网络的输入为样本水下退化图像；
第二级卷积神经网络包括5个卷积层和3个密集连接层，其中，所述第二级卷积神经网络的输入是所述第一级卷积神经网络各颜色通道输出的单通道灰度图合成的半增强图像。
基于上述任一实施例，该装置中，基于样本水下退化图像和对应于各样本水下退化图像的增强图像标签对所述水下图像增强模型进行训练，具体包括：
预先设定训练的最大迭代次数、学习率和最小损失阈值；
当训练的迭代次数达到所述最大迭代次数或者前后两次训练得到的损失函数的差值小于所述最小损失阈值时，停止网络训练并确定最终的水下图像增强模型。
图4为本发明实施例提供的电子设备的实体结构示意图，如图4所示，该电子设备可以包括：处理器(processor)401、通信接口(Communications Interface)402、存储器(memory)403和通信总线404，其中，处理器401，通信接口402，存储器403通过通信总线404完成相互间的通信。处理器401可以调用存储在存储器403上并可在处理器401上运行的计算机程序，以执行上述各实施例提供的基于级联深度网络的水下视觉增强方法，例如包括：确定水下退化图像；将所述水下退化图像输入水下图像增强模型，输出对应于所述水下退化图像的增强图像；其中，所述水下图像增强模型是基于样本水下退化图像和对应于各样本水下退化图像的增强图像标签进行训练后得到的，所述水下图像增强模型采用两级卷积神经网络建立的网络训练，每级卷积神经网络由5个卷积层和3个密集连接层组成。
此外，上述的存储器403中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的基于级联深度网络的水下视觉增强方法，例如包括：确定水下退化图像；将所述水下退化图像输入水下图像增强模型，输出对应于所述水下退化图像的增强图像；其中，所述水下图像增强模型是基于样本水下退化图像和对应于各样本水下退化图像的增强图像标签进行训练后得到的，所述水下图像增强模型采用两级卷积神经网络建立的网络训练，每级卷积神经网络由5个卷积层和3个密集连接层组成。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于级联深度网络的水下视觉增强方法，其特征在于，包括：
确定水下退化图像；
将所述水下退化图像输入水下图像增强模型，输出对应于所述水下退化图像的增强图像；
其中，所述水下图像增强模型是基于样本水下退化图像和对应于各样本水下退化图像的增强图像标签进行训练后得到的，所述水下图像增强模型采用两级卷积神经网络建立的网络训练，每级卷积神经网络由5个卷积层和3个密集连接层组成。
2.根据权利要求1所述的基于级联深度网络的水下视觉增强方法，其特征在于，对应于各样本水下退化图像的增强图像标签的获取，具体包括：
将样本水下退化图像分别采用白平衡、直方图均衡化、融合法和UDCP算法四种水下图像增强算法获取所述样本水下退化图像对应的四幅增强图像；
采用主观评价和客观评价相结合的方式对所述样本水下退化图像对应的四幅增强图像进行评价，选择四幅增强图像中的最佳图像作为所述样本水下退化图像的增强图像标签。
3.根据权利要求2所述的基于级联深度网络的水下视觉增强方法，其特征在于，所述采用主观评价和客观评价相结合的方式对所述样本水下退化图像对应的四幅增强图像进行评价，选择四幅增强图像中的最佳图像作为所述样本水下退化图像的增强图像标签，具体包括：
组织评价人员，以所述样本水下退化图像作为参考，为所述四幅增强图像进行主观打分，选出第一最佳增强图像；
对所述四幅增强图像利用信息熵指标、UCIQE指标和UIQM指标进行客观评价，选出第二最佳增强图像；
若所述第一最佳增强图像与所述第二最佳增强图像一致，则确定所述第一最佳增强图像为样本水下退化图像的增强图像标签；
若所述第一最佳增强图像与所述第二最佳增强图像不一致，则再次进行主观打分，选择第二次主观得分最高的图像作为样本水下退化图像的增强图像标签。
4.根据权利要求1所述的基于级联深度网络的水下视觉增强方法，其特征在于，所述水下图像增强模型采用两级卷积神经网络建立的网络训练，每级卷积神经网络由5个卷积层和3个密集连接层组成，具体包括：
所述水下图像增强模型的训练网络采用第一级卷积神经网络和第二级卷积神经网络级联建立；
第一级卷积神经网络的建立基于R、G、B分量的三颜色通道模型，每个颜色通道对应于一个卷积神经网络，所述卷积神经网络包括5个卷积层和3个密集连接层，其中，所述第一级卷积神经网络的输入为样本水下退化图像；
第二级卷积神经网络包括5个卷积层和3个密集连接层，其中，所述第二级卷积神经网络的输入是所述第一级卷积神经网络各颜色通道输出的单通道灰度图合成的半增强图像。
5.根据权利要求1所述的基于级联深度网络的水下视觉增强方法，其特征在于，基于样本水下退化图像和对应于各样本水下退化图像的增强图像标签对所述水下图像增强模型进行训练，具体包括：
预先设定训练的最大迭代次数、学习率和最小损失阈值；
当训练的迭代次数达到所述最大迭代次数或者前后两次训练得到的损失函数的差值小于所述最小损失阈值时，停止网络训练并确定最终的水下图像增强模型。
6.一种基于级联深度网络的水下视觉增强装置，其特征在于，包括：
确定单元，用于确定水下退化图像；
增强单元，用于将所述水下退化图像输入水下图像增强模型，输出对应于所述水下退化图像的增强图像；
其中，所述水下图像增强模型是基于样本水下退化图像和对应于各样本水下退化图像的增强图像标签进行训练后得到的，所述水下图像增强模型采用两级卷积神经网络建立的网络训练，每级卷积神经网络由5个卷积层和3个密集连接层组成。
7.根据权利要求6所述的基于级联深度网络的水下视觉增强装置，其特征在于，对应于各样本水下退化图像的增强图像标签的获取，具体包括：
将样本水下退化图像分别采用白平衡、直方图均衡化、融合法和UDCP算法四种水下图像增强算法获取所述样本水下退化图像对应的四幅增强图像；
采用主观评价和客观评价相结合的方式对所述样本水下退化图像对应的四幅增强图像进行评价，选择四幅增强图像中的最佳图像作为所述样本水下退化图像的增强图像标签。
8.根据权利要求6所述的基于级联深度网络的水下视觉增强装置，其特征在于，所述采用主观评价和客观评价相结合的方式对所述样本水下退化图像对应的四幅增强图像进行评价，选择四幅增强图像中的最佳图像作为所述样本水下退化图像的增强图像标签，具体包括：
组织评价人员，以所述样本水下退化图像作为参考，为所述四幅增强图像进行主观打分，选出第一最佳增强图像；
对所述四幅增强图像利用信息熵指标、UCIQE指标和UIQM指标进行客观评价，选出第二最佳增强图像；
若所述第一最佳增强图像与所述第二最佳增强图像一致，则确定所述第一最佳增强图像为样本水下退化图像的增强图像标签；
若所述第一最佳增强图像与所述第二最佳增强图像不一致，则再次进行主观打分，选择第二次主观得分最高的图像作为样本水下退化图像的增强图像标签。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-5中任一项所述的基于级联深度网络的水下视觉增强方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-5中任一项所述的基于级联深度网络的水下视觉增强方法的步骤。
CN202010121157.5A 2020-02-26 2020-02-26 基于级联深度网络的水下视觉增强方法和装置 Pending CN111415304A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010121157.5A CN111415304A (zh) 2020-02-26 2020-02-26 基于级联深度网络的水下视觉增强方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010121157.5A CN111415304A (zh) 2020-02-26 2020-02-26 基于级联深度网络的水下视觉增强方法和装置

Publications (1)

Publication Number Publication Date
CN111415304A true CN111415304A (zh) 2020-07-14

Family

ID=71492820

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010121157.5A Pending CN111415304A (zh) 2020-02-26 2020-02-26 基于级联深度网络的水下视觉增强方法和装置

Country Status (1)

Country Link
CN (1) CN111415304A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112085681A (zh) * 2020-09-09 2020-12-15 苏州科达科技股份有限公司 基于深度学习的图像增强方法、***、设备及存储介质
CN112669225A (zh) * 2020-12-01 2021-04-16 宁波大学科学技术学院 基于结构分解的水下图像增强方法、***及存储介质
CN112801536A (zh) * 2021-02-20 2021-05-14 北京金山云网络技术有限公司 图像处理方法、装置和电子设备
CN114612347A (zh) * 2022-05-11 2022-06-10 北京科技大学 一种多模块级联的水下图像增强方法
CN117218033A (zh) * 2023-09-27 2023-12-12 仲恺农业工程学院 一种水下图像复原方法、装置、设备及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106846261A (zh) * 2016-12-21 2017-06-13 大连海事大学 基于卷积神经网络的水下图像处理方法
CN107610123A (zh) * 2017-10-11 2018-01-19 中共中央办公厅电子科技学院 一种基于深度卷积神经网络的图像美学质量评价方法
CN109147254A (zh) * 2018-07-18 2019-01-04 武汉大学 一种基于卷积神经网络的视频野外火灾烟雾实时检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106846261A (zh) * 2016-12-21 2017-06-13 大连海事大学 基于卷积神经网络的水下图像处理方法
CN107610123A (zh) * 2017-10-11 2018-01-19 中共中央办公厅电子科技学院 一种基于深度卷积神经网络的图像美学质量评价方法
CN109147254A (zh) * 2018-07-18 2019-01-04 武汉大学 一种基于卷积神经网络的视频野外火灾烟雾实时检测方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112085681A (zh) * 2020-09-09 2020-12-15 苏州科达科技股份有限公司 基于深度学习的图像增强方法、***、设备及存储介质
CN112085681B (zh) * 2020-09-09 2023-04-07 苏州科达科技股份有限公司 基于深度学习的图像增强方法、***、设备及存储介质
CN112669225A (zh) * 2020-12-01 2021-04-16 宁波大学科学技术学院 基于结构分解的水下图像增强方法、***及存储介质
CN112801536A (zh) * 2021-02-20 2021-05-14 北京金山云网络技术有限公司 图像处理方法、装置和电子设备
CN112801536B (zh) * 2021-02-20 2024-04-30 北京金山云网络技术有限公司 图像处理方法、装置和电子设备
CN114612347A (zh) * 2022-05-11 2022-06-10 北京科技大学 一种多模块级联的水下图像增强方法
CN117218033A (zh) * 2023-09-27 2023-12-12 仲恺农业工程学院 一种水下图像复原方法、装置、设备及介质
CN117218033B (zh) * 2023-09-27 2024-03-12 仲恺农业工程学院 一种水下图像复原方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
CN108520504B (zh) 一种基于生成对抗网络端到端的模糊图像盲复原方法
Fu et al. Uncertainty inspired underwater image enhancement
CN111415304A (zh) 基于级联深度网络的水下视觉增强方法和装置
Amirshahi et al. Image quality assessment by comparing CNN features between images
CN111079740A (zh) 图像的质量评价方法、电子设备和计算机可读存储介质
US8908989B2 (en) Recursive conditional means image denoising
CN109816666B (zh) 对称全卷积神经网络模型构建方法、眼底图像血管分割方法、装置、计算机设备及存储介质
CN112381897B (zh) 基于自编码网络结构的低照度图像增强方法
CN109859152B (zh) 模型生成方法、图像增强方法、装置及计算机可读存储介质
CN110335221B (zh) 一种基于无监督学习的多曝光图像融合方法
CN113284061B (zh) 一种基于梯度网络的水下图像增强方法
CN111080531A (zh) 一种水下鱼类图像的超分辨率重建方法、***及装置
Saleh et al. Adaptive uncertainty distribution in deep learning for unsupervised underwater image enhancement
CN110910347B (zh) 一种基于图像分割的色调映射图像无参考质量评价方法
CN110009574A (zh) 一种亮度、色彩自适应与细节丰富的低动态范围图像逆向生成高动态范围图像的方法
Wang et al. Multiscale supervision-guided context aggregation network for single image dehazing
CN115131229A (zh) 图像降噪、滤波数据处理方法、装置和计算机设备
CN111882555A (zh) 基于深度学习的网衣检测方法、装置、设备及存储介质
Saleem et al. A non-reference evaluation of underwater image enhancement methods using a new underwater image dataset
CN109376782B (zh) 基于眼部影像特征的支持向量机白内障分级方法及装置
CN116630198A (zh) 一种结合自适应伽马校正的多尺度融合水下图像增强方法
Siddiqui et al. Hierarchical color correction for camera cell phone images
CN115880176A (zh) 多尺度非成对水下图像增强方法
CN113012067B (zh) 基于Retinex理论和端到端深度网络的水下图像复原方法
CN115457015A (zh) 一种基于视觉交互感知双流网络的图像无参考质量评估方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination