CN113935916A - 基于环境光感知的端到端水下图像复原方法 - Google Patents
基于环境光感知的端到端水下图像复原方法 Download PDFInfo
- Publication number
- CN113935916A CN113935916A CN202111195071.8A CN202111195071A CN113935916A CN 113935916 A CN113935916 A CN 113935916A CN 202111195071 A CN202111195071 A CN 202111195071A CN 113935916 A CN113935916 A CN 113935916A
- Authority
- CN
- China
- Prior art keywords
- ambient light
- network
- layer
- image
- underwater
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 230000008447 perception Effects 0.000 title claims abstract description 18
- 238000012549 training Methods 0.000 claims abstract description 37
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 33
- 238000012545 processing Methods 0.000 claims abstract description 25
- 238000012937 correction Methods 0.000 claims abstract description 5
- 238000011176 pooling Methods 0.000 claims description 21
- 230000006870 function Effects 0.000 claims description 12
- 238000002834 transmittance Methods 0.000 claims description 12
- 238000011084 recovery Methods 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 6
- 230000010354 integration Effects 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 230000003044 adaptive effect Effects 0.000 claims description 2
- 238000012423 maintenance Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 19
- 230000015556 catabolic process Effects 0.000 abstract description 10
- 238000006731 degradation reaction Methods 0.000 abstract description 10
- 238000013441 quality evaluation Methods 0.000 abstract description 3
- 238000005352 clarification Methods 0.000 abstract 2
- 238000004088 simulation Methods 0.000 description 13
- 241000196171 Hydrodictyon reticulatum Species 0.000 description 7
- 238000012360 testing method Methods 0.000 description 7
- 230000000007 visual effect Effects 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 238000011387 Li's method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 101001126234 Homo sapiens Phospholipid phosphatase 3 Proteins 0.000 description 1
- 102100030450 Phospholipid phosphatase 3 Human genes 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000031700 light absorption Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000010998 test method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于环境光感知的端到端水下图像复原方法，主要解决现有技术在处理水下图像时色偏校正和清晰化处理效果欠佳的问题。其方案是：利用Pytorch框架分别构建环境光感知网络和复原主体网络，并分别构建这两个网络的训练集B和C；采用自适应矩估计算法分别利用B和C训练环境光感知网络和复原主体网络，将待处理的图像Ic输入训练好的环境光感知网络，输出环境光值Ac；将Ac和Ic输入训练好的复原主体网络，输出清晰图像Jc。本发明提高了不同退化程度水下图像的对比度，能有效校正色偏，且峰值信噪比、结构相似性、色差公式、无参考图像空间质量评估和水下彩色图像质量评价均优于现有技术，可用于水下图像的清晰化处理。
Description
技术领域
本发明属于图像处理技术领域,特别涉及一种水下图像复原方法,可用于处理成像***拍摄的单幅水下图像。
背景技术
受现实条件中水对光线吸收与散射作用的影响，水下光学图像普遍存在对比度低、颜色失真以及图像模糊的质量退化问题。这些退化图像不仅影响人眼的主观感受，更严重制约各类智能视觉信息处理***的性能。因此，重建清晰的水下光学图像具有非常重要的实际应用价值。目前，水下图像处理方法的关键问题是如何提高图像清晰度并校正色偏，主要分为传统图像增强、传统图像复原、深度学习图像复原和深度学习图像增强四类方法，其中：
传统图像增强方法，是针对水下图像退化的具体表现选取适合的图像增强技术来改善图像质量。典型的方法如Zhang等人提出的基于Retinex和直方图均衡化的水下图像增强算法，见Zhang W,Li G,Ying Z,and et al.A New Underwater Image EnhancingMethod via Color Correction and Illumination Adjustment[C].//IEEEInternational Conference on Visual Communications and Image Processing.2017,DOI:10.1109/VCIP.2017.8305027；Ancuti等人提出的基于融合策略的水下图像增强算法，见C.Ancuti,C.O.Ancuti,T.Haber,and P.Bekaert.Enhancing underwater images andvideos by fusion[C].//IEEE Conference on Computer Vision and PatternRecognition.2012,DOI:10.1109/CVPR.2012.6247661。这类方法原理简单，能够有效改善图像的视觉效果，但由于未考虑水下图像退化原理，忽略退化程度与深度之间的关系，其增强结果不能正确反映图像真实色彩。
传统图像复原方法，是以水下退化图像的物理成像模型为基础，利用不同的先验或假设提取图像特征，然后利用该特征分别设计有效的环境光和透射率估计方法，以实现图像复原。典型的方法如Galdran等人提出红通道先验，在计算暗通道时用1与红通道值的差代替红通道值，见Galdran A,Alvarez-Gila A,Alvarez-Gila A.Automatic Red-Channel underwater image restoration[J].Journal of Visual Communication&ImageRepresentation,2015,26(C):132-145.该方法虽然提升了暗通道先验应用于水下图像的效果，但违背了暗通道原本的统计意义，降低了先验在清晰图像中的有效性；Li等人通过减小红通道信息损失的方法估计透射率，并借助亮度高、红蓝通道差异大的特点估计环境光值，见Li C,Guo J,Cong R,et al.Underwater image enhancement by dehazing withminimum information loss and histogram distribution prior[J].IEEETransactions on Image Processing.2016:5664-5677.该方法有效增强图像的对比度，但不能完全去除色偏。这类方法的图像复原效果高度依赖先验的可靠性，在先验失效的情况下将出现较大的估计误差，导致图像复原效果不佳。
深度学***衡水下照明，见Hou M,Liu R,FanX and Luo Z.Joint residual learning for underwater image enhancement[C]//IEEEInternational Conference on Image Processing(ICIP).2018:4043–4047。Wang等人提出利用并联的卷积神经网络分别估计透射率和环境光的方法，再借助水下成像模型得到清晰的水下图像，见Wang K,Hu Y,Chen J,Wu X,Zhao X，Li Y.Underwater ImageRestoration Based on a Parallel Convolutional Neural Network[J]//RemoteSensing.2019；11(13):1951.该网络复原的图像较为清晰自然，但作用在退化程度高的图像上仍然无法消除色偏，且网络模型无法避免误差传递，使得小的模型参数估计误差在复原过程中可能被放大，导致复原结果偏差较大。
深度学***衡、直方图均衡化和伽马校正处理，输入网络，利用网络学习三个置信度图，再与图像加权融合得到增强后的水下图像，见Li C,Guo C,Ren W,and et al.Anunderwater image enhancement benchmark dataset and beyond[J]//IEEETransactions on Image Processing.2020:4376-4389；Islam等人提出了FUnIE-GAN网络实时增强水下图像，见Islam M J,Xia Y and Sattar J.Fast underwater imageenhancement for improved visual perception[J]//IEEE Robotics and AutomationLetters.2020:3227-3234。这类方法的网络设计较为复杂，学习难度较大，容易出现难以拟合的问题，并且这类方法严重依赖训练数据的分布，泛化能力不足，对于退化严重的水下图像复原效果较差。
发明内容
本发明的目的在于针对上述现有技术的不足，提出一种基于环境光感知的水下图像复原方法，以利用卷积神经网络端到端地复原水下图像，减小不同退化程度下水下图像的颜色失真和图像模糊，提高图像复原效果。
为实现上述目的，本发明的技术方案包括如下：
1)在Pytorch框架下构建水下图像复原网络ECCN：
1a)建立包括十一个卷积层、一个上采样层和一个池化层的环境光感知网络；
1b)建立包括一个浅层特征提取模块、一个多尺度编解码模块及三个特征整合重建模块的复原主体网络；
1c)将环境光感知网络与复原主体网络进行级联，组成水下图像复原网络；
2)下载含有深度信息的室内数据集NYU、含有深度信息的真实单图像去雾数据集RESIDE、基于生成网络合成的配对水下数据集EUVP，并分别对这些数据集依次进行筛选、缩放裁剪，得到室内清晰图像集J、室内深度图集D、水下清晰图像集U、水下退化图像集R1；
3)分别构建环境光感知网络和复原主体网络的训练图像集：
设定环境光值A和蓝色通道透射率Tb，利用室内清晰图像集J和室内深度图集D，合成水下退化图像集R2，将水下退化图像集R2与其对应的环境光值A配对，作为环境光感知网络的训练图像集B；
将室内清晰图像集J与水下退化图像集R2配对，并加入水下清晰图像集U和水下退化图像集R1，一起作为复原主体网络的训练图像集C；
4)利用环境光感知网络的训练图像集B，采用自适应矩估计算法，以最小化欧氏距离损失值为目标，对环境光感知网络进行训练，得到训练好的环境光感知网络；
5)利用复原主体网络的训练图像集C、训练好的环境光估计网络，采用自适应矩估计算法,以最小化加权总损失值为目标，对复原主体网络进行训练，得到训练好的复原主体网络；
6)将一幅需要复原处理的水下图像Ic输入到训练好的环境光感知网络，输出RGB三通道的环境光值Ac；
7)将环境光值Ac与水下图像Ic一起输入到训练好的复原主体网络，输出复原后的清晰图像Jc。
本发明与现有技术相比，具有如下有益效果：
第一，本发明由于通过一个简单的回归网络感知与颜色相关的环境光先验信息，辅助主体网络的训练与复原，可使不同退化程度的水下图像的复原结果有更自然准确的色彩呈现；
第二，本发明的复原主体网络采用多尺度的编解码结构，并融合从粗到细的三个尺度的特征信息，可还原退化图像的全局结构和局部细节；同时由于在编解码结构中引入残差模块，提高了网络在训练过程中各层的信息传递效率，减少了网络的训练误差且对细节变换更敏感；
第三，本发明设计加权损失训练网络由于综合考虑了全局结构、局部纹理和色彩因素，使得复原图像的细节信息、边缘纹理信息保留较好，色彩还原较精确。
仿真结果表明，本发明在保持复原图像对比度的前提下，可以更好地校正图像色偏，提高视觉效果；相较于现有的其他算法的处理结果边界更清晰，颜色更自然，图像整体质量更高，且峰值信噪比PSNR、结构相似性SSIM和色差公式CIEDE2000中的客观指标均优于现有技术。
附图说明
图1为本发明的实现总流程图；
图2为本发明中构建的环境光感知网络的结构图；
图3为本发明中构建的复原主体网络的结构图；
图4为用本发明和现有的水下图像处理算法对水下模拟图像的处理效果对比图；
图5为用本发明和现有的水下图像处理算法对真实水下图像的处理效果对比图。
具体实施方式
下面结合附图对本发明的具体实施方式及效果作进一步说明。
参照图1，本发明的具体实现步骤如下：
步骤1：在Pytorch框架下构建环境光感知网络。
如图2所示，本发明构建的环境光感知网络包含十一个卷积层、一个上采样层和一个池化层，其结构关系为：第一卷积层→第二卷积层→第三卷积层→第四卷积层→上采样层→第五卷积层→第六卷积层→第七卷积层→第八卷积层→池化层→第九卷积层→第十卷积层→第十一卷积层；
各层参数设置如下：
第一卷积层、第二卷积层的卷积核大小均为9*9，
第三卷积层、第四卷积层、第五卷积层、第六卷积层的卷积核大小均为7*7，
第七卷积层、第八卷积层、第九卷积层、第十卷积层的卷积核大小均为5*5，
第十一卷积层的卷积核大小为3*3，
所有卷积层的步长均为1，所有卷积层包括卷积操作以及ReLU激活函数层，
上采样层的缩放因子为2，
池化层的缩放因子为2。
步骤2：在Pytorch框架下构建复原主体网络。
如图3所示，本实例构建的复原主体网络包括一个浅层特征提取模块、一个多尺度编解码模块以及三个特征整合重建模块，其中：
所述浅层特征提取模块，由第1卷积层→第2卷积层→第3卷积层级联组成；
所述多尺度编解码模块，由三条分支并联组成，其中：
第一分支依次为：第1池化层→第4卷积层→第1编码单元→第2编码单元→第1解码单元→第2解码单元；
第二分支依次为：第2池化层→第5卷积层→第3编码单元→第4编码单元→第3解码单元→第4解码单元；第3解码单元同时与第2编码单元相连接；
第三分支依次为：第3池化层→第6卷积层→第5编码单元→第6编码单元→第5解码单元→第6解码单元；第5解码单元同时与第4编码单元相连接；
第1池化层、第2池化层、第3池化层均与第3卷积层相连接；
每个编码单元依次为：第I卷积层→第I残差模块→第II残差模块→第III残差模块；
每个解码单元依次为：第IV残差模块→第V残差模块→第VI残差模块→双线性插值→第II卷积层；
所述特征整合重建模块依次为：上采样层→第一卷积层→第二卷积层→第三卷积层；
各模块的连接关系如下：
多尺度编解码模块中的第2解码单元、第4解码单元、第6解码单元分别与三个特征重建模块相连接，浅层特征提取模块的第3卷积层同时与特征重建模块的第一卷积层相连接；
复原主体网络的输出为与第三分支相连接的特征重建模块的末端输出；
各层参数设置如下：
第1卷积层的卷积核大小为7*7，第2卷积层的卷积核大小为5*5，其余卷积层的卷积核大小均为3*3；所有卷积层的卷积步长均为1，所有卷积层均包括卷积操作以及ReLU激活函数层；
上采样层的缩放因子为2；
第1池化层的缩放因子为8，
第2池化层的缩放因子为4，
第3池化层的缩放因子为2；
双线性插值运算的缩放因子为2。
步骤3：分别构建环境光感知网络和复原主体网络的训练图像集。
3.1)从互联网上下载含有深度信息的室内数据集NYU、含有深度信息的真实单图像去雾数据集RESIDE、基于生成网络合成的配对水下数据集EUVP，并分别对这些数据集依次进行筛选、缩放裁剪，将尺寸统一为160×160，得到室内清晰图像集J、室内深度图集D、水下清晰图像集U、水下退化图像集R1；
3.2)使用random函数在0.1-0.6间随机生成红色通道环境光值Ar，再使用random函数在Ar-1.0间随机生成绿色通道环境光值Ag和蓝色通道的环境光值Ab；
3.3)使用random函数在0.5-2.5间随机生成蓝色通道透射率参数βb，利用室内深度图集D计算得到每张图的蓝色通道透射率
红色通道透射率
绿色通道透射率
3.4)根据室内清晰图像集J和3.2)生成的环境光值A、透射率T，计算得到水下退化图像集R2＝JT+A(1-T)；
3.5)将水下退化图像集R2的尺寸缩放至49×49后，再和环境光值A配对，一起作为环境光感知网络的训练图像集B；
3.6)将室内清晰图像集J与水下退化图像集R2配对，在配对后的图像集中加入水下清晰图像集U和水下退化图像集R1，一起作为复原主体网络的训练图像集C。
步骤4：训练神经网络。
4a)训练环境光感知网络：
4a1)将欧氏距离公式作为环境光感知网络的损失函数：
其中，||.||2为对矩阵求二范数操作，c为输入图像的颜色通道，Bc为环境光感知网络的输出，B'c为对应的人工合成环境光；
4a2)将环境光感知网络的训练图像集B中的水下退化图像依次输入到环境光感知网络中，输出估计的环境光值A'；
4a3)将设定环境光值A和估计出的环境光值A'同时代入欧氏距离公式，计算得到A和A'之间的欧氏距离损失值；
4a4)利用自适应矩估计算法更新环境光感知网络中各个卷积操作的权值和偏置值；
4a5)重复步骤4a2)-4a4)10000次，直到欧式距离损失值最小，得到训练好的环境光感知网络。
4b)训练复原主体网络：
3b1)将加权总损失公式作为复原主体网络的损失函数LossC，表示如下：
LossC＝0.75×Losst+0.25×Lossc
其中，Losst是边界保持损失，Lossc是色偏校正损失，计算式为：
其中，||.||2为对矩阵求二范数操作，|.|为对矩阵求一范数操作，N为输入图像的像素数，Jn、Jn1、Jn2分别为复原主体网络三个特征整合重建模块的末端输出，J'n，J'n1，J'n2为对应的清晰图像，J'n1为缩小16倍后的J'n，J'n2为缩小64倍后的J'n；
代表红色通道的平均值，Δrn、Δbn、Δgn分别代表网络输出与清晰图像在红色、绿色和蓝色通道的差异；
4b2)将复原主体网络训练集C中的水下退化图像依次输入到训练好的环境光估计网络中，输出估计的环境光值A”；
4b3)将复原主体网络训练集C中的水下退化图像与估计的环境光值A”组合后，输入到复原主体网络中，输出估计的复原图像I'；
4b4)将复原主体网络训练集C中的清晰图像I与估计的复原图像I'同时代入加权总损失函数LossC中，计算得到清晰图像I和复原图像I'之间的加权总损失值；
4b5)利用自适应矩估计算法更新复原主体网络中各个卷积操作的权值和偏置值；
4b6)重复4b3)-4b5)共20000次，直到加权总损失值最小，得到训练好的复原主体网络。
步骤5：复原图像。
5a)将一幅需要复原处理的水下图像Ic输入至步骤4a)训练好的环境光感知网络，输出环境光值Ac；
5b)将水下图像Ic和环境光值Ac组合输入至步骤4b)训练好的复原主体网络，输出高质量的清晰图像Jc,c∈{r,g,b}，完成对水下退化图像的恢复。
本发明的效果通过以下仿真进一步说明：
一、测试条件与方法
1.测试图片：选用406组水下模拟图像和具有不同退化程度的126张水下真实图像；
2.测试方法：使用现有的Anwar的算法、Zhang的算法、Galdran的算法、Li的算法、Wang的算法、WaterNet、FUnIE-GAN、CWR和本发明共九种方法。
3.仿真测试内容：
仿真测试1：使用上述九种方法对四幅水下模拟图像进行复原处理，结果如图4所示，其中：
图4a为四幅合成的水下图像；
图4b为使用Anwar的算法对图4a水下模拟图像进行处理的结果；
图4c为使用Zhang的算法对图4a水下模拟图像进行复原的结果；
图4d为使用RCP的算法对图4a水下模拟图像进行复原的结果；
图4e为使用Li的方法对图4a水下模拟图像进行复原的结果；
图4f为使用Wang的方法对图4a水下模拟图像进行复原的结果；
图4g为使用WaterNet对图4a水下模拟图像进行复原的结果；
图4h为使用FUnIE-GAN对图4a水下模拟图像进行复原的结果；
图4i为使用CWR对图4a水下模拟图像进行复原的结果；
图4j为使用本发明方法对图4a水下模拟图像进行复原的结果；
从图4可看出如下不同恢复效果：
使用现有Anwar、Zhang、RCP、Li的方法处理图像时，对色彩信息的还原结果较差，几乎所有图像都保留原有的蓝色/绿色色偏；
使用现有Anwar的方法和RCP算法复原的图像有时依然较为模糊；使用现有Wang等人提出的算法能够去除色偏，但由于透射率估计不准确，局部区域的色彩过渡不自然；
使用现有WaterNet处理后的图像整体带有黄色色偏，颜色不够真实自然；
使用现有CWR算法的处理结果不稳定，部分图的色偏去除会失效；
使用FunIEGAN处理后，图像清晰度好，也能去除色偏，但复原图像仍存在着色不一致的情况；
用本发明方法恢复的图像效果均优于其他几种算法，复原的图像边界清晰、饱和度高，在颜色丰富的图像上也有很好的恢复效果。
仿真测试2：使用上述九种方法对六幅水下真实图像进行复原，效果如图5所示，其中：
图5a为六幅水下真实图像；
图5b为使用Anwar的算法对图5a水下真实图像进行处理的结果；
图5c为使用Zhang的算法对图5a水下真实图像进行复原的结果；
图5d为使用RCP的算法对图5a水下真实图像进行复原的结果；
图5e为使用Li的方法对图5a水下真实图像进行复原的结果；
图5f为使用Wang的方法对图5a水下真实图像进行复原的结果；
图5g为使用WaterNet对图5a水下真实图像进行复原的结果；
图5h为使用FUnIE-GAN对图5a水下真实图像进行复原的结果；
图5i为使用CWR对图5a水下真实图像进行复原的结果；
图5j为使用本发明方法对图5a水下真实图像进行复原的结果；
从图5可看出不同方法的以下恢复效果：
使用现有Anwar的方法处理的结果，整体对比度提高，但局部区域会引入紫色色偏；使用现有Zhang的算法和Li的算法处理的图像出现色彩过饱和现象，不够真实自然；
使用现有WaterNet处理后，图像饱和度降低；使用现有RCP、Wang等人提出的方法对图像色偏处理力度不够，出现欠处理的现象，多张图像依然呈现严重的色偏；
使用现有FUnIE-GAN消除了大部分蓝绿色的色偏，但丢失了许多纹理细节和主要的背景信息；
使用现有CWR方法明显地校正了色偏，提高了复原图像的可见性，然而,CWR在某些局部区域表现出对比度低或过饱和现象；
用本发明方法恢复的图像效果均优于其他现有八种方法，在不同退化程度的图像上都有好的视觉处理效果。
仿真测试3：使用上述九种方法对406组水下模拟图像进行处理，计算结构相似性SSIM指标、峰值信噪比PNSR指标与色差公式CIEDE2000指标，结果如表1所示。
表1
| 指标 | Anwar | Zhang | RCP | Li | Wang | WaterNet | FunIEGAN | CWR | 本发明 |
| PSNR | 17.578 | 18.020 | 20.541 | 17.526 | 20.534 | 22.203 | 22.102 | 18.775 | 23.767 |
| SSIM | 0.873 | 0.883 | 0.950 | 0.812 | 0.936 | 0.954 | 0.927 | 0.866 | 0.969 |
| CIEDE2000 | 17.123 | 14.964 | 15.992 | 14.436 | 16.283 | 9.004 | 7.637 | 12.318 | 6.075 |
由表1可得，本发明方法的PSNR、SSIM和色差指标数值都优于其他算法，与主观结果一致，有效地校正色偏，提升图像清晰度。
仿真测试4：使用上述九种方法对126张水下真实图像进行处理，计算无参考图像空间质量评估器BRISQUE指标和水下彩色图像质量评价UCIQE指标，结果如表2所示。
表2
通过表2可得，本发明方法的BRISQUE及UCIQE数值都优于其它八种方法，与主观结果一致，表明本发明处理后的图片更清晰自然。
综合上述，本发明方法在水下图像处理上的效果均优于其它八种方法。
Claims (7)
1.一种基于环境光感知的端到端水下图像复原方法，包括：
1)在Pytorch框架下构建水下图像复原网络ECCN：
1a)建立包括十一个卷积层、一个上采样层和一个池化层的环境光感知网络；
1b)建立包括一个浅层特征提取模块、一个多尺度编解码模块及三个特征整合重建模块的复原主体网络；
1c)将环境光感知网络与复原主体网络进行级联，组成水下图像复原网络；
2)下载含有深度信息的室内数据集NYU、含有深度信息的真实单图像去雾数据集RESIDE、基于生成网络合成的配对水下数据集EUVP，并分别对这些数据集依次进行筛选、缩放裁剪，得到室内清晰图像集J、室内深度图集D、水下清晰图像集U、水下退化图像集R1；
3)分别构建环境光感知网络和复原主体网络的训练图像集：
设定环境光值A和蓝色通道透射率Tb，利用室内清晰图像集J和室内深度图集D，合成水下退化图像集R2，将水下退化图像集R2与其对应的环境光值A配对，作为环境光感知网络的训练图像集B；
将室内清晰图像集J与水下退化图像集R2配对，并加入水下清晰图像集U和水下退化图像集R1，一起作为复原主体网络的训练图像集C；
4)利用环境光感知网络的训练图像集B，采用自适应矩估计算法，以最小化欧氏距离损失值为目标，对环境光感知网络进行训练，得到训练好的环境光感知网络；
5)利用复原主体网络的训练图像集C、训练好的环境光估计网络，采用自适应矩估计算法,以最小化加权总损失值为目标，对复原主体网络进行训练，得到训练好的复原主体网络；
6)将一幅需要复原处理的水下图像Ic输入到训练好的环境光感知网络，输出RGB三通道的环境光值Ac；
7)将环境光值Ac与水下图像Ic一起输入到训练好的复原主体网络，输出复原后的清晰图像Jc。
2.根据权利要求1所述的方法，其特征在于：1a)中环境光感知网络的结构关系及各层参数如下：
第一卷积层→第二卷积层→第三卷积层→第四卷积层→上采样层→第五卷积层→第六卷积层→第七卷积层→第八卷积层→池化层→第九卷积层→第十卷积层→第十一卷积层；
第一卷积层、第二卷积层的卷积核大小均为9*9；
第三卷积层、第四卷积层、第五卷积层、第六卷积层的卷积核大小均为7*7；
第七卷积层、第八卷积层、第九卷积层、第十卷积层的卷积核大小均为5*5；
第十一卷积层的卷积核大小为3*3；
所有卷积层的步长均为1；所有卷积层包括卷积操作以及ReLU激活函数层；
上采样层的缩放因子为2；
池化层的缩放因子为2。
3.根据权利要求1所述的方法，其特征在于：1b)中各模块的结构如下：
所述浅层特征提取模块，由第1卷积层→第2卷积层→第3卷积层级联组成；
所述多尺度编解码模块，由三条分支并联组成，其中：
第一分支依次为：第1池化层→第4卷积层→第1编码单元→第2编码单元→第1解码单元→第2解码单元；
第二分支依次为：第2池化层→第5卷积层→第3编码单元→第4编码单元→第3解码单元→第4解码单元；第3解码单元同时与第2编码单元相连接；
第三分支依次为：第3池化层→第6卷积层→第5编码单元→第6编码单元→第5解码单元→第6解码单元；第5解码单元同时与第4编码单元相连接；
第1池化层、第2池化层、第3池化层均与第3卷积层相连接；
编码单元依次为：第I卷积层→第I残差模块→第II残差模块→第III残差模块；
解码单元依次为：第IV残差模块→第V残差模块→第VI残差模块→双线性插值→第II卷积层。
所述特征整合重建模块依次为：上采样层→第一卷积层→第二卷积层→第三卷积层；
多尺度编解码模块的第2解码单元、第4解码单元、第6解码单元分别与三个特征重建模块相连接，浅层特征提取模块的第3卷积层同时与特征重建模块的第一卷积层相连接；
复原主体网络的输出为与第三分支相连接的特征重建模块的末端输出。
4.根据权利要求3所述的方法，复原主体网络的各层参数设置如下：
第1卷积层的卷积核大小为7*7，第2卷积层的卷积核大小为5*5，其余卷积层的卷积核大小均为3*3；
所有卷积层的卷积步长均为1，所有卷积层均包括卷积操作以及ReLU激活函数层；
上采样层的缩放因子为2；
第1池化层的缩放因子为8，第2池化层的缩放因子为4，第3池化层的缩放因子为2；
双线性插值运算的缩放因子为2。
5.根据权利要求1所述的方法，其特征在于，所述3)中利用室内清晰图像集J和室内深度图集D，合成水下退化图像集R2，其实现如下：
3a)使用random函数在0.1-0.6间随机生成红色通道环境光值Ar，再使用random函数在Ar-1.0间随机生成绿色通道环境光值Ag和蓝色通道的环境光值Ab；
3b)使用random函数在0.5-2.5间随机生成蓝色通道透射率参数βb，利用室内深度图集D计算得到每张图的蓝色通道透射率
红色通道透射率
绿色通道透射率
3c)根据室内清晰图像集J和生成的环境光值A、透射率T，计算得到水下退化图像集R2＝JT+A(1-T)。
6.根据权利要求1所述的方法，其特征在于，所述4)中对环境光感知网络的训练，实现如下：
4a)将欧式距离公式作为环境光感知网络的损失函数LossB，表示如下：
其中，||.||2为对矩阵求二范数操作，c为输入图像的颜色通道，Bc为环境光感知网络的输出，B'c为对应的人工合成环境光；
4b)将环境光感知网络的训练图像集B中的水下退化图像依次输入到环境光感知网络中，输出估计的环境光值A'；
4c)将设定环境光值A和估计出的环境光值A'同时代入欧氏距离公式，计算得到A和A'之间的欧氏距离损失值；
4d)利用自适应矩估计算法更新环境光感知网络中各个卷积操作的权值和偏置值，再重复10000次步骤4b)-4c)，直到欧式距离损失值最小，得到训练好的环境光感知网络。
7.根据权利要求1所述的方法，其特征在于，所述5)中对复原主体网络进行训练，实现如下：
5a)将加权总损失公式作为复原主体网络的损失函数LossC，表示如下：
LossC＝0.75×Losst+0.25×Lossc
其中，Losst是边界保持损失，Lossc是色偏校正损失，计算式为：
其中，||.||2为对矩阵求二范数操作，|.|为对矩阵求一范数操作，N为输入图像的像素数，Jn、Jn1、Jn2分别为复原主体网络三个特征整合重建模块的末端输出，J'n，J'n1，J'n2为对应的清晰图像，J'n1为缩小16倍后的J'n，J'n2为缩小64倍后的J'n；
代表红色通道的平均值，△rn、△bn、△gn分别代表网络输出与清晰图像在红色、绿色和蓝色通道的差异；
5b)将复原主体网络训练集C中的水下退化图像依次输入到训练好的环境光估计网络中，输出估计的环境光值A”；
5c)将复原主体网络训练集C中的水下退化图像与估计的环境光值A”组合后，输入到复原主体网络中，输出估计的复原图像I'；
5d)将复原主体网络训练集C中的清晰图像I与估计的复原图像I'同时代入加权总损失函数LossC中，计算得到清晰图像I和复原图像I'之间的加权总损失值；
5e)利用自适应矩估计算法更新复原主体网络中各个卷积操作的权值和偏置值；
5f)重复5c)-5e)共20000次，直到加权总损失值最小，得到训练好的复原主体网络。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111195071.8A CN113935916A (zh) | 2021-10-12 | 2021-10-12 | 基于环境光感知的端到端水下图像复原方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111195071.8A CN113935916A (zh) | 2021-10-12 | 2021-10-12 | 基于环境光感知的端到端水下图像复原方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113935916A true CN113935916A (zh) | 2022-01-14 |
Family
ID=79279180
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111195071.8A Pending CN113935916A (zh) | 2021-10-12 | 2021-10-12 | 基于环境光感知的端到端水下图像复原方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113935916A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114387190A (zh) * | 2022-03-23 | 2022-04-22 | 山东省计算中心（国家超级计算济南中心） | 一种基于复杂环境下的自适应图像增强方法及*** |
| CN115049562A (zh) * | 2022-07-05 | 2022-09-13 | 福州大学 | 基于失真引导的水下图像复原方法 |
-
2021
- 2021-10-12 CN CN202111195071.8A patent/CN113935916A/zh active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114387190A (zh) * | 2022-03-23 | 2022-04-22 | 山东省计算中心（国家超级计算济南中心） | 一种基于复杂环境下的自适应图像增强方法及*** |
| CN114387190B (zh) * | 2022-03-23 | 2022-08-16 | 山东省计算中心（国家超级计算济南中心） | 一种基于复杂环境下的自适应图像增强方法及*** |
| CN115049562A (zh) * | 2022-07-05 | 2022-09-13 | 福州大学 | 基于失真引导的水下图像复原方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109584170B (zh) | 基于卷积神经网络的水下图像复原方法 | |
| CN111161360B (zh) | 基于Retinex理论的端到端网络的图像去雾方法 | |
| CN110223251B (zh) | 适用于人工与自然光源的卷积神经网络水下图像复原方法 | |
| CN114066747B (zh) | 一种基于光照和反射互补性的低照度图像增强方法 | |
| CN113935916A (zh) | 基于环境光感知的端到端水下图像复原方法 | |
| CN115223004A (zh) | 基于改进的多尺度融合生成对抗网络图像增强方法 | |
| CN111553856B (zh) | 基于深度估计辅助的图像去雾方法 | |
| CN116152120A (zh) | 一种融合高低频特征信息的低光图像增强方法及装置 | |
| CN113129391A (zh) | 基于多曝光图像特征分布权重的多曝光融合方法 | |
| CN111598789B (zh) | 一种基于深度学习的稀疏颜色传感器图像重建方法 | |
| CN112070688A (zh) | 一种基于上下文引导生成对抗网络的单幅图像去雾方法 | |
| CN115393227A (zh) | 基于深度学习的微光全彩视频图像自适应增强方法及*** | |
| CN114067018B (zh) | 一种基于扩张残差生成对抗网络的红外图像彩色化方法 | |
| Wang et al. | Underwater color disparities: Cues for enhancing underwater images toward natural color consistencies | |
| CN116228550A (zh) | 一种基于生成对抗网络的图像自增强去雾算法 | |
| CN114565539A (zh) | 一种基于线上知识蒸馏的图像去雾方法 | |
| CN114283078A (zh) | 一种基于双路卷积神经网络的自适应融合图像去雾方法 | |
| Shen et al. | Pseudo-retinex decomposition-based unsupervised underwater image enhancement and beyond | |
| CN116645281A (zh) | 一种基于多阶段拉普拉斯特征融合的微光图像增强方法 | |
| CN107301625A (zh) | 基于亮度融合网络的图像去雾算法 | |
| CN116703750A (zh) | 基于边缘注意力和多阶微分损失的图像去雾方法及*** | |
| CN116452431A (zh) | 基于多分支渐进式深度网络的弱光图像增强方法 | |
| CN115760640A (zh) | 基于含噪Retinex模型的煤矿低光照图像增强方法 | |
| CN108564535A (zh) | 一种基于深度学习的图像去雾方法 | |
| CN113077385A (zh) | 基于对抗生成网络和边缘增强的视频超分辨率方法及*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |