CN111696049A - 基于深度学习的水下扭曲图像重建方法 - Google Patents

基于深度学习的水下扭曲图像重建方法 Download PDF

Info

Publication number
CN111696049A
CN111696049A CN202010375370.9A CN202010375370A CN111696049A CN 111696049 A CN111696049 A CN 111696049A CN 202010375370 A CN202010375370 A CN 202010375370A CN 111696049 A CN111696049 A CN 111696049A
Authority
CN
China
Prior art keywords
image
deep learning
ssim
distorted image
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010375370.9A
Other languages
English (en)
Inventor
何波
李腾跃
杨茜茜
荣生辉
赵文凤
严天宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ocean University of China
Original Assignee
Ocean University of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ocean University of China filed Critical Ocean University of China
Priority to CN202010375370.9A priority Critical patent/CN111696049A/zh
Publication of CN111696049A publication Critical patent/CN111696049A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于深度学习的水下扭曲图像重建方法，包括以下步骤：1)采集多帧扭曲图像序列，并对其进行数据融合，得到扭曲程度较小的预筛选扭曲图像；2)构建深度学习网络模型，并对其进行学习和训练；3)将预筛选扭曲图像作为深度学习网络模型的输入，得到模型输出，进而实现对水下扭曲图像的重建；本方案利用深度学习网络框架实现对水下扭曲图像的重建，将经过图像融合算法处理后的视频数据输入到深度学习网络中实现高质量的扭曲复原，利用视频帧中质量良好图像信息并通过构建深度学习网络框架能够更加高效和准确的复原水下扭曲图像，可有效提高扭曲图像复原效率及精度。

Description

基于深度学习的水下扭曲图像重建方法
技术领域
本发明涉及水下图像处理的技术领域,具体涉及一种基于深度学习的水下扭曲图像重建方法。
背景技术
针对水面波动的情形，使用相机在水面上方向水下观测或使用水下相机在水下环境中拍摄空气中场景时，相机采集到的图像信息呈现扭曲形态。这是因为随着水体的波动，光线的传播方向会在穿过两个传播介质时由于折射而改变，继而导致看到的画面呈现出扭曲的状态。这不仅导致了图像的成像效果整体不佳，更给后续的图像处理等操作带来不便，因此扭曲图像的重建便是一项重要的课题。
如公开号为【CN 109993708 A】的发明专利公开一种基于暗原色与B样条配准的水下扭曲图像恢复方法，通过暗原色先验迭代去除视频序列中扭曲较大的图片，而后采用B样条迭代算法对图片进一步进行扭曲图像恢复操作。正如该文件所述，目前常用的水下扭曲场景复原方法是通过固定相机位置持续一段时间内采集水下静态目标的图像数据，以获得同一场景在不同的水面波动情况下的若干张图像，通过使用多帧图像来复原水下波动场景，目前典型的算法包括：Murase等人提出水面波动是随时间的高斯零均值分布的假设，认为在时间上的平均帧是未失真图像，利用这种幸运成像的方法选择失真最小的图像作为恢复图像；Efros等人将采集到的多帧图像分别进行处理，将每张图像分成若干块，对于每一帧图像中局部未失真的块提取出来进行拼接来获得与真实数据接近的最终结果；此外，Alterman等通过多相机技术来恢复场景对应的稀疏点云实现扭曲图像复原。
但是，以上方法都需要采集多张水下扭曲图像，求取多帧图像均值作为参考帧，通过与参考帧图像迭代配准方法复原图像，一般需要通过图像配准技术进行多次迭代，在计算过程中消耗大量时间，其复原能力有限、且效率较低，而且若所输入的图像扭曲严重，可能很难实现重建。
近年来，随着深度学习框架对图像处理的研究越来越丰富，并在端对端的图像映射方便表现出良好性能，在水下扭曲图像复原方面，ZhengqinLi等人提出一种神经网络的方法训练扭曲图像复原校正模型，其训练数据、验证数据和测试数据均来源于ImageNet图像并通过透明水槽采集扭曲的水下图像；但是现有的神经网络学习算法水下扭曲图像复原框架仅针对单张图像进行图像扭曲复原，对扭曲程度较弱的图像复原效果较好，而对扭曲严重的图像因缺少其他信息恢复效果明显不佳。
发明内容
本发明针对现有的扭曲图像重建方法复原能力有限、且效率低的缺陷，提出一种基于深度学习的水下扭曲图像重建方法，充分利用视频帧图像的信息量进行图像融合，并通过训练深度学习网络将融合后的水下扭曲图像作为输入，通过深度学习网络进行测试处理得到重建图像，可有效提高图像复原效率及精度。
本发明是采用以下的技术方案实现的：一种基于深度学习的水下扭曲图像重建方法，包括以下步骤：
步骤A、采集多帧扭曲图像序列，并对其进行数据融合，得到预筛选扭曲图像；
步骤A1、图像聚类分析，对待重建扭曲图像进行初步筛选；
(1)首先对输入的一组连续的视频帧图像计算均值，得到全部图像序列的均值图像，并以该均值图像作为参考帧；
(2)将每一帧视频帧图像分别与全部图像序列的均值图像进行SSIM度量得到各自对应的SSIM值；
(3)基于K-means聚类算法对(2)中得到的SSIM值进行聚类，通过K-means聚类算法将对应SSIM值的图像分为两类：对两类图像分别计算SSIM均值，SSIM均值高的一类图像被保留，SSIM均值低的一类则丢弃；
步骤A2、对保留一类的帧图像计算均值得到保留序列的均值图像，重复执行步骤A1所述的聚类分析过程，直至K-means聚类算法不再分类，并通过分块重建操作得到预筛选扭曲图像；
步骤B、构建深度学习网络模型，并对其进行学习和训练；
步骤B1、构建水下扭曲成像模型：
I(x)＝J(x+W(x)) (3)
其中，I(x)表示相机在平静的水面上方拍摄水下场景或平静的水面下方拍摄水面上方的场景，J(x)表示相机在水面波动时拍摄的图像，W(x)为反向二维扭曲场；
步骤B2、构建深度学习网络模型并对其训练以预测反向二维扭曲场，结合已知的扭曲图像J(x)，就可以得到正常的无扭曲图像；
步骤C、将预筛选扭曲图像作为深度学习网络模型的输入，得到模型输出，进而实现对水下扭曲图像的重建。
进一步的，所述步骤B2具体采用以下方式实现：
(1)对步骤A1中保留一类的帧图像计算均值得到保留序列的均值图像，将保留序列的帧图像与保留序列的均值图像进行SSIM度量得到各自对应的保留序列SSIM值，并对保留序列SSIM值进行排列分组；对于分组后的保留序列SSIM值，循环计算每组的SSIM均值得到循环分组的SSIM均值，通过比较全部循环分组的SSIM均值，将具有最大值的分组保留进行进一步的图像融合；
(2)对于循环分组中的每一帧图像都分成同样尺寸和数量的图像块，对图像帧中相同位置的图像块计算均值得到块均值图像，将图像帧中相同位置的图像块分别与块均值图像进行SSIM度量得到各自对应的图像块SSIM值，具有最大SSIM值的图像块被保留；对图像中每个位置的图像块重复上述操作并将最后保留的图像块进行拼接输出一张完整的拼接图像进行进一步重建，得到扭曲程度较小的预筛选扭曲图像。
进一步的，所述步骤B2中，深度学习网络模型的构建与训练过程如下：
步骤B21、设计端对端的生成器网络：
Gθ(J(x),x)＝J(x+Wθ(J(x)),x) (4)
其中Wθ为扭曲网络，Gθ为生成器网络；生成器网络包括依次连接的卷积层、残差网络和反卷积层，每个残差网络包括两个卷积层和一个全连接层；
步骤B22、设计损失函数与判别器网络：
(1)设置L1损失函数
Figure BDA0002479790550000031
其中，I(x)为未扭曲图像，Gθ(J(x),x)为生成器的输出图像；
(2)设置对抗损失函数
基于相对论平均LSGAN中的最小二乘法实现训练目标：
Ladv＝E[(Gθ(I)-E[Gθ(J)]+1)2]+E[(Gθ(J)-E[Gθ(I)]-1)2]； (7)
(3)设置感知损失函数
Figure BDA0002479790550000032
其中，
Figure BDA0002479790550000033
表示预训练卷积神经网络的输出；
进而确定所构建的深度学习网络模型的生成式对抗网络的损失函数为：
L＝Lcon+λa·Ladv+λp·Lper (9)
其中，λa和λp表示权值；
步骤B23、归一化训练参数设置：对学习率η，对抗损失函数与感知损失函数的权重λa、λp以及批大小的值进行设置；
步骤B24、以ImageNet中的数据集为基础，对深度学习网络模型进行训练。
与现有技术相比，本发明的优点和积极效果在于：
本发明利用深度学习网络框架实现对水下扭曲图像进行重建研究，与传统扭曲图像复原方法采用一段视频数据或多张同一场景数据进行图像迭代配准不同，本方案通过多帧扭曲图像数据融合，得到扭曲程度较小的预筛选扭曲图像，设计并训练深度学习网络模型，将质量良好的预筛选扭曲图像作为深度学习网络模型的输入，得到模型的输出，实现扭曲图像的重建，该方法能够更加高效和准确的复原水下扭曲图像，具有更好的鲁棒性和适应性。
附图说明
图1为本发明实施例所述水下扭曲图像重建方法的原理示意图；
图2为本发明实施例所述水面扭曲成像原理示意图；
图3为本发明实施例在进行实验验证时采用的水下扭曲图像示意图；
图4为本发明实施例通过多帧数据融合后的预筛选扭曲图像示意图；
图5为本发明实施例所述方法与传统方法的对比示意图，第一行为传统图像配准方法重建后的图像，第二行为现有神经网络方法重建后的图像，第三行为本发明方法重建后的图像；
图6为本发明实施例使用采集数据的部分扭曲原始图像示意图；
图7为基于采集的数据进行复原的图像示意图，其中第一行为现有神经网络方法重建后的图像，第二行为本发明方法重建后的图像；
图8为本发明实施例所述的生成器网络结构示意图。
具体实施方式
为了能够更加清楚地理解本发明的上述目的、特征和优点，下面结合附图及实施例对本发明做进一步说明。在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用不同于在此描述的其他方式来实施，因此，本发明并不限于下面公开的具体实施例。
本实施例提出一种基于深度学习的水下扭曲图像重建方法，如图1所示，包括以下步骤：
步骤一、获得多帧扭曲图像序列，并对其进行数据融合，得到扭曲程度较小的预筛选扭曲图像；
步骤二、构建深度学习网络模型，并对其进行学习和训练；
步骤三、将预筛选扭曲图像作为深度学习网络模型的输入，得到模型输出，进而实现对水下扭曲图像的重建。
具体的，下面对本方案的具体的实现过程进行详细的介绍：
一、多帧图像数据融合
对于待重建的扭曲图像，得到其连续的视频帧图像，基于结构相似性度量(structural similarity index,SSIM)算法提取多帧图像中单张扭曲相对较小的图像，即预筛选扭曲图像；
对于给定两个图像I和M,两张图像的结构相似性按照以下方式求出：
Figure BDA0002479790550000051
其中μI,μM,σI,σM,σIM分别对应的表示图像I和M的局部均值，标准差和协方差，C1和C2为常数，其中C1＝(0.01×L)2，C2＝(0.01×L)2，L表示特定的动态范围值。
多帧图像数据融合的具体过程如下：
1、图像聚类分析，以对待重建扭曲图像初步筛选；
(11)首先对输入的一组连续的视频帧图像计算均值，得到全部图像序列的均值图像，并以该均值图像作为参考帧，以总体反应待重建图像内容中场景概况；
本实施例中，关于每组图像数量的选择，考虑到为多帧数据融合，分组每组至少2张，最终分组取最优效果对应的数量。
(12)将每一帧视频帧图像分别与全部图像序列的均值图像进行SSIM度量得到各自对应的SSIM值；
(13)基于K-means聚类算法对(12)中得到的SSIM值进行聚类，通过K-means聚类算法将对应SSIM值的图像分为两类：对两类图像分别计算SSIM均值，SSIM均值高的一类图像被保留，SSIM均值低的一类则丢弃；
通过聚类求取平均的方法可以有效将整个视频帧图像中扭曲程度较大的图像剔除并保留有用信息多的图像，以降低扭曲严重图像对重建结果的影响。
2、再次进行图像聚类分析，以对扭曲图像再次筛选；
(21)接下来对保留一类的帧图像计算均值得到保留序列的均值图像，以进一步反映图像内容中场景概况；
与步骤(11)中计算的全部图像序列的均值图像相比，保留序列的均值图像模糊程度降低，图像内容中场景更接近真实概况；
(22)将保留序列的帧图像与保留序列的均值图像进行SSIM度量得到各自对应的保留序列SSIM值，并对保留序列SSIM值进行排列分组；
因本方案采用多帧信息进行图像重建，因此在对保留序列SSIM值进行排列分组时，每组图像至少为两张，最多为保留序列帧图像总数(此时仅一组)；同时考虑到时间相邻的图像帧之间相似性较大，在后续处理过程中可以有效保证图像质量；
(23)对上述排列分组后的保留序列SSIM值，循环计算每组的SSIM均值得到循环分组的SSIM均值，通过比较全部循环分组的SSIM均值，将具有最大值的分组保留进行进一步的图像融合；
通过循环分组方法以有效筛选出有用信息多且与均值场景更相似的图像帧，本发明中称之为循环分组图像帧。
3、对循环分组图像帧进行分块操作，通过多次筛选得到扭曲程度较小的预筛选扭曲图像；
对于循环分组中的每一帧图像都分成同样尺寸和数量的图像块，对图像帧中相同位置的图像块计算均值得到块均值图像，将图像帧中相同位置的图像块分别与块均值图像进行SSIM度量得到各自对应的图像块SSIM值，具有最大SSIM值的图像块被保留，通过该方法将区域最接近真实场景概况的图像块筛选出来；对图像中每个位置的图像块重复上述操作并将最后保留的图像块进行拼接输出一张完整的拼接图像进行进一步重建，得到扭曲程度较小的预筛选扭曲图像；
本方案中图像融合处理算法输出的拼接图像可能为同一张图像中图像块拼接，即筛选出与对应过程中均值图像最为接近的扭曲图像。
二、构建深度学习网络模型，并对其进行训练和学习
针对水下场景的典型目标进行图像扭曲复原，本实施例构建新的生成对抗网络架构训练和验证深度学习网络，具体如下：
1、水下扭曲成像模型
首先对深度学习网络的应用原理进行简单说明：
当固定相机在平静的水面上方时，相机光轴与平静水面呈垂直状态拍摄水下场景时，所捕获的水下场景图像为正常的无扭曲图像；当水面受外力影响产生波动时，水面将产生波动变成与原来平静水面成一定角度的状态，且波动时刻处在一种动态变化过程中，此时固定在水面上方的相机捕获的水下场景图像因折射光线的出射角度发生变化将在图像中产生扭曲效果。由于光路是可逆的，因此当水下相机拍摄水上场景时，在波动水面状态下同样会产生扭曲现象，如图2所示，为波动成像原理示意图。
成像的扭曲场
Figure BDA0002479790550000061
与水面高度的梯度存在线性关系，在计算机视觉研究领域水下扭曲成像模型表示为：
Figure BDA0002479790550000062
在这个模型中I(x)表示相机在平静的水面上方拍摄水下场景或平静的水面下方拍摄水面上方的场景，J(x)表示相机在水面波动时拍摄的图像，
Figure BDA0002479790550000063
对应于扭曲图像的二维扭曲场即I(x)到J(x)之间的映射关系。
在公式(2)中，由于I(x)和
Figure BDA0002479790550000064
未知并且从正常的无扭曲图像到扭曲图像之间的映射不是一对一的，没有一个固定的扭曲场可以实现扭曲图像到无扭曲图像的映射。为解决这个问题，使用深度学习网络框架通过训练可以预测的反向二维扭曲场的模型并结合已知的扭曲图像J(x)，就可以得到正常的无扭曲图像，因此本实施例将公式(2)可以改写为：
I(x)＝J(x+W(x)) (3)
其中W(x)网络模型预测的反向二维扭曲场，通过模型预测的反向二维扭曲场，使用双线性插值法即可实现将扭曲图像重建，通过采用这种原理将水下扭曲成像模型与深度学习图像重建方法相结合。
2、深度学习网络模型构建与训练
生成式对抗网络(Generative Adversarial Networks,GAN)是一种深度学习模型，该模型通过框架中两个模块：生成模型(Generative Model)和判别模型(Discriminative Model)，生成模型的功能是产生与真值图像接近的数据，判别模型的作用是标记真值图像为真和生成器产生的图像为假，两个网络同时进行训练使生成器学习生成接近真值的图像。
本实施例中，具体采用以下方式实现：
(1)设计端对端的生成器网络：
Gθ(J(x),x)＝J(x+Wθ(J(x)),x) (4)
其中Wθ为扭曲网络，Gθ为生成器网络；
生成器网络包括依次连接的卷积层、残差网络和反卷积层，本实施例中，卷积层为三个，步长为2，尺寸为4，残差网络为8个，每个残差网络由两个步长为1，尺寸为3，维度为128的卷积层和一个全连接层组成，反卷积层为3个，步长为2，尺寸为4，这样设计在保证较大的感受野的同时不会过多的增加计算量，且残差网络的使用可以有效避免梯度消失的问题；每个卷积层和反卷积层的输出特征维度依次为32、64、128、64、32，x，其中x是扭曲网络中两通道扭曲场。
结合残差网络设计，根据扭曲网络生成的两通道扭曲场可以计算出每个像素点偏离原位置的距离，获得注意力图像，将注意力图像与扭曲网络经过双线性插值之后初步恢复的图像拼接起来作为细节网络的输入可以实现在图片扭曲比较严重的区域投去更多的注意力，而在图片扭曲不那么严重的区域投去更少的注意力，使网络在处理图像的细节时更多的关注扭曲较大的区域，进而提升图像的恢复质量，生成器网络结构图如图8所示。
(2)设计损失函数与判别器网络
通过设计合适的损失函数有助于网络在训练时增强生成图像的细节，从而使扭曲图像恢复的更加自然。判别器网络架构采用批量归一化和LeakyRelu函数进行激活，网络中包含7个卷积层，内核尺寸为4，步长为2，针对性的增加特征维度。判别器网络用以辨别生成器生成的图像和真值图像，在训练的过程中生成器网络和判别器网络有选择性的去解决最大最小值问题，如下所示：
Figure BDA0002479790550000071
其中，Dr表示判别器网络，E表示均值；
1)设置L1损失函数
本实施例在训练网络过程中，通过在像素空间中最小化L1损失函数实现，其定义如下：
Figure BDA0002479790550000081
其中，I(x)为未扭曲图像，Gθ(J(x),x)为生成器的输出图像。
2)设置对抗损失函数
考虑到仅仅使用L1损失函数作为监督去训练网络获取的图像比较模糊且缺乏高频细节特征；为了使生成器恢复出更稳定和更高质量的图片，基于相对论平均LSGAN(RaLSGAN)中的最小二乘法实现训练目标：
Ladv＝E[(Gθ(I)-E[Gθ(J)]+1)2]+E[(Gθ(J)-E[Gθ(I)]-1)2] (7)
不同于标准的生成对抗网络，该网络中的相对判别器尝试估计的是真实图像比经生成器恢复后的图像更逼真的概率，这种判别方法使得生成器受益于对抗训练中的生成数据和实际数据的梯度，能够让网络学习到更尖锐的边缘和更细节的纹理。
3)设置感知损失函数
虽然在训练过程中对抗损失函数能够增强图像细节，但由于GAN网络训练本身固有的特性会在训练过程中引入伪影等不稳定特征，所以本方案在网络训练中加入感知损失函数来以消除或减轻伪影等因素影响，感知损失函数定义如下：
Figure BDA0002479790550000082
Figure BDA0002479790550000083
表示预训练卷积神经网络VGG16中激活前的Conv3_3层的输出。
之所以使用激活前的特征，是因为激活后的特征存在如下两个缺点。第一，激活后的特征是非常稀疏的，特别是在很深的网络中。这种稀疏的激活提供的监督效果是很弱的，会造成性能低下；第二，使用激活后的特征会导致恢复后的图像与真实图像的亮度不一致。由公式(8)可以看出感知损失的计算是将生成图片与真实图片分别输入到预训练的网络中，然后将他们相同层的特征提取出来，计算这两个特征图之间的L1距离。由于计算的是生成图像与真实图像的高层特征之间的内容损失，因此其结果更具有普适性。
因此本实施例构建的网络模型的生成式对抗网络的损失函数定义为：
L＝Lcon+λa·Ladv+λp·Lper (9)
其中，λa和λp表示权值。
在具体实施时，采用组归一化方法会导致过拟合的问题，即网络在训练集上表现很好，但对于测试接会出现亮度不均匀的现象，为了减轻这一问题，本实施例在生成网络中使用组归一化的方法进行训练，以保留输入图像的亮度和对比度；而且对于扭曲图像的恢复问题，除了要求生成的图片能够骗过判别器，还需要其与目标图像尽可能的一致，因此本实施例加入了像素级的监督，由于相对于生成图像更模糊的L2损失函数，L1损失函数是一个更佳的选择。
在训练时，本发明中共涉及到4个超参数的选择：学习率η，对抗损失函数与感知损失函数的权重λa、λp，以及批大小的值；学习率是在模型训练初期，使用较大的学习率进行模型优化，随着迭代次数增加，学习率会逐渐进行减小，保证模型在训练后期不会有太大的波动，从而更加接近最优解；对抗损失函数是在训练的过程中使网络具有保留更多图像细节的能力；感知损失函数是给一个误差区间，只要在误差区间内，就认为是正确的。
在本发明中为使训练过程更加稳定，将批大小设为8，λa、λp的值分别为0.2、0.5，在选取这两个超参数时遵循了随机选择原则，即随机选取超参数的值，寻找合理的取值范围。对于学习率的选择，本发明设定它的值为0.0002，在用Adam优化器进行训练时，Adam能够自适应的改变学习率，不需要过多的调整学习率，也能得到理想的效果。
(4)网络架构及训练
本发明的网络架构包含扭曲网络和色彩网络两部分，如图8所示，扭曲网络包括三个步长为2，尺寸为4的卷积层，之后是8个残差网络，接下来是三个步长为2尺寸为4的反卷积层。在扭曲网络中本发明加入注意力机制，通过注意力图像与插值后的初试恢复图像相结合实现扭曲校正。色彩网络同样包括三个步长为2，尺寸为4的卷积层，之后是8个残差网络，最后经过三个步长为2尺寸为4的反卷积层输出最终重建图像。
本发明在网络训练过程中以ImageNet中的数据集为基础，剔除其数据集中光照不均图像和部分扭曲不明显图像。扭曲注意力网络的L1损失权重和感知损失权重设定为1,细节网络的L1损失权重、感知损失权重与对抗损失权重分别为1，0.5，0.2。优化器选用Adam，它利用梯度的一阶矩估计和二阶矩估计动态调整每个参数的学***稳。初始学习率设定为0.0002，批量尺寸为8，网络训练迭代40569次。
三、将第一步中得到的扭曲程度较小的图像输入到训练好的深度学习网络模型中，进而得到重建后的无扭曲图像。
四、实验验证及结果对比
为了进一步验证本发明方法的有效性和可行性，本实施例在训练好的模型进行测试过程中，采用经典数据集(包括“棋盘格”、“砖块”、“字体”)和海上采集数据进行验证。
(1)使用经典数据集进行对比实验
如图3所示，为部分扭曲图像数据，图4为采用本发明方法通过多帧数据融合生成的图像，图5为本发明方法与现有方法对比结果示意图，其中第一行为传统图像配准方法得到的重建图像，第二行为现有神经网络方法得到的重建图像，第三行为本发明方法得到的重建图像，可见，本发明方法相较于其他两种方法更加清晰，而且，在运行过程中发现，本发明方法在处理效率上也有明显优势。
(2)使用采集数据进行对比试验
以在青岛胶州湾附近采集的水下扭曲图像进行测试，通过与现有神经网络方法进行对比。除了采集从空气拍摄水下的扭曲图像数据，本实施例还采集了从水下拍摄空气中的扭曲图像数据，通过两种不同的方法验证本发明的可靠性和鲁棒性。
图6为部分扭曲图像原始数据，图7为本发明与现有神经网络方法的对比结果示意图，第一行为现有神经网络方法得到的重建图像，第二行为本发明所述方法的重构图像示意图，可以看出，现有神经网络方法对单张扭曲程度大的图像恢复能力有限，而本发明方法在实际场景中去除扭曲的同时增强了图像细节，同时还有去雾效果。
可见，本发明充分利用多帧图像信息优势，通过预处理筛选得到单张扭曲相对较小的图像，作为深度学习网络的输入数据进行扭曲图像的恢复和重建，具有更好的复原效果、精度更佳。
以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例应用于其它领域，但是凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。

Claims (3)

1.基于深度学习的水下扭曲图像重建方法，其特征在于，包括以下步骤：
步骤A、采集多帧扭曲图像序列，并对其进行数据融合，得到预筛选扭曲图像；
步骤A1、图像聚类分析，对待重建扭曲图像进行初步筛选；
(1)首先对输入的一组连续的视频帧图像计算均值，得到全部图像序列的均值图像，并以该均值图像作为参考帧；
(2)将每一帧视频帧图像分别与全部图像序列的均值图像进行SSIM度量得到各自对应的SSIM值；
(3)基于K-means聚类算法对(2)中得到的SSIM值进行聚类，通过K-means聚类算法将对应SSIM值的图像分为两类：对两类图像分别计算SSIM均值，SSIM均值高的一类图像被保留，SSIM均值低的一类则丢弃；
步骤A2、对保留一类的帧图像计算均值得到保留序列的均值图像，重复执行步骤A1所述的聚类分析过程，直至K-means聚类算法不再分类，并通过分块重建操作得到预筛选扭曲图像；
步骤B、构建深度学习网络模型，并对其进行学习和训练；
步骤B1、构建水下扭曲成像模型：
I(x)＝J(x+W(x)) (3)
其中，I(x)表示相机在平静的水面上方拍摄水下场景或平静的水面下方拍摄水面上方的场景，J(x)表示相机在水面波动时拍摄的图像，W(x)为反向二维扭曲场；
步骤B2、构建深度学习网络模型并对其训练以预测反向二维扭曲场，结合已知的扭曲图像J(x)，就可以得到正常的无扭曲图像；
步骤C、将预筛选扭曲图像作为深度学习网络模型的输入，得到模型输出，进而实现对水下扭曲图像的重建。
2.根据权利要求1所述的基于深度学习的水下扭曲图像重建方法，其特征在于：所述步骤B2具体采用以下方式实现：
(1)对步骤A1中保留一类的帧图像计算均值得到保留序列的均值图像，将保留序列的帧图像与保留序列的均值图像进行SSIM度量得到各自对应的保留序列SSIM值，并对保留序列SSIM值进行排列分组；对于分组后的保留序列SSIM值，循环计算每组的SSIM均值得到循环分组的SSIM均值，通过比较全部循环分组的SSIM均值，将具有最大值的分组保留进行进一步的图像融合；
(2)对于循环分组中的每一帧图像都分成同样尺寸和数量的图像块，对图像帧中相同位置的图像块计算均值得到块均值图像，将图像帧中相同位置的图像块分别与块均值图像进行SSIM度量得到各自对应的图像块SSIM值，具有最大SSIM值的图像块被保留；对图像中每个位置的图像块重复上述操作并将最后保留的图像块进行拼接输出一张完整的拼接图像进行进一步重建，得到扭曲程度较小的预筛选扭曲图像。
3.根据权利要求1所述的基于深度学习的水下扭曲图像重建方法，其特征在于：所述步骤B2中，深度学习网络模型的构建与训练过程如下：
步骤B21、设计端对端的生成器网络：
Gθ(J(x),x)＝J(x+Wθ(J(x)),x) (4)
其中Wθ为扭曲网络，Gθ为生成器网络；生成器网络包括依次连接的卷积层、残差网络和反卷积层，每个残差网络包括两个卷积层和一个全连接层；
步骤B22、设计损失函数与判别器网络：
(1)设置L1损失函数
Figure FDA0002479790540000021
其中，I(x)为未扭曲图像，Gθ(J(x),x)为生成器的输出图像；
(2)设置对抗损失函数
基于相对论平均LSGAN中的最小二乘法实现训练目标：
Ladv＝E[(Gθ(I)-E[Gθ(J)]+1)2]+E[(Gθ(J)-E[Gθ(I)]-1)2]； (7)
(3)设置感知损失函数
Figure FDA0002479790540000022
其中，
Figure FDA0002479790540000023
表示预训练卷积神经网络的输出；
进而确定所构建的深度学习网络模型的生成式对抗网络的损失函数为：
L＝Lcon+λa·Ladv+λp·Lper (9)
其中，λa和λp表示权值；
步骤B23、归一化训练参数设置：对学习率η，对抗损失函数与感知损失函数的权重λa、λp以及批大小的值进行设置；
步骤B24、以ImageNet中的数据集为基础，对深度学习网络模型进行训练。
CN202010375370.9A 2020-05-07 2020-05-07 基于深度学习的水下扭曲图像重建方法 Pending CN111696049A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010375370.9A CN111696049A (zh) 2020-05-07 2020-05-07 基于深度学习的水下扭曲图像重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010375370.9A CN111696049A (zh) 2020-05-07 2020-05-07 基于深度学习的水下扭曲图像重建方法

Publications (1)

Publication Number Publication Date
CN111696049A true CN111696049A (zh) 2020-09-22

Family

ID=72476480

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010375370.9A Pending CN111696049A (zh) 2020-05-07 2020-05-07 基于深度学习的水下扭曲图像重建方法

Country Status (1)

Country Link
CN (1) CN111696049A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111524083A (zh) * 2020-05-07 2020-08-11 桂林电子科技大学 基于结构光的主被动相结合水下对空成像图像恢复方法
CN111787187A (zh) * 2020-07-29 2020-10-16 上海大学 利用深度卷积神经网络进行视频修复的方法、***、终端
CN112396137A (zh) * 2020-12-14 2021-02-23 南京信息工程大学 一种融合上下文语义的点云语义分割方法
CN112907464A (zh) * 2021-02-01 2021-06-04 涂可致 一种水下热扰动图像复原方法
CN113592738A (zh) * 2021-07-28 2021-11-02 南通泰胜蓝岛海洋工程有限公司 一种水下扭曲图像复原方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170177975A1 (en) * 2015-12-21 2017-06-22 Ningbo University Image quality objective evaluation method based on manifold feature similarity
CN107968962A (zh) * 2017-12-12 2018-04-27 华中科技大学 一种基于深度学习的两帧不相邻图像的视频生成方法
CN110599401A (zh) * 2019-08-19 2019-12-20 中国科学院电子学研究所 遥感图像超分辨率重建方法、处理装置及可读存储介质
CN110852944A (zh) * 2019-10-12 2020-02-28 天津大学 基于深度学习的多帧自适应融合的视频超分辨方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170177975A1 (en) * 2015-12-21 2017-06-22 Ningbo University Image quality objective evaluation method based on manifold feature similarity
CN107968962A (zh) * 2017-12-12 2018-04-27 华中科技大学 一种基于深度学习的两帧不相邻图像的视频生成方法
CN110599401A (zh) * 2019-08-19 2019-12-20 中国科学院电子学研究所 遥感图像超分辨率重建方法、处理装置及可读存储介质
CN110852944A (zh) * 2019-10-12 2020-02-28 天津大学 基于深度学习的多帧自适应融合的视频超分辨方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HAN ZHANG: "Self attention generative adversarial networks", 《PROCEEDINGS OF THE 36TH INTERNATIONAL CONFERENCE ON MACHINE LEARNING》 *
ZHEN ZHANG: "Reconstruction of distorted underwater images using robust registration", 《OPTICS EXPRESS》 *
ZHENGQIN LI: "Learning to See through Turbulent Water", 《PROCEEDINGS OF WORKSHOP ON APPLICATIONS OF COMPUTER VISION (2018)》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111524083A (zh) * 2020-05-07 2020-08-11 桂林电子科技大学 基于结构光的主被动相结合水下对空成像图像恢复方法
CN111787187A (zh) * 2020-07-29 2020-10-16 上海大学 利用深度卷积神经网络进行视频修复的方法、***、终端
CN111787187B (zh) * 2020-07-29 2021-07-02 上海大学 利用深度卷积神经网络进行视频修复的方法、***、终端
CN112396137A (zh) * 2020-12-14 2021-02-23 南京信息工程大学 一种融合上下文语义的点云语义分割方法
CN112396137B (zh) * 2020-12-14 2023-12-15 南京信息工程大学 一种融合上下文语义的点云语义分割方法
CN112907464A (zh) * 2021-02-01 2021-06-04 涂可致 一种水下热扰动图像复原方法
CN113592738A (zh) * 2021-07-28 2021-11-02 南通泰胜蓝岛海洋工程有限公司 一种水下扭曲图像复原方法
CN113592738B (zh) * 2021-07-28 2024-04-23 南通泰胜蓝岛海洋工程有限公司 一种水下扭曲图像复原方法

Similar Documents

Publication Publication Date Title
CN111275637B (zh) 一种基于注意力模型的非均匀运动模糊图像自适应复原方法
CN111696049A (zh) 基于深度学习的水下扭曲图像重建方法
CN111709895A (zh) 基于注意力机制的图像盲去模糊方法及***
CN111915530B (zh) 一种基于端到端的雾霾浓度自适应神经网络图像去雾方法
CN111161178A (zh) 基于生成式对抗网络的单幅低光图像增强方法
Shang et al. Bringing events into video deblurring with non-consecutively blurry frames
CN111091503B (zh) 基于深度学习的图像去失焦模糊方法
CN113592736B (zh) 一种基于融合注意力机制的半监督图像去模糊方法
CN111754446A (zh) 一种基于生成对抗网络的图像融合方法、***及存储介质
Hu et al. Underwater image restoration based on convolutional neural network
CN110580472B (zh) 一种基于全卷积网络和条件对抗网络的视频前景检测方法
CN110533623B (zh) 一种基于监督学习的全卷积神经网络多聚焦图像融合方法
CN109801215A (zh) 基于对抗生成网络的红外超分辨率成像方法
CN114463218B (zh) 一种基于事件数据驱动的视频去模糊方法
CN116596792B (zh) 一种面向智能船舶的内河雾天场景恢复方法、***及设备
Zhang et al. Deep motion blur removal using noisy/blurry image pairs
CN115272072A (zh) 一种基于多特征图像融合的水下图像超分辨率方法
Lamba et al. Fast and efficient restoration of extremely dark light fields
CN107220945A (zh) 多重退化的极模糊图像的复原方法
CN113379861B (zh) 基于色彩恢复块的彩色微光图像重建方法
CN112598604A (zh) 一种盲脸复原方法及***
CN116703750A (zh) 基于边缘注意力和多阶微分损失的图像去雾方法及***
CN114119428B (zh) 一种图像去模糊方法和装置
CN113935910A (zh) 一种基于深度学习的图像模糊长度测量方法
CN114140361A (zh) 融合多级特征的生成式对抗网络图像去雾方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200922

RJ01 Rejection of invention patent application after publication