CN117689592A - 一种基于级联自适应网络的水下图像增强方法 - Google Patents
一种基于级联自适应网络的水下图像增强方法 Download PDFInfo
- Publication number
- CN117689592A CN117689592A CN202311691713.2A CN202311691713A CN117689592A CN 117689592 A CN117689592 A CN 117689592A CN 202311691713 A CN202311691713 A CN 202311691713A CN 117689592 A CN117689592 A CN 117689592A
- Authority
- CN
- China
- Prior art keywords
- module
- convolution
- global
- feature
- underwater
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 230000004927 fusion Effects 0.000 claims abstract description 20
- 238000011084 recovery Methods 0.000 claims abstract description 19
- 238000009877 rendering Methods 0.000 claims abstract description 18
- 238000012549 training Methods 0.000 claims abstract description 14
- 238000012545 processing Methods 0.000 claims abstract description 12
- 230000008569 process Effects 0.000 claims description 15
- 238000011176 pooling Methods 0.000 claims description 11
- 230000004913 activation Effects 0.000 claims description 10
- 238000010606 normalization Methods 0.000 claims description 8
- 230000002708 enhancing effect Effects 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000012935 Averaging Methods 0.000 claims description 3
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 3
- 230000006978 adaptation Effects 0.000 claims description 3
- 230000015556 catabolic process Effects 0.000 claims description 3
- 230000006835 compression Effects 0.000 claims description 3
- 238000007906 compression Methods 0.000 claims description 3
- 238000006731 degradation reaction Methods 0.000 claims description 3
- 238000013461 design Methods 0.000 claims description 3
- 238000009826 distribution Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 230000003044 adaptive effect Effects 0.000 claims 6
- 230000017105 transposition Effects 0.000 claims 1
- 230000006870 function Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000004456 color vision Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000007499 fusion processing Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 241000282414 Homo sapiens Species 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000001010 compromised effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007850 degeneration Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/30—Assessment of water resources
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于级联自适应网络的水下图像增强方法，属于图像处理技术领域，该方法首先获取并预处理水下图像数据集，其中包含水下的失真图像。其次构建基于级联自适应网络的水下图像增强模型，所述水下图像增强模型包括细节恢复模块、色彩平衡模块、注意力特征融合模块、上下文注意力和全局颜色渲染模块。最后训练构建好的基于级联自适应的水下图像增强网络模型，得到增强后的水下图像。本发明解决了水下图像中细节模糊和颜色失真的问题，能得到较优的干净的水下像图。
Description
技术领域
本发明属于图像处理技术领域，具体涉及一种基于级联自适应网络的水下图像增强方法。
背景技术
海洋与人类生活密切相连，对海洋资源的勘探和开发具有重要的科学和环境意义。水下图像携带着丰富的关于海洋资源的信息，在其开发和利用中发挥着至关重要的作用。近年来，海洋工程和研究越来越依赖于捕捉到的水下图像。
然而，由于独特的物理和化学环境的影响，水下场景遭受光的折射、吸收和散射等现象，给水下考古、水下目标检测和海底探索等应用带来了重大挑战。因此，水下图像往往存在低对比度、模糊细节和颜色失真等问题，给水下考古、水下目标检测和海底探索等应用带来了重大挑战。这些挑战严重制约了相关领域的进展。因此，解决与水下图像质量相关的问题对于推动海洋研究和探索的进展至关重要。
为了解决这些具有挑战性的问题，已经出现了许多水下图像增强(UIE)方法。传统的增强方法往往直接修改像素值，增加饱和度和亮度以增强图像从而导致结果不尽如人意。还有一些基于物理的方法通过准确估计介质传输和关键的水下成像参数来反转水下成像模型，从而获得清晰的图像。然而，水下环境复杂，模型假设并非总是合理。此外，估计多个参数往往会出现误差从而导致整体图像效果欠佳。
随着深度学习的迅速和显著进步，许多研究人员现在采用基于深度学习的算法来增强水下图像。这种方法通常需要大量的数据进行训练，从而有助于提高模型的泛化能力并取得令人印象深刻的结果。大多数基于深度学习的方法通过在有标签的数据集上以监督方式直接学习恢复映射，而无需明确的成像模型。然而，大部分算法常常面临一些挑战，比如在图像清晰度和自然色彩恢复方面的改善不足。
发明内容
针对现有技术中存在的不足，本发明提出一种基于级联自适应网络的水下图像增强方法，结合自适应融合，以解决水下图像中的色偏和低对比度等问题。通过多个子网络逐渐增强降级图像，采用逐层优化策略，实现更精细和全面的图像增强。该方法主要由细节恢复模块、色彩平衡模块、注意力特征融合模块、上下文注意力、全局颜色渲染模块组成，通过对神经网络进行训练，得到最优参数，实现对水下图像的增强。
为了解决上述技术问题，本发明的技术方案为：
一种基于级联自适应网络的水下图像增强方法，包括如下步骤：
S1、获取并预处理水下图像数据集，其中包含水下的失真图像。
S2、构建基于级联自适应网络的水下图像增强模型，所述水下图像增强模型包括细节恢复模块、色彩平衡模块、注意力特征融合模块、上下文注意力、全局颜色渲染模块。
首先失真图像输入细节恢复模块，通过细节恢复模块恢复失真图像中的细节部分，并将第一个卷积单元的输出作为后续上下文注意力的输入。
同时将失真图像输入颜色平衡模块，通过颜色平衡模块消除图像中存在的色彩偏差。将细节恢复模块第一个卷积单元的输出输入上下文注意力，通过上下文注意力关注退化严重区域。
注意力特征融合模块对细节恢复模块以及色彩平衡模块生成的潜在结果进行融合，并将上下文注意力输入来对融合结果进行引导。
最后融合的结果输入全局颜色渲染模块中对图片进行整体调整。
S3、训练构建好的基于级联自适应的水下图像增强网络模型，得到增强后的水下图像。作为优选，所述通过细节恢复模块恢复失真图像中的细节部分的具体方法：细节恢复模块采用编码器-解码器网络结构，并在解码器层中加入了细节引导模块来有效地协助高级特征恢复图像细节。编码器-解码器网络用卷积单元(卷积层+实例归一化层+激活层)对图像进行编码和解码，并使用三个残差块作为瓶颈部分，以增加网络的容量。编码部分捕捉低级特征，而解码部分则用于重建更高级特征。同时将编码部分的低级特征和解码部分的高级特征输入细节引导模块中，细节引导模块首先应用全局平均池化来处理编码部分的低级特征，将其转化为全局信息表示。通过将这个全局信息与高级特征结合，引入更广泛的上下文来指导高级特征，使其能够准确选择需要增强的细节。同时，对高级特征进行卷积操作，以保持通道一致性，低级特征生成的全局信息经过1×1卷积后与卷积操作后的高级特征相乘，再与卷积操作后的高级特征相加，使低级特征能够有效地引导高级特征。此外，网络将低级特征作为后序上下文注意力的输入。
作为优选，所述通过颜色平衡模块消除图像中存在的色彩偏差的具体方法：颜色平衡模块通过使用3D卷积来增加特征的维度。相比原有的特征维度，增加的一个维度代表RGB通道的深度信息，而3D卷积用于通道平衡。首先，将失真图像分割成3个单独的通道，并利用3D卷积的权重共享特性从不同通道中提取一致的特征分布，每个通道提取16张特征图。然后通过转置操作将来自不同通道的特征图串联在一起，分为16组3通道的特征图。同时进一步的将特征图经过3D卷积并将不同组的多张特征图进行维度压缩，最终生成16个具有独特特征信息的颜色平衡图像。
作为优选，所述通过上下文注意力关注退化严重区域的具体方法：上下文注意力对细节恢复模块中的低级特征进行进一步处理。注意结构采用混合设计，先构建全局和局部分支以保留感知的全局和局部方面。最后，对全局和局部分支得到的全局和局部上下文信息进行求和。全局分支包括：(a)上下文建模模块，一条分支改变特征维度，另有一条改变特征维度后经过softmax函数，二者相乘的输出即为获取所有位置的注意权重；(b)特征转换模块捕获通道间的依赖关系，将上下文建模模块的输出经过顺序连接的1×1卷积层、激活函数层、1×1卷积层。局部分支利用两个平行的1×1卷积层结构提取局部上下文信息，同时在其中一个分支在卷积操作前执行全局平均池化。最后，求和操作将从两个分支提取的特征进行合并。
作为优选，所述通过注意力特征融合模块对生成的潜在结果进行融合的具体方法：注意力特征融合模块用来融合图像细节和颜色平衡结果，并引入了上下文注意力来引导融合过程，使网络能够同时关注全局和局部信息。该模块可以自适应地融合细节恢复模块和颜色平衡模块生成的两个潜在结果，具体体现在首先将细节恢复模块和颜色平衡模块生成的结果以及上下文注意力的输出求和，将求和结果分别通过两个平行的1×1卷积层结构，其中一个分支在卷积操作前执行全局平均池化，再将两个结果相加经过激活函数，得到得出细节恢复模块和的颜色平衡模块对应权重，然后将细节恢复模块和颜色平衡模块生成的结果与权重相乘并求和，得出最终融合的结果。
作为优选，所述通过全局颜色渲染模块对图片进行整体调整的具体方法：全局颜色渲染模块将通道分成4组，其中三个组分别通过调整块进行调整，另外一个组不经过调整块调整，用来保留原有图像信息。调整全程使用1×1卷积，将每个像素进行转换从而调整整体图像。调整块(1×1卷积层+实例归一化层+1×1卷积层)基于组别来自适应地选择哪些组应参与增强。然后通过使用拼接操作，将4个组调整后的结果进行合并。最后，全局颜色渲染模块采用1×1卷积来交互地处理特征信息。
作为优选，所述步骤S3的具体方法：训练过程中，整体网络的结果进行监督，并将GT图(真值图)同时进行裁剪，使其与输入数据具有相同的尺寸，通过对比预测图与GT图的差异，观测损失值的和是否收敛来判断网络的训练过程。
本发明具有以下的特点和有益效果：
采用上述技术方案，细节恢复模块和颜色平衡模块，分别用于解决水下图像中细节模糊和颜色失真的问题。此外，引入了上下文注意力以重复使用低级特征，增强网络的细节重建能力。并且结合了基于注意机制的融合机制，以自适应地选择最具代表性的特征，并合并来自两个处理流的结果。全局颜色渲染模块进行后处理增强图像，提升网络的色彩感知，并进一步微调颜色。灵活的网络结构配合合理的损失函数设置，能得到较优的干净的水下图像图。与其他水下图像增强方法对比，本发明对物体的细节处理更为精细，色彩处理恰当，能产生更好的效果。同时本发明构建的模型，易于为工程实际应用人员理解，以便更快更好的进行工程部署。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例的网络方法图；
图2为细节恢复模块结构；
图3为颜色平衡模块结构；
图4为上下文注意力结构；
图5为特征注意力融合模块结构；
图6为全局颜色渲染模块结构；
图7为本发明的测试效果图及与原图和GT图效果对比。
具体实施方式
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以通过具体情况理解上述术语在本发明中的具体含义。
本发明提供了一种基于级联式自适应增强网络的水下图像增强方法，如图1所示，包括如下步骤：
S1、获取并预处理水下图像数据集，其中包含水下的失真图像。
S2、构建基于级联自适应网络的水下图像增强模型，所述模型包括细节恢复模块、色彩平衡模块、注意力特征融合模块、上下文注意力、全局颜色渲染模块。
具体的，所述的水下图像增强模型包括粗特征恢复、特征聚合和细化阶段。在粗特征恢复阶段，将图像增强过程分为两个任务：颜色恢复和恢复受损图像的细节。在随后的特征聚合阶段，引入了一个基于注意力的融合模块，将这些任务的结果结合起来，通过特征注意力强调严重受损的区域。此外，为了进一步提高模型的性能，在最终的细化阶段，继续调整图像的整体颜色，确保更具视觉吸引力的结果。
(1)通过细节恢复模块恢复失真图像中的细节部分如图2所示；
细节恢复模块采用编码器-解码器网络结构，并在每个解码器层中加入了细节引导模块来有效地协助高级特征恢复图像细节。网络用卷积单元(3×3卷积层+实例归一化层+激活层)对图像进行编码和解码，并使用三个残差块作为瓶颈部分，以增加网络的容量。编码部分捕捉低级特征，而解码部分则用于重建高级特征。同时将编码部分的低级特征和解码部分的高级特征输入细节引导模块中，细节引导模块首先应用全局平均池化来处理低级特征，将其转化为全局信息表示。通过将这个全局信息与高级特征结合，引入更广泛的上下文来指导高级特征，使其能够准确选择需要增强的细节。同时，对高级特征进行3×3卷积操作，以保持通道一致性。从低级特征生成的全局上下文信息经过1×1卷积后与高级特征相乘，再与卷积操作后的高级特征相加，使低级特征能够有效地引导高级特征。此外，网络将低级特征作为后序上下文注意力的输入。
可以理解的，使用由卷积单元组成的编码器，导入处理后的失真水下图像，提取4层特征，各层特征之间以最大池化的下采样连接，输出信息尺寸分别为原图像的1/1，1/1，1/2，1/4，通道数分别为16,64,128,256。
(2)通过颜色平衡模块消除图像中存在的色彩偏差如图3所示；另外，所述具体方法：颜色平衡模块通过使用3D卷积来增加特征的维度。增加的维度代表RGB通道的深度信息，而3D卷积用于通道平衡。首先，将图像分割成3个单独的通道，并利用3D卷积的权重共享特性从不同通道中提取一致的特征分布，每个通道提取16张特征图。接着转置操作将来自不同通道的特征图串联在一起，分为16组3通道的特征图。同时进一步的将特征图经过3D卷积并将不同组的多张特征图进行维度压缩，最终生成16个具有独特特征信息的颜色平衡图像。
(3)通过上下文注意力关注退化严重区域如图4所示；进一步的，具体方法：上下文注意力对细节恢复模块中的低级特征进行进一步处理。注意结构采用混合设计，创建全局和局部分支以保留感知的全局和局部方面。最后，对全局和局部上下文信息进行求和。全局分支包括：(a)上下文建模模块，一条分支使用reshape改变特征维度，另有一条同样使用reshape改变特征维度后经过softmax函数，二者相乘的输出即为获取所有位置的注意权重；(b)特征转换模块捕获通道间的依赖关系，将上下文建模模块的输出经过1×1卷积+激活+1×1卷积。局部分支利用两个平行的1×1卷积层提取局部上下文信息，同时在其中一个分支在卷积操作前执行全局平均池化以合并一些全局信息。最后，求和操作将从两个分支提取的特征进行合并。上下文注意力的详细整体过程总结如下：
其中x是输入特征，αi是全局注意力池的权重，表示上下文建模模块，该模块通过与权重αi加权平均将所有位置的特征组合在一起，以获得全局上下文特征。Conv2(ReLU(Conv1(·)))表示特征变换以捕获通道依赖关系。而Conv2(BN(Conv1(·)))+Conv2(BN(Conv1(Avgpool(·)))则代表上下文注意力的提取局部上下文信息部分。Conv(·)表示卷积部分，ReLU(·)表示激活部分，BN(·)表示批归一化部分，Avgpool(·)表示全局平均池化。(4)注意力特征融合模块用来融合图像细节和颜色平衡结果，如图5所示；所述的具体方法：注意力特征融合模块用来融合图像细节和颜色平衡结果，并引入了上下文注意力来引导融合过程，使网络能够同时关注全局和局部信息。该模块可以自适应地融合细节恢复模块和颜色平衡模块生成的两个潜在结果，具体体现在首先将细节恢复模块和颜色平衡模块生成的结果以及上下文注意力求的输出和，将求和结果分别通过两个平行的1×1卷积层结构，其中一个分支在卷积操作前执行全局平均池化，再将两个结果相加经过激活函数，得到得出细节恢复模块和的颜色平衡模块对应权重，然后将细节恢复模块和颜色平衡模块生成的结果与权重相乘并求和，得出最终融合的结果。因此，注意特征融合可以表示为：
weight＝Conv2(BN(Conv1(x)))+Conv2(BN(Conv1(Avgpool(x)))
其中+表示逐元素求和，代表逐元素乘法。x表示输入特征，a代表细节恢复模块的输出，b代表颜色平衡模块的输出，c代表上下文注意力的输出。Conv(·)表示卷积部分，ReLU(·)表示激活部分，BN(·)表示批归一化部分，Avgpool(·)表示全局平均池化。
(5)通过全局颜色渲染模块对图片进行整体调整如图6所示；
具体的，所述具体方法：全局颜色渲染模块将通道分成4组，其中三个组分别通过调整块进行调整，另外一个组不经过调整块调整，用来保留原有图像信息。调整全程使用1×1卷积，将每个像素进行转换从而调整整体图像。调整块(1×1卷积层+实例归一化层+1×1卷积层)基于组别来自适应地选择哪些组应参与增强。然后通过使用concat操作，将4个组调整后的结果进行合并。最后，全局颜色渲染模块采用1×1卷积来交互地处理特征信息。
S3、训练构建好的基于级联自适应的水下图像增强网络模型；
具体的，所述步骤S3的具体方法：训练过程中，整体网络的结果进行监督，并将GT图同时进行裁剪，使其与输入数据具有相同的尺寸，通过对比预测图与GT图的差异，观测损失值的和是否收敛来判断网络的训练过程。
输入数据的尺寸统一调整为256×256×3，批处理大小设置为16，在训练过程中利用Adam优化器对模型参数进行更新操作，初始学习率设置为1e-4。
上述技术方案中，结合使用I1损失、SSIM损失和感知损失。损失函数计算预测图像和GT之间的L1距离。损失函数中使用SSIM损失对预测图像施加结构和纹理相似性。像素SSIM对像素x的定义为：
其中SSIM(x)的计算需要像素x的邻域即patch。预测图像的patch的均值和标准差分别为μI，σI，和/>为GT的均值和标准差。/>是交叉协方差。这里取x像素周围11x11的patch进行计算，并设置C1＝0.01和C2＝0.03。
SSIM的损失函数可以写成设置E(x)＝1-SSIM(x)：
感知损失表示为预测图像和地面真实图像的特征表示之间的距离，来衡量图像之间的高级感知和语义差异：
其中φj是预训练的VGG19的第j个卷积层；N是训练过程中每批的数量；CjHjWj表示VGG-19网络特征图的第j层维度，其中Cj、Hj、Wj分别表示特征图的数量、高度和宽度。
本训练过程中，通过观测3个损失值的和是否收敛来判断网络的训练过程，若其值收敛，则此网络训练完成。
采用上述技术方案，细节恢复模块和颜色平衡模块，分别用于解决水下图像中细节模糊和颜色失真的问题。此外，引入了上下文注意力以重复使用低级特征，增强网络的细节重建能力。并且结合了基于注意机制的融合机制，以自适应地选择最具代表性的特征，并合并来自两个处理流的结果。全局颜色渲染模块进行后处理增强图像，提升网络的色彩感知，并进一步微调颜色。灵活的网络结构配合合理的损失函数设置，能得到较优的干净的水下图像图。如图7所示，与其他水下图像增强方法对比，本发明对物体的细节处理更为精细，色彩处理恰当，能产生更好的效果。同时本发明构建的模型，易于为工程实际应用人员理解，以便更快更好的进行工程部署。相比现有技术而言，结构简单，同时，该方法对细节处理的精细程度和色彩有明显的提升。
另外，由于其能有效去除颜色偏差和提高图片的清晰程度，在水下考古、水下目标检测和海底探索等应用有广泛的应用价值。
以上结合附图对本发明的实施方式作了详细说明，但本发明不限于所描述的实施方式。对于本领域的技术人员而言，在不脱离本发明原理和精神的情况下，对这些实施方式包括部件进行多种变化、修改、替换和变型，仍落入本发明的保护范围内。
Claims (7)
1.一种基于级联自适应网络的水下图像增强方法，其特征在于，包括如下步骤：
S1、获取并预处理水下图像数据集，其中包含水下的失真图像；
S2、构建基于级联自适应网络的水下图像增强模型，所述水下图像增强模型包括细节恢复模块、色彩平衡模块、注意力特征融合模块、上下文注意力和全局颜色渲染模块；
S3、训练构建好的基于级联自适应的水下图像增强网络模型，得到增强后的水下图像。
2.根据权利要求1所述的基于级联自适应网络的水下图像增强方法，其特征在于，步骤2所述水下图像增强模型具体实现过程为：首先将失真图像输入细节恢复模块，恢复失真图像中的细节部分；同时将失真图像输入颜色平衡模块，消除图像中存在的色彩偏差；将细节恢复模块第一个卷积单元的输出输入上下文注意力，通过上下文注意力关注退化区域；其次注意力特征融合模块对细节恢复模块以及色彩平衡模块生成的潜在结果进行融合，并将上下文注意力输入对融合结果进行引导；最后融合的结果输入全局颜色渲染模块中对图片进行整体调整。
3.根据权利要求2所述的基于级联自适应网络的水下图像增强方法，其特征在于，所述细节恢复模块具体为：细节恢复模块采用编码器-解码器网络结构，并在解码器层中加入了细节引导模块；
所述编码器-解码器网络用卷积单元对图像进行编码和解码，并使用三个残差块作为瓶颈部分；
编码部分捕捉低级特征，解码部分则重建高级特征；同时将编码部分的低级特征和解码部分的高级特征输入细节引导模块中；
所述卷积单元包括顺序连接的卷积层、实例归一化层、激活层；
所述细节引导模块首先应用全局平均池化处理编码部分的低级特征，将其转化为全局信息表示；同时，对高级特征进行卷积操作，低级特征生成的全局信息经过1×1卷积后与卷积操作后的高级特征相乘，再与卷积操作后的高级特征相加。
4.根据权利要求3所述的基于级联自适应网络的水下图像增强方法，其特征在于，所述颜色平衡模块具体为：颜色平衡模块通过使用3D卷积增加特征的维度；
将失真图像分割成3个单独的通道，并利用3D卷积的权重共享特性从不同通道中提取一致的特征分布，每个通道提取16张特征图；然后通过转置操作将来自不同通道的特征图串联在一起，分为16组3通道的特征图；同时将特征图经过3D卷积并将不同组的多张特征图进行维度压缩，生成16个具有特征信息的颜色平衡图像。
5.根据权利要求4所述的基于级联自适应网络的水下图像增强方法，其特征在于，所述上下文注意力具体为：采用混合设计，先构建全局和局部分支，再对全局和局部分支得到的全局和局部上下文信息进行求和；
所述全局分支包括上下文建模模块和特征转换模块；所述上下文建模模块，一条分支改变特征维度，另有一条分支改变特征维度后经过softmax函数，二者相乘的输出即为获取所有位置的注意权重；特征转换模块将上下文建模模块的输出经过顺序连接的1×1卷积层、激活函数层、1×1卷积层；
所述局部分支利用两个平行的1×1卷积层结构提取局部上下文信息，同时其中一个分支在卷积操作前执行全局平均池化，最后通过求和操作将从两个分支提取的特征进行合并。
6.根据权利要求5所述的基于级联自适应网络的水下图像增强方法，其特征在于，所述注意力特征融合模块具体为：首先将细节恢复模块和颜色平衡模块生成的结果以及上下文注意力的输出求和，将求和结果分别通过两个平行的1×1卷积层结构，其中一个分支在卷积操作前执行全局平均池化，再将两个结果相加经过激活函数，得到得出细节恢复模块和的颜色平衡模块对应权重，然后将细节恢复模块和颜色平衡模块生成的结果与权重相乘并求和，得出最终融合的结果。
7.根据权利要求6所述的基于级联自适应网络的水下图像增强方法，其特征在于，所述全局颜色渲染模块具体为：全局颜色渲染模块将通道分成4组，其中三个组分别通过调整块进行调整，另外一个组不经过调整块调整；然后通过使用拼接操作，将4个组调整后的结果进行合并，再采用1×1卷积交互地处理特征信息；
所述调整块具体包括顺序连接的1×1卷积层、实例归一化层、1×1卷积层。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311691713.2A CN117689592A (zh) | 2023-12-11 | 2023-12-11 | 一种基于级联自适应网络的水下图像增强方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311691713.2A CN117689592A (zh) | 2023-12-11 | 2023-12-11 | 一种基于级联自适应网络的水下图像增强方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117689592A true CN117689592A (zh) | 2024-03-12 |
Family
ID=90134704
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311691713.2A Pending CN117689592A (zh) | 2023-12-11 | 2023-12-11 | 一种基于级联自适应网络的水下图像增强方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117689592A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118096784A (zh) * | 2024-04-28 | 2024-05-28 | 北明成功软件(山东)有限公司 | 基于自适应增强和细粒度引导的遥感图像分割方法及*** |
-
2023
- 2023-12-11 CN CN202311691713.2A patent/CN117689592A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118096784A (zh) * | 2024-04-28 | 2024-05-28 | 北明成功软件(山东)有限公司 | 基于自适应增强和细粒度引导的遥感图像分割方法及*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Yang et al. | Deep edge guided recurrent residual learning for image super-resolution | |
| Li et al. | Single image dehazing via conditional generative adversarial network | |
| CN113658051B (zh) | 一种基于循环生成对抗网络的图像去雾方法及*** | |
| CN111784602B (zh) | 一种生成对抗网络用于图像修复的方法 | |
| CN111179167B (zh) | 一种基于多阶段注意力增强网络的图像超分辨方法 | |
| Ren et al. | Reinforced swin-convs transformer for simultaneous underwater sensing scene image enhancement and super-resolution | |
| Huang et al. | Underwater image enhancement via adaptive group attention-based multiscale cascade transformer | |
| CN113989129A (zh) | 基于门控和上下文注意力机制的图像修复方法 | |
| CN111275638B (zh) | 基于多通道注意力选择生成对抗网络的人脸修复方法 | |
| US20220414838A1 (en) | Image dehazing method and system based on cyclegan | |
| CN116797488A (zh) | 一种基于特征融合与注意力嵌入的低照度图像增强方法 | |
| CN116152120A (zh) | 一种融合高低频特征信息的低光图像增强方法及装置 | |
| CN112633234A (zh) | 人脸去眼镜模型训练、应用方法及其装置、设备和介质 | |
| CN114638768B (zh) | 一种基于动态关联学习网络的图像去雨方法、***及设备 | |
| CN113781324A (zh) | 一种老照片修复方法 | |
| Han et al. | UIEGAN: Adversarial learning-based photorealistic image enhancement for intelligent underwater environment perception | |
| CN116664435A (zh) | 一种基于多尺度人脸解析图融入的人脸复原方法 | |
| Tang et al. | AutoEnhancer: Transformer on U-Net architecture search for underwater image enhancement | |
| CN115861094A (zh) | 一种融合注意力机制的轻量级gan水下图像增强模型 | |
| CN113379606B (zh) | 一种基于预训练生成模型的人脸超分辨方法 | |
| Liu et al. | WSDS-GAN: A weak-strong dual supervised learning method for underwater image enhancement | |
| Zhang et al. | Mutual dual-task generator with adaptive attention fusion for image inpainting | |
| CN117078544A (zh) | 一种基于双重约束生成对抗网络的水下图像增强方法 | |
| CN117036171A (zh) | 单幅图像的蓝图可分离残差平衡蒸馏超分辨率重建模型及方法 | |
| Wang et al. | UIE-Convformer: Underwater Image Enhancement Based on Convolution and Feature Fusion Transformer |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |