CN117151987A - 一种图像增强方法、装置及电子设备 - Google Patents
一种图像增强方法、装置及电子设备 Download PDFInfo
- Publication number
- CN117151987A CN117151987A CN202210565061.7A CN202210565061A CN117151987A CN 117151987 A CN117151987 A CN 117151987A CN 202210565061 A CN202210565061 A CN 202210565061A CN 117151987 A CN117151987 A CN 117151987A
- Authority
- CN
- China
- Prior art keywords
- image
- enhancement
- target
- attention
- underwater
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 113
- 238000012545 processing Methods 0.000 claims abstract description 110
- 238000012549 training Methods 0.000 claims description 138
- 238000010586 diagram Methods 0.000 claims description 59
- 230000006870 function Effects 0.000 claims description 59
- 238000005457 optimization Methods 0.000 claims description 32
- 238000005070 sampling Methods 0.000 claims description 22
- 238000004590 computer program Methods 0.000 claims description 18
- 238000003384 imaging method Methods 0.000 claims description 13
- 230000000694 effects Effects 0.000 abstract description 16
- 230000008569 process Effects 0.000 description 16
- 238000013135 deep learning Methods 0.000 description 13
- 238000004891 communication Methods 0.000 description 12
- 238000013473 artificial intelligence Methods 0.000 description 11
- 238000000605 extraction Methods 0.000 description 10
- 238000011084 recovery Methods 0.000 description 9
- 238000010801 machine learning Methods 0.000 description 8
- 238000012937 correction Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 5
- 238000011176 pooling Methods 0.000 description 5
- 238000013461 design Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000002787 reinforcement Effects 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 230000009901 attention process Effects 0.000 description 3
- 239000002131 composite material Substances 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 230000005236 sound signal Effects 0.000 description 3
- 230000004075 alteration Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 239000003795 chemical substances by application Substances 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本申请提供一种图像增强方法、装置及电子设备，包括：获取待处理水下图像；基于目标增强模型，对待处理水下图像进行图像增强处理，获取图像增强后的目标水下图像；目标增强模型是基于损失函数对待训练增强模型进行至少一次参数调整后得到的，损失函数是基于待训练增强模型输出的至少两个输出图像中与输入图像尺度相同的输出图像对应的对抗损失，以及至少两个输出图像各自对应的像素及损失构建的，至少两个输出图像的尺度不同。采用对抗损失和至少两个像素级损失构建的损失函数联合完成待训练增强模型的优化，获得目标增强模型，以通过目标增强模型获得清晰准确，且与待处理水下图像内容结构一致的目标水下图像，提升水下图像的图像增强效果。
Description
技术领域
本申请涉及图像处理技术领域，尤其涉及一种图像增强方法、装置及电子设备。
背景技术
水下图像作为认识、探索、开发海洋的主要媒介，在海洋工程、资源开发等海洋领域具有无可替代的作用。但特殊的水下成像环境使得直接获取的水下图像常常有颜色失真、细节模糊等复杂的退化现象，大大降低了获取的水下图像在目标检测，语义分割等视觉任务中的可用性。
因此，为了提升水下图像在目标检测，语义分割等视觉任务中的可用性，通常对水下图像进行图像增强处理，以得到清晰的水下图像；故对水下图像进行图像增强处理成为了计算机视觉中的热点问题。
目前，对水下图像进行图像增强处理的图像增强方法可分为三类，分别为基于传统成像模型的复原方法、基于非物理模型的增强方法，以及基于深度学习的方法。但是，在基于传统成像模型的复原方法，以及基于非物理模型的增强方法，对水下图像进行图像增强处理时，往往具有较高的计算复杂度与较差的实时性，算法泛化能力差，图像增强效果一般。而基于深度学习的方法，对水下图像进行图像增强处理时，虽然具有相对较低的计算复杂度与较好的图像增强效果，但是基于深度学习的方法仍存在色偏恢复不完全、细节增强不充分等问题。
因此，在对水下图像进行图像增强处理时，如何提升水下图像的图像增强效果是目前需要解决的问题。
发明内容
本申请提供一种图像增强方法、装置及电子设备，用以提升水下图像的图像增强效果。
第一方面，本申请实施例提供一种图像增强方法，该方法包括：
获取待处理水下图像；
基于目标增强模型，对待处理水下图像进行图像增强处理，获取图像增强后的目标水下图像；
其中，目标增强模型是基于损失函数对待训练增强模型进行至少一次参数调整后得到的，损失函数是基于待训练增强模型输出的至少两个输出图像中与输入图像尺度相同的第一类输出图像对应的对抗损失，以及至少两个输出图像各自对应的像素级损失构建的，至少两个输出图像的尺度不同。
在本申请实施例中，首先基于待训练增强模型输出的至少两个输出图像中与输入图像尺度相同的第一类输出图像对应的对抗损失，以及至少两个输出图像各自对应的像素级损失构建的损失函数，对待训练增强模型进行至少一次参数调整，以联合完成对待训练增强模型的优化，获得目标增强模型，保证通过优化后获得的目标增强模型可得到清晰准确、且与输入图像内容结构一致的增强图像，其中清晰准确包括图像增强后获得的增强图像色偏恢复完全以及细节增强充分的特性；然后基于目标增强模型，对获取的待处理水下图像进行图像增强处理，获取图像增强后的目标水下图像；此时，目标水下图像为清晰准确、且与待处理水下图像内容结构一致的增强图像。因此，采用本申请提供的图像增强方法，对水下图像进行图像增强处理时，提升了水下图像的图像增强效果。
在一种可能的实现方式中，目标增强模型中包括：第一编码器、第一注意力网络以及第一解码器；
基于目标增强模型，对待处理水下图像进行图像增强处理，包括：
通过第一编码器对待处理水下图像进行特征提取，获取至少两个初始特征图；
通过第一注意力网络，分别对至少两个初始特征图，进行注意力处理，获取相应的目标注意力图；
通过第一解码器，基于获取的至少两个目标注意力图的尺度大小，按照尺度由小到大的方式，依次将目标注意力图与相同尺度的上采样特征图进行拼接，直至拼接后的拼接图像为与待处理水下图像尺度相同后，基于拼接图像确定所述目标水下图像并输出。
在本申请实施例中，提供一种基于目标增强模型，对待处理水下图像进行增强处理的具体实现方式，以保证基于目标增强模型，获得清晰准确、且与待处理水下图像内容结构一致的目标水下图像。
在一种可能的实现方式中，通过第一编码器对待处理水下图像进行特征提取，获取至少两个初始特征图，包括：
通过第一编码器对待处理水下图像进行特征提取，获得与待处理水下图像尺度相同的第一类初始特征图，以及对第一类初始特征图进行至少一次下采样后得到的第二类初始特征图。
在本申请实施例中，对待处理水下图像进行特征提取，获得与待处理树下图像尺度相同的第一类初始特征图，以及对第一类初始特征图进行至少一次下采样后得到的第二类初始特征图，提取出不同尺度的初始特征图，以提取更加全面的特征信息，保证后续图像增强处理的准确性。
在一种可能的实现方式中，分别对至少两个初始特征图，进行注意力处理，包括：
针对任一初始特征图，对初始特征图进行通道注意力处理，获取通道注意力图，将通道注意力图与初始特征图进行相乘处理，获得中间特征图；
将中间特征图进行空间注意力处理，获得空间注意力图，将空间注意力图与中间特征图进行相乘处理，获得相应的目标注意力图。
在本申请实施例中，对初始特征图依次进行通道注意力处理以及空间注意力处理，获得相应的目标注意力图，更加丰富了待处理水下图像的细节信息，以保证后续图像增强处理的准确性。
在一种可能的实现方式中，第一解码器中包括误差反馈网络，且将拼接图像对应的输入上采样特征图作为高尺度特征图，将输入上采样特征图对应的未进行上采样时的特征图作为低尺度特征图；
将目标注意力图与相同尺度的上采样特征图进行拼接后，通过误差反馈网络执行如下操作：
对高尺度特征图进行下采样，获得下采样特征图，并确定下采样特征图与低尺度特征图之间的特征误差，下采样特征图与低尺度特征图的尺度相同；
对特征误差进行反卷积操作，得到高尺度特征图对应的高尺度误差，并将高尺度误差与卷积操作后的拼接图像进行加和处理。
在本申请实施例中，在第一解码器中引入误差反馈网络，且通过误差反馈网络实现特征重构过程中的误差反馈校正，保持不同尺度的特征图之间存在语义一致性等内在联系，进一步保证输出的目标水下图像的清晰准确性，以及与待处理水下图像内容结构的一致性。
在一种可能的实现方式中，待训练增强模型包括：第二编码器、第二注意力网络、第二解码器、判别网络以及监督优化网络；目标增强模型是通过如下方式得到的：
从训练数据集中选取训练样本对，训练样本对中包括：原始图像，及相应的合成水下图像；
通过第二编码器对合成水下图像进行特征提取，获取至少两个训练特征图；
通过第二注意力网络，对至少两个训练特征图，分别进行注意力处理，获取相应的训练注意力图；
通过第二解码器，将至少两个训练注意力图，分别与相应的相同尺度的训练上采样特征图进行拼接，获得至少两个输出图像，其中至少两个输出图像中包括与合成水下图像尺度相同的第一类输出图像，以及尺度小于合成水下图像的第二类输出图像；
通过判别网络，基于第一类输出图像和原始图像之间的第一对比结果，确定对抗损失；
通过监督优化网络，基于第一类输出图像和原始图像之间的第二对比结果、以及第二类输出图像和相同尺度的参考图像之间的第三对比结果，分别确定相应的像素级损失，参考图像是对原始图像下采样得到的；
基于对抗损失和确定的至少两个像素级损失构建损失函数，并通过损失函数对待训练增强模型进行至少一次参数调整，直至满足条件时，获得目标增强模型。
在本申请实施例中，提供一种对待训练增强网络进行训练的具体方式，以获取用于图像增强处理的目标增强模型；在对待训练增强网络进行训练时，主要是基于待训练增强模型输出的至少两个输出图像中与输入图像尺度相同的输出图像对应的对抗损失，以及至少两个输出图像各自对应的像素级损失构建的损失函数，对待训练增强模型进行至少一次参数调整，以联合完成对待训练增强模型的优化，以保证通过优化后获得的目标增强模型可得到清晰准确、且与输入图像内容结构一致的增强图像，其中清晰准确包括图像增强后获得的增强图像色偏恢复完全以及细节增强充分的特性。
在一种可能的实现方式中，合成水下图像是原始图像基于训练成功的水下图像物理成像模型确定的。
在本申请实施例中，合成水下图像是原始图像基于训练成功的水下图像物理成像模型确定的，以准确确定训练数据集中的训练样本对，在保证训练样本对的准确性的基础上，进一步保证训练成功的目标增强模型的准确性，即通过目标增强模型对水下图像进行图像增强时，保证图像增强后的水下图像的准确性，提升水下图像的图像增强效果。
在一种可能的实现方式，基于损失函数对待训练增强模型进行至少一次参数调整，包括：
基于损失函数，通过优化器对待训练增强模型进行至少一次参数调整。
在本申请实施例中，基于损失函数，通过优化器对待训练增强模型进行至少一次参数调整，及通过优化器对待训练增强模型进行优化处理，以保证对待训练增强模型进行优化的准确性。
第二方面，本申请实施例提供一种图像增强装置，该装置包括：
获取单元，用于获取待处理水下图像；
处理单元，用于基于目标增强模型，对待处理水下图像进行图像增强处理，获取图像增强后的目标水下图像；
其中，目标增强模型是基于损失函数对待训练增强模型进行至少一次参数调整后得到的，损失函数是基于待训练增强模型输出的至少两个输出图像中与输入图像尺度相同的第一类输出图像确定的对抗损失，以及至少两个输出图像各自对应的像素级损失构建的，至少两个输出图像的尺度不同。
第三方面，本申请实施例提供一种电子设备，包括：存储器和处理器，其中，存储器，用于存储计算机程序；处理器，用于执行计算机程序以实现本申请实施例提供的图像增强方法的步骤。
第四方面，本申请实施例提供一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现本申请实施例提供的图像增强方法的步骤。
第五方面，本申请实施例提供一种计算机程序产品，其包括计算机程序，计算机程序存储在计算机可读存储介质中；当电子设备的处理器从计算机可读存储介质读取计算机程序时，处理器执行计算机程序，使得电子设备执行本申请实施例提供的图像增强方法的步骤。
本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种应用场景示意图；
图2为本申请实施例提供的第一种待训练增强模型的示意图；
图3为本申请实施例提供的第二种待训练增强模型的示意图；
图4为本申请实施例提供的一种第二编码器的示意图；
图5为本申请实施例提供的一种第二注意力网络的示意图；
图6为本申请实施例提供的第一种第二解码器的示意图；
图7为本申请实施例提供的一种判别网络的示意图；
图8为本申请实施例提供的一种待训练增强模型的具体结构示意图；
图9为本申请实施例提供的一种对待训练增强模型进行训练的方法流程图；
图10为本申请实施例提供的第二种第二解码器的示意图；
图11为本申请实施例提供的另一种待训练增强模型的具体结构示意图；
图12为本申请实施例提供的另一种对待训练增强模型进行训练的方法流程图；
图13为本申请实施例提供的一种目标增强模型的示意图；
图14为本申请实施例提供的一种图像增强的方法流程图；
图15为本申请实施例提供的一种合成水下图像上各算法增强结果示意图；
图16为本申请实施例提供的一种真实水下图像上各算法增强结果示意图；
图17为本申请实施例提供的一种图像增强的具体实施方法流程图；
图18为本申请实施例提供的一种图像增强装置结构图；
图19为本申请实施例提供的另一种图像增强装置结构图；
图20为本申请实施例提供的一种电子设备结构图；
图21为本申请实施例提供的另一种电子设备结构图。
具体实施方式
为了使本申请的目的、技术方案及有益效果更加清楚明白，以下将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请部分实施例，并不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
下文中所用的词语“示例性”的意思为“用作例子、实施例或说明性”。作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
下文中的术语“第一”、“第二”仅用于描述目的，而不能理解为明示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个特征，在本申请实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。
下面对本申请实施例的设计思想进行简要介绍。
本申请涉及图像处理技术领域，主要涉及对水下图像进行图像增强处理技术领域。
由于在水下成像环境中直接获取的水下图像具有复杂的退化现象，降低了水下图像在目标检测，语义分割等视觉任务中的可用性。因此，为了提升水下图像在目标检测，语义分割等视觉任务中的可用性，通常对水下图像进行图像增强处理，以得到清晰的水下图像。
相关技术中，对水下图像进行图像增强处理的图像增强方法可分为三类，分别为基于传统成像模型的复原方法、基于非物理模型的增强方法，以及基于深度学习的方法。
但是，在基于传统成像模型的复原方法，以及基于非物理模型的增强方法，对水下图像进行图像增强处理时，往往具有较高的计算复杂度与较差的实时性，算法泛化能力差，图像增强效果一般。因此，具有相对较低的计算复杂度与较好的图像增强效果的基于深度学习的方法应运而生。虽然，基于深度学习的方法对水下图像进行图像增强处理时，具有相对较低的计算复杂度与较好的图像增强效果，但是基于深度学习的方法仍存在色偏恢复不完全、细节增强不充分等问题，其中，色偏指图像中，某种颜色的色相和饱和度与真实图像有明显差别，色偏恢复不完全指增强的图像中存在未恢复色相和饱和度的像素点；也就是说，基于深度学习的方法对水下图像进行增强处理后，图像增强处理后获得的图像不够清晰准确，图像增强效果差。
因此，在对水下图像进行图像增强处理时，如何提升水下图像的图像增强效果是目前需要解决的问题。
有鉴于此，本申请实施例提供一种图像增强方法、装置及电子设备，具体涉及到一种基于编解码结构与注意力机制的水下图像多尺度逐级增强算法，以在对水下图像进行图像增强处理时，提升水下图像的图像增强效果。
在本申请实施例中，首先，对待训练增强模型进行至少一次的参数调整，以获取训练成功的目标增强模型；然后，通过训练成功的目标增强模型，对待处理水下图像进行图像增强处理，获取图像增强后的目标水下图像；
其中，在对待训练增强模型进行至少一次的参数调整，获取训练成功的目标增强模型时，通过第二编码器、第二注意力网络、第二解码器、判别网络以及监督优化网络构建待训练增强模型，并通过如下方式对待训练增强模型进行训练，以得到训练成功的目标增强模型：
首先，从训练数据集中选取训练样本对，训练样本对中包括：原始图像，及相应的合成水下图像；
其次，将训练样本对中的合成水下图像输入到第二编码器中，通过第二编码器对合成水下图像进行特征提取，获取至少两个训练特征图；
然后，将获取的至少两个训练特征图输入到第二注意力网络，通过第二注意力网络，对至少两个训练特征图，分别进行注意力处理，获取相应的训练注意力图；
接着，将获取的至少两个训练注意力图输入第二解码器，通过第二解码器，将至少两个训练注意力图，分别与相应的相同尺度的训练上采样特征图进行拼接，获得至少两个输出图像，其中至少两个输出图像中包括与合成水下图像尺度相同的第一类输出图像，以及尺度小于合成水下图像的第二类输出图像；
最后，将第一类输出图像输入判别网络，通过判别网络，基于第一类输出图像和原始图像之间的第一对比结果，确定对抗损失；以及将获得的至少两个输出图像输入监督优化网络，通过监督优化网络，基于第一类输出图像和原始图像之间的第二对比结果、以及第二类输出图像和相同尺度的参考图像之间的第三对比结果，分别确定相应的像素级损失，参考图像是对原始图像下采样得到的；并基于对抗损失和确定的至少两个像素级损失构建损失函数，通过损失函数对待训练增强模型进行至少一次参数调整，直至满足条件时，获得训练成功的目标增强模型。
需要说明的是，本申请实施例中，涉及人工智能(Artificial Intelligence，AI)和机器学习(Machine Learning，ML)技术。
人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用***。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。
人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能技术主要包括计算机视觉技术、自然语言处理技术、以及机器学习/深度学习等几大方向。随着人工智能技术研究和进步，人工智能在多个领域展开研究和应用。
机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。对比于数据挖掘从大数据之间找相互特性而言，机器学习更加注重算法的设计，让计算机能够自动地从数据中“学习”规律，并利用规律对未知数据进行预测。
机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习等技术。强化学习(Reinforcement Learning,RL)，又称再励学习、评价学习或增强学习，是机器学习的范式和方法论之一，用于描述和解决智能体(agent)在与环境的交互过程中通过学习策略以达成回报最大化或实现特定目标的问题。
在本申请实施例中，首先通过基于待训练增强模型输出的至少两个输出图像中与输入图像尺度相同的输出图像对应的对抗损失，以及至少两个输出图像各自对应的像素级损失构建的损失函数，对待训练增强模型进行至少一次参数调整，以联合完成对待训练增强模型的优化，获得目标增强模型，保证通过优化后获得的目标增强模型可得到清晰准确、且与输入图像内容结构一致的增强图像，其中清晰准确包括图像增强后获得的增强图像色偏恢复完全以及细节增强充分的特性；然后基于目标增强模型，对获取的待处理水下图像进行图像增强处理，获取图像增强后的目标水下图像；此时，目标水下图像为清晰准确、且与待处理水下图像内容结构一致的增强图像。因此，采用本申请提供的图像增强方法，对水下图像进行图像增强处理时，提升了水下图像的图像增强效果。
在介绍完本申请实施例的设计思想之后，下面对本申请实施例的技术方案能够适用的应用场景做一些简单介绍，需要说明的是，以下介绍的应用场景仅用于说明本申请实施例而非限定。在具体实施过程中，可以根据实际需要灵活地应用本申请实施例提供的技术方案。
参阅图1，图1为本申请实施例的应用场景示意图。该应用场景中包括终端设备110和服务器120，终端设备110与服务器120之间可以通过通信网络进行通信。
在一种可选的实施方式中，通信网络可以是有线网络或无线网络。因此，终端设备110和服务器120可以通过有线或无线通信方式进行直接或间接地连接。比如，终端设备110可以通过无线接入点与服务器120间接地连接，或发终端设备110通过因特网与服务器120直接地连接，本申请在此不做限制。
在本申请实施例中，终端设备110包括但不限于手机、平板电脑、笔记本电脑、台式电脑、电子书阅读器、智能语音交互设备、智能家电、车载终端等设备；终端设备上可以安装有获取以及展示水下图像的客户端，该客户端可以是软件应用(例如浏览器、视频软件等)，也可以是网页、小程序等；
服务器120则是与软件或是网页、小程序等相对应的后台服务器，或者是专门用于图像增强处理的服务器，本申请不做具体限定。服务器120可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式***，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
需要说明的是，本申请实施例中的图像增强方法可以由电子设备执行，该电子设备可以为服务器120或者终端设备110，即，该方法可以由服务器120或者终端设备110单独执行，也可以由服务器120和终端设备110共同执行。
在终端设备110单独执行时，比如，可由终端设备110获取待处理水下图像，然后基于目标增强模型，对待处理水下图像进行图像增强处理，获取图像增强后的目标水下图像。
在服务器120单独执行时，比如，可由终端设备110获取待处理水下图像，然后将待处理水下图像发送给服务器120，服务器120基于目标增强模型，对待处理水下图像进行图像增强处理，获取图像增强后的目标水下图像。
在服务器120和终端设备110共同执行时，比如，可由终端设备110对获取的待处理水下图像的至少两个初始特征图，并将获取的至少两个初始特征图传输给服务器120，由服务器120基于至少两个初始特征图，获取图像增强后的目标水下图像。
需要说明的是，在下文中，主要是以服务器单独执行为例进行举例说明的，在此不做具体限定。即在具体实施中，终端设备110获取待处理水下图像，并将待处理水下图像传输给服务器120，服务器120在获取待处理水下图像后，服务器120可以采用本申请实施例的图像增强方法，对待处理水下图像进行图像增强处理，获取图像增强后的目标水下图像。
需要说明的是，图1所示只是举例说明，实际上终端设备110和服务器120的数量不受限制，在本申请实施例中不做具体限定。
本申请实施例中，当服务器120的数量为多个时，多个服务器120可组成为一区块链，而服务器120为区块链上的节点；如本申请实施例所公开的图像增强方法，其中所涉及的训练数量集可保存于区块链上。
基于上述应用场景，下面结合上述描述的应用场景，根据附图来描述本申请示例性实施方式提供的图像增强方法，需要注意的是，上述应用场景仅是为了便于理解本申请的精神和原理而示出，本申请的实施方式在此方面不受任何限制，且此处所描述的实施方式仅用于说明和解释本申请，并不用于限定本申请，并且在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
本申请实施例提供的图像增强方法，是通过目标增强模型实现的，因此若实现本申请实施例提供的图像增强方法，首先应对待训练增强模型进行训练，获得训练成功的目标增强模型。下面，参考实施例一的实施方式，对图像增强模型的训练方法进行详细说明。
实施例一：图像增强模型的训练方法，即获取目标图像增强模型。
参考图2，图2示例性提供本申请实施例中第一种待训练增强模型的示意图，该待训练增强模型20中包括：生成网络21、判别网络22以及监督优化网络23；
其中，生成网络21用于输出至少两个输出图像，其中，至少两个输出图像中包括：与输入的合成水下图像尺度相同的第一类输出图像，以及尺度小于合成水下图像的第二类输出图像；判别网络22用于基于第一类输出图像和相应的原始图像，确定对抗损失；监督优化网络22用于基于至少两个输出图像，以及各自对应的相同尺度的参考图像，确定各自对应的像素级损失，其中参考图像中包括原始图像，以及对原始图像下采样得到的图像，原始图像是合成水下图像对应的原始图像，即合成水下图像未进行水下图像合成之前的图像；以基于对抗损失和至少两个像素级损失构建的损失函数对待训练增强模型进行至少一次的参数调整。
在一种可能的实现方式中，生成网络21由第二编码器210、第二注意力网络211以及第二解码器212组成，以学习由水下图像到清晰的空气中风格图像间的映射关系为目的，生成高质量水下场景的目标水下图像。参考图3，图3示例性提供本申请实施例中第二种待训练增强模型的示意图；
其中，第二编码器210用于对输入的合成水下图像进行特征提取，获取至少两个训练特征图；其中，第二编码器210中包括至少两组卷积层，且相邻两组卷积层之间进行下采样操作，参考图4，图4示例性提供本申请实施例中一种第二编码器的示意图，该示意图以第二编码器210中包含有五组卷积层，且五组卷积层进行了四次下采样操作为例；其中，第二编码器中的所有卷积层均为卷积操作、实例正则化操作与线性整流函数激活操作的级联，下采样操作为最大池化操作，其中，卷积操为卷积核大小为3×3的卷积操作、卷积核大小为5×5的卷积操作、卷积核大小为7×7的卷积操作中的至少一种。需要说明的是，图4仅是一种示例性说明，本申请提供的第二编码器中还可以包含更多的卷积层等。
第二注意力网络211用于对第二编码器输出的训练特征图进行注意力处理，并得到相应的训练注意力图，其中，第二注意力网络为混合域第二注意力网络，包括通道注意力网络和空间注意力网络，即第二注意力网络先后将注意力机制运用在通道和空间两个维度上得到相应的训练注意力图；参考图5，图5示例性提供本申请实施例中一种第二注意力网络的示意图，该示意图中，以先进行通道注意力处理，再进行空间注意力处理为例；在本申请实施例中，通过将混合域第二注意力网络加入到第二编码器和第二解码器的跳跃连接结构中，有效实现对水下场景的内容信息增强与水下色调的去除。
第二解码器212用于对第二编码器输出的至少两个训练注意力图和获取的相同尺度的训练上采样特征图进行特征拼接处理，并输出至少两个输出图像；其中，第二解码器212中包括至少两组特征拼接层，与每组特征拼接层连接的一组卷积层，以及与至少两组卷积层连接的图像输出层，且相邻两组卷积层之间进行上采样操作，参考图6，图6示例性提供本申请实施例中第一种第二解码器的示意图，该示意图以第二解码器212中包含有四组特征拼接层、五组卷积层，三组图像输出层，且五组卷积层进行了四次上采样操作为例。需要说明的是，图6仅是一种示例性说明，本申请提供的第二解码器中还可以包含更多的卷积层等。
第二解码器中的所有卷积层均为卷积操作、实例正则化操作与线性整流函数激活操作的级联，且卷积操为卷积核大小为3×3的卷积操作、卷积核大小为5×5的卷积操作、卷积核大小为7×7的卷积操作中的至少一种；特征拼接层为两同尺度特征矩阵在通道维度上的拼接操作；图像输出层为卷积核大小为1×1的卷积操作；上采样操作为反卷积操作。
需要说明的是，在本申请实施例中，第二解码器中的上采样操作可以替换为双线性插值操作。
在一种可能的实现方式中，判别网络22用于将生成网络输出的与合成水下图像尺度相同的第一类输出图像，与原始图像进行对比，确定相应的对抗损失，以通过对抗损失调整待训练增强网络的网络参数，促使进行图像增强后的输出图像更接近原始图像。
在本申请实施例中，判别网络使用了马尔科夫判别器的体系结构，参考图7，图7示例性提供本申请实施例中一种判别网络的示意图，该示意图中以判别网络中包括有五个卷积层为例。其中，前四个卷积层均为卷积操作、实例正则化操作与线性整流函数激活操作的级联，其中，卷积操为卷积核大小为3×3的卷积操作、卷积核大小为5×5的卷积操作、卷积核大小为7×7的卷积操作中的至少一种；最后一个卷积层为卷积核大小为3×3的卷积操作。
在本申请实施例中，优化监督网络用于基于至少两个输出图像，以及各自对应的相同尺度的参考图像，确定各自对应的像素级损失，以通过多个像素级损失调整待训练增强网络的网络参数，实现多尺度输出与多监督过程，进一步实现从粗到细的高分辨率图像重建，提高对水下图像进行增强处理后的目标水下图像的清晰度以及准确性。
具体的，参考图8，图8实施例提供本申请实施例中一种待训练增强模型的具体结构示意图，其中，该待训练增强模型中包含的各个部分及其相应的作用参见上述内容。
基于图8所示的待训练增强模型，在本申请实施例中，还提出一种对待训练增强模型进行训练的模型训练方法，以获取训练成功的目标增强模型。参考图9，图9示例性提供本申请实施例中一种对待训练增强模型进行训练的方法流程图，包括如下步骤：
步骤S900，从训练数据集中选取训练样本对，其中，训练样本对中包括：原始图像，及与原始图像相对应的合成水下图像；
本申请实施例中，待训练增强模型是基于PyTorch深度学习框架实现的，深度学习是一种数据驱动的建模方式。因此，在模型训练过程中，首先确定训练数据集，为满足模型对训练数据的需求，将NYU-V2数据集中的图像作为原始图像，并针对每个原始图像利用水下图像物理成像模型生成相应的合成水下图像；然后，将原始图像和相应的合成水下图像作为训练样本对，对待训练增强模型进行训练。
步骤S901，将合成水下图像输入第二编码器中，通过第二编码器对合成水下图像进行特征提取，获取至少两个训练特征图；
参考图8，当将合成水下图像输入到编码器中，首先通过一组卷积层对合成水下图像进行特征提取，获取与合成水下图像尺度相同的第一类训练特征图；然后，对第一类训练特征图进行下采样操作，获得训练下采样特征图，通过另一组卷积层对训练下采样特征图进行特征提取，获取尺度小于合成水下图像的第二类训练特征图。
在一种可能的实现方式中，在第二编码器中执行至少一次下采样操作，因此，通过第二编码器可获取至少两个训练特征图。
步骤S902，将获取的至少两个训练特征图，输入第二注意力网络中，通过第二注意力网络，对至少两个训练特征图，分别进行注意力处理，获取相应的训练注意力图；
由于本申请实施例提供的第二注意力网络由通道注意力网络和空间注意力网络组成；因此在通过第二注意力网络对训练特征图进行注意力处理时：首先，通过通道注意力网络对训练特征图进行通道注意力处理，获取通道训练注意力图；然后，将通道训练注意力图与训练特征图进行特征图相乘操作，获得中间训练特征图；接着，将中间训练特征图通过空间注意力网络进行空间注意力处理，获取空间训练注意力图；最后，将空间训练注意力图与中间训练特征图进行特征图相乘操作，获取相应的训练注意力图。
下面，以对一个训练特征图，进行注意力处理，获取相应的训练注意力图为例，进行详细说明。
将第二编码器中训练特征图定义为F，F的维度大小为h×w×c，其中h表示高、w表示宽、c表示通道数。首先，对F进行通道注意力处理，然后对通道注意力的结果进行空间注意力处理。通道注意力聚焦的是哪些通道的特征是有意义的，首先对训练特征图在空间维度(h×w)进行压缩，通过最大池化和全局平均池化聚合空间信息，得到两个1×1×c的通道描述符。然后，将两个1×1×c的通道描述符输入到由一个多层感知器(MultilayerPerceptron，MLP)组成的共享网络中，获得变换结果输出。接着，对两组特征向量逐元素相加合并后经过一个Sigmoid函数(σ)，得到归一化的通道训练注意力图的权重系数Mc。该过程可用下式表示：
Mc(F)＝σ(MLP(MaxPool(F))+MLP(AvgPool(F))
最终，将权重系数Mc与训练特征图F相乘，即可得到经过通道注意力机制的中间训练特征图F′对应的新特征矩阵，实现关注有意义通道，忽略无用通道的目的。
空间注意力网络以完成通道注意力处理的中间训练特征图F′(维度为h×w×c)作为输入，聚焦特征图中哪些位置是需要关注的区域。与通道注意力的实现原理类似，空间注意力网络首先对输入的中间训练特征图F′沿着通道维度进行最大池化和全局平均池化操作，得到两张h×w×1大小的特征图，并将两张h×w×1大小的特征图在通道维度上进行拼接，生成一个特征描述符。之后，经过一个7×7的卷积层，同样使用Sigmoid函数(σ)激活，得到一个空间训练注意力图的权重系数Ms。该过程表示为：
Ms(F)＝σ(f7×7([MaxPool(F)；MLP(AvgPool(F)]))
最终，将权重系数Ms与输入的中间训练特征图F′相乘，得到经过空间注意力机制的训练注意力图的新特征矩阵，实现关注有意义区域，忽略无用区域的目的。
步骤S903，将获取的至少两个训练注意力图，输入到相应的第二解码器中，通过第二解码器中的特征拼接层，基于获取的至少两个训练注意力图的尺度大小，按照尺度由小到大的方式，依次将训练注意力图与相同尺度的训练上采样特征图进行拼接，获取至少两个输出图像；
其中，至少两个输出图像的尺度不同，即至少两个输出图像的分辨率不同；且该至少两个输出图像中包括：与合成水下图像尺度相同的第一类输出图像，以及尺度小于合成水下图像的第二类输出图像。
需要说明的是，本申请实施例中可将尺度替换为分辨率。
参考图8，以一组特征拼接层为例，对获取一个输出图像进行详细说明：将训练注意力图和训练上采样特征图输入到特征拼接层，在特征拼接层中对训练注意力图和训练上采样特征图进行拼接处理，然后将拼接处理后的特征图通过卷积层进行相应的操作，最后通过图像输出层输出相应的输出图像。
需要说明的是，图8中给出的是利用三组卷积层，获取三个输出图像的结构示意图，图8仅是一种示例性说明，并不是唯一表现。
步骤S904，将获取的与合成水下图像尺度相同的第一类输出图像，输入到判别网络，通过判别网络，基于第一类输出图像和原始图像之间的第一对比结果，确定对抗损失；
在模型训练过程中，将生成网络输出的第一类输出图像与其对应的原始图像输入判别网络，得到一个大小为1×16×16的判别矩阵，其中矩阵的每一个元素对应输入的两张图像上的一个比较大的感受野，在每一个局部感受野范围内对输入的两张图像进行判别，并确定对抗损失；通过判别网络与生成网络联合优化，为水下图像增强任务提供风格与局部语义内容等方面的高频监督信息。
步骤S905，将获取的至少两个输出图像，输入到监督优化网络，通过监督优化网络，基于第一类输出图像和原始图像之间的第二对比结果、以及第二类输出图像和相同尺度的参考图像之间的第三对比结果，分别确定相应的像素级损失，参考图像是对原始图像下采样得到的；
在本申请实施例中，针对低分辨率输出的第二类输出图像，分别使用将原始图像下采样到各自相同分辨率图的参考图像进行监督，对于高分辨率输出的第一类输出图像，使用原始图像进行监督。通过多尺度输出与多监督过程，实现从粗到细的高分辨率图像重建，提高增强结果的清晰度以及准确性。
步骤S906，基于对抗损失和确定的至少两个像素级损失构建损失函数；
在本申请实施例中，损失函数可以表示为：
L＝Ladv+λLmulti
其中，Ladv为对抗损失，Lmulti为多尺度像素损失，λ为多尺度像素损失对应的权重参数，采用交叉验证方式确定。
具体的，Ladv可以表示为：
Ladv＝Ε{[logD(xi)]+[log(1-D(G(yi)))]}
其中，xi表示原始图像，yi为由xi利用水下物理成像模型合成的合成水下图像，G(yi)为生成网络输出的增强结果，D(G(yi))与D(xi)为判别网络输出的判别结果。
Lmulti可以表示为：
Lmulti＝τ1Lp1+τ2Lp2+τ3Lp3
其中，Lp1，Lp2，Lp3表示模型在三个尺度上的像素级损失，为保证生成图像的清晰的，像素级损失均采用L1损失函数。τ1、τ2和τ3分别表示从高到低不同尺度重建结果的像素损失在多尺度像素损失中的权重，采用交叉验证方式确定。
需要说明的是，本申请实施例在损失函数的超参数的设置上，取λ、τ1、τ2和τ3的值分别为10、0.6、0.3、0.1。
步骤S907，通过损失函数对待训练增强模型进行至少一次参数调整，直至满足条件时，获得目标增强模型；
其中，条件可以为满足收敛条件，或调整次数满足达到上限，如设置调整次数为100，当参数调整次数达到100次时，获得目标增强模型。
在本申请实施例中，基于损失函数，通过优化器对待训练增强模型进行至少一次参数调整；其中，优化器为ADAM优化器，优化器的动量衰减指数β_1与β_2分别设置为0.50和0.999，初始学习率为0.001。
在本申请中，使用对抗损失和像素损失构成的损失函数联合完成待训练增强模型的优化过程，使待训练增强模型可得到清晰准确，且与原始图像内容结构一致的增强处理后的图像。
本申请实施例中，为了保证模型训练的准确性，在第二解码器中引入误差反馈网络，以实现特征重构过程中的误差反馈校正，尽可能地保持不同尺度的特征图之间存在语义一致性等内在联系，且利用多尺度逐级恢复与重建误差反馈网络，防止图像细节信息丢失，提升对水下图像进行增强处理后获得的图像的清晰度以及准确性。
参考图10，图10示例性提供本申请实施例中第二种第二解码器的示意图，该第二解码器中引入了误差反馈网络；误差反馈网络用于确定图像之间的误差，其中，包括一个卷积层和一个反卷积层。
因此，本申请实施例中提供一种包含有误差反馈网络的待训练增强模型，参考图11，图11示例性提供本申请实施例中另一种待训练增强模型的具体结构示意图。
基于图11所示的待训练增强模型，在本申请实施例中，提出另一种对待训练增强模型进行训练的模型训练方法，以获取训练成功的目标增强模型。参考图12，图12示例性提供本申请实施例中一种对待训练增强模型进行训练的方法流程图，包括如下步骤：
步骤S1200，从训练数据集中选取训练样本对，其中，训练样本对中包括：原始图像，及与原始图像相对应的合成水下图像。
步骤S1201，将合成水下图像输入第二编码器中，通过第二编码器对合成水下图像进行特征提取，获取至少两个训练特征图。
步骤S1202，将获取的至少两个训练特征图，输入第二注意力网络中，通过第二注意力网络，对至少两个训练特征图，分别进行注意力处理，获取相应的训练注意力图。
步骤S1203，将获取的至少两个训练注意力图，输入到相应的第二解码器中，通过第二解码器中的特征拼接层，基于获取的至少两个训练注意力图的尺度大小，按照尺度由小到大的方式，依次将训练注意力图与相同尺度的训练上采样特征图进行拼接，获取至少两个拼接图像；
步骤S1204，将获取的至少两个拼接图像通过卷积层后，输入到相应的第二解码器的误差反馈网络中，通过误差反馈网络对卷积操作后的拼接图像进行校正处理后，通过图像输出层输出至少两个输出图像；
下面，以一个拼接图像为例，对通过误差反馈网络对卷积操作后的拼接图像进行校正处理进行详细说明。
在一种可能的实现方式中，将该拼接图像对应的训练上采样特征图作为训练高尺度特征图fH′，即仅经过上采样等操作后得到的高尺度特征图，将该拼接图像对应的训练上采样特征图未进行上采样时的特征图作为训练低尺度特征图fL，即第二解码器中前一层输出的低尺度特征图；此时，通过误差反馈网络对卷积操作后的拼接图像进行校正处理，包括：
对训练高尺度特征图fH′进行下采样，获得相应的下采样特征图，并确定下采样特征图与训练低尺度特征图fL之间的特征误差，其中，下采样特征图与低尺度特征图的尺度相同；
对特征误差进行反卷积操作，得到训练高尺度特征图fH′对应的高尺度误差，并将高尺度误差与卷积操作后的拼接图像进行加和处理，获取经过误差反馈校正优化后得到的训练高尺度重建特征图fH。
因为fL与fH′均代表增强后的特征图，故二者仅有尺度上的不同，若将训练高尺度特征fH′通过卷积层进行下采样，再次得到的低尺度特征fL′应该与原有训练低尺度特征图fL完全一致。但在模型训练与应用中，由于上采样等过程存在特征损失与偏差，fL′与fL会存在误差。通过计算两低尺度特征间的特征误差EL，并对其进行反卷积操作，即可得到EL对应的高尺度误差EH。将EH与卷积操作后的拼接图像进行加和处理，便能实现对上采样过程的特征校正，得到经过误差反馈校正优化后的训练高尺度重建特征图fH，以此尽可能的减少解码过程中的特征损耗，优化模型性能。
步骤S1205，将获取的与合成水下图像尺度相同的第一类输出图像，输入到判别网络，通过判别网络，基于第一类输出图像和原始图像之间的第一对比结果，确定对抗损失。
步骤S1206，将获取的至少两个输出图像，输入到监督优化网络，通过监督优化网络，基于第一类输出图像和原始图像之间的第二对比结果、以及第二类输出图像和相同尺度的参考图像之间的第三对比结果，分别确定相应的像素级损失，参考图像是对原始图像下采样得到的。
步骤S1207，基于对抗损失和确定的至少两个像素级损失构建损失函数。
步骤S1208，通过损失函数对待训练增强模型进行至少一次参数调整，直至满足条件时，获得目标增强模型。
需要说明的是，图12中未进行解释说明的步骤参考图9，在此不再重复赘述。
在本申请中，在对待训练增强网络进行训练时，主要是基于待训练增强模型输出的至少两个输出图像中与输入图像尺度相同的输出图像对应的对抗损失，以及至少两个输出图像各自对应的像素级损失构建的损失函数，对待训练增强模型进行至少一次参数调整，以联合完成对待训练增强模型的优化，以保证通过优化后获得的目标增强模型可得到清晰准确、且与输入图像内容结构一致的增强图像，其中清晰准确包括图像增强后获得的增强图像色偏恢复完全以及细节增强充分的特性。
基于上述模型训练方法，在获得训练成功的目标增强模型后，通过目标增强模型对待处理水下图像进行图像增强处理；下面，参考实施例二的实施方式，对基于目标图像增强模型对水下图像进行增强处理进行详细说明。
实施例二：图像增强方法，即基于目标图像增强模型对水下图像进行增强处理。
在本申请实施例中，提出一种用于图像增强处理的目标增强模型，参考图13，图13示例性提供本申请实施例中一种目标增强模型的示意图，该目标增强模型是通过上述实施例一提供的模型训练方式获得的，即目标增强模型是基于损失函数对待训练增强模型进行至少一次参数调整后得到的，损失函数是基于待训练增强模型输出的至少两个输出图像中与输入图像尺度相同的输出图像对应的对抗损失，以及至少两个输出图像各自对应的像素级损失构建的，至少两个输出图像的尺度不同，具体训练过程在此不再重复赘述。
参考图14，图14示例性提供本申请实施例中一种图像增强的方法流程图，其中，包括如下步骤：
步骤S1400，获取待处理水下图像；
其中，待处理水下图像可以为通过终端设备获取的真实水下图像，如终端设备拍摄的真实水下图像或终端设备通过搜索方式获取的真实水下图像，还可以为利用水下图像物理成像模型生成的合成水下图像；即本申请实施例适用于对真实水下图像以及对合成水下图像进行图像增强的场景。
步骤S1401，基于目标增强模型，对待处理水下图像进行图像增强处理，获取图像增强后的目标水下图像。
为了验证本申提供的图像增强的方法优于相关技术中其他图像增强方法，在本申请实施例中，通过目标增强模型对至少一张合成水下图像进行图像增强处理，并将图像增强处理后获得目标水下图像，与通过其他图像增强方法进行图像增强处理后的水下图像进行对比，参考图15，图15示例性提供合成水下图像上各算法增强结果的示意图；以及，将通过目标增强模型进行增强处理后的目标水下图像的增强指标数据，与通过其他图像增强方法进行增强处理后的水下图像对应的增强指标数据进行对比，参考表1，表1示例性提供合成水下图像上个算法的增强指标数据的对比结果。
表1
同理，在本申请实施例中，通过目标增强模型对至少一张真实水下图像进行图像增强处理，并将图像增强处理后获得目标水下图像，与通过其他图像增强方法进行图像增强处理后的水下图像进行对比，参考图16，图16示例性提供真实水下图像上各算法增强结果的示意图；以及，将通过目标增强模型进行增强处理后的目标水下图像的增强指标数据，与通过其他图像增强方法进行增强处理后的水下图像对应的增强指标数据进行对比，参考表2，表2示例性提供真实水下图像上个算法的增强指标数据的对比结果。
表2
从上述对比数据可知，本申请提供的目标增强模型，对于合成水下图像，峰值信噪比(Peak Signal to Noise Ratio，PSNR)可达23.9484dB，结构相似性(StructuralSimilarity Index，SSIM)可达0.9032。对于真实水下图像，水下图像质量评价指标(Underater Image Quality Measurement，UIQM)指标可达4.5284，优于所对比其他图像增强方法。
在本申请实施例中，在基于目标增强模型，获取图像增强后的目标水下图像时，待处理水下图像可以为真实水下图像，也可以为合成水下图像。但是，不论是真实水下图像还是合成水下图像，本申请实施例提供的图像增强方法的操作流程不变。
参考图17，图17示例性提供本申请实施例中一种图像增强的具体实施方法流程图，包括如下步骤：
步骤S1700，获取待处理水下图像。
步骤S1701，将待处理水下图像输入目标增强模型的第一编码器中，通过第一编码器对待处理水下图像进行特征提取，获取至少两个初始特征图。
在一种可能的实现方式中，通过第一编码器对待处理水下图像进行特征提取，获得与待处理水下图像尺度相同的第一类初始特征图，以及对第一类初始特征图进行至少一次下采样后得到的第二类初始特征图。
步骤S1702，将获取的至少两个初始特征图，输入目标增强模型的第一注意力网络中，通过第一注意力网络，对至少两个初始特征图，分别进行注意力处理，获取相应的目标注意力图。
在一种可能的实现方式中，针对任一初始特征图，对初始特征图进行通道注意力处理，获取通道注意力图，将通道注意力图与初始特征图进行融合，获得中间特征图；
将中间特征图进行空间注意力处理，获得空间注意力图，将空间注意力图与中间特征图进行融合，获得相应的目标注意力图。
步骤S1703，将获取的至少两个目标注意力图，输入目标增强模型的第一解码器中，分别通过第一解码器中的特征拼接层，对获取的目标注意力图与相同尺度的输入上采样特征图进行拼接，获取至少两个拼接图像；
步骤S1704，通过第一解码器中的卷积层，对至少两个拼接图像进行卷积操作，确定卷积操作后的拼接图像；
步骤S1705，将拼接图像对应的输入上采样特征图作为高尺度特征图，将输入上采样特征图对应的未进行上采样时的特征图作为低尺度特征图；
步骤S1706，对高尺度特征图进行下采样，获得下采样特征图，并确定下采样特征图与低尺度特征图之间的特征误差，下采样特征图与低尺度特征图的尺度相同；
步骤S1707，对特征误差进行反卷积操作，得到高尺度特征图对应的高尺度误差，并将高尺度误差与卷积操作后的拼接图像进行加和处理，获取特征重构图；
步骤S1708，确定加和处理后的特征重构图与待处理水下图像尺度相同后，基于拼接图像确定目标水下图像并输出。
需要说明的是，步骤S1703～步骤S1707是基于获取的至少两个目标注意力图的尺度大小，按照尺度由小到大的方式，依次对目标注意力图进行处理的。
本申请中，首先基于待训练增强模型输出的至少两个输出图像中与输入图像尺度相同的输出图像对应的对抗损失，以及至少两个输出图像各自对应的像素级损失构建的损失函数，对待训练增强模型进行至少一次参数调整，以联合完成对待训练增强模型的优化，获得目标增强模型，保证通过优化后获得的目标增强模型可得到清晰准确、且与输入图像内容结构一致的增强图像，其中清晰准确包括图像增强后获得的增强图像色偏恢复完全以及细节增强充分的特性；然后基于目标增强模型，对获取的待处理水下图像进行图像增强处理，获取图像增强后的目标水下图像；此时，目标水下图像为清晰准确、且与待处理水下图像内容结构一致的增强图像。因此，采用本申请提供的图像增强方法，对水下图像进行图像增强处理时，提升了水下图像的图像增强效果。
实施例三：图像增强装置。
与本申请上述方法实施例基于同一发明构思，本申请实施例中还提供了一种图像增强装置，装置解决问题的原理与上述实施例的方法相似，因此装置的实施可以参见上述方法的实施，重复之处不再赘述。
请参考图18，图18示例性提供本申请实施例提供一种图像增强装置1800，该图像增强装置1800包括：
获取单元1801，用于获取待处理水下图像；
处理单元1802，用于基于目标增强模型，对待处理水下图像进行图像增强处理，获取图像增强后的目标水下图像；
其中，目标增强模型是基于损失函数对待训练增强模型进行至少一次参数调整后得到的，损失函数是基于待训练增强模型输出的至少两个输出图像中与输入图像尺度相同的第一类输出图像确定的对抗损失，以及至少两个输出图像各自对应的像素级损失构建的，至少两个输出图像的尺度不同。
在一种可能的实现方式中，目标增强模型中包括：第一编码器、第一注意力网络以及第一解码器；
处理单元1802具体用于：
通过第一编码器对待处理水下图像进行特征提取，获取至少两个初始特征图；
通过第一注意力网络，分别对至少两个初始特征图，进行注意力处理，获取相应的目标注意力图；
通过第一解码器，基于获取的至少两个目标注意力图的尺度大小，按照尺度由小到大的方式，依次将目标注意力图与相同尺度的上采样特征图进行拼接，直至获取的拼接图像与待处理水下图像尺度相同后，基于拼接图像确定目标水下图像并输出。
在一种可能的实现方式中，处理单元1802具体用于：
通过第一编码器对待处理水下图像进行特征提取，获得与待处理水下图像尺度相同的第一类初始特征图，以及对第一类初始特征图进行至少一次下采样后得到的第二类初始特征图。
在一种可能的实现方式中，处理单元1802具体用于：
针对任一初始特征图，对初始特征图进行通道注意力处理，获取通道注意力图，将通道注意力图与初始特征图进行相乘处理，获得中间特征图；
将中间特征图进行空间注意力处理，获得空间注意力图，将空间注意力图与中间特征图进行相乘处理，获得相应的目标注意力图。
在一种可能的实现方式中，第一解码器中包括误差反馈网络，且将拼接图像对应的输入上采样特征图作为高尺度特征图，将输入上采样特征图对应的未进行上采样时的特征图作为低尺度特征图；
处理单元1802，通过误差反馈网络执行如下操作：
对高尺度特征图进行下采样，获得下采样特征图，并确定下采样特征图与低尺度特征图之间的特征误差，下采样特征图与低尺度特征图的尺度相同；
对特征误差进行反卷积操作，得到高尺度特征图对应的高尺度误差，并将高尺度误差与卷积操作后的拼接图像进行加和处理。
在一种可能的实现方式中，图像增强装置中还包括训练单元1803，如图19所示，为本申请实施例提供的另一种图像增强装置1900，其中，待训练增强模型包括：第二编码器、第二注意力网络、第二解码器、判别网络以及监督优化网络；目标增强模型是训练单元1803通过如下方式得到的：
从训练数据集中选取训练样本对，训练样本对中包括：原始图像，及相应的合成水下图像；
通过第二编码器对合成水下图像进行特征提取，获取至少两个训练特征图；
通过第二注意力网络，对至少两个训练特征图，分别进行注意力处理，获取相应的训练注意力图；
通过第二解码器，将至少两个训练注意力图，分别与相应的相同尺度的训练上采样特征图进行拼接，获得至少两个输出图像，其中至少两个输出图像中包括与合成水下图像尺度相同的第一类输出图像，以及尺度小于合成水下图像的第二类输出图像；
通过判别网络，基于第一类输出图像和原始图像之间的第一对比结果，确定对抗损失；
通过监督优化网络，基于第一类输出图像和原始图像之间的第二对比结果、以及第二类输出图像和相同尺度的参考图像之间的第三对比结果，分别确定相应的像素级损失，参考图像是对原始图像下采样得到的；
基于对抗损失和确定的至少两个像素级损失构建损失函数，并通过损失函数对待训练增强模型进行至少一次参数调整，直至满足条件时，获得目标增强模型。
在一种可能的实现方式中，合成水下图像是原始图像基于训练成功的水下图像物理成像模型确定的。
在一种可能的实现方式中，训练单元1803具体用于：
基于损失函数，通过优化器对待训练增强模型进行至少一次参数调整。
在本申请实施例中，首先基于待训练增强模型输出的至少两个输出图像中与输入图像尺度相同的输出图像对应的对抗损失，以及至少两个输出图像各自对应的像素级损失构建的损失函数，对待训练增强模型进行至少一次参数调整，以联合完成对待训练增强模型的优化，获得目标增强模型，保证通过优化后获得的目标增强模型可得到清晰准确、且与输入图像内容结构一致的增强图像，其中清晰准确包括图像增强后获得的增强图像色偏恢复完全以及细节增强充分的特性；然后基于目标增强模型，对获取的待处理水下图像进行图像增强处理，获取图像增强后的目标水下图像；此时，目标水下图像为清晰准确、且与待处理水下图像内容结构一致的增强图像。因此，采用本申请提供的图像增强方法，对水下图像进行图像增强处理时，提升了水下图像的图像增强效果。
为了描述的方便，以上各部分按照功能划分为各单元(或模块)分别描述。当然，在实施本申请时可以把各单元(或模块)的功能在同一个或多个软件或硬件中实现。
实施例四：电子设备。
在介绍了本申请示例性实施方式的图像增强方法和装置之后，与本申请上述方法实施例基于同一发明构思，本申请实施例中还提供了一种电子设备，该电子设备可以是终端设备，还可以是服务器。
接下来，介绍根据本申请的另一示例性实施方式的用于图像增强的电子设备。
在该实施例中，当电子设备为服务器时，可以是图1中所示的服务器120，电子设备的结构可以如图20所示，包括存储器2001，通讯模块2003以及一个或多个处理器2002。
存储器2001，用于存储处理器2002执行的计算机程序。存储器2001可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***，以及运行即时通讯功能所需的程序等；存储数据区可存储各种即时通讯信息和操作指令集等。
存储器2001可以是易失性存储器(volatile memory)，例如随机存取存储器(random-access memory，RAM)；存储器2001也可以是非易失性存储器(non-volatilememory)，例如只读存储器，快闪存储器(flash memory)，硬盘(hard disk drive，HDD)或固态硬盘(solid-state drive，SSD)；或者存储器2001是能够用于携带或存储具有指令或数据结构形式的期望的计算机程序并能够由计算机存取的任何其他介质，但不限于此。存储器2001可以是上述存储器的组合。
处理器2002，可以包括一个或多个中央处理单元(central processing unit，CPU)或者为数字处理单元等等。处理器2002，用于调用存储器2001中存储的计算机程序时实现图像增强方法。
通讯模块2003用于与终端设备和其他服务器进行通信。
本申请实施例中不限定上述存储器2001、通讯模块2003和处理器2002之间的具体连接介质。本申请实施例在图20中以存储器2001和处理器2002之间通过总线2004连接，总线2004在图20中以粗线描述，其它部件之间的连接方式，仅是进行示意性说明，并不引以为限。总线2004可以分为地址总线、数据总线、控制总线等。为便于描述，图20中仅用一条粗线描述，但并不描述仅有一根总线或一种类型的总线。
存储器2001中存储有计算机存储介质，计算机存储介质中存储有计算机可执行指令，计算机可执行指令用于实现本申请实施例的图像增强方法。
在该实施例中，当电子设备为终端设备时，可以是图1中所示的终端设备110，电子设备的结构可以如图21所示，包括：通信组件2110、存储器2120、显示单元2130、摄像头2140、传感器2150、音频电路2160、蓝牙模块2170、处理器2180等部件。
通信组件2110用于与服务器进行通信。在一些实施例中，可以包括电路无线保真(Wireless Fidelity，WiFi)模块，WiFi模块属于短距离无线传输技术，电子设备通过WiFi模块可以帮助用户收发信息。
存储器2120可用于存储软件程序及数据。处理器2180通过运行存储在存储器2120的软件程序或数据，从而执行终端设备110的各种功能以及数据处理。存储器2120可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。存储器2120存储有使得终端设备110能运行的操作***。本申请中存储器2120可以存储操作***及各种应用程序，还可以存储执行本申请实施例图像增强方法的代码。
显示单元2130还可用于显示由用户输入的信息或提供给用户的信息以及终端设备110的各种菜单的图形用户界面(graphical user interface，GUI)。具体地，显示单元2130可以包括设置在终端设备110正面的显示屏2132。其中，显示屏2132可以采用液晶显示器、发光二极管等形式来配置。显示单元2130可以用于显示本申请实施例中的待处理水下图像以及图像增强后的目标水下图像等。
显示单元2130还可用于接收输入的数字或字符信息，产生与终端设备110的用户设置以及功能控制有关的信号输入，具体地，显示单元2130可以包括设置在终端设备110正面的触摸屏2131，可收集用户在其上或附近的触摸操作，例如点击按钮，拖动滚动框等。
其中，触摸屏2131可以覆盖在显示屏2132之上，也可以将触摸屏2131与显示屏2132集成而实现终端设备110的输入和输出功能，集成后可以简称触摸显示屏。本申请中显示单元2130可以显示应用程序以及对应的操作步骤。
摄像头2140可用于捕获静态图像，用户可以将摄像头2140拍摄的待处理水下图像传输给其他设备。摄像头2140可以是一个，也可以是多个。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给处理器2180转换成数字图像信号。
终端设备还可以包括至少一种传感器2150，比如加速度传感器2151、距离传感器2152、指纹传感器2153、温度传感器2154。终端设备还可配置有陀螺仪、气压计、湿度计、温度计、红外线传感器、光传感器、运动传感器等其他传感器。
音频电路2160、扬声器2161、传声器2162可提供用户与终端设备110之间的音频接口。音频电路2160可将接收到的音频数据转换后的电信号，传输到扬声器2161，由扬声器2161转换为声音信号输出。终端设备110还可配置音量按钮，用于调节声音信号的音量。另一方面，传声器2162将收集的声音信号转换为电信号，由音频电路2160接收后转换为音频数据，再将音频数据输出至通信组件2110以发送给比如另一终端设备110，或者将音频数据输出至存储器2120以便进一步处理。
蓝牙模块2170用于通过蓝牙协议来与其他具有蓝牙模块的蓝牙设备进行信息交互。例如，终端设备可以通过蓝牙模块2170与同样具备蓝牙模块的可穿戴电子设备(例如智能手表)建立蓝牙连接，从而进行数据交互。
处理器2180是终端设备的控制中心，利用各种接口和线路连接整个终端的各个部分，通过运行或执行存储在存储器2120内的软件程序，以及调用存储在存储器2120内的数据，执行终端设备的各种功能和处理数据。在一些实施例中，处理器2180可包括一个或多个处理单元；处理器2180还可以集成应用处理器和基带处理器，其中，应用处理器主要处理操作***、用户界面和应用程序等，基带处理器主要处理无线通信。可以理解的是，上述基带处理器也可以不集成到处理器2180中。本申请中处理器2180可以运行操作***、应用程序、用户界面显示及触控响应，以及本申请实施例的图像增强方法。另外，处理器2180与显示单元2130耦接。
实施例五：程序产品。
在一些可能的实施方式中，本申请提供的图像增强方法的各个方面还可以实现为一种程序产品的形式，其包括计算机程序，当程序产品在电子设备上运行时，计算机程序用于使电子设备执行本说明书上述描述的根据本申请各种示例性实施方式的图像增强方法中的步骤。
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
本申请的实施方式的程序产品可以采用便携式紧凑盘只读存储器(CD-ROM)并包括计算机程序，并可以在计算装置上运行。然而，本申请的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被命令执行***、装置或者器件使用或者与其结合使用。
可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读计算机程序。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由命令执行***、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的计算机程序可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
所属技术领域的技术人员能够理解，本申请的各个方面可以实现为***、方法或程序产品。因此，本申请的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“***”。
应当注意，尽管在上文详细描述中提及了装置的若干单元或子单元，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。反之，上文描述的一个单元的特征和功能可以进一步划分为由多个单元来具体化。
此外，尽管在附图中以特定顺序描述了本申请方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
本领域内的技术人员应明白，本申请实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用计算机程序的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。
Claims (10)
1.一种图像增强方法，其特征在于，包括：
获取待处理水下图像；
基于目标增强模型，对所述待处理水下图像进行图像增强处理，获取图像增强后的目标水下图像；
其中，所述目标增强模型是基于损失函数对待训练增强模型进行至少一次参数调整后得到的，所述损失函数是基于所述待训练增强模型输出的至少两个输出图像中与输入图像尺度相同的第一类输出图像对应的对抗损失，以及所述至少两个输出图像各自对应的像素级损失构建的，所述至少两个输出图像的尺度不同。
2.如权利要求1所述的方法，其特征在于，所述目标增强模型中包括：第一编码器、第一注意力网络以及第一解码器；
所述基于目标增强模型，对所述待处理水下图像进行图像增强处理，包括：
通过所述第一编码器对所述待处理水下图像进行特征提取，获取至少两个初始特征图；
通过所述第一注意力网络，分别对所述至少两个初始特征图，进行注意力处理，获取相应的目标注意力图；
通过所述第一解码器，基于获取的至少两个目标注意力图的尺度大小，按照尺度由小到大的方式，依次将目标注意力图与相同尺度的上采样特征图进行拼接，直至获取的拼接图像与所述待处理水下图像尺度相同后，基于所述拼接图像确定所述目标水下图像并输出。
3.如权利要求2所述的方法，其特征在于，所述通过所述第一编码器对所述待处理水下图像进行特征提取，获取至少两个初始特征图，包括：
通过所述第一编码器对所述待处理水下图像进行特征提取，获得与所述待处理水下图像尺度相同的第一类初始特征图，以及对所述第一类初始特征图进行至少一次下采样后得到的第二类初始特征图。
4.如权利要求2所述的方法，其特征在于，所述分别对所述至少两个初始特征图，进行注意力处理，包括：
针对任一所述初始特征图，对所述初始特征图进行通道注意力处理，获取通道注意力图，将通所述道注意力图与所述初始特征图进行相乘处理，获得中间特征图；
将所述中间特征图进行空间注意力处理，获得空间注意力图，将所述空间注意力图与所述中间特征图进行相乘处理，获得相应的目标注意力图。
5.如权利要求2所述的方法，其特征在于，所述第一解码器中包括误差反馈网络，且将所述拼接图像对应的输入上采样特征图作为高尺度特征图，将所述输入上采样特征图对应的未进行上采样时的特征图作为低尺度特征图；
所述将目标注意力图与相同尺度的上采样特征图进行拼接后，通过所述误差反馈网络执行如下操作：
对所述高尺度特征图进行下采样，获得下采样特征图，并确定所述下采样特征图与所述低尺度特征图之间的特征误差，所述下采样特征图与所述低尺度特征图的尺度相同；
对所述特征误差进行反卷积操作，得到所述高尺度特征图对应的高尺度误差，并将所述高尺度误差与卷积操作后的所述拼接图像进行加和处理。
6.如权利要求1～5任一所述的方法，其特征在于，所述待训练增强模型包括：第二编码器、第二注意力网络、第二解码器、判别网络以及监督优化网络；所述目标增强模型是通过如下方式得到的：
从训练数据集中选取训练样本对，所述训练样本对中包括：原始图像，及相应的合成水下图像；
通过所述第二编码器对所述合成水下图像进行特征提取，获取至少两个训练特征图；
通过所述第二注意力网络，对所述至少两个训练特征图，分别进行注意力处理，获取相应的训练注意力图；
通过所述第二解码器，将所述至少两个训练注意力图，分别与相应的相同尺度的训练上采样特征图进行拼接，获得至少两个输出图像，其中所述至少两个输出图像中包括与所述合成水下图像尺度相同的第一类输出图像，以及尺度小于所述合成水下图像的第二类输出图像；
通过所述判别网络，基于所述第一类输出图像和所述原始图像之间的第一对比结果，确定对抗损失；
通过所述监督优化网络，基于所述第一类输出图像和所述原始图像之间的第二对比结果、以及所述第二类输出图像和相同尺度的参考图像之间的第三对比结果，分别确定相应的像素级损失，所述参考图像是对所述原始图像下采样得到的；
基于所述对抗损失和确定的至少两个所述像素级损失构建损失函数，并通过所述损失函数对所述待训练增强模型进行至少一次参数调整，直至满足条件时，获得所述目标增强模型。
7.如权利要求6所述的方法，其特征在于，所述合成水下图像是所述原始图像基于训练成功的水下图像物理成像模型确定的。
8.如权利要求6所述的方法，其特征在于，所述基于所述损失函数对所述待训练增强模型进行至少一次参数调整，包括：
基于所述损失函数，通过优化器对所述待训练增强模型进行至少一次参数调整。
9.一种图像增强装置，其特征在于，包括：
获取单元，用于获取待处理水下图像；
处理单元，用于基于目标增强模型，对所述待处理水下图像进行图像增强处理，获取图像增强后的目标水下图像；
其中，所述目标增强模型是基于损失函数对待训练增强模型进行至少一次参数调整后得到的，所述损失函数是基于所述待训练增强模型输出的至少两个输出图像中与输入图像尺度相同的第一类输出图像确定的对抗损失，以及所述至少两个输出图像各自对应的像素级损失构建的，所述至少两个输出图像的尺度不同。
10.一种电子设备，其特征在于，包括：
存储器，用于存储可被处理器执行的计算机程序；
所述处理器与所述存储器连接，被配置为执行如权利要求1-8任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210565061.7A CN117151987A (zh) | 2022-05-23 | 2022-05-23 | 一种图像增强方法、装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210565061.7A CN117151987A (zh) | 2022-05-23 | 2022-05-23 | 一种图像增强方法、装置及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117151987A true CN117151987A (zh) | 2023-12-01 |
Family
ID=88906751
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210565061.7A Pending CN117151987A (zh) | 2022-05-23 | 2022-05-23 | 一种图像增强方法、装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117151987A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117422855A (zh) * | 2023-12-19 | 2024-01-19 | 浙江省北大信息技术高等研究院 | 面向机器视觉的图像预处理方法、装置、设备及存储介质 |
-
2022
- 2022-05-23 CN CN202210565061.7A patent/CN117151987A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117422855A (zh) * | 2023-12-19 | 2024-01-19 | 浙江省北大信息技术高等研究院 | 面向机器视觉的图像预处理方法、装置、设备及存储介质 |
| CN117422855B (zh) * | 2023-12-19 | 2024-05-03 | 浙江省北大信息技术高等研究院 | 面向机器视觉的图像预处理方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2021073493A1 (zh) | 图像处理方法及装置、神经网络的训练方法、合并神经网络模型的图像处理方法、合并神经网络模型的构建方法、神经网络处理器及存储介质 | |
| CN111402143B (zh) | 图像处理方法、装置、设备及计算机可读存储介质 | |
| CN112308200B (zh) | 神经网络的搜索方法及装置 | |
| KR102663519B1 (ko) | 교차 도메인 이미지 변환 기법 | |
| CN111402130B (zh) | 数据处理方法和数据处理装置 | |
| CN113066017B (zh) | 一种图像增强方法、模型训练方法及设备 | |
| CN112906721B (zh) | 图像处理方法、装置、设备及计算机可读存储介质 | |
| CN113674146A (zh) | 图像超分辨率 | |
| CN112257759A (zh) | 一种图像处理的方法以及装置 | |
| CN112561028A (zh) | 训练神经网络模型的方法、数据处理的方法及装置 | |
| CN115205150A (zh) | 图像的去模糊方法、装置、设备、介质及计算机程序产品 | |
| CN115131281A (zh) | 变化检测模型训练和图像变化检测方法、装置及设备 | |
| CN116310667A (zh) | 联合对比损失和重建损失的自监督视觉表征学习方法 | |
| CN116977674A (zh) | 图像匹配方法、相关设备、存储介质及程序产品 | |
| Wang et al. | Global contextual guided residual attention network for salient object detection | |
| CN117576248B (zh) | 基于姿态引导的图像生成方法和装置 | |
| CN117151987A (zh) | 一种图像增强方法、装置及电子设备 | |
| WO2024041235A1 (zh) | 图像处理方法、装置、设备、存储介质及程序产品 | |
| CN113642359B (zh) | 人脸图像生成方法、装置、电子设备及存储介质 | |
| CN113822117B (zh) | 一种数据处理方法、设备以及计算机可读存储介质 | |
| CN114298961A (zh) | 图像处理方法、装置、设备及存储介质 | |
| CN114299105A (zh) | 图像处理方法、装置、计算机设备及存储介质 | |
| Shanqing et al. | A multi-level feature weight fusion model for salient object detection | |
| Yin et al. | An adaptively multi-correlations aggregation network for skeleton-based motion recognition | |
| CN118101862B (zh) | 图像处理方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |