CN116563145B - 基于颜色特征融合的水下图像增强方法及*** - Google Patents
基于颜色特征融合的水下图像增强方法及*** Download PDFInfo
- Publication number
- CN116563145B CN116563145B CN202310463009.5A CN202310463009A CN116563145B CN 116563145 B CN116563145 B CN 116563145B CN 202310463009 A CN202310463009 A CN 202310463009A CN 116563145 B CN116563145 B CN 116563145B
- Authority
- CN
- China
- Prior art keywords
- features
- information
- channel
- channels
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 40
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000012545 processing Methods 0.000 claims abstract description 33
- 238000012549 training Methods 0.000 claims abstract description 28
- 239000003086 colorant Substances 0.000 claims abstract description 12
- 238000004590 computer program Methods 0.000 claims description 20
- 230000004913 activation Effects 0.000 claims description 5
- 230000001965 increasing effect Effects 0.000 claims description 4
- 230000010365 information processing Effects 0.000 claims description 4
- 230000002708 enhancing effect Effects 0.000 claims description 2
- 230000007246 mechanism Effects 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 10
- 238000000605 extraction Methods 0.000 description 7
- 238000012360 testing method Methods 0.000 description 6
- 238000002474 experimental method Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000001788 irregular Effects 0.000 description 4
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000003672 processing method Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000001303 quality assessment method Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000011895 specific detection Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/30—Assessment of water resources
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种基于颜色特征融合的水下图像增强方法及***，属于水下图像处理技术领域，并为不同通道的信息设定大小不同的丢弃比例，生成各个通道的残差，将三个通道的特征信息进行融合，利用可变形卷积提取更加多样化的特征信息，采用一个残差连接将普通卷积和可变形卷积的特征融合；引入原始输入图像各个颜色通道的信息，让模型的训练能够更加稳定。本发明给不同颜色通道的信息分配不同大小的感受野，得以更好地学***滑伪影等问题，提高算法的鲁棒性和可靠性。
Description
技术领域
本发明涉及水下图像处理技术领域，具体涉及一种基于颜色特征融合的水下图像增强方法及***。
背景技术
受特殊的物理化学环境影响，水下直接拍摄得到的图像往往存在细节模糊、对比度低、颜色失真等质量下降问题。这些问题对海底考古、海洋生物研究、海洋无人潜航导航等海洋探索工作造成了巨大影响。
传统的图像处理方法对于水下图像可以起到一定的增强效果，但是往往需要进行大量的参数估计，并且比较依赖一些假设先验。近年来，随着深度学习技术的不断发展，基于深度学习的水下图像增强技术也得到了广泛研究。然而，许多水下图像增强模型仅直接应用通用深度网络结构于水下场景中，忽略了水下图像场景的独特性。这导致了模型的鲁棒性和泛化能力极其有限，无法获得令人满意的结果。
发明内容
本发明的目的在于提供一种利用可变形卷积的灵活性来捕捉更加丰富的特征信息，以防止增强结果出现纹理损坏或平滑伪影等问题，提高算法的鲁棒性和可靠性的基于颜色特征融合的水下图像增强方法及***，以解决上述背景技术中存在的至少一项技术问题。
为了实现上述目的，本发明采取了如下技术方案：
一方面，本发明提供一种基于颜色特征融合的水下图像增强方法，包括：
获取待增强的图像；
利用训练好的模型对获取的待增强的图像进行处理，得到图像增强结果；其中，所述训练好的模型的训练包括：
提取水下图像的细节特征和全局特征，并为不同通道的信息设定大小不同的丢弃比例；
根据提取到的细节特征和全局特征生成各个通道的残差，根据残差将三个通道的特征信息进行融合；
将得到的融合特征利用可变形卷积提取更加多样化的特征信息，采用一个残差连接将普通卷积和可变形卷积的特征融合；
利用全局残差连接，引入原始输入图像各个颜色通道的信息，让模型的训练能够更加稳定。
优选的，提取水下图像的细节特征和全局特征，并为不同通道的信息设定大小不同的丢弃比例，包括：将输入图像分为三个不同颜色通道的信息来分别处理，给各个通道的信息分配不同的感受野；在卷积块中使用dropout层代替BN层，并为不同颜色的通道设置不同大小的丢弃策略，蓝、绿、红通道分别设定0.4、0.3、0.2的丢弃参数；最后使用PRelu作为激活层，自适应地学习矫正线性单元的参数，将各个通道的特征进行融合。
优选的，红色通道使用3×3的较小卷积核来提取特征，分别使用5×5和7×7的较大卷积核来提取绿色和蓝色通道特征。
优选的，针对得到的融合特征，采用多路信息处理的策略，使用三个不同大小感受野的卷积层进行处理，使用丢弃参数为0.1的dropout层和PReLU进行进一步处理，利用提取水下图像的细节特征和全局特征来生成对应的特征残差，并利用CBAM模块对各个通道的残差信息处理。
优选的，引入可变形卷积理论，利用可变形卷积对于不规则特征的表征能力，获得更加多样化的特征信息，同时，采用了一个残差连接将普通卷积和可变形卷积的特征融合。
优选的，利用残差连接引入原始图像各通道的信息，采用分路特征处理增加残差连接的有效性，将原始通道特征与各通道特征结合，将三路的特征融合并调整维度后输出得到最终的结果。
第二方面，本发明提供一种基于颜色特征融合的水下图像增强***，包括：
获取模块，用于获取待增强的图像；
处理模块，用于利用训练好的模型对获取的待增强的图像进行处理，得到图像增强结果；其中，所述训练好的模型的训练包括：
提取水下图像的细节特征和全局特征，并为不同通道的信息设定大小不同的丢弃比例；
根据提取到的细节特征和全局特征生成各个通道的残差，根据残差将三个通道的特征信息进行融合；
将得到的融合特征利用可变形卷积提取更加多样化的特征信息，采用一个残差连接将普通卷积和可变形卷积的特征融合；
利用全局残差连接，引入原始输入图像各个颜色通道的信息，让模型的训练能够更加稳定。
第三方面，本发明提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质用于存储计算机指令，所述计算机指令被处理器执行时，实现如上所述的基于颜色特征融合的水下图像增强方法。
第四方面，本发明提供一种计算机程序产品，包括计算机程序，所述计算机程序当在一个或多个处理器上运行时，用于实现如上所述的基于颜色特征融合的水下图像增强方法。
第五方面，本发明提供一种电子设备，包括：处理器、存储器以及计算机程序；其中，处理器与存储器连接，计算机程序被存储在存储器中，当电子设备运行时，所述处理器执行所述存储器存储的计算机程序，以使电子设备执行实现如上所述的基于颜色特征融合的水下图像增强方法的指令。
本发明有益效果：结合水下场景的具体特征，并提出了多通道特征提取模块、结合注意力机制的残差增强模块和动态特征增强模块，提高了水下图像增强的质量。
本发明附加方面的优点，将在下述的描述部分中更加明显的给出，或通过本发明的实践了解到。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例所述的基于颜色特征融合的水下图像增强算法流程框架示意图。
图2为本发明实施例所述的多通道特征提取模块功能原理框图。
图3为本发明实施例所述的结合注意力机制的残差增强模块功能原理框图。
图4为本发明实施例所述的动态特征增强模块功能原理框图。
具体实施方式
下面详细叙述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。
还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件和/或它们的组。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
为便于理解本发明，下面结合附图以具体实施例对本发明作进一步解释说明，且具体实施例并不构成对本发明实施例的限定。
本领域技术人员应该理解，附图只是实施例的示意图，附图中的部件并不一定是实施本发明所必须的。
实施例1
本实施例1中，首先提供了一种基于颜色特征融合的水下图像增强***，该***包括：获取模块，用于获取待增强的图像；处理模块，用于利用训练好的模型对获取的待增强的图像进行处理，得到图像增强结果；其中，所述训练好的模型的训练包括：提取水下图像的细节特征和全局特征，并为不同通道的信息设定大小不同的丢弃比例；根据提取到的细节特征和全局特征生成各个通道的残差，根据残差将三个通道的特征信息进行融合；将得到的融合特征利用可变形卷积提取更加多样化的特征信息，采用一个残差连接将普通卷积和可变形卷积的特征融合；利用全局残差连接，引入原始输入图像各个颜色通道的信息，让模型的训练能够更加稳定。
本实施例1中，利用上述的***，实现了基于颜色特征融合的水下图像增强方法，包括：
利用获取模块获取待增强的图像；使用处理模块基于训练好的模型对获取的待增强的图像进行处理，得到图像增强结果；其中，所述训练好的模型的训练包括：提取水下图像的细节特征和全局特征，并为不同通道的信息设定大小不同的丢弃比例；根据提取到的细节特征和全局特征生成各个通道的残差，根据残差将三个通道的特征信息进行融合；将得到的融合特征利用可变形卷积提取更加多样化的特征信息，采用一个残差连接将普通卷积和可变形卷积的特征融合；利用全局残差连接，引入原始输入图像各个颜色通道的信息，让模型的训练能够更加稳定。
其中，提取水下图像的细节特征和全局特征，并为不同通道的信息设定大小不同的丢弃比例，包括：将输入图像分为三个不同颜色通道的信息来分别处理，给各个通道的信息分配不同的感受野；在卷积块中使用dropout层代替BN层，并为不同颜色的通道设置不同大小的丢弃策略，蓝、绿、红通道分别设定0.4、0.3、0.2的丢弃参数；最后使用PRelu作为激活层，自适应地学习矫正线性单元的参数，将各个通道的特征进行融合。红色通道使用3×3的较小卷积核来提取特征，分别使用5×5和7×7的较大卷积核来提取绿色和蓝色通道特征。
针对得到的融合特征，采用多路信息处理的策略，使用三个不同大小感受野的卷积层进行处理，使用丢弃参数为0.1的dropout层和PReLU进行进一步处理，利用提取水下图像的细节特征和全局特征来生成对应的特征残差，并利用CBAM模块对各个通道的残差信息处理。
引入可变形卷积理论，利用可变形卷积对于不规则特征的表征能力，获得更加多样化的特征信息，同时，采用了一个残差连接将普通卷积和可变形卷积的特征融合。
利用残差连接引入原始图像各通道的信息，采用分路特征处理增加残差连接的有效性，将原始通道特征与各通道特征结合，将三路的特征融合并调整维度后输出得到最终的结果。
实施例2
本实施例2中，提出一种水下图像的增强处理方法，结合光在水中传播的独特性，充分利用了水下场景特点和深度学习网络的优势，首先利用多通道特征提取模块，给不同颜色通道的信息分配不同大小的感受野，得以更好地学习图像的全局和局部特征，同时利用dropout取代常见的批量归一化(BatchNormalization，BN)层，然后利用结合了通道-空间注意力机制(ConvolutionalBlockAttentionModule，CBAM)的残差增强模块对特征进行细化；最后利用可变形卷积(DeformableConvolution)对于非规则特征提取的优势，提出动态特征增强模块来捕捉更加丰富的特征信息，并结合全局残差连接来确保训练的稳定性。
基于颜色特征融合的水下图像增强算法，包括如下步骤：
步骤(1)：首先输入一张图像送入多通道特征提取模块进行特征提取。
步骤(2)：结合CBAM模块和残差连接，将步骤(1)的结果进一步细化。
步骤(3)：将细化后的融合特征输入动态特征增强模块中。
步骤(4)：结合残差连接引入原始图像各颜色通道特征，保证模型训练的稳定性。
基于深度学习的水下图像增强算法通常采用端到端的训练方式，输入数据为直接通过相机拍摄得到的低质量水下图像，网络输出为经过增强后的较高质量水下图像。整个网络的训练过程即为神经网络学习低质量水下图像到高质量水下图像之间映射关系的过程。
在步骤(1)中，提出了一种新的多通道特征提取模块，首先根据光在水下的传播特性，将输入图像分为三个不同颜色通道的信息来分别处理，给各个通道的信息分配不同的感受野。由于红光在水中的衰减较为严重，因此红色通道更多包含水下图像的局部特征，对此使用3×3的较小卷积核来提取特征，而蓝绿色通道可以在水中传播更远的距离，因此更多包含图像的全局特征，分别使用5×5和7×7的较大卷积核来提取绿色和蓝色通道特征。另外，dropout近年被证明了可以起到加强模型泛化性能和提高中间层特征表示能力的作用，因此在卷积块中使用dropout层代替常见的BN层，并为不同颜色的通道设置不同大小的丢弃策略，蓝、绿、红通道分别设定0.4、0.3、0.2的丢弃参数。最后使用PRelu作为激活层，自适应地学习矫正线性单元的参数，将各个通道的特征进行融合得到第一阶段的输出。
在步骤(2)中，针对第一阶段中以简单策略得到的融合特征，继续采用多路信息处理的策略，为了细化各个通道的特征，仍然使用三个不同大小感受野的卷积层进行处理，接着统一使用丢弃参数为0.1的dropout层和PReLU进行进一步处理，接着利用一阶段得到的特征来生成对应的特征残差，并利用CBAM模块对各个通道的残差信息处理，进一步明确每条支路上的主要特征和次要特征，融合三路信息后得到第二阶段的结果。
在步骤(3)中，为了提取到更丰富的水下场景信息，引入了可变形卷积理论，利用可变形卷积对于不规则特征的强大表征能力，获得更加多样化的特征信息，避免一直使用同一大小卷积核造成最终结果存在图像损坏或平滑伪影的问题，同时，采用了一个残差连接将普通卷积和可变形卷积的特征融合。
在步骤(4)中，为了提高模型的训练效率，利用残差连接引入原始图像各通道的信息，并继续采用分路特征处理方法来增加残差连接的有效性，将原始通道特征与步骤(3)后的各通道特征结合，这样做也可以确保整个训练的过程更加稳定，不会出现太大的偏差。将三路的特征融合并调整维度后输出得到最终的结果。
对比试验
(1)训练与测试过程
实验采用NVIDIARTXA4000GPU，在Pytorch框架的支持下执行模型的训练和测试工作，并使用Adam优化器进行优化，学习率设置为0.0002，批处理大小设置为4，训练轮次为100次。
为了更好的评估本发明提出的水下图像增强算法，实验通过三个不同指标：峰值信噪比(PeakSignaltoNoiseRatio，PSNR)、结构相似性(StructuralSimilarity，SSIM)和水下图像质量评价指标(UnderwaterImageQualityMeasure，UIQM)，来对得到的增强图像进行评估。
表1和表2分别展示了本文提出方法与上述对比算法在EUVP和UIEB这两个数据集上测试得到的PSNR、SSIM和UIQM值。对比两张表中的数据，可以看到本章提出的基于颜色特征融合的水下图像增强算法在这两个数据集上均实现了比前文提到的对比方法更加优秀的性能，特别地，在真实水下数据集UIEB上，本文提出的方法表现突出，充分证明了融合颜色特征的策略对于处理水下图像的有效性。
表1不同算法在EUVP测试集上的质量评估结果
表2不同算法在UIEB测试集上的质量评估结果
为了进一步验证本发明提出方案的鲁棒性，选择了水下高级视觉中的目标检测任务进行了实验，数据集方面选择了2021年提出的DetectingUnderwaterObjects(DUO)数据集，这些数据来自水下机器人抓取大赛提供的URPC系列数据集在删去重复和极度相似的图片后得到，并采用COCO形式进行保存。
实验基于MMDetection框架，将Resnet50网络作为骨干网络，选择Faster-RCNN作为目标检测网络进行测试。评价指标选择标准的COCO指标平均精度均值(MeanAveragePrecision，mAP)进行精度评估，另外为了减少因为数据长尾效应带来的影响，也提供了不同交并比交并比(IntersectionoverUnion，IoU)和不同物体大小下的mAP值，具体检测结果如表3所示。
从表3中可以看到经过本发明的方案增强后的水下图像在各个指标上都有了对应的提升，充分证明了本发明提出的水下图像增强算法可以应用于水下高级视觉任务的预处理上，具有较好的鲁棒性。
表3水下目标检测实验结果
实施例3
本实施例3提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质用于存储计算机指令，所述计算机指令被处理器执行时，实现如上所述的基于颜色特征融合的水下图像增强方法，该方法包括：
获取待增强的图像；
利用训练好的模型对获取的待增强的图像进行处理，得到图像增强结果；其中，所述训练好的模型的训练包括：
提取水下图像的细节特征和全局特征，并为不同通道的信息设定大小不同的丢弃比例；
根据提取到的细节特征和全局特征生成各个通道的残差，根据残差将三个通道的特征信息进行融合；
将得到的融合特征利用可变形卷积提取更加多样化的特征信息，采用一个残差连接将普通卷积和可变形卷积的特征融合；
利用全局残差连接，引入原始输入图像各个颜色通道的信息，让模型的训练能够更加稳定。
实施例4
本实施例4提供一种计算机程序产品，包括计算机程序，所述计算机程序当在一个或多个处理器上运行时，用于实现如上所述的基于颜色特征融合的水下图像增强方法，该方法包括：
获取待增强的图像；
利用训练好的模型对获取的待增强的图像进行处理，得到图像增强结果；其中，所述训练好的模型的训练包括：
提取水下图像的细节特征和全局特征，并为不同通道的信息设定大小不同的丢弃比例；
根据提取到的细节特征和全局特征生成各个通道的残差，根据残差将三个通道的特征信息进行融合；
将得到的融合特征利用可变形卷积提取更加多样化的特征信息，采用一个残差连接将普通卷积和可变形卷积的特征融合；
利用全局残差连接，引入原始输入图像各个颜色通道的信息，让模型的训练能够更加稳定。
实施例5
本实施例5提供一种电子设备，包括：处理器、存储器以及计算机程序；其中，处理器与存储器连接，计算机程序被存储在存储器中，当电子设备运行时，所述处理器执行所述存储器存储的计算机程序，以使电子设备执行实现如上所述的基于颜色特征融合的水下图像增强方法的指令，该方法包括：
获取待增强的图像；
利用训练好的模型对获取的待增强的图像进行处理，得到图像增强结果；其中，所述训练好的模型的训练包括：
提取水下图像的细节特征和全局特征，并为不同通道的信息设定大小不同的丢弃比例；
根据提取到的细节特征和全局特征生成各个通道的残差，根据残差将三个通道的特征信息进行融合；
将得到的融合特征利用可变形卷积提取更加多样化的特征信息，采用一个残差连接将普通卷积和可变形卷积的特征融合；
利用全局残差连接，引入原始输入图像各个颜色通道的信息，让模型的训练能够更加稳定。
本领域内的技术人员应明白，本发明的实施例可提供为方法、***、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明公开的技术方案的基础上，本领域技术人员在不需要付出创造性劳动即可做出的各种修改或变形，都应涵盖在本发明的保护范围之内。
Claims (7)
1.一种基于颜色特征融合的水下图像增强方法，其特征在于，包括：
获取待增强的图像；
利用训练好的模型对获取的待增强的图像进行处理，得到图像增强结果；其中，所述训练好的模型的训练包括：
提取水下图像的细节特征和全局特征，并为不同通道的信息设定大小不同的丢弃比例；包括：将输入图像分为三个不同颜色通道的信息来分别处理，给各个通道的信息分配不同的感受野；在卷积块中使用dropout层代替BN层，并为不同颜色的通道设置不同大小的丢弃策略，蓝、绿、红通道分别设定0.4、0.3、0.2的丢弃参数；最后使用PRelu作为激活层，自适应地学习矫正线性单元的参数，将各个通道的特征进行融合；其中，细节特征为红色通道特征，全局特征为蓝色和绿色通道特征；
根据提取到的细节特征和全局特征生成各个通道的残差，根据残差将三个通道的特征信息进行融合；
将得到的融合特征利用可变形卷积提取更加多样化的特征信息，采用一个残差连接将普通卷积和可变形卷积的特征融合；
利用全局残差连接，引入原始输入图像各个颜色通道的信息，让模型的训练能够更加稳定。
2.根据权利要求1所述的基于颜色特征融合的水下图像增强方法，其特征在于，红色通道使用3×3的卷积核来提取特征，分别使用5×5和7×7的卷积核来提取绿色和蓝色通道特征。
3.根据权利要求1所述的基于颜色特征融合的水下图像增强方法，其特征在于，针对得到的融合特征，采用多路信息处理的策略，使用三个不同大小感受野的卷积层进行处理，使用丢弃参数为0.1的dropout层和PReLU进行进一步处理，利用提取水下图像的细节特征和全局特征来生成对应的特征残差，并利用CBAM模块对各个通道的残差信息处理。
4.根据权利要求1所述的基于颜色特征融合的水下图像增强方法，其特征在于，利用残差连接引入原始图像各通道的信息，采用分路特征处理增加残差连接的有效性，将原始通道特征与各通道特征结合，将三路的特征融合并调整维度后输出得到最终的结果。
5.一种基于颜色特征融合的水下图像增强***，其特征在于，包括：
获取模块，用于获取待增强的图像；
处理模块，用于利用训练好的模型对获取的待增强的图像进行处理，得到图像增强结果；其中，所述训练好的模型的训练包括：
提取水下图像的细节特征和全局特征，并为不同通道的信息设定大小不同的丢弃比例；包括：将输入图像分为三个不同颜色通道的信息来分别处理，给各个通道的信息分配不同的感受野；在卷积块中使用dropout层代替BN层，并为不同颜色的通道设置不同大小的丢弃策略，蓝、绿、红通道分别设定0.4、0.3、0.2的丢弃参数；最后使用PRelu作为激活层，自适应地学习矫正线性单元的参数，将各个通道的特征进行融合；其中，细节特征为红色通道特征，全局特征为蓝色和绿色通道特征；
根据提取到的细节特征和全局特征生成各个通道的残差，根据残差将三个通道的特征信息进行融合；
将得到的融合特征利用可变形卷积提取更加多样化的特征信息，采用一个残差连接将普通卷积和可变形卷积的特征融合；
利用全局残差连接，引入原始输入图像各个颜色通道的信息，让模型的训练能够更加稳定。
6.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质用于存储计算机指令，所述计算机指令被处理器执行时，实现如权利要求1-4任一项所述的基于颜色特征融合的水下图像增强方法。
7.一种电子设备，其特征在于，包括：处理器、存储器以及计算机程序；其中，处理器与存储器连接，计算机程序被存储在存储器中，当电子设备运行时，所述处理器执行所述存储器存储的计算机程序，以使电子设备执行实现如权利要求1-4任一项所述的基于颜色特征融合的水下图像增强方法的指令。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310463009.5A CN116563145B (zh) | 2023-04-26 | 2023-04-26 | 基于颜色特征融合的水下图像增强方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310463009.5A CN116563145B (zh) | 2023-04-26 | 2023-04-26 | 基于颜色特征融合的水下图像增强方法及*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116563145A CN116563145A (zh) | 2023-08-08 |
| CN116563145B true CN116563145B (zh) | 2024-04-05 |
Family
ID=87499301
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310463009.5A Active CN116563145B (zh) | 2023-04-26 | 2023-04-26 | 基于颜色特征融合的水下图像增强方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116563145B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113313644A (zh) * | 2021-05-26 | 2021-08-27 | 西安理工大学 | 一种基于残差双注意力网络的水下图像增强方法 |
| CN115511705A (zh) * | 2021-06-04 | 2022-12-23 | 天津城建大学 | 一种基于可变形残差卷积神经网络的图像超分辨率重建方法 |
| CN115564676A (zh) * | 2022-09-30 | 2023-01-03 | 华东理工大学 | 一种水下图像增强方法、***及可读存储介质 |
| CN115713469A (zh) * | 2022-11-08 | 2023-02-24 | 大连海事大学 | 基于通道注意力和形变生成对抗网络的水下图像增强方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110070511B (zh) * | 2019-04-30 | 2022-01-28 | 北京市商汤科技开发有限公司 | 图像处理方法和装置、电子设备及存储介质 |
-
2023
- 2023-04-26 CN CN202310463009.5A patent/CN116563145B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113313644A (zh) * | 2021-05-26 | 2021-08-27 | 西安理工大学 | 一种基于残差双注意力网络的水下图像增强方法 |
| CN115511705A (zh) * | 2021-06-04 | 2022-12-23 | 天津城建大学 | 一种基于可变形残差卷积神经网络的图像超分辨率重建方法 |
| CN115564676A (zh) * | 2022-09-30 | 2023-01-03 | 华东理工大学 | 一种水下图像增强方法、***及可读存储介质 |
| CN115713469A (zh) * | 2022-11-08 | 2023-02-24 | 大连海事大学 | 基于通道注意力和形变生成对抗网络的水下图像增强方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116563145A (zh) | 2023-08-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112288658B (zh) | 一种基于多残差联合学习的水下图像增强方法 | |
| CN112233038B (zh) | 基于多尺度融合及边缘增强的真实图像去噪方法 | |
| Tang et al. | Single image dehazing via lightweight multi-scale networks | |
| CN111127331B (zh) | 基于像素级全局噪声估计编解码网络的图像去噪方法 | |
| CN110189260B (zh) | 一种基于多尺度并行门控神经网络的图像降噪方法 | |
| CN110827312A (zh) | 一种基于协同视觉注意力神经网络的学习方法 | |
| CN110223251A (zh) | 适用于人工与自然光源的卷积神经网络水下图像复原方法 | |
| CN111882516B (zh) | 一种基于视觉显著性和深度神经网络的图像质量评价方法 | |
| CN116863320B (zh) | 基于物理模型的水下图像增强方法及*** | |
| CN105959663A (zh) | 视频帧间信号连续性的优化处理方法、***及拍摄终端 | |
| CN116402709A (zh) | 一种基于水下注意力生成对抗网络的图像增强方法 | |
| CN116563693A (zh) | 基于轻量级注意力机制的水下图像色彩复原方法 | |
| CN115546060A (zh) | 一种可逆的水下图像增强方法 | |
| CN111915589A (zh) | 基于空洞卷积的立体图像质量评价方法 | |
| CN113658091A (zh) | 一种图像评价方法、存储介质及终端设备 | |
| US11783454B2 (en) | Saliency map generation method and image processing system using the same | |
| Wang et al. | Image super-resolution via lightweight attention-directed feature aggregation network | |
| CN106683044B (zh) | 一种多通道光学探测***的图像拼接方法、装置 | |
| CN116563145B (zh) | 基于颜色特征融合的水下图像增强方法及*** | |
| CN111476739B (zh) | 水下图像增强方法、***及存储介质 | |
| CN116229123A (zh) | 基于多通道分组互相关代价卷的双目立体匹配方法及装置 | |
| CN115170921A (zh) | 一种基于双边网格学习和边缘损失的双目立体匹配方法 | |
| CN112016456B (zh) | 基于自适应反向投影深度学习的视频超分辨率方法及*** | |
| CN114648800A (zh) | 人脸图像检测模型训练方法、人脸图像检测方法及装置 | |
| Wang et al. | Asymmetric stereo color transfer |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |