CN116883259A - 一种基于去噪扩散概率模型的水下图像增强方法 - Google Patents
一种基于去噪扩散概率模型的水下图像增强方法 Download PDFInfo
- Publication number
- CN116883259A CN116883259A CN202310615596.5A CN202310615596A CN116883259A CN 116883259 A CN116883259 A CN 116883259A CN 202310615596 A CN202310615596 A CN 202310615596A CN 116883259 A CN116883259 A CN 116883259A
- Authority
- CN
- China
- Prior art keywords
- image
- network
- denoising
- underwater
- noise
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 123
- 238000009792 diffusion process Methods 0.000 title claims abstract description 32
- 238000009826 distribution Methods 0.000 claims abstract description 37
- 230000008569 process Effects 0.000 claims abstract description 36
- 238000006243 chemical reaction Methods 0.000 claims abstract description 21
- 230000000694 effects Effects 0.000 claims abstract description 18
- 238000012549 training Methods 0.000 claims abstract description 16
- 230000006870 function Effects 0.000 claims abstract description 13
- 238000012360 testing method Methods 0.000 claims description 14
- 230000015556 catabolic process Effects 0.000 claims description 10
- 238000006731 degradation reaction Methods 0.000 claims description 10
- 238000005070 sampling Methods 0.000 claims description 9
- 230000004927 fusion Effects 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 5
- 230000003247 decreasing effect Effects 0.000 claims description 3
- 238000009418 renovation Methods 0.000 claims description 3
- 239000006185 dispersion Substances 0.000 claims 1
- 238000012545 processing Methods 0.000 abstract description 9
- 230000002708 enhancing effect Effects 0.000 abstract description 6
- 230000000007 visual effect Effects 0.000 abstract description 6
- 238000005286 illumination Methods 0.000 abstract description 5
- 238000011156 evaluation Methods 0.000 abstract description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000000889 atomisation Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000000843 powder Substances 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/05—Underwater scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于去噪扩散概率模型的水下图像增强方法。在水下图像增强任务中，本方法有效地提高了水下图像的质量。本发明提出一种改进的去噪扩散概率模型，在成对的数据集上进行训练，利用两个标准U‑Net网络搭建了用于图像去噪过程的去噪网络和用于图像分布转换的转换网络，成功完成图像去噪以及数据分布变换功能，为提高增强图像质量，本发明提出一种用于增强过程中图像分布标准化的操作，实现对去噪网络以及分布转换网络输出的正确融合。最后，通过实验对比，在水下图象和低光照图像增强任务中，本方法实现了比现有其他方法更优秀的处理效果，获得了更好的视觉效果和评价指标。
Description
技术领域
本发明属于图像处理技术领域，具体涉及一种基于去噪扩散概率模型的水下图像增强方法。
背景技术
近年来，世界各国对海洋信息的探索愈加重视，但由于人工探索困难，各国大力发展水下机器人，其中自主式水下航行器(AUV)，无人水下航行器(UUV)成为主力军。图像作为水下智能体获取信息最直观、最高效的方式，在探索过程中起到了不可替代的作用。然而，由于水下环境复杂、可见度低，即便配备了昂贵的图像采集设备，航行器所能获取的图像也严重退化，存在严重的色彩失真、画面模糊、目标与背景之间对比度低等问题。模糊的图像不仅影响水面上操控者的观察效果，而且会对水下机器人自身对图像的应用产生影响。因此，对水下图像增强方法的研究有利于水下机器人完成任务。然而随着水深的增加，自然光在水体中的散射与吸收现象逐渐严重，在较深的水域中采集到的图像往往呈现蓝、绿以及黄绿色，极大的影响了图像质量。
Ho等人在文章《Denoising diffusion probabilistic models》中提出去噪扩散概率模型，该模型由扩散过程和去噪过程两个部分组成，扩散过程向数据集的真实图片中逐步加入高斯噪声，去噪过程利用网络对加噪图片逐步去噪，从而还原出真实图片。该方法生成的图片清晰，但将该方法直接应用于图像增强任务中时，会导致图像的增强效果不足甚至无效。
何笑等人在文章《融合引导滤波和小波变换的水下图像增强算法》中，将图像分为基础部分和细节部分，对基础部分和细节部分分别进行不同的处理，经过加权融合以及对比度直方图限制均衡后得到优秀的水下增强图像，克服了光照不均匀的问题。但该方法处理的是图像的单个像素，不能有效地链接图像的全局信息，因此经常出现增强过度或不足的情况。
在文章《Sea-thru:A Method For Removing Water From Underwater Images》中，Derya等人针对水下图像退化情况，提出了一个使用暗像素及其已知距离信息来估计反向散射的物理模型来进行水下图像增强处理，并且在增强后使用包含深度信息的RGBD图像恢复增强图像的颜色。但在复杂的水下环境中，该方法往往表现出较差的泛化能力和较差的鲁棒性。
Islam等人发表的文章《Fast Underwater Image Enhancement for ImprovedVisual Perception》中提到，同时参考全局内容和局部信息形成损失函数，在水下图像数据集EUVP中的表现要优于其他模型，并且所需的训练时间更短。但由于训练效果不稳定，在处理一些退化严重的图像时，会导致生成图像颜色不统一。
Liu等人在文章《MLFcGAN:Multilevel Feature Fusion-Based Conditional GANfor Underwater Image Color Correction》中，提出的用于水下图像颜色修正的方法，使用全局特征来增强每个比例的局部特征，以进行颜色校正和图像细节保留。但是该方法在对退化严重的图像进行处理时，增强效果较差。
在文章《Underwater Image Enhancement Using a Multiscale DenseGenerative Adversarial Network》中，Guo等人提出将无监督的生成对抗网络(GAN)与端到端自动编码器网络同时使用的方法，用于色彩还原和除雾，具有良好性能。但是该方法在处理低照度图像以及雾化图像时，会出现严重的特征丢失和色彩失真。因此，设计一个具有很好泛化能力与自适应能力的模型是设计方法的关键所在。
发明内容
本发明的目的在于提供一种基于去噪扩散概率模型的水下图像增强方法。
本发明的目的通过如下技术方案来实现：
一种基于去噪扩散概率模型的水下图像增强方法，其特征在于：步骤如下：
步骤一：确定网络所需要的训练集以及测试集；
步骤二：对退化图像以及参考图像逐步添加噪声；
步骤三：将去噪扩散概率模型的网络结构改进为一种双U-Net网络，对两个网络输入不同的参数，完成去噪及数据分布转换两个功能；
步骤四：完成对去噪网络以及分布转换网络的训练；
步骤五：完成模型的推理过程，过程中的数据采样方法改进为更适合于双U-Net网络的分布融合采样方法，完成对单幅水下退化图像的增强。
进一步地，所述步骤一的训练集选用SUID以及UIEB数据集中成对的部分，SUID数据集将30幅陆地图像模拟成具有水下图像风格的退化图像，UIEB数据集包含了890对水下图像以及60幅非成对真实水下图像；测试集选用UIEB中的60幅非成对真实水下图像以及U45数据集，U45数据集包括绿色、蓝色退化以及雾化水下图像。
进一步地，所述步骤二给定输入数据其中xi为输入的退化图像，yi为与xi对应的参考图像，定义xt和yt分别为x和y经过t次加噪后的图像，加噪过程公式为：
其中，t∈(1,T)，δ是t时刻满足标准高斯分布的随机噪声，是一个满足αt∈(0,1)的超参数，决定每次迭代时所加入噪声的方差；同时为保证在t→∞时有界，αt随时间的增加而逐渐减小；对x0和y0施加了相同的高斯噪声。
进一步地，所述步骤三使用双U-Net网络结构完成去噪以及数据分布转换两个过程；网络由去噪网络fθ(xt,t,x0)和分布转换网络fφ(xt,t)构成，其中t为时刻，x0为初始退化图像，xt为x0经过t次加噪后的图像；去噪网络的作用是预测在扩散过程中t时刻采样的随机噪声，分布转换网络的作用是完成t时刻两个数据分布的拟合；
两个网络均采用去噪扩散概率模型中标准的U-Net拓扑结构；使增强后的图像内容与输入图像一致，将x0作为先验条件喂入到θ网络；θ网络输入xt、时刻t以及x0，输出噪声δθ，φ网络输入噪声图像xt以及时刻t，输出参考图像y0在t时刻的噪声图像yt。
进一步地，所述步骤四，去噪网络的损失函数可以表示为：
其中δ是t时刻满足标准高斯分布的随机噪声；
分布转换网络的损失函数可以表示为：
其中yt是参考图像y0在t时刻的扩散结果。
进一步地，所述步骤五在推理过程的第一次迭代时，将xt喂入去噪网络，根据参数重整化规则获得在t-1时刻x0的加噪图像xt-1，随后利用分布转换网络转换为在t-1时刻参考图像y0的加噪图像yt-1，即：
yt-1＝fφ(xt-1)
在推理过程的第二次至第T-1次迭代时，对退化图像以及参考图像的去噪过程使用相同的去噪网络，同时为了提高网络增强效果，在每一个t时刻使用分布转换网络将xt转换为x′ t并于同时刻的y′ t相加得到该时刻总分布Y，即：
Y＝y′ t+fφ(xt,t)～N(2μt,2σt 2)
其中，1<t<T，y′ t和fφ(xt,t)均服从μt为均值，σt 2为方差的正态分布N(μt,σt 2)；为避免增强图像失真，在特征图叠加后将Y～N(2μt,2σt 2)分布转换为Y～N(μt,σt 2)，其操作为：
即当1<t<T时：
在推理过程的最后一次迭代时，仅需对y1使用去噪网络，并根据下述公式得到最终的增强图像，Y＝y′ t服从正态分布N(μt,σt 2)，代入上式，最终推导出参考图像y0数据分布的公式为：
本发明的有益效果在于：
针对水下图像的退化现象，本发明提出了一种基于去噪扩散概率模型的水下图像增强方法，在去噪扩散概率模型的基础上，改进网络结构，提出一种双U-Net网络用于图像到图像任务，完成了两个图像数据分布的转换。
改进模型推理过程中的数据采样方法，提出一种更适合于双U-Net网络的分布融合采样方法。
本方法适用于各种风格的水下图像增强，相比于传统的图像增强方法具有更好的泛化能力，有效解决了水体与深度不同所导致的模型泛化能力不足等情况。实验证明，本方法能够取得很好的评价指标值和视觉效果。
附图说明
图1是本发明具体实施方式的一种基于去噪扩散概率模型的水下图像增强方法流程图；
图2是本方法的示意图；
图3是本方法的推理过程示意图；
图4是不同水下图像增强方法在U45测试集上的增强效果对比图；
图5是不同水下图像增强方法在Challenge60测试集上的增强效果对比图；
图6是输入与增强图像的边缘提取效果图；
图7是输入图像与增强图像的SIFT效果图。
具体实施方式
下面结合附图对本发明做进一步描述。
结合图1，本发明提供的一种基于去噪扩散概率模型的水下图像增强方法，其流程包括：
步骤一：确定网络所需要的训练集以及测试集；
步骤二：对退化图像以及参考图像逐步添加噪声；
步骤三：将去噪扩散概率模型的网络结构改进为一种双U-Net网络，对两个网络输入不同的参数，完成去噪及数据分布转换两个功能；
步骤四：完成对去噪网络以及分布转换网络的训练；
步骤五：完成模型的推理过程，过程中的数据采样方法改进为更适合于双U-Net网络的分布融合采样方法，利用训练完成的网络对单幅水下退化图像增强。
步骤六：进行水下图像增强实验，并与其他增强方法进行对比；
步骤七：工程应用性分析。
使用步骤一具体为：
本发明中网络的训练集选用SUID以及UIEB数据集中成对的部分，SUID数据集将30幅陆地图像模拟成具有水下图像风格的退化图像，UIEB数据集包含了890对水下图像以及60幅非成对真实水下图像。本发明中网络的测试集选用UIEB中的60幅非成对真实水下图像(challenge60)以及U45数据集，U45数据集包括绿色、蓝色退化以及雾化水下图像，近年来被广泛应用于水下图像增强模型的测试中。
使用步骤二具体为：
扩散过程是一个不断向输入图像中加入已知噪声的过程，每一阶段的加噪图像均可由已知信息直接计算得出。本发明给定输入数据其中xi为输入的退化图像，yi为与xi对应的参考图像，定义xt和yt分别为x和y经过t次加噪后的图像，加噪过程公式为：
其中，t∈(1,T)，δ是t时刻满足标准高斯分布的随机噪声，αt是一个满足αt∈(0,1)的超参数，决定每次迭代时所加入噪声的方差。同时为保证在t→∞时有界，αt随时间的增加而逐渐减小。本发明中，对x0和y0施加了相同的高斯噪声；
使用步骤三具体为：
双U-Net网络由去噪网络fθ(xt,t,x0)(以下简称θ网络)和分布转换网络fφ(xt,t)(以下简称φ网络)构成，两个网络均采用去噪扩散概率模型中标准的U-Net拓扑结构。不同的是，为保证增强后的图像内容与输入图像一致，本发明将x0作为先验条件喂入到θ网络。θ网络输入xt、时刻t以及x0，输出噪声δθ，φ网络输入xt以及时刻t，输出参考图像y0在t时刻的噪声图像yt；示意图如图2所示；
使用步骤四具体为：
本发明提出的模型训练过程包含对去噪网络θ的训练和对数据分布转换网络φ的训练；对于去噪网络而言，损失函数可以表示为：
其中δ是t时刻满足标准高斯分布的随机噪声；
分布转换网络的损失函数可以表示为：
其中yt是参考图像y0在t时刻的扩散结果；
使用步骤五具体为：
在推理过程的第一次迭代时，将xt喂入去噪网络，根据参数重整化规则获得在t-1时刻x0的加噪图像xt-1，随后利用分布转换网络转换为在t-1时刻参考图像y0的加噪图像yt-1，即：
yt-1＝fφ(xt-1)
在推理过程的第二次至第T-1次迭代时，本发明对退化图像以及参考图像的去噪过程使用相同的去噪网络，同时为了提高网络增强效果，在每一个t时刻使用分布转换网络将xt转换为x′ t并于同时刻的y′ t相加得到该时刻总分布Y，即：
Y＝y′ t+fφ(xt,t)～N(2μt,2σt 2)
其中，1<t<T，y′ t和fφ(xt,t)均服从μt为均值，σt 2为方差的正态分布N(μt,σt 2)；为避免增强图像失真，在特征图叠加后将Y～N(2μt,2σt 2)分布转换为Y～N(μt,σt 2)，其操作为：
即当1<t<T时：
在推理过程的最后一次迭代时，仅需对y1使用去噪网络，并根据下述公式得到最终的增强图像，Y＝y′ t服从正态分布N(μt,σt 2)，代入上式，最终推导出参考图像y0数据分布的公式为：
本发明推理过程示意图如图3所示。
使用步骤六具体为：
在本发明中，在TensorFlow框架下使用UIEB数据集和SUID数据集中共1200幅成对水下图像对去噪网络和数据分布转换网络分别进行了10万次训练。设置batch大小为4，学习率为0.00001，使用Adam优化器，选取αt从均匀分布中取样，αt∈[0.9999,0.98]，加噪次数T＝1000。训练结束后，择优选取两个网络最佳的网络权重。通过选中的最优模型对测试集进行图像增强，并计算评价指标。
由于测试数据集Challenge60和U45属于非成对数据集，因此在对其进行评价时采用水下图像质量指标(UIQM)和水下彩色图像质量评价(UCIQE)指标。UIQM由水下图像颜色度量(UICM)、水下图像清晰度度量(UISM)和水下图像对比度度量(UIConM)的加权求和得到。UCIQE使用色度、饱和度和对比度的线性组合来评估增强的图像，以量化不均匀的偏色、模糊和低对比度。
将本发明方法的增强结果与近年来应用广泛的水下图像增强方法在U45测试集上进行比较。比较结果如图4所示，从左到右这些方法分别为：Raw、FE、FUnIEGAN、MLFcGAN、Shallow-UWnet、UWGAN以及本发明方法。
通过图像对比分析：
FE方法在处理蓝色色调的图像时，会出现过增强现象，降低图像的真实度；FUnIEGAN、MLFcGAN以及Shallow-UWnet在处理绿色色调图像时，增强图像整体色调偏黄，造成了一定程度的色彩失真；MLFcGAN和Shallow-UWnet在处理雾化图像时使图像整体色调偏粉，增强效果较差；UWGAN在处理雾化图像时出现了严重的色彩失真。
相比之下，本方法在对所有颜色风格图像的增强中表现优秀，能够适应不同风格图像的增强，采用本方法增强的图像具有更饱满的色彩以及更好的视觉效果。不同增强方法在U45数据集上测得的平均UIQM和UCIQE指标如表1所示。
表1不同方法在U45数据集上的UIQM和UCIQE指标
| UISM | UICM | UICONM | UIQM | UCIQE | |
| Raw | 7.3140 | -74.2683 | 0.6479 | 2.3821 | 0.3754 |
| FE | 7.2924 | -32.7786 | 0.8093 | 4.1226 | 0.4791 |
| FUnIEGAN | 7.2989 | -20.2163 | 0.7733 | 4.3502 | 0.3997 |
| MLFcGAN | 6.9808 | -1.6147 | 0.6116 | 4.2029 | 0.3908 |
| Shallow-UWnet | 7.1271 | -8.3827 | 0.6108 | 4.0523 | 0.3703 |
| UWGAN | 7.1329 | -39.2864 | 0.8350 | 3.9840 | 0.4384 |
| 本方法 | 7.1222 | 1.9244 | 1.1787 | 4.6031 | 0.4521 |
注：粗体表示每一列指标最优值，斜体表示每一列指标次优值。
从上表可以看出本方法在UIQM指标上取得了六种方法里面的最优值，相比于次优值提升了5.8％，并且在UCIQE指标上则取得了次优值。
将本方法的增强结果与近年来应用广泛的水下图像增强方法在Challenge60测试集上进行比较。图5为各方法在Challenge60测试集上的增强效果对比图。
通过图像对比分析：
在处理低照度图像时除FE和UWGAN方法外，其他各方法的增强效果并不理想，增强后的图像亮度仍然较低，无法分辨图像中的信息；UWGAN方法虽在一定程度上提高了低照度图像的亮度，但在出现了特征丢失，图像的信息被模糊化；在蓝绿色调的图像处理上，各方法所表现出来的性能与它们在U45数据集上测试的效果相仿。
相比而言，本方法在处理低照度图像时，保证图像信息完整的同时更好地提高了图像的亮度及对比度，具有更好地视觉效果；在处理蓝绿图像时也更好的避免了色彩失真等现象。不同增强方法在Challenge60数据集上测得的平均UIQM和UCIQE指标如表2所示。
表2不同方法在Challenge60数据集上的UIQM和UCIQE指标
| UISM | UICM | UICONM | UIQM | UCIQE | |
| Raw | 7.2895 | -49.7770 | 0.6125 | 2.9388 | 0.3590 |
| FE | 7.1831 | -11.8096 | 0.7173 | 4.3528 | 0.4782 |
| FUnIEGAN | 7.4700 | -12.0836 | 0.6795 | 4.2946 | 0.3592 |
| MLFcGAN | 7.1103 | -0.5603 | 0.6177 | 4.2923 | 0.3681 |
| Shallow-UWnet | 7.3278 | -6.1696 | 0.5937 | 4.1125 | 0.3348 |
| UWGAN | 7.1946 | -20.414 | 0.7678 | 4.2963 | 0.5043 |
| 本方法 | 7.0980 | 2.1821 | 0.8944 | 4.4733 | 0.4198 |
由表2可以看出，本方法在UIQM指标上仍然是这六种方法中的最优值。综合考虑视觉效果以及两种指标，本方法在水下图像增强方面取得了理想的效果，相比于现如今其他方法具有更好的增强性能。
使用步骤七具体为：
为证明增强图像有效地丰富了边缘以及特征信息，本方法对水下退化图像与增强图像进行SIFT(尺度不变特征变换)特征点匹配以及Canny算子(一种多级边缘检测算法)边缘提取，通过对增强前后的特征点数量以及边缘信息的对比，证明本方法在水下图像增强领域的研究效果。图6为Canny边缘提取结果对比图，图7为水下退化图像与增强图像SIFT特征点匹配的结果对比图。可以清楚看出，本方法有效地丰富了退化图像的边缘信息以及特征点数量。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (6)
1.一种基于去噪扩散概率模型的水下图像增强方法，其特征在于：步骤如下：
步骤一：确定网络所需要的训练集以及测试集；
步骤二：对退化图像以及参考图像逐步添加噪声；
步骤三：将去噪扩散概率模型的网络结构改进为一种双U-Net网络，对两个网络输入不同的参数，完成去噪及数据分布转换两个功能；
步骤四：完成对去噪网络以及分布转换网络的训练；
步骤五：完成模型的推理过程，过程中的数据采样方法改进为更适合于双U-Net网络的分布融合采样方法，完成对单幅水下退化图像的增强。
2.一种基于去噪扩散概率模型的水下图像增强方法，其特征在于：所述步骤一的训练集选用SUID以及UIEB数据集中成对的部分，SUID数据集将30幅陆地图像模拟成具有水下图像风格的退化图像，UIEB数据集包含了890对水下图像以及60幅非成对真实水下图像；测试集选用UIEB中的60幅非成对真实水下图像以及U45数据集，U45数据集包括绿色、蓝色退化以及雾化水下图像。
3.一种基于去噪扩散概率模型的水下图像增强方法，其特征在于：所述步骤二给定输入数据其中xi为输入的退化图像，yi为与xi对应的参考图像，定义xt和yt分别为x和y经过t次加噪后的图像，加噪过程公式为：
其中，t∈(1,T)，δ是t时刻满足标准高斯分布的随机噪声，是一个满足αt∈(0,1)的超参数，决定每次迭代时所加入噪声的方差；同时为保证在t→∞时有界，αt随时间的增加而逐渐减小；对x0和y0施加了相同的高斯噪声。
4.一种基于去噪扩散概率模型的水下图像增强方法，其特征在于：所述步骤三使用双U-Net网络结构完成去噪以及数据分布转换两个过程；网络由去噪网络fθ(xt,t,x0)和分布转换网络fφ(xt,t)构成，其中t为时刻，x0为初始退化图像，xt为x0经过t次加噪后的图像；去噪网络的作用是预测在扩散过程中t时刻采样的随机噪声，分布转换网络的作用是完成t时刻两个数据分布的拟合；
两个网络均采用去噪扩散概率模型中标准的U-Net拓扑结构；使增强后的图像内容与输入图像一致，将x0作为先验条件喂入到θ网络；θ网络输入xt、时刻t以及x0，输出噪声δθ，φ网络输入噪声图像xt以及时刻t，输出参考图像y0在t时刻的噪声图像yt。
5.一种基于去噪扩散概率模型的水下图像增强方法，其特征在于：所述步骤四，去噪网络的损失函数可以表示为：
其中δ是t时刻满足标准高斯分布的随机噪声；
分布转换网络的损失函数可以表示为：
其中yt是参考图像y0在t时刻的扩散结果。
6.一种基于去噪扩散概率模型的水下图像增强方法，其特征在于：所述步骤五在推理过程的第一次迭代时，将xt喂入去噪网络，根据参数重整化规则获得在t-1时刻x0的加噪图像xt-1，随后利用分布转换网络转换为在t-1时刻参考图像y0的加噪图像yt-1，即：
yt-1＝fφ(xt-1)
在推理过程的第二次至第T-1次迭代时，对退化图像以及参考图像的去噪过程使用相同的去噪网络，同时为了提高网络增强效果，在每一个t时刻使用分布转换网络将xt转换为x′ t并于同时刻的y′ t相加得到该时刻总分布Y，即：
其中，1<t<T，y′ t和fφ(xt,t)均服从μt为均值，σt 2为方差的正态分布N(μt,σt 2)；为避免增强图像失真，在特征图叠加后将分布转换为Y～N(μt,σt 2)，其操作为：
即当1<t<T时：
在推理过程的最后一次迭代时，仅需对y1使用去噪网络，并根据下述公式得到最终的增强图像，Y＝y′ t服从正态分布N(μt,σt 2)，代入上式，最终推导出参考图像y0数据分布的公式为：
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310615596.5A CN116883259A (zh) | 2023-05-29 | 2023-05-29 | 一种基于去噪扩散概率模型的水下图像增强方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310615596.5A CN116883259A (zh) | 2023-05-29 | 2023-05-29 | 一种基于去噪扩散概率模型的水下图像增强方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116883259A true CN116883259A (zh) | 2023-10-13 |
Family
ID=88270509
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310615596.5A Pending CN116883259A (zh) | 2023-05-29 | 2023-05-29 | 一种基于去噪扩散概率模型的水下图像增强方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116883259A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117409192A (zh) * | 2023-12-14 | 2024-01-16 | 武汉大学 | 一种基于数据增强的红外小目标检测方法及装置 |
-
2023
- 2023-05-29 CN CN202310615596.5A patent/CN116883259A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117409192A (zh) * | 2023-12-14 | 2024-01-16 | 武汉大学 | 一种基于数据增强的红外小目标检测方法及装置 |
| CN117409192B (zh) * | 2023-12-14 | 2024-03-08 | 武汉大学 | 一种基于数据增强的红外小目标检测方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108765325B (zh) | 一种小型无人机模糊图像复原方法 | |
| CN110570365B (zh) | 基于先验信息的图像去雾方法 | |
| CN108389175B (zh) | 融合变差函数和颜色衰减先验的图像去雾方法 | |
| CN110288550B (zh) | 基于先验知识引导条件生成对抗网络的单张图像去雾方法 | |
| CN109377450B (zh) | 一种边缘保护的去噪方法 | |
| CN111105371B (zh) | 一种低对比度红外图像的增强方法 | |
| CN110782407B (zh) | 一种基于天空区域概率分割的单幅图像去雾方法 | |
| CN111598791B (zh) | 一种基于改进动态大气散射系数函数的图像去雾方法 | |
| CN111210395B (zh) | 基于灰度值映射的Retinex水下图像增强方法 | |
| CN111861896A (zh) | 一种面向uuv的水下图像色彩补偿与恢复方法 | |
| CN107292316B (zh) | 一种基于稀疏表示的提升图像清晰度的方法 | |
| CN107203980B (zh) | 自适应多尺度暗通道先验的水下目标探测图像增强方法 | |
| CN108564544A (zh) | 基于边缘感知的图像盲去模糊组合稀疏优化方法 | |
| CN109118440B (zh) | 基于透射率融合与自适应大气光估计的单幅图像去雾方法 | |
| CN116883259A (zh) | 一种基于去噪扩散概率模型的水下图像增强方法 | |
| Kim et al. | Single image haze removal using hazy particle maps | |
| CN115937019A (zh) | 一种lsd二次分割和深度学习相结合的不均匀去雾方法 | |
| CN105608683B (zh) | 一种单幅图像去雾方法 | |
| Liang et al. | Underwater image quality improvement via color, detail, and contrast restoration | |
| CN114693548A (zh) | 一种基于亮区域检测的暗通道去雾方法 | |
| CN116630198A (zh) | 一种结合自适应伽马校正的多尺度融合水下图像增强方法 | |
| CN116862809A (zh) | 一种低曝光条件下的图像增强方法 | |
| CN111652810A (zh) | 一种基于小波域奇异值差分模型的图像去噪方法 | |
| Xie et al. | DHD-Net: A novel deep-learning-based dehazing network | |
| Guan et al. | DiffWater: Underwater image enhancement based on conditional denoising diffusion probabilistic model |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |