CN113724168B - 一种飞机图像去雾方法及*** - Google Patents
一种飞机图像去雾方法及*** Download PDFInfo
- Publication number
- CN113724168B CN113724168B CN202111044047.4A CN202111044047A CN113724168B CN 113724168 B CN113724168 B CN 113724168B CN 202111044047 A CN202111044047 A CN 202111044047A CN 113724168 B CN113724168 B CN 113724168B
- Authority
- CN
- China
- Prior art keywords
- image
- defogging
- airplane
- foggy
- supervised learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 121
- 230000000694 effects Effects 0.000 claims abstract description 48
- 238000012549 training Methods 0.000 claims description 87
- 238000012545 processing Methods 0.000 claims description 31
- 230000006870 function Effects 0.000 claims description 15
- 239000003086 colorant Substances 0.000 abstract description 2
- 238000013135 deep learning Methods 0.000 description 18
- 230000008569 process Effects 0.000 description 18
- 238000011156 evaluation Methods 0.000 description 17
- 230000000007 visual effect Effects 0.000 description 13
- 238000005259 measurement Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 238000001514 detection method Methods 0.000 description 6
- 230000004438 eyesight Effects 0.000 description 5
- 238000013441 quality evaluation Methods 0.000 description 5
- 238000002474 experimental method Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 238000011084 recovery Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 238000011158 quantitative evaluation Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 241000269627 Amphiuma means Species 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 239000003595 mist Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000002040 relaxant effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种飞机图像去雾方法及***,通过将有雾飞机图像作为网络输入,飞机初始去雾图像作为参考标签,采用Res‑Net作为基础网络对有监督学习网络进行训练。在网络训练的初始阶段,总能找到具有最佳去雾效果的最佳去雾模型,其输出的去雾图具有比初始去雾图像和其他训练模型的输出图像具有更好的去雾效果,最后结合残差思想,根据所述第一无雾飞机图像、所述待评价图像和对所述待评价图像进行预去雾处理后得到的初步去雾图像,得到最终的无雾飞机图像。采用本发明获得的去雾图像的色彩和细节更加丰富、真实,去雾效果更好。
Description
技术领域
本发明涉及图像处理技术领域,特别是涉及一种飞机图像去雾方法及***。
背景技术
在实际工业应用中,为了掌握飞机飞行情况,获得飞机飞行姿态,我们经常需要在飞机起飞、降落过程中用第三方相机进行拍摄,获取的飞机图片将用于指挥室监控,或进行目标检测、姿态测量等高级视觉任务。然而,飞机起降位于室外环境,经常受到有雾等恶劣天气的干扰,大大影响飞机图片质量,从而干扰判断。对有雾飞机图像进行去雾操作,一方面能够获得具有更好的人眼视觉效果的图片帮助监控,另一方面能够为后续高级视觉任务提供更好的预处理图像。因此,研究有雾飞机图像的去雾问题十分重要。
解决有雾飞机图像的去雾问题,最容易想到的方法,就是利用现有去雾网络,将有雾飞机图像直接作为输入,输出则为去雾后的无雾飞机图像。然而,该方法获得的去雾飞机图像效果往往不好甚至失效。分析其原因在于飞机图像具有与通用图像不同的特点,如色彩较单一、除有雾外还存在其他噪声、暗光等降质因素,而现有方法均基于通用数据集进行训练,对飞机图像针对性较差。
对此,亟需一种对飞机图像具有针对性去雾的飞机图像去雾方法及***,提高有雾飞机图像的去雾效果。
发明内容
本发明的目的是提供一种飞机图像去雾方法及***,以提高有雾飞机图像的去雾效果。
为实现上述目的,本发明提供了如下方案:
一种飞机图像去雾方法,包括:
获取有雾飞机图像;
对所述有雾飞机图像预去雾处理,得到初步去雾图像;
将所述有雾飞机图像作为有监督学习网络的输入,将所述初步去雾图像作为所述有监督学习网络的参考标签,对所述有监督学习网络训练,得到训练好的有监督学习网络;
利用所述训练好的有监督学习网络处理待评价图像,获得对应的第一无雾飞机图像。
可选的,所述对所述有雾飞机图像预去雾处理,得到初步去雾图像,具体包括:
采用MSRCR方法对所述有雾飞机图像进行预去雾处理,得到所述初步去雾图像。
可选的,所述将所述有雾飞机图像作为有监督学习网络的输入,将所述初步去雾图像作为所述有监督学习网络的参考标签,对所述有监督学习网络训练,得到训练好的有监督学习网络,具体包括:
所述有雾飞机图像作为有监督学习网络的输入,将所述初步去雾图像作为所述有监督学习网络的参考标签,对所述有监督学习网络训练,获得多个训练模型;
从所述多个训练模型中选取具有最佳去雾效果的训练模型作为最佳去雾模型;
根据所述最佳去雾模型得到训练好的有监督学习网络。
可选的,所述有监督学习网络表示为:
N(gt+δh(x))→k·(gt+δm(x))
其中,N(gt+δh(x))表示所述有监督学习网络的输出图像;gt表示原始参考无雾图;δh(x)表示所述有雾飞机图像与所述原始参考无雾图的差;k表示超参数;δm(x)表示所述初步去雾图像与所述原始参考无雾图的差。
可选的,所述从所述多个训练模型中选取具有最佳去雾效果的训练模型作为最佳去雾模型,具体包括:
选取损失函数最小的训练模型作为最佳去雾模型;
所述最佳去雾模型表示为:
mod el*=arg min MSE((Ih(x)+Im(x)-O*(x)),gt)
其中,mod el*表示所述最佳去雾模型;arg min MSE()表示使损失函数最小时取得的去雾模型;Ih(x)表示所述有雾飞机图像;Im(x)表示所述初步去雾图像;O*(x)表示所述训练模型输出的第一无雾飞机图像;gt表示原始参考无雾图。
所述从所述多个训练模型中选取具有最佳去雾效果的训练模型作为最佳去雾模型,还包括:
分别计算各个有雾飞机图像的多变量高斯拟合与从自然图像数据库中提取的多变量高斯模型之间的距离;
选取所述距离最小的有雾飞机图像对应的训练模型作为最佳去雾模型。
可选的,在所述利用所述训练好的有监督学习网络处理待评价图像,获得对应的第一无雾飞机图像之后,还包括:
根据所述第一无雾飞机图像、所述待评价图像和对所述待评价图像进行预去雾处理后得到的初步去雾图像,得到最终的无雾飞机图像。
可选的,所述在根据所述第一无雾飞机图像、所述待评价图像和对所述待评价图像进行预去雾处理后得到的初步去雾图像,得到最终的无雾飞机图像之后,还包括:采用分段伽马函数对所述最终的无雾飞机图像进行增强处理。一种飞机图像去雾***,包括:
采集模块,用于获取有雾飞机图像;
预去雾模块,用于对所述有雾飞机图像预去雾处理,得到初步去雾图像;
训练模块,用于将所述有雾飞机图像作为有监督学习网络的输入,将所述初步去雾图像作为所述有监督学习网络的参考标签,对所述有监督学习网络训练,得到训练好的有监督学习网络;
处理模块,用于利用所述训练好的有监督学习网络处理待评价图像,获得对应的第一无雾飞机图像。
可选的,在所述处理模块之后还包括:最终图像确定模块,用于根据所述第一无雾飞机图像、所述待评价图像和对所述待评价图像进行预去雾处理后得到的初步去雾图像,得到最终的无雾飞机图像。
根据本发明提供的具体实施例,本发明公开了以下技术效果:
本发明提供了一种飞机图像去雾方法及***,通过对实际拍摄的有雾飞机图像进行预去雾处理,将得到的初步去雾图像代替原始无雾飞机图像,将有雾飞机图像和初步去雾图像作为训练集训练有监督学习网络,得到训练好的有监督学习网络,利用训练好的有监督学习网络对待评价图像处理,相较于现有技术,其去雾效果大大提高;由于本发明的训练好的有监督学习网络是基于实际拍摄的有雾飞机图像训练得到的,因此相较于现有的去雾网络,本发明的学习网络对飞机图像更有针对性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例1提供的一种飞机图像去雾方法中已有算法对有雾飞机图像的去雾效果示意图;
图2为实施例1提供的一种飞机图像去雾方法的流程图;
图3为本发明实施例1提供的一种飞机图像去雾方法中原始Res-Net网络和残差思想改进后的Res-Net网络的结构图;
图4为本发明实施例1提供的一种飞机图像去雾方法中有雾飞机图像和残差图像各自像素分布的示意图;
图5为本发明实施例1提供的一种飞机图像去雾方法中有雾飞机图像在各个训练模型训练得到的无雾飞机图像的NIQE值的折线图;
图6为本发明实施例1提供的一种飞机图像去雾方法中最终的无雾飞机图像恢复的网络的结构图;
图7为本发明实施例1提供的一种飞机图像去雾方法中的各类去雾方法的有雾飞机图像去雾效果的示意图;
图8为本发明实施例2提供的一种飞机图像去雾***的结构图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的目的是提供一种飞机图像去雾方法及***,以提高有雾飞机图像的去雾效果。
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
实施例1:
在实际生活中,有许多场景需要对实际拍摄的有雾图像进行去雾处理。例如,有雾天气下游客拍摄的旅行照片,为了使图中风景更加明艳、人物更加清晰,需要对有雾照片进行去雾处理;在自动驾驶领域,有雾天气下摄像头采集的环境图片将严重干扰自动驾驶程序对道路情况进行判断,因此需要对采集的有雾图片进行去雾处理。实验室C919飞机自动摄影跟踪及测量项目,立足航空重点任务,在国产C919大型客机起飞、降落阶段进行跟踪拍摄,对拍摄的飞机图像进行检测、跟踪、姿态测量等一系列计算机视觉任务。由于机场处于露天环境,当出现有雾天气时,将严重影响所拍摄飞机图像的质量。有雾飞机图像不仅影响人眼视觉观感,对机场监控产生干扰,从而影响工作人员的判断,而且会对后续检测、跟踪、姿态测量等高级视觉任务带来较大的影响,从而降低检测或测量精度。因此,对实际拍摄的有雾飞机图像进行去雾处理,不仅在人眼视觉上能够提高机场监控质量,而且能进一步提高后续检测和测量精度,为后续高级视觉任务服务,是十分必要的。
图像去雾算法按照是否使用深度学习方法,可以分为传统图像去雾算法和基于深度学习的去雾算法两类。解决飞机图像去雾问题,最容易想到的方法,就是利用现有去雾网络,将有雾飞机图像直接作为输入,输出则为去雾后的无雾飞机图像,然而,该方法获得的去雾飞机图像效果往往不好甚至失效。分析其原因在于飞机图像具有与通用图像不同的特点,如色彩较单一、除有雾外还存在其他噪声、暗光等降质因素,而现有方法均基于通用数据集进行训练,对飞机图像针对性较差。
为了使去雾网络对有雾飞机图像具有更强的针对性,考虑使用自制的有雾飞机数据集作为训练集,对网络进行训练。此解决方案面临的一个重要问题在于,目前基于深度学习的图像去雾方法,需要完全对应的成对有雾-无雾图作为训练集,他们通常使用合成图像数据集作为训练集,例如AOD、MSBDN等。想要使用飞机数据集进行训练所面临的重要问题是,实际拍摄的有雾飞机图像缺少对应的真实无雾图,因此不能直接对现有算法网络进行训练。
而基于生成对抗网络的去雾算法虽然能够获得更好的视觉观感,近几年图像去雾领域的研究也都大多围绕此展开。然而由于C919飞机自动摄影跟踪及测量项目主要面向的是预处理后飞机的检测和测量问题,因此对于数值的准确性要求较高,在进行去雾处理时需要考虑图片的真实性。而基于生成对抗网络的图像处理算法,由于其原理是通过生成器生成假图像,再进一步通过训练鉴别器与生成器进行对抗来达到图像去雾目的,最终获得的无雾图像仍为生成器生成的假图像,将对测量结果的真实性产生较大影响,因此在实际项目中不采用基于生成对抗网络的图像去雾算法。
而目前的基于深度学习的图像去雾算法应用于有雾图像处理中,大多针对合成有雾图像展开研究,或是利用域迁移方法,在合成有雾图像的基础上,向真实有雾图像靠近。对于真实拍摄图像的去雾问题仅停留在将训练好的深度学习模型进行直接应用的层面。
考虑这样一个问题,针对在机场实际拍摄的有雾C919飞机图像,要想对其进行去雾处理,该如何实现?由于传统图像去雾算法的效果相较基于深度学习的图像去雾算法的效果往往较差,因此这里只考虑基于深度学习的图像去雾算法。首先最容易想到的方法是,直接利用目前已被提出的先进去雾算法,针对已训练完成的图像去雾模型,直接将网络的输入替换为项目中实际拍摄的C919有雾飞机图像,则网络输出即为去雾后的飞机图像。观察输出的飞机去雾图像,可以发现其实际效果往往不好,图片可能与原图色调不一致(如MSRCR方法),可能整体偏暗(如AOD方法),导致图片信息丢失,或产生噪声等问题使算法失效(如MSBDN算法),具体效果图参见图1,其中图(a)为原始有雾飞机图像;图(b)为MSRCR方法去雾后的飞机图像;图(c)为AOD方法去雾后的飞机图像;图(d)为MSBDN方法去雾后的飞机图像。从人眼观感和评价指标来看,直接利用已训练好的基于深度学习的图像去雾模型进行飞机图像去雾,效果往往不好甚至与原有雾图像相比更差,因此该方案并不可行。
分析导致已有算法直接应用于飞机图像去雾问题时失效的原因,可总结为以下两点:一方面,有雾飞机图像具有独特性,从色彩角度看,其颜色较为单一,图片中主要为灰白色飞机和蓝色、黄色或灰色天空背景,而训练深度学习网络所用的训练集色彩多样、细节丰富,因此当所训练的模型对灰白色去雾能力存在瑕疵时,飞机图像将会放大这种不足,同时由于飞机图像的细节相对训练集较少,也更易暴露原算法的劣势。另一方面,网络训练所用的训练集通常为合成雾图,而在实际应用中,真实的雾并非完全按照合成雾的物理公式形成,且存在其他因素如霾、暗光、拍摄像素低等各方面因素共同影响图片质量,因此如果不使用自身数据集作为训练集对网络训练,难以完全适应该场景下的图像去雾要求。
进一步考虑,如果利用已有的基于深度学习的去雾算法的网络架构,再使用项目中实际拍摄的有雾飞机图像作为训练集对已有网络进行训练,使网络不断向实际有雾飞机图像的情况靠拢,是否将会得到适用于本项目中的具体情况的、对有雾飞机图像具有更好效果的去雾网络?但这一思路将会遇到一个很关键的问题,就是目前已有的基于卷积神经网络的深度学习图像去雾算法均为有监督网络,在网络训练时需要完全对应的有雾图与真实无雾图作为训练集参与训练。在通用数据集上这一训练方法是容易实现的,因为通用数据集是无雾图像与利用大气传输物理模型合成的有雾图像的集合,其有雾、无雾图像是完全对应的。然而实际应用中,往往只能获取图像质量较差的有雾图像,无法获得与之完全对应的无雾图像,因此无法使用实际拍摄的图像作为训练集对网络进行训练。
综合以上分析,上述现有技术对飞机图像的去雾效果均不理想。
对此,为了保证飞机去雾后图像的真实性,提高去雾效果,确保后续检测、测量等环节数据的准确,本实施例提供了一种飞机图像去雾方法,用自己拍摄的符合实际应用场景的有雾飞机图像作为训练集,对网络进行训练,使所获得的训练后的网络将对该场景下的有雾飞机图像具有特异性,能够更好地解决该场景下的图像去雾问题。而针对实验室重点科研任务C919自动摄影跟踪及测量项目,则使用在C919飞机试飞现场自行拍摄的图像素材作为训练集对去雾网络进行训练,能够更好地解决C919有雾飞机图像的去雾问题。
如图2所示,本实施例提供的一种飞机图像去雾方法,包括:
S1:获取有雾飞机图像:选取部分实际拍摄到的C919有雾飞机图像作为有雾飞机图像。
S2:对所述有雾飞机图像预去雾处理,得到初步去雾图像。
由于在实际应用中,往往只能获取图像质量较差的有雾图像,无法获得与之完全对应的无雾图像,或者只能合成对应的假图像作为无雾图像,因此将其作为训练集对学习网络训练,然后利用该学习网络对有雾飞机图像去雾得到的无雾图像的效果差,真实性低。因此在本实施中,提高去雾效果,需要获得更真实的飞机无雾图像对有监督学习网络训练。
将已知的C919飞机有雾图像作为预去雾处理的对象,目的是获得飞机初步去雾图像,并将这些初步去雾图像与有雾图像一起作为有监督学习网络的训练集。由于训练集中需要大量处理后的初步去雾图像,因此要求预去雾方法复杂度低、处理速度快、适用处理海量图片,对预去雾的效果可适当放宽。
目前常用的图像去雾方法包括基于深度学习和传统去雾方法两类,其中后者按照去雾原理不同又可分为基于图像增强和基于物理模型的去雾方法。由于基于物理模型和基于深度学习的图像去雾方法实现较复杂,因此选用基于图像增强的去雾方法作为预去雾方法。此处选择Retinex方法改进后的MSRCR算法,其基础是认为人眼看到的图像只与三原色光波以及物体反射性质有关,符合公式(1)
S(x,y)=L(x,y)·R(x,y) (1)
其中,S(x,y)表示原始图像,L(x,y)表示亮度图像,R(x,y)表示反射图像。
不同的预去雾方法对最终飞机图像去雾效果会产生不同的影响,但总体效果相近。如使用MSRCR方法能够较好地实现“雾”的去除,且能够在一定程度纠正背景色偏,但得到的初步去雾图像整体颜色偏灰,色彩层次感略差。使用基于深度学习的AOD方法进行预去雾,得到的初步去雾图像色彩浓郁,但受限于C919飞机图片本身颜色单一且偏暗,AOD方法去雾后的图片整体颜色偏暗,对色偏的纠正也不甚理想。综合最终去雾效果与预去雾方法的复杂性,最终选定MSRCR方法作为预去雾方法,它具有复杂度低、最终去雾效果好的优势。
S3:将所述有雾飞机图像作为有监督学习网络的输入,将所述初步去雾图像作为所述有监督学习网络的参考标签,对所述有监督学习网络训练,得到训练好的有监督学习网络,其中选择26层Res-Net网络作为有监督学习网络的基础,包含12个残差块,每个残差快由两组卷积-BN-ReLu块组成;卷积全部采用3×3卷积核。由于本实施中的飞机图像去雾方法在后续过程中提到引入了残差思想,因此选择Res-Net网路作为训练网络能够更好地对图片的细节特征描述和处理,其网络结构如图3(a)所示。
在网络学习过程中引入残差思想,将有雾飞机图像与初始去雾图像的残差作为网络输入。有雾飞机图像可认为是图片基础框架与“雾”图的和,写作:
Ihazy=Ibase+Ihaze (2)
其中Ibase代表图片基础框架,此处用有雾飞机图像经过预去雾后的初始去雾图像代替,Ihaze代表有雾飞机图像与有雾飞机图像与初始去雾图像相减后的残差图像,即“雾”图。图4(a)和图4(b)展示了有雾图像Ihazy与Ihaze的像素值分布,观察发现,与Ihazy相比,Ihaze的灰度分布更加集中,因此,可将残差思想引入有监督学习网络来帮助学习映射,以进一步提高图像的去雾效果,提高获得的去雾图像的真实性,采用残差思想改进后的网络结构如图3(b)所示。
S4:利用所述训练好的有监督学习网络处理待评价图像,获得对应的第一无雾飞机图像。
作为一种可选的实施方式,步骤S3具体包括:
S31:所述有雾飞机图像作为有监督学习网络的输入,将所述初步去雾图像作为所述有监督学习网络的参考标签,对所述有监督学习网络训练,获得多个训练模型;
S32:从所述多个训练模型中选取具有最佳去雾效果的训练模型作为最佳去雾模型;
S33:根据所述最佳去雾模型得到训练好的有监督学习网络。
深度学习的过程实质上是有监督学习网络由输入向参考标签不断学习、不断趋近的过程。通常基于卷积神经网络的图像去雾算法的输入图像为有雾飞机图像,参考标签为真实无雾图像,通过模型的不断学习,使得模型输出不断接近真实无雾图,最终获得去雾后的图像。
本实施例同样基于卷积神经网络,在有监督学习网络中输入有雾飞机图像,网络的参考标签不再使用真实无雾图像,而采用初步去雾图像。本实施例所提出的无真实无雾图像参与的训练过程,实质是由有雾飞机图像向初步去雾图像不断学习的过程,最终网络输出的去雾图像非常接近初步去雾图像。然而在训练过程中,可以找到某个中间模型,使得该模型获得的去雾后图像具有更好的去雾效果。因此将寻找到的具有最佳去雾效果的训练模型称为最佳去雾模型,记为mod el*,从训练过程众多模型中找到最佳去雾模型mod el*的过程称为最佳去雾效果的选择过程,即:
mod el*=mod eli0 (3)
其中mod eli0表示第i0个训练模型。
为了使本领域技术人员更清楚地了解最佳去雾模型mod el*的确定过程,下述进行具体阐释。
设有监督学习网络输入的有雾飞机图像写作Ih(x),初步去雾图像写作Im(x),损失函数采用L-2损失,则训练的损失函数可表示为
losstrain=MSE(N(Ih(x),k·Im(x))) (4)
其中,N(Ih(x))表示网络作用于输入Ih(x)后获得的输出图像,k表示超参数,用于调整训练方向。监督学习网络的功能可表达为:
N(Ih(x))→k·Im(x) (5)
将有雾飞机图像Ih(x)与初步去雾图像Im(x)分别写作以下形式:
Ih(x)=gt+δh(x) (6)
Im(x)=gt+δm(x) (7)
其中gt表示原始参考无雾图;δh(x)表示所述有雾飞机图像与所述原始参考无雾图的差,即待去除的“雾”的图像;k表示超参数;δm(x)表示所述初步去雾图像与所述原始参考无雾图的差,初步去雾图像与真实无雾图之间仍存在的差异。
将公式(6)、(7)代入式(5),则网络功能可表示为:
N(gt+δh(x))→k·(gt+δm(x)) (8)
在有监督学习网络由向gt+δh(x)向k·(gt+δm(x))学习的过程中,训练模型输出的第一无雾飞机图像O*(x)满足:
O*(x)=N*(gt+δh(x))≈gt+δh(x)+δm(x) (9)
其中,N*(gt+δh(x))表示有监督学习网络中输入gt+δh(x)的有雾飞机图像后获得的输出图像。
对式(9)移项并在等式两边同时加gt,即有
2gt+δh(x)+δm(x)-O*(x)≈gt (10)
结合公式(6)、(7),可知:
Ih(x)+Im(x)-O*(x)≈gt (11)
采用L-2损失描述二者之间的差异,选择损失函数最小的训练模型作为最佳去雾模型mod el*,则mod el*满足:
mod el*=arg min MSE((Ih(x)+Im(x)-O*(x)),gt) (12)
其中,mod el*表示所述最佳去雾模型;arg min MSE()表示使损失函数最小时的去雾模型。
上述过程是基于能够获得原始参考无雾图的基础上选择最佳去雾模型,然而由于实际拍摄的C919有雾飞机图像没有与之对应的无雾图,因此在实际应用中无法使用MSE作为去雾效果的评价指标。
因此对于无法获得原始参考无雾图的情况,本实施例则采用无参考图像质量评价指标寻找最佳去雾模型,即将自然图像质量评估指标NIQE作为最佳去雾效果的找寻依据,具体地分别计算各个有雾飞机图像的自然场景统计特征的多变量高斯拟合与从自然图像数据库中提取的质量感知特征的多变量高斯模型之间的距离,该值越小,则说明有雾飞机图像在训练模型中的训练质量越好,因此选取距离最小的无雾飞机图像对应的训练模型作为最佳去雾模型。
在飞机图像集中进行了大量实验,实验数据符合上述结论。图5表示了训练过程中利用mod el0至mod el39分别进行无雾图恢复后得到的无雾飞机图像的NIQE值,发现在训练初始阶段mod el0至mod el19,能找到一个mod el5,其对应的NIQE值是整个训练过程中的最小值,则认为此时获得最佳去雾效果,公式表示为:
mod el*=mod el5 (13)
对比不同训练阶段恢复的无雾飞机图像,发现利用寻找到的mod el*恢复的无雾图像不仅具有小的NIQE值,同样具有最佳的人眼视觉表现。
作为一种可选的实施方式,在步骤S4之后,还包括:
根据所述第一无雾飞机图像、所述待评价图像和对所述待评价图像进行预去雾处理后得到的初步去雾图像,得到最终的无雾飞机图像,具体表达式为:
J(x')=Ih(x')+Im(x')-O*(x') (14)
其中,J(x')为最终的无雾飞机图像,Ih(x')为待评价图像,Im(x')为待评价图像进行预去雾处理后得到的初步去雾图像,O*(x')为以待评价图像作为输入时训练模型输出的第一无雾飞机图像,优选地O*(x')可以选用以待评价图像作为输入时最佳去雾模型输出的第一无雾飞机图像,O*(x')的物理含义是:真实需要去除的“雾”在预去雾图基础上的表现。
最终的无雾飞机图像恢复的网络结构如图6所示,在最终的无雾飞机图像恢复的网络结构中引入有雾图与预去雾图的跳跃式连接,一方面遵循了公式(14)的数学表述,另一方面能够保证原信息的无损传递,同时最大限度利用已完成的预去雾操作,减少算力浪费。
观察得到的最终的无雾飞机图像,其颜色亮处偏亮,易使人产生雾未除尽的感觉,而暗处偏暗,可能造成暗处部分细节信息的损失。因此为了获得具有更好效果的去雾图,可以针对图片的亮部与暗部分别进行对应的增强处理:对图片亮部进行压缩,暗部进行拉伸,具体地选用伽马变换作为基本变换原理,构建分段伽马函数对所述最终的无雾飞机图像增强处理,分段伽马函数表示为:
其中,a为可调分段点,满足0<a<1,用于调节图像整体的明暗观感;γ1、γ2分别调节明、暗两部分灰度拉伸程度;c1、c2为常系数。对于本实施例的训练集,取a=0.2,c1=c2=1,γ1=1.3,γ2=0.8。
为了使本领域技术人员更清楚地了解本实施例提供的飞机图像去雾方法的去雾效果,下述通过具体示例进行说明。
1.获取数据集
有雾飞机图像去雾的方法主要面向C919飞机自动摄影跟踪及测量项目,在C919飞机试飞的起飞和降落阶段,利用在地面布置的转台操纵摄像头,对飞机进行跟踪拍摄并选取其中有雾条件的图片组成有雾飞机图像数据集。图像内容通常包括天空背景、机场建筑物背景及不同大小、不同姿态的起飞或降落阶段的飞机。数据集包含1160张大小为1920*1080的C919有雾飞机图片,选择其中1000张作为训练集,其余100张用于最佳去雾效果模型的选择,剩下的60张作为测试集,三个集合互相独立,彼此不重叠。
2.飞机图像去雾效果评价(1)人眼主观评价
图7(a)展示了原始有雾飞机图像,图7(b)展示了使用传统图像去雾算法MSRCR去雾后的飞机图像,图7(c)展示了使用基于深度学习的AOD去雾算法去雾后的飞机图像,图7(d)展示了使用本发明提出的基于深度学习网络使用自建有雾飞机图像集训练的图像去雾方法获得的飞机去雾图像。
观察图7可知,MSRCR方法能够较好地去除图片中的“雾”,但去雾后图片背景全部变为灰色,与原图色调不一致。AOD方法去雾后虽能保持与原图色调一致性,但其颜色过于浓郁,图片偏暗,人眼视觉效果不佳。本发明提出的算法能够有效去除图片中“雾”,保持与原图色调一致,且能够获得清朗明亮的视觉观感,在C919飞机图像去雾中具有很好的主观视觉表现。
值得注意的是,由于后续高级视觉任务要求图像的真实性,在基于深度学习的图像去雾方法中,生成对抗网络得到的是假图像,故此处未将基于生成对抗网络的图像去雾算法纳入比较。另由于部分已存在的去雾方法对于飞机图像的去雾效果很差,如MSBDN算法,见图1(d),故未在此处列出。
(2)客观指标对比
a.平均主观意见分MOS(Mean Opinion Score)
MOS是一种基于主观人眼视觉观感的图像质量定量评价方法,其本质是一种主观评价方法,此处为了对比方便,将其与客观评价方法共同列于表1中。MOS最初起源于对有线电话通话音质的评价,之后被引入到图像质量评价中。MOS将人对图片的主观观感定量分为1~5五级评分制度,依据评价时是否有参考图像可分为绝对主观意见评价和相对主观意见评价,此处由于完全对应的飞机真实无雾图难以获取,故采用相对主观意见评价方法,将需要对比的一组图片放在一起,通过互相比较进行评价。1~5分分别对应:该群中最差、较差、平均、较好、最好五类概念,分数越高,说明图像质量越好。
基于MOS主观评价方法,本发明设计了对不同去雾方法的定量主观评价实验。在考虑了实际操作成本、被试人员状态等诸多因素后,本发明选择了10组图片,每组图片包含不同种去雾算法去雾后获得的飞机图像,在不告知被试人员其他信息,仅提供图片的情况下,请被试人员对每张图片按照直观观感进行打分,分数为1~5分,符合上述MOS实验分值设置,为了使结果更加客观,图片顺序被打乱。实验共收集到了26人的打分数据,被试者包含各个年龄段,男女基本均等。表1展示了每种算法去雾效果的平均得分。观察表格中MOS数据可发现,MSRCR方法相较AOD方法的得分更高,本发明所提出方法得分最高。实验数据一方面说明,虽然通常情况下基于深度学习的图像去雾方法相较传统方法去雾效果更好,但对于有雾飞机图像并不一定如此,在这里MOS分值显示传统方法MSRCR相较AOD方法取得的视觉效果更佳。数据另一方面说明了从人眼视觉观感角度出发,本发明方法优于上述两种方法。
表1采用不同预去雾方法得到的去雾飞机图像评价指标对比
(3)无参考的自然图像质量评价指标NIQE
由于自行采集的C919有雾飞机图像没有真实无雾图,因此无法进行有参考的图像质量评价,例如计算去雾后图片与真实无雾图的峰值信噪比PSNR、结构相似性指数SSIM等。采用无需真实无雾图的评价指标作为去雾后飞机图像质量的定量评价,此处选择自然图像质量评价指标NIQE,NIQE值越小,说明图像质量越高。从采集的有雾飞机图像集合中选择与网络训练、最佳去雾效果选择时所用图像集独立无重合的60张C919有雾飞机图像,作为计算NIQE的测试集合,最终得到的NIQE是此60张图像的平均值如表1所示。观察表1中NIQE数据发现,有雾图质量最差,这符合实际情况。MSRCR方法相较AOD方法指标更小,说明质量更好,这符合上述人眼主观平均意见得分的结果,而本发明方法的NIQE值最小,说明在几种方法中,使用本发明方法的去雾图像获得了最好的图像质量。
同样的,考虑后续高级视觉任务要求图像真实性,此处未将基于生成对抗网络的图像去雾算法纳入比较。另由于部分已存在的去雾方法对于飞机图像的去雾效果很差,如MSBDN算法,见图1,计算其评价指标已无意义,故未在此处列出。
由于与有雾飞机图像完全对应的原始无雾图像难以获取,对有雾飞机图像进行预去雾处理,用预去雾后的图像代替原始无雾飞机图像,即将有雾飞机图像作为网络输入,飞机初始去雾图像作为参考标签,采用Res-Net作为基础网络,对有监督学习网络进行训练。在网络训练的初始阶段,总能找到具有最佳去雾效果的最佳去雾模型,其输出的第一无雾飞机图像具有比初始去雾图像和其他训练模型的输出图像具有更好的去雾效果,最后结合残差思想,根据所述第一无雾飞机图像、所述待评价图像和对所述待评价图像进行预去雾处理后得到的初步去雾图像,得到最终的无雾飞机图像,大大提高了飞机图像的去雾效果。
实施例2:
参阅图8,本实施例还提供了一种飞机图像去雾***,包括:
采集模块M1,用于获取有雾飞机图像;
预去雾模块M2,用于对所述有雾飞机图像预去雾处理,得到初步去雾图像;
训练模块M3,用于将所述有雾飞机图像作为有监督学习网络的输入,将所述初步去雾图像作为所述有监督学习网络的参考标签,对所述有监督学习网络训练,得到训练好的有监督学习网络;
处理模块M4,用于利用所述训练好的有监督学习网络处理待评价图像,获得对应的第一无雾飞机图像。
作为一种可选的实施方式,在处理模块M4之后还包括:最终图像确定模块,用于根据所述第一无雾飞机图像、所述待评价图像和对所述待评价图像进行预去雾处理后得到的初步去雾图像,得到最终的无雾飞机图像。
本说明书中每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的***而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
本发明中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处。综上所述,本说明书内容不应理解为对本发明的限制。
Claims (9)
1.一种飞机图像去雾方法,其特征在于,包括:
获取有雾飞机图像;
对所述有雾飞机图像预去雾处理,得到初步去雾图像;
将所述有雾飞机图像作为有监督学习网络的输入,将所述初步去雾图像作为所述有监督学习网络的参考标签,对所述有监督学习网络训练,得到训练好的有监督学习网络;
利用所述训练好的有监督学习网络处理待评价图像,获得对应的第一无雾飞机图像;
所述有监督学习网络表示为:
N(gt+δh(x))→k·(gt+δm(x))
其中,N(gt+δh(x))表示所述有监督学习网络的输出图像;gt表示原始参考无雾图;δh(x)表示所述有雾飞机图像与所述原始参考无雾图的差;k表示超参数;δm(x)表示所述初步去雾图像与所述原始参考无雾图的差。
2.根据权利要求1所述的一种飞机图像去雾方法,其特征在于,所述对所述有雾飞机图像预去雾处理,得到初步去雾图像,具体包括:
采用MSRCR方法对所述有雾飞机图像进行预去雾处理,得到所述初步去雾图像。
3.根据权利要求1所述的一种飞机图像去雾方法,其特征在于,所述将所述有雾飞机图像作为有监督学习网络的输入,将所述初步去雾图像作为所述有监督学习网络的参考标签,对所述有监督学习网络训练,得到训练好的有监督学习网络,具体包括:
所述有雾飞机图像作为有监督学习网络的输入,将所述初步去雾图像作为所述有监督学习网络的参考标签,对所述有监督学习网络训练,获得多个训练模型;
从所述多个训练模型中选取具有最佳去雾效果的训练模型作为最佳去雾模型;
根据所述最佳去雾模型得到训练好的有监督学习网络。
4.根据权利要求3所述的一种飞机图像去雾方法,其特征在于,所述从所述多个训练模型中选取具有最佳去雾效果的训练模型作为最佳去雾模型,具体包括:
选取损失函数最小的训练模型作为最佳去雾模型;
所述最佳去雾模型表示为:
model*=arg min MSE((Ih(x)+Im(x)-O*(x)),gt)
其中,model*表示所述最佳去雾模型;arg min MSE()表示使损失函数最小时的去雾模型;Ih(x)表示所述有雾飞机图像;Im(x)表示所述初步去雾图像;O*(x)表示所述训练模型输出的第一无雾飞机图像;gt表示原始参考无雾图。
5.根据权利要求3所述的一种飞机图像去雾方法,其特征在于,所述从所述多个训练模型中选取具有最佳去雾效果的训练模型作为最佳去雾模型,还包括:
分别计算各个有雾飞机图像的多变量高斯拟合与从自然图像数据库中提取的多变量高斯模型之间的距离;
选取所述距离最小的有雾飞机图像对应的训练模型作为最佳去雾模型。
6.根据权利要求1所述的一种飞机图像去雾方法,其特征在于,在所述利用所述训练好的有监督学习网络处理待评价图像,获得对应的第一无雾飞机图像之后,还包括:
根据所述第一无雾飞机图像、所述待评价图像和对所述待评价图像进行预去雾处理后得到的初步去雾图像,得到最终的无雾飞机图像,所述最终的无雾飞机图像的具体表达式为:
J(x')=Ih(x')+Im(x')-O*(x')
其中,J(x')为最终的无雾飞机图像,Ih(x')为待评价图像,Im(x')为待评价图像进行预去雾处理后得到的初步去雾图像,O*(x')为以待评价图像作为输入时训练模型输出的第一无雾飞机图像。
7.根据权利要求6所述的一种飞机图像去雾方法,其特征在于,在所述根据所述第一无雾飞机图像、所述待评价图像和对所述待评价图像进行预去雾处理后得到的初步去雾图像,得到最终的无雾飞机图像之后,还包括:
采用分段伽马函数对所述最终的无雾飞机图像增强处理。
8.一种飞机图像去雾***,其特征在于,包括:
采集模块,用于获取有雾飞机图像;
预去雾模块,用于对所述有雾飞机图像预去雾处理,得到初步去雾图像;
训练模块,用于将所述有雾飞机图像作为有监督学习网络的输入,将所述初步去雾图像作为所述有监督学习网络的参考标签,对所述有监督学习网络训练,得到训练好的有监督学习网络;
处理模块,用于利用所述训练好的有监督学习网络处理待评价图像,获得对应的第一无雾飞机图像;
所述有监督学习网络表示为:
N(gt+δh(x))→k·(gt+δm(x))
其中,N(gt+δh(x))表示所述有监督学习网络的输出图像;gt表示原始参考无雾图;δh(x)表示所述有雾飞机图像与所述原始参考无雾图的差;k表示超参数;δm(x)表示所述初步去雾图像与所述原始参考无雾图的差。
9.根据权利要求8所述的一种飞机图像去雾***,其特征在于,在所述处理模块之后还包括:最终图像确定模块,用于根据所述第一无雾飞机图像、所述待评价图像和对所述待评价图像进行预去雾处理后得到的初步去雾图像,得到最终的无雾飞机图像,所述最终的无雾飞机图像的具体表达式为:
J(x')=Ih(x')+Im(x')-O*(x')
其中,J(x')为最终的无雾飞机图像,Ih(x')为待评价图像,Im(x')为待评价图像进行预去雾处理后得到的初步去雾图像,O*(x')为以待评价图像作为输入时训练模型输出的第一无雾飞机图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111044047.4A CN113724168B (zh) | 2021-09-07 | 2021-09-07 | 一种飞机图像去雾方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111044047.4A CN113724168B (zh) | 2021-09-07 | 2021-09-07 | 一种飞机图像去雾方法及*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113724168A CN113724168A (zh) | 2021-11-30 |
CN113724168B true CN113724168B (zh) | 2022-04-29 |
Family
ID=78682228
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111044047.4A Active CN113724168B (zh) | 2021-09-07 | 2021-09-07 | 一种飞机图像去雾方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113724168B (zh) |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109903232A (zh) * | 2018-12-20 | 2019-06-18 | 江南大学 | 一种基于卷积神经网络的图像去雾方法 |
CN110097519B (zh) * | 2019-04-28 | 2021-03-19 | 暨南大学 | 基于深度学习的双监督图像去雾方法、***、介质和设备 |
CN112419163B (zh) * | 2019-08-21 | 2023-06-30 | 中国人民解放***箭军工程大学 | 一种基于先验知识和深度学习的单张图像弱监督去雾方法 |
US11893482B2 (en) * | 2019-11-14 | 2024-02-06 | Microsoft Technology Licensing, Llc | Image restoration for through-display imaging |
-
2021
- 2021-09-07 CN CN202111044047.4A patent/CN113724168B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN113724168A (zh) | 2021-11-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112733950A (zh) | 一种基于图像融合与目标检测结合的电力设备故障诊断方法 | |
CN109657612A (zh) | 一种基于人脸图像特征的质量排序***及其使用方法 | |
CN110675462A (zh) | 一种基于卷积神经网络的灰度图像彩色化方法 | |
CN112508814B (zh) | 一种基于无人机低空视角下的图像色调修复型去雾增强方法 | |
CN113850747B (zh) | 一种基于光衰减和深度估计的水下图像清晰化处理方法 | |
CN111242868B (zh) | 暗视觉环境下基于卷积神经网络的图像增强方法 | |
CN110223251A (zh) | 适用于人工与自然光源的卷积神经网络水下图像复原方法 | |
CN111462002B (zh) | 一种基于卷积神经网络的水下图像增强与复原方法 | |
CN105894507B (zh) | 基于图像信息量自然场景统计特征的图像质量评价方法 | |
CN112365467A (zh) | 一种基于单幅图像深度估计的雾天图像能见度估计方法 | |
CN110910365A (zh) | 一种同时对于动态场景和静态场景的多曝光融合图像的质量评价方法 | |
CN112164010A (zh) | 一种多尺度融合卷积神经网络图像去雾方法 | |
CN112419163B (zh) | 一种基于先验知识和深度学习的单张图像弱监督去雾方法 | |
CN111861949A (zh) | 一种基于生成对抗网络的多曝光图像融合方法及*** | |
CN109671044B (zh) | 一种基于可变图像分解的多曝光图像融合方法 | |
CN105631825B (zh) | 基于滚动导向的图像去雾方法 | |
CN113724168B (zh) | 一种飞机图像去雾方法及*** | |
CN110415816B (zh) | 一种基于迁移学习的皮肤病临床图像多分类方法 | |
CN113256541B (zh) | 利用机器学***台监控画面进行去水雾的方法 | |
CN115760640A (zh) | 基于含噪Retinex模型的煤矿低光照图像增强方法 | |
CN111681176B (zh) | 自适应卷积的残差修正单幅图像去雨方法 | |
CN114882346A (zh) | 一种基于视觉的水下机器人目标自主识别方法 | |
CN105825483B (zh) | 一种图像去雾霾及沙尘的方法 | |
CN112598777A (zh) | 一种基于暗通道先验的雾霾融合方法 | |
CN111179224A (zh) | 一种基于联合学习的航拍图像修复质量的无参考评价方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |