CN116309170A - 一种输电线路巡检图像去雾方法和装置 - Google Patents
一种输电线路巡检图像去雾方法和装置 Download PDFInfo
- Publication number
- CN116309170A CN116309170A CN202310290427.9A CN202310290427A CN116309170A CN 116309170 A CN116309170 A CN 116309170A CN 202310290427 A CN202310290427 A CN 202310290427A CN 116309170 A CN116309170 A CN 116309170A
- Authority
- CN
- China
- Prior art keywords
- image
- defogging
- model
- initial
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007689 inspection Methods 0.000 title claims abstract description 91
- 230000005540 biological transmission Effects 0.000 title claims abstract description 90
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000012549 training Methods 0.000 claims abstract description 170
- 238000012360 testing method Methods 0.000 claims abstract description 70
- 238000005457 optimization Methods 0.000 claims abstract description 19
- 238000012795 verification Methods 0.000 claims abstract description 16
- 230000006870 function Effects 0.000 claims description 170
- 230000004913 activation Effects 0.000 claims description 61
- 238000010586 diagram Methods 0.000 claims description 60
- 238000000605 extraction Methods 0.000 claims description 55
- 238000012545 processing Methods 0.000 claims description 27
- 238000005070 sampling Methods 0.000 claims description 27
- 238000013507 mapping Methods 0.000 claims description 19
- 230000004927 fusion Effects 0.000 claims description 18
- 238000010606 normalization Methods 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 13
- 230000010354 integration Effects 0.000 claims description 7
- 230000009467 reduction Effects 0.000 claims description 7
- 230000009191 jumping Effects 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 5
- 230000003213 activating effect Effects 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000011176 pooling Methods 0.000 description 8
- 238000007781 pre-processing Methods 0.000 description 4
- 238000010276 construction Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 239000011800 void material Substances 0.000 description 3
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000008485 antagonism Effects 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/52—Scale-space analysis, e.g. wavelet analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种输电线路巡检图像去雾方法和装置，包括：当获取到图像训练集和图像测试集时构建初始图像生成模型和初始图像对抗模型；图像训练集包括无雾训练图像和对应的含雾训练图像；将含雾训练图像输入至初始图像生成模型进行图像去雾生成初始去雾图像；通过初始图像对抗模型基于含雾训练图像、无雾训练图像和初始去雾图像进行多尺度图像判别确定整体损失函数值；按照整体损失函数值对初始图像生成模型和初始图像对抗模型的模型参数进行梯度迭代优化，并结合测试集进行模型验证，确定目标图像生成模型；将目标输电线路巡检图像输入目标图像生成模型进行图像去雾生成目标去雾图像。通过该目标图像生成模型得到的去雾图像，图像质量更佳。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种输电线路巡检图像去雾方法和装置。
背景技术
为对长期处于室外环境的输电线路的运行状态进行监测，巡检人员定期采用无人机采集输电线路巡检图像，通过人工查看或基于机器视觉方法对输电线路巡检图像进行输电线路缺陷识别。但如果在雾霾天气下，无人机采集到的输电线路巡检图像整体泛白、对比度下降、颜色偏离且纹理细节被雾气遮掩，导致输电线路巡检图像质量严重下降，降低了输电线路缺陷识别的准确性，故需要对输电线路巡检图像进行图像去雾处理。
目前，图像去雾方法主要分为两大类：一类是基于先验信息的去雾方法，此类方法依赖于图像的先验信息或基本假设，而输电线路巡检图像场景复杂多变，很难获取准确的先验信息，导致无法应用基于先验信息的去雾方法得到高质量的去雾图像；另一类是基于深度学习的去雾方法，该类方法直接将图像去雾任务转换成含雾图像到不含雾图像的转换任务，相对基于先验信息的图像去雾方法去雾效果更好。
随着大数据的快速发展，生成对抗网络成为目前最流行的深度学习算法之一，现有基于生成对抗网络的去雾方法相较于常规深度学习方法的去雾方法的去雾效果更好，但是去雾后的图像仍存在一定程度的颜色失真、伪影以及纹理细节信息丢失现象，影响了输电线路缺陷识别，有待进一步优化去雾图像质量。
发明内容
本发明提供了一种输电线路巡检图像去雾方法和装置，解决了现有技术在对图像进行去雾处理时，生成的去雾图像的图像质量不高的技术问题。
本发明第一方面提供的一种输电线路巡检图像去雾方法，包括：
当获取到图像训练集和图像测试集时，构建初始图像生成模型和初始图像对抗模型；所述图像训练集包括无雾训练图像和对应的含雾训练图像；
将所述含雾训练图像输入至所述初始图像生成模型进行图像去雾，生成初始去雾图像；
通过所述初始图像对抗模型基于所述含雾训练图像、所述无雾训练图像和所述初始去雾图像进行多尺度图像判别，确定整体损失函数值；
按照所述整体损失函数值对所述初始图像生成模型和所述初始图像对抗模型的模型参数进行梯度迭代优化，并结合所述测试集进行模型验证，确定目标图像生成模型；
当接收到目标输电线路巡检图像时，将所述目标输电线路巡检图像输入所述目标图像生成模型进行图像去雾，生成目标去雾图像。
可选地，所述初始图像生成模型包括带有DY-ReLU激活函数的标准卷积层、残差模块、多尺度空洞卷积模块、坐标注意力模块、带有DY-ReLU激活函数的反卷积层和带有Tanh激活函数的标准卷积层；所述将所述含雾训练图像输入至所述初始图像生成模型进行图像去雾，生成初始去雾图像的步骤，包括：
将所述含雾训练图像输入带有DY-ReLU激活函数的标准卷积层进行初步特征提取后，经过残差模块进行下采样输出初步特征图；
通过残差模块对所述初步特征图进行下采样，确定下采样图；
采用坐标注意力模块分别对所述初步特征图和所述下采样图进行特征加权，生成第一加权特征图和第二加权特征图；
通过多个多尺度空洞卷积模块基于所述下采样图进行多尺度特征提取，构建多尺度特征图；
将所述多尺度特征图与所述第二加权特征图进行通道拼接后，采用带有DY-ReLU激活函数的反卷积层进行上采样，生成上采样图；
对所述上采样图与所述第一加权特征图进行通道拼接，并输入串联的带有DY-ReLU激活函数的反卷积层和带有Tanh激活函数的标准卷积层进行上采样和颜色特征映射，输出初始去雾图像。
可选地，所述多尺度空洞卷积模块设有残差连接；所述通过所述多个多尺度空洞卷积模块对所述下采样图进行多尺度特征提取，构建多尺度特征图的步骤，包括：
将所述下采样图输入多尺度空洞卷积模块进行多尺度特征信息聚合，输出聚合特征图；
对所述下采样图和所述聚合特征图进行逐元素相加，确定融合特征图；
采用多尺度空洞卷积模块对所述融合特征图进行多尺度特征信息整合，生成整合特征图；
对所述融合特征图和所述整合特征图进行逐元素相加，构建多尺度特征图。
可选地，所述多尺度空洞卷积模块包括不同卷积核大小的第一卷积层、第二卷积层与第三卷积层以及不同空洞率的第一空洞卷积层与第二空洞卷积层，所述第一卷积层、第二卷积层与第三卷积层均带有DY-LeakyReLU激活函数，所述第一空洞卷积层与第二空洞卷积层均带有实例归一化层和DY-LeakyReLU激活函数；所述多尺度空洞卷积模块的图像处理步骤，包括：
将输入所述多尺度空洞卷积模块的多尺度输入图通过串联的第一卷积层和第一空洞卷积层进行特征提取，生成第一空洞图；
采用级联的第二卷积层和第二空洞卷积层对所述空洞输入图执行特征滤波操作，构建第二空洞图；
分别通过第一卷积层和第二卷积层对所述空洞输入图进行卷积运算，确定第三空洞图和第四空洞图；
对所述第一空洞图、所述第二空洞图、所述第三空洞图和所述第四空洞图进行通道拼接后，采用第三卷积层进行通道降维，输出多尺度输出图。
可选地，所述残差模块包括残差连接的第一残差卷积层、第二残差卷积层、DY-ReLU激活函数和第三残差卷积层，所述第一残差卷积层和第二残差卷积层均带有实例归一化层；所述残差模块的图像处理步骤，包括：
将输入残差模块的残差输入图采用第一残差卷积层进行特征提取后，通过DY-ReLU激活函数进行非线性映射，生成第一残差图；
通过第二残差卷积层对所述第一残差图进行下采样，构建第二残差图；
采用第三残差卷积层对所述残差输入图进行解耦，输出第三残差图；
将所述第一残差图与所述第三残差图进行逐元素相加，并经过DY-ReLU激活函数激活输出残差输出图。
可选地，所述初始图像对抗模型包括多个级联的所述残差模块；所述通过所述初始图像对抗模型对所述含雾训练图像、所述无雾训练图像和所述初始去雾图像进行多尺度图像判别，确定整体损失函数值的步骤，包括：
将所述含雾训练图像和所述无雾训练图像、所述含雾训练图像和所述初始去雾图像分别组成第一图像对和第二图像对；
通过残差模块分别对所述第一图像对和所述第二图像对进行连续下采样，输出第三图像对和第四图像对以及对应的第一判决得分和第二判决得分；
采用残差模块分别对所述第三图像对和所述第四图像对进行下采样，确定对应的第三判决得分和第四判决得分；
获取训练好的VGG-19特征提取模型，通过所述VGG-19特征提取模型分别提取所述初始去雾图像和所述无雾训练图像的高级特征；
采用所述初始去雾图像、所述无雾训练图像、所述第一判决得分、所述第二判决得分、所述第三判决得分、所述第四判决得分和所述高级特征，计算整体损失函数值。
可选地，所述整体损失函数值的计算过程包括：
L＝0.4×λ1×LGAN(G，D1)+0.6×λ1×LGAN(G，D2)+λ2×LL1(G)+λ3×Lcon(G)+λ4×LTV(G)；
其中，LGAN(G，D1)＝EX，Y[logD1(Y，X)]+EX，Y[log(1-D1(G(X)，X))]；
LGAN(G，D2)＝EX，Y[log D2(Y，X)]+EX，Y[log(1-D2(G(X)，X))]；
LL1(G)＝EX，Y[||Y-G(X)||1]；
Lcon(G)＝EX，Y[||φ(Y)-φ(G(X))||2]；
L为整体损失函数，G为图像生成模型，LGAN()为对抗损失函数，LL1()为全局损失函数，Lcon()为感知损失函数，LTV()为总变分损失函数，λ1为对抗损失函数的比例系数，λ2为全局损失函数的比例系数，λ3为感知损失函数的比例系数，λ4为总变分损失函数的比例系数，X为含雾训练图像，Y为无雾训练图像，G(X)为图像生成模型基于含雾训练图像输出的去雾图像，D1(Y，X)为含雾训练图像和无雾训练图像输入图像对抗模型的第一个判决得分，D1(G(X)，X)为含雾训练图像和去雾图像输入图像对抗模型的第一个判决得分，D2(Y，X)为含雾训练图像和无雾训练图像输入图像对抗模型的第二个判决得分，D2(G(X)，X)为含雾训练图像和去雾图像输入图像对抗模型的第二个判决得分，EX，Y[]为数学期望，φ(Y)为VGG-19特征提取模型提取无雾训练图像的高级特征，φ(G(X))为VGG-19模型提取去雾图像的高级特征，x为去雾图像中一个像素点位置的灰度值，i为图像的行号，j为图像的列号，xi，j为图像生成模型输出的初始去雾图像中第i行第j列的像素点的灰度值，xi，j+1为图像生成模型输出的初始去雾图像中第i行第j+1列的像素点的灰度值，xi+1，j为图像生成模型输出的初始去雾图像中第i+1行第j列的像素点的灰度值，β为阶数。
可选地，所述测试集包括无雾测试图像和对应的含雾测试图像；所述按照所述整体损失函数值对所述初始图像生成模型和所述初始图像对抗模型的模型参数进行梯度迭代优化，并结合所述测试集进行模型验证，确定目标图像生成模型的步骤，包括：
对所述整体损失函数值进行收敛判断；
若所述整体损失函数值未收敛，则根据所述整体损失函数值对所述初始图像生成模型和初始图像对抗模型的模型参数进行梯度迭代优化，并跳转执行所述将所述含雾训练图像输入至所述初始图像生成模型进行图像去雾，生成初始去雾图像的步骤；
若所述整体损失函数值收敛，则以当前模型参数输出优化图像生成模型；
通过所述优化图像生成模型对所述含雾测试图像进行图像去雾，输出去雾测试图像；
采用所述无雾测试图像和所述去雾测试图像计算所述去雾测试图像的峰值信噪比和结构相似度；
当所述峰值信噪比和所述结构相似度均大于或等于对应的预设理想值时，确定目标图像生成模型。
可选地，所述当接收到目标输电线路巡检图像时，将所述目标输电线路巡检图像输入所述目标图像生成模型进行图像去雾，生成目标去雾图像的步骤，包括：
当接收到目标输电线路巡检图像时，将所述目标输电线路巡检图像输入至所述目标图像生成模型；
通过所述目标图像生成模型对所述目标输电线路巡检图像进行初步特征提取、下采样和特征加权，输出多张中间特征图；
采用所述目标图像生成模型基于全部所述中间特征图进行多尺度特征提取、通道拼接、上采样和特征映射，生成目标去雾图像。
本发明第二方面提供的一种输电线路监控图像增强装置，包括：
模型构建模块，用于当获取到图像训练集和图像测试集时，构建初始图像生成模型和初始图像对抗模型；所述图像训练集包括无雾训练图像和对应的含雾训练图像；
初始去雾图像生成模块，用于将所述含雾训练图像输入至所述初始图像生成模型进行图像去雾，生成初始去雾图像；
整体损失函数值确定模块，用于通过所述初始图像对抗模型基于所述含雾训练图像、所述无雾训练图像和所述初始去雾图像进行多尺度图像判别，确定整体损失函数值；
目标图像生成模型确定模块，用于按照所述整体损失函数值对所述初始图像生成模型和初始图像对抗模型的模型参数进行梯度迭代优化，并结合所述测试集进行模型验证，确定目标图像生成模型；
目标去雾图像生成模块，用于当接收到目标输电线路巡检图像时，将所述目标输电线路巡检图像输入所述目标去雾图像生成模型，生成目标去雾图像。
从以上技术方案可以看出，本发明具有以下优点：
本发明通过采用获取到的图像训练集中的含雾训练图像输入构建的初始图像生成模型中进行图像处理，生成初始去雾图像，采用图像训练集和初始去雾图像输入至构建的初始图像对抗模型进行多尺度图像判别，确定整体损失函数值，按照整体损失函数值对初始图像生成模型和初始图像对抗模型的模型参数进行迭代优化，结合测试集进行模型验证后确定目标图像生成模型，将目标输电线路巡检图像输入至目标图像生成模型，得到目标去雾图像。通过该目标图像生成模型得到的去雾图像，避免了伪影以及颜色失真的发生，能够更好地恢复出图像纹理细节信息，提高了图像纹理细节的清晰度，图像质量更佳。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1为本发明实施例一提供的一种输电线路巡检图像去雾方法的步骤流程图；
图2为本发明实施例二提供的一种输电线路巡检图像去雾方法的步骤流程图；
图3为本发明实施例二提供的图像生成模型的结构示意图；
图4为本发明实施例二提供的残差模块的结构示意图；
图5为本发明实施例二提供的坐标注意力模块的结构示意图；
图6为本发明实施例二提供的多尺度空洞卷积模块的结构示意图；
图7为本发明实施例二提供的图像对抗模型的结构示意图；
图8为本发明实施例三提供的一种输电线路巡检图像去雾装置的结构框图。
具体实施方式
本发明实施例提供了一种输电线路巡检图像去雾方法和装置，用于解决现有技术在对图像进行去雾处理时，生成的去雾图像的图像质量不高的技术问题。
为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
请参阅图1，图1为本发明实施例提供的一种输电线路巡检图像去雾方法的步骤流程图。
本发明提供的一种输电线路巡检图像去雾方法，包括：
步骤101、当获取到图像训练集和图像测试集时，构建初始图像生成模型和初始图像对抗模型；图像训练集包括无雾训练图像和对应的含雾训练图像。
图像训练集，指的是对模型进行训练的输电线路巡检图像的图像集合，包括无雾训练图像和对应的含雾训练图像。无雾训练图像，指的是用于训练模型的无雾高质量的输电线路巡检图像。含雾训练图像，指的是采用无雾训练图像通过大气散射模型构建的含雾的输电线路巡检图像。
图像测试集，指的是对训练完成后的模型进行测试的输电线路巡检图像的图像集合，包括无雾测试图像和对应的含雾测试图像。无雾测试图像，指的是用于测试模型的无雾高质量的输电线路巡检图像。含雾测试图像，指的是采用无雾测试图像通过大气散射模型构建的含雾的输电线路巡检图像。
初始图像生成模型，指的是按照初始的模型参数进行设定的图像生成模型，图像生成模型可用于对图像进行图像去雾。
初始图像对抗模型，指的是按照初始的模型参数进行设定的图像对抗模型，图像对抗模型可用于对图像进行图像数据的分布一致性程度进行判定。
在本发明实施例中，任一支持输电线路巡检图像去雾方法应用的需求端平台，对无人机巡检采集的输电线路巡检图像进行图像预处理构建出图像训练集和图像测试集，当获取到需求端平台发送的图像训练集和图像测试集时，按照预设的初始的模型参数构建初始图像生成模型和初始图像对抗模型。
可选地，通过对无人机巡检采集的输电线路巡检图像进行图像预处理构建出图像训练集和图像测试集的过程，包括：通过无人机巡检采集多组无雾高质量输电线路巡检图像；按照预设尺寸将全部无雾高质量输电线路巡检图像进行裁剪，生成无雾裁剪图像；通过大气散射模型对全部无雾裁剪图像进行图像处理，构建含雾裁剪图像；将无雾裁剪图像和对应的含雾裁剪图像组成图像对，按照预设比例，将全部图像对划分为图像训练集和图像测试集。
进一步地，大气散射模型具体为：
I(x)＝J(x)t(x)+A(1-t(x))；
其中，x为图像中具体一个像素点所在的位置，I(x)为含雾裁剪图像，J(x)为无雾裁剪图像，t(x)为透射率，A为大气光。
可以理解的是，该大气散射模型认为图像中的大气光是一个在0.6～0.8间随机选择的常量，透射率在0.1～0.2之间随机选择。
步骤102、将含雾训练图像输入至初始图像生成模型进行图像去雾，生成初始去雾图像。
初始去雾图像，指的是在初始图像生成模型中生成的含雾训练图像对应的去雾图像。
在本发明实施例中，将获取到的含雾训练图像输入至初始图像生成模型，通过初始图像生成模型提取低含雾训练图像的图像特征，对图像特征进行映射生成初始去雾图像。
步骤103、通过初始图像对抗模型基于含雾训练图像、无雾训练图像和初始去雾图像进行多尺度图像判别，确定整体损失函数值。
在本发明实施例中，将含雾训练图像、无雾训练图像和初始去雾图像分别以图像对的形式输入至初始图像对抗模型，通过初始图像对抗模型分别对多个图像对进行图像数据分布一致性程度进行判断，并根据初始图像对抗模型基于图像对进行图像处理提取到的特征，按照预设的整体损失函数确定整体损失函数值。
步骤104、按照整体损失函数值对初始图像生成模型和初始图像对抗模型的模型参数进行梯度迭代优化，并结合测试集进行模型验证，确定目标图像生成模型。
目标图像生成模型，指的是对初始图像生成模型进行训练并迭代优化达到预定目标，且通过模型验证得到的图像生成模型。
在本发明实施例中，根据整体损失函数值反映的模型在图像处理过程中存在的特征误差情况，通过最小化特征误差为目标，采用梯度迭代优化的方式对初始图像生成模型和初始图像对抗模型的模型参数进行更新优化，直至整体损失函数值反映出模型训练完成，则采用测试集进行模型验证，当验证满足预设条件则确定目标图像生成模型。
步骤105、当接收到目标输电线路巡检图像时，将目标输电线路巡检图像输入目标图像生成模型进行图像去雾，生成目标去雾图像。
目标输电线路巡检图像，指的是通过无人机巡检采集的目标场景的输电线路巡检图像。
目标去雾图像，指的是在目标图像生成模型中生成的目标输电线路巡检图像对应的去雾图像。
在本发明实施例中，通过无人机巡检采集的目标场景的输电线路巡检图像后，进行图像预处理生成目标输电线路巡检图像，将接收到的目标输电线路巡检图像输入至目标图像生成模型进行特征提取，映射生成目标去雾图像。
在本发明实施例中，采用获取到的图像训练集中的含雾训练图像输入构建的初始图像生成模型中进行图像处理，生成初始去雾图像，采用图像训练集和初始去雾图像输入至构建的初始图像对抗模型进行多尺度图像判别，确定整体损失函数值，按照整体损失函数值对初始图像生成模型和初始图像对抗模型的模型参数进行迭代优化，结合测试集进行模型验证后确定目标图像生成模型，将目标输电线路巡检图像输入至目标图像生成模型，得到目标去雾图像。通过该目标图像生成模型得到的去雾图像，避免了伪影以及颜色失真的发生，能够更好地恢复出图像纹理细节信息，提高了图像纹理细节的清晰度，图像质量更佳。
请参阅图2，图2为本发明实施例二提供的一种输电线路监控图像增强方法的步骤流程图。
本发明提供的一种输电线路巡检图像去雾方法，包括：
步骤201、当获取到图像训练集和图像测试集时，构建初始图像生成模型和初始图像对抗模型；图像训练集包括无雾训练图像和对应的含雾训练图像。
在本发明实施例中，步骤201的具体实施过程与步骤101类似，在此不再赘述。
步骤202、将含雾训练图像输入至初始图像生成模型进行图像去雾，生成初始去雾图像。
可选地，初始图像生成模型包括带有DY-ReLU激活函数的标准卷积层、残差模块、多尺度空洞卷积模块、坐标注意力模块、带有DY-ReLU激活函数的反卷积层和带有Tanh激活函数的标准卷积层；步骤202包括以下子步骤：
S1、将含雾训练图像输入带有DY-ReLU激活函数的标准卷积层进行初步特征提取后，经过残差模块进行下采样输出初步特征图；
S2、通过残差模块对初步特征图进行下采样，确定下采样图；
S3、采用坐标注意力模块分别对初步特征图和下采样图进行特征加权，生成第一加权特征图和第二加权特征图；
S4、通过多个多尺度空洞卷积模块基于下采样图进行多尺度特征提取，构建多尺度特征图；
S5、将多尺度特征图与第二加权特征图进行通道拼接后，采用带有DY-ReLU激活函数的反卷积层进行上采样，生成上采样图；
S6、对上采样图与第一加权特征图进行通道拼接，并输入串联的带有DY-ReLU激活函数的反卷积层和带有Tanh激活函数的标准卷积层进行上采样和颜色特征映射，输出初始去雾图像。
优选地，多尺度空洞卷积模块设有残差连接；子步骤S4包括：
将下采样图输入多尺度空洞卷积模块进行多尺度特征信息聚合，输出聚合特征图；
对下采样图和聚合特征图进行逐元素相加，确定融合特征图；
采用多尺度空洞卷积模块对融合特征图进行多尺度特征信息整合，生成整合特征图；
对融合特征图和整合特征图进行逐元素相加，构建多尺度特征图。
可选地，残差模块包括残差连接的第一残差卷积层、第二残差卷积层、DY-ReLU激活函数和第三残差卷积层，第一残差卷积层和第二残差卷积层均带有实例归一化层；残差模块的图像处理步骤，包括：
将输入残差模块的残差输入图采用第一残差卷积层进行特征提取后，通过DY-ReLU激活函数进行非线性映射，生成第一残差图；
通过第二残差卷积层对第一残差图进行下采样，构建第二残差图；
采用第三残差卷积层对残差输入图进行解耦，输出第三残差图；
将第一残差图与第三残差图进行逐元素相加，并经过DY-ReLU激活函数激活输出残差输出图。
残差输入图，指的是输入残差模块的特征图。可以理解的是，残差输入图可以对应任一在模型训练的过程中输入残差模块进行图像处理的特征图。第一残差图、第二残差图和第三残差图，指的是在残差模块中生成的中间图。残差输出图，指的是残差模块输出的特征图，可以理解的是，其可以对应为在模型训练的过程中残差模块进行图像处理后任一输出的特征图。
可选地，坐标注意力模块包括水平平均池化层、垂直平均池化层、带有实例归一化层的2维度卷积层、DY-LeakyReLU激活函数、带有Sigmoid函数的卷积层和张量扩张层；坐标注意力模块的图像处理过程为：
将输入坐标注意力模块的坐标输入图分别通过水平平均池化层和垂直平均池化层进行水平方向和垂直方向的平均池化操作后，进行通道拼接生成第一坐标图；
采用带有实例归一化层的2维度卷积层对第一坐标图进行二维卷积降维和执行实例归一化操作，并通过DY-LeakyReLU激活函数进行非线性映射输出第二坐标图；
沿水平方向和垂直方向将第二坐标图拆分为第三坐标图和第四坐标图；
通过带有Sigmoid函数的卷积层对第三坐标图和第四坐标图分别进行卷积升维和获取特征权重张量后，采用张量扩张层进行张量扩张对应生成第五坐标图和第六坐标图；
将坐标输入特征图、第五坐标图和第六坐标图进行逐元素相乘，生成坐标输出图。
坐标输入图，指的是输入坐标注意力模块进行图像处理的特征图，可以理解的是，其可以对应为在模型训练的过程中输入坐标注意力模块的初步特征图和下采样图。第一坐标图、第二坐标图、第三坐标图、第四坐标图、第五坐标图和第六坐标图，指的是在坐标注意力模块中生成的中间图。坐标输出图，指的是坐标注意力模块进行图像处理后输出的特征图，可以理解的是，其可以对应为在模型训练的过程中坐标注意力模块输出的第一加权特征图和第二加权特征图。
可选地，多尺度空洞卷积模块包括不同卷积核大小的第一卷积层、第二卷积层与第三卷积层以及不同空洞率的第一空洞卷积层与第二空洞卷积层，第一卷积层、第二卷积层与第三卷积层均带有DY-LeakyReLU激活函数，第一空洞卷积层与第二空洞卷积层均带有实例归一化层和DY-LeakyReLU激活函数；多尺度空洞卷积模块的图像处理步骤，包括：
将输入多尺度空洞卷积模块的多尺度输入图通过串联的第一卷积层和第一空洞卷积层进行特征提取，生成第一空洞图；
采用级联的第二卷积层和第二空洞卷积层对空洞输入图执行特征滤波操作，构建第二空洞图；
分别通过第一卷积层和第二卷积层对空洞输入图进行卷积运算，确定第三空洞图和第四空洞图；
对第一空洞图、第二空洞图、第三空洞图和第四空洞图进行通道拼接后，采用第三卷积层进行通道降维，输出多尺度输出图。
多尺度输入图，指的是输入多尺度空洞卷积模块进行图像处理的特征图，可以理解的是，其可以对应在模型训练的过程中输入多尺度空洞卷积模块的下采样图和融合特征图。第一空洞图、第二空洞图、第三空洞图和第四空洞图，指的是在多尺度空洞卷积模块中生成的中间图。多尺度输出图，指的是多尺度空洞卷积模块进行图像处理后输出的特征图，其可以对应为在模型训练的过程中多尺度空洞卷积模块输出的聚合特征图和整合特征图。
在本发明实施例中，参照图3-4，将含雾训练图像输入至初始图像生成模型后，通过带有DY-ReLU激活函数的标准卷积层进行初步特征提取后，生成卷积特征图输入第一个残差模块的步长为1的4×4第一残差卷积层进行特征提取，经由实例归一化操作后通过DY-ReLU激活函数进行非线性映射输出第一残差图，采用步长为2的4×4第二残差卷积层对第一残差图进行下采样以构建第二残差图，通过步长为2的1×1第三残差卷积层对卷积特征图进行解耦输出第三残差图，将第一残差图和第三残差图进行逐元素相加的特征融合后，通过DY-ReLU激活函数激活输出初步特征图。采用第二个残差模块对初步特征图进行下采样操作，确定下采样图。通过两个残差模块进行两次下采样，可以有效减少下采样过程中的特征丢失。
参照图3和图5，将初步特征图输入第一个坐标注意力模块的水平平均池化层和垂直平均池化层，分别进行水平方向和垂直方向的平均池化操作后，进行通道拼接生成第一坐标图，通过2维度卷积层对第一坐标图进行二维卷积降维，并采用实例归一化层执行实例归一化操作后，经由DY-LeakyReLU激活函数进行非线性映射输出第二坐标图，再将第二坐标图沿水平方向和垂直方向拆分为第三坐标图和第四坐标图的两张特征图，通过两个带有Sigmoid函数的卷积层分别对第三坐标图和第四坐标图分别进行卷积升维后并对应获取特征权重张量，基于两个张量扩张层分别基于对应的特征权重张量对第三坐标图和第四坐标图进行张量扩张，生成对应的第五坐标图和第六坐标图，将初步特征图、第五坐标图和第六坐标图进行逐元素相乘，输出生成第一加权特征图。将下采样图输入第二个坐标注意力模块进行特征加权，输出第二加权特征图。
参照图3和图6，将下采样图分别输入第一个多尺度空洞卷积模块的四个提取分支进行多尺度特征提取：在第一个提取分支中，通过串联的5×5第一卷积层和空洞率为5的3×3第一空洞卷积层对下采样图进行特征提取，生成第一空洞图；在第二个提取分支中，采用级联的3×3第二卷积层和空洞率为3的3×3第二空洞卷积层对下采样图执行特征滤波操作，构建第二空洞图；在第三个提取分支中，通过5×5第一卷积层对下采样图进行卷积运算，确定第三空洞图；在第四个提取分支中，采用3×3第二卷积层对下采样图进行特征提取，生成第四空洞图。在使用空洞卷积的提取分支中，采用普通卷积和空洞卷积串联使用的方式，避免了空洞卷积因空洞率造成的特征丢失，以及模型能够提取更大尺度的特征信息。对第一空洞图、第二空洞图、第三空洞图和第四空洞图进行通道拼接后，通过1×1第三卷积层进行通道降维，激活输出聚合特征图。将聚合特征图与跳跃连接的下采样图进行逐元素相加的特征融合，构建融合特征图并输入第二个多尺度空洞卷积模块进行多尺度特征信息整合，生成整合特征图，对整合特征图与跳跃连接的融合特征图进行逐元素相加，输出多尺度特征图。多尺度空洞卷积模块不改变特征图的大小以及通道数，通过两个带有残差连接的多尺度空洞卷积模块，可以基于不同尺度的感受野，提取多尺度特征信息。
参照图3，将多尺度特征图与跳跃连接的第二加权特征图进行通道拼接的特征融合后，经由带有DY-ReLU激活函数的反卷积层执行反卷积操作完成上采样，构建出上采样图，对上采样图和跳跃连接的第一加权特征图进行通道拼接后，输入带有DY-ReLU激活函数的反卷积层进行反卷积上采样以恢复成与含雾训练图像同样大小，并通过带有Tanh激活函数的标准卷积层进行颜色特征映射，将特征图恢复成RGB图像的初始去雾图像。
步骤203、通过初始图像对抗模型基于含雾训练图像、无雾训练图像和初始去雾图像进行多尺度图像判别，确定整体损失函数值。
可选地，初始图像对抗模型包括多个级联的残差模块；步骤203包括以下子步骤：
将含雾训练图像和无雾训练图像、含雾训练图像和初始去雾图像分别组成第一图像对和第二图像对；
通过残差模块分别对第一图像对和第二图像对进行连续下采样，输出第三图像对和第四图像对以及对应的第一判决得分和第二判决得分；
采用残差模块分别对第三图像对和第四图像对进行下采样，确定对应的第三判决得分和第四判决得分；
获取训练好的VGG-19特征提取模型，通过VGG-19特征提取模型分别提取初始去雾图像和无雾训练图像的高级特征；
采用初始去雾图像、无雾训练图像、第一判决得分、第二判决得分、第三判决得分、第四判决得分和高级特征，计算整体损失函数值。
进一步地，整体损失函数值的计算过程包括：
L＝0.4×λ1×LGAN(G，D1)+0.6×λ1×LGAN(G，D2)+λ2×LL1(G)+λ3×Lcon(G)+λ4×LTV(G)；
其中，LGAN(G，D1)＝EX，Y[logD1(Y，X)]+EX，Y[log(1-D1(G(X)，X))]；
LGAN(G，D2)＝EX，Y[log D2(Y，X)]+EX，Y[log(1-D2(G(X)，X))]；
LL1(G)＝EX，Y[||Y-G(X)||1]；
Lcon(G)＝EX，Y[||φ(Y)-φ(G(X))||2]；
L为整体损失函数，G为图像生成模型，LGAN()为对抗损失函数，LL1()为全局损失函数，Lcon()为感知损失函数，LTV()为总变分损失函数，λ1为对抗损失函数的比例系数，λ2为全局损失函数的比例系数，λ3为感知损失函数的比例系数，λ4为总变分损失函数的比例系数，X为含雾训练图像，Y为无雾训练图像，G(X)为图像生成模型基于含雾训练图像输出的去雾图像，D1(Y，X)为含雾训练图像和无雾训练图像输入图像对抗模型的第一个判决得分，D1(G(X)，X)为含雾训练图像和去雾图像输入图像对抗模型的第一个判决得分，D2(Y，X)为含雾训练图像和无雾训练图像输入图像对抗模型的第二个判决得分，D2(G(X)，X)为含雾训练图像和去雾图像输入图像对抗模型的第二个判决得分，EX，Y[]为数学期望，φ(Y)为VGG-19特征提取模型提取无雾训练图像的高级特征，φ(G(X))为VGG-19模型提取去雾图像的高级特征，x为去雾图像中一个像素点位置的灰度值，i为图像的行号，j为图像的列号，xi，j为图像生成模型输出的初始去雾图像中第i行第j列的像素点的灰度值，xi，j+1为图像生成模型输出的初始去雾图像中第i行第j+1列的像素点的灰度值，xi+1，j为图像生成模型输出的初始去雾图像中第i+1行第j列的像素点的灰度值，β为阶数。
可选地，阶数β通常取2。
在本发明实施例中，参照图7，采用含雾训练图像和无雾训练图像组成第一图像对，采用含雾训练图像和初始去雾图像组成第二图像对。将第一图像对输入至初始图像对抗模型，通过初始图像对抗模型中的三块级联的残差模块对第一图像对进行连续下采样后，生成第三图像对和输出第一判决得分，继续采用第四个残差模块对第三图像对进行下采样，输出第三判决得分。将第二图像对输入至初始图像对抗模型进行连续三次下采样后，构建第四图像对和输出第二判决得分，采用第四个残差模块对第四图像对进行图像处理，输出第四判决得分。通过第一判决得分与第二判决得分、第三判决得分与第四判决得分，计算出两个对抗损失函数值。采用无雾训练图像和初始去雾图像计算全局损失函数值，基于初始去雾图像计算总变分损失函数值。采用预先训练好的VGG-19特征提取模型分别提取初始去雾图像和无雾训练图像的高级特征，基于全部高级特征计算感知损失函数值。将全部对抗损失函数值、全局损失函数值、总变分损失函数值和感知损失函数值分别结合对应的比例系数进行乘法运算后，进行加法运算确定整体损失函数值。
步骤204、按照整体损失函数值对初始图像生成模型和初始图像对抗模型的模型参数进行梯度迭代优化，并结合测试集进行模型验证，确定目标图像生成模型。
可选地，测试集包括无雾测试图像和对应的含雾测试图像；步骤204包括以下子步骤：
对整体损失函数值进行收敛判断；
若整体损失函数值未收敛，则根据整体损失函数值对初始图像生成模型和初始图像对抗模型的模型参数进行梯度迭代优化，并跳转执行将含雾训练图像输入至初始图像生成模型，生成初始去雾图像的步骤；
若整体损失函数值收敛，则以当前模型参数输出优化图像生成模型；
通过优化图像生成模型对含雾测试图像进行图像去雾，输出去雾测试图像；
采用无雾测试图像和去雾测试图像计算去雾测试图像的峰值信噪比和结构相似度；
当峰值信噪比和结构相似度均大于或等于对应的预设理想值时，确定目标图像生成模型。
可以理解的是峰值信噪比(PSNR)和结构相似度(SSIM)都是应用于评价图像质量的指标，具体可以参考现有技术，在此不再赘述。
在本发明实施例中，计算出整体损失函数值后，判断该整体损失函数值是否收敛。若未收敛，则根据整体损失函数值的梯度，采用梯度下降法对初始图像对抗生成模型和初始图像生成模型的模型参数进行梯度优化，并跳转执行步骤202，直至整体损失函数值收敛，则以当前模型参数输出优化图像生成模型。将含雾测试图像输入优化图像生成模型中进行图像处理，输出对应的去雾测试图像，计算去雾测试图像与无雾测试图像之间的峰值信噪比和结构相似度，将计算出的峰值信噪比和结构相似度分别与对应的预设理想值进行比较，若均大于或等于对应的预设理想值则确定目标图像生成模型，反之则调整优化图像生成模型的模型参数，并以更新后的优化图像生成模型作为新的初始图像生成模型，将优化图像对抗模型作为新的初始图像对抗模型，并跳转执行步骤202以继续对模型进行训练。
步骤205、当接收到目标输电线路巡检图像时，将目标输电线路巡检图像输入至目标图像生成模型。
在本发明实施例中，将执行巡检任务的无人机采集的目标场景的输电线路巡检图像，进行图像预处理生成目标输电线路巡检图像，并输入至目标图像生成模型进行图像去雾。
步骤206、通过目标图像生成模型对目标输电线路巡检图像进行初步特征提取、下采样和特征加权，输出多张中间特征图。
在本发明实施例中，通过目标图像生成模型中的带有DY-ReLU激活函数的标准卷积层对目标输电线路巡检图像进行初步特征提取后，采用目标图像生成模型中的残差模块进行下采样输出第一中间特征图，通过目标图像生成模型中的残差模块对第一中间特征图进行下采样生成第二中间特征图，基于目标图像生成模型中的坐标注意力模块分别对第一中间特征图和第二中间特征图进行特征加权，生成第三中间特征图和第四中间特征图。
步骤207、采用目标图像生成模型基于全部中间特征图进行多尺度特征提取、通道拼接、上采样和特征映射，生成目标去雾图像。
在本发明实施例中，通过目标图像生成模型中的多个多尺度空洞卷积模块基于第二中间特征图进行多尺度特征提取，构建第一特征图，将第一特征图与第四中间特征图进行通道拼接后，采用目标图像生成模型中的带有DY-ReLU激活函数的反卷积层进行上采样，生成第二特征图，对第二特征图与第三中间特征图进行通道拼接，并输入目标图像生成模型中串联的带有DY-ReLU激活函数的反卷积层和带有Tanh激活函数的标准卷积层进行上采样和颜色特征映射，输出目标去雾图像。
在本发明实施例中，采用获取到的图像训练集中的含雾训练图像输入构建的初始图像生成模型中进行图像处理，生成初始去雾图像，采用图像训练集和初始去雾图像输入至构建的初始图像对抗模型进行多尺度图像判别，确定整体损失函数值，按照整体损失函数值对初始图像生成模型和初始图像对抗模型的模型参数进行迭代优化，结合测试集进行模型验证后确定目标图像生成模型，将目标输电线路巡检图像输入至目标图像生成模型进行初步特征提取、下采样和特征加权后，输出多张中间特征图，采用目标图像生成模型基于全部中间特征图进行多尺度特征提取、通道拼接、上采样和特征映射，生成目标去雾图像。通过该目标图像生成模型得到的去雾图像，避免了伪影以及颜色失真的发生，能够更好地恢复出图像纹理细节信息，提高了图像纹理细节的清晰度，图像质量更佳。
请参阅图8，图8为实施例三提供的一种输电线路巡检图像去雾装置的结构框图。
本发明提供的一种输电线路巡检图像去雾装置，包括：
模型构建模块801，用于当获取到图像训练集和图像测试集时，构建初始图像生成模型和初始图像对抗模型；图像训练集包括无雾训练图像和对应的含雾训练图像；
初始去雾图像生成模块802，用于将含雾训练图像输入至初始图像生成模型进行图像去雾，生成初始去雾图像；
整体损失函数值确定模块803，用于通过初始图像对抗模型基于含雾训练图像、无雾训练图像和初始去雾图像进行多尺度图像判别，确定整体损失函数值；
目标图像生成模型确定模块804，用于按照整体损失函数值对初始图像生成模型和初始图像对抗模型的模型参数进行梯度迭代优化，并结合测试集进行模型验证，确定目标图像生成模型；
目标去雾图像生成模块805，用于当接收到目标输电线路巡检图像时，将目标输电线路巡检图像输入目标去雾图像生成模型，生成目标去雾图像。
可选地，初始图像生成模型包括带有DY-ReLU激活函数的标准卷积层、残差模块、多尺度空洞卷积模块、坐标注意力模块、带有DY-ReLU激活函数的反卷积层和带有Tanh激活函数的标准卷积层；初始去雾图像生成模块802包括：
初步特征图输出单元，用于将含雾训练图像输入带有DY-ReLU激活函数的标准卷积层进行初步特征提取后，经过残差模块进行下采样输出初步特征图；
下采样图确定单元，用于通过残差模块对初步特征图进行下采样，确定下采样图；
加权特征图生成单元，用于采用坐标注意力模块分别对初步特征图和下采样图进行特征加权，生成第一加权特征图和第二加权特征图；
多尺度特征图构建单元，用于通过多个多尺度空洞卷积模块基于下采样图进行多尺度特征提取，构建多尺度特征图；
上采样图生成单元，用于将多尺度特征图与第二加权特征图进行通道拼接后，采用带有DY-ReLU激活函数的反卷积层进行上采样，生成上采样图；
去雾图像输出单元，用于对上采样图与第一加权特征图进行通道拼接，并输入串联的带有DY-ReLU激活函数的反卷积层和带有Tanh激活函数的标准卷积层进行上采样和颜色特征映射，输出初始去雾图像。
可选地，多尺度空洞卷积模块设有残差连接；多尺度特征图构建单元具体用于：
将下采样图输入多尺度空洞卷积模块进行多尺度特征信息聚合，输出聚合特征图；
对下采样图和聚合特征图进行逐元素相加，确定融合特征图；
采用多尺度空洞卷积模块对融合特征图进行多尺度特征信息整合，生成整合特征图；
对融合特征图和整合特征图进行逐元素相加，构建多尺度特征图。
可选地，多尺度空洞卷积模块包括不同卷积核大小的第一卷积层、第二卷积层与第三卷积层以及不同空洞率的第一空洞卷积层与第二空洞卷积层，第一卷积层、第二卷积层与第三卷积层均带有DY-LeakyReLU激活函数，第一空洞卷积层与第二空洞卷积层均带有实例归一化层和DY-LeakyReLU激活函数；多尺度空洞卷积模块的图像处理步骤，包括：
将输入多尺度空洞卷积模块的多尺度输入图通过串联的第一卷积层和第一空洞卷积层进行特征提取，生成第一空洞图；
采用级联的第二卷积层和第二空洞卷积层对空洞输入图执行特征滤波操作，构建第二空洞图；
分别通过第一卷积层和第二卷积层对空洞输入图进行卷积运算，确定第三空洞图和第四空洞图；
对第一空洞图、第二空洞图、第三空洞图和第四空洞图进行通道拼接后，采用第三卷积层进行通道降维，输出多尺度输出图。
可选地，残差模块包括残差连接的第一残差卷积层、第二残差卷积层、DY-ReLU激活函数和第三残差卷积层，第一残差卷积层和第二残差卷积层均带有实例归一化层；残差模块的图像处理步骤，包括：
将输入残差模块的残差输入图采用第一残差卷积层进行特征提取后，通过DY-ReLU激活函数进行非线性映射，生成第一残差图；
通过第二残差卷积层对第一残差图进行下采样，构建第二残差图；
采用第三残差卷积层对残差输入图进行解耦，输出第三残差图；
将第一残差图与第三残差图进行逐元素相加，并经过DY-ReLU激活函数激活输出残差输出图。
可选地，初始图像对抗模型包括多个级联的残差模块；整体损失函数值确定模块803具体用于：
将含雾训练图像和无雾训练图像、含雾训练图像和初始去雾图像分别组成第一图像对和第二图像对；
通过残差模块分别对第一图像对和第二图像对进行连续下采样，输出第三图像对和第四图像对以及对应的第一判决得分和第二判决得分；
采用残差模块分别对第三图像对和第四图像对进行下采样，确定对应的第三判决得分和第四判决得分；
获取训练好的VGG-19特征提取模型，通过VGG-19特征提取模型分别提取初始去雾图像和无雾训练图像的高级特征；
采用初始去雾图像、无雾训练图像、第一判决得分、第二判决得分、第三判决得分、第四判决得分和高级特征，计算整体损失函数值。
可选地，整体损失函数值的计算过程包括：
L＝0.4×λ1×LGAN(G，D1)+0.6×λ1×LGAN(G，D2)+λ2×LL1(G)+λ3×Lcon(G)+λ4×LTV(G)；
其中，LGAN(G，D1)＝EX，Y[log D1(Y，X)]+EX，Y[log(1-D1(G(X)，X))]；
LGAN(G，D2)＝EX，Y[log D2(Y，X)]+EX，Y[log(1-D2(G(X)，X))]；
LL1(G)＝EX，Y[||Y-G(X)||1]；
Lcon(G)＝EX，Y[||φ(Y)-φ(G(X))||2]；
L为整体损失函数，G为图像生成模型，LGAN()为对抗损失函数，LL1()为全局损失函数，Lcon()为感知损失函数，LTV()为总变分损失函数，λ1为对抗损失函数的比例系数，λ2为全局损失函数的比例系数，λ3为感知损失函数的比例系数，λ4为总变分损失函数的比例系数，X为含雾训练图像，Y为无雾训练图像，G(X)为图像生成模型基于含雾训练图像输出的去雾图像，D1(Y，X)为含雾训练图像和无雾训练图像输入图像对抗模型的第一个判决得分，D1(G(X)，X)为含雾训练图像和去雾图像输入图像对抗模型的第一个判决得分，D2(Y，X)为含雾训练图像和无雾训练图像输入图像对抗模型的第二个判决得分，D2(G(X)，X)为含雾训练图像和去雾图像输入图像对抗模型的第二个判决得分，EX，Y[]为数学期望，φ(Y)为VGG-19特征提取模型提取无雾训练图像的高级特征，φ(G(X))为VGG-19模型提取去雾图像的高级特征，x为去雾图像中一个像素点位置的灰度值，i为图像的行号，j为图像的列号，xi，j为图像生成模型输出的初始去雾图像中第i行第j列的像素点的灰度值，xi，j+1为图像生成模型输出的初始去雾图像中第i行第j+1列的像素点的灰度值，xi+1，j为图像生成模型输出的初始去雾图像中第i+1行第j列的像素点的灰度值，β为阶数。
可选地，测试集包括无雾测试图像和对应的含雾测试图像；目标图像生成模型确定模块804具体用于：
对整体损失函数值进行收敛判断；
若整体损失函数值未收敛，则根据整体损失函数值对初始图像生成模型和初始图像对抗模型的模型参数进行梯度迭代优化，并跳转执行将含雾训练图像输入至初始图像生成模型进行图像去雾，生成初始去雾图像的步骤；
若整体损失函数值收敛，则以当前模型参数输出优化图像生成模型；
通过优化图像生成模型对含雾测试图像进行图像去雾，输出去雾测试图像；
采用无雾测试图像和去雾测试图像计算去雾测试图像的峰值信噪比和结构相似度；
当峰值信噪比和结构相似度均大于或等于对应的预设理想值时，确定目标图像生成模型。
可选地，目标去雾图像生成模块805具体用于：
当接收到目标输电线路巡检图像时，将目标输电线路巡检图像输入至目标图像生成模型；
通过目标图像生成模型对目标输电线路巡检图像进行初步特征提取、下采样和特征加权，输出多张中间特征图；
采用目标图像生成模型基于全部中间特征图进行多尺度特征提取、通道拼接、上采样和特征映射，生成目标去雾图像。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种输电线路巡检图像去雾方法，其特征在于，包括：
当获取到图像训练集和图像测试集时，构建初始图像生成模型和初始图像对抗模型；所述图像训练集包括无雾训练图像和对应的含雾训练图像；
将所述含雾训练图像输入至所述初始图像生成模型进行图像去雾，生成初始去雾图像；
通过所述初始图像对抗模型基于所述含雾训练图像、所述无雾训练图像和所述初始去雾图像进行多尺度图像判别，确定整体损失函数值；
按照所述整体损失函数值对所述初始图像生成模型和所述初始图像对抗模型的模型参数进行梯度迭代优化，并结合所述测试集进行模型验证，确定目标图像生成模型；
当接收到目标输电线路巡检图像时，将所述目标输电线路巡检图像输入所述目标图像生成模型进行图像去雾，生成目标去雾图像。
2.根据权利要求1所述的输电线路巡检图像去雾方法，其特征在于，所述初始图像生成模型包括带有DY-ReLU激活函数的标准卷积层、残差模块、多尺度空洞卷积模块、坐标注意力模块、带有DY-ReLU激活函数的反卷积层和带有Tanh激活函数的标准卷积层；所述将所述含雾训练图像输入至所述初始图像生成模型进行图像去雾，生成初始去雾图像的步骤，包括：
将所述含雾训练图像输入带有DY-ReLU激活函数的标准卷积层进行初步特征提取后，经过残差模块进行下采样输出初步特征图；
通过残差模块对所述初步特征图进行下采样，确定下采样图；
采用坐标注意力模块分别对所述初步特征图和所述下采样图进行特征加权，生成第一加权特征图和第二加权特征图；
通过多个多尺度空洞卷积模块基于所述下采样图进行多尺度特征提取，构建多尺度特征图；
将所述多尺度特征图与所述第二加权特征图进行通道拼接后，采用带有DY-ReLU激活函数的反卷积层进行上采样，生成上采样图；
对所述上采样图与所述第一加权特征图进行通道拼接，并输入串联的带有DY-ReLU激活函数的反卷积层和带有Tanh激活函数的标准卷积层进行上采样和颜色特征映射，输出初始去雾图像。
3.根据权利要求2所述的输电线路巡检图像去雾方法，其特征在于，所述多尺度空洞卷积模块设有残差连接；所述通过所述多个多尺度空洞卷积模块对所述下采样图进行多尺度特征提取，构建多尺度特征图的步骤，包括：
将所述下采样图输入多尺度空洞卷积模块进行多尺度特征信息聚合，输出聚合特征图；
对所述下采样图和所述聚合特征图进行逐元素相加，确定融合特征图；
采用多尺度空洞卷积模块对所述融合特征图进行多尺度特征信息整合，生成整合特征图；
对所述融合特征图和所述整合特征图进行逐元素相加，构建多尺度特征图。
4.根据权利要求2所述的输电线路巡检图像去雾方法，其特征在于，所述多尺度空洞卷积模块包括不同卷积核大小的第一卷积层、第二卷积层与第三卷积层以及不同空洞率的第一空洞卷积层与第二空洞卷积层，所述第一卷积层、第二卷积层与第三卷积层均带有DY-LeakyReLU激活函数，所述第一空洞卷积层与第二空洞卷积层均带有实例归一化层和DY-LeakyReLU激活函数；所述多尺度空洞卷积模块的图像处理步骤，包括：
将输入所述多尺度空洞卷积模块的多尺度输入图通过串联的第一卷积层和第一空洞卷积层进行特征提取，生成第一空洞图；
采用级联的第二卷积层和第二空洞卷积层对所述空洞输入图执行特征滤波操作，构建第二空洞图；
分别通过第一卷积层和第二卷积层对所述空洞输入图进行卷积运算，确定第三空洞图和第四空洞图；
对所述第一空洞图、所述第二空洞图、所述第三空洞图和所述第四空洞图进行通道拼接后，采用第三卷积层进行通道降维，输出多尺度输出图。
5.根据权利要求2所述的输电线路巡检图像去雾方法，其特征在于，所述残差模块包括残差连接的第一残差卷积层、第二残差卷积层、DY-ReLU激活函数和第三残差卷积层，所述第一残差卷积层和第二残差卷积层均带有实例归一化层；所述残差模块的图像处理步骤，包括：
将输入残差模块的残差输入图采用第一残差卷积层进行特征提取后，通过DY-ReLU激活函数进行非线性映射，生成第一残差图；
通过第二残差卷积层对所述第一残差图进行下采样，构建第二残差图；
采用第三残差卷积层对所述残差输入图进行解耦，输出第三残差图；
将所述第一残差图与所述第三残差图进行逐元素相加，并经过DY-ReLU激活函数激活输出残差输出图。
6.根据权利要求2所述的输电线路巡检图像去雾方法，其特征在于，所述初始图像对抗模型包括多个级联的所述残差模块；所述通过所述初始图像对抗模型对所述含雾训练图像、所述无雾训练图像和所述初始去雾图像进行多尺度图像判别，确定整体损失函数值的步骤，包括：
将所述含雾训练图像和所述无雾训练图像、所述含雾训练图像和所述初始去雾图像分别组成第一图像对和第二图像对；
通过残差模块分别对所述第一图像对和所述第二图像对进行连续下采样，输出第三图像对和第四图像对以及对应的第一判决得分和第二判决得分；
采用残差模块分别对所述第三图像对和所述第四图像对进行下采样，确定对应的第三判决得分和第四判决得分；
获取训练好的VGG-19特征提取模型，通过所述VGG-19特征提取模型分别提取所述初始去雾图像和所述无雾训练图像的高级特征；
采用所述初始去雾图像、所述无雾训练图像、所述第一判决得分、所述第二判决得分、所述第三判决得分、所述第四判决得分和所述高级特征，计算整体损失函数值。
7.根据权利要求6所述的输电线路巡检图像去雾方法，其特征在于，所述整体损失函数值的计算过程包括：
L＝0.4×λ1×LGAN(G，D1)+0.6×λ1×LGAN(G，D2)+λ2×LL1(G)+λ3×Lcon(G)+λ4×LTV(G)；
其中，LGAN(G，D1)＝EX，Y[log D1(Y，X)]+EX，Y[log(1-D1(G(X)，X))]；
LGAN(G，D2)＝EX，Y[log D2(Y，X)]+EX，Y[log(1-D2(G(X)，X))]；
LL1(G)＝EX，Y[||Y-G(X)||1]；
Lcon(G)＝EX，Y[||φ(Y)-φ(G(X))||2]；
L为整体损失函数，G为图像生成模型，LGAN()为对抗损失函数，LL1()为全局损失函数，Lcon()为感知损失函数，LTy()为总变分损失函数，λ1为对抗损失函数的比例系数，λ2为全局损失函数的比例系数，λ3为感知损失函数的比例系数，λ4为总变分损失函数的比例系数，X为含雾训练图像，Y为无雾训练图像，G(X)为图像生成模型基于含雾训练图像输出的去雾图像，D1(Y，X)为含雾训练图像和无雾训练图像输入图像对抗模型的第一个判决得分，D1(G(X)，X)为含雾训练图像和去雾图像输入图像对抗模型的第一个判决得分，D2(Y，X)为含雾训练图像和无雾训练图像输入图像对抗模型的第二个判决得分，D2(G(X)，X)为含雾训练图像和去雾图像输入图像对抗模型的第二个判决得分，EX，Y[]为数学期望，φ(Y)为VGG-19特征提取模型提取无雾训练图像的高级特征，φ(G(X))为VGG-19模型提取去雾图像的高级特征，x为去雾图像中一个像素点位置的灰度值，i为图像的行号，j为图像的列号，xi，j为图像生成模型输出的初始去雾图像中第i行第j列的像素点的灰度值，xi，j+1为图像生成模型输出的初始去雾图像中第i行第j+1列的像素点的灰度值，xi+1，j为图像生成模型输出的初始去雾图像中第i+1行第j列的像素点的灰度值，β为阶数。
8.根据权利要求1所述的输电线路巡检图像去雾方法，其特征在于，所述测试集包括无雾测试图像和对应的含雾测试图像；所述按照所述整体损失函数值对所述初始图像生成模型和所述初始图像对抗模型的模型参数进行梯度迭代优化，并结合所述测试集进行模型验证，确定目标图像生成模型的步骤，包括：
对所述整体损失函数值进行收敛判断；
若所述整体损失函数值未收敛，则根据所述整体损失函数值对所述初始图像生成模型和初始图像对抗模型的模型参数进行梯度迭代优化，并跳转执行所述将所述含雾训练图像输入至所述初始图像生成模型进行图像去雾，生成初始去雾图像的步骤；
若所述整体损失函数值收敛，则以当前模型参数输出优化图像生成模型；
通过所述优化图像生成模型对所述含雾测试图像进行图像去雾，输出去雾测试图像；
采用所述无雾测试图像和所述去雾测试图像计算所述去雾测试图像的峰值信噪比和结构相似度；
当所述峰值信噪比和所述结构相似度均大于或等于对应的预设理想值时，确定目标图像生成模型。
9.根据权利要求1所述的输电线路巡检图像去雾方法，其特征在于，所述当接收到目标输电线路巡检图像时，将所述目标输电线路巡检图像输入所述目标图像生成模型进行图像去雾，生成目标去雾图像的步骤，包括：
当接收到目标输电线路巡检图像时，将所述目标输电线路巡检图像输入至所述目标图像生成模型；
通过所述目标图像生成模型对所述目标输电线路巡检图像进行初步特征提取、下采样和特征加权，输出多张中间特征图；
采用所述目标图像生成模型基于全部所述中间特征图进行多尺度特征提取、通道拼接、上采样和特征映射，生成目标去雾图像。
10.一种输电线路巡检图像去雾装置，其特征在于，包括：
模型构建模块，用于当获取到图像训练集和图像测试集时，构建初始图像生成模型和初始图像对抗模型；所述图像训练集包括无雾训练图像和对应的含雾训练图像；
初始去雾图像生成模块，用于将所述含雾训练图像输入至所述初始图像生成模型进行图像去雾，生成初始去雾图像；
整体损失函数值确定模块，用于通过所述初始图像对抗模型基于所述含雾训练图像、所述无雾训练图像和所述初始去雾图像进行多尺度图像判别，确定整体损失函数值；
目标图像生成模型确定模块，用于按照所述整体损失函数值对所述初始图像生成模型和初始图像对抗模型的模型参数进行梯度迭代优化，并结合所述测试集进行模型验证，确定目标图像生成模型；
目标去雾图像生成模块，用于当接收到目标输电线路巡检图像时，将所述目标输电线路巡检图像输入所述目标去雾图像生成模型，生成目标去雾图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310290427.9A CN116309170A (zh) | 2023-03-22 | 2023-03-22 | 一种输电线路巡检图像去雾方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310290427.9A CN116309170A (zh) | 2023-03-22 | 2023-03-22 | 一种输电线路巡检图像去雾方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116309170A true CN116309170A (zh) | 2023-06-23 |
Family
ID=86816453
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310290427.9A Pending CN116309170A (zh) | 2023-03-22 | 2023-03-22 | 一种输电线路巡检图像去雾方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116309170A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116645298A (zh) * | 2023-07-26 | 2023-08-25 | 广东电网有限责任公司珠海供电局 | 一种架空输电线路视频监控图像去雾方法及装置 |
-
2023
- 2023-03-22 CN CN202310290427.9A patent/CN116309170A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116645298A (zh) * | 2023-07-26 | 2023-08-25 | 广东电网有限责任公司珠海供电局 | 一种架空输电线路视频监控图像去雾方法及装置 |
| CN116645298B (zh) * | 2023-07-26 | 2024-01-26 | 广东电网有限责任公司珠海供电局 | 一种架空输电线路视频监控图像去雾方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112001960B (zh) | 基于多尺度残差金字塔注意力网络模型的单目图像深度估计方法 | |
| CN108830818B (zh) | 一种快速多聚焦图像融合方法 | |
| CN112184577B (zh) | 基于多尺度自注意生成对抗网络的单幅图像去雾方法 | |
| CN112419242B (zh) | 基于自注意力机制gan网络的无参考图像质量评价方法 | |
| CN113673590B (zh) | 基于多尺度沙漏密集连接网络的去雨方法、***和介质 | |
| CN115311186B (zh) | 一种红外与可见光图像跨尺度注意力对抗融合方法及终端 | |
| CN112767279B (zh) | 一种基于离散小波集成生成对抗网络的水下图像增强方法 | |
| CN110349093B (zh) | 基于多级沙漏结构的单幅图像去雾模型构建及去雾方法 | |
| CN110879982A (zh) | 一种人群计数***及方法 | |
| CN114782298B (zh) | 一种具有区域注意力的红外与可见光图像融合方法 | |
| CN116757988B (zh) | 基于语义丰富和分割任务的红外与可见光图像融合方法 | |
| CN116309170A (zh) | 一种输电线路巡检图像去雾方法和装置 | |
| CN115170915A (zh) | 一种基于端到端注意力网络的红外与可见光图像融合方法 | |
| CN116757986A (zh) | 一种红外与可见光图像融合方法及装置 | |
| CN112767267A (zh) | 基于仿真偏振带雾场景数据集的图像去雾方法 | |
| CN115937693A (zh) | 一种基于遥感图像的道路识别方法及*** | |
| CN113962878B (zh) | 一种低能见度图像去雾模型方法 | |
| CN115861094A (zh) | 一种融合注意力机制的轻量级gan水下图像增强模型 | |
| CN115131503A (zh) | 一种虹膜三维识别的健康监测方法及其*** | |
| CN113628143A (zh) | 一种基于多尺度卷积的加权融合图像去雾方法及装置 | |
| CN113706400A (zh) | 图像矫正方法、装置、显微镜图像的矫正方法及电子设备 | |
| CN115346091B (zh) | 一种Mura缺陷图像数据集的生成方法和生成装置 | |
| CN110992267A (zh) | 一种基于DPSR与Lightweight CNN的磨粒识别方法 | |
| CN116542865A (zh) | 一种基于结构重参数化的多尺度实时去雾方法及装置 | |
| CN116309171A (zh) | 一种输电线路监控图像增强方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |