CN116403057B - 一种基于多源图像融合的输电线路巡检方法及*** - Google Patents
一种基于多源图像融合的输电线路巡检方法及*** Download PDFInfo
- Publication number
- CN116403057B CN116403057B CN202310677312.5A CN202310677312A CN116403057B CN 116403057 B CN116403057 B CN 116403057B CN 202310677312 A CN202310677312 A CN 202310677312A CN 116403057 B CN116403057 B CN 116403057B
- Authority
- CN
- China
- Prior art keywords
- frequency component
- image
- low
- fusion
- obtaining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 98
- 230000005540 biological transmission Effects 0.000 title claims abstract description 44
- 238000007689 inspection Methods 0.000 title claims abstract description 28
- 238000000034 method Methods 0.000 title claims abstract description 24
- 239000012212 insulator Substances 0.000 claims abstract description 48
- 230000000007 visual effect Effects 0.000 claims abstract description 26
- 238000013507 mapping Methods 0.000 claims abstract description 23
- 230000002159 abnormal effect Effects 0.000 claims abstract description 10
- 230000006870 function Effects 0.000 claims description 17
- 210000002569 neuron Anatomy 0.000 claims description 12
- 238000013136 deep learning model Methods 0.000 claims description 9
- 238000007499 fusion processing Methods 0.000 claims description 9
- 238000000354 decomposition reaction Methods 0.000 claims description 8
- 238000003062 neural network model Methods 0.000 claims description 8
- 239000004973 liquid crystal related substance Substances 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000007500 overflow downdraw method Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 208000001431 Psychomotor Agitation Diseases 0.000 description 1
- 206010038743 Restlessness Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000011524 similarity measure Methods 0.000 description 1
- 239000000725 suspension Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Business, Economics & Management (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Multimedia (AREA)
- Economics (AREA)
- Biophysics (AREA)
- Water Supply & Treatment (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Public Health (AREA)
- Computational Linguistics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本发明提供了一种基于多源图像融合的输电线路巡检方法及***，属于电力巡检技术领域。所述方法，包括：对红外图像与可见光图像分别进行分解，分别得到高频图像和低频分量；根据红外图像的像素强度信息得到低频分量融合权重，得到融合后的低频分量；根据红外图像的高频分量和可见光图像的高频分量，得到各高频分量的对应的视觉映射，进而得到各高频分量对应的权重，得到融合后的高频分量；将融合后的高频分量和低频分量合并得到融合结果图像；根据融合结果图像进行绝缘子串异常识别结果，根据识别到的污秽绝缘子的紫外图像，得到输电线路绝缘子异常放电识别结果；本发明提高了识别效率和识别精度。
Description
技术领域
本发明涉及电力巡检技术领域，特别涉及一种基于多源图像融合的输电线路巡检方法及***。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术，并不必然构成现有技术。
绝缘子串指两个或多个绝缘子元件组合在一起，柔性悬挂导线的组件。绝缘子串是带有固定和运行需要的保护装置，用于悬挂导线并使导线与杆塔和大地绝缘，绝缘子串在长时间的应通过程中，容易发生污秽、裂缝、破损或者夹杂异物，进而导致绝缘子串的性能下降。
目前，普遍的采用无人机巡检的方式对绝缘子串进行拍摄以确定绝缘子串的运行状况，通过采集巡检现场的可见光图像和红外光图像进行融合识别，发明人发现，目前的融合方法存在如下问题：
（1）现有的融合算法倾向于追求更好的视觉效果和更高的评价指标，网络层次越来越深、融合方法越来越复杂，从而导致融合的速度越来越慢，在方法的实用性和时效性上考虑的较少；
（2）因红外图像和可见光图像的成像方式的不同，目前基本都是采用孪生网络分别对红外图像和可见光图像进行特征提取，对图像的特征提取存在偏向，存在红外图像的能量特征丢失的问题；
（3）在进行污秽闪络放电的识别过程中，一般直接的对绝缘子串进行基于紫外图像的识别，不仅外界干扰因素较大，且不容易识别到是否是绝缘子污秽带来的闪络放电。
发明内容
为了解决现有技术的不足，本发明提供了一种基于多源图像融合的输电线路巡检方法及***，有效的避免了融合过程中能量特征的丢失问题，减少了大规模神经网络模型的应用，提高了识别效率和识别精度。
为了实现上述目的，本发明采用如下技术方案：
本发明第一方面提供了一种基于多源图像融合的输电线路巡检方法。
一种基于多源图像融合的输电线路巡检方法，包括以下过程：
对获取的输电线路红外图像与可见光图像分别进行分解，得到红外图像的高频分量和低频分量以及可见光图像的高频图像和低频分量；
根据红外图像的像素强度信息得到低频分量融合权重，根据低频分量融合权重，将红外图像的低频分量与可见光图像的低频分量融合，得到融合后的低频分量；
根据红外图像的高频分量和可见光图像的高频分量，得到各高频分量的对应的视觉映射，进而得到各高频分量对应的权重，根据各高频分量对应的权重进行高频分量融合，得到融合后的高频分量；
将融合后的高频分量和低频分量合并，得到融合结果图像，根据融合结果图像与深度学习模型，得到输电线路绝缘子串污秽识别结果，获取识别到的污秽绝缘子的紫外图像，根据识别到的污秽绝缘子的紫外图像，得到输电线路绝缘子异常放电识别结果。
作为本发明第一方面进一步的限定，根据红外图像的像素强度信息得到低频分量融合权重，包括：
计算红外图像的低频分量的每个像素的绝对值并进行归一化，根据归一化的结果，得到低频分量融合权重。
作为本发明第一方面进一步的限定，根据低频分量融合权重将红外图像的低频分量与可见光图像的低频分量融合，包括：
红外图像的低频分量的权重为a，可见光图像的低频分量的权重为1-a。
作为本发明第一方面进一步的限定，得到各高频分量的对应的视觉映射，进而得到各高频分量对应的权重，包括：
红外图像的高频分量的视觉映射为X1和可见光图像的高频分量的视觉映射为X2，则红外图像的高频分量对应的权重为：X1/（X1+X2），可见光图像的高频分量对应的权重为：X2/（X1+X2）。
作为本发明第一方面进一步的限定，图像融合过程的损失函数L为相似性损失L1、强度损失L2和梯度损失L3的融合；
其中，，/>和/>为超参数。
本发明第二方面提供了一种基于多源图像融合的输电线路巡检***。
一种基于多源图像融合的输电线路巡检***，包括：
图像分解模块，被配置为：对获取的输电线路红外图像与可见光图像分别进行分解，得到红外图像的高频分量和低频分量以及可见光图像的高频图像和低频分量；
低频融合模块，被配置为：根据红外图像的像素强度信息得到低频分量融合权重，根据低频分量融合权重，将红外图像的低频分量与可见光图像的低频分量融合，得到融合后的低频分量；
高频融合模块，被配置为：根据红外图像的高频分量和可见光图像的高频分量，得到各高频分量的对应的视觉映射，进而得到各高频分量对应的权重，根据各高频分量对应的权重进行高频分量融合，得到融合后的高频分量；
融合识别模块，被配置为：将融合后的高频分量和低频分量合并后得到融合结果图像，根据融合结果图像与深度学习模型，得到输电线路绝缘子串污秽识别结果，获取识别到的污秽绝缘子的紫外图像，根据识别到的污秽绝缘子的紫外图像，得到输电线路绝缘子异常放电识别结果。
作为本发明第二方面进一步的限定，低频融合模块中，根据红外图像的像素强度信息得到低频分量融合权重，包括：
计算红外图像的低频分量的每个像素的绝对值并进行归一化，根据归一化的结果，得到低频分量融合权重。
作为本发明第二方面进一步的限定，根据低频分量融合权重将红外图像的低频分量与可见光图像的低频分量融合，包括：
红外图像的低频分量的权重为a，可见光图像的低频分量的权重为1-a。
作为本发明第二方面进一步的限定，高频融合模块中，得到各高频分量的对应的视觉映射，进而得到各高频分量对应的权重，包括：
红外图像的高频分量的视觉映射为X1和可见光图像的高频分量的视觉映射为X2，则红外图像的高频分量对应的权重为：X1/（X1+X2），可见光图像的高频分量对应的权重为：X2/（X1+X2）。
作为本发明第二方面进一步的限定，图像融合过程的损失函数L为相似性损失L1、强度损失L2和梯度损失L3的融合；
其中，，/>和/>为超参数。
与现有技术相比，本发明的有益效果是：
1、本发明创新性的提出了一种基于多源图像融合的输电线路巡检方法及***，根据红外图像的像素强度信息得到低频分量融合权重，根据低频分量融合权重将红外图像的低频分量与可见光图像的低频分量融合，得到融合后的低频分量，有效的避免了融合过程中能量特征的丢失问题，减少了大规模神经网络模型的应用，提高了识别效率和识别精度。
2、本发明创新性的提出了一种基于多源图像融合的输电线路巡检方法及***，图像融合过程的损失函数L为相似性损失L1、强度损失L2和梯度损失L3的融合，其中，L= L1+αL2+ βL3，α和β为超参数，最大限度地保留了红外图像的热辐射信息和可见光图像的纹理信息。
3、本发明创新性的提出了一种基于多源图像融合的输电线路巡检方法及***，获取识别到的污秽绝缘子的紫外图像，根据识别到的污秽绝缘子的紫外图像，得到输电线路绝缘子异常放电识别结果，避免了外界干扰因素对异常放电识别的影响，且能够更快速的识别到绝缘子污秽带来的闪络放电。
本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1为本发明实施例1提供的基于多源图像融合的输电线路巡检方法的流程示意图；
图2为本发明实施例2提供的基于多源图像融合的输电线路巡检***的流程示意图。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
实施例1：
如图1所示，本发明实施例1提供了一种基于多源图像融合的输电线路巡检方法，包括以下过程：
S1：对获取的输电线路红外图像与可见光图像分别进行拉普拉斯金字塔分解，得到红外图像的高频分量和低频分量以及可见光图像的高频图像和低频分量；
S2：根据红外图像的像素强度信息得到低频分量融合权重，根据低频分量融合权重将红外图像的低频分量与可见光图像的低频分量融合，得到融合后的低频分量；
S3：根据红外图像的高频分量和可见光图像的高频分量，得到各高频分量的对应的视觉映射，进而得到各高频分量对应的权重，根据各高频分量对应的权重进行高频分量融合，得到融合后的高频分量；
S4：将融合后的高频分量和低频分量合并后执行拉普拉斯逆变换，得到融合结果图像；
S5：根据融合结果图像与深度学习模型，得到输电线路绝缘子串污秽识别结果，获取识别到的污秽绝缘子的紫外图像，根据识别到的污秽绝缘子的紫外图像，得到输电线路绝缘子异常放电识别结果。
具体的，拉普拉斯金字塔分解，包括：首先对原始图像进行低通波，然后进行下采样，得到低频分量，即原始图像的近似分量，对该低频分量进行上采样，对上采样得到的分量进行高通滤波，并将高通波后的分量与原始图像进行差分，最后得到拉普拉斯分解后的高烦通分量。
具体的，根据红外图像的像素强度信息得到低频分量融合权重，包括：
计算红外图像的低频分量的每个像素的绝对值并进行归一化，根据归一化的结果，得到低频分量融合权重。
更具体的，包括：
从红外图像中分解的低频部分的每个像素取的绝对值如下：
（1）
其中，T反映了显著的红外特征分布，T1表示表示分解信息的最高层次，即低频信息，对于图像中的一个点x，一个较大的T（x）值会导致较大的像素强度值和显著的红外特征信息，对T进行归一化得到归一化后的变量M。
引入非线性变换函数来进一步调整，来控制红外图像和可见光图像在融合图像中的相对有效信息：
（2）
式中，的范围为(0，1)，表示函数的自变量，函数参数/>大于0，当/>增加时，曲线的形状变陡，相应的非线性变换逐渐增强。因此，可通过调整/>来控制合并结果中的红外信息的量，最终的低频信息融合权重可以表示为：
（3）
即红外图像的低频分量的权重为a，可见光图像的低频分量的权重为1-a，用a乘以红外图像的低频分量，用1-a乘以可见光图像的低频分量，两者相加后得到低频分量的融合结果；
得到各高频分量的对应的视觉映射，进而得到各高频分量对应的权重，包括：
红外图像的高频分量的视觉映射为X1，可见光图像的高频分量的视觉映射为X2，则红外图像的高频分量对应的权重为：b=X1/（X1+X2），可见光图像的高频分量对应的权重为：c=X2/（X1+X2）。
更具体的，用b乘以红外图像的高频分量，用c乘以可见光图像的高频分量，两者相加后，得到高频分量的融合结果。
可选的，图像融合过程的损失函数L为相似性损失L1、强度损失L2和梯度损失L3的融合，不断的进行权重以及分解参数的修正以达到最佳的融合效果；
其中，，/>和/>为超参数。
结构相似度量Y根据亮度、对比度和结构信息的相似性来模拟失真，本实施例选用其来约束输入源图像对Q1和Q2与融合图像F之间的结构相似性，结构相似性损失L1的计算公式为：
L1=（（1-Y（F，Q1））+（1-Y（F，Q1）））*0.5（4）
强度损失约束融合图像保持与源图像相似的强度分布，强度损失L2的计算公式为：
（5）
（6）
其中，H和W分别表示图像的高度和宽度，表示图像x和y之间的像素误差，/>是控制两项之间权衡的一个正参数。
梯度损失迫使融合图像包含丰富的纹理细节信息，梯度损失L 3的计算公式为：
（7）
（8）
式中，H和W分别表示图像的高度和宽度，表示Sobel梯度算子，/>表示图像x和y之间的边缘信息损失，/>用于调整融合图像中不同模态梯度信息的比例。
具体的，深度学习模型采用预训练的BP神经网络模型，所述的BP神经网络模型包括有输入层、隐含层和输出层，隐含层使用logsig函数，输出层使用purelin函数，其中隐含层的神经元数目为：
（9）
其中，n为隐含层的神经元数目，n i为输入层的神经元数目，n 0为输出层的神经元数目，a属于集合[1,10]。
以识别绝缘子的污秽等级为例，在每次完成绝缘子图像（包括可见光图像与红外光图像）的拍摄后，根据标准统计所有绝缘子污秽级别（人工标注），按照以上方式，获取并记录每个污秽级别下的红外热像，依据以上描述，收集五个污秽等级的绝缘子融合图像共500组，每个污秽等级均对应100组，各污秽等级中，选取80组作为训练组，20组作为试验组进行BP神经网络的训练。
可选的，BP神经网络的损失函数可以为：
（10）
其中，T（i,j）与Q（i,j）为预处理后的图像和标准图像在（i,j）位置的像素值，A为i的最大值，B为j的最大值。
可以理解的，在其他一些实现方式中，针对裂缝、破损或者夹杂异物等也可以设定相应的等级采用融合后的人工标注图像进行识别（每种识别采用不同的训练模型），本领域技术人员可以根据具体工况进行选择，这里不再赘述。
在得到绝缘子串的污秽等级识别结果之后，获取污秽等级较大的绝缘子串或者所有污秽等级的绝缘子串的紫外图像，根据紫外图像对污秽放电情况进行识别，这里的识别方法可以采用现有方案；
采用紫外图像进行放电情况识别，可以对污秽等级较大的绝缘子串判断是否具备较大的放电情况，根据对放电情况与污秽等级的匹配，生成污秽等级与放电情况的对应关系，进而实现更精准的识别。
实施例2：
如图2所示，本发明实施例2提供了一种基于多源图像融合的输电线路巡检***，包括：
图像分解模块，被配置为：对获取的输电线路红外图像与可见光图像分别进行分解，得到红外图像的高频分量和低频分量以及可见光图像的高频图像和低频分量；
低频融合模块，被配置为：根据红外图像的像素强度信息得到低频分量融合权重，根据低频分量融合权重，将红外图像的低频分量与可见光图像的低频分量融合，得到融合后的低频分量；
高频融合模块，被配置为：根据红外图像的高频分量和可见光图像的高频分量，得到各高频分量的对应的视觉映射，进而得到各高频分量对应的权重，根据各高频分量对应的权重进行高频分量融合，得到融合后的高频分量；
融合识别模块，被配置为：将融合后的高频分量和低频分量合并后得到融合结果图像，根据融合结果图像与深度学习模型，得到输电线路绝缘子串污秽识别结果，获取识别到的污秽绝缘子的紫外图像，根据识别到的污秽绝缘子的紫外图像，得到输电线路绝缘子异常放电识别结果。
本实施例中，低频融合模块中，根据红外图像的像素强度信息得到低频分量融合权重，包括：
计算红外图像的低频分量的每个像素的绝对值并进行归一化，根据归一化的结果，得到低频分量融合权重。
本实施例中，根据低频分量融合权重将红外图像的低频分量与可见光图像的低频分量融合，包括：
红外图像的低频分量的权重为a，可见光图像的低频分量的权重为1-a。
本实施例中，高频融合模块中，得到各高频分量的对应的视觉映射，进而得到各高频分量对应的权重，包括：
红外图像的高频分量的视觉映射为X1和可见光图像的高频分量的视觉映射为X2，则红外图像的高频分量对应的权重为：X1/（X1+X2），可见光图像的高频分量对应的权重为：X2/（X1+X2）。
可选的，图像融合过程的损失函数L为相似性损失L1、强度损失L2和梯度损失L3的融合；
其中，L= L1+αL2+ βL3，α和β为超参数。
所述各个模块的具体工作方法与实施例1中提供的相同，这里不再赘述。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (4)
1.一种基于多源图像融合的输电线路巡检方法，其特征在于，包括以下过程：
对获取的输电线路红外图像与可见光图像分别进行分解，得到红外图像的高频分量和低频分量以及可见光图像的高频图像和低频分量；
根据红外图像的像素强度信息得到低频分量融合权重，根据低频分量融合权重，将红外图像的低频分量与可见光图像的低频分量融合，得到融合后的低频分量；
根据红外图像的高频分量和可见光图像的高频分量，得到各高频分量的对应的视觉映射，进而得到各高频分量对应的权重，根据各高频分量对应的权重进行高频分量融合，得到融合后的高频分量；
将融合后的高频分量和低频分量合并，得到融合结果图像，根据融合结果图像与深度学习模型，得到输电线路绝缘子串污秽识别结果，获取识别到的污秽绝缘子的紫外图像，根据识别到的污秽绝缘子的紫外图像，得到输电线路绝缘子异常放电识别结果；
根据红外图像的像素强度信息得到低频分量融合权重，包括：
计算红外图像的低频分量的每个像素的绝对值并进行归一化，根据归一化的结果，得到低频分量融合权重；
根据低频分量融合权重将红外图像的低频分量与可见光图像的低频分量融合，包括：
红外图像的低频分量的权重为a，可见光图像的低频分量的权重为1-a；
得到各高频分量的对应的视觉映射，进而得到各高频分量对应的权重，包括：
红外图像的高频分量的视觉映射为X1和可见光图像的高频分量的视觉映射为X2，则红外图像的高频分量对应的权重为：X1/（X1+X2），可见光图像的高频分量对应的权重为：X2/（X1+X2）；
所述深度学习模型采用预训练的BP神经网络模型，所述的BP神经网络模型包括有输入层、隐含层和输出层，隐含层使用logsig函数，输出层使用purelin函数，其中隐含层的神经元数目为：
其中，n为隐含层的神经元数目，n i为输入层的神经元数目，n 0为输出层的神经元数目，a属于集合[1,10]。
2.如权利要求1所述的基于多源图像融合的输电线路巡检方法，其特征在于，
图像融合过程的损失函数L为相似性损失L1、强度损失L2和梯度损失L3的融合；
其中，L= L1+αL2+ βL3，α和β为超参数。
3.一种基于多源图像融合的输电线路巡检***，其特征在于，包括：
图像分解模块，被配置为：对获取的输电线路红外图像与可见光图像分别进行分解，得到红外图像的高频分量和低频分量以及可见光图像的高频图像和低频分量；
低频融合模块，被配置为：根据红外图像的像素强度信息得到低频分量融合权重，根据低频分量融合权重，将红外图像的低频分量与可见光图像的低频分量融合，得到融合后的低频分量；
高频融合模块，被配置为：根据红外图像的高频分量和可见光图像的高频分量，得到各高频分量的对应的视觉映射，进而得到各高频分量对应的权重，根据各高频分量对应的权重进行高频分量融合，得到融合后的高频分量；
融合识别模块，被配置为：将融合后的高频分量和低频分量合并后得到融合结果图像，根据融合结果图像与深度学习模型，得到输电线路绝缘子串污秽识别结果，获取识别到的污秽绝缘子的紫外图像，根据识别到的污秽绝缘子的紫外图像，得到输电线路绝缘子异常放电识别结果；低频融合模块中，根据红外图像的像素强度信息得到低频分量融合权重，包括：
计算红外图像的低频分量的每个像素的绝对值并进行归一化，根据归一化的结果，得到低频分量融合权重；
根据低频分量融合权重将红外图像的低频分量与可见光图像的低频分量融合，包括：
红外图像的低频分量的权重为a，可见光图像的低频分量的权重为1-a；
高频融合模块中，得到各高频分量的对应的视觉映射，进而得到各高频分量对应的权重，包括：
红外图像的高频分量的视觉映射为X1和可见光图像的高频分量的视觉映射为X2，则红外图像的高频分量对应的权重为：X1/（X1+X2），可见光图像的高频分量对应的权重为：X2/（X1+X2）；
所述深度学习模型采用预训练的BP神经网络模型，所述的BP神经网络模型包括有输入层、隐含层和输出层，隐含层使用logsig函数，输出层使用purelin函数，其中隐含层的神经元数目为：
其中，n为隐含层的神经元数目，n i为输入层的神经元数目，n 0为输出层的神经元数目，a属于集合[1,10]。
4.如权利要求3所述的基于多源图像融合的输电线路巡检***，其特征在于，
图像融合过程的损失函数L为相似性损失L1、强度损失L2和梯度损失L3的融合；
其中，L= L1+αL2+ βL3，α和β为超参数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310677312.5A CN116403057B (zh) | 2023-06-09 | 2023-06-09 | 一种基于多源图像融合的输电线路巡检方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310677312.5A CN116403057B (zh) | 2023-06-09 | 2023-06-09 | 一种基于多源图像融合的输电线路巡检方法及*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116403057A CN116403057A (zh) | 2023-07-07 |
| CN116403057B true CN116403057B (zh) | 2023-08-18 |
Family
ID=87010933
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310677312.5A Active CN116403057B (zh) | 2023-06-09 | 2023-06-09 | 一种基于多源图像融合的输电线路巡检方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116403057B (zh) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016032289A (ja) * | 2014-07-25 | 2016-03-07 | 日本電気株式会社 | 画像合成システム、画像合成方法、画像合成プログラム |
| CN107451984A (zh) * | 2017-07-27 | 2017-12-08 | 桂林电子科技大学 | 一种基于混合多尺度分析的红外与可见光图像融合算法 |
| CN107491781A (zh) * | 2017-07-21 | 2017-12-19 | 国家电网公司 | 一种巡检机器人可见光与红外传感器数据融合方法 |
| CN107507172A (zh) * | 2017-08-08 | 2017-12-22 | 国网上海市电力公司 | 融合红外可见光的特高压线路绝缘子串深度学习识别方法 |
| CN110197231A (zh) * | 2019-06-04 | 2019-09-03 | 南京华格信息技术有限公司 | 基于可见光和红外光图像融合的鸟情探测设备及识别方法 |
| CN110443776A (zh) * | 2019-08-07 | 2019-11-12 | 中国南方电网有限责任公司超高压输电公司天生桥局 | 一种基于无人机吊舱的数据配准融合方法 |
| CN112017139A (zh) * | 2020-09-14 | 2020-12-01 | 南昌航空大学 | 一种红外与可见光图像感知融合方法 |
| CN112233074A (zh) * | 2020-09-30 | 2021-01-15 | 国网山西省电力公司大同供电公司 | 一种基于可见光及红外融合图像的电力故障检测方法 |
| CN114881905A (zh) * | 2022-06-21 | 2022-08-09 | 西北工业大学 | 一种基于小波变换的红外图像与可见光图像融合的处理方法 |
| CN115471723A (zh) * | 2022-09-23 | 2022-12-13 | 安徽优航遥感信息技术有限公司 | 一种基于红外与可见光图像融合的变电站无人机巡检方法 |
| CN115880221A (zh) * | 2022-10-31 | 2023-03-31 | 国网福建省电力有限公司 | 融合可见光与红外图像处理的电网线路缺陷分析方法 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110182495A1 (en) * | 2010-01-26 | 2011-07-28 | General Electric Company | System and method for automatic defect recognition of an inspection image |
| CN105069768B (zh) * | 2015-08-05 | 2017-12-29 | 武汉高德红外股份有限公司 | 一种可见光图像与红外图像融合处理***及融合方法 |
| CN106780392B (zh) * | 2016-12-27 | 2020-10-02 | 浙江大华技术股份有限公司 | 一种图像融合方法及装置 |
| WO2018122589A1 (zh) * | 2016-12-30 | 2018-07-05 | 同济大学 | 一种基于红外热像图分析的沥青路面裂缝发育程度检测方法 |
| CN112767289B (zh) * | 2019-10-21 | 2024-05-07 | 浙江宇视科技有限公司 | 图像融合方法、装置、介质及电子设备 |
| CN111062905B (zh) * | 2019-12-17 | 2022-01-04 | 大连理工大学 | 一种基于显著图增强的红外和可见光融合方法 |
-
2023
- 2023-06-09 CN CN202310677312.5A patent/CN116403057B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016032289A (ja) * | 2014-07-25 | 2016-03-07 | 日本電気株式会社 | 画像合成システム、画像合成方法、画像合成プログラム |
| CN107491781A (zh) * | 2017-07-21 | 2017-12-19 | 国家电网公司 | 一种巡检机器人可见光与红外传感器数据融合方法 |
| CN107451984A (zh) * | 2017-07-27 | 2017-12-08 | 桂林电子科技大学 | 一种基于混合多尺度分析的红外与可见光图像融合算法 |
| CN107507172A (zh) * | 2017-08-08 | 2017-12-22 | 国网上海市电力公司 | 融合红外可见光的特高压线路绝缘子串深度学习识别方法 |
| CN110197231A (zh) * | 2019-06-04 | 2019-09-03 | 南京华格信息技术有限公司 | 基于可见光和红外光图像融合的鸟情探测设备及识别方法 |
| CN110443776A (zh) * | 2019-08-07 | 2019-11-12 | 中国南方电网有限责任公司超高压输电公司天生桥局 | 一种基于无人机吊舱的数据配准融合方法 |
| CN112017139A (zh) * | 2020-09-14 | 2020-12-01 | 南昌航空大学 | 一种红外与可见光图像感知融合方法 |
| CN112233074A (zh) * | 2020-09-30 | 2021-01-15 | 国网山西省电力公司大同供电公司 | 一种基于可见光及红外融合图像的电力故障检测方法 |
| CN114881905A (zh) * | 2022-06-21 | 2022-08-09 | 西北工业大学 | 一种基于小波变换的红外图像与可见光图像融合的处理方法 |
| CN115471723A (zh) * | 2022-09-23 | 2022-12-13 | 安徽优航遥感信息技术有限公司 | 一种基于红外与可见光图像融合的变电站无人机巡检方法 |
| CN115880221A (zh) * | 2022-10-31 | 2023-03-31 | 国网福建省电力有限公司 | 融合可见光与红外图像处理的电网线路缺陷分析方法 |
Non-Patent Citations (1)
| Title |
|---|
| 结合NSST和LC显著性的红外与可见光图像融合;李伟;陈红斌;;电子技术与软件工程(08);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116403057A (zh) | 2023-07-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110264448B (zh) | 一种基于机器视觉的绝缘子故障检测方法 | |
| CN111127449B (zh) | 一种基于编码器-解码器的自动化裂缝检测方法 | |
| CN110148093B (zh) | 一种基于暗通道先验的图像去雾改进方法 | |
| CN110161506A (zh) | 一种基于多源气象观测资料的分类型冰雹落区识别方法 | |
| CN109635806A (zh) | 基于残差网络的电表数值识别方法 | |
| CN110363727B (zh) | 基于多尺度暗通道先验级联深度神经网络的图像去雾方法 | |
| CN112365468A (zh) | 基于AA-gate-Unet的海上风电塔筒涂层缺陷检测方法 | |
| CN114972748B (zh) | 一种可解释边缘注意力和灰度量化网络的红外语义分割方法 | |
| CN103955907A (zh) | 指针式sf6气体密度表的遥测方法 | |
| CN107967671A (zh) | 结合数据学习和物理先验的图像去雾方法 | |
| CN116403057B (zh) | 一种基于多源图像融合的输电线路巡检方法及*** | |
| CN114187511A (zh) | 一种输电全景大数据智能监控方法 | |
| CN110276747B (zh) | 一种基于图像分析的绝缘子故障检测和故障评级方法 | |
| CN113625104B (zh) | 一种面向行波故障定位的线长修正方法 | |
| CN105631825A (zh) | 基于滚动导向的图像去雾方法 | |
| CN105139361B (zh) | 一种基于非线性优化的fpm算法的图像超分辨率重建方法 | |
| CN115661597A (zh) | 一种基于动态权重定位蒸馏的可见光和红外融合目标检测方法 | |
| CN102092937A (zh) | 迅速优化光子晶体光纤拉制工艺的方法和*** | |
| CN112396572B (zh) | 基于特征增强和高斯金字塔的复合绝缘子双光融合方法 | |
| CN115797311A (zh) | 一种基于深度强化学习的公路裂缝图像分割方法 | |
| CN114359255A (zh) | 一种基于改进Yolov5s的公路路面修补检测方法 | |
| CN114140685A (zh) | 一种自适应环境的变电站仪表读数识别方法、设备和介质 | |
| CN113762020A (zh) | 一种基于矩阵结构深度神经网络的公路路面裂缝检测*** | |
| CN113095181A (zh) | 基于Defense-GAN的交通标志识别方法 | |
| CN112444522A (zh) | 一种电力***绝缘子串缺陷检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP01 | Change in the name or title of a patent holder | ||
| CP01 | Change in the name or title of a patent holder |
Address after: F5-1-105, Sinovation Ventures, No. 2016, Feiyue Avenue, High tech Zone, Jinan, Shandong 250000 Patentee after: Shandong Ruiying Intelligent Technology Co.,Ltd. Patentee after: Jiangsu Ruiying Zhituo Electric Power Technology Development Co.,Ltd. Address before: F5-1-105, Sinovation Ventures, No. 2016, Feiyue Avenue, High tech Zone, Jinan, Shandong 250000 Patentee before: Shandong Ruiying Intelligent Technology Co.,Ltd. Patentee before: BEIJING RAYIEE ZHITUO TECHNOLOGY DEVELOPMENT Co.,Ltd. |