CN114973032B - 一种基于深度卷积神经网络的光伏板热斑检测方法及装置 - Google Patents
一种基于深度卷积神经网络的光伏板热斑检测方法及装置 Download PDFInfo
- Publication number
- CN114973032B CN114973032B CN202210587259.5A CN202210587259A CN114973032B CN 114973032 B CN114973032 B CN 114973032B CN 202210587259 A CN202210587259 A CN 202210587259A CN 114973032 B CN114973032 B CN 114973032B
- Authority
- CN
- China
- Prior art keywords
- photovoltaic panel
- infrared image
- network
- model
- hot spot
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 50
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 18
- 230000011218 segmentation Effects 0.000 claims abstract description 70
- 238000000605 extraction Methods 0.000 claims abstract description 51
- 238000000034 method Methods 0.000 claims abstract description 28
- 238000012549 training Methods 0.000 claims description 52
- 230000006870 function Effects 0.000 claims description 30
- 238000012360 testing method Methods 0.000 claims description 20
- 230000008014 freezing Effects 0.000 claims description 12
- 238000007710 freezing Methods 0.000 claims description 12
- 238000010257 thawing Methods 0.000 claims description 12
- 238000011176 pooling Methods 0.000 claims description 11
- 230000004927 fusion Effects 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 8
- 238000013434 data augmentation Methods 0.000 claims description 7
- 230000006872 improvement Effects 0.000 claims description 7
- 238000012795 verification Methods 0.000 claims description 7
- 238000005457 optimization Methods 0.000 claims description 6
- 238000005516 engineering process Methods 0.000 claims description 5
- 230000006835 compression Effects 0.000 claims description 4
- 238000007906 compression Methods 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 4
- 230000009467 reduction Effects 0.000 claims description 4
- 230000000694 effects Effects 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000011897 real-time detection Methods 0.000 description 5
- 238000013461 design Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000013508 migration Methods 0.000 description 2
- 230000005012 migration Effects 0.000 description 2
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000003042 antagnostic effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 238000004146 energy storage Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 210000003608 fece Anatomy 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000002715 modification method Methods 0.000 description 1
- 238000010248 power generation Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000001931 thermography Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/17—Terrestrial scenes taken from planes or by drones
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
- Y02E10/00—Energy generation through renewable energy sources
- Y02E10/50—Photovoltaic [PV] energy
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Biodiversity & Conservation Biology (AREA)
- Remote Sensing (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于深度卷积神经网络的光伏板热斑检测方法及装置，属于光伏板热斑检测技术领域，包括：获取光伏板红外图像；利用改进的目标检测算法Yolov4构建光伏板识别模型，通过光伏板识别模型识别并截取光伏板红外图像中的光伏板；利用优化的语义分割算法DeepLabV3+构建热斑分割模型，通过热斑分割模型对截取到的光伏板上的热斑进行检测分割。本发明通过对Yolov4特征提取网络进行替换，实现对航拍红外图像光伏板的快速识别，解决红外图像地面背景影响的问题，将MobileNetV2网络引入DeeplabV3+模型中实现对上述识别结果进行热斑的快速分割，可以精确检测出热斑。
Description
技术领域
本发明属于光伏板热斑检测技术领域，具体涉及一种基于深度卷积神经网络的光伏板热斑检测方法及装置。
背景技术
随着新能源的持续推进，光伏电站大规模接入电网。近年来光伏产业成本不断降低，产能迅速增长。但是，鉴于生态环境的复杂性，分布式电站光伏板极易受到灰尘、鸟粪、落叶的遮挡，如果不能及时进行清理，就会造成被遮挡电池片成为负载消耗能量，产生热斑故障。热斑故障轻则使光伏板发电效率大大降低，重则损坏整片光伏板甚至存在火灾隐患。因此，进行光伏板热斑检测对推进光伏储能工作有着重要价值。
目前，检验光伏板缺陷的方式主要围绕着图像处理、热成像、神经网络等方式进行。Tsanakas等人采用传统的图像处理算法检测热斑故障，但需要人工对图像的背景进行分割；王培珍等针对不同工作状态下太阳能电池工作温度不同这一特性，提出了通过对红外图像分析来检测热斑故障的方法，但是检测结果受到环境的影响较大；孙海蓉等以深度卷积自编码网络模型用于小样本光伏热斑识别与定位，还在Inception-v3模型的基础上构建深度迁移学习模型，但是以上两种方法都只适用于小样本的热斑检测；王春提出了生成对抗神经网络来进行热斑识别，但对存在不完整的光伏板组件的情况不适用；陈文勤用光伏阵列区域局部灰度特征来进行光伏阵列分割，然后采用SVM进行热斑检测，但模型较大训练时间长不适用于无人机的实时检测。
发明内容
为了克服上述现有技术存在的不足，本发明针对分布式光伏电站光伏板热斑故障难以检测的问题，结合无人机巡检技术提供了一种基于深度卷积神经网络的光伏板热斑检测方法及装置。鉴于以上问题及无人机实时检测的实际需求，本发明通过对Yolov4特征提取网络进行替换，实现对航拍红外图像光伏板的快速识别，解决红外图像地面背景影响的问题。然后用替换特征提取网络的Deeplabv3+语义分割算法对识别后的红外图像进行热斑检测，可以精确检测出热斑。
为了实现上述目的，本发明提供如下技术方案：
一种基于深度卷积神经网络的光伏板热斑检测方法，包括以下步骤：
获取光伏板红外图像；
利用改进的目标检测算法Yolov4构建光伏板识别模型，通过所述光伏板识别模型识别并截取所述光伏板红外图像中的光伏板；可实现将光伏板快速从红外图像中识别出来；
利用优化的语义分割算法DeepLabV3+构建热斑分割模型，通过所述热斑分割模型对截取到的光伏板上的热斑进行检测分割；实现对上述识别结果进行热斑的快速分割，改进由于下采样造成的目标缺失；
所述目标检测算法Yolov4的改进包括将Yolov4算法的主干特征提取网络CSPDarknet53替换为轻量型网络MobileNetV2，并将加强特征提取网络PAnet中标准3×3卷积替换为深度可分离卷积；所述语义分割算法DeepLabV3+的优化包括将主干特征提取网络Xception替换为轻量型网络MobileNetV2。
优选地，通过无人机航拍获取所述光伏板红外图像。
优选地，通过所述光伏板识别模型识别并截取所述光伏板红外图像中的光伏板，包括以下步骤：
通过所述改进的目标检测算法Yolov4的主干特征提取网络MobileNetV2对输入的所述光伏板红外图像进行初步的特征提取，获得初步的特征层；
通过所述改进的目标检测算法Yolov4的空间金字塔池化网络SPP对所述特征层进行不同尺度的池化处理，在经过级联后进行3×3卷积；
将卷积后的特征输入加强特征提取网络PAne进行特征融合，获得预测框的四个坐标top、left、bottom、right；
通过获取的预测框的四个坐标top、left、bottom、right，利用矩阵的形式对所述光伏板识别模型识别，得到光伏板识别结果图片并进行截取。
优选地，通过所述热斑分割模型对截取到的光伏板上的热斑进行检测分割，包括以下步骤：
在所述优化的语义分割算法DeepLabV3+的编码器中，利用MobileNetV2网络的空洞卷积提取光伏板上的热斑特征，将热斑特征合并后进行1×1卷积压缩，输出高级特征；
在所述优化的语义分割算法DeepLabV3+的在解码器中，将编码器中的低级特征进行1×1卷积降维之后与高级特征进行特征融合，恢复目标边界，并解码出最终的光伏板上的热斑。
优选地，所述优化的语义分割算法DeepLabV3+采用的损失函数为Dice损失函数与交叉熵损失函数相结合得到的损失函数，表示式为：
式中，H为图像的高度，W为图像的宽度，pi，j为以位置(i,j)处为前景的预测概率，gi，j为位置(i,j)处的标签，标签为0或1。
优选地，在通过所述光伏板识别模型进行光伏板识别前通过数据增广技术对所述光伏板红外图像进行预处理，实现数据扩充。
优选地，利用数据增广技术对所述光伏板红外图像数据进行预处理，包括以下步骤：
对将所述光伏板红外图像随机旋转0-120°形成扩充后的光伏板红外图像；
或将所述光伏板红外图像向右平移并旋转180°形成扩充后的光伏板红外图像，使检测目标位于不同的位置；
或使所述光伏板红外图像变暗形成扩充后的光伏板红外图像，用来模拟实际拍摄时出现的问题；
对扩充后的光伏板红外图像进行标记，用于网络的训练。
优选地，还包括利用扩充后的光伏板红外图像对所述光伏板识别模型和热斑分割模型进行参数训练，包括：
对所述光伏板识别模型进行参数训练包括：
将扩充后的光伏板红外图像按照训练集与验证集比例8：2进行划分，训练过程分为冻结阶段和解冻阶段；
冻结阶段主干网络被冻结，特征提取网络不发生改变；解冻阶段主干不被冻结，特征提取网络改变；
使用已经训练好的预训练权重，在冻结阶段初始学***均值作为试验结果；
对所述热斑分割模型进行参数训练包括：
在光伏板识别结果图片中，筛选出具有热斑的图片若干张按照训练集与验证集比例9：1进行划分；
使用已经训练好的预训练权重，在冻结阶段初始学***均值作为结果。
本发明的另一个目的在于提供一种基于深度卷积神经网络的光伏板热斑检测装置，包括：
图像获取单元，用于获取光伏板红外图像；
识别单元，用于利用改进的Yolov4算法构建光伏板识别模型，通过光伏板识别模型识别并截取光伏板红外图像中的光伏板；
分割单元，利用优化的语义分割算法DeepLabV3+构建热斑分割模型，通过所述热斑分割模型对截取到的光伏板上的热斑进行检测分割；
所述目标检测算法Yolov4的改进包括将Yolov4算法的主干特征提取网络CSPDarknet53替换为轻量型网络MobileNetV2，并将加强特征提取网络PAnet中标准3×3卷积替换为深度可分离卷积；所述语义分割算法DeepLabV3+的优化包括将主干特征提取网络Xception替换为轻量型网络MobileNetV2。
本发明提供的基于深度卷积神经网络的光伏板热斑检测方法及装置具有以下有益效果：
本发明将Yolov4主干特征提取网络替换成轻量型网络MobileNetV2，并将PAnet网络中标准3×3卷积替换为深度可分离卷积，通过对Yolov4特征提取网络进行替换，实现对航拍红外图像光伏板的快速识别，可实现将光伏板快速从红外图像中识别出来，解决红外图像地面背景影响的问题；通过将MobileNetV2网络引入DeeplabV3+模型中实现对上述识别结果进行热斑的快速分割，可以精确检测出热斑。
附图说明
为了更清楚地说明本发明实施例及其设计方案，下面将对本实施例所需的附图作简单地介绍。下面描述中的附图仅仅是本发明的部分实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的基于深度卷积神经网络的光伏板热斑检测方法的流程图；
图2为深度可分离卷积分解示意图；
图3为倒残差结构图；
图4为mobilenetv2-yolov4-lite算法网络结构图；
图5为DeeplabV3+_MobileNetV2网络结构图；
图6为试验采集原始图像；
图7为红外图像增广结果图；
图8为MobileNetV2-Yolov4-lite模型下的损失函数曲线；
图9为MobileNetV2-Yolov4-lite模型下的光伏板识别结果图；
图10为DeeplabV3+_MobileNetV2修改下采样和损失函数模型下的损失函数曲线；
图11为DeeplabV3+_MobileNetV2修改下采样和损失函数模型下的热斑分割结果图。
具体实施方式
为了使本领域技术人员更好的理解本发明的技术方案并能予以实施，下面结合附图和具体实施例对本发明进行详细说明。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
实施例1
本发明提供了一种基于深度卷积神经网络的光伏板热斑检测方法，具体如图1所示，包括以下步骤：
步骤1、光伏板航拍红外图像数据获取与预处理
步骤1.1、光伏板红外图像获取
如图6所示，图像数据采集自辽宁省阜新市彰武县后新秋镇光伏电站，使用大疆经纬M300无人机搭载XT2云台相机采集30米高度光伏板红外图像，共采集到红外图像2188张，筛选出含有光伏板的红外图像共1557张用于网络训练和测试。
步骤1.2、光伏板红外图像预处理
为了解决网络训练样本数不足及多样性不足的问题，需要利用数据增广技术来降低网络过拟合的风险。本发明首先使用的方法是对原图像进行随机旋转(0-120°)形成扩充后的光伏板红外图像，由于无人机拍摄航线设计问题，导致所拍摄光伏板图像会出现一致性，通过随机角度旋转，可以解决样本多样性的问题。第二种方法是对图像向右平移和180°旋转，使检测目标位于不同的位置。第三种方法是使图像变暗，来模拟实际拍摄时可能出现一些问题。
经过数据扩充后，光伏板红外图像达到6228张，对其进行标记，用于网络的训练，数据增广效果如图7所示。
步骤2、利用改进的Yolov4算法构建光伏板识别模型，通过光伏板识别模型识别并截取光伏板红外图像中的光伏板；
Yolov4是在大量前人研究的基础之上，通过组合并创新算法，既提高了检测速度也确保了精确度。Yolov4网络结构主要包括主干特征提取网络CSPDarknet53、空间金字塔池化网络SPP、加强特征提取网络PANet和预测网络YOLO-Head。CSPDarknet53用Mish激活函数激活，提升主干网络特征提取能力和网络稳定性。函数Mish的表示为(1)-(4)：
Mish＝x×tanh[ln(1+ex)] (1)
在Yolov4中使用的loss函数为CIoU-loss，其计算公式为：
v是长宽比的相似性；c是下图对角线距离；α是权重参数。
MobileNet网络所需计算资源少，适合移动设备，使用的是由深度卷积和逐点卷积构成的深度可分离卷积代替了标准卷积。其中，深度卷积滤波器可以在不增加通道数量的基础上对输入的通道滤波，而逐点卷积滤波器可以增加通道的数量。这样就可以明显的减少计算量，可以在移动端布置，深度可分离卷积分解如图2所示。
MobileNetV2是在MobileNetV1基础上的升级，使用倒残差结构(Invertedresidual block)是其重要提高，整个MobileNetV2都由Invertedresidualblock组成，其可以分为两个部分，如图3所示：左边是主干部分，相较于MobileNetV1，首先进行1x1卷积进行升维，获得更多的特征，然后进行3x3深度可分离卷积，最后再用1x1卷积降维。右边是残差边部分，输入和输出直接相接。
本实施例通过对目标检测算法Yolov4进行改进得到光伏板识别模型，对Yolov4算法的改进主要有以下两方面。
一是分别用MobileNetV1、MobileNetV2、MobileNetV3网络对Yolov4主干特征提取网络CSPDarknet53进行替换，在保证精度的同时解决了CSPDarknet53网络特征提取时参数量和计算量较大问题，通过对比速度、检测精度、模型大小等，优选出在本发明数据集中表现最优秀的MobileNetV2网络作为模型的特征提取网络。二是将加强特征提取网络PANet中标准3×3卷积替换为计算参数量较小的深度可分离卷积，进一步减少计算参数量，改进算法网络结构如图4所示。
主干特征提取网络Backbone的功能是将输入的416×416×3图片进行初步的特征提取，可以获得shape分别为13×13、26×26、52×52的三个初步的有效特征层，它们包含着不同维度的语义信息。因此，可以通过将这三个有效特征层在输入加强特征提取网络前进行替换，来达到替换网络的目的。
加强特征提取网络对应图4的空间金字塔池化(SPP)和聚合网络(PANet)，首先SPP对输入的13×13特征层进行不同尺度的池化处理，在经过级联后进行3×3卷积，最后进入PANet中与26×26、52×52特征层进行特征融合，提取出更好的特征进行输出。由于其参数量主要集中在标准的3×3卷积上面，为了进一步减少参数量，我们可以使用一个3×3的深度可分离卷积加上一个1×1的标准卷积代替Yolov4中PANet用到的标准3×3卷积。
最后，通过获取预测框的四个坐标top、left、bottom、right，利用矩阵的形式对光伏板识别结果进行截取并放在黑幕下。
步骤3、利用优化的语义分割算法DeepLabV3+构建热斑分割模型，通过所述热斑分割模型对截取到的光伏板上的热斑进行检测分割。
DeepLabV3+分割模型是在DeepLabV3的基础上增加了一个解码器模块来获得更清晰的分割结果。DeepLabV3+的编码器部分(encoder)通过主干网络Xception模型中不同通道的深度可分离卷积层提取图像特征信息，利用空间金字塔池化(SPP)进行特征提取。在解码器(decoder)中将低级特征与高级特征进行融合。decoder和SPP中都使用深度可分离卷积代替了空洞卷积，减少了计算参数，从而实现了更快、更强的编解码器网络。
在Deeplabv3+中常使用交叉熵作为损失函数，计算如式(5)：
其中，H为图像的高度，W为图像的宽度，p,i,j为位置(i,j)处对应于该处标签的预测概率。p,i,j越接近于1，说明预测得越准确，损失值便越小。
本实验采用基于MobileNetV2网络优化的DeeplabV3+网络模型(以下简称DeeplabV3+_MobileNetV2)，整体架构如图5所示。利用MobileNetV2代替Xception网络作为主干特征提取网络，优化DeeplabV3+算法，既能大大减少模型参数量，实现模型的轻量化设计，又可以保证深度卷积在高维度完成特征提取，提升模型计算性能，网络结构如图5所示。
在编码器中，利用MobileNetV2网络和速率分别为6、12和18的空洞卷积进行热斑特征的提取，合并后进行1×1卷积压缩，输出高级特征；在解码器中，将编码器中的低级特征进行1×1卷积降维之后与高级特征进行特征融合，恢复目标边界，之后经过3×3卷积和4倍上采样解码出最终的预测图。
在编码器中需要对输入图像进行下采样，下采样的作用不仅使图像符合显示区域的大小还可以生成对应图像的缩略图，例如对于输入512×512的图像，进行16倍下采样，即得到尺寸的分辨率的图像。下采样倍数越大，输出图像越小，因此16倍下采样更适合于目标较大的分割，对于光伏板热斑这种小目标误差很大，故将下采样倍数由16修改为8，提高分割效果。
在光伏板热斑分割上，由于热斑较小，前后景极度不均衡，普通交叉熵损失函数无法解决这种极度不均衡的问题，所以本发明使用筛子损失(Dice Loss)函数与交叉熵损失函数相结合的方式，来提高分割精度，Dice Loss可表示为式(6)：
H为图像的高度，W为图像的宽度，pi，j为以位置(i,j)处为前景的预测概率，gi，j为位置(i,j)处的标签(0或1)。
改进由于下采样造成的目标缺失，并将损失函数修改为Dice损失函数与交叉熵损失函数相结合的方式来进一步提高分割精度。
本实施例的另一目的在于提供一种基于深度卷积神经网络的光伏板热斑检测装置，包括图像获取单元、识别单元和分割单元。
图像获取单元用于获取光伏板红外图像；识别单元用于利用改进的Yolov4算法构建光伏板识别模型，通过光伏板识别模型识别并截取光伏板红外图像中的光伏板；分割单元利用优化的语义分割算法DeepLabV3+构建热斑分割模型，通过所述热斑分割模型对截取到的光伏板上的热斑进行检测分割；所述目标检测算法Yolov4的改进包括将Yolov4算法的主干特征提取网络CSPDarknet53替换为轻量型网络MobileNetV2，并将加强特征提取网络PAnet中标准3×3卷积替换为深度可分离卷积；所述语义分割算法DeepLabV3+的优化包括将主干特征提取网络Xception替换为轻量型网络MobileNetV2。
下面采用本发明提供的方法对光伏板热斑进行检测，并给出相应的检测结果与分析结果。
第一、试验设置
训练和测试平台
本试验处理平台为Inter(R)Xeon(R)Bronze 3204CPU，主频1.90GHz，32GB内存，显卡为NVIDAQuadro P5000的工作站，操作***为windows1064位，利用pytorch框架进行环境搭建。
迁移学习
由于数据集数量较小，直接训练模型收敛效果可能不佳，达不到高识别率。因此可以在一个完备的数据集上训练好的模型通过迁移学习应用到光伏板识别和热斑分割上，这样就可以在数据集较小的情况下使模型快速收敛，实现更高的准确率。
训练参数
(1)光伏板识别模型参数训练
将数据扩充后的6228张光伏板红外图像按照训练集与验证集比例8：2进行划分，用来进行Yolov4模型的训练。训练过程分为两个阶段，分别为冻结阶段和解冻阶段，冻结阶段主干网络被冻结，特征提取网络不发生改变，解冻阶段主干不被冻结，特征提取网络改变。使用已经训练好的预训练权重，在冻结阶段初始学***均值作为试验结果。
(2)热斑分割模型参数训练
在光伏板识别结果图片中，筛选出具有热斑的图片1610张按照训练集与验证集比例9：1进行划分,用来进行DeeplabV3+模型的训练。使用已经训练好的预训练权重，在冻结阶段初始学***均值作为结果。
第二、光伏板检测结果与分析
判别标准
本试验将预测结果与实际目标的交并比(IOU)阈值设置为0.5，当IOU值大于0.5时为正确预测。分别用准确率(Precision)、平均检测精度(AP)、召回率(recall)来衡量不同算法的预测效果。用FPS和模型大小来衡量模型实际应用的可行性，FPS是每秒检测图片的帧数，模型大小由模型参数量决定，各指标定义如(7)-(10)所示：
上式中，tp表示实际是正样本而且被预测为正样本的数量，fp表示实际是正样本但被预测为负样本的数量，fn表示实际是负样本但被预测为正样本的数量，s表示处理的图像数目，t表示处理图像所需时间。
网络对模型性能的影响分析
为了验证本发明检测模型有效性，分别对替换主干网络的Yolov4模型进行试验，通过对比各算法的AP、FPS、Precision、参数量、模型大小对本发明所提出的MobileNetV2-Yolov4-lite网络模型进行性能检测，试验结果如表1所示：
表1：不同检测模型在光伏板红外图像数据集上的效果对比
由表1可知，不同模型在AP上表现都较好，传统Yolov4算法AP指标相对较高，为99.66％，比本发明算法高出0.1％，但是Yolov4模型比本发明V2大小多出了197.6M，参数量是本发明的5倍，故替换网络在实际应用效果明显。在recall和precision上，各模型差距不大，识别效果均满足目标检测要求，但是在FPS上，本发明V2最高，为22.1帧/秒，比Yolov4高出了8.4帧/秒，比V1高出了3.9帧/秒，比V3高出了6.2帧/秒。在模型大小上，本发明V2最小，为46.4M，比V3小7.2M，比V1小4.6M。因此，本发明MobileNetV2-Yolov4-lite模型在保证精度的同时，在检测速度和计算参数上均有较大优势，可以适用于实时检测和硬件资源较低的情况。
在本发明MobileNetV2-Yolov4-lite模型下，对光伏板红外图像数据集测试如图8，9所示。
第三、光伏板热斑分割结果与分析
判别标准
本发明采用平均像素精度(MPA)和平均交并比(MIoU)来衡量分割效果，用FPS和模型大小来对实际应用是否可行进行分析。各指标定义如式(11)、(12)：
式中：Pij表示真实值为i但被预测为j的像素数；n表示试验类别数目。
检测结果与分析
试验不同修改方法对模型的影响，以A为基础模型，分别采用DeeplabV3+主干网络替换为MobileNetV2、修改下采样16变为8、修改损失函数为Dice Loss函数与交叉熵损失函数相结合，开展训练和测试试验，修改方式如表2所示：
表2：不同处理方法的模型
为了验证本发明检测模型有效性，分别对上表不同处理方法的5种模型进行试验，通过对比各算法的MPA、MIoU、FPS、模型大小对本发明所提出的网络模型进行性能检测，试验结果如表3所示：
表3不同方法对模型影响
如表3所示，替换主干网络为MobileNetV2，B模型比A在各项指标上均有很大提升，MPA提升18.77％，MIoU提升9.36％，FPS提高近1倍，模型缩小了186.7M，表明替换主干网络效果很好。在下采样修改为8后，C比B模型虽然在FPS上下降2.5帧/秒，但是在MPA和MIoU上，均有提升，分别为2.92％和3.58％，可以看出下采样倍数的修改对模型分割能力的提高。在修改loss函数为两种结合后，D比B模型在各指标上均有提高，FPS提高0.2帧/秒，MPA提高1.18％，MIoU提高0.93％，因此，修改损失函数对本发明模型分割效果有明显提升。模型E不仅修改了下采样倍数还修改了损失函数，综合比较下，在预测精度和模型大小上均有较大优势，可以适用于实时检测和硬件资源较低的情况。
在本发明DeeplabV3+_MobileNetV2修改下采样和损失函数模型下，对光伏板红外图像数据集测试如图10，11所示，图11中(a)为分割前一组原图，(b)为分割后带背景的一组图，(c)为分割后去除背景的一组图。
本发明研究设计的Yolov4+MobileNetV2+Deeplabv3+的光伏板热斑识别模型可有效实现光伏板目标识别与热斑定位，具有以下优势：
(1)红外图像光伏板识别模型，基于改进的Yolov4算法，对经过数据增广的光伏板红外图像数据集进行测试，综合考虑计算速度和参数量，优选的Yolov4+MobileNetV2模型，可满足复杂背景下光伏板的识别。
(2)红外图像热斑分割模型，替换主干网络为MobileNetV2，下采样倍数改为8、使用Dice损失函数与交叉熵损失函数相结合的DeeplabV3+_MobileNetV2模型，在本发明验证集上，检测精度及分割速度上均能满足实时检测的需求。
(3)本发明提出的光伏板热斑检测方法可以准确识别出光伏板热斑，为航拍光伏板热斑检测提供理论支撑，为分布式光伏板检测提供技术支持。
试验结果表明，该方法能够准确识别光伏板热斑，光伏板识别准确率为99.56％，检测速度为22.1帧/秒。光伏板识别后的热斑分割准确度达到95.99％，交并比mIou达到85.58，检测速度为24.5帧/秒。本发明提出的光伏板热斑检测方法能够满足光伏板故障检测的需要。
以上所述实施例仅为本发明较佳的具体实施方式，本发明的保护范围不限于此，任何熟悉本领域的技术人员在本发明披露的技术范围内，可显而易见地得到的技术方案的简单变化或等效替换，均属于本发明的保护范围。
Claims (7)
1.一种基于深度卷积神经网络的光伏板热斑检测方法，其特征在于，包括以下步骤：
获取光伏板红外图像；
利用改进的目标检测算法Yolov4构建光伏板识别模型，通过所述光伏板识别模型识别并截取所述光伏板红外图像中的光伏板；
利用优化的语义分割算法DeepLabV3+构建热斑分割模型，通过所述热斑分割模型对截取到的光伏板上的热斑进行检测分割；
所述目标检测算法Yolov4的改进包括将Yolov4算法的主干特征提取网络CSPDarknet53替换为轻量型网络MobileNetV2，并将加强特征提取网络PAnet中标准3×3卷积替换为深度可分离卷积；所述语义分割算法DeepLabV3+的优化包括将主干特征提取网络Xception替换为轻量型网络MobileNetV2；
通过所述光伏板识别模型识别并截取所述光伏板红外图像中的光伏板，包括以下步骤：
通过所述改进的目标检测算法Yolov4的主干特征提取网络MobileNetV2对输入的所述光伏板红外图像进行初步的特征提取，获得初步的特征层；
通过所述改进的目标检测算法Yolov4的空间金字塔池化网络SPP对所述特征层进行不同尺度的池化处理，在经过级联后进行3×3卷积；
将卷积后的特征输入加强特征提取网络PAne进行特征融合，获得预测框的四个坐标top、left、bottom、right；
通过获取的预测框的四个坐标top、left、bottom、right，利用矩阵的形式对所述光伏板识别模型识别，得到光伏板识别结果图片并进行截取；
通过所述热斑分割模型对截取到的光伏板上的热斑进行检测分割，包括以下步骤：
在所述优化的语义分割算法DeepLabV3+的编码器中，利用MobileNetV2网络的空洞卷积提取光伏板上的热斑特征，将热斑特征合并后进行1×1卷积压缩，输出高级特征；
在所述优化的语义分割算法DeepLabV3+的解码器中，将编码器中的低级特征进行1×1卷积降维之后与高级特征进行特征融合，恢复目标边界，并解码出最终的光伏板上的热斑。
2.根据权利要求1所述的基于深度卷积神经网络的光伏板热斑检测方法，其特征在于，通过无人机航拍获取所述光伏板红外图像。
3.根据权利要求1所述的基于深度卷积神经网络的光伏板热斑检测方法，其特征在于，所述优化的语义分割算法DeepLabV3+采用的损失函数为Dice损失函数与交叉熵损失函数相结合得到的损失函数，表示式为：
式中，H为图像的高度，W为图像的宽度，pi，j为以位置(i,j)处为前景的预测概率，gi，j为位置(i,j)处的标签，标签为0或1。
4.根据权利要求2所述的基于深度卷积神经网络的光伏板热斑检测方法，其特征在于，在通过所述光伏板识别模型进行光伏板识别前通过数据增广技术对所述光伏板红外图像进行预处理，实现数据扩充。
5.根据权利要求4所述的基于深度卷积神经网络的光伏板热斑检测方法，其特征在于，利用数据增广技术对所述光伏板红外图像数据进行预处理，包括以下步骤：
对将所述光伏板红外图像随机旋转0-120°形成扩充后的光伏板红外图像；
或将所述光伏板红外图像向右平移并旋转180°形成扩充后的光伏板红外图像，使检测目标位于不同的位置；
或使所述光伏板红外图像变暗形成扩充后的光伏板红外图像，用来模拟实际拍摄时出现的问题；
对扩充后的光伏板红外图像进行标记，用于网络的训练。
6.根据权利要求5所述的基于深度卷积神经网络的光伏板热斑检测方法，其特征在于，还包括利用扩充后的光伏板红外图像对所述光伏板识别模型和热斑分割模型进行参数训练：
对所述光伏板识别模型进行参数训练包括：
将扩充后的光伏板红外图像按照训练集与验证集比例8：2进行划分，训练过程分为冻结阶段和解冻阶段；
冻结阶段主干网络被冻结，特征提取网络不发生改变；解冻阶段主干不被冻结，特征提取网络改变；
使用已经训练好的预训练权重，在冻结阶段初始学***均值作为试验结果；
对所述热斑分割模型进行参数训练包括：
在光伏板识别结果图片中，筛选出具有热斑的图片若干张按照训练集与验证集比例9：1进行划分；
使用已经训练好的预训练权重，在冻结阶段初始学***均值作为结果。
7.一种基于深度卷积神经网络的光伏板热斑检测装置，其特征在于，包括：
图像获取单元，用于获取光伏板红外图像；
识别单元，用于利用改进的目标检测算法Yolov4算法构建光伏板识别模型，通过光伏板识别模型识别并截取光伏板红外图像中的光伏板；
分割单元，利用优化的语义分割算法DeepLabV3+构建热斑分割模型，通过所述热斑分割模型对截取到的光伏板上的热斑进行检测分割；
所述目标检测算法Yolov4的改进包括将Yolov4算法的主干特征提取网络CSPDarknet53替换为轻量型网络MobileNetV2，并将加强特征提取网络PAnet中标准3×3卷积替换为深度可分离卷积；所述语义分割算法DeepLabV3+的优化包括将主干特征提取网络Xception替换为轻量型网络MobileNetV2；
所述光伏板识别模型包括：
第一特征提取模块，用于通过所述改进的目标检测算法Yolov4的主干特征提取网络MobileNetV2对输入的所述光伏板红外图像进行初步的特征提取，获得初步的特征层；
池化处理模块，用于通过所述改进的目标检测算法Yolov4的空间金字塔池化网络SPP对所述特征层进行不同尺度的池化处理，在经过级联后进行3×3卷积；
第一特征融合模块，用于将卷积后的特征输入加强特征提取网络PAne进行特征融合，获得预测框的四个坐标top、left、bottom、right；
识别模块，用于通过获取的预测框的四个坐标top、left、bottom、right，利用矩阵的形式对所述光伏板识别模型识别，得到光伏板识别结果图片并进行截取；
所述热斑分割模型包括：
第二特征提取模块，用于在所述优化的语义分割算法DeepLabV3+的编码器中，利用MobileNetV2网络的空洞卷积提取光伏板上的热斑特征，将热斑特征合并后进行1×1卷积压缩，输出高级特征；
第二特征融合模块，用于在所述优化的语义分割算法DeepLabV3+的解码器中，将编码器中的低级特征进行1×1卷积降维之后与高级特征进行特征融合，恢复目标边界，并解码出最终的光伏板上的热斑。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210587259.5A CN114973032B (zh) | 2022-05-27 | 2022-05-27 | 一种基于深度卷积神经网络的光伏板热斑检测方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210587259.5A CN114973032B (zh) | 2022-05-27 | 2022-05-27 | 一种基于深度卷积神经网络的光伏板热斑检测方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114973032A CN114973032A (zh) | 2022-08-30 |
| CN114973032B true CN114973032B (zh) | 2024-06-18 |
Family
ID=82954772
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210587259.5A Active CN114973032B (zh) | 2022-05-27 | 2022-05-27 | 一种基于深度卷积神经网络的光伏板热斑检测方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114973032B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115641434B (zh) * | 2022-12-26 | 2023-04-14 | 浙江天铂云科光电股份有限公司 | 电力设备定位方法、***、终端及存储介质 |
| CN116912162A (zh) * | 2023-04-25 | 2023-10-20 | 东莞市华视智能科技有限公司 | 一种基于计算机视觉深度学习的烟叶杂色提取方法 |
| CN116580363B (zh) * | 2023-07-14 | 2023-09-26 | 尚特杰电力科技有限公司 | 光伏板热斑识别方法、存储介质以及电子设备 |
| CN117129088B (zh) * | 2023-08-08 | 2024-07-05 | 苏州中科安源信息技术有限公司 | 一种芯片温度测试方法及*** |
| CN117689271B (zh) * | 2024-02-02 | 2024-06-25 | 深圳市崇禧精密金属制品有限公司 | 产品的质量管理方法、装置、终端设备和存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112164038A (zh) * | 2020-09-16 | 2021-01-01 | 上海电力大学 | 一种基于深度卷积神经网络的光伏热斑检测方法 |
| CN112634261A (zh) * | 2020-12-30 | 2021-04-09 | 上海交通大学医学院附属瑞金医院 | 基于卷积神经网络的胃癌病灶检测方法及装置 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111476219A (zh) * | 2020-06-02 | 2020-07-31 | 苏州科技大学 | 智能家居环境中图像目标检测方法 |
| CN112200764B (zh) * | 2020-09-02 | 2022-05-03 | 重庆邮电大学 | 一种基于热红外图像的光伏电站热斑检测与定位方法 |
| US20220129685A1 (en) * | 2020-10-23 | 2022-04-28 | Deka Products Limited Partnership | System and Method for Determining Object Characteristics in Real-time |
| CN112508977A (zh) * | 2020-12-29 | 2021-03-16 | 天津科技大学 | 一种面向自动驾驶场景的基于深度学习的语义分割方法 |
| CN113837994B (zh) * | 2021-07-29 | 2024-02-13 | 尚特杰电力科技有限公司 | 一种基于边缘检测卷积神经网络的光伏板缺陷诊断方法 |
| CN114299033A (zh) * | 2021-12-29 | 2022-04-08 | 中国科学技术大学 | 一种基于YOLOv5的光伏板红外图像热斑检测方法及*** |
-
2022
- 2022-05-27 CN CN202210587259.5A patent/CN114973032B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112164038A (zh) * | 2020-09-16 | 2021-01-01 | 上海电力大学 | 一种基于深度卷积神经网络的光伏热斑检测方法 |
| CN112634261A (zh) * | 2020-12-30 | 2021-04-09 | 上海交通大学医学院附属瑞金医院 | 基于卷积神经网络的胃癌病灶检测方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114973032A (zh) | 2022-08-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114973032B (zh) | 一种基于深度卷积神经网络的光伏板热斑检测方法及装置 | |
| CN114022420B (zh) | 一种自动识别光伏电池el组件缺陷的检测方法 | |
| CN113538391A (zh) | 一种基于Yolov4和热红外图像的光伏缺陷检测方法 | |
| CN113076816B (zh) | 基于红外与可见光图像的太阳能光伏组件热斑识别方法 | |
| CN109961398A (zh) | 风机叶片图像分割与网格优化拼接方法 | |
| CN114972312A (zh) | 基于YOLOv4-Tiny改进的绝缘子缺陷检测方法 | |
| CN115861263A (zh) | 一种基于改进YOLOv5网络的绝缘子缺陷图像检测方法 | |
| CN114943689A (zh) | 基于半监督学习的钢铁冷轧退火炉元器件检测方法 | |
| CN115908354A (zh) | 一种基于双尺度策略和改进的yolov5网络的光伏面板缺陷检测方法 | |
| CN116503318A (zh) | 一种融合CAT-BiFPN与注意力机制的航拍绝缘子多缺陷检测方法、***及设备 | |
| CN114283137A (zh) | 基于多尺度特征图推理网络的光伏组件热斑缺陷检测方法 | |
| CN114596278A (zh) | 一种用于光伏电站的光伏面板热斑缺陷检测方法及装置 | |
| CN116258664A (zh) | 一种基于深度学习的光伏电池片智能缺陷检测方法 | |
| CN114897857A (zh) | 基于轻量型神经网络的太阳能电池缺陷检测方法 | |
| CN114972225A (zh) | 一种基于深度学习的两阶段光伏板缺陷检测方法 | |
| CN114627044A (zh) | 一种基于深度学习的太阳能光伏组件热斑检测方法 | |
| CN116485802B (zh) | 一种绝缘子闪络缺陷检测方法、装置、设备及存储介质 | |
| CN114022764A (zh) | 一种基于特征增强卷积网络的遥感影像输电杆塔检测方法 | |
| Li et al. | Building an online defect detection system for large-scale photovoltaic plants | |
| CN117197554A (zh) | 一种变压器漏油实时检测方法及*** | |
| CN116664549A (zh) | 一种基于特征感知的光伏电站热斑缺陷检测方法 | |
| CN116958073A (zh) | 基于注意力特征金字塔机制的小样本钢材缺陷检测方法 | |
| CN116433591A (zh) | 一种光伏板热斑的检测与面积占比计算方法 | |
| Zhang et al. | Unmanned Aerial Vehicle (UAV) vision-based detection of power line poles by CPU-based deep learning method | |
| Yang et al. | Automatic detection of bridge surface crack using improved Yolov5s |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |