CN113505726A - 一种地图中的光伏组串识别与定位方法 - Google Patents

Abstract

本发明实施例公开了一种地图中的光伏组串识别与定位方法，包括以下步骤：获取无人机采集测绘的光伏电站地图图像，将地图图像按一定尺寸依次有重叠切割图像，得到一系列图像；根据预设的组串识别神经网络模型，对切割后的光伏电站的地图图像进行特征提取，预测并获取每张图像中组串的位置坐标；计算组串在完整地图图像中的位置坐标；对整幅图像的识别结果计算交并比，并判断得到的交并比是否大于阈值，当得到的交并比大于阈值时则保留面积较大的识别框；最终结果通过服务器进行显示，通过服务器可以对结果进行修改。本发明实施例提供一种地图中的光伏组串识别与定位方法，以解决现有技术中故障组件不能精准定位的问题。

Description

一种地图中的光伏组串识别与定位方法

技术领域

本发明实施例涉及太阳能电池发电运维技术领域，具体涉及一种地图中的光伏组串识别与定位方法。

背景技术

光伏电站运行的全生命周期内，无法避免大颗粒灰尘、鸟粪、树叶等造成的组件遮挡，遮挡造成的局部阴影不仅会降低组件发电量，还会使得组件局部温度升高，产生热斑效应。热斑的产生在影响光伏***的发电效率的同时，甚至会对光伏组件造成永久性的伤害，为电站带来火灾隐患。据统计，一块约占电池1/60面积的热斑，将影响整块光伏电板1/3的发电量，严重的热斑效应会使太阳电池组件的实际使用寿命至少减少30％。如果不能及时的检测出热斑并换掉问题组件，热斑区域会越变越大；长此以往可能会造成组件失效，严重的甚至会烧毁组件，引发火灾，造成无法弥补的损失。所以对光伏电站的故障巡检十分的必要，而基于地图图像的光伏组串识别可以为故障巡检，定位等提供必要的支持。

对于组串的识别可以采用图像分割方法等来实现，现有的图像分割算法有很多种，通过颜色之间的差异性，简单的使用阈值处理可以将图像划分成两个区域，常见的阈值处理方法有固定阈值、OTSU阈值、全局阈值、自适应阈值等。而简单的阈值法过度依赖颜色特征并且容易受到背景干扰，分割不够精准，因此需要更加有效的识别方法。

采用目标检测方法可以直接得到组串像素区域的位置信息，随着计算机视觉技术不断发展，使用机器学习进行目标检测的精度不断提高，通过大规模数据集训练的深度学习神经网络模型的性能已经超越传统图像处理，对于复杂背景图像的检测性能鲁棒性更高，无需人工干预矫正即可高效率的进行检测。因此本发明提出基于深度学习神经网络的光伏组串检测的技术方案，使用YOLOv4网络模型进行完整光伏组串定位。

发明内容

为此，本发明实施例提供一种地图中的光伏组串识别与定位方法，以解决现有技术中故障组件不能精准定位的问题。

为了实现上述目的，本发明实施例提供如下技术方案：

根据本发明实施例公开的一种地图中的光伏组串识别与定位方法，包括以下步骤：

S1、获取无人机采集测绘的光伏电站地图图像，将地图图像按一定尺寸依次有重叠切割图像，得到一系列图像；

S2、根据预设的组串识别神经网络模型，对切割后的光伏电站的地图图像进行特征提取，预测并获取每张图像中组串的位置坐标；

S3、计算组串在完整地图图像中的位置坐标；

S4、对整幅图像的识别结果计算交并比，并判断得到的交并比是否大于阈值，当得到的交并比大于阈值时则保留面积较大的识别框；

S5、最终结果通过服务器进行显示，通过服务器可以对结果进行修改。

进一步地，在步骤S1中，测绘得到的光伏电站地图图像不能直接输入模型进行识别，将光伏电站地图图像按900*600像素大小并重叠500*60像素进行切割，保证每个组串都被完整地包含在一张图片中。

进一步地，将光伏电站地图图像还可以按1200*900像素大小并重叠500*60像素进行切割。

进一步地，在步骤S2中组串识别神经网络模型的构建包括以下步骤：

1)采用YOLOv4神经网络架构，构建特征提取网络CSPDarkNet53提取输入图像特征，充分提取图像特征信息；

2)将YOLOv4的3尺度检测融合提取的特征信息，构建多尺度特征金字塔网络；

3)利用K-means算法生成9个anchor box，制作标注数据集：包含采集测绘的多个电站地图图像，并变换其尺寸、对比度和/或亮度，使训练集中的数据复杂度更高，根据损失函数做bounding box回归，利用随机梯度下降法优化求解模型；

4)用训练后的网络模型对输入图片提取特征，送到的YOLO网络中的多尺度检测模块进行预测，采用极大值抑制法(NMS)去除冗余框，预测最优的目标结果。

进一步地，YOLOv4具体包括以下结构：

基于YOLOv4的识别模型采用CSPDarkNet53作为特征提取网络，其使用Mish激活函数并包含残差块的堆叠和一个大的残差边；

特征金字塔部分使用了SPP结构和PANet结构，SPP结构参杂在对CSPdarknet53的最后一个特征层的卷积里，在对CSPdarknet53的最后一个特征层进行三次卷积后，分别利用四个不同尺度的最大池化进行处理，最大池化的池化核大小分别为13*13、9*9、5*5、1*1；

PANet结构具有特征反复提取的特点，在完成特征金字塔从下到上的特征提取后，还需要实现从上到下的特征提取，在YOLOV4当中，其主要是在三个有效特征层上使用了PANet结构；

采用多特征层预测机制，提取光伏阵列图像不同特征层的特征，利用得到的3种不同大小特征图，检测不同尺度的目标，每一个特征层会根据K-means算法生成3个不同大小的先验框；

获得的三个特征层的预测结果，shape分别为(N，13，13，18)，(N，26，26，18)，(N，52，52，18)的数据，对应每个图分为13x13、26x26、52x52的网格上3个预测框的位置；预测结果在解码后对应着最终的预测框在图片上的位置；

YOLOv4的3个特征层分别将整幅图分为13x13、26x26、52x52的网格，每个网络点负责一个区域的检测，特征层的预测结果对应着三个预测框的位置，将其reshape之后，其结果为(N，13，13，3，6)，(N，26，26，3，6)，(N，52，52，3，6)。最后一个维度中的6包含了4+1+1，分别代表x_offset、y_offset、h、w、置信度和分类结果；

YOLOv4的解码过程就是将每个网格点加上它对应的x_offset和y_offset，加完后的结果就是预测框的中心，然后再利用先验框和h、w结合计算出预测框的长和宽，得到整个预测框的位置；

模型训练时计算的总的loss是三个loss的和，对于每一幅图，计算其中所有真实框与预测框的交并比，如果预测框和真实框的重合程度大于0.5，则忽略；

计算ciou作为回归的loss，只计算正样本的回归loss；

计算置信度的loss，其有两部分构成，第一部分是实际上存在目标的，预测结果中置信度的值与1对比；第二部分是实际上不存在目标的，预测结果中置信度的值与0对比；

计算预测种类的loss，其计算的是实际上存在目标的，预测类与真实类的差距。

进一步地，在步骤S3中，计算组串在完整地图图像中的位置坐标包括以下步骤，对切割后的图片识别组串像素坐标的左上点坐标(x1，y1)和右下点坐标(x2，y2)分别加上切割时图片相对大图的左上点坐标(x0，y0)，即为该组串在整个地图中的位置坐标(x1+x0，y1+y0)，(x1+x0，y1+y0)。

进一步地，在步骤S4中，去除重复识别部分的结果包括以下步骤，对整幅地图识别的组串坐标进行交并比计算，交并比即为IOU，IOU计算公式为

选取阈值为0.5，当计算结果大于阈值时比较检测框的面积保留面积较大的一个，这样可以去除因切割产生的不完整的组串与重复的组串识别结果。

本发明实施例具有如下优点：

本发明通过所述方法可以精确地检测地图图像中的太阳能电池板位置，无需对图像进行繁杂的预处理，能够有效的解决传统检测模式受背景纹理、环境光照、不同图片调参问题，对多种不同的电站地图有很强的泛化能力，提高对目标检测的精确度和速度，为故障的地图组串定位和无人机自主路径规划提供条件。

附图说明

为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。

本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容能涵盖的范围内。

图1为本发明提供的一种地图中的光伏组串识别与定位方法的流程图；

图2为该公式(1)的示意图；

图3为该公式(2)的示意图；

图4为该公式(3)的示意图；

图5为该公式(4)的示意图；

图6为该公式(5)的示意图；

图7为该公式(6)的示意图；

图8为该公式(7)的示意图；

图9为该公式(8)的示意图。

具体实施方式

以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

结合图1所示，本发明具体实施例公开了一种地图中的光伏组串识别与定位方法，该方法包括以下步骤：

S1、获取无人机采集测绘的光伏电站地图图像，将地图图像按一定尺寸依次有重叠切割图像，得到一系列图像；

S2、根据预设的组串识别神经网络模型，对切割后的光伏电站的地图图像进行特征提取，预测并获取每张图像中组串的位置坐标；

S3、计算组串在完整地图图像中的位置坐标；

S4、对整幅图像的识别结果计算交并比，并判断得到的交并比是否大于阈值，当得到的交并比大于阈值时则保留面积较大的识别框；

S5、最终结果通过服务器进行显示，通过服务器可以对结果进行修改。

本发明通过对光伏电站进行地图测绘，获取多个原始的地图图像数据。

根据本发明的具体实施例一，在步骤S1中包括：测绘得到的光伏电站地图图像像素较大，将其按900*600像素大小并重叠500*60进行切割，当组串长度较长时可以按1200*900进行切割，这样可以保证每个组串都被完整地包含在一张所切图片中。

组串识别神经网络模型的构建步骤包括：

S201、采用YOLOv4算法的神经网络架构，构建特征提取网络CSPDarkNet53提取输入图像特征，充分提取图像特征信息；

S202、将YOLOv4的3尺度检测融合提取的特征信息，构建多尺度特征金字塔网络；

S203、利用K-means算法生成9个anchor box，制作标注数据集：包含采集测绘的多个电站地图图像，并在一定程度变换其尺寸，对比度，亮度等，使训练集中的数据复杂度更高。根据损失函数做bounding box回归，利用随机梯度下降法优化求解模型；

S204、用训练后的网络模型对输入图片提取特征，送到的YOLO网络中的多尺度检测模块进行预测，采用极大值抑制法(NMS)去除冗余框，预测最优的目标结果。

YOLOv4算法的具体结构包括以下结构：

(1)基于YOLOv4的识别模型采用CSPDarkNet53作为特征提取网络，其使用Mish激活函数并包含残差块的堆叠和一个大的残差边；

(2)特征金字塔部分使用了SPP结构和PANet结构，SPP结构参杂在对CSPdarknet53的最后一个特征层的卷积里，在对CSPdarknet53的最后一个特征层进行三次卷积后，分别利用四个不同尺度的最大池化进行处理，最大池化的池化核大小分别为13*13、9*9、5*5、1*1。

(3)PANet结构具有一个非常重要的特点就是特征的反复提取。在完成特征金字塔从下到上的特征提取后，还需要实现中从上到下的特征提取。在YOLOv4当中，其主要是在三个有效特征层上使用了PANet结构。

(4)采用多特征层预测机制，提取光伏阵列图像不同特征层的特征，利用得到的3种不同大小特征图，检测不同尺度的目标，每一个特征层会根据K-means算法生成3个不同大小的先验框；

(5)获得的三个特征层的预测结果，shape分别为(N，13，13，18)，(N，26，26，18)，(N，52，52，18)的数据，对应每个图分为13x13、26x26、52x52的网格上3个预测框的位置。这个预测结果并不对应着最终的预测框在图片上的位置，还需要解码。

(6)YOLOv4的3个特征层分别将整幅图分为13x13、26x26、52x52的网格，每个网络点负责一个区域的检测。特征层的预测结果对应着三个预测框的位置，将其reshape之后，其结果为(N，13，13，3，6)，(N，26，26，3，6)，(N，52，52，3，6)。最后一个维度中的6包含了4+1+1，分别代表x_offset、y_offset、h和w、置信度、分类结果。

(7)YOLOv4的解码过程就是将每个网格点加上它对应的x_offset和y_offset，加完后的结果就是预测框的中心，然后再利用先验框和h、w结合计算出预测框的长和宽，得到整个预测框的位置。

组串识别神经网络模型的训练数据集制作和训练步骤：

S301、对获取的多个光伏电站地图图像进行不同尺寸大小的切割，主要有900*600，1200*900等尺寸，每个电站选取数量尽量相近的部分图片，对其进行人工标注，并对部分图片进行亮度，对比度，等色彩变换，增大样本间多样性。

S302、模型训练时计算的总的loss是三个loss的和，对于每一幅图，计算其中所有真实框与预测框的IOU，如果某些预测框和真实框的重合程度大于0.5，则忽略。

S3031、计算CIOU作为回归的loss，这里只计算正样本的回归loss。

计算置信度的loss，其有两部分构成，第一部分是实际上存在目标的，预测结果中置信度的值与1对比；第二部分是实际上不存在目标的，预测结果中置信度的值与0对比。

计算预测种类的loss，其计算的是实际上存在目标的，预测类与真实类的差距。

利用K-means算法生成anchorbox，根据损失函数做bounding box回归和分类，利用随机梯度下降法优化求解模型；

YOLOv4的损失函数由3部分组成：

目标置信度损失：

目标分类的损失：

目标定位的CIOU损失：

CIOU公式如下：

其中，ρ²(b，b^gt)分别代表了预测框和真实框的中心点的欧式距离。c代表的是能够同时包含预测框和真实框的最小闭包区域的对角线距离。

α和ν的公式如下：

最后得到相应的LOSS：

公式(7)是深度神经网络中损失函数对权重求导的通用公式，其中L为损失函数；w_ij是网络中的权重参数；node_j是深度神经网络中神经元的部分；

是深度神经网络中输出值的导数；x_ij是深度神经网络中输入值。公式(8)是目标定位损失中x坐标定位部分损失函数链式求导后的权重更新公式，其中L_locx为YOLOv3中x坐标偏移损失函数；

是深度神经网络中输出值的导数。

训练时采用学习率余弦退火衰减方法，学习率会先上升再下降。上升的时候使用线性上升，下降的时候模拟cos函数下降，并执行多次。

训练后的网络模型对输入图片提取特征，送到YOLO网络中的多尺度检测模块进行预测，采用极大值抑制法(NMS)去除冗余框，预测最优的目标对象。

预设的组串识别神经网络模型的预测包括以下步骤：

组串的形状均为长宽比较大的矩形，设置YOLOv4中CSPDarkNet53输入图片尺寸为512×416，选取16×13，32×26，64×52分辨率的特征图，在经过特征金字塔结构的特征提取后，在这3个尺度的融合特征图上分别作独立的检测。

通过K-means聚类方法在待训练的数据集里面统计目标框的长和宽，通过观察选择k个初始聚类中心点，逐一计算所有数据对象到各个聚类中心点的距离，之后将数据对象分配给距离最短的集合。选取合适的IOU分数，根据IOU和anchor box的关系，采用3个尺度的9个anchor box分别为(38，24)，(66，27)，(72，24)，(78，16)，(83，24)，(99，24)，(102，30)，(143，29)，(159，24)，这样会在一张图片上生成16×13×3+32×26×3+64×52×3共13104个候选框；然后采用极大值抑制法(NMS)根据分类器的类别分类概率做排序，通过迭代形式，不断以最大得分的框去与其他框做IOU操作，过滤那些IOU较大的框，一直重复进行，标记完所有要保留下来的矩形框，去除冗余候选，预测最优的目标对象。

计算组串在完整地图图像中的位置坐标步骤包括：

对切割后的图片识别组串像素坐标的左上点坐标(x1，y1)和右下点坐标(x2，y2)分别加上切割时图片相对大图的左上点坐标(x0，y0)，即为该组串在整个地图中的位置坐标(x1+x0，y1+y0)，(x1+x0，y1+y0)。

去除重复识别部分的结果步骤包括：

对整幅地图识别的组串坐标进行IOU计算，IOU计算公式为

选取阈值为0.5，当计算结果大于阈值时比较检测框的面积保留面积较大的一个。这样可以去除因切割产生的不完整的组串与重复的组串识别结果。最终将结果进行显示，并可以对其修正。

本发明通过上述方法可以精确地检测地图图像中的太阳能电池板位置，无需对图像进行繁杂的预处理，能够有效的解决传统检测模式受背景纹理、环境光照、不同图片调参问题，对多种不同的电站地图有很强的泛化能力，提高对目标检测的精确度和速度，为故障的地图组串定位和无人机自主路径规划提供条件。

虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。

Claims (7)

1.一种地图中的光伏组串识别与定位方法，其特征在于，包括以下步骤：

S1、获取无人机采集测绘的光伏电站地图图像，将地图图像按一定尺寸依次有重叠切割图像，得到一系列图像；

S2、根据预设的组串识别神经网络模型，对切割后的光伏电站的地图图像进行特征提取，预测并获取每张图像中组串的位置坐标；

S3、计算组串在完整地图图像中的位置坐标；

S4、对整幅图像的识别结果计算交并比，并判断得到的交并比是否大于阈值，当得到的交并比大于阈值时则保留面积较大的识别框；

S5、最终结果通过服务器进行显示，通过服务器可以对结果进行修改。

2.根据权利要求1所述的一种地图中的光伏组串识别与定位方法，其特征在于：在步骤S1中，测绘得到的光伏电站地图图像不能直接输入模型进行识别，将光伏电站地图图像按900*600像素大小并重叠500*60像素进行切割，保证每个组串都被完整地包含在一张图片中。

3.根据权利要求2所述的一种地图中的光伏组串识别与定位方法，其特征在于：将光伏电站地图图像还可以按1200*900像素大小并重叠500*60像素进行切割。

4.根据权利要求1所述的一种地图中的光伏组串识别与定位方法，其特征在于：在步骤S2中组串识别神经网络模型的构建包括以下步骤：

1)采用YOLOv4神经网络架构，构建特征提取网络CSPDarkNet53提取输入图像特征，充分提取图像特征信息；

2)将YOLOv4的3尺度检测融合提取的特征信息，构建多尺度特征金字塔网络；

3)利用K-means算法生成9个anchor box，制作标注数据集：包含采集测绘的多个电站地图图像，并变换其尺寸、对比度和/或亮度，使训练集中的数据复杂度更高，根据损失函数做bounding box回归，利用随机梯度下降法优化求解模型；

4)用训练后的网络模型对输入图片提取特征，送到的YOLO网络中的多尺度检测模块进行预测，采用极大值抑制法去除冗余框，预测最优的目标结果。

5.根据权利要求4所述的一种地图中的光伏组串识别与定位方法，其特征在于，YOLOv4具体包括以下结构：

基于YOLOv4的识别模型采用CSPDarkNet53作为特征提取网络，其使用Mish激活函数并包含残差块的堆叠和一个大的残差边；

特征金字塔部分使用了SPP结构和PANet结构，SPP结构参杂在对CSPdarknet53的最后一个特征层的卷积里，在对CSPdarknet53的最后一个特征层进行三次卷积后，分别利用四个不同尺度的最大池化进行处理，最大池化的池化核大小分别为13*13、9*9、5*5、1*1；

PANet结构具有特征反复提取的特点，在完成特征金字塔从下到上的特征提取后，还需要实现从上到下的特征提取，在YOLOV4当中，其主要是在三个有效特征层上使用了PANet结构；

采用多特征层预测机制，提取光伏阵列图像不同特征层的特征，利用得到的3种不同大小特征图，检测不同尺度的目标，每一个特征层会根据K-means算法生成3个不同大小的先验框；

获得的三个特征层的预测结果，shape分别为(N，13，13，18)，(N，26，26，18)，(N，52，52，18)的数据，对应每个图分为13x13、26x26、52x52的网格上3个预测框的位置；预测结果在解码后对应着最终的预测框在图片上的位置；

YOLOv4的3个特征层分别将整幅图分为13x13、26x26、52x52的网格，每个网络点负责一个区域的检测，特征层的预测结果对应着三个预测框的位置，将其reshape之后，其结果为(N，13，13，3，6)，(N，26，26，3，6)，(N，52，52，3，6)。最后一个维度中的6包含了4+1+1，分别代表x_offset、y_offset、h、w、置信度和分类结果；

YOLOv4的解码过程就是将每个网格点加上它对应的x_offset和y_offset，加完后的结果就是预测框的中心，然后再利用先验框和h、w结合计算出预测框的长和宽，得到整个预测框的位置；

模型训练时计算的总的loss是三个loss的和，对于每一幅图，计算其中所有真实框与预测框的交并比，如果预测框和真实框的重合程度大于0.5，则忽略；

计算ciou作为回归的loss，只计算正样本的回归loss；

计算置信度的loss，其有两部分构成，第一部分是实际上存在目标的，预测结果中置信度的值与1对比；第二部分是实际上不存在目标的，预测结果中置信度的值与0对比；

计算预测种类的loss，其计算的是实际上存在目标的，预测类与真实类的差距。

6.根据权利要求1所述的一种地图中的光伏组串识别与定位方法，其特征在于：在步骤S3中，计算组串在完整地图图像中的位置坐标包括以下步骤，对切割后的图片识别组串像素坐标的左上点坐标(x1，y1)和右下点坐标(x2，y2)分别加上切割时图片相对大图的左上点坐标(x0，y0)，即为该组串在整个地图中的位置坐标(x1+x0，y1+y0)，(x1+x0，y1+y0)。

7.根据权利要求1所述的一种地图中的光伏组串识别与定位方法，其特征在于：在步骤S4中，去除重复识别部分的结果包括以下步骤，对整幅地图识别的组串坐标进行交并比计算，交并比即为IOU，IOU计算公式为

选取阈值为0.5，当计算结果大于阈值时比较检测框的面积保留面积较大的一个，这样可以去除因切割产生的不完整的组串与重复的组串识别结果。

Images