CN114265418A - 一种用于光伏电站的无人机巡检与缺陷定位***及方法 - Google Patents

Abstract

本发明公开了一种用于光伏电站的无人机巡检缺陷定位***及方法，包括：无人机***和地面站，所述无人机***包括无人机、云台相机、GPS定位***、飞行轨迹控制***和通信***；所述地面站包括飞行轨迹规划模块、通讯模块、数据处理分析模块和缺陷定位模块。对图像进行初步的筛选，手动标注红外图像中的缺陷，之后将标注后的图像及相关数据导入目标检测算法中进行训练，建立高精度的光伏面板缺陷检测模型，实现对照片的缺陷的自动识别。将检测模型检测出缺陷在图像上的位置、通过相机标定得到的相机参数、激光测距仪所测数据和建立的无人机巡检时的视锥模型，进行坐标系转换和矩阵运算，得到缺陷的实际位置。本发明定位过程高效快速，节约了人工成本。

Description

一种用于光伏电站的无人机巡检与缺陷定位***及方法

技术领域

本发明涉及无人机技术领域，更具体地说，涉及一种用于光伏电站的无人机巡检缺陷定位***及方法。

背景技术

近年来，社会迅速发展，对煤、天然气等传统能源的需求也越来越大，但其储量却在逐年降低，如何解决能源问题成为制约世界发展的一大问题。太阳能由于储量丰富、无污染等优点，逐步在新能源领域中占据一席之地，成为开发新能源的重要方向之一。同时，光伏面板作为太阳能转化的关键部件，其研究和发展也受到国内外研究者的关注。在转化太阳能的过程中，光伏面板不可避免的长期暴露在露天环境中，存在自然因素，例如中飘落的异物、堆积的灰尘和鸟类停留的痕迹等，导致光伏面板会出现一定程度的分层、腐蚀、气泡、破裂、发黄或热斑等现象，从而引起其他故障，进而影响光伏面板的使用寿命。因此，为了维护光伏面板正常运行，对光伏面板的异常检测是日常维护中必不可少的步骤之一。

传统的光伏面板检测方法是以检测电流的方式来确认存在缺陷的光伏面板，主要步骤为通过检测一组光伏面板运行时的电流，与正常电流进行对比，从而得知该光伏面板是否存在问题，若电流异常，则可能存在问题，还需要派工作人员去现场查看检验一番之后，才能得到确认。这种方式效率低且时效性差，消耗大量人力，无法准确定位到具体哪块光伏面板发生了故障。本发明结合无人机硬件平台进行光伏面板的缺陷检测，能够有效的提高效率和检测的可靠性。

发明内容

本发明针对现有技术中的不足，提供一种用于光伏电站的无人机巡检与缺陷定位***及方法，通过无人机搭载云台相机快速获取完整清晰的红外图像及相关数据，快速识别和定位光伏面板上存在的缺陷。

为实现上述目的，本发明采用以下技术方案：

一种用于光伏电站的无人机巡检缺陷定位***，包括无人机***和地面站，所述无人机***包括无人机、云台相机、GPS定位***、飞行轨迹控制***和通信***；

所述云台相机包括红外相机和激光测距仪；所述飞行轨迹控制***用于控制无人机按预定的飞行轨迹和设定的飞行速度进行巡检；

所述地面站包括飞行轨迹规划模块、通讯模块、数据处理分析模块和缺陷定位模块；

所述数据处理分析模块负责对无人机采集到的图像及相关数据进行分析、筛选、手工标注缺陷和使用目标检测算法建立光伏面板缺陷检测模型；

所述缺陷定位模块负责将图像上缺陷所在的位置、通过相机标定得到的相机参数和建立的无人机巡检时的视锥模型，进行坐标系转换和矩阵运算，从而得到缺陷的实际位置，实现缺陷的定位。

为优化上述技术方案，采取的具体措施还包括：

进一步地，所述无人机在地面站的控制下进行飞行巡检工作；

所述的红外相机用于采集光伏面板表面的红外图像数据，所述激光测距仪用于测量无人机相距光伏面板之间的距离并记录；

所述GPS定位***用于对无人机巡检过程中的实时位置进行定位及记录；

所述通信***用于将无人机采集到的图像及相关数据传输到地面站；

所述的通讯模块保持无人机与地面站的实时联系，并接收由无人机传输的图像及相关数据。

进一步地，所述GPS定位***和飞行轨迹控制***分别与飞行轨迹规划模块进行位置信息传输，所述通信***与通讯模块进行通讯，云台相机负责与通讯模块进行图像及相关数据的传输。

进一步地，所述飞行轨迹规划模块根据划定的飞行区域和光伏面板阵列之间的间隔，自动生成飞行轨迹，并根据无人机飞行轨迹的路程设定无人机的飞行速度。

本发明还提供了一种用于光伏电站的无人机巡检缺陷定位方法，其包括以下步骤：

根据渔光互补式光伏电站中光伏面板阵列的面积确定无人机飞行巡检范围；

根据无人机飞行巡检的范围和光伏面板阵列之间的距离自动生成飞行轨迹，并根据无人机飞行轨迹的路程设定无人机的飞行速度；

启动无人机，按所述的无人机飞行轨迹和设定的飞行速度进行巡检，同时启动相机云台进行拍摄，并同步记录无人机的实时定位位置；

完成无人机巡检工作，将无人机中云台相机采集到的图像及相关数据传输至地面站，地面站利用缺陷检测模型和缺陷定位模块对照片进行识别和定位；

根据识别和定位结果生成巡检结果。

进一步地，所述图像及相关数据包括红外相机所拍摄的图像数据，激光测距仪所测数据、无人机的飞行状态、时间、飞行高度、定位偏差和相机型号。

进一步地，所述云台相机包括红外相机和激光测距仪，所述的红外相机用于采集光伏面板表面的红外图像数据，所述激光测距仪用于测量无人机相距光伏面板之间的距离并记录。

进一步地，所述利用缺陷检测模型和缺陷定位模块对照片进行识别和定位的步骤包括：

将红外相机采集到的图像进行初步筛选，手工标注红外图像中的缺陷，最后利用深度学习目标检测算法进行训练，得到训练结果，从而实现对照片的缺陷的自动识别；

根据缺陷在图像中的位置，通过相机标定获得的相机的相关参数、激光测距仪所测数据和建立的无人机巡检时的视锥模型，通过坐标系转换和矩阵运算，得到缺陷的实际位置。

本发明的有益效果是：本发明采用的是无人机巡检收集光伏面板表面的图像数据，标注软件标注缺陷在图像中的位置，编译修改目标检测算法从而建立检测模型，再根据检测模型输出的缺陷在图像中的位置、相机标定得到的云台相机的参数和无人机飞行的视锥模型，经过坐标系转换和运算，最终得到缺陷实际的位置。整个过程迅速、准确、自动化程度高，方便工作人员即使进行光伏面板的维修和更换，减少因光伏面板故障带来的损失。

附图说明

图1是本发明的光伏电站的无人机巡检缺陷定位***的结构框图；

图2是本发明的光伏电站的无人机巡检缺陷定位方法的流程图；

图3是本发明建立的无人机巡检时的视锥模型；

图4是本发明的缺陷定位时的坐标转换过程示意图；

图5是经纬高坐标系与地心地固坐标系的转换关系示意图；

图6是载体坐标系与地心地固坐标系的转换关系示意图；

图7是本发明的云台相机标定过程示意图。

具体实施方式

现在结合附图对本发明作进一步详细的说明。

参照图1，一种用于光伏电站的无人机巡检与缺陷定位***，包括无人机***和地面站，所述无人机***包括无人机100、云台相机200、GPS定位***300、飞行轨迹控制***400 和通信***500；

无人机100在地面站的控制下进行飞行巡检工作，无人机与地面站通过无线方式进行通讯的；

云台相机200包括红外相机210和激光测距仪220，其中，红外相机210用于采集光伏面板表面的红外图像数据，利用光伏面板转换能源时温度较高的因素，使用红外摄像机采集光伏面板表面的图像数据，采集到的数据分别为：640*512分辨率的红外图像，激光测距仪 220用于测量无人机相距光伏面板之间的距离，用于缺陷的定位；

GPS定位***300用于对无人机飞行过程中的实时位置进行定位及记录，方便地面站实时掌握无人机的位置，缺陷定位时建立无人机巡检时的视锥模型；

飞行轨迹控制***400用于控制无人机按预定的飞行轨迹和设定的飞行速度进行巡检；

通信***500用于将无人机采集到的图像及相关数据传输到地面站；

地面站包括飞行轨迹规划模块600、通讯模块700、数据处理分析模块800和缺陷定位模块900；

飞行轨迹规划模块600根据划定的飞行区域和光伏面板阵列之间的间隔，自动生成飞行轨迹，并根据无人机飞行轨迹的路程设定无人机的飞行速度；

通讯模块700保持无人机与地面站的实时联系，并接收由无人机传输的图像及相关数据；

数据处理分析模块800负责对无人机采集到的图像及相关数据进行分析、筛选、手工标注缺陷和使用目标检测算法建立光伏面板缺陷检测模型；

缺陷定位模块900负责将图像上缺陷所在的位置、通过相机标定得到的相机参数和建立的无人机巡检时的视锥模型，进行坐标系转换和矩阵运算，从而得到缺陷的实际位置，实现缺陷的定位。

无人机***中的GPS定位***300和飞行轨迹控制***400分别与飞行轨迹规划模块600 进行位置信息传输，通信模块500与通讯模块700进行通讯，云台相机200负责与通讯模块 700进行图像及相关数据的传输；

数据处理分析模块800用于将云台相机200采集到的图像进行初步的筛选，手动标注红外图像中的缺陷，之后将标注后的图像及相关数据导入目标检测算法中进行训练，建立高精度的光伏面板缺陷检测模型，实现对照片的缺陷的自动识别。

缺陷定位模块900用于将图像上缺陷所在的位置、通过相机标定得到的相机参数和建立的无人机巡检时的视锥模型，进行坐标系转换和矩阵运算，得到缺陷的实际位置；

参照图2，一种用于光伏电站的无人机巡检与缺陷定位方法，包括以下步骤：

S11：确定巡检范围。具体地，根据渔光互补式光伏电站中光伏面板阵列的面积确定无人机飞行巡检范围。

S12：生成飞行轨迹。具体地，利用地面站的飞行轨迹规划模块根据无人机飞行巡检的范围和光伏面板阵列之间的距离自动生成飞行轨迹。

S13：设定飞行速度。具体地，根据无人机飞行轨迹的路程设定无人机的飞行速度。

S14：启动无人机，开始巡检。具体地，无人机按照无人机飞行轨迹和设定的飞行速度进行巡检。

S15：云台相机采集数据。具体地，打开云台相机，开始采集光伏面板表面的可见光图像和红外图像。

S16：无人机记录位置信息。具体地，无人机巡检时，GPS定位***记录无人机的实时位置信息，方便缺陷定位时建立无人机巡检时的视锥模型。

S17：数据传输。具体地，通过通信***将无人机采集到的图像及相关数据传输到地面站。

S21：图像接收。具体地，通过通讯模块接收由无人机传输的图像及相关数据。

S22：图像初步筛选。具体地，由于无人机在巡检过程中需要转向导致没有拍摄到光伏板，巡检过程中由于意外原因导致采集到的图像模糊不清，拍摄过程中由于太阳光直射对拍摄的影响等原因，需要对采集到图像数据进行初步的筛选。

S23：统一标注标准。具体地，对于标注的缺陷标准需统一且忽略小热斑和太阳光造成的热斑的影响，标注的质量的好坏对于后续的网络训练影响很大。

S24：图像标注。具体地，结合标注软件手工标注图像中的光伏面板的缺陷位置，制造光伏面板缺陷数据集。

S31：程序编译修改。具体地，根据缺陷的类别和检测的需求修改目标检测算法的程序。

S32：数据导入。具体地，将预先标注好的图像数据导入，光伏面板缺陷数据集随机分组，一部分用作训练集进行网络训练，另一部分作为测试集，检验模型的准确性和适用性。

S33：网络训练。具体地，用测试集来训练网络，建立高精度的光伏面板缺陷检测模型，进行智能的光伏面板缺陷检测。

S34：网络优化。具体地，根据训练的结果，在训练过程中不断调整参数阈值，优化网络，得到最终的自动识别缺陷目标检测模型。

S35：网络测试。具体地，利用测试集数据对检测模型进行测试，对测试结果进行定量评估。

S36：缺陷检测。具体地，输入一张有缺陷的红外图像，检测模型输出缺陷在图像中的位置。

S41：相机标定。具体地，通过张正友标定法获得云台相机的内参参数和畸变系数，相机标定过程的公式如图7所示；

S42：视锥模型。具体地，如图3所示，激光测距仪所测的数据为无人机到图像中心点处物体的距离D(即Z_c)，我们在图像中心点平行于地面建立一平面作为定位基准平面，并假设缺陷均处于此平面内。根据图像中光伏面板所占像素大小以及光伏面板的实际尺寸，得出 1像素在实际空间中所代表的距离，接着就可以在图像中，由中心点到缺陷处的像素差得到实际空间中两者的距离s。最后，无人机在巡检过程中时，是垂直光伏面板表面进行拍摄，无人机飞行高度H，加之光伏面板安装时的角度β，即可根据余弦定理得到无人机到缺陷处的距离D₁。

S43：矩阵运算和坐标系转换。具体地，由张正友标定法得到相机的内参参数和畸变系数，外参参数由旋转矩阵R和位移矩阵T组成。其中位移矩阵T通过将GPS定位***得到的无人机在经纬高坐标系(LLA，Longitude，Latitude，Altitude)的坐标转换到地心地固坐标系 (ECEF，Earth-Centered Earth-Fixed)得到，位置关系如图5所示，具体转换公式如下：

其中，

为维度，λ为经度，H为无人机飞行高度，R为赤道处的地球半径，e为地球的椭圆率。

而旋转矩阵R则要通过从载体坐标系(Body)转换到地心地固坐标系获得，其转换过程如图4所示，转换关系如图6所示。

其中，由于相机坐标系和载体坐标坐标系的坐标轴并不重合，需要通过转置矩阵，公式如下：

从载体坐标系转换到导航坐标系(NED，北东地)，将云台相机拍摄时的偏航角ψ、俯仰角θ和横滚角α分别通过旋转矩阵

转换到导航坐标系，转换公式如下：

偏航角ψ的旋转矩阵：

俯仰角θ的旋转矩阵：

横滚角α的旋转矩阵：

旋转矩阵

从导航坐标系转换到地心地固坐标系的旋转矩阵

如下：

得到旋转矩阵

即可得到相机的外参矩阵

考虑相机内参矩阵和畸变系数，即可根据缺陷在图像中的位置经过矩阵运算和坐标系转换得到缺陷的实际位置。与提前测量的光伏面板的位置信息进行对比，评估定位结果。

最后将识别和定位结果输出，生成巡检结果。

本发明结合无人机硬件平台进行光伏面板的缺陷检测，能够有效的提高效率和检测的可靠性。根据激光测距仪测得的无人机到光伏面板的直接距离，而不是传统的通过无人机的飞行高度来进行缺陷定位，较传统的方法，定位精度更好。整个过程迅速、准确、自动化程度高，方便工作人员即使进行光伏面板的维修和更换，减少因光伏面板故障带来的损失。

需要注意的是，发明中所引用的如“上”、“下”、“左”、“右”、“前”、“后”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。

以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。

Claims (8)

1.一种用于光伏电站的无人机巡检与缺陷定位***及方法，其特征在于，包括无人机***和地面站，所述无人机***包括无人机、云台相机、GPS定位***、飞行轨迹控制***和通信***；

所述云台相机包括红外相机和激光测距仪；所述飞行轨迹控制***用于控制无人机按预定的飞行轨迹和设定的飞行速度进行巡检；

所述地面站包括飞行轨迹规划模块、通讯模块、数据处理分析模块和缺陷定位模块；

所述数据处理分析模块负责对无人机采集到的图像及相关数据进行分析、筛选、手工标注缺陷和使用目标检测算法建立光伏面板缺陷检测模型；

所述缺陷定位模块负责将图像上缺陷所在的位置、通过相机标定得到的相机参数和建立的无人机巡检时的视锥模型，进行坐标系转换和矩阵运算，从而得到缺陷的实际位置，实现缺陷的定位。

2.根据权利要求1所述的无人机巡检缺陷定位***，其特征在于，所述无人机在地面站的控制下进行飞行巡检工作；

所述的红外相机用于采集光伏面板表面的红外图像数据，所述激光测距仪用于测量无人机相距光伏面板之间的距离并记录；

所述GPS定位***用于对无人机巡检过程中的实时位置进行定位及记录；

所述通信***用于将无人机采集到的图像及相关数据传输到地面站；

所述的通讯模块保持无人机与地面站的实时联系，并接收由无人机传输的图像及相关数据。

3.根据权利要求1所述的无人机巡检缺陷定位***，其特征在于，所述GPS定位***和飞行轨迹控制***分别与飞行轨迹规划模块进行位置信息传输，所述通信***与通讯模块进行通讯，云台相机负责与通讯模块进行图像及相关数据的传输。

4.根据权利要求1所述的无人机巡检缺陷定位***，其特征在于，所述飞行轨迹规划模块根据划定的飞行区域和光伏面板阵列之间的间隔，自动生成飞行轨迹，并根据无人机飞行轨迹的路程设定无人机的飞行速度。

5.一种用于光伏电站的无人机巡检缺陷定位方法，其特征在于，该方法用于实现权利要求1至4任一项所述的用于光伏电站的无人机巡检缺陷定位***，其包括以下步骤：

根据光伏电站中光伏面板阵列的面积确定无人机飞行巡检范围；

根据无人机飞行巡检的范围和光伏面板阵列之间的距离自动生成飞行轨迹，并根据无人机飞行轨迹的路程设定无人机的飞行速度；

启动无人机，按所述的无人机飞行轨迹和设定的飞行速度进行巡检，同时启动相机云台进行拍摄，并同步记录无人机的实时定位位置；

完成无人机巡检工作，将无人机中云台相机采集到的图像及相关数据传输至地面站，地面站利用缺陷检测模型和缺陷定位模块对照片进行识别和定位；

根据识别和定位结果生成巡检结果。

6.根据权利要求5所述的无人机巡检缺陷定位方法，其特征在于，所述图像及相关数据包括红外相机所拍摄的图像数据，激光测距仪所测数据、无人机的飞行状态、时间、飞行高度、定位偏差和相机型号。

7.根据权利要求5所述的无人机巡检缺陷定位方法，其特征在于，所述云台相机包括红外相机和激光测距仪，所述的红外相机用于采集光伏面板表面的红外图像数据，所述激光测距仪用于测量无人机相距光伏面板之间的距离并记录。

8.根据权利要求5所述的无人机巡检缺陷定位方法，其特征在于，所述利用缺陷检测模型和缺陷定位模块对照片进行识别和定位的步骤包括：

将红外相机采集到的图像数据进行初步筛选，手工标注红外图像中的缺陷，最后利用深度学习目标检测算法进行训练，得到训练结果，从而实现对照片的缺陷的自动识别；

根据缺陷在图像中的位置，通过相机标定获得的相机的相关参数、激光测距仪所测数据和建立的无人机巡检时的视锥模型，通过坐标系转换和矩阵运算，得到缺陷的实际位置。

Images