CN117167208A - 基于uav和cnn的风力发电机叶片损伤智能巡检***及方法 - Google Patents
基于uav和cnn的风力发电机叶片损伤智能巡检***及方法 Download PDFInfo
- Publication number
- CN117167208A CN117167208A CN202311045360.9A CN202311045360A CN117167208A CN 117167208 A CN117167208 A CN 117167208A CN 202311045360 A CN202311045360 A CN 202311045360A CN 117167208 A CN117167208 A CN 117167208A
- Authority
- CN
- China
- Prior art keywords
- module
- blade
- aerial vehicle
- unmanned aerial
- yolov7
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007689 inspection Methods 0.000 title claims abstract description 35
- 238000000034 method Methods 0.000 title claims abstract description 22
- 238000001514 detection method Methods 0.000 claims abstract description 12
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000007547 defect Effects 0.000 claims description 5
- 238000010586 diagram Methods 0.000 claims description 5
- 230000003014 reinforcing effect Effects 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- DMBHHRLKUKUOEG-UHFFFAOYSA-N diphenylamine Chemical compound C=1C=CC=CC=1NC1=CC=CC=C1 DMBHHRLKUKUOEG-UHFFFAOYSA-N 0.000 claims description 2
- 238000005728 strengthening Methods 0.000 claims description 2
- 238000013527 convolutional neural network Methods 0.000 abstract description 12
- 238000012423 maintenance Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000011897 real-time detection Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
Landscapes
- Image Processing (AREA)
Abstract
基于UAV和CNN的风力发电机叶片损伤智能巡检***及方法，包括无人机、中央服务器和北斗定位模块；无人机上搭载有路径规划模块和高速相机模组，路径规划模块用于规划无人机的巡检路径，高速相机模组获取工作状态的风力发电机组的叶片图像，同时为路径规划模块提供路径信息；中央服务器上装载有检测模块，检测模块通过YOLOv7网络模型，对高速相机模组获取的风力发电机组的叶片图像进行检测，输出含有损坏区域的叶片图像；北斗定位模块用于在高速相机模块进行拍摄时，定位无人机所在位置，从而获得每张叶片图像中风力发电机组的经纬度坐标，并且传输给中央服务器。本发明具有自动路径规划能力，能够实现无人机对风力发电站的全覆盖巡检。
Description
技术领域
本发明属于自动化检测技术装备领域，具体涉及基于UAV和CNN的风力发电机叶片损伤智能巡检***及方法。
背景技术
目前，大部分风力发电机的所在地区都是风力资源丰富但地形地势极为复杂或者是远离人类活动的区域，运维工作人员无法进行长时间的安全巡检，人工巡检费时、费力、安全性较低且效率不高，而且无法对整个风力发电站的健康状态进行实时的评估。
近年来，利用无人机巡检风力发电机叶片的方案逐渐发展起来，由于无人机的机动性比较强，可以实现对整个风力电站航拍来检测损坏区域，极大地提高了运维效率，特别是在风力发电机机组分布较为广泛、较为复杂的风力电站，大大降低了运维难度，减少了安全事故的发生。通过调研，现有巡检无人机产品主要来自大疆、复亚智能、合创检测等公司。
现有技术中存在关于风力发电机叶片巡检的技术研究，但目前尚无专用的全自动的风力发电机叶片检测无人机***产品，仅有半自动人工操作的无人机。
发明内容
本发明针对现有技术中的不足，提供一种基于UAV和CNN的风力发电机叶片损伤智能巡检***及方法，具有自动路径规划能力和自动识别损坏部位的能力，实现了风力发电站的全覆盖巡检。
为实现上述目的，本发明采用以下技术方案：
基于UAV和CNN的风力发电机叶片损伤智能巡检***，其特征在于，包括：无人机、中央服务器和北斗定位模块；所述无人机上搭载有路径规划模块和高速相机模组，所述路径规划模块用于规划无人机的巡检路径，所述高速相机模组获取工作状态的风力发电机组的叶片图像，同时为路径规划模块提供路径信息；所述中央服务器和无人机进行实时通讯，中央服务器上装载有检测模块，所述检测模块通过YOLOv7网络模型，对高速相机模组获取的风力发电机组的叶片图像进行检测，输出含有损坏区域的叶片图像；所述北斗定位模块用于在高速相机模块进行拍摄时，定位无人机所在位置，从而获得每张叶片图像中风力发电机组的经纬度坐标，并且传输给中央服务器。
为优化上述技术方案，采取的具体措施还包括：
进一步地，所述YOLOv7网络模型对事先建立的风力发电机组的叶片损伤数据集进行特征标注，训练生成YOLOv7网络模型的权重文件，用于对叶片图像进行实时检测。
进一步地，所述YOLOv7网络模型中，对于输入的叶片图像，采用Co-Mix进行数据增强处理。
进一步地，所述YOLOv7网络模型中，主干网络引入全局注意力机制加强网络，通过对输入的叶片图像的不同区域应用不同的权重，来获取特征信息。
进一步地，所述全局注意力机制加强网络包括通道注意力子模块和空间注意力子模块，所述通道注意力子模块的计算过程如下：
K1∈RC*H*W
所述空间注意力子模块的计算过程如下：
式中，K1表示输入特征图，K2为通道注意力输出特征图，K3为全局注意力输出特征图，C表示特征通道数，H表示特征图的高，W表示特征图的宽，w1、w2和b1、b2分别是两层MLP感知机的随机初始权重值和偏置项，MCA和MSA是通道注意力图。
进一步地，所述YOLOv7网络模型中，主干网络引入DBB模块，采用多分支结构对输入的叶片图像进行特征提取。
另一方面，本发明还提出了采用如上所述***的风力发电机叶片损伤智能巡检方法，其特征在于，包括如下步骤：
无人机按照路径规划模块事先设定的巡检路径飞行；
高速相机模组定期拍摄风力发电机组的叶片图像，并将叶片图像实时传输到中央服务器；
中央服务器的数据处理中心对叶片图像进行预处理，检测模块使用YOLOv7网络模型进行缺陷检测，对检测到的叶片缺陷进行评估和分类，并生成巡检报告。
进一步地，所述预处理包括：采用高斯滤波，去除叶片图像中的噪声；图像增强，提高叶片图像的对比度和清晰度；以及调整叶片图像大小，适应YOLOv7网络模型的输入尺寸。
本发明的有益效果是：本发明具有自动路径规划能力，能够实现无人机对风力发电站的全覆盖巡检；具备精确的对风力发电机进行图像特征获取并定位的能力；具有和中央服务器进行实时通讯并且对所拍摄的组件的进行损坏识别的能力；能够满足光伏电站的大规模、高效率、高鲁棒性和高精度的巡检，具备实用价值。
附图说明
图1是本发明提出的基于UAV和CNN的风力发电机叶片损伤智能巡检***的结构图。
图2是本发明提出的基于UAV和CNN的风力发电机叶片损伤智能巡检方法的流程图。
图3是本发明提出的改进的YOLOv7算法的网络结构图。
具体实施方式
现在结合附图对本发明作进一步详细的说明。
实施例一
如图1所示，本实施例提供了一种基于UAV和CNN的风力发电机叶片损伤智能巡检***，包括：路径规划模块、高速相机模组、中央服务器、检测模块和北斗定位模块。
路径规划模块主要是用于确保无人机能够完整的巡检整个风力电站，精确拍摄到每一个风力发电机机组叶片的工作实况。
高速相机模组主要用于进行对工作状态的风力发电机机组叶片图像特征获取，同时为无人机的路径规划模块提供路径信息。本实施例中，采用高速摄像头，设置在无人机底部，通过卡槽固定镜头，共用无人机电池组供电，使用TCP/IP方式和无人机控制总成通讯。
中央服务器和无人机通过TCP/IP协议进行实时通讯，确保地面人员能够实时观测无人机镜头获取的画面。同时中央服务器内部装载改进的YOLOv7卷积神经网络算法。
检测模块通过使用改进的YOLOv7网络模型，对无人机获取的风力发电机机组叶片特征数据进行检测，寻找出其中含有损坏区域的图像输出。其中，改进的YOLOv7网络模型是建立风力发电机叶片损伤数据集进行特征标注，通过使用Co-mix的数据增强模块代替YOLOv7中的Mosaic和Mixup数据增强模块，强化网络的显著性特征分析能力，并且在YOLOv7主干网络中引入GAM(Global Attention Mechanism)全局注意力机制加强网络，在主干网络引入DBB(Diverse Branch Block)模块增强主干网络对小目标特征的提取，通过改进后的YOLOv7网络模型，在自制风力发电机叶片损伤数据集上对卷积神经网络进行训练，产生可用来进行实时检测的权重文件，这种训练出来的权重文件可以用于中央服务器对图像或者视频的实时检测。
YOLOv7网络模型的训练过程为：建立风力发电机叶片损伤数据集，并进行损坏区域特征标注；通过改进后的YOLOv7算法在风力发电机叶片损伤数据集上的进行训练，生成权重，用于含有损伤部位图像的识别。
北斗定位模块主要用于在高速相机模组进行拍摄的时候，同时定位无人机所在位置，从而获得每张照片中风力发电机组的经纬度坐标，中央服务器检测到含有叶片损坏区域的图片的同时也能获取风力发电机组的具体定位。
实施例二
如图2所示，本实施例提供了一种基于UAV和CNN的风力发电机叶片损伤智能巡检方法，其与实施例一中的基于UAV和CNN的风力发电机叶片损伤智能巡检***相对应，具体包括如下步骤。
无人机获取风力发电机组的叶片图像，并将叶片图像发送至中央服务器。
中央服务器对叶片图像进行预处理，包括采用高斯滤波，去处图像中的噪声；图像增强，提高图像对比度和清晰度；调整图像大小，适应模型输入尺寸。
采用改进的YOLOv7网络模型，得到含有损坏区域的图像。
其中，如图3所示，改进的YOLOv7网络模型包括采用Co-Mix的数据增强模块代替YOLOv7中的Mosaic和Mixup数据增强模块，Co-Mix通过在不同图像中裁剪和融合目标区域，能够更好地保留相对背景下的小目标特征。在引入不同特征区域和背景信息的同时，使得叶片损坏特征能够保持相对完整。将影响范围限制在特征区域周围，减少对特征区域的影响，扩充数据集的同时使得模型更集中地学习小目标的特征。
在YOLOv7主干网络中引入GAM(Global Attention Mechanism)全局注意力机制加强网络，旨在增强模型对序列或图像数据的全局信息的捕捉能力，以及强调不同位置或区域的重要性。全局注意力机制通过对输入序列或图像的不同位置或区域应用不同的权重，来指导YOLOv7获取特征信息。全局注意力机制由通道注意力子模块(Channel AttentionSub-module)和空间注意力子模块(Spatial Attention Sub-module)构成。通道注意力子计算过程如下：
K1∈RC*H*W
空间注意力子计算过程如下：
式中，K1表示输入特征图，K2为通道注意力输出特征图，K3为全局注意力输出特征图，C表示特征通道数，H表示特征图的高，W表示特征图的宽，w1、w2和b1、b2分别是两层MLP感知机的随机初始权重值和偏置项，MCA和MSA是通道注意力图，表示按元素相乘。
在主干网络引入DBB(Diverse Branch Block)模块，增强主干网络对小目标特征的提取能力，DBB模块的核心思想是通过引入多个分支，从不同的层次和角度对输入进行特征提取，以捕捉多样性和丰富性的特征表示。这种多分支结构有助于模型更好地对复杂背景下的图像数据进行处理，并提高对不同尺度、语义和特征表达的理解能力。
以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。
Claims (8)
1.基于UAV和CNN的风力发电机叶片损伤智能巡检***，其特征在于，包括：无人机、中央服务器和北斗定位模块；所述无人机上搭载有路径规划模块和高速相机模组，所述路径规划模块用于规划无人机的巡检路径，所述高速相机模组获取工作状态的风力发电机组的叶片图像，同时为路径规划模块提供路径信息；所述中央服务器和无人机进行实时通讯，中央服务器上装载有检测模块，所述检测模块通过YOLOv7网络模型，对高速相机模组获取的风力发电机组的叶片图像进行检测，输出含有损坏区域的叶片图像；所述北斗定位模块用于在高速相机模块进行拍摄时，定位无人机所在位置，从而获得每张叶片图像中风力发电机组的经纬度坐标，并且传输给中央服务器。
2.如权利要求1所述的基于UAV和CNN的风力发电机叶片损伤智能巡检***，其特征在于：所述YOLOv7网络模型对事先建立的风力发电机组的叶片损伤数据集进行特征标注，训练生成YOLOv7网络模型的权重文件，用于对叶片图像进行实时检测。
3.如权利要求2所述的基于UAV和CNN的风力发电机叶片损伤智能巡检***，其特征在于：所述YOLOv7网络模型中，对于输入的叶片图像，采用Co-Mix进行数据增强处理。
4.如权利要求2所述的基于UAV和CNN的风力发电机叶片损伤智能巡检***，其特征在于：所述YOLOv7网络模型中，主干网络引入全局注意力机制加强网络，通过对输入的叶片图像的不同区域应用不同的权重，来获取特征信息。
5.如权利要求4所述的基于UAV和CNN的风力发电机叶片损伤智能巡检***，其特征在于：所述全局注意力机制加强网络包括通道注意力子模块和空间注意力子模块，所述通道注意力子模块的计算过程如下：
K1∈RC*H*W
所述空间注意力子模块的计算过程如下：
式中，K1表示输入特征图，K2为通道注意力输出特征图，K3为全局注意力输出特征图，C表示特征通道数，H表示特征图的高，W表示特征图的宽，w1、w2和b1、b2分别是两层MLP感知机的随机初始权重值和偏置项，MCA和MSA是通道注意力图。
6.如权利要求2所述的基于UAV和CNN的风力发电机叶片损伤智能巡检***，其特征在于：所述YOLOv7网络模型中，主干网络引入DBB模块，采用多分支结构对输入的叶片图像进行特征提取。
7.采用如权利要求1-6中任一***的风力发电机叶片损伤智能巡检方法，其特征在于，包括如下步骤：
无人机按照路径规划模块事先设定的巡检路径飞行；
高速相机模组定期拍摄风力发电机组的叶片图像，并将叶片图像实时传输到中央服务器；
中央服务器的数据处理中心对叶片图像进行预处理，检测模块使用YOLOv7网络模型进行缺陷检测，对检测到的叶片缺陷进行评估和分类，并生成巡检报告。
8.如权利要求7所述的风力发电机叶片损伤智能巡检方法，其特征在于：所述预处理包括：采用高斯滤波，去除叶片图像中的噪声；图像增强，提高叶片图像的对比度和清晰度；以及调整叶片图像大小，适应YOLOv7网络模型的输入尺寸。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311045360.9A CN117167208A (zh) | 2023-08-18 | 2023-08-18 | 基于uav和cnn的风力发电机叶片损伤智能巡检***及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311045360.9A CN117167208A (zh) | 2023-08-18 | 2023-08-18 | 基于uav和cnn的风力发电机叶片损伤智能巡检***及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117167208A true CN117167208A (zh) | 2023-12-05 |
Family
ID=88934712
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311045360.9A Pending CN117167208A (zh) | 2023-08-18 | 2023-08-18 | 基于uav和cnn的风力发电机叶片损伤智能巡检***及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117167208A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118008729A (zh) * | 2024-04-08 | 2024-05-10 | 江苏海龙风电科技股份有限公司 | 一种基于北斗的海上风机结构状态监控方法及*** |
-
2023
- 2023-08-18 CN CN202311045360.9A patent/CN117167208A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118008729A (zh) * | 2024-04-08 | 2024-05-10 | 江苏海龙风电科技股份有限公司 | 一种基于北斗的海上风机结构状态监控方法及*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112633535A (zh) | 一种基于无人机图像的光伏电站智能巡检方法及*** | |
| CN108109385B (zh) | 一种输电线防外破的车辆识别与危险行为判别***与方法 | |
| CN110297498A (zh) | 一种基于无线充电无人机的轨道巡检方法及*** | |
| CN108010030A (zh) | 一种基于深度学习的航拍图像绝缘子实时检测方法 | |
| CN110033453A (zh) | 基于改进YOLOv3的输变电线路绝缘子航拍图像故障检测方法 | |
| CN106356757A (zh) | 一种基于人眼视觉特性的电力线路无人机巡检方法 | |
| CN109270958A (zh) | 一种输电线路故障自动快速定位无人机*** | |
| CN108109437A (zh) | 一种基于地图特征的无人机自主航线提取生成方法 | |
| CN112327906A (zh) | 一种基于无人机的智能自动巡检*** | |
| CN108229587A (zh) | 一种基于飞行器悬停状态的输电杆塔自主扫描方法 | |
| CN117167208A (zh) | 基于uav和cnn的风力发电机叶片损伤智能巡检***及方法 | |
| CN105572541A (zh) | 一种基于视觉注意机制的高压巡线故障检测方法及*** | |
| CN109389056B (zh) | 一种空基多视角协同的轨道周边环境检测方法 | |
| Sizkouhi et al. | Autonomous path planning by unmanned aerial vehicle (UAV) for precise monitoring of large-scale PV plants | |
| CN111765974B (zh) | 一种基于微型制冷红外热像仪的野生动物观测***及方法 | |
| CN108960134A (zh) | 一种巡线无人机影像标注及智能识别方法 | |
| CN113589837A (zh) | 一种基于边缘云的电力实时巡检方法 | |
| CN112307992A (zh) | 一种基于无人机可见光遥感的红树植物自动识别方法 | |
| CN113485432A (zh) | 一种基于无人机的光伏电站电致发光智能诊断***及方法 | |
| CN112455676A (zh) | 一种光伏板健康状态智能监测分析***及方法 | |
| CN116245844A (zh) | 基于视觉多模态融合的配电线路缺陷智能识别方法及*** | |
| CN116223511A (zh) | 基于无人机自动巡检的分布式屋顶光伏组件缺陷诊断方法及装置 | |
| CN116245871A (zh) | 基于改进yolox算法的输电线路异常目标检测方法 | |
| CN114200958A (zh) | 一种光伏发电设备自动巡检***和方法 | |
| CN111915565B (zh) | 一种基于yolact算法对输变电线路瓷瓶裂缝实时分析方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |