CN112950634A - 基于无人机巡检的风力机叶片损伤识别方法、设备和*** - Google Patents

基于无人机巡检的风力机叶片损伤识别方法、设备和*** Download PDF

Info

Publication number
CN112950634A
CN112950634A CN202110437892.1A CN202110437892A CN112950634A CN 112950634 A CN112950634 A CN 112950634A CN 202110437892 A CN202110437892 A CN 202110437892A CN 112950634 A CN112950634 A CN 112950634A
Authority
CN
China
Prior art keywords
wind turbine
aerial vehicle
unmanned aerial
turbine blade
blade
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110437892.1A
Other languages
English (en)
Other versions
CN112950634B (zh
Inventor
焦晓峰
刘波
蒋兴群
宋力
贾斌
李晓波
朱生华
原帅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inner Mongolia Electric Power Research Institute of Inner Mongolia Power Group Co Ltd
Original Assignee
Inner Mongolia Electric Power Research Institute of Inner Mongolia Power Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inner Mongolia Electric Power Research Institute of Inner Mongolia Power Group Co Ltd filed Critical Inner Mongolia Electric Power Research Institute of Inner Mongolia Power Group Co Ltd
Priority to CN202110437892.1A priority Critical patent/CN112950634B/zh
Publication of CN112950634A publication Critical patent/CN112950634A/zh
Application granted granted Critical
Publication of CN112950634B publication Critical patent/CN112950634B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E10/00—Energy generation through renewable energy sources
    • Y02E10/70—Wind energy
    • Y02E10/72—Wind turbines with rotation axis in wind direction

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Hardware Design (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供基于无人机巡检的风力机叶片损伤识别方法、设备和***，该方法包括：获取无人机拍摄的风力机叶片图像；根据风力机叶片检测模型和所述风力机叶片图像，对风力机叶片的损伤进行识别和分类；其中，所述风力机叶片检测模型采用基于注意力机制的区域卷积神经网络。上述技术方案能够精准高效地检测及识别图像中的损伤类别，提升了小目标损伤检测的精度，为风力机叶片的故障检测与维修提供及时准确的参考依据。

Description

基于无人机巡检的风力机叶片损伤识别方法、设备和***
技术领域
本发明涉及无人机图像处理技术领域，尤其涉及一种无人机巡检风力机叶片损伤识别方法、***。
背景技术
截至2019年底，我国风电装机容量达209.94GW，自2008年以来一直保持世界第一，占全球累计风电装机量的32.24％。我国自本世纪初开始大力发展风电行业至今，首批风力机已经接近寿命极限，甚至部分风力机己经超出质保期，这便造成风力机的故障层出不穷。其中，造成故障最为严重、检测难度最大和维护成本最高的部件损伤当属风力机叶片。
通过对叶片定期常规检测的结果统计发现，叶片表面缺陷主要有：风力机安装前期出现的斑点和擦痕，风力机安装中、后期出现的砂眼、裂纹、边缘腐蚀和开裂、表面涂层脱落以及恶劣天气下的雷击损伤；一般情况下，斑点、擦痕和砂眼是风力机叶片普遍存在的缺陷，大面积的斑点和砂眼聚集就会形成危害性大大增加的麻面。这类麻面如遇雷雨天气，由于静电灰多、湿度大造成导电性增强，极易引来雷击；如遇高温、大风等天气，麻面处凹陷部分的玻璃纤维就会迅速风化形成脆裂层。两种情况都会造成叶片的严重损坏，甚至出现风力机停机检修的情况。因此对风力机叶片损伤高效准确地进行识别和分类，为风力机叶片的故障检测与维修提供及时准确的参考依据变得尤为重要。
在实现本发明过程中，发明人发现现有技术中至少存在如下问题：
现阶段风力机叶片损伤检测主要依靠人工吊篮高空作业，存在检测效率慢、危险系数高和成本高昂等问题，并且对于采集到的大量风力机叶片损伤图像，依靠人工甄别分类。
发明内容
有鉴于此，本发明实施例的目的在于提供一种基于无人机巡检的风力机叶片损伤识别方法，以精准高效地检测及识别图像中的损伤类别。
第一方面，本发明实施例提供了一种基于无人机巡检的风力机叶片损伤识别方法，其包括：
获取无人机拍摄的风力机叶片图像；
根据风力机叶片检测模型和所述风力机叶片图像，对风力机叶片的损伤进行识别和分类；其中，所述风力机叶片检测模型采用基于注意力机制的区域卷积神经网络。
第二方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如上所述的基于无人机巡检的风力机叶片损伤识别方法。
第三方面，本发明实施例提供了一种电子设备，其包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上所述的基于无人机巡检的风力机叶片损伤识别方法。
第四方面，本发明实施例提供了一种基于无人机巡检的风力机叶片损伤识别***，其包括：
无人机，所述无人机配置有相机模块，用于拍摄风力机叶片图像；
图像处理模块，用于获取无人机拍摄的风力机叶片图像；根据风力机叶片检测模型和所述风力机叶片图像，对风力机叶片的损伤进行识别和分类；其中，所述风力机叶片检测模型采用基于注意力机制的区域卷积神经网络。
上述技术方案具有如下有益效果：
本发明实施例通过获取无人机拍摄的风力机叶片图像；根据风力机叶片检测模型和所述风力机叶片图像，对风力机叶片的损伤进行识别和分类；其中，所述风力机叶片检测模型采用基于注意力机制的区域卷积神经网络；从而能够精准高效地检测及识别图像中的损伤类别，提升了小目标损伤检测的精度，为风力机叶片的故障检测与维修提供及时准确的参考依据。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例的一种无人机巡检风力机叶片损伤检测识别***框图；
图2是本发明实施例的基于无人机巡检的风力机叶片损伤识别方法的流程图；
图3是本发明实施例的风力机叶片检测模型的训练过程的流程图；
图4是本发明实施例的实时轨迹纠偏流程图；
图5是本发明实施例的注意力机制的多尺度特征融合算法示意图；
图6是本发明实施例的注意力机制模块的功能框图；
图7是本发明实施例的注意力机制多尺度特征融合算法的Cascade R-CNN网络基本框架；
图8是本发明实施例的加入建议融合框的Cascade R-CNN网络基本框架；
图9是本发明实施例的电子设备的功能框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
近年来，随着无人机技术、网络大数据和深度学习目标检测算法的发展，为风力机叶片损伤图像检测识别提供了新思路。将无人机和深度学习目标检测相结合，用于巡检，具有成本低、作业灵活的特点，改善了传统的人工巡检效率低、劳动强度大的缺点，但是无人机巡检目前也存在着一些技术难题。
在无人机的风力机叶片自动化巡检过程中，由于无人机离风力机叶片较近，一旦出现算法或逻辑错误，存在无人机撞向风力机叶片的重大风险；对于设备所获得的图像清晰度和可识别度需要非常高，因为这影响着***对风力机叶片损伤类别的判别；这就需要在无人机的自动化巡检中加入控制***，去规划最优图像采集路线，保证无人机设备的安全可靠工作和图像的准确采集。
在对无人机巡检得到的图像进行处理时，精准的对检测目标识别和分类至关重要，这反映了***的核心性能。近年来，区域卷积神经网络Faster R-CNN和Cascade R-CNN等可以实现端到端的目标检测等优点，逐渐被应用于图像检测识别中。区域卷积神经网络Cascade R-CNN网络在Faster R-CNN的基础上，通过级联检测器逐层提高候选框的IOU(Intersection over Union，交并比)阈值，最终提高了检测精度，但也相对减缓了计算效率，且对风力机叶片损伤中的微小缺陷的识别还是不够精准。
本发明实施例针对上述应用难题展开研究，切合实际的任务需求实现精准的发现目标并且识别目标。
本发明实施例基于风场大数据、无人机高空取像和深度学习目标检测算法，提出了一种注意力机制的多尺度特征融合算法和Cascade R-CNN相结合的风力机叶片损伤检测识别方法及***。上述技术方案能够精准高效地检测及识别图像中的损伤类别，提升了小目标损伤检测的精度，为风力机叶片的故障检测与维修提供及时准确的参考依据。
图1是本发明实施例的一种无人机巡检风力机叶片损伤检测识别***框图。如图1所示，提供一种无人机巡检风力机叶片损伤识别***，包括：无人机搭载平台模块、视觉伺服控制模块、高清云台相机模块和图像处理***模块。无人机搭载平台模块是整个***设备的搭载平台。高清云台相机模块悬挂转动连接于无人机下方；视觉伺服控制模块和图像处理***模块集成搭载在无人机搭载平台。
无人机搭载平台模块，是整个***设备的搭载平台。不仅包含了无人机自身控制***、测距雷达(用于防止碰撞异物)，还用于承载和连接视觉伺服控制模块、高清云台相机模块和图像处理***模块。
视觉伺服控制***模块，用于确定无人机巡检航线和飞行拍摄过程中的视觉导航纠偏与防误撞。
对于确定无人机巡检航线，在视觉伺服控制***模块中输入风力机的轮毂中心坐标信息(轮毂中心高度)、叶片最大弦长和叶片长度信息后，视觉伺服控制***模块根据风力机的轮毂中心坐标信息，控制无人机飞至风力机的机舱正前方向。
高清云台相机模块采集机舱和叶片的图像轮廓信息，定位装置采集无人机的实时位置信息，高清云台相机模块和定位装置均将采集到的信息反馈至视觉伺服控制***模块。
视觉伺服控制***模块根据叶片最大弦长、叶片长度信息和传回的机舱和叶片的图像轮廓信息建立风力机机舱和叶片整体模型；根据该风力机机舱和叶片的整体模型、无人机的实时位置信息和叶片信息(包括叶片最大弦长和叶片长度信息)确定出每只叶片的中位线，并将该中位线作为飞行航线；根据叶片长度信息，将该中位线平分为例如12至30不等的点作为无人机悬停拍摄航点进行取像拍摄。此处高清云台相机模块距离叶片的拍摄距离设置为9.95(±0.7)米，这是考虑到无人机要与叶片保持一定的距离和所选相机的拍摄距离。
在本实施例中，视觉伺服控制***模块根据输入的轮毂中心坐标信息控制无人机飞至风力机的机舱正前方向(高度为轮毂中心高度)轮毂中心坐标信息轮毂中心坐标信息。根据轮毂中心高度，确定无人机初始去获取机舱、叶片图像信息和无人机位置信息要飞行的高度，即给无人机一个初始飞行高度。
在本实施例中，视觉伺服控制***模块根据叶片最大弦长、叶片长度信息和传回的机舱和叶片的图像轮廓信息，把机舱和叶片的二维图形搭建出来，获得风力机机舱和叶片的整体模型，用于精确得到的叶片中位线。
在本实施例中，在风力机机舱和叶片的整体模型基础上，根据叶片的最大弦长和叶片长度信息，取最大弦长处中点向左右延伸即可得叶片的中位线，中位线长度等同于叶片长度，至此，得到叶片中位线。
其中，高清云台相机模块可以设置为：每相对叶片中位线水平位移5米进行一次悬停拍摄，例如当叶片长度为68米时，向上取整(68/5)即得14个拍摄点。因为要对叶片的正反两面进行拍摄取像，且风力机有三个叶片，所以一共有14×2×3个悬停拍摄航点。视觉伺服控制***模块根据得到的84个悬停拍摄航点和定位装置得到的无人机位置信息，计算得出84个悬停拍摄航点的位置坐标，用于后续的视觉导航纠偏。
具体地，无人机依据提供的轮毂中心坐标信息飞至轮毂中心高度，定位装置获得此时坐标。此时坐标减去轮毂中心的坐标即可得距离轮毂的水平距离。至此，得到用于计算悬停拍摄航点的信息有以下5个：(1)轮毂中心坐标信息；(2)无人机的初始坐标信息；(3)无人机初始时距离轮毂中心的水平长度；(4)叶片中位线长度信息；(5)机舱和叶片的整体模型。依据以上5条信息，以及取叶片长度为68米时得到的14个拍摄点(位于叶片中位线上)，可在机舱和叶片的整体二维图形上画出叶片中位线和其上的14×3个点。再考虑到高清云台相机模块距离叶片的拍摄距离为9.95(±0.7)米，即无人机距离风力机叶片的距离为9.95(±0.7)米。根据以上信息和坐标的变换关系可到14×3个点的坐标信息，根据对应关系可得到对立面的14×3个点的坐标信息，至此，完成了14×3×2个悬停拍摄航点的计算。
对于飞行拍摄过程中的视觉导航纠偏，视觉伺服控制***模块在无人机飞行拍摄时，定位装置实时反馈无人机的实时位置信息至视觉伺服控制***；视觉伺服控制***根据反馈的无人机的实时位置信息与规划好的航点对比来进行视觉导航纠偏，同时也实现了防止无人机与叶片碰撞的功能。
在本实施例中，当无人机飞行至某一悬停拍摄航点时，定位装置获取无人机的实时坐标信息；定位装置获取的无人机实时坐标将反馈至视觉伺服控制***模块；当无人机的实时坐标信息与规划的悬停拍摄航点不相符时(例如±0.7m)，视觉伺服控制***模块实时调整无人机飞行至规划悬停拍摄航点。具体地，无人机按照规划的悬停拍摄航点顺序拍摄，此时无人机的位置会实时反馈至视觉伺服控制***模块。视觉伺服控制***模块根据反馈的无人机位置信息与此时要到达的悬停航点作比较，若差值大于预设的阈值(±0.7m)，则进行调整；调整飞行坐标信息至此时的悬停拍摄航点坐标数值，再控制无人机飞行至修正后的位置坐标。至此，完成了无人机的视觉导航纠偏。
高清云台相机模块，可提供稳定流畅的影像画质，拍摄出高精度的稳定画面。当安装到无人机搭载平台模块上，即使在高速运转状态下，通过云台相机模块的防抖动等技术，让拍摄画面更稳定，得到清晰的画质，为后续处理提供高质量数据基础。
图像处理***模块，用于接收无人机拍摄采集到的高清图像，并对风力机叶片图像进行损伤检测识别和分类处理。图像处理***模块具有训练完成的风力机叶片检测模型，将风力机叶片检测模型和相关代码载入到图像处理***模块中，可实现对图像的检测识别和分类。
图2是本发明实施例的一种无人机巡检风力机叶片损伤识别方法的流程图。如图2所示，该方法包括：
S110：获取无人机拍摄的风力机叶片图像；
S120：根据风力机叶片检测模型和风力机叶片图像，对风力机叶片的损伤进行识别和分类；其中，风力机叶片检测模型采用基于注意力机制的区域卷积神经网络。
进一步地，该方法还可以包括如下步骤：
获取风力机的轮毂中心坐标信息、叶片最大弦长和叶片长度信息；
根据风力机的轮毂中心坐标信息，控制无人机飞至风力机的机舱正前方向；
获取风力机的机舱和叶片各自的图像轮廓信息；
获取无人机的实时位置信息；
根据叶片最大弦长、叶片长度信息、以及机舱和叶片各自的图像轮廓信息，建立风力机机舱和叶片的整体模型；
根据风力机机舱和叶片的整体模型、叶片最大弦长、和叶片长度信息，确定每只叶片的中位线，并将中位线作为无人机的巡检航线；
根据叶片长度信息，将中位线平分为多个点，获得无人机的多个规划的悬停拍摄航点。
具体地，无人机依据提供的轮毂中心坐标信息飞至轮毂中心高度，定位装置获得此时坐标。此时坐标减去轮毂中心的坐标即可得距离轮毂的水平距离。至此，得到用于计算悬停拍摄航点的信息有以下5个：(1)轮毂中心坐标信息；(2)无人机的初始坐标信息；(3)无人机初始时距离轮毂中心的水平长度；(4)叶片中位线长度信息；(5)机舱和叶片的整体模型。依据以上5条信息，以及取叶片长度为68米时得到的14个拍摄点(位于叶片中位线上)，可在机舱和叶片的整体二维图形上画出叶片中位线和其上的14×3个点。再考虑到高清云台相机模块距离叶片的拍摄距离为9.95(±0.7)米，即无人机距离风力机叶片的距离为9.95(±0.7)米。根据以上信息和坐标的变换关系可到14×3个点的坐标信息，根据对应关系可得到对立面的14×3个点的坐标信息，至此，完成了14×3×2个悬停拍摄航点的计算。
进一步地，该方法还可以包括：在无人机飞行拍摄时，获取无人机的实时位置信息；根据无人机的实时位置信息与多个规划的悬停拍摄航点，对无人机进行视觉导航纠偏。
进一步地，根据无人机的实时位置信息与多个规划的悬停拍摄航点，对无人机进行视觉导航纠偏，可以包括：当无人机飞行至任意一个悬停拍摄航点时，获取无人机的实时坐标信息；当无人机的实时坐标信息与规划的悬停拍摄航点(的位置坐标)不相符时，实时调整无人机飞行至规划的悬停拍摄航点。具体地，无人机按照规划的悬停拍摄航点顺序拍摄，此时无人机的位置会实时反馈至视觉伺服控制***模块。视觉伺服控制***模块根据反馈的无人机位置信息与此时要到达的悬停航点作比较，若差值大于预设的阈值(±0.7m)，则进行调整；调整飞行坐标信息至此时的悬停拍摄航点坐标数值，再控制无人机飞行至修正后的位置坐标。至此，完成了无人机的视觉导航纠偏。
在一些可能的实施例中，风力机叶片检测模型是由注意力机制的多尺度特征融合算法和区域卷积神经网络Cascade R-CNN相结合的网络训练得到。
在一些可能的实施例中，在Cascade R-CNN的特征提取部分引入基于注意力机制的挤压与激励网络SENet结构。
在一些可能的实施例中，在Cascade R-CNN的分类网络部分，引入基于注意力机制的建议框融合方法。
图3是本发明实施例的风力机叶片检测模型的训练过程的流程图。如图3所示，风力机叶片检测模型由注意力机制的特征融合算法和区域卷积神经网络Cascade R-CNN相结合的网络训练得到，包括以下步骤：
S310、采用无人机巡检拍摄风力机叶片图像数据，筛选出图像数据中待识别目标的图像并进行损伤分类标记，将经过标注后的图像作为数据集。其中数据集分为训练集和测试集，为后续的检测网络训练提供数据基础；
S320、图7是本发明实施例的注意力机制多尺度特征融合算法的Cascade R-CNN网络基本框架。如图7所示，Cascade R-CNN网络主要包括：特征提取层(Conv layers)、池化网络(RoI pooling)、区域建议网络(Region Proposal Network，RPN)和分类网络(Classification)。在Cascade R-CNN的特征提取阶段引入基于注意力机制的挤压与激励网络(Squeeze-and-Excitation Networks，SENet)结构，同时在该结构中借鉴特征金字塔网络(Feature Pyramid Networks，FPN)的思想：多尺度特征融合。在图7中：特征提取层(conv lays)，用于提取输入图像的feature map(特征图)；Pool：池化层，用于收集输入的特征图(feature maps)和建议框(proposals)，并将这两者信息进行融合；H1，H2，H3：Region Proposal Networks(RPN，区域建议网络)，用于生成候选框，并将候选框投影到特征图上获得相应的矩阵；B0，B1，B2，B3：属于分类网络部分，获得每个建议框(proposal)的位置偏移量，用于回归更加精确的目标检测框；C1，C2，C3：属于分类网络部分，计算每个proposal(建议框)具体属于那个类别，进行类别判定。
图5是本发明实施例的注意力机制的多尺度特征融合算法示意图。在图5中，阶段3、阶段4、阶段5分别对应的三个注意力机制模块(attention block)的输出端连接张量连接操作Concat，张量连接操作Concat的输出端连接第四个注意力机制模块，第四个注意力机制模块的输出端连接区域建议网络RPN。
如图5所示，利用注意力机制SENet结构和多尺度特征融合相结合，减少了检测网络的参数量和计算量，增加了检测速度，提升特征提取网络的鲁棒性，多尺度特征融合的思想有效提升叶片微小损伤的检测精度。
图8是本发明实施例的加入建议融合框的Cascade R-CNN网络基本框架。如图8所示，在Cascade R-CNN网络的分类(Classification)网络部分，引入基于注意力机制的建议框融合方法。帮助修正目标建议框，去分配不同周围建议框的权重，对目标建议框的特征向量与周围建议框的特征向量融合更新，有利于后续目标建议框的精确分类和位置回归，提升模型识别的精度。
进一步的，当网络搭建完成后，将数据集的训练样本放入注意力机制的多尺度特征融合算法和Cascade R-CNN相结合的网络中进行训练。
图6是本发明实施例的注意力机制模块的功能框图。在图6中，VGG16表示特征提取层；Global average pooling表示全局平均池化；FC表示全连接层；ReLU表示修正线性单元(Rectified linear unit，ReLU)，作为神经元的激活函数，Sigmoid表示激活函数。如图6所示，进一步的，首先图像进入Cascade R-CNN网络中的特征提取层，该层引入了注意力机制SENet结构的多尺度融合算法。通过多尺度融合算法，将图像低层特征高分辨率和高层特征的高语义信息相融合，通过自上而下的路径和横向连接，构建了一个更深、融合更多层信息，低层信息获得叶片损伤的准确定位，高层信息特征具有鲁棒性。而后，注意力机制SENet结构对输入的特征图进行全局平均池化(global average pooling，GAP)，使每个特征图都能利用其他特征图的上下文信息，从而具有全局的感受；然后利用全连接层FC对C×1×1特征图进行降维操作，并利用ReLU激活层来学习特征通道间的非线性关系；最后利用全连接层FC对特征图进行升维。激发操作则是利用Sigmoid激活函数输出维度为C×1×1的权值。特征权重的重新分配是对输入的特征图与激发操作得到的权值进行乘积运算，从而对各通道特征进行权值重新分配，最后输出经过处理的特征图。
进一步的，将更新后的特征图输入到Region Proposal Networks(RPN，区域建议网络)网络部分，遍历特征图为每一个点都配备9种锚anchors作为初始的检测框。RPN网络分为2条线，一条通过softmax(分类器)分类anchors，获得positive和negative分类，初步提取出有目标的正样本锚positive anchors作为候选区域；另一条用于计算对于锚anchors的建议回归框偏移量，以获得精确的proposals(目标建议框)。整个网络到此完成了相当于目标定位的功能。
进一步的，进入到池化网络ROI pooling网络部分；融合共享特征层和RPN网络部分输出的proposal boxes(建议回归框)进行截取局部特征层，将局部特征层都融合为大小相同的形状shape，送入到后续网络中。
进一步的，进入Classification分类网络部分。为了提升识别的精度，在该层网络加入了基于注意力机制的建议框融合方法。使得网络将会选取与目标建议框IOU值不小于阈值T的周围建议框，自动学习每个周围建议框的重要程度，再将周围建议框以加权求和的方式进行融合并更新，有利于后续目标建议框的精确分类和位置回归，提升预测类别的准确率。
进一步的，在分类Classification分类网络部分利用已经获得的局部特征层，通过全连接层与softmax(分类器)结合注意力机制的建议框融合，计算每个目标建议框具体属于那个类别(如裂纹、漆皮脱落、雷击等)，输出预测类别的概率，再次利用bounding boxregression(边界框回归)获得每个目标建议框的位置偏移量，用于回归更加精确的目标检测框。
进一步的，当实现了对风力机叶片损伤的检测识别和分类后，检测模型已初步搭建完成。
S330、测试模型的准确有效性，调整模型至最优。将数据集中的测试集放入到初步搭建完成的模型中进行模型评估，根据输出的MAP值、LOSS值和检测速率等一些参数调整检测识别网络和数据集，直至模型效果最优，至此风力机叶片损伤检测模型训练完成。
在风力机叶片损伤检测模型训练完成以后，将风力机叶片损伤检测模型加载入图像处理模块，使图像处理模块可独立实现对叶片图像的损伤检测识别和分类。
图4是本发明实施例的实时轨迹纠偏流程图。如图4所示，该方法包括如下步骤：
S1：无人机获取初始航点。
S2：无人机依据各航点信息执行飞行任务。
S3：无人机到达某一叶片的叶尖处航点。
S4：判断定位装置反馈到视觉伺服控制***的实时位置与规划的航点是否相符。
S5：如果是，则控制无人机按照规划的航点开始从叶尖到叶根逐步采集图像；如果否，执行步骤S7。
S6：判断无人机是否执行完所有航点；如果是，则结束，如果否，则返回步骤S3。
S7：根据反馈到视觉伺服控制***的位置信息和规划好的飞行航点对比，调整无人机飞行到规划航点。
S8：调整无人机飞行，步骤S8之后进入步骤S3。
本发明实施例还提供一种无人机巡检风力机叶片损伤识别方法，该方法执行时使用上述的基于无人机巡检的风力机叶片损伤识别***，该方法包括以下步骤：
步骤A、***初始化完成，对各个模块参数进行设置；
步骤B、通过无人机搭载平台模块，控制无人机飞行至机舱航向采集点位，将采集到的信息传输至视觉伺服控制模块，在视觉伺服控制模块中对整体风力机建立模型，规划飞行航点；
步骤C、无人机按初始航点顺序进行飞行，飞行过程中实时通过视觉伺服控制模块判断风力机叶片图像几何位置，通过检测叶片的边缘、叶尖和中心线来进行视觉导航纠偏。本步骤中无人机获取航点开始巡检，并且根据视觉伺服控制模块进行导航纠偏。
步骤D、根据视觉伺服控制模块和飞行航点，使用高清云台相机模块逐个拍摄三只风力机叶片的正反面的图像信息。
步骤E、将步骤D中获取的风力机叶片图像传输或存储至图像处理模块，图像处理模块进行叶片损伤的识别和分类，并出具损伤报告。
通过实施上述无人机巡检风力机叶片损伤检测识别***的技术方案，具有如下以下优点：
图像处理***模块采取Cascade R-CNN网络，在Faster R-CNN上更进一步，将后面检测分类部分堆叠了几个级联模块，并采用不同的IOU阈值训练，逐步提高目标定位的精度，进一步提升了Faster R-CNN的准确率。
在Cascade R-CNN网络的特征提取阶段引入基于注意力机制的多尺度特征融合算法。通过多尺度特征融合，将图像低层特征高分辨率和高层特征的高语义信息相融合，通过自上而下的路径和横向连接，构建了一个更深、融合更多层信息，低层信息获得叶片损伤的准确定位，高层信息特征具有鲁棒性，提升了对小目标的检测精度。注意力机制的SENet结构则使网络能够自动学习到每个特征通道的重要程度，关注与目标相关的特征通道而抑制与目标不相关的特征通道，从而提高输出结果的质量，显著提升特征提取网络的鲁棒性，减少了网络的参数量和计算量。
在Cascade R-CNN网络的分类(Classification)部分，引入基于注意力机制的建议框融合方法。目标建议框交并比值较大的周围建议框包含较多有用的位置信息，能够帮助修正目标建议框，但不同的周围建议框对修正目标建议框的重要性不同，通过注意力机制的建议框融合法，去分配不同周围建议框的权重。对目标建议框的特征向量与周围建议框的特征向量融合更新，更新后的特征向量位置信息更加准确，有利于后续目标建议框的精确分类和位置回归，提升模型识别的精度。
本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质内存储有计算机程序，计算机程序被处理器执行时实现上述任意一种基于无人机巡检的风力机叶片损伤识别方法的各步骤。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。当然，还有其他方式的可读存储介质，例如量子存储器、石墨烯存储器等等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
本发明实施例还提供了一种电子设备，如图8所示，包括一个或多个处理器301、通信接口302、存储器303和通信总线304，其中，处理器301，通信接口302，存储器303通过通信总线304完成相互间的通信。
存储器303，用于存放计算机程序；
处理器301，用于执行存储器303上所存放的程序时，实现上述方法的各步骤。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。通信接口用于上述电子设备与其他设备之间的通信。
总线304包括硬件、软件或两者，用于将上述部件彼此耦接在一起。举例来说，总线可包括加速图形端口(AGP)或其他图形总线、增强工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、***组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线可包括一个或多个总线。尽管本发明实施例描述和示出了特定的总线，但本发明考虑任何合适的总线或互连。
存储器303可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器303可包括硬盘驱动器(Hard Disk Drive，HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus，USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器303可包括可移除或不可移除(或固定)的介质。在特定实施例中，存储器303是非易失性固态存储器。在特定实施例中，存储器303包括只读存储器(ROM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、电可改写ROM(EAROM)或闪存或者两个或更多个以上这些的组合。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
上述实施例阐明的***、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、车载人机交互设备、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
虽然本申请提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的手段可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的装置或终端产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境，甚至为分布式数据处理环境)。
本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、电子设备及可读存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (10)

1.一种基于无人机巡检的风力机叶片损伤识别方法，其特征在于，包括：
获取无人机拍摄的风力机叶片图像；
根据风力机叶片检测模型和所述风力机叶片图像，对风力机叶片的损伤进行识别和分类；其中，所述风力机叶片检测模型采用基于注意力机制的区域卷积神经网络。
2.根据权利要求1所述的方法，其特征在于，还包括：
获取风力机的轮毂中心坐标信息、叶片最大弦长和叶片长度信息；
根据所述风力机的轮毂中心坐标信息，控制无人机飞至风力机的机舱正前方向；
获取风力机的机舱和叶片各自的图像轮廓信息；
获取无人机的实时位置信息；
根据所述叶片最大弦长、叶片长度信息、以及所述机舱和叶片各自的图像轮廓信息，建立风力机机舱和叶片的整体模型；
根据所述风力机机舱和叶片的整体模型、所述叶片最大弦长、和所述叶片长度信息，确定每只叶片的中位线，并将所述中位线作为无人机的巡检航线；
根据所述叶片长度信息，将所述中位线平分为多个点，获得无人机的多个规划的悬停拍摄航点。
3.根据权利要求2所述的方法，其特征在于，还包括：
在无人机飞行拍摄时，获取无人机的实时位置信息；
根据所述无人机的实时位置信息与所述多个规划的悬停拍摄航点，对无人机进行视觉导航纠偏。
4.根据权利要求3所述的方法，其特征在于，所述的根据所述无人机的实时位置信息与所述多个规划的悬停拍摄航点，对无人机进行视觉导航纠偏，包括：
当无人机飞行至任意一个悬停拍摄航点时，获取无人机的实时坐标信息；
当所述无人机的实时坐标信息与规划的悬停拍摄航点不相符时，实时调整无人机飞行至规划的悬停拍摄航点。
5.根据权利要求1所述的方法，其特征在于，所述风力机叶片检测模型是由注意力机制的多尺度特征融合算法和区域卷积神经网络Cascade R-CNN相结合的网络训练得到。
6.根据权利要求5所述的方法，其特征在于，在所述Cascade R-CNN的特征提取部分引入基于注意力机制的挤压与激励网络SENet结构。
7.根据权利要求5所述的方法，其特征在于，在所述Cascade R-CNN的分类网络部分，引入基于注意力机制的建议框融合方法。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任意一项所述的基于无人机巡检的风力机叶片损伤识别方法。
9.一种电子设备，其特征在于，其包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1-7中任一所述的基于无人机巡检的风力机叶片损伤识别方法。
10.一种基于无人机巡检的风力机叶片损伤识别***，其包括：
无人机，所述无人机配置有相机模块，用于拍摄风力机叶片图像；
图像处理模块，用于获取无人机拍摄的风力机叶片图像；根据风力机叶片检测模型和所述风力机叶片图像，对风力机叶片的损伤进行识别和分类；其中，所述风力机叶片检测模型采用基于注意力机制的区域卷积神经网络。
CN202110437892.1A 2021-04-22 2021-04-22 基于无人机巡检的风力机叶片损伤识别方法、设备和*** Active CN112950634B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110437892.1A CN112950634B (zh) 2021-04-22 2021-04-22 基于无人机巡检的风力机叶片损伤识别方法、设备和***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110437892.1A CN112950634B (zh) 2021-04-22 2021-04-22 基于无人机巡检的风力机叶片损伤识别方法、设备和***

Publications (2)

Publication Number Publication Date
CN112950634A true CN112950634A (zh) 2021-06-11
CN112950634B CN112950634B (zh) 2023-06-30

Family

ID=76233333

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110437892.1A Active CN112950634B (zh) 2021-04-22 2021-04-22 基于无人机巡检的风力机叶片损伤识别方法、设备和***

Country Status (1)

Country Link
CN (1) CN112950634B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113695256A (zh) * 2021-08-18 2021-11-26 国网江苏省电力有限公司电力科学研究院 一种电网异物检测识别方法及装置
CN113838001A (zh) * 2021-08-24 2021-12-24 内蒙古电力科学研究院 基于核密度估计的超声波全聚焦图像缺陷处理方法及装置
CN114399719A (zh) * 2022-03-25 2022-04-26 合肥中科融道智能科技有限公司 一种变电站火灾视频监测方法
CN114550016A (zh) * 2022-04-22 2022-05-27 北京中超伟业信息安全技术股份有限公司 一种基于上下文信息感知的无人机定位方法及***
CN115096894A (zh) * 2022-06-15 2022-09-23 智冠华高科技(大连)有限公司 一种基于无人机的风力发电机叶片损伤在线检测方法
CN115824957A (zh) * 2021-11-16 2023-03-21 戈昱科技(上海)有限公司 一种基于图像实现风电叶片缺陷自动检测的方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108875648A (zh) * 2018-06-22 2018-11-23 深源恒际科技有限公司 一种基于手机视频流的实时车辆损伤和部件检测的方法
WO2019157288A1 (en) * 2018-02-09 2019-08-15 Nano Techgalaxy, Inc. D/B/A Galaxy.Ai Systems and methods for physical object analysis
CN110261394A (zh) * 2019-06-24 2019-09-20 内蒙古工业大学 在线风机叶片损伤实时诊断***和方法
US20200090320A1 (en) * 2018-08-31 2020-03-19 Alibaba Group Holding Limited System and method for training a damage identification model
CN111122705A (zh) * 2019-12-26 2020-05-08 中国科学院工程热物理研究所 一种风力机叶片超声无损检测方法
CN111289533A (zh) * 2020-02-25 2020-06-16 国电电力内蒙古新能源开发有限公司 风机叶片的巡检方法、装置、无人机和存储介质
CN111476843A (zh) * 2020-05-08 2020-07-31 中国科学院合肥物质科学研究院 基于注意力机制和改进pv-rcnn网络的枸杞枝条识别定位方法
US20200265273A1 (en) * 2019-02-15 2020-08-20 Surgical Safety Technologies Inc. System and method for adverse event detection or severity estimation from surgical data
CN112233091A (zh) * 2020-10-15 2021-01-15 青岛理工大学 一种风力机叶片图像损伤检测和定位方法
CN112598637A (zh) * 2020-12-21 2021-04-02 华能安阳能源有限责任公司 一种风电机组叶片巡检叶片区域路线自动飞行方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019157288A1 (en) * 2018-02-09 2019-08-15 Nano Techgalaxy, Inc. D/B/A Galaxy.Ai Systems and methods for physical object analysis
CN108875648A (zh) * 2018-06-22 2018-11-23 深源恒际科技有限公司 一种基于手机视频流的实时车辆损伤和部件检测的方法
US20200090320A1 (en) * 2018-08-31 2020-03-19 Alibaba Group Holding Limited System and method for training a damage identification model
US20200265273A1 (en) * 2019-02-15 2020-08-20 Surgical Safety Technologies Inc. System and method for adverse event detection or severity estimation from surgical data
CN110261394A (zh) * 2019-06-24 2019-09-20 内蒙古工业大学 在线风机叶片损伤实时诊断***和方法
CN111122705A (zh) * 2019-12-26 2020-05-08 中国科学院工程热物理研究所 一种风力机叶片超声无损检测方法
CN111289533A (zh) * 2020-02-25 2020-06-16 国电电力内蒙古新能源开发有限公司 风机叶片的巡检方法、装置、无人机和存储介质
CN111476843A (zh) * 2020-05-08 2020-07-31 中国科学院合肥物质科学研究院 基于注意力机制和改进pv-rcnn网络的枸杞枝条识别定位方法
CN112233091A (zh) * 2020-10-15 2021-01-15 青岛理工大学 一种风力机叶片图像损伤检测和定位方法
CN112598637A (zh) * 2020-12-21 2021-04-02 华能安阳能源有限责任公司 一种风电机组叶片巡检叶片区域路线自动飞行方法

Non-Patent Citations (10)

* Cited by examiner, † Cited by third party
Title
DAIWEI ZHANG: "Detection of Blades Damages in Aero Engine", 2020 CHINESE AUTOMATIONCONGRESS（CAC）, pages 6129 - 6134 *
SILENCE_DONG: "详解深度学习中"注意力机制"", Retrieved from the Internet <URL:https://www.jianshu.com/p/9b922fb83d77> *
何静;余昊宇;张昌凡;***;罗学明;: "基于Canny-YOLOv3的列车轮对踏面损伤检测", 电子测量与仪器学报, no. 12, pages 3 - 36 *
冯军: "基于注意力机制与多尺度残差网络结构的目标检测算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
冯军: "基于注意力机制与多尺度残差网络结构的目标检测算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, 15 February 2021 (2021-02-15), pages 3 - 1 *
春枫琰玉: "一文带你读懂Cascade R-CNN，一个使你的检测更加准确的网络", Retrieved from the Internet <URL:https://blog.csdn.net.Chunfengyanyulove/article/details/86414810> *
范晨亮等: "基于深度学习的风机叶片裂纹检测算法", 《科学技术创新》 *
范晨亮等: "基于深度学习的风机叶片裂纹检测算法", 《科学技术创新》, no. 13, 5 May 2020 (2020-05-05), pages 1 *
陈海永: "融合注意力的多尺度 FasterRCNN 的裂纹检测", 《光电工程》 *
陈海永: "融合注意力的多尺度 FasterRCNN 的裂纹检测", 《光电工程》, vol. 48, no. 1, 8 March 2021 (2021-03-08), pages 1 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113695256A (zh) * 2021-08-18 2021-11-26 国网江苏省电力有限公司电力科学研究院 一种电网异物检测识别方法及装置
CN113838001A (zh) * 2021-08-24 2021-12-24 内蒙古电力科学研究院 基于核密度估计的超声波全聚焦图像缺陷处理方法及装置
CN113838001B (zh) * 2021-08-24 2024-02-13 内蒙古电力科学研究院 基于核密度估计的超声波全聚焦图像缺陷处理方法及装置
CN115824957A (zh) * 2021-11-16 2023-03-21 戈昱科技(上海)有限公司 一种基于图像实现风电叶片缺陷自动检测的方法
CN115824957B (zh) * 2021-11-16 2023-12-01 戈昱科技(上海)有限公司 一种基于图像实现风电叶片缺陷自动检测的方法
CN114399719A (zh) * 2022-03-25 2022-04-26 合肥中科融道智能科技有限公司 一种变电站火灾视频监测方法
CN114550016A (zh) * 2022-04-22 2022-05-27 北京中超伟业信息安全技术股份有限公司 一种基于上下文信息感知的无人机定位方法及***
CN114550016B (zh) * 2022-04-22 2022-07-08 北京中超伟业信息安全技术股份有限公司 一种基于上下文信息感知的无人机定位方法及***
CN115096894A (zh) * 2022-06-15 2022-09-23 智冠华高科技(大连)有限公司 一种基于无人机的风力发电机叶片损伤在线检测方法
CN115096894B (zh) * 2022-06-15 2024-06-04 智冠华高科技(大连)有限公司 一种基于无人机的风力发电机叶片损伤在线检测方法

Also Published As

Publication number Publication date
CN112950634B (zh) 2023-06-30

Similar Documents

Publication Publication Date Title
CN112950634B (zh) 基于无人机巡检的风力机叶片损伤识别方法、设备和***
CN108037770B (zh) 基于人工智能的无人机输电线路巡检***和方法
CN109344753A (zh) 一种基于深度学习的航拍图像输电线路细小金具识别方法
CN115861855B (zh) 一种光伏电站的运维监测方法及***
CN110261394A (zh) 在线风机叶片损伤实时诊断***和方法
CN110070530B (zh) 一种基于深度神经网络的输电线路覆冰检测方法
CN113705478B (zh) 一种基于改进YOLOv5的红树林单木目标检测方法
Liu et al. High precision detection algorithm based on improved RetinaNet for defect recognition of transmission lines
CN111784685A (zh) 一种基于云边协同检测的输电线路缺陷图像识别方法
CN111080691A (zh) 一种光伏组件红外热斑检测方法、装置
CN108680833B (zh) 基于无人机的复合绝缘子缺陷检测***
CN108596883A (zh) 一种基于深度学习和距离约束的航拍图像防震锤滑移故障诊断方法
CN105303162B (zh) 一种基于目标建议算法的航拍图像绝缘子识别方法
CN111597901A (zh) 非法广告牌监控方法
CN115761537B (zh) 一种面向动态特征补充机制的输电线路异物入侵识别方法
CN113076899B (zh) 一种基于目标跟踪算法的高压输电线路异物检测方法
CN114359695A (zh) 基于不确定性估计的绝缘子破损识别方法
CN113469950A (zh) 一种基于深度学习的复合绝缘子异常发热缺陷的诊断方法
CN113962973A (zh) 一种基于卫星技术的输电线路无人机智能巡检***及方法
CN112329584A (zh) 基于机器视觉自动识别电网异物的方法及***、设备
Hao et al. Detection of bird nests on power line patrol using single shot detector
CN112395953A (zh) 一种道面异物检测***
CN116310891A (zh) 一种云边协同输电线路缺陷智能检测***和方法
CN110136097A (zh) 一种基于特征金字塔的绝缘子故障识别方法与装置
CN113256668A (zh) 图像分割方法以及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant