CN112700498A - 一种基于深度学习的风力发电机叶尖定位方法及*** - Google Patents

一种基于深度学习的风力发电机叶尖定位方法及*** Download PDF

Info

Publication number
CN112700498A
CN112700498A CN202110050906.4A CN202110050906A CN112700498A CN 112700498 A CN112700498 A CN 112700498A CN 202110050906 A CN202110050906 A CN 202110050906A CN 112700498 A CN112700498 A CN 112700498A
Authority
CN
China
Prior art keywords
blade tip
coordinate system
pixel
coordinates
coordinate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110050906.4A
Other languages
English (en)
Inventor
董礼
苏宝定
成和祥
李靖
张振宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CGN Wind Energy Ltd
Original Assignee
CGN Wind Energy Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CGN Wind Energy Ltd filed Critical CGN Wind Energy Ltd
Priority to CN202110050906.4A priority Critical patent/CN112700498A/zh
Publication of CN112700498A publication Critical patent/CN112700498A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20164—Salient point detection; Corner detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习的风力发电机叶尖定位方法和***，所述方法包括：构建风机结构提取网络并进行网络训练，得到经训练的风机结构提取网络模型；将采集的风机原始图片输入经训练的风机结构提取网络模型中进行风机结构特征提取，获得包含叶尖区域的像素图片；利用所述包含叶尖区域的像素图片建立像素坐标系并获取叶尖在所述像素坐标系下的像素坐标；对所述叶尖的像素坐标进行坐标转换，获得叶尖在地理坐标系下的坐标。本发明的风力发电机叶尖定位方法和***使用深度学习的方法，相较于传统的目标检测技术，具有更高的鲁棒性和准确率，且能够减少无人机巡检前期的搜索叶尖工作，缩短无人机的飞行时间。

Description

一种基于深度学习的风力发电机叶尖定位方法及***
技术领域
本发明属于风机巡检技术领域，具体涉及一种基于深度学习的风力发电机叶尖定位方法及***。
背景技术
在利用无人机对风力发电机进行巡检的过程中，能够顺利完成巡检任务的关键在于确定叶尖的地理坐标，以为无人机的路径规划提供参考依据。风力发电机结构简单，相邻叶片之间成120°展开，最显著的特征即为三个叶尖区域。利用算法从无人机拍摄的图像中准确提取出三个叶尖的像素坐标，就能依据先验知识计算出风机在地理坐标系下的真实位置。
要实现这一过程，现有方法通常为：首先需要正确识别待检测风机的主要部件，其中包含风机塔筒、轮毂和叶片；然后再根据风机的形状特征，过滤和修正检测结果，逐步缩小叶尖的搜索区域；最后在一个很小的邻域内通过提取角点特征等方法提取出叶尖的像素级精度坐标。
风力发电场在我国分布广泛，风机型号多样，其地理环境和气候特征也有着显著差别，为风力发电机识别和检测任务带来了巨大挑战。传统的叶尖定位方法主要是利用基于图像识别的目标检测技术，该方法主要基于传统的图像处理方法，提取图像本身的关键点信息，比如图像的角点、特征点等，利用这些关键点的关系进行拼接。然而，获得的照片中风力发电机并不一定位于图像中间，且背景复杂，使得关键点可能位于背景上，而不是风力发电机结构上，使得算法无法识别到有用信息，导致定位出现错误。此外，关键点检测和匹配过程需要大量计算，耗时相对较多，在图像尺寸较大、数量较多时，定位叶尖的效率较低。
发明内容
为了解决现有技术中存在的上述问题，本发明提供了一种基于深度学习的风力发电机叶尖定位方法及***。本发明要解决的技术问题通过以下技术方案实现：
本发明提供了一种基于深度学习的风力发电机叶尖定位方法，包括：
构建风机结构提取网络并进行网络训练，得到经训练的风机结构提取网络模型；
将采集的风机原始图片输入经训练的风机结构提取网络模型中进行风机结构特征提取，获得包含叶尖区域的像素图片；
利用所述包含叶尖区域的像素图片建立像素坐标系并获取叶尖在所述像素坐标系下的像素坐标；
对所述叶尖的像素坐标进行坐标转换，获得叶尖在地理坐标系下的坐标。
在本发明的一个实施例中，构建风机结构提取网络并进行网络训练，得到经训练的风机结构提取网络模型，包括：
构建风机结构提取网络；
预先获取大量风机图片并对所述风机图片中的叶片特征进行人工标注，生成训练数据集；
利用所述训练数据集对所述风机结构提取网络进行训练和优化，得到经训练的风机结构提取网络模型。
在本发明的一个实施例中，所述风机结构提取网络为Mask R-CNN网络。
在本发明的一个实施例中，利用所述包含叶尖区域的像素图片建立像素坐标系并获取叶尖在所述像素坐标系下的像素坐标，包括：
将所述包含叶尖区域的像素图片的平面左下角为原点建立像素坐标系，垂直向上为纵轴，水平向右为横轴，坐标轴单位为像素；
利用Harris角点检测算法对包含叶尖区域的像素图片进行叶尖定位，并获取叶尖在所述像素坐标系下的像素坐标。
在本发明的一个实施例中，对所述叶尖的像素坐标进行坐标转换，获得转换为叶尖的在地理坐标系下的世界坐标坐标，包括：
将叶尖的像素坐标转换为叶尖在相机坐标系下的坐标；
利用相机的姿态角，将叶尖在相机坐标系下的叶尖坐标转换为在云台坐标系下的坐标；
将叶尖在云台坐标系中下的坐标转换为叶尖在无人机机体坐标系下的坐标；
利用无人机机体的姿态角，将叶尖在无人机机体坐标系中下的坐标转化为在地理坐标下的叶尖坐标，其中，
所述地理坐标系为右手坐标系，将无人机重心的位置作为原点，x轴指向正北方向，z轴指向地面方向。
本发明的另一方面提供了一种基于深度学习的风力发电机叶尖定位***，用于执行上述实施例中任一项所述的风力发电机叶尖定位方法，所述***包括：
风机叶尖提取模块，用于利用经训练的风机结构提取网络模型对采集的风机原始图片进行风机结构特征提取，获得包含叶尖区域的像素图片；
像素坐标获取模块，用于利用所述包含叶尖区域的像素图片建立像素坐标系并获取叶尖在所述像素坐标系下的像素坐标；
坐标转换模块，用于对所述叶尖的像素坐标进行坐标转换，获得叶尖在地理坐标系下的坐标。
在本发明的一个实施例中，所述风力发电机叶尖定位***还包括网络训练模块，用于利用训练数据集对所述风机结构提取网络进行训练和优化，得到经训练的风机结构提取网络模型，其中，所述训练数据集是通过预先获取大量风机图片并对所述风机图片中的叶片特征进行人工标注获得的。
在本发明的一个实施例中，所述坐标转换模块具体用于：
将叶尖的像素坐标转换为叶尖在相机坐标系下的坐标；
利用相机的姿态角，将叶尖在相机坐标系下的叶尖坐标转换为在云台坐标系下的坐标；
将叶尖在云台坐标系下的坐标转换为叶尖在无人机机体坐标系下的坐标；
利用无人机机体的姿态角，将叶尖在无人机机体坐标系中下的坐标转化为在地理坐标下的叶尖坐标，其中，
所述地理坐标系为右手坐标系，将无人机重心的位置作为原点，x轴指向正北方向，z轴指向地面方向。
本发明的又一方面提供了一种存储介质，所述存储介质中存储有计算机程序，所述计算机程序用于执行上述实施例中任一项所述的风力发电机叶尖定位方法的步骤。
与现有技术相比，本发明的有益效果在于：
1、本发明的风力发电机叶尖定位方法基于深度学习的方法获得包含叶尖区域的像素图片，随后获得所述像素图片中的叶尖的像素坐标，最后将叶尖的像素坐标转换为叶尖在地理坐标系下的坐标，从而完成叶尖定位，便于后续确定风机叶片的巡检路线，相较于传统的定位方法，基于深度神经网络的叶尖定位方法具有更高的鲁棒性和准确率。
2、该风力发电机叶尖定位方法和***充分利用风力发电机的结构特征进行图片标注，再通过标注的图片进行神经网络的训练和优化，使神经网络的检测精度得到了提高，能够识别出各个风机结构，且能够有效滤除背景中较远的风力发电机结构，避免干扰结果。
3、本发明使用深度学习神经网络，从图像中提取出风力发电机的叶尖坐标，能够减少无人机巡检前期的搜索叶尖工作，缩短无人机的飞行时间。
以下将结合附图及实施例对本发明做进一步详细说明。
附图说明
图1是本发明实施例提供的一种基于深度学习的风力发电机叶尖定位方法的流程图；
图2是本发明实施例提供的一种Mask R-CNN网络的结构示意图；
图3是本发明实施例提供的一个经过人工标注后的风机图片示意图；
图4是经过风机结构提取网络模型获取的包含叶尖区域的输出框图像；
图5是图4中的包含叶尖区域的图像的Harris角点检测结果；
图6是本发明实施例提供的一种相机坐标转换模型示意图；
图7是本发明实施例提供的一种像素坐标系与成像平面坐标系的关系图；
图8是本发明实施例提供的一种相机坐标系与云台坐标系的关系图；
图9是本发明实施例提供的一种基于深度学习的风力发电机叶尖定位***的模块图。
具体实施方式
为了进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及具体实施方式，对依据本发明提出的一种基于深度学习的风力发电机叶尖定位方法及***进行详细说明。
有关本发明的前述及其他技术内容、特点及功效，在以下配合附图的具体实施方式详细说明中即可清楚地呈现。通过具体实施方式的说明，可对本发明为达成预定目的所采取的技术手段及功效进行更加深入且具体地了解，然而所附附图仅是提供参考与说明之用，并非用来对本发明的技术方案加以限制。
应当说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的物品或者设备中还存在另外的相同要素。
实施例一
请参见图1，图1是本发明实施例提供的一种基于深度学习的风力发电机叶尖定位方法的流程图。该风力发电机叶尖定位方法包括：
S1：构建风机结构提取网络并进行网络训练，得到经训练的风机结构提取网络模型；
步骤S1具体包括：
S11：构建风机结构提取网络；
在本实施例中，所使用的风机结构提取网络为Mask R-CNN(Mask Region withCNN feature)网络。Mask R-CNN网络可实现像素级别的图像实例分隔，将物体检测和目标分隔同时并行处理。具体地，请参见图2，图2是本发明实施例提供的一种Mask R-CNN网络的结构示意图。Mask R-CNN是在Faster R-CNN基础上发展而来，在其基础上增加RoIAlign以及全卷积网络(Fully Convolutional Network，FCN)，Mask R-CNN将分类预测和掩码(mask)预测拆分为网络的两个分支，分类预测分支与Faster R-CNN相同，对兴趣区域给出预测，产生类别标签以及矩形框坐标输出，而掩码预测分支产生的每个二值掩码依赖分类预测结果，基于此刻分隔出物体。Mask R-CNN对每个类别均独立地预测一个二值掩码，避开类间的竞争。进一步地，Mask R-CNN是逐像素分隔。
S12：预先获取大量风机图片并对所述风机图片中的叶片特征进行人工标注，生成训练数据集；
在本步骤中，将无人机采集的大量风机叶片经过人工标注，这里主要标注风力发电机的四个结构：风机塔筒(tower)、轮毂(hub)、叶片(blade)和尖端(tip)。请参见图3，图3是本发明实施例提供的一个经过人工标注后的风机图片示意图。将这些经过人工标注的大量风机叶片作为用于训练风机结构提取网络的训练数据集。
S13：利用所述训练数据集对所述风机结构提取网络进行训练和优化，得到经训练的风机结构提取网络模型。
具体地，将经人工标注的大量风机叶片输入到构建的风机结构提取网络中，目的是得到风机的各部分结构的像素区域，经过训练数据集的不断训练，可以使构建的风机结构提取网络的检测精度得到提高，能够识别出各个风机结构，且能够有效滤除背景中较远的风力发电机结构，避免干扰结果。这里使用Mask R-CNN网络进行训练，学习经过人工标注的训练数据集的风机结构信息，输出可靠的风机结构信息。
S2：将采集的风机原始图片输入经训练的风机结构提取网络模型中进行风机结构特征提取，获得包含叶尖区域的像素图片；
具体地，如图2所示，将风机原始图片经过灰度化预处理后输入经训练的风机结构提取网络模型中，首先送入到特征提取网络得到特征图，经过池化层和RPN网络((RegionProposal Network，区域生成网络)，然后对特征图的每一个像素位置设定固定个数的ROI(region of interest，感兴趣区域)，将ROI区域送入RPN网络进行二分类(前景和背景)以及坐标回归，以获得精炼后的ROI区域，再经过损失函数L＝Lcls+Lbox+Lmask，其中，Lcs表示预测框的分类损失，Lbox表示预测框的回归损失，Lmask表示对每个像素进行分类，其含有K*m*m维度的输出，K表示类别的数量，m*m表示提取的ROI图像的大小。经过上述步骤，最终从该风机结构提取网络模型中分别得到了风力发电机的风机塔筒、轮毂、叶片和尖端的输出框。请参见图4，图4是经过风机结构提取网络模型提取的包含叶尖区域的多个像素图像输出框。
S3：利用所述包含叶尖区域的像素图片建立像素坐标系并获取叶尖在所述像素坐标系下的像素坐标；
该步骤的目的是将叶尖区域的像素信息提取出来，得到叶尖区域输出框中叶尖的像素坐标。叶尖的像素坐标是指叶尖在像素坐标系中的坐标，这里所述的像素坐标系是以包含叶尖区域的输出框图像的左下角为原点，以图像的两条边作为横轴和纵轴建立的坐标系，坐标轴单位为像素。
在本实施例中，利用Harris角点检测算法对包含叶尖区域的像素图片进行叶尖定位，并获取叶尖在所述像素坐标系下的像素坐标。Harris角点检测的基本思想是在图像某个区域内，利用一个固定的小窗口进行任意方向上的滑动，比较滑动前后窗口灰度值的变化情况。如果灰度值在各个方向上均不发生变化，则该区域可能是均匀区域；如果灰度值只在一个方向上变化，则该区域可能是图像边缘；如果灰度值在任意方向上都有较大的变化，那么该区域可能是角点。利用Harris角点检测程序即可检测出来的叶尖的像素点并获得叶尖的像素坐标。请参见图5，图5是图4中的包含叶尖区域的图像的Harris角点检测结果，其中，圆圈区域表示叶尖所在位置。
S4：对所述叶尖的像素坐标进行坐标转换，获得叶尖在地理坐标系下的坐标。
步骤S4具体包括：
S41：将叶尖的像素坐标转换为叶尖在相机坐标系下的坐标；
请参见图6，图6是本发明实施例提供的一种相机坐标转换模型示意图。在该相机坐标转换模型中，投影中心O是相机坐标系的中心点，z轴是相机的主轴，q点所在的平面是包含叶尖区域的像素图像的像素坐标系所在的二维平面。O点到O1的距离f为相机的焦距。以O点为原点建立相机坐标系，相机坐标系空间中的一点Q(X,Y,Z)在图像平面上的投影点为q(x,y,f)。
上述Q点到q点的变换关系用3*3矩阵可以表示为：q＝MQ，其中，
Figure BDA0002899018220000091
M为相机的内参数，通过标定相机可以得到相机内参数。
请参见图7，图7是本发明实施例提供的一种像素坐标系与图像平面坐标系的关系图。假设以图像平面左下角为原点建立图像坐标系，垂直向上为v轴，水平向右为u轴，坐标轴单位为像素。以光轴与图像平面的交点O1为原点建立坐标系，垂直向上为y轴，水平向右为x轴。图像中心处为原点O1，它在图像坐标系中的坐标为(u0,v0)。
假设每个像素的物理尺寸为dx*dy(mm)，图像平面上某点在在像素坐标系中的坐标为U(u,v)，图像平面坐标系中的坐标为P(x,y)，则二者之间的关系可以表示为：
Figure BDA0002899018220000101
则像素坐标系到相机坐标系的转换关系为：
Figure BDA0002899018220000102
Figure BDA0002899018220000103
其中，z表示相机深度，即相机到拍摄物体的距离，f表示相机的焦距。
S42：利用相机的姿态角，将相机坐标系中下的叶尖坐标转换为云台坐标系下的叶尖坐标；
请参见图8，图8是本发明实施例提供的一种相机坐标系与云台坐标系的关系图。云台是安装和固定相机的支撑设备，云台坐标系的原点位于云台重心。云台坐标系的Xe轴为无人机的前进方向，Ye轴为右向，Ze轴与Xe轴和Ye轴构成右手坐标系。如图所示，相机坐标系原点与云台坐标系原点重合，相机坐标系中的一点P(X，Y，Z)转换到云台坐标系Pe(Xe，Ye，Ze)关系表达式为P＝Rc*Pe，Rc为转换矩阵。
设camera_pitch、camera_yaw和camera_roll分别表示相机姿态角中的俯仰角、偏航角和翻滚角，其可以通过云台上设置的传感器直接获得。
camera_pitch＝θc,
Figure BDA0002899018220000111
camera_roll＝ψc，相机坐标系与云台坐标系下的坐标关系表示为：
Figure BDA0002899018220000112
根据上述关系式即可将叶尖在相机坐标系中下的坐标转换为云台坐标系下的坐标。
S43：将叶尖在云台坐标系中下的坐标转换为叶尖在无人机机体坐标系下的坐标；
具体地，无人机坐标系以无人机重心的位置作为原点，Xb轴为无人机的前进方向，Yb轴为无人机的前进方向右向90°，Zb轴与Xb轴和Yb轴构成右手坐标系。云台坐标系与无人机机体坐标系之间有一个安装位置偏差Pg(Xg,Yg,Zg)，云台坐标系到机体坐标系Pb(Xb,Yb,Zb)之间的转换可以表示如下：
Figure BDA0002899018220000113
根据上述关系式即可将云台坐标系中下的叶尖坐标为无人机机体坐标系下的叶尖坐标。
S44：利用无人机机体的姿态角，将叶尖在无人机机体坐标系中下的坐标转化为在地理坐标下的叶尖坐标。
为了计算方便，使地理坐标系与无人机机体坐标系具有相同的原点，选取无人机重心的位置为地理坐标系的原点，Xs轴指向正北方向，Zs轴由原点指向地面方向，Ys与Zs轴和Xs轴组合起来构成右手坐标系。该坐标系也为笛卡尔坐标系。当无人机姿态角均为零时，无人机坐标系与地理坐标系重合。设pitch、yaw和roll分别表示无人机机体姿态角中的俯仰角、偏航角和翻滚角，则无人机坐标系即为地理坐标系绕Xb轴、Yb轴和Zb轴分别旋转roll、pitch和yaw角度后形成的坐标系，其中，无人机机体的俯仰角、偏航角和翻滚角可以通过无人机机体上设置的传感器直接获得。
将无人机机体坐标系中下的叶尖坐标Pb(Xb,Yb,Zb)转化为地理坐标下的叶尖坐标Pd(Xd,Yd,Zd)的关系式为：Pd＝Rd*Pb，其中，Rd为转换矩阵。
设pitch＝θ,
Figure BDA0002899018220000121
roll＝ψ，则机体坐标系与地理坐标系的关系为：
Figure BDA0002899018220000122
根据上述关系式即可将叶尖在无人机机体坐标系中下的坐标转化为在地理坐标下的坐标。
在后续处理中，即可利用风机叶尖在地理坐标系下的坐标进行风机叶片巡检路径规划，以便无人机按照所规划的路径进行巡检。
本实施例的风力发电机叶尖定位方法基于深度学习的方法获得包含叶尖区域的像素图片，随后获得所述像素图片中的叶尖的像素坐标，最后将叶尖的像素坐标转换为叶尖在地理坐标系下的坐标，从而完成叶尖定位，便于后续确定风机叶片的巡检路线，相较于传统的定位方法，基于深度神经网络的叶尖定位方法具有更高的鲁棒性和准确率。该风力发电机叶尖定位方法和***充分利用风力发电机的结构特征进行图片标注，再通过标注的图片进行神经网络的训练和优化，使神经网络的检测精度得到了提高，能够识别出各个风机结构，且能够有效滤除背景中较远的风力发电机结构，避免干扰结果。另外，本发明使用深度学习神经网络，从图像中提取出风力发电机的叶尖坐标，能够减少无人机巡检前期的搜索叶尖工作，缩短无人机的飞行时间。例如使用激光雷达或人工手段，需要控制无人机飞往叶尖位置采集坐标点，采用视觉的方式，无人机只需悬停在合适的高度即可。
实施例二
在上述实施例的基础上，本实施例提供了一种基于深度学习的风力发电机叶尖定位***，用于执行实施例一所述的风力发电机叶尖定位方法。请参见图9，图9是本发明实施例提供的一种基于深度学习的风力发电机叶尖定位***的模块图。本实施例的风力发电机叶尖定位***包括风机叶尖提取模块1、像素坐标获取模块2和坐标转换模块3，其中，风机叶尖提取模块1用于利用经训练的风机结构提取网络模型对采集的风机原始图片进行风机结构特征提取，获得包含叶尖区域的像素图片；像素坐标获取模块2用于利用所述包含叶尖区域的像素图片建立像素坐标系并获取叶尖在所述像素坐标系下的像素坐标；坐标转换模块3用于对所述叶尖的像素坐标进行坐标转换，获得叶尖在地理坐标系下的坐标。
进一步地，本实施例的风力发电机叶尖定位***还包括网络训练模块4，用于利用训练数据集对所述风机结构提取网络进行训练和优化，得到经训练的风机结构提取网络模型，其中，所述训练数据集是通过预先获取大量风机图片并对所述风机图片中的叶片特征进行人工标注获得的。
所述坐标转换模块3具体用于：
将叶尖的像素坐标转换为叶尖在相机坐标系下的坐标；
利用相机的姿态角，将叶尖在相机坐标系下的叶尖坐标转换为在云台坐标系下的坐标；
将叶尖在云台坐标系中下的坐标转换为叶尖在无人机机体坐标系下的坐标；
利用无人机机体的姿态角，将叶尖在无人机机体坐标系中下的坐标转化为在地理坐标下的叶尖坐标，其中，
所述地理坐标系为右手坐标系，将无人机重心的位置作为原点，x轴指向正北方向，z轴指向地面方向。
具体的坐标转换过程，请参见实施例一，这里不再赘述。
在本发明所提供的几个实施例中，应该理解到，本发明所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
本发明的又一实施例提供了一种存储介质，所述存储介质中存储有计算机程序，所述计算机程序用于执行上述实施例中所述的风力发电机叶尖定位方法步骤。本发明的再一方面提供了一种电子设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器调用所述存储器中的计算机程序时实现如上述实施例所述风力发电机叶尖定位方法的步骤。具体地，上述以软件功能模块的形式实现的集成的模块，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台电子设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (9)

1.一种基于深度学习的风力发电机叶尖定位方法，其特征在于，包括：
构建风机结构提取网络并进行网络训练，得到经训练的风机结构提取网络模型；
将采集的风机原始图片输入经训练的风机结构提取网络模型中进行风机结构特征提取，获得包含叶尖区域的像素图片；
利用所述包含叶尖区域的像素图片建立像素坐标系并获取叶尖在所述像素坐标系下的像素坐标；
对所述叶尖的像素坐标进行坐标转换，获得叶尖在地理坐标系下的坐标。
2.根据权利要求1所述的基于深度学习的风力发电机叶尖定位方法，其特征在于，构建风机结构提取网络并进行网络训练，得到经训练的风机结构提取网络模型，包括：
构建风机结构提取网络；
预先获取大量风机图片并对所述风机图片中的叶片特征进行人工标注，生成训练数据集；
利用所述训练数据集对所述风机结构提取网络进行训练和优化，得到经训练的风机结构提取网络模型。
3.根据权利要求1所述的基于深度学习的风力发电机叶尖定位方法，其特征在于，所述风机结构提取网络为Mask R-CNN网络。
4.根据权利要求1所述的基于深度学习的风力发电机叶尖定位方法，其特征在于，利用所述包含叶尖区域的像素图片建立像素坐标系并获取叶尖在所述像素坐标系下的像素坐标，包括：
将所述包含叶尖区域的像素图片的平面左下角为原点建立像素坐标系，垂直向上为纵轴，水平向右为横轴，坐标轴单位为像素；
利用Harris角点检测算法对包含叶尖区域的像素图片进行叶尖定位，并获取叶尖在所述像素坐标系下的像素坐标。
5.根据权利要求1所述的基于深度学习的风力发电机叶尖定位方法，其特征在于，对所述叶尖的像素坐标进行坐标转换，获得转换为叶尖的在地理坐标系下的世界坐标坐标，包括：
将叶尖的像素坐标转换为叶尖在相机坐标系下的坐标；
利用相机的姿态角，将叶尖在相机坐标系下的叶尖坐标转换为在云台坐标系下的坐标；
将叶尖在云台坐标系中下的坐标转换为叶尖在无人机机体坐标系下的坐标；
利用无人机机体的姿态角，将叶尖在无人机机体坐标系中下的坐标转化为在地理坐标下的叶尖坐标，其中，
所述地理坐标系为右手坐标系，将无人机重心的位置作为原点，x轴指向正北方向，z轴指向地面方向。
6.一种基于深度学习的风力发电机叶尖定位***，其特征在于，用于执行权利要求1至5中任一项所述的风力发电机叶尖定位方法，所述***包括：
风机叶尖提取模块，用于利用经训练的风机结构提取网络模型对采集的风机原始图片进行风机结构特征提取，获得包含叶尖区域的像素图片；
像素坐标获取模块，用于利用所述包含叶尖区域的像素图片建立像素坐标系并获取叶尖在所述像素坐标系下的像素坐标；
坐标转换模块，用于对所述叶尖的像素坐标进行坐标转换，获得叶尖在地理坐标系下的坐标。
7.根据权利要求6所述的基于深度学习的风力发电机叶尖定位***，其特征在于，还包括网络训练模块，用于利用训练数据集对所述风机结构提取网络进行训练和优化，得到经训练的风机结构提取网络模型，其中，所述训练数据集是通过预先获取大量风机图片并对所述风机图片中的叶片特征进行人工标注获得的。
8.根据权利要求6所述的基于深度学习的风力发电机叶尖定位***，其特征在于，所述坐标转换模块具体用于：
将叶尖的像素坐标转换为叶尖在相机坐标系下的坐标；
利用相机的姿态角，将叶尖在相机坐标系下的叶尖坐标转换为在云台坐标系下的坐标；
将叶尖在云台坐标系中下的坐标转换为叶尖在无人机机体坐标系下的坐标；
利用无人机机体的姿态角，将叶尖在无人机机体坐标系中下的坐标转化为在地理坐标下的叶尖坐标，其中，
所述地理坐标系为右手坐标系，将无人机重心的位置作为原点，x轴指向正北方向，z轴指向地面方向。
9.一种存储介质，其特征在于，所述存储介质中存储有计算机程序，所述计算机程序用于执行权利要求1至5中任一项所述的风力发电机叶尖定位方法的步骤。
CN202110050906.4A 2021-01-14 2021-01-14 一种基于深度学习的风力发电机叶尖定位方法及*** Pending CN112700498A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110050906.4A CN112700498A (zh) 2021-01-14 2021-01-14 一种基于深度学习的风力发电机叶尖定位方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110050906.4A CN112700498A (zh) 2021-01-14 2021-01-14 一种基于深度学习的风力发电机叶尖定位方法及***

Publications (1)

Publication Number Publication Date
CN112700498A true CN112700498A (zh) 2021-04-23

Family

ID=75515128

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110050906.4A Pending CN112700498A (zh) 2021-01-14 2021-01-14 一种基于深度学习的风力发电机叶尖定位方法及***

Country Status (1)

Country Link
CN (1) CN112700498A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113393447A (zh) * 2021-06-24 2021-09-14 四川启睿克科技有限公司 基于深度学习的针尖正位度检测方法及***
CN114723184A (zh) * 2022-06-08 2022-07-08 广东数字生态科技有限责任公司 一种基于视觉感知的风力发电机测量方法、装置以及设备
CN114859971A (zh) * 2022-05-07 2022-08-05 北京卓翼智能科技有限公司 用于风力涡轮机监测的智能无人机

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010110697A2 (ru) * 2009-03-26 2010-09-30 Общество С Ограниченной Ответственностью "Beтpoceти" Ветроэнергетическая установка
CN110189315A (zh) * 2019-05-28 2019-08-30 李峥嵘 一种风电机组叶片无人机自动定位方法
CN110554704A (zh) * 2019-08-15 2019-12-10 成都优艾维智能科技有限责任公司 一种基于无人机的风机叶片自主巡检方法
CN111982291A (zh) * 2019-05-23 2020-11-24 杭州海康机器人技术有限公司 一种基于无人机的火点定位方法、装置及***
CN112068539A (zh) * 2019-05-23 2020-12-11 李峥嵘 一种风电机组叶片无人机自动驾驶巡检方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010110697A2 (ru) * 2009-03-26 2010-09-30 Общество С Ограниченной Ответственностью "Beтpoceти" Ветроэнергетическая установка
CN111982291A (zh) * 2019-05-23 2020-11-24 杭州海康机器人技术有限公司 一种基于无人机的火点定位方法、装置及***
CN112068539A (zh) * 2019-05-23 2020-12-11 李峥嵘 一种风电机组叶片无人机自动驾驶巡检方法
CN110189315A (zh) * 2019-05-28 2019-08-30 李峥嵘 一种风电机组叶片无人机自动定位方法
CN110554704A (zh) * 2019-08-15 2019-12-10 成都优艾维智能科技有限责任公司 一种基于无人机的风机叶片自主巡检方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
齐欣编著: "摄影技艺经典", vol. 1, 上海人民美术出版社, pages: 127 - 128 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113393447A (zh) * 2021-06-24 2021-09-14 四川启睿克科技有限公司 基于深度学习的针尖正位度检测方法及***
CN113393447B (zh) * 2021-06-24 2022-08-02 四川启睿克科技有限公司 基于深度学习的针尖正位度检测方法及***
CN114859971A (zh) * 2022-05-07 2022-08-05 北京卓翼智能科技有限公司 用于风力涡轮机监测的智能无人机
CN114723184A (zh) * 2022-06-08 2022-07-08 广东数字生态科技有限责任公司 一种基于视觉感知的风力发电机测量方法、装置以及设备
CN114723184B (zh) * 2022-06-08 2022-10-11 广东数字生态科技有限责任公司 一种基于视觉感知的风力发电机测量方法、装置以及设备

Similar Documents

Publication Publication Date Title
CN110869974B (zh) 点云处理方法、设备及存储介质
CN112904877A (zh) 一种基于无人机的风机叶片自动巡检***及方法
CN113485453B (zh) 一种海上无人机巡检飞行路径生成方法、装置及无人机
CN112700498A (zh) 一种基于深度学习的风力发电机叶尖定位方法及***
CN111178148B (zh) 一种基于无人机视觉***的地面目标地理坐标定位方法
CN107589758A (zh) 一种基于双源视频分析的智能化野外无人机搜救方法与***
CN110966991A (zh) 一种无控制点下的单幅无人机影像定位方法
CN106529538A (zh) 一种飞行器的定位方法和装置
CN107741234A (zh) 一种基于视觉的离线地图构建及定位方法
CN111275015A (zh) 一种基于无人机的电力巡线电塔检测识别方法及***
CN109035294B (zh) 一种运动目标的图像提取***及方法
CN114004977A (zh) 一种基于深度学习的航拍数据目标定位方法及***
CN110956137A (zh) 点云数据的目标检测方法、***及介质
CN114415736B (zh) 一种无人机多阶段视觉精准降落方法和装置
CN114463308B (zh) 一种无人机视角光伏组件视觉检测方法、装置及处理设备
US20230105991A1 (en) Method of imaging a wind turbine rotor blade
CN113761999A (zh) 一种目标检测方法、装置、电子设备和存储介质
EP4068210A1 (en) System and method for automated estimation of 3d orientation of a physical asset
CN111598952A (zh) 一种多尺度合作靶标设计与在线检测识别方法及***
Liu et al. Deep-learning and depth-map based approach for detection and 3-D localization of small traffic signs
CN111862200B (zh) 一种煤棚内无人机定位方法
CN114511792B (zh) 一种基于帧计数的无人机对地探测方法及***
CN116486290B (zh) 一种无人机监测追踪方法、装置、电子设备及存储介质
CN113837044A (zh) 基于环境亮度的器官定位方法及相关设备
CN111758118B (zh) 一种视觉定位方法、装置、设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination