CN114723184B - 一种基于视觉感知的风力发电机测量方法、装置以及设备 - Google Patents
一种基于视觉感知的风力发电机测量方法、装置以及设备 Download PDFInfo
- Publication number
- CN114723184B CN114723184B CN202210639336.7A CN202210639336A CN114723184B CN 114723184 B CN114723184 B CN 114723184B CN 202210639336 A CN202210639336 A CN 202210639336A CN 114723184 B CN114723184 B CN 114723184B
- Authority
- CN
- China
- Prior art keywords
- driven generator
- wind driven
- blade tip
- point
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 83
- 230000016776 visual perception Effects 0.000 title claims abstract description 54
- 238000001514 detection method Methods 0.000 claims abstract description 110
- 230000008569 process Effects 0.000 claims abstract description 44
- 238000012545 processing Methods 0.000 claims abstract description 31
- 238000010586 diagram Methods 0.000 claims abstract description 28
- 238000012549 training Methods 0.000 claims abstract description 22
- 230000006870 function Effects 0.000 claims abstract description 16
- 239000010410 layer Substances 0.000 claims description 47
- 239000013598 vector Substances 0.000 claims description 39
- 238000005215 recombination Methods 0.000 claims description 25
- 230000006798 recombination Effects 0.000 claims description 25
- 238000005259 measurement Methods 0.000 claims description 20
- 238000000691 measurement method Methods 0.000 claims description 17
- 238000000605 extraction Methods 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 12
- 238000013507 mapping Methods 0.000 claims description 12
- 239000011159 matrix material Substances 0.000 claims description 9
- 238000004422 calculation algorithm Methods 0.000 claims description 7
- 230000000694 effects Effects 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 5
- 230000000007 visual effect Effects 0.000 claims description 4
- 239000002356 single layer Substances 0.000 claims description 3
- 238000007689 inspection Methods 0.000 abstract description 17
- 238000005516 engineering process Methods 0.000 abstract description 7
- 238000013473 artificial intelligence Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 239000000428 dust Substances 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000004438 eyesight Effects 0.000 description 2
- 230000008521 reorganization Effects 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000008021 deposition Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000010248 power generation Methods 0.000 description 1
- 238000010223 real-time analysis Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F03—MACHINES OR ENGINES FOR LIQUIDS; WIND, SPRING, OR WEIGHT MOTORS; PRODUCING MECHANICAL POWER OR A REACTIVE PROPULSIVE THRUST, NOT OTHERWISE PROVIDED FOR
- F03D—WIND MOTORS
- F03D17/00—Monitoring or testing of wind motors, e.g. diagnostics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C1/00—Registering, indicating or recording the time of events or elapsed time, e.g. time-recorders for work people
- G07C1/20—Checking timed patrols, e.g. of watchman
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
- Y02E10/00—Energy generation through renewable energy sources
- Y02E10/70—Wind energy
- Y02E10/72—Wind turbines with rotation axis in wind direction
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Economics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Strategic Management (AREA)
- Human Resources & Organizations (AREA)
- Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Tourism & Hospitality (AREA)
- Evolutionary Computation (AREA)
- General Business, Economics & Management (AREA)
- Artificial Intelligence (AREA)
- Marketing (AREA)
- General Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Software Systems (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Public Health (AREA)
- Water Supply & Treatment (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Primary Health Care (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- Sustainable Development (AREA)
- Sustainable Energy (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Mechanical Engineering (AREA)
- Development Economics (AREA)
- Game Theory and Decision Science (AREA)
- Entrepreneurship & Innovation (AREA)
Abstract
Description
技术领域
本申请涉及风力发电领域,具体涉及一种基于视觉感知的风力发电机测量方法、装置以及设备。
背景技术
风能是一种清洁的可再生能源,开发风能对于改善能源结构、缓解能源压力、保护环境等意义重大。近些年,风力发电机机组在我国得到了广泛的应用,但由于风力发电机机组通常处于野外,环境条件恶劣,容易出现故障,需定期对风力发电机进行检修,以保证风力发电机的可靠运作。但风力发电机地处偏远,人工巡检不仅存在安全性差、工作量大、效率低等问题,而且受观测方式影响,不能全面排查问题。
传统技术中通常借助望远镜、地面高倍相机、吊篮等设备使用人工手动进行风力发电机叶片巡检。望远镜观察,一次只能观察叶片的下表面;另外人员巡检有视线盲区,再加上叶片表面油渍,污垢,积沙尘等遮盖,从地面用望远镜很难发现。另外地面观察容易形成误诊,比如叶片磨蚀形成麻面后吸附的静电灰尘,往往会被误认为是漏油产出的积灰现象。吊篮高空作业可以准确判断叶片表面情况,但是吊篮巡检需要时间久,对环境条件要求也比较苛刻,必须使得叶片垂直向下,一次只能巡检一片叶片。且吊篮高空作业对天气环境等敏感,大风、下雨等都不能登高作业。而通过无人机进行自动巡检,能够很好地的代替人工进行检测。
然而现有技术中的自动巡检往往是通过提前规划巡检路径来实现,但由于风力发电机停机检修状态不一致,需对风力发电机进行重新建模,导致增加了巡检的工作量,因此,结合先进的数字图像处理技术和计算机视觉理论,感知复杂环境下目标风力发电机的位置成为无人机风力发电机巡检***中至关重要的环节,由此可见,在利用无人机对风力发电机进行巡检的过程中,能够顺利完成巡检任务的关键在于确定风力发电机的位置,从而为无人机的路径规划提供参考依据。
而在现有的相关技术的研究过程中,发明人发现,现有基于无人机测量风力发电机的位置及其姿态时,存在本身精度不高的问题或者存在易受应用条件影响而导致不精确的问题。
发明内容
本申请提供了一种基于视觉感知的风力发电机测量方法、装置以及设备,用于基于视觉感知技术,稳定且高精度地检测风力发电机的桨叶叶尖点,为后续的风力发电机的姿态处理还有巡检线路的规划提供精确的数据支持。
第一方面,本申请提供了一种基于视觉感知的风力发电机测量方法,方法包括:
获取无人机从风力发电机处采集的图像;
将图像输入预先配置的桨叶叶尖点检测模型,以识别图像中的桨叶叶尖点,其中,桨叶叶尖点检测模型是由风力发电机全貌图与桨叶叶尖点掩膜组成图像掩膜对,训练初始模型识别输入图像的桨叶叶尖点得到的,并于训练过程中计算关键点的检测结果来计算损失函数数值以此优化模型参数;
提取桨叶叶尖点检测模型输出的桨叶叶尖点检测结果,桨叶叶尖点检测结果以坐标形式进行配置。
第二方面,本申请提供了一种基于视觉感知的风力发电机测量装置,装置包括:
获取单元,用于获取无人机从风力发电机处采集的图像;
检测单元,用于将图像输入预先配置的桨叶叶尖点检测模型,以识别图像中的桨叶叶尖点,其中,桨叶叶尖点检测模型是由风力发电机全貌图与桨叶叶尖点掩膜组成图像掩膜对,训练初始模型识别输入图像的桨叶叶尖点得到的,并于训练过程中计算关键点的检测结果来计算损失函数数值以此优化模型参数;
提取单元,用于提取桨叶叶尖点检测模型输出的桨叶叶尖点检测结果,桨叶叶尖点检测结果以坐标形式进行配置。
第三方面,本申请提供了一种基于视觉感知的风力发电机测量设备,包括处理器和存储器,存储器中存储有计算机程序,处理器调用存储器中的计算机程序时执行本申请第一方面或者本申请第一方面任一种可能的实现方式提供的方法。
第四方面,本申请提供了一种计算机可读存储介质,计算机可读存储介质存储有多条指令,指令适于处理器进行加载,以执行本申请第一方面或者本申请第一方面任一种可能的实现方式提供的方法。
从以上内容可得出,本申请具有以下的有益效果:
针对于风力发电机的位置检测,本申请配置了一桨叶叶尖点检测模型,其是由风力发电机全貌图与桨叶叶尖点掩膜组成图像掩膜对,训练初始模型识别输入图像的桨叶叶尖点得到的,并于训练过程中计算关键点的检测结果来计算损失函数数值以此优化模型参数,基于该模型检测输入图像中的风力发电机桨叶叶尖点的过程中,由于同时应用风力发电机基本参数与关键点检测模型识别结果,降低了完全依赖人工智能模型的风险,实现数据间相互纠偏,通过像素级位置检测,降低了信息冗余,使技术内容更贴近业务场景,引入人工智能算法提升了对复杂场景的适应性,从而可以基于视觉感知技术,稳定且高精度地检测风力发电机的桨叶叶尖点,为后续的风力发电机的姿态处理还有巡检线路的规划提供精确的数据支持。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请基于视觉感知的风力发电机测量方法的一种流程示意图;
图2为本申请风力发电机的一种结构示意图;
图3为本申请桨叶叶尖点检测模型的一种检测流程示意图;
图4为本申请图像细化处理的一种实例示意图;
图5为本申请三角测量原理的一种场景示意图;
图6为本申请风力发电机机舱偏航角计算处理的一种场景示意图;
图7为本申请风力发电机桨叶旋转角计算处理的一种场景示意图;
图8为本申请风力发电机参数测量处理的一种场景示意图;
图10为本申请无人机的航线规划处理的一种场景示意图;
图11为本申请基于视觉感知的风力发电机测量方法的一种场景示意图;
图12为本申请基于视觉感知的风力发电机测量装置的一种结构示意图;
图13为本申请基于视觉感知的风力发电机测量设备的一种结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或模块的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或模块,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块。在本申请中出现的对步骤进行的命名或者编号,并不意味着必须按照命名或者编号所指示的时间/逻辑先后顺序执行方法流程中的步骤,已经命名或者编号的流程步骤可以根据要实现的技术目的变更执行次序,只要能达到相同或者相类似的技术效果即可。
本申请中所出现的模块的划分,是一种逻辑上的划分,实际应用中实现时可以有另外的划分方式,例如多个模块可以结合成或集成在另一个***中,或一些特征可以忽略,或不执行,另外,所显示的或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,模块之间的间接耦合或通信连接可以是电性或其他类似的形式,本申请中均不作限定。并且,作为分离部件说明的模块或子模块可以是也可以不是物理上的分离,可以是也可以不是物理模块,或者可以分布到多个电路模块中,可以根据实际的需要选择其中的部分或全部模块来实现本申请方案的目的。
在介绍本申请提供的基于视觉感知的风力发电机测量方法之前,首先介绍本申请所涉及的背景内容。
在上面提及了,现有基于无人机测量风力发电机的位置及其姿态时,存在本身精度不高的问题或者存在易受应用条件影响而导致不精确的问题,为方面理解该问题,还可借助以下示出的多个现有方案进行更为深入的理解。
现有方案1,一种基于无人机的海上风机塔柱状态巡检方法和装置(CN109931909A),其对无人机航拍影像使用SIFT特征点检测及匹配的方法,关联多张图片中的风力发电机桨叶叶尖点,进而计算出风力发电机桨叶叶尖点的地理坐标,然而风力发电机所处环境复杂,无人机航拍影像所包含的特征复杂性无法估量。
现有方案2,一种应用无人机进行风轮偏航角的确定方法(CN113187671A),采用无人机激光点云的方式获取风力发电机三维模型,并确定风力发电机偏航角,然而该方法受制于激光物理特性,难以应用于高海拔、多雨雾的场景,且激光点云处理过程计算复杂度高,难以做到实时性分析。
现有方案3,一种基于深度学习的风力发电机叶尖定位方法及***(CN112700498A),对风力发电机桨叶叶尖点使用目标检测模型进行定位,结合无人机经纬高及云台姿态计算风力发电机桨叶叶尖点地理坐标,但该方法使用Mask R-CNN实现目标检测,同样难以满足实时性计算要求,而且目标检测应用于风力发电机桨叶叶尖点位置检测时,存在目标检测框宽、高两个数据的无用冗余,并不完全切合业务场景,同时该方法极大程度依赖于深度学习模型,没有外部数据进行辅助纠偏,难以保证结果的准确性。
现有方案4,一种风电机组叶片巡检叶片区域路线自动飞行方法(CN112598637A),使用红外传感器区分风力发电机与背景,从而初步过滤风力发电机图像,但红外传感器只能划分风力发电机与背景,无法区分风力发电机的各个部件,无法准确获知风力发电机的位置与姿态信息。
基于上述现有方案存在的精度不能保障的问题,本申请提供了基于视觉感知的风力发电机测量方法、装置以及计算机可读存储介质,可应用于基于视觉感知的风力发电机测量设备,用于基于视觉感知技术,稳定且高精度地检测风力发电机的桨叶叶尖点,为后续的风力发电机的姿态处理还有巡检线路的规划提供精确的数据支持。
本申请提及的基于视觉感知的风力发电机测量方法,其执行主体可以为基于视觉感知的风力发电机测量装置,或者集成了该基于视觉感知的风力发电机测量装置的服务器、物理主机或者用户设备(User Equipment,UE)等不同类型的设备。其中,基于视觉感知的风力发电机测量装置可以采用硬件或者软件的方式实现,UE具体可以为智能手机、平板电脑、笔记本电脑、台式电脑或者个人数字助理(Personal Digital Assistant,PDA)等终端设备,基于视觉感知的风力发电机测量设备可以通过设备集群的方式设置。
作为一个实例,基于视觉感知的风力发电机测量设备,具体可以为与无人机控制方面相关的设备,例如无人机控制***或者无人机控制器。
下面,开始介绍本申请提供的基于视觉感知的风力发电机测量方法。
首先,对于以下内容涉及的各参数进行了汇总,以方便查阅,如下面的表1所示。
表1-参数汇总表
参阅图1,图1示出了本申请基于视觉感知的风力发电机测量方法的一种流程示意图,本申请提供的基于视觉感知的风力发电机测量方法,具体可包括如下步骤S101至步骤S103:
步骤S101,获取无人机从风力发电机处采集的图像;
可以理解的是,关于此处获取的无人机从风力发电机处采集的图像,通俗来讲,为全貌图像,也就是囊括了整个风力发电机的图像。
而关于该图像的获取处理,在实际应用中,既可以是通过无人机的图像的实时采集处理,也可以是历史图像的调取处理,从这也可看出,步骤S101,还可以涉及到安排无人机的飞行任务,以采集风力发电机的图像。
对于风力发电机,其整体结构还可参考图2示出的本申请风力发电机的一种结构示意图,从图2可以看出,风力发电机主要可以包括杆塔、机舱、桨叶还有叶尖等主要部件。
步骤S102,将图像输入预先配置的桨叶叶尖点检测模型,以识别图像中的桨叶叶尖点,其中,桨叶叶尖点检测模型是由风力发电机全貌图与桨叶叶尖点掩膜组成图像掩膜对,训练初始模型识别输入图像的桨叶叶尖点得到的,并于训练过程中计算关键点的检测结果来计算损失函数数值以此优化模型参数;
而本申请则是基于该训练方式,对训练过程进行了进一步的优化设计,于训练过程中计算关键点的检测结果,基于检测结果计算损失函数数值,再基于损失函数计算结果优化模型参数,在该训练机制下,可以使得在风力发电机桨叶叶尖点地理位置的解算(检测)过程中,同时应用风力发电机基本参数与关键点检测模型识别结果,降低了完全依赖人工智能模型的风险,实现数据间相互纠偏,通过像素级位置检测,降低了信息冗余,使技术内容更贴近业务场景,引入人工智能算法提升了对复杂场景的适应性,提高风力发电机桨叶叶尖点地理位置的解算(检测)精度。
此外,对于模型本身,本申请还可继续对其进行优化配置,作为一种适于实用的实现方式,本申请可以采用Multi-Stage策略设计桨叶叶尖点检测模型,桨叶叶尖点检测模型的模型三层结构具体可以分别为特征抽取重组层、非线性映射层及关键点检测重组层,而对于这三者,具体可以配置如下:
特征抽取重组层、非线性映射层、关键点检测重组层以及Sigmoid算法的数学定义为:
在该模型架构下,可以从模型本身出发,提高对输入图像中的桨叶叶尖点的检测效率还有检测精度。
其中,还可结合图3示出的本申请桨叶叶尖点检测模型的一种检测流程示意图来理解桨叶叶尖点检测模型其处理逻辑。
进一步的,从图3中还可看出,关键点检测重组层还可以涉及热力图的处理,作为又一种适于实用的实现方式,关于关键点检测重组层的处理,具体还可以包括以下内容:
关键点检测重组层对桨叶叶尖点热力图使用图像细化处理后,获取叶尖点像素坐标,并将桨叶叶尖点像素坐标转化为桨叶叶尖点实际坐标,图像细化处理过程中依据目标点周边的8个相邻点的情况来判断该点是否可以去除,结合图4示出的本申请图像细化处理的一种实例示意图,对应判据策略具体可以包括:
内部点不能删除,如图4中a区域中的中心点不可删除;
孤立点不能删除,如图4中b区域中的中心点不可删除;
直线端点不能删除,如图4中c区域中的中心点不可删除;
如果去掉目标点后,连通分量不增加,则删除目标点,如图4中d区域中的中心点可删除。
对于此处涉及的三角测量定位处理,还可结合图5示出的本申请三角测量原理的一种场景示意图进行理解。
步骤S103,提取桨叶叶尖点检测模型输出的桨叶叶尖点检测结果,桨叶叶尖点检测结果以坐标形式进行配置。
在通过桨叶叶尖点,即在获得了桨叶叶尖点检测模型输出的桨叶叶尖点检测结果后,则可基于该检测结果,进行后续的应用,如风力发电机的姿态处理还有巡检线路的规划,从而为后续的风力发电机的姿态处理还有巡检线路的规划提供精确的数据支持。
其中,可以理解的是,桨叶叶尖点检测模型具体可以是以坐标数据的方式进行桨叶叶尖点的检测的,对应的,检测结果则以坐标形式进行配置、体现。
从图1所示实施例可看出,针对于风力发电机的位置检测,本申请配置了一桨叶叶尖点检测模型,其是由风力发电机全貌图与桨叶叶尖点掩膜组成图像掩膜对,训练初始模型识别输入图像的桨叶叶尖点得到的,并于训练过程中计算关键点的检测结果来计算损失函数数值以此优化模型参数,基于该模型检测输入图像中的风力发电机桨叶叶尖点的过程中,由于同时应用风力发电机基本参数与关键点检测模型识别结果,降低了完全依赖人工智能模型的风险,实现数据间相互纠偏,通过像素级位置检测,降低了信息冗余,使技术内容更贴近业务场景,引入人工智能算法提升了对复杂场景的适应性,从而可以基于视觉感知技术,稳定且高精度地检测风力发电机的桨叶叶尖点,为后续的风力发电机的姿态处理还有巡检线路的规划提供精确的数据支持。
在确定了风力发电机其桨叶叶尖点的具***置后,本申请还可结合风力发电机其桨叶叶尖点的具***置,继续进行风力发电机的姿态处理。
进一步的,本申请还可涉及最开始的无人机的航拍线路的规划处理。
作为又一种适于实用的实现方式,在步骤S101之前,还可以包括以下内容:
,,设定与风力发电机底部处于同一水平面的测量点,D为测量点与风力发电机的水平距离,H为测量点距地面高度,为风力发电机机舱到测量点的连线与铅垂线之间的夹角,为风力发电机底部到测量点的连线与铅垂线之间的夹角;
3.于测量点处对风力发电机全貌进行拍摄,基于拍摄的图像根据风力发电机杆塔与桨叶的像素比例关系,通过下式计算风力发电机桨叶长度:
可以理解,为保证无人机处于航线中各航路点位置时,能拍摄完整的风力发电机全貌图,需计算恰当的拍摄距离,无人机距风力发电机的拍照距离应使得可视域范围能够完整包含以风力发电机机舱为圆心、以桨叶长度为半径的圆形区域,即应满足以下条件:
从而可以推得:
6.通过下式依次推出各航线点,形成无人机从风力发电机处采集图像的所需航线线路:
对于此处涉及的无人机的航线的处理,还可结合图10示出的本申请无人机的航线规划处理的一种场景示意图进行理解。
为更好地理解以上方案内容,包括各示例性的方案内容,还可参考图11示出的本申请基于视觉感知的风力发电机测量方法的一种场景示意图进行更为深入的理解。
以上是本申请提供基于视觉感知的风力发电机测量方法的介绍,为便于更好的实施本申请提供的基于视觉感知的风力发电机测量方法,本申请还从功能模块角度提供了一种基于视觉感知的风力发电机测量装置。
参阅图12,图12为本申请基于视觉感知的风力发电机测量装置的一种结构示意图,在本申请中,基于视觉感知的风力发电机测量装置1200具体可包括如下结构:
获取单元1201,用于获取无人机从风力发电机处采集的图像;
检测单元1202,用于将图像输入预先配置的桨叶叶尖点检测模型,以识别图像中的桨叶叶尖点,其中,桨叶叶尖点检测模型是由风力发电机全貌图与桨叶叶尖点掩膜组成图像掩膜对,训练初始模型识别输入图像的桨叶叶尖点得到的,并于训练过程中计算关键点的检测结果来计算损失函数数值以此优化模型参数;
提取单元1203,用于提取桨叶叶尖点检测模型输出的桨叶叶尖点检测结果,桨叶叶尖点检测结果以坐标形式进行配置。
在一种示例性的实现方式中,桨叶叶尖点检测模型的模型三层结构分别为特征抽取重组层、非线性映射层及关键点检测重组层;
特征抽取重组层、非线性映射层、关键点检测重组层以及Sigmoid算法的数学定义为:
在又一种示例性的实现方式中,关键点检测重组层涉及热力图的处理,关键点检测重组层对桨叶叶尖点热力图使用图像细化处理后,获取叶尖点像素坐标,并将桨叶叶尖点像素坐标转化为桨叶叶尖点实际坐标,图像细化处理过程中依据目标点周边的8个相邻点的情况来判断该点是否可以去除,对应判据策略包括:
内部点不能删除;
孤立点不能删除;
直线端点不能删除;
如果去掉目标点后,连通分量不增加,则删除目标点。
在又一种示例性的实现方式中,装置还包括航线确定单元1205,用于:
,,设定与风力发电机底部处于同一水平面的测量点,D为测量点与风力发电机的水平距离,H为测量点距地面高度,为风力发电机机舱到测量点的连线与铅垂线之间的夹角,为风力发电机底部到测量点的连线与铅垂线之间的夹角;
于测量点处对风力发电机全貌进行拍摄,基于拍摄的图像根据风力发电机杆塔与桨叶的像素比例关系,通过下式计算风力发电机桨叶长度:
通过下式依次推出各航线点,形成无人机从风力发电机处采集图像的所需航线线路:
本申请还从硬件结构角度提供了一种基于视觉感知的风力发电机测量设备,参阅图13,图13示出了本申请基于视觉感知的风力发电机测量设备的一种结构示意图,具体的,本申请基于视觉感知的风力发电机测量设备可包括处理器1301、存储器1302以及输入输出设备1303,处理器1301用于执行存储器1302中存储的计算机程序时实现如图1对应实施例中基于视觉感知的风力发电机测量方法的各步骤;或者,处理器1301用于执行存储器1302中存储的计算机程序时实现如图12对应实施例中各单元的功能,存储器1302用于存储处理器1301执行上述图1对应实施例中基于视觉感知的风力发电机测量方法所需的计算机程序。
示例性的,计算机程序可以被分割成一个或多个模块/单元,一个或者多个模块/单元被存储在存储器1302中,并由处理器1301执行,以完成本申请。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述计算机程序在计算机装置中的执行过程。
基于视觉感知的风力发电机测量设备可包括,但不仅限于处理器1301、存储器1302、输入输出设备1303。本领域技术人员可以理解,示意仅仅是基于视觉感知的风力发电机测量设备的示例,并不构成对基于视觉感知的风力发电机测量设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如基于视觉感知的风力发电机测量设备还可以包括网络接入设备、总线等,处理器1301、存储器1302、输入输出设备1303等通过总线相连。
处理器1301可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等,处理器是基于视觉感知的风力发电机测量设备的控制中心,利用各种接口和线路连接整个设备的各个部分。
存储器1302可用于存储计算机程序和/或模块,处理器1301通过运行或执行存储在存储器1302内的计算机程序和/或模块,以及调用存储在存储器1302内的数据,实现计算机装置的各种功能。存储器1302可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作***、至少一个功能所需的应用程序等;存储数据区可存储根据基于视觉感知的风力发电机测量设备的使用所创建的数据等。此外,存储器可以包括高速随机存取存储器,还可以包括非易失性存储器,例如硬盘、内存、插接式硬盘,智能存储卡(Smart MediaCard,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
处理器1301用于执行存储器1302中存储的计算机程序时,具体可实现以下功能:
获取无人机从风力发电机处采集的图像;
将图像输入预先配置的桨叶叶尖点检测模型,以识别图像中的桨叶叶尖点,其中,桨叶叶尖点检测模型是由风力发电机全貌图与桨叶叶尖点掩膜组成图像掩膜对,训练初始模型识别输入图像的桨叶叶尖点得到的,并于训练过程中计算关键点的检测结果来计算损失函数数值以此优化模型参数;
提取桨叶叶尖点检测模型输出的桨叶叶尖点检测结果,桨叶叶尖点检测结果以坐标形式进行配置。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的基于视觉感知的风力发电机测量装置、设备及其相应单元的具体工作过程,可以参考如图1对应实施例中基于视觉感知的风力发电机测量方法的说明,具体在此不再赘述。
本领域普通技术人员可以理解,上述实施例的各种方法中的全部或部分步骤可以通过指令来完成,或通过指令控制相关的硬件来完成,该指令可以存储于一计算机可读存储介质中,并由处理器进行加载和执行。
为此,本申请提供一种计算机可读存储介质,其中存储有多条指令,该指令能够被处理器进行加载,以执行本申请如图1对应实施例中基于视觉感知的风力发电机测量方法的步骤,具体操作可参考如图1对应实施例中基于视觉感知的风力发电机测量方法的说明,在此不再赘述。
其中,该计算机可读存储介质可以包括:只读存储器(Read Only Memory,ROM)、随机存取记忆体(Random Access Memory,RAM)、磁盘或光盘等。
由于该计算机可读存储介质中所存储的指令,可以执行本申请如图1对应实施例中基于视觉感知的风力发电机测量方法的步骤,因此,可以实现本申请如图1对应实施例中基于视觉感知的风力发电机测量方法所能实现的有益效果,详见前面的说明,在此不再赘述。
以上对本申请提供的基于视觉感知的风力发电机测量方法、装置、设备以及计算机可读存储介质进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。
Claims (8)
1.一种基于视觉感知的风力发电机测量方法,其特征在于,所述方法包括:
获取无人机从风力发电机处采集的图像;
将所述图像输入预先配置的桨叶叶尖点检测模型,以识别所述图像中的桨叶叶尖点,其中,所述桨叶叶尖点检测模型是由风力发电机全貌图与桨叶叶尖点掩膜组成图像掩膜对,训练初始模型识别输入图像的桨叶叶尖点得到的,并于训练过程中计算关键点的检测结果来计算损失函数数值以此优化模型参数;
提取所述桨叶叶尖点检测模型输出的桨叶叶尖点检测结果,所述桨叶叶尖点检测结果以坐标形式进行配置;
所述桨叶叶尖点检测模型的模型三层结构分别为特征抽取重组层、非线性映射层及关键点检测重组层;
所述特征抽取重组层、所述非线性映射层、所述关键点检测重组层以及所述Sigmoid算法的数学定义为:
5.根据权利要求1所述的方法,其特征在于,所述获取无人机从风力发电机处采集的图像之前,所述方法还包括:
,,设定与所述风力发电机底部处于同一水平面的测量点,D为所述测量点与所述风力发电机的水平距离,H为所述测量点距地面高度,为所述风力发电机机舱到所述测量点的连线与铅垂线之间的夹角,为所述风力发电机底部到所述测量点的连线与铅垂线之间的夹角;
于所述测量点处对所述风力发电机全貌进行拍摄,基于拍摄的图像根据风力发电机杆塔与桨叶的像素比例关系,通过下式计算风力发电机桨叶长度:
通过下式依次推出各航线点,形成所述无人机从所述风力发电机处采集图像的所需航线线路:
7.一种基于视觉感知的风力发电机测量设备,其特征在于,包括处理器和存储器,所述存储器中存储有计算机程序,所述处理器调用所述存储器中的计算机程序时执行如权利要求1至6任一项所述的方法。
8.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有多条指令,所述指令适于处理器进行加载,以执行权利要求1至6任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210639336.7A CN114723184B (zh) | 2022-06-08 | 2022-06-08 | 一种基于视觉感知的风力发电机测量方法、装置以及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210639336.7A CN114723184B (zh) | 2022-06-08 | 2022-06-08 | 一种基于视觉感知的风力发电机测量方法、装置以及设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114723184A CN114723184A (zh) | 2022-07-08 |
CN114723184B true CN114723184B (zh) | 2022-10-11 |
Family
ID=82232697
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210639336.7A Active CN114723184B (zh) | 2022-06-08 | 2022-06-08 | 一种基于视觉感知的风力发电机测量方法、装置以及设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114723184B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117934482B (zh) * | 2024-03-25 | 2024-05-28 | 云南能源投资股份有限公司 | 一种风电机的雷击概率预测方法、装置、设备及存储介质 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4848019A (en) * | 1988-12-12 | 1989-07-18 | Paul Toogood | Automatic worm hooker |
US5586407A (en) * | 1995-05-08 | 1996-12-24 | Raymond; Anthony E. | Swatter and method of using the same |
CN110163177A (zh) * | 2019-05-28 | 2019-08-23 | 李峥嵘 | 一种风电机组叶片无人机自动感知识别方法 |
CN110189315A (zh) * | 2019-05-28 | 2019-08-30 | 李峥嵘 | 一种风电机组叶片无人机自动定位方法 |
CN112598637A (zh) * | 2020-12-21 | 2021-04-02 | 华能安阳能源有限责任公司 | 一种风电机组叶片巡检叶片区域路线自动飞行方法 |
CN112700498A (zh) * | 2021-01-14 | 2021-04-23 | 中广核风电有限公司 | 一种基于深度学习的风力发电机叶尖定位方法及*** |
CN112904877A (zh) * | 2021-01-14 | 2021-06-04 | 星闪世图(台州)科技有限公司 | 一种基于无人机的风机叶片自动巡检***及方法 |
CN113324548A (zh) * | 2021-05-27 | 2021-08-31 | 南京韦博智控科技有限公司 | 一种风力发电机叶片巡检路径的规划方法 |
CN113723192A (zh) * | 2021-07-30 | 2021-11-30 | 鹏城实验室 | 一种风机运行状态下叶片图像采集方法 |
CN114020002A (zh) * | 2021-12-20 | 2022-02-08 | 复亚智能科技(太仓)有限公司 | 无人机巡检风机叶片的方法、装置、设备、无人机及介质 |
CN114463308A (zh) * | 2022-02-09 | 2022-05-10 | 广东数字生态科技有限责任公司 | 一种无人机视角光伏组件视觉检测方法、装置及处理设备 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113158564B (zh) * | 2021-04-19 | 2024-03-29 | 南京航空航天大学 | 基于数据驱动的航空发动机状态变量模型建立方法 |
-
2022
- 2022-06-08 CN CN202210639336.7A patent/CN114723184B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4848019A (en) * | 1988-12-12 | 1989-07-18 | Paul Toogood | Automatic worm hooker |
US5586407A (en) * | 1995-05-08 | 1996-12-24 | Raymond; Anthony E. | Swatter and method of using the same |
CN110163177A (zh) * | 2019-05-28 | 2019-08-23 | 李峥嵘 | 一种风电机组叶片无人机自动感知识别方法 |
CN110189315A (zh) * | 2019-05-28 | 2019-08-30 | 李峥嵘 | 一种风电机组叶片无人机自动定位方法 |
CN112598637A (zh) * | 2020-12-21 | 2021-04-02 | 华能安阳能源有限责任公司 | 一种风电机组叶片巡检叶片区域路线自动飞行方法 |
CN112700498A (zh) * | 2021-01-14 | 2021-04-23 | 中广核风电有限公司 | 一种基于深度学习的风力发电机叶尖定位方法及*** |
CN112904877A (zh) * | 2021-01-14 | 2021-06-04 | 星闪世图(台州)科技有限公司 | 一种基于无人机的风机叶片自动巡检***及方法 |
CN113324548A (zh) * | 2021-05-27 | 2021-08-31 | 南京韦博智控科技有限公司 | 一种风力发电机叶片巡检路径的规划方法 |
CN113723192A (zh) * | 2021-07-30 | 2021-11-30 | 鹏城实验室 | 一种风机运行状态下叶片图像采集方法 |
CN114020002A (zh) * | 2021-12-20 | 2022-02-08 | 复亚智能科技(太仓)有限公司 | 无人机巡检风机叶片的方法、装置、设备、无人机及介质 |
CN114463308A (zh) * | 2022-02-09 | 2022-05-10 | 广东数字生态科技有限责任公司 | 一种无人机视角光伏组件视觉检测方法、装置及处理设备 |
Non-Patent Citations (2)
Title |
---|
山地风电场风力发电机组叶片无人机智能巡检;康磊等;《云南水力发电》;20200615(第03期);第182-185页 * |
无人机输电线路巡检中安全距离测量方法;李栋等;《广西大学学报(自然科学版)》;20160425(第02期);第204-211页 * |
Also Published As
Publication number | Publication date |
---|---|
CN114723184A (zh) | 2022-07-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111289533B (zh) | 风机叶片的巡检方法、装置、无人机和存储介质 | |
JP6918672B2 (ja) | 劣化診断システム | |
US20220077820A1 (en) | Method and system for soar photovoltaic power station monitoring | |
CN112904877A (zh) | 一种基于无人机的风机叶片自动巡检***及方法 | |
CN110619678B (zh) | 一种基于点云匹配的电力杆塔巡检航迹生成方法 | |
CN106762451A (zh) | 基于无人机的风机叶片损伤检测方法、装置及*** | |
CN110189315B (zh) | 一种风电机组叶片无人机自动定位方法 | |
CN113286129B (zh) | 一种光伏电站的巡检方法及*** | |
JP6877293B2 (ja) | 位置情報記録方法および装置 | |
CN102426019A (zh) | 一种无人机景象匹配辅助导航方法及*** | |
CN113610749B (zh) | 基于神经网络的风机叶片缺陷检测方法 | |
KR102217549B1 (ko) | 태양광 발전 모듈 모니터링 방법 및 시스템 | |
JP2015170364A (ja) | 仮想参照画像を用いた位置及び向きの検出のための方法 | |
CN107564111A (zh) | 基于计算机视觉的电力线空间安全分析方法 | |
CN114463308B (zh) | 一种无人机视角光伏组件视觉检测方法、装置及处理设备 | |
CN111244822B (zh) | 一种复杂地理环境的固定翼无人机巡线方法、***和装置 | |
CN112923928B (zh) | 一种基于图像识别的光伏板导航方法、装置、电子设备及存储介质 | |
CN114723184B (zh) | 一种基于视觉感知的风力发电机测量方法、装置以及设备 | |
CN114004977A (zh) | 一种基于深度学习的航拍数据目标定位方法及*** | |
CN112700498A (zh) | 一种基于深度学习的风力发电机叶尖定位方法及*** | |
CN114757454B (zh) | 一种风力发电机的无人机巡检航线生成方法、装置及设备 | |
CN114564049A (zh) | 一种基于深度学习的无人机广域搜索的装置及方法 | |
CN107767366A (zh) | 一种输电线路拟合方法及装置 | |
CN116893685A (zh) | 一种无人机航线规划方法及*** | |
CN116594419A (zh) | 巡检航线规划方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |