CN115100379A - 一种风机叶片运输监管方法、***、设备及介质 - Google Patents
一种风机叶片运输监管方法、***、设备及介质 Download PDFInfo
- Publication number
- CN115100379A CN115100379A CN202210674915.5A CN202210674915A CN115100379A CN 115100379 A CN115100379 A CN 115100379A CN 202210674915 A CN202210674915 A CN 202210674915A CN 115100379 A CN115100379 A CN 115100379A
- Authority
- CN
- China
- Prior art keywords
- road
- fan blade
- transportation
- unmanned aerial
- aerial vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000001514 detection method Methods 0.000 claims abstract description 34
- 238000004088 simulation Methods 0.000 claims abstract description 34
- 238000012544 monitoring process Methods 0.000 claims abstract description 8
- 238000004590 computer program Methods 0.000 claims description 14
- 230000004927 fusion Effects 0.000 claims description 11
- 230000008859 change Effects 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 7
- 230000000007 visual effect Effects 0.000 claims description 7
- 238000011156 evaluation Methods 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 230000003068 static effect Effects 0.000 claims description 3
- 230000001105 regulatory effect Effects 0.000 claims 1
- 230000008569 process Effects 0.000 abstract description 15
- 238000007689 inspection Methods 0.000 abstract description 2
- 230000036544 posture Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000003062 neural network model Methods 0.000 description 3
- 239000002775 capsule Substances 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 235000002566 Capsicum Nutrition 0.000 description 1
- 239000006002 Pepper Substances 0.000 description 1
- 235000016761 Piper aduncum Nutrition 0.000 description 1
- 235000017804 Piper guineense Nutrition 0.000 description 1
- 244000203593 Piper nigrum Species 0.000 description 1
- 235000008184 Piper nigrum Nutrition 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000010248 power generation Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000035484 reaction time Effects 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 150000003839 salts Chemical class 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
- Y02E10/00—Energy generation through renewable energy sources
- Y02E10/70—Wind energy
- Y02E10/72—Wind turbines with rotation axis in wind direction
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明涉及风电设备运输技术领域，尤其涉及一种风机叶片运输监管方法、***、设备及介质，包括：根据运输场景数据提取得到道路点云数据，并根据道路点云数据获取道路拐点，建立仿真模型，以模拟车辆的通过安全性，基于模拟结果和风机叶片参数确定目标运输车辆；根据目标运输车辆的行驶状态和道路拐点确定无人机的飞行状态，根据无人机拍摄的风机叶片图像获取风机叶片姿态；根据风机叶片姿态以及道路三维场景模型进行碰撞检测，以判断风机叶片在运输过程中的安全性。本发明通过将无人机应用于风机叶片运输过程进行监管，实现了自动化巡检，且能够对风机叶片运输中面临的突发情况提供有效的指导，提高了运输安全性，降低了运输成本。
Description
技术领域
本发明涉及风电设备运输技术领域，尤其涉及一种基于无人机的风机叶片运输监管方法、***、设备及介质。
背景技术
风力发电是一种可再生的清洁能源，我国对清洁能源的需求量不断加大，风电行业得到迅速发展。随着风机单机容量的增大，叶片的重量和长度也在不断加大，大型风机叶片长度可以达到六七十米甚至上百米，然而，由于我国风能资源丰富的地区大多在山区，地势偏远，道路蜿蜒曲折，超长叶片容易与道路两旁的山体、树木等发生碰撞，这给叶片的运输提出了更高的要求。传统的运输方式通过性一般较差，需要在运输前通过人工进行道路勘察、清除障碍、道路改造等工作，这不仅耗费了大量的人力、物力、财力，而且对道路情况缺乏科学的评估。目前，风电设备运输的研究，有通过对运输装置进行优化，该方法虽然通过液压机构调整风机叶片的方位角，减少道路占用宽度，并设计风机叶片运输的缓冲或防护装置，但是在运输车辆遇到转弯和山壁时，仍无法对风机叶片运输中面临的突发情况提供有效的指导。
随着技术的发展，无人机在道路测绘和交通监控中得到了广泛的应用，同时由于风机叶片的运输环境比较复杂，需要克服转弯、山壁、风机叶片长度的影响，因此，将无人机应用于风机叶片的运输中进行监控和管理，将会大大降低人力并且提升效率。
发明内容
本发明提供了一种基于无人机的风机叶片运输监管方法、***、设备及介质，解决的技术问题是，现有的风电设备运输方法仅是对运输装置进行优化，无法实现自动化巡检以及对风机叶片运输中面临的突发情况提供有效的指导，效率较低。
为解决以上技术问题，本发明提供了一种风机叶片运输监管方法、***、设备及介质。
第一方面，本发明提供了一种风机叶片运输监管方法，所述方法包括以下步骤：
基于采集到的运输场景数据进行三维重建，得到道路三维场景模型；
根据所述运输场景数据提取得到道路点云数据，并根据所述道路点云数据获取道路拐点，建立仿真模型；
利用所述仿真模型和所述道路拐点模拟车辆的通过安全性，得到模拟结果；
基于所述模拟结果和预先采集的风机叶片参数确定目标运输车辆；
根据所述目标运输车辆的行驶状态和所述道路拐点确定无人机的飞行状态，以使风机叶片始终处于无人机视野区域内；
根据无人机拍摄的风机叶片图像获取风机叶片姿态，并根据所述风机叶片姿态以及所述道路三维场景模型进行碰撞检测，得到碰撞检测结果；
基于所述碰撞检测结果制定风机叶片运输规划策略。
在进一步的实施方案中，所述基于采集到的运输场景数据进行三维重建，得到道路三维场景模型的步骤包括：
根据风电场位置信息以及道路状况信息确定目标运输路线，并获取所述目标运输路线及其周围环境的激光点云数据和视频图像数据；
对同时间段的激光点云数据和视频图像数据进行联合标定，并对所述激光点云数据进行配准，得到配准激光点云数据；
对视频图像数据进行角点特征提取，得到视频图像特征数据；
将所述配准激光点云数据投影到所述视频图像特征数据上，得到融合数据；
对所述融合数据进行校准，并根据校准后的融合数据进行三维重建，得到道路三维场景模型。
在进一步的实施方案中，所述根据所述道路点云数据获取道路拐点，建立仿真模型的步骤包括：
根据采集的无人机历史航迹信息，确定航迹缓冲区；
利用预设分段长度对所述道路点云数据分段，并分割出地面点云；
根据运输道路点云回波强度和高程变化构建联合特征值，对所述地面点云进行提取，得到道路边缘点；
对所述道路边缘点进行聚类，得到道路边界；
根据所述道路边界提取得到道路拐点；
根据所述道路拐点和道路点云数据获取道路参数；
根据预先采集的风机运输装置参数以及所述道路参数建立仿真模型；
其中，所述风机运输装置参数包括运输车辆参数以及风机叶片参数，所述风机叶片参数包括风机叶片长度和重量，所述道路参数包括道路宽度、道路拐点半径以及道路承载能力。
在进一步的实施方案中，所述根据所述目标运输车辆的行驶状态和所述道路拐点确定无人机的飞行状态的步骤包括：
根据所述目标运输车辆的行驶状态确定无人机的飞行速度，以使无人机与所述目标运输车辆保持相对静止；
根据道路拐点确定道路拐点的出入口距离；
根据无人机不同拍摄方向的视场角、预先采集的风机叶片长度以及所述道路拐点的出入口距离计算无人机的初始最小飞行高度；
根据道路地形高度变化设置飞行高度调整阈值；
根据所述初始最小飞行高度以及所述飞行高度调整阈值对无人机的飞行高度进行动态调节，得到无人机的目标飞行高度。
在进一步的实施方案中，所述无人机的初始最小飞行高度的计算公式为：
式中，l1表示风机叶片长度，α表示风机叶片与目标运输车辆所在的水平面的夹角，l2表示道路拐点入口与道路拐点出口两点之间的距离，Hcamera表示图像纵向分辨率，Wcamera表示图像横向分辨率，h表示无人机的初始最小飞行高度，Ahfov表示无人机相机纵向拍摄时的视场角，Adfov表示无人机相机对角线方向拍摄时的视场角，Avfov表示无人机相机横向拍摄时的视场角。
在进一步的实施方案中，所述根据无人机拍摄的风机叶片图像获取风机叶片姿态的步骤包括：
利用预先构建的全卷积神经网络对无人机拍摄的风机叶片图像进行识别，得到图像识别结果；
根据所述图像识别结果得到风机叶片的图像像素位置，并根据无人机相机参数和云台角度参数计算风机叶片两端端点对应的位置坐标；
根据风机叶片两端端点对应的位置坐标，获取风机叶片姿态。
在进一步的实施方案中，所述根据所述风机叶片姿态以及所述道路三维场景模型进行碰撞检测，得到碰撞检测结果的步骤包括：
将风机叶片两端端点之间的线段作为第一线段；
遍历所述道路三维场景模型中所有平面，将平面中任意两点之间线段作为第二线段；
计算第一线段和第二线段之间的最短空间距离；
将所述最短空间距离与预设的风机叶片安全距离阈值进行比较，以判断风机叶片相对于所述道路三维场景模型的安全性。
第二方面，本发明提供了一种风机叶片运输监管***，所述***包括：
三维重建模块，用于基于采集到的运输场景数据进行三维重建，得到道路三维场景模型；
道路评估模块，用于根据所述运输场景数据提取得到道路点云数据，并根据所述道路点云数据获取道路拐点，建立仿真模型；还用于利用所述仿真模型和所述道路拐点模拟车辆的通过安全性，得到模拟结果；
无人机监控模块，用于基于所述模拟结果和预先采集的风机叶片参数确定目标运输车辆；还用于根据所述目标运输车辆的行驶状态和所述道路拐点确定无人机的飞行状态，以使风机叶片始终处于无人机视野区域内；
碰撞检测模块，用于根据无人机拍摄的风机叶片图像获取风机叶片姿态，并根据所述风机叶片姿态以及所述道路三维场景模型进行碰撞检测，得到碰撞检测结果；还用于基于所述碰撞检测结果制定风机叶片运输规划策略。
第三方面，本发明还提供了一种计算机设备，包括处理器和存储器，所述处理器与所述存储器相连，所述存储器用于存储计算机程序，所述处理器用于执行所述存储器中存储的计算机程序，以使得所述计算机设备执行实现上述方法的步骤。
第四方面，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。
本发明提供了一种基于无人机的风机叶片运输监管方法、***、设备及介质，所述方法利用无人机搭载激光雷达和可见光云台相机对运输道路进行三维重建，并根据道路三维场景模型和风机叶片运输特征设置无人机监管点位，提高勘察效率；同时本发明对风机叶片进行碰撞检测，以检查风机叶片相对于道路三维场景模型的安全性，确保风机叶片安全通过，减少风机叶片的破损。与现有技术相比，该方法实现了利用无人机自动检测风机叶片的运输过程，降低了风机叶片撞击的风险，节约了作业时间及成本。
附图说明
图1是本发明实施例提供的一种风机叶片运输监管方法流程示意图；
图2是本发明实施例提供的三维重建流程示意图；
图3是本发明实施例提供的道路边界提取流程示意图；
图4是本发明实施例提供的无人机拍摄运输车辆示意图；
图5是本发明实施例提供的风机叶片相对道路三维场景模型安全性检查示意图；
图6是本发明实施例提供的一种风机叶片运输监管***框图；
图7是本发明实施例提供的计算机设备的结构示意图。
具体实施方式
下面结合附图具体阐明本发明的实施方式，实施例的给出仅仅是为了说明目的，并不能理解为对本发明的限定，包括附图仅供参考和说明使用，不构成对本发明专利保护范围的限制，因为在不脱离本发明精神和范围基础上，可以对本发明进行许多改变。
参考图1，本发明实施例提供了一种风机叶片运输监管方法，如图1所示，该方法包括以下步骤：
S1.基于采集到的运输场景数据进行三维重建，得到道路三维场景模型。
在一个实施例中，如图2所示，所述基于采集到的运输场景数据进行三维重建，得到道路三维场景模型的步骤包括：
根据风电场位置信息以及道路状况信息确定目标运输路线，并选用无人机搭载激光雷达与可见光云台相机，通过无人机智能调度算法和路径规划进行自动巡航，获取所述目标运输路线及其周围环境的激光点云数据和视频图像数据；
对同时间段的激光点云数据和视频图像数据进行联合标定，以使激光点云数据能够移植到视觉坐标系中，同时视频图像数据也能够移植到激光坐标系中，从而更有利于后期数据的融合；
利用RTK得到的定位导航数据对所述激光点云数据进行配准，得到配准激光点云数据；该配准步骤需要利用RTK得到的定位导航数据对新加入的激光点云数据进行校准，这里使用迭代算法进行校准，具体地：在每次迭代的过程中，计算每帧点云中的每一个激光点，在另一帧点云中搜索距离最近的点，使得所有两两之间的点云对的距离最小。
为了使得帧的图像能够对应，对视频图像数据进行角点特征提取，以角点作为跟踪点来匹配相邻图像，得到视频图像特征数据；
将所述配准激光点云数据投影到所述视频图像特征数据上，得到融合数据，以实现数据的融合；
对所述融合数据进行校准，并根据校准后的融合数据进行三维重建，得到道路三维场景模型。
S2.根据所述运输场景数据提取得到道路点云数据，并根据所述道路点云数据获取道路拐点，建立仿真模型。
在一个实施例中，所述根据所述道路点云数据获取道路拐点，建立仿真模型的步骤包括：
根据采集的无人机历史航迹信息，确定航迹缓冲区；
利用预设分段长度对所述道路点云数据分段，并分割出地面点云；
根据运输道路点云回波强度和高程变化构建联合特征值，对所述地面点云进行提取，得到道路边缘点；
对所述道路边缘点进行聚类，得到道路边界；
根据所述道路边界提取得到道路拐点，其中，道路拐点即为道路转弯点；
根据所述道路拐点和道路点云数据获取道路参数；
根据预先采集的风机运输装置参数以及所述道路参数建立仿真模型；
其中，所述风机运输装置参数包括运输车辆参数以及风机叶片参数，所述风机叶片参数包括风机叶片长度和重量，所述道路参数包括道路宽度、道路拐点半径以及道路承载能力。
具体地，图3为本发明实施例提供的道路边界提取流程示意图，本实施例为保证道路边界提取的效率，根据无人机历史航迹信息设置一定宽度缓冲区，排除远离道路两侧的干扰数据，同时按照预设长度对获得的道路点云数据进行分段，为保证数据的连续性，本实施例还设置了预设重叠长度的重叠区域，进行数据预处理；然后采用布料模拟滤波算法(Cloth Simulation Filter，CSF)分离地面点与非地面点，并采用中值滤波去除椒盐噪声，根据运输道路点云回波强度和高程变化构建联合特征值，提取地面点云的道路边缘点，最后对初步提取的道路边缘点进行K-means聚类，剔除误提取的非边缘点，细化提取结果，得到道路边界。
S3.利用所述仿真模型和所述道路拐点模拟车辆的通过安全性，得到模拟结果。
本实施例通过仿真模型初步评估车辆能否安全通过，若运输车辆无法安全通过，则根据道路三维场景模型获取转弯点的地形、山壁、树木等分布情况，结合道路参数对道路进行改造或者清除障碍；若运输车辆能安全通过，则进入下一步骤，以确定目标运输车辆。
S4.基于所述模拟结果和预先采集的风机叶片参数确定目标运输车辆。
本实施例在模拟运输车辆能安全通过的情况下，根据预先采集的风机叶片参数选取目标运输车辆，同时通过无人机对运输风机叶片的车辆进行监控；在本实施例中，所述风机叶片参数包括风机叶片的尺寸和重量。
S5.根据所述目标运输车辆的行驶状态和所述道路拐点确定无人机的飞行状态，以使风机叶片始终处于无人机视野区域内。
在一个实施例中，所述根据所述目标运输车辆的行驶状态和所述道路拐点确定无人机的飞行状态的步骤包括：
根据所述目标运输车辆的行驶状态确定无人机的飞行速度，以使无人机与所述目标运输车辆保持相对静止，从而实现对车辆的实时跟踪；
根据道路拐点确定道路拐点的出入口距离；
根据无人机不同拍摄方向的视场角、风机叶片长度以及所述道路拐点的出入口距离计算无人机的初始最小飞行高度；
根据道路地形高度变化设置飞行高度调整阈值；
根据所述初始最小飞行高度以及所述飞行高度调整阈值对无人机的飞行高度进行动态调节，得到无人机的目标飞行高度。
具体地，为了能够更好的识别目标运输车辆的行驶状态和风机叶片姿态，本实施例需要保证当无人机与目标运输车辆的距离最小时，仍能对风机叶片进行完整成像，即无论无人机相机横向拍摄(Avfov)、纵向拍摄(Ahfov)或沿对角线方向拍摄(Adfov)时，无人机相机可视域均能够覆盖完整的运输车辆和风机叶片，同时由于风机叶片运输过程中主要在道路转弯点易发生碰撞，因此将道路转弯点作为无人机监控的关键点位，即，如图4所示，本实施例需确保目标运输车辆和风机叶片在进入道路拐点入口A和离开道路拐点出口B这个时间段内均在无人机视野内，因此，本实施例根据道路拐点入口A和道路拐点出口 B计算得到无人机的目标飞行高度，以下为无人机目标飞行高度的计算过程：
假设风机叶片长度为l1，风机叶片与目标运输车辆所在的水平面的夹角为α，道路拐点入口A与道路拐点出口B两点之间的距离为l2，图像纵向分辨率为 Hcamera，图像横向分辨率为Wcamera，根据相机的视场角来计算无人机的初始最小飞行高度h，计算公式为：
式中，Ahfov表示无人机相机纵向拍摄时的视场角，Adfov表示无人机相机对角线方向拍摄时的视场角，Avfov表示无人机相机横向拍摄时的视场角。
在此基础上，为了使目标运输车辆变速或者转向时不超出无人机的视野，有足够的反应时间来调整云台的姿态，可以在上述计算所得的无人机初始最小飞行高度h的基础上增加一定的高度(预设的飞行高度调整阈值)作为无人机的目标飞行高度。
在无人机飞行过程中，若根据位置信息检测到运输车辆接近转弯点，通过图像控制算法控制云台锁定运输车辆，尤其是风机叶片，使之处于画面视觉中心，自动调焦放大目标区域进行拍摄，使无人机能够更好地观察到风机叶片的姿态，从而根据道路周围的情况及时调整风机叶片的姿态；此外，为了避免运输车辆发生侧翻或安全事故，利用无人机的后台***在车辆到达转弯点前进行告警和提示，使运输人员提前注意并控制好车速和转弯角度，以使车辆能够高效安全地通过道路风险点。
S6.根据无人机拍摄的风机叶片图像获取风机叶片姿态，并根据所述风机叶片姿态以及所述道路三维场景模型进行碰撞检测，得到碰撞检测结果。
在一个实施例中，所述根据无人机拍摄的风机叶片图像获取风机叶片姿态的步骤包括：
利用预先构建的全卷积神经网络对无人机拍摄的风机叶片图像进行识别，得到图像识别结果；
根据所述图像识别结果得到风机叶片的图像像素位置，并根据无人机相机参数和云台角度参数计算风机叶片两端端点对应的位置坐标；
根据风机叶片两端端点对应的位置坐标，获取风机叶片姿态。
具体地，本实施例采用全卷积神经网络模型对风机叶片进行智能识别，首先通过数据标注工具labelme标注出风机叶片的信息，包括风机叶片图片和风机叶片掩膜，使用风机叶片图片和风机叶片掩膜组成图像-掩膜对，用于训练全卷积神经网络模型，并于训练过程中计算、记录模型损失函数数值；然后采用训练好的全卷积神经网络模型对实际应用场景中获取的风机叶片图片进行语义分割，获取风机叶片预测掩膜，进而对风机叶片进行识别，得到图像识别结果，并根据所述图像识别结果计算得到风机叶片的图像像素位置，并结合无人机相机参数、云台角度等参数计算风机叶片两端端点对应的位置坐标，以根据风机叶片两端端点对应的位置坐标判断风机叶片姿态。
在一个实施例中，所述根据所述风机叶片姿态以及所述道路三维场景模型进行碰撞检测，得到碰撞检测结果的步骤包括：
将风机叶片两端端点之间的线段作为第一线段；
遍历所述道路三维场景模型中所有平面，将平面中任意两点之间线段作为第二线段；
计算第一线段和第二线段之间的最短空间距离；
将所述最短空间距离与预设的风机叶片安全距离阈值进行比较，以判断风机叶片相对于所述道路三维场景模型的安全性，若检测到所有最短空间距离均大于风机叶片安全距离阈值时，判定碰撞结果为风机叶片处于安全范围内，否则说明遍历过程中最短空间距离的最小值小于安全距离，判定碰撞结果为风机叶片会发生碰撞。
具体地，如图5所示，本实施例通过检测风机叶片相对于道路三维场景模型的安全性，以此判断风机叶片是否与道路两旁的山壁、树木等障碍物发生碰撞，本实施例采用胶囊体碰撞检测方式计算风机叶片相对道路三维场景模型的安全性，将识别出的风机叶片看作一个胶囊，将道路三维场景模型看作很多个平面，检测风机叶片是否会与道路三维场景模型的任意平面碰撞，本实施例假设风机叶片两端端点分别为P1与P2，将端点P1与P2之间的连线作为第一线段S1，将道路三维场景模型任一平面中的两点P3、P4构成的线段作为第二线段S2，然后计算S1与S2的最短空间距离，即，本实施例将连接线段S1与S2的最短线段S的两端端点分别记为P5与P6，并将该最短线段S(最短空间距离)与预设的风机叶片安全距离阈值R进行比较，判断风机叶片相对于所述道路三维场景模型的安全性：
对于最短线段S的两端端点P5与P6，可通过以下方式计算：
P5＝P3+S2×min(0,max(1,λ1))
P6＝P1-S1×min(0,max(1,λ2))
S7.基于所述碰撞检测结果制定风机叶片运输规划策略。
在本实施例中，当检测到风机叶片会发生碰撞时，通过无人机指导运输人员采取相应的措施，调整风机叶片姿态以避过障碍物，比如：通过运输车辆的液压机构调整风机叶片的方位角，若仍无法避过障碍物，则对道路进行改造或者清除障碍。
本发明实施例提供了一种风机叶片运输监管方法，所述方法通过无人机对风机叶片运输道路进行勘察，并根据道路三维场景模型和风机叶片运输特征来设计无人机的监管点位，使无人机能够更好地观察风机叶片的姿态，同时对风机叶片进行碰撞检测，以检查风机叶片相对于道路三维场景模型的安全性，从而确保风机叶片有效避过障碍物，提高通过性和安全性，降低风机叶片的运输成本。相比于现有的人工进行道路勘察技术，本申请可以实现自动化巡航，大大提高了风机叶片的运输效率，且能够为风机叶片在运输过程中遇到障碍时，制定拆除障碍方案提供有效参考依据。
需要说明的是，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
在一个实施例中，如图6所示，本发明实施例提供了一种风机叶片运输监管***，所述***包括：
三维重建模块101，用于基于采集到的运输场景数据进行三维重建，得到道路三维场景模型；
道路评估模块102，用于根据所述运输场景数据提取得到道路点云数据，并根据所述道路点云数据获取道路拐点，建立仿真模型；还用于利用所述仿真模型和所述道路拐点模拟车辆的通过安全性，得到模拟结果；
无人机监控模块103，用于基于所述模拟结果和预先采集的风机叶片参数确定目标运输车辆；还用于根据所述目标运输车辆的行驶状态和所述道路拐点确定无人机的飞行状态，以使风机叶片始终处于无人机视野区域内；
碰撞检测模块104，用于根据无人机拍摄的风机叶片图像获取风机叶片姿态，并根据所述风机叶片姿态以及所述道路三维场景模型进行碰撞检测，得到碰撞检测结果；还用于基于所述碰撞检测结果制定风机叶片运输规划策略。
关于一种风机叶片运输监管***的具体限定可以参见上述对于一种风机叶片运输监管方法的限定，此处不再赘述。本领域普通技术人员可以意识到，结合本申请所公开的实施例描述的各个模块和步骤，能够以硬件、软件或者两者结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
本发明实施例提供了一种风机叶片运输监管***，所述三维重建模块用于利用无人机搭载激光雷达与可见光云台相机实现三维重建；所述道路评估模块用于模拟车辆的通过安全性，所述无人机监控模块用于根据道路三维场景模型和风机叶片运输特征来设计无人机监管点位，所述碰撞检测模块用于对风机叶片进行碰撞检测以检查风机叶片相对于道路三维场景模型的安全性。与现有技术相比，本申请实现了自动化巡航，提高了风电机组运输效率和安全性，降低运输成本。
图7是本发明实施例提供的一种计算机设备，包括存储器、处理器和收发器，它们之间通过总线连接；存储器用于存储一组计算机程序指令和数据，并可以将存储的数据传输给处理器，处理器可以执行存储器存储的程序指令，以执行上述方法的步骤。
其中，存储器可以包括易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者；处理器可以是中央处理器、微处理器、特定应用集成电路、可编程逻辑器件或其组合。通过示例性但不是限制性说明，上述可编程逻辑器件可以是复杂可编程逻辑器件、现场可编程逻辑门阵列、通用阵列逻辑或其任意组合。
另外，存储器可以是物理上独立的单元，也可以与处理器集成在一起。
本领域普通技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有相同的部件布置。
在一个实施例中，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述方法的步骤。
本发明实施例提供的一种风机叶片运输监管方法、***、设备及介质，其一种风机叶片运输监管方法通过对运输场景的三维重建，并根据道路三维场景模型和风机叶片运输特征设置无人机的监管点位，提高了无人机勘察效率；同时本发明实施例对运输过程中的风机叶片进行碰撞检测，以便通过无人机及时指导运输人员采取相应的措施，从而确保风机叶片能够有效避过障碍物，提高了通过性和安全性，减少了风机叶片的破损，降低了风机叶片的运输成本。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如SSD)等。
本领域技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。
以上所述实施例仅表达了本申请的几种优选实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和替换，这些改进和替换也应视为本申请的保护范围。因此，本申请专利的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种风机叶片运输监管方法，其特征在于，包括以下步骤：
基于采集到的运输场景数据进行三维重建，得到道路三维场景模型；
根据所述运输场景数据提取得到道路点云数据，并根据所述道路点云数据获取道路拐点，建立仿真模型；
利用所述仿真模型和所述道路拐点模拟车辆的通过安全性，得到模拟结果；
基于所述模拟结果和预先采集的风机叶片参数确定目标运输车辆；
根据所述目标运输车辆的行驶状态和所述道路拐点确定无人机的飞行状态，以使风机叶片始终处于无人机视野区域内；
根据无人机拍摄的风机叶片图像获取风机叶片姿态，并根据所述风机叶片姿态以及所述道路三维场景模型进行碰撞检测，得到碰撞检测结果；
基于所述碰撞检测结果制定风机叶片运输规划策略。
2.如权利要求1所述的一种风机叶片运输监管方法，其特征在于，所述基于采集到的运输场景数据进行三维重建，得到道路三维场景模型的步骤包括：
根据风电场位置信息以及道路状况信息确定目标运输路线，并获取所述目标运输路线及其周围环境的激光点云数据和视频图像数据；
对同时间段的激光点云数据和视频图像数据进行联合标定，并对所述激光点云数据进行配准，得到配准激光点云数据；
对视频图像数据进行角点特征提取，得到视频图像特征数据；
将所述配准激光点云数据投影到所述视频图像特征数据上，得到融合数据；
对所述融合数据进行校准，并根据校准后的融合数据进行三维重建，得到道路三维场景模型。
3.如权利要求1所述的一种风机叶片运输监管方法，其特征在于，所述根据所述道路点云数据获取道路拐点，建立仿真模型的步骤包括：
根据采集的无人机历史航迹信息，确定航迹缓冲区；
利用预设分段长度对所述道路点云数据分段，并分割出地面点云；
根据运输道路点云回波强度和高程变化构建联合特征值，对所述地面点云进行提取，得到道路边缘点；
对所述道路边缘点进行聚类，得到道路边界；
根据所述道路边界提取得到道路拐点；
根据所述道路拐点和道路点云数据获取道路参数；
根据预先采集的风机运输装置参数以及所述道路参数建立仿真模型；
其中，所述风机运输装置参数包括运输车辆参数以及风机叶片参数，所述风机叶片参数包括风机叶片长度和重量，所述道路参数包括道路宽度、道路拐点半径以及道路承载能力。
4.如权利要求1所述的一种风机叶片运输监管方法，其特征在于，所述根据所述目标运输车辆的行驶状态和所述道路拐点确定无人机的飞行状态的步骤包括：
根据所述目标运输车辆的行驶状态确定无人机的飞行速度，以使无人机与所述目标运输车辆保持相对静止；
根据道路拐点确定道路拐点的出入口距离；
根据无人机不同拍摄方向的视场角、预先采集的风机叶片长度以及所述道路拐点的出入口距离计算无人机的初始最小飞行高度；
根据道路地形高度变化设置飞行高度调整阈值；
根据所述初始最小飞行高度以及所述飞行高度调整阈值对无人机的飞行高度进行动态调节，得到无人机的目标飞行高度。
5.如权利要求4所述的一种风机叶片运输监管方法，其特征在于，所述无人机的初始最小飞行高度的计算公式为：
式中，l1表示风机叶片长度，α表示风机叶片与目标运输车辆所在的水平面的夹角，l2表示道路拐点入口与道路拐点出口两点之间的距离，Hcamera表示图像纵向分辨率，Wcamera表示图像横向分辨率，h表示无人机的初始最小飞行高度，Ahfov表示无人机相机纵向拍摄时的视场角，Adfov表示无人机相机对角线方向拍摄时的视场角，Avfov表示无人机相机横向拍摄时的视场角。
6.如权利要求1所述的一种风机叶片运输监管方法，其特征在于，所述根据无人机拍摄的风机叶片图像获取风机叶片姿态的步骤包括：
利用预先构建的全卷积神经网络对无人机拍摄的风机叶片图像进行识别，得到图像识别结果；
根据所述图像识别结果得到风机叶片的图像像素位置，并根据无人机相机参数和云台角度参数计算风机叶片两端端点对应的位置坐标；
根据风机叶片两端端点对应的位置坐标，获取风机叶片姿态。
7.如权利要求1所述的一种风机叶片运输监管方法，其特征在于，所述根据所述风机叶片姿态以及所述道路三维场景模型进行碰撞检测，得到碰撞检测结果的步骤包括：
将风机叶片两端端点之间的线段作为第一线段；
遍历所述道路三维场景模型中所有平面，将平面中任意两点之间线段作为第二线段；
计算第一线段和第二线段之间的最短空间距离；
将所述最短空间距离与预设的风机叶片安全距离阈值进行比较，以判断风机叶片相对于所述道路三维场景模型的安全性。
8.一种风机叶片运输监管***，其特征在于，所述***包括：
三维重建模块，用于基于采集到的运输场景数据进行三维重建，得到道路三维场景模型；
道路评估模块，用于根据所述运输场景数据提取得到道路点云数据，并根据所述道路点云数据获取道路拐点，建立仿真模型；还用于利用所述仿真模型和所述道路拐点模拟车辆的通过安全性，得到模拟结果；
无人机监控模块，用于基于所述模拟结果和预先采集的风机叶片参数确定目标运输车辆；还用于根据所述目标运输车辆的行驶状态和所述道路拐点确定无人机的飞行状态，以使风机叶片始终处于无人机视野区域内；
碰撞检测模块，用于根据无人机拍摄的风机叶片图像获取风机叶片姿态，并根据所述风机叶片姿态以及所述道路三维场景模型进行碰撞检测，得到碰撞检测结果；还用于基于所述碰撞检测结果制定风机叶片运输规划策略。
9.一种计算机设备，其特征在于：包括处理器和存储器，所述处理器与所述存储器相连，所述存储器用于存储计算机程序，所述处理器用于执行所述存储器中存储的计算机程序，以使得所述计算机设备执行如权利要求1至7中任一项所述的方法。
10.一种计算机可读存储介质，其特征在于：所述计算机可读存储介质中存储有计算机程序，当所述计算机程序被运行时，实现如权利要求1至7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210674915.5A CN115100379B (zh) | 2022-06-15 | 2022-06-15 | 一种风机叶片运输监管方法、***、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210674915.5A CN115100379B (zh) | 2022-06-15 | 2022-06-15 | 一种风机叶片运输监管方法、***、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115100379A true CN115100379A (zh) | 2022-09-23 |
| CN115100379B CN115100379B (zh) | 2024-06-25 |
Family
ID=83290077
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210674915.5A Active CN115100379B (zh) | 2022-06-15 | 2022-06-15 | 一种风机叶片运输监管方法、***、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115100379B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116543322A (zh) * | 2023-05-17 | 2023-08-04 | 深圳市保臻社区服务科技有限公司 | 一种基于社区安全隐患的物业智能巡检方法 |
| CN118037964A (zh) * | 2024-04-11 | 2024-05-14 | 中国电建集团江西省水电工程局有限公司 | 基于bim的风电设备运输虚拟模型生成方法及装置 |
| CN118032063A (zh) * | 2024-04-12 | 2024-05-14 | 中国电建集团江西省水电工程局有限公司 | 基于无人机倾斜摄影的风电设备运输地形测量***及方法 |
| CN118133434A (zh) * | 2024-05-08 | 2024-06-04 | 桉睿数字化科技(北京)有限公司 | 一种数字化海洋工程模块运输仿真方法和*** |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113205218A (zh) * | 2021-05-07 | 2021-08-03 | 湖北省电力勘测设计院有限公司 | 一种基于无人机摄像成图的风电场微观选址方法 |
| CN214608073U (zh) * | 2020-12-17 | 2021-11-05 | 国家电投集团江西水电检修安装工程有限公司 | 一种用于风机叶片检测的无人机 |
| US20210358206A1 (en) * | 2020-05-14 | 2021-11-18 | Star Institute Of Intelligent Systems | Unmanned aerial vehicle navigation map construction system and method based on three-dimensional image reconstruction technology |
| CN114020002A (zh) * | 2021-12-20 | 2022-02-08 | 复亚智能科技(太仓)有限公司 | 无人机巡检风机叶片的方法、装置、设备、无人机及介质 |
| CN114357843A (zh) * | 2022-01-11 | 2022-04-15 | 中国电建集团江西省水电工程局有限公司 | 一种针对风电装备运输进行数值碰撞实验模拟的方法 |
-
2022
- 2022-06-15 CN CN202210674915.5A patent/CN115100379B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210358206A1 (en) * | 2020-05-14 | 2021-11-18 | Star Institute Of Intelligent Systems | Unmanned aerial vehicle navigation map construction system and method based on three-dimensional image reconstruction technology |
| CN214608073U (zh) * | 2020-12-17 | 2021-11-05 | 国家电投集团江西水电检修安装工程有限公司 | 一种用于风机叶片检测的无人机 |
| CN113205218A (zh) * | 2021-05-07 | 2021-08-03 | 湖北省电力勘测设计院有限公司 | 一种基于无人机摄像成图的风电场微观选址方法 |
| CN114020002A (zh) * | 2021-12-20 | 2022-02-08 | 复亚智能科技(太仓)有限公司 | 无人机巡检风机叶片的方法、装置、设备、无人机及介质 |
| CN114357843A (zh) * | 2022-01-11 | 2022-04-15 | 中国电建集团江西省水电工程局有限公司 | 一种针对风电装备运输进行数值碰撞实验模拟的方法 |
Non-Patent Citations (2)
| Title |
|---|
| MAHMOOD SHAFIEE: "Unmanned Aerial Drones for Inspection of Offshore Wind Turbines: A Mission-Critical Failure Analysis", 《ROBOTICS》, 1 January 2021 (2021-01-01) * |
| 刘力: "基于无人机的海事立体监管体系框架", 《中国航海》, 25 March 2015 (2015-03-25), pages 68 - 70 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116543322A (zh) * | 2023-05-17 | 2023-08-04 | 深圳市保臻社区服务科技有限公司 | 一种基于社区安全隐患的物业智能巡检方法 |
| CN118037964A (zh) * | 2024-04-11 | 2024-05-14 | 中国电建集团江西省水电工程局有限公司 | 基于bim的风电设备运输虚拟模型生成方法及装置 |
| CN118032063A (zh) * | 2024-04-12 | 2024-05-14 | 中国电建集团江西省水电工程局有限公司 | 基于无人机倾斜摄影的风电设备运输地形测量***及方法 |
| CN118133434A (zh) * | 2024-05-08 | 2024-06-04 | 桉睿数字化科技(北京)有限公司 | 一种数字化海洋工程模块运输仿真方法和*** |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115100379B (zh) | 2024-06-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115100379B (zh) | 一种风机叶片运输监管方法、***、设备及介质 | |
| US11885910B2 (en) | Hybrid-view LIDAR-based object detection | |
| Zhu et al. | 3d lidar point cloud based intersection recognition for autonomous driving | |
| CA2994511C (en) | Condition detection using image processing | |
| US10127449B2 (en) | Condition detection using image processing | |
| KR102235787B1 (ko) | 접안 모니터링 장치 및 방법 | |
| Zormpas et al. | Power transmission lines inspection using properly equipped unmanned aerial vehicle (UAV) | |
| CN106708073B (zh) | 一种自主导航电力巡线故障检测的四旋翼飞行器*** | |
| CN112348034A (zh) | 基于无人机图像识别的起重机缺陷检测***和工作方法 | |
| Liu et al. | Point cloud segmentation based on Euclidean clustering and multi-plane extraction in rugged field | |
| CN114020015A (zh) | 基于障碍物地图双向搜索的无人机路径规划***及方法 | |
| CN115127510A (zh) | 一种水陆空三栖立体无人化多平台联动滑坡智能巡防*** | |
| Savva et al. | ICARUS: Automatic autonomous power infrastructure inspection with UAVs | |
| JP7153820B2 (ja) | 画像識別に基づく飛行体強制着陸経路計画方法、システムおよび装置 | |
| CN113050685B (zh) | 一种煤矿井下无人机自主巡检的方法 | |
| CN117406771B (zh) | 一种基于四旋翼无人机的高效自主探索方法、***及设备 | |
| KR102372687B1 (ko) | 비최대값 억제를 학습하는 병합 네트워크를 이용한 이종 센서 융합을 위한 학습 방법 및 학습 장치 | |
| CN113674355A (zh) | 一种基于相机与激光雷达的目标识别与定位方法 | |
| KR20210090573A (ko) | 해수면을 고려한 항만 및 선박 모니터링 방법 및 장치 | |
| CN117369479A (zh) | 一种基于倾斜摄影测量技术的无人机障碍预警方法及*** | |
| CN117392641A (zh) | 一种飞机牵引车的碰撞预警、导航预警方法及*** | |
| Hudjakov et al. | Aerial imagery terrain classification for long-range autonomous navigation | |
| Muffert et al. | Stix-fusion: A probabilistic stixel integration technique | |
| CN113935946A (zh) | 实时检测地下障碍物的方法及装置 | |
| Inoue et al. | Autonomous Navigation and Obstacle Avoidance in an Orchard Using Machine Vision Techniques for a Robotic Mower |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |