CN110879607A

CN110879607A - 一种基于多无人机编队协同探测的海上风电叶片检测方法

Info

Publication number: CN110879607A
Application number: CN201910921513.9A
Authority: CN
Inventors: 高俊山; 暴国庆; 刘宇鹏
Original assignee: Harbin University of Science and Technology
Current assignee: Harbin University of Science and Technology
Priority date: 2019-09-27
Filing date: 2019-09-27
Publication date: 2020-03-13

Abstract

本发明公开了一种基于多无人机编队协同探测的海上风电叶片检测方法，其特征在于根据***的三维建模与UAV航迹规划，采用虚拟结构法对多架无人机进行编队，搭建UAV单机运动模型和编队空间相对运动模型并设计分布式NMPC控制器；按照规定的编队飞行，对海上风电叶片进行有规则的大面积多角度拍摄，遇到障碍可以躲避并且可以保持队形；拍照完成后，将获取的照片传送到终端服务器，利用计算机进行图像拼接处理，采用基于Wallis滤波器的多片色彩均衡算法，进行影像匀光，得到拼接效果图，完成损伤标定。该检测方法成功的解决了单无人机在检测过程中，拍照范围有限，搭载的设备不足，和容易出现事故等问题，从而节省了人力资源，提高了工作效率。

Description

一种基于多无人机编队协同探测的海上风电叶片检测方法

技术领域

本发明涉及无人机技术领域，具体涉及一种基于多无人机编队协同探测的海上风电叶片检测方法。

背景技术

随着陆地优质风能资源的逐步开发，海上风力发电已经成为未来的发展趋势，受到世界各国的重视。然而在海洋风能的开发和利用过程中，与陆地风电相比，海上风电处于恶劣的海洋环境，不仅存在高湿度、高盐雾等腐蚀问题，还存在物理性的碰撞损伤等问题。叶片是风力发电机组中非常关键的部件，在海上风电叶片检测领域，目前主要采用人工检测、肉眼观察以及望远镜检测等方式。在传统常规检测过程中，会受到精度、安全性等方面的限制，检测存在效率低下、危险性高和成本高等问题。

现在使用无人机检测的方法越来越广泛，相对于人工检测，无人机检测优势更突出。但是，单一的无人机检测效果并不是很好。一方面，单一无人机所挂载的探测平台性能有限，通常只能获取有限范围内的目标信息，无法满足对大面积目标的搜索和检测需求；另一方面，风机塔筒和涡轮机也是重点检测部分，但是单一无人机靠近风机的涡轮机是很困难的，检测方式存在操作难度大等局限性，其故障率和毁伤率也会大大增加，无法将所有细节图像采集完备，很难做到全面检测，浪费人力资源与资金投入。

发明内容

本发明是针对现有技术的不足，提供一种基于多无人机编队协同探测的海上风电叶片检测的方法。

本发明的目的是通过以下技术方案来实现的：一种基于多无人机编队协同探测的海上风电叶片检测的方法，包括以下步骤：

(1)操作单架无人机对大范围叶片进行整体多视角的拍摄，然后将拍到的图片传送到终端服务器，进行分析和处理，并且完成***的三维建模与UAV航迹规划。

(2)根据***的三维建模与UAV航迹规划，对多架无人机进行编队，本发明采用的编队策略是虚拟结构法。该方法将整个编队看作一个整体，简化了任务的描述和分配，其内容包括：

1、搭建UAV单机运动模型。

2、搭建编队空间相对运动模型。

3、设计分布式NMPC控制器。

(3)将已经规划好的UAV航迹信息发送给每架无人机，然后多架无人机升空，按照规定的编队行为飞行，每个无人机搭配高倍变焦摄像头在不同的角度对叶片进行多角度拍摄，遇到障碍可以躲避并且可以保持队形，保证多UAV大面积拍照的完整性。

(4)多无人机协同拍照完成后；将获取到的照片传送到终端服务器，利用计算机进行图像拼接处理，识别裂缝等危险因素。具体处理方法为将图片按照影像顺序依次进行镶嵌处理，采用基于Wallis滤波器的多片色彩均衡算法，进行影像均衡操作，得到拼接效果图，完成叶片的损伤标定，从而更容易检测到缺陷部分。

本发明与现有技术相比，具有的有益效果是：

(1)本发明采用的多无人机编队协同探测能够更准确、方便的检测叶片缺陷问题，成功解决了传统人工检测的成本高、危险性大、效率低等缺点。

(2)本发明中多无人机编队在军事中应用的非常广泛，把这种技术应用在海上风电叶片检测，有很大的突破。多无人机协同拍摄可通过资源和信息的共享来实现任务的并行执行、扩大检测范围、缩短时间、提高工作效率，而且成功解决了单无人机在检测过程中，拍照范围有限，搭载的设备不足，特殊部位无法拍摄和容易出现事故等问题。

(3)本发明中无人机编队方式采用的是虚拟结构法，其运动轨迹即为编队参考航迹。该方法的优点是将整个编队看作一个整体，简化了任务的描述和分配，可以容易地指定机群的行为，且易于分布式控制策略的实现。

(4)本发明采用图像拼接的处理方法，将无人机拍摄得到的图片通过拼接和匀光匀色处理，得到的图像更加真实清晰，避免了无人机拍摄抖动，曝光等因素所造成的图像模糊，颜色灰暗等问题，更加清楚的看到叶片的缺陷所在。

附图说明

图1为UAV编队相对运动分析图。

图2为NMPC求解框图。

图3为UAV编队探测轨迹图。

图4为图像拼接流程图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明搭建了***模型，其中包括：

1、UAV单机运动模型。

假设UAV飞行迎角和侧滑角很小，且不考虑风场影响，可得UAV的单机运动模型如下：

其中：V_i、χ_i和γ_i分别为UAV_i的速度、航向角和爬升角；(x_i,y_i,z_i)为UAV_i在惯性系下位置坐标；控制输入u_xi、u_yi和u_zi分别为过载沿航迹坐标系的x轴、y轴和z轴的投影，且分别限定在[u_ximin,u_ximax]、[u_yimin,u_yimax]、[u_zimin,u_zimax]内；各UAV的速度约束为0<V_imin≤ V_i≤V_imax.

2、编队空间相对运动模型。

本发明采用虚拟结构法定义编队构型，假设存在一个运动的虚拟点O_f沿给定的编队参考轨迹飞行，以该虚拟点为原点定义编队坐标系O_fx_fy_fz_f，且x_f轴沿虚拟点速度在水平面内的投影分量方向，z_f轴垂直水平面向下，y_f轴位于水平面内由右手定则确定，如图1所示。

相较于传统虚拟结构法采用虚拟点航迹系作为编队参考系，这里定义的编队坐标系能够更直观地定义编队构型，且基于该坐标系的编队相对运动方程具有更为简单的形式，易于控制实现。图1中：O_gx_gy_gz_g为惯性系，V_f、χ_f和γ_f分别为虚拟点速度、航向角和爬升角， (x_if,y_if,z_if)为UAV_i在编队系下的相对位置坐标，则期望编队构型可由编队系下的一组相对位置坐标{(x_dif,y_dif,z_dif),i＝1,2,…,m}定义，m为编队UAV总数。

假设虚拟点参考轨迹(即编队参考轨迹)由如下基于时间参数的微分方程给出：

其中：(x_f,y_f,z_f)为惯性系下虚拟点位置；ω_f为虚拟点航向角速度，且V_f、ω_f和γ_f均为时间的分段连续函数，由编队路径规划***提前给出。

图中R_i、R_f和R_if分别为惯性系下UAV的位置矢量、虚拟点位置矢量及它们之间的相对位置矢量，则它们满足如下三角关系：

R_if＝R_i-R_f. (3)

对上式关于时间求导，并根据坐标系间转换关系投影到编队坐标系下，可得到如下编队空间相对运动方程：

其中：航向角误差χ_if＝χ_i-χ_f队形保持误差χ_eif＝χ_if-χ_dif，y_eif＝y_if-y_dif，z_eif＝ z_if-z_dif.

综上所述，结合UAV单机运动模型(1)和编队空间相对运动模型(4)，可得UAV编队飞行***模型为：

其中可将虚拟点运动状态看作已知扰动。若令x_i＝[V_i,χ_i,γ_i,x_eif,y_eif,z_eif]^T,u_i＝[u_xi,u_yi,u_zi]^T，则式(5)可以简写为如下离散状态空间形式：

x_i(k+1)＝x_i(k)+f(x_i(k),u_i(k))Δt,

i＝1,2,…,m. (6)

其中：Δt为离散时间步长，f(*)为式(5)中全部子式等号右侧对应的非线性函数。

如图2所示，本发明设计了分布式NMPC控制器，采用NMPC法在线滚动优化求解每一采样时刻下的无人机控制输入。图2为NMPC编队控制器的求解框架，图中k为当前时刻，N为预测时域和控制时域长度，{x_i(k+1|k),…x_i(k+N)|k}为UAV状态向量预测值， {x_ir(k+1|k),…x_ir(k+N)|k}为UAV参考状态向量，{u_i(k|k),…u_i(k+N-1)|k}为最优控制输入序列。由控制器结构可知，每架UAV都独立求解各自的优化问题，仅在必要时与其他UAV进行通讯，是一种分布式控制器。

为了实现动态环境下的编队保持及避障、避碰控制目标，可以建立如下形式的目标函数：

其中：第1项和第2项分别为输入代价和状态代价，实现编队队形保持；第3项为终端状态惩罚代价，用于保证NMPC控制器稳定性；第4项和第5项分别为UAV避障和避碰惩罚项；R、S、SN为相应权值矩阵。

如图3所示，本发明针对海上风电叶片的结构和位置进行无人机航迹规划。假定要检测的大面积的叶片区域为矩形区域，区域的长为L，宽为W；根据多无人机编队管理，给定每个无人机在水平方向上的距离要大于a，这样可以避免在突发情况下无人机之间相互碰撞。在检测海上风电叶片的过程中，无人机的速度保持恒定值V_m，单个无人机的拍摄区域半径为a，确保使用尽可能少的无人机完成对指定区域内实物拍摄，采集照片。下面是航行的具体步骤：

(1)选择5架或者更多的无人机从海上下边界右侧A处开始起飞，在图中所示，无人机的飞行方向垂直向上，匀速飞行。

(2)多无人机开始对叶片进行拍摄，并且将图片存储起来；当无人机到达限定区域的上边界BC后，无人机编队进行左转弯—直行—左转弯飞行，到达新的路径，并沿着新的路径飞行并拍摄图片。

(3)当无人机到达限定区域的下边界AD后，就完成了对该区域的全部拍摄，此时可以控制无人机离开该区域，航行到另一个指定区域，继续进行拍摄；也可以沿着之前的路径再次飞行并拍摄，这样可以做到更全面更精确的拍摄，获得更多的图片来进行处理。

(4)当遇到障碍时，无人机智能躲避障碍，编队队形先解散，后重组并保持原状态继续飞行并拍摄。

如图4所示，本发明采用图像拼接的处理方法，将无人机拍摄的图片通过计算机进行图像拼接，得到清晰完整的图像。步骤主要包括：

(1)首先是采用基于顾及重叠的面Voronoi图构建目标区域整体拼接线网络。

(2)确定每对相邻影像的重叠范围，生成影像拼接线，这样既能剔除冗杂无用数据，更降低了计算机程序的运算量。

(3)根据简单多边形、凸多边形中轴算法，提取重叠区域中轴线。

(4)生成顾及重叠的Voronoi多边形，需要用此平分中轴线依序对相应无人机影像进行划分与剪裁操作，去除变形较大的边缘部分，生成影像所属的Voronoi多边形，以便生成全部影像的Voronoi图。

(5)计算并保存该公共边信息，即生成一条拼接线，按照一定规则连接众多拼接线的顶点，便可构建整个航拍区域的拼接线网络，实现无人机影像的良好拼接。

(6)针对无人机影像色彩不均衡现象，采用Wallis滤波器进行影像匀光操作，通过统计影像灰度均值与方差，利用Wallis滤波器调整影像灰度的线性分布，保持多幅影像间色调、亮度的一致性，可以较好地对无人机航拍影像实现匀光处理。

(7)得到完整的拼接图，检测与识别叶片的缺陷特征，并完成对叶片的损伤标定。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims

1.一种基于多无人机编队协同探测的海上风电叶片检测方法，其特征在于：包括以下步骤：

1、搭建UAV单机运动模型。

2、搭建编队空间相对运动模型。

3、设计分布式NMPC控制器。

2.根据权利要求1所述的一种基于多无人机编队协同探测的海上风电叶片检测方法，其特征在于：所述步骤(1)中控制单无人机对海上风电叶片进行整体拍摄，处理图片完成***建模，有利于多无人机编队的航迹规划。

3.根据权利要求2所述的方法，其特征在于：所述航拍参数包括飞行航线、高度、速度，拍摄距离、位置、时间等。

4.根据权利要求1所述的一种基于多无人机编队协同探测的海上风电叶片检测方法，其特征在于：所述步骤(2)中采用了虚拟结构法进行多无人机编队，搭建编队模型，根据三维空间坐标系推导出运动方程。

5.根据权利要求4所述的方法，其特征在于：建立目标函数，实现动态环境下的编队保持及避障、避碰控制目标。

6.根据权利要求5所述的方法，其特征在于：求解NMPC时需要进行UAV状态预测，根据参考轨迹和期望队形得出代价函数，最后进行优化计算。

7.根据权利要求1所述的一种基于多无人机编队协同探测的海上风电叶片检测方法，其特征在于：所述步骤(3)中在多无人机编队探测的航迹上，采用目标垂线搜索方法，可以在叶片区域进行有规则的大面积多角度拍摄。

8.根据权利要求1所述的一种基于多无人机编队协同探测的海上风电叶片检测方法，其特征在于：所述步骤(4)中对无人机采集的图片进行图像拼接处理，步骤包括：

1、顾及重叠的面Voronoi图。

2、确定影像重叠范围。

3、提取重叠区域中轴线。

4、生成顾及重叠的面Voronoi多边形。

5、基于Wallis滤波器的影像匀光。

6、得到完整清晰的拼接图，检测与识别叶片的缺陷特征，并完成叶片的损伤标定。