CN109900712B - 基于摄像测量的风电叶片机械故障在线检测***及其方法 - Google Patents

Abstract

本发明公开了一种基于摄像测量的风电叶片机械故障在线检测***，包括叶片全局运动测量***、长焦相机随动测量***、可选用的无人机站叶片局部损伤检测***、信息处理分析和控制***、野外综合支持与保障***。还公开了基于上述***的检测方法，先进行相机标定，再由全局测量***采集旋转叶片的图像，获取叶片的全场位移和应变信息，并提取旋转叶片轮廓；然后控制长焦随动相机跟踪拍摄，获取叶片感兴趣局部区域在不同位置不同受力状态下的高分辨图像，根据叶片上特征点位移和图像变化进行人工或半自动故障检测分析。本发明检测过程稳定，实现了对大尺度风电叶片的全局与局部表面的高精度检测，检测效率高、功能丰富、容易控制，节省了大量人力。

Description

基于摄像测量的风电叶片机械故障在线检测***及其方法

技术领域

本发明涉及摄像测量学方法技术和实验力学技术，尤其涉及一种基于摄像测量的移动式风电叶片机械故障、损伤在线检测评估仪器***及其对应的方法。

背景技术

随着我国综合国力的不断增强，国家对能源的需求量不断攀升。利用风能发电已经成为一种可靠的清洁能源。我国在20世纪80年代开始风电项目的探索和示范工作。预期到2050年能满足国内17％的电力需求。大型风力发电场多建于偏远的山区或近海区域，交通不便，并且机组处于高空，一旦机组的某些部件出现故障，不仅长时间停机造成发电量损失，而且整个机组的重新吊装和部件更换，都需要大量的人力和物力。

作为主流的现代大型水平轴式风电机组，其结构非常复杂，一般由叶片、动力传动链、发电机和塔架等部件组成。常见风电设备机械故障的类型主要包括叶片故障、动力传动机构故障、发电机故障、偏航***故障和塔架故障，这些关键部件的故障将造成风力发电机组的停机甚至失效。国内外已对风电叶片检测方法和仪器做了大量研究，但大都不成熟。实用的叶片检测方法仪器都需要在停机状态下利用望远镜和绳索蜘蛛人进行目测检测，可检测项目少、效率低、可靠性低，不能及时发现叶片等结构的机械故障，严重阻碍风电事业的可持续发展。

因此，本领域的技术人员致力于开发一种基于摄像测量的风电叶片机械故障在线检测***及其方法，基于摄像测量技术，突破大尺度同时高精度测量、在线运动和变形测量等重大科学技术问题。

发明内容

有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是基于摄像测量对风电叶片实现同时进行的大尺度、高精度测量、在线运动和变形测量。

为实现上述目的，本发明提供了一种基于摄像测量的风电叶片机械故障在线检测***，其特征在于，包括以下***：

叶片全局运动测量***：其设置于地面，包括两个独立的全局相机测量平台，每一个全局相机测量平台具有由一台或若干台相机组成的相机阵列，两全局相机测量平台的间距和交会角根据测量任务需求灵活布置，用于对风电叶片进行三维运动测量和图像边缘轮廓测量，并获得叶片各感兴趣点的三维运动轨迹；

长焦相机随动测量***：其设置于地面，包括随动云台和安装在随动云台上的长焦相机。随动云台受控于信息处理分析和控制***可跟随叶片不同局部区域而转动，长焦相机拍摄叶片感兴趣局部区域的高分辨率图像，可观察叶片表面裂纹、损伤、脱毡等异常情况。同时也可利用数字图像相关等方法测量叶片局部表面变形情况；

信息处理分析和控制***：包括计算机和传输线缆，用于全局运动测量***、长焦相机随动测量***以及无人机站叶片局部损伤检测***的数据同步、传输、处理与分析，同时根据任务需求完成对于长焦相机随动测量***和无人机站的控制；

野外综合支持与保障***：包括若干辆越野车，用于摄影测量设备的运输和电力保障。

进一步地，长焦相机随动测量***可根据任务需求仅布置于全局运动测量***的单侧，测量叶片在旋转面内二维变形；也可布置于两侧，测量叶片三维变形数据。

进一步地，长焦相机随动测量***可加装同轴激光指示器，以助于随动测量相机图像在全局测量相机图像中的识别定位。

进一步地，基于摄像测量的风电叶片机械故障在线检测***，还包括无人机站叶片局部损伤检测***，其根据实际任务需求选用。无人机站叶片局部损伤检测***包括无人机，无人机携带检测载荷，检测载荷包括高分辨率相机、数字图像投射器等。无人机拍摄叶片感兴趣局部区域的高分辨率图像，可观察叶片表面裂纹、损伤、脱毡等异常情况，同时也可测量不同位置不同受力状态下的叶片局部三维轮廓及叶片表面变形情况。

本发明还提供了一种基于摄像测量的风电叶片机械故障在线检测方法，其包括以下步骤：

步骤(1)，相机标定，相机标定工作可在室内预先完成，或在野外作业环境下进行：可直接利用风电叶片上特征，或利用装载了合作标志的无人机在野外环境下的视场范围内飞行，叶片全局运动测量***的左右平台相机同步采集多个特征的图像，通过匹配合作标志完成相机标定并解得相机的内外参数；

步骤(2)，两个独立的全局阵列相机测量平台从不同角度拍摄采集旋转叶片的图像，对叶片在转动过程中拍摄的序列图像分析，通过数字图像相关等技术，获得旋转运动的叶片的全场位移和应变信息，并结合相机标定参数，获得风电叶片感兴趣点在转动过程中三维运动轨迹；对风电叶片的图像进行边缘检测，提取叶片轮廓；

步骤(3)，基于测量得到的叶片三维运动信息，采用时域分析或频域分析，分析叶片在旋转面内的转动和叶片的离面位移，测量叶片不同位置不同受力状态下的相对变形，判断叶片表面的异常情况；

步骤(4)，信息处理分析和控制***在全局运动测量***测量结果规划引导下，控制长焦随动相机跟踪拍摄，获取叶片感兴趣局部区域在不同位置不同受力状态下的高分辨图像；基于数字图像相关或投影结构光等技术获取叶片三维形貌数据，根据人工或自动判读叶片表面的损伤、开裂、裂纹等异常情况。

本发明的基于摄像测量的风电叶片机械故障在线检测方法，其检测过程稳定，突破大尺度同时高精度测量、在线运动和变形测量等技术问题，具有检测效率高、功能丰富、容易控制的优点，节省了大量人力。

以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。

附图说明

图1是本发明的风电叶片机械故障在线检测***的组成示意图；

图2是叶片全局运动测量***示意图；

图3是无人机站叶片局部损伤检测***示意图；

图4是基于旋转子域的数字图像相关技术流程图；

图5是全场测量的传播路径示意图；

图6是PSO算法中初始像素位置分布示意图。

具体实施方式

本发明的基于摄像测量的风电叶片机械故障在线检测***，组成关系如图1所示，包括叶片全局运动测量***、长焦相机随动测量***、可选用的无人机站叶片局部损伤检测***、信息处理分析和控制***、以及野外综合支持与保障***。

叶片全局运动测量***设置于地面，如图2所示，包括两个独立的全局相机测量平台，两全局相机测量平台的间距和交会角根据测量任务需求灵活布置，用于对风电叶片进行三维运动测量和图像边缘轮廓测量，并获得叶片的运动状态和整体完整性。例如，其由2×2＝4个千万像素级高分辨率相机构成，拍摄风电叶片在转动状态下全场约130×130平方米的序列图像。两个测量平台之间通过立体视觉的原理，对风电叶片的三维运动测量，获得叶片的运动状态，结合时域和频域分析技术，检测风电叶片工况整体是否有异常，获得叶片整体完整性和结构工作健康状态。同时，叶片全局运动测量***也可通过图像边缘轮廓测量感知叶片变形，结合数值仿真结果推测叶片可能存在的损伤；测量风电叶片塔柱是否有晃动、倾斜，以及塔柱的失效；根据叶片旋转平面与风向的关系，判断偏航***故障。

长焦相机随动测量***设置于地面，包括安装在随动云台上的长焦距相机，优选为千万像素级长焦距相机，随动云台跟随叶片局部转动，用于拍摄叶片不同区域的图像，可观察叶片表面裂纹、损伤、脱毡等异常情况。并测量叶片局部在转动过程中产生的相对变形。长焦距相机通过图像实时跟踪算法来控制随动云台跟踪叶片不同局部的转动，利用叶片上的纹理等特征点匹配，测量叶片局部在转动过程中由于受力状态变化而产生的相对变形，依据变形量的大小判别叶片局部结构的安全性。

可根据实际任务需要选用的无人机站叶片局部损伤检测***包括若干无人机，优选为系留式无人机，本发明的一个实施例如图3所示。其由地面供电并进行实时数据传输，载重量可达20kg。无人机携带检测载荷，检测载荷包括高分辨率相机、数字图像投射器，无人机按照一定的线路规划控制，在叶片转动状态下近距离对叶片表面不同区域在不同受力状态进行检测。拍摄用于近距离拍摄叶片表面的光学图像、测量叶片局部三维轮廓及测量叶片表面应变场情况，其主要具有三个检测功能：(1)高分辨率相机近距离拍摄叶片表面的光学图像，半自动判读叶片表面的划痕、裂纹等损伤；(2)使用数字图像投射器，采用投影结构光等方法，能够测量叶片局部三维轮廓，判别叶片表面鼓泡等缺陷；(3)若叶片表面制有斑点等纹理，用数字图像相关法(DIC)等可以测量得到不同受力状态下的表面应变场情况。

信息处理和控制***：包括若干台计算机和传输线缆，用于数据存储和控制，用于对基站和无人机站的测试数据同步、传输、处理与分析。该***的主要工作包括把叶片运动和变形测量数据与叶片结构振动变形数值模拟结果进行对比，分析叶片变形的差异；叶片三维运动时域或频域分析；叶片表面裂纹判别；叶片表面形貌分析与鼓泡判别；叶片测量数据进行存储，通过与前次检测数据的比较，追踪和评价叶片局部损伤的演化过程。

野外综合支持与保障***：包括若干辆越野车，其用于承担测量设备的工作台，并且用于摄影测量设备的运输和电力保障。例如，由2台4轮驱动越野车和相关设备组成，负责运输风电叶片摄影测量设备，将车停在预定位置，打开车门就可以作为工作台进行测量作业。同时越野车在野外测试时可为测试***提供电力。

根据上述的基于摄像测量的风电叶片机械故障在线检测***，本发明提供了一种采用该***进行的检测方法，主要包括以下步骤：

步骤(1)、相机标定

相机标定工作可在室内预先完成，或在野外作业环境下进行。可以利用装载了合作标志的无人机在野外环境下的视场范围内飞行，也可直接利用风电叶片上特征，叶片全局运动测量***的左右平台相机同步采集多个特征的图像，通过匹配合作标志完成相机标定并解得相机的内外参数。

步骤(2)、叶片全局运动测量及轮廓提取

两个独立的全局阵列相机测量平台从不同角度拍摄采集旋转叶片的图像，对叶片在转动过程中拍摄的序列图像分析，通过数字图像相关等技术，获得旋转运动的叶片的全场位移和应变信息，并结合相机标定参数，获得风电叶片感兴趣点在转动过程中三维运动轨迹；可优选基于线段编组和显著度分析的知觉组织轮廓提取方法，对叶片的图像进行边缘检测与轮廓提取。

该步骤中，一种具体的实施例可采用基于旋转子域的数字图像相关技术，以获得旋转运动的叶片的全场位移和应变信息，将数字图像与旋转叶片匹配，其流程图如图4所示：

首先利用SIFT(Scale-invariant feature transform)特征提取技术匹配参考图像和目标图像的特征点，选取感兴趣区域中的任意一个种子点，选取的原则为该种子点所在的子域存在两个及以上的特征点，这些匹配的特征点对分别记为：k_i(x_i,y_i)和k_i'(x_i',y_i')。然后利用这些匹配的特征点定义向量

和

这两组向量组成的向量夹角，可由以下公式求得：

这里的Θ_i为两向量的夹角，其范围为0°到180°，但是参考子域(对应初始拍摄位置)和变形子域(对应运动位移后位置)的旋转角θ范围为0°到360°，逆时针为正。为了正确获得旋转角，需要确定向量的旋转方向，此时则可以根据两向量叉乘来确定。

如果

为正，

是关于

的逆时针旋转，此时旋转角θ＝Θ，否则θ＝360°-Θ。这样便可以求出目标子域一系列近似的旋转角，为减小旋转角的估计时间，本实施例取中间值为旋转角的估计值。旋转角度的初始值θ获得之后，对目标子域旋转θ角，其旋转公式为：

其中，x’,y’是旋转之后的整像素坐标，Δx和Δy分别是x和y方向的像素到子域中心的距离。通过匹配旋转之后的子域与参考子域，就能消除因旋转导致的去相关，从而准确的搜索到目标图中对应的整像素点。

同样，在亚像素迭代中也应该考虑旋转问题，本发明优选两步Newton-Raphson(NR)迭代算法，第一步目的是迭代出更接近真值的亚像素位移和旋转角，即(u,v,θ)；第二步利用传统的NR算法迭代出最终优化解

在第一步中，假设物体只发生了刚体旋转，则变形后的子域的坐标可以用零阶形函数表示：

可以利用标准的相关函数评估参考子域和目标子域的匹配。在此，考虑优化3个参数

其初值为

由前面的整像素搜索阶段获得。在第一步NR迭代过程中，结合双三次插值能获得较高精度解

此解将作为第二步NR迭代的初始值。一旦旋转角和位移量确定，利用传统的NR算法迭代出最优的解。迭代过程的二阶形函数引入了旋转角θ，其表达如下：

此迭代过程需要优化13个变量，即(u,v,u_x,u_y,v_x,v_y,u_xx,u_xy,u_yy,v_xx,v_xy,v_yy,θ)，迭代的初始值(u,v,0,0,0,0,0,0,0,0,0,0,θ)由第一步NR确定。本发明的两步NR算法可以很好地提高相关的匹配精度。

在全场计算中，本发明优选采用一个双向独立的S形传播路径来作为一个稳定的种子点传播方案，如图5所示，其传播函数为：

利用此传播函数，可以得到下一个点的初始位移(u₁,v₁)，再利用NR算法便可以准确获得目标点的亚像素位值。

运用以上算法，对叶片在转动过程中拍摄的序列图像分析，结合相机标定参数，就可以测量风力发电机叶片在转动过程中任意位置的三维位置，结合时间参数，即可获得叶片的三维运动和变形。

关于数字图像相关的实时处理，本发明的优选采用例如微粒群优化(PSO)整像素搜索算法，具体如下：

整像素搜索中，假设P_i表示第i个像素的当前位置，v_i表示第i个像素的当前速度，pbest_i表示第i个像素搜索过的最优位置，gbest表示像素群转过的最优位置。像素最优位置的优劣可通过所优化问题的目标函数，即数字图像相关中的相关函数(公式5)来决定。例如，设定相关系数C为0.75，一旦全局相关系数gbest大于或等于C，迭代立即停止。在序列图像处理中，相邻图像间的像素位移比较小，因此在搜索过程中首先在目标图中生成m个初始的像素点和随机速度，将上一幅图的目标位置作为下一幅图的中心位置并生成M×N个像素微粒，为保持种群的多样性，在剩余的搜索区域中随机的产生其余的微粒，如图6所示。在二维空间中，像素群分别根据公式(7)(8)来更新各自的速度和位置。

v_id(t+1)＝wv_id(t)+c₁r₁[pbest_id-p_id(t)]+c₂r₂[gbest_d-v_id(t)] (7)

p_id(t+1)＝p_id(t)+v_id(t+1) (8)

式中，d＝1，2，…，表示空间维度，只考虑二维时，则d＝1，2，分别表示图像整像素坐标空间中的x和y方向，w为惯性权重，c₁，c₂为加速常数，r₁，r₂是均匀分布于[0,1]的随机数。为了控制像素向搜索空间[P_d,min,P_d,max]过度的移动，微粒速度设置为在[V_d,min,V_d,max]范围。

通过PSO算法获得了目标位置d₀后，再利用最大梯度搜索算法，可以有效避免整像素空域内多峰值的情况，快速准确地获得最终的初始估计位置，然后通过IC-GN(反向组合高斯牛顿算法)亚像素搜索算法，能够快速地获得亚像素位移。

通过上述的两步整像素搜索法，结合IC-GN亚像素搜索策略可以快速获得一个点的位移值。结合并行计算技术，可以实现多个特征点的快速跟踪。利用C++语言并结合OpenMP编程模式，将搜索算法在多核计算机中运行，便可以达到实时的多点同时跟踪的目的。

对于风电叶片的轮廓提取为通过边缘提取，由于噪声的影响边缘检测得到的边缘点集可能存在间断，需要对这些边缘段进行连接以形成目标的轮廓，因此基于边缘的轮廓提取方法通常包括边缘检测和边缘编组两个主要步骤。

风电叶片的边缘处理和线段提取通常可在例如Canny等算子边缘检测的基础上进行，再以线段为基元，利用基于图论的知觉组织方法对其进行编组，进一步，利用已知的叶片轮廓模型数据匹配引导，达到叶片轮廓提取的目的。为了准确测定叶片轮廓，一种优选的方法是采用基于线段编组和显著度分析的知觉组织轮廓提取方法(Lines Grouping andSaliency Analyzing based Perceptual Organizational Contour Extraction，LSPC)，在编组基元的准备、局部显著性的定义和轮廓显著度(即全局显著度)的分析等步骤进行优化，可克服了传统算法偏好短轮廓的缺陷。

该方法的轮廓提取流程如下，主要包括三个步骤：

1)基元准备，包括边缘检测、边缘处理和线段提取三个子步骤；

2)线段编组，包括构造连接性图、计算线段之间的连接概率和设置弧的权值并寻找圈(Cycle)三个子步骤，其中权值主要取决于线段之间的接近性、连续性和灰度一致性；

3)轮廓分析，对轮廓进行有效性验证和显著度分析，从中选出最显著的轮廓作为输出。

步骤(3)，风电叶片整体的故障检测分析：

基于叶片三维运动信息，采用时域分析或频域分析，分析叶片在旋转面内的转动和叶片的离面位移，测量叶片不同位置不同受力状态下的相对变形；根据叶片转速的周期性变化以及叶片局部变形数据，判断叶片表面的异常情况。进一步地，上述故障检测分析的具体方法包括如下：

在稳定风场下，将叶片的转动近似看作一个匀速的转动。叶片上沿长度方向的三维转动分解为叶片在旋转面内的转动和叶片的离面位移，在时域内，分析沿叶片长度方向上的各个点的运动变化随时间曲线变化，各个点运动方向分解为三个方向：包括叶片旋转平面内水平和竖直方向以及垂直于旋转平面的方向。通常地，当某个叶片由于表面裂纹、沙眼等缺陷导致内部积水，在旋转面内的转速会发生周期性变化的特征，根据上述的曲线进行判定。叶片在z方向的位移主要由两种因素产生。一种是叶片在转动过程中由于气流的影响和结构振动产生变形；另一种则与叶片损伤、传动轴故障有关。叶片的损伤主要表现在测量点的位移在某个点急剧增大，而传动轴的故障主要体现在叶片z方向位移呈周期性突变，比较风电叶片的运动与变形和叶片三维运动测量中叶片沿长度方向的z方向的变形数据，可以判定叶片整体结构性损伤，采用频域分析，例如通过傅里叶频谱分析，可以非常直观地表征上述故障。

叶片在旋转过程中，需要考虑重力导致结构变形的变化，因此通过结合叶片受力变化分析，来评估叶片的结构变形。分别建立叶片旋转至几个参考状态(例如位于水平轴左右两个水平位置)的受力模型，同时考虑叶片结构特征和材料参数，利用数值模拟技术计算叶片的变形差异。考虑到风场风速的变化引起叶片升力的改变，在实际模拟中，可以结合叶片风场流固耦合模型的结果，给出不同风速、叶片不同转速下，叶片在两个水平位置的变形差异。

考虑到叶片转动过程中的叶片在重力的作用下呈周期性变化，优选地，着重关注叶片处于水平和竖直位置这四个特殊状态。利用双相机***同步采集叶片在水平、竖直位置四个区域上的图像，以其中一个位置为参考，利用三维数字图像相关法以准确地提取叶片在其它位置上的相对变形。

步骤(4)，风电叶片局部区域的故障检测分析：

信息处理分析和控制***在全局运动测量***测量结果引导下，控制长焦随动相机跟踪拍摄，或者控制规划无人机近距离局部观测，获取叶片感兴趣局部区域在不同位置不同受力状态下的高分辨图像。基于三维形貌数据，根据人工或自动判读叶片表面的损伤、开裂、裂纹等异常。

在进行叶片局部变形测量时，首先，采用快速图像匹配算法，结合运动估计，生成控制信号，控制随动云台跟随叶片的转动；其次，由于相机固连在随动云台上，两个基站之间随动云台的运动参数实时同步记录，用以修正相机的外部参数，以提高变形测量精度；最后，相机拍摄的叶片在旋转至参考状态，例如左右水平、上下竖直四个位置上的图像，需要进行特定的图像重构和旋转算法，才能进行图像匹配，以获得叶片在不同受力状态下的变形。

对于风电叶片表面缺陷检测，也可采用无人机近距离局部观测的方法，实现工作状态下叶片表面形貌的高精度三维表面形貌的测量，以判读叶片表面的鼓泡；基于三维形貌和纹理数据，利用叶片损伤度计算方法，判读叶片表面的损伤、开裂、裂纹等异常。

基于图像的风电叶片裂纹检测与识别可以分为三个步骤：

第一步，对图像的进行预处理，包括图像灰度化、图像去噪、边缘检测，其作用是通过加工、整理、分析处理所获得图像信息，寻找出图像中反映叶片轮廓与裂纹的纹理；

第二步，叶片轮廓提取与图像中的叶片局部图像分割，准确定位叶片的局部图像；

第三步，在叶片局部图像区域对裂纹的分类识别，首先，提取裂纹的投影特征，得出横纹与纵纹的投影规律；然后，利用形态学中的开运算和闭运算，去除边缘检测中的小颗粒噪声及毛刺，便于提取裂纹图像的几何特征；最后，提取裂纹骨架，并计算裂纹的长度、宽度等几何特征。

为了实现裂纹识别的自动化，可以根据实际情况设定损伤度预警阈值。对于形貌轮廓、纹理差异变化的高于损伤度预警阈值的叶片区域，***自动判定为异常区域；对于形貌轮廓、纹理差异变化的低于损伤度安全阈值的叶片区域，***自动判定为正常区域；对于处于损伤度预警阈值与安全阈值之间的叶片区域，提示反馈，采用人工判读的方式。

为了检测叶片表面的裂纹，可定义叶片局部损伤度：

其中，P_s为利用图像边缘检测算法，在叶片局部表面图像轮廓内部，检测到的图像中灰度值、颜色或者纹理不连续及突变的区域的像素面积；P_a为叶片局部表面在图像中所占的像素面积。

此外，在采用无人机站叶片局部损伤检测***时，为将测量结果统一到全局运动测量***坐标基准下，可在无人机上安装若干个激光定位指示器同时照射叶片，全局运动测量相机根据激光指示器的位置即可对无人机拍摄的图片在叶片全局测量***坐标基准中进行定位。

在本发明的一个实施例中，风力发电叶片直径约114m，转动轴高度为90m。把两个地面测量平台放置在距离风电塔架前方约200m位置，两个地面站相机相距约100m，利用外部TTL触发两相机同步采集，通过地面站和无人机站测试子***对风电叶片的运动、变形和表面纹理、形貌等开展全面检测，再结合信息处理分析和控制***的数值分析，评估叶片的健康状态。

上述的动态检测方法，其检测过程稳定，具有检测效率高、功能丰富、容易控制的优点，节省了大量人力。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (9)

1.一种基于摄像测量的风电叶片机械故障在线检测方法，特征在于，包括以下步骤：

步骤(1)，相机标定，相机标定工作可在室内预先完成，或在野外作业环境下进行：可直接利用风电叶片上特征，或利用装载了合作标志的无人机在野外环境下的视场范围内飞行，叶片全局运动测量***的左右平台相机同步采集多个特征的图像，通过匹配合作标志完成相机标定并解得相机的内外参数；

步骤(2)，叶片全局运动测量及轮廓提取，两个独立的全局阵列相机测量平台从不同角度拍摄采集旋转叶片的图像，对叶片在转动过程中拍摄的序列图像分析，通过数字图像相关技术，获得旋转运动的叶片的全场位移和应变信息，并结合相机标定参数，获得风电叶片感兴趣点在转动过程中三维运动轨迹；对风电叶片的图像进行边缘检测，提取叶片轮廓；

步骤(3)，风电叶片整体的故障检测分析，基于测量得到的叶片三维运动信息，采用时域分析或频域分析，分析叶片在旋转面内的转动和叶片的离面位移，测量叶片不同位置不同受力状态下的相对变形，判断叶片表面的异常情况；

步骤(4)，风电叶片局部区域的故障检测分析，信息处理分析和控制***在全局运动测量***测量结果规划引导下，控制长焦随动相机跟踪拍摄，获取叶片感兴趣局部区域在不同位置不同受力状态下的高分辨图像；基于数字图像相关或投影结构光获取叶片三维形貌数据，根据人工或自动判读叶片表面的异常情况，包括损伤、开裂或裂纹；

基于图像相关的风电叶片裂纹检测与识别分为三个步骤：

第一步，对图像的进行预处理，包括图像灰度化、图像去噪、边缘检测，其作用是通过加工、整理、分析处理所获得图像信息，寻找出图像中反映叶片轮廓与裂纹的纹理；

第二步，叶片轮廓提取与图像中的叶片局部图像分割，准确定位叶片的局部图像；

第三步，在叶片局部图像区域对裂纹的分类识别，首先，提取裂纹的投影特征，得出横纹与纵纹的投影规律；然后，利用形态学中的开运算和闭运算，去除边缘检测中的小颗粒噪声及毛刺，便于提取裂纹图像的几何特征；最后，提取裂纹骨架，并计算裂纹的几何特征，包括长度或宽度；

为了实现裂纹识别的自动化，可以根据实际情况设定损伤度预警阈值；对于形貌轮廓、纹理差异变化的高于损伤度预警阈值的叶片区域，***自动判定为异常区域；对于形貌轮廓、纹理差异变化的低于损伤度安全阈值的叶片区域，***自动判定为正常区域；对于处于损伤度预警阈值与安全阈值之间的叶片区域，提示反馈，采用人工判读的方式；

为了检测叶片表面的裂纹，可定义叶片局部损伤度：

其中，P_s为利用图像边缘检测算法，在叶片局部表面图像轮廓内部，检测到的图像中灰度值、颜色或者纹理不连续及突变的区域的像素面积；P_a为叶片局部表面在图像中所占的像素面积。

2.如权利要求1所述的基于摄像测量的风电叶片机械故障在线检测方法，其特征在于，在步骤2中，采用基于旋转子域的数字图像相关技术，以获得旋转运动的叶片的全场位移和应变信息，将数字图像与旋转叶片匹配；

首先利用尺度不变特征变换匹配算法匹配参考图像和目标图像的特征点，选取感兴趣区域中的任意一个种子点，选取的原则为该种子点所在的子域存在两个及以上的特征点，这些匹配的特征点对分别记为：k_i(x_i,y_i)和k_i'(x_i',y_i')；然后利用这些匹配的特征点定义向量

和

这两组向量组成的向量夹角，可由以下公式求得：

这里的Θ_i为两向量的夹角，其范围为0°到180°，但是参考子域和变形子域的旋转角θ范围为0°到360°，逆时针为正；为了正确获得旋转角，需要确定向量的旋转方向，此时则可以根据两向量叉乘来确定；

如果

为正，

是关于

的逆时针旋转，此时旋转角θ＝Θ，否则θ＝360°-Θ；这样便可以求出目标子域一系列的旋转角，为减小旋转角的估计时间，取中间值为旋转角的估计值；旋转角度的初始值θ获得之后，对目标子域旋转θ角，其旋转公式为：

其中，x’,y’是旋转之后的整像素坐标，Δx和Δy分别是x和y方向的像素到子域中心的距离；通过匹配旋转之后的子域与参考子域，就能消除因旋转导致的去相关，从而准确的搜索到目标图中对应的整像素点；

同样，在亚像素迭代中也应该考虑旋转问题，采用两步牛顿-拉裴森迭代算法，第一步目的是迭代出更接近真值的亚像素位移和旋转角，即(u,v,θ)；第二步利用传统的牛顿-拉裴森算法迭代出最终优化解

在第一步中，假设物体只发生了刚体旋转，则变形后的子域的坐标可以用零阶形函数表示：

可以利用标准的相关函数评估参考子域和目标子域的匹配；在此，考虑优化3个参数

其初值为

由前面的整像素搜索阶段获；在第一步牛顿-拉裴森算法迭代过程中，结合双三次插值能获得较高精度解

此解将作为第二步牛顿-拉裴森算法迭代的初始值；一旦旋转角和位移量确定，利用传统的牛顿-拉裴森算法迭代出最优的解；迭代过程的二阶形函数引入了旋转角θ，其表达如下：

此迭代过程需要优化13个变量，即(u,v,u_x,u_y,v_x,v_y,u_xx,u_xy,u_yy,v_xx,v_xy,v_yy,θ)，迭代的初始值(u,v,0,0,0,0,0,0,0,0,0,0,θ)由第一步牛顿-拉裴森算法确定；

在全场计算中，采用一个双向独立的S形传播路径来作为一个稳定的种子点传播方案，其传播函数为：

利用此传播函数，可以得到下一个点的初始位移(u₁,v₁)，再利用牛顿-拉裴森算法便可以准确获得目标点的亚像素位值；

运用以上算法，对叶片在转动过程中拍摄的序列图像分析，结合相机标定参数，就可以测量风力发电机叶片在转动过程中任意位置的三维位置，结合时间参数，即可获得叶片的三维运动和变形。

3.如权利要求1或2所述的基于摄像测量的风电叶片机械故障在线检测方法，其特征在于，关于数字图像相关的实时处理，采用粒子群优化算法，具体如下：

整像素搜索中，假设P_i表示第i个像素的当前位置，v_i表示第i个像素的当前速度，pbest_i表示第i个像素搜索过的最优位置，gbest表示像素群转过的最优位置；像素最优位置的优劣可通过所优化问题的目标函数，即数字图像相关中公式5的相关函数来决定；在序列图像处理中，相邻图像间的像素位移比较小，因此在搜索过程中首先在目标图中生成m个初始的像素点和随机速度，将上一幅图的目标位置作为下一幅图的中心位置并生成M×N个像素微粒，为保持种群的多样性，在剩余的搜索区域中随机的产生其余的微粒；在二维空间中，像素群分别根据公式(7)(8)来更新各自的速度和位置；

v_id(t+1)＝wv_id(t)+c₁r₁[pbest_id-p_id(t)]+c₂r₂[gbest_d-v_id(t)] (7)

p_id(t+1)＝p_id(t)+v_id(t+1) (8)

式中，d＝1，2，…，表示空间维度，只考虑二维时，则d＝1，2，分别表示图像整像素坐标空间中的x和y方向，w为惯性权重，c₁，c₂为加速常数，r₁，r₂是均匀分布于[0,1]的随机数；为了控制像素向搜索空间[P_d,min,P_d,max]过度的移动，微粒速度设置为在[V_d,min,V_d,max]范围；

通过粒子群优化算法获得了目标位置d₀后，再利用最大梯度搜索算法，可以有效避免整像素空域内多峰值的情况，快速准确地获得最终的初始估计位置，然后通过反向组合高斯牛顿算法，能够快速地获得亚像素位移；

通过两步整像素搜索法，结合反向组合高斯牛顿算法可以快速获得一个点的位移值；结合并行计算技术，可以实现多个特征点的快速跟踪；利用C++语言并结合OpenMP编程模式，将搜索算法在多核计算机中运行，便可以达到实时的多点同时跟踪的目的。

4.如权利要求1所述的基于摄像测量的风电叶片机械故障在线检测方法，其特征在于，对于风电叶片的轮廓提取为通过边缘提取，由于噪声的影响边缘检测得到的边缘点集可能存在间断，需要对这些边缘段进行连接以形成目标的轮廓，因此基于边缘的轮廓提取方法通常包括边缘检测和边缘编组两个步骤；

风电叶片的边缘处理和线段提取通常可在Canny算子边缘检测的基础上进行，再以线段为基元，利用基于图论的知觉组织方法对其进行编组，利用已知的叶片轮廓模型数据匹配引导，达到叶片轮廓提取的目的；为了准确测定叶片轮廓，采用基于线段编组和显著度分析的知觉组织轮廓提取方法，在编组基元的准备、局部显著性的定义和轮廓显著度的分析步骤进行优化，可克服了传统算法偏好短轮廓的缺陷；

该方法的轮廓提取流程如下，包括三个步骤：

1)基元准备，包括边缘检测、边缘处理和线段提取三个子步骤；

2)线段编组，包括构造连接性图、计算线段之间的连接概率和设置弧的权值并寻找圈三个子步骤，其中权值取决于线段之间的接近性、连续性和灰度一致性；

3)轮廓分析，对轮廓进行有效性验证和显著度分析，从中选出最显著的轮廓作为输出。

5.如权利要求4所述的基于摄像测量的风电叶片机械故障在线检测方法，其特征在于，步骤3中的故障检测分析的具体方法包括如下：

在稳定风场下，将叶片的转动看作一个匀速的转动；叶片上沿长度方向的三维转动分解为叶片在旋转面内的转动和叶片的离面位移，在时域内，分析沿叶片长度方向上的各个点的运动变化随时间曲线变化，各个点运动方向分解为三个方向：包括叶片旋转平面内水平和竖直方向以及垂直于旋转平面的方向；通常地，当某个叶片由于表面裂纹或沙眼的缺陷导致内部积水，在旋转面内的转速会发生周期性变化的特征，根据曲线进行判定；叶片在z方向的位移由两种因素产生；一种是叶片在转动过程中由于气流的影响和结构振动产生变形；另一种则与叶片损伤、传动轴故障有关；叶片的损伤表现在测量点的位移在某个点急剧增大，而传动轴的故障体现在叶片z方向位移呈周期性突变，比较风电叶片的运动与变形和叶片三维运动测量中叶片沿长度方向的z方向的变形数据，可以判定叶片整体结构性损伤，采用频域分析，通过傅里叶频谱分析，可以非常直观地表征故障；

叶片在旋转过程中，需要考虑重力导致结构变形的变化，因此通过结合叶片受力变化分析，来评估叶片的结构变形；分别建立叶片旋转至水平轴左右两个水平位置的受力模型，同时考虑叶片结构特征和材料参数，利用数值模拟技术计算叶片的变形差异；考虑到风场风速的变化引起叶片升力的改变，在实际模拟中，可以结合叶片风场流固耦合模型的结果，给出不同风速、叶片不同转速下，叶片在两个水平位置的变形差异；

考虑到叶片转动过程中的叶片在重力的作用下呈周期性变化，着重关注叶片处于水平和竖直位置四个区域；利用双相机***同步采集叶片在水平、竖直位置四个区域上的图像，以其中一个位置为参考，利用三维数字图像相关法以准确地提取叶片在其它位置上的相对变形。

6.一种用于实现权利要求1-5任一项所述的基于摄像测量的风电叶片机械故障在线检测方法的在线检测***，其以摄像测量为技术手段，在风电发电机组正常运行状态下，实现对风电叶片损伤非接触、动态在线的、高精度故障检测及健康监测，其特征在于，包括以下***：

叶片全局运动测量***：其设置于地面，包括两个独立的全局相机测量平台，每一个全局相机测量平台具有由一台或若干台相机组成的相机阵列，两个全局相机测量平台的间距和交会角根据任务需求灵活布置，用于对风电叶片进行三维运动测量和图像边缘轮廓测量，并获得叶片各感兴趣点的三维运动轨迹；

长焦相机随动测量***：其设置于地面，包括随动云台和安装在随动云台上的长焦相机；随动云台受控于信息处理分析和控制***可跟随叶片不同局部区域而转动，长焦相机拍摄叶片感兴趣局部区域的高分辨率图像，可观察叶片表面异常情况，包括裂纹、损伤或脱毡，同时也可利用数字图像相关方法测量叶片局部表面变形情况；

信息处理分析和控制***：包括计算机和传输线缆，用于全局运动测量***、长焦相机随动测量***以及无人机站叶片局部损伤检测***的数据同步、传输、处理与分析，同时根据任务需求完成对于长焦相机随动测量***和无人机站的控制；

野外综合支持与保障***：包括若干辆越野车，用于摄影测量设备的运输和电力保障。

7.如权利要求6所述的在线检测***，其特征在于，长焦相机随动测量***可根据任务需求仅布置于全局运动测量***的单侧，测量叶片在旋转面内二维变形；也可布置于两侧，测量叶片三维变形数据。

8.如权利要求6所述的在线检测***，其特征在于，长焦相机随动测量***加装有同轴激光指示器，以助于随动测量相机图像在全局测量相机图像中的识别定位。

9.如权利要求6所述的在线检测***，其特征在于，还包括无人机站叶片局部损伤检测***，其根据实际任务需求选用，无人机站叶片局部损伤检测***包括无人机，无人机携带检测载荷，检测载荷包括高分辨率相机、数字图像投射器；无人机拍摄叶片感兴趣局部区域的高分辨率图像，可观察叶片表面异常情况，包括裂纹、损伤或脱毡，同时也可测量不同位置不同受力状态下的叶片局部三维轮廓及叶片表面变形情况。

Images