CN108799011B - 对风电机组的叶片进行监测的设备和方法 - Google Patents

Abstract

提供了一种对风力机组的叶片进行监测的设备和方法。所述设备包括：视频采集单元，对风电机组的叶片进行视频采集以获得视频图像序列；背景图像获取单元，从视频采集单元获得的视频图像序列提取背景图像；图像异常检测单元，基于提取的背景图像来检测在视频图像序列中的图像中的叶片上是否存在异常图像特征。

Description

对风电机组的叶片进行监测的设备和方法

技术领域

本发明涉及风力发电技术领域，更具体地讲，涉及一种用于风电机组的叶片监测设备和方法。

背景技术

随着能源危机以及环境污染压力的不断加大，各国越来越重视绿色能源的开发和利用。风能作为目前世界上开发和利用最广泛的绿色能源之一，得到了快速的发展。然而，在对低温环境下的风能进行开发和利用的过程中，叶片结冰问题造成了很大的困难。对此，目前国内外在叶片结冰监测上面都做了很多研究，例如，基于振动信号、环境温湿度信号及风速信号的叶片结冰监测装置、采用红外和声发射等技术进行叶片结冰监测的装置、以及通过分析和处理来输出功率数据并将该输出功率数据与标准风功率曲线进行对比以实现对叶片结冰特征的监测等。

然而，现有的叶片结冰监测装置和方法基本上是利用间接数据来间接地进行结冰监测，即通过对其它信号的分析来推断结冰现象，但是由于现实中导致叶片结冰的因素很复杂，且叶片所处的工况并非一成不变，因此所述间接数据可能并非是由于叶片结冰而导致的，进而容易造成结冰误报或虚报的现象。此外，目前的叶片结冰监测装置和方法由于监测原理上的限制，导致其不能及时发现结冰特征，因此当发现结冰特征时可能结冰已经很严重，并且无法准确地对结冰位置及结冰量进行有效的估计，进而对设计及时有效的防除冰方案造成了很大阻碍。再者，目前的叶片结冰监测装置和方法无法满足对叶片结冰过程进行跟踪研究的需求，同时无法分析和识别叶片结冰性状，进而对设计可靠有效的防除冰方案造成一定困难。

因此提出一种能够及时准确地对风电机组的叶片上的异常特征进行监测的装置和方法，具有重大的现实意义。

发明内容

为了至少解决现有技术中存在的上述问题，本发明提供了一种用于对风电机组的叶片进行监测的设备和方法。

本发明的一方面在于提供一种对风力机组的叶片进行监测的设备，其特征在于，可包括：视频采集单元，对风电机组的叶片进行视频采集以获得视频图像序列；背景图像获取单元，从视频采集单元获得的视频图像序列提取背景图像；图像异常检测单元，基于提取的背景图像来检测在视频图像序列中的图像中的叶片上是否存在异常图像特征。

所述图像异常检测单元可包括：背景图像分割单元，利用所述背景图像的灰度图像和视频图像序列中的含有叶片的一帧或更多帧图像的灰度图像来获得一帧或更多帧叶片灰度图像，其中，所述一帧或更多帧叶片灰度图像被所述图像异常检测单元用来进行所述检测。

所述图像异常检测单元还可包括：叶片位置识别单元，针对所述一帧或更多帧叶片灰度图像中的每一帧叶片灰度图像进行叶片位置识别来对所述一帧或更多帧叶片灰度图像进行筛选，其中，筛选出的可用叶片灰度图像被所述图像异常检测单元用来进行所述检测。

所述图像异常检测单元还可包括：原始叶片区域获取单元，利用由叶片位置识别单元筛选出的可用叶片灰度图像，从与所述可用叶片灰度图像对应的原始图像提取原始叶片区域以产生仅包含所述原始叶片区域的图像，其中，产生的仅包含所述叶片区域的图像被所述图像异常检测单元用来进行所述检测。

所述图像异常检测单元还可包括：原始叶片区域处理单元，将产生的仅包含所述叶片区域的图像划分为多个分区，对所述多个分区进行分析以确定存在异常图像特征的区域，并对所述多个分区的信息进行编码。

所述视频采集单元可每隔预定时间将所述视频采集单元中包括的镜头调整至采集位置点来采集预定时间长度的视频图像序列，并在视频图像序列的采集结束后将所述镜头调整至零点位置。

所述背景图像获取单元可基于均值估计方法和中值估计方法中的任意一种方法利用视频图像序列中的多帧图像来估计所述背景图像。

所述背景图像获取单元可直接将视频图像序列中的不包含叶片的图像用作所述背景图像。

所述背景图像获取单元可通过将在第1帧图像的进口灰度均值和第n帧图像的进口灰度均值之间的第一差值与进口阈值进行比较来确定是否将第n-3帧图像用作所述背景图像以实现背景图像的更新；在利用第n-3帧图像实现背景图像的更新之后，所述背景图像获取单元可通过将在第1帧图像的出口灰度均值和在第n帧图像之后的图像的出口灰度均值之间的第二差值与出口阈值进行比较来确定是否重新开始背景图像的更新操作，其中，3＜n≤m，其中，m是视频图像序列包括的图像的数量。

每当所述背景图像获取单元计算出一帧图像的第一差值和第二差值时，所述背景图像获取单元可将第一差值和第二差值分别存储到第一差值序列和第二差值序列中，将所述进口阈值更新为利用包括在第一差值序列中的所有第一差值中的最大值乘以第一预定倍数而获得的值，并将所述出口阈值更新为利用包括在第二差值序列中的所有第二差值中的最大值乘以第二预定倍数而获得的值。

所述背景图像分割单元可将视频图像序列中的位于满足第一差值大于所述进口阈值的一帧图像之后直到满足第二差值大于所述出口阈值的一帧图像之前的一帧或更多帧图像中的每一帧图像转变为灰度图像，并将所述每一帧图像的灰度图像与所述背景图像的灰度图像进行差运算来获得所述一帧或更多帧叶片灰度图像。

所述背景图像分割单元可利用形态学开操作和闭操作中的任意一种操作对所述一帧或更多帧叶片灰度图像进行处理。

所述叶片位置识别单元可利用自回归模型针对处理后的所述一帧或更多帧叶片灰度图像进行叶片位置识别来对处理后的所述一帧或更多帧叶片灰度图像进行筛选以获得具有完整叶片轮廓的可用叶片灰度图像。

当通过利用自回归模型确定经由叶片边缘检测所确定的一帧叶片灰度图像的下边线与叶片前边缘线的初选交点以及所述一帧叶片灰度图像的初选叶尖点分别位于所述叶片前边缘线的相应位置上并且不受噪声影响时，所述叶片位置识别单元可确定所述一帧叶片灰度图像是具有完整叶片轮廓的可用叶片灰度图像。

所述原始叶片区域处理单元可将所述产生的仅包含叶片区域的图像沿图像宽度方向平均划分为N个第一分区，并行地判断所述N个第一分区中的每一个第一分区中是否存在异常图像特征，仅将所述N个第一分区中的存在异常图像特征的每一个第一分区沿图像长度方向平均划分为M个第二分区，并分别对所述N个第一分区中的不存在异常图像特征的每一个第一分区的信息以及所述M个第二分区中的存在异常图像特征的每一个第二分区的信息进行编码。

被编码的信息可包括以下信息：当前图像的时间信息、风电机组的地域信息、当前图像中的叶片的叶片编号、当前图像中的叶片前边缘线与当前图像的灰度图像的下边线的交点的y坐标值、以及由第一分区的分区编号和第二分区的分区编号组成的索引信息，其中，对于不存在异常图像特征的第一分区，所述索引信息中的第一分区的分区编号是该第一分区在所述N个第一分区中的编号，所述索引信息中的第二分区的分区编号为0；对于存在异常图像特征的第二分区，所述索引信息中的第一分区的分区编号是包含该第二分区的第一分区在所述N个第一分区中的编号，所述索引信息中的第二分区的分区编号是该第二分区在所述M个第二分区中的编号。

本发明的另一方面在于提供一种对风力机组的叶片进行监测的方法，其特征在于，可包括：对风电机组的叶片进行视频采集以获得视频图像序列；从获得的视频图像序列提取背景图像；基于提取的背景图像来检测在视频图像序列中的图像中的叶片上是否存在异常图像特征。

所述检测的步骤可包括：利用所述背景图像的灰度图像和视频图像序列中的含有叶片的一帧或更多帧图像的灰度图像来获得一帧或更多帧叶片灰度图像，其中，所述一帧或更多帧叶片灰度图像被用于进行所述检测。

所述检测的步骤还可包括：针对所述一帧或更多帧叶片灰度图像中的每一帧叶片灰度图像进行叶片位置识别来对所述一帧或更多帧叶片灰度图像进行筛选，其中，筛选出的可用叶片灰度图像被用于进行所述检测。

所述检测的步骤还可包括：利用筛选出的可用叶片灰度图像，从与所述可用叶片灰度图像对应的原始图像提取原始叶片区域以产生仅包含所述原始叶片区域的图像，其中，产生的仅包含所述原始叶片区域的图像被用于进行所述检测。

所述检测的步骤还可包括：将产生的仅包含所述原始叶片区域的图像划分为多个分区，对所述多个分区进行分析以确定存在异常图像特征的分区，并对所述多个分区的信息进行编码。

对风电机组进行视频采集以获得视频图像序列的步骤可包括：每隔预定时间将进行视频采集的镜头调整至采集位置点来采集预定时间长度的视频图像序列，并在视频图像序列的采集结束后将所述镜头调整至零点位置。

从获得的视频图像序列提取背景图像的步骤可包括：基于均值估计方法和中值估计方法中的任意一种方法利用视频图像序列中的多帧图像来估计所述背景图像。

从视频图像序列提取背景图像的步骤可包括：从视频图像序列中直接获取不包含叶片的图像来用作所述背景图像。

从视频图像序列提取背景图像的步骤可包括：通过将在第1帧图像的进口灰度均值和第n帧图像的进口灰度均值之间的第一差值与进口阈值进行比较来确定是否将第n-3帧图像用作所述背景图像以实现背景图像的更新；在利用第n-3帧图像实现背景图像的更新之后，通过将在第1帧图像的出口灰度均值和在第n帧图像之后的图像的出口灰度均值之间的第二差值与出口阈值进行比较来确定是否重新开始背景图像的更新操作，其中，3＜n≤m，其中，m是视频图像序列包括的图像的数量。

从视频图像序列提取背景图像的步骤还可包括：每当计算出一帧图像的第一差值和第二差值时，将第一差值和第二差值分别存储到第一差值序列和第二差值序列中，将所述进口阈值更新为利用包括在第一差值序列中的所有第一差值中的最大值乘以第一预定倍数而获得的值，并将所述出口阈值更新为利用包括在第二差值序列中的所有第二差值中的最大值乘以第二预定倍数而获得的值。

获得一帧或更多帧叶片灰度图像的步骤可包括：将视频图像序列中的位于满足第一差值大于所述进口阈值的一帧图像之后直到满足第二差值大于所述出口阈值的一帧图像之前的一帧或更多帧图像中的每一帧图像转变为灰度图像，并将所述每一帧图像的灰度图像与所述背景图像的灰度图像进行差运算来获得一帧或更多帧叶片灰度图像。

获得一帧或更多帧叶片灰度图像的步骤还可包括：利用形态学开操作和闭操作中的任意一种来对所述一帧或更多帧叶片灰度图像进行处理。

对所述一帧或更多帧叶片灰度图像进行筛选的步骤可包括：利用自回归模型针对处理后的所述一帧或更多帧叶片灰度图像进行叶片位置识别来对处理后的所述一帧或更多帧叶片灰度图像进行筛选以获得具有完整叶片轮廓的可用叶片灰度图像。

对处理后的所述一帧或更多帧叶片灰度图像进行筛选以获得具有完整叶片轮廓的可用叶片灰度图像的步骤可包括：当通过利用自回归模型确定经由叶片边缘检测所确定的一帧叶片灰度图像的下边线与叶片前边缘线的初选交点以及所述一帧叶片灰度图像的初选叶尖点分别位于所述叶片前边缘线的相应位置上并且不受噪声影响时，确定所述一帧叶片灰度图像是具有完整叶片轮廓的可用叶片灰度图像。

划分的步骤和编码的步骤可包括：将所述产生的仅包含叶片区域的图像沿图像宽度方向平均划分为N个第一分区，并行地判断所述N个第一分区中的每一个第一分区中是否存在异常图像特征，仅将所述N个第一分区中的存在异常图像特征的每一个第一分区沿图像长度方向平均划分为M个第二分区，并分别对所述N个第一分区中的不存在异常图像特征的每一个第一分区的信息以及所述M个第二分区中的存在异常图像特征的每一个第二分区的信息进行编码。

被编码的信息可包括以下信息：当前图像的时间信息、风电机组的地域信息、当前图像中的叶片的叶片编号、当前图像中的叶片前边缘线与当前图像的灰度图像的下边线的交点的y坐标值、以及由第一分区的分区编号和第二分区的分区编号组成的索引信息，其中，对于不存在异常图像特征的第一分区，所述索引信息中的第一分区的分区编号是该第一分区在所述N个第一分区中的编号，所述索引信息中的第二分区的分区编号为0；对于存在异常图像特征的第二分区，所述索引信息中的第一分区的分区编号是包含该第二分区的第一分区在所述N个第一分区中的编号，所述索引信息中的第二分区的分区编号是该第二分区在所述M个第二分区中的编号。

本发明的一方面在于提供一种计算机可读存储介质，存储有程序，其特征在于，所述程序可包括用于执行以上所述的对风力机组的叶片进行监测的操作的指令。

本发明的一方面在于提供一种计算机，包括存储有计算机程序的可读介质，其特征在于，所述程序包括用于执行以上所述的对风力机组的叶片进行监测的操作的指令。

通过上述用于对风电机组的叶片结冰进行监测的设备和方法，能够直接识别叶片结冰特征并能够在叶片结冰初期就监测到结冰特征，以便实现对叶片结冰过程的跟踪监测并及时启动除冰***进行除冰，进而防止结冰累积造成重大故障。此外，本发明还可以通过视觉监测直观地识别出结冰位置以及结冰量，从而帮助用户对结冰形态进行分析以便设计可靠有效的防止结冰和除冰方案。另外，本发明还可以通过视觉监测结冰性态来帮助用户分析结冰对机组运行状态的影响，从而可以为优化机组在低温环境下的运行性能提供有力的支持。除此之外，本发明还可以通过视觉技术在对叶片结冰特征进行监测的同时对叶片上的其它异常特征(例如裂纹、缺口等)进行识别监测，从而可以避免这些异常特征引发重大故障和停机。再者，本发明还可以通过视觉技术对叶片的运行状态进行跟踪识别，即通过对视频图像序列的分析来识别出叶轮的转速和叶片的摆振状态，进而实现对机组运行状态的评估，这有助于对机组其它设备运行状态的分析。

附图说明

通过下面结合附图对本发明示例性实施例的详细描述，本领域技术人员将会获得对本发明的全面理解，其中：

图1是根据本发明的示例性实施例的用于对风电机组的叶片进行监测的设备的框图；

图2是根据本发明的示例性实施例的视频采集单元100的框图；

图3示出了视频采集单元100的具体示例；

图4是根据本发明的示例性实施例的视频采集单元100的安装示意图；

图5是根据本发明的示例性实施例的用于安装视频采集单元100的工装的示图；

图6示出了视频图像序列中的6帧图像；

图7示出了通过利用均值估计方法和中值估计方法对图6示出的6帧图像进行处理而获得的背景图像；

图8示出了背景图像获取单元200直接将视频图像序列中的不包含叶片的图像用作背景图像的过程；

图9是示出根据本发明的示例性实施例的用于对风电机组的叶片进行检测的设备10中的图像异常检测单元300的框图；

图10示出了根据本发明的示例性实施例的背景图像的灰度图像与含有叶片的图像的灰度图像之间的差值图像；

图11示出了背景图像分割单元310利用形态学闭操作对图10中的差值图像进行处理后所获得的优化结果；

图12示出了背景图像分割单元310利用形态学闭操作对多个类似于图10中的差值图像进行处理后所获得的优化结果；

图13示出了经由Sobel算子对图12中的a进行处理后所提取出的叶片轮廓边缘图像；

图14示出了背景图像分割单元310产生仅包含原始叶片区域的图像序列的过程；

图15示出了叶尖尚未进入视频采集单元100的检测视野且包含很多噪声的图像；

图16示出了原始视频图像序列中的原始图像以及由背景图像分割单元310产生的仅包含原始叶片区域的图像；

图17至图19示出了对由背景图像分割单元310产生的仅包含原始叶片区域的图像进行第一次划分和第二次划分所获得的图像；

图20示出了图像信息编码的格式；

图21示出了对叶片上的异常图像特征进行编码的示图；

图22是根据本发明的示例性实施例的用于对风电机组的叶片进行监测的方法的总流程图；

图23是根据本发明的示例性实施例的示出了利用风电机组进行视频采集来获得视频图像序列的详细流程图；

图24是根据本发明的示例性实施例的从视频图像序列中直接获取不包含叶片的图像来用作背景图像的方法的流程图；

图25是根据本发明的示例性实施例的基于提取的背景图像来检测在视频图像序列中的图像中的叶片上是否存在异常图像特征的方法的流程图；

图26是根据本发明的示例性实施例的对处理后的所述一帧或更多帧叶片灰度图像进行筛选以获得具有完整叶片轮廓的可用叶片灰度图像的方法的流程图。

具体实施方式

以下，参照附图来详细说明本发明的实施例，其中，在附图中，相同的附图标号用于表示相同的组件。

图1是根据本发明的示例性实施例的用于对风电机组的叶片进行监测的设备的框图。

如图1中所示，所述设备包括视频采集单元100、背景图像获取单元200和图像异常检测单元300。

视频采集单元100用于对风电机组进行视频采集以获得视频图像序列。如图2所述，视频采集单元100可包括补光单元101、云台控制单元102、清洁单元103和相机单元104。

补光单元101可以是红外补光单元，用于向被拍摄对象进行补光照射，使得被拍摄对象能够被更清晰地捕获。云台控制单元102可控制补光单元101和相机单元104进行水平连续旋转(即，360度旋转)以及在垂直方向上旋转(即，以水平面为基准进行±90度旋转)。此外，云台控制单元102能够控制清洁单元103(例如，雨刷器)对相机单元104的镜头进行清洁，以确保镜头上没有异物。

视频采集单元100可以是具有网络远程监控功能、视频服务器功能和高清智能功能的云台摄像机。例如，视频采集单元100可以是图3中示出的T型网络高清一体化云台摄像机，该T型网络高清一体化云台摄像机内置有小型WebServer服务器、网络视频服务器、编解码器和其它处理器。图3中的301表示补光单元101，302表示云台控制单元，303表示清洁单元，304表示相机单元。

此外，如图4所示，视频采集单元100(即图5中的502)可通过图5中所示的工装设备503被安装在风电机组的机舱顶上，其中，视频采集单元100的通信线路和电源线可经由测风支架501接入风电机组的机舱。此外，视频采集单元100针对所有机组的安装位置应保持统一，且应尽可能地保证视野的开阔并避免遮挡。如图4所示，在叶片的长度L1为30米至70米的情况下，视频采集单元100的安装位置在水平方向上与叶轮的距离L2应大于2.5米，其中，当叶片的长度L1大于60米时，该距离L2应大于3.5米。此外，视频采集单元100中的相机单元104在面向叶轮方向时，相机单元104的在以下视野内不得有障碍物：以水平方向为基准的±90°范围以及以垂直方向为基准的±45°范围。此外，视频采集单元100还应进行避雷和防水处理。

在视频图像序列的采集过程中，为了保证视频采集单元100所采集的视频图像的质量以及视频存储空间的节省，视频采集单元100可进行阶段性的视频采集操作，例如，可以每隔预定时间t进行预定时间段T的一次视频采集。具体地讲，在视频采集单元100被安装在风电机组的机舱顶上之后，可对视频采集单元100进行零点位置设置，其中，所述零点位置是当前视频采集单元100在不进行视频图像序列的采集时的停留位置。为了保护相机单元104的镜头，可将相机单元104的镜头垂直朝下的位置设定为所述零点位置，并将所述零点位置设置为预置点。在此情况下，视频采集单元100可每隔预定时间控制相机单元104中包括的镜头调整至采集位置点并控制清洁单元103对镜头进行清洁工作，然后控制相机单元104采集预定时间长度的视频图像序列，其中，所述采集位置点是相对于预置点的用于进行视频采集的位置。此后，在视频图像序列的采集结束后，视频采集单元100调用预先设置的所述预置点来将所述镜头调整至所述零点位置。

背景图像获取单元200可从视频采集单元100获得的视频图像序列提取背景图像。

具体地讲，背景图像获取单元200可基于均值估计方法和中值估计方法中的任意一种方法利用视频图像序列中的多帧图像来估计背景图像。下面将参照图6来介绍分别利用均值估计方法和中值估计方法对背景图像进行估计的过程。

由于在短时间内背景图像不会发生太大的变化，因此背景图像获取单元200可基于均值估计方法利用连续的几帧图像来估计背景图像。如图6中所示，图6中的a、b、c、d、e和f是视频图像序列中的6帧图像。假定这6帧图像中的坐标(x，y)处的像素值分别为P1_x,y、P2_x,y、P3_x,y、P4_x,y、P5_x,y和P6_x,y，则背景图像获取单元200可利用等式1来计算坐标(x，y)处的像素值。

TP_x,y＝(P1_x,y+P2_x,y+P3_x,y+P4_x,y+P5_x,y+P6_x,y)/6 (1)

因此，背景图像获取单元200可利用上述公式(1)依次对这6帧图像中的相同位置的每一个像素点进行计算，从而获得图7中的a所示的背景估计图像。通过上述均值估计方法获得的背景图像使得叶片所在像素区域的视觉特征减弱了5/6，所以获得的背景图像中会存留有叶片的一些特征。

此外，背景图像获取单元200可在均值估计方法的基础上利用基于领域平均对均值估计方法进行优化来估计背景图像。具体地讲，背景图像获取单元200可先利用领域平均的方法处理视频图像序列中的每一帧图像，即，选择一个领域平均的模板，然后利用等式2计算模板内的所有像素的均值g(x,y)，再用均值g(x,y)代替原图像中的当前像素的像素值f(x,y)，其中，所述模板由当前像素及其相邻的若干像素组成，例如，该模板由当前像素以及与当前像素的上、下、左和右四个方向相邻的4个像素组成。

g(x,y)＝1/m∑f(x,y) (2)

其中，m表示模板中包含当前像素在内的所有像素的像素总个数。

然后，背景图像获取单元200再利用均值估计方法对在通过领域平均的方法处理后的预定数量的图像中的各个像素点求取平均值STP_x,y。例如，当等式2中的m为5时，可利用等式3来估算背景图像。

STP_x,y＝(mean5(P1_x,y)+mean5(P2_x,y)+mean5(P3_x,y)+mean5(P4_x,y)+mean5(P5_x,y)+mean5(P6_x,y))/6 (3)

其中，STP_x,y表示在通过领域平均的方法处理后的6个图像中的位于(x,y)处的各个像素点的像素值mean5(P1_x,y)、mean5(P2_x,y)、mean5(P3_x,y)、mean5(P4_x,y)mean5(P5_x,y)和mean5(P6_x,y)的平均值，其中，图像a的(x,y)处的像素值mean5(P1_x,y)＝g(x,y)＝1/5∑f(x,y)，并且图像b、c、d、e和f的在(x,y)处的mean5(P2_x,y)、mean5(P3_x,y)、mean5(P4_x,y)mean5(P5_x,y)和mean5(P6_x,y)的计算方法类似与图像a的在(x,y)处的mean5(P1_x,y)的计算方法。

因此，背景图像获取单元200通过利用基于领域平均的均值估计方法可获得如图7中的b所示的背景图像，其中，图7中的b比图7中的a的叶片特征弱化了一定程度。

此外，背景图像获取单元200还可以利用中值估计方法利用视频图像序列中的多帧图像来估计背景图像。具体地讲，假定图6中的6帧图像中的坐标(x，y)处的像素值分别为P1_x,y、P2_x,y、P3_x,y、P4_x,y、P5_x,y和P6_x,y，则背景图像获取单元200可基于中值估计方法利用等式4来计算背景图像中的像素(x，y)处的像素值MP_x,y，从而获得整个背景图像。

MP_x,y＝median(P1_x,y,P2_x,y,P3_x,y,P4_x,y,P5_x,y,P6_x,y) (4)

以上所述的均值估计方法和中值估计方法是针对背景存在特殊情况时所使用的方法，例如，背景中存在始终运动的对象时，可利用上述估计方法进行估计以获取背景图像。

此外，当背景中不包含运动对象时，背景图像获取单元200可直接将视频图像序列中的不包含叶片的图像用作所述背景图像。具体地讲，由于视频采集单元100在采集视频图像序列时，两只叶片交替地出现在视频监测视野中时会存在一段时间间隔，并且在这段时间间隔内所采集的视频图像序列中不包含叶片，因此背景图像获取单元200可直接将这段时间间隔内所采集的视频图像序列中的一帧图像用作背景图像，并且可利用后续的这样的类似时间间隔内所采集的视频图像序列中的一帧图像来替换更新掉之前的背景图像，以实现背景图像的不断更新。以下将参照图8对此进行详细描述。

背景图像获取单元200可通过图8所示的过程来获取背景图像。其中，背景图像获取单元200可通过将在第1帧图像的进口灰度均值和第n帧图像的进口灰度均值之间的第一差值与进口阈值进行比较来确定是否将第n-3帧图像用作所述背景图像以实现背景图像的更新，并且在利用第n-3帧图像实现背景图像的更新之后，背景图像获取单元200通过将在第1帧图像的出口灰度均值和在第n帧图像之后的图像的出口灰度均值之间的第二差值与出口阈值进行比较来确定是否重新开始背景图像的更新操作，其中，3＜n≤m，其中，m是视频图像序列包括的图像的数量。

具体地讲，背景图像获取单元200首先可读取视频图像序列，之后可从读取的视频图像序列中获取第1帧图像。在读取第1帧图像后，背景图像获取单元200可在第1帧图像的灰度图像中确定叶片进口区域E和叶片出口区域F，其中，叶片进口区域E的宽度W_E为图像的宽度W的预定百分比，例如，5％至10％，叶片进口区域E的高度H_E为图像的高度H的预定百分比，例如，2％，叶片出口区域F的宽度W_F为图像的宽度W的预定百分比，例如，2％，叶片出口区域F的高度H_F为图像的高度H的预定百分比，例如，5％至10％，但是本发明不限于此。此后，背景图像获取单元200利用等式5来计算叶片进口区域的进口灰度均值G_E和叶片出口区域的出口灰度均值G_F，并将叶片进口区域的进口灰度均值G_E和叶片出口区域的出口灰度均值G_F分别用作确定背景图像所需的进口参考灰度均值G1和出口参考灰度均值G2。

其中，当计算进口灰度均值G_E时，row和col表示以像素为单位时进口区域的宽度W_E和高度H_E，i和j分别表示以像素为单位时进口区域E上的像素点的坐标，f(i,j)表示坐标(i,j)处的灰度值。

此后，背景图像获取单元200读取第n帧图像，按照与第1帧图像相同的方法在第n帧图像中确定叶片进口区域E和叶片出口区域F，并按照与第1帧图像相同的方法利用等式5来执行计算第n帧图像的进口灰度均值G_En和出口灰度均值G_Fn的第一计算操作，其中，3＜n≤m，m是视频图像序列中包括的图像的数量。

此后，背景图像获取单元200可执行阈值计算操作。具体地讲，背景图像获取单元200可利用等式6来计算第n帧图像的进口灰度均值G_En与所述进口参考灰度均值G1之间的第一差值C1_n，并利用等式7计算第n帧图像的出口灰度均值G_Fn与所述出口参考灰度均值G2之间的第二差值C2_n。

C1_n＝|G_En-G1| (6)

C2_n＝|G_Fn-G2| (7)

此后，背景图像获取单元200可将第n帧图像的第一差值C1_n和第二差值C2_n分别存储在差值序列D1和D2中，然后利用等式8和等式9分别计算差值序列D1中的最大值a和差值序列D2中的最大值b。此后，背景图像获取单元200分别利用等式10和等式11来分别计算第n帧图像的进口阈值h1_n和出口阈值h2_n。

a＝max(D1) (8)

b＝max(D2) (9)

h1_n＝a*0.46 (10)

h2_n＝b*0.45 (11)

此后，背景图像获取单元200可执行背景图像提取操作。具体地讲，背景图像获取单元200可执行第n帧图像的进口灰度均值G_En与所述进口参考灰度均值G1之间的第一差值C1_n是否大于第n帧图像的进口阈值h1_n的第一确定操作。

如果第一差值C1_n小于或等于所述进口阈值h1_n，则背景图像获取单元200可执行n＝n+1的更新操作，读取第n帧图像，并按照与第n-1帧图像相同的方法重新执行第n帧图像的第一计算操作和第一确定操作。其中，在第一确定操作中，背景图像获取单元200需要按照与第n-1帧相同的方法重新执行阈值计算操作来获得第n帧图像的进口阈值h1_n和出口阈值h2_n，并利用重新获得的第n帧图像的进口阈值h1_n来执行第n帧的第一确定操作。

此外，如果第n帧图像的第一差值C1_n大于第n帧图像的进口阈值h1_n，则背景图像获取单元200可将第n-3帧图像确定为背景图像，即，第n帧图像满足叶片进口阈值条件，叶片刚刚进入第n帧图像的进口区域。

在第n帧图像满足叶片进口条件的情况下，背景图像获取单元200可执行n＝n+1的更新操作，并确定第n帧图像是否满足叶片出口条件。具体地讲，背景图像获取单元200可读取第n帧图像，然后按照与第1帧图像相同的方法执行第n帧图像的进口灰度均值G_En和出口灰度均值G_Fn的第二计算操作，并执行第n帧图像的出口灰度均值G_Fn与所述出口参考灰度均值C2之间的第二差值是否大于第n帧图像的出口阈值h2_n的第二确定操作。其中，在第二确定操作中，背景图像获取单元200需要按照与第n-1帧相同的方法重新执行阈值计算操作来获得第n帧图像的进口阈值h1_n和出口阈值h2_n，并利用重新获得的第n帧图像的出口阈值h2_n来执行第n帧图像的第二确定操作。

如果第n帧图像的第二差值C2_n小于或等于第n帧图像的出口阈值h2_n，则背景图像获取单元200可执行n＝n+1的更新操作，读取第n帧图像，并执行第n帧图像的第二计算操作和第二确定操作。

如果第n帧图像的第二差值C2_n大于第n帧图像的出口阈值h2_n，则背景图像获取单元200可确定第n帧图像满足叶片出口阈值条件，即，叶片刚刚旋转出叶片出口区域，从而背景图像获取单元200需要重新开始新一轮的叶片进口阈值条件的判断，即，执行n＝n+1的更新操作，读取n帧图像，并执行第n帧图像的第一计算操作和第一确定操作，并在第n帧图像的第一差值C1_n大于第n帧图像的进口阈值h1_n时，将第n-3帧提取为背景图像，并用该背景图像更新前一轮叶片进口阈值条件判断中确定的背景图像，进而实现背景图像的不断更新，以减弱或消除背景随时间变化而引入的误差。

图像异常检测单元300可基于由背景图像获取单元200提取的背景图像来检测在视频图像序列中的图像中的叶片上是否存在异常图像特征，其中，所述异常图像特征可以是冰、雪、裂纹、缺口等。

参照图9，图像异常检测单元300可包括背景图像分割单元310，其中，背景图像分割单元310可首先将由背景图像获取单元200获取的背景图像转换为灰度图像，然后利用背景图像的灰度图像和视频图像序列中的含有叶片的一帧或更多帧图像的灰度图像来获得一帧或更多帧叶片灰度图像。

此外，背景图像分割单元310可将视频图像序列中的位于满足第一条件的一帧图像(即，满足进口条件的一帧图像)之后直到满足第二条件的一帧图像(即，满足出口条件的一帧图像)之前的一帧或更多帧图像中的每一帧图像转变为灰度图像，其中，第一条件为第一差值C1_n大于第p帧图像的进口阈值h1_n，第二条件为第q帧图像的第二差值C2_n大于第q帧图像的出口阈值h2_n，其中，p和q均为整数，且p＜q。在此基础上，背景图像分割单元310可将所述每一帧图像的灰度图像与背景图像的灰度图像进行差运算来获得一帧或更多帧叶片灰度图像。

此外，由于叶片的颜色是白色并且表面比较光滑，因此叶片的反光条件比较好，进而当将视频图像序列中的含有叶片的图像由RGB格式转换为灰度图像时，叶片在该灰度图像中的灰度值会很大，但是在将背景图像由RGB格式转换为灰度图像时，背景图像中的天空区域在灰度图像中的灰度值比较小，所以在用含有叶片的图像的灰度图像减去背景图像的灰度图像后所获得的差值图像中，叶片所在区域的灰度值将变成较大的数值，而其他区域的灰度值将会接近于0。因此，如图10中所示，为了使图像的视觉效果明显，背景图像分割单元310可以将所述差值图像中的灰度值较大的区域(即，噪声和叶片区域)转换为黑色，并将所述差值图像中的其他区域转换为白色。综上，由背景图像分割单元310获得的所述一帧或更多个帧叶片灰度图像可以是如图10中所示的噪声和叶片区域为黑色而其他区域为白色的图像。

由于叶片在旋转进入视频采集单元100的视野后会随着运动部分的变化而轻微地改变背景部分区域的亮度条件，使得经过上述叶片分割处理后的一帧或更多帧叶片灰度图像中包含很多噪声，因此背景图像分割单元310可利用形态学开操作和闭操作中的任意一种操作对一帧或更多帧叶片灰度图像(如图10中所示的图像)进行处理，来去除所述一帧或更多帧叶片灰度图像中的噪声并填充所述一帧或更多帧叶片灰度图像中的缺口。

具体地讲，形态学中的开操作和闭操作是由形态学中的膨胀操作和腐蚀操作按照不同的先后执行顺序而形成的对图像进行处理的两种操作。详细地讲，如等式12所示，集合A被结构元B形态学开操作可被表示为：

即，集合A先被结构元B进行腐蚀处理，然后再用结构元B对腐蚀处理的结果进行膨胀处理，因此形态学开操作可用于平滑物体的轮廓。等式12可被等价地表示为如等式13所示：

此外，如等式14所示，集合A被结构元B形态学闭操作可被表示为：

即，集合A先被结构元B进行膨胀处理，然后再用结构元B对膨胀处理的结构进行腐蚀处理，因此形态学闭操作可用于连接图形中的窄的断裂部分并填充细长的部分(即填满比结构元B小的洞)。

因此，背景图像分割单元310可利用形态学开操作和闭操作中的任意一种操作对一帧或更多帧叶片灰度图像进行处理来去除叶片灰度图像中的噪声并填充缺口，例如，结构元B可以是直径为18个像素的圆形结构元，但是本发明不限于此。例如，背景图像分割单元310利用形态学闭操作对图10中的叶片灰度图像进行形态学闭操作之后可以获得图11中所示的优化结果，即，最终的叶片灰度图像，其中，图10中的叶片灰度图像中的噪声全部被去除，并且叶片的轮廓特征得到了精确的提取。

由背景图像分割单元310处理后的一帧或更多帧叶片灰度图像被图像异常检测单元300用来检测在视频图像序列中的图像中的叶片上是否存在异常图像特征。

另外，图像异常检测单元300可包括叶片位置识别单元320，其中，叶片位置识别单元320可针对由背景图像分割单元310获得的一帧或更多帧叶片灰度图像中的每一帧叶片灰度图像进行叶片位置识别来对所述一帧或更多帧叶片灰度图像进行筛选，其中，筛选出的可用叶片灰度图像被所述图像异常检测单元300用来检测在视频图像序列中的图像中的叶片上是否存在异常图像特征。

具体地讲，叶片位置识别单元320利用自回归模型针对处理后的所述一帧或更多帧叶片灰度图像进行叶片位置识别来对处理后的所述一帧或更多帧叶片灰度图像进行筛选以获得具有完整叶片轮廓的可用叶片灰度图像。其中，当通过利用自回归模型确定经由叶片边缘检测所确定的一帧叶片灰度图像的下边线与叶片前边缘线的初选交点以及所述一帧叶片灰度图像的初选叶尖点分别位于所述叶片前边缘线的相应位置上并且不受噪声影响时，叶片位置识别单元320确定所述一帧叶片灰度图像是具有完整叶片轮廓的可用叶片灰度图像。以下将参照图12和图13对此进行详细描述。

图12示出了由背景图像分割单元310获得的4帧叶片灰度图像。由于叶片在正常的旋转过程中相对于视频采集单元100中的相机单元具有一定的速度，随着时间的推移，叶片将出现在叶片灰度图像中的不同位置，因此不同的叶片灰度图像中包含的叶片信息并不相同，如图12中的4幅叶片灰度图像中的每个叶片区域所包含的像素的数量不同。然而，由于叶片按照固定速度进行旋转时，叶片的前缘边线与图像的下边界的交点按照另一固定速度沿着所述下边界进行线性滑动过程，因此所述交点在所述下边界上的每一个位置对应于叶片在图像中的位置(即叶片区域信息)。因此，当所述交点的位置被获得时，图像异常检测单元300就可以以该交点为索引来获得相应的叶片区域信息(即，叶片在图像中的位置)。首先，叶片位置识别单元320可通过利用Sobel算子对由背景图像分割单元310处理而获得的一帧叶片灰度图像进行叶片边缘检测以提取出叶片轮廓边缘，如图13中的a所示。此后，叶片位置识别单元320需要获得叶片轮廓的初选的叶尖点P以及初选的交点Q的坐标。

具体地讲，叶片位置识别单元320可从经由Sobel算子处理的图像(如图13中的a)中提取叶片边缘所在位置的所有坐标值(x,y)，其中，在图13的a中，图像的左上角为坐标原点(0,0)，x是灰度图像中叶片边缘像素所在的行坐标，y是灰度图像中叶片边缘像素所在的列坐标。从图13中的a中可以看出，叶尖点P的列坐标(即，y坐标)最小，即y_p＝y_min，因此叶片位置识别单元320可利用等式15来从提取的叶片边缘所在位置的所有坐标值(x,y)中提取具有最小列坐标y＝y_min的所有坐标值(x,y)。由于叶片边缘像素的x和y坐标并不具有单一映射关系，即，同一个y坐标可能对应于多个x坐标，因此可利用中值法(即，利用等式16)来确定叶尖点P的x坐标x_up_point。叶片位置识别单元320可通过上述过程获得叶尖点P的坐标(x,y)＝(x_up_point,y_min)。

y_min＝min(y) (15)

x_up_piont＝med(x_{y＝y_min}) (16)

其中，med(x_{y＝y_min})表示通过中值法对叶片边缘所在位置的所有坐标值(x,y)中具有最小列坐标y＝y_min的所有坐标值(x,y)的x坐标进行中值计算而获得的值。由图13中的a可知，交点Q的x坐标x_down_point是图像的总行数，即，图像的最大x坐标值x_size。由于在交点位置处的同一处x坐标对应于多个y坐标，因此叶片位置识别单元320可通过等式17求取在与x_size对应的所有y坐标中的最小值来求取交点Q的y坐标the_y。叶片位置识别单元320可通过上述过程获得交点Q的坐标(x,y)＝(x_size,the_y)

the_y＝min(y_{x＝x_down_piont}) (17)

其次，叶片位置识别单元320可对一帧叶片灰度图像中的叶尖点P的x坐标值和y坐标值以及交点Q的x坐标值和y坐标值进行一元线性回归分析来获得拟合直线。为了降低在叶尖点P和交点Q的上述初步选择过程中的噪声影响，叶片位置识别单元320可仅考虑行坐标x>30的像素坐标，并且仅考虑30＜y≤Y-30，其中，Y是图像的总列数，下面将详细描述通过一元线性回归分析来获得拟合直线的过程。

具体地讲，如图13中的b所示，假设叶尖点P与交点Q之间的y坐标被定义为序列y0，叶片位置识别单元320通过利用最小二乘法对经由上述过程获得的叶尖点P和交点Q的坐标进行一元线性回归分析来拟合出满足等式18的函数关系的拟合直线，如图13中的b的虚线所示。

f＝ay+b (18)

其次，叶片位置识别单元320可对由在所述拟合直线上的位于叶尖点P与交点Q之间的每个像素点的x坐标值组成的第一序列、以及由以下x坐标值组成的第二序列进行相关性计算以获得第一相关性系数，其中，所述第二序列中的第i个x坐标值是在当前叶片灰度图像的叶片区域上的与序列y0中的第i个y坐标值对应的所有x坐标值中的最大值，其中，0＜i≤I，其中，I是序列y0中的y坐标值的总个数，此外，I等同于在所述拟合直线上的位于所述交点Q与所述叶尖点P之间的所有像素点的数量。

具体地讲，由于y坐标序列y0中的每一个y坐标大于叶尖点P的y坐标y_P并且小于交点Q的y坐标y_Q，因此叶片位置识别单元320可通过将y坐标序列y0代入到等式18中来计算出与y坐标序列y0中的每一个y坐标对应的每一个x坐标并将计算出的x坐标保存在序列f_x中。此外，叶片识别单元320可根据等式19将满足条件的叶片前边缘像素的每一个x坐标提取出来并保存在序列x_val中，即，图13中的b中的在叶尖点P和交点Q之间的前缘边线上的最外侧像素的x坐标。

x_val＝max(x_y＝y0) (19)

此后，叶片识别单元320可根据等式20对序列f_x和序列x_val进行互相关分析来获得互相关系数ρ：

其中，Cov表示协方差运算，σ_{f_x}和σ_{x_val}分别表示序列f_x和序列x_val的标准差。

叶片位置识别单元320可将根据等式20计算出的相关性系数ρ与阈值ρ_threshold进行比较，其中，阈值ρ_threshold可以是0.98或者0.99，但是本发明不限于此。

具体地讲，如果相关性系数ρ大于预定阈值ρ_threshold，则表明通过以上过程提取的初选的叶尖点P和初选的交点Q都在叶片前缘上的对应位置上，并且几乎不受噪声影响。在此基础上，叶片位置识别单元320可以确定当前读取的图像是包含叶片信息的图像，而并空白的背景图像，此外，叶片位置识别单元320还可确定当前读取的图像中没有噪声或者噪声不影响后续处理，且叶片轮廓边缘规则完整。因此，叶片位置识别单元320可以确定当前提取出的交点Q正确且可以用于进行后续处理。因此，如果第一相关性系数大于预定阈值，则叶片位置识别单元320可确定当前的叶片灰度图像是可用叶片灰度图像。

此外，如果相关性系数ρ小于或等于预定阈值ρ_threshold，则叶片位置识别单元320可确定当前提取的交点Q不正确，即，可以确定当前的叶片灰度图像不是可用叶片灰度图像。

此外，如图9所示，图像异常检测单元300还可包括原始叶片区域获取单元330，其中，原始叶片区域获取单元330可利用由叶片位置识别单元320筛选出的可用叶片灰度图像，从与可用叶片灰度图像对应的原始图像提取原始叶片区域以产生仅包含原始叶片区域的图像。其中，产生的仅包含所述叶片区域的图像被图像异常检测单元300用来检测在视频图像序列中的图像中的叶片上是否存在异常图像特征。

具体地讲，图14示出了仅包含原始叶片区域的图像获取过程。如图14中所示，首先，背景图像分割单元310在获得一帧或更多帧叶片灰度图像之后将所述一帧或更多帧叶片灰度图像对应于在原始视频图像序列中的索引号存入数组pic_idex0中来获得叶片灰度图像序列。此后，叶片位置识别单元320利用一元线性回归与相关性分析法对所述一帧或更多帧叶片灰度图像进行筛选以将类似于图15所示的叶尖还没有进入视频采集单元100的监测视野且包含有很多噪声的图像滤除掉，从而获得具有完整叶片轮廓的高质量的可用叶片灰度图像，并将获得的可用叶片灰度图像对应于在原始视频图像序列中的索引号存入数组pic_index1，从而获得可用叶片灰度图像序列。在此情况下，原始叶片区域获取单元330可以以与数组pic_index1中保存的索引号对应的可用叶片灰度图像为叶片图像区域信息的索引，从原始视频图像序列中的与数组pic_index1中保存的索引号对应的原始图像中将仅包含原始叶片区域的原始图像信息提取出来以产生仅包含所述原始叶片区域的图像，从而获得仅包含原始叶片区域的图像序列。

例如，通过以上处理，图像异常检测单元300可将原始视频图像序列中的类似于图16中的a的图像转化为如图16中的b所示的图像，即，将所有的背景区域图像信息全部过滤掉，这样获得的整个图像中只包含有原始叶片区域的图像信息，从而可有效地避免图像中的噪声对提取图像异常特征(例如，结冰特征)造成干扰。此外，通过上述处理获得的原始叶片区域有助于进行结冰类型的判断，具体地讲，由于提出的原始叶片区域实质上是相对于背景区域运动的区域，因此与叶片固连在一起的特征(例如，与叶片固连在一起的冰)都会被提取出来，因此当叶片上的结冰特征超出了标准的叶片轮廓时，通过以上进行的背景分割过程所提取出来的叶片区域与标准的叶片轮廓存在一定的区别，此时可以直接通过分析所提取出的叶片区域的轮廓形状就可以直接判断出结冰特征。

此外，如图9中所示，图像异常检测单元300还可包括原始叶片区域处理单元340，其中，原始叶片区域处理单元340可将由原始叶片区域获取单元330产生的仅包含叶片区域的图像划分为多个分区，对所述多个分区进行分析以确定存在异常图像特征的区域，并对所述多个分区的信息进行编码。

具体地讲，原始叶片区域处理单元340将由原始叶片区域获取单元330产生的仅包含原始叶片区域的图像沿图像宽度方向平均划分为N个第一分区，并行地判断所述N个第一分区中的每一个第一分区中是否存在异常图像特征，仅对所述N个第一分区中的存在异常图像特征的每一个第一分区沿图像长度方向平均划分为M个第二分区，而不对所述N个第一分区中的不存在异常图像特征的其它第一分区进行划分，此外，原始叶片区域处理单元340可对所述N个第一分区中的不存在异常图像特征的每一个第一分区的信息进行编码，并对所述M个第二分区中的存在异常图像特征的每一个第二分区的信息进行编码。下面将参照图17至图21对此进行详细描述。

例如，如图17所示，原始叶片区域处理单元340可沿图像宽度方向将整个图像区域平均划分为N个第一区域，例如，6个第一分区，但本发明不限于此。举例来说，假设将整个图像区域划分为N个第一分区，每一帧图像像素矩阵的行数为Rows＝1080，并且每一个第一分区所占的像素行数为Band_i，则可通过等式21来计算出Band_i：

Band_i＝Rows/N (21)

则第i个第一分区的上边界为1+Band_i×(i-1)，下边界为Band_i+Band_i×(i-1)，其中，i＝1,2,3,…,N，因此，通过此过程就可以将一帧叶片灰度图像划分为N个第一分区。原始叶片区域处理单元340通过按照这种方式对图像区域进行分割可使得每一个第一区域的位置和大小不随着叶片的转动而变化，即，相当于为每一帧图像增加了多个异常特征监测区，一旦叶片旋转进入视频采集单元100的视觉监测视野，原始叶片区域处理单元340就可以使用这N个第一区域同时对叶片所在的图像区域进行快速扫描，从而不仅可以提高对异常特征的识别精度，还可以通过对大量视频图像进行快速并行处理来提高对视频图像的处理速度。

如果原始叶片区域处理单元340通过对N个第一区域进行分析处理之后发现N个第一区域中的一个第一区域中存在异常图像特征而其它第一分区中不存在异常图像特征(如图18中所示)，则原始叶片区域处理单元340可仅将存在异常图像特征的所述一个第一分区沿图像长度方向平均划分为M个第二分区，例如，平均划分为24个第二分区，如图19所示，但是本发明不限于此。举例来说，假设假设每一帧图像像素矩阵的列数为Cols＝1920，则可通过等式22来计算每一个第二分区的宽度Width_j：

则第j个第二分区的左边界为1+Width_j×(j-1)，右边界为Width_j+Width_j×(j-1)，其中，j＝1,2,3,…,M，因此，通过此过程就可以将一个第一分区划分为M个第二分区。此后，叶片原始区域处理单元340可通过并行地对这M个第二分区进行分析处理来确定在M个第二分区中的哪一个分区中存在异常图像特征。其中，在对N个第一分区和M个第二分区进行分析处理以确定异常图像特征时，原始叶片区域处理单元340可利用现有技术中的各种方法对每一个第一分区或每个第二分区进行图像异常特征的分析，例如，通过计算一个第一分区中的一阶梯度、二阶梯度或者平均值等来确定该第一分区中是否存在异常图像特征，但本发明不限于此。

此外，由于由叶片位置识别单元320确定的交点Q的位置坐标与叶片区域在图像中的位置存在一一对应关系，因此在通过以上过程确定了存在异常图像特征的特定第二分区之后，叶片原始区域处理单元340可利用由叶片位置识别单元320确定的交点Q的位置坐标来准确地确定出异常图像特征是否出现在叶片区域上，进而可防止叶片异常特征的误报或虚报的发生，从而可提高对叶片上的异常特征的识别。

此外，由于叶片在风电机组正常运转的情况下一直处于转动状态，因此叶片在视频采集单元的视觉监测视野内的位置随着时间在不断变化，即，每一个第一分区或者第二分区在不同的时间点所包含的叶片图像信息在不断变化，并且不同叶片之间在同一分区中的图像信息也可能存在差异，所以叶片原始区域处理单元340通过对存在异常图像特征的第二分区的信息和不存在异常图像特征的第一分区的信息进行编码，进而实现对每一个第一分区和第二分区的跟踪识别。

具体地讲，在对所述N个第一分区中的不存在异常图像特征的每一个第一分区的信息进行编码以及对所述M个第二分区中的存在异常图像特征的每一个第二分区的信息进行编码时，被编码的信息可包括以下信息：当前图像的时间信息Time、风电机组的地域信息Place、当前图像中的叶片的叶片编号Blade、当前图像中的叶片前边缘线与当前图像的灰度图像的下边线的交点的y坐标值Node、以及由第一分区的分区编号和第二分区的分区编号组成的索引信息Region，其中，在对不存在异常图像特征的第一分区的信息进行编码时，索引信息Region中的第一分区的分区编号是该第一分区在所述N个第一分区中的编号，索引信息Region中的第二分区的分区编号为0；在对存在异常图像特征的第二分区的信息进行编码时，索引信息Region中的第一分区的分区编号是包含该第二分区的第一分区在所述N个第一分区中的编号，索引信息Region中的第二分区的分区编号是该第二分区在所述M个第二分区中的编号。此外，被编码的信息还可包括：所述对应区域(即，存在异常图像特征的第二分区或不存在异常图像特征的第一分区)的图像信息、以及结束标志。

例如，图20示出了图像信息编码的格式，其中，“Time”表示当前图像的时间信息，编码格式为“YMDH”，即，时间精确到小时，例如“2016021220”表示当前图像的时间信息为2016年2月12日晚上8点；“Place”表示风电机组的地域信息，即，当前图像所属于的视频图像序列是从哪个风场的几号风电机组获得的，编码格式为“F-T”，其中，“F”表示风场编号，“T”表示风电机组编号，例如“9-12”表示9号风场的第12号风电机组；“Blade”表示当前图像中的叶片的叶片编号，其编码格式为“I”，当风电机组具有3个叶片时，“I”的取值范围为I＝1,2,3，例如“I”＝“2”时表示2号叶片；“Node”表示当前图像中的叶片前边缘线与当前图像的灰度图像的下边线的交点的y坐标值，其编码格式为“P”，其中，当图像的分辨率为1920×1080时，“P”的取值范围为1920，例如，当“P”＝“345”时，表示交点Q的列坐标是345；“Region”表示由第一分区的分区编号n和第二分区的分区编号m组成的索引信息，其编码格式为“n-m”，其中，对于不存在异常图像特征的第一分区，n为该第一分区在所述N个第一分区中的编号，m为0(即，表示该第一分区中不存在异常图像特征，不需要对该第一分区进行第二次划分来获得多个第二分区)，对于此种情况，0＜n≤N，N表示第一分区的总数量；对于存在异常图像特征的第二分区，n为包含存在异常图像特征的该第二分区的第一分区在所有第一分区中的编号，m表示存在异常图像特征的该第二分区在该第一分区中的所有第二分区中的编号，对于此种情况，0＜n≤N，0＜m≤M，其中，N表示第一分区的总数量，M表示在将第一分区划分为多个第二分区时所获得的第二分区的总数量。例如，如图21中所示，当图21中的第4个第一分区中的第9个第二分区中存在异常图像特征时，Region中存储的索引信息的编码格式为“4-9”，然而，图21中的其它第一分区(即，除了第4个第一分区之外的其它第一分区)中不存在异常图像特征，因此，在分别对这些第一分区的信息进行编码时，Region中存储的索引信息的编码格式为“i-0”，其中，i表示这些第一分区中的一个第一分区在N个第一分区中的编号；图像信息“Info”表示对应分区(即，第一分区或第二分区)在经由叶片原始区域处理单元340分析处理后所获得的图像特征(例如，灰度值的梯度、最大值、最小值、均值、方差等)的标志字，另外，每一个图像特征的标志字的具体信息并不被存储在“Info”字段中，而是以相应标志字命名的变量的形式存储在数据库中；结束标志“End”表示图像信息编码内容的结束。

图22是根据本发明的示例性实施例的用于对风电机组的叶片进行监测的方法的流程图。

参照图22，在步骤2210，对风电机组进行视频采集以获得视频图像序列。其中，对风电机组进行视频采集以获得视频图像序列的步骤包括：每隔预定时间将进行视频采集的镜头调整至采集位置点来采集预定时间长度的视频图像序列并在视频图像序列的采集结束后将所述镜头调整至零点位置。以下将参照图23对此进行步骤2210进行详细描述。

图23示出了利用风电机组进行视频采集来获得视频图像序列的详细流程图。

在步骤2211，对视频采集单元100进行零点位置设置，其中，所述零点位置是当前视频采集单元100在不进行视频图像序列的采集时的停留位置。为了保护相机单元104的镜头，可将相机单元104的镜头垂直朝下的位置设定为所述零点位置。

在完成零点位置设置之后，在步骤2212，将所述零点位置设置为预置点。

在步骤2213，控制相机单元104中包括的镜头调整至采集位置点，并控制清洁单元103对相机单元104中包括的镜头进行清洁工作，其中，所述采集位置点是相对于预置点的用于进行视频采集的位置。

在步骤2214，控制相机单元104采集预定时间长度的视频图像序列。

在采集了预定时间长度的视频图像序列之后，在步骤2215，调用预先设置的所述预置点来将所述镜头调整至所述零点位置。此后，在经过预定时间之后，返回到步骤2213来进行下一次视频图像序列的采集工作。

返回参照图22，在步骤2220，从获得的视频图像序列提取背景图像。其中，从获得的视频图像序列提取背景图像的步骤可包括：基于均值估计方法和中值估计方法中的任意一种方法利用视频图像序列中的多帧图像来估计所述背景图像。由于以上已参照图6和图7对此进行了详细描述，因此此处不再进行重复描述。

除了利用均值估计方法或中值估计方法来估计背景图像之后，还可以从视频图像序列中直接获取不包含叶片的图像来用作所述背景图像，其中，在从视频图像序列提取背景图像时，通过将在第1帧图像的进口灰度均值和第n帧图像的进口灰度均值之间的第一差值与进口阈值进行比较来确定是否将第n-3帧图像用作所述背景图像以实现背景图像的更新，并且在利用第n-3帧图像实现背景图像的更新之后，通过将在第1帧图像的出口灰度均值和在第n帧图像之后的图像的出口灰度均值之间的第二差值与出口阈值进行比较来确定是否重新开始背景图像的更新操作，其中，3＜n≤m，其中，m是视频图像序列包括的图像的数量。以下将参照图24对此进行详细描述。

参照图24，在步骤2401，从视频图像序列中获取第1帧图像。

在步骤2402，在第1帧图像的灰度图像中确定叶片进口区域E和叶片出口区域F。

在步骤2403，利用等式5来计算叶片进口区域E的灰度均值G_E和叶片出口区域F的灰度均值G_F，并将叶片进口区域E的进口灰度均值G_E和叶片出口区域F的出口灰度均值G_F分别用作确定所述背景图像所需的进口参考灰度均值C1和出口参考灰度均值C2。

在步骤2404，读取第n帧图像，并按照与第1帧图像相同的方法在第n帧图像中确定叶片进口区域E和叶片出口区域F，并按照与第1帧图像相同的方法利用等式5来执行计算第n帧图像的进口灰度均值G_En和出口灰度均值G_Fn的第一计算操作，并计算第n帧图像的进口阈值h1_n和出口阈值h2_n，其中，3＜n≤m，m是视频图像序列中包括的图像的数量。由于以上已对此进行了详细描述，因此此处不再进行重复描述。

在步骤2405，确定第n帧图像的进口灰度均值G_En与进口参考灰度均值G1之间的第一差值C1_n是否大于第n帧图像的进口阈值h1_n。

如果在步骤2405中确定第一差值C1_n是否小于或等于进口阈值h1_n，则执行n＝n+1的更新操作，并进行到步骤2407中确定n是否小于等于视频图像序列中的图像的数量m。

如果在步骤2407中确定n小于或等于m，则返回到步骤2404来执行与前一帧相同的操作。如果在步骤2407中确定确定n大于m，则说明当前的视频图像序列中的所有图像已处理完毕，因此所述方法结束。

如果在步骤2405中确定第一差值C1_n大于进口阈值h1_n，则将第n-3帧图像确定为背景图像，并进行到步骤2409以执行n＝n+1的更新操作。

此后，在步骤2410，确定n是否小于或等于视频图像序列中的图像的数量m。

如果在步骤2410中确定n大于m，则说明当前的视频图像序列中的所有图像已处理完毕，因此所述方法结束。

反之，如果在步骤2410中确定n小于或等于m，则进行到步骤2411，其中，在步骤2411，读取第n帧图像，按照与第1帧图像相同的方法计算第n帧图像的进口灰度均值G_En和出口灰度均值G_Fn，并按照与第n-1帧相同的方法来计算第n帧图像的进口阈值h1_n和出口阈值h2_n。

此后，在步骤2412，确定第n帧图像的第二差值C2_n是否大于第n帧图像的出口阈值h2_n。

如果在步骤2412中确定第二差值C2_n小于或等于第n帧图像的出口阈值h2_n，则进行到步骤2409执行n＝n+1的更新操作并进行后续操作。

反之，如果在步骤2412中确定第二差值C2_n大于第n帧图像的出口阈值h2_n，则说明叶片刚刚旋转出第n帧的叶片出口区域，从而需要重新开始新一轮的叶片进口阈值条件的判断，因此进行到步骤2406，执行n＝n+1的更新操作并进行后续操作。

通过以上过程，可实现背景图像的不断更新，从而减弱或消除背景随时间变化而引入的误差。

返回参照图22，在通过步骤2220获得了背景图像之后，在步骤2230，基于提取的背景图像来检测在视频图像序列中的图像中的叶片上是否存在异常图像特征。以下将参照图25对此进行详细描述。

如图25所示，在步骤2510，利用背景图像的灰度图像和视频图像序列中的含有叶片的一帧或更多帧图像的灰度图像来获得一帧或更多帧叶片灰度图像。其中，获得一帧或更多帧叶片灰度图像的步骤包括：将视频图像序列中的位于满足第一条件的一帧图像之后直到满足第二条件的一帧图像之前的一帧或更多帧图像中的每一帧图像转变为灰度图像，其中，第一条件为第一差值C1_n大于第p帧图像的进口阈值h1_n，第二条件为第q帧图像的第二差值C2_n大于第q帧图像的出口阈值h2_n，其中，p和q均为整数，且p＜q。在此基础上，可将所述每一帧图像的灰度图像与背景图像的灰度图像进行差运算来获得一帧或更多帧叶片灰度图像。此外，获得一帧或更多帧叶片灰度图像的步骤还包括：通过利用形态学开操作和闭操作中的任意一种来对所述一帧或更多帧叶片灰度图像进行处理。由于以上已对此进行了详细描述，因此此处不再进行重复。通过步骤2510可获得如图11中所示的优化结果，即最终的叶片灰度图像，其中，图10中的叶片灰度图像中的噪声全部被去除，并且叶片的轮廓特征得到了精确的提取。

在步骤2520，针对所述一帧或更多帧叶片灰度图像中的每一帧叶片灰度图像进行叶片位置识别来对所述一帧或更多帧叶片灰度图像进行筛选。其中，对所述一帧或更多帧叶片灰度图像进行筛选的步骤包括：利用自回归模型针对处理后的所述一帧或更多帧叶片灰度图像进行叶片位置识别来对处理后的所述一帧或更多帧叶片灰度图像进行筛选以获得具有完整叶片轮廓的可用叶片灰度图像。随后将参照图26来详细地描述对处理后的所述一帧或更多帧叶片灰度图像进行筛选以获得具有完整叶片轮廓的可用叶片灰度图像的过程。

在获得具有完整叶片轮廓的可用叶片灰度图像之后，在步骤2530，利用筛选出的可用叶片灰度图像，从与所述可用叶片灰度图像对应的原始图像提取原始叶片区域以产生仅包含所述原始叶片区域的图像。

在产生了仅包含所述原始叶片区域的图像之后，在步骤2540，将产生的仅包含所述原始叶片区域的图像划分为多个分区，对所述多个分区进行分析以确定存在异常图像特征的分区，并对所述多个分区的信息进行编码。其中，划分的步骤和编码的步骤可包括：将所述产生的仅包含叶片区域的图像沿图像宽度方向平均划分为N个第一分区，并行地判断所述N个第一分区中的每一个第一分区中是否存在异常图像特征，仅将所述N个第一分区中的存在异常图像特征的每一个第一分区沿图像长度方向平均划分为M个第二分区，并对所述N个第一分区中的不存在异常图像特征的每一个第一分区的信息进行编码并对所述M个第二分区中的存在异常图像特征的每一个第二分区的信息进行编码。其中，在对所述N个第一分区中的不存在异常图像特征的每一个第一分区的信息进行编码并对所述M个第二分区中的存在异常图像特征的每一个第二分区的信息进行编码时，被编码的信息包括以下信息：当前图像的时间信息“Time”、风电机组的地域信息“Place”、当前图像中的叶片的叶片编号“Blade”、当前图像中的叶片前边缘线与当前图像的灰度图像的下边线的交点的y坐标值“Node”、以及由第一分区的分区编号和第二分区的分区编号组成的索引信息“Region”，其中，对于不存在异常图像特征的第一分区，所述索引信息中的第一分区的分区编号是该第一分区在所述N个第一分区中的编号，所述索引信息中的第二分区的分区编号为0，对于存在异常图像特征的第二分区，所述索引信息中的第一分区的分区编号是包含该第二分区的第一分区在所述N个第一分区中的编号，所述索引信息中的第二分区的分区编号是该第二分区在所述M个第二分区中的编号。此外，被编码的信息还可包括：对应分区(即，存在异常图像特征的第二分区或不存在异常图像特征的第一分区)的图像信息“Info”、以及结束标志“End”。由于以上已参照图16至图21对此进行了详细描述，因此此处不再进行重复。

当对处理后的所述一帧或更多帧叶片灰度图像进行筛选来获得具有完整叶片轮廓的可用叶片灰度图像时，如果通过利用自回归模型确定经由叶片边缘检测所确定的一帧叶片灰度图像的下边线与叶片前边缘线的初选交点以及所述一帧叶片灰度图像的初选叶尖点分别位于所述叶片前边缘线的相应位置上并且不受噪声影响，则所述一帧叶片灰度图像被确定是具有完整叶片轮廓的可用叶片灰度图像。以下将参照图26对此进行详细描述。

图26是示出对处理后的所述一帧或更多帧叶片灰度图像进行筛选以获得具有完整叶片轮廓的可用叶片灰度图像的方法的流程图。

参照图26，在步骤2610，利用Sobel算子对处理后的所述一帧或更多帧叶片灰度图像中的一帧叶片灰度图像进行叶片边缘检测并提取叶片边缘所在位置的坐标值。

在步骤2620，对所述一帧叶片灰度图像中的初选的叶尖点的x坐标值和y坐标值以及叶片前边缘线与所述一帧叶片灰度图像的下边线的初选的交点的x坐标值和y坐标值进行一元线性回归分析来获得拟合直线。

在步骤2630，对由在所述拟合直线上的位于所述交点与所述叶尖点之间的所有像素点的x坐标值组成的第一序列、以及由以下x坐标值组成的第二序列进行相关性计算以获得相关性系数，其中，所述第二序列中的第i个x坐标值是在所述一帧叶片灰度图像的叶片区域上的与所述所有像素点的y坐标值中的第i个y坐标值对应的所有x坐标值中的最大值，0＜i≤I，其中，I是所述所有像素点的数量。

在步骤2640，确定第一相关性系数是否大于预定阈值。

如果在步骤2640中确定第一相关系数大于所述预定阈值，则在步骤2650确定当前的一帧叶片灰度图像是具有完整叶片轮廓的可用的叶片灰度图像。

如果在步骤2640中确定第一相关系数小于或等于所述预定阈值，则在步骤2660确定当前的一帧叶片灰度图像不是具有完整叶片轮廓的可用的叶片灰度图像。由于以上已参照图13对以上内容进行了详细描述，因此这里不再进行重复。

此外，本发明还提供了一种计算机可读存储介质，存储有程序，所述程序可包括用于执行上述对风力机组的叶片进行监测的方法中各种操作的指令。具体而言，所述程序可以包括用于执行图22至图26中所描述的各个步骤的指令。

此外，本发明还提供了一种计算机，包括存储有计算机程序的可读介质，所述程序包括用于执行上述对风力机组的叶片进行监测的方法中各种操作的指令。具体而言，所述程序可以包括用于执行图22至图26中所描述的各个步骤的指令。

基于以上描述的用于对风电机组的叶片进行监测的设备和方法可用于直观地获取叶片上异常信息，例如，可直观地获得叶片结冰信息，例如，结冰类型、位置、面积等，并且可为设计除冰方法提供更加可靠有效的信息。此外，该设备和方法可为改善风电机组在低温环境下的叶片结构与控制策略提供依据，并且可降低风电机组的运营成本以及人员的运维强度，且为后续其他研究工作提供数据积累。本发明的以上各个实施例仅是示例性的，而本发明并不受限于此。本领域技术人员应该理解：在不脱离本发明的原理和精神的情况下，可对这些实施例进行改变，其中，本发明的范围在权利要求及其等同物中限定。

Claims (28)

1.一种对风力机组的叶片进行监测的设备，其特征在于，包括：

视频采集单元，对风电机组的叶片进行视频采集以获得视频图像序列；

背景图像获取单元，从视频采集单元获得的视频图像序列提取背景图像；

图像异常检测单元，基于提取的背景图像来检测在视频图像序列中的图像中的叶片上是否存在异常图像特征，

其中，所述图像异常检测单元包括：背景图像分割单元，计算视频图像序列中的第1帧图像的进口灰度均值和第n帧图像的进口灰度均值之间的第一差值，计算第1帧图像的出口灰度均值和第n帧图像的出口灰度均值之间的第二差值，将视频图像序列中的位于满足第一差值大于进口阈值的一帧图像之后直到满足第二差值大于出口阈值的一帧图像之前的一帧或更多帧图像中的每一帧图像转变为灰度图像，并将所述每一帧图像的灰度图像与所述背景图像的灰度图像进行差运算来获得用来进行所述检测的一帧或更多帧叶片灰度图像。

2.如权利要求1所述的设备，其特征在于，所述图像异常检测单元还包括：

叶片位置识别单元，针对所述一帧或更多帧叶片灰度图像中的每一帧叶片灰度图像进行叶片位置识别来对所述一帧或更多帧叶片灰度图像进行筛选，

其中，筛选出的可用叶片灰度图像被所述图像异常检测单元用来进行所述检测。

3.如权利要求2所述的设备，其特征在于，所述图像异常检测单元还包括：

原始叶片区域获取单元，利用由叶片位置识别单元筛选出的可用叶片灰度图像，从与所述可用叶片灰度图像对应的原始图像提取原始叶片区域以产生仅包含所述原始叶片区域的图像，

其中，产生的仅包含所述叶片区域的图像被所述图像异常检测单元用来进行所述检测。

4.如权利要求3所述的设备，其特征在于，所述图像异常检测单元还包括：

原始叶片区域处理单元，将产生的仅包含所述叶片区域的图像划分为多个分区，对所述多个分区进行分析以确定存在异常图像特征的区域，并对所述多个分区的信息进行编码。

5.如权利要求1所述的设备，其特征在于，所述视频采集单元每隔预定时间将所述视频采集单元中包括的镜头调整至采集位置点来采集预定时间长度的视频图像序列，并在视频图像序列的采集结束后将所述镜头调整至零点位置。

6.如权利要求1所述的设备，其特征在于，所述背景图像获取单元基于均值估计方法和中值估计方法中的任意一种方法利用视频图像序列中的多帧图像来估计所述背景图像。

7.如权利要求2所述的设备，其特征在于，所述背景图像获取单元直接将视频图像序列中的不包含叶片的图像用作所述背景图像。

8.如权利要求7所述的设备，其特征在于，

所述背景图像获取单元通过将在第1帧图像的进口灰度均值和第n帧图像的进口灰度均值之间的第一差值与所述进口阈值进行比较来确定是否将第n-3帧图像用作所述背景图像以实现背景图像的更新；

在利用第n-3帧图像实现背景图像的更新之后，所述背景图像获取单元通过将在第1帧图像的出口灰度均值和在第n帧图像之后的图像的出口灰度均值之间的第二差值与所述出口阈值进行比较来确定是否重新开始背景图像的更新操作，

其中，3＜n≤m，其中，m是视频图像序列包括的图像的数量。

9.如权利要求8所述的设备，其特征在于，每当所述背景图像获取单元计算出一帧图像的第一差值和第二差值时，所述背景图像获取单元将第一差值和第二差值分别存储到第一差值序列和第二差值序列中，将所述进口阈值更新为利用包括在第一差值序列中的所有第一差值中的最大值乘以第一预定倍数而获得的值，并将所述出口阈值更新为利用包括在第二差值序列中的所有第二差值中的最大值乘以第二预定倍数而获得的值。

10.如权利要求2所述的设备，其特征在于，所述背景图像分割单元利用形态学开操作和闭操作中的任意一种操作对所述一帧或更多帧叶片灰度图像进行处理。

11.如权利要求10所述的设备，其特征在于，所述叶片位置识别单元利用自回归模型针对处理后的所述一帧或更多帧叶片灰度图像进行叶片位置识别来对处理后的所述一帧或更多帧叶片灰度图像进行筛选以获得具有完整叶片轮廓的可用叶片灰度图像。

12.如权利要求10所述的设备，其特征在于，当通过利用自回归模型确定经由叶片边缘检测所确定的一帧叶片灰度图像的下边线与叶片前边缘线的初选交点以及所述一帧叶片灰度图像的初选叶尖点分别位于所述叶片前边缘线的相应位置上并且不受噪声影响时，所述叶片位置识别单元确定所述一帧叶片灰度图像是具有完整叶片轮廓的可用叶片灰度图像。

13.如权利要求4所述的设备，其特征在于，所述原始叶片区域处理单元将所述产生的仅包含叶片区域的图像沿图像宽度方向平均划分为N个第一分区，并行地判断所述N个第一分区中的每一个第一分区中是否存在异常图像特征，仅将所述N个第一分区中的存在异常图像特征的每一个第一分区沿图像长度方向平均划分为M个第二分区，并分别对所述N个第一分区中的不存在异常图像特征的每一个第一分区的信息以及所述M个第二分区中的存在异常图像特征的每一个第二分区的信息进行编码。

14.一种对风力机组的叶片进行监测的方法，其特征在于，包括：

对风电机组的叶片进行视频采集以获得视频图像序列；

从获得的视频图像序列提取背景图像；

基于提取的背景图像来检测在视频图像序列中的图像中的叶片上是否存在异常图像特征，

其中，所述检测的步骤包括：计算视频图像序列中的第1帧图像的进口灰度均值和第n帧图像的进口灰度均值之间的第一差值，计算第1帧图像的出口灰度均值和第n帧图像的出口灰度均值之间的第二差值，将视频图像序列中的位于满足第一差值大于进口阈值的一帧图像之后直到满足第二差值大于出口阈值的一帧图像之前的一帧或更多帧图像中的每一帧图像转变为灰度图像，并将所述每一帧图像的灰度图像与所述背景图像的灰度图像进行差运算来获得用来进行所述检测的一帧或更多帧叶片灰度图像。

15.如权利要求14所述的方法，其特征在于，所述检测的步骤还包括：

针对所述一帧或更多帧叶片灰度图像中的每一帧叶片灰度图像进行叶片位置识别来对所述一帧或更多帧叶片灰度图像进行筛选，

其中，筛选出的可用叶片灰度图像被用于进行所述检测。

16.如权利要求15所述的方法，其特征在于，所述检测的步骤还包括：

利用筛选出的可用叶片灰度图像，从与所述可用叶片灰度图像对应的原始图像提取原始叶片区域以产生仅包含所述原始叶片区域的图像，

其中，产生的仅包含所述原始叶片区域的图像被用于进行所述检测。

17.如权利要求16所述的方法，其特征在于，所述检测的步骤还包括：

将产生的仅包含所述原始叶片区域的图像划分为多个分区，对所述多个分区进行分析以确定存在异常图像特征的分区，并对所述多个分区的信息进行编码。

18.如权利要求14所述的方法，其特征在于，对风电机组进行视频采集以获得视频图像序列的步骤包括：每隔预定时间将进行视频采集的镜头调整至采集位置点来采集预定时间长度的视频图像序列，并在视频图像序列的采集结束后将所述镜头调整至零点位置。

19.如权利要求14所述的方法，其特征在于，从获得的视频图像序列提取背景图像的步骤包括：基于均值估计方法和中值估计方法中的任意一种方法利用视频图像序列中的多帧图像来估计所述背景图像。

20.如权利要求16所述的方法，其特征在于，从视频图像序列提取背景图像的步骤包括：从视频图像序列中直接获取不包含叶片的图像来用作所述背景图像。

21.如权利要求20所述的方法，其特征在于，从视频图像序列提取背景图像的步骤包括：

通过将在第1帧图像的进口灰度均值和第n帧图像的进口灰度均值之间的第一差值与所述进口阈值进行比较来确定是否将第n-3帧图像用作所述背景图像以实现背景图像的更新；

在利用第n-3帧图像实现背景图像的更新之后，通过将在第1帧图像的出口灰度均值和在第n帧图像之后的图像的出口灰度均值之间的第二差值与所述出口阈值进行比较来确定是否重新开始背景图像的更新操作，

其中，3＜n≤m，其中，m是视频图像序列包括的图像的数量。

22.如权利要求21所述的方法，其特征在于，从视频图像序列提取背景图像的步骤还包括：每当计算出一帧图像的第一差值和第二差值时，将第一差值和第二差值分别存储到第一差值序列和第二差值序列中，将所述进口阈值更新为利用包括在第一差值序列中的所有第一差值中的最大值乘以第一预定倍数而获得的值，并将所述出口阈值更新为利用包括在第二差值序列中的所有第二差值中的最大值乘以第二预定倍数而获得的值。

23.如权利要求15所述的方法，其特征在于，获得一帧或更多帧叶片灰度图像的步骤还包括：利用形态学开操作和闭操作中的任意一种来对所述一帧或更多帧叶片灰度图像进行处理。

24.如权利要求23所述的方法，其特征在于，对所述一帧或更多帧叶片灰度图像进行筛选的步骤包括：利用自回归模型针对处理后的所述一帧或更多帧叶片灰度图像进行叶片位置识别来对处理后的所述一帧或更多帧叶片灰度图像进行筛选以获得具有完整叶片轮廓的可用叶片灰度图像。

25.如权利要求24所述的方法，其特征在于，对处理后的所述一帧或更多帧叶片灰度图像进行筛选以获得具有完整叶片轮廓的可用叶片灰度图像的步骤包括：

当通过利用自回归模型确定经由叶片边缘检测所确定的一帧叶片灰度图像的下边线与叶片前边缘线的初选交点以及所述一帧叶片灰度图像的初选叶尖点分别位于所述叶片前边缘线的相应位置上并且不受噪声影响时，确定所述一帧叶片灰度图像是具有完整叶片轮廓的可用叶片灰度图像。

26.如权利要求17所述的方法，其特征在于，划分的步骤和编码的步骤包括：将所述产生的仅包含叶片区域的图像沿图像宽度方向平均划分为N个第一分区，并行地判断所述N个第一分区中的每一个第一分区中是否存在异常图像特征，仅将所述N个第一分区中的存在异常图像特征的每一个第一分区沿图像长度方向平均划分为M个第二分区，并分别对所述N个第一分区中的不存在异常图像特征的每一个第一分区的信息以及所述M个第二分区中的存在异常图像特征的每一个第二分区的信息进行编码。

27.一种计算机可读存储介质，存储有程序，其特征在于，所述程序包括用于执行如权利要求14-26中任一项所述的方法的指令。

28.一种计算机，包括存储有计算机程序的可读介质，其特征在于，所述程序包括用于执行如权利要求14-26中任一项所述的方法的指令。

Images