CN115239034B - 一种风力发电机叶片早期缺陷预测方法及*** - Google Patents

一种风力发电机叶片早期缺陷预测方法及*** Download PDF

Info

Publication number
CN115239034B
CN115239034B CN202211169343.1A CN202211169343A CN115239034B CN 115239034 B CN115239034 B CN 115239034B CN 202211169343 A CN202211169343 A CN 202211169343A CN 115239034 B CN115239034 B CN 115239034B
Authority
CN
China
Prior art keywords
early
model
self
image
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211169343.1A
Other languages
English (en)
Other versions
CN115239034A (zh
Inventor
张天翔
张毅思
李擎
李江昀
崔家瑞
蔺凤琴
苗磊
付佳伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology Beijing USTB
Original Assignee
University of Science and Technology Beijing USTB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology Beijing USTB filed Critical University of Science and Technology Beijing USTB
Priority to CN202211169343.1A priority Critical patent/CN115239034B/zh
Publication of CN115239034A publication Critical patent/CN115239034A/zh
Application granted granted Critical
Publication of CN115239034B publication Critical patent/CN115239034B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Marketing (AREA)
  • Databases & Information Systems (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Development Economics (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Computational Linguistics (AREA)
  • Public Health (AREA)
  • Water Supply & Treatment (AREA)
  • Primary Health Care (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种风力发电机叶片早期缺陷预测方法及***，属于风力发电设备领域。所述方法先收集叶片早中晚期场景的图像，对晚期图像进行人工标注作为反演语义分割训练集样本；将对应的叶片早中期图像集作为模型样本集划分自监督训练集和验证集，并对验证集进行人工标注；构建基网络及早期缺陷自监督学习模型，采用自监督训练集进行训练，得到成熟模型，获得模型权重；构建分割头模型，基网络加载权重，并将基网络与分割头模型进行连接，输入反演语义分割训练集进行训练，输出语义分割标签，得到成熟的下游任务分割模型；获取待预测叶片的早期图像输入下游任务分割模型，输出早期缺陷的位置信息。本发明提高了叶片早期缺陷预测准确度。

Description

一种风力发电机叶片早期缺陷预测方法及***
技术领域
本发明属于风力发电设备领域，具体涉及一种风力发电机叶片早期缺陷预测方法及***。
背景技术
在工业生产中，进行设备的缺陷检测对指导生产顺利进行有着至关重要的作用。风力发电是工业发电的重要一环，而风力发电机由于环境、风力等的影响，设备的损坏率较高。尤其是风力发电机叶片，在恶劣环境中极易产生裂纹缺陷，导致设备寿命缩短，而大的裂纹缺陷都是从很小的裂纹发展而来，因此若能在缺陷尚处于早期的时候就可以准确检测，可通过及时维修或更换零件等方式避免缺陷发展造成更大损失。
现有技术中，风力发电机叶片的缺陷检测方法包括非机器视觉方法、传统机器学习方法和基于深度学习方法等。其中，非机器视觉方法包括人工检测与声波无损检测，这种方法安全系数较低、消耗时间长并且精确度低；传统机器学习方法基于支持向量机模型，识别精度低，在缺陷识别任务方面难以达到较高的准确度，无法很好地处理细小的早期缺陷，一般应用于具有较明显特征的中晚期缺陷；现有的基于深度学习方法则普遍以强监督卷积神经网络为主，比如AlexNet、GoogLeNet、ResNet、U-Net等，然而，风力发电机叶片的早期缺陷具有人眼难以观察、数据标注困难、区分受到人为因素影响等不利因素，在强监督网络下，早期场景信息缺乏，图像信息不完善，无法提供充足的语义信息用于有监督训练，同时对数据进行人工标注会消耗大量的时间并且难以统一标注标准，导致数据的有效性较差，预测准确度较低。
发明内容
有鉴于此，本发明实施例提供一种风力发电机叶片早期缺陷预测方法及***，使用晚期易标注缺陷样本进行网络训练以反演早期缺陷特征，提高了分割准确度，提高早期缺陷预测的精度和准确度。
为达到上述目的，本发明的实施例采用如下技术方案：
一方面，本发明实施例提供了一种风力发电机叶片早期缺陷预测方法，包括如下步骤：
步骤S1，收集若干风力发电机叶片在整个生命周期的早期、中期和晚期场景的图像，其中早期、中期和晚期各占生命周期的三分之一；
步骤S2，选择具有可肉眼识别的缺陷的晚期图像建立待标注图像集；将对应的叶片早期、中期图像集作为模型样本集，从模型样本集选择预定比例的样本作为自监督训练集，剩余的样本再进行人工标注作为验证集；
步骤S3，构建基于Transformer结构的基网络，并基于基网络构建早期缺陷自监督学习模型，设定早期缺陷自监督学习模型的超参数；
步骤S4，采用所述自监督训练集对早期缺陷自监督学习模型进行训练，从无监督数据中挖掘数据本身信息，使模型学习到各个像素之间的联系，提取深层次语义表征，得到成熟的早期缺陷自监督学习模型，获得此时成熟的自监督学习模型的权重；
步骤S5，构建分割头模型，此时基网络加载所述成熟的自监督学习模型的权重，并将基网络与分割头模型进行连接，作为下游任务分割模型；
步骤S6，对待标注图像集中的图像进行人工标注，将图像中腐蚀、裂纹、穿孔的区域作为缺陷类标注区域，其余部分作为背景类标注区域，将已作好人工标注的晚期图像作为反演语义分割训练集样本；
步骤S7，采用反演语义分割训练集对下游任务分割模型进行训练，输出语义分割标签，与人工标签进行对比，经过数据反演优化下游任务分割模型权重；再采用验证集进行验证，得到成熟的下游任务分割模型；
步骤S8，获取待预测叶片的早期图像，将图像输入成熟的下游任务分割模型，输出待预测叶片的早期缺陷的位置信息。
作为本发明的一个优选实施例，所收集的图像，为具有3通道的RGB图像数据。
作为本发明的一个优选实施例，所述基网络前连接有下采样模块；所述下采样模块使用一个卷积核大小3×3，步长为2的卷积层进行二倍下采样，使用ReLU激活函数对采样后特征矩阵进行激活。
作为本发明的一个优选实施例，所述基网络包括一个卷积构成的Stem Block和四层重复堆叠的Transformer 层构建的Transformer结构；其中，
Stem Block由卷积核大小4×4步长为4的卷积层、ReLU激活函数层、批标准化层、位置编码嵌入层和线性嵌入层组成；
每一层Transformer层由层标准化层、多头自注意力层、GELU激活函数层和多层感知机层组成，其中多头自注意力层与多层感知机层分别在各自的输出上采用残差连接。
作为本发明的一个优选实施例，所述基于基网络构建早期缺陷自监督学习模型，包括：
对于每一张输入的无标签图像，在将图像分为多个分辨率为4×4的图像块后，随机使用掩码屏蔽75%的图像块，模型学习使用少量未被屏蔽的图像块数据重建整体原始图像，使用标准化像素损失函数计算损失以进行反向传播，使得模型能够学习到早期图像像素点之间的内在联系，实现自监督辅助任务。
作为本发明的一个优选实施例，所述早期缺陷自监督学习模型的超参数包括每一层Transformer层的多头注意力头数、token个数和token长度。
作为本发明的一个优选实施例，步骤S4在进行训练前，对所述自监督训练集中的样本进行预处理以进行数据增强，所述预处理包括随机水平翻转、随机垂直翻转、随机多尺度变换和随机角度变换。
作为本发明的一个优选实施例，所述分割头模型由空洞空间卷积池化金字塔结构与低频特征通路结构组成；其中，
空洞空间卷积池化金字塔结构由1×1的卷积层，膨胀系数分别为6、12、18的3×3卷积层与全局池化层并联组成，且所有卷积层均采用ReLU激活函数激活并与批标准化层串联；空洞空间卷积池化金字塔结构内的卷积层与池化层的输出在通道维度上进行拼接，再通过1×1的卷积层进行特征融合，经过4倍上采样层将特征矩阵分辨率恢复到基网络输出大小；
低频特征通路结构由1×1的卷积层组成，与空洞空间卷积池化金字塔结构的输出在通道维度上拼接，经过3×3的卷积层进行特征融合，再通过步长为4，卷积核大小为4×4的转置卷积层将输出特征矩阵恢复为输入图像分辨率大小，最后通过1×1的卷积层调整输出通道维数为标注的类别数量。
作为本发明的一个优选实施例，步骤S3中采用马尔可夫链蒙特卡洛算法估计并设定所述超参数，得到超参数全局最优解以及对应的超参数置信区间。
另一方面，本发明实施例还提供了一种风力发电机叶片早期缺陷预测***，所述***包括：数据采集模块、样本标注和划分模块、基网络构建模块、预训练模块、分割头构建模块和预测模型训练模块；其中，
所述数据采集模块用于收集若干风力发电机叶片在整个生命周期的早期、中期和晚期场景的图像，其中早期、中期和晚期各占生命周期的三分之一；还用于获取待预测叶片的早期图像；
所述样本标注和划分模块用于选择具有可肉眼识别的缺陷的晚期图像建立待标注图像集；将对应的叶片早期、中期图像集作为模型样本集，从模型样本集选择预定比例的样本作为自监督训练集，剩余的样本再进行人工标注作为验证集；还用于对待标注图像集中的图像进行人工标注，将图像中腐蚀、裂纹、穿孔的区域作为缺陷类标注区域，其余部分作为背景类标注区域，将已作好人工标注的晚期图像作为反演语义分割训练集样本；
所述基网络构建模块用于构建基于Transformer结构的基网络，并基于基网络构建早期缺陷自监督学习模型，设定早期缺陷自监督学习模型的超参数；还用于预训练模块完成训练后加载成熟的自监督学习模型的权重，并与分割头模型进行连接，作为下游任务分割模型；
所述预训练模块用于采用所述自监督训练集对早期缺陷自监督学习模型进行训练，从无监督数据中挖掘数据本身信息，使模型学习到各个像素之间的联系，提取深层次语义表征，得到成熟的早期缺陷自监督学习模型，获得此时成熟的自监督学习模型的权重；
所述分割头构建模块用于构建分割头模型；
所述预测模型训练模块用于采用反演语义分割训练集对下游任务分割模型进行训练，输出语义分割标签，与人工标签进行对比，经过数据反演优化下游任务分割模型权重；再采用验证集进行验证，得到成熟的下游任务分割模型；还用于将待预测叶片的早期图像输入成熟的下游任务分割模型，输出待预测叶片的早期缺陷的位置信息。
本发明实施例所提供的技术方案具有如下有益效果：
本发明实施例所提供的风力发电机叶片早期缺陷预测方法及***，设计了一种利用时序信息的自监督训练方法让模型自动学习图像特征，避免了叶片早期细小缺陷样本人工标注困难的问题；利用风力发电机叶片的缺陷变化过程，使用晚期易标注缺陷样本进行网络训练以反演早期缺陷特征，缓解了早期缺陷信息的匮乏；同时改进了Transformer结构用于语义分割任务，提升了网络模型学习图像信息多维度、长距离依赖关系的能力，并使用贝叶斯理论估计法估计模型的超参数，避免了超参数陷入局部最优问题，保证模型在全局上达到最优解，提高了分割准确度。
当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为本发明实施例所提供的风力发电机叶片早期缺陷预测方法的原理图；
图2为本发明实施例所提供的风力发电机叶片早期缺陷预测方法的流程图；
图3为本发明实施例中基网络结构示意图；
图4为本发明实施例中分割头模型结构示意图；
图5为本发明实施例中贝叶斯理论估计超参数流程图；
图6为本发明实施例中早期缺陷自监督学习模型的训练流程图；
图7为本发明实施例中语义分割反演训练流程图。
具体实施方式
本申请发明人在发现上述问题后，对现有的风力发电机叶片早期缺陷检测方法进行了深入研究。研究发现，可以基于自监督深度学习方法对叶片早期缺陷进行检测。随着深度学习、人工智能技术的成熟，自监督深度学习方法在大样本无标注学习聚类特征方面也取得了显著进展。此外，风力发电机叶片的缺陷从早期到晚期存在变化的过程，此过程中变化具有动态规律。
但是，基于CNN的深度学习模型获取全局信息能力有限，无法捕捉长距离依赖，较难处理早期状态预测数据集信息维度规模小、困难样本数量大、标注精度低、以及模型泛化性差等问题；而深度学习网络训练阶段模型超参数的不确定性导致模型结果的不确定性，降低了模型效能（模型超参不确定），常用的优化方法基于点估计展开，会造成模型超参数优化的局部最优而非全局最优。
应注意的是，以上现有技术中的方案所存在的缺陷，均是发明人在经过实践并仔细研究后得出的结果，因此，上述问题的发现过程以及下文中本发明实施例针对上述问题所提出的解决方案，都应该是发明人在本发明过程中对本发明做出的贡献。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征也可以相互组合。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。在本发明的描述中，术语“第一”、“第二”、“第三”、“第四”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
经过上述深入分析后，本发明实施例提出了一种风力发电机叶片早期缺陷预测方法，针对基网络构建与自监督学习模型设计展开，旨在使用晚期缺陷的少量易标注数据反演并预测早期缺陷状态，实现对于早期缺陷的分割任务，具体地，对早期缺陷数据进行无需标注的自监督学习，再采用后期易标注缺陷数据反演早期缺陷数据特征，从而进行叶片早期缺陷的预测，有效地提高叶片早期缺陷的预测准确性，对叶片进行及时维修或更换，提高叶片运行的安全性。
参见图1和图2，本发明实施例所提供的风力发电机叶片早期缺陷预测方法，包括如下步骤：
步骤S1，收集若干风力发电机叶片在整个生命周期的早期、中期和晚期场景的图像，其中早期、中期和晚期各占生命周期的三分之一。
本步骤中，进行图像采集时，优选采用足够承受10m/s风速的大疆经纬MATRICE210无人机搭载RGB相机在不同时间（早期、中期、晚期）对存在不同大小的腐蚀、裂纹、穿孔缺陷的发电机叶片进行图像采集，获得具有3通道的RGB图像数据集。依照统一的参考系大小进行裁剪。
步骤S2，选择具有可肉眼识别的缺陷的晚期图像建立待标注图像集；将对应的叶片早期、中期图像集作为模型样本集，从模型样本集选择预定比例的样本作为自监督训练集，剩余的样本再进行人工标注作为验证集。
本步骤中，所述缺陷的状态表现为一种时间序列数据，能够利用时序动态方程表示，例如：X_(t+1)=F(X_t,U_t)，其中X_(t+1)表示t+1时刻的缺陷特征，X_t表示t时刻的缺陷特征，F表示的缺陷变化过程函数，U_t表示t时刻影响缺陷变化的内、外部因素。通常情况下，早期和中期图像中存在细小缺陷，晚期图像存在明显缺陷。所述的明显缺陷，即可进行肉眼识别，可进行人工标注的缺陷。
步骤S3，构建基于Transformer结构的基网络，并基于基网络构建早期缺陷自监督学习模型，估计并设定早期缺陷自监督学习模型的超参数。
如图3和图4所示，本步骤中，所述基网络包括一个卷积构成Stem Block和四层重复堆叠的Transformer 层构建的Transformer结构。Stem Block由卷积核大小4×4步长为4的卷积层、ReLU激活函数层、批标准化层、位置编码嵌入层和线性嵌入层组成；每一层Transformer层由层标准化层、多头自注意力层、GELU激活函数层和多层感知机层组成，其中多头自注意力层与多层感知机层分别在各自的输出上采用残差连接。
优选地，所述基网络前还可以连接下采样模块，以减少基网络计算量。所述下采样模块使用一个卷积核大小3×3，步长为2的卷积层进行二倍下采样，使用ReLU激活函数对采样后特征矩阵进行激活。
所述早期缺陷自监督学习模型涉及到的超参数包括每一层Transformer层的多头注意力头数、token个数和token长度等。
如图5所示，估计并设定超参数，采用贝叶斯理论估计法中的马尔可夫链蒙特卡洛算法。首先定义最小化损失函数，设定待估计的超参数，设定其余超参数不变，输入早期缺陷图片到期缺陷自监督学习模型中，使用马尔科夫链蒙特卡洛算法估计设定的待估计超参数；多次迭代后挑选损失函数最小的结果作为估计的超参数。具体地，采用马尔可夫链蒙特卡洛算法估计早期缺陷自监督学习模型的超参数，包括：首先使用包含但不限于EFAST，萨博等算法确定模型中的超参数，之后定义最小化损失函数，使用轻量化改进的马尔可夫链蒙特卡洛算法对每次新迭代进行非线性模型参数估计，得到超参数全局最优解以及对应的超参数置信区间。
步骤S4，采用所述自监督训练集对早期缺陷自监督学习模型进行训练，从无监督数据中挖掘数据本身信息，使模型学习到各个像素之间的联系，提取深层次语义表征，得到成熟的早期缺陷自监督学习模型，获得此时成熟的自监督学习模型的权重。
本步骤中，在进行训练前，还可以对所述自监督训练集中的样本进行预处理以进行数据增强，所述预处理包括随机水平翻转、随机垂直翻转、随机多尺度变换和随机角度变换等，从而获得扩充的自监督训练集。
如图6所示，为了实现自监督辅助任务，对早期缺陷自监督学习模型进行训练时，对于每一张输入的无标签图像，在将图像分为多个分辨率为4×4的图像块后，随机使用掩码屏蔽75%的图像块，模型学习使用少量未被屏蔽的图像块数据重建整体原始图像，使用标准化像素损失函数计算损失以进行反向传播，使得模型能够学习到早期图像像素点之间的内在联系。
此时所获得的权重，是基于早期缺陷的通过自监督深度学习算法得到；再通过晚期缺陷数据的反演对此时的权重进行优化，后期易标注缺陷数据反演早期缺陷数据特征，从而提高早期缺陷预测的准确性。
步骤S5，构建分割头模型，此时基网络加载所述成熟的自监督学习模型的权重，并将基网络与分割头模型进行连接，作为下游任务分割模型。
本步骤中，所述分割头模型与基网络不同，分割头模型用于将图像恢复为原始大小并为每个像素进行分类，使用卷积网络搭建以捕捉短距离细节信息。
所述分割头模型由空洞空间卷积池化金字塔结构与低频特征通路结构组成。其中，空洞空间卷积池化金字塔结构由1×1的卷积层（所有卷积层均采用ReLU激活函数激活并与批标准化层串联），膨胀系数分别为6、12、18的3×3卷积层与全局池化层并联组成，空洞空间卷积池化金字塔结构内的卷积层与池化层的输出在通道维度上进行拼接，再通过1×1的卷积层进行特征融合，经过4倍上采样层将特征矩阵分辨率恢复到基网络输出大小；低频特征通路结构由1×1的卷积层组成，其与空洞空间卷积池化金字塔结构的输出在通道维度上拼接，经过3×3的卷积层进行特征融合，再通过步长为4，卷积核大小为4×4的转置卷积层将输出特征矩阵恢复为输入图像分辨率大小，最后通过1×1的卷积层调整输出通道维数为标注的类别数量。
本步骤中对于自监督学习模型权重的加载，是一种继承的过程，将早期缺陷自监督学习模型通过训练所获得的权重继承到下游任务分割模型中。
步骤S6，对待标注图像集中的图像进行人工标注，将图像中腐蚀、裂纹、穿孔的区域作为缺陷类标注区域，其余部分作为背景类标注区域，将已作好人工标注的晚期图像作为反演语义分割训练集样本，制作语义分割标签用于有监督训练。
步骤S7，采用反演语义分割训练集对下游任务分割模型进行训练，输出语义分割标签，此时的语义分割标签包含了自监督学习到的早期缺陷信息，与人工标签进行对比，经过数据反演优化下游任务分割模型权重，使得此时的模型权重通过已标注的后期图像象进行反演优化，得到了具有明显缺陷图像特征的相关信息；再采用验证集进行验证，得到成熟的下游任务分割模型。
如图7所示，基网络继承自监督训练的基网络权重后，将权重传递给与之拼接的分割头结构，完成训练后得到分割结果，通过使用交叉熵计算损失，在迭代次数范围内反向传播优化基网络的权重，并重复传递给分割头再进行下一步训练，直至训练完成。由于基网络加载了所述成熟的自监督学习模型的权重，也就是继承了自监督学习中获得的早期缺陷信息，并在此时的下游任务分割模型中得到了早期缺陷信息的传递和继承。
步骤S8，获取待预测叶片的早期图像，将图像输入成熟的下游任务分割模型，输出待预测叶片的早期缺陷的位置信息。
基于同样的思想，本发明实施例还提供了一种风力发电机叶片早期缺陷预测***，所述***包括：数据采集模块、样本标注和划分模块、基网络构建模块、预训练模块、分割头构建模块和预测模型训练模块；其中，
所述数据采集模块用于收集若干风力发电机叶片在整个生命周期的早期、中期和晚期场景的图像，其中早期、中期和晚期各占生命周期的三分之一；还用于获取待预测叶片的早期图像；
所述样本标注和划分模块用于选择具有可肉眼识别的缺陷的晚期图像建立待标注图像集；将对应的叶片早期、中期图像集作为模型样本集，从模型样本集选择预定比例的样本作为自监督训练集，剩余的样本再进行人工标注作为验证集；还用于对待标注图像集中的图像进行人工标注，将图像中腐蚀、裂纹、穿孔的区域作为缺陷类标注区域，其余部分作为背景类标注区域，将已作好人工标注的晚期图像作为反演语义分割训练集样本；
所述基网络构建模块用于构建基于Transformer结构的基网络，并基于基网络构建早期缺陷自监督学习模型，设定早期缺陷自监督学习模型的超参数；还用于预训练模块完成训练后加载成熟的自监督学习模型的权重，并与分割头模型进行连接，作为下游任务分割模型；
所述预训练模块用于采用所述自监督训练集对早期缺陷自监督学习模型进行训练，从无监督数据中挖掘数据本身信息，使模型学习到各个像素之间的联系，提取深层次语义表征，得到成熟的早期缺陷自监督学习模型，获得此时成熟的自监督学习模型的权重；
所述分割头构建模块用于构建分割头模型；
所述预测模型训练模块用于采用反演语义分割训练集对下游任务分割模型进行训练，输出语义分割标签，与人工标签进行对比，经过数据反演优化下游任务分割模型权重；再采用验证集进行验证，得到成熟的下游任务分割模型；还用于将待预测叶片的早期图像输入成熟的下游任务分割模型，输出待预测叶片的早期缺陷的位置信息。
本实施例中各模块通过处理器实现，当需要存储时适当增加存储器。其中，所述处理器可以是但不限于微处理器MPU、中央处理器(Central Processing Unit，CPU)、网络处理器 (Network Processor，NP)、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、其他可编程逻辑器件、分立门、晶体管逻辑器件、分立硬件组件等。所述存储器可以包括随机存取存储器（Random Access Memory，RAM），也可以包括非易失性存储器（Non-Volatile Memory，NVM），例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
另外需要说明的是，本实施例所述风力发电机叶片早期缺陷预测***与所述风力发电机叶片早期缺陷预测方法是对应的，对所述方法的描述与限定，同样适用于所述***，在此不再赘述。
由以上技术方案可以看出，本发明实施例所提供的风力发电机叶片早期缺陷预测方法及***，设计了一种利用时序信息的自监督训练方法让模型自动学习图像特征，避免了叶片早期细小缺陷样本人工标注困难的问题；利用风力发电机叶片的缺陷变化过程，使用晚期易标注缺陷样本进行网络训练以反演早期缺陷特征，缓解了早期缺陷信息的匮乏；同时改进了Transformer结构用于语义分割任务，提升了网络模型学习图像信息多维度、长距离依赖关系的能力，并使用贝叶斯理论估计法估计模型的超参数，避免了超参数陷入局部最优问题，保证模型在全局上达到最优解，提高了分割准确度。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体（Read-Only Memory，ROM）或随机存储记忆体（Random AccessMemory，RAM）等。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种风力发电机叶片早期缺陷预测方法，其特征在于，包括如下步骤：
步骤S1，收集若干风力发电机叶片在整个生命周期的早期、中期和晚期场景的图像，其中早期、中期和晚期各占生命周期的三分之一；
步骤S2，选择具有可肉眼识别的缺陷的晚期图像建立待标注图像集；将对应的叶片早期、中期图像集作为模型样本集，从模型样本集选择预定比例的样本作为自监督训练集，剩余的样本再进行人工标注作为验证集；
步骤S3，构建基于Transformer结构的基网络，并基于基网络构建早期缺陷自监督学习模型，设定早期缺陷自监督学习模型的超参数；
步骤S4，采用所述自监督训练集对早期缺陷自监督学习模型进行训练，从无监督数据中挖掘数据本身信息，使模型学习到各个像素之间的联系，提取深层次语义表征，得到成熟的早期缺陷自监督学习模型，获得此时成熟的自监督学习模型的权重；
步骤S5，构建分割头模型，此时基网络加载所述成熟的自监督学习模型的权重，并将基网络与分割头模型进行连接，作为下游任务分割模型；
步骤S6，对待标注图像集中的图像进行人工标注，将图像中腐蚀、裂纹、穿孔的区域作为缺陷类标注区域，其余部分作为背景类标注区域，将已作好人工标注的晚期图像作为反演语义分割训练集样本；
步骤S7，采用反演语义分割训练集对下游任务分割模型进行训练，输出语义分割标签，与人工标签进行对比，经过数据反演优化下游任务分割模型权重；再采用验证集进行验证，得到成熟的下游任务分割模型；
步骤S8，获取待预测叶片的早期图像，将图像输入成熟的下游任务分割模型，输出待预测叶片的早期缺陷的位置信息。
2.根据权利要求1所述的风力发电机叶片早期缺陷预测方法，其特征在于，所收集的图像，为具有3通道的RGB图像数据。
3.根据权利要求1所述的风力发电机叶片早期缺陷预测方法，其特征在于，所述基网络前连接有下采样模块；所述下采样模块使用一个卷积核大小3×3，步长为2的卷积层进行二倍下采样，使用ReLU激活函数对采样后特征矩阵进行激活。
4.根据权利要求1-3任一项所述的风力发电机叶片早期缺陷预测方法，其特征在于，所述基网络包括一个卷积构成的Stem Block和四层重复堆叠的Transformer 层构建的Transformer结构；其中，
Stem Block由卷积核大小4×4步长为4的卷积层、ReLU激活函数层、批标准化层、位置编码嵌入层和线性嵌入层组成；
每一层Transformer层由层标准化层、多头自注意力层、GELU激活函数层和多层感知机层组成，其中多头自注意力层与多层感知机层分别在各自的输出上采用残差连接。
5.根据权利要求4所述的风力发电机叶片早期缺陷预测方法，其特征在于，所述基于基网络构建早期缺陷自监督学习模型，包括：
对于每一张输入的无标签图像，在将图像分为多个分辨率为4×4的图像块后，随机使用掩码屏蔽75%的图像块，模型学习使用少量未被屏蔽的图像块数据重建整体原始图像，使用标准化像素损失函数计算损失以进行反向传播，使得模型能够学习到早期图像像素点之间的内在联系，实现自监督辅助任务。
6.根据权利要求5所述的风力发电机叶片早期缺陷预测方法，其特征在于，所述早期缺陷自监督学习模型的超参数包括每一层Transformer层的多头注意力头数、token个数和token长度。
7.根据权利要求1所述的风力发电机叶片早期缺陷预测方法，其特征在于，步骤S4在进行训练前，对所述自监督训练集中的样本进行预处理以进行数据增强，所述预处理包括随机水平翻转、随机垂直翻转、随机多尺度变换和随机角度变换。
8.根据权利要求1所述的风力发电机叶片早期缺陷预测方法，其特征在于，所述分割头模型由空洞空间卷积池化金字塔结构与低频特征通路结构组成；其中，
空洞空间卷积池化金字塔结构由1×1的卷积层，膨胀系数分别为6、12、18的3×3卷积层与全局池化层并联组成，且所有卷积层均采用ReLU激活函数激活并与批标准化层串联；空洞空间卷积池化金字塔结构内的卷积层与池化层的输出在通道维度上进行拼接，再通过1×1的卷积层进行特征融合，经过4倍上采样层将特征矩阵分辨率恢复到基网络输出大小；
低频特征通路结构由1×1的卷积层组成，与空洞空间卷积池化金字塔结构的输出在通道维度上拼接，经过3×3的卷积层进行特征融合，再通过步长为4，卷积核大小为4×4的转置卷积层将输出特征矩阵恢复为输入图像分辨率大小，最后通过1×1的卷积层调整输出通道维数为标注的类别数量。
9.根据权利要求1所述的风力发电机叶片早期缺陷预测方法，其特征在于，步骤S3中采用马尔可夫链蒙特卡洛算法估计并设定所述超参数。
10.一种风力发电机叶片早期缺陷预测***，其特征在于，所述***包括：数据采集模块、样本标注和划分模块、基网络构建模块、预训练模块、分割头构建模块和预测模型训练模块；其中，
所述数据采集模块用于收集若干风力发电机叶片在整个生命周期的早期、中期和晚期场景的图像，其中早期、中期和晚期各占生命周期的三分之一；还用于获取待预测叶片的早期图像；
所述样本标注和划分模块用于选择具有可肉眼识别的缺陷的晚期图像建立待标注图像集；将对应的叶片早期、中期图像集作为模型样本集，从模型样本集选择预定比例的样本作为自监督训练集，剩余的样本再进行人工标注作为验证集；还用于对待标注图像集中的图像进行人工标注，将图像中腐蚀、裂纹、穿孔的区域作为缺陷类标注区域，其余部分作为背景类标注区域，将已作好人工标注的晚期图像作为反演语义分割训练集样本；
所述基网络构建模块用于构建基于Transformer结构的基网络，并基于基网络构建早期缺陷自监督学习模型，设定早期缺陷自监督学习模型的超参数；还用于预训练模块完成训练后加载成熟的自监督学习模型的权重，并与分割头模型进行连接，作为下游任务分割模型；
所述预训练模块用于采用所述自监督训练集对早期缺陷自监督学习模型进行训练，从无监督数据中挖掘数据本身信息，使模型学习到各个像素之间的联系，提取深层次语义表征，得到成熟的早期缺陷自监督学习模型，获得此时成熟的自监督学习模型的权重；
所述分割头构建模块用于构建分割头模型；
所述预测模型训练模块用于采用反演语义分割训练集对下游任务分割模型进行训练，输出语义分割标签，与人工标签进行对比，经过数据反演优化下游任务分割模型权重；再采用验证集进行验证，得到成熟的下游任务分割模型；还用于将待预测叶片的早期图像输入成熟的下游任务分割模型，输出待预测叶片的早期缺陷的位置信息。
CN202211169343.1A 2022-09-26 2022-09-26 一种风力发电机叶片早期缺陷预测方法及*** Active CN115239034B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211169343.1A CN115239034B (zh) 2022-09-26 2022-09-26 一种风力发电机叶片早期缺陷预测方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211169343.1A CN115239034B (zh) 2022-09-26 2022-09-26 一种风力发电机叶片早期缺陷预测方法及***

Publications (2)

Publication Number Publication Date
CN115239034A CN115239034A (zh) 2022-10-25
CN115239034B true CN115239034B (zh) 2022-11-29

Family

ID=83666983

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211169343.1A Active CN115239034B (zh) 2022-09-26 2022-09-26 一种风力发电机叶片早期缺陷预测方法及***

Country Status (1)

Country Link
CN (1) CN115239034B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115861409B (zh) * 2023-02-28 2023-06-27 华南农业大学 大豆叶面积测算方法、***、计算机设备及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110020122A1 (en) * 2009-07-24 2011-01-27 Honeywell International Inc. Integrated condition based maintenance system for wind turbines
CN112233091B (zh) * 2020-10-15 2021-05-18 青岛理工大学 一种风力机叶片图像损伤检测和定位方法
CN114202505A (zh) * 2021-10-27 2022-03-18 上海工程技术大学 一种用于风机叶片表面缺陷的检测方法
CN114842026A (zh) * 2022-04-20 2022-08-02 华能新能源股份有限公司 实时的风机叶片图像分割方法及***

Also Published As

Publication number Publication date
CN115239034A (zh) 2022-10-25

Similar Documents

Publication Publication Date Title
CN110728654B (zh) 一种基于深度残差神经网络的管道自动检测和分类方法
CN111311538B (zh) 一种基于卷积神经网络的多尺度轻量化道路路面检测方法
Caceres et al. A probabilistic Bayesian recurrent neural network for remaining useful life prognostics considering epistemic and aleatory uncertainties
CN112488025B (zh) 基于多模态特征融合的双时相遥感影像语义变化检测方法
CN112613375B (zh) 一种轮胎受损检测识别方法和设备
CN111047078B (zh) 交通特征预测方法、***及存储介质
CN111860106B (zh) 一种无监督的桥梁裂缝识别方法
CN112750129A (zh) 一种基于特征增强位置注意力机制的图像语义分割模型
CN110599459A (zh) 基于深度学习的地下管网风险评估云***
CN115239034B (zh) 一种风力发电机叶片早期缺陷预测方法及***
US11948078B2 (en) Joint representation learning from images and text
CN114283285A (zh) 交叉一致性自训练遥感图像语义分割网络训练方法及装置
CN116310850B (zh) 基于改进型RetinaNet的遥感图像目标检测方法
CN112036249A (zh) 端对端行人检测及属性识别的方法、***、介质及终端
CN112164077A (zh) 基于自下而上路径增强的细胞实例分割方法
CN112149612A (zh) 一种基于深度神经网络的海洋生物识别***及识别方法
CN116702076A (zh) 一种基于cnn特征融合的小样本迁移学习故障诊断方法、***、计算机及存储介质
CN117541534A (zh) 一种基于无人机和CNN-BiLSTM模型的输电线路巡检方法
CN114332075A (zh) 基于轻量化深度学习模型的结构缺陷快速识别与分类方法
CN114863361A (zh) 基于USRNet和YOLOv3的配电线路鸟巢检测方法
Qin et al. Remaining useful life prediction using temporal deep degradation network for complex machinery with attention-based feature extraction
CN117372854A (zh) 一种大坝深水结构隐患病害实时检测方法
CN116935128A (zh) 一种基于可学习提示的零样本异常图像检测方法
CN117011219A (zh) 物品质量检测方法、装置、设备、存储介质和程序产品
CN116543153A (zh) 一种基于选点主动学习的半监督点云语义分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant