CN110111328A - 一种基于卷积神经网络的风力发电机叶片裂纹检测方法 - Google Patents

一种基于卷积神经网络的风力发电机叶片裂纹检测方法 Download PDF

Info

Publication number
CN110111328A
CN110111328A CN201910409539.5A CN201910409539A CN110111328A CN 110111328 A CN110111328 A CN 110111328A CN 201910409539 A CN201910409539 A CN 201910409539A CN 110111328 A CN110111328 A CN 110111328A
Authority
CN
China
Prior art keywords
blade
network
candidate frame
frame
crack
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910409539.5A
Other languages
English (en)
Inventor
吴蔚
庄骏
徐秉俊
何中一
肖学成
陈丰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Sercal New Energy Technology Co ltd
Original Assignee
Shanghai Sercal New Energy Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Sercal New Energy Technology Co ltd filed Critical Shanghai Sercal New Energy Technology Co ltd
Priority to CN201910409539.5A priority Critical patent/CN110111328A/zh
Publication of CN110111328A publication Critical patent/CN110111328A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于计算机视觉技术领域，公开了一种基于卷积神经网络风力发电机叶片裂纹检测方法，步骤为：（1）采集发电机叶片图像，构建学习模型训练样本；（2）利用模型训练样本训练卷积神经网络模型；（3）对待检测图像进行预处理；（4）采用特征提取网络对图像进行特征提取，得到特征图；（5）将特征图输入区域生成网络，得到每个候选框中叶片存在概率及候选框初始位置坐标；（6）对候选框进行阈值过滤和非极大值抑制；（7）将每个候选框区域的特征图输入感兴趣区域池化层和边框回归网络，得到候选框修正坐标；（8）将候选框对应的原始图像区域输入分类网络，判断叶片裂纹分类结果。该方法消除了图像背景内容的干扰，提高了叶片检测精度。

Description

一种基于卷积神经网络的风力发电机叶片裂纹检测方法
技术领域
本发明属于计算机视觉技术领域，具体涉及一种基于卷积神经网络(CNN，Convolutional Neural Network)的风力发电机叶片裂纹检测方法。
背景技术
风力发电作为一种成熟的绿色能源技术，具有成本低、使用清洁、装机规模灵活、可再生等优点。大力发展风力发电对于降低化石能源消耗，减少温室气体排放，缓解能源紧张等问题具有重要意义。我国风能储量大，分布面广，开发利用潜力巨大。随着新能源发展战略的提出和实施，我国风电产业进入了跨越式发展的阶段。
由于地理原因，我国大部分风电站分布在西部、北部和东北内陆地区等气候相对恶劣的地区。发电机叶片作为风力发电机组获取风能的关键部件，叶片的好坏直接影响风力发电机的效率，寿命和性能。发电机叶片在运行过程中会在交变应力等因素下产生裂纹并不断扩展，一旦发电机叶片发生故障会影响风力发电机组的性能和寿命，造成整个风力发电机组停机，从而影响风力发电机组的发电效率，严重时甚至发生叶片断裂，造成巨大的经济损失。因此风力发电机叶片裂纹检测具有重要的意义。
目前常用的发电机叶片裂纹检测方法有电位法、显微镜直接观察法、声发射技术、超声波检测技术和基于传统计算机视觉的缺陷检测方法。其中，电位法和显微镜直接观察法检测工作量巨大、效率低，这些方法对叶片进行检测需要消耗大量的人力资源，不适用于大批量检测。声发射技术和超声波检测技术适用于实时动态监控检测，具有可提供整体和大范围的快速检测、对检测构建的几何形状不敏感等优点，但是这些技术需要在发电机叶片上附上传感器，同时这些方法所使用的设备昂贵，成本较高。传统计算机视觉的缺陷检测方法不需要图像传感器与发电机叶片接触，对发电机叶片也无需进行任何预处理，同时还具有检测速度快和成本低廉等特点。
发明内容
针对现有技术存在的问题和不足，本发明的目的是提供一种基于深度卷积神经网络的风力发电机叶片裂纹检测方法。
为实现发明目的，本发明采用的技术方案如下：
一种基于卷积神经网络的风力发电机叶片裂纹检测方法，包括以下步骤：
(1)采集风力发电机叶片图像样本，构建风力发电机叶片图像深度学习模型训练样本；
(2)利用模型训练样本训练深度卷积神经网络模型；所述深度卷积神经网络模型包括检测网络和分类网络，检测网络和分类网络分开训练，所述检测网络结构是基于faster-rcnn(region convolutional neural network)的改进(用残差网络代替原来的VGG网络进行特征提取，同时改进了区域生成网之后的结构，使网络只预测候选框的位置坐标偏移量)，所述检测网络由特征提取网络、区域生成网络、感兴趣区域池化层及边框回归网络组成；
(3)对待检测的风力发电机叶片图像进行预处理；
(4)采用特征提取网络对经步骤(3)处理的图像进行特征提取，得到卷积特征图；
(5)将卷积特征图输入区域生成网络，得到候选框的初始位置坐标以及每个候选框中叶片存在的概率；
(6)对候选框进行阈值过滤处理和非极大值抑制筛选；
(7)将每个候选框区域的特征图输入到感兴趣区域池化层和边框回归网络，得到候选框的坐标修正偏移量，根据候选框的坐标修正偏移量计算候选框的修正位置坐标，得到修正候选框；
(8)将修正候选框对应的原始图像区域输入到分类网络中，判断叶片裂纹分类结果。
根据上述的风力发电机叶片裂纹检测方法，优选地，步骤(1)中构建风力发电机叶片图像深度学习模型训练样本的具体操作为：
将所有采集的风力发电机叶片图像大小调整一致(784×784×3)，采用标注工具框出图像中每片叶片的边界框，并标注每个边界框在图像中的位置坐标 (xi,yi,wi,hi)和每个边界框中叶片裂纹分类结果，然后将标注后叶片图像作为模型训练样本；其中，采集的风力发电机叶片图像样本中包含完好叶片、轻微裂缝叶片和严重裂缝叶片；xi为边界框中心的横坐标，yi为边界框中心的纵坐标，wi为边界框的宽，hi为边界框的高，所述叶片裂纹分类标签包括完好叶片、轻微裂缝叶片、严重裂缝叶片。
根据上述的风力发电机叶片裂纹检测方法，优选地，步骤(2)中检测网络的具体训练过程为：将模型训练样本中的图像调整到784×784后输入检测网络，输出为检测网络在图像中检测到的叶片的边界框位置修正坐标和边界框中有叶片存在的概率；通过修正坐标系数计算出检测网络最终检测出的叶片边框坐标，作为预测结果；人工框出的边界框位置坐标为真实结果，利用预测结果和真实结果构造损失函数，其中预测边界框与真实边界框之间的损失函数采用平方差损失函数，预测概率值使用交叉熵损失函数；通过随机梯度下降法优化网络内部参数，降低损失函数值；不断迭代此过程优化网络，直至损失函数停止下降，检测网络训练过程结束。
根据上述的风力发电机叶片裂纹检测方法，优选地，步骤(2)中分类网络的具体训练过程为：将模型训练样本中每个边界框位置坐标对应的叶片图像从原图像中挑选出来作为分类网络训练样本，然后将分类网络训练样本经过双线性插值调整到224×224×3后输入分类网络进行分类，分类网络的输出为4维的列向量，列向量中的每维元素依次代表叶片图像为完好叶片、轻微裂缝叶片、严重裂缝叶片和背景的概率值，利用真实分类标签与分类网络检测得到的结果标签构造交叉熵损失函数，利用随机梯度下降法优化网络内部参数直至网络收敛。
根据上述的风力发电机叶片裂纹检测方法，优选地，步骤(4)中，所述特征提取网络是基于50层残差网络的改进，特征提取网络去除了原50层残差网络中的conv5模块及之后的所有层；特征提取时卷积核按照从左至右、从上至下的顺序遍历整幅叶片图像，输入的叶片图像经过每一层卷积后的输出特征图维度为：
W2＝(W1-F+2P)/S+1 (I)
H2＝(H1-F+2P)/S+1 (II)
D2＝K (III)
其中，W1,H1为输入卷积层之前特征图的宽度、高度和深度，W2,H2，D2分别为经过卷积后的输出特征图的宽度、高度和深度，K为卷积核的数量，F为该层卷积层的卷积核大小，P为卷积层输入特征图的零填充数量，S为步长。
根据上述的风力发电机叶片裂纹检测方法，优选地，步骤(5)中获取候选框的初始位置坐标的具体操作为：
将卷积特征图输入区域生成网络，根据感受野的关系找到特征图每个位置特征在原始图像的中心坐标，使用不同的长宽和面积比例在每个点选出四个锚框，通过区域生成网络输出每个锚框的位置坐标偏移量，然后将每个锚框的位置坐标和位置坐标偏移量按照公式(IV)～(VII)生成候选框的初始位置坐标 (Gx,Gy,Gw,Gh)；
Gx＝Px×tx+Px (IV)
Gy＝Py×ty+Py (V)
其中，Px为锚框中心位置的横坐标，Py为锚框中心位置的纵坐标，Pw为锚框的宽，Ph为锚框的高，所述锚框中心位置为每个位置特征在原图像的感受野的中心位置；tx为区域生成网络输出的锚框中心位置横坐标的偏移量，ty为区域生成网络输出的锚框中心位置纵坐标的偏移量；tw为区域生成网络输出的锚框宽的偏移量，th为区域生成网络输出的锚框高的偏移量；Gx为候选框中心位置的横坐标，Gy为候选框中心位置的纵坐标，Gw为候选框的宽，Gh为候选框的高。
根据上述的风力发电机叶片裂纹检测方法，优选地，步骤(6)的具体操作为：根据每个候选框区域中存在叶片概率的大小，剔除存在叶片概率低于0.8 的候选框，然后对剩余的候选框进行非极大值抑制筛选，非极大值抑制过程中，当两个候选框的交并比大于0.5时，剔除存在叶片概率低的候选框。
根据上述的风力发电机叶片裂纹检测方法，优选地，步骤(7)中采用感兴趣区域池化层对候选框初始位置坐标区域的特征图进行感兴趣区域池化的具体操作为：沿着候选框初始位置坐标区域的特征图高和宽的方向将特征图均匀的划分为14×14的区域，在每一个划分后的区域内进行最大池化，经过感兴趣区域池化后每一个候选框区域的特征图会生成一个固定14×14大小的池化特征图。
根据上述的风力发电机叶片裂纹检测方法，优选地，步骤(7)中计算候选框的修正位置坐标的具体操作为：
根据候选框初始位置坐标(Gx,Gy,Gw,Gh)和边框回归网络输出的候选框的坐标修正偏移量，按照公式(VIII)～(XI)计算候选框的修正位置坐标 (Rx,Ry,Rw,Rh)：
Rx＝Gx×dx+Gx (VIII)
Ry＝Gy×dy+Gy (IX)
其中，Gx为候选框中心位置的横坐标，Gy为候选框中心位置的纵坐标，Gw为候选框的宽，Gh为候选框的高，dx为边框回归网络输出的候选框中心位置横坐标的偏移量，dy为边框回归网络输出的候选框中心位置纵坐标的偏移量；dw为边框回归网络输出的候选框宽的偏移量，dh为边框回归网络输出的候选框高的偏移量；Rx为修正候选框中心位置的横坐标，Ry为修正候选框中心位置的纵坐标，Rw为修正候选框的宽，Rh为修正候选框的高。
根据上述的风力发电机叶片裂纹检测方法，优选地，步骤(8)的具体操作为：将经步骤(7)得到的修正候选框位置坐标对应的原始图像区域输入到分类网络中进行检测，得到候选框位置坐标对应的原始图像区域中叶片为完好叶片、轻微裂缝叶片、严重裂缝叶片和背景概率值，取四个概率值中最大的概率值对应的叶片分类标签作为叶片裂纹分类的判断结果，如果叶片裂纹分类判断结果为轻微裂缝叶片或严重裂缝叶片，则输出对应叶片的边界框位置坐标和叶片裂纹分类结果。
与现有技术相比，本发明取得的积极有益效果为：
(1)本发明采用深度卷积神经网络对图像进行特征提取，深度神经网络具有可以自动学习出模式特征的优点，采用深度网络模型可以将特征学习融入到模型的建立过程中，减少了人为设计提取特征的不完备性。因而相较于传统的传统机器学习方法，深度神经网络模型具有更好的分类和检测性能。
(2)本发明采用深度卷积神经网络进行目标检测，特征提取和目标分类都可以采用CUDA(Computer Unified Device Architecture，统一计算设备架构) 等加速计算方法，大大减少了目标检测和分类所需时间。
(3)本发明的检测方法先使用检测网络定位叶片位置，再使用分类网络对叶片裂纹***情况进行类别判断，消除了图像背景内容对检测的干扰，大大提高了叶片的检测精度；而且，该检测方法不仅可以检测出叶片裂缝的位置，还能够同时检测出裂纹等级。
附图说明
图1为本发明风力发电机叶片裂纹检测方法的流程图。
图2为检测网络框架结构示意图。
图3为特征提取网络的结构图。
图4为conv_block模块图。
图5为identity_block模块图。
图6为区域生成网络的结构图。
图7为感兴趣区域池化层及边框回归网络的结构图。
图8为分类网络的结构图。
具体实施方式
以下结合具体实施例对本发明作进一步详细说明，但并不限制本发明的范围。
如图1所示，一种基于卷积神经网络的风力发电机叶片裂纹检测方法，包括以下步骤：
(1)采集风力发电机叶片图像样本，构建风力发电机叶片图像深度学习模型训练样本，其具体操作为：人工采集风力发电机叶片图像，所采集样本为三通道彩色图像，同时，所采集的风力发电机叶片图像样本中包含完好叶片、轻微裂缝叶片和严重裂缝叶片，而且样本数量方差不宜过大，所采集样本图像应清晰易辨认；然后将所有采集的风力发电机叶片图像大小调整一致(784×784×3)，采用标注工具框出图像中每片叶片的边界框，并标注每个边界框在图像中的位置坐标(xi,yi,wi,hi)和每个边界框中叶片裂纹分类结果，然后将标注后叶片图像作为模型训练样本；其中，xi为边界框中心的横坐标，yi为边界框中心的纵坐标，wi为边界框的宽，hi为边界框的高，所述叶片裂纹分类标签包括完好叶片、轻微裂缝叶片、严重裂缝叶片。
(2)利用模型训练样本训练深度卷积神经网络模型。所述深度卷积神经网络模型包括检测网络和分类网络，检测网络和分类网络分开训练。
所述检测网络结构是基于faster-rcnn(region convolutional neuralnetwork)的改进，采用残差网络代替原来的VGG网络进行特征提取，同时改进了原网络区域生成网络之后的结构，只预测候选框的位置坐标偏移量。检测网络由特征提取网络、区域生成网络、感兴趣区域池化层及边框回归网络组成(如图2所示)；所述检测网络的输入为784×784的彩色图像，输出为网络检测出叶片的修正候选框位置坐标及候选框中有叶片存在的概率。
所述特征提取网络是基于50层残差网络的改进，特征提取网络去除了50层残差网络中的conv5模块及之后的所有层；特征提取网络的结构如图3所示，首先对图像进行大小为3的零填充，然后使用7×7大小的卷积核对图像进行卷积，再进行大小为3×3，步长为2的最大区域池化，然后分别经1个conv_block模块、2个identity_block模块、1个conv_block模块、3个identity_block模块、1 个conv_block模块、5个identity_block模块后得到49×49×1024的卷积特征图。其中，所述conv_block模块结构如图4所示；所述identity_block模块结构如图 5所示。
所述区域生成网络结构如图6所示，其输入大小为49×49×1024特征提取网络得到的卷积特征图，首先对卷积特征图进行3×3卷积，再分别用两个1×1的卷积层得到候选框的初始位置坐标偏移量和每个候选框中叶片存在的概率。
所述感兴趣区域池化及边框回归网络结构如图7所示，其输入为 49×49×1024特征提取网络得到的卷积特征图和候选框初始位置坐标，经过感兴趣区域池化层(ROIPooling)后每个候选框初始位置坐标区域的特征图被池化到固定的14×14×1024大小，其后连接一个conv_block模块和2个identity_block模块，经过7×7的平均池化层后特征图变为1×1×2048，经过两层全连接层后得到候选框的修正坐标偏移量。
检测网络的具体训练过程为：将模型训练样本中的图像调整到784×784后输入检测网络，输出为检测网络在图像中检测到的叶片的边界框位置修正坐标和边界框中有叶片存在的概率；通过修正坐标系数计算出检测网络最终检测出的叶片边框坐标，作为预测结果；人工框出的边界框位置坐标为真实结果，利用预测结果和真实结果构造损失函数，其中预测边界框与真实边界框之间的损失函数采用平方差损失函数，预测概率值使用交叉熵损失函数；通过随机梯度下降法优化网络内部参数，降低损失函数值；不断迭代此过程优化网络，直至损失函数停止下降，检测网络训练过程结束。
所述分类网络是ZFNet网络和VGG网络的改进，采用了ZFNet中提出的思想，第一层卷积层卷积核尺寸不应过大，其后结构采用VGG网络的思想，每次进行池化后卷积核数量增加一倍，其网络结构如图8所示，网络的输入为 224×224的彩色图像，首先采用卷积核大小为7×7，数量为112，步长为2的卷积层对输入图像进行卷积，然后采用5×5大小卷积核，卷积核数量为56，步长为2进行卷积，其后连续采用3×3卷积层对图像进行卷积，当特征图尺寸减半时卷积核数量加倍，最终得到7×7×512的卷积特征图，后接两层神经元数量分别为100和4的全连接层，输出的4维向量分别为属于完好叶片、轻微裂缝叶片、严重裂缝叶片和背景的概率值。
分类网络的具体训练过程为：将模型训练样本中每个边界框位置坐标对应的叶片图像从原图像中挑选出来作为分类网络训练样本，然后将分类网络训练样本经过双线性插值调整到224×224×3后输入分类网络进行分类，分类网络的输出为4维的列向量，列向量中的每维元素依次代表叶片图像为完好叶片、轻微裂缝叶片、严重裂缝叶片和背景的概率值，利用真实分类标签与分类网络检测得到的结果标签构造交叉熵损失函数，利用随机梯度下降法优化网络内部参数直至网络收敛。
(3)对待检测的风力发电机叶片图像调整到检测网络输入大小；
(4)采用特征提取网络对经步骤(3)处理的图像进行特征提取，得到卷积特征图；特征提取时卷积核按照从左至右、从上至下的顺序遍历整幅叶片图像，输入的叶片图像经过每一层卷积后的输出特征图维度为：
W2＝(W1-F+2P)/S+1 (I)
H2＝(H1-F+2P)/S+1 (II)
D2＝K (III)
其中，W1,H1为输入卷积层之前特征图的宽度、高度和深度，W2,H2，D2分别为经过卷积后的输出特征图的宽度、高度和深度，K为卷积核的数量，F为该层卷积层的卷积核大小，P为卷积层输入特征图的零填充数量，S为步长。
(5)将卷积特征图输入区域生成网络，得到候选框的初始位置坐标以及每个候选框中叶片存在的概率。
其中，获取候选框的初始位置坐标的具体操作为：
将卷积特征图输入区域生成网络，根据感受野的关系找到特征图每个位置特征在原始图像的中心坐标，使用不同的长宽和面积比例在每个点选出四个锚框，通过区域生成网络输出每个锚框的位置坐标偏移量，然后将每个锚框的位置坐标和位置坐标偏移量按照公式(IV)～(VII)生成候选框的初始位置坐标 (Gx,Gy,Gw,Gh)；
Gx＝Px×tx+Px (IV)
Gy＝Py×ty+Py (V)
Px为锚框中心位置的横坐标，Py为锚框中心位置的纵坐标，Pw为锚框的宽， Ph为锚框的高，所述锚框中心位置为每个位置特征在原图像的感受野的中心位置；tx为区域生成网络输出的锚框中心位置横坐标的偏移量，ty为区域生成网络输出的锚框中心位置纵坐标的偏移量；tw为区域生成网络输出的锚框宽的偏移量，th为区域生成网络输出的锚框高的偏移量；Gx为候选框中心位置的横坐标，Gy为候选框中心位置的纵坐标，Gw为候选框的宽，Gh为候选框的高。
(6)对候选框进行阈值过滤处理和非极大值抑制筛选：根据每个候选框区域中存在叶片概率的大小，剔除存在叶片概率低于0.8的候选框，然后对剩余的候选框进行非极大值抑制筛选，非极大值抑制过程中，当两个候选框的交并比大于0.5时，剔除存在叶片概率低的候选框。
(7)将每个候选框区域的特征图输入到感兴趣区域池化层进行感兴趣区域池化，得到池化特征图，将池化特征图输入边框回归网络，得到候选框的坐标修正偏移量，根据候选框的坐标修正偏移量计算候选框的修正位置坐标，得到修正候选框。
其中，采用感兴趣区域池化层对候选框初始位置坐标区域的特征图进行感兴趣区域池化的具体操作为：
沿着候选框初始位置坐标区域的特征图高和宽的方向将特征图均匀的划分为14×14的区域，在每一个划分后的区域内进行最大池化，经过感兴趣区域池化后每一个候选框区域的特征图会生成一个固定14×14大小的池化特征图。
计算候选框的修正位置坐标的具体操作为：
根据候选框初始位置坐标(Gx,Gy,Gw,Gh)和边框回归网络输出的候选框的坐标修正偏移量，按照公式(VIII)～(XI)计算候选框的修正位置坐标 (Rx,Ry,Rw,Rh)：
Rx＝Gx×dx+Gx (VIII)
Ry＝Gy×dy+Gy (IX)
其中，Gx为候选框中心位置的横坐标，Gy为候选框中心位置的纵坐标，Gw为候选框的宽，Gh为候选框的高，dx为边框回归网络输出的候选框中心位置横坐标的偏移量，dy为边框回归网络输出的候选框中心位置纵坐标的偏移量；dw为边框回归网络输出的候选框宽的偏移量，dh为边框回归网络输出的候选框高的偏移量；Rx为修正候选框中心位置的横坐标，Ry为修正候选框中心位置的纵坐标，Rw为修正候选框的宽，Rh为修正候选框的高。
(8)将修正候选框对应的原始图像区域输入到分类网络中，判断叶片裂纹分类结果，其具体操作为：将经步骤(7)得到的修正候选框位置坐标对应的原始图像区域输入到分类网络中进行检测，得到候选框位置坐标对应的原始图像区域中叶片为完好叶片、轻微裂缝叶片、严重裂缝叶片和背景概率值，取四个概率值中最大的概率值对应的叶片分类标签作为叶片裂纹分类的判断结果，如果叶片裂纹分类判断结果为轻微裂缝叶片或严重裂缝叶片，则输出对应叶片的边界框位置坐标和叶片裂纹分类结果。
以上所述仅为本发明的较佳实施例而已，但不仅限于上述实例，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于卷积神经网络的风力发电机叶片裂纹检测方法，其特征在于，包括以下步骤：
(1)采集风力发电机叶片图像样本，构建风力发电机叶片图像深度学习模型训练样本；
(2)利用模型训练样本训练深度卷积神经网络模型；所述深度卷积神经网络模型包括检测网络和分类网络，检测网络和分类网络分开训练，所述检测网络结构是基于faster-rcnn的改进，检测网络由特征提取网络、区域生成网络、感兴趣区域池化层及边框回归网络组成；
(3)对待检测的风力发电机叶片图像进行预处理；
(4)采用特征提取网络对经步骤(3)处理的图像进行特征提取，得到卷积特征图；
(5)将卷积特征图输入区域生成网络，得到候选框的初始位置坐标以及每个候选框中叶片存在的概率；
(6)对候选框进行阈值过滤处理和非极大值抑制筛选；
(7)将每个候选框区域的特征图输入到感兴趣区域池化层和边框回归网络，得到候选框的坐标修正偏移量，根据候选框的坐标修正偏移量计算候选框的修正位置坐标，得到修正候选框；
(8)将修正候选框对应的原始图像区域输入到分类网络中，判断叶片裂纹分类结果。
2.根据权利要求1所述的风力发电机叶片裂纹检测方法，其特征在于，步骤(1)中构建风力发电机叶片图像深度学习模型训练样本的具体操作为：
将所有采集的风力发电机叶片图像大小调整一致，采用标注工具框出图像中每片叶片的边界框，并标注每个边界框在图像中的位置坐标(xi,yi,wi,hi)和每个边界框中叶片裂纹分类结果，然后将标注后叶片图像作为模型训练样本；其中，采集的风力发电机叶片图像中包含完好叶片、轻微裂缝叶片和严重裂缝叶片；xi为边界框中心的横坐标，yi为边界框中心的纵坐标，wi为边界框的宽，hi为边界框的高，所述叶片裂纹分类标签包括完好叶片、轻微裂缝叶片、严重裂缝叶片。
3.根据权利要求2所述的风力发电机叶片裂纹检测方法，其特征在于，步骤(2)中检测网络的具体训练过程为：将模型训练样本中的图像调整后输入检测网络，输出为检测网络在图像中检测到的叶片的边界框位置修正坐标和边界框中有叶片存在的概率；通过修正坐标系数计算出检测网络最终检测出的叶片边框坐标，作为预测结果；人工框出的边界框位置坐标为真实结果，利用预测结果和真实结果构造损失函数，其中预测边界框与真实边界框之间的损失函数采用平方差损失函数，预测概率值使用交叉熵损失函数；通过随机梯度下降法优化网络内部参数，降低损失函数值；不断迭代此过程优化网络，直至损失函数停止下降，检测网络训练过程结束。
4.根据权利要求3所述的风力发电机叶片裂纹检测方法，其特征在于，步骤(2)中分类网络的具体训练过程为：将模型训练样本中每个边界框位置坐标对应的叶片图像从原图像中挑选出来作为分类网络训练样本，然后将分类网络训练样本经过双线性插值调整后输入分类网络进行分类，分类网络的输出为4维的列向量，列向量中的每维元素依次代表叶片图像为完好叶片、轻微裂缝叶片、严重裂缝叶片和背景的概率值，利用真实分类标签与分类网络检测得到的结果标签构造交叉熵损失函数，利用随机梯度下降法优化网络内部参数直至网络收敛。
5.根据权利要求4所述的风力发电机叶片裂纹检测方法，其特征在于，步骤(4)中，所述特征提取网络是基于50层残差网络的改进，特征提取网络去除了50层残差网络中的conv5模块及之后的所有层；特征提取时卷积核按照从左至右、从上至下的顺序遍历整幅叶片图像，输入的叶片图像经过每一层卷积后的输出特征图维度为：
W2＝(W1-F+2P)/S+1(I)
H2＝(H1-F+2P)/S+1(II)
D2＝K(III)
其中，W1,H1为输入卷积层之前特征图的宽度、高度和深度，W2,H2，D2分别为经过卷积后的输出特征图的宽度、高度和深度，K为卷积核的数量，F为该层卷积层的卷积核大小，P为卷积层输入特征图的零填充数量，S为步长。
6.根据权利要求5所述的风力发电机叶片裂纹检测方法，其特征在于，步骤(5)中获取候选框的初始位置坐标的具体操作为：
将卷积特征图输入区域生成网络，根据感受野的关系找到特征图每个位置特征在原始图像的中心坐标，使用不同的长宽和面积比例在每个点选出四个锚框，通过区域生成网络输出每个锚框的位置坐标偏移量，然后将每个锚框的位置坐标和位置坐标偏移量按照公式(IV)～(VII)生成候选框的初始位置坐标(Gx,Gy,Gw,Gh)；
Gx＝Px×tx+Px(IV)
Gy＝Py×ty+Py(V)
其中，Px为锚框中心位置的横坐标，Py为锚框中心位置的纵坐标，Pw为锚框的宽，Ph为锚框的高，所述锚框中心位置为每个位置特征在原图像的感受野的中心位置；tx为区域生成网络输出的锚框中心位置横坐标的偏移量，ty为区域生成网络输出的锚框中心位置纵坐标的偏移量；tw为区域生成网络输出的锚框宽的偏移量，th为区域生成网络输出的锚框高的偏移量；Gx为候选框中心位置的横坐标，Gy为候选框中心位置的纵坐标，Gw为候选框的宽，Gh为候选框的高。
7.根据权利要求6所述的风力发电机叶片裂纹检测方法，其特征在于，步骤(6)的具体操作为：根据每个候选框区域中存在叶片概率的大小，剔除存在叶片概率低于0.8的候选框，然后对剩余的候选框进行非极大值抑制筛选，非极大值抑制过程中，当两个候选框的交并比大于0.5时，剔除存在叶片概率低的候选框。
8.根据权利要求7所述的风力发电机叶片裂纹检测方法，其特征在于，步骤(7)中采用感兴趣区域池化层对候选框初始位置坐标区域的特征图进行感兴趣区域池化的具体操作为：沿着候选框初始位置坐标区域的特征图高和宽的方向将特征图均匀的划分为14×14的区域，在每一个划分后的区域内进行最大池化，经过感兴趣区域池化后每一个候选框区域的特征图生成一个固定14×14大小的池化特征图。
9.根据权利要求8所述的风力发电机叶片裂纹检测方法，其特征在于，步骤(7)中计算候选框的修正位置坐标的具体操作为：
根据候选框初始位置坐标(Gx,Gy,Gw,Gh)和边框回归网络输出的候选框的坐标修正偏移量，按照公式(VIII)～(XI)计算候选框的修正位置坐标(Rx,Ry,Rw,Rh)：
Rx＝Gx×dx+Gx(VIII)
Ry＝Gy×dy+Gy(IX)
其中，Gx为候选框中心位置的横坐标，Gy为候选框中心位置的纵坐标，Gw为候选框的宽，Gh为候选框的高，dx为边框回归网络输出的候选框中心位置横坐标的偏移量，dy为边框回归网络输出的候选框中心位置纵坐标的偏移量；dw为边框回归网络输出的候选框宽的偏移量，dh为边框回归网络输出的候选框高的偏移量；Rx为修正候选框中心位置的横坐标，Ry为修正候选框中心位置的纵坐标，Rw为修正候选框的宽，Rh为修正候选框的高。
10.根据权利要求9所述的风力发电机叶片裂纹检测方法，其特征在于，步骤(8)的具体操作为：将经步骤(7)得到的修正候选框位置坐标对应的原始图像区域输入到分类网络中进行检测，得到候选框位置坐标对应的原始图像区域中叶片为完好叶片、轻微裂缝叶片、严重裂缝叶片和背景概率值，取四个概率值中最大的概率值对应的叶片分类标签作为叶片裂纹分类的判断结果，如果叶片裂纹分类判断结果为轻微裂缝叶片或严重裂缝叶片，则输出对应叶片的边界框位置坐标和叶片裂纹分类结果。
CN201910409539.5A 2019-05-16 2019-05-16 一种基于卷积神经网络的风力发电机叶片裂纹检测方法 Pending CN110111328A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910409539.5A CN110111328A (zh) 2019-05-16 2019-05-16 一种基于卷积神经网络的风力发电机叶片裂纹检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910409539.5A CN110111328A (zh) 2019-05-16 2019-05-16 一种基于卷积神经网络的风力发电机叶片裂纹检测方法

Publications (1)

Publication Number Publication Date
CN110111328A true CN110111328A (zh) 2019-08-09

Family

ID=67490573

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910409539.5A Pending CN110111328A (zh) 2019-05-16 2019-05-16 一种基于卷积神经网络的风力发电机叶片裂纹检测方法

Country Status (1)

Country Link
CN (1) CN110111328A (zh)

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110472628A (zh) * 2019-08-10 2019-11-19 四创科技有限公司 一种基于视频特征的改进Faster R-CNN网络检测漂浮物方法
CN110503641A (zh) * 2019-08-22 2019-11-26 联峰钢铁（张家港）有限公司 一种改善连铸坯表面裂纹的方法和装置
CN110658202A (zh) * 2019-09-30 2020-01-07 贵州航天云网科技有限公司 一种基于深度学习的工业元器件外观缺陷检测方法
CN110930087A (zh) * 2019-09-29 2020-03-27 杭州惠合信息科技有限公司 库存盘点方法及装置
CN110988140A (zh) * 2019-11-25 2020-04-10 西南交通大学 一种正交异性钢桥面板疲劳裂纹智能识别方法
CN111008656A (zh) * 2019-11-29 2020-04-14 中国电子科技集团公司第二十研究所 一种基于预测框误差多阶段回环处理的目标检测方法
CN111102920A (zh) * 2019-12-18 2020-05-05 佛山科学技术学院 一种基于增强现实的机械组件质检方法及***
CN111461145A (zh) * 2020-03-31 2020-07-28 中国科学院计算技术研究所 一种基于卷积神经网络进行目标检测的方法
CN111612059A (zh) * 2020-05-19 2020-09-01 上海大学 一种基于pointpillars的多平面编码点云特征深度学习模型的构建方法
CN111881907A (zh) * 2020-06-22 2020-11-03 浙江大华技术股份有限公司 一种边框回归的定位方法、装置和电子设备
CN111898560A (zh) * 2020-08-03 2020-11-06 华南理工大学 一种目标检测中的分类回归特征解耦方法
CN112116557A (zh) * 2020-08-12 2020-12-22 西安交通大学 一种射线图像焊缝区域缺陷探测方法、存储介质及设备
CN112365399A (zh) * 2020-10-09 2021-02-12 北京星闪世图科技有限公司 基于深度学习的风机叶片图像全景拼接方法和***
CN112446376A (zh) * 2019-09-05 2021-03-05 中国科学院沈阳自动化研究所 一种工业图像智能分割压缩方法
CN112465776A (zh) * 2020-11-26 2021-03-09 常州信息职业技术学院 一种基于风力机表面模糊图像的裂纹智能检测方法
CN112561288A (zh) * 2020-12-07 2021-03-26 东北大学 一种采用图像模型的风力发电机运行状态智能辩识方法
CN112581443A (zh) * 2020-12-14 2021-03-30 北京华能新锐控制技术有限公司 一种风力发电机叶片表面损伤轻量化识别方法
CN112699813A (zh) * 2020-12-31 2021-04-23 哈尔滨市科佳通用机电股份有限公司 一种基于改进mtcnn网络模型的多国车牌定位方法
WO2021137760A1 (en) * 2019-12-31 2021-07-08 Envision Digital International Pte. Ltd. Method and apparatus for inspecting wind turbine blade, and device and storage medium thereof
CN113406107A (zh) * 2021-07-13 2021-09-17 湖南工程学院 风机叶片缺陷检测***
CN113569507A (zh) * 2021-09-27 2021-10-29 中国人民解放军海军工程大学 一种基于机器学习的定子线棒绝缘老化状态复合预测方法
CN113607546A (zh) * 2021-08-10 2021-11-05 西北工业大学 一种裂纹测量方法
CN113792584A (zh) * 2021-08-03 2021-12-14 云南大学 一种安全护具佩戴检测方法及***
WO2022157303A1 (de) 2021-01-21 2022-07-28 Eolotec Gmbh Verfahren und vorrichtung zur detektion und überwachung einer strukturveränderung bei strukturbauteilen von windkraftanlagen
CN117705816A (zh) * 2024-02-06 2024-03-15 西南交通大学 基于无人机的钢轨表面缺陷检测方法、***、设备及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107144569A (zh) * 2017-04-27 2017-09-08 西安交通大学 基于选择性搜索分割的风机叶片表面缺陷诊断方法
CN108416294A (zh) * 2018-03-08 2018-08-17 南京天数信息科技有限公司 一种基于深度学习的风机叶片故障智能识别方法
CN108510001A (zh) * 2018-04-04 2018-09-07 北京交通大学 一种风力发电机叶片缺陷分类方法及其分类***

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107144569A (zh) * 2017-04-27 2017-09-08 西安交通大学 基于选择性搜索分割的风机叶片表面缺陷诊断方法
CN108416294A (zh) * 2018-03-08 2018-08-17 南京天数信息科技有限公司 一种基于深度学习的风机叶片故障智能识别方法
CN108510001A (zh) * 2018-04-04 2018-09-07 北京交通大学 一种风力发电机叶片缺陷分类方法及其分类***

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
AI&ROBOTICS PHD STUDENT: "深度学习之目标检测网络学习总结（from RCNN to YOLO V3）（上）", 《知乎：HTTPS://ZHUANLAN.ZHIHU.COM/P/35724768》 *
AI&ROBOTICS PHD STUDENT: "深度学习之目标检测网络学习总结（from RCNN to YOLO V3）（下）", 《知乎：HTTPS://ZHUANLAN.ZHIHU.COM/P/35731743》 *
ASM SHIHAVUDDIN 等: "Wind Turbine Surface Damage Detection by Deep Learning Aided Drone Inspection Analysis", 《ENERGIES 2019》 *
张建斐: "基于机器视觉的风力发电机叶片表面缺陷检测研究", 《中国优秀硕士学位论文全文数据库工程科技Ⅱ辑》 *

Cited By (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110472628A (zh) * 2019-08-10 2019-11-19 四创科技有限公司 一种基于视频特征的改进Faster R-CNN网络检测漂浮物方法
CN110503641A (zh) * 2019-08-22 2019-11-26 联峰钢铁（张家港）有限公司 一种改善连铸坯表面裂纹的方法和装置
CN112446376B (zh) * 2019-09-05 2023-08-01 中国科学院沈阳自动化研究所 一种工业图像智能分割压缩方法
CN112446376A (zh) * 2019-09-05 2021-03-05 中国科学院沈阳自动化研究所 一种工业图像智能分割压缩方法
CN110930087A (zh) * 2019-09-29 2020-03-27 杭州惠合信息科技有限公司 库存盘点方法及装置
CN110658202A (zh) * 2019-09-30 2020-01-07 贵州航天云网科技有限公司 一种基于深度学习的工业元器件外观缺陷检测方法
CN110988140A (zh) * 2019-11-25 2020-04-10 西南交通大学 一种正交异性钢桥面板疲劳裂纹智能识别方法
CN111008656A (zh) * 2019-11-29 2020-04-14 中国电子科技集团公司第二十研究所 一种基于预测框误差多阶段回环处理的目标检测方法
CN111102920A (zh) * 2019-12-18 2020-05-05 佛山科学技术学院 一种基于增强现实的机械组件质检方法及***
US11905926B2 (en) 2019-12-31 2024-02-20 Envision Digital International Pte. Ltd. Method and apparatus for inspecting wind turbine blade, and device and storage medium thereof
KR102509577B1 (ko) 2019-12-31 2023-03-14 엔비전 디지털 인터내셔널 피티이 리미티드 풍력 터빈 블레이드를 검사하는 방법 및 기기, 및 그 장치 및 저장 매체
WO2021137760A1 (en) * 2019-12-31 2021-07-08 Envision Digital International Pte. Ltd. Method and apparatus for inspecting wind turbine blade, and device and storage medium thereof
KR20220116051A (ko) * 2019-12-31 2022-08-19 엔비전 디지털 인터내셔널 피티이 리미티드 풍력 터빈 블레이드를 검사하는 방법 및 기기, 및 그 장치 및 저장 매체
CN111461145A (zh) * 2020-03-31 2020-07-28 中国科学院计算技术研究所 一种基于卷积神经网络进行目标检测的方法
CN111461145B (zh) * 2020-03-31 2023-04-18 中国科学院计算技术研究所 一种基于卷积神经网络进行目标检测的方法
CN111612059B (zh) * 2020-05-19 2022-10-21 上海大学 一种基于pointpillars的多平面编码点云特征深度学习模型的构建方法
CN111612059A (zh) * 2020-05-19 2020-09-01 上海大学 一种基于pointpillars的多平面编码点云特征深度学习模型的构建方法
CN111881907B (zh) * 2020-06-22 2021-07-27 浙江大华技术股份有限公司 一种边框回归的定位方法、装置和电子设备
CN111881907A (zh) * 2020-06-22 2020-11-03 浙江大华技术股份有限公司 一种边框回归的定位方法、装置和电子设备
CN111898560B (zh) * 2020-08-03 2023-08-01 华南理工大学 一种目标检测中的分类回归特征解耦方法
CN111898560A (zh) * 2020-08-03 2020-11-06 华南理工大学 一种目标检测中的分类回归特征解耦方法
CN112116557A (zh) * 2020-08-12 2020-12-22 西安交通大学 一种射线图像焊缝区域缺陷探测方法、存储介质及设备
CN112116557B (zh) * 2020-08-12 2022-02-22 西安交通大学 一种射线图像焊缝区域缺陷探测方法、存储介质及设备
CN112365399A (zh) * 2020-10-09 2021-02-12 北京星闪世图科技有限公司 基于深度学习的风机叶片图像全景拼接方法和***
CN112365399B (zh) * 2020-10-09 2024-05-03 江苏星闪世图科技(集团)有限公司 基于深度学习的风机叶片图像全景拼接方法和***
CN112465776A (zh) * 2020-11-26 2021-03-09 常州信息职业技术学院 一种基于风力机表面模糊图像的裂纹智能检测方法
CN112465776B (zh) * 2020-11-26 2023-10-31 常州信息职业技术学院 一种基于风力机表面模糊图像的裂纹智能检测方法
CN112561288A (zh) * 2020-12-07 2021-03-26 东北大学 一种采用图像模型的风力发电机运行状态智能辩识方法
CN112581443A (zh) * 2020-12-14 2021-03-30 北京华能新锐控制技术有限公司 一种风力发电机叶片表面损伤轻量化识别方法
CN112699813A (zh) * 2020-12-31 2021-04-23 哈尔滨市科佳通用机电股份有限公司 一种基于改进mtcnn网络模型的多国车牌定位方法
WO2022157303A1 (de) 2021-01-21 2022-07-28 Eolotec Gmbh Verfahren und vorrichtung zur detektion und überwachung einer strukturveränderung bei strukturbauteilen von windkraftanlagen
CN113406107A (zh) * 2021-07-13 2021-09-17 湖南工程学院 风机叶片缺陷检测***
CN113792584A (zh) * 2021-08-03 2021-12-14 云南大学 一种安全护具佩戴检测方法及***
CN113792584B (zh) * 2021-08-03 2023-10-27 云南大学 一种安全护具佩戴检测方法及***
CN113607546A (zh) * 2021-08-10 2021-11-05 西北工业大学 一种裂纹测量方法
CN113569507A (zh) * 2021-09-27 2021-10-29 中国人民解放军海军工程大学 一种基于机器学习的定子线棒绝缘老化状态复合预测方法
CN117705816A (zh) * 2024-02-06 2024-03-15 西南交通大学 基于无人机的钢轨表面缺陷检测方法、***、设备及介质
CN117705816B (zh) * 2024-02-06 2024-04-26 西南交通大学 基于无人机的钢轨表面缺陷检测方法、***、设备及介质

Similar Documents

Publication Publication Date Title
CN110111328A (zh) 一种基于卷积神经网络的风力发电机叶片裂纹检测方法
CN109711474B (zh) 一种基于深度学习的铝材表面缺陷检测算法
CN111339882B (zh) 基于实例分割的输电线路隐患检测方法
CN105118044B (zh) 一种轮形铸造产品缺陷自动检测方法
CN109376792A (zh) 基于多通道残差神经网络的光伏电池外观缺陷分类方法
CN105741291B (zh) 一种高速铁路接触网悬挂装置等电位线故障检测方法
CN109118479A (zh) 基于胶囊网络的绝缘子缺陷识别定位装置及方法
CN107274393B (zh) 基于栅线检测的单晶硅太阳能电池片表面缺陷检测方法
CN104268505A (zh) 基于机器视觉的布匹疵点自动检测识别装置及方法
CN110517224A (zh) 一种基于深度神经网络的光伏板缺陷检测方法
CN108009591A (zh) 一种基于深度学习的接触网关键部件识别方法
CN109919934A (zh) 一种基于多源域深度迁移学习的液晶面板缺陷检测方法
CN107727662A (zh) 一种基于区域生长算法的电池片el黑斑缺陷检测方法
CN109544522A (zh) 一种钢板表面缺陷检测方法及***
CN107103600A (zh) 一种基于机器学习的绝缘子缺陷自动检测方法
CN103984952B (zh) 基于机器视觉图像对电力***风力发电机叶片表面裂纹故障进行诊断的方法
CN109087305A (zh) 一种基于深度卷积神经网络的裂缝图像分割方法
CN109376606A (zh) 一种电力巡检图像杆塔基础故障检测方法
CN106157323A (zh) 一种动态分块阈值和块搜索结合的绝缘子分割提取方法
CN109215009A (zh) 基于深度卷积神经网络的连铸坯表面图像缺陷检测方法
CN110490842A (zh) 一种基于深度学习的带钢表面缺陷检测方法
CN107977686A (zh) 一种工业x光图像的分类方法
CN109949209A (zh) 一种基于深度学习的绳索检测与去除方法
CN111553898A (zh) 一种基于卷积神经网络的面料疵点检测方法
CN116385758A (zh) 基于YOLOv5网络对传送带表面损伤的检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190809

RJ01 Rejection of invention patent application after publication