CN115719337A - 一种风力涡轮机表面缺陷检测方法 - Google Patents

Abstract

本发明公开了一种风力涡轮机表面缺陷检测方法，包括以下步骤：S1，收集风力涡轮机表面损坏检测数据图像，进行图片标注；将标注后的图片进行增强处理后，分为训练集、验证集和测试集；S2，通过改变卷积方式、融入轻量化网络Bottleneck结构，加入加权双向特征金字塔网络，添加高效通道注意力机制方法构建改进的YOLOv5s模型；S3，采用αIoU损失函数进行bbox回归；S4，将步骤S1得到的数据集输入改进后的YOLOv5s模型中进行训练、测试，获得满足条件的参数模型，输出表面缺损效果图。本发明能实现智能化检测风力涡轮机的出现的各种类型的缺陷，防止缺损面积增大。

Description

一种风力涡轮机表面缺陷检测方法

技术领域

本发明涉及表面缺陷检测方法，尤其涉及一种风力涡轮机表面缺陷检测方法。

背景技术

随着风力涡轮机使用年限的增加，其表面经过风吹日晒，叶片以及塔身逐渐出现破损以及脏污附着的情况。但是风力涡轮机一般高达近百米，叶片也长达五十米，导致风力涡轮机的检修工作较难实施。如何在风力涡轮机缺陷出现初期，检测出缺陷类型和位置信息，显得尤其重要。

诸多学者针对这一问题做了研究，茅宇琳采用基于ResNet-101的级联R-CNN特征提取网络作为检测模型，在检测风机表面缺陷时引入迁移学习思想使模型能更快收敛。但引入ResNet网络后，训练后期不够稳定，容易造成图形失真。向宽等人通过在Faster-RCNN主干网络加入FPN(Feature Pyramid Network，特征金字塔网络)结构，引入ROI Align(感兴趣区域校准)算法来代替粗略的ROI Pooling(感兴趣区域池化)算法，得出更适应缺陷目标的锚框，但Faster-RCNN网络检测时间通常较长，不适用于实时目标检测。Qiu等人结合YOLO与CNN模型，将逆卷积神经网络应用于特征金字塔的高级特征，利用CNN的中间层丰富小目标的特征表达，将提取的多尺度卷积特征在分类模型中训练。综上算法难以对目标特征进行有效的提取，网络模型对多尺度目标特征融合能力尚有不足，目标检测的精度有待提高。

发明内容

发明目的：本发明的目的是提供一种能够准确获取风力涡轮机表面初期缺损图像，避免缺损面积增加，提高风力发电的效率的风力涡轮机表面缺陷检测方法。

技术方案：本发明的风力涡轮机表面缺陷检测方法，包括以下步骤：

S1，收集风力涡轮机表面损坏检测数据图像，进行图片标注；将标注后的图片进行增强处理后，分为训练集、验证集和测试集；

S2，通过改变卷积方式、融入轻量化网络Bottleneck结构，加入加权双向特征金字塔网络，添加高效通道注意力机制方法构建改进的YOLOv5s模型；

S3，采用αIoU损失函数进行bbox回归；

S4，将步骤S1得到的数据集输入改进后的YOLOv5s模型中进行训练、测试，获得满足条件的参数模型，输出表面缺损效果图。

进一步，步骤S1的详细实现步骤如下：

S11，采用Labelimg图像标注工具，对表面具有缺损的风力涡轮机图片进行目标标注，将缺陷分为crack、dirt、void、erosion、rust、thunderstrike共六类检测标签；生成与各类缺陷一一对应的xml标签；

S12，通过增加图像模糊、HSV增强、旋转、缩放、平移、剪切、透视、翻转对标注后的图片进行增强处理，将增强处理后的图片按8:1:1分为：训练集、验证集和测试集。

进一步，步骤S2中，构建改进的YOLOv5模型包括Input输入端、Backbone主干网络、Neck颈部网络和Head输出端，详细实现步骤如下：

S21，设定模型的深度和宽度；在Backbone主干网络中，采用轻量化网络架构MobileNetv3中的Bottleneck层结构：第一层卷积块为CBH函数，第二层至第六层卷积块均为Bottleneck网络；

S22，在Bottleneck网络引入SE注意力机制；在Neck颈部网络中，BiFPN中每一卷积层都添加ECA通道注意力机制；

S23，采用BiFPN加权双向特征金字塔网络，对从Bottleneck层提取出的不同尺度特征图的通道数压缩后，对多尺度特征进行融合。

进一步，Bottleneck网络主干部分的第一层Bottleneck通过DW卷积提取特征，引入h-swish激活函数与SENet注意力机制结合，再使用1×1卷积层实现降维；

第二层至第五层Bottleneck先使用1×1卷积实现升维，再通过DW卷积提取特征，再引入SE注意力机制并与h-swish激活函数结合，最后使用1×1卷积层实现降维。

进一步，步骤S3中，CIoU Loss作为损失函数，表达式如下：

其中P为B和B^gt之间的欧式距离，c为B和B^gt之间最小外接长方形对角线的长度，v为B和B^gt之间长宽比的相似性；w^gt、h^gt表示真实检测框的宽和高，w和h表示预测检测框的宽和高；β是一种权重系数α为power IoU Loss；A代表真实框，B代表预测框。

进一步，步骤S4中，将数据集输入改进后的YOLOv5s模型中进行训练、测试，获得满足条件的参数模型的具体实现步骤如下：

S41，将数据集的80％作为训练集和10％作为验证集输入到改进的YOLOv5s模型中，同时设定训练参数Batch-size、Learning-rate、Epochs，使用YOLOv5权重文件进行训练，获得最佳参数模型；

S42，将数据集的10％作为测试集输入到步骤S41得到的参数模型中进行测试，输出预测效果图；

S43，将步骤S42中的测试效果图与标签图进行比较，得到改进的YOLOv5s比较输出结果。

本发明与现有技术相比，其显著效果如下：

1、本发明通过在现有YOLOv5s模型的基础上融入轻量化网络结构替代了原有的骨干网络，添加高效通道注意力机制、添加多尺度特征融合、改进原有损失函数的方法，能够准确地捕捉数据集中缺陷目标的特征信息，有效提高了YOLOv5s模型识别的准确率和召回率；与目前主流的检测模型YOLOv4和YOLOv5s相比,其精确率分别提高了5.19％和5.44％,检测时间分别降低了37.23FPS和12.27FPS；

2、本发明在主干特征提取网络引入改进的MobileNetv3网络，用于协调并平衡模型的轻量化和精确度关系；其次采用BiFPN式的融合方式，增强神经网络的多尺度适应能力，提高融合速度和效率；最后为轻量化的自适应调节特征权重，运用ECAnet通道注意力机制，进一步提高神经网络的特征提取能力；在损失函数方面，将边框回归的损失函数修改为αIoU Loss，进一步提升了bbox回归精度；有效防止缺损面积增大，减少了经济损失，具有一定的研究价值和应用前景。

附图说明

图1为发明的总流程图；

图2为本发明改进后的YOLOv5s_MEB网络结构图；

图3(a)第一层Bottleneck层网络结构图；

图3(b)其余Bottleneck层网络结构图；

图4为本发明改进后的YOLOv5s_MEB训练数据集预处理效果图；

图5(a)训练集中box_loss曲线图；

图5(b)训练集中obj_loss曲线图；

图5(c)训练集中cls_loss曲线图；

图5(d)准确度曲线图；

图5(e)召回率曲线图；

图5(f)验证集中box_loss曲线图；

图5(g)验证集中obj_loss曲线图；

图5(h)验证集中cls_loss曲线图；

图5(i)mAP_0.5曲线图；

图5(j)mAP_0.95曲线图。

具体实施方式

下面结合说明书附图和具体实施方式对本发明做进一步详细描述。

本发明首先针对实际检测过程中遇到的各种复杂检测场景，对实验数据集做了模糊化、添加高斯噪声等处理以适应实际检测中复杂检测场景，其次在网络结构方面，骨干特征提取网络中改进了MobileNetv3轻量级网络模型，降低了模型体积；然后在骨干网络和颈部网路之间引入ECAnet通道注意力机制，增强了风机表面区域的显著度；紧接着通过BiFPN替换FPN+PANet结构，使得模型在应对多种类型目标特征能得到更有效的表达；在损失函数方面，引入αIoU Loss，这一做法能够进一步提升bbox的回归精度，提升小尺寸目标的召回率。改进后的YOLOv5s_MEB模型检测缺陷目标时精确度、召回率、mAP、帧数等性能指标下相较于其它模型都有不同幅度的提升，能完成复杂环境中的风机表面缺陷检测工作，在工业部署中有一定的应用价值。

图1为总流程图，本发明包括以下步骤：

步骤1，收集风力涡轮机表面缺陷的数据集，进行图片标注；对图像进行预处理，进行图像数据增广等操作；

步骤2，改变YOLOv5s的卷积方式，添加轻量化网络模型，融入高效注意力机制，加入加权双向特征金字塔网络；

步骤3，改进原有的IoU损失函数；

步骤4，将步骤1得到的数据集输入改进型YOLOv5s模型进行训练、测试，获得最佳参数模型，输出预测分割图。

详细的实现过程如下：

步骤1，参照PASCAL VOC目标检测数据集标准格式，采用Labelimg图像标注工具，将获取到的2996张表面具有缺损的风力涡轮机图片进行目标标注，分为crack(掉漆等原因出现的较大面积缺陷)，dirt(因为风沙等原因出现的脏污)；void(因为自然腐蚀出现的孔洞、缝隙)；erosion(各组件粘接处出现的偏窄长型缺陷)；rust(缺陷长时间未得到处理生出铁锈)；thunderstrike(雷暴等恶劣天气对风机形成损害造成的缺陷)共六类检测标签。在标注过程中，尽可能的选取完整的缺损区域，防丢失图像特征。标签文件中包含了标签类别、预测框坐标等信息。生成与各类缺陷一一对应的xml标签，尺寸大小为608×608。

对数据进行HSV增强、旋转、缩放、平移、剪切、透视、翻转等操作后，针对复杂环境下风机表面缺陷检测增加了图像模糊算法，模拟恶劣天气下所摄图片；增加了亮度对比度变换，模拟昏暗光线下所摄图片；并在部分图像数据集中添加高斯噪声，完成对数据集的增广。在训练过程中，提高检测模型的鲁棒性、对小目标和目标堆叠时的检测成功率。将数据集分为三部分：训练集占80％，验证集占10％，测试集占10％。

步骤2，如图2所示，YOLOv5s的网络结构图的编码部分Backbone主干网络中，主要由轻量化网络架构MobileNetv3中Bottleneck函数替代了原有的CSPdarknet层。MobileNetv3的Bottleneck层被用于每个特征层的特征提取，对Bottleneck层进行改进，输入端图片经过CBH层降维，CBH函数由Conv层、BN归一化、h-swish函数组成，第一层Bottleneck通过DW卷积提取特征，引入h-swish激活函数与SENet(Squeeze-and-Excitation)注意力机制结合，以提升对小目标关键特征的提取能力。再使用1×1卷积层实现降维。去除了原始Bottleneck层中的冗余结构，通过改变卷积层和卷积方式，在减少网络参数的前提下提升了网路运算速度，使网络关注更加有用的通道信息来调整每个通道的权重。其余的Bottleneck层，先使用1×1卷积实现升维，再通过DW卷积提取特征，再引入SE注意力机制并与h-swish激活函数结合，提升局部通道信息的捕获能力，抑制一些对当前任务无用的特征信息，最后使用1×1卷积层实现降维，最大程度上减少模型的参数以及计算量，对检测精确度影响较小。

如图3(a)、3(b)所示为改进后的MobileNetv3，YOLOv5s_MEB在Bottleneck深度卷积过程中已经引入SENet注意力机制前提下，还在主干网络与颈部网络间引入了ECAnet(Efficient Channel Attention Module)高效的相关性通道注意力模块，增强了神经网络的表达能力。SENet是现阶段常用的通道注意力机制，采用全局池化的方式，降低参数量，防止该层出现过拟合现象。ECAnet在计算量减少时，对关键信息表征能力的提升效果优于SENet。骨干网络与颈部网络信息的传播在卷积神经网络中至关重要，ECAnet承接Bottleneck层输出的特征图，并在颈部网络C3模块上采样过程中引入ECAnet，共计7个ECAnet引入点。ECAnet在网络层之间捕获局部通道信息，获得每个特征通道中的重要程度，并且抑制对当前获取信息过程中无用的特征信息。首先对输入特征图进行GAP(globalaverage pooling，全局平均池化)操作，将W×H×C(W、H分别为特征图的宽和高,C则是特征图的通道数)特征向量转化为1×1×C向量。根据特征图的通道数计算得到尺寸为k的一维卷积来进行跨通道交互，得到特征图每个通道的权重，最后归一化处理再逐通道相乘，得到具有通道注意力的特征图。ECAnet在不降低通道维数，以轻量级的方式来进行跨通道信息交互，减少了模型的计算成本，带来了明显的性能增益。

因为YOLOv5s_MEB中颈部网络由BiFPN加权双向特征金字塔网络取代了FPN+PANet网络。BiFPN删除了只有一条输入边没有特征融合的节点，从而简化双向特征网络，BiFPN在处于同一层的原始输入节点和输出节点之间添加一条额外的边，即横向连接，在不增加成本的情况下融入更多特征。BiFPN会重复处理每个双向路径路径作为一个特征网络层，以实现更高层次的特征融合。从骨干网络的Bottleneck层提取出特征3种不同尺度的特征，在第四层、第五层Bottleneck层网络输出之前使用带权重的通道融合，将其通道数压缩统一后送入BiFPN网络，C3层通过上采样承接Bottleneck层并引入ECAnet注意力通道，经过上采样结构与CBL层结合，经过多组Concat后的卷积计算，增强骨干网络的特征提取能力，最后将不同尺度的Bottleneck层送入检测，分别检测出大、中、小目标。

步骤3，IoU(交并比)Loss就是用来度量目标检测中预测框与真实框的重叠程度，A代表真实框，B代表预测框。如公式(1)所示。YOLOv5s模型采用CIoU Loss作为损失函数，如公式(2)所示:

其中，P为B和B^gt之间的欧式距离，c为B和B^gt之间最小外接长方形对角线的长度，v为B和B^gt之间长宽比的相似性，w^gt、h^gt表示真实检测框的宽和高，w和h表示预测检测框的宽和高；β是一种权重系数；α为power IoU Loss。

CIoU Loss加入惩罚项来减轻梯度消失的问题，在惩罚条件下进一步考虑了预测框和真实框之间的中心点距离和长宽比。

YOLOv5s_MEB模型基于现有的CIoU Loss提出αIoU Loss，引入power变换，将powerIoU Loss记为α，αIoU Loss用于精确的bbox(bounding box)检测框回归和目标检测，是基于IoU的现有损失的统一幂化；诸多学者通过大量的实验和模型演算对αIoU次序保留、损失、梯度重加权等一系列性质的分析，表明α大于1时可以通过自适应地提高IoU对象的损失和梯度的加权来提高bbox回归精度；本实施例中，选择α为3，引入αIoU损失后检测效果优于现有基于CIoU的损失，不会引入额外的参数、训练时间。为缺陷检测提供更强的鲁棒性。αIoU Loss的表达式如下：

步骤4，Batch-size(批量大小)设为16,Learning-rate(学习率)为0.01，Epochs(迭代轮数)为300次。YOLOv5s_MEB检测模型预处理结果如图4所示，可知各种缺陷crack标为0,dirt标为1,void标为2,erosion标为3,rust标为4,thunderstrike标为5，YOLOv5s_MEB模型检测效果良好，基本满足实际工业中对于风力涡轮机表面缺陷的检测要求。由图5(a)-(j)可知，随着模型的训练不断深化，训练集的位置损失(box_loss)和类别损失(cls_loss)都不断下降，训练集的位置损失(obj_loss)在经过200轮训练周期后最终稳定在0.015左右。验证集的位置损失、置信度损失在200轮训练周期后，都稳定在0.01左右，类别损失稳定在0.001左右，改进后模型检测准确率在250轮后趋近于0.9，召回率则能达到80％以上，mAP值则达到85％左右。每次训练均保存一次权值文件，在所有300轮训练完成后，得到损失值最小的权重文件。改进后的YOLOv5s_MEB模型检测缺陷目标时精确度、召回率、mAP等性能指标下相较于其它模型都有不同幅度的提升，能完成复杂环境中的风机表面缺陷检测工作，在工业部署中有一定的应用价值。

Claims (6)

1.一种风力涡轮机表面缺陷检测方法，其特征在于，包括以下步骤：

S1，收集风力涡轮机表面损坏检测数据图像，进行图片标注；将标注后的图片进行增强处理后，分为训练集、验证集和测试集；

S2，通过改变卷积方式、融入轻量化网络Bottleneck结构，加入加权双向特征金字塔网络，添加高效通道注意力机制方法构建改进的YOLOv5s模型；

S3，采用αIoU损失函数进行bbox回归；

S4，将步骤S1得到的数据集输入改进后的YOLOv5s模型中进行训练、测试，获得满足条件的参数模型，输出表面缺损效果图。

2.根据权利要求1所述的风力涡轮机表面缺陷检测方法，其特征在于，步骤S1的详细实现步骤如下：

S11，采用Labelimg图像标注工具，对表面具有缺损的风力涡轮机图片进行目标标注，将缺陷分为crack、dirt、void、erosion、rust、thunderstrike共六类检测标签；生成与各类缺陷一一对应的xml标签；

S12，通过增加图像模糊、HSV增强、旋转、缩放、平移、剪切、透视、翻转对标注后的图片进行增强处理，将增强处理后的图片按8:1:1分为：训练集、验证集和测试集。

3.根据权利要求1所述的风力涡轮机表面缺陷检测方法，其特征在于，步骤S2中，构建改进的YOLOv5s模型包括Input输入端、Backbone主干网络、Neck颈部网络和Head输出端，详细实现步骤如下：

S21，设定模型的深度和宽度；在Backbone主干网络中，采用轻量化网络架构MobileNetv3中的Bottleneck层结构：第一层卷积块为CBH函数，第二层至第六层卷积块均为Bottleneck网络；

S22，在Bottleneck网络引入SE注意力机制；在Neck颈部网络中，BiFPN中每一卷积层都添加ECA通道注意力机制；

S23，采用BiFPN加权双向特征金字塔网络，对从Bottleneck层提取出的不同尺度特征图的通道数压缩后，对多尺度特征进行融合。

4.根据权利要求3所述的风力涡轮机表面缺陷检测方法，其特征在于，Bottleneck网络主干部分的第一层Bottleneck通过DW卷积提取特征，引入h-swish激活函数与SENet注意力机制结合，再使用1×1卷积层实现降维；

第二层至第五层Bottleneck先使用1×1卷积实现升维，再通过DW卷积提取特征，再引入SE注意力机制并与h-swish激活函数结合，最后使用1×1卷积层实现降维。

5.根据权利要求1所述的风力涡轮机表面缺陷检测方法，其特征在于，步骤S3中，CIoULoss作为损失函数，表达式如下：

其中P为B和B^gt之间的欧式距离，c为B和B^gt之间最小外接长方形对角线的长度，v为B和B^gt之间长宽比的相似性，；w^gt、h^gt表示真实检测框的宽和高，w和h表示预测检测框的宽和高；β是一种权重系数α为power IoU Loss；A代表真实框，B代表预测框。

6.根据权利要求1所述的风力涡轮机表面缺陷检测方法，其特征在于，步骤S4中，将数据集输入改进后的YOLOv5s模型中进行训练、测试，获得满足条件的参数模型的具体实现步骤如下：

S41，将数据集的80％作为训练集和10％作为验证集输入到改进的YOLOv5s模型中，同时设定训练参数Batch-size、Learning-rate、Epochs，使用YOLOv5s权重文件进行训练，获得最佳参数模型；

S42，将数据集的10％作为测试集输入到步骤S41得到的参数模型中进行测试，输出预测效果图；

S43，将步骤S42中的测试效果图与标签图进行比较，得到改进的YOLOv5s比较输出结果。

Images