CN114549446A

CN114549446A - 一种基于深度学习的气缸套缺陷标检测方法

Info

Publication number: CN114549446A
Application number: CN202210146225.2A
Authority: CN
Inventors: 黄晓华; 邵秀燕; 郝飞; 刘迁
Original assignee: Nanjing Institute of Technology
Current assignee: Nanjing Institute of Technology
Priority date: 2022-02-17
Filing date: 2022-02-17
Publication date: 2022-05-27

Abstract

本发明提供一种基于深度学习的气缸套缺陷标检测方法，所述检测方法包括以下步骤：采集气缸套图像构建原始数据集，对原始数据集内的图像进行预处理和标注，获取训练集的局部缺陷图；利用基于Swin变换器的Mask R‑CNN算法进行建模，得到网络模型；通过得到的网络模型对测试集的图像进行检测；通过掩码机制对检测结果提取兴趣区域增强检测效果；对网络模型的检测性能进行评价；通过得到的网络模型对采集的气缸套图像进行缺陷标检测。本发明通过图像预处理，减少气缸套噪声影响，将原图构建局部图，得到新的一批训练数据，通过以小图映射大图的方法，得到原图的检测结果，通过掩码机制过滤噪声区域，提高小目标检测精度。

Description

一种基于深度学习的气缸套缺陷标检测方法

技术领域

本发明涉及图像处理领域，具体为一种基于深度学习的气缸套缺陷标检测方法。

背景技术

气缸套作为内燃机的核心部件，其性能优劣直接影响着内燃机的整体性能。气缸套在生产过程中可能会因为温度、杂质以及加工时的应力分布不均产生砂眼、裂纹、磨损等不同缺陷。对其表面缺陷检测已经成为出厂过程一个必不可少环节。气缸套的缺陷尺寸小，图片噪音干扰大，依照传统人眼检测效率低下，精度不高，且易出现漏检现象。目前，人眼检测已经无法满足企业的要求，因此采用深度学习对气缸套缺陷检测十分重要。

通常检测的方式分为一下3类：

传统检测：传统的缺陷检测主要有人工目视检测、X射线检测、声波检测、磁粉探伤检测、涡流检测和激光扫描检测等。

机器学习检测：机器学习主要通过人工定性设计特征或图像特定区域的统计特征。

深度学***衡，使得训练模型更加困难。另一类称为二阶方法。该方法将目标检测任务分成两个阶段来实现，首先找出图像中可能存在待检测目标的区域，然后再进行分类判别，并通过设置阈值的方法选择评分较高的区域，从而实现目标检测。其代表性算法主要有Fast R-CNN、Faster R-CNN和Mask R-CNN等。相较于一阶网络，二阶网络多了RPN层，同时由RPN层生成候选框，再从候选框中生成锚点。这样做的效果比一阶网络的精确度有一定的提升，但是检测时间变慢。

发明内容

(一)要解决的技术问题：为解决上述背景技术提出的技术问题，本发明提出区域分割将高分辨率图像拆分成小区域，并结合掩码机制，在小区域进行目标检测，利用小区域检测结合，回归到高分辨率图像，从而有效提高了在高分辨率图像的小目标检测的精度；本发明在其他类型的小目标检测上具有一定的通用性。

(二)技术方案：1.一种基于深度学习的气缸套缺陷标检测方法，其特征在于，所述检测方法包括以下步骤：

1)采集气缸套图像构建原始数据集，对原始数据集内的图像进行预处理和标注，再将原始数据集按比例分为训练集和测试集两部分；

2)获取训练集的局部缺陷图；

3)利用Mask R-CNN算法进行建模，通过训练集图像的局部缺陷图进行模型训练，得到网络模型；

4)通过得到的网络模型对测试集的图像进行检测；

5)通过掩码机制对检测结果提取兴趣区域增强步骤4)中的检测效果；

6)对网络模型的检测性能进行评价；

7)通过步骤4)得到的网络模型对采集的气缸套图像进行缺陷标检测。

进一步地，制作VOC格式数据集，利用LabelImg工具，对数据集中图片数据进行标注，产生xml文件，实验数据集是气缸套缺陷图片，图片尺寸大小为2448*2048。该数据集包含三个类别，即sand，scratch，wear。

进一步地，图像预处理。由于实际图像采集过程中存在多种噪声，因此为了提高图像质量，突出缺陷的目标信息。本发明采用5*5的高斯滤波对气缸套数据集进行降噪处理。

进一步地，构建通过原图信息裁剪出局部图方法，通过尺寸大小为2448*2048的原图标注信息来截取尺寸大小为256*256的局部图，每一个局部图都会包含缺陷。使用这些局部图在基于Swin转换器的Mask RCNN网络训练。

进一步地，设计小图映射大图检测方法，将测试集的原图分为64个小图，选择之前训练好的网络进行检测，最后拼回原来的尺寸。

进一步地，提出掩码机制方法，对缸套模具图像选取合适阈值进行二值化。使用形态学操作闭运算去除二值化细小的黑点，确保二值化区域包含整个兴趣区域，将其作为兴趣区域。对于上端面图像进行坐标测量，根据上端面图像的待检测区域，确定圆心以及最大圆、最小圆半径，画出同样大小的圆环二值化图像，完成上端面图像模具的制作，将其作为上端面图像的兴趣区域。最后一种类型的图片我们设计一个具体的掩码，来提取兴趣区域。进一步提高检测精度。

(三)有益效果

1.本发明采用基于Swin转换器的Mask RCNN网络对局部图进行训练，Swin转换器(Swin Transformer)是目前计算机视觉领域最新的视觉转换器网络，它是编码器解码器结构，具有层级的特征图，可以通过合并深层的图像块，并且具有线性的计算复杂度。

2.本发明采用掩码机制进一步提高检测的精度，采用掩码提取兴趣区域。兴趣区域提取，不仅降低目标区域搜索时间，而且可以增强检测效果。

附图说明

图1是本发明算法框图；

图2是本发明Swin变换器网络图；

图3是本发明算法检测框图；

具体实施方式

附图仅用于示例性说明，不能理解为对本专利的限制；

为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。下面结合附图和实施例对本发明的技术方案做进一步的说明。

请参考附图1，首先，将原始高分辨率训练图像(大小为2448*2048)经过5*5高斯滤波器进行降噪处理，再根据缺陷标定的位置截取局部缺陷图，并归一化至256*256大小图片，如图1中(a)阶段；其次，利用视觉变换器作为网络骨架，采用局部缺陷图训练网络，来提取具有视觉注意力机制的特征，并用于训练Mask-RCNN缺陷检测网络，如图1中(b)阶段；最后，针对于原始高分辨率测试图像，将原图分割成64块小区域图像，对64块小区域的图像进行检测，然后利用具有兴趣区域的掩码机制，屏蔽噪声的影响，从而提升检测精度和检测速度，如图1中(2)检测阶段。

构建局部图：该方法包括两个关键技术，一是图像降噪处理，二是局部图构建。

(1)图像降噪处理：在相机采集气缸套图像过程中会因为各种温度、光照、电子元器件信号干扰产生大量的噪声，极大地降低图像质量，影响后续处理，甚至会影响到气缸套表面缺陷检测结果。考虑到减轻后期深度学习算法复杂度，提高原始图像质量，本发明对采集的气缸套图像进行预处理，为建立有效的深度学习模型，数据增强是实现这一目标的一种有效方法。数据增强包含噪声去除，提取兴趣区域等技术，可以提高训练数据集的大小和质量，从而可以构建更好的深度学习模型，提高模型的泛化能力。常见噪声有椒盐噪声、高斯噪声和随机噪声，而实际图像采集过程中存在多种噪声，因此，为了提高图像质量，突出缺陷的目标信息。对气缸套图片进行降噪处理，并采用高斯滤波进行仿真分析。为了确保可靠性，采用PSNR(峰值信噪比)、AG(清晰度)值，对降噪后的图像效果进行分析。通常PSNR的值越大，图像质量越好，其公式为：

其中I是由M×N组成的单色图像，K是由M×N组成的单色图像；AG图像中的微小细节反差与纹理变化特征，同时也反映了图像的清晰度，值越大越好，其公式为：

其中，△Ix，△Iy分别是像素点(i，j)处Sobel水平和垂直方向边缘检测算子的卷积，M，N为像素点数。

本发明采用5*5的高斯滤波进行采集的气缸套图像的降噪。

局部图构建：气缸套表面缺陷识别最大的困难，是对于缺陷大小、缺陷类型，没有一个具体的、准确的判断标准，工业采集的图片的大小为2448*2048，图片的尺寸很大，但是缺陷很小，有些缺陷用人眼看也不容易分辨，检测相当困难，另一方面，还有各种的噪音的干扰，若是直接进行检测，效果是十分不理想的。因此，提出“构建局部图”的想法。其原理是：在训练时，对原图的训练集和测试集上，根据先前在2448*2048大图上的标注信息来截取并获得气缸套的缺陷位置，人为的设置截取的图片，并将大小归一化为256*256。相较于原图，缺陷可以看到更加清楚。

如图2，网络构建：Swin转换器(Swin Transformer)是目前计算机视觉领域最新的视觉转换器网络，它是编码器解码器结构，具有层级的特征图，可以通过合并深层的图像块，并且具有线性的计算复杂度。

本发明采用基于Swin转换器的Mask RCNN网络对局部图进行训练。

小图映射大图的检测方法：利用已经训练的网络权重，对于实际检测的原始图像，本发明将2448*2048原图分为64个小图，其中，包含56块256*256块小图和8块656*256的小图，对64块小图进行检测。通过已经训练好的权重文件进行检测，最后在重新映射2448*2048的原始图片，从而得到针对于原图的检测结果。

其优点是，比直接用原始高分辨率图来训练并检测的效果要好的多，解决了小目标检测的难点。

掩码机制：进一步提高检测的精度，采用掩码提取兴趣区域。兴趣区域提取，不仅降低目标区域搜索时间，而且可以增强检测效果。

(1)对于上端盖图像制作粗略的感兴趣区域模具，包含三种类型的缺陷，对缸套模具图像选取合适阈值进行二值化。使用形态学操作闭运算去除二值化细小的黑点，确保二值化区域包含整个兴趣区域。将其作为兴趣区域。

(2)对于上端面图像，包含三种类型的缺陷，我们对上端面图像进行坐标测量，根据上端面图像的待检测区域，确定圆心以及最大圆、最小圆半径；画出同样大小的圆环二值化图像，完成上端面图像模具的制作，将其作为上端面图像的兴趣区域。

(3)对于气缸套内壁图像，包含三种类型的缺陷，我们发现其缺陷全部分布在上半部分，为了更好的获得缺陷信息，我们根据上半部分的轮廓设计一个具体掩码。同上端面提取兴趣区域一样，我们对其进行坐标测量，根据待检测区域，确定上半部分轮廓信息(近似于环形)；画出一样形状的二值化图像提取兴趣区域。

本发明通过掩码对“小图映射大图的检测方法”得到的图像进行去噪，其原理是通过设置兴趣区域像素为1，非兴趣区域像素为0，从而去掉非兴趣区域的检测结果，提升检测性能，其公式如下：

I_R＝I×M

(3)

其中，I是原始图像中检测像素点，M是掩码矩阵列，I_R是最终的检测像素点。

评价深度学习方法的能力的方法有很多。本发明利用一个常见的MAP值来证明了各种深度学习算法的检测性能。其中，TP是指被正确识别的结果。FP是指识别错误的结果。FN是指未识别的结果，但***识别为其他缺陷。

气缸套图片具有分辨率高，缺陷目标微小等特点。针对气缸套图片的特性，本发明通过图像预处理，减少气缸套噪声影响，将原图构建局部图，得到新的一批训练数据，从而训练网络，通过以小图映射大图的方法，得到原图的检测结果。最后，通过掩码机制过滤噪声区域，进一步提高小目标检测精度。基于提出的方法，能精准识别小目标缺陷，提高检测的性能。

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims

1.一种基于深度学习的气缸套缺陷标检测方法，其特征在于，所述检测方法包括以下步骤：

2)获取训练集的局部缺陷图；

3)利用基于Swin变换器的Mask R-CNN算法进行建模，通过训练集图像的局部缺陷图进行模型训练，得到网络模型；

4)通过得到的网络模型对测试集的图像进行检测；

6)对网络模型的检测性能进行评价。

2.如权利要求1所述的一种基于深度学习的气缸套缺陷标检测方法，其特征在于，步骤1)中通过采集的气缸套图像制作VOC文件格式的原始数据集，同时利用LabelImg图像标注工具对原始数据集中图像进行标注，标注出原始数据集图像上的缺陷区域及类型，产生xml文件，将原始数据集分为三个类型，即砂痕缺陷、划痕缺陷以及磨损缺陷；所述预处理的方法为先对原始数据集内的图像进行图像随机翻转，裁剪，像素归一化，图像增强，接着进行对图像进行5*5的高斯滤波降噪处理。

3.如权利要求2所述的一种基于深度学习的气缸套缺陷标检测方法，其特征在于，步骤2)中获取局部缺陷图的方法为通过训练集中图像的标注信息人为截取尺寸大小为256*256的局部缺陷图，每一个局部缺陷图均包含缺陷。

4.如权利要求1所述的一种基于深度学习的气缸套缺陷标检测方法，其特征在于，步骤3)中网络模型的建立方法为：

301)将训练集中的局部缺陷图输入到Swin变换器中，得到对应的feature map特征图；

302)对feature map特征图中的每一像素点设定预定个数的ROI，得到多个候选的ROI；

303)将候选的ROI送入Region Proposal Network网络进行处理，并进行Bounding box回归，得到相应的Proposals待检测区域；

304)将得到的Proposals待检测区域利用ROI Align方法准确地提取原图的ROI特征，再对其进行Classification分类、Boundingbox回归和Mask掩码生成，经过不断的迭代训练得到最后的网络模型。

5.如权利要求1所述的一种基于深度学习的气缸套缺陷标检测方法，其特征在于，步骤4)中检测方法为：将测试集中的每个图像都分为64个小图，将每个图像的64个小图输入训练好的网络模型中进行检测并输出结果，最后将输出的64个小图重新拼回每个图像的大小得到每个图像的检测结果。

6.如权利要求5所述的一种基于深度学习的气缸套缺陷标检测方法，其特征在于，步骤5)中所述掩码机制提取兴趣区域的方法为：

A.对于气缸套上端盖图像，首先对上端盖每个图像选取合适阈值进行二值化并使用形态学操作闭运算去除二值化细小的黑点，确保二值化区域包含整个兴趣区域，将该二值化区域作为兴趣区域；

B.对于气缸套上端面图像，首先对上端面每个图像进行坐标测量，根据上端面图像的待检测区域，确定圆心以及最大圆、最小圆半径；画出同样大小的圆环二值化图像，将其作为上端面图像的兴趣区域；

C.对于气缸套内壁图像，其缺陷全部分布在上半部分，为了更好的获得缺陷信息，根据上半部分的轮廓设计一个具体掩码，同上端面提取兴趣区域一样，对其进行坐标测量，根据待检测区域，确定上半部分轮廓信息；画出一样形状的二值化图像提取兴趣区域。

7.如权利要求5所述的一种基于深度学***均精度MAP值来证明网络模型的检测性能，

精确率

召回率

平均精度

均值平均精度

其中，TP是指被正确识别的结果，FP是指识别错误的结果，FN是指未识别的结果，但***识别为其他缺陷，AP的值是P-R曲线组成的面积，面积越大，效果越好。横坐标为召回率，纵坐标为精确率，AP为对精确度求积分所得到结果，n是缺陷种类的总个数，i是第几种缺陷。