CN114677597B - 基于改进YOLOv5网络的齿轮缺陷视觉检测方法及*** - Google Patents

基于改进YOLOv5网络的齿轮缺陷视觉检测方法及*** Download PDF

Info

Publication number
CN114677597B
CN114677597B CN202210580509.2A CN202210580509A CN114677597B CN 114677597 B CN114677597 B CN 114677597B CN 202210580509 A CN202210580509 A CN 202210580509A CN 114677597 B CN114677597 B CN 114677597B
Authority
CN
China
Prior art keywords
gear
module
defect
image
yolov5 network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210580509.2A
Other languages
English (en)
Other versions
CN114677597A (zh
Inventor
朱大虎
贺敏琦
张曙文
华林
梁耀
赵凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hubei Zhongzhi Future Intelligent Equipment Manufacturing Co ltd
Wuhan University of Technology WUT
Original Assignee
Hubei Zhongzhi Future Intelligent Equipment Manufacturing Co ltd
Wuhan University of Technology WUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hubei Zhongzhi Future Intelligent Equipment Manufacturing Co ltd, Wuhan University of Technology WUT filed Critical Hubei Zhongzhi Future Intelligent Equipment Manufacturing Co ltd
Priority to CN202210580509.2A priority Critical patent/CN114677597B/zh
Publication of CN114677597A publication Critical patent/CN114677597A/zh
Application granted granted Critical
Publication of CN114677597B publication Critical patent/CN114677597B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/34—Sorting according to other particular properties
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/36—Sorting apparatus characterised by the means used for distribution
    • B07C5/361—Processing or control devices therefor, e.g. escort memory
    • B07C5/362—Separating or distributor mechanisms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明公开了一种基于改进YOLOv5网络的齿轮缺陷视觉检测方法及***，***包括内置改进YOLOv5网络模型的控制器、由第一传送带和第二传送带组成输送***、搭建于输送***上的图像采集模块和剔除机构；改进方式为通过样本数据集训练未改进的YOLOv5网络获取权重参数，在YOLOv5网络模型加入卷积注意力机制模块和重复加权双向特征金字塔网络，权重参数迁移到改进YOLOv5网络模型；通过本数据集训练改进YOLOv5网络模型，完成齿轮缺陷检测模型构建，通过图像采集模块采集图像输入齿轮缺陷检测模型进行识别，根据识别结果剔除相应的缺陷齿轮，本发明实现了针对齿轮特征缺陷的准确识别以及齿轮多面缺陷的自动化检测及分拣，提高了检测效率。

Description

基于改进YOLOv5网络的齿轮缺陷视觉检测方法及***
技术领域
本发明属于产品缺陷检测领域，涉及一种产品缺陷视觉检测技术，具体涉及一种基于改进YOLOv5网络的齿轮缺陷视觉检测方法及***。
背景技术
齿轮广泛应用于各种机械产品，然而齿轮在使用的过程中易产生磨损、崩角、开裂等缺陷，会影响运动部件机构的使用寿命、运动精度等，因此需要对齿轮缺陷进行检测。由于齿轮本身的几何形状特点，同时崩角等缺陷主要分布在齿面，开裂等缺陷主要分布在端面，因此需要对齿轮多面进行检测。而传统的人工检测工作量大，易造成检测人员视觉疲劳，出现漏检、错检。
近年来机器视觉技术发展迅速，基于机器视觉的检测技术被越来越广泛的应用与生产生活中。其中，齿轮的检测包括如何准确快速地识别出齿轮轮廓图像和识别齿轮上的微小裂缝及其他油污等。而现有的齿轮缺陷检测技术大部分是采用数字化图像处理技术，但传统数字图像处理技术的处理方式、算法单一，其本质是对输入的图像进行加工处理来达到检测的目的。这种方法主要是通过图像的低级特征进行处理的阶段，经过处理之后图像无法对齿轮存在的毛刺、细微裂痕和污渍等做到有效的识别和分割。
此外，随着计算机性能不断提高，基于深度学习框架的检测方法逐步推广，推动工业检测向着自动化、智能化方向转型。采用深度学习技术，能够准确地对齿轮缺陷进行语义识别及分割，降低了背景区或其他目标像素的干扰，从而提升了检测的准确度。
因此，需要合适的方法及***，应用深度学习和机器视觉技术来准确地对齿面表面缺陷进行识别定位，实现齿轮多面缺陷检测以及分拣的自动化。
申请号为CN 202010121242 .1的发明专利公开了一种基于机器视觉的汽车齿轮成品缺陷检测方法，利用数字图像处理技术对齿轮等零部件轮廓以及边缘部分进行提取，然后将提取后的齿轮边界图像作为先验信息融入改进的U-Net网络结构中，进行人为地补充底层特征信息作为网络训练的参考。
申请号为CN 202010118873.8的发明专利公开了一种基于深度学习的风机齿轮缺陷检测方法，将采集的齿轮离散数据转化为时频图，将时频图输入由ResNet-50与FPN构成的特征提取层中进行训练，但该发明主要针对基于模型信号的机械故障诊断，而非基于机器视觉进行表面缺陷检测。
申请号为CN202110000785.2的发明专利申请公开了一种直齿圆柱齿轮缺陷检测及分拣装置，利用电磁棒吸附齿轮并通过电动旋转座带动齿轮旋转，此时电涡流传感器与齿轮在同一水平线上，通过电涡流传感器可以测得齿轮的相关参数，但该装置并非基于机器视觉进行检测，且也只对齿轮侧面缺陷进行检测。
发明内容
为解决上述问题，本发明的目的是针对齿轮缺陷检测过程，提供一种基于改进YOLOv5网络的齿轮多面缺陷视觉检测方法及***，实现齿轮多面缺陷的检测与自动分拣，并提供识别率。
为实现此目的，本发明采用的技术方案如下：
本发明提供本发明提供一种基于改进YOLOv5网络的齿轮缺陷视觉检测方法，其特征在于，包括以下步骤：
S1、采集图像数据：采集缺陷齿轮表面图像，并对图像进行预处理，得到缺陷齿轮图像；
S2、构建样本数据集：对缺陷齿轮图像中的缺陷类型进行标注并作为标签，以缺陷齿轮图像以及对应的标签构建缺陷齿轮的样本数据集；
S3、获取预训练模型：利用步骤S2中获得的样本数据集训练YOLOv5网络模型，获取YOLOv5网络模型的权重参数；
S4、检测模型改进：对YOLOv5网络模型改进，加入卷积注意力机制模块和重复加权双向特征金字塔网络，得到改进YOLOv5网络模型；
S5、模型构建，将步骤S3获得的权重参数迁移到改进YOLOv5网络模型中，之后利用步骤S2中获得的样本数据集对改进YOLOv5网络模型进行训练，获得适用于齿轮缺陷检测的权重参数，完成齿轮缺陷检测模型构建；
S6、缺陷检测，采集待检测的齿轮图像，并按照步骤S1的预处理方式进行预处理，得到待检测齿轮图像，将待检测齿轮图像输入到齿轮缺陷检测模型中进行缺陷检测识别。
本发明通过对YOLOv5网络模型改进，加入卷积注意力机制模块和重复加权双向特征金字塔网络，提高了对齿轮缺陷的准确度。
本发明还提供一种基于改进YOLOv5网络的齿轮缺陷视觉检测***，其特征在于，包括：
传送带机构，包括按照传输顺序先后设置的第一传送带和第二传送带，其中第一传送带的高度高于第二传送带；
图像采集模块，包括第一检测模块和第二检测模块，其中第一检测模块设于第一传送带上方，用于拍摄并检测工件正面及侧面，第二检测模块设于第二传送带上方，用于拍摄并检测工件反面；
电磁翻转机构，设于第一传送带和第一传送带之间，用于将第一传送带传送过来的齿轮反面后落入到第二传送带上；
识别控制模块，包括内置所述的齿轮缺陷检测模型的控制器；
剔除机构，包括设于第一传送带尾端的第一剔除模块和设于第二传送带尾端的第二剔除模块，其中剔除机构设于传送带机构上且图像采集模块之后；
所述控制器用于接收图像采集模块采集的齿轮图像数据，通过齿轮缺陷检测模型识别后控制剔除机构动作剔除相应的缺陷齿轮。
上述齿轮缺陷视觉检测***的控制器内置了齿轮缺陷检测模型，通过齿轮缺陷视觉检测***的硬件***采集齿轮图像数据，通过齿轮缺陷检测模型识别齿轮是否具有缺陷，然后通过剔除模块进行剔除，完成齿轮缺陷自动检测识别和剔除，完全代替了人工质检。
本发明的有益效果为：
1)本发明以YOLOv5网络为基础，加入了卷积注意力机制模块并改进了特征融合方法，能够较为准确的对齿轮缺陷图像进行检测识别；
2)本发明提出的一种齿轮多面缺陷检测装置，其中通过电磁翻转机构完成了齿轮端面的翻转，最终实现了齿轮多面缺陷的自动化检测及分拣。
附图说明
图1为本发明实施例中基于改进YOLOv5网络的齿轮缺陷视觉检测方法的流程图；
图2为原始的YOLOv5网络模型图；
图3位本发明实施例中改进的齿轮缺陷检测模型图；
图4为YOLOv5网络模型原始的C3模块图；
图5为本发明实施例中改进后的CBAMC3模块图；
图6为本发明实施例中CBAM模块图；
图7为本发明实施例中重复BiFPN结构图；
图8为本发明实施例中齿轮缺陷检测模型改进前后算法性能指标对比；
图9为本发明实施例中齿轮缺陷视觉检测***的结构示意图；
图10为本发明实施例中齿轮缺陷视觉检测***的工作流程图；
图11为本发明实施例电磁翻转机构的工作循环表。
附图标记：1-第一传送带，2-第一限位机构，3-第一光电开关，4-第一工业相机，5-第一平板光源，6-第二工业相机，7-第三工业相机，8-相机支架，9-第四工业相机，10-第五工业相机，11-第一剔除模块，12-溜板，13-电磁铁，14-轴承支架，15-旋转机构，16-电磁吸附面，17-第二限位机构，18-第二光电开关，19-相机支架，20-第六工业相机，21-第二平板光源，22-第二剔除模块，23-第二传送带。
具体实施方式
下面结合附图并通过具体实施方式来对本发明作进一步说明：
如图1所示，本发明提供一种基于改进YOLOv5网络的齿轮缺陷视觉检测方法，包括以下步骤：
S1、采集图像数据：采集缺陷齿轮表面图像，并对图像进行预处理，得到缺陷齿轮图像；
S2、构建样本数据集：对缺陷齿轮图像中的缺陷类型进行标注并作为标签，以缺陷齿轮图像以及对应的标签构建缺陷齿轮的样本数据集；
S3、获取预训练模型：利用步骤S2中获得的样本数据集训练YOLOv5网络模型（YOLOv5s网络模型），获取YOLOv5网络模型的权重参数；
S4、检测模型改进：对YOLOv5网络模型改进，加入卷积注意力机制模块和重复加权双向特征金字塔网络，得到改进YOLOv5网络模型；
S5、模型构建，将步骤S3获得的权重参数迁移到改进YOLOv5网络模型中，之后利用步骤S2中获得的样本数据集对改进YOLOv5网络模型进行训练，获得适用于齿轮缺陷检测的权重参数，完成齿轮缺陷检测模型构建；
S6、缺陷检测，采集待检测的齿轮图像，并按照步骤S1的预处理方式进行预处理，得到待检测齿轮图像，将待检测齿轮图像输入到齿轮缺陷检测模型中进行缺陷检测识别。
在进行步 骤S5的操作过程中，为了对齿轮缺陷检测模型的检测结果进行评判，在测试集上进行实验，并选择了三种目标检测评价指标，分别为召回率（Recall，R）、准确率（Precision，P）、平均精度均值（mean Average Precision，mAP）。
准确率和召回率的公式如下：
Figure DEST_PATH_IMAGE001
Figure 772534DEST_PATH_IMAGE002
其中，P为平均精度均值，R为召回率，TP为将正类预测为正类数，FP为将负类预测为正类数误报，FN为将正类预测为负类数。
为了客观的评价改进后网络的检测效果，利用评价指标对模型结果进行评估。
如图8所示：相比于其他算法，本发明改进的齿轮缺陷检测模型具有更高的[email protected]，在性能上有明显提升，有效实现了对齿轮缺陷的检测识别。
作为一种优选实施例，所述步骤S1中的图像预处理包括：中值滤波去噪、增强对比度，通过图像预处理，剔除噪声，提高识别度。
作为一种优选实施例，步骤S2中，样本数据集构建方法如下：
S2.1、步骤S1中得到的所有缺陷齿轮图像构成数据集，对数据集中所有图像进行随机操作获得新图像，扩大数据集；随机操作类型包括翻转、旋转、平移、添加噪声及缩放中的任意一种或者多种组合；
S2.2、对扩大后数据集中图像的缺陷类型进行标注，形成标签，构建样本数据集。
S2.3、将样本数据集分为训练集和测试集；
本实施例中，通过样本扩充技术大大提高样本数量，使得在有限缺陷齿轮图像情况下或者更准确的训练效果，得到更准确的模型权重参数。
作为一种优选实施例，步骤S2.3中，具体操作为：使用LabelImg工具对齿轮缺陷图像进行标记，获得与图像样本一一对应的xml文件，作为样本。
作为一种优选实施例，步骤S4中，原始的YOLOv5网络模型架构如图2所示，改进后YOLOv5网络模型如图3所示，对YOLOv5网络模型改进的具体方式如下：
（1）加入卷积注意力机制模块是指将YOLOv5网络模型的C3模块中的最后一个标准卷积模块Conv换成CBAM模块形成CBAMC3模块，YOLOv5网络模型的C3模块如图4所示，改进后的CBAMC3模块如图5所示；
（2）加入重复加权双向特征金字塔网络是指将重复BiFPN结构添加到YOLOv5网络模型中，与Concat方法结合形成Concat_BiFPN模块。
作为一种优选实施例，步骤S4中，如图6所示，所述CBAM模块包含两个独立的子模块，分别为通道注意力模块CAM（Channel Attention Module）和空间注意力模块SAM（Spatial Attention Module），其中CAM模块对输入的特征图进行通道上的处理，SAM模块对输入的特征图进行空间上的处理。
CAM模块主要是对输入的特征图在通道维度上进行压缩，得到一个一维矢量，然后对这个一维矢量进行操作得到SAM的输入特征。
SAM模块旨在提升关键区域的特征表达，本质上是将原始图片中的空间信息通过空间转换模块，变换到另一个空间中并保留关键信息，为每个位置生成权重掩膜并加权输出。
所述CBAMC3模块，是将C3模块中经过Concat操作后的特征图作为CBAM模块的输入，首先经过CAM模块，将输入特征处理成基于通道的M c 图，然后将M c 与输入的特征进行相乘，得到SAM的输入特征，接着经过SAM模块操作，将输入特征修改成基于空间的M S 特征，将M S 与输入的特征做乘法操作，得到输出特征。
作为一种优选实施例，如图7所示，步骤S4中，所述重复BiFPN结构是指将BiFPN模块视作一个基本单元，重复堆叠，将一对路径视为一个特征层，然后重复多次以得到更多高层特征融合。
作为一种优选实施例，所述BiFPN模块能实现高效的双向跨尺度连接以及加权特征图融合。所述BiFPN模块基于PAN结构，移除了只有一个输入的节点，并假定这个只有一个输入的节点对特征融合贡献不大，然后为了能融合更多的特征信息，在相同level层添加一个skip connection，以一个自顶向下和一个自低向上的连法作为一个基础层，不断重复这个模块，就形成了BiFPN特征融合模块。
如图9所示，本发明还提供一种基于改进YOLOv5网络的齿轮缺陷视觉检测***，包括：
传送带机构，包括按照传输顺序先后设置的第一传送带1和第二传送带23，其中第一传送带1的高度高于第二传送带23；
图像采集模块，包括第一检测模块和第二检测模块，其中第一检测模块设于第一传送带1上方，用于拍摄并检测工件正面及侧面，第二检测模块设于第二传送带23上方，用于拍摄并检测工件反面；
电磁翻转机构，设于第一传送带1和第一传送带1之间，用于将第一传送带1传送过来的齿轮反面后落入到第二传送带23上；
识别控制模块，包括内置所述的齿轮缺陷检测模型的控制器（计算机或者PLC控制器）；
剔除机构，包括设于第一传送带1尾端的第一剔除模块11和设于第二传送带23尾端的第二剔除模块22，其中剔除机构设于传送带机构上且图像采集模块之后；
所述控制器用于接收图像采集模块采集的齿轮图像数据，通过齿轮缺陷检测模型识别后控制剔除机构动作剔除相应的缺陷齿轮。
作为一种优选实施例，所述电磁翻转机构包括旋转体和用于驱动旋转体转动的旋转机构15，所述旋转体上设有至少一个电磁吸附面16，每个电磁吸附面16上设有一个用于吸附齿轮的电磁铁13；第一传送带1和第二传送带23之间的高度差大于所述旋转体的所需旋转空间，当电磁吸附面16旋转至顶部与第一传送带1对接时，该面上的电磁体得电产生吸附力将齿轮吸附；当该电磁吸附面16随着旋转体旋转至底部与第二传送带23对接时，齿轮完成反面，相应电磁铁13失电，反面后的齿轮落在第二传送带23上。
作为一种优选实施例，所述旋转体为正多面体，本实施例中，所示旋转体为正四面体，每个面均为一个电磁吸附面16，设置一个电磁铁13，旋转体每次旋转90度，刚好可以实现每个电磁吸附面16依次对接第一传送带1和第二传送带23。
作为一种优选实施例，所述旋转机构15的具体形态不限，能够驱动旋转体转动即可，比如旋转机构15可以包括转轴和动力机构，旋转体固定在转轴上，转轴通过轴承支架14安装在地面或者传送带支架上，动力机构可以是电机、马达等，也可以是摆动气缸、摆动油缸等。
作为一种优选实施例，所述旋转体安装于第二传送带23头部上方，所述第一传送带1尾部和旋转体顶部的电磁吸附面16之间设有便于齿轮下滑的溜板12（倾斜平板），齿轮通过第一传送带1传送后通过溜板12在重力作用下滑到电磁吸附面16上。
作为一种优选实施例，所述溜板12坡度为20°~30°，用于连接所述第一传送带1末端与所述电磁翻转机构。
所述电磁翻转机构工作原理如下：
所述电磁吸附面16工作位置以旋转机构15转动角度表示；所述旋转机构15每转过360°为一个工作循环，其中起始位置为旋转机构15转动0°，即电磁吸附面16与传送带平面平行且处于最高位置；
如图11所示，所述电磁翻转机构工作循环步骤如下：
1)所述电磁吸附面16处于起始位置时，电磁铁13通电产生磁性，齿轮输送至电磁吸附面16，并被电磁铁13吸附；
2)通过旋转机构15驱动旋转体持续旋转，当所述电磁吸附面16处于0°~180°之间时，电磁铁13保持通电，齿轮持续被电磁铁13吸附于电磁吸附面16表面；
3)所述电磁吸附面16处于180°时，即电磁吸附面16与传送带平面平行且处于最低位置，电磁铁13断电失去磁性，齿轮落至第二传送带23表面；
4)所述电磁吸附面16处于180°~360°之间时，电磁铁13保持断电；
所述电磁翻转机构包括N个电磁吸附面16，在完成一个工作循环内，每个电磁吸附面16都应通电一次，其中相邻电磁吸附面16的通电间隔角为360°/N。
作为一种优选实施例，所述第一检测模块包括正面检测模块和侧面检测模块，所述正面检测模块包括设于检测工位上方，包括从上至下依次安装在相机支架8上的第一工业相机4和第一平板光源5，第一平板光源5中间设有拍摄孔，第一工业相机4通过拍摄孔拍摄齿轮俯视图像，相机支架8安装在第一传送带1侧方的机架上。所述侧面检测模块包括设于检测工位四周的四个均布的工业相机，用于对齿轮四周侧面拍摄，四个工业相机分别为第二工业相机6、第三工业相机7、第四工业相机9和第五工业相机10，均安装在第一传送带1两侧的机架上。
作为一种优选实施例，所述第一检测模块前方的第一传送带1上设有第一限位机构2，用于对齿轮限位归中，提高定位准确性。所述第一限位机构2为设于第一传送带1上的两个挡臂，两个挡臂形成逐渐缩小的V字型口，开口方向迎面朝向齿轮，使得齿轮通过两个挡臂的作用下归中，集中于第一传送带1的中轴线上。
作为一种优选实施例，所述第二检测模块设于第二传送带23的检测工位上方，包括从上至下依次安装在相机支架19上的第六工业相机20和第二平板光源21，第二平板光源21中间设有拍摄孔，第六工业相机20通过拍摄孔拍摄反面后齿轮俯视图像，相机支架19安装在第二传送带23侧方的机架上。
作为一种优选实施例，所述第二检测模块上游的第二传送带23上设有用于将齿轮再次归中的第二限位机构17，第二限位机构17结构与第一限位机构2完全一样。
需要说明的是，为了实现自动化，本发明还包括计算机和PLC控制器，所述PLC控制器与工业相机、位置感应器、剔除机构、电磁翻转机构相连，再与计算机通过数据线相连，接收计算机指令。计算机、PLC控制器和各个位置感应器均为现有技术，不是本发明的发明点，因此采用现有技术即可。
需要说明的是，所述的剔除机构为现有技术即可，具体也可以包括伸缩机构、推板、安装架，推板固定在伸缩机构的伸缩前端，伸缩机构本身通过安装架安装，当图像采集模块检测到不合格产品时，伸缩机构带动推板伸出，将不合格产品剔除。
所述位置感应器为对射型光电开关，包括设置于第一传送带1上检测工位处的第一光电开关3和第二传送带23上检测工位处的第二光电开关18，位置感应器将感应信号传递给PLC控制器。
工业相机的输入信号引脚与PLC控制器连接，由PLC控制器触发拍照，所有工业相机的输出口与计算机连接，将图像传递给计算机进行图像处理与检测。
剔除机构的输入信号引脚与PLC控制器连接，由PLC控制器触发伸缩杆运动实现工件的剔除。
电磁翻转机构的输入信号引脚与PLC控制器连接。
由PLC控制器控制电磁翻转机构中电磁铁13的通断电时间。
由PLC控制器根据实际生产节奏需求调节电磁翻转机构转速。
电磁翻转机构转速n计算方法如下：
n=60/（N*d v ）
其中，n表示机构转速（r/min），N表示电磁翻转机构中电磁吸附面16的个数（个），d v 表示上料速度（个/秒）。
本发明还提供了所述齿轮缺陷视觉检测***的检测方法，如图10所示，具体步骤如下：
1)齿轮通过第一传送带1，输送到第一检测模块，触发工业相机进行图像采集，并进行图像预处理；
2)将预处理后的图像输入改进的齿轮缺陷检测模型，完成端面A及齿面（齿轮侧面）缺陷检测；
3)第一剔除模块11对有缺陷的齿轮进行剔除；
4)通过电磁翻转机构实现齿轮端面翻转，输送至第二传送带23；
5)齿轮通过第二传送带23，输送到第二检测模块，触发工业相机进行图像采集，并进行图像预处理；
6)将预处理后的图像输入改进的齿轮缺陷检测模型，完成端面B缺陷检测；
7)第二剔除模块22对有缺陷的齿轮进行剔除。
本发明使用方法如下：
以检测齿轮为例，说明整个装置的工作流程：所述齿轮在所述传动带上等距排列、匀速传输，当所述齿轮被传输至所述第一检测模块位置时，所述第一光电开关3感应到物体经过而触发该工位的第一工业相机4采集齿轮端面（假定为正）图像，第二工业相机6、第三工业相机7、第四工业相机9、第五工业相机10采集齿轮侧面图像，图像经过计算机的图像处理模块进行检测，若检测到瑕疵，则向PLC控制器发送信号，PLC控制器开始计时，待所述齿轮到达传送带末端的第一剔除模块11，即计时结束时使用伸缩推杆将齿轮精准剔除；若顶面和侧面检测未发现瑕疵，则齿轮继续传送，当齿轮到达所述电磁翻转机构时，经过溜板12滑落至电磁吸附面16上，此时电磁铁13通电吸附住齿轮，通过旋转机构15带动电磁吸附面16，完成齿轮端面翻转，并传送至第二传送带23上；当所述齿轮被传输至所述第二检测模块位置时，所述第二光电开关18感应到物体经过而触发该工位的第六工业相机20采集齿轮端面（反）图像，若检测到瑕疵，则向PLC控制器发送信号，PLC控制器开始计时，待所述齿轮到达传送带末端的第二剔除模块22，即计时结束时使用伸缩推杆将齿轮精准剔除；若顶面检测未发现瑕疵，则合格齿轮继续传送至所述传送带末端。
以上实施方式仅用于说明本发明，而非对本发明的限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行各种组合、修改或者等同替换，都不脱离本发明技术方案的精神和范围，均应涵盖在本发明的权利要求范围当中。

Claims (9)

1.一种基于改进YOLOv5网络的齿轮缺陷视觉检测方法，其特征在于，包括以下步骤：
S1、采集图像数据：采集缺陷齿轮表面图像，并对图像进行预处理，得到缺陷齿轮图像；
S2、构建样本数据集：对缺陷齿轮图像中的缺陷类型进行标注并作为标签，以缺陷齿轮图像以及对应的标签构建缺陷齿轮的样本数据集；
S3、获取预训练模型：利用步骤S2中获得的样本数据集训练YOLOv5网络模型，获取YOLOv5网络模型的权重参数；
S4、检测模型改进：对YOLOv5网络模型改进，加入卷积注意力机制模块和重复加权双向特征金字塔网络，得到改进YOLOv5网络模型；
S5、模型构建，将步骤S3获得的权重参数迁移到改进YOLOv5网络模型中，之后利用步骤S2中获得的样本数据集对改进YOLOv5网络模型进行训练，获得适用于齿轮缺陷检测的权重参数，完成齿轮缺陷检测模型构建；
S6、缺陷检测，采集待检测的齿轮图像，并按照步骤S1的预处理方式进行预处理，得到待检测齿轮图像，将待检测齿轮图像输入到齿轮缺陷检测模型中进行缺陷检测识别；
步骤S4中，对YOLOv5网络模型改进的具体方式如下：
（1）将YOLOv5网络模型的C3模块中的最后一个标准卷积模块Conv换成CBAM模块形成CBAMC3模块；
（2）将重复BiFPN结构添加到YOLOv5网络模型中，与Concat方法结合形成Concat_BiFPN模块。
2.根据权利要求1所述基于改进YOLOv5网络的齿轮缺陷视觉检测方法，其特征在于：步骤S2中，样本数据集构建方法如下：
S2.1、步骤S1中得到的所有缺陷齿轮图像构成数据集，对数据集中所有图像进行随机操作获得新图像，扩大数据集；随机操作类型包括翻转、旋转、平移、添加噪声及缩放中的任意一种或者多种组合；
S2.2、对扩大后数据集中图像的缺陷类型进行标注，形成标签，构建样本数据集；
S2.3、将样本数据集分为训练集和测试集。
3.根据权利要求2所述基于改进YOLOv5网络的齿轮缺陷视觉检测方法，其特征在于：步骤S2.3中，使用LabelImg工具对齿轮缺陷图像进行标记，获得与图像样本一一对应的xml文件，作为样本。
4.根据权利要求1所述基于改进YOLOv5网络的齿轮缺陷视觉检测方法，其特征在于：步骤S2中，所述齿轮的缺陷类别包括崩角、碰伤和划伤。
5.根据权利要求1所述基于改进YOLOv5网络的齿轮缺陷视觉检测方法，其特征在于：步骤S4中，所述CBAM模块包含两个独立的子模块，分别为通道注意力模块CAM和空间注意力模块SAM，其中CAM模块对输入的特征图进行通道上的处理，SAM模块对输入的特征图进行空间上的处理。
6.根据权利要求1所述基于改进YOLOv5网络的齿轮缺陷视觉检测方法，其特征在于：步骤S4中，所述重复BiFPN结构是指将BiFPN模块视作一个基本单元，重复堆叠，将一对路径视为一个特征层，然后重复多次以得到更多高层特征融合。
7.一种基于改进YOLOv5网络的齿轮缺陷视觉检测***，其特征在于，包括：
传送带机构，包括按照传输顺序先后设置的第一传送带和第二传送带，其中第一传送带的高度高于第二传送带；
图像采集模块，包括第一检测模块和第二检测模块，其中第一检测模块设于第一传送带上方，用于拍摄并检测工件正面及侧面，第二检测模块设于第二传送带上方，用于拍摄并检测工件反面；
电磁翻转机构，设于第一传送带和第一传送带之间，用于将第一传送带传送过来的齿轮反面后落入到第二传送带上；
识别控制模块，包括内置权利要求1-6任意一项所述齿轮缺陷视觉检测方法中的齿轮缺陷检测模型的控制器；
剔除机构，包括设于第一传送带尾端的第一剔除模块和设于第二传送带尾端的第二剔除模块，其中剔除机构设于传送带机构上且图像采集模块之后；
所述控制器用于接收图像采集模块采集的齿轮图像数据，通过齿轮缺陷检测模型识别后控制剔除机构动作剔除相应的缺陷齿轮。
8.根据权利要求7所述的齿轮缺陷视觉检测***，其特征在于：所述电磁翻转机构包括旋转体和用于驱动旋转体转动的旋转机构，所述旋转体上设有至少一个电磁吸附面，每个电磁吸附面上设有一个用于吸附齿轮的电磁铁；第一传送带和第二传送带之间的高度差大于所述旋转体的所需旋转空间，当电磁吸附面旋转至顶部与第一传送带对接时，该面上的电磁体得电产生吸附力将齿轮吸附；当该电磁吸附面随着旋转体旋转至底部与第二传送带对接时，齿轮完成反面，相应电磁铁失电，反面后的齿轮落在第二传送带上。
9.根据权利要求8所述的齿轮缺陷视觉检测***，其特征在于：所述旋转体为正多面体。
CN202210580509.2A 2022-05-26 2022-05-26 基于改进YOLOv5网络的齿轮缺陷视觉检测方法及*** Active CN114677597B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210580509.2A CN114677597B (zh) 2022-05-26 2022-05-26 基于改进YOLOv5网络的齿轮缺陷视觉检测方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210580509.2A CN114677597B (zh) 2022-05-26 2022-05-26 基于改进YOLOv5网络的齿轮缺陷视觉检测方法及***

Publications (2)

Publication Number Publication Date
CN114677597A CN114677597A (zh) 2022-06-28
CN114677597B true CN114677597B (zh) 2022-10-11

Family

ID=82080037

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210580509.2A Active CN114677597B (zh) 2022-05-26 2022-05-26 基于改进YOLOv5网络的齿轮缺陷视觉检测方法及***

Country Status (1)

Country Link
CN (1) CN114677597B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115578365B (zh) * 2022-10-26 2023-06-20 西南交通大学 一种齿轨铁路相邻齿条齿距检测方法及设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113034483A (zh) * 2021-04-07 2021-06-25 昆明理工大学 基于深度迁移学习的烟支缺陷检测方法
WO2021151336A1 (zh) * 2020-09-08 2021-08-05 平安科技（深圳）有限公司 基于注意力机制的道路图像目标检测方法及相关设备
CN113781435A (zh) * 2021-09-10 2021-12-10 常州机电职业技术学院 一种基于yolov5网络的香烟小包外观缺陷检测方法
CN113887588A (zh) * 2021-09-17 2022-01-04 北京科技大学 基于注意力机制和特征加权融合的车辆检测方法及装置
CN114332697A (zh) * 2021-12-19 2022-04-12 西安科技大学 输电线路中多类目标故障检测方法、***、设备及介质
CN114529799A (zh) * 2022-01-06 2022-05-24 浙江工业大学 一种基于改进型yolov5算法的飞机多目标跟踪方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021151336A1 (zh) * 2020-09-08 2021-08-05 平安科技（深圳）有限公司 基于注意力机制的道路图像目标检测方法及相关设备
CN113034483A (zh) * 2021-04-07 2021-06-25 昆明理工大学 基于深度迁移学习的烟支缺陷检测方法
CN113781435A (zh) * 2021-09-10 2021-12-10 常州机电职业技术学院 一种基于yolov5网络的香烟小包外观缺陷检测方法
CN113887588A (zh) * 2021-09-17 2022-01-04 北京科技大学 基于注意力机制和特征加权融合的车辆检测方法及装置
CN114332697A (zh) * 2021-12-19 2022-04-12 西安科技大学 输电线路中多类目标故障检测方法、***、设备及介质
CN114529799A (zh) * 2022-01-06 2022-05-24 浙江工业大学 一种基于改进型yolov5算法的飞机多目标跟踪方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Power Grid Field Violation Recognition Algorithm Based on Enhanced YOLOv5;Wenwen Zhu等;《Journal of Physics: Conference Series》;20220222;第1-10页 *
基于改进YOLOvSs的齿轮表面缺陷检测;仇娇慧 等;《现代制造工程》;20220331;第104-113页 *

Also Published As

Publication number Publication date
CN114677597A (zh) 2022-06-28

Similar Documents

Publication Publication Date Title
CN111325713B (zh) 基于神经网络的木材缺陷检测方法、***及存储介质
CN109239102B (zh) 一种基于cnn的柔性电路板外观缺陷检测方法
CN111014079B (zh) 一种轴承缺陷检测装置及轴承缺陷检测方法
CN102621156B (zh) 基于图像处理的微小零件自动分拣***
CN102226739B (zh) 圆锥滚子轴承滚动体倒装漏装检测装置及检测方法
CN113030108A (zh) 一种基于机器视觉的涂层缺陷检测***与方法
CN104063873A (zh) 一种基于压缩感知的轴套类零件表面缺陷在线检测方法
CN104483320A (zh) 工业脱硝催化剂的数字化缺陷检测装置与检测方法
CN109840900A (zh) 一种应用于智能制造车间的故障在线检测***及检测方法
CN114677597B (zh) 基于改进YOLOv5网络的齿轮缺陷视觉检测方法及***
CN109142509B (zh) 圆钢磁粉探伤方法与装置
CN109724994A (zh) 基于aoi技术的fpc金手指表面缺陷检测***及方法
Neethu et al. Role of computer vision in automatic inspection systems
CN113240647A (zh) 一种基于深度学习的手机外壳后盖缺陷检测方法和***
CN113222901A (zh) 一种基于单阶段钢球表面缺陷检测的方法
CN114252452A (zh) 一种小型回转体外观缺陷和轮廓尺寸在线检测装置及方法
CN111505013A (zh) 基于深度学习的暖边间隔条机器视觉检测装置及方法
CN113916127A (zh) 一种气门导管成品外观视觉检测***及检测方法
CN110728269B (zh) 一种基于c2检测数据的高铁接触网支柱杆号牌识别方法
CN105844282A (zh) 一种运用线扫描相机检测喷油嘴O-Ring缺陷的方法
CN113245222B (zh) 一种三七异物视觉实时检测分拣***及分拣方法
CN111178405A (zh) 一种融合多种神经网络的相似物体识别方法
CN111486790A (zh) 一种电池全尺寸检测方法与装置
CN112598720A (zh) 基于双目拍摄的输送带磨损状态检测方法和***
CN111028250A (zh) 一种实时智能验布方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant