CN116385758A - 基于YOLOv5网络对传送带表面损伤的检测方法 - Google Patents
基于YOLOv5网络对传送带表面损伤的检测方法 Download PDFInfo
- Publication number
- CN116385758A CN116385758A CN202310011142.7A CN202310011142A CN116385758A CN 116385758 A CN116385758 A CN 116385758A CN 202310011142 A CN202310011142 A CN 202310011142A CN 116385758 A CN116385758 A CN 116385758A
- Authority
- CN
- China
- Prior art keywords
- model
- conveyor belt
- data
- detection
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 114
- 238000000034 method Methods 0.000 claims abstract description 37
- 238000012360 testing method Methods 0.000 claims abstract description 29
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 8
- 238000004821 distillation Methods 0.000 claims description 18
- 230000006870 function Effects 0.000 claims description 18
- 238000004088 simulation Methods 0.000 claims description 15
- 238000013138 pruning Methods 0.000 claims description 14
- 230000004913 activation Effects 0.000 claims description 10
- 238000005516 engineering process Methods 0.000 claims description 8
- 238000013140 knowledge distillation Methods 0.000 claims description 8
- 230000007547 defect Effects 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000013527 convolutional neural network Methods 0.000 claims description 6
- 230000006978 adaptation Effects 0.000 claims description 5
- 238000005520 cutting process Methods 0.000 claims description 5
- 230000000694 effects Effects 0.000 claims description 5
- 238000009826 distribution Methods 0.000 claims description 4
- 230000004927 fusion Effects 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 3
- 238000004519 manufacturing process Methods 0.000 claims description 3
- 238000007500 overflow downdraw method Methods 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 238000013136 deep learning model Methods 0.000 abstract description 4
- 239000000523 sample Substances 0.000 description 42
- 238000010586 diagram Methods 0.000 description 7
- 238000010606 normalization Methods 0.000 description 2
- 229910000831 Steel Inorganic materials 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Control Of Conveyors (AREA)
Abstract
本发明的涉及一种基于YOLOv5网络对传送带表面损伤的检测方法，其特征在于，包含数据增强方法与目标检测算法，包括下列步骤：S1、数据集建立与处理，S2、模型训练与模型测试，S3、模型部署将测试模型部署到实际检测环境，对传送带损伤进行检测并输出检测结果。本发明提出了一种新型数据增强方案，有效解决了目前深度学习模型在应用于传送带损伤检测时由于没有足够的传送带图像样本导致的无法对模型进行有效训练，从而导致的检测精度低的问题。
Description
技术领域
本发明涉及传送带损伤检测领域，具体为一种基于YOLOv5网络对传送带表面损伤的检测方法。
背景技术
传送带损伤检测目前主要分为人工检测和自动检测两大类，传统的人工检测方法需要定期在机器空载状态下对传送带表面进行检查，这种检测方法受限于检测的时间与工人检测的准确率，难以及时、准确且稳定的检测出传送带表面的损伤。而目前的自动检测方法主要分为X射线检测法，电磁检测法、超声波检测法。X射线检测法使用X光机对传送带进行拍摄，通过得到的传送带钢芯X光图来判断皮带是否发生撕裂、绳芯抽动等异常；电磁检测法通过在传送带内部每隔一段距离安装金属传感器线圈，通过传送带两侧的信号接收器与发射器检测电磁信号，并对信号进行定量分析，实现对传送带的撕裂检测；超声波检测法需要在传送带两端安装发射探头与接收探头，通过检测接收器收到的回波信号强弱和信号持续时间的长短判断传送带是否发生了撕裂事故。
目前的自动化传送带损伤检测方法通过使用专业的设备对传送带进行检测，具有较高的准确度和实时性，但同时也存在着设备价格昂贵、部署困难、检测损伤类型单一或无法对发生的损伤进行分类的不足。
申请号为CN 202110687855.6的专利给出了一种基于机器视觉的传送带检测算法，该专利提供了一种基于传送带RGB图像的检测方法，通过将传送带与背景分离与阈值分割等操作将传送带部位提取出来，然后对于撕裂等异常图像进行区域性识别特征，对于满足设定阈值的则认定为撕裂。
申请号CN202010859991.4的专利提出了一种皮带检测***，通过对图像采集装置采集到的皮带图像进行检测，判断皮带接头部位特征值是否大于标准值，从而实现对传送带接头部位的损伤检测。上述各方案存在如下缺点：
1.没有解决传送带损伤样本数量不足的问题，所提出算法依旧是针对数量极其有限的样本进行检测，算法泛化能力及鲁棒性较差；
2.基于阈值分割的机器视觉处理方法受图像成像质量影响较大，当工作环境光照条件改变较大或存在灰尘时，都会对检测结果产生较大影响；
3.对传送带损伤类型的检测较为单一，只能检测形状与模式相似的损伤，无法做到对不同种类及形状的损伤部位进行智能化检测。
发明内容
本发明的目的是针对以往在工业应用中基于深度学习的检测模型存在的检测精度低、速度慢的问题，提供一种基于YOLOv5网络对传送带表面损伤的检测方法。
本发明的目的是这样实现的。
本发明的一种基于YOLOv5网络对传送带表面损伤的检测方法，其特征在于，包含数据增强方法与目标检测算法，包括下列步骤：
S1、数据集建立与处理
采集原始传送带的图像，对传送带表面划伤和边缘缺损两种损伤部位进行标注，生成原始传送带损伤图像数据，使用GAN生成新的传送带划伤样本并将其粘贴到传送带背景图像中从而生成新的传送带损伤图像数据样本,此外，还通过对原始图像进行翻转、裁切、遮挡的操作生成另一部分传送带损伤样本增强数据，将以上三部分图像数据汇总生成最终的传送带损伤数据集，将数据集按照8：2的比例划分为训练集和测试集两部分；
S2、模型训练与模型测试
S2.1模型训练
使用模型剪枝技术对YOLOv5检测模型进行模型轻量化处理得到轻量化检测模型YOLOv5-Lite，然后再在模型训练的过程中引入一种基于细粒度特征模拟的知识蒸馏策略，得到训练好的YOLOv5-Lite检测模型，将训练好的YOLOv5-Lite检测模型保存至权重参数文件中；
S2.2模型测试
使用测试集数据对经过剪枝和蒸馏训练后的YOLOv5-Lite检测模型进行测试，得到测试模型；
S3、模型部署
将测试模型部署到实际检测环境，对传送带损伤进行检测并输出检测结果。
优选地，所述的S1中的数据集建立与处理，首先通过可见光摄像头对传送带上表面进行拍摄，并将拍摄所得视频逐帧进行提取获得图像数据；然后手动对需要检测的部位进行标注，得到划伤样本数据和边缘缺损样本数据，标注完成后将划伤样本数据输入GAN网络生成新的传送带划伤样本数据，GAN包括生成器G与判别器D两部分，生成器负责生成与真实样本相似的新样本，判别器负责判断输入的样本是真实数据还是由生成器生成的虚拟数据，在博弈过程中，生成器G希望减少V的值让自己生成的分布无法识别，而判别器D希望增大V的值让自己可以高效的判别出数据的真假类别，则V(G，D)的表达式为
式中E表示真实数据x和噪声数据z的数学期望。
优选地，使用在GAN的基础上将CNN(Convolutional Neural Network)与GAN相结合的DCGAN网络，DCGAN的生成器网络结构，其判别器网络结构本质上是生成器网络结构的镜像，DCGAN在GAN的基础上使用分步卷积代替池化层，并在生成器和判别器中都使用BatchNormalization来优化学习效率，在生成器中使用ReLU激活函数，在判别其中使用LeakyReLU激活函数，提高DCGAN网络的计算速度。
优选地，使用DCGAN生成新的传送带划伤样本时，首先生成一组随机噪声并将其传入生成网络，生成网络生成传送带划伤样本并与真实划伤样本一同送入判别器，判别器则对传入的数据进行识别，分辨出当前数据是来源于真实数据还是生成的数据。经过不断迭代与更新后使生成器生成的划伤图像接近于真实划伤图像。
优选地，将所述的传送带划伤样本作为前景图像，以传送带图像作为背景图像，将前景图像粘贴到背景中生成新的传送带损伤样本，然后使用泊松融合的方法使边界处的变化减小，而这个变化最小的解就是泊松等式的解；
优选地，式中f表示融合后的结果图，
是其梯度，v是原图像的梯度。f*是目标图像，Ω是原图，/>
是图像边界。
所述的S2.1中使用模型剪枝技术对YOLOv5检测模型进行模型轻量化处理，通过将YOLOv5网络中BN(BatchNormalization)层激活值小于阈值的通道裁剪掉以减少模型参数量，生成剪枝后的轻量级YOLOv5-Lite检测模型，达到加快模型推理速度的效果。
优选地，所述的S2.1中使用模型剪枝技术对YOLOv5检测模型进行模型轻量化处理，通过将YOLOv5网络中BN(BatchNormalization)层激活值小于阈值的通道裁剪掉以减少模型参数量，生成剪枝后的轻量级YOLOv5-Lite检测模型，达到加快模型推理速度的效果。
优选地，所述的S2.1中在模型训练的过程中引入一种基于细粒度特征模拟的知识蒸馏策略，得到训练好的YOLOv5-Lite检测模型，是以YOLOv5m为教师模型，剪枝后的轻量化网络YOLOv5-Lite为学生模型进行蒸馏训练，首先根据传送带损伤数据集中损伤部位生成细粒度特征模拟掩码，掩码包含了损伤部位的位置信息；
在模型训练的过程中，首先使用训练集对教师模型进行训练，将其训练至检测精度达到较高水平后，保存教师模型的权重文件。然后进行蒸馏训练，将训练集数据经过图像缩放后同时输入教师模型与学生模型，在训练过程中，学生模型通过特征图适应操作调整特征图大小，并结合细粒度特征掩码与教师模型的特征图计算模拟损失，其计算公式如下：
定义s为学生模型的引导特征图，t为相应教师模型特征图。对于宽度为W高度为H的特征图上的每个接近目标锚点位置(i，j)，学生模型与教师模型间的损失函数为：
结合掩码信息I，得到模拟损失函数：
其中Np为掩码中的正点数，fadap(·)为适应函数，统一特征图的大小；
与此同时，学生模型根据真实标签数据进行训练并计算学生模型损失。通过引入平衡因子λ对蒸馏损失与学生损失进行加权，得到最终学生模型的损失函数为：
L＝Lgt+λLimitation (6)
式中Lgt为学生模型在真实数据上的检测损失，λ为模拟损失的权重因子；
蒸馏训练完成后，保存学生模型的权重参数文件。
将测试模型部署到实际检测环境，对传送带损伤进行检测并输出检测结果，具体步骤如下：
在模型训练及测试完成后，实际部署到生产环境中时，通过可见光摄像机对传送带上表面持续拍摄，并将视频数据传输到上位机，上位机将视频数据进行逐帧提取，并将每帧图像输入到已经训练好的检测模型YOL0v5-Lite中，检测模型加载此前训练好的权重文件和图像数据对传送带损伤进行检测，若检测到图像中存在损伤部位则做出报警并输出检测结果，然后结束检测，若图像中不存在损伤部位，则检测结束。
与现有技术相比，本发明的有益效果为：
本发明提出了一种新型数据增强方案，有效解决了目前深度学习模型在应用于传送带损伤检测时由于没有足够的传送带图像样本导致的无法对模型进行有效训练，从而导致的检测精度低的问题。
针对以往深度学习模型在检测传送带损伤时对于设备运算性能要求较高、检测速度较慢的问题，使用模型剪枝技术减少模型参数量，提高了模型的检测速度，同时也降低了对于设备运算性能的要求。
针对深度学习模型在检测传送带损伤时检测精度低的问题，本发明通过使用知识蒸馏算法，利用检测精度更高的大型模型作为教师模型对检测精度较低的轻量化模型进行蒸馏训练，显著提高了轻量化模型的检测精度，在对传送带损伤进行检测时能够达到97.33％的检测精度。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明传送带损伤检测***示意图。
图2为本发明DCGAN生成器结构示意图。
图3为本发明GAN生成传送带划伤样本过程示意图。
图4为真实划伤样本与生成样本对比图。
图5为传送带损伤样本生成示意图。
图6为模型剪枝流程示意图。
图7为知识蒸馏流程示意图。
图8为传送带损伤检测模型测试流程图。
图9为传送带损伤检测结果示意图。
具体实施方式
下面详细叙述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
为便于理解本发明，下面结合附图以具体实施例对本发明作进一步解释说明，且具体实施例并不构成对本发明实施例的限定。
本领域技术人员应该理解，附图只是实施例的示意图，附图中的部件并不一定是实施本发明所必须的。
本发明的一种基于YOLOv5网络对传送带表面损伤的检测方法，其特征在于，包含数据增强方法与目标检测算法，包括下列步骤：
S1、数据集建立与处理
采集原始传送带的图像，对传送带表面划伤和边缘缺损两种损伤部位进行标注，生成原始传送带损伤图像数据，使用GAN生成新的传送带划伤样本并将其粘贴到传送带背景图像中从而生成新的传送带损伤图像数据样本，此外，还通过对原始图像进行翻转、裁切、遮挡的操作生成另一部分传送带损伤样本增强数据，将以上三部分图像数据汇总生成最终的传送带损伤数据集，将数据集按照8∶2的比例划分为训练集和测试集两部分；
所述的S1中的数据集建立与处理，首先通过可见光摄像头对传送带上表面进行拍摄，并将拍摄所得视频逐帧进行提取获得图像数据；然后手动对需要检测的部位进行标注，得到划伤样本数据和边缘缺损样本数据，标注完成后将划伤样本数据输入GAN网络生成新的传送带划伤样本数据，GAN包括生成器G与判别器D两部分，生成器负责生成与真实样本相似的新样本，判别器负责判断输入的样本是真实数据还是由生成器生成的虚拟数据，在博弈过程中，生成器G希望减少V的值让自己生成的分布无法识别，而判别器D希望增大V的值让自己可以高效的判别出数据的真假类别，则V(G，D)的表达式为
式中E表示真实数据x和噪声数据z的数学期望。
本发明在实施例中具体使用了一种在GAN的基础上将CNN(ConvolutionalNeuralNetworks)与GAN相结合的DCGAN网络，DCGAN的生成器网络结构，如图2所示，其判别器网络结构本质上是生成器网络结构的镜像，DCGAN在GAN的基础上使用分步卷积代替池化层，并在生成器和判别器中都使用BatchNormalization来优化学习效率，在生成器中使用ReLU激活函数，在判别其中使用LeakyReLU激活函数，提高DCGAN网络的计算速度，避免产生梯度消失的问题。
如图3所示，使用DCGAN生成新的传送带划伤样本时，首先生成一组随机噪声并将其传入生成网络，生成网络生成传送带划伤样本并与真实划伤样本一同送入判别器，判别器则对传入的数据进行识别，分辨出当前数据是来源于真实数据还是生成的数据，经过不断迭代与更新后使生成器生成的划伤图像接近于真实划伤图像。如图4所示，图4中(a)为真实划伤样本，(b)为GAN生成划伤样本。
将所述的传送带划伤样本作为前景图像，以传送带图像作为背景图像，将前景图像粘贴到背景中生成新的传送带损伤样本，然后使用泊松融合的方法使边界处的变化减小，而这个变化最小的解就是泊松等式的解；
式中f表示融合后的结果图，
是其梯度，v是原图像的梯度。f*是目标图像，Ω是原图，/>
是图像边界。
图5(a)为直接将划伤样本作为前景图像粘贴到传送带背景图像中的效果，此时前、背景图像之间存在明显灰度值差异。图5(b)为经过泊松融合后的图像，此时前、背景图像之间已无明显灰度值差异。最终如图5(c)所示，在进行泊松融合的基础上对划伤样本进行随机尺度缩放以模拟真实情况中划伤大小分布情况，生成最终的传送带损伤样本。
S2、模型训练与模型测试
S2.1模型训练
使用模型剪枝技术对YOLOv5检测模型进行模型轻量化处理，然后再在模型训练的过程中引入一种基于细粒度特征模拟的知识蒸馏策略，得到训练好的YOLOv5检测模型，将训练好的YOLOv5检测模型保存至权重参数文件中；
如图6所示。所述的S2.1中使用模型剪枝技术对YOL0v5检测模型进行模型轻量化处理，通过将YOLOv5网络中BN(BatchNormalization)层激活值小于阈值的通道裁剪掉以减少模型参数量，生成剪枝后的轻量级YOLOv5-Lite检测模型，达到加快模型推理速度的效果。
如图7所示，所述的S2.1中在模型训练的过程中引入一种基于细粒度特征模拟的知识蒸馏策略，得到训练好的YOLOv5-Lite检测模型，是以YOLOv5m为教师模型，剪枝后的轻量化网络YOLOv5-Lite为学生模型进行蒸馏训练，首先根据传送带损伤数据集中损伤部位生成细粒度特征模拟掩码，掩码包含了损伤部位的位置信息；
在模型训练的过程中，首先使用训练集对教师模型进行训练，将其训练至检测精度达到较高水平后，保存教师模型的权重文件。然后进行蒸馏训练，将训练集数据经过图像缩放后同时输入教师模型与学生模型，在训练过程中，学生模型通过特征图适应操作调整特征图大小，并结合细粒度特征掩码与教师模型的特征图计算模拟损失，其计算公式如下：
定义s为学生模型的引导特征图，t为相应教师模型特征图。对于宽度为W高度为H的特征图上的每个接近目标锚点位置(i，j)，学生模型与教师模型间的损失函数为：
结合掩码信息I，得到模拟损失函数：
其中Np为掩码中的正点数，fadap(·)为适应函数，统一特征图的大小；
与此同时，学生模型根据真实标签数据进行训练并计算学生模型损失。通过引入平衡因子λ对蒸馏损失与学生损失进行加权，得到最终学生模型的损失函数为：
L＝Lgt＋λLimitation (6)
式中Lgt为学生模型在真实数据上的检测损失，λ为模拟损失的权重因子；
蒸馏训练完成后，保存学生模型的权重参数文件。
S2.2模型测试
经过蒸馏训练后，使用测试集数据对经过剪枝和蒸馏训练后的模型YOLOv5-Lite进行测试，结果表明学生网络YOLOv5－Lite在对传送带表面损伤进行检测时能够达到97.33％的精度，相较于未经过蒸馏训练时检测精度提升4.09％。
S3、模型部署
将测试模型部署到实际检测环境，对传送带损伤进行检测并输出检测结果。
模型部署到实际检测环境时工作流程如下：
模型检测传送带表面损伤流程图如图8所示，在模型训练及测试完成后，实际部署到生产环境中时，通过可见光摄像机对传送带上表面持续拍摄，并将视频数据传输到上位机。上位机将视频数据进行逐帧提取，并对图像尺寸进行缩放，调整至640×640像素，然后将每帧图像输入到已经训练好的检测模型YOLOv5-Lite中，检测模型加载此前训练好的权重文件和图像数据对传送带损伤进行检测，若检测到图像中存在损伤部位则做出报警并输出检测结果，然后结束检测，若图像中不存在损伤部位，则检测结束。
传送带损伤检测结果如图9所示，当检测到传送带损伤时，框出图像中传送带的损伤部位，并标明损伤类别。
Claims (8)
1.一种基于YOLOv5网络对传送带表面损伤的检测方法，其特征在于，包含数据增强方法与目标检测算法，包括下列步骤：
S1、数据集建立与处理
采集原始传送带的图像，对传送带表面划伤和边缘缺损两种损伤部位进行标注，生成原始传送带损伤图像数据，使用GAN生成新的传送带划伤样本并将其粘贴到传送带背景图像中从而生成新的传送带损伤图像数据样本,此外，还通过对原始图像进行翻转、裁切、遮挡的操作生成另一部分传送带损伤样本增强数据，将以上三部分图像数据汇总生成最终的传送带损伤数据集，将数据集按照8：2的比例划分为训练集和测试集两部分；
S2、模型训练与模型测试
S2.1模型训练
使用模型剪枝技术对YOLOv5检测模型进行模型轻量化处理得到轻量化检测模型YOLOv5-Lite，然后再在模型训练的过程中引入一种基于细粒度特征模拟的知识蒸馏策略，得到训练好的YOLOv5-Lite检测模型，将训练好的YOLOv5-Lite检测模型保存至权重参数文件中；
S2.2模型测试
使用测试集数据对经过剪枝和蒸馏训练后的YOLOv5-Lite检测模型进行测试，得到测试模型；
S3、模型部署
将测试模型部署到实际检测环境，对传送带损伤进行检测并输出检测结果。
2.根据权利要求1所述的检测方法，其特征在于，所述的S1中的数据集建立与处理，首先通过可见光摄像头对传送带上表面进行拍摄，并将拍摄所得视频逐帧进行提取获得图像数据；然后手动对需要检测的部位进行标注，得到划伤样本数据和边缘缺损样本数据，标注完成后将划伤样本数据输入GAN网络生成新的传送带划伤样本数据，GAN包括生成器G与判别器D两部分，生成器负责生成与真实样本相似的新样本，判别器负责判断输入的样本是真实数据还是由生成器生成的虚拟数据，在博弈过程中，生成器G希望减少V的值让自己生成的分布无法识别，而判别器D希望增大V的值让自己可以高效的判别出数据的真假类别，则V(G，D)的表达式为
式中E表示真实数据x和噪声数据z的数学期望。
3.根据权利要求2所述的检测方法，其特征在于，使用在GAN的基础上，将CNN(Convolutional Neural Network)与GAN相结合的DCGAN网络，DCGAN的生成器网络结构，其判别器网络结构本质上是生成器网络结构的镜像，DCGAN在GAN的基础上使用分步卷积代替池化层，并在生成器和判别器中都使用BatchNormal ization来优化学习效率，在生成器中使用ReLU激活函数，在判别其中使用LeakyReLU激活函数，提高DCGAN网络计算速度。
4.根据权利要求3所述的检测方法，其特征在于，使用DCGAN生成新的传送带划伤样本时，首先生成一组随机噪声并将其传入生成网络，生成网络生成传送带划伤样本并与真实划伤样本一同送入判别器，判别器则对传入的数据进行识别，分辨出当前数据是来源于真实数据还是生成的数据，经过不断迭代与更新后使生成器生成的划伤图像接近于真实划伤图像。
5.根据权利要求4所述的检测方法，其特征在于，将所述的传送带划伤样本作为前景图像，以传送带图像作为背景图像，将前景图像粘贴到背景中生成新的传送带损伤样本，然后使用泊松融合的方法使边界处的变化减小，而这个变化最小的解就是泊松等式的解；
式中f表示融合后的结果图，
是其梯度，v是原图像的梯度。f*是目标图像，Ω是原图，
是图像边界。
6.根据权利要求1所述的检测方法，其特征在于，所述的S2.1中使用模型剪枝技术对YOLOv5检测模型进行模型轻量化处理，通过将YOLOv5网络中BN(BatchNormalization)层激活值小于阈值的通道裁剪掉以减少模型参数量，生成剪枝后的轻量级YOLOv5-Lite检测模型，达到加快模型推理速度的效果。
7.根据权利要求1所述的检测方法，其特征在于，所述的S2.1中在模型训练的过程中引入一种基于细粒度特征模拟的知识蒸馏策略，得到训练好的YOLOv5-Lite检测模型，是以YOLOv5m为教师模型，剪枝后的轻量化网络YOLOv5-Lite为学生模型进行蒸馏训练，首先根据传送带损伤数据集中损伤部位生成细粒度特征模拟掩码，掩码包含了损伤部位的位置信息；
在模型训练的过程中，首先使用训练集对教师模型进行训练，将其训练至检测精度达到较高水平后，保存教师模型的权重文件。然后进行蒸馏训练，将训练集数据经过图像缩放后同时输入教师模型与学生模型，在训练过程中，学生模型通过特征图适应操作调整特征图大小，并结合细粒度特征掩码与教师模型的特征图计算模拟损失，其计算公式如下：
定义s为学生模型的引导特征图，t为相应教师模型特征图。对于宽度为W高度为H的特征图上的每个接近目标锚点位置(i，j)，学生模型与教师模型间的损失函数为：
结合掩码信息I，得到模拟损失函数：
其中Np为掩码中的正点数，fadap(·)为适应函数，统一特征图的大小；
与此同时，学生模型根据真实标签数据进行训练并计算学生模型损失。通过引入平衡因子λ对蒸馏损失与学生损失进行加权，得到最终学生模型的损失函数为：
L＝Lgt+λLimitation (6)
式中Lgt为学生模型在真实数据上的检测损失，λ为模拟损失的权重因子；
蒸馏训练完成后，保存学生模型的权重参数文件。
8.根据权利要求1所述的检测方法，其特征在于，将测试模型部署到实际检测环境，对传送带损伤进行检测并输出检测结果，具体步骤如下：
在模型训练及测试完成后，实际部署到生产环境中时，通过可见光摄像机对传送带上表面持续拍摄，并将视频数据传输到上位机，上位机将视频数据进行逐帧提取，并将每帧图像输入到已经训练好的检测模型YOLOv5-Lite中，检测模型加载此前训练好的权重文件和图像数据对传送带损伤进行检测，若检测到图像中存在损伤部位则做出报警并输出检测结果，然后结束检测，若图像中不存在损伤部位，则检测结束。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310011142.7A CN116385758A (zh) | 2023-01-05 | 2023-01-05 | 基于YOLOv5网络对传送带表面损伤的检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310011142.7A CN116385758A (zh) | 2023-01-05 | 2023-01-05 | 基于YOLOv5网络对传送带表面损伤的检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116385758A true CN116385758A (zh) | 2023-07-04 |
Family
ID=86960403
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310011142.7A Pending CN116385758A (zh) | 2023-01-05 | 2023-01-05 | 基于YOLOv5网络对传送带表面损伤的检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116385758A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117726821A (zh) * | 2024-02-05 | 2024-03-19 | 武汉理工大学 | 一种面向医疗视频中区域遮挡的医护行为识别方法 |
| CN118096768A (zh) * | 2024-04-29 | 2024-05-28 | 山东未来网络研究院(紫金山实验室工业互联网创新应用基地) | 一种基于知识蒸馏的钢板表面缺陷检测方法及*** |
-
2023
- 2023-01-05 CN CN202310011142.7A patent/CN116385758A/zh active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117726821A (zh) * | 2024-02-05 | 2024-03-19 | 武汉理工大学 | 一种面向医疗视频中区域遮挡的医护行为识别方法 |
| CN117726821B (zh) * | 2024-02-05 | 2024-05-10 | 武汉理工大学 | 一种面向医疗视频中区域遮挡的医护行为识别方法 |
| CN118096768A (zh) * | 2024-04-29 | 2024-05-28 | 山东未来网络研究院(紫金山实验室工业互联网创新应用基地) | 一种基于知识蒸馏的钢板表面缺陷检测方法及*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111339882B (zh) | 基于实例分割的输电线路隐患检测方法 | |
| CN113469177B (zh) | 基于深度学习的排水管道缺陷检测方法及*** | |
| CN116385758A (zh) | 基于YOLOv5网络对传送带表面损伤的检测方法 | |
| CN107123111B (zh) | 一种用于手机屏幕缺陷检测的深度残差网络构造方法 | |
| CN109460754B (zh) | 一种水面异物检测方法、装置、设备及存储介质 | |
| CN102221559A (zh) | 基于机器视觉的织物疵点在线自动检测方法及其装置 | |
| CN110992349A (zh) | 一种基于深度学习的地下管道异常自动化定位与识别方法 | |
| CN111401246B (zh) | 一种烟雾浓度检测方法、装置、设备及存储介质 | |
| CN114663346A (zh) | 一种基于改进YOLOv5网络的带钢表面缺陷检测方法 | |
| CN112734739B (zh) | 一种基于注意力机制与ResNet融合的建筑裂缝可视化识别方法 | |
| CN111222478A (zh) | 一种工地安全防护检测方法和*** | |
| CN112967255A (zh) | 一种基于深度学习的盾构管片缺陷类型识别及定位***及其方法 | |
| CN110135446A (zh) | 文本检测方法及计算机存储介质 | |
| CN113313107A (zh) | 一种斜拉桥缆索表面多类型病害智能检测和识别方法 | |
| CN112419261A (zh) | 具有异常点去除功能的视觉采集方法及装置 | |
| CN117252815A (zh) | 基于2d-3d多模态图像的工业零件缺陷检测方法、***、设备及存储介质 | |
| CN109975307A (zh) | 基于统计投影训练的轴承表面缺陷检测***及检测方法 | |
| CN110618129A (zh) | 一种电网线夹自动检测与缺陷识别方法及装置 | |
| CN113487570A (zh) | 基于改进的yolov5x网络模型的高温连铸坯表面缺陷检测方法 | |
| CN117576038A (zh) | 基于YOLOv8网络的织物瑕疵检测方法及*** | |
| CN115830302B (zh) | 一种多尺度特征提取融合配电网设备定位识别方法 | |
| CN117612061A (zh) | 一种用于叠件分离的包裹堆叠状态视觉检测方法 | |
| CN116206155A (zh) | 基于YOLOv5网络的废钢分类识别方法 | |
| CN114694090A (zh) | 一种基于改进PBAS算法与YOLOv5的校园异常行为检测方法 | |
| CN115100546A (zh) | 一种基于mobilenet的电力设备小目标缺陷识别方法及*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |