CN111652873A - 基于迁移学习的永磁自卸除铁器弃铁输送带断裂检测方法 - Google Patents

基于迁移学习的永磁自卸除铁器弃铁输送带断裂检测方法 Download PDF

Info

Publication number
CN111652873A
CN111652873A CN202010498373.1A CN202010498373A CN111652873A CN 111652873 A CN111652873 A CN 111652873A CN 202010498373 A CN202010498373 A CN 202010498373A CN 111652873 A CN111652873 A CN 111652873A
Authority
CN
China
Prior art keywords
iron
permanent magnet
discarding
detection
conveyor belt
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010498373.1A
Other languages
English (en)
Inventor
李现国
刘晓
苗长云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin Polytechnic University
Original Assignee
Tianjin Polytechnic University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin Polytechnic University filed Critical Tianjin Polytechnic University
Priority to CN202010498373.1A priority Critical patent/CN111652873A/zh
Publication of CN111652873A publication Critical patent/CN111652873A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Control Of Conveyors (AREA)

Abstract

本发明公开了一种基于迁移学***台，利用Jetson TX2组成永磁自卸除铁器弃铁输送带断裂检测***，检测到弃铁输送带断裂时立刻报警。本发明的方法及***能够有效用于永磁自卸除铁器工作的环境，实现了对现场监控视频的自动分析，故障检测的准确率高，设备布置简便。

Description

基于迁移学习的永磁自卸除铁器弃铁输送带断裂检测方法
技术领域
本发明属于无损检测领域，具体涉及一种基于迁移学习的永磁自卸除铁器弃铁输送带断裂检测方法。
背景技术
永磁自卸除铁器能将混杂在非磁性物料中的铁磁性杂质清除，一般由永磁磁芯、弃铁输送带、减速电机、框架、滚筒等部分组成，配合带式输送机使用，被广泛用于矿山、选煤厂、港口等场合。弃铁输送带是永磁自卸除铁器中的消耗品，经常因各种原因，造成弃铁输送带断裂，若得不到及时处理会导致设备损坏、堆料、停产等事故。
永磁自卸除铁器一般悬挂在物料输送带的上方进行工作，体型相对较小，现有的弃铁输送带断裂检测方法在安装布置、长期使用方面不适于永磁自卸除铁器断裂检测的使用。目前深度学习的特征自动提取技术被人们应用广泛，在视频检测方面也是一项研究热点，借助深度学习技术在输送带检测方面进行应用，可充分挖掘永磁自卸除铁器现有监控设施的潜力，能够及时减少事故的发生，保证作业的正常运行。
发明内容
本发明的目的是提出一种基于迁移学习的永磁自卸除铁器输送带断裂检测方法，解决现有的永磁自卸除铁器弃铁输送带断裂检测方法不精确，检测装置易损坏、安装复杂的问题。
为了解决上述问题，本发明所采用的技术方案如下：
一种基于迁移学习的永磁自卸除铁器弃铁输送带断裂检测方法，具体包含训练阶段和应用阶段两部分，其中训练阶段具体包含以下操作步骤：
步骤1，采用迁移学习方法将ImgeNet数据集上用于图像分类的ResNet18网络结构及参数，运用到弃铁输送带断裂检测ResNet18网络模型的训练阶段；
步骤2，采集永磁自卸除铁器工作场景下的监控视频，将视频转换为图片，根据弃铁输送带断裂检测的实际需求，利用OpenCV中模板匹配技术设定感兴趣区域(RIO)，对除铁器弃铁输送带图像进行匹配分割；
步骤3，将分割好的图片进行旋转、裁剪、亮度变换等方法的扩充分为训练集和测试集；
步骤4，利用训练集训练弃铁输送带断裂检测ResNet18网络，利用测试集测试训练后得到的永磁自卸除铁器弃铁输送带断裂检测模型的实际效果；
步骤5，根据测试后的实际效果，分析是否满足永磁自卸除铁器弃铁输送带断裂检测的实际需求，并做出针对性的调整和改进，并再次执行步骤4，直到达到永磁自卸除铁器输送带断裂检测的实际需求为止，构建最终的永磁自卸除铁器弃铁输送带断裂检测模型。
上述步骤中所述的采用迁移学习方法将ImgeNet数据集上用于图像分类的ResNet18网络结构及参数进行运用以及利用图像变换对数据集扩充，目的是解决弃铁输送带断裂检测ResNet18网络在特征提取时由于样本数量不足而导致学习效果差的问题。
利用OpenCV中模板匹配技术设定RIO区域对除铁器弃铁输送带进行匹配分割，目的是使用弃铁输送带断裂检测ResNet18网络进行特征提取时，减少无关信息干扰，增强图像特征。
应用阶段主要是利用英伟达Jetson TX2嵌入式开发平台和监控摄像头组建永磁自卸除铁器弃铁输送带断裂检测***，实时监测监控区域弃铁输送带是否断裂，包含以下操作步骤：
步骤1，采用TorchScript将弃铁输送带断裂检测ResNet18网络模型转换成C++接口识别的模型；
步骤2，在Jetson TX2上利用Libtorch重新部署基于C++的ResNet18网络模型；
步骤3，利用基于Jetson TX2的永磁自卸除铁器弃铁输送带断裂检测***，实时监测监控区域输送带；
步骤4，检测到输送带断裂时，Jetson TX2立即发送信号给报警器进行报警。
上述步骤中所述的采用TorchScript将弃铁输送带断裂检测ResNet18网络模型转换成C++接口识别的模型，目的是将弃铁输送带断裂检测ResNet18网络部署到Jetson TX2上进行应用时，用来控制Jetson TX2上的GPIO。
本发明的有益效果是：(1)本发明可以有效适用于永磁自卸除铁器的工作环境；(2)本发明利用深度学习技术代替传统手工提取目标特征的过程，利用卷积神经网络获取图像特征，提高了输送带断裂检测准确性和实时性，满足了输送带断裂检测实际需求；(3)本发明可以直接部署于企业的监控服务器终端，利用现有的监控设施不需要添加额外的设备，应用成本低。(4)本发明作为输送带断裂检测方法，受外界环境破坏几率低，大大增加了使用寿命。
附图说明
图1是本发明方法的整体流程图。
图2是本发明方法的模板匹配结果图。
图3是本发明方法的检测结果图
具体实施方式
下面结合附图阐述发明内容的具体实施方式。
本发明提出方法的整体流程如图1所示。本发明的目的是提出一种基于迁移学习的永磁自卸除铁器弃铁输送带断裂检测方法，解决了现有的永磁自卸除铁器弃铁输送带断裂检测方法不精确，检测装置易损坏、安装复杂的问题。
具体包含训练阶段和应用阶段两部分，其中训练阶段包含如下操作步骤：
步骤1，采用迁移学习方法将ImgeNet数据集上用于图像分类的ResNet18网络结构及参数，运用到弃铁输送带断裂检测ResNet18网络模型的训练阶段；
步骤2，采集永磁自卸除铁器工作场景下的监控视频，将视频转换为图片，根据弃铁输送带断裂检测的实际需求，利用OpenCV中模板匹配技术设定感兴趣区域(RIO)，对除铁器弃铁输送带图像进行匹配分割；
步骤3，将分割好的图片进行旋转、裁剪、亮度变换等方法的扩充分为训练集和测试集；
步骤4，利用训练集训练弃铁输送带断裂检测ResNet18网络，利用测试集测试训练后得到的永磁自卸除铁器弃铁输送带断裂检测模型的实际效果；
步骤5，根据测试后的实际效果，分析是否满足永磁自卸除铁器弃铁输送带断裂检测的实际需求，并做出针对性的调整和改进，并再次执行步骤4，直到达到永磁自卸除铁器输送带断裂检测的实际需求为止，构建最终的永磁自卸除铁器弃铁输送带断裂检测模型。
具体的，本发明训练阶段步骤2中所述的利用OpenCV中模板匹配技术设定RIO区域对除铁器输送带进行匹配分割，其特征在于弃铁输送带断裂检测ResNet18网络进行特征提取时，减少无关信息的干扰，增强图像特征。本发明方法的模板匹配结果如图2所示，永磁自卸除铁器工作环境复杂，监控图像中的目标图像小，只有放大目标，增强特征才能保证后续工作的准确性。
具体的，本发明训练阶段步骤1和步骤3中所述的采用迁移学习的方法将ImgeNet数据集上用于图像分类的ResNet18网络结构及参数进行运用以及利用图像变换对数据集扩充，其特征在于用来解决弃铁输送带断裂检测ResNet18网络在特征提取时由于样本数量不足，导致学习效果差的问题。
本发明方法的检测结果如图3所示，本发明能够有效应用于永磁自卸除铁器工作领域中，并且当输送带断裂不明显，图片中仅有裂痕或者输送带松垮等异样时同样能检测出来，显示了该方法的准确性。
应用阶段主要是利用企业的监控组建永磁自卸除铁器输送带断裂检测***，实时监测监控区域输送带是否断裂，当检测到断裂时，触发报警器进行报警，对输送带进行提前处理，防止生产长停顿，预防机器损坏、堆煤等严重事故，其中包含以下操作步骤：
步骤1，采用TorchScript将弃铁输送带断裂检测ResNet18网络模型转换成C++接口识别的模型；
步骤2，在Jetson TX2上利用Libtorch重新部署基于C++的ResNet18网络模型；
步骤3，利用基于Jetson TX2的永磁自卸除铁器弃铁输送带断裂检测***，实时监测监控区域输送带；
步骤4，检测到输送带断裂时，Jetson TX2立即发送信号给报警器进行报警。
具体的，本发明应用阶段步骤1中所述的采用TorchScript将弃铁输送带断裂检测ResNet18网络模型转换成C++接口识别的模型，其特征在于将弃铁输送带断裂检测ResNet18网络部署到Jetson TX2上进行应用时，用来控制Jetson TX2上的GPIO，控制Jetson TX2开发板GPIO需要用C/C++语言进行操作，所以需要先将Python语言的ResNet18模型转换为C++语言的ResNet18模型。
以上对本发明的一个实施例进行了详细说明，而非对本发明的限制，有关技术领域的技术人员在不脱离本发明的精神和范围的情况下，还可以做出各种变换和变化从而可以得到相对应的等同的技术方案，因此所有等同的技术方案均应该归入本发明的专利保护范围。

Claims (4)

1.一种基于迁移学习的永磁自卸除铁器弃铁输送带断裂检测方法，包含训练阶段和应用阶段，其特征在于：
训练阶段采用OpenCV中的模板匹配技术对除铁器弃铁输送带图像进行匹配分割，构建永磁自卸除铁器弃铁输送带断裂图像数据集，利用迁移学习方法训练弃铁输送带断裂检测ResNet18网络模型；
应用阶段采用TorchScript将弃铁输送带断裂检测ResNet18网络模型转换成基于C++的ResNet18网络模型，利用Jetson TX2组成永磁自卸除铁器弃铁输送带断裂检测***，检测到弃铁输送带断裂时立刻报警。
2.如权利要求1中所述的迁移学习方法，其特征在于将ImgeNet数据集上用于图像分类的ResNet18网络结构及参数，运用到弃铁输送带断裂检测ResNet18网络模型的训练阶段。
3.如权利要求1中所述的采用OpenCV中的模板匹配技术对除铁器弃铁输送带图像进行匹配分割，其特征在于能减少无关信息的干扰，增强图像特征。
4.如权利要求1中所述的采用TorchScript将弃铁输送带断裂检测ResNet18网络模型转换成基于C++的ResNet18网络模型，其特征在于将Python语言模型转换成C++语言模型。
CN202010498373.1A 2020-06-04 2020-06-04 基于迁移学习的永磁自卸除铁器弃铁输送带断裂检测方法 Pending CN111652873A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010498373.1A CN111652873A (zh) 2020-06-04 2020-06-04 基于迁移学习的永磁自卸除铁器弃铁输送带断裂检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010498373.1A CN111652873A (zh) 2020-06-04 2020-06-04 基于迁移学习的永磁自卸除铁器弃铁输送带断裂检测方法

Publications (1)

Publication Number Publication Date
CN111652873A true CN111652873A (zh) 2020-09-11

Family

ID=72344657

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010498373.1A Pending CN111652873A (zh) 2020-06-04 2020-06-04 基于迁移学习的永磁自卸除铁器弃铁输送带断裂检测方法

Country Status (1)

Country Link
CN (1) CN111652873A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113221688A (zh) * 2021-04-28 2021-08-06 南京南瑞继保电气有限公司 一种刀闸状态识别方法、装置和存储介质
CN113682762A (zh) * 2021-08-27 2021-11-23 中国矿业大学 基于机器视觉和深度学习的皮带撕裂检测的方法与***

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108510488A (zh) * 2018-03-30 2018-09-07 安徽理工大学 基于残差网络的输送带四种损伤检测方法
CN109740598A (zh) * 2018-12-29 2019-05-10 中国铁道科学研究院集团有限公司基础设施检测研究所 结构化场景下的目标定位方法及装置
CN109879005A (zh) * 2019-04-15 2019-06-14 天津美腾科技有限公司 皮带撕裂检测装置及方法
CN111079511A (zh) * 2019-10-25 2020-04-28 湖北富瑞尔科技有限公司 基于深度学习的文档自动归类及光学字符识别方法及***

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108510488A (zh) * 2018-03-30 2018-09-07 安徽理工大学 基于残差网络的输送带四种损伤检测方法
CN109740598A (zh) * 2018-12-29 2019-05-10 中国铁道科学研究院集团有限公司基础设施检测研究所 结构化场景下的目标定位方法及装置
CN109879005A (zh) * 2019-04-15 2019-06-14 天津美腾科技有限公司 皮带撕裂检测装置及方法
CN111079511A (zh) * 2019-10-25 2020-04-28 湖北富瑞尔科技有限公司 基于深度学习的文档自动归类及光学字符识别方法及***

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张泰源: "TorchScript 如何实现Python -> C++ 代码转换", 《知乎》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113221688A (zh) * 2021-04-28 2021-08-06 南京南瑞继保电气有限公司 一种刀闸状态识别方法、装置和存储介质
CN113221688B (zh) * 2021-04-28 2024-03-19 南京南瑞继保电气有限公司 一种刀闸状态识别方法、装置和存储介质
CN113682762A (zh) * 2021-08-27 2021-11-23 中国矿业大学 基于机器视觉和深度学习的皮带撕裂检测的方法与***

Similar Documents

Publication Publication Date Title
CN109879005B (zh) 皮带撕裂检测装置及方法
CN104535356B (zh) 一种基于机器视觉的卷筒钢丝绳排绳故障监测方法及***
CN110127479B (zh) 一种基于视频分析的电梯门开关异常检测方法
CN111652873A (zh) 基于迁移学习的永磁自卸除铁器弃铁输送带断裂检测方法
CN108280855A (zh) 一种基于Fast R-CNN的绝缘子故障检测方法
CN111127448B (zh) 一种基于孤立森林检测空气弹簧故障的方法
UA88919C2 (ru) Устройство и способ сбора диагностических данных
CN103152558B (zh) 基于场景识别的入侵检测方法
CN105405153B (zh) 智能移动终端抗噪声干扰运动目标提取方法
CN116231504A (zh) 一种升压站远程智能巡检方法、装置及***
CN113128555A (zh) 一种用于列车闸片部件异常检测的方法
CN104680787B (zh) 一种道路拥堵检测方法
JP7469731B2 (ja) 監視システム、監視方法、およびプログラム
CN110969081B (zh) 基于多模块划分的kl散度的输电线路外力破坏检测方法
CN103489179A (zh) 机场跑道异物检测中去除水泥裂缝干扰的方法
CN115049623A (zh) 一种视觉分割分析受电弓轮廓的装置
CN110991286A (zh) 基于卷积神经网络的电铲铲斗缺陷自动识别装置及方法
CN114511551A (zh) 一种基于机器视觉的地面损伤识别***
CN110516551B (zh) 一种基于视觉的巡线位置偏移识别***、方法及无人机
CN110728679A (zh) 一种管接头漏水智能监测方法
Liu et al. Detection of railway tunnel lining based on adaptive background learning
CN112714284A (zh) 一种电力设备检测方法、装置及移动终端
CN110264532A (zh) 基于智能视频识别技术的煤矿井下掘进工作面空顶作业识别方法
CN112465784A (zh) 一种地铁夹钳外观异常检测的方法
CN104504732A (zh) 一种基于关键帧提取的视频内容检索方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200911

WD01 Invention patent application deemed withdrawn after publication