CN113548419A - 基于机器视觉图像识别的皮带撕裂检测方法、装置及*** - Google Patents
基于机器视觉图像识别的皮带撕裂检测方法、装置及*** Download PDFInfo
- Publication number
- CN113548419A CN113548419A CN202110821067.1A CN202110821067A CN113548419A CN 113548419 A CN113548419 A CN 113548419A CN 202110821067 A CN202110821067 A CN 202110821067A CN 113548419 A CN113548419 A CN 113548419A
- Authority
- CN
- China
- Prior art keywords
- belt
- image
- real
- time
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 57
- 238000000034 method Methods 0.000 claims abstract description 43
- 230000006870 function Effects 0.000 claims description 20
- 238000012549 training Methods 0.000 claims description 20
- 238000012545 processing Methods 0.000 claims description 16
- 238000012544 monitoring process Methods 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 10
- 230000011218 segmentation Effects 0.000 claims description 8
- 238000010276 construction Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000004044 response Effects 0.000 claims description 5
- 238000005259 measurement Methods 0.000 claims description 3
- 230000009977 dual effect Effects 0.000 claims description 2
- 230000007613 environmental effect Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 239000000428 dust Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000009191 jumping Effects 0.000 description 2
- 238000006748 scratching Methods 0.000 description 2
- 230000002393 scratching effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003638 chemical reducing agent Substances 0.000 description 1
- 239000003245 coal Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005272 metallurgy Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000009740 moulding (composite fabrication) Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 229910001220 stainless steel Inorganic materials 0.000 description 1
- 239000010935 stainless steel Substances 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
- B65G43/00—Control devices, e.g. for safety, warning or fault-correcting
- B65G43/02—Control devices, e.g. for safety, warning or fault-correcting detecting dangerous physical condition of load carriers, e.g. for interrupting the drive in the event of overheating
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
- B65G15/00—Conveyors having endless load-conveying surfaces, i.e. belts and like continuous members, to which tractive effort is transmitted by means other than endless driving elements of similar configuration
- B65G15/30—Belts or like endless load-carriers
- B65G15/32—Belts or like endless load-carriers made of rubber or plastics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20076—Probabilistic image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Probability & Statistics with Applications (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Mechanical Engineering (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于机器视觉图像识别的皮带撕裂检测方法、装置及***。该皮带撕裂检测方法包括：采集通过线激光辅助的实时皮带表面图像，采用最大类间方差阈值法对实时皮带表面图像进行分割；将分割后的实时皮带表面图像输入预先构建好的深度卷积生成对抗网络，深度卷积生成对抗网络包括生成器模型和鉴别器模型；输出实时皮带表面图像所对应的破损类别概率值，预测皮带图像破损类别。本申请通过线激光辅助采集实时皮带表面图像，能有效降低外部环境因素的干扰；同时鉴别器模型的输出采用多分类softmax函数，以输出类别概率的向量，对皮带破损出现的划痕、划伤及撕裂能够进行准确分类；引入双时间尺度更新规则，使得皮带破损检测实时性更好。
Description
技术领域
本发明属于输送皮带撕裂检测技术领域，更具体地，涉及一种基于机器视觉图像识别的皮带撕裂检测方法、装置及***。
背景技术
作为一种输送效率高、安全可靠、适应性强的输送设备，皮带输送机广泛应用于煤矿、电厂、冶金、港口等领域，为大宗散装物料的输送提供了有效手段。作为输送机的重要组成部分，皮带时常因跑偏、利器划伤、物料卡压等发生纵向撕裂。企业生产中采用的皮带输送机运行速度普遍较快，一旦皮带发生撕裂而不能及时停机或者通知现场工作人员，查明、消除撕裂源，将会导致皮带运输机发生贯穿性撕裂。如果整条皮带撕裂，会造成物料倾洒、损毁减速器和电动机等设备，情况严重时甚至损毁机架结构，威胁现场人员的人身安全，造成巨大的经济损失。
目前，皮带撕裂等异常状态大多通过人工检测或接触式检测设备(传感器)来判断，然而在实际生产中，皮带的各类异常状态在早期阶段较难发现，同时由于人力有限、接触式设备检测精度低，难以实时、精确地监控皮带的实时运行状态，因此待发现皮带有异常时，设备的各项重大损失已经发生、无可挽回。
机器视觉技术作为近年来发展迅速的检测技术，具有简便快捷、信息量大、自动化程度高等优点，能够显著提高检测效率。皮带撕裂前后纹理形状在表面上有显著的差别，特别适合机器视觉图像识别技术来实现皮带纵向撕裂检测。图像处理方法主要包括图像特征提取和图像识别算法两个部分，其中图像的特征提取包括距离特征、像素特征、局部二进制模式和小波变换等；而图像识别算法是依靠机器学习算法来实现，效果比较显著的有支持向量机、神经网络、最近邻算法、高斯混合模型、随机森林和回归模型等等。目前，降低图像特征的维数成为了图像识别的一种常用方法，它能提升模型训练速度，而这个过程极大地依赖专家的经验和反复实验完成的，不仅工作量大，而且很难找到一种最优的图像特征表达，从而影响了图像识别的效果。
中国专利文献《一种输送带纵向撕裂视觉检测方法》(申请公布号：CN 102951426B)公开了一种基于红外CCD相机技术，在弱光条件或无光条件下，由热电探测仪探测输送带由于纵向撕裂产生的温度变化，控制红外CCD相机拍照发现输送带事故，并对输送带进行图像采集与图像分析，检测输送带纵向撕裂事故。由于本方法是通过纵向撕裂产生的温度变化控制相机拍照，受温度影响较大，判断误差较大。
中国专利文献《带式传输机皮带撕裂状态检测方法及检测***》(公开号为CN110171691 A)公开了一种采用平行线激光组识别、判断皮带撕裂状态的检测***，通过识别图像上每条激光线的端点个数判断图像对应处皮带是否出现撕裂异常，实现实时监控皮带运行状态，分析速度大大提高。但是该分析***识别方法简单，仅依据图像上激光线的端点个数判断，准确度不高。此外，判别类别单一，仅能对出现严重撕裂的图像进行识别，并不能实现早期预警。
以上研究尽管能够一定程度实现撕裂皮带检测，但其仅适用于撕裂情形较为严重的皮带，对于皮带轻微划痕、划伤等难以作出准确判断，准确度和识别速度较差，不能满足工业应用的需求。
发明内容
针对现有技术的缺陷，本发明的目的在于提供一种基于机器视觉图像识别的皮带撕裂检测方法、装置及***，旨在解决传统皮带图像检测方法仅适用于撕裂情形较为严重的皮带，对于皮带轻微划痕、划伤等难以作出准确判断，准确度和识别速度较差的问题。
为实现上述目的，第一方面，本发明提供了一种基于机器视觉图像识别的皮带撕裂检测方法，包括如下步骤：
(1)采集通过线激光辅助的实时皮带表面图像，采用最大类间方差阈值法对实时皮带表面图像进行分割；
(2)将分割后的实时皮带表面图像输入预先构建好的深度卷积生成对抗网络；
所述深度卷积生成对抗网络包括生成器模型和鉴别器模型，其构建过程为：
(a)确定通过线激光辅助采集的用于训练的皮带表面图像；采用最大类间方差阈值法对皮带表面图像进行分割；
(b)所述生成器模型利用随机噪声图像进行训练，得到接近真实图像的伪图像；所述伪图像和分割后的皮带表面图像通过所述鉴别器模型进行训练，得到第一皮带破损类别特征，皮带破损类别包括划痕、划伤和撕裂；
(c)利用双时间尺寸更新规则对所述生成器模型和所述鉴别器模型进行迭代更新，当更新后的所述鉴别器模型的损失值趋于稳定时，确定更新后的所述鉴别器模型能够得到的第二皮带破损类别特征，将所述第二皮带破损类别特征通过softmax函数能够计算得到皮带破损类别的概率值；
(3)输出实时皮带表面图像所对应的破损类别概率值，当概率值超过设定值时，预测皮带图像破损类别。
在其中一个实施例中，所述生成器模型定义为G(z)且其梯度为h(g)，
其中，y＝k+1为伪图像类别，m表示输入图像样本，θg为生成器的参数。
在其中一个实施例中，所述鉴别器模型定义为D(y|x)且其梯度h(d)，
其中，j表示类别，y'是期望的类别；y和y'采用独热编码，即若鉴别器输出为第j类别，则其相应位置编码为1，其余位置编码均为0；y＜k+1为前k个类别，y＝k+1为伪图像类别，x(t)表示第t个输入图像样本，G(z(t))表示生成器模型生成的第t个图像样本，θd为鉴别器模型的参数；
所述softmax函数定义如下：
其中，li表示全连接层输入的向量，lj表示为全连接层输出的类别向量，pj表示输出的类别概率，e为自然对数的底数。
在其中一个实施例中，所述双时间尺度更新规则定义为：
hn+1＝βahn(d)+αbhn(g)
其中，a、b分别为鉴别器和生成器更新的学习率，n为迭代次数，按照α:β的比例对生成器模型和鉴别器模型进行迭代更新，其中α:β的取值范围为(0，∞)。
在其中一个实施例中，所述鉴别器模型的损失值采用交叉熵函数表征。
在其中一个实施例中，所述采用最大类间方差阈值法对实时皮带表面图像进行分割，皮带图像灰度级设为0～L-1，分割阈值T为：
其中，δ(T)为类间方差，其取最大值时的T为最佳阈值，此时对图像进行分割。
在其中一个实施例中，所述方法还包括：
根据预测得到的结果，做出实时响应，若检测到皮带正常或者出现划痕，保持皮带正常运行；若出现划伤，启动警告，并不停止皮带运行；若出现撕裂，控制皮带立即停止运行。
第二方面，本发明提供了一种基于机器视觉图像识别的皮带撕裂检测装置，包括图像采集处理单元、远程监控计算机和报警器，所述远程监控计算机分别与所述图像采集处理单元、所述报警器通信相连，其中，
所述图像采集处理单元，安装在皮带中轴线正下方，包括线激光发射器和工业相机，用于采集皮带表面图像；
所述远程监控计算机，用于根据上述所述的基于机器视觉图像识别的皮带撕裂检测方法预测皮带图像破损类别；
所述报警器，用于根据所述远程监控计算机的指令启动报警。
在其中一个实施例中，所述线激光发射器向皮带底面投射一条波长为650nm的红色激光条纹作为辅助测量的结构光，激光线的方向与皮带运动方向垂直；所述工业相机安装在皮带底座中间。
第三方面，本发明提供了一种基于机器视觉图像识别的皮带撕裂检测***，包括：
图像采集分割模块，用于采集通过线激光辅助的实时皮带表面图像，采用最大类间方差阈值法对实时皮带表面图像进行分割；
概率值计算模块，用于将分割后的实时皮带表面图像输入预先构建好的深度卷积生成对抗网络；所述深度卷积生成对抗网络包括生成器模型和鉴别器模型，其构建过程为：(a)确定通过线激光辅助采集的用于训练的皮带表面图像；采用最大类间方差阈值法对皮带表面图像进行分割；(b)所述生成器模型利用随机噪声图像进行训练，得到接近真实图像的伪图像；所述伪图像和分割后的皮带表面图像通过所述鉴别器模型进行训练，得到第一皮带破损类别特征，皮带破损类别包括划痕、划伤和撕裂；(c)利用双时间尺寸更新规则对所述生成器模型和所述鉴别器模型进行迭代更新，当更新后的所述鉴别器模型的损失值趋于稳定时，确定更新后的所述鉴别器模型能够得到的第二皮带破损类别特征，将所述第二皮带破损类别特征通过softmax函数能够计算得到皮带破损类别的概率值；
破损类型预测模块，用于输出实时皮带表面图像所对应的破损类别概率值，当概率值超过设定值时，预测皮带图像破损类别。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，具有如下有益效果：
(1)本发明提供的基于机器视觉图像识别的皮带撕裂检测方法、装置及***，利用线激光辅助采集皮带表面图像，线激光条纹经撕裂口的调制会出现跳跃、断点等，有别于完好皮带表面图像，同时通过线激光辅助采集到的图像对比度高、形状细长，使得对皮带表面撕裂情况的检测只需从对整幅图像的处理转移到对线激光条纹所在区域的处理，降低了环境中粉尘、光照以及皮带表面污渍等对图像中撕裂特征提取的干扰，同时最大限度地减少处理图像的数据量，减少了不必要的冗余计算。
(2)本发明提供的基于机器视觉图像识别的皮带撕裂检测方法、装置及***，将鉴别器模型的输出采用多分类softmax函数，以输出类别概率的向量，能有效对皮带破损出现的划痕、划伤及撕裂进行准确分类。
(3)本发明提供的基于机器视觉图像识别的皮带撕裂检测方法、装置及***，引入双时间尺度更新规则，生成器和鉴别器使用不同的学***衡性，而且能有效提高鉴别器的训练速度，使得皮带破损检测实时性更好。
附图说明
图1为本发明提供的基于机器视觉图像识别的皮带撕裂检测方法流程图；
图2为本发明提供的皮带撕裂检测流程示意图；
图3为本发明提供的基于机器视觉图像识别的皮带撕裂检测装置的结构示意图；
图4为皮带发生纵向撕裂时的图像；
图5为本发明提供的基于机器视觉图像识别的皮带撕裂检测***的架构图。
在图3中，100为皮带，200为托辊，300为支撑架，400为图像采集处理单元，500为报警器，600为远程监控计算机
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明提供的基于机器视觉图像识别的皮带撕裂检测方法，用于解决传统皮带图像检测方法仅适用于撕裂情形较为严重的皮带，对于皮带轻微划痕、划伤等难以作出准确判断，准确度和识别速度较差的问题。
本发明提供了一种基于机器视觉图像识别的皮带撕裂检测方法，利用线激光辅助采集皮带表面图像信息，获取图像保存在计算机中，通过分割提取图像中的特征参数，通过深度卷积生成对抗网络的图像识别方法，实现对生产过程中皮带表面随时出现的破损现象迅速检测。
图1是本发明提供的基于机器视觉图像识别的皮带撕裂检测方法流程图，如图1所示，包括步骤S10、步骤S20和步骤S30，详述如下：
步骤S10，采集通过线激光辅助的实时皮带表面图像，采用最大类间方差阈值法对实时皮带表面图像进行分割。
步骤S20，将分割后的实时皮带表面图像输入预先构建好的深度卷积生成对抗网络；深度卷积生成对抗网络包括生成器模型和鉴别器模型，其构建过程为：(a)确定通过线激光辅助采集的用于训练的皮带表面图像；采用最大类间方差阈值法对皮带表面图像进行分割；(b)生成器模型利用随机噪声图像进行训练，得到接近真实图像的伪图像；伪图像和分割后的皮带表面图像通过鉴别器模型进行训练，得到第一皮带破损类别特征，皮带破损类别包括划痕、划伤和撕裂；(c)利用双时间尺寸更新规则对生成器模型和鉴别器模型进行迭代更新，当更新后的鉴别器模型的损失值趋于稳定时，确定更新后的鉴别器模型能够得到的第二皮带破损类别特征，将第二皮带破损类别特征通过softmax函数能够计算得到皮带破损类别的概率值。
步骤S30，输出实时皮带表面图像所对应的破损类别概率值，当概率值超过设定值时，预测皮带图像破损类别。
具体地，为实现上述目的，本发明为此提供的技术方案流程如图2所示，具体步骤如下：
步骤1，采集线激光辅助的皮带表面图像，并对其中部分图像进行破损类别标注，标签为1、2、3分别表示撕裂、划伤、划痕的特征图像，形成少量的标记数据集和大量的未标记数据集。线激光条纹经撕裂口的调制会出现跳跃、断点等，有别于完好皮带表面图像，同时线激光图像对比度高、形状细长，使得对皮带表面撕裂情况的检测只需从对整幅图像的处理转移到对线激光条纹所在区域的处理，降低了环境中粉尘、光照以及皮带表面污渍等对图像中撕裂特征提取的干扰，同时最大限度地减少处理图像的数据量，减少了不必要的冗余计算。
步骤2，采用最大类间方差阈值法对图像分割，皮带图像灰度级设为0～L-1，i级出现的概率为pi，分割阈值T为：
其中δ(T)为类间方差，其取最大值时的T为最佳阈值，此时对图像进行分割，剔除皮带图像中的不相关信息，图像大小统一调整为64*64像素。
步骤3，构建深度卷积生成式对抗网络
步骤3.1，生成器模型构建：本发明中生成器模型定义为G(z)且其梯度为h(g)，
其中y＝k+1为伪图像类别，m表示输入图像样本，θg为生成器的参数。
将随机噪声向量输入，通过输入层和反卷积层对皮带图像进行上采样特征提取，转化为接近真实图像的伪图像。具体地，输入100维的随机噪声向量，通过全连接层将其转化为214维的向量，使用reshape函数将其转化为4×4×1024的特征图，再通过反卷积层1、2、3、4进行上采样，最终生成64×64×3的皮带特征图像。
步骤3.2，鉴别器模型构建：本发明中鉴别器模型定义为D(y|x)且其梯度h(d)，
其中，j表示类别，y'是期望的类别。y和y'采用独热编码，即若鉴别器输出为第j类别，则其相应位置编码为1，其余位置编码均为0。y＜k+1为前k个类别，y＝k+1为伪图像类别，x(t)表示第t个输入图像样本，G(z(t))表示生成器模型生成的第t个图像样本，θd为鉴别器模型的参数。
将生成器生成的64×64×3的皮带特征图像及分割得到的真实皮带图像，通过卷积层1、2、3、4进行下采样，最终输出4×4×1024的特征图，重塑成4×4×1024维的向量，经过全连接层，使用softmax函数输出传送带破损的划痕、划伤、撕裂、伪图像的概率值，softmax函数定义为
其中li表示全连接层输入的向量，lj表示为全连接层输出的类别向量，pj表示输出的类别概率，e为自然对数的底数，真实图像将被判别为前k个类别，伪图像将被判别为第1+k个类别。
步骤4，训练网络：在鉴别器和生成器模型的训练过程中，引入双时间尺度更新规则对生成器和鉴别器模型进行迭代更新，更新规则定义为hn+1＝βhn(d)+αbhn(g)
其中a、b分别为鉴别器和生成器更新的学习率，n为迭代次数，按照α:β的比例对生成器和鉴别器模型进行迭代更新，其中α:β的取值范围为(0，∞)。具体地，可以以2:1的比例对其进行更新。
D(y|x)的损失值
选用交叉熵函数表征，
当其下降到某一点并趋于稳定，则表明模型已收敛，从中获得划痕、划伤、撕裂的破损特征，预测皮带图像破损类别。
步骤5，根据预测得到的结果，***做出实时响应。若出现撕裂，传送带立即停止；若出现划伤，***发出警告，并不停止；若检测到传送带正常或者出现划痕，***正常运行。
图3是本发明提供的基于视觉图像识别的皮带撕裂检测装置，如图3所示，包括：
图像采集处理单元400、报警器500和远程监控计算机600，远程监控计算机600分别与图像采集处理单元400、报警器500通信相连，图像采集处理单元400安装于皮带100中轴线正下方，光轴垂直于皮带非载物面，用于采集皮带底面的图像，图像采集处理单元400封装在不锈钢壳体内，安装在皮带100下方，报警器500安装在支撑皮带的托辊200的一端，和图像采集处理单元400的距离满足报警信号传输距离要求；远程监控计算机600安装在控制室内。
基于机器视觉图像识别的皮带撕裂检测方法，是在上述装置实施，具体步骤如下：
(1)图像采集处理单元400将皮带表面图像实时地传递给远程监控计算机600，用于撕裂事故的在线检测。包括线激光发射器和工业相机，线激光发射器向皮带底面投射一条波长为650nm的红色激光条纹作为辅助测量的结构光，激光线的方向与皮带运动方向垂直；工业相机安装在皮带底座中间，使用广角定焦镜头尽量获得较大的视场，保证取像范围能够覆盖到整个皮带的横截面。
(2)采用最大类间方差阈值法，设皮带图像灰度级为0～L-1级，令灰度级i所对应的像素为ni，则该图像的像素总数N＝n0+n1+…+nL-1，每个灰度级的概率为
选用合适的阈值T将灰度值分为两类C0和C1，其中C0＝[0，T-1]，C1＝[T，L-1]，根据灰度分布概率可得整幅图的均值
C0和C1的概率分别为：
两个类的均值分别为
则整幅图像的均值为
uT＝ω0u0+ω1u1
因此，类间方差为
δ2＝ω0(un-uT)2+ω1(u1-uT)2＝ω0ω1(u0-u1)2
T从最小灰度值到最大灰度值依次变化，当δ2取得最大值时，此时T即为分割的最佳阈值。以此对采集的图像分割，剔除皮带图像中的不相关信息，增强感兴趣区域。
(3)构建鉴别器模型：输入为64×64×3的皮带图像，经过卷积层1、2、3、4进行下采样，最终输出4×4×1024的特征图，重塑成4×4×1024维的向量，经过全连接层，使用softmax函数输出传送带破损的划痕、划伤、撕裂、伪图像的概率值。
本发明中，类别标签为1，表示撕裂部位的特征，输出撕裂部位的检测结果；类别标签为2，表示划伤部位的特征，输出划伤部位的检测结果；类别标签为3，表示划痕部位的特征，输出划痕部位的检测结果；类别标签为4，表示生成器生成的伪图像的特征，输出伪图像的检测结果。
(4)构建生成器模型：输入一个100维随机噪声向量，通过全连接层，将其转化为16384维的向量，然后使用reshape函数，将其转化为4×4×1024的特征图；通过反卷积层1、2、3、4进行上采样，最终生成64×64×3的皮带图像。
(5)训练网络：在鉴别器和生成器模型的训练过程中，引入双时间尺度更新规则，若模型损失值下降到某一点并趋于稳定，则表明模型已收敛，从中获得划痕、划伤、撕裂的破损特征。根据该网络模型，预测皮带图像破损类别。
(6)根据预测得到的结果，***做出实时响应。若出现撕裂，传送带立即停止；若出现划伤，***发出警告，并不停止；若检测到传送带正常或者出现划痕，***正常运行。
表1皮带撕裂类别
为更好的理解本发明，以下举例说明：
(1)图像采集。当皮带机开启并达到恒定速率时添加线激光光源，CCD相机用来捕获皮带表面的图像，捕获的图像通过数据传输线传输到计算机。如图4所示，为采用图3装置采集的皮带完好、轻微划痕、划伤及撕裂4种状况下的皮带特征图像，每种状况皮带图像均采集800幅，从每种图像中随机抽取50张图像标记，共有200张标记的图像，3000张未标记图像。
(2)采用最大类间方差阈值法对采集的4种图像分割，剔除皮带图像中的不相关信息，增强感兴趣的激光条纹区域，将采集到的图像大小统一调整为64*64像素。
(3)构建生成器模型：其输入是一个100维随机噪声向量，通过全连接层，将其转化为16384维的向量，然后使用reshape函数，将其转化为4×4×1024的特征图；通过反卷积层进行上采样，最终生成64×64×3的皮带图像，其模型结构参见表2。
表2生成器模型结构
(4)构建鉴别器模型：其输入为64×64×3的图像，经过卷积层采样，最终输出4×4×1024的特征图，重塑成4×4×1024维的向量，经过全连接层，使用softmax函数输出传送带破损的划痕、划伤、撕裂、伪图像的概率值，其模型结构参见表3。
表3鉴别器模型结构
(5)根据该网络模型，预测皮带图像破损类别。
(6)根据预测得到的结果，***做出实时响应。表4显示为采集的4种图像识别结果，根据图像特征识别算法自动将其归入相应的类别。根据判别结果，如图4所示，图(a)显示的为完好的皮带，图(b)显示皮带出现划痕，尚不需报警，图(c)显示的为皮带出现划伤，输出报警信号，图(d)显示皮带出现严重撕裂，需控制运输机立即停止运行，预测结果全部准确，符合实际情形。
表4图像识别结果
图5为本发明提供的基于机器视觉图像识别的皮带撕裂检测***的架构图，如图5所示，包括：
图像采集分割模块510，用于采集通过线激光辅助的实时皮带表面图像，采用最大类间方差阈值法对实时皮带表面图像进行分割；
概率值计算模块520，用于将分割后的实时皮带表面图像输入预先构建好的深度卷积生成对抗网络；深度卷积生成对抗网络包括生成器模型和鉴别器模型，其构建过程为：(a)确定通过线激光辅助采集的用于训练的皮带表面图像；采用最大类间方差阈值法对皮带表面图像进行分割；(b)生成器模型利用随机噪声图像进行训练，得到接近真实图像的伪图像；伪图像和分割后的皮带表面图像通过鉴别器模型进行训练，得到第一皮带破损类别特征，皮带破损类别包括划痕、划伤和撕裂；(c)利用双时间尺寸更新规则对生成器模型和鉴别器模型进行迭代更新，当更新后的鉴别器模型的损失值趋于稳定时，确定更新后的鉴别器模型能够得到的第二皮带破损类别特征，将第二皮带破损类别特征通过softmax函数能够计算得到皮带破损类别的概率值。
破损类型预测模块530，用于输出实时皮带表面图像所对应的破损类别概率值，当概率值超过设定值时，预测皮带图像破损类别。
具体地，图5中各个模块的功能可参见前述方法实施例中的详细介绍，在此不做赘述。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于机器视觉图像识别的皮带撕裂检测方法，其特征在于，包括如下步骤：
(1)采集通过线激光辅助的实时皮带表面图像，采用最大类间方差阈值法对实时皮带表面图像进行分割；
(2)将分割后的实时皮带表面图像输入预先构建好的深度卷积生成对抗网络；
所述深度卷积生成对抗网络包括生成器模型和鉴别器模型，其构建过程为：
(a)确定通过线激光辅助采集的用于训练的皮带表面图像；采用最大类间方差阈值法对皮带表面图像进行分割；
(b)所述生成器模型利用随机噪声图像进行训练，得到接近真实图像的伪图像；所述伪图像和分割后的皮带表面图像通过所述鉴别器模型进行训练，得到第一皮带破损类别特征，皮带破损类别包括划痕、划伤和撕裂；
(c)利用双时间尺寸更新规则对所述生成器模型和所述鉴别器模型进行迭代更新，当更新后的所述鉴别器模型的损失值趋于稳定时，确定更新后的所述鉴别器模型能够得到的第二皮带破损类别特征，将所述第二皮带破损类别特征通过softmax函数能够计算得到皮带破损类别的概率值；
(3)输出实时皮带表面图像所对应的破损类别概率值，当概率值超过设定值时，预测皮带图像破损类别。
2.根据权利要求1所述的基于机器视觉图像识别的皮带撕裂检测方法，其特征在于，所述生成器模型定义为G(z)且其梯度为h(g)，
其中，y＝k+1为伪图像类别，m表示输入图像样本，θg为生成器的参数。
3.根据权利要求2所述的基于机器视觉图像识别的皮带撕裂检测方法，其特征在于，所述鉴别器模型定义为D(y|x)且其梯度h(d)，
其中，j表示类别，y′是期望的类别；y和y′采用独热编码，即若鉴别器输出为第j类别，则其相应位置编码为1，其余位置编码均为0；y＜k+1为前k个类别，y＝k+1为伪图像类别，x(t)表示第t个输入图像样本，G(z(t))表示生成器模型生成的第t个图像样本，θd为鉴别器模型的参数；
所述softmax函数定义如下：
其中，li表示全连接层输入的向量，lj表示为全连接层输出的类别向量，pj表示输出的类别概率，e为自然对数的底数。
4.根据权利要求3所述的基于机器视觉图像识别的皮带撕裂检测方法，其特征在于，所述双时间尺度更新规则定义为：
hn+1＝βahn(d)+αbhn(g)
其中，a、b分别为鉴别器和生成器更新的学习率，n为迭代次数，按照人为设定的更新比例α∶β对生成器模型和鉴别器模型进行迭代更新，其中α∶β的取值范围为(0，∞)。
5.根据权利要求1或4所述的基于机器视觉图像识别的皮带撕裂检测方法，其特征在于，所述鉴别器模型的损失值采用交叉熵函数表征。
6.根据权利要求1或4所述的基于机器视觉图像识别的皮带撕裂检测方法，其特征在于，所述采用最大类间方差阈值法对实时皮带表面图像进行分割，皮带图像灰度级设为0～L-1，分割阈值T为：
其中，δ(T)为类间方差，其取最大值时的T为最佳阈值，此时对图像进行分割。
7.根据权利要求1或4所述的基于机器视觉图像识别的皮带撕裂检测方法，其特征在于，所述方法还包括：
根据预测得到的结果，做出实时响应，若检测到皮带正常或者出现划痕，保持皮带正常运行；若出现划伤，启动警告，并不停止皮带运行；若出现撕裂，控制皮带立即停止运行。
8.一种基于机器视觉图像识别的皮带撕裂检测装置，其特征在于，包括图像采集处理单元、远程监控计算机和报警器，所述远程监控计算机分别与所述图像采集处理单元、所述报警器通信相连，其中，
所述图像采集处理单元，安装在皮带中轴线正下方，包括线激光发射器和工业相机，用于采集皮带表面图像；
所述远程监控计算机，用于根据权利要求1～7任意一项所述的基于机器视觉图像识别的皮带撕裂检测方法预测皮带图像破损类别；
所述报警器，用于根据所述远程监控计算机的指令启动报警。
9.根据权利要求8所述的基于机器视觉图像识别的皮带撕裂检测装置，其特征在于，所述线激光发射器向皮带底面投射一条波长为650nm的红色激光条纹作为辅助测量的结构光，激光线的方向与皮带运动方向垂直；所述工业相机安装在皮带底座中间。
10.一种基于机器视觉图像识别的皮带撕裂检测***，其特征在于，包括：
图像采集分割模块，用于采集通过线激光辅助的实时皮带表面图像，采用最大类间方差阈值法对实时皮带表面图像进行分割；
概率值计算模块，用于将分割后的实时皮带表面图像输入预先构建好的深度卷积生成对抗网络；所述深度卷积生成对抗网络包括生成器模型和鉴别器模型，其构建过程为：(a)确定通过线激光辅助采集的用于训练的皮带表面图像；采用最大类间方差阈值法对皮带表面图像进行分割；(b)所述生成器模型利用随机噪声图像进行训练，得到接近真实图像的伪图像；所述伪图像和分割后的皮带表面图像通过所述鉴别器模型进行训练，得到第一皮带破损类别特征，皮带破损类别包括划痕、划伤和撕裂；(c)利用双时间尺寸更新规则对所述生成器模型和所述鉴别器模型进行迭代更新，当更新后的所述鉴别器模型的损失值趋于稳定时，确定更新后的所述鉴别器模型能够得到的第二皮带破损类别特征，将所述第二皮带破损类别特征通过softmax函数能够计算得到皮带破损类别的概率值；
破损类型预测模块，用于输出实时皮带表面图像所对应的破损类别概率值，当概率值超过设定值时，预测皮带图像破损类别。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110821067.1A CN113548419A (zh) | 2021-07-20 | 2021-07-20 | 基于机器视觉图像识别的皮带撕裂检测方法、装置及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110821067.1A CN113548419A (zh) | 2021-07-20 | 2021-07-20 | 基于机器视觉图像识别的皮带撕裂检测方法、装置及*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113548419A true CN113548419A (zh) | 2021-10-26 |
Family
ID=78103584
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110821067.1A Pending CN113548419A (zh) | 2021-07-20 | 2021-07-20 | 基于机器视觉图像识别的皮带撕裂检测方法、装置及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113548419A (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114560259A (zh) * | 2022-03-26 | 2022-05-31 | 太仓武港码头有限公司 | 传送皮带状态监测处理方法、***、设备及存储介质 |
| CN114646564A (zh) * | 2022-05-23 | 2022-06-21 | 河南银金达新材料股份有限公司 | 一种聚酯材料耐磨度检测仪 |
| CN114646563A (zh) * | 2022-05-23 | 2022-06-21 | 河南银金达新材料股份有限公司 | 一种具有金属涂层的聚酯膜表面耐磨度检测方法 |
| CN114772208A (zh) * | 2022-03-31 | 2022-07-22 | 东北大学 | 一种基于图像分割的非接触式皮带撕裂检测***及方法 |
| CN115331157A (zh) * | 2022-09-28 | 2022-11-11 | 山东山矿机械有限公司 | 基于图像处理的输送机异常检测方法及*** |
| CN115583475A (zh) * | 2022-11-03 | 2023-01-10 | 武汉顶力康自动化有限公司 | 一种防止输送带撕裂跑偏的智能控制装置及控制方法 |
| CN116002319A (zh) * | 2023-02-13 | 2023-04-25 | 山东超晟光电科技有限公司 | 一种基于改进YOLOv5的皮带撕裂及使用寿命检测方法 |
| CN116188459A (zh) * | 2023-04-23 | 2023-05-30 | 合肥金星智控科技股份有限公司 | 一种用于皮带撕裂检测的线激光快速识别方法及*** |
| CN118164196A (zh) * | 2024-05-14 | 2024-06-11 | 深圳市铁越电气有限公司 | 一种基于机器视觉的输煤皮带健康状态监测方法及*** |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU2007100506A4 (en) * | 2007-06-13 | 2007-08-02 | Riddell, Stephen Mr | Application of multisensor optical system to cover thickness measurement, cover damage and rip detection for trough conveyor belts |
| JP2019043707A (ja) * | 2017-08-31 | 2019-03-22 | 横浜ゴム株式会社 | コンベヤベルトのモニタリングシステム |
| CN111289529A (zh) * | 2020-02-28 | 2020-06-16 | 瑞思特(珠海)科技有限责任公司 | 一种基于ai智能分析的输送皮带撕裂检测***及检测方法 |
| CN111517092A (zh) * | 2020-06-03 | 2020-08-11 | 太原理工大学 | 一种传动带撕裂检测方法 |
| CN111591715A (zh) * | 2020-05-28 | 2020-08-28 | 华中科技大学 | 一种皮带纵向撕裂检测方法及装置 |
| JP2020169097A (ja) * | 2019-04-03 | 2020-10-15 | Ｊｆｅスチール株式会社 | ベルトコンベアの異常監視装置、異常監視プログラム及び異常監視方法 |
-
2021
- 2021-07-20 CN CN202110821067.1A patent/CN113548419A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU2007100506A4 (en) * | 2007-06-13 | 2007-08-02 | Riddell, Stephen Mr | Application of multisensor optical system to cover thickness measurement, cover damage and rip detection for trough conveyor belts |
| JP2019043707A (ja) * | 2017-08-31 | 2019-03-22 | 横浜ゴム株式会社 | コンベヤベルトのモニタリングシステム |
| JP2020169097A (ja) * | 2019-04-03 | 2020-10-15 | Ｊｆｅスチール株式会社 | ベルトコンベアの異常監視装置、異常監視プログラム及び異常監視方法 |
| CN111289529A (zh) * | 2020-02-28 | 2020-06-16 | 瑞思特(珠海)科技有限责任公司 | 一种基于ai智能分析的输送皮带撕裂检测***及检测方法 |
| CN111591715A (zh) * | 2020-05-28 | 2020-08-28 | 华中科技大学 | 一种皮带纵向撕裂检测方法及装置 |
| CN111517092A (zh) * | 2020-06-03 | 2020-08-11 | 太原理工大学 | 一种传动带撕裂检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 魏雪云等: "《SAR图像处理及应用研究》", 31 December 2019 * |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114560259A (zh) * | 2022-03-26 | 2022-05-31 | 太仓武港码头有限公司 | 传送皮带状态监测处理方法、***、设备及存储介质 |
| CN114772208B (zh) * | 2022-03-31 | 2023-06-23 | 东北大学 | 一种基于图像分割的非接触式皮带撕裂检测***及方法 |
| CN114772208A (zh) * | 2022-03-31 | 2022-07-22 | 东北大学 | 一种基于图像分割的非接触式皮带撕裂检测***及方法 |
| CN114646563A (zh) * | 2022-05-23 | 2022-06-21 | 河南银金达新材料股份有限公司 | 一种具有金属涂层的聚酯膜表面耐磨度检测方法 |
| CN114646564A (zh) * | 2022-05-23 | 2022-06-21 | 河南银金达新材料股份有限公司 | 一种聚酯材料耐磨度检测仪 |
| CN115331157A (zh) * | 2022-09-28 | 2022-11-11 | 山东山矿机械有限公司 | 基于图像处理的输送机异常检测方法及*** |
| CN115331157B (zh) * | 2022-09-28 | 2023-02-17 | 山东山矿机械有限公司 | 基于图像处理的输送机异常检测方法及*** |
| CN115583475A (zh) * | 2022-11-03 | 2023-01-10 | 武汉顶力康自动化有限公司 | 一种防止输送带撕裂跑偏的智能控制装置及控制方法 |
| CN116002319A (zh) * | 2023-02-13 | 2023-04-25 | 山东超晟光电科技有限公司 | 一种基于改进YOLOv5的皮带撕裂及使用寿命检测方法 |
| CN116188459A (zh) * | 2023-04-23 | 2023-05-30 | 合肥金星智控科技股份有限公司 | 一种用于皮带撕裂检测的线激光快速识别方法及*** |
| CN116188459B (zh) * | 2023-04-23 | 2023-09-15 | 合肥金星智控科技股份有限公司 | 一种用于皮带撕裂检测的线激光快速识别方法及*** |
| CN118164196A (zh) * | 2024-05-14 | 2024-06-11 | 深圳市铁越电气有限公司 | 一种基于机器视觉的输煤皮带健康状态监测方法及*** |
| CN118164196B (zh) * | 2024-05-14 | 2024-07-09 | 深圳市铁越电气有限公司 | 一种基于机器视觉的输煤皮带健康状态监测方法及*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113548419A (zh) | 基于机器视觉图像识别的皮带撕裂检测方法、装置及*** | |
| CN111179250B (zh) | 一种基于多任务学习的工业品缺陷检测*** | |
| You et al. | Machine vision based adaptive online condition monitoring for milling cutter under spindle rotation | |
| CN113436157A (zh) | 一种用于受电弓故障的车载图像识别方法 | |
| CN111652295A (zh) | 一种铁路货车钩尾销托梁脱落故障识别方法 | |
| CN114972316A (zh) | 基于改进YOLOv5的电池壳端面缺陷实时检测方法 | |
| CN111899219A (zh) | 一种输电线路机巡的图像识别方法及*** | |
| CN114772208B (zh) | 一种基于图像分割的非接触式皮带撕裂检测***及方法 | |
| CN115690101A (zh) | 缺陷检测方法、装置、电子设备、存储介质和程序产品 | |
| CN113516652A (zh) | 电池表面缺陷和粘合剂检测方法、装置、介质和电子设备 | |
| CN117690085A (zh) | 一种视频ai分析***、方法及存储介质 | |
| CN116309407A (zh) | 一种铁路接触网螺栓异常状态的检测方法 | |
| CN114202726A (zh) | 一种基于自监督学习的输电线路场景目标检测方法 | |
| CN114612468A (zh) | 一种基于正样本的设备外部缺陷检测方法 | |
| CN114648738A (zh) | 一种基于物联网与边缘计算的图像识别***与方法 | |
| Hayali et al. | Transfer learning on semantic segmentation for sugar crystal analysis | |
| CN116645371B (zh) | 一种基于特征搜索的钢轨表面缺陷检测方法及*** | |
| CN112233059B (zh) | 基于分割+决策的二阶段残差注意力网络的导光板缺陷检测方法 | |
| Benbarrad et al. | On the Performance of Deep Learning in the Full Edge and the Full Cloud Architectures | |
| CN115984636A (zh) | 一种异物除杂***及方法 | |
| CN111724353A (zh) | 一种基于One-Class SVM的贴片LED瑕疵标注方法 | |
| CN117949455A (zh) | 电能表检测流水线外观检测方法、***、设备及存储介质 | |
| CN117037070A (zh) | 一种井下人车的自动识别*** | |
| CN118172723A (zh) | 一种基于视觉识别的巡检机器人脱轨检测方法及*** | |
| CN117994220A (zh) | 一种公路路面检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20211026 |
|
| RJ01 | Rejection of invention patent application after publication |