CN113191234A - 一种基于机器视觉的带式输送机输送带防撕裂方法及装置 - Google Patents
一种基于机器视觉的带式输送机输送带防撕裂方法及装置 Download PDFInfo
- Publication number
- CN113191234A CN113191234A CN202110433359.8A CN202110433359A CN113191234A CN 113191234 A CN113191234 A CN 113191234A CN 202110433359 A CN202110433359 A CN 202110433359A CN 113191234 A CN113191234 A CN 113191234A
- Authority
- CN
- China
- Prior art keywords
- belt
- detection
- conveyor belt
- tearing
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 238000001514 detection method Methods 0.000 claims abstract description 125
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 44
- 230000011218 segmentation Effects 0.000 claims abstract description 31
- 238000012549 training Methods 0.000 claims abstract description 25
- 238000003066 decision tree Methods 0.000 claims abstract description 16
- 238000010801 machine learning Methods 0.000 claims abstract description 15
- 238000004458 analytical method Methods 0.000 claims description 29
- 239000002184 metal Substances 0.000 claims description 26
- 238000004364 calculation method Methods 0.000 claims description 10
- 230000000007 visual effect Effects 0.000 claims description 7
- 230000002776 aggregation Effects 0.000 claims description 5
- 238000004220 aggregation Methods 0.000 claims description 5
- 230000004907 flux Effects 0.000 claims description 4
- 230000002265 prevention Effects 0.000 abstract description 13
- 230000008569 process Effects 0.000 abstract description 13
- 230000007547 defect Effects 0.000 abstract description 7
- 238000011897 real-time detection Methods 0.000 abstract description 7
- 238000010586 diagram Methods 0.000 description 8
- 239000000463 material Substances 0.000 description 5
- 230000015654 memory Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 238000012850 discrimination method Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 239000000428 dust Substances 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005096 rolling process Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 208000033748 Device issues Diseases 0.000 description 1
- 229910000831 Steel Inorganic materials 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000012535 impurity Substances 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
- B65G15/00—Conveyors having endless load-conveying surfaces, i.e. belts and like continuous members, to which tractive effort is transmitted by means other than endless driving elements of similar configuration
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
- B65G43/00—Control devices, e.g. for safety, warning or fault-correcting
- B65G43/02—Control devices, e.g. for safety, warning or fault-correcting detecting dangerous physical condition of load carriers, e.g. for interrupting the drive in the event of overheating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Mechanical Engineering (AREA)
- Control Of Conveyors (AREA)
Abstract
本发明属于机器视觉领域，尤其涉及一种带式输送机输送带防撕裂的方法及装置。通过两路视频图像分别检测输送带输送过程中的划痕和破裂、散落异物，并引入机器学习决策树算法对上述划痕和破裂检测结果、散落异物检测结果进行传送机输送带防撕裂的实时检测和预警，及时输出输送带的缺陷检测结果并使输送机及时停机，从而防止输送带更严重的撕裂，大大降低了经济损失。同时，分别对语义分割算法模型和yolov4‑tiny网络模型进行了改进，有效提高了模型训练和图像检测的准确性，从而提高了输送带防撕裂的检测和预警的准确性。
Description
技术领域
本发明属于机器视觉领域，尤其涉及一种带式输送机输送带防撕裂的方法及装置。
背景技术
大型带式输送机，多用于煤矿，钢厂、码头，带式输送机是工业生产传送运输的重要设备，在输送物料的过程中，因为输送距离远，物料杂质、落料耐磨衬板脱落等因素都能造成输送带撕裂，由于运行距离长，监护人员不能及时发现，输送带的损失较大，导致重大的事故。因此，带式输送机安全防护研究要解决的首要问题便是异物检测和输送带裂痕的检测，如能早期检测出导致输送带撕裂的异物，并作出响应，就能在很大程度上减小输送带撕裂对矿业生产过程的影响。
近年，对带式输送机输送带防撕裂的研究，取得了许多成果。专利文献1(CN211768501U)，公开了一种使用在输送带机上的防输送带撕裂装置，该装置包括支撑装置、物料接触部件、感应接近开关以及辅助感应部件，当输送带机的输送带出现撕裂故障时，该装置发出故障警报并使输送带机停止运行。专利文献2(CN112070117A)，提出了一种输送带撕裂检测方法，该方法包括：获取若干个撕裂输送带图像和若干个正常输送带图像；对获取的撕裂输送带图像和正常输送带图像进行预处理，得到清晰的撕裂输送带图像和正常输送带图像后，将所述清晰的撕裂输送带图像作为正样本，将所述清晰的正常输送带图像作为负样本；提取出所述正样本和所述负样本中的各个图像的哈尔特征，并根据所述哈尔特征构建出若干个弱分类器；将若干个所述弱分类器进行迭代组合，得到若干个强分类器后，将若干个强分类器进行组合得到级联分类器；采用所述级联分类器对实时采集的输送带图像进行识别，以检测出输送带是否发生纵向撕裂。专利文献3(CN111289529A)，提出了一种基于AI智能分析的输送输送带撕裂检测***及检测方法，该***包括补光灯、AI传感器、AI智能分析终端、网络交换机、后台数据操作终端、联动输出控制装置、报警设备和停机保护装置，该检测方法通过离线训练学习形成输送带撕裂特征码，部署到AI智能分析终端，AI智能分析终端实时采集AI传感器的视频图像，采用神经网络学习方法，准确判断输送带裂缝的长度及宽度，当输送带出现撕裂时，能够在最快的时间内输出停机保护信号和报警信号，并根据输送带撕裂检测结果，去控制联动输出控制装置，输出报警信号和停机保护信号，实现远程实时保护和监测输送输送带状态。专利文献4(CN111947927A)，提出了一种基于色度理论的滚动轴承故障检测方法，该方法根据采集到的轴承振动信息，采用色度算法计算轴承的类RGB特征，并采用支持向量数据描述算法SVDD进行分类，实现故障检测。专利文献5(CN111947927A)，提出了一种基于卷积多头自注意力机制的轴承故障检测方法，该方法首先采集故障轴承振动信号，对采集的故障轴承振动信号进行预处理，生成轴承故障数据集；然后构建卷积多头自注意力机制网络并训练，得到轴承故障检测结果。
但是，专利文献1中公开的一种使用在输送带机上的防输送带撕裂装置和专利文献4中公开的滚动轴承故障检测方法都未使用机器学习方法对故障进行预警，从而故障预警的准确性和效率较低，无法满足输送带防撕裂的准确性要求；专利文献2公开的一种输送带撕裂检测方法使用了级联检测方法对故障进行检测，没有使用深度学习方法；专利文献3公开的一种基于AI智能分析的输送输送带撕裂检测***及检测方法仅仅使用神经网络方法判断检测输送带撕裂和撕裂长度，没有涉及防撕裂预警告警。专利文献5中公开的基于卷积多头自注意力机制的轴承故障检测方法是故障轴承振动信号进行处理分类，尚未涉及输送带防撕裂的研究。
鉴于上述问题，本发明提供一种带式输送机输送带撕裂的方法及装置，以克服上述技术问题。
发明内容
针对现有技术的以上缺陷或改进需求，本发明提供一种基于机器视觉的带式输送机输送带防撕裂方法，所述方法包括如下步骤：
S1，采集所述输送机输送带的第一视频图像，基于所述第一视频图像建立输送带划痕和破裂样本图像，利用语义分割算法训练输送带划痕和破裂模型；
S2，采集所述输送机输送带下方散落异物的第二视频图像，基于所述第二视频图像建立散落异物样本图像，利用yolov4-tiny网络算法训练散落异物检测模型；
S3，利用所述输送带划痕和破裂模型实时分析所述第一视频图像得到第一分析结果，利用所述散落异物检测模型实时分析所述第二视频图像得到第二分析结果；
S4，基于机器学习决策树方法训练的模型根据所述第一分析结果和所述第二分析结果实时检测和预警传送机输送带撕裂。
在另一实施方式中，还包括：
所述语义分割算法为FCN语义分割算法。
在另一实施方式中，所述利用语义分割算法训练输送带划痕和破裂模型，还包括：
所述FCN语义分割包括上下文先验层，所述上下文先验层包括聚合模块和由亲和损失监督的上下文先验特征图先验映射；
所述上下文先验层在主干网络的最后***以进行语义分割。
在另一实施方式中，所述利用yolov4-tiny网络算法训练散落异物检测模型，还包括：
所述yolov4-tiny网络具有空间旋转对齐网络，所述yolov4-tiny网络为能适应各个方向目标检测的目标检测网络。
在另一实施方式中，还包括：
将所述yolov4-tiny网络的目标检测算法移植到英伟达Nvidia Jetson XavierNX计算模块，实现所述第二视频图像中异物的检测。
在另一实施方式中，还包括：
利用金属探测器探测溜槽落料口是否有大于磁通值的金属落到输送带，得到金属探测器探测结果；
利用限位开关检测出料口挡板是否有超过限定值，得到限位开关检测结果；
利用压电传感器检测出料口是否有重物落入输送带，得到压电传感器检测结果；
利用激光雷达探测是否有大面积物体挡住出料口，得到激光雷达检测结果。
在另一实施方式中，所述步骤S4还包括：
基于所述第一分析结果、所述第二分析结果、所述金属探测器探测结果、所述限位开关检测结果、所述压电传感器检测结果、所述激光雷达检测结果采用所述机器学习决策树方法训练的模型实时检测和预警传送机输送带撕裂。
在另一实施方式中，还包括：
将所述传送机输送带撕裂的检测和预警信息通过5G模块传到显示终端。
在另一实施方式中，本发明提供一种采用所述的带式输送机输送带防撕裂方法的带式输送机输送带防撕裂装置，所述带式输送机输送带防撕裂装置包括：
安装在溜槽落料口输送带下方横杆上的视觉摄像机；
安装在溜槽落料口输送带下方20cm处的压电传感器；
安装在落料口处的金属探测器；
安装在溜槽落料口金属探测器出口处的限位开关：
安装在溜槽落料口处的激光雷达。
在另一实施方式中，还包括：
所述视觉摄像机的镜头对准输送带方向，得到所述第一视频图像。
本发明提供一种带式输送机输送带防撕裂方法及装置，通过两路视频图像分别检测输送带输送过程中的划痕和破裂、散落异物，并引入机器学习决策树算法对上述划痕和破裂检测结果、散落异物检测结果进行传送机输送带防撕裂的实时检测和预警，及时输出输送带的缺陷检测结果并使输送机及时停机，从而防止输送带更严重的撕裂，大大降低了经济损失。同时，分别对语义分割算法模型和yolov4-tiny网络模型进行了改进，有效提高了模型训练和图像检测的准确性，从而提高了输送带防撕裂的检测和预警的准确性。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例和现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是本发明一个实施例的一种带式输送机输送带防撕裂方法的步骤示意图。
图2是本发明一个实施例的FCN语义分割的上下文先验层结构示意图。
图3是本发明一个实施例的yolov4-tiny算法流程示意图。
图4是本发明一个实施例的一种带式输送机输送带防撕裂装置或***的结构示意图。
图5是本发明一个实施例的一种带式输送机输送带防撕裂装置或***的示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
实施例一：
作为一种实施例，本发明提供一种基于机器视觉的带式输送机输送带防撕裂方法，结合图1所示，所述方法包括如下步骤：
S1，采集所述输送机输送带的第一视频图像，基于所述第一视频图像建立输送带划痕和破裂样本图像，利用语义分割算法训练输送带划痕和破裂模型；需要说明的是，优选的，使用第一摄像机采集所述第一视频图像。示例性的，在溜槽落料口输送带下方的横杆上安装第一摄像机即视觉摄像机，镜头对准输送带方向，如图5所示。
S2，采集所述输送机输送带下方散落异物的第二视频图像，基于所述第二视频图像建立散落异物样本图像，利用yolov4-tiny网络算法训练散落异物检测模型；需要说明的是，优选的，使用第二摄像机采集所述第二视频图像。示例性的，所述第二摄像机安装在输送机输送带下方可以采集散落异物的位置处。
S3，利用所述输送带划痕和破裂模型实时分析所述第一视频图像得到第一分析结果，利用所述散落异物检测模型实时分析所述第二视频图像得到第二分析结果；需要说明的是，优选的，利用改进的FCN实义分割算法对所述第一摄像机的摄像头获取的上方传送输送带图像即第一视频图像进行分析，获取上方语义分割图像，得到第一分析结果。优选的，利用yolov4-tiny轻量化目标检测算法训练落料检测模型，实现对第二摄像机的摄像头获取的下方图像进行检测，检测是否有从上方输送带落下的物料，得到第二分析结果。
S4，基于机器学习决策树方法训练的模型根据所述第一分析结果和所述第二分析结果实时检测和预警传送机输送带撕裂。需要说明的是，优选的，利用决策树判别方法训练模型，对上述获取的数据即所述第一分析结果和所述第二分析结果进行分析，判断和预测出料口异物导致输送带撕裂。同时，由于引入了机器学习决策树方法对最终的模型进行训练和结果分析，从而大大提高了根据划痕和破裂检测结果、散落异物检测结果对传送机输送带防撕裂的实时检测和预警的效率和准确性。
可见，本发明提供的一种带式输送机输送带防撕裂方法，通过两路视频图像分别检测输送带输送过程中的划痕和破裂、散落异物，并引入机器学习决策树算法对上述划痕和破裂检测结果、散落异物检测结果进行传送机输送带防撕裂的实时检测和预警，及时输出输送带的缺陷检测结果并使输送机及时停机，从而防止输送带更严重的撕裂，大大降低了经济损失。
作为一种优选的实施方式，还包括：
所述语义分割算法为FCN语义分割算法。需要说明的是，FCN将传统卷积网络后面的全连接层换成了卷积层，这样网络输出不再是类别而是heatmap；同时为了解决因为卷积和池化对图像尺寸的影响，提出使用上采样的方式恢复。FCN对图像进行像素级的分类，从而解决了语义级别的图像分割(semantic segmentation)问题。与经典的CNN在卷积层之后使用全连接层得到固定长度的特征向量进行分类不同，FCN可以接受任意尺寸的输入图像，采用反卷积层对最后一个卷积层的feature map进行上采样,使它恢复到输入图像相同的尺寸，从而可以对每个像素都产生了一个预测,同时保留了原始输入图像中的空间信息,最后在上采样的特征图上进行逐像素分类。
作为一种优选的实施方式，结合图2所示，所述利用语义分割算法训练输送带划痕和破裂模型，还包括：
所述FCN语义分割包括上下文先验层，所述上下文先验层包括聚合模块和由亲和损失监督的上下文先验特征图先验映射；所述上下文先验层在主干网络的最后***以进行语义分割。
由于卷积层结构的限制，FCN语义分割提供的上下文信息不足，引入上下文先验层，上下文先验层包含一个聚合模块和一个由亲和损失监督的上下文先验特征图先验映射。
结合图2所示，上下文先验层它可以在任何主干网络的最后***以进行语义分割的任务。上下文先验层使用主干网络如resnet50输出的特征图(图中最左边的立体)作为输入。经过聚合模块聚合局部上下文信息之后，送入一个卷积层与sigmoid层进行处理，最后进行reshape得到了上下文先验特征图。Ideal Affinity Map进行监督，学习得到了类内的上下文信息。将他与经过聚合后的特征图相乘后得到富含类内上下文信息的特征图。与此同时，用1-P得到可以得到类间上下文，同样的操作可以得到富含类间上下文信息的特征图。将类间、类内、原图进行连接后上采样，便得到了预测图。
作为一种优选的实施方式，结合图3所示，所述利用yolov4-tiny网络算法训练散落异物检测模型，还包括：
所述yolov4-tiny网络具有空间旋转对齐网络，所述yolov4-tiny网络为能适应各个方向目标检测的目标检测网络。
本发明对yolov4-tiny目标检测网络增加空间旋转对齐网络，得到能适应各个方向目标检测的目标检测网络，具体为：
设计旋转对齐网络，用X表示yolov4-tiny输出的定向检测边框，边界框X由下式定义：
其中(cx,cy)和(δx,δy)是中心点和偏移量预测；(w,h)是尺寸预测；Mr是旋转矩阵；Plt，Prt，Plb和Prb是定向边界框的四个角点。
使用CenterNet作为基准，按照CenterNet的回归任务，使用L1损失进行旋转角度的回归：
其中θ和
分别是目标旋转角和预测旋转角；N是正确样本数。
S203：模型的总体训练目标函数是：
Ldet＝Lk+λsizeLsize+λoffLoff+λangLang， (3)
其中Lk，Lsize和Loff是中心点识别，尺度回归和偏移回归的损失，与CenterNet相同；λsize，λoff和λang是常量，优选的，实验中都设为0.1。
此外，图像的清晰度是衡量图像质量优劣的重要指标，本发明对无参考图像质量评价采用Tenengrad梯度函数。
通过Sobel算子分别提取水平和垂直方向的梯度值，基与Tenengrad梯度函数的图像清晰度定义如下：
D(f′)＝∑y∑x|G(x，y)| (G(x，y)＞T) (4)
G(X，y)的形式如下：
其中：T是给定的边缘检测阈值，Gx和Gy分别是像素点(x，y)处Sobel水平和垂直方向边缘检测算子的卷积，优选的，使用以下的Sobel算子模板来检测边缘：
作为一种优选的实施方式，还包括：
将所述yolov4-tiny网络的目标检测算法移植到英伟达NX计算模块，实现所述第二视频图像中异物的检测。需要说明的是，将改进的yolov4-tiny目标检测算法移植到英伟达NX计算模块，实现对摄像机获取视频图像中异物的检测和输送带撕裂痕迹的检测。优选的，所述英伟达NX计算模块为英伟达Nvidia Jetson Xavier NX计算模块。
作为一种优选的实施方式，参考图5，还包括：
利用金属探测器探测溜槽落料口是否有大于磁通值的金属落到输送带，得到金属探测器探测结果；优选的，在落料口处安装金属探测器。
利用限位开关检测出料口挡板是否有超过限定值，得到限位开关检测结果；优选的，在溜槽落料口金属探测装置出口处安装限位开关。
利用压电传感器检测出料口是否有重物落入输送带，得到压电传感器检测结果；优选的，在溜槽落料口输送带下方20cm处安装压电传感器。
利用激光雷达探测是否有大面积物体挡住出料口，得到激光雷达检测结果。优选的，在溜槽落料口处安装激光雷达。
作为一种优选的实施方式，所述步骤S4还包括：
基于所述第一分析结果、所述第二分析结果、所述金属探测器探测结果、所述限位开关检测结果、所述压电传感器检测结果、所述激光雷达检测结果采用所述机器学习决策树方法训练的模型实时检测和预警传送机输送带撕裂。需要说明的是，结合图1所示，利用决策树判别方法训练模型，对上述获取的所述第一分析结果、所述第二分析结果、所述金属探测器探测结果、所述限位开关检测结果、所述压电传感器检测结果、所述激光雷达检测结果数据进行分析，判断和预测出料口异物导致输送带撕裂。
作为一种优选的实施方式，还包括：
将所述传送机输送带撕裂的检测和预警信息通过5G模块传到显示终端。需要说明的是，可以采用类似的无线传输的方法将各种传感器采集的数据传输到服务器及其显示终端，在此不做赘述。
可见，本发明提供一种带式输送机输送带防撕裂方法，通过两路视频图像分别检测输送带输送过程中的划痕和破裂、散落异物，并引入机器学习决策树算法对上述划痕和破裂检测结果、散落异物检测结果进行传送机输送带防撕裂的实时检测和预警，及时输出输送带的缺陷检测结果并使输送机及时停机，从而防止输送带更严重的撕裂，大大降低了经济损失。同时，分别对语义分割算法模型和yolov4-tiny网络模型进行了改进，有效提高了模型训练和图像检测的准确性，从而提高了输送带防撕裂的检测和预警的准确性。
实施例二：
作为另外一种实施方式，本发明提供一种带式输送机输送带防撕裂装置，该带式输送机输送带防撕裂装置采用上述的带式输送机输送带防撕裂方法，如图5所示，所述带式输送机输送带防撕裂装置包括：
视觉摄像机100，在溜槽装置1000的溜槽落料口下方，安装在输送带2000下方的横杆上；需要说明的是，在溜槽落料口输送带下方的横杆上安装视觉摄像机，镜头对准输送带方向。
压电传感器200，安装在溜槽落料口输送带下方20cm处；
金属探测器300，安装在溜槽落料口处；
限位开关400，安装在溜槽落料口处：
激光雷达500，安装在溜槽落料口处。
作为一种优选的实施方式，还包括：
所述视觉摄像机的镜头对准输送带方向，得到所述第一视频图像。
可见，本发明提供的带式输送机输送带防撕裂装置，结合前述带式输送机输送带防撕裂方法，通过两路视频图像分别检测输送带输送过程中的划痕和破裂、散落异物，并引入机器学习决策树算法对上述划痕和破裂检测结果、散落异物检测结果进行传送机输送带防撕裂的实时检测和预警，及时输出输送带的缺陷检测结果并使输送机及时停机，从而防止输送带更严重的撕裂，大大降低了经济损失。同时，分别对语义分割算法模型和yolov4-tiny网络模型进行了改进，有效提高了模型训练和图像检测的准确性，从而提高了输送带防撕裂的检测和预警的准确性。
实施例三：
作为另一种实施例，本发明提供一种带式输送机输送带防撕裂***，结合图1所示，所述***实现过程包括3个部分，第1部分***设计安装，即对视觉摄像头、金属探测器、激光雷达、压电传感器、限位开关的安装设计；第2部分数据采集和边缘计算；第3部分是数据分析，即采用机器学习方法对各边缘端提供的数据进一步分析，判断是否有异物导致撕裂。
本发明的带式输送机输送带防撕裂***实现过程如下：
在溜槽落料口输送带下方的横杆上安装视觉摄像机，镜头对准输送带方向；
在溜槽落料口输送带下方20cm处安装压电传感器；
在落料口处安装金属探测器；
在溜槽落料口金属探测装置出口处安装限位开关：
在溜槽落料口处安装激光雷达；
利用改进的FCN语义分割算法对摄像头获取的上方传送输送带图像进行分析，获取上方实义分割图像；
利用yolov4-tiny轻量化目标检测算法训练落料检测模型，实现对摄像头获取的下方图像进行检测，检测是否有从上方输送带落下的物料；
利用金属探测器探测溜槽落料口是否有大于磁通值的金属落到输送带；
利用限位开关检测出料口挡板是否有超过限定值；
利用压电传感器检测出料口是否有重物落入输送带；
利用激光雷电探测是否有大面积物体挡住出料口；
利用决策树判别方法训练模型，对上述获取的数据进行分析，判断和预测出料口异物导致输送带撕裂。
可见，本发明该实施例提供一种输送带防撕裂检测预警***，通过训练异物检测模型，实现在视频图像中出料口异物的检测；通过金属探测技术，实现对落料口金属异物的探测；通过激光雷达，实现裸聊口异物形状的探测；通过限位开关，实现对出料口挡板状态的监测。
实施例四：
作为另一种实施例，本发明提供一种基于机器视觉的带式输送机输送带防撕裂***，所述***实现过程有5个部分，第1部分是装置的结构及组成；第2部分是装置的安装；第3部分是视觉算法实现；第4部分是视频及预警告警信息的传输；第5部分是显示终端。
本发明的带式输送机输送带防撕裂***实现过程如下：
一种基于机器视觉的带式输送机输送带防撕裂***包括两路可见光摄像头、NX英伟达模块3003、天线模块3004、去灰尘装置，如图4所示，两路可见光摄像头为第一摄像头3001和第二摄像头3002，NX英伟达模块3003包括计算模块，天线模块3004可以为wifi模块、5G模块；
通过两路摄像头获取传输机输送带视频图像；
利用图像清晰度评价算法对实时视频进行清晰度进行评价，通过清晰度评价参数控制去灰尘刷工作；
对yolov4-tiny网络进行改进，增加空间旋转对齐网络，得到能适应各个方向目标检测网络，利用改进的yolov4-tiny目标检测算法训练输送带撕裂和落料检测模型；
将改进的yolov4-tiny目标检测算法移植到Nvidia Jetson Xavier英伟达模块的计算模块，实现对摄像机获取视频图像中异物的检测和输送带撕裂痕迹的检测；
将检测结果和预警告警信息通过天线模块传到显示终端；
一种基于视觉带式输送机输送带防撕裂装置通常安装在溜槽落料口输送带下方的横杆上。
可见，本发明该实施例提供的一种基于机器视觉的带式输送机输送带防撕裂***，通过边缘计算模块(Nvidia Jetson Xavier NX英伟达模块的计算模块)实时对摄像头获取视频流进行分析，输出缺陷检测结果，产生预警报警，并且使输送机及时停机，防止输送带更严重的撕裂，降低经济损失。
显然，本发明提供的带式输送机输送带防撕裂方法、装置及***，通过两路视频图像分别检测输送带输送过程中的划痕和破裂、散落异物，并引入机器学习决策树算法对上述划痕和破裂检测结果、散落异物检测结果进行传送机输送带防撕裂的实时检测和预警，及时输出输送带的缺陷检测结果并使输送机及时停机，从而防止输送带更严重的撕裂，大大降低了经济损失。同时，分别对语义分割算法模型和yolov4-tiny网络模型进行了改进，有效提高了模型训练和图像检测的准确性，从而提高了输送带防撕裂的检测和预警的准确性。
本技术领域技术人员可以理解，本发明包括涉及用于执行本申请中所述操作中的一项或多项的设备。这些设备可以为所需的目的而专门设计和制造，或者也可以包括通用计算机中的已知设备。这些设备具有存储在其内的计算机程序，这些计算机程序选择性地激活或重构。这样的计算机程序可以被存储在设备(例如，计算机)可读介质中或者存储在适于存储电子指令并分别耦联到总线的任何类型的介质中，所述计算机可读介质包括但不限于任何类型的盘(包括软盘、硬盘、光盘、CD-ROM、和磁光盘)、ROM(Read-Only Memory，只读存储器)、RAM(Random Access Memory，随即存储器)、EPROM(Erasable ProgrammableRead-Only Memory，可擦写可编程只读存储器)、EEPROM(Electrically ErasableProgrammable Read-Only Memory，电可擦可编程只读存储器)、闪存、磁性卡片或光线卡片。也就是，可读介质包括由设备(例如，计算机)以能够读的形式存储或传输信息的任何介质。
本技术领域技术人员可以理解，可以用计算机程序指令来实现这些结构图和/或框图和/或流图中的每个框以及这些结构图和/或框图和/或流图中的框的组合。本技术领域技术人员可以理解，可以将这些计算机程序指令提供给通用计算机、专业计算机或其他可编程数据处理方法的处理器来实现，从而通过计算机或其他可编程数据处理方法的处理器来执行本发明公开的结构图和/或框图和/或流图的框或多个框中指定的方案。
本技术领域技术人员可以理解，本发明中已经讨论过的各种操作、方法、流程中的步骤、措施、方案可以被交替、更改、组合或删除。进一步地，具有本发明中已经讨论过的各种操作、方法、流程中的其他步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。进一步地，现有技术中的具有与本发明中公开的各种操作、方法、流程中的步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种基于机器视觉的带式输送机输送带防撕裂方法，其特征在于，所述方法包括如下步骤：
S1，采集所述输送机输送带的第一视频图像，基于所述第一视频图像建立输送带划痕和破裂样本图像，利用语义分割算法训练输送带划痕和破裂模型；
S2，采集所述输送机输送带下方散落异物的第二视频图像，基于所述第二视频图像建立散落异物样本图像，利用yolov4-tiny网络算法训练散落异物检测模型；
S3，利用所述输送带划痕和破裂模型实时分析所述第一视频图像得到第一分析结果，利用所述散落异物检测模型实时分析所述第二视频图像得到第二分析结果；
S4，基于机器学习决策树方法训练的模型根据所述第一分析结果和所述第二分析结果实时检测和预警传送机输送带撕裂。
2.根据权利要求1所述的带式输送机输送带防撕裂方法，其特征在于，还包括：
所述语义分割算法为FCN语义分割算法。
3.根据权利要求2所述的带式输送机输送带防撕裂方法，其特征在于，所述利用语义分割算法训练输送带划痕和破裂模型，还包括：
所述FCN语义分割包括上下文先验层，所述上下文先验层包括聚合模块和由亲和损失监督的上下文先验特征图先验映射；
所述上下文先验层在主干网络的最后***以进行语义分割。
4.根据权利要求1所述的带式输送机输送带防撕裂方法，其特征在于，所述利用yolov4-tiny网络算法训练散落异物检测模型，还包括：
所述yolov4-tiny网络具有空间旋转对齐网络，所述yolov4-tiny网络为能适应各个方向目标检测的目标检测网络。
5.根据权利要求1所述的带式输送机输送带防撕裂方法，其特征在于，还包括：
将所述yolov4-tiny网络的目标检测算法移植到英伟达Nvidia Jetson Xavier NX计算模块，实现所述第二视频图像中异物的检测。
6.根据权利要求1所述的带式输送机输送带防撕裂方法，其特征在于，还包括：
利用金属探测器探测溜槽落料口是否有大于磁通值的金属落到输送带，得到金属探测器探测结果；
利用限位开关检测出料口挡板是否有超过限定值，得到限位开关检测结果；
利用压电传感器检测出料口是否有重物落入输送带，得到压电传感器检测结果；
利用激光雷达探测是否有大面积物体挡住出料口，得到激光雷达检测结果。
7.根据权利要求6所述的带式输送机输送带防撕裂方法，其特征在于，所述步骤S4还包括：
基于所述第一分析结果、所述第二分析结果、所述金属探测器探测结果、所述限位开关检测结果、所述压电传感器检测结果、所述激光雷达检测结果采用所述机器学习决策树方法训练的模型实时检测和预警传送机输送带撕裂。
8.根据权利要求1所述的带式输送机输送带防撕裂方法，其特征在于，还包括：
将所述传送机输送带撕裂的检测和预警信息通过5G模块传到显示终端。
9.一种带式输送机输送带防撕裂装置，其特征在于，所述带式输送机输送带防撕裂装置采用权利要求1-8任一项所述的带式输送机输送带防撕裂方法进行预警。
10.一种带式输送机输送带防撕裂装置，其特征在于，所述带式输送机输送带防撕裂装置包括：
视觉摄像机，安装在溜槽落料口输送带下方横杆上；
压电传感器，安装在溜槽落料口输送带下方；
金属探测器，安装在落料口处；
限位开关，安装在溜槽落料口处：
激光雷达，安装在溜槽落料口处。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110433359.8A CN113191234A (zh) | 2021-04-22 | 2021-04-22 | 一种基于机器视觉的带式输送机输送带防撕裂方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110433359.8A CN113191234A (zh) | 2021-04-22 | 2021-04-22 | 一种基于机器视觉的带式输送机输送带防撕裂方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113191234A true CN113191234A (zh) | 2021-07-30 |
Family
ID=76978169
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110433359.8A Pending CN113191234A (zh) | 2021-04-22 | 2021-04-22 | 一种基于机器视觉的带式输送机输送带防撕裂方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113191234A (zh) |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| BE797040A (fr) * | 1972-03-20 | 1973-07-16 | Goodrich Co B F | Dispositif pour detecter les dechirures dans les courroies transporteuses |
| CN101231251A (zh) * | 2008-02-18 | 2008-07-30 | 马洪君 | 输送机胶带撕裂的检测装置及方法 |
| JP2010037096A (ja) * | 2008-08-08 | 2010-02-18 | Yokohama Rubber Co Ltd:The | コンベヤベルトの異常検出装置 |
| CN202138835U (zh) * | 2011-06-27 | 2012-02-08 | 武汉钢铁(集团)公司 | 运输皮带防撕裂保护装置 |
| CN102358505A (zh) * | 2011-06-28 | 2012-02-22 | 太原理工大学 | 一种输送带纵向撕裂在线监测预警装置 |
| CN102951426A (zh) * | 2012-11-07 | 2013-03-06 | 太原理工大学 | 一种输送带纵向撕裂视觉检测方法 |
| CN107176432A (zh) * | 2017-06-15 | 2017-09-19 | 西安科技大学 | 一种基于机器视觉的锚杆异物及皮带撕裂检测*** |
| CN107328787A (zh) * | 2017-07-05 | 2017-11-07 | 北京科技大学 | 一种基于深度卷积神经网络的金属板带表面缺陷检测*** |
| WO2019044140A1 (ja) * | 2017-08-31 | 2019-03-07 | 横浜ゴム株式会社 | コンベヤベルトのモニタリングシステム |
| CN110980192A (zh) * | 2019-12-10 | 2020-04-10 | 安徽银河物联通信技术有限公司 | 一种皮带撕裂检测方法 |
| CN111461129A (zh) * | 2020-04-02 | 2020-07-28 | 华中科技大学 | 一种基于上下文先验的场景分割方法和*** |
| CN112396116A (zh) * | 2020-11-24 | 2021-02-23 | 武汉三江中电科技有限责任公司 | 一种雷电检测方法、装置、计算机设备及可读介质 |
| CN112613438A (zh) * | 2020-12-29 | 2021-04-06 | 华南农业大学 | 一种便携式柑橘在线测产仪 |
-
2021
- 2021-04-22 CN CN202110433359.8A patent/CN113191234A/zh active Pending
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| BE797040A (fr) * | 1972-03-20 | 1973-07-16 | Goodrich Co B F | Dispositif pour detecter les dechirures dans les courroies transporteuses |
| CN101231251A (zh) * | 2008-02-18 | 2008-07-30 | 马洪君 | 输送机胶带撕裂的检测装置及方法 |
| JP2010037096A (ja) * | 2008-08-08 | 2010-02-18 | Yokohama Rubber Co Ltd:The | コンベヤベルトの異常検出装置 |
| CN202138835U (zh) * | 2011-06-27 | 2012-02-08 | 武汉钢铁(集团)公司 | 运输皮带防撕裂保护装置 |
| CN102358505A (zh) * | 2011-06-28 | 2012-02-22 | 太原理工大学 | 一种输送带纵向撕裂在线监测预警装置 |
| CN102951426A (zh) * | 2012-11-07 | 2013-03-06 | 太原理工大学 | 一种输送带纵向撕裂视觉检测方法 |
| CN107176432A (zh) * | 2017-06-15 | 2017-09-19 | 西安科技大学 | 一种基于机器视觉的锚杆异物及皮带撕裂检测*** |
| CN107328787A (zh) * | 2017-07-05 | 2017-11-07 | 北京科技大学 | 一种基于深度卷积神经网络的金属板带表面缺陷检测*** |
| WO2019044140A1 (ja) * | 2017-08-31 | 2019-03-07 | 横浜ゴム株式会社 | コンベヤベルトのモニタリングシステム |
| CN110980192A (zh) * | 2019-12-10 | 2020-04-10 | 安徽银河物联通信技术有限公司 | 一种皮带撕裂检测方法 |
| CN111461129A (zh) * | 2020-04-02 | 2020-07-28 | 华中科技大学 | 一种基于上下文先验的场景分割方法和*** |
| CN112396116A (zh) * | 2020-11-24 | 2021-02-23 | 武汉三江中电科技有限责任公司 | 一种雷电检测方法、装置、计算机设备及可读介质 |
| CN112613438A (zh) * | 2020-12-29 | 2021-04-06 | 华南农业大学 | 一种便携式柑橘在线测产仪 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Akagic et al. | Pavement crack detection using Otsu thresholding for image segmentation | |
| CN110390691B (zh) | 一种基于深度学习的矿石尺度测量方法及应用*** | |
| Deng et al. | Concrete crack detection with handwriting script interferences using faster region‐based convolutional neural network | |
| CN106373430B (zh) | 一种基于计算机视觉的交叉路口通行预警方法 | |
| CN104535356B (zh) | 一种基于机器视觉的卷筒钢丝绳排绳故障监测方法及*** | |
| Hadjidemetriou et al. | Automated detection of pavement patches utilizing support vector machine classification | |
| CN113436157B (zh) | 一种用于受电弓故障的车载图像识别方法 | |
| CN112001878A (zh) | 基于二值化神经网络的深度学习矿石尺度测量方法及应用*** | |
| CN111369538B (zh) | 一种基于深度卷积神经网络的传输机胶带跑偏检测方法 | |
| CN110519566B (zh) | 一种基于视频处理的皮带运动状态监测方法 | |
| CN111161292A (zh) | 一种矿石尺度测量方法及应用*** | |
| CN113184483B (zh) | 一种输送带防撕裂***及预警方法 | |
| CN116188459B (zh) | 一种用于皮带撕裂检测的线激光快速识别方法及*** | |
| CN109117702A (zh) | 目标车辆的检测与跟踪计数方法及*** | |
| CN114740086A (zh) | 一种单轨吊轨道缺陷检测方法 | |
| CN115082850A (zh) | 基于计算机视觉的模板支架安全风险识别方法 | |
| CN111723708A (zh) | 一种基于深度学习的厢式货车厢门状态识别装置与*** | |
| CN115082849A (zh) | 基于深度学习的模板支架安全智能监测方法 | |
| CN113191234A (zh) | 一种基于机器视觉的带式输送机输送带防撕裂方法及装置 | |
| KR102281100B1 (ko) | 지하 매설관 이상 탐지 시스템 및 방법 | |
| Wang et al. | Visual defect detection for substation equipment based on joint inspection data of camera and robot | |
| KR102097673B1 (ko) | 차량의 측면 영상을 이용한 차량 정보 획득 시스템 및 방법 | |
| CN112967335A (zh) | 气泡尺寸监测方法及装置 | |
| CN109214390B (zh) | 基于机器视觉原理的栅栏状态检测方法及*** | |
| TWI480808B (zh) | 行人偵測系統與方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210730 |