CN115546565A - 基于yolocbf电厂关键区域管道油液泄漏检测方法 - Google Patents
基于yolocbf电厂关键区域管道油液泄漏检测方法 Download PDFInfo
- Publication number
- CN115546565A CN115546565A CN202211397154.XA CN202211397154A CN115546565A CN 115546565 A CN115546565 A CN 115546565A CN 202211397154 A CN202211397154 A CN 202211397154A CN 115546565 A CN115546565 A CN 115546565A
- Authority
- CN
- China
- Prior art keywords
- power plant
- oil leakage
- yolocbf
- feature
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 62
- 238000012549 training Methods 0.000 claims abstract description 32
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 27
- 238000000034 method Methods 0.000 claims abstract description 26
- 230000004927 fusion Effects 0.000 claims abstract description 23
- 238000002372 labelling Methods 0.000 claims abstract description 10
- 230000007246 mechanism Effects 0.000 claims abstract description 10
- 238000011176 pooling Methods 0.000 claims description 14
- 238000005070 sampling Methods 0.000 claims description 14
- 230000002457 bidirectional effect Effects 0.000 claims description 13
- 238000012795 verification Methods 0.000 claims description 11
- 238000012360 testing method Methods 0.000 claims description 10
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 8
- 238000004140 cleaning Methods 0.000 claims description 5
- 230000007547 defect Effects 0.000 claims description 4
- 238000011897 real-time detection Methods 0.000 claims description 4
- 241001125929 Trisopterus luscus Species 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 238000007781 pre-processing Methods 0.000 abstract description 5
- 230000003287 optical effect Effects 0.000 abstract 1
- 230000006870 function Effects 0.000 description 16
- 238000007689 inspection Methods 0.000 description 10
- 238000004519 manufacturing process Methods 0.000 description 10
- 238000013527 convolutional neural network Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000000605 extraction Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 239000000126 substance Substances 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 239000007788 liquid Substances 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 208000003164 Diplopia Diseases 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 208000029444 double vision Diseases 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003647 oxidation Effects 0.000 description 1
- 238000007254 oxidation reaction Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000005507 spraying Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于YOLOCBF电厂关键区域管道油液泄漏检测方法,它涉及计算机视觉技术领域。获取电厂关键区域管道油液泄漏图像,构建数据集并预处理,对训练集中图像标注;将图像输入到融合CBAM注意力机制的模型骨干网络中,获取五个不同尺度的特征图,将其输入到YOLOCBF颈部段进行特征融合,输出五个不同尺度的张量数据,并输入到YOLOCBF网络头部端,通过检测头预测,采用Focal EIoU Loss对检测目标定位及类别检测;通过训练集训练网络模型并验证,部署到算法服务器上进行电厂关键区域管道油液泄漏的实时检测识别。本发明实现对电厂关键区域内的管道油液泄漏的实时、准确检测,满足电厂应用的需求。
Description
技术领域
本发明涉及的是计算机视觉技术领域,具体涉及一种针对电厂复杂背景下结合电厂巡检机器人和固定点摄像头、基于YOLOCBF算法对关键区域管道油液泄漏的检测方法。
背景技术
电力生产安全关乎国家能源安全,随着居民用电量与日俱增,电力生产的效率与安全同时也关乎国民生活质量。电厂中,油库、化水车间等关键区域包含许多重要的充油设备以及输油管道,在氧化老化、受温差胀缩和检修维护不及时等多种因素的影响下,可能会出现油液泄漏的情况。油液泄漏的发生不但会影响生产效益,还可能发生短路放电等情形,从而导致设备毁坏、火灾等严重后果。不同于高温蒸汽,利用人工巡检或者红外图像识别就能够分辨检测区域内是否发生泄漏。管道油、水等液体的泄漏具有变化细微缓慢、没有固定形状等特点,电厂中管线的分布密集且管道数量众多,泄漏难以检测,因此对管道油液泄漏的及时检测识别与准确定位逐渐成为计算机视觉领域中一个具有重要研究价值和研究意义的课题,且具有重要的现实意义,同时由于工业领域场景的需求,准确、实时的管道泄漏检测应运而生。
目前,电厂针对关键区域内的跑气、冒水、滴液等跑冒滴漏现象,普遍采用人工巡检的方式。巡检工人一般按照“倒班制”进行巡检,每天最多能对生产现场进行3次巡检,每次巡检时间间隔约为8小时,如果在这8小时内发生管道泄漏,就可能未被及时检出从而造成严重的后果。此外,人工巡检不仅耗时长、整理和分析历史数据困难,而且存在工作效率低、实时性差等问题。
随着人工智能的不断发展,深度学习的应用不仅局限于通过分析管道各项数据检测是否存在泄漏,尤其是机器视觉的应用降低了工业现场检测仪器的部署难度。通过安装摄像头等影像采集设备、部署服务器就能实现对工业现场设备以及管道状态的检测,包括油液泄漏检测、安全帽检测、气体泄漏检测等。现有的一些研究方法,也有利用图像数据结合图像处理方法进行管道泄漏的相关研究,但目前尚未有将基于深度学习的目标检测技术与电厂关键区域管道油液泄漏检测场景相结合的实例。
当前目标检测领域的中的检测方法主要可以分成两阶段检测方法和单阶段检测方法两种。两阶段检测方法包括R-CNN、Fast R-CNN、Faster R-CNN等,该系列算法通常分为两步:第一步是从图像中提取目标区域,即建议框,第二步是对每个建议框进行检测分类,其特点是精度高,但是检测速度较慢,无法达到工业领域又快又准的要求。单阶段检测方法包括SSD、YOLO系列等不需要经过两步,而采用一步到位的方式得到结果。与Faster R-CNN相比,YOLO v5的检测速度和检测精度都有很大提高。
综上,从实际应用场景出发,根据油库、化水车间等电厂关键区域管道油液泄漏特征和生产现场检测需求,同时针对现有的检测方法在电厂油库、化水车间等关键区域管道油液泄漏的检测中存在的因电厂背景环境复杂且检测目标为小目标导致检测难度大、定位不准确以及主干网络复杂导致实时性不够的问题,开发一种基于YOLOCBF的电厂关键区域管道油液泄漏检测识别方法尤为必要。
发明内容
针对现有技术上存在的不足,本发明目的是在于提供一种基于YOLOCBF电厂关键区域管道油液泄漏检测方法,能够实现对电厂关键区域内的管道油液泄漏的实时、准确检测,使得工作人员实时掌握生产现场的设备状态以及异常信息,针对紧急状况及时发现、及时处理,满足电厂应用的需求,易于推广使用。为了实现上述目的,本发明是通过如下的技术方案来实现:基于YOLOCBF电厂
关键区域管道油液泄漏检测方法,其步骤为:
(1)获取电厂关键区域管道油液泄漏图像,对数据集进行数据增强、数据清洗等预处理操作,并将所有图像划分为训练集、验证集、测试集,所有图像包含室内外管道、阀门等多个泄漏场景,并对训练集中的图像进行标注;
(2)将获取的训练集图像输入到YOLOCBF中融合了CBAM注意力机制的模型骨干网络中,获取五个不同尺度的特征图;
(3)对获取的五个不同尺度的图像特征图,将其输入到YOLOCBF的颈部段,通过颈部段中的双向特征金字塔网络对其进行特征融合,输出五个不同尺度的张量数据,实现不同尺度的信息融合;
(4)对得到的五个不同尺度的张量数据,将其输入到YOLOCBF网络的头部端,通过五个检测头进行预测,采用Focal EIoU Loss作为损失函数对检测目标进行定位以及类别检测;
(5)通过训练集训练网络模型并在验证集上对模型进行验证,将其部署到算法服务器上进行电厂关键区域管道油液泄漏的实时检测识别。
作为优选,所述的步骤(1)将获取到的所有管道油液泄漏图像打乱并按比例将图像划分为训练集、验证集、测试集,对图像进行数据增强,方法包括旋转、缩放、色域变换以及图像拼接;并对训练集内的缺陷图像用Labelimg标注软件进行标注,标注类别为oil和water两个类别。
作为优选,所述的步骤(2)中构建YOLOCBF的骨干网络模型部分,其包含Focus模块、三个C3模块、Conv模块、九个C3模块、Conv模块、九个C3模块、Conv模块、三个C3TR模块、CBAM_Attention模块、SPFF模块,由上述模块依次连接而成,对管道油液泄漏图像进行多个尺度的特征提取。
其中,CBAM_Attention模块包含通道注意力模块和空间注意力模块这两个独立的子模块,分别进行通道、空间上的注意力操作:
①在通道注意力模块中,通过重新分配特征图之间的权重,加大对关键特征图的关注,弱化冗余特征图对识别结果的影响:首先将输入的特征图复制成两份,分别经过基于宽度和高度的全局最大池化和全局平均池化,得到两个特征图,再将它们分别送入到一个两层的多层感知机(MLP),这个两层的神经网络由两个特征图共享,最终将生成的特征传入空间注意力模块。
②在空间注意力模块中,将通道注意力模块的输出特征图作为空间注意力模块的输入特征图,首先进行基于通道的全局最大池化和全局平均池化,得到两个特征图,再将这两个特征图基于通道进行拼接操作(concat),接着经过卷积操作降维为一个通道,最后经过sigmoid激活函数生成空间注意力特征,再将空间注意力模块最终输出的特征与输入特征做乘法得到最终CBAM注意力机制所输出的特征图。
作为优选,所述的步骤(3)中颈部段由卷积层、下采样层、特征融合模块、上采样层组成,采用双向金字塔网络对获得的五种不同尺度的特征图进行特征融合,双向金字塔网络在PANet的基础上进行改进,减少入度为1的节点,较前一节点没有额外信息,可以减少冗余计算,增加跳跃链接,使得输出层不仅能得到自下而上已经参与特征融合的信息,而且保留了原始节点未经融合的信息;提出模块化,整体继续参与堆叠,进一步做融合,各层关系如下:
式(1)中Pin表示所在层的输入特征,Pout表示所在层的输出特征,Resize表示用于上采样或者下采样的分辨率匹配操作,Conv表示用于特征处理的卷积操作。
作为优选,所述的步骤(4)中YOLOCBF的头部端同时使用五个检测头对多层特征融合网络输出的五个不同尺度的张量数据进行预测,采用Focal EIoU Loss作为损失函数对检测目标进行定位以及类别检测,Focal EIoU Loss损失函数在CIoU Loss损失函数的基础上进行改进,定义公式如下:
LFocal EIoU=IoUγLEIoU (2)
式(2)中,γ是一个用于控制曲线弧度的超参数,
式(3)中,EIoU将损失函数分为了IoU损失、距离损失和边长损失三个部分,LIoU是IoU损失,Ldis是距离损失,Lasp是边长损失,cw、ch分别是覆盖预测框和目标框的最小外接框的宽度、高度。
本发明的有益效果:本方法通过加入注意力机制模块、使用双向特征金字塔网络以及采用Focal EIoU Loss作为损失函数,加强网络对管道油液泄漏区域图像的特征学习与特征提取,提升算法对小目标的检测能力,同时提高模型的回归精度和鲁棒性,能够实现对电厂关键区域内的管道油液泄漏的实时、准确检测,使得工作人员实时掌握生产现场的设备状态以及异常信息,针对紧急状况及时发现、及时处理,满足电厂应用的需求,在电厂复杂背景下提高对小目标、密集目标的检测精度,对电厂智能巡检领域具有重要的意义,应用前景广阔。
附图说明
下面结合附图和具体实施方式来详细说明本发明;
图1为本发明的检测流程图;
图2为本发明的网络结构示意图;
图3为本发明采用的CBAM注意力机制模块的结构示意图;
图4为本发明采用的双向金字塔网络的结构示意图。
具体实施方式
为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解,下面结合具体实施方式,进一步阐述本发明。
参照图1-4,本具体实施方式采用以下技术方案:基于YOLOCBF电厂关键区域管道油液泄漏检测方法,其步骤为:
(1)获取电厂关键区域管道油液泄漏图像,对数据集进行数据增强、数据清洗等预处理操作,并将所有图像划分为训练集、验证集、测试集,所有图像包含室内外管道、阀门等多个泄漏场景,并对训练集中的图像进行标注;
(2)将获取的训练集图像输入到YOLOCBF中融合了CBAM注意力机制的模型骨干网络中,获取五个不同尺度的特征图;
(3)对获取的五个不同尺度的图像特征图,将其输入到YOLOCBF的颈部段,通过颈部段中的双向特征金字塔网络对其进行特征融合,输出五个不同尺度的张量数据,实现不同尺度的信息融合;
(4)对得到的五个不同尺度的张量数据,将其输入到YOLOCBF网络的头部端,通过五个检测头进行预测,采用Focal EIoU Loss作为损失函数对检测目标进行定位以及类别检测;
(5)通过训练集训练网络模型并在验证集上对模型进行验证,将其部署到算法服务器上进行电厂关键区域管道油液泄漏的实时检测识别。
值得注意的是,所述的步骤(1)将获取到的所有管道油液泄漏图像打乱并按比例将图像划分为训练集、验证集、测试集,对图像进行数据增强,方法包括旋转、缩放、色域变换以及图像拼接,借此丰富待检测油液泄漏的背景的复杂性以及油液泄漏形态的多样性;并对训练集内的缺陷图像用Labelimg标注软件进行标注,标注类别为oil和water两个类别。
所述的步骤(2)中构建YOLOCBF的骨干网络模型部分,其包含Focus模块、三个C3模块、Conv模块、九个C3模块、Conv模块、九个C3模块、Conv模块、三个C3TR模块、CBAM_Attention模块、SPFF模块,由上述模块依次连接而成,对管道油液泄漏图像进行多个尺度的特征提取。其中,CBAM_Attention模块包含通道注意力模块和空间注意力模块这两个独立的子模块,分别进行通道、空间上的注意力操作。
此外,所述的步骤(3)中颈部段由卷积层、下采样层、特征融合模块、上采样层组成,采用双向金字塔网络对获得的五种不同尺度的特征图进行特征融合。双向金字塔网络基于Mask R-CNN和FPN架构,同时加强信息传播,在网络提取器中采用自下向上增强的FPN结构进行低层特征传播的改善,同时使用自适应特征池化(Adaptive feature pooling)对每个候选区域和所有特征层次之间被破坏的信息路径进行恢复,聚合每个特征层次上的每个候选区域,避免被任意分配。在PANet的基础上进行改进,减少入度为1的节点,较前一节点没有额外信息,可以减少冗余计算,增加跳跃链接,使得输出层不仅能得到自下而上已经参与特征融合的信息,而且保留了原始节点未经融合的信息;提出模块化,整体继续参与堆叠,进一步做融合,各层关系如下:
式(1)中Pin表示所在层的输入特征,Pout表示所在层的输出特征,Resize表示用于上采样或者下采样的分辨率匹配操作,Conv表示用于特征处理的卷积操作。
本具体实施方式YOLOCBF的网络架构从结构上可以分为输入端、骨干段、颈部段和头部输出端四部分,该方法首先建立管道油液泄漏数据集,通过在YOLOCBF算法中加入CBAM注意力机制模块,使用五个不同尺度的特征经过双向金字塔网络进行多层特征的特征融合,将最后得到的五个特征张量传输到头部端,同时通过五个检测头进行预测,最后将网络在训练集上训练并进行验证,保存模型并在测试集上进行测试。该方法能够很好地适应电厂复杂的背景环境,对于油液管道不管是喷洒还是滴漏类型的泄漏检测都具有很好的效果,且能达到实时检测。
本具体实施方式具体的方法如下:步骤(1)加载原始的自建电厂关键区域管道油液泄漏图像数据集,并对输入的图像进行Mosaic数据增强、自适应锚框计算、自适应缩放等预处理操作。由于电厂管道泄漏图像目前尚无权威公开数据集,并且实际电厂管道发生油液泄漏的影像数据难以收集,所以并没有可以直接利用的管道油液泄漏图像数据集。通过到电厂实地考察并进行管道泄漏场景模拟实验,以及综合电厂已有的泄漏图像和视频数据,构建了涵盖室内外管道、阀门等多个场景的电厂关键区域管道泄漏检测数据集。
通过视频、图片的形式采集了大量的数据,最终通过数据清洗,保留了3000张管道油液泄漏图像用于构建数据集,并使用python脚本文件将全部图像按照70%、20%、10%的比例随机划分为训练集、验证集、测试集,数据集部分样本如图2所示。经统计,共标注带有管道油液泄漏现象的图像2836幅,数据集格式采用YOLO格式,使用开源标注工具labelimg对电厂关键区域管道油液泄漏数据集中的样本进行手工标注,并填写对应的油液泄漏标签,数据集标注。
通过数据增强在原本数据量较少的情况下尽可能地丰富数据集,提升模型的训练效果。数据集质量的好坏直接决定了模型的训练效果,以及最终算法检测的准确性,无论是数据增强还是数据清洗,或者是其他一些手段,均能提高数据集的质量。
步骤(2)将经历过预处理之后的图像输入到YOLOCBF网络模型中进行训练。采用Focus操作对管道油液泄漏图片进行切片,整个切片过程中将高度、宽度信息集中到了通道空间,并对输入通道进行了扩充。同时还采用跨阶段局部网络,将梯度变化集成到特征图中,最后得到五个不同分辨率下的图像特征。
针对电厂关键区域油液管道分布密集、生产现场环境复杂的特征,YOLOCBF算法通过融入CBAM注意力机制模块,弱化复杂背景对检测结果的影响,使得模型更加专注于对管道泄漏特征的提取,加强对管道油液泄漏图像区域特征的学习。CBAM注意力机制包含了通道注意力模块和空间注意力模块这两个独立的子模块,分别进行通道和空间上的注意力操作:
①在通道注意力模块中,通过重新分配特征图之间的权重,加大对关键特征图的关注,弱化冗余特征图对识别结果的影响:首先将输入的特征图复制成两份,分别经过基于宽度和高度的全局最大池化和全局平均池化,得到两个特征图,再将它们分别送入到一个两层的多层感知机(MLP),这个两层的神经网络由两个特征图共享,最终将生成的特征传入空间注意力模块。
②在空间注意力模块中,将通道注意力模块的输出特征图作为空间注意力模块的输入特征图,首先进行基于通道的全局最大池化和全局平均池化,得到两个特征图,再将这两个特征图基于通道进行拼接操作(concat),接着经过卷积操作降维为一个通道,最后经过sigmoid激活函数生成空间注意力特征,再将空间注意力模块最终输出的特征与输入特征做乘法得到最终CBAM注意力机制所输出的特征图。
步骤(3)对步骤(2)中获取的五种不同尺度的图像特征层,将其输入到YOLOCBF网络的颈部段,颈部段由卷积层、下采样、特征融合模块(Concat)、上采样组成,经过双向金字塔网络实现不同尺度的信息融合,最终输出五个不同尺度的张量数据。
步骤(4)对步骤(3)得到的五个不同尺度的张量数据,将其输入到YOLOCBF网络种的头部端,同时使用五个检测头对多层特征融合网络输出的五个不同尺度的张量数据进行预测,采用Focal EIoU Loss作为损失函数对检测目标进行定位以及类别检测,Focal EIoULoss损失函数在CIoU Loss损失函数的基础上进行改进,定义公式如下:
LFocal EIoU=IoUγLEIoU (2)
式(2)中,γ是一个用于控制曲线弧度的超参数,
式(3)中,EIoU将损失函数分为了IoU损失、距离损失和边长损失三个部分,LIoU是IoU损失,Ldis是距离损失,Lasp是边长损失,cw、ch分别是覆盖预测框和目标框的最小外接框的宽度、高度。根据上述损失函数定义式能够解决优化边界框回归任务中的样本不平衡问题,减少与目标框重叠较少的大量锚框对边界框回归的贡献,使得整个回归过程更加专注于高质量锚框,从而加快收敛速度,提高模型的回归精度和鲁棒性。
步骤(5)使用Windows10操作***,模型训练使用Pytorch框架,具体实验环境如表1所示。
表1实验环境配置
操作*** | Windows 10 |
CPU | I9 12900k |
GPU | NVIDIA RTX 3090 |
内存 | 32G |
GPU显存 | 24G |
Python版本 | 3.8 |
算法框架 | Pytorch 1.11.0 |
本实验使用的管道油液泄漏数据集共3000张,涵盖了室内外管道、阀门等多个电厂关键区域管道油液泄漏场景,并使用python脚本文件将全部图像按照70%,20%,10%的比例随机划分为训练集、验证集、测试集。
在训练的过程中,输入图像大小为640×640×3。初始学习率设置为0.001,总共训练300个周期(epochs),批处理量(batchsize)为4,采用Adam一阶优化算法、动量初始值为0.9、权重衰减率为0.0005。
表2YOLOCBF与其他检测算法对比
算法 | mAP/% | 检测速度FPS |
SSD | 52.5 | 29 |
Mask R-CNN | 59.1 | 15 |
CenterNet | 52.6 | 26 |
YOLO v2 | 53.1 | 24 |
YOLO v4 | 54.2 | 25 |
YOLO v5s | 57.5 | 26 |
YOLOCBF | 76.9 | 28 |
上述结果表明,YOLOCBF算法相较于其他目标检测算法,具有较高的检测精度,YOLOCBF模型检测管道油液泄漏的平均准确率高达79.6%,检测的速度为28FPS。可知,相较于其他算法,YOLOCBF算法能够对管道油液泄漏的特征进行更加准确的提取和学习。同时,YOLOCBF算法在速度上也有提升,对比其他YOLO系列的目标检测算法有2-4帧的提升,对比其他算法速度提升更加明显。为了进一步验证实验效果,利用改进后的算法对现场实际模拟管道油液泄漏场景进行了视频检测实验,发现改进后的算法在训练之后能够准确地识别管道油液泄漏情况,并能够稳定、流畅地在视频中对泄漏位置进行框选标注。
本具体实施方式以智能巡检机器人的机载可见光、红外摄像头和生产现场安装的固定点摄像头或者双视云台作为影像采集设备,实现对电厂关键区域管道油液泄漏现象的有效检测,同时本发明针对原始YOLO v5算法在电厂复杂背景环境下定位不准确的问题,在保持原有检测速度及精度的前提下,结合智能巡检机器人自身特点,在YOLO v5的网络架构基础上进行了深度优化。
该方法在主干网络中加入了CBAM注意力机制模块,有效提升主干网络的特征提取能力。在颈部段中采用了双向金字塔网络作为特征融合网络,此外同时通过五个检测头进行检测油液泄漏,增加对电厂关键区域管道油液泄漏的提取准确度。并将Focal EIoU Loss作为损失函数,提升网络对管道油液泄漏的预测性能,降低密集目标和小目标的漏检率,算法能够更快速、准确地识别电厂中管道油液泄漏的状况,使得工作人员能够通过前端界面实时掌握生产现场的设备状态以及异常信息,针对紧急状况及时发现、及时处理,满足电厂应用的需求,具有广阔的市场应用前景。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解,本发明不受上述实施例的限制,上述实施例和说明书中描述的只是说明本发明的原理,在不脱离本发明精神和范围的前提下,本发明还会有各种变化和改进,这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。
Claims (6)
1.基于YOLOCBF电厂关键区域管道油液泄漏检测方法,其特征在于,其步骤为:
(1)获取电厂关键区域管道油液泄漏图像,对数据集进行数据增强、数据清洗预处理操作,并将所有图像划分为训练集、验证集、测试集,所有图像包含室内外管道、阀门泄漏场景,并对训练集中的图像进行标注;
(2)将获取的训练集图像输入到YOLOCBF中融合了CBAM注意力机制的模型骨干网络中,获取五个不同尺度的特征图;
(3)对获取的五个不同尺度的图像特征图,将其输入到YOLOCBF的颈部段,通过颈部段中的双向特征金字塔网络对其进行特征融合,输出五个不同尺度的张量数据,实现不同尺度的信息融合;
(4)对得到的五个不同尺度的张量数据,将其输入到YOLOCBF网络的头部端,通过五个检测头进行预测,采用Focal EIoU Loss作为损失函数对检测目标进行定位以及类别检测;
(5)通过训练集训练网络模型并在验证集上对模型进行验证,将其部署到算法服务器上进行电厂关键区域管道油液泄漏的实时检测识别。
2.根据权利要求1所述的基于YOLOCBF电厂关键区域管道油液泄漏检测方法,其特征在于,所述的步骤(1)将获取到的所有管道油液泄漏图像打乱并按比例将图像划分为训练集、验证集、测试集,对图像进行数据增强,方法包括旋转、缩放、色域变换以及图像拼接;并对训练集内的缺陷图像用Labelimg标注软件进行标注,标注类别为oil和water两个类别。
3.根据权利要求1所述的基于YOLOCBF电厂关键区域管道油液泄漏检测方法,其特征在于,所述的步骤(2)中构建YOLOCBF的骨干网络模型部分,其包含Focus模块、三个C3模块、Conv模块、九个C3模块、Conv模块、九个C3模块、Conv模块、三个C3TR模块、CBAM_Attention模块、SPFF模块,由上述模块依次连接而成,对管道油液泄漏图像进行多个尺度的特征提取。
4.根据权利要求3所述的基于YOLOCBF电厂关键区域管道油液泄漏检测方法,其特征在于,所述的CBAM_Attention模块包含通道注意力模块和空间注意力模块这两个独立的子模块,分别进行通道、空间上的注意力操作:
①在通道注意力模块中,重新分配特征图之间的权重:首先将输入的特征图复制成两份,分别经过基于宽度和高度的全局最大池化和全局平均池化,得到两个特征图,再将它们分别送入到一个两层的多层感知机(MLP),这个两层的神经网络由两个特征图共享,最终将生成的特征传入空间注意力模块;
②在空间注意力模块中,将通道注意力模块的输出特征图作为空间注意力模块的输入特征图,首先进行基于通道的全局最大池化和全局平均池化,得到两个特征图,再将这两个特征图基于通道进行拼接操作(concat),接着经过卷积操作降维为一个通道,最后经过sigmoid激活函数生成空间注意力特征,再将空间注意力模块最终输出的特征与输入特征做乘法得到最终CBAM注意力机制所输出的特征图。
6.根据权利要求1所述的基于YOLOCBF电厂关键区域管道油液泄漏检测方法,其特征在于,所述的步骤(4)中YOLOCBF的头部端同时使用五个检测头对多层特征融合网络输出的五个不同尺度的张量数据进行预测,采用Focal EIoU Loss作为损失函数对检测目标进行定位以及类别检测,Focal EIoU Loss损失函数定义公式如下:
LFocal EIoU=IoUγLEIoU (2)
式(2)中,γ是一个用于控制曲线弧度的超参数,
式(3)中,EIoU将损失函数分为了IoU损失、距离损失和边长损失三个部分,LIoU是IoU损失,Ldis是距离损失,Lasp是边长损失,cw、ch分别是覆盖预测框和目标框的最小外接框的宽度、高度。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211397154.XA CN115546565A (zh) | 2022-11-09 | 2022-11-09 | 基于yolocbf电厂关键区域管道油液泄漏检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211397154.XA CN115546565A (zh) | 2022-11-09 | 2022-11-09 | 基于yolocbf电厂关键区域管道油液泄漏检测方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115546565A true CN115546565A (zh) | 2022-12-30 |
Family
ID=84719751
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211397154.XA Pending CN115546565A (zh) | 2022-11-09 | 2022-11-09 | 基于yolocbf电厂关键区域管道油液泄漏检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115546565A (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116363441A (zh) * | 2023-05-31 | 2023-06-30 | 克拉玛依市百事达技术开发有限公司 | 具备标记功能的管道腐蚀检测*** |
CN116576405A (zh) * | 2023-07-12 | 2023-08-11 | 上海电机学院 | 一种风管泄漏信号检测方法及*** |
CN116758467A (zh) * | 2023-05-05 | 2023-09-15 | 广州白云国际机场建设发展有限公司 | 一种民航安防设备领域的监控报警方法及装置 |
CN117095244A (zh) * | 2023-10-18 | 2023-11-21 | 华侨大学 | 一种红外目标识别方法、装置、设备及介质 |
CN117557493A (zh) * | 2023-08-30 | 2024-02-13 | 四川轻化工大学 | 一种变压器漏油检测方法、***、电子设备及存储介质 |
CN117670755A (zh) * | 2024-01-31 | 2024-03-08 | 四川泓宝润业工程技术有限公司 | 一种吊钩防脱装置检测方法、装置、存储介质及电子设备 |
-
2022
- 2022-11-09 CN CN202211397154.XA patent/CN115546565A/zh active Pending
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116758467A (zh) * | 2023-05-05 | 2023-09-15 | 广州白云国际机场建设发展有限公司 | 一种民航安防设备领域的监控报警方法及装置 |
CN116363441A (zh) * | 2023-05-31 | 2023-06-30 | 克拉玛依市百事达技术开发有限公司 | 具备标记功能的管道腐蚀检测*** |
CN116363441B (zh) * | 2023-05-31 | 2023-08-08 | 克拉玛依市百事达技术开发有限公司 | 具备标记功能的管道腐蚀检测*** |
CN116576405A (zh) * | 2023-07-12 | 2023-08-11 | 上海电机学院 | 一种风管泄漏信号检测方法及*** |
CN116576405B (zh) * | 2023-07-12 | 2023-10-31 | 上海电机学院 | 一种风管泄漏信号检测方法及*** |
CN117557493A (zh) * | 2023-08-30 | 2024-02-13 | 四川轻化工大学 | 一种变压器漏油检测方法、***、电子设备及存储介质 |
CN117095244A (zh) * | 2023-10-18 | 2023-11-21 | 华侨大学 | 一种红外目标识别方法、装置、设备及介质 |
CN117095244B (zh) * | 2023-10-18 | 2024-01-05 | 华侨大学 | 一种红外目标识别方法、装置、设备及介质 |
CN117670755A (zh) * | 2024-01-31 | 2024-03-08 | 四川泓宝润业工程技术有限公司 | 一种吊钩防脱装置检测方法、装置、存储介质及电子设备 |
CN117670755B (zh) * | 2024-01-31 | 2024-04-26 | 四川泓宝润业工程技术有限公司 | 一种吊钩防脱装置检测方法、装置、存储介质及电子设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN115546565A (zh) | 基于yolocbf电厂关键区域管道油液泄漏检测方法 | |
CN110598736B (zh) | 一种电力设备红外图像故障定位、识别与预测方法 | |
US20210319561A1 (en) | Image segmentation method and system for pavement disease based on deep learning | |
CN112884064B (zh) | 一种基于神经网络的目标检测与识别方法 | |
CN111047554B (zh) | 一种基于实例分割的复合绝缘子过热缺陷检测方法 | |
CN112258496A (zh) | 一种基于全卷积神经网络的地下排水管道病害分割方法 | |
CN111368690B (zh) | 基于深度学习的海浪影响下视频图像船只检测方法及*** | |
CN111696075A (zh) | 一种基于双光谱图像的风机叶片缺陷智能检测方法 | |
CN108734143A (zh) | 一种巡检机器人的基于双目视觉的输电线路在线检测方法 | |
CN111127449B (zh) | 一种基于编码器-解码器的自动化裂缝检测方法 | |
CN114240878A (zh) | 面向巡检场景的绝缘子缺陷检测神经网络构建与优化方法 | |
CN112164038A (zh) | 一种基于深度卷积神经网络的光伏热斑检测方法 | |
CN114399672A (zh) | 一种基于深度学习的铁路货车闸瓦故障检测方法 | |
CN111178392B (zh) | 基于深度神经网络的航空发动机孔探图像损伤分割方法 | |
CN114092697B (zh) | 注意力融合全局和局部深度特征的建筑立面语义分割方法 | |
CN112365468A (zh) | 基于AA-gate-Unet的海上风电塔筒涂层缺陷检测方法 | |
CN117422695A (zh) | 一种基于CR-Deeplab的异常检测方法 | |
CN113870160A (zh) | 一种基于变换器神经网络的点云数据处理方法 | |
CN116681962A (zh) | 基于改进YOLOv5的电力设备热图像检测方法及*** | |
CN116168240A (zh) | 基于注意力增强的任意方向密集舰船目标检测方法 | |
Liu et al. | An improved faster R-CNN for UAV-based catenary support device inspection | |
CN114627044A (zh) | 一种基于深度学习的太阳能光伏组件热斑检测方法 | |
CN116778346B (zh) | 一种基于改进自注意力机制的管线识别方法及*** | |
Özer et al. | An approach based on deep learning methods to detect the condition of solar panels in solar power plants | |
CN113052103A (zh) | 一种基于神经网络的电气设备缺陷检测方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |