CN116563781A - 一种用于巡检机器人的图像监测与诊断方法 - Google Patents
一种用于巡检机器人的图像监测与诊断方法 Download PDFInfo
- Publication number
- CN116563781A CN116563781A CN202310452480.4A CN202310452480A CN116563781A CN 116563781 A CN116563781 A CN 116563781A CN 202310452480 A CN202310452480 A CN 202310452480A CN 116563781 A CN116563781 A CN 116563781A
- Authority
- CN
- China
- Prior art keywords
- image
- feature
- monitoring
- channel
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 33
- 238000000034 method Methods 0.000 title claims abstract description 27
- 238000007689 inspection Methods 0.000 title claims abstract description 19
- 230000004927 fusion Effects 0.000 claims abstract description 15
- 230000007246 mechanism Effects 0.000 claims abstract description 14
- 230000011218 segmentation Effects 0.000 claims abstract description 14
- 238000012545 processing Methods 0.000 claims abstract description 11
- 238000001514 detection method Methods 0.000 claims abstract description 9
- 238000007781 pre-processing Methods 0.000 claims abstract description 7
- 238000010586 diagram Methods 0.000 claims description 16
- 230000006870 function Effects 0.000 claims description 16
- 238000011176 pooling Methods 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 7
- 238000001914 filtration Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 5
- 230000003213 activating effect Effects 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims description 3
- 230000002776 aggregation Effects 0.000 claims description 3
- 238000004220 aggregation Methods 0.000 claims description 3
- 239000003086 colorant Substances 0.000 claims description 3
- 238000003745 diagnosis Methods 0.000 claims description 3
- 238000010438 heat treatment Methods 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 238000002405 diagnostic procedure Methods 0.000 claims description 2
- 238000004590 computer program Methods 0.000 claims 1
- 239000000243 solution Substances 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000002347 injection Methods 0.000 description 2
- 239000007924 injection Substances 0.000 description 2
- 238000011897 real-time detection Methods 0.000 description 2
- 230000004888 barrier function Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000009529 body temperature measurement Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003121 nonmonotonic effect Effects 0.000 description 1
- 238000013021 overheating Methods 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/32—Normalisation of the pattern dimensions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种用于巡检机器人的图像监测与诊断方法，包括步骤S1：可见光图像、红外图像信息实时采集；S2：将采集到的图像进行预处理并进行特征提取；S3：通过基于位置注意力机制的多尺度特征融合模块，加强特征语义信息；S4：添加实例分割分支，进行多任务检测；S5：对处理的结果进行监测，故障事件进行实时报警，生成日志报表。提出多任务输出策略，增加实例分割分支，能够更精细定位，且便于一些指针仪器读数，更适用变电站巡检监测。此外，在特征融合增加注意力机制，通过卷积有助于算法更加精准定位目标区域，更好地解决复杂背景下的目标定位问题。且具备数据智能统计功能，实时监测场景，并诊断故障，反馈给人工，提升巡检效率。
Description
技术领域
本发明涉及变电站监测技术领域，尤其涉及一种用于巡检机器人的图像监测与诊断方法。
背景技术
变电站作为电力***的关键设施，保证其安全可靠地运行，是确保整个电力网络供电质量的前提。随着技术需求的提高，在特高压变配电配送过程中，尤其是在高原、戈壁、荒漠地区，电力大机组、大容量、高电压设备用量越来越多，传统维修工逐步检修的工作方式已经存在极大的工作隐患，工作强度变大，危险性增加，工作效率低下以及出错率高等新挑战。在常规的变电站图像监测***中，特定的图像经摄像机和采集卡输入到计算机，然后经压缩后传输到调度中心，调度端同时显示多个变电站的实时图像，调度员通过人工分析判断变电站的运行状态。
YOLOX使用解隅头代替了之前YOLO系列算法中的头部，解隅头对特征融合处理后的特征图，通过先使用1×1的卷积层将通道数降至256减少参数量，使用2个并行分支分别用于处理分类问题和定位问题主要进行分类识别检测，对于变电站一些指针仪器识别需要采用图像分割来实现，而且由于变电站待检测目标种类多、尺度变化大，造成YOLOX检测困难，目标定位质量低。
发明内容
本发明所述的一种用于巡检机器人的图像监测与诊断方法，解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：一种用于巡检机器人的图像监测与诊断方法，其特征在于，包括以下步骤：
S1：可见光图像、红外图像信息实时采集；
S2：将采集到的图像进行预处理，输入主干卷积网络进行特征提取；
S3：通过基于位置注意力机制的多尺度特征融合模块，加强特征语义信息；
S4：添加实例分割分支，进行多任务检测；
S5：对处理的结果进行监测，故障事件进行实时报警，生成日志报表。
优选的，所述步骤S2中对图像进行预处理具体为：先将图像尺度调整至640*640大小，且不对红外图像进行进一步处理；然后采用高斯滤波进行图像去噪。
优选的，所述步骤S2中的输入主干卷积网络进行特征提取具体为：
S201：采用Focus结构通过Slice切片操作方法获得4个独立的特征层并将其进行堆叠，将输入通道扩大到原来的4倍；
S202：采用卷积层CBS，其激活函数使用了SiLU函数；
S203：采用跨阶段局部网络CSP(Cross Stage Partial)网络结构，解决梯度信息重复的问题；
S204：输入的特征图通过一个卷积层后，分别经过5×5，9×9和13×13的3个不同尺寸的内核做最大池化处理；
S205：通过concat将得到的特征图进行通道的拼接，输出的通道数变为原通道数的4倍，其特征图尺寸不变。
优选的，所述步骤S3具体为：
S301：在主干网络经下采样生成3张大小分别为80*80,40*40,20*20的特征图；
S302：经FPN结构自顶向下将高维度的特征信息进行两次上采样，并传递融合，使大目标信息更明确；
S303：经过PAN结构从下至上进行两次下采样，向高维度传递信息，使小目标信息更明确。
优选的，FPN输入PAN链路中加入位置注意力机制，所述位置注意力机制如下：
S01：将通道注意力分解为2个一维特征编码过程，具体操作为使用2个大小为(H,1)和(1,W)的池化核对特征图FC×H×W的每个通道进行编码，编码后宽度为w的第c通道的输出和高度为h的第c通道的输出；
S02：生成Zh和Zw两个特征图，然后对编码后的特征图进行通道拼接操作，并通过1×1卷积进行降维降至c/16并激活，生成中间层特征映射f；
S03：对中间特征图f沿着2个空间方向分离成fh和fw，并通过1×1卷积将分离后张量的通道维度调整为c，生成特征向量gh和特征向量gw；
S04：对输入的特征图X进行位置加权相乘，实现特征图位置信息的聚合。
优选的，所述步骤S4具体如下：
S401：经过特征融合，使用1*1卷积将原本不同通道数的特征图先统一到256；
S402：使用两个平行分支，两个分别两个使用3*3卷积，分别进行分类、实例分割、边框回归、IoU预测分支；
S403：将分类预测结果转化为具体的类别置信度概率，对比分类输出的每一类别置信度得分，选择得分最高的作为预测结果，并以文字显示于原图目标正上方，同时，将相应的包围框和实例分割结果以彩色蒙版显示于原图，且不同的实例以不同填充颜色的蒙版(mask)予以区分；
S404：通过预先制作的数据集来训练网络，通过多次迭代，降低损失函数，最终训练出一个高精度泛化性好的模型。
优选的，所述可见光图像的对象包括表计读数、注油设备油位、设备位置状态、设备外观；所述红外图像的对象为发热设备。
本发明的有益效果为：
本发明在YOLOX基础提出多任务输出策略，增加实例分割分支，能够更精细定位，且便于一些指针仪器读数，更适用变电站巡检监测。此外，在特征融合增加注意力机制，通过卷积引入了自动捕获重要区域特征，能有助于算法更加精准定位目标区域，更好地解决复杂背景下的目标定位问题。且具备数据智能统计功能，实时监测场景，并诊断故障，反馈给人工，提升巡检效率。
附图说明
图1为本发明一种用于巡检机器人的图像监测与诊断方法的流程图；
图2为本发明所述的高斯滤波模板(3×3)的示意图；
图3为本发明所述的高斯滤波模板(5×5)的示意图；
图4为本发明所述的主干网络结构图；
图5为Focus结构示意图；
图6为Slice切片结构示意图；
图7为改进后特征融合结构示意图；
图8为位置注意力结构示意图；
图9为多任务检测分支结构示意图；
图10为监测任务结构示意图；
图11为数据统计处理结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
本发明实施例提供的一种用于巡检机器人的图像监测与诊断方法，图1为本发明实施例的技术方案流程图，如图一所示，包括以下步骤：
第一步，可见光图像、红外图像实时采集。
巡检机器人监测信息包括现场设备信息、机器人状态、现场环境、以及通信状态等。现场设备信息包括可见光图像、红外图像、设备噪声等，可见光图像的对象包括表计读数、注油设备油位、设备位置状态、设备外观等，红外图像包括变压器状态等发热设备，防止过高温等过热缺陷。因此通过实时图像采集，观测变电站状况，进行监测。成像质量对于巡检机器人来说非常重要的指标，设备工作状态和电池容量等都是考验机器人性能的标准，比如机器人所携带的摄像头采集的视频信号可以按要求分辨率必须大于1080P，变焦比例必须大于30倍，能通过红外摄像头根据不同设备温度呈现热图数据，其成像质量技术标准到达如下表所示：
第二步，将采集到的图像进行预处理，输入主干卷积网络进行特征提取。
在输入卷积网络前，将采集图像进行预处理，提高计算机对特征提取的效率和精度本。首先将图像尺度调整至640*640大小，便于卷积网络进行卷积等系列操作。由于红外图像进行色彩处理会影响后续测温故不做进一步处理。在图像采集的过程中，不可避免受到图像噪声、光线环境、运动失焦等因素的影响，因此需要采用一定的算法进行图像去噪，提高图像特征。
图2、图3为高斯滤波模板(3×3)、(5×5)的示意图，高斯滤波是一种线性平滑滤波，对图像中的高斯噪声有一个很好的去除作用，在图像的去噪得到了广泛的使用。因此本发明采用高斯滤波进行图像去噪。高斯滤波用一个模板遍历图像中的每一个像素点，每一个点的像素值都是由邻域内所有像素点的值加权平均获得的。高斯模板中各元素值的计算公式为：
接着将处理后的图片输入主干网络CSPDarknet进行特征提取，其结构如图4所示。首先采用Focus结构通过Slice切片操作方法获得4个独立的特征层并将其进行堆叠，将输入通道扩大到原来的4倍，减少了原始信息的损失，且增加了计算速度，如图5、6所示。然后采用卷积层CBS，其激活函数使用了SiLU函数，综合改进了Sigmoid函数和ReLU函数为：
f(x)＝x·Sigmoid(x)
SiLU函数有下界无上界，平滑非单调，其在深层网络模型的效果中相比ReLU函数更优。然后采用跨阶段局部网络CSP(Cross Stage Partial)网络结构，用于解决梯度信息重复的问题。最后输入的特征图通过一个卷积层后，分别经过5×5，9×9和13×13的3个不同尺寸的内核做最大池化处理，再通过concat将得到的特征图进行通道的拼接，输出的通道数变为原通道数的4倍，其特征图尺寸不变。其中每个池化层步长stride设为1，填充padding＝(k–1)/2(k为最大池化中内核的尺寸)，得到输出特征图尺寸为：
其中，n为输入特征图的大小；p为填充padding；s为步长；Updown为向下取整。由上式可得，通过池化层得到的特征图大小与输入时保存一致。Maxpool层在保持特征图平移不变性的同时，扩大了感受野，而SPP模块通过使用不同大小内核的Maxpool层得到特征图局部区域感受野和接近全局的感受野信息。
第三步，通过基于位置注意力机制的多尺度特征融合模块，加强特征语义信息；
在主干网络经下采样生成3张大小分别为80*80,40*40,20*20的特征图后，再经FPN结构自顶向下将高维度的特征信息进行两次上采样，并传递融合，使大目标信息更明确；而后又经过PAN结构从下至上进行两次下采样，向高维度传递信息，使小目标信息更明确。为了加强特征融合中关注区域的有效信息，在FPN输入PAN链路中加入位置注意力机制，使网络能够沿2个空间方向分别聚合特征，有助于算法更加精准定位目标区域，更好地解决复杂背景下的目标定位问题特征结构如图7所示。
结合图8，位置注意力机制如下：
1.将通道注意力分解为2个一维特征编码过程，具体操作为使用2个大小为(H,1)和(1,W)的池化核对特征图FC×H×W的每个通道进行编码，编码后宽度为w的第c通道的输出和高度为h的第c通道的输出。
2.生成Zh和Zw两个特征图，然后对编码后的特征图进行通道拼接操作，并通过1×1卷积进行降维降至c/16并激活，生成中间层特征映射f。
3.对中间特征图f沿着2个空间方向分离成fh和fw，并通过1×1卷积将分离后张量的通道维度调整为c，生成特征向量gh和特征向量gw。
4.最后对输入的特征图X进行位置加权相乘，实现特征图位置信息的聚合。
第四步，添加实例分割分支，进行多任务检测；
经过特征融合，使用1*1卷积将原本不同通道数的特征图先统一到256，然后使用两个平行分支，两个分别两个使用3*3卷积，分别进行分类、实例分割、边框回归、IoU预测分支。最后将分类预测结果转化为具体的类别置信度概率，对比分类输出的每一类别置信度得分，选择得分最高的作为预测结果，并以文字显示于原图目标正上方。同时，将相应的包围框和实例分割结果以彩色蒙版显示于原图，且不同的实例以不同填充颜色的蒙版(mask)予以区分。结构如图9所示。
通过预先制作的数据集来训练网络，通过多次迭代，降低损失函数，最终训练出一个高精度泛化性好的模型。然后将其输入图像监测***中，在实时检测时，通过驱动该模型来完成对变电站实时场景的监测，完成多功能检测如图10所示。可完成对指针仪表、数字仪表的读数识别；对危险物品的安全摆放定位；对工作人员、操作设备、机床等进行检测避障；通过对红外图像进行设备识别定位，然后解析伪彩图，获取设备温度状况，从而进行监测。
第五步，对处理的结果进行监测，故障事件进行实时报警，生成日志报表。
监测与诊断***需具备***的监测、显示等功能，在完成人机交互作用的同时，接收机器人传来的数据，操作人员根据任务需要下达相关指令，完成机器人采集的设备数据进行分析、存储、统计等处理。站点后台监控***负责机器人状态的实时监测，对机器人的巡线任务进行规划，对机器人采集回来的数据进行报表和图形分析，根据不同站点的特点更新电子地图，以及完成与上级网络信息的指令传输。
对变电站监测的数据进行统计处理，主要涉及巡检点位查询、报警消息查询、已巡检点统计和巡检点异常分析等，所采集的数据经处理生成实时报表和历史报表，在报表功能上设置查询、打印和保存等，并支持excel和txt格式导出。对设备和环境的温度、压力及设备的统计数据用曲线展示，提供良好的可视化人机界面。监视信息超过告警阈值时，自动告警，告警信息应长时报警提示，并支持人工或自动复归。如图11所示。
综上所述，本实施例通过步骤S1：可见光图像、红外图像信息实时采集；S2：将采集到的图像进行预处理，输入主干卷积网络进行特征提取；S3：通过基于位置注意力机制的多尺度特征融合模块，加强特征语义信息；S4：添加实例分割分支，进行多任务检测；S5：对处理的结果进行监测，故障事件进行实时报警，生成日志报表。在YOLOX基础提出多任务输出策略，增加实例分割分支，能够更精细定位，且便于一些指针仪器读数，更适用变电站巡检监测。此外，在特征融合增加注意力机制，通过卷积引入了自动捕获重要区域特征，能有助于算法更加精准定位目标区域，更好地解决复杂背景下的目标定位问题。且具备数据智能统计功能，实时监测场景，并诊断故障，反馈给人工，提升巡检效率，解决了背景技术中提出的问题。
以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。
Claims (9)
1.一种用于巡检机器人的图像监测与诊断方法，其特征在于，包括以下步骤：
S1：可见光图像、红外图像信息实时采集；
S2：将采集到的图像进行预处理，输入主干卷积网络进行特征提取；
S3：通过基于位置注意力机制的多尺度特征融合模块，加强特征语义信息；
S4：添加实例分割分支，进行多任务检测；
S5：对处理的结果进行监测，故障事件进行实时报警，生成日志报表。
2.根据权利要求1所述的一种用于巡检机器人的图像监测与诊断方法，其特征在于，所述步骤S2中对图像进行预处理具体为：先将图像尺度调整至640*640大小，且不对红外图像进行进一步处理；然后采用高斯滤波进行图像去噪。
3.根据权利要求1所述的一种用于巡检机器人的图像监测与诊断方法，其特征在于，所述步骤S2中的输入主干卷积网络进行特征提取具体为：
S201：采用Focus结构通过Slice切片操作方法获得4个独立的特征层并将其进行堆叠，将输入通道扩大到原来的4倍；
S202：采用卷积层CBS，其激活函数使用了SiLU函数；
S203：采用跨阶段局部网络CSP(Cross Stage Partial)网络结构，解决梯度信息重复的问题；
S204：输入的特征图通过一个卷积层后，分别经过5×5，9×9和13×13的3个不同尺寸的内核做最大池化处理；
S205：通过concat将得到的特征图进行通道的拼接，输出的通道数变为原通道数的4倍，其特征图尺寸不变。
4.根据权利要求1所述的一种用于巡检机器人的图像监测与诊断方法，其特征在于，所述步骤S3具体为：
S301：在主干网络经下采样生成3张大小分别为80*80,40*40,20*20的特征图；
S302：经FPN结构自顶向下将高维度的特征信息进行两次上采样，并传递融合，使大目标信息更明确；
S303：经过PAN结构从下至上进行两次下采样，向高维度传递信息，使小目标信息更明确。
5.根据权利要求4所述的一种用于巡检机器人的图像监测与诊断方法，其特征在于，FPN输入PAN链路中加入位置注意力机制，所述位置注意力机制如下：
S01：将通道注意力分解为2个一维特征编码过程，具体操作为使用2个大小为(H,1)和(1,W)的池化核对特征图FC×H×W的每个通道进行编码，编码后宽度为w的第c通道的输出和高度为h的第c通道的输出；
S02：生成Zh和Zw两个特征图，然后对编码后的特征图进行通道拼接操作，并通过1×1卷积进行降维降至c/16并激活，生成中间层特征映射f；
S03：对中间特征图f沿着2个空间方向分离成fh和fw，并通过1×1卷积将分离后张量的通道维度调整为c，生成特征向量gh和特征向量gw；
S04：对输入的特征图X进行位置加权相乘，实现特征图位置信息的聚合。
6.根据权利要求3所述的一种用于巡检机器人的图像监测与诊断方法，其特征在于，所述步骤S4具体如下：
S401：经过特征融合，使用1*1卷积将原本不同通道数的特征图先统一到256；
S402：使用两个平行分支，两个分别两个使用3*3卷积，分别进行分类、实例分割、边框回归、IoU预测分支；
S403：将分类预测结果转化为具体的类别置信度概率，对比分类输出的每一类别置信度得分，选择得分最高的作为预测结果，并以文字显示于原图目标正上方，同时，将相应的包围框和实例分割结果以彩色蒙版显示于原图，且不同的实例以不同填充颜色的蒙版(mask)予以区分；
S404：通过预先制作的数据集来训练网络，通过多次迭代，降低损失函数，最终训练出一个高精度泛化性好的模型。
7.根据权利要求1所述的一种用于巡检机器人的图像监测与诊断方法，其特征在于，所述可见光图像的对象包括表计读数、注油设备油位、设备位置状态、设备外观；所述红外图像的对象为发热设备。
8.一种电子设备，包括：处理器和存储装置；所述存储装置上存储有程序，所述程序被所述处理器执行，实现如权利要求1-7中任意一所述的方法。
9.一种计算机介质，其上存储有计算机程序，其中，所述程序被处理器执行时实现如权利要求1-7中任意一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310452480.4A CN116563781A (zh) | 2023-04-25 | 2023-04-25 | 一种用于巡检机器人的图像监测与诊断方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310452480.4A CN116563781A (zh) | 2023-04-25 | 2023-04-25 | 一种用于巡检机器人的图像监测与诊断方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116563781A true CN116563781A (zh) | 2023-08-08 |
Family
ID=87501061
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310452480.4A Pending CN116563781A (zh) | 2023-04-25 | 2023-04-25 | 一种用于巡检机器人的图像监测与诊断方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116563781A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117033981A (zh) * | 2023-10-07 | 2023-11-10 | 广东电网有限责任公司阳江供电局 | 一种海缆故障检测方法、装置、设备和介质 |
| CN117726958A (zh) * | 2024-02-07 | 2024-03-19 | 国网湖北省电力有限公司 | 配电线路无人机巡检图像目标检测及隐患智能识别方法 |
| CN117727104A (zh) * | 2024-02-18 | 2024-03-19 | 厦门瑞为信息技术有限公司 | 基于双边注意力的近红外活体检测装置与方法 |
| CN117893933A (zh) * | 2024-03-14 | 2024-04-16 | 国网上海市电力公司 | 一种用于输变电设备的无人巡检故障检测方法和*** |
-
2023
- 2023-04-25 CN CN202310452480.4A patent/CN116563781A/zh active Pending
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117033981A (zh) * | 2023-10-07 | 2023-11-10 | 广东电网有限责任公司阳江供电局 | 一种海缆故障检测方法、装置、设备和介质 |
| CN117033981B (zh) * | 2023-10-07 | 2024-02-09 | 广东电网有限责任公司阳江供电局 | 一种海缆故障检测方法、装置、设备和介质 |
| CN117726958A (zh) * | 2024-02-07 | 2024-03-19 | 国网湖北省电力有限公司 | 配电线路无人机巡检图像目标检测及隐患智能识别方法 |
| CN117726958B (zh) * | 2024-02-07 | 2024-05-10 | 国网湖北省电力有限公司 | 配电线路无人机巡检图像目标检测及隐患智能识别方法 |
| CN117727104A (zh) * | 2024-02-18 | 2024-03-19 | 厦门瑞为信息技术有限公司 | 基于双边注意力的近红外活体检测装置与方法 |
| CN117727104B (zh) * | 2024-02-18 | 2024-05-07 | 厦门瑞为信息技术有限公司 | 基于双边注意力的近红外活体检测装置与方法 |
| CN117893933A (zh) * | 2024-03-14 | 2024-04-16 | 国网上海市电力公司 | 一种用于输变电设备的无人巡检故障检测方法和*** |
| CN117893933B (zh) * | 2024-03-14 | 2024-05-24 | 国网上海市电力公司 | 一种用于输变电设备的无人巡检故障检测方法和*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116563781A (zh) | 一种用于巡检机器人的图像监测与诊断方法 | |
| CN112734692B (zh) | 一种变电设备缺陷识别方法及装置 | |
| CN112967243B (zh) | 一种基于yolo的深度学习芯片封装裂纹缺陷检测方法 | |
| WO2017084186A1 (zh) | 挠性电路板制造过程自动监测和智能分析***及方法 | |
| CN112183313B (zh) | 一种基于SlowFast的电力作业现场动作识别方法 | |
| CN111652225B (zh) | 基于深度学习的非侵入式摄像读取方法及*** | |
| CN110889339B (zh) | 基于头肩检测的危险区域分级预警方法与*** | |
| CN110458794B (zh) | 用于轨道列车的配件质量检测方法及装置 | |
| CN114972378A (zh) | 一种基于掩码注意力机制的脑肿瘤mri图像分割方法 | |
| CN114170144A (zh) | 一种输电线路销钉缺陷检测方法、设备及介质 | |
| CN108761263B (zh) | 一种基于证据理论的故障诊断*** | |
| CN116502810A (zh) | 一种基于图像识别的标准化生产监测方法 | |
| CN116363434A (zh) | 一种基于分布式光纤传感的模式识别和定位方法 | |
| CN116030050A (zh) | 基于无人机与深度学习的风机表面缺陷在线检测分割方法 | |
| CN112529881B (zh) | 一种电力控制柜线缆异常识别方法及装置 | |
| CN113837178A (zh) | 一种基于深度学习的变电站表计自动定位与统一分割方法 | |
| CN112651421B (zh) | 一种红外热成像输电线路防外破监测***及其建模方法 | |
| CN111985625B (zh) | 一种红外-可见光融合的深度神经网络及其建模方法 | |
| CN113392770A (zh) | 变电站作业人员典型违章行为检测方法及*** | |
| CN112633089A (zh) | 一种视频行人重识别方法、智能终端及存储介质 | |
| CN113780224B (zh) | 一种变电站无人化巡视方法及*** | |
| CN114638745B (zh) | 一种基于多借鉴信息的医学影像智能转换方法 | |
| CN116883880B (zh) | 一种基于ar技术的起重机识别方法、装置和电子设备 | |
| CN116166966B (zh) | 一种基于多模态数据融合的水质劣化事件检测方法 | |
| CN115641550A (zh) | 一种用于化工场所中工作人员防护用具佩戴情况的检测方法及检测*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |