CN113284103B - 基于空间变换Faster R-CNN模型的变电站设备缺陷在线检测方法 - Google Patents
基于空间变换Faster R-CNN模型的变电站设备缺陷在线检测方法 Download PDFInfo
- Publication number
- CN113284103B CN113284103B CN202110551736.8A CN202110551736A CN113284103B CN 113284103 B CN113284103 B CN 113284103B CN 202110551736 A CN202110551736 A CN 202110551736A CN 113284103 B CN113284103 B CN 113284103B
- Authority
- CN
- China
- Prior art keywords
- model
- infrared image
- training
- image
- cnn model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000007547 defect Effects 0.000 title claims abstract description 48
- 238000001514 detection method Methods 0.000 title claims abstract description 29
- 230000009466 transformation Effects 0.000 title claims abstract description 25
- 238000012545 processing Methods 0.000 claims abstract description 24
- 238000012549 training Methods 0.000 claims abstract description 23
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 7
- 238000004590 computer program Methods 0.000 claims abstract description 7
- 238000000034 method Methods 0.000 claims abstract description 7
- 230000003993 interaction Effects 0.000 claims abstract description 4
- 239000011159 matrix material Substances 0.000 claims description 20
- 238000013507 mapping Methods 0.000 claims description 13
- 238000011176 pooling Methods 0.000 claims description 8
- 238000007477 logistic regression Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000009827 uniform distribution Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 description 12
- 238000012544 monitoring process Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/0008—Industrial image inspection checking presence/absence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20076—Probabilistic image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Molecular Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了基于空间变换Faster R‑CNN模型的变电站设备缺陷在线检测***。步骤1,获取离线训练样本:利用红外热像仪和高清摄像机拍摄变电站各种缺陷图像;步骤2,样本拓展算法处理:将步骤1处理得到的红外图像和可见光图像输入到设计的空间变换模型中以得到拓展的红外图像,并确定目标缺陷检测区域;步骤3,改进的Faster R‑CNN模型训练:将得到的拓展红外图像输入到改进的Faster R‑CNN模型中,不断训练使得模型收敛;步骤4,模型在线应用:将步骤1~步骤3训练得到的模型安装于上位机程序中,利用信息交互***实时处理采集到的图像,最终实现对变电站设备缺陷的检测。本发明所述方法可以准确有效的检测出变电站设备存在的缺陷,具有良好的实际应用价值。
Description
技术领域
本发明涉及变电站设备缺陷检测领域,特别是涉及基于空间变换Faster R-CNN模型的变电站设备缺陷在线检测方法。
背景技术
变电站牵涉的供电***范围较广、分布范围大、设备型号多和供电负荷大,保障供电***可靠的运行是一项越来越重要的工作。为保障电网***可靠的运行和及时判定故障以进行设备维护,需要采用一系列新的技术手段和管理策略,其中,针对变电设备运行的安全检测***是可靠性运行的技术保障手段之一。
该***针对变电设备的运行,在其带电作业运行的条件下对供电设备运行状态实施自动连续监测,目的是保障变电设备运行能够始终处于正常状态,特别是在设备布点多、人工值守越来越不现实的情况下,有效提高了变电站安全运行保障的自动化和精确化程度,提高了企业的生产效率,创造了社会财富。
从目前的研究来看,在变电站设备缺陷检测领域中,利用深度学习模型进行缺陷的目标识别有着较广的应用,但是实际工业现场中缺陷图像样本较少,这会导致模型过拟合从而大大的降低模型的泛化性能。另外,如何保障所选用的深度学习模型能够很好的抓取缺陷图像的特征是另一大难题。
国内涉及变电站设备监测的专利有“一种用于输变电工程环水保监测的无人机***及其航拍方法”(201911267799.X),其中包括CPU和电源模块,CPU电性连接有GPS模块、惯性定位***和驱动***,该发明能够自动巡航,进行全方位检测,提高了定位精度,准确达到巡视目标位置并拍摄高分辨率图像,能用于输变电工程环水保监测,但该发明中采用的BP模型未考虑小样本条件下模型的泛化性能。国家发明专利“专用于变电设备及变电站区域移动式噪声检测***”(201320284689.6),该方法通过设计传感器采集模块、通信模块和用于存储变电站移动采集子站,加密后拷贝数据的安全存储介质及用于接收安全存储介质内信息的噪声监测主站,实现了噪声监测传感器的多点分布,覆盖范围广,保障了测试数据的完整性和连续性,噪声监测***实现了对上传数据的监控、存储、发布和分析统计,使采集数据的应用及时且充分。
发明内容
为解决上述问题,本发明在图像的色彩空间变换和Faster R-CNN模型的基础上,提出了基于空间变换Faster R-CNN模型的变电站设备缺陷在线检测方法。考虑到实际工业应用中,带有缺陷的红外图像样本较为稀缺,本发明提出了STM模型,通过动态的滤波器矩阵以实现对红外样本的拓展,从而可以提高模型的泛化性能。另外,采用了Faster R-CNN模型实现对红外图像中存在的设备缺陷的检测,考虑到STM模型扩展得到的红外图像与原始的红外图像间存在一定的失真,本专利在Faster R-CNN模型原有的损失函数基础上加以改进,提出了新的损失函数,从而可以更加精确的检测出设备缺陷所在的区域。为达此目的,本发明提供基于空间变换Faster R-CNN模型的变电站设备缺陷在线检测方法,具体步骤如下,其特征在于:
步骤1,获取离线训练样本:利用红外热像仪和高清摄像机拍摄变电站各种缺陷图像;
步骤2,样本拓展算法处理:将步骤1处理得到的红外图像和可见光图像输入到设计的空间变换模型Spatial transformation model,STM中以得到拓展的红外图像,并确定目标缺陷检测区域;
步骤3,改进的Faster R-CNN模型训练:将得到的拓展红外图像输入到改进的Faster R-CNN模型中,不断训练使得模型收敛;
步骤4,模型在线应用:将步骤1~步骤3训练得到的模型安装于上位机程序中,利用信息交互***实时处理采集到的图像,最终实现对变电站设备缺陷的检测。
进一步,步骤2中样本拓展算法处理的具体步骤可表述如下:
步骤2.1,利用设计的动态滤波器矩阵将可见光图像从RGB色彩空间映射至LMS色彩空间,其中的映射关系为:
式中,R、G和B分别为图像在RGB通道上的值,L、M和S是经过动态滤波器矩阵处理后得到的像素值,ωt(t=1,2,...,9)为加权系数,且ωt=e-p,指数p满足均匀分布U[0,0.1]。
步骤2.2,利用固定的滤波器矩阵将步骤2.1得到的LMS色彩空间映射至lαβ色彩空间,其中的映射关系为:
式中,l、α和β分别是经过滤波器矩阵处理后可见光图像在lαβ色彩空间中的像素值。
步骤2.3,分别计算可见光图像和红外图像在lαβ色彩空间中的均值和/>标准差/>和/>而后结合步骤2.2得到的l、α和β的值计算扩展后得到的最终像素值l'、α'和β',具体的表达式为:
进一步,步骤3中改进的Faster R-CNN模型训练的具体步骤可表述如下:
步骤3.1,将扩展后的红外图像输入VGG16模型中以得到提取后的feature map;
步骤3.2,利用RPN网络对feature map进行回归计算,从而生成含有设备缺陷的候选边框,并输出相应的候选框矩阵和得分;
步骤3.3,将步骤3.1得到的feature map和步骤3.2得到的候选区域输入到ROIpooling层进行池化处理以得到候选特征图;
步骤3.4,利用Softmax逻辑回归和全连接层对候选特征图进行处理,实现特征图的分类和最终检测的设备缺陷所对应的边框区域。
其中,考虑到STM模型扩展得到的红外图像与原始的红外图像间存在一定的失真,本专利在Faster R-CNN模型原有的损失函数基础上加以改进,提出了新的损失函数,其表达式为:
式中,Nreg和Ncls分别为预测的边框数量和二分类锚点数,pi为锚点对应的二分类概率,表示实际的锚点分类结果,λ1为回归和分类损失的平衡系数,ei和/>分别为预测边框和锚点到实际边框的定位误差,Lcorr、Lcls和Lreg分别为红外图像失真损失函数、交叉熵损失函数和锚点的回归损失函数,具体的定义分别如下:
Lcls=-log(pi)
式中,M、N分别表示红外图像的长度和宽度所对应的维度。
进一步,步骤4中对模型的在线应用的具体描述为:
将步骤1~步骤3训练得到的模型安装于上位机程序中,而后利用训练好的模型实时对采集的变电站红外图像进行缺陷检测,如果检测出缺陷,则发出警报,否则机器人继续巡检。
本发明基于空间变换Faster R-CNN模型的变电站设备缺陷在线检测方法,有益效果:本发明的技术效果在于:
1.针对工业红外缺陷图像稀缺问题,本发明提出了STM模型,通过动态的滤波器矩阵以实现对红外样本的拓展,从而可以提高模型的泛化性能;
2.考虑到STM模型扩展得到的红外图像与原始的红外图像间存在一定的失真,本专利在Faster R-CNN模型原有的损失函数基础上加以改进,提出了新的损失函数,从而可以更加精确的检测出设备缺陷所在的区域。
附图说明
图1为本发明的流程图;
图2为本发明所用的空间变换Faster R-CNN模型的网络结构图;
图3为在线检测***的流程图。
具体实施方式
下面结合附图与具体实施方式对本发明作进一步详细描述:
本发明提出了基于空间变换Faster R-CNN模型的变电站设备缺陷在线检测方法,旨在实现对变电站设备缺陷的实时检测以确保变电站安全。图1为本发明的流程图,下面结合流程图对本发明的步骤作详细介绍。
步骤1,获取离线训练样本:利用红外热像仪和高清摄像机拍摄变电站各种缺陷图像;
步骤2,样本拓展算法处理:将步骤1处理得到的红外图像和可见光图像输入到设计的空间变换模型(Spatial transformation model,STM)中以得到拓展的红外图像,并确定目标缺陷检测区域;
步骤2中样本拓展算法处理的具体步骤可表述如下:
步骤2.1,利用设计的动态滤波器矩阵将可见光图像从RGB色彩空间映射至LMS色彩空间,其中的映射关系为:
式中,R、G和B分别为图像在RGB通道上的值,L、M和S是经过动态滤波器矩阵处理后得到的像素值,ωt(t=1,2,...,9)为加权系数,且ωt=e-p,指数p满足均匀分布U[0,0.1]。
步骤2.2,利用固定的滤波器矩阵将步骤2.1得到的LMS色彩空间映射至lαβ色彩空间,其中的映射关系为:
式中,l、α和β分别是经过滤波器矩阵处理后可见光图像在lαβ色彩空间中的像素值。
步骤2.3,分别计算可见光图像和红外图像在lαβ色彩空间中的均值和/>标准差/>和/>而后结合步骤2.2得到的l、α和β的值计算扩展后得到的最终像素值l'、α'和β',具体的表达式为:
步骤3,改进的Faster R-CNN模型训练:将得到的拓展红外图像输入到改进的Faster R-CNN模型中,不断训练使得模型收敛;
步骤3中改进的Faster R-CNN模型训练的具体步骤可表述如下:
步骤3.1,将扩展后的红外图像输入VGG16模型中以得到提取后的feature map;
步骤3.2,利用RPN网络对feature map进行回归计算,从而生成含有设备缺陷的候选边框,并输出相应的候选框矩阵和得分;
步骤3.3,将步骤3.1得到的feature map和步骤3.2得到的候选区域输入到ROIpooling层进行池化处理以得到候选特征图;
步骤3.4,利用Softmax逻辑回归和全连接层对候选特征图进行处理,实现特征图的分类和最终检测的设备缺陷所对应的边框区域。
其中,考虑到STM模型扩展得到的红外图像与原始的红外图像间存在一定的失真,本专利在Faster R-CNN模型原有的损失函数基础上加以改进,提出了新的损失函数,其表达式为:
式中,Nreg和Ncls分别为预测的边框数量和二分类锚点数,pi为锚点对应的二分类概率,表示实际的锚点分类结果,λ1为回归和分类损失的平衡系数,ei和/>分别为预测边框和锚点到实际边框的定位误差,Lcorr、Lcls和Lreg分别为红外图像失真损失函数、交叉熵损失函数和锚点的回归损失函数,具体的定义分别如下:
Lcls=-log(pi)
式中,M、N分别表示红外图像的长度和宽度所对应的维度。
步骤4,模型在线应用:将步骤1~步骤3训练得到的模型安装于上位机程序中,利用信息交互***实时处理采集到的图像,最终实现对变电站设备缺陷的检测。
步骤4中对模型的在线应用的具体描述为:
将步骤1~步骤3训练得到的模型安装于上位机程序中,而后利用训练好的模型实时对采集的变电站红外图像进行缺陷检测,如果检测出缺陷,则发出警报,否则机器人继续巡检。
图2为发明所用的空间变换Faster R-CNN模型的网络结构图。该结构图可分为两大模块,分别是:图像样本扩展模块和改进的Fast R-CNN模块。对图像样本扩展模块来说,本专利设计了STM模型,其中通过设定动态的滤波器矩阵将原有的可见光图像从RGB色彩空间变换至LMS色彩空间,接着使用固定的滤波器矩阵将可见光图像从LMS色彩空间变换至lαβ色彩空间,而后通过计算可见光图像和红外图像在lαβ色彩空间分别对应的均值和方差,再结合线性映射公式获得扩展后的图像。在整个过程中,由于动态滤波器矩阵的存在,使得每次得到的扩展图像都是不同的,这极大的扩大了模型的训练样本量,避免了模型的过拟合和增强了模型的泛化性。在改进的Fast R-CNN模块中可以看出,利用VGG16模型对扩展得到的图像进行特征提取以得到公共的feature map,接着利用RPN网络确定候选区域,并对候选区域进行逻辑回归;而后将得到的feature map和候选区域输入到ROI pooling层进行池化处理以得到候选特征图;最后利用Softmax逻辑回归和全连接层对候选特征图进行处理,实现特征图的分类和最终检测的设备缺陷所对应的边框区域。
图3为在线检测***的流程图,可以看出:巡检机器人通过高清摄像头和红外热像仪分别拍摄变电站的可见光图像和红外图像,然后通过安全接入模块向机器人主机发送信息,接着通过巡检主机,最后传送至工作站,并利用已训练好的空间变换Fast R-CNN模型对上传的图像进行缺陷检测,确保变电站的安全运行。
以上所述,仅是本发明的较佳实施例而已,并非是对本发明作任何其他形式的限制,而依据本发明的技术实质所作的任何修改或等同变化,仍属于本发明所要求保护的范围。
Claims (2)
1.基于空间变换Faster R-CNN模型的变电站设备缺陷在线检测方法,具体步骤如下,其特征在于:
步骤1,获取离线训练样本:利用红外热像仪和高清摄像机拍摄变电站各种缺陷图像;
步骤2,样本拓展算法处理:将步骤1处理得到的红外图像和可见光图像输入到设计的空间变换模型Spatial transformation model,STM中以得到拓展的红外图像,并确定目标缺陷检测区域;
步骤2中样本拓展算法处理的具体步骤可表述如下:
步骤2.1,利用设计的动态滤波器矩阵将可见光图像从RGB色彩空间映射至LMS色彩空间,其中的映射关系为:
式中,R、G和B分别为图像在RGB通道上的值,L、M和S是经过动态滤波器矩阵处理后得到的像素值,ωt,t=1,2,...,9为加权系数,且ωt=e-p,指数p满足均匀分布U[0,0.1];
步骤2.2,利用固定的滤波器矩阵将步骤2.1得到的LMS色彩空间映射至lαβ色彩空间,其中的映射关系为:
式中,l、α和β分别是经过滤波器矩阵处理后可见光图像在lαβ色彩空间中的像素值;
步骤2.3,分别计算可见光图像和红外图像在lαβ色彩空间中的均值和标准差/>和/>而后结合步骤2.2得到的l、α和β的值计算扩展后得到的最终像素值l'、α'和β',具体的表达式为:
步骤3,改进的Faster R-CNN模型训练:将得到的拓展红外图像输入到改进的FasterR-CNN模型中,不断训练使得模型收敛;
步骤3中改进的Faster R-CNN模型训练的具体步骤可表述如下:
步骤3.1,将扩展后的红外图像输入VGG16模型中以得到提取后的feature map;
步骤3.2,利用RPN网络对feature map进行回归计算,从而生成含有设备缺陷的候选边框,并输出相应的候选框矩阵和得分;
步骤3.3,将步骤3.1得到的feature map和步骤3.2得到的候选区域输入到ROIpooling层进行池化处理以得到候选特征图;
步骤3.4,利用Softmax逻辑回归和全连接层对候选特征图进行处理,实现特征图的分类和最终检测的设备缺陷所对应的边框区域;
其中,考虑到STM模型扩展得到的红外图像与原始的红外图像间存在一定的失真,在Faster R-CNN模型原有的损失函数基础上加以改进,提出了新的损失函数,其表达式为:
式中,Nreg和Ncls分别为预测的边框数量和二分类锚点数,pi为锚点对应的二分类概率,表示实际的锚点分类结果,λ1为回归和分类损失的平衡系数,ei和/>分别为预测边框和锚点到实际边框的定位误差,Lcorr、Lcls和Lreg分别为红外图像失真损失函数、交叉熵损失函数和锚点的回归损失函数,具体的定义分别如下:
Lcls=-log(pi)
式中,M、N分别表示红外图像的长度和宽度所对应的维度;
步骤4,模型在线应用:将步骤1~步骤3训练得到的模型安装于上位机程序中,利用信息交互***实时处理采集到的图像,最终实现对变电站设备缺陷的检测。
2.根据权利要求1所述的基于空间变换Faster R-CNN模型的变电站设备缺陷在线检测方法,其特征在于:步骤4中对模型的在线应用的具体描述为:
将步骤1~步骤3训练得到的模型安装于上位机程序中,而后利用训练好的模型实时对采集的变电站红外图像进行缺陷检测,如果检测出缺陷,则发出警报,否则机器人继续巡检。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110551736.8A CN113284103B (zh) | 2021-05-20 | 2021-05-20 | 基于空间变换Faster R-CNN模型的变电站设备缺陷在线检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110551736.8A CN113284103B (zh) | 2021-05-20 | 2021-05-20 | 基于空间变换Faster R-CNN模型的变电站设备缺陷在线检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113284103A CN113284103A (zh) | 2021-08-20 |
CN113284103B true CN113284103B (zh) | 2024-03-26 |
Family
ID=77280322
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110551736.8A Active CN113284103B (zh) | 2021-05-20 | 2021-05-20 | 基于空间变换Faster R-CNN模型的变电站设备缺陷在线检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113284103B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114974579B (zh) * | 2022-04-20 | 2024-02-27 | 山东大学齐鲁医院 | 消化道粘膜下肿瘤内镜治疗预后的辅助判定***及设备 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101339653A (zh) * | 2008-01-30 | 2009-01-07 | 西安电子科技大学 | 基于彩色传递及熵信息的红外与彩色可见光图像融合方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10290092B2 (en) * | 2014-05-15 | 2019-05-14 | Applied Materials Israel, Ltd | System, a method and a computer program product for fitting based defect detection |
WO2016207875A1 (en) * | 2015-06-22 | 2016-12-29 | Photomyne Ltd. | System and method for detecting objects in an image |
-
2021
- 2021-05-20 CN CN202110551736.8A patent/CN113284103B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101339653A (zh) * | 2008-01-30 | 2009-01-07 | 西安电子科技大学 | 基于彩色传递及熵信息的红外与彩色可见光图像融合方法 |
Non-Patent Citations (5)
Title |
---|
"A United 1αβ-Contourlet Method for Remote Sensing Image Fusion";Guofeng Wang 等;《IEEE》;20110629;全文 * |
"一种基于红外成像的强反射金属表面缺陷视觉检测方法";张学武 等;《光学学报》;20110331;第31卷(第3期);全文 * |
"基于AM5728 红外与可见光双波段图像配准技术研究及融合***的开发";邓智威;《中国优秀硕士学位论文全文数据库 信息科技辑》;20191215;全文 * |
"基于Tetrolet变换的红外与可见光融合";沈瑜 等;《光谱学与光谱分析》;20130630;第33卷(第6期);全文 * |
"钻孔灌注桩提高基坑抗***安全系数计算";尹雄 等;《山西建筑》;20130531;第39卷(第13期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN113284103A (zh) | 2021-08-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110598736B (zh) | 一种电力设备红外图像故障定位、识别与预测方法 | |
CN112734692B (zh) | 一种变电设备缺陷识别方法及装置 | |
CN110084165B (zh) | 基于边缘计算的电力领域开放场景下异常事件的智能识别与预警方法 | |
CN113436184B (zh) | 基于改进孪生网络的电力设备图像缺陷判别方法及*** | |
CN108229524A (zh) | 一种基于遥感图像的烟囱和冷凝塔检测方法 | |
CN114943689A (zh) | 基于半监督学习的钢铁冷轧退火炉元器件检测方法 | |
CN113205039A (zh) | 基于多dcnn网络的电力设备故障图像识别勘灾***及方法 | |
CN114821852A (zh) | 基于特征金字塔的电网缺陷深度识别巡查机器人控制*** | |
CN114596278A (zh) | 一种用于光伏电站的光伏面板热斑缺陷检测方法及装置 | |
CN113569956A (zh) | 一种基于ai算法的山火灾害勘查识别方法 | |
CN112819988A (zh) | 基于5g的无人机电站智能巡检方法、***和网络侧服务端 | |
CN116681962A (zh) | 基于改进YOLOv5的电力设备热图像检测方法及*** | |
CN113284103B (zh) | 基于空间变换Faster R-CNN模型的变电站设备缺陷在线检测方法 | |
CN116228670A (zh) | 基于Yolov5的光伏缺陷检测方法、装置、计算机设备及介质 | |
CN116485802B (zh) | 一种绝缘子闪络缺陷检测方法、装置、设备及存储介质 | |
CN118038021A (zh) | 基于改进yolov4的变电站作业现场异物入侵检测方法 | |
Daogang et al. | Anomaly identification of critical power plant facilities based on YOLOX-CBAM | |
CN108470141B (zh) | 一种基于统计特征与机器学习的配电线路中绝缘子识别方法 | |
CN115690505A (zh) | 光伏组件故障检测方法、装置、计算机设备及存储介质 | |
CN115410154A (zh) | 一种风电机舱电气设备热故障识别方法 | |
CN113496210B (zh) | 基于注意力机制的光伏组串跟踪及故障跟踪方法 | |
CN115147591A (zh) | 一种变电设备红外图像电压致热型缺陷诊断方法及*** | |
CN113705442A (zh) | 一种户外大牌广告画面监控识别***及方法 | |
CN117823741B (zh) | 一种结合智能机器人的管网非开挖修复方法及*** | |
Wang et al. | Photovoltaic Panel Intelligent Detection Method Based on Improved Faster-RCNN |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |