CN116579998A - 变电设备的缺陷检测方法、装置、设备、介质和程序产品 - Google Patents
变电设备的缺陷检测方法、装置、设备、介质和程序产品 Download PDFInfo
- Publication number
- CN116579998A CN116579998A CN202310485871.6A CN202310485871A CN116579998A CN 116579998 A CN116579998 A CN 116579998A CN 202310485871 A CN202310485871 A CN 202310485871A CN 116579998 A CN116579998 A CN 116579998A
- Authority
- CN
- China
- Prior art keywords
- defect
- power transformation
- sample image
- transformation equipment
- defect detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007547 defect Effects 0.000 title claims abstract description 502
- 238000001514 detection method Methods 0.000 title claims abstract description 211
- 230000009466 transformation Effects 0.000 claims abstract description 305
- 238000012549 training Methods 0.000 claims abstract description 82
- 238000000034 method Methods 0.000 claims abstract description 57
- 239000013598 vector Substances 0.000 claims description 44
- 238000007689 inspection Methods 0.000 claims description 30
- 238000000605 extraction Methods 0.000 claims description 27
- 238000002372 labelling Methods 0.000 claims description 27
- 238000012545 processing Methods 0.000 claims description 25
- 238000004590 computer program Methods 0.000 claims description 24
- 230000008569 process Effects 0.000 claims description 21
- 230000006870 function Effects 0.000 claims description 19
- 239000003550 marker Substances 0.000 claims description 15
- 238000010586 diagram Methods 0.000 claims description 8
- 230000002950 deficient Effects 0.000 description 7
- 238000012423 maintenance Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 239000012212 insulator Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种变电设备的缺陷检测方法、装置、计算机设备、存储介质和程序产品,方法包括:针对每个未标注缺陷的变电设备样本图像,基于有标注缺陷的变电设备样本图像训练得到的第一缺陷检测模型对未标注缺陷的变电设备样本图像进行缺陷预测,得到未标注缺陷的变电设备样本图像对应的多个候选预测框以及各候选预测框的置信度;将多个候选预测框中置信度大于预设的置信度阈值的候选预测框,确定为未标注缺陷的变电设备样本图像的伪标签;基于各带伪标签的变电设备样本图像和各有标注缺陷的变电设备样本图像训练第二缺陷检测模型;第二缺陷检测模型用于识别目标变电设备的缺陷的位置和类别。采用本方法能够提高缺陷识别的准确性。
Description
技术领域
本申请涉及电力技术领域,特别是涉及一种变电设备的缺陷检测方法、装置、设备、介质和程序产品。
背景技术
变电设备作为变电站的核心设备,是保证变电***稳定以及可靠运行的关键。因此,需要监测变电设备的运行状态,当变电设备出现缺陷时,例如绝缘子裂痕、表计破损、线路散股和漏油等缺陷,及时对有缺陷的变电设备进行维护,从而保证变电设备的稳定运行。传统方法中,是通过人工监测变电设备的运行状态,以判断是否存在有缺陷的变电设备。
然而,由于人工监测存在各种干扰因素,例如注意力不集中、对于缺陷的判断标准不同等干扰因素,导致变电设备的缺陷检测结果的准确性不高。
发明内容
基于此,有必要针对上述技术问题,提供一种能够提高缺陷检测结果的准确性的变电设备的缺陷检测方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
第一方面,本申请提供了一种变电设备的缺陷检测方法,方法包括:
获取有标注缺陷的变电设备样本图像和未标注缺陷的变电设备样本图像,得到第一变电设备样本图像集和第二变电设备样本图像集;
基于第一变电设备样本图像集中的有标注缺陷的变电设备样本图像训练第一缺陷检测模型;
针对第二变电设备样本图像集中每个未标注缺陷的变电设备样本图像,基于第一缺陷检测模型对未标注缺陷的变电设备样本图像进行缺陷预测,得到未标注缺陷的变电设备样本图像对应的多个候选预测框以及各候选预测框的置信度;
将多个候选预测框中置信度大于预设的置信度阈值的候选预测框,确定为未标注缺陷的变电设备样本图像的伪标签,得到伪标签变电设备样本图像;
基于各伪标签变电设备样本图像和第一变电设备样本图像集训练第二缺陷检测模型;第二缺陷检测模型用于对目标变电设备的变电设备图像进行缺陷检测处理,得到目标变电设备的缺陷的位置和类别。
在一些实施例中,每个有标注缺陷的变电设备样本图像具有对应的缺陷类别标记和缺陷位置标记;基于第一变电设备样本图像集中的有标注缺陷的变电设备样本图像训练第一缺陷检测模型,包括:
将有标注缺陷的变电设备样本图像输入至初始模型中的特征提取网络,得到有标注缺陷的变电设备样本图像对应的多种尺寸的特征图;
对多种尺寸的特征图进行卷积操作,得到各特征图组成的特征金字塔;
将特征金字塔输入特征金字塔网络,得到有标注缺陷的变电设备样本图像的类别向量和位置向量;类别向量用以表征位置向量指示的有标注缺陷的变电设备样本图像的位置区域内存在缺陷的概率;位置向量用以表征有标注缺陷的变电设备样本图像中存在缺陷的各位置区域的位置信息;
基于类别向量预测有标注缺陷的变电设备样本图像中的缺陷类别;
基于位置向量预测有标注缺陷的变电设备样本图像中的缺陷位置;
基于预测的缺陷类别与缺陷类别标记之间的差异、以及预测的缺陷位置与缺陷位置标记之间的差异,对初始模型中的特征提取网络和特征金字塔网络进行参数调整,以迭代进行模型训练,得到第一缺陷检测模型。
在一些实施例中,基于预测的缺陷类别与缺陷类别标记之间的差异、以及预测的缺陷位置与缺陷位置标记之间的差异,对初始模型中的特征提取网络和特征金字塔网络进行参数调整,以迭代进行模型训练,得到第一缺陷检测模型,包括:
基于预测的缺陷位置与相应的缺陷位置标记之间的差异,确定位置损失值;
基于预测的缺陷类别与相应的缺陷类别标记之间的差异,确定类别损失值;
根据位置损失值和类别损失值,确定目标损失值,并朝着使目标损失值减小的方向,对初始模型中的特征提取网络和特征金字塔网络进行参数调整,以迭代进行模型训练,得到第一缺陷检测模型。
在一些实施例中,方法还包括:
在基于各伪标签变电设备样本图像和第一变电设备样本图像集训练第二缺陷检测模型的过程中,根据未标注缺陷的变电设备样本图像的伪标签的噪声比例,修改第二缺陷检测模型的分类损失函数的噪声参数的值;分类损失函数的表达式如下:
Lfl=-((1-p)2q(pn-1/n)+p2(1-q)log(1-p))
其中,Lr1是分类损失值;p是所述伪标签变电设备样本图像的缺陷类别标记或所述第一变电设备样本图像集中的有标注缺陷的变电设备样本图像的缺陷类别标记;q是训练所述第二缺陷检测模型的过程中,所述第二缺陷检测模型预测的缺陷类别;n是噪声参数。
在一些实施例中,根据未标注缺陷的变电设备样本图像的伪标签的噪声比例,修改第二缺陷检测模型的分类损失函数的噪声参数的值,包括:
在噪声比例大于预设噪声比例的情况下,修改噪声参数的值,以使得修改后的噪声参数的值位于第一预设取值范围;
在噪声比例小于或等于预设噪声比例的情况下,修改噪声参数的值,以使得修改后的噪声参数的值位于第二预设取值范围。
在一些实施例中,第二缺陷检测模型是部署于智能巡检机器人上的;第二缺陷检测模型用于对目标变电设备的变电设备图像进行缺陷检测处理,得到目标变电设备的缺陷的位置和类别的步骤,包括:
在智能巡检机器人对目标变电设备进行巡检的过程中,通过智能巡检机器人拍摄目标变电设备的变电设备图像,并基于第二缺陷检测模型对变电设备图像进行缺陷检测处理,得到目标变电设备的缺陷的位置和类别。
第二方面,本申请还提供了一种变电设备的缺陷检测装置,该装置包括:
获取模块,用于获取有标注缺陷的变电设备样本图像和未标注缺陷的变电设备样本图像,得到第一变电设备样本图像集和第二变电设备样本图像集;
第一训练模块,用于基于第一变电设备样本图像集中的有标注缺陷的变电设备样本图像训练第一缺陷检测模型;针对第二变电设备样本图像集中每个未标注缺陷的变电设备样本图像,基于第一缺陷检测模型对未标注缺陷的变电设备样本图像进行缺陷预测,得到未标注缺陷的变电设备样本图像对应的多个候选预测框以及各候选预测框的置信度;将多个候选预测框中置信度大于预设的置信度阈值的候选预测框,确定为未标注缺陷的变电设备样本图像的伪标签,得到伪标签变电设备样本图像;
第二训练模块,用于基于各伪标签变电设备样本图像和第一变电设备样本图像集训练第二缺陷检测模型;第二缺陷检测模型用于对目标变电设备的变电设备图像进行缺陷检测处理,得到目标变电设备的缺陷的位置和类别。
第三方面,本申请还提供了一种计算机设备。计算机设备包括存储器和处理器,存储器存储有计算机程序,处理器执行计算机程序时实现上述的方法的步骤。
第四方面,本申请还提供了一种计算机可读存储介质。计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述的方法的步骤。
第五方面,本申请还提供了一种计算机程序产品。计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述的方法的步骤。
上述变电设备的缺陷检测方法、装置、计算机设备、存储介质和计算机程序产品,通过使用有标注缺陷的变电设备样本图像训练第一缺陷检测模型,基于第一缺陷检测模型预测未标注缺陷的变电设备样本图像的伪标签,再基于伪标签变电设备样本图像和有标注缺陷的变电设备样本图像训练第二缺陷检测模型,增加了训练第二缺陷检测模型的变电设备样本图像的数量,减少了第二缺陷检测模型对有标注缺陷的变电设备样本图像的依赖性,提高了第二缺陷检测模型的缺陷识别能力,进而提高了使用第二缺陷检测模型进行缺陷检测处理,得到的缺陷检测结果的准确性。
附图说明
图1为一个实施例中变电设备的缺陷检测方法的应用环境图;
图2为一个实施例中变电设备的缺陷检测方法的流程示意图;
图3为另一个实施例中变电设备的缺陷检测方法的流程示意图;
图4为一个实施例中变电设备的缺陷检测装置的结构框图;
图5为一个实施例中第一训练模块的结构框图;
图6为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请实施例提供的变电设备的缺陷检测方法,可以应用于如图1所示的应用环境中。其中,智能巡检机器人101是用于对目标变电设备102进行巡检的机器人。可以理解,在某些情况下,目标变电设备102所处地理环境恶劣,存在安全隐患问题,因此通过在智能巡检机器人101上部署第二缺陷检测模型,对目标变电设备102进行巡检,以确定目标变电设备102是否存在缺陷。
在智能巡检机器人101对目标变电设备102进行巡检的过程中,可以通过部署的第二缺陷检测模型对目标变电设备102的变电设备图像进行缺陷检测处理,得到缺陷检测结果,进而可以根据缺陷检测结果以确定目标变电设备102是否存在缺陷,进而在目标变电设备102存在缺陷的情况下,将缺陷检测结果上报给目标变电设备102的运维人员,使得运维人员能及时对有缺陷的目标变电设备102进行维护,从而保证目标变电设备102的稳定运行。
可以理解,在使用第二缺陷检测模型前,需要对第二缺陷检测模型进行训练,模型训练的过程如下:获取有标注缺陷的变电设备样本图像和未标注缺陷的变电设备样本图像,得到第一变电设备样本图像集和第二变电设备样本图像集;基于第一变电设备样本图像集中的有标注缺陷的变电设备样本图像训练第一缺陷检测模型;针对第二变电设备样本图像集中每个未标注缺陷的变电设备样本图像,基于第一缺陷检测模型对未标注缺陷的变电设备样本图像进行缺陷预测,得到未标注缺陷的变电设备样本图像对应的多个候选预测框以及各候选预测框的置信度;将多个候选预测框中置信度大于预设的置信度阈值的候选预测框,确定为未标注缺陷的变电设备样本图像的伪标签,得到伪标签变电设备样本图像;基于各伪标签变电设备样本图像和第一变电设备样本图像集训练第二缺陷检测模型;第二缺陷检测模型用于对目标变电设备的变电设备图像进行缺陷检测处理,得到目标变电设备的缺陷的位置和类别。可以理解,模型训练的过程可以是在智能巡检机器人上进行的,也可以是在其他设备上进行的,本实施例在此不作限定。
需要说明的是,第二缺陷检测模型除了可以部署在智能巡检机器人上,还可以部署于其他终端上。当部署于其他终端上,其他终端可以通过从其他图像采集设备处获取目标变电设备的变电设备图像,以通过其他终端上部署的第二缺陷检测模型对目标变电设备的变电设备图像进行缺陷检测处理,得到目标变电设备的缺陷的位置和类别。
在一个实施例中,如图2所示,提供了一种变电设备的缺陷检测方法,以该方法应用于图1中的智能巡检机器人101,即在智能巡检机器人上进行模型训练为例进行说明,包括以下步骤:
步骤201、获取有标注缺陷的变电设备样本图像和未标注缺陷的变电设备样本图像,得到第一变电设备样本图像集和第二变电设备样本图像集。
其中,有标注缺陷的变电设备样本图像是标注有缺陷的变电设备的缺陷类别的变电设备样本图像。相应的,未标注缺陷的变电设备样本图像就是未标注变电设备的缺陷的变电设备样本图像。在一些实施例中,为了确保模型训练的有效性,第一变电设备样本图像集中包括各类有标注缺陷的变电设备样本图像。
步骤202、基于第一变电设备样本图像集中的有标注缺陷的变电设备样本图像训练第一缺陷检测模型。
示例性地,智能巡检机器人获取第一变电设备样本图像集,并对第一变电设备样本图像集中的有标注缺陷的变电设备样本图像进行特征提取,并将特征提取结果输入初始模型进行迭代训练,当满足迭代停止条件时,得到第一缺陷检测模型。
步骤203、针对第二变电设备样本图像集中每个未标注缺陷的变电设备样本图像,基于第一缺陷检测模型对未标注缺陷的变电设备样本图像进行缺陷预测,得到未标注缺陷的变电设备样本图像对应的多个候选预测框以及各候选预测框的置信度。
其中,候选预测框是第一缺陷检测模型预测的、未标注缺陷的变电设备样本图像中可能存在缺陷的区域。候选预测框的置信度是各候选预测框存在缺陷的概率。
示例性地,针对第二变电设备样本图像集中每个未标注缺陷的变电设备样本图像,智能巡检机器人基于第一缺陷检测模型对未标注缺陷的变电设备样本图像进行缺陷预测,得到未标注缺陷的变电设备样本图像对应的多个候选预测框,以及各候选预测框的置信度,即标记未标注缺陷的变电设备样本图像中可能存在缺陷的各区域,以及可能存在缺陷的各区域存在缺陷的概率。
步骤204、将多个候选预测框中置信度大于预设的置信度阈值的候选预测框,确定为未标注缺陷的变电设备样本图像的伪标签,得到伪标签变电设备样本图像。
示例性地,智能巡检机器人将各候选预测框的置信度与预设的置信度阈值做比较,将多个候选预测框中置信度大于预设的置信度阈值的候选预测框,确定为未标注缺陷的变电设备样本图像的伪标签,得到伪标签变电设备样本图像。
可以理解,由于伪标签的准确性不高,可能会带来一定的噪声,从而影响第二缺陷检测模型的训练效果,因此通过设置预设的置信度阈值来筛选置信度高的伪标签,即选择置信度大于预设的置信度阈值所对应的候选预测框作为伪标签,来降低噪声对第二缺陷检测模型的训练效果。
步骤205、基于各伪标签变电设备样本图像和第一变电设备样本图像集训练第二缺陷检测模型;第二缺陷检测模型用于对目标变电设备的变电设备图像进行缺陷检测处理,得到目标变电设备的缺陷的位置和类别。
示例性地,在训练第二缺陷检测模型的过程中,智能巡检机器人分别对各伪标签变电设备样本图像进行特征提取,以及对第一变电设备样本图像集中的有标注缺陷的变电设备样本图像,进行特征提取处理,并将特征提取结果输入初始模型进行迭代训练,当满足迭代停止条件时,得到第二缺陷检测模型;在智能巡检机器人对目标变电设备进行巡检的过程中,智能巡检机器人采集目标变电设备的变电设备图像,并基于第二缺陷检测模型对变电设备图像进行缺陷检测处理,得到目标变电设备的缺陷的位置和类别。
在一些实施例中,第二缺陷检测模型还可以是将各伪标签变电设备样本图像、以及第一变电设备样本图像集中的有标注缺陷的变电设备样本图像输入至第一缺陷检测识别模型,再次训练第一缺陷检测模型得到的。
上述变电设备的缺陷检测方法中,通过使用有标注缺陷的变电设备样本图像训练第一缺陷检测模型,基于第一缺陷检测模型预测未标注缺陷的变电设备样本图像的伪标签,再基于伪标签变电设备样本图像和有标注缺陷的变电设备样本图像训练第二缺陷检测模型,增加了训练第二缺陷检测模型的变电设备样本图像,减少了第二缺陷检测模型对有标注缺陷的变电设备样本图像的依赖性,提高了第二缺陷检测模型的缺陷识别能力,进而提高了使用第二缺陷检测模型进行缺陷检测处理,得到的缺陷检测结果的准确性。
此外,相较于直接利用伪标签变电设备样本图像训练的模型,本申请得到的第二缺陷检测模型具有更好的缺陷识别能力。
需要说明的是,传统方法中还可以通过使用大量未标注缺陷的变电设备样本图像对初始模型进行无监督学习,得到第二缺陷检测模型,然而由于无监督学习的训练样本是大量未标注缺陷的变电设备样本图像,存在模型训练的时间长和缺陷识别的准确性低的问题。而本申请正是针对上述问题做的改进,通过使用有限数量的有标注缺陷的变电设备样本图像训练第一缺陷检测模型,基于第一缺陷检测模型预测未标注缺陷的变电设备样本图像的伪标签,再基于伪标签变电设备样本图像和有标注缺陷的变电设备样本图像训练第二缺陷检测模型,即通过采用半监督学习的方式训练第二缺陷检测模型,不仅缩短了模型训练时长,并且能提升第二缺陷检测模型的缺陷识别能力,提升缺陷检测结果的准确性。
需要说明的是,传统方法中还可以通过使用有限数量的有标注缺陷的变电设备样本图像对初始模型进行有监督学习,得到第二缺陷检测模型。然而由于实际应用中很难获得大量有标注缺陷的变电设备样本图像,因此有监督学习得到的第二缺陷检测模型的缺陷识别能力差,导致得到的缺陷检测结果的准确性低。而本申请正是针对上述问题做的改进,通过使用有限数量的有标注缺陷的变电设备样本图像训练第一缺陷检测模型,基于第一缺陷检测模型预测未标注缺陷的变电设备样本图像的伪标签,再基于伪标签变电设备样本图像和有标注缺陷的变电设备样本图像训练第二缺陷检测模型,即通过采用半监督学习的方式训练第二缺陷检测模型,增加了训练第二缺陷检测模型的变电设备样本图像的数量,提升第二缺陷检测模型的缺陷识别能力,从而提升了缺陷检测结果的准确性。
在一些实施例中,每个有标注缺陷的变电设备样本图像具有对应的缺陷类别标记和缺陷位置标记;基于第一变电设备样本图像集中的有标注缺陷的变电设备样本图像训练第一缺陷检测模型,包括:将有标注缺陷的变电设备样本图像输入至初始模型中的特征提取网络,得到有标注缺陷的变电设备样本图像对应的多种尺寸的特征图;对多种尺寸的特征图进行卷积操作,得到各特征图组成的特征金字塔;将特征金字塔输入特征金字塔网络,得到有标注缺陷的变电设备样本图像的类别向量和位置向量;类别向量用以表征位置向量指示的有标注缺陷的变电设备样本图像的位置区域内存在缺陷的概率;位置向量用以表征有标注缺陷的变电设备样本图像中存在缺陷的各位置区域的位置信息;基于类别向量预测有标注缺陷的变电设备样本图像中的缺陷类别;基于位置向量预测有标注缺陷的变电设备样本图像中的缺陷位置;基于预测的缺陷类别与缺陷类别标记之间的差异、以及预测的缺陷位置与缺陷位置标记之间的差异,对初始模型中的特征提取网络和特征金字塔网络进行参数调整,以迭代进行模型训练,得到第一缺陷检测模型。
在一些实施例中,初始模型为单阶段目标检测模型RetinaNet,它主要包括特征提取网络ResNet和特征金字塔网络。
需要说明的是,初始模型还可以是其他的目标检测模型,特征提取网络还可以是其他的卷积神经网络,本实施例在此不作限定。
在一些实施例中,特征金字塔网络包括分类子网络和回归子网络。可以理解,分类子网络和回归子网络共享特征金字塔,但它们使用不同的卷积和池化层,因而分类子网络输出的是类别向量,而回归子网络输出的是位置向量。
在一些实施例中,将特征金字塔输入特征金字塔网络,得到有标注缺陷的变电设备样本图像的类别向量和位置向量的步骤包括:将特征金字塔输入特征金字塔网络,通过特征金字塔网络中的分类子网络预测有标注缺陷的变电设备样本图像的类别向量,以及通过特征金字塔网络中的回归子网络预测有标注缺陷的变电设备样本图像的回归向量,得到有标注缺陷的变电设备样本图像的类别向量和位置向量。
在一些实施例中,回归子网络采用预定义的锚框,即位置标记做参考,计算预测的位置向量相对于预定义的锚框的平移和缩放值。
上述实施例中,通过有标注缺陷的变电设备样本图像训练第一缺陷检测模型,进行迭代模型训练,使得第一缺陷检测模型具备缺陷识别能力。
在一些实施例中,基于预测的缺陷类别与缺陷类别标记之间的差异、以及预测的缺陷位置与缺陷位置标记之间的差异,对初始模型中的特征提取网络和特征金字塔网络进行参数调整,以迭代进行模型训练,得到第一缺陷检测模型,包括:基于预测的缺陷位置与相应的缺陷位置标记之间的差异,确定位置损失值;基于预测的缺陷类别与相应的缺陷类别标记之间的差异,确定类别损失值;根据位置损失值和类别损失值,确定目标损失值,并朝着使目标损失值减小的方向,对初始模型中的特征提取网络和特征金字塔网络进行参数调整,以迭代进行模型训练,得到第一缺陷检测模型。
在一些实施例中,位置损失值是通过回归损失函数确定的。回归损失函数的表达式如下:
x=bt-bp;
其中,Ls1是位置损失值;x是预测的缺陷位置与相应的缺陷位置标记之间的差异;bt是预测的缺陷位置;bp是缺陷位置标记。
在一些实施例中,训练第一缺陷检测模型的过程中的类别损失值是通过类别损失函数确定的。类别损失函数的表达式如下:
Lf0=-((1-p)2q log(p)+p2(1-q)log(1-p))
其中,Lf0是训练第一缺陷检测模型过程中的分类损失值;p是训练第一缺陷检测模型的过程中,第一缺陷检测模型预测的缺陷类别;q是第一变电设备样本图像集中的有标注缺陷的变电设备样本图像的缺陷类别标记。
上述实施例中,根据位置损失值和类别损失值确定目标损失值,并朝着使目标损失值减小的方向,对初始模型中的特征提取网络和特征金字塔网络进行参数调整,以迭代进行模型训练,提高了第一缺陷检测模型的缺陷识别能力。
在一些实施例中,方法还包括:在基于各伪标签变电设备样本图像和第一变电设备样本图像集训练第二缺陷检测模型的过程中,根据未标注缺陷的变电设备样本图像的伪标签的噪声比例,修改第二缺陷检测模型的分类损失函数的噪声参数的值;分类损失函数的表达式如下:
Lfl=-((1-p)2q(pn-1/n)+p2(1-q)log(1-p))
其中,Lf1是分类损失值;p是所述伪标签变电设备样本图像的缺陷类别标记或所述第一变电设备样本图像集中的有标注缺陷的变电设备样本图像的缺陷类别标记;q是训练所述第二缺陷检测模型的过程中,所述第二缺陷检测模型预测的缺陷类别;n是噪声参数。
其中,伪标签的噪声比例用以表征第一缺陷检测模型预测得到的伪标签的正确性,即伪标签的噪声比例的噪声比例用于衡量第一缺陷检测模型的缺陷识别准确性。
示例性地,在基于各伪标签变电设备样本图像和第一变电设备样本图像集训练第二缺陷检测模型的过程中,智能巡检机器人根据未标注缺陷的变电设备样本图像的伪标签的噪声比例,修改第二缺陷检测模型的分类损失函数的噪声参数的值。可以理解,根据伪标签的噪声比例,修改噪声参数的值,使得第二缺陷检测模型具有更好的噪声鲁棒性能,进而提高了缺陷识别的准确性。
在一些实施例中,根据未标注缺陷的变电设备样本图像的伪标签的噪声比例,修改第二缺陷检测模型的分类损失函数的噪声参数的值,包括:在噪声比例大于预设噪声比例的情况下,修改噪声参数的值,以使得修改后的噪声参数的值位于第一预设取值范围;在噪声比例小于或等于预设噪声比例的情况下,修改噪声参数的值,以使得修改后的噪声参数的值位于第二预设取值范围。
其中,预设噪声比例用以区分伪标签中是否存在较多噪声。
需要说明的是,第一预设取值范围表征靠近1的数组成的数值范围,第二预设取值范围表征大于0、且接近0的数组成的数值范围。
示例性地,在噪声比例大于预设噪声比例的情况下,修改噪声参数的值,以使得修改后的噪声参数的值位于第一预设取值范围,即使得修改后的噪声参数的值更接近于1,从而训练第二缺陷检测模型的过程中使用的分类损失函数中的pn-1/n的对称性更好,因此第二缺陷检测模型具有更好的噪声鲁棒性能。在噪声比例小于或等于预设噪声比例的情况下,修改噪声参数的值,以使得修改后的噪声参数的值位于第二预设取值范围,即使得修改后的噪声参数的值更接近于0。当p趋近于0时,根据洛必达法则,pn-1/n趋近于log(p),此时训练第二缺陷检测模型的过程中使用的分类损失函数,与训练第一缺陷检测模型的过程中使用的类别损失函数是相同的。
可以理解,当未标注缺陷的变电设备样本图像的缺陷识别难度较大时,基于第一缺陷检测模型预测的未标注缺陷的变电设备样本图像的伪标签,当噪声比例大于预设噪声比例时,则表明预测错误的伪标签的数量占未标注缺陷的变电设备样本图像的数量的比例较高,伪标签中存在较多噪声,因此需要调整噪声参数的值,使得基于各伪标签变电设备样本图像,以及基于第一变电设备样本图像集训练得到的第二缺陷检测模型具有更好的噪声鲁棒性能,进而提高了缺陷识别的准确性。
上述实施例中,根据伪标签的噪声比例,修改噪声参数的值,使得第二缺陷检测模型具有更好的噪声鲁棒性能,进而提高了缺陷识别的准确性。在一些实施例中,第二缺陷检测模型是部署于智能巡检机器人上的;第二缺陷检测模型用于对目标变电设备的变电设备图像进行缺陷检测处理,得到目标变电设备的缺陷的位置和类别的步骤,包括:在智能巡检机器人对目标变电设备进行巡检的过程中,通过智能巡检机器人拍摄目标变电设备的变电设备图像,并基于第二缺陷检测模型对变电设备图像进行缺陷检测处理,得到目标变电设备的缺陷的位置和类别。
可以理解,在智能巡检机器人上部署第二缺陷检测模型,使得智能巡检机器人在对目标变电设备进行巡检的过程中,可以实时对目标变电设备进行缺陷检测,进而能及时发现有缺陷的目标变电设备,并及时向运维人员上报有缺陷的目标变电设备的信息,使得运维人员能及时对有缺陷的目标变电设备进行维护,从而保证目标变电设备的稳定运行。
在一些实施例中,如图3所示,提供了一种变电设备的缺陷检测方法的流程示意图,包括以下步骤:
步骤301、获取有标注缺陷的变电设备样本图像和未标注缺陷的变电设备样本图像,得到第一变电设备样本图像集和第二变电设备样本图像集。
步骤302、将有标注缺陷的变电设备样本图像输入至初始模型中的特征提取网络,得到有标注缺陷的变电设备样本图像对应的多种尺寸的特征图。
步骤303、对多种尺寸的特征图进行卷积操作,得到各特征图组成的特征金字塔。
步骤304、将特征金字塔输入特征金字塔网络,得到有标注缺陷的变电设备样本图像的类别向量和位置向量。
其中,类别向量用以表征位置向量指示的有标注缺陷的变电设备样本图像的位置区域内存在缺陷的概率;位置向量用以表征有标注缺陷的变电设备样本图像中存在缺陷的各位置区域的位置信息。
步骤305、基于类别向量预测有标注缺陷的变电设备样本图像中的缺陷类别;基于位置向量预测有标注缺陷的变电设备样本图像中的缺陷位置。
步骤306、基于预测的缺陷位置与相应的缺陷位置标记之间的差异,确定位置损失值;基于预测的缺陷类别与相应的缺陷类别标记之间的差异,确定类别损失值。
步骤307、根据位置损失值和类别损失值,确定目标损失值,并朝着使目标损失值减小的方向,对初始模型中的特征提取网络和特征金字塔网络进行参数调整,以迭代进行模型训练,得到第一缺陷检测模型。
步骤308、针对第二变电设备样本图像集中每个未标注缺陷的变电设备样本图像,基于第一缺陷检测模型对未标注缺陷的变电设备样本图像进行缺陷预测,得到未标注缺陷的变电设备样本图像对应的多个候选预测框以及各候选预测框的置信度。
步骤309、将多个候选预测框中置信度大于预设的置信度阈值的候选预测框,确定为未标注缺陷的变电设备样本图像的伪标签,得到伪标签变电设备样本图像。
步骤310、基于各伪标签变电设备样本图像和第一变电设备样本图像集训练第二缺陷检测模型。
在一些实施例中,将训练好的第二缺陷检测模型部署于智能巡检机器人上,以通过智能巡检机器人对目标变电设备进行巡检。
步骤311、在智能巡检机器人对目标变电设备进行巡检的过程中,通过智能巡检机器人拍摄目标变电设备的变电设备图像,并基于第二缺陷检测模型对变电设备图像进行缺陷检测处理,得到目标变电设备的缺陷的位置和类别。
上述变电设备的缺陷检测方法中,通过使用有标注缺陷的变电设备样本图像训练第一缺陷检测模型,基于第一缺陷检测模型预测未标注缺陷的变电设备样本图像的伪标签,再基于伪标签变电设备样本图像和有标注缺陷的变电设备样本图像训练第二缺陷检测模型,增加了训练第二缺陷检测模型的变电设备样本图像,减少了第二缺陷检测模型对有标注缺陷的变电设备样本图像的依赖性,提高了第二缺陷检测模型的缺陷识别能力,进而提高了使用第二缺陷检测模型进行缺陷检测处理,得到的缺陷检测结果的准确性。
应该理解的是,虽然如上的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,如上的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思,本申请实施例还提供了一种用于实现上述所涉及的变电设备的缺陷检测方法的变电设备的缺陷检测装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似,故下面所提供的一个或多个变电设备的缺陷检测装置实施例中的具体限定可以参见上文中对于变电设备的缺陷检测方法的限定,在此不再赘述。
在一个实施例中,如图4所示,提供了一种变电设备的缺陷检测装置,包括:获取模块401、第一训练模块402和第二训练模块403,其中:
获取模块401,用于获取有标注缺陷的变电设备样本图像和未标注缺陷的变电设备样本图像,得到第一变电设备样本图像集和第二变电设备样本图像集。
第一训练模块402,用于基于第一变电设备样本图像集中的有标注缺陷的变电设备样本图像训练第一缺陷检测模型;针对第二变电设备样本图像集中每个未标注缺陷的变电设备样本图像,基于第一缺陷检测模型对未标注缺陷的变电设备样本图像进行缺陷预测,得到未标注缺陷的变电设备样本图像对应的多个候选预测框以及各候选预测框的置信度;将多个候选预测框中置信度大于预设的置信度阈值的候选预测框,确定为未标注缺陷的变电设备样本图像的伪标签,得到伪标签变电设备样本图像。
第二训练模块403,用于基于各伪标签变电设备样本图像和第一变电设备样本图像集训练第二缺陷检测模型;第二缺陷检测模型用于对目标变电设备的变电设备图像进行缺陷检测处理,得到目标变电设备的缺陷的位置和类别。
在一些实施例中,每个有标注缺陷的变电设备样本图像具有对应的缺陷类别标记和缺陷位置标记。参照图5,提供了一种第一训练模块的结构框图,包括特征提取单元402a、预测单元402b和训练单元402c,其中:
特征提取单元402a,用于将有标注缺陷的变电设备样本图像输入至初始模型中的特征提取网络,得到有标注缺陷的变电设备样本图像对应的多种尺寸的特征图;对多种尺寸的特征图进行卷积操作,得到各特征图组成的特征金字塔。
预测单元402b,用于将特征金字塔输入特征金字塔网络,得到有标注缺陷的变电设备样本图像的类别向量和位置向量;类别向量用以表征位置向量指示的有标注缺陷的变电设备样本图像的位置区域内存在缺陷的概率;位置向量用以表征有标注缺陷的变电设备样本图像中存在缺陷的各位置区域的位置信息;基于类别向量预测有标注缺陷的变电设备样本图像中的缺陷类别;基于位置向量预测有标注缺陷的变电设备样本图像中的缺陷位置。
训练单元402c,用于基于预测的缺陷类别与缺陷类别标记之间的差异、以及预测的缺陷位置与缺陷位置标记之间的差异,对初始模型中的特征提取网络和特征金字塔网络进行参数调整,以迭代进行模型训练,得到第一缺陷检测模型。
在一些实施例中,第一训练模块具体用于基于预测的缺陷位置与相应的缺陷位置标记之间的差异,确定位置损失值;基于预测的缺陷类别与相应的缺陷类别标记之间的差异,确定类别损失值;根据位置损失值和类别损失值,确定目标损失值,并朝着使目标损失值减小的方向,对初始模型中的特征提取网络和特征金字塔网络进行参数调整,以迭代进行模型训练,得到第一缺陷检测模型。
在一些实施例中,第二训练模块403还用于在基于各伪标签变电设备样本图像和第一变电设备样本图像集训练第二缺陷检测模型的过程中,根据未标注缺陷的变电设备样本图像的伪标签的噪声比例,修改第二缺陷检测模型的分类损失函数的噪声参数的值;分类损失函数的表达式如下:
Lfl=-((1-p)2q(pn-1/n)+p2(1-q)log(1-p))
其中,Lf1是分类损失值;p是所述伪标签变电设备样本图像的缺陷类别标记或所述第一变电设备样本图像集中的有标注缺陷的变电设备样本图像的缺陷类别标记;q是训练所述第二缺陷检测模型的过程中,所述第二缺陷检测模型预测的缺陷类别;n是噪声参数。
在一些实施例中,第二训练模块403具体用于在噪声比例大于预设噪声比例的情况下,修改噪声参数的值,以使得修改后的噪声参数的值位于第一预设取值范围;在噪声比例小于或等于预设噪声比例的情况下,修改噪声参数的值,以使得修改后的噪声参数的值位于第二预设取值范围。
在一些实施例中,第二缺陷检测模型是部署于智能巡检机器人上的;第二训练模块403还用于在智能巡检机器人对目标变电设备进行巡检的过程中,通过智能巡检机器人拍摄目标变电设备的变电设备图像,并基于第二缺陷检测模型对变电设备图像进行缺陷检测处理,得到目标变电设备的缺陷的位置和类别。
上述变电设备的缺陷检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是智能巡检机器人,其内部结构图可以如图6所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output,简称I/O)和通信接口。其中,处理器、存储器和输入/输出接口通过***总线连接,通信接口通过输入/输出接口连接到***总线。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作***和计算机程序。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种变电设备的缺陷检测方法。
本领域技术人员可以理解,图6中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
需要说明的是,本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据,且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory,ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory,MRAM)、铁电存储器(Ferroelectric Random Access Memory,FRAM)、相变存储器(Phase Change Memory,PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器等。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory,DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等,不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等,不限于此。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请的保护范围应以所附权利要求为准。
Claims (10)
1.一种变电设备的缺陷检测方法,其特征在于,所述方法包括:
获取有标注缺陷的变电设备样本图像和未标注缺陷的变电设备样本图像,得到第一变电设备样本图像集和第二变电设备样本图像集;
基于所述第一变电设备样本图像集中的有标注缺陷的变电设备样本图像训练第一缺陷检测模型;
针对所述第二变电设备样本图像集中每个所述未标注缺陷的变电设备样本图像,基于所述第一缺陷检测模型对所述未标注缺陷的变电设备样本图像进行缺陷预测,得到所述未标注缺陷的变电设备样本图像对应的多个候选预测框以及各所述候选预测框的置信度;
将多个所述候选预测框中置信度大于预设的置信度阈值的候选预测框,确定为所述未标注缺陷的变电设备样本图像的伪标签,得到伪标签变电设备样本图像;
基于各所述伪标签变电设备样本图像和所述第一变电设备样本图像集训练第二缺陷检测模型;所述第二缺陷检测模型用于对目标变电设备的变电设备图像进行缺陷检测处理,得到所述目标变电设备的缺陷的位置和类别。
2.根据权利要求1所述的方法,其特征在于,每个所述有标注缺陷的变电设备样本图像具有对应的缺陷类别标记和缺陷位置标记;所述基于所述第一变电设备样本图像集中的有标注缺陷的变电设备样本图像训练第一缺陷检测模型,包括:
将所述有标注缺陷的变电设备样本图像输入至初始模型中的特征提取网络,得到所述有标注缺陷的变电设备样本图像对应的多种尺寸的特征图;
对所述多种尺寸的特征图进行卷积操作,得到各所述特征图组成的特征金字塔;
将所述特征金字塔输入所述特征金字塔网络,得到所述有标注缺陷的变电设备样本图像的类别向量和位置向量;所述类别向量用以表征所述位置向量指示的有标注缺陷的变电设备样本图像的位置区域内存在缺陷的概率;所述位置向量用以表征所述有标注缺陷的变电设备样本图像中存在缺陷的各位置区域的位置信息;
基于所述类别向量预测所述有标注缺陷的变电设备样本图像中的缺陷类别;
基于所述位置向量预测所述有标注缺陷的变电设备样本图像中的缺陷位置;
基于预测的缺陷类别与所述缺陷类别标记之间的差异、以及所述预测的缺陷位置与所述缺陷位置标记之间的差异,对所述初始模型中的所述特征提取网络和所述特征金字塔网络进行参数调整,以迭代进行模型训练,得到第一缺陷检测模型。
3.根据权利要求2所述的方法,其特征在于,所述基于预测的缺陷类别与所述缺陷类别标记之间的差异、以及所述预测的缺陷位置与所述缺陷位置标记之间的差异,对所述初始模型中的所述特征提取网络和所述特征金字塔网络进行参数调整,以迭代进行模型训练,得到第一缺陷检测模型,包括:
基于预测的缺陷位置与相应的所述缺陷位置标记之间的差异,确定位置损失值;
基于预测的缺陷类别与相应的所述缺陷类别标记之间的差异,确定类别损失值;
根据所述位置损失值和所述类别损失值,确定目标损失值,并朝着使所述目标损失值减小的方向,对初始模型中的所述特征提取网络和所述特征金字塔网络进行参数调整,以迭代进行模型训练,得到第一缺陷检测模型。
4.根据权利要求1所述的方法,其特征在于,所述方法还包括:
在所述基于各所述伪标签变电设备样本图像和所述第一变电设备样本图像集训练第二缺陷检测模型的过程中,根据所述未标注缺陷的变电设备样本图像的伪标签的噪声比例,修改所述第二缺陷检测模型的分类损失函数的噪声参数的值;所述分类损失函数的表达式如下:
Ln=-((1-p)2q(pn-1/n)+p2(1-q)log(1-p))
其中,Lf1是分类损失值;p是所述伪标签变电设备样本图像的缺陷类别标记或所述第一变电设备样本图像集中的有标注缺陷的变电设备样本图像的缺陷类别标记;q是训练所述第二缺陷检测模型的过程中,所述第二缺陷检测模型预测的缺陷类别;n是噪声参数。
5.根据权利要求4所述的方法,其特征在于,所述根据所述未标注缺陷的变电设备样本图像的伪标签的噪声比例,修改所述第二缺陷检测模型的分类损失函数的噪声参数的值,包括:
在噪声比例大于预设噪声比例的情况下,修改所述噪声参数的值,以使得修改后的噪声参数的值位于第一预设取值范围;
在所述噪声比例小于或等于所述预设噪声比例的情况下,修改所述噪声参数的值,以使得修改后的噪声参数的值位于第二预设取值范围。
6.根据权利要求1所述的方法,其特征在于,所述第二缺陷检测模型是部署于智能巡检机器人上的;所述第二缺陷检测模型用于对目标变电设备的变电设备图像进行缺陷检测处理,得到所述目标变电设备的缺陷的位置和类别的步骤,包括:
在所述智能巡检机器人对目标变电设备进行巡检的过程中,通过所述智能巡检机器人拍摄所述目标变电设备的变电设备图像,并基于所述第二缺陷检测模型对所述变电设备图像进行缺陷检测处理,得到所述目标变电设备的缺陷的位置和类别。
7.一种变电设备的缺陷检测装置,其特征在于,所述装置包括:
获取模块,用于获取有标注缺陷的变电设备样本图像和未标注缺陷的变电设备样本图像,得到第一变电设备样本图像集和第二变电设备样本图像集;
第一训练模块,用于基于所述第一变电设备样本图像集中的有标注缺陷的变电设备样本图像训练第一缺陷检测模型;针对所述第二变电设备样本图像集中每个所述未标注缺陷的变电设备样本图像,基于所述第一缺陷检测模型对所述未标注缺陷的变电设备样本图像进行缺陷预测,得到所述未标注缺陷的变电设备样本图像对应的多个候选预测框以及各所述候选预测框的置信度;将多个所述候选预测框中置信度大于预设的置信度阈值的候选预测框,确定为所述未标注缺陷的变电设备样本图像的伪标签,得到伪标签变电设备样本图像;
第二训练模块,用于基于各所述伪标签变电设备样本图像和所述第一变电设备样本图像集训练第二缺陷检测模型;所述第二缺陷检测模型用于对目标变电设备的变电设备图像进行缺陷检测处理,得到所述目标变电设备的缺陷的位置和类别。
8.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
10.一种计算机程序产品,包括计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310485871.6A CN116579998A (zh) | 2023-04-28 | 2023-04-28 | 变电设备的缺陷检测方法、装置、设备、介质和程序产品 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310485871.6A CN116579998A (zh) | 2023-04-28 | 2023-04-28 | 变电设备的缺陷检测方法、装置、设备、介质和程序产品 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116579998A true CN116579998A (zh) | 2023-08-11 |
Family
ID=87542504
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310485871.6A Pending CN116579998A (zh) | 2023-04-28 | 2023-04-28 | 变电设备的缺陷检测方法、装置、设备、介质和程序产品 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116579998A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117333493A (zh) * | 2023-12-01 | 2024-01-02 | 深圳市志达精密科技有限公司 | 一种基于机器视觉的显示器底座生产用检测***以及方法 |
-
2023
- 2023-04-28 CN CN202310485871.6A patent/CN116579998A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117333493A (zh) * | 2023-12-01 | 2024-01-02 | 深圳市志达精密科技有限公司 | 一种基于机器视觉的显示器底座生产用检测***以及方法 |
CN117333493B (zh) * | 2023-12-01 | 2024-03-15 | 深圳市志达精密科技有限公司 | 一种基于机器视觉的显示器底座生产用检测***以及方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112669316B (zh) | 电力生产异常监控方法、装置、计算机设备和存储介质 | |
CN116883801A (zh) | 基于注意力机制与多尺度特征融合的YOLOv8目标检测方法 | |
CN116453056A (zh) | 目标检测模型构建方法和变电站异物入侵检测方法 | |
CN113920053A (zh) | 基于深度学习的瑕疵检测方法、计算设备和存储介质 | |
CN111079645A (zh) | 一种基于AlexNet网络的绝缘子自爆识别方法 | |
CN112419268A (zh) | 一种输电线路图像缺陷检测方法、装置、设备及介质 | |
CN116579998A (zh) | 变电设备的缺陷检测方法、装置、设备、介质和程序产品 | |
CN115809982B (zh) | 电芯压伤检测方法、装置及*** | |
CN110969213A (zh) | 一种基于Faster RCNN的船只检测方法、装置及电子设备 | |
CN118038021A (zh) | 基于改进yolov4的变电站作业现场异物入侵检测方法 | |
CN113012107A (zh) | 电网缺陷检测方法及*** | |
CN116563250A (zh) | 一种复原式自监督疵点检测方法、装置及存储介质 | |
Li et al. | Semantic‐Segmentation‐Based Rail Fastener State Recognition Algorithm | |
CN116563243A (zh) | 输电线路的异物检测方法、装置、计算机设备和存储介质 | |
CN115187880A (zh) | 基于图像识别的通信光缆缺陷检测方法、***及存储介质 | |
CN117152422B (zh) | 一种紫外图像无锚框目标检测方法及存储介质、电子设备 | |
CN117372801A (zh) | 变电站缺陷异常检测方法、装置和计算机设备 | |
CN116381419B (zh) | 输电线路故障处理方法、装置、计算机设备和存储介质 | |
CN116403163B (zh) | 一种截断塞门手把开合状态的识别方法和装置 | |
Wei et al. | Insulator defect detection in transmission line based on an improved lightweight YOLOv5s algorithm | |
CN118097415A (zh) | 基于rpa的视频自动化巡检预警平台及其预警方法 | |
Liu et al. | Fault Detection Method for Substation Equipment Based on Feature Distribution of Positive Samples | |
CN117611538A (zh) | 均压环缺陷检测方法、装置、计算机设备和存储介质 | |
Gao et al. | Small Sample Object Detection Based on Improved YOLOv5 | |
CN117132847A (zh) | 基于域泛化的电力表记破损图像自标注模型训练方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |