CN113378818A - 电气设备缺陷确定方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请实施例涉及设备检测技术领域，公开了一种电气设备缺陷确定方法、装置、电子设备及存储介质，该方法包括：获取待识别电气设备的第一红外图像；根据第一红外图像，获取待识别电气设备的温度信息；根据温度信息，确定第一红外图像中的温度异常区域；通过训练好的缺陷确定模型提取温度异常区域的特征，根据特征生成温度异常区域对应的多个第一掩膜，并确定温度异常区域中缺陷部件的第一掩膜系数；通过缺陷确定模型，根据多个第一掩膜以及第一掩膜系数生成温度异常区域的第二掩膜；通过缺陷确定模型，根据第二掩膜确定待识别电气设备的缺陷部件在第一红外图像中的图像位置。能够准确对缺陷部件进行定位，能够提升电气设备缺陷部位的识别准确率。

Description

电气设备缺陷确定方法、装置、电子设备及存储介质

技术领域

本申请涉及设备检测技术领域，尤其涉及一种电气设备缺陷确定方法、装置、电子设备及存储介质。

背景技术

电力***中的电气设备长期在高电压的环境中运行，而电气设备在长期的电压、发热、机械应力和环境因素作用下不可避免地出现温度异常、结构损伤等缺陷，对电气设备缺陷的及时发现和排除有利于提高电气设备以及电力***的安全性。

目前电力***中通常应用红外图像来判断电气设备是否温度异常，但这只能反映电气设备温度异常的区域，对于电气设备中导致温度异常的缺陷部件的识别准确率较低。

发明内容

本申请实施例公开了一种电气设备缺陷确定方法、装置、电子设备及存储介质，能够准确识别到电气设备的缺陷部件，提高电气设备中缺陷部件的识别准确度。

本申请实施例第一方面公开一种电气设备缺陷确定方法，包括：

获取待识别电气设备的第一红外图像；

根据所述第一红外图像，获取所述待识别电气设备的温度信息；

根据所述温度信息，确定所述第一红外图像中的温度异常区域；

通过训练好的缺陷确定模型提取所述温度异常区域的特征，根据所述特征生成所述温度异常区域对应的多个第一掩膜，并确定所述温度异常区域中缺陷部件的第一掩膜系数；

通过所述缺陷确定模型，根据所述多个第一掩膜以及所述第一掩膜系数生成所述温度异常区域的第二掩膜；

通过所述缺陷确定模型，根据所述第二掩膜确定所述待识别电气设备的缺陷部件在所述第一红外图像中的图像位置。

作为一种可选的实施方式，在本申请实施例第一方面中，所述缺陷确定模型是通过训练图像集进行训练得到的，所述训练图像集包括电气设备中各组成部件分别作为缺陷部件时对应的红外图像，所述红外图像标注有电气设备中各组成部件分别作为缺陷部件时的信息。

作为一种可选的实施方式，在本申请实施例第一方面中，在所述通过所述缺陷确定模型，根据所述第二掩膜确定所述待识别电气设备的缺陷部件在所述第一红外图像中的图像位置之后，所述方法还包括：

根据所述图像位置从所述第一红外图像中截取所述缺陷部件对应的第一红外子图像；

根据所述第一红外子图像，获取所述缺陷部件的温度信息；

将所述第一红外子图像以及所述缺陷部件的温度信息，与数据库中所述待识别电气设备的各组成部件的第二红外图像以及各组成部件的温度信息分别进行比对，其中，所述第二红外图像为所述待识别电气设备的各组成部件处于正常状态下的红外图像；

根据比对的结果，确定缺陷部件的部件信息。

作为一种可选的实施方式，在本申请实施例第一方面中，

所述缺陷确定模型包括具有多个卷积模块的深度残差网络，所述通过训练好的缺陷确定模型提取所述温度异常区域的特征，包括：

通过所述深度残差网络的多个卷积模块对所述温度异常区域进行处理，得到多个输出尺寸均不相同的第一特征图；

将输出尺寸最小的第一特征图经过卷积层处理，得到第二特征图；

对所述第二特征图进行卷积和下采样操作，得到深层网络特征图；

对输出尺寸第二小的第一特征图进行卷积处理，得到第三特征图；

将所述第二特征图进行放大，并将放大后的第二特征图与所述第三特征图进行求和，得到浅层网络特征图。

作为一种可选的实施方式，在本申请实施例第一方面中，

所述缺陷确定模型还包括掩膜生成网络以及系数生成网络，所述掩膜生成网络与所述系数生成网络为并行网络；

所述根据所述特征生成所述温度异常区域对应的多个第一掩膜，并确定所述温度异常区域中缺陷部件的第一掩膜系数，包括：

将所述浅层网络特征图输入到所述掩膜生成网络，通过所述掩膜生成网络基于所述浅层网络特征图生成所述温度异常区域对应的多个第一掩膜；

将所述第二特征图、深层网络特征图和浅层网络特征图共同输入到所述系数生成网络，通过所述系数生成网络基于所述第二特征图、深层网络特征图及浅层网络特征图确定所述温度异常区域中缺陷部件的第一掩膜系数。

作为一种可选的实施方式，在本申请实施例第一方面中，所述通过所述缺陷确定模型，根据所述第二掩膜确定所述待识别电气设备的缺陷部件在所述第一红外图像中的图像位置，包括：

通过所述缺陷确定模型，对所述温度异常区域的第二掩膜进行分割，得到所述温度异常区域中各缺陷部件对应的第三掩膜；

通过所述缺陷确定模型，对所述第三掩膜进行图像二值化处理，根据二值化处理后的第三掩膜确定所述缺陷部件在所述第一红外图像中的图像位置。

作为一种可选的实施方式，在本申请实施例第一方面中，

所述确定所述温度异常区域中缺陷部件的第一掩膜系数，包括：

在所述缺陷确定模型中，根据所述特征生成所述温度异常区域中缺陷部件的多个预测框，并确定与所述预测框一一对应的分类置信度以及与所述预测框一一对应的第二掩膜系数；

根据各个预测框对应的分类置信度对所述多个预测框进行筛选，确定所述缺陷部件唯一对应的目标预测框，并将所述目标预测框对应的第二掩膜系数确定为第一掩膜系数。

在本实施方式中，通过待识别电气设备的第一红外图像获取的温度信息，来确定第一红外图像中的温度异常区域对应的图像，通过训练好的缺陷确定模型来提取该对应的图像的特征后，根据特征生成与该对应图像尺寸相同的多个第一掩膜，并确定温度异常区域中缺陷部件的第一掩膜系数，根据多个第一掩膜和第一掩膜系数生成能用于指示温度异常区域中缺陷部件的第二掩膜，根据第二掩膜能够准确确定缺陷部件在第一红外图像中的图像位置，从而能够准确对缺陷部件进行定位，能够有效地提升电气设备中缺陷部位的识别准确率。

本申请实施例第二方面公开一种电气设备缺陷确定装置，包括：

图像获取模块，用于获取通过红外摄像头采集的待识别电气设备的第一红外图像；

温度获取模块，用于根据所述第一红外图像，获取所述待识别电气设备的温度信息；

区域截取模块，用于根据所述温度信息，确定所述红外图像中的温度异常区域；

掩膜获取模块，用于通过训练好的缺陷确定模型提取所述温度异常区域的特征，根据所述特征生成所述温度异常区域对应的多个第一掩膜，并确定所述温度异常区域中缺陷部件的第一掩膜系数；

掩膜确定模块，用于通过所述缺陷确定模型，根据所述多个第一掩膜以及所述第一掩膜系数生成所述温度异常区域的第二掩膜；

缺陷确定模块，用于通过所述缺陷确定模型，根据所述第二掩膜确定所述待识别电气设备的缺陷部件在所述第一红外图像中的图像位置。

本申请实施例第三方面公开一种电子设备，包括：存储器及处理器，所述存储器上存储有计算机程序，所述计算机程序能够被所述处理器执行，以使得所述处理器实现如本申请实施例第一方面所述的电气设备缺陷确定方法。

本申请实施例第四方面公开一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序适于由处理器加载并执行，以使得具有所述处理器实现如本申请实施例第一方面公开的一种电气设备缺陷确定方法。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例公开的一种电气设备缺陷确定方法的流程示意图；

图2是本申请实施例公开的缺陷确定模型为Yolact模型的结构示意图；

图3是本申请实施例公开的不同区域确定方式得到的温度异常区域的示意图；

图4是本申请实施例公开的生成温度异常区域对应的多个第一掩膜，并确定温度异常区域中缺陷部件的第一掩膜系数的流程示意图；

图5是本申请实施例公开的不同尺寸特征图获取方式的示意图；

图6是本申请实施例公开的又一种电气设备缺陷确定方法的流程示意图；

图7是本申请实施例公开的一种电气设备缺陷确定装置的框图；

图8是本申请实施例公开的另一种电气设备缺陷确定装置的框图；

图9是本申请实施例公开的一种电子设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同的对象，而不是用于描述特定顺序。本申请实施例的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

电力***中的电气设备长期在高电压的环境中运行，而电气设备在长期的电压、发热、机械应力和环境因素作用下不可避免地出现温度异常、结构损伤等缺陷，对电气设备缺陷的及时发现和排除有利于提高电气设备以及电力***的安全性。

目前电力***中通常应用红外图像来判断电气设备是否温度异常，但这只能反映电气设备温度异常的区域，而由于红外图像分辨率较低，使得红外图像结合现有的图像识别或者图像对比方式后只采用特征提取或者特征对比操作，无法确定缺陷部件在图像中所在的位置，对于电气设备中导致温度异常的缺陷部件的识别准确率较低。

为了解决上述技术问题，本申请实施例公开了一种电气设备缺陷确定方法、装置、电子设备及存储介质，能够准确识别到电气设备的缺陷部位在红外图像中的位置，提高电气设备缺陷识别的准确度。以下结合附图进行详细描述。

请参阅图1，图1是本申请实施例公开的一种电气设备缺陷确定方法的流程示意图。如图1所示，该电气设备缺陷确定方法可以包括以下步骤。

101、获取待识别电气设备的第一红外图像。

本申请实施例中，电气设备为电力***中用于保证电力正常运行和输送的设备的统称，电气设备可以包括发电机、变压器、电力线路、断路器等设备。红外图像是获取物体红外光的强度而形成的图像，通过测量物体向外辐射的热量而得到，是通过红外成像设备采集目标在红外波段的辐射形成的影像。

本申请实施例中，第一红外图像是通过红外成像设备采集的待识别电气设备的红外图像，其中，待识别电气设备为所要进行识别的具有一个或多个缺陷部件的电气设备，红外成像设备可以包括红外摄像头、红外摄像仪等等。

本申请实施例中，该电气设备缺陷确定方法适用于终端设备或者服务器等电子设备，其中，电子设备的操作***可包括但不限于Android操作***、IOS操作***、Symbian(塞班)操作***、Black Berry(黑莓)操作***、Windows Phone8操作***等等，本申请实施例不作限定。

本申请实施例中，电子设备可以设置有用户界面(User Interface，UI)、接口模块和处理器(central processing unit，CPU)。

本申请实施例中，红外摄像成像设备采集待识别电气设备的第一红外图像后，将第一红外图像传输至电子设备中。其中，传输方式可以为有线传输或者无线网络传输。电子设备可以支持包括但不限于以下网络技术：全球移动通信***(Global System forMobile Communications，GSM)、通用分组无线业务(General Packet Radio Service，GPRS)、码分多址(Code Division Multiple Access，CDMA)，宽带码分多址(W-CDMA)、CDMA2000、IMT单载波(IMT Single Carrier)、增强型数据速度GSM演进(Enhanced DataRates for GSM Evolution，EDGE)、长期演进技术(Long-Term Evolution，LTE)、高级长期演进技术、时分长期演进技术(Time-Division LTE，TD-LTE)、高性能无线电局域网(HighPerformance Radio Local Area Network，HiperLAN)、高性能无线电广域网(HiperWAN)、本地多点派发业务(Local Multipoint Distribution Service，LMDS)、全微波存取全球互通(WiMAX)、紫蜂协议(ZigBee)、蓝牙、正交频分复用技术(OFDM)、大容量空分多路存取(HC-SDMA)、通用移动电信***(UMTS)、通用移动电信***时分双工(UMTS-TDD)、演进式高速分组接入(HSPA+)、时分同步码分多址(TD-SCDMA)、演进数据最优化(EV-DO)、数字增强无绳通信(DECT)、WIFI及其他。

102、根据第一红外图像，获取待识别电气设备的温度信息。

在一些实施例中，电子设备根据第一红外图像，获取待识别电气设备的温度信息，具体可以将第一红外图像转换为灰度图像，根据灰度值与温度值之间的线性关系，可将各个像素点的灰度值转化为对应的温度值。电子设备还可以根据RGB值与温度值之间的关系，将第一红外图像中各个像素点转化为对应的温度值等。本申请对于根据红外图像获取温度信息的方式不作具体限定。

103、根据温度信息，确定第一红外图像中的温度异常区域。

本申请实施例中，电子设备可将第一红外图像中各个像素点对应的温度值，与预设的正常温度范围进行比较，将温度值超过正常温度范围的像素点组成的一个或多个图像区域确定为温度异常区域。

104、通过训练好的缺陷确定模型提取温度异常区域的特征，根据特征生成温度异常区域对应的多个第一掩膜，并确定温度异常区域中缺陷部件的第一掩膜系数。

本申请实施例中，训练好的缺陷确定模型可以为训练好的实例分割模型，实例分割模型可包括但不限于R-CNN(Region with CNN feature)模型、Fast R-CNN模型、Mask R-CNN模型或者如图2所示的Yolact模型等。

在一些实施例中，缺陷确定模型是通过训练图像集进行训练得到的，训练图像集包括电气设备中各组成部件分别为缺陷部件时的红外图像，并且各组成部件分别作为缺陷部件时的红外图像标注有各组成部件分别作为缺陷部件时的信息。电子设备可采用多个不同的电气设备中各组成部件分别作为缺陷部件时的红外图像，如电气设备的阀门为缺陷部件时电气设备的红外图像，来作为训练图像集来对缺陷确定模型进行训练，并且各组成部件分别作为缺陷部件时的红外图像标注有各组成部件分别作为缺陷部件时的信息，信息可以包括缺陷部件的缺陷类型，如电气设备的阀门为缺陷部件时，标注有缺陷类型为阀门损坏或者标注有缺陷类型为阀门未关闭等。使得缺陷训练模型所能识别的对象仅为电气设备中各组成部件对应的缺陷部件，并且识别到缺陷部件后能够根据标注确定缺陷部件的缺陷类型。能够更好地对待识别电气设备中的缺陷部件进行识别和分割，并且能够有效地显示缺陷部件存在的问题，提高了缺陷确定的准确率的同时，也提高了缺陷部件修理过程的效率。

在一些实施例中，电子设备可将确定的温度异常区域在第一红外图像中对应的红外图像区域作为第二红外子图像。对于温度异常区域的特征提取，具体可以将第二红外子图像输入到训练好的缺陷确定模型中，通过缺陷确定模型中包含的卷积模块来提取第二红外子图像的特征，也就是温度异常区域的特征。其中，对于温度异常区域提取得到的特征，可以为多尺度的特征图的形式。缺陷确定模型中用于进行特征提取的网络具有多个卷积模块，各个卷积模块中包含有多个卷积层，各个卷积层的卷积核以及各个卷积模块输出的特征图的大小各不相同，能够实现不同尺寸的物体的检测。

举例说明，当训练好的缺陷确定模型为训练好的Yolact实例分割模型时，Yolact实例分割模型采用深度残差网络来对第二红外子图像进行多尺度特征图的提取，来实现温度异常区域的特征提取。例如该深度残差网络中可以包含有5个卷积模块，各卷积模块中均包含有3个卷积层，根据卷积模块输出的特征图的尺寸由大到小来对各卷积模块进行排序，各卷积模块可以分别命名为conv1、conv2、conv3、conv4以及conv5。这5个卷积模块输出的温度异常区域子图像的特征图尺寸各不相同，例如可以分别为112×112、56×56、28×28、14×14、7×7。本申请中对于各卷积模块中各卷积层的数量以及各卷积层的卷积核的大小不作具体限定。

在一些实施例中，训练好的缺陷确定模型中包含有掩膜生成网络和系数生成网络。在通过缺陷确定模型对温度异常区域进行特征提取后，将提取的特征分别输入到缺陷确定模型的掩膜生成网络和系数生成网络中，掩膜生成网络根据输入的温度异常区域的特征，输出与第二红外子图像尺寸相同的多个第一掩膜；系数生成网络根据输入的温度异常区域的特征，输出为温度异常区域中的缺陷部件所预测一系列的第一掩膜系数。

本申请实施例中，第一掩膜为包含温度异常区域各组成部件的掩膜，第一掩膜可用于共享掩膜中所包含的温度异常区域各组成部件，其中，各第一掩膜中的各组成部件的组合方式各不相同。对于多个第一掩膜，具体通过将温度异常区域的特征输入到由多个卷积层组成的掩膜生成网络中，输出一个第一掩膜集合，也就是多个第一掩膜，该集合中包含多个具有相同尺寸的第一掩膜，例如，输出的第一掩膜集合表示为138×138×32，那么，138×138表示为各第一掩膜的大小，32表示为第一掩膜的个数。其中，掩膜生成网络可选为FCN网络。

第一掩膜系数指的是温度异常区域的特征所在区域的系数，用于确定构成温度异常区域的各特征所在区域所需要的第一掩膜。本申请实施例中，对于第一掩膜系数，具体通过将温度异常区域的特征输入到系数生成网络中，系数生成网络中包含有预测层。一般而言，温度异常区域的特征为特征图形式，此时系数生成网络中具有与特征图数量相同数量的预测层，各预测层之间共享参数。

在一些实施例中，在系数生成网络中，为输入的温度异常区域的特征预测预测框(anchor)，每个像素点按照不同比例生成多个预测框，也就是对温度异常区域子图像中每个特征生成不同形状的范围，例如为每个特征生成3个预测框。可设定各特征的预测框的基本边长，例如特征有5个，那么设定的预测框基本边长可以分别为24、48、96、192和384。在生成预测框后，系数生成网络对生成的各个预测框分别预测第一掩膜系数集，其中，第一掩膜系数集中可以包括每个预测框对应不同缺陷部件的置信度、每个预测框的位置信息以及每个预测框的第一掩膜系数。每个预测框的第一掩膜系数的数量，与第一掩膜的数量相同。第一掩膜系数指的是各预测框的系数，用于确定构成各预测框所需要的第一掩膜。

105、通过缺陷确定模型，根据多个第一掩膜以及第一掩膜系数生成温度异常区域的第二掩膜。

在本申请实施例中，电子设备根据得到的多个第一掩膜以及第一掩膜系数，通过训练好的缺陷确定模型来生成温度异常区域的第二红外子图像所对应的第二掩膜，具体可以通过将各特征分别对应各第一掩膜的第一掩膜系数，与相应的各第一掩膜进行线性组合，得到温度异常区域对应的第二掩膜。其中，第二掩膜用于确定温度异常区域中的缺陷部件。也就是说，第一掩膜为温度异常区域的各组成部件的不同组合方式的掩膜。例如掩膜生成网络生成的一个维度为138*138*32的第一掩膜集合，也就是生成了32个大小均为138*138的温度异常区域的第一掩膜，各第一掩膜包含的温度异常区域的各组成部件的互不相同。而系数生成网络生成的第一掩膜系数，为温度异常区域中缺陷部件的预测框的掩膜系数，如3*32，也就是3个缺陷部件的预测框以及每个预测框相对于32个第一掩膜的掩膜系数。此时，多个第一掩膜与第一掩膜系数的线性组合方式可以采用矩阵乘法，具体为M＝PC^T，其中，P为第一掩膜集合，也就是掩膜生成网络生成的多个第一掩膜，C为各预测框的第一掩膜系数，P＝138*138*32，C＝3*32。

106、通过缺陷确定模型，根据第二掩膜确定待识别电气设备的缺陷部件在第一红外图像中的图像位置。

在一些实施例中，电子设备可根据得到的包含温度异常区域中缺陷部件预测框的第二掩膜，通过训练好的缺陷确定模型，对第一红外图像进行像素过滤，根据预测框在第一红外图像中所在位置，将第二掩膜中预测框对应的温度异常区域中的一个或多个缺陷部件显示出来，进而确定上述一个或多个缺陷部件在待识别电气设备中的位置。

在本申请实施例中，通过待识别电气设备的第一红外图像获取的温度信息，来确定第一红外图像中的温度异常区域对应的图像，通过训练好的缺陷确定模型来提取该对应的图像的特征后，根据特征生成与该对应图像尺寸相同的多个第一掩膜，并确定温度异常区域中缺陷部件的第一掩膜系数，根据多个第一掩膜和第一掩膜系数生成能用于指示温度异常区域中缺陷部件的第二掩膜，根据第二掩膜能够准确确定缺陷部件在第一红外图像中的图像位置，从而能够准确对缺陷部件进行定位，能够有效地提升电气设备中缺陷部位的识别准确率。

在一些实施例中，由于第一红外图像的分辨率较差，视觉效果模糊，因此，在根据第一红外图像，获取待识别电气设备的温度信息之前，对第一红外图像进行去噪处理。去噪处理具体包括：将第一红外图像按照R、G、B三个分量分解为三张对应的分量图像，采用滤波函数分别对分解得到的三张分量图像进行图像滤波，将滤波处理后的分量图像合并为新的第一红外图像，也就是合成滤波后的第一红外图像。其中，滤波函数可以为二维中值滤波函数、方框滤波函数、均值滤波函数、高斯滤波函数或者双边滤波函数等。

本申请实施例中，能够提高第一红外图像分辨率，进而提高获取的温度信息的准确性。

在一些实施例中，对于温度值超过正常温度范围的像素点组成的图像区域，将温度值超过正常温度范围的像素点定义为异常像素点。根据温度信息，确定第一红外图像中的温度异常区域，包括：

将异常像素点以及与异常像素点相邻的像素点或者一定像素间隔内的像素点，划分到相同的异常区域；将异常区域以及与异常区域相邻的异常区域或者一定像素间隔内的异常区域，确定为温度异常区域。

举例说明，如图3所示，在10*10大小的第一红外图像中，每一个单元格1表示一个像素点，有星型标记的像素点为异常像素点。对于该第一红外图像中所确定的温度异常区域，可以为有星型标记的6个像素点组成的图像区域2，也可以为有星型标记的6个像素点以及与有星型标记的6个像素点相邻的像素点所组成的图像区域3。

在一些实施例中，在将异常像素点以及与异常像素点相邻的像素点或者一定像素间隔内的像素点，划分到相同的异常区域之后，还包括：

统计各异常区域包含的异常像素点的数量，与设定的异常像素点阈值相比较，若异常区域所包含的异常像素点数量小于设定的异常像素点阈值，排出该异常区域。这能够避免由于少数像素点的温度值异常而将所在区域划分为异常区域，进而增加了温度异常区域的范围，增大了运算量的问题，从而可降低运算量，提高图像处理效率。在一些实施例中

作为一种可选的实施方式，在步骤106执行通过缺陷确定模型，根据第二掩膜确定待识别电气设备的缺陷部件在第一红外图像中的图像位置的过程中，可以执行以下步骤：

通过缺陷确定模型，对温度异常区域的第二掩膜进行分割，得到温度异常区域中各缺陷部件对应的第三掩膜；

通过缺陷确定模型，对第三掩膜进行图像二值化处理，根据二值化处理后的第三掩膜确定缺陷部件在第一红外图像中的图像位置。

本申请实施例中，电子设备在获取温度异常区域的第二掩膜后，通过缺陷确定模型将第二掩膜中各缺陷部件的预测框进行分割处理得到第三掩膜，例如第二掩膜中包含有三个缺陷部件的预测框，可以通过Yolact模型中的Crop操作将一个第二掩膜中的三个预测框分割为分别包含一个预测框的三个第三掩膜。电子设备对各第三掩膜进行图像二值化处理，也就是根据设定的一个阈值(例如0.5、0.4等，在此不作限定)，通过Yolact模型中的Threshold操作将各第三掩膜的预测框中的像素点的灰度值变为0或255，从而能够提升预测框内缺陷部件的显示效果。根据二值化处理后的各第三掩膜来可准确标注预测框温度异常区域中各缺陷部件的图像位置，进一步地，根据各缺陷部件第一红外图像中的图像位置，可将该图像位置转换为在待识别电气设备中的位置。能够更加明显地看出待识别电气设备中的缺陷部件。

作为一种可选的实施方式，在步骤106执行通过缺陷确定模型，根据第二掩膜确定待识别电气设备的缺陷部件在第一红外图像中的图像位置的过程之后，可以执行以下步骤：

根据图像位置从第一红外图像中截取缺陷部件对应的第一红外子图像；

根据所述第一红外子图像，获取所述缺陷部件的温度信息；

将第一红外子图像以及缺陷部件的温度信息，与数据库中待识别电气设备的各组成部件的第二红外图像以及各组成部件的温度信息分别进行比对，其中，第二红外图像为待识别电气设备的各组成部件处于正常状态下的红外图像；

根据比对的结果，确定缺陷部件的部件信息。

本申请实施例中，电子设备根据确定的待识别电气设备的缺陷部件在第一红外图像中的图像位置，从第一红外图像中截取缺陷部件对应的第一红外子图像，如阀门缺陷部件的子图像，将缺陷部件对应区域的红外图像定为第一红外子图像。对于缺陷部件对应的图像区域，可以利用第二掩膜中缺陷部件的预测框进行确定。

本申请实施例中，电子设备还根据截取的缺陷部件所在的第一红外子图像，来获取第一红外子图像的温度信息，也就是缺陷部件的温度信息。根据第一红外子图像获取缺陷部件温度信息的方式同获取第一红外图像温度信息的方式相同，在此不再赘述。本申请实施例中，电子设备将第一红外子图像与数据库中待识别电气设备中各组成部件的第二红外图像进行图像比对，并将缺陷部件的温度信息与各组成部件处于正常状态下的温度信息进行比对，其中，第二红外图像为待识别电气设备的各组成部件处于正常状态下的红外图像。

举例说明，数据库中存储有待识别电气设备中各组成部件正常状态下的红外图像，也就是第二红外图像，包括阀门、管道、变压器等。电子设备通过遍历方式，将缺陷部件的第一红外子图像与各第二红外图像逐一进行图像比对，以查找到与第一红外子图像对应的第二红外图像。

作为一种具体实施例中，第一红外子图像与各第二红外图像的图像比对方式，可包括：将第一红外子图像中的各像素点的信息与各第二红外图像中对应的像素点的信息进行比较；根据设定的相似度阈值，判断两个像素点是否属于匹配的像素点。若第一红外子图像中的各像素点的信息与第二红外图像中对应的像素点的信息之间的相似度超过相似度阈值，则认为这两个像素点为匹配的像素点。根据设定的像素点阈值，判断第一红外子图像与第二红外图像是否相对应。若第一红外子图像与第二红外图像中，匹配的像素点的数量超过像素点阈值，则认为第一红外子图像与该第二红外图像相对应。

本申请实施例中，对于缺陷部件的温度信息与各组成部件处于正常状态下的温度信息比对，具体通过计算缺陷部件的温度信息与各组成部件处于正常状态下的温度信息的差值，判断该差值是否大于所设定的差值阈值，是的话则进一步确定该组成部件为缺陷部件。

本申请实施例中，各第二红外图像绑定有对应的电气设备的组成部件的信息，例如，一个第二红外图像为阀门正常状态下的红外图像时，该第二红外图像绑定有阀门部件的信息，该信息可以包括部件名称、部件尺寸以及部件在电气设备中的位置等信息。对于各第二红外图像与对应的电气设备的组成部件的信息绑定方式，在此不作具体限定。

本申请实施例中，电子设备根据第一红外子图像与第二红外图像比对的结果，也就是根据图像对比后第一红外子图像所对应的第二红外图像，获取第二红外图像所绑定的电气设备的组成部件的信息，进而确定缺陷部件的部件信息，即获取缺陷部件的名称、尺寸以及在电气设备中的位置等信息。并且根据缺陷部件的温度信息与各组成部件处于正常状态下的温度信息比对的结果，进一步验证缺陷部件确定的准确性，从而能够进一步确定缺陷部件以及有效地确定缺陷部件的相关信息，有利于后续缺陷部件的更换或维修以及缺陷部件识别准确率的提高，有效地提高了电气设备的安全性。

在一个实施例中，如图4所示，步骤通过训练好的缺陷确定模型提取所述温度异常区域的特征，根据所述特征生成所述温度异常区域对应的多个第一掩膜，并确定所述温度异常区域中缺陷部件的第一掩膜系数，可以包括以下步骤：

401、通过深度残差网络的多个卷积模块对温度异常区域进行处理，得到多个输出尺寸均不相同的第一特征图。

本申请实施例中，电子设备将第二红外子图像输入到用于特征提取的网络中，得到多个尺寸均不相同的第一特征图。其中，将确定的温度异常区域在第一红外图像中对应的红外图像部分作为第二红外子图像。缺陷确定模型中用于特征提取的网络为具有多个卷积模块的深度残差网络。深度残差网络对第二红外子图像进行特征提取后输出多个第一特征图。

402、将输出尺寸最小的第一特征图经过卷积层处理，得到第二特征图。

403、对第二特征图进行卷积和下采样操作，得到深层网络特征图特征。

404、对输出尺寸第二小的第一特征图进行卷积处理，得到第三特征图。

405、将所述第二特征图进行放大，并将放大后的第二特征图与所述第三特征图进行求和，得到浅层网络特征图。

本申请实施例中，为了令温度异常区域的特征图中包含的特征更加丰富，产生多尺度的特征表示，更有利于确定电气设备中的缺陷部件，训练好的缺陷确定模型可以设有对第一特征图进行进一步特征提取处理的网络结构。其中，该网络结构可选为FPN网络。

本申请实施例中，训练好的缺陷确定模型中的深度残差网络在对第二红外子图像进行特征提取处理后，得到多个第一特征图，各第一特征图按尺寸从大到小进行排序。各第一特征图进行排序后，缺陷确定模型对第一特征图中尺寸最小的特征图以及尺寸第二小的特征图分别进行卷积操作，得到第二特征图和第三特征图。对得到的第二特征图采用双线性插值使第二特征图进行扩大，扩大后与第三特征图相加，得到深层网络特征图。另外再对第二特征图进行卷积和下采样操作后得到浅层网络特征图。

举例说明，训练好的缺陷确定模型中的深度残差网络在对第二红外子图像进行特征提取处理后，得到三个第一特征图，各第一特征图按尺寸从大到小排序分别为C3-C5。如图5所示，训练好的缺陷确定模型对第一特征图中尺寸最小的特征图C5经过1个卷积层的卷积操作后得到第二特征图，也就是特征图P5，然后对第二特征图采用双线性插值使第二特征图扩大一倍，扩大后与经过卷积操作后的输出尺寸第二小的第三特征图C4相加，得到深层网络特征图P4。第二特征图P5进行卷积和下采样操作后得到浅层网络特征图P6。其中，由于深层网络特征图通过下采样得到，具有更高的感受野已经更抽象的特征，能够更好地表达第一红外子图像的信息；由于浅层网络特征图经过扩大处理，具有更大的尺寸以及拥有更多的细节信息。

实施上述方法，能够获取包含不同感受野以及不同尺寸的特征图，依据上述特征图生成的第一掩膜和确定的第一掩膜系数，能够尽可能包含缺陷部件的信息，提升缺陷识别的准确率。

在一些实施例中，为了获取更多不同感受野以及不同尺寸的特征图，可以包括：将输出尺寸第三小的第一特征图进行卷积处理，得到第四特征图；

将浅层网络特征图进行放大，并将放大后的浅层网络特征图与第四特征图进行求和，得到第二浅层网络特征图；

对深层网络特征图进行卷积和下采样操作，得到第二深层网络特征图。

举例说明，当训练好的缺陷确定模型在对第二红外子图像进行特征提取处理后，得到了5个第一特征图时，将各第一特征图按尺寸从大到小排序分别为C1-C5。在缺陷确定模型通过上述特征提取过程得到第二特征图、第三特征图和第四特征图后，缺陷确定模型在第三特征图和第四特征图的基础上，通过训练好的缺陷确定模型还可以对第二特征图、浅层网络特征图和深层网络特征图进行进一步的特征提取处理，来获取更多不同尺度的特征图。具体方式为：对浅层网络特征图P4同样采用双线性插值使特征图扩大一倍后与第四特征图C3相加得到第二浅层网络特征图P3，其中第四特征图C3通过输出尺寸第三小的第一特征图进行卷积操作后得到。对深层网络特征图P6进行与输出尺寸第二小的第一特征图P5同样的卷积和下采用操作，得到第二深层网络特征图P7。

本申请实施例能够依据获取的多个第一特征图来得到更多不同尺寸的特征图，提高缺陷识别的准确率。

406、根据第二特征图、深层网络特征图和浅层网络特征图生成温度异常区域对应的多个第一掩膜，并确定温度异常区域中缺陷部件的第一掩膜系数。

在一些实施例中作为一种可选的实施方式，缺陷确定模型还包括掩膜生成网络以及系数生成网络，掩膜生成网络与系数生成网络为并行网络。

步骤406可包括：将浅层网络特征图输入到掩膜生成网络，通过掩膜生成网络基于浅层网络特征图生成温度异常区域对应的多个第一掩膜；将第二特征图、浅层网络特征图和深层网络特征图共同输入到系数生成网络，通过系数生成网络基于第二特征图、浅层网络特征图及深层网络特征图确定温度异常区域中缺陷部件的第一掩膜系数。

本申请实施例中，若在训练好的缺陷确定模型中，对3个第一特征图做进一步特征处理得到第二特征图、浅层网络特征图和深层网络特征图，则将浅层网络特征图P4输入到掩膜生成网络中生成多个第一掩膜，掩膜生成网络可选为全卷积网络。将上述第二特征图P5、浅层网络特征图P4以及深层网络特征图P6输入到系数生成网络中生成第一掩膜系数。若在训练好的缺陷确定模型中，对5个第一特征图做进一步特征处理得到第二特征图、浅层网络特征图、深层网络特征图以及第二浅层网络特征图P3和第二深层网络特征图P7，则将上述第二浅层网络特征图P3输入到掩膜生成网络中生成多个第一掩膜。

根据经过卷积操作的第二特征图、经过图像扩大操作的浅层网络特征图、经过下采样操作的深层网络特征图以及特征图P3和P7的获取过程可以看出，将尺寸更大，拥有更多温度异常区域的细节信息的特征图输入到掩膜生成网络中。掩膜生成网络可选为全卷积网络。将上述第二特征图P5、浅层网络特征图P4深层网络特征图P6、第二浅层网络特征图P3和第二深层网络特征图P7输入到系数生成网络中生成第一掩膜系数。系数生成网络可选为采用共享卷积网络的Retina Net。其中，训练好的缺陷确定模型中，将掩膜生成网络输入特征图后生成多个第一掩膜的流程，与系数生成网络输入特征图后生成第一掩膜系数的流程作为两个并行任务，能够提高训练好的缺陷确定模型确定电气设备中缺陷部件的过程的速度，提升识别效率。

采用上述实施例所描述的电气设备缺陷确定方法，能够实现不同尺寸的特征图的获取，获取的多个不同尺寸的特征图能够更好地表达温度异常区域的全局信息以及温度异常区域中缺陷部件的信息，从而提高缺陷确定的准确率。

请参阅图6，图6是本申请实施例公开的另一种电气设备缺陷确定方法的流程示意图。如图6所示，该电气设备缺陷确定方法可以包括以下步骤：

601、获取待识别电气设备的第一红外图像。

602、根据第一红外图像，获取待识别电气设备的温度信息。

603、根据温度信息，确定第一红外图像中的温度异常区域。

604、通过训练好的缺陷确定模型提取温度异常区域的浅层网络特征图，根据浅层网络特征图生成温度异常区域对应的多个第一掩膜。

605、在缺陷确定模型中，根据第二特征图、浅层网络特征图以及深层网络特征图生成温度异常区域中缺陷部件的多个预测框，并确定与预测框一一对应的分类置信度以及与预测框一一对应的第二掩膜系数。

606、通过缺陷确定模型，根据各个预测框对应的分类置信度对多个预测框进行筛选，确定缺陷部件唯一对应的目标预测框，并将目标预测框对应的第二掩膜系数确定为第一掩膜系数。

607、通过缺陷确定模型，根据多个第一掩膜以及第一掩膜系数生成温度异常区域的第二掩膜。

608、通过缺陷确定模型，根据第二掩膜确定待识别电气设备的缺陷部件在第一红外图像中的图像位置。

本申请实施例中，预测框也就是上述的预测框，分类置信度为预测框为不同缺陷部件时对应的置信度，例如预测框为缺陷阀门时的置信度为0.1，为缺陷管道时的置信度为0.9。

本申请实施例中，可以采用NMS算法来根据分类置信度对预测框进行筛选，具体为对于温度异常区域的一个缺陷部件，有5个预测框，将这5个预测框对于该缺陷部件对应的置信度由高到低进行排序，得到B1-B5；通过矩阵运算计算这5个预测框相互之间的交互比(Intersection over Union，IOU)，得到一个对称矩阵；将该对称矩阵的对角线和下三角元素删掉，并对剩下的矩阵中的每一列取最大值，得到各预测框的IOU值；根据设定的阈值，将IOU值大于阈值的预测框舍去。这是因为矩阵中每一个元素都是行号小于列号，而序号是按照缺陷部件对应的置信度降序排列，因此任意元素大于阈值，表示这一列对应的预测框与比该预测框置信度高的预测框过于重叠，因此需要舍去。能够有效地去掉多余的预测框，保留与标准预测框重叠度最高的预测框。

本申请实施例中，通过缺陷确定模型对各预测框进行筛选，确定了各缺陷部件唯一对应的第一预测框，也就是各缺陷部件唯一对应的预测框，将该预测框对应的掩膜系数确定为第一掩膜系数，也就是将该预测框相对于各第一掩膜的掩膜系数确定为该置信度对应的缺陷部件的第一掩膜系数。

请参阅图7，图7是本申请实施例公开的一种电气设备缺陷确定装置的框图。如图7所示，该电气设备缺陷确定装置可以包括：

图像获取模块701，用于获取通过红外摄像头采集的待识别电气设备的第一红外图像；

温度获取模块702，用于根据第一红外图像，获取待识别电气设备的温度信息；

区域确定模块703，用于根据温度信息，确定红外图像中的温度异常区域；

特征提取模块704，用于通过训练好的缺陷确定模型提取温度异常区域的特征，根据特征生成温度异常区域对应的多个第一掩膜，并确定温度异常区域中缺陷部件的第一掩膜系数；

掩膜生成模块705，用于通过缺陷确定模型，根据多个第一掩膜以及第一掩膜系数生成温度异常区域的第二掩膜；

缺陷确定模块706，用于通过缺陷确定模型，根据第二掩膜确定待识别电气设备的缺陷部件在第一红外图像中的图像位置。

可见，采用上述实施例所描述的电气设备缺陷确定装置，能够先通过待识别电气设备的第一红外图像获取的温度信息，来确定第一红外图像中的温度异常区域对应的图像，通过训练好的缺陷确定模型来提取该对应的图像的特征后，根据特征生成与该对应图像尺寸相同的多个第一掩膜，以及以温度异常区域中缺陷部件的第一掩膜系数，根据多个第一掩膜和第一掩膜系数生成能用于指示温度异常区域中缺陷部件的第二掩膜，根据第二掩膜能够准确确定缺陷部件在第一红外图像中的图像位置，从而能够准确对缺陷部件进行定位，能够有效地提升电气设备中缺陷部位的识别准确率。

请一并参阅图8，图8是本申请实施例公开的另一种电气设备缺陷确定装置的框图。其中，图8所示的电气设备缺陷确定装置是由图7所示的电气设备缺陷确定装置进行优化得到的。与图7所示的电气设备缺陷确定装置相比较，图8所示的电气设备缺陷确定装置还可以包括：

图像比对模块801，用于将第一红外子图像以及所述缺陷部件的温度信息，与数据库中待识别电气设备的各组成部件的第二红外图像以及各组成部件的温度信息分别进行比对，其中，第二红外图像为待识别电气设备的各组成部件处于正常状态下的红外图像；

信息确定模块802，用于根据比对的结果，确定缺陷部件的部件信息。

上述区域确定模块703，还可以用于根据图像位置从第一红外图像中截取缺陷部件对应的第一红外子图像。

上述温度获取模块702，还可以用于根据第一红外子图像，获取缺陷部件的温度信息。

可见，采用上述实施例所描述的电气设备缺陷确定装置，能够实现缺陷部件相关信息的确定，有利于后续缺陷部件的更换或维修，从而提高了电气设备的安全性。

作为一种可选的实施方式，上述特征提取模块704，还可以用于：

通过深度残差网络的多个卷积模块对温度异常区域进行处理，得到多个输出尺寸均不相同的第一特征图；将输出尺寸最小的第一特征图经过卷积层处理，得到第二特征图；对第二特征图进行卷积和下采样操作，得到深层网络特征图；对输出尺寸第二小的第一特征图进行卷积处理，得到第三特征图；将第二特征图进行放大，并将放大后的第二特征图与第三特征图进行求和，得到浅层网络特征图。

可见，采用上述实施例所描述的电气设备缺陷确定装置，能够实现不同尺寸的特征图的获取，获取的多个不同尺寸的特征图能够更好地表达温度异常区域的全局信息以及温度异常区域中缺陷部件的信息，从而提高缺陷确定的准确率。

作为一种可选的实施方式，缺陷确定模型还包括掩膜生成网络以及系数生成网络，掩膜生成网络与系数生成网络为并行网络。

上述特征提取模块704，还可以用于：

将浅层网络特征图输入到掩膜生成网络，通过掩膜生成网络基于浅层网络特征图生成温度异常区域对应的多个第一掩膜；将第二特征图、浅层网络特征图和深层网络特征图共同输入到系数生成网络，通过系数生成网络基于第二特征图、浅层网络特征图及深层网络特征图确定温度异常区域中缺陷部件的第一掩膜系数。

可见，采用上述实施例所描述的电气设备缺陷确定装置，能够实现多个第一掩膜获取过程与第一掩膜系数获取过程的并行运行，能够有效地提高缺陷部件预测框获取的速率，从而提高缺陷确定整体过程的速率，增强安全检测的时效性。

作为一种可选的实施方式，上述缺陷确定模块706，还可以用于：

通过缺陷确定模型，对温度异常区域的第二掩膜进行分割，得到温度异常区域中各部件的第三掩膜；通过缺陷确定模型，根据预设阈值对第三掩膜进行图像二值化处理，得到第四掩膜；根据第四掩膜确定待识别电气设备的缺陷部件在第一红外图像中的图像位置。

可见，采用上述实施例所描述的电气设备缺陷确定装置，能够实现对电气设备缺陷部件对应掩膜的显示优化，从而更好地对缺陷部件进行显示并确定。

作为一种可选的实施方式，上述特征提取模块704，还可以用于：

在缺陷确定模型中，根据特征生成温度异常区域中缺陷部件的多个预测框，并确定与预测框一一对应的分类置信度以及与预测框一一对应的第二掩膜系数；根据各个预测框对应的分类置信度对多个预测框进行筛选，确定缺陷部件唯一对应的目标预测框，并将目标预测框对应的第二掩膜系数确定为第一掩膜系数。

可见，采用上述实施例所描述的电气设备缺陷确定装置，能够实现对缺陷部件的类别以及可能对应的预测框进行筛选，能够提升得到的缺陷部件的预测框的准确率。

请参阅图9，图9是本申请实施例公开的一种电子设备的结构示意图。

如图9所示，该电子设备可以包括：

存储有可执行程序代码的存储器901；

与存储器901耦合的处理器902；

其中，处理器902调用存储器901中存储的可执行程序代码，执行图1、图4或者图6的一种电气设备缺陷确定方法。

本申请实施例公开一种计算机可读存储介质，其存储计算机程序，其中，该计算机程序使得计算机执行图1、图4或者图6的一种电气设备缺陷确定方法。

本申请实施例还公开一种应用发布平台，其中，应用发布平台用于发布计算机程序产品，其中，当计算机程序产品在计算机上运行时，使得计算机执行如以上各方法实施例中的方法的部分或全部步骤。

应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此，在整个说明书各处出现的“在一些实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定特征、结构或特性可以以任意适合的方式结合在一个或多个实施例中。本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本申请所必须的。

在本申请的各种实施例中，应理解，上述各过程的序号的大小并不意味着执行顺序的必然先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物单元，即可位于一个地方，或者也可以分布到多个网络单元上。可根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本申请各实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

上述集成的单元若以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可获取的存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或者部分，可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干请求用以使得一台计算机设备(可以为个人计算机、服务器或者网络设备等，具体可以是计算机设备中的处理器)执行本申请的各个实施例上述方法的部分或全部步骤。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质包括只读存储器(Read-Only Memory，ROM)、随机存储器(Random Access Memory，RAM)、可编程只读存储器(Programmable Read-only Memory，PROM)、可擦除可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory，OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(CompactDisc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。

以上对本申请实施例公开的一种电气设备缺陷确定方法及终端设备进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种电气设备缺陷确定方法，其特征在于，所述方法包括：

获取待识别电气设备的第一红外图像；

根据所述第一红外图像，获取所述待识别电气设备的温度信息；

根据所述温度信息，确定所述第一红外图像中的温度异常区域；

通过训练好的缺陷确定模型提取所述温度异常区域的特征，根据所述特征生成所述温度异常区域对应的多个第一掩膜，并确定所述温度异常区域中缺陷部件的第一掩膜系数；

通过所述缺陷确定模型，根据所述多个第一掩膜以及所述第一掩膜系数生成所述温度异常区域的第二掩膜；

通过所述缺陷确定模型，根据所述第二掩膜确定所述待识别电气设备的缺陷部件在所述第一红外图像中的图像位置。

2.根据权利要求1所述的方法，其特征在于，所述缺陷确定模型是通过训练图像集进行训练得到的，所述训练图像集包括电气设备中各组成部件分别作为缺陷部件时对应的红外图像，所述红外图像标注有电气设备中各组成部件分别作为缺陷部件时的信息。

3.根据权利要求1所述的方法，其特征在于，在所述通过所述缺陷确定模型，根据所述第二掩膜确定所述待识别电气设备的缺陷部件在所述第一红外图像中的图像位置之后，所述方法还包括：

根据所述图像位置从所述第一红外图像中截取所述缺陷部件对应的第一红外子图像；

根据所述第一红外子图像，获取所述缺陷部件的温度信息；

将所述第一红外子图像以及所述缺陷部件的温度信息，与数据库中所述待识别电气设备的各组成部件的第二红外图像以及各组成部件的温度信息分别进行比对，其中，所述第二红外图像为所述待识别电气设备的各组成部件处于正常状态下的红外图像；

根据比对的结果，确定缺陷部件的部件信息。

4.根据权利要求1所述的方法，其特征在于，所述缺陷确定模型包括具有多个卷积模块的深度残差网络，所述通过训练好的缺陷确定模型提取所述温度异常区域的特征，包括：

通过所述深度残差网络的多个卷积模块对所述温度异常区域进行处理，得到多个输出尺寸均不相同的第一特征图；

将输出尺寸最小的第一特征图经过卷积层处理，得到第二特征图；

对所述第二特征图进行卷积和下采样操作，得到深层网络特征图；

对输出尺寸第二小的第一特征图进行卷积处理，得到第三特征图；

将所述第二特征图进行放大，并将放大后的第二特征图与所述第三特征图进行求和，得到浅层网络特征图。

5.根据权利要求4所述的方法，其特征在于，所述缺陷确定模型还包括掩膜生成网络以及系数生成网络，所述掩膜生成网络与所述系数生成网络为并行网络；

所述根据所述特征生成所述温度异常区域对应的多个第一掩膜，并确定所述温度异常区域中缺陷部件的第一掩膜系数，包括：

将所述浅层网络特征图输入到所述掩膜生成网络，通过所述掩膜生成网络基于所述浅层网络特征图生成所述温度异常区域对应的多个第一掩膜；

将所述第二特征图、深层网络特征图和浅层网络特征图共同输入到所述系数生成网络，通过所述系数生成网络基于所述第二特征图、深层网络特征图及浅层网络特征图确定所述温度异常区域中缺陷部件的第一掩膜系数。

6.根据权利要求1所述的方法，其特征在于，所述通过所述缺陷确定模型，根据所述第二掩膜确定所述待识别电气设备的缺陷部件在所述第一红外图像中的图像位置，包括：

通过所述缺陷确定模型，对所述温度异常区域的第二掩膜进行分割，得到所述温度异常区域中各缺陷部件对应的第三掩膜；

通过所述缺陷确定模型，对所述第三掩膜进行图像二值化处理，根据二值化处理后的第三掩膜确定所述缺陷部件在所述第一红外图像中的图像位置。

7.根据权利要求1所述的方法，其特征在于，所述确定所述温度异常区域中缺陷部件的第一掩膜系数，包括：

在所述缺陷确定模型中，根据所述特征生成所述温度异常区域中缺陷部件的多个预测框，并确定与所述预测框一一对应的分类置信度以及与所述预测框一一对应的第二掩膜系数；

根据各个预测框对应的分类置信度对所述多个预测框进行筛选，确定所述缺陷部件唯一对应的目标预测框，并将所述目标预测框对应的第二掩膜系数确定为第一掩膜系数。

8.一种电气设备缺陷识别装置，其特征在于，包括：

图像获取模块，用于获取通过红外摄像头采集的待识别电气设备的第一红外图像；

温度获取模块，用于根据所述第一红外图像，获取所述待识别电气设备的温度信息；

区域确定模块，用于根据所述温度信息，确定所述红外图像中的温度异常区域；

特征提取模块，用于通过训练好的缺陷确定模型提取所述温度异常区域的特征，根据所述特征生成所述温度异常区域对应的多个第一掩膜，并确定所述温度异常区域中缺陷部件的第一掩膜系数；

掩膜生成模块，用于通过所述缺陷确定模型，根据所述多个第一掩膜以及所述第一掩膜系数生成所述温度异常区域的第二掩膜；

缺陷确定模块，用于通过所述缺陷确定模型，根据所述第二掩膜确定所述待识别电气设备的缺陷部件在所述第一红外图像中的图像位置。

9.一种电子设备，包括：存储器及处理器，所述存储器上存储有计算机程序，其特征在于，所述计算机程序能够被所述处理器执行，以使得所述处理器实现如权利要求1至7中任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序适于由处理器加载并执行，以使得具有所述处理器实现如权利要求1-7任一项所述的方法。

Images