CN116402777A - 基于机器视觉的电力设备检测方法及*** - Google Patents

基于机器视觉的电力设备检测方法及*** Download PDF

Info

Publication number
CN116402777A
CN116402777A CN202310327206.4A CN202310327206A CN116402777A CN 116402777 A CN116402777 A CN 116402777A CN 202310327206 A CN202310327206 A CN 202310327206A CN 116402777 A CN116402777 A CN 116402777A
Authority
CN
China
Prior art keywords
thermal infrared
infrared image
matrix
image block
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310327206.4A
Other languages
English (en)
Other versions
CN116402777B (zh
Inventor
张宇飞
郭长周
沈文江
桑林梅
鲍宏伟
闫娇
李晓东
董芳瑞
张霄
陆世杰
李亚楠
陈龙
王远
***
孙浩然
马永星
常立庆
刘娟
张林梅
元亮
郝忠毅
王震宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Linzhou Power Supply Co Of State Grid Henan Electric Power Co
Anyang Power Supply Co of State Grid Henan Electric Power Co Ltd
Original Assignee
Linzhou Power Supply Co Of State Grid Henan Electric Power Co
Anyang Power Supply Co of State Grid Henan Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Linzhou Power Supply Co Of State Grid Henan Electric Power Co, Anyang Power Supply Co of State Grid Henan Electric Power Co Ltd filed Critical Linzhou Power Supply Co Of State Grid Henan Electric Power Co
Priority to CN202310327206.4A priority Critical patent/CN116402777B/zh
Publication of CN116402777A publication Critical patent/CN116402777A/zh
Application granted granted Critical
Publication of CN116402777B publication Critical patent/CN116402777B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Radiation Pyrometers (AREA)

Abstract

公开了一种基于机器视觉的电力设备检测方法及***。其首先将待检测电力设备的热红外图像进行图像分块处理得到的热红外图像块的序列中的各个热红外图像块分别通过第一卷积神经网络模型以得到多个热红外图像块特征向量，接着，构建所述热红外图像块的序列的空间拓扑矩阵并将其通过第二卷积神经网络模型以得到空间拓扑特征矩阵，然后，将所述多个热红外图像块特征向量排列为热红外图像块全局特征矩阵后和所述空间拓扑特征矩阵通过图神经网络模型以得到拓扑热红外图像块全局特征矩阵，最后，将所述拓扑热红外图像块全局特征矩阵通过分类器以得到用于表示待检测电力设备的工作状态是否正常的分类结果。这样，可以提升电力设备状态检测的效率。

Description

基于机器视觉的电力设备检测方法及***
技术领域
本申请涉及智能检测领域，且更为具体地，涉及一种基于机器视觉的电力设备检测方法及***。
背景技术
电力设备的安全稳定运行是确保电网可靠供电的关键。通过对设备巡检检测电力设备的运行状态，能够预防由设备缺陷或故障引起的事故发生。红外热成像技术提供了一种非接触的检测方式来获取电力设备的热状态信息，使电力设备的状态检测能在不断电的情况下进行，被广泛应用于电力设备的带电检测中。电力设备的红外图像能够显示其温度分布和范围，通过不同等级的色调和亮度变化来表示设备不同部位的温度。但目前对获取的电力设备红外图像数据仍需依赖经验丰富的电力工程师进行分析及诊断，从而消耗了大量的人力和时间成本，极大降低了电力设备状态检测与评估的效率。
因此，期待一种优化的电力设备检测方案。
发明内容
为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种基于机器视觉的电力设备检测方法及***。其首先将待检测电力设备的热红外图像进行图像分块处理得到的热红外图像块的序列中的各个热红外图像块分别通过第一卷积神经网络模型以得到多个热红外图像块特征向量，接着，构建所述热红外图像块的序列的空间拓扑矩阵并将其通过第二卷积神经网络模型以得到空间拓扑特征矩阵，然后，将所述多个热红外图像块特征向量排列为热红外图像块全局特征矩阵后和所述空间拓扑特征矩阵通过图神经网络模型以得到拓扑热红外图像块全局特征矩阵，最后，将所述拓扑热红外图像块全局特征矩阵通过分类器以得到用于表示待检测电力设备的工作状态是否正常的分类结果。这样，可以提升电力设备状态检测的效率。
根据本申请的一个方面，提供了一种基于机器视觉的电力设备检测***，其包括：
热红外监控模块，用于获取待检测电力设备的热红外图像；
图像分割模块，用于对所述待检测电力设备的热红外图像进行图像分块处理以得到热红外图像块的序列；
图像块特征提取模块，用于将所述热红外图像块的序列中的各个热红外图像块分别通过作为过滤器的第一卷积神经网络模型以得到多个热红外图像块特征向量；
图像块拓扑构造模块，用于构建所述热红外图像块的序列的空间拓扑矩阵，其中，所述空间拓扑矩阵中各个位置的值用于表示相应两个热红外图像块之间的欧式距离；
空间拓扑特征提取模块，用于将所述空间拓扑矩阵通过作为特征提取器的第二卷积神经网络模型以得到空间拓扑特征矩阵；
图像块特征全局化模块，用于将所述多个热红外图像块特征向量排列为热红外图像块全局特征矩阵；
图数据编码模块，用于将所述热红外图像块全局特征矩阵和所述空间拓扑特征矩阵通过图神经网络模型以得到拓扑热红外图像块全局特征矩阵；以及
检测结果生成模块，用于将所述拓扑热红外图像块全局特征矩阵通过分类器以得到分类结果，所述分类结果用于表示待检测电力设备的工作状态是否正常。
在上述的基于机器视觉的电力设备检测***中，所述图像块特征提取模块，用于：
使用所述作为过滤器的第一卷积神经网络模型的各层在层的正向传递中分别对输入数据进行卷积处理、基于特征矩阵的均值池化处理和非线性激活处理以由所述作为过滤器的第一卷积神经网络模型的最后一层输出所述多个热红外图像块特征向量，其中，所述作为过滤器的第一卷积神经网络模型的第一层的输入为所述热红外图像块的序列中的各个热红外图像块。
在上述的基于机器视觉的电力设备检测***中，所述图像块拓扑构造模块，包括：
空间度量单元，用于计算所述热红外图像块的序列中每两个热红外图像块之间的欧式距离以得到多个欧式距离；以及
矩阵构造单元，用于将所述多个欧式距离构造为所述空间拓扑矩阵。
在上述的基于机器视觉的电力设备检测***中，所述空间拓扑特征提取模块，用于：
使用所述作为特征提取器的第二卷积神经网络模型的各层在层的正向传递中对输入数据分别进行二维卷积处理、基于特征矩阵的均值池化处理和非线性激活处理以由所述作为特征提取器的第二卷积神经网络模型的最后一层输出所述空间拓扑特征矩阵，其中，所述作为特征提取器的第二卷积神经网络模型的第一层的输入为所述空间拓扑矩阵。
在上述的基于机器视觉的电力设备检测***中，所述图数据编码模块，进一步用于使用所述图神经网络模型以可学习的神经网络参数对所述热红外图像块全局特征矩阵和所述空间拓扑特征矩阵进行编码以得到所述拓扑热红外图像块全局特征矩阵。
在上述的基于机器视觉的电力设备检测***中，还包括用于对所述作为过滤器的第一卷积神经网络模型、所述作为特征提取器的第二卷积神经网络模型、所述图神经网络模型和所述分类器进行训练的训练模块。
在上述的基于机器视觉的电力设备检测***中，所述训练模块，包括：
训练数据获取单元，用于获取所述待检测电力设备的训练热红外图像和所述训练热红外图像的真实标签值，所述真实标签值用于表示所述待检测电力设备的工作状态是否正常；
训练图像分割单元，用于对所述训练热红外图像进行图像分块处理以得到训练热红外图像块的序列；
训练图像块特征提取单元，用于将所述训练热红外图像块的序列中的各个训练热红外图像块分别通过所述作为过滤器的第一卷积神经网络模型以得到多个训练热红外图像块特征向量；
训练图像块拓扑构造单元，用于构建所述训练热红外图像块的序列的空间拓扑矩阵；
训练空间拓扑特征提取单元，用于将所述训练空间拓扑矩阵通过所述作为特征提取器的第二卷积神经网络模型以得到训练空间拓扑特征矩阵；
训练图像块特征全局化单元，用于将所述多个训练热红外图像块特征向量排列为训练热红外图像块全局特征矩阵；
训练图数据编码单元，用于将所述训练热红外图像块全局特征矩阵和所述训练空间拓扑特征矩阵通过所述图神经网络模型以得到训练拓扑热红外图像块全局特征矩阵；
分类损失单元，用于将所述训练拓扑热红外图像块全局特征矩阵通过所述分类器以得到分类损失函数值；以及
训练单元，用于以所述分类损失函数值作为损失函数值对所述作为过滤器的第一卷积神经网络模型、所述作为特征提取器的第二卷积神经网络模型、所述图神经网络模型和所述分类器进行训练。
在上述的基于机器视觉的电力设备检测***中，所述分类损失单元，用于：
使用所述分类器以如下分类损失公式对所述训练拓扑热红外图像块全局特征矩阵进行处理以得到所述分类损失函数值；
其中，所述分类损失公式为：
softmax{(Mc,Bc)|Project(F)}
其中，Project(F)表示将所述训练优化振动时频特征矩阵投影为向量，Mc为全连接层的权重矩阵，Bc表示全连接层的偏置矩阵。
在上述的基于机器视觉的电力设备检测***中，在以所述分类损失函数值作为损失函数值对所述作为过滤器的第一卷积神经网络模型、所述作为特征提取器的第二卷积神经网络模型、所述图神经网络模型和所述分类器进行训练的过程中，在每次所述分类器的权重矩阵的迭代时以如下迭代公式对所述分类器的权重矩阵进行权重矩阵的空间正则化约束；
其中，所述迭代公式为：
Figure BDA0004153642950000031
其中，M是所述分类器的权重矩阵，M′表示迭代训练后的所述分类器的权重矩阵，(·)T表示矩阵的转置矩阵，||·||F表示矩阵的Frobenius范数，Mb是偏置矩阵，exp(·)表示矩阵的指数运算，所述矩阵的指数运算表示计算以矩阵中各个位置的特征值为幂的自然指数函数值，
Figure BDA0004153642950000032
和/>
Figure BDA0004153642950000033
分别表示按位置加法和按位置乘法。
根据本申请的另一个方面，提供了一种基于机器视觉的电力设备检测方法，其包括：
获取待检测电力设备的热红外图像；
对所述待检测电力设备的热红外图像进行图像分块处理以得到热红外图像块的序列；
将所述热红外图像块的序列中的各个热红外图像块分别通过作为过滤器的第一卷积神经网络模型以得到多个热红外图像块特征向量；
构建所述热红外图像块的序列的空间拓扑矩阵，其中，所述空间拓扑矩阵中各个位置的值用于表示相应两个热红外图像块之间的欧式距离；
将所述空间拓扑矩阵通过作为特征提取器的第二卷积神经网络模型以得到空间拓扑特征矩阵；
将所述多个热红外图像块特征向量排列为热红外图像块全局特征矩阵；
将所述热红外图像块全局特征矩阵和所述空间拓扑特征矩阵通过图神经网络模型以得到拓扑热红外图像块全局特征矩阵；以及
将所述拓扑热红外图像块全局特征矩阵通过分类器以得到分类结果，所述分类结果用于表示待检测电力设备的工作状态是否正常。
与现有技术相比，本申请提供的基于机器视觉的电力设备检测方法及***，其首先将待检测电力设备的热红外图像进行图像分块处理得到的热红外图像块的序列中的各个热红外图像块分别通过第一卷积神经网络模型以得到多个热红外图像块特征向量，接着，构建所述热红外图像块的序列的空间拓扑矩阵并将其通过第二卷积神经网络模型以得到空间拓扑特征矩阵，然后，将所述多个热红外图像块特征向量排列为热红外图像块全局特征矩阵后和所述空间拓扑特征矩阵通过图神经网络模型以得到拓扑热红外图像块全局特征矩阵，最后，将所述拓扑热红外图像块全局特征矩阵通过分类器以得到用于表示待检测电力设备的工作状态是否正常的分类结果。这样，可以提升电力设备状态检测的效率。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员而言，在没有做出创造性劳动的前提下，还可以根据这些附图获得其他的附图。以下附图并未刻意按实际尺寸等比例缩放绘制，重点在于示出本申请的主旨。
图1为根据本申请实施例的基于机器视觉的电力设备检测***的应用场景图。
图2为根据本申请实施例的基于机器视觉的电力设备检测***的框图示意图。
图3为根据本申请实施例的基于机器视觉的电力设备检测***中的所述图像块拓扑构造模块的框图示意图。
图4为根据本申请实施例的基于机器视觉的电力设备检测***中的所述训练模块的框图示意图。
图5为根据本申请实施例的基于机器视觉的电力设备检测方法的流程图。
图6为根据本申请实施例的基于机器视觉的电力设备检测方法的***架构的示意图。
具体实施方式
下面将结合附图对本申请实施例中的技术方案进行清楚、完整地描述，显而易见地，所描述的实施例仅仅是本申请的部分实施例，而不是全部的实施例。基于本申请实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，也属于本申请保护的范围。
如本申请和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其他的步骤或元素。
虽然本申请对根据本申请的实施例的***中的某些模块做出了各种引用，然而，任何数量的不同模块可以被使用并运行在用户终端和/或服务器上。所述模块仅是说明性的，并且所述***和方法的不同方面可以使用不同模块。
本申请中使用了流程图用来说明根据本申请的实施例的***所执行的操作。应当理解的是，前面或下面操作不一定按照顺序来精确地执行。相反，根据需要，可以按照倒序或同时处理各种步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。
下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。
应可以理解，在本申请的技术方案中，电力设备的红外图像能够显示其温度分布和范围，通过不同等级的色调和亮度变化来表示设备不同部位的温度。但是，基于电力设备红外图像数据对电力设备的工作状态进行分析及诊断仍需依赖经验丰富的电力工程师。
近年来，深度学***。
深度学习以及神经网络为基于热红外图像的电子设备检测提供了新的解决思路和方案。
相应地，在本申请的技术方案中，首先由热红外相机采集待检测电力设备的热红外图像，应可以理解，电力设备的红外图像能够显示其温度分布和范围，通过不同等级的色调和亮度变化来表示设备不同部位的温度。应可以理解，在本申请的技术方案中，电子设备的温度分布和范围能够体现所述电子设备的工作状态是否正常，但是电子设备的温度分布和范围特征与电子设备的状态是否正常之间的映射关系是复杂的且是非线性的，难以通过现有的统计模型或机器学习模型来表征。同时，电子设备的温度分布和范围特征也难以通过传统的统计模型或机器学习模型来特征表示。
具体地，在本申请的技术方案中，在得到所述待检测电力设备的热红外图像后，对所述待检测电力设备的热红外图像进行图像分块处理以得到热红外图像块的序列。特别地，在本申请的技术方案中，在进行图像分块处理的过程中，仅可能地将具有相近温度分布的区域分割到一个图像块中，也就是说，在本申请的技术方案中，可基于所述热红外图像的各个像素位置的像素值来进行图像块分块以得到所述热红外图像块的序列，这样所述热红外图像块的序列中各个热红外图像块能够较为完整地反应所述待检测电力设备的某一部位的温度分布和范围。
在得到所述热红外图像块的序列后，将所述热红外图像块的序列中的各个热红外图像块分别通过作为过滤器的第一卷积神经网络模型以得到多个热红外图像块特征向量。也就是，使用在图像特征提取领域具有优异性能表现的卷积神经网络模型作为特征过滤器来捕捉所述各个热红外图像块的温度分布和范围特征的高维隐含特征表示。
特别地，在本申请的技术方案中，考虑到所述热红外图像块的序列中各个热红外图像块的温度分布和范围特征之间并不是完全独立的，而是存在空间关联。也就是，所述待检测电子设备的各个部位的温度分布和范围特征之间并不为完全独立的，例如，距离较近的部位之间的热影响会更明显。
基于此，在本申请的技术方案中，构建所述热红外图像块的序列的空间拓扑矩阵，
其中，所述空间拓扑矩阵中各个位置的值用于表示相应两个热红外图像块之间的欧式距离。这里，所述两个热红外图像块之间的欧式距离的计算过程为：提取第一热红外图像块的中心点坐标且提取第二热红外图像块的中心点坐标，并计算所述第一热红外图像块的中心点坐标和所述第二热红外图像块的中心点坐标之间的欧式距离作为所述两个热红外图像块之间的欧式距离。相应地，在得到每两个热红外图像块之间的欧式距离后，将所得到的多个欧式距离值排列为所述空间拓扑矩阵。
接着，将所述空间拓扑矩阵通过作为特征提取器的第二卷积神经网络模型以得到空间拓扑特征矩阵。也就是，在本申请的技术方案中，使用在局部特征提取领域具有优异性能表现的卷积神经网络模型作为特征提取器来捕捉各个热红外图像块的空间拓扑特征。
应注意到，在本申请的技术方案中，如果将所述各个热红外图像块的热红外图像块特征向量视为节点，则所述空间拓扑特征矩阵则表示各个节点之间的边的高维特征表示。因此，在本申请的技术方案中，所述多个热红外图像块特征向量和所述空间拓扑特征矩阵形成图数据的高维嵌入表示。进而，在本申请的技术方案中，将所述多个热红外图像块特征向量排列为热红外图像块全局特征矩阵，然后，将所述热红外图像块全局特征矩阵和所述空间拓扑特征矩阵通过图神经网络模型以得到拓扑热红外图像块全局特征矩阵。这里，所述图神经网络模型通过可学习的神经网络参数来对所述热红外图像块全局特征矩阵和所述空间拓扑特征矩阵进行处理以得到包含不规则的空间拓扑特征和高维温度分布特征的所述拓扑热红外图像块全局特征矩阵，通过这样的方式，充分利用所述待检测电子设备的热红外分布的整体性和拓扑性来提升所述待检测电子设备的温度分布特征表达的精准度和丰富性。
进而，将所述拓扑热红外图像块全局特征矩阵通过分类器以得到分类结果，所述分类结果用于表示待检测电力设备的工作状态是否正常。也就是，使用所述分类器来确定所述拓扑热红外图像块全局特征矩阵所属的类概率标签，其中，所述类概率标签包括待检测电力设备的工作状态正常(第一标签)，以及，待检测电力设备的工作状态不正常(第二标签)。
特别地，在本申请的技术方案中，对于将所述热红外图像块全局特征矩阵和所述空间拓扑特征矩阵通过图神经网络模型得到的所述拓扑热红外图像块全局特征矩阵，由于其每个拓扑热红外图像块全局特征向量，例如行向量表达单个热红外图像块的图像特征语义在各个热红外图像块的空间拓扑下的拓扑关联表示，各个拓扑热红外图像块全局特征向量之间的关联性较弱，从而使得各个拓扑热红外图像块全局特征向量排列得到的所述拓扑热红外图像块全局特征矩阵的整体特征分布的离散度高，导致在训练过程中所述分类器的权重矩阵的收敛速度慢，影响了分类器以至于模型整体的训练速度。
因此，在本申请的技术方案中，本申请的申请人在每次分类器的权重矩阵的迭代时进行权重矩阵的空间正则化约束，表示为：
Figure BDA0004153642950000071
M是分类器的权重矩阵，||·||F表示矩阵的Frobenius范数，Mb是偏置矩阵，例如可以初始设置为单位矩阵。
所述权重矩阵的空间正则化约束在权重矩阵与其自身转置进行空间嵌入得到的内生相关性矩阵的基础上，对所述分类器的权重矩阵进行基于其欧式空间的内生相关分布的L2正则化，从而与待加权特征的数值分布和按位置数值大小无关地，反映出权重空间对于待分类特征所表达的特定类表达模式的语义依赖程度，从而使得权重空间反应出模型所提取的特征的内在本质知识的传递效果，加快权重矩阵的收敛，从而提升分类器以至于模型整体的训练速度。
图1为根据本申请实施例的基于机器视觉的电力设备检测***的应用场景图。如图1所示，在该应用场景中，首先，通过热红外相机(例如，图1中所示意的C)获取待检测电力设备(例如，图1中所示意的M)的热红外图像(例如，图1中所示意的D)，然后，将所述待检测电力设备的热红外图像输入至部署有基于机器视觉的电力设备检测算法的服务器中(例如，图1中所示意的S)，其中，所述服务器能够使用所述基于机器视觉的电力设备检测算法对所述待检测电力设备的热红外图像进行处理以得到用于表示待检测电力设备的工作状态是否正常的分类结果。
在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。
图2为根据本申请实施例的基于机器视觉的电力设备检测***的框图示意图。如图2所示，根据本申请实施例的基于机器视觉的电力设备检测***100，包括：热红外监控模块110，用于获取待检测电力设备的热红外图像；图像分割模块120，用于对所述待检测电力设备的热红外图像进行图像分块处理以得到热红外图像块的序列；图像块特征提取模块130，用于将所述热红外图像块的序列中的各个热红外图像块分别通过作为过滤器的第一卷积神经网络模型以得到多个热红外图像块特征向量；图像块拓扑构造模块140，用于构建所述热红外图像块的序列的空间拓扑矩阵，其中，所述空间拓扑矩阵中各个位置的值用于表示相应两个热红外图像块之间的欧式距离；空间拓扑特征提取模块150，用于将所述空间拓扑矩阵通过作为特征提取器的第二卷积神经网络模型以得到空间拓扑特征矩阵；图像块特征全局化模块160，用于将所述多个热红外图像块特征向量排列为热红外图像块全局特征矩阵；图数据编码模块170，用于将所述热红外图像块全局特征矩阵和所述空间拓扑特征矩阵通过图神经网络模型以得到拓扑热红外图像块全局特征矩阵；以及，检测结果生成模块180，用于将所述拓扑热红外图像块全局特征矩阵通过分类器以得到分类结果，所述分类结果用于表示待检测电力设备的工作状态是否正常。
更具体地，在本申请实施例中，所述热红外监控模块110，用于获取待检测电力设备的热红外图像。其中，所述待检测电力设备的热红外图像可以通过热红外相机采集。应可以理解，电力设备的红外图像能够显示其温度分布和范围，通过不同等级的色调和亮度变化来表示设备不同部位的温度。应可以理解，在本申请的技术方案中，电子设备的温度分布和范围能够体现所述电子设备的工作状态是否正常。
更具体地，在本申请实施例中，所述图像分割模块120，用于对所述待检测电力设备的热红外图像进行图像分块处理以得到热红外图像块的序列。在本申请的技术方案中，在进行图像分块处理的过程中，仅可能地将具有相近温度分布的区域分割到一个图像块中，也就是说，在本申请的技术方案中，可基于所述热红外图像的各个像素位置的像素值来进行图像块分块以得到所述热红外图像块的序列，这样所述热红外图像块的序列中各个热红外图像块能够较为完整地反应所述待检测电力设备的某一部位的温度分布和范围。
更具体地，在本申请实施例中，所述图像块特征提取模块130，用于将所述热红外图像块的序列中的各个热红外图像块分别通过作为过滤器的第一卷积神经网络模型以得到多个热红外图像块特征向量。也就是，使用在图像特征提取领域具有优异性能表现的卷积神经网络模型作为特征过滤器来捕捉所述各个热红外图像块的温度分布和范围特征的高维隐含特征表示。
卷积神经网络(Convolutional Neural Network，CNN)是一种人工神经网络，在图像识别等领域有着广泛的应用。卷积神经网络可以包括输入层、隐藏层和输出层，其中，隐藏层可以包括卷积层、池化(pooling)层、激活层和全连接层等，上一层根据输入的数据进行相应的运算，将运算结果输出给下一层，输入的初始数据经过多层的运算之后得到一个最终的结果。卷积神经网络模型利用卷积核作为特征过滤因子在图像局部特征提取方面具有非常优异的性能表现，且相较于传统的基于统计或者基于特征工程的图像特征提取算法，所述卷积神经网络模型具有更强的特征提取泛化能力和拟合能力。
相应地，在一个具体示例中，所述图像块特征提取模块130，用于：使用所述作为过滤器的第一卷积神经网络模型的各层在层的正向传递中分别对输入数据进行卷积处理、基于特征矩阵的均值池化处理和非线性激活处理以由所述作为过滤器的第一卷积神经网络模型的最后一层输出所述多个热红外图像块特征向量，其中，所述作为过滤器的第一卷积神经网络模型的第一层的输入为所述热红外图像块的序列中的各个热红外图像块。
更具体地，在本申请实施例中，所述图像块拓扑构造模块140，用于构建所述热红外图像块的序列的空间拓扑矩阵，其中，所述空间拓扑矩阵中各个位置的值用于表示相应两个热红外图像块之间的欧式距离。考虑到所述热红外图像块的序列中各个热红外图像块的温度分布和范围特征之间并不是完全独立的，而是存在空间关联。也就是，所述待检测电子设备的各个部位的温度分布和范围特征之间并不为完全独立的，例如，距离较近的部位之间的热影响会更明显。基于此，在本申请的技术方案中，构建所述热红外图像块的序列的空间拓扑矩阵，其中，所述空间拓扑矩阵中各个位置的值用于表示相应两个热红外图像块之间的欧式距离。这里，所述两个热红外图像块之间的欧式距离的计算过程为：提取第一热红外图像块的中心点坐标且提取第二热红外图像块的中心点坐标，并计算所述第一热红外图像块的中心点坐标和所述第二热红外图像块的中心点坐标之间的欧式距离作为所述两个热红外图像块之间的欧式距离。相应地，在得到每两个热红外图像块之间的欧式距离后，将所得到的多个欧式距离值排列为所述空间拓扑矩阵。
相应地，在一个具体示例中，如图3所示，所述图像块拓扑构造模块140，包括：空间度量单元141，用于计算所述热红外图像块的序列中每两个热红外图像块之间的欧式距离以得到多个欧式距离；以及，矩阵构造单元142，用于将所述多个欧式距离构造为所述空间拓扑矩阵。
更具体地，在本申请实施例中，所述空间拓扑特征提取模块150，用于将所述空间拓扑矩阵通过作为特征提取器的第二卷积神经网络模型以得到空间拓扑特征矩阵。也就是，在本申请的技术方案中，使用在局部特征提取领域具有优异性能表现的卷积神经网络模型作为特征提取器来捕捉各个热红外图像块的空间拓扑特征。
相应地，在一个具体示例中，所述空间拓扑特征提取模块150，用于：使用所述作为特征提取器的第二卷积神经网络模型的各层在层的正向传递中对输入数据分别进行二维卷积处理、基于特征矩阵的均值池化处理和非线性激活处理以由所述作为特征提取器的第二卷积神经网络模型的最后一层输出所述空间拓扑特征矩阵，其中，所述作为特征提取器的第二卷积神经网络模型的第一层的输入为所述空间拓扑矩阵。
应注意到，在本申请的技术方案中，如果将所述各个热红外图像块的热红外图像块特征向量视为节点，则所述空间拓扑特征矩阵则表示各个节点之间的边的高维特征表示。因此，在本申请的技术方案中，所述多个热红外图像块特征向量和所述空间拓扑特征矩阵形成图数据的高维嵌入表示。进而，在本申请的技术方案中，将所述多个热红外图像块特征向量排列为热红外图像块全局特征矩阵，然后，将所述热红外图像块全局特征矩阵和所述空间拓扑特征矩阵通过图神经网络模型以得到拓扑热红外图像块全局特征矩阵。
更具体地，在本申请实施例中，所述图像块特征全局化模块160，用于将所述多个热红外图像块特征向量排列为热红外图像块全局特征矩阵。
更具体地，在本申请实施例中，所述图数据编码模块170，用于将所述热红外图像块全局特征矩阵和所述空间拓扑特征矩阵通过图神经网络模型以得到拓扑热红外图像块全局特征矩阵。这里，所述图神经网络模型通过可学习的神经网络参数来对所述热红外图像块全局特征矩阵和所述空间拓扑特征矩阵进行处理以得到包含不规则的空间拓扑特征和高维温度分布特征的所述拓扑热红外图像块全局特征矩阵，通过这样的方式，充分利用所述待检测电子设备的热红外分布的整体性和拓扑性来提升所述待检测电子设备的温度分布特征表达的精准度和丰富性。
相应地，在一个具体示例中，所述图数据编码模块，进一步用于使用所述图神经网络模型以可学习的神经网络参数对所述热红外图像块全局特征矩阵和所述空间拓扑特征矩阵进行编码以得到所述拓扑热红外图像块全局特征矩阵。
更具体地，在本申请实施例中，所述检测结果生成模块180，用于将所述拓扑热红外图像块全局特征矩阵通过分类器以得到分类结果，所述分类结果用于表示待检测电力设备的工作状态是否正常。也就是，使用所述分类器来确定所述拓扑热红外图像块全局特征矩阵所属的类概率标签，其中，所述类概率标签包括待检测电力设备的工作状态正常(第一标签)，以及，待检测电力设备的工作状态不正常(第二标签)。
应可以理解，分类器的作用是利用给定的类别、已知的训练数据来学习分类规则和分类器，然后对未知数据进行分类(或预测)。逻辑回归(logistics)、SVM等常用于解决二分类问题，对于多分类问题(multi-class classification)，同样也可以用逻辑回归或SVM，只是需要多个二分类来组成多分类，但这样容易出错且效率不高，常用的多分类方法有Softmax分类函数。
相应地，在一个具体示例中，所述的基于机器视觉的电力设备检测***，还包括用于对所述作为过滤器的第一卷积神经网络模型、所述作为特征提取器的第二卷积神经网络模型、所述图神经网络模型和所述分类器进行训练的训练模块。
相应地，在一个具体示例中，如图4所示，所述训练模块200，包括：训练数据获取单元210，用于获取所述待检测电力设备的训练热红外图像和所述训练热红外图像的真实标签值，所述真实标签值用于表示所述待检测电力设备的工作状态是否正常；训练图像分割单元220，用于对所述训练热红外图像进行图像分块处理以得到训练热红外图像块的序列；训练图像块特征提取单元230，用于将所述训练热红外图像块的序列中的各个训练热红外图像块分别通过所述作为过滤器的第一卷积神经网络模型以得到多个训练热红外图像块特征向量；训练图像块拓扑构造单元240，用于构建所述训练热红外图像块的序列的空间拓扑矩阵；训练空间拓扑特征提取单元250，用于将所述训练空间拓扑矩阵通过所述作为特征提取器的第二卷积神经网络模型以得到训练空间拓扑特征矩阵；训练图像块特征全局化单元260，用于将所述多个训练热红外图像块特征向量排列为训练热红外图像块全局特征矩阵；训练图数据编码单元270，用于将所述训练热红外图像块全局特征矩阵和所述训练空间拓扑特征矩阵通过所述图神经网络模型以得到训练拓扑热红外图像块全局特征矩阵；分类损失单元280，用于将所述训练拓扑热红外图像块全局特征矩阵通过所述分类器以得到分类损失函数值；以及，训练单元290，用于以所述分类损失函数值作为损失函数值对所述作为过滤器的第一卷积神经网络模型、所述作为特征提取器的第二卷积神经网络模型、所述图神经网络模型和所述分类器进行训练。
相应地，在一个具体示例中，所述分类损失单元280，用于：使用所述分类器以如下分类损失公式对所述训练拓扑热红外图像块全局特征矩阵进行处理以得到所述分类损失函数值；其中，所述分类损失公式为：
softmax{(Mc,Bc)|Project(F)}
其中，Project(F)表示将所述训练优化振动时频特征矩阵投影为向量，Mc为全连接层的权重矩阵，Bc表示全连接层的偏置矩阵。
特别地，在本申请的技术方案中，对于将所述热红外图像块全局特征矩阵和所述空间拓扑特征矩阵通过图神经网络模型得到的所述拓扑热红外图像块全局特征矩阵，由于其每个拓扑热红外图像块全局特征向量，例如行向量表达单个热红外图像块的图像特征语义在各个热红外图像块的空间拓扑下的拓扑关联表示，各个拓扑热红外图像块全局特征向量之间的关联性较弱，从而使得各个拓扑热红外图像块全局特征向量排列得到的所述拓扑热红外图像块全局特征矩阵的整体特征分布的离散度高，导致在训练过程中所述分类器的权重矩阵的收敛速度慢，影响了分类器以至于模型整体的训练速度。因此，在本申请的技术方案中，本申请的申请人在每次分类器的权重矩阵的迭代时进行权重矩阵的空间正则化约束。
相应地，在一个具体示例中，在以所述分类损失函数值作为损失函数值对所述作为过滤器的第一卷积神经网络模型、所述作为特征提取器的第二卷积神经网络模型、所述图神经网络模型和所述分类器进行训练的过程中，在每次所述分类器的权重矩阵的迭代时以如下迭代公式对所述分类器的权重矩阵进行权重矩阵的空间正则化约束；其中，所述迭代公式为：
Figure BDA0004153642950000111
其中，M是所述分类器的权重矩阵，M′表示迭代训练后的所述分类器的权重矩阵，(·)T表示矩阵的转置矩阵，||·||F表示矩阵的Frobenius范数，Mb是偏置矩阵，exp(·)表示矩阵的指数运算，所述矩阵的指数运算表示计算以矩阵中各个位置的特征值为幂的自然指数函数值，
Figure BDA0004153642950000112
和/>
Figure BDA0004153642950000113
分别表示按位置加法和按位置乘法。
所述权重矩阵的空间正则化约束在权重矩阵与其自身转置进行空间嵌入得到的内生相关性矩阵的基础上，对所述分类器的权重矩阵进行基于其欧式空间的内生相关分布的L2正则化，从而与待加权特征的数值分布和按位置数值大小无关地，反映出权重空间对于待分类特征所表达的特定类表达模式的语义依赖程度，从而使得权重空间反应出模型所提取的特征的内在本质知识的传递效果，加快权重矩阵的收敛，从而提升分类器以至于模型整体的训练速度。
综上，基于本申请实施例的基于机器视觉的电力设备检测***100被阐明，其首先将待检测电力设备的热红外图像进行图像分块处理得到的热红外图像块的序列中的各个热红外图像块分别通过第一卷积神经网络模型以得到多个热红外图像块特征向量，接着，构建所述热红外图像块的序列的空间拓扑矩阵并将其通过第二卷积神经网络模型以得到空间拓扑特征矩阵，然后，将所述多个热红外图像块特征向量排列为热红外图像块全局特征矩阵后和所述空间拓扑特征矩阵通过图神经网络模型以得到拓扑热红外图像块全局特征矩阵，最后，将所述拓扑热红外图像块全局特征矩阵通过分类器以得到用于表示待检测电力设备的工作状态是否正常的分类结果。这样，可以提升电力设备状态检测的效率。
如上所述，根据本申请实施例的所述基于本申请实施例的基于机器视觉的电力设备检测***100可以实现在各种终端设备中，例如具有基于本申请实施例的基于机器视觉的电力设备检测算法的服务器等。在一个示例中，基于本申请实施例的基于机器视觉的电力设备检测***100可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该基于本申请实施例的基于机器视觉的电力设备检测***100可以是该终端设备的操作***中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该基于本申请实施例的基于机器视觉的电力设备检测***100同样可以是该终端设备的众多硬件模块之一。
替换地，在另一示例中，该基于本申请实施例的基于机器视觉的电力设备检测***100与该终端设备也可以是分立的设备，并且该基于本申请实施例的基于机器视觉的电力设备检测***100可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。
图5为根据本申请实施例的基于机器视觉的电力设备检测方法的流程图。如图5所示，根据本申请实施例的基于机器视觉的电力设备检测方法，其包括：S110，获取待检测电力设备的热红外图像；S120，对所述待检测电力设备的热红外图像进行图像分块处理以得到热红外图像块的序列；S130，将所述热红外图像块的序列中的各个热红外图像块分别通过作为过滤器的第一卷积神经网络模型以得到多个热红外图像块特征向量；
S140，构建所述热红外图像块的序列的空间拓扑矩阵，其中，所述空间拓扑矩阵中各个位置的值用于表示相应两个热红外图像块之间的欧式距离；S150，将所述空间拓扑矩阵通过作为特征提取器的第二卷积神经网络模型以得到空间拓扑特征矩阵；S160，将所述多个热红外图像块特征向量排列为热红外图像块全局特征矩阵；S170，将所述热红外图像块全局特征矩阵和所述空间拓扑特征矩阵通过图神经网络模型以得到拓扑热红外图像块全局特征矩阵；以及，S180，将所述拓扑热红外图像块全局特征矩阵通过分类器以得到分类结果，所述分类结果用于表示待检测电力设备的工作状态是否正常。
图6为根据本申请实施例的基于机器视觉的电力设备检测方法的***架构的示意图。如图6所示，在所述基于机器视觉的电力设备检测方法的***架构中，首先，获取待检测电力设备的热红外图像；接着，对所述待检测电力设备的热红外图像进行图像分块处理以得到热红外图像块的序列；然后，将所述热红外图像块的序列中的各个热红外图像块分别通过作为过滤器的第一卷积神经网络模型以得到多个热红外图像块特征向量；接着，构建所述热红外图像块的序列的空间拓扑矩阵，其中，所述空间拓扑矩阵中各个位置的值用于表示相应两个热红外图像块之间的欧式距离；然后，将所述空间拓扑矩阵通过作为特征提取器的第二卷积神经网络模型以得到空间拓扑特征矩阵；接着，将所述多个热红外图像块特征向量排列为热红外图像块全局特征矩阵；然后，将所述热红外图像块全局特征矩阵和所述空间拓扑特征矩阵通过图神经网络模型以得到拓扑热红外图像块全局特征矩阵；最后，将所述拓扑热红外图像块全局特征矩阵通过分类器以得到分类结果，所述分类结果用于表示待检测电力设备的工作状态是否正常。
在一个具体示例中，在上述基于机器视觉的电力设备检测方法中，将所述热红外图像块的序列中的各个热红外图像块分别通过作为过滤器的第一卷积神经网络模型以得到多个热红外图像块特征向量，包括：使用所述作为过滤器的第一卷积神经网络模型的各层在层的正向传递中分别对输入数据进行卷积处理、基于特征矩阵的均值池化处理和非线性激活处理以由所述作为过滤器的第一卷积神经网络模型的最后一层输出所述多个热红外图像块特征向量，其中，所述作为过滤器的第一卷积神经网络模型的第一层的输入为所述热红外图像块的序列中的各个热红外图像块。
在一个具体示例中，在上述基于机器视觉的电力设备检测方法中，构建所述热红外图像块的序列的空间拓扑矩阵，其中，所述空间拓扑矩阵中各个位置的值用于表示相应两个热红外图像块之间的欧式距离，包括：计算所述热红外图像块的序列中每两个热红外图像块之间的欧式距离以得到多个欧式距离；以及，将所述多个欧式距离构造为所述空间拓扑矩阵。
在一个具体示例中，在上述基于机器视觉的电力设备检测方法中，将所述空间拓扑矩阵通过作为特征提取器的第二卷积神经网络模型以得到空间拓扑特征矩阵，包括：使用所述作为特征提取器的第二卷积神经网络模型的各层在层的正向传递中对输入数据分别进行二维卷积处理、基于特征矩阵的均值池化处理和非线性激活处理以由所述作为特征提取器的第二卷积神经网络模型的最后一层输出所述空间拓扑特征矩阵，其中，所述作为特征提取器的第二卷积神经网络模型的第一层的输入为所述空间拓扑矩阵。
在一个具体示例中，在上述基于机器视觉的电力设备检测方法中，将所述热红外图像块全局特征矩阵和所述空间拓扑特征矩阵通过图神经网络模型以得到拓扑热红外图像块全局特征矩阵，进一步包括使用所述图神经网络模型以可学习的神经网络参数对所述热红外图像块全局特征矩阵和所述空间拓扑特征矩阵进行编码以得到所述拓扑热红外图像块全局特征矩阵。
在一个具体示例中，在上述基于机器视觉的电力设备检测方法中，还包括用于对所述作为过滤器的第一卷积神经网络模型、所述作为特征提取器的第二卷积神经网络模型、所述图神经网络模型和所述分类器进行训练的训练步骤。
在一个具体示例中，在上述基于机器视觉的电力设备检测方法中，所述训练步骤，包括：获取所述待检测电力设备的训练热红外图像和所述训练热红外图像的真实标签值，所述真实标签值用于表示所述待检测电力设备的工作状态是否正常；对所述训练热红外图像进行图像分块处理以得到训练热红外图像块的序列；将所述训练热红外图像块的序列中的各个训练热红外图像块分别通过所述作为过滤器的第一卷积神经网络模型以得到多个训练热红外图像块特征向量；构建所述训练热红外图像块的序列的空间拓扑矩阵；将所述训练空间拓扑矩阵通过所述作为特征提取器的第二卷积神经网络模型以得到训练空间拓扑特征矩阵；将所述多个训练热红外图像块特征向量排列为训练热红外图像块全局特征矩阵；将所述训练热红外图像块全局特征矩阵和所述训练空间拓扑特征矩阵通过所述图神经网络模型以得到训练拓扑热红外图像块全局特征矩阵；将所述训练拓扑热红外图像块全局特征矩阵通过所述分类器以得到分类损失函数值；以及，以所述分类损失函数值作为损失函数值对所述作为过滤器的第一卷积神经网络模型、所述作为特征提取器的第二卷积神经网络模型、所述图神经网络模型和所述分类器进行训练。
在一个具体示例中，在上述基于机器视觉的电力设备检测方法中，将所述训练拓扑热红外图像块全局特征矩阵通过所述分类器以得到分类损失函数值，包括：使用所述分类器以如下分类损失公式对所述训练拓扑热红外图像块全局特征矩阵进行处理以得到所述分类损失函数值；其中，所述分类损失公式为：
softmax{(Mc,Bc)|Project(F)}
其中，Project(F)表示将所述训练优化振动时频特征矩阵投影为向量，Mc为全连接层的权重矩阵，Bc表示全连接层的偏置矩阵。
在一个具体示例中，在上述基于机器视觉的电力设备检测方法中，在以所述分类损失函数值作为损失函数值对所述作为过滤器的第一卷积神经网络模型、所述作为特征提取器的第二卷积神经网络模型、所述图神经网络模型和所述分类器进行训练的过程中，在每次所述分类器的权重矩阵的迭代时以如下迭代公式对所述分类器的权重矩阵进行权重矩阵的空间正则化约束；其中，所述迭代公式为：
Figure BDA0004153642950000141
其中，M是所述分类器的权重矩阵，M′表示迭代训练后的所述分类器的权重矩阵，(·)T表示矩阵的转置矩阵，||·||F表示矩阵的Frobenius范数，Mb是偏置矩阵，exp(·)表示矩阵的指数运算，所述矩阵的指数运算表示计算以矩阵中各个位置的特征值为幂的自然指数函数值，
Figure BDA0004153642950000142
和/>
Figure BDA0004153642950000143
分别表示按位置加法和按位置乘法。
这里，本领域技术人员可以理解，上述基于机器视觉的电力设备检测方法中的各个步骤的具体操作已经在上面参考图1到图4的基于机器视觉的电力设备检测***的描述中得到了详细介绍，并因此，将省略其重复描述。
根据本申请的另一方面，还提供了一种非易失性的计算机可读存储介质，其上存储有计算机可读的指令，当利用计算机执行所述指令时可以执行如前所述的方法。
技术中的程序部分可以被认为是以可执行的代码和/或相关数据的形式而存在的“产品”或“制品”，通过计算机可读的介质所参与或实现的。有形的、永久的储存介质可以包括任何计算机、处理器、或类似设备或相关的模块所用到的内存或存储器。例如，各种半导体存储器、磁带驱动器、磁盘驱动器或者类似任何能够为软件提供存储功能的设备。
所有软件或其中的一部分有时可能会通过网络进行通信，如互联网或其他通信网络。此类通信可以将软件从一个计算机设备或处理器加载到另一个。例如：从视频目标检测设备的一个服务器或主机计算机加载至一个计算机环境的硬件平台，或其他实现***的计算机环境，或与提供目标检测所需要的信息相关的类似功能的***。因此，另一种能够传递软件元素的介质也可以被用作局部设备之间的物理连接，例如光波、电波、电磁波等，通过电缆、光缆或者空气等实现传播。用来载波的物理介质如电缆、无线连接或光缆等类似设备，也可以被认为是承载软件的介质。在这里的用法除非限制了有形的“储存”介质，其他表示计算机或机器“可读介质”的术语都表示在处理器执行任何指令的过程中参与的介质。
本申请使用了特定词语来描述本申请的实施例。如“第一/第二实施例”、“一实施例”、和/或“一些实施例”意指与本申请至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一替代性实施例”并不一定是指同一实施例。此外，本申请的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。
此外，本领域技术人员可以理解，本申请的各方面可以通过若干具有可专利性的种类或情况进行说明和描述，包括任何新的和有用的工序、机器、产品或物质的组合，或对他们的任何新的和有用的改进。相应地，本申请的各个方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“***”。此外，本申请的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品，该产品包括计算机可读程序编码。
除非另有定义，这里使用的所有术语(包括技术和科学术语)具有与本发明所属领域的普通技术人员共同理解的相同含义。还应当理解，诸如在通常字典里定义的那些术语应当被解释为具有与它们在相关技术的上下文中的含义相一致的含义，而不应用理想化或极度形式化的意义来解释，除非这里明确地这样定义。
上面是对本发明的说明，而不应被认为是对其的限制。尽管描述了本发明的若干示例性实施例，但本领域技术人员将容易地理解，在不背离本发明的新颖教学和优点的前提下可以对示例性实施例进行许多修改。因此，所有这些修改都意图包含在权利要求书所限定的本发明范围内。应当理解，上面是对本发明的说明，而不应被认为是限于所公开的特定实施例，并且对所公开的实施例以及其他实施例的修改意图包含在所附权利要求书的范围内。本发明由权利要求书及其等效物限定。

Claims (10)

1.一种基于机器视觉的电力设备检测***，其特征在于，包括：
热红外监控模块，用于获取待检测电力设备的热红外图像；
图像分割模块，用于对所述待检测电力设备的热红外图像进行图像分块处理以得到热红外图像块的序列；
图像块特征提取模块，用于将所述热红外图像块的序列中的各个热红外图像块分别通过作为过滤器的第一卷积神经网络模型以得到多个热红外图像块特征向量；
图像块拓扑构造模块，用于构建所述热红外图像块的序列的空间拓扑矩阵，其中，所述空间拓扑矩阵中各个位置的值用于表示相应两个热红外图像块之间的欧式距离；
空间拓扑特征提取模块，用于将所述空间拓扑矩阵通过作为特征提取器的第二卷积神经网络模型以得到空间拓扑特征矩阵；
图像块特征全局化模块，用于将所述多个热红外图像块特征向量排列为热红外图像块全局特征矩阵；
图数据编码模块，用于将所述热红外图像块全局特征矩阵和所述空间拓扑特征矩阵通过图神经网络模型以得到拓扑热红外图像块全局特征矩阵；以及
检测结果生成模块，用于将所述拓扑热红外图像块全局特征矩阵通过分类器以得到分类结果，所述分类结果用于表示待检测电力设备的工作状态是否正常。
2.根据权利要求1所述的基于机器视觉的电力设备检测***，其特征在于，所述图像块特征提取模块，用于：
使用所述作为过滤器的第一卷积神经网络模型的各层在层的正向传递中分别对输入数据进行卷积处理、基于特征矩阵的均值池化处理和非线性激活处理以由所述作为过滤器的第一卷积神经网络模型的最后一层输出所述多个热红外图像块特征向量，其中，所述作为过滤器的第一卷积神经网络模型的第一层的输入为所述热红外图像块的序列中的各个热红外图像块。
3.根据权利要求2所述的基于机器视觉的电力设备检测***，其特征在于，所述图像块拓扑构造模块，包括：
空间度量单元，用于计算所述热红外图像块的序列中每两个热红外图像块之间的欧式距离以得到多个欧式距离；以及
矩阵构造单元，用于将所述多个欧式距离构造为所述空间拓扑矩阵。
4.根据权利要求3所述的基于机器视觉的电力设备检测***，其特征在于，所述空间拓扑特征提取模块，用于：
使用所述作为特征提取器的第二卷积神经网络模型的各层在层的正向传递中对输入数据分别进行二维卷积处理、基于特征矩阵的均值池化处理和非线性激活处理以由所述作为特征提取器的第二卷积神经网络模型的最后一层输出所述空间拓扑特征矩阵，其中，所述作为特征提取器的第二卷积神经网络模型的第一层的输入为所述空间拓扑矩阵。
5.根据权利要求4所述的基于机器视觉的电力设备检测***，其特征在于，所述图数据编码模块，进一步用于使用所述图神经网络模型以可学习的神经网络参数对所述热红外图像块全局特征矩阵和所述空间拓扑特征矩阵进行编码以得到所述拓扑热红外图像块全局特征矩阵。
6.根据权利要求5所述的基于机器视觉的电力设备检测***，其特征在于，还包括用于对所述作为过滤器的第一卷积神经网络模型、所述作为特征提取器的第二卷积神经网络模型、所述图神经网络模型和所述分类器进行训练的训练模块。
7.根据权利要求6所述的基于机器视觉的电力设备检测***，其特征在于，所述训练模块，包括：
训练数据获取单元，用于获取所述待检测电力设备的训练热红外图像和所述训练热红外图像的真实标签值，所述真实标签值用于表示所述待检测电力设备的工作状态是否正常；
训练图像分割单元，用于对所述训练热红外图像进行图像分块处理以得到训练热红外图像块的序列；
训练图像块特征提取单元，用于将所述训练热红外图像块的序列中的各个训练热红外图像块分别通过所述作为过滤器的第一卷积神经网络模型以得到多个训练热红外图像块特征向量；
训练图像块拓扑构造单元，用于构建所述训练热红外图像块的序列的空间拓扑矩阵；
训练空间拓扑特征提取单元，用于将所述训练空间拓扑矩阵通过所述作为特征提取器的第二卷积神经网络模型以得到训练空间拓扑特征矩阵；
训练图像块特征全局化单元，用于将所述多个训练热红外图像块特征向量排列为训练热红外图像块全局特征矩阵；
训练图数据编码单元，用于将所述训练热红外图像块全局特征矩阵和所述训练空间拓扑特征矩阵通过所述图神经网络模型以得到训练拓扑热红外图像块全局特征矩阵；
分类损失单元，用于将所述训练拓扑热红外图像块全局特征矩阵通过所述分类器以得到分类损失函数值；以及
训练单元，用于以所述分类损失函数值作为损失函数值对所述作为过滤器的第一卷积神经网络模型、所述作为特征提取器的第二卷积神经网络模型、所述图神经网络模型和所述分类器进行训练。
8.根据权利要求7所述的基于机器视觉的电力设备检测***，其特征在于，所述分类损失单元，用于：
使用所述分类器以如下分类损失公式对所述训练拓扑热红外图像块全局特征矩阵进行处理以得到所述分类损失函数值；
其中，所述分类损失公式为：
softmax{(Mc,Bc)|Project(F)}
其中，:roject(F)表示将所述训练优化振动时频特征矩阵投影为向量，Mc为全连接层的权重矩阵，Bc表示全连接层的偏置矩阵。
9.根据权利要求8所述的基于机器视觉的电力设备检测***，其特征在于，在以所述分类损失函数值作为损失函数值对所述作为过滤器的第一卷积神经网络模型、所述作为特征提取器的第二卷积神经网络模型、所述图神经网络模型和所述分类器进行训练的过程中，在每次所述分类器的权重矩阵的迭代时以如下迭代公式对所述分类器的权重矩阵进行权重矩阵的空间正则化约束；
其中，所述迭代公式为：
Figure FDA0004153642930000031
其中，M是所述分类器的权重矩阵，M′表示迭代训练后的所述分类器的权重矩阵，(·)T表示矩阵的转置矩阵，||·||F表示矩阵的Frobenius范数，Mb是偏置矩阵，exp(·)表示矩阵的指数运算，所述矩阵的指数运算表示计算以矩阵中各个位置的特征值为幂的自然指数函数值，
Figure FDA0004153642930000032
和/>
Figure FDA0004153642930000033
分别表示按位置加法和按位置乘法。
10.一种基于机器视觉的电力设备检测方法，其特征在于，包括：
获取待检测电力设备的热红外图像；
对所述待检测电力设备的热红外图像进行图像分块处理以得到热红外图像块的序列；
将所述热红外图像块的序列中的各个热红外图像块分别通过作为过滤器的第一卷积神经网络模型以得到多个热红外图像块特征向量；
构建所述热红外图像块的序列的空间拓扑矩阵，其中，所述空间拓扑矩阵中各个位置的值用于表示相应两个热红外图像块之间的欧式距离；
将所述空间拓扑矩阵通过作为特征提取器的第二卷积神经网络模型以得到空间拓扑特征矩阵；
将所述多个热红外图像块特征向量排列为热红外图像块全局特征矩阵；
将所述热红外图像块全局特征矩阵和所述空间拓扑特征矩阵通过图神经网络模型以得到拓扑热红外图像块全局特征矩阵；以及
将所述拓扑热红外图像块全局特征矩阵通过分类器以得到分类结果，所述分类结果用于表示待检测电力设备的工作状态是否正常。
CN202310327206.4A 2023-03-30 2023-03-30 基于机器视觉的电力设备检测方法及*** Active CN116402777B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310327206.4A CN116402777B (zh) 2023-03-30 2023-03-30 基于机器视觉的电力设备检测方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310327206.4A CN116402777B (zh) 2023-03-30 2023-03-30 基于机器视觉的电力设备检测方法及***

Publications (2)

Publication Number Publication Date
CN116402777A true CN116402777A (zh) 2023-07-07
CN116402777B CN116402777B (zh) 2023-10-24

Family

ID=87006860

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310327206.4A Active CN116402777B (zh) 2023-03-30 2023-03-30 基于机器视觉的电力设备检测方法及***

Country Status (1)

Country Link
CN (1) CN116402777B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116580029A (zh) * 2023-07-12 2023-08-11 浙江海威汽车零件有限公司 铝合金铸造成品的质检管控***及其方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210012181A1 (en) * 2019-01-03 2021-01-14 Boe Technology Group Co., Ltd. Computer-implemented method of training convolutional neural network, convolutional neural network, computer-implemented method using convolutional neural network, apparatus for training convolutional neural network, and computer-program product
CN114882021A (zh) * 2022-07-07 2022-08-09 江苏中清先进电池制造有限公司 电池锂膜的高效加工方法及其***
CN115081536A (zh) * 2022-07-08 2022-09-20 徐州锐尔五金工具制造有限公司 五金产品工件硬度调质的热处理装置及其热处理方法
CN115586757A (zh) * 2022-11-09 2023-01-10 广东金柳信息科技有限公司 机械设备的智能控制***及其方法
CN115861807A (zh) * 2022-12-02 2023-03-28 中建新疆建工集团第三建设工程有限公司 建筑机械领域的墙面粉刷设备及其控制方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210012181A1 (en) * 2019-01-03 2021-01-14 Boe Technology Group Co., Ltd. Computer-implemented method of training convolutional neural network, convolutional neural network, computer-implemented method using convolutional neural network, apparatus for training convolutional neural network, and computer-program product
CN114882021A (zh) * 2022-07-07 2022-08-09 江苏中清先进电池制造有限公司 电池锂膜的高效加工方法及其***
CN115081536A (zh) * 2022-07-08 2022-09-20 徐州锐尔五金工具制造有限公司 五金产品工件硬度调质的热处理装置及其热处理方法
CN115586757A (zh) * 2022-11-09 2023-01-10 广东金柳信息科技有限公司 机械设备的智能控制***及其方法
CN115861807A (zh) * 2022-12-02 2023-03-28 中建新疆建工集团第三建设工程有限公司 建筑机械领域的墙面粉刷设备及其控制方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116580029A (zh) * 2023-07-12 2023-08-11 浙江海威汽车零件有限公司 铝合金铸造成品的质检管控***及其方法
CN116580029B (zh) * 2023-07-12 2023-10-13 浙江海威汽车零件有限公司 铝合金铸造成品的质检管控***及其方法

Also Published As

Publication number Publication date
CN116402777B (zh) 2023-10-24

Similar Documents

Publication Publication Date Title
CN116204266A (zh) 远程协助的信息创建运维***及其方法
CN116893336B (zh) 高低压开关设备及其方法
CN117578715A (zh) 一种电力运维智能监测预警方法、***及存储介质
CN116992226A (zh) 一种水泵电机故障检测方法、***
CN116451139B (zh) 一种基于人工智能的直播数据快速分析方法
CN116247824B (zh) 电力设备的控制方法及其***
CN116402777B (zh) 基于机器视觉的电力设备检测方法及***
CN116704431A (zh) 水污染的在线监测***及其方法
CN116740384B (zh) 洗地机的智能控制方法及***
Hasan et al. Wasserstein GAN-based digital twin-inspired model for early drift fault detection in wireless sensor networks
CN116929815A (zh) 基于物联网的设备工作状态监测***及其方法
CN117237733A (zh) 一种结合自监督和弱监督学习的乳腺癌全切片图像分类方法
CN116482524A (zh) 输配电开关状态检测方法及***
CN116520806A (zh) 一种工业***智能故障诊断***及其方法
CN117676099B (zh) 基于物联网的安全预警方法及***
CN114357372A (zh) 一种基于多传感器数据驱动的飞机故障诊断模型生成方法
CN114048546A (zh) 一种基于图卷积网络和无监督域自适应的航空发动机剩余使用寿命预测方法
CN117495421A (zh) 基于电力通信网建设的电网通信工程造价预测方法
CN117056902A (zh) 物联网密码管理方法及***
CN117134958A (zh) 用于网络技术服务的信息处理方法及***
CN116863406A (zh) 一种基于人工智能的智能报警安防***及其方法
CN114998330B (zh) 无监督的晶圆缺陷检测方法、装置、设备及存储介质
CN116624903A (zh) 一种用于油烟管道的智能监测方法及***
CN116188445A (zh) 一种产品表面缺陷的检测定位方法、装置及终端设备
CN115375038A (zh) 一种飞机发动机失效模式识别和寿命预测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant