CN112102296A - 一种基于人类概念学的电力设备目标识别方法 - Google Patents

一种基于人类概念学的电力设备目标识别方法 Download PDF

Info

Publication number
CN112102296A
CN112102296A CN202010978271.XA CN202010978271A CN112102296A CN 112102296 A CN112102296 A CN 112102296A CN 202010978271 A CN202010978271 A CN 202010978271A CN 112102296 A CN112102296 A CN 112102296A
Authority
CN
China
Prior art keywords
probability
equipment
power equipment
human
concept
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202010978271.XA
Other languages
English (en)
Inventor
刘亚东
严英杰
熊思衡
裴凌
李喆
徐鹏
苏磊
傅晓飞
江秀臣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN202010978271.XA priority Critical patent/CN112102296A/zh
Publication of CN112102296A publication Critical patent/CN112102296A/zh
Priority to US17/210,530 priority patent/US11810348B2/en
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G06F18/2113—Selection of the most significant subset of features by ranking or filtering the set of features, e.g. using a measure of variance or of feature cross-correlation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G06F18/24155—Bayesian classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/29—Graphical models, e.g. Bayesian networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/84—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using probabilistic graphical models from image or video features, e.g. Markov models or Bayesian networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Probability & Statistics with Applications (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Algebra (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于人类概念学的电力设备目标识别方法，包括，建立电力设备图像数据集，并对所述电力设备图像中的电力设备进行标注；通过利用标注后的数据集训练神经网络和贝叶斯网络，分别获得识别结果和条件概率；利用所述条件概率计算联合概率；筛选最高联合概率所对应的识别结果作为所述电力设备的识别结果，完成所述电力设备的识别。本发明通过结合Mask R‑CNN和概率图模型，底层使用Mask R‑CNN，顶层使用贝叶斯网络对电力设备图像进行识别训练，使得通过少量的数据样本也能达到很好的识别效果，且成功地提升了Mask R‑CNN模型的性能。

Description

一种基于人类概念学的电力设备目标识别方法
技术领域
本发明涉及图像识别的技术领域，尤其涉及一种基于人类概念学的电力设备目标识别方法。
背景技术
检查高压设备是确保设备可靠供电的有效手段，随着中国国有企业固定岗位政策的实施和电网的发展，设备检查的问题日益突出，如果能够采用先进的检测诊断技术，实现变电站关键设备的无人值守检查和对隐患，异常情况的自动判断，则可以极大地解放一线人员的检查负担，大大提高了当前变电站运维水平。
在电力设备目标识别领域，国内外学者进行了一定的研究并取得了一定的成就。在国外，一些学者使用红外和可见光图像来实现电线检测目标。首先，从红外和可见光传感器获取视频流图像，然后使用图像处理确定电线是否有故障，并通过复合图像流实时显示；除了输电线路，一些学者还尝试了绝缘算子的方向。他们提出了一种基于视频的在线检测方法。该方法使用诸如模板，直方图和边缘之类的信息来考虑亮度不同时的情况，并用于倾斜绝缘体和降雪检测。
六年前的中国，有人指出，图像识别技术的发展为智能电网的实现提供了技术保障，它可以解决电力设备在线监控面临的巨大计算问题，对提高电力设备的在线监测意义重大。一般的方法是在对摄像机采集的变电站的图像进行预处理之后，提取出电力设备目标形状的不变矩，并将其用作特征向量，使用支持向量机识别电力设备的类型，然后使用设备操作图片和数据库比较图片以确定是否存在故障。使用支持向量机进行训练时，该方法一次只能训练两个类别，但是电力设备种类很多，因此需要多次使用支持向量机，由于总运行时间是所有SVM训练时间的总和，因此效率很低。
还有其他方法可以定位和识别电力设备标志，以读出电力设备的类型和参数。这种方法有一定的局限性，一方面，图片的分辨率可能无法满足要求，另一方面，这项工作并没有必要使用图像识别方法。例如，为了减少图像识别算法的运行时间，使用了模板匹配算法，电力设备的特定部分用作模板来遍历和匹配整个图片。例如，要识别变压器，只需在图片中找到绝缘算子，计算效率大大提高，但是此方法的先决条件是拍摄相机的角度是已知且固定的，这等效于拍摄对象的已知形状和大小。
发明内容
本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。
鉴于上述现有存在的问题，提出了本发明。
因此，本发明提供了一种基于人类概念学的电力设备目标识别方法，解决了现有方法需要提前知道电力设备图片或视频的拍摄角度，否则无法达到预期效果的问题。
为解决上述技术问题，本发明提供如下技术方案：包括，建立电力设备图像数据集并进行标注；利用标注后的数据集训练神经网络和贝叶斯网络，分别获得识别结果和条件概率；结合所述条件概率计算联合概率；筛选最高联合概率所对应的识别结果作为所述数据集中电力设备的识别结果，完成所述电力设备的识别。
作为本发明所述的一种基于人类概念学的电力设备目标识别方法的一种优选方案，其中：所述数据集包括，利用VIA VGG图像注释器标记工具建立包含750张所述电力设备图像的数据集，其中所述电力设备图像由变电站检查机器人拍摄。
作为本发明所述的一种基于人类概念学的电力设备目标识别方法的一种优选方案，其中：所述标注包括，使用标签工具对每个电力设备图像中包含的电力设备进行所述标注，并利用标签信息与有向边信构造相应的有向无环图。
作为本发明所述的一种基于人类概念学的电力设备目标识别方法的一种优选方案，其中：所述标签信息包括，电力设备的轮廓，类型和图像质量信息。
作为本发明所述的一种基于人类概念学的电力设备目标识别方法的一种优选方案，其中：所述训练贝叶斯网络包括，利用标签信息计算相应的贝叶斯网络的节点和边缘信息，从而获取相应的条件概率表。
作为本发明所述的一种基于人类概念学的电力设备目标识别方法的一种优选方案，其中：所述节点包括，设备类型，设备相对面积，设备质心的横坐标，设备质心的纵坐标，设备轮廓上每个标记点的横坐标，设备轮廓上每个标记点的坐标，设备序列号，子节点设备，以及设备中包含的所有像素。
作为本发明所述的一种基于人类概念学的电力设备目标识别方法的一种优选方案，其中：所述边缘信息包括，边缘的方向：基于定义的优先级信息，优先级较高的节点指向优先级较低的节点。边缘的权重：比较每个节点所在多边形中心的相对位置与位置矩阵。
作为本发明所述的一种基于人类概念学的电力设备目标识别方法的一种优选方案，其中：所述识别结果包括，矩形框参数，类别参数，得分参数和遮罩参数。
作为本发明所述的一种基于人类概念学的电力设备目标识别方法的一种优选方案，其中：所述条件概率包括，相同类型的两个设备同时存在的概率表达式如下：
Ps＝P(p2|p1,p4)P(p3|p2,p4)
其中，P1为1号设备存在的概率，P2为2号设备存在的概率，P3为3号设备存在的概率，P4为4号设备存在的概率；每个设备的相对面积与设备本身的类型相关联的概率表达式如下：
Pa＝P(s1|p1)P(s2|p2)
其中，S1为1号设备的相对面积，S2为2号设备的相对面积；设备与设备之间的空间关系与两个设备的类型相关联的概率表达式如下：
Pr＝P(R1,2|p1,p2)P(R2,3|p2,p3)P(R3,4|p3,p4)P(R4,5|p4,p5)P(R5,6|p5,p6)P(R6,7|p6,p7)P(R7,8|p7,p8)P(R8,9|p8,p9)P(R9,10|p9,p10)]
其中，R1,2为1号设备与2号设备的空间关系，R2,3为2号设备与3号设备的空间关系，R3,4为3号设备与4号设备的空间关系，R4,5为4号设备与5号设备的空间关系，R5,6为号设5备与6号设备的空间关系，R6,7为6号设备与7号设备的空间关系，R7,8为7号设备与8号设备的空间关系，R8,9为号设8备与9号设备的空间关系，R9,10为9号设备与10号设备的空间关系；P5为5号设备存在的概率，P6为6号设备存在的概率，P7为7号设备存在的概率，P8为8号设备存在的概率，P9为9号设备存在的概率，P10为10号设备存在的概率。
作为本发明所述的一种基于人类概念学的电力设备目标识别方法的一种优选方案，其中：所述联合概率包括，所述联合概率分布表达式如下：
P＝PsPaPr
本发明的有益效果：本发明通过结合Mask R-CNN和概率图模型，底层使用Mask R-CNN，顶层使用贝叶斯网络对电力设备图像进行识别训练，使得通过少量的数据样本也能达到很好的识别效果，且成功地将Mask R-CNN输出的mAP值提高了12％，提升了Mask R-CNN模型的性能。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：
图1为本发明第一个实施例所述的一种基于人类概念学的电力设备目标识别方法的流程示意图；
图2为本发明第一个实施例所述的一种基于人类概念学的电力设备目标识别方法的算法流程示意图；
图3为本发明第一个实施例所述的一种基于人类概念学的电力设备目标识别方法的校正神经网络识别结果的流程示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明，显然所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明的保护的范围。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。
本发明结合示意图进行详细描述，在详述本发明实施例时，为便于说明，表示器件结构的剖面图会不依一般比例作局部放大，而且所述示意图只是示例，其在此不应限制本发明保护的范围。此外，在实际制作中应包含长度、宽度及深度的三维空间尺寸。
同时在本发明的描述中，需要说明的是，术语中的“上、下、内和外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一、第二或第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
本发明中除非另有明确的规定和限定，术语“安装、相连、连接”应做广义理解，例如：可以是固定连接、可拆卸连接或一体式连接；同样可以是机械连接、电连接或直接连接，也可以通过中间媒介间接相连，也可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
实施例1
掌握输变电设备的运行状况和运行环境，及时发现电网设备运行中的隐患，是变电设备运行维护管理中的关键问题，由于设备数量众多，运行环境复杂，状态监测技术的局限性，如何及时准确地掌握设备的运行状态仍然迫切需要解决。
当前常用的检测方法的存在的问题是：现有的在线监控***未被高度认可并且使用价值低，传统的检查和实时检测方法由于固定的检查测试周期而无法监视设备操作的整个过程，并且可能无法及时发现隐藏的设备危害，目前使用的变电站机器人巡视主要是采集现场图像和红外热图像数据，但机器人巡视无法提供24小时全方位的实时监控，无法在时空上实现全覆盖，而且目前主要停留在现场数据收集和阈值判断简单的阶段，缺乏自动，准确地处理和诊断检测数据的分析技术。
参照图1～图3，为本发明的第一个实施例，该实施例提供了一种基于人类概念学的电力设备目标识别方法，包括：
S1：建立电力设备图像数据集，并对电力设备图像中的电力设备进行标注。
利用VIA VGG图像注释器标记工具建立包含750张所述电力设备图像的数据集，其中电力设备图像由变电站检查机器人拍摄。
使用标签工具对每个电力设备图像中包含的电力设备进行所述标注，并利用标签信息与有向边信构造相应的有向无环图，每张图片的标签如图3所示；标签信息包括电力设备的轮廓，类型和图像质量信息。
图片被注释后，将生成一个json格式的文件，该文件包含所有的注释信息，其中注释信息中的设备的轮廓信息由多边形表示。
需要说明的是，由于使用贴标签工具VIA，所以在贴标签过程中会出现越界的贴标签点，并且由于阻塞而属于同一设备的两个部分也将被分别贴标签。因此，还需要对图像执行数据预处理。数据预处理分为以下三个部分：
(1)将超出图片四个边界的所有点拉回到边界；
(2)分离相同的设备，并将具有相同标签名称的设备合并为一个完整的设备，然后生成掩码。
(3)将数据集随机分为训练集和测试集两部分，其中训练集用于训练Mask R-CNN网络，测试集用于验证卷积神经网络的实际效果。
S2：利用标注后的数据集训练神经网络和贝叶斯网络，分别获得识别结果和条件概率其中需要说明的是：
神经网络Mask R-CNN是一个实例分割模型，它能确定图片中各个目标的位置和类别。所谓“实例分割”，指的是对场景内的每种兴趣对象进行分割，无论它们是否属于同一类别——比如模型可以从街景视频中识别车辆、人员等单个目标，具体来说，Mask R-CNN通过删除原始舍入运算，保留计算出的浮点数，并使用双线性插值来完成像素运算，实现了精确的像素级对齐。
每个Mask R-CNN在一定范围内都是灵活可变的，而这些变化是由不同的网络参数引起的。经调试之后，最终选择的网络参数如下：学习速率＝0.02，历元＝30，每个历元步数＝90，检测置信度＝0.9，每个GPU的图像＝2。
使用经过训练的神经网络识别电力设备图像，并输出多个识别结果，根据电力设备的实际情况，设置阈值对识别结果进行滤波，将阈值设置为得分阈值，仅筛选出得分参数大于得分阈值的识别结果，以便随后对贝叶斯网络进行重新筛选。其中识别结果包括矩形框参数rois，类参数class_ids，得分参数score和masks参数。识别结果中的掩码信息是规格为(924,924，instance_numbers)的三维布尔矩阵。最后一个参数表示由掩码R-CNN标识的实例数，即掩码数。因此，对于每种情况，遮罩都可以表示为masks[：，：，i]，规格为二维布尔矩阵。
贝叶斯网络又称有向无环图模型，是一种概率图模型，根据概率图的拓扑结构，考察一组随机变量{X1,X2...Xn}及其n组条件概率分布的性质。
使用经过训练的贝叶斯网络筛选神经网络的识别结果，并筛选出与要识别的电力设备图像相对应的最准确的识别结果。
具体过程：根据选择的多个识别结果，重新计算贝叶斯网络对应的节点和有向边信息，构造相应的有向无环图，并结合训练得到的条件概率表。其中每个节点均设置为设备，每个边缘均设置为设备之间的关系。
需要说明的是，贝叶斯网络的每个节点包含9个参数，分别是设备类型，设备相对面积，设备质心的横坐标，设备质心的纵坐标，设备轮廓上每个标记点的横坐标，设备轮廓上每个标记点的坐标，设备序列号，设备子节点，以及设备中包含的所有像素。其中，设备类型，设备质心的横坐标，设备质心的纵坐标，设备序列号可以直接从数据集json文件中获取。
其余参数的计算如下：
a.设备相对面积的计算步骤如下：
每个标记设备的轮廓是多边形，并且需要通过多个多边形顶点的坐标来获得多边形的面积。首先通过矢量积获得每个三角形的面积，然后获得总和以获得最终面积。向量乘积的含义：
Figure BDA0002686583280000071
使用矢量积时，需要三个点的坐标。除了每次选择多边形的两个顶点外，还需要另一个参考点。为了计算方便，考虑凹凸多边形时，选择使用原点作为参考点。
b.由于多边形顶点的坐标是已知的，因此质心的坐标等于所有顶点的坐标的平均值。相应的横坐标是设备质心的横坐标，纵坐标是设备质心的纵坐标。
c.为了获取设备的子节点，首先将节点的标记多边形转换为具有与Mask R-CNN相同的输出格式的矩阵，然后在图像上进行Mask操作。由于掩码是布尔类型的二阶矩阵，因此主要是通过使用“交集相交”指示符来确定是否包括与两个节点相对应的掩码信息，即掩码信息的公共部分的面积。对应于两个节点的对应信息被两个掩码信息所除。当组合面积大于阈值时，两个节点即设备之间存在包含关系。这里使用cv2库中的fillPoly()函数绘制多边形所在的区域(1,1,1)，从而获得RGB格式的三维像素矩阵。
贝叶斯网络的每个边缘包含两个参数，分别是边缘的方向和边缘的权重。
通过对应于两个节点的多边形是否向外延伸并且五个像素的外接矩形是否具有交点来判断两个节点之间是否存在边缘。边缘的方向基于之前定义的优先级信息，优先级较高的节点(即设备)指向优先级较低的节点。通过将每个节点所在多边形中心的相对位置与位置矩阵进行比较，即可获得边缘的权重。
贝叶斯网络的构建分为两部分：数据集的导入和概率图的构建，如下所示：
(1)数据集的导入：
将经过Mask R-CNN训练识别的电力设备图像作为贝叶斯网络的输入。
(2)概率图的构建：
整个电力设备图像的概率分布包括三个部分：第一部分设置为在某些类型的设备存在的前提下另一个设备存在的概率，条件概率表达式如下：
Ps＝P(p2|p1,p4)P(p3|p2,p4)
其中，P1为1号设备存在的概率，P2为2号设备存在的概率，P3为3号设备存在的概率，P4为4号设备存在的概率。
第二部分设置为每个设备的相对面积与设备本身的类型相关联的概率，条件概率表达式如下：
Pa＝P(s1|p1)P(s2|p2)
其中，S1为1号设备的相对面积，S2为2号设备的相对面积。
第三部分设置为空间关系概率，即设备与设备之间的空间关系与两个设备的类型有关，条件概率表达式如下：
Pr＝P(R1,2|p1,p2)P(R2,3|p2,p3)P(R3,4|p3,p4)P(R4,5|p4,p5)P(R5,6|p5,p6)P(R6,7|p6,p7)P(R7,8|p7,p8)P(R8,9|p8,p9)P(R9,10|p9,p10)]
其中，R1,2为1号设备与2号设备的空间关系，R2,3为2号设备与3号设备的空间关系，R3,4为3号设备与4号设备的空间关系，R4,5为4号设备与5号设备的空间关系，R5,6为号设5备与6号设备的空间关系，R6,7为6号设备与7号设备的空间关系，R7,8为7号设备与8号设备的空间关系，R8,9为号设8备与9号设备的空间关系，R9,10为9号设备与10号设备的空间关系；P5为5号设备存在的概率，P6为6号设备存在的概率，P7为7号设备存在的概率，P8为8号设备存在的概率，P9为9号设备存在的概率，P10为10号设备存在的概率。
S3：利用条件概率计算联合概率。
联合概率分布表达式如下：
P＝P(p2|p1,p4)P(p3|p2,p4)P(s1|p1)P(s2|p2)P(R1,2|p1,p2)P(R2,3|p2,p3)P(R3,4|p3,p4)P(R4,5|p4,p5)P(R5,6|p5,p6)P(R6,7|p6,p7)P(R7,8|p7,p8)P(R8,9|p8,p9)P(R9,10|p9,p10)]
S4：筛选最高联合概率所对应的识别结果作为电力设备的识别结果，完成电力设备的识别。
实施例2
为了对本方法中采用的技术效果加以验证说明，本实施例选择深度卷积神经网络R-CNN识别法与本方法进行对比测试，以科学论证的手段对比试验结果，以验证本方法所具有的真实效果。
通过深度卷积神经网络识别电力设备图像需要大量的数据集，同时也需要耗费大量人工标注的时间。尽管R-CNN的发展非常迅速，但是由于电力的原因，设备领域缺乏成熟的数据集和电力设备类别的独特特征，从而导致识别精度低。
为验证本方法相对传统方法具有较高的识别精度以及较短的运行时间，下面分别采用R-CNN识别算法与本方法对电力设备进行识别对比。
测试环境：
CPU：2.3GHz；；Memory：12GB；OS：win10 64位；显卡：GTX 980-TI。
在Python3.5中进行程序编译，训练参数在Tensorflow框架执行。
数据集中总共有750张图像，将其中的450张图像作为训练集，剩余的300张图像作为测试集。分别导入在训练集中使用的450张图像训练的R-CNN和Mask R-CNN的权重参数，然后在测试集中识别电力图像。
在通过贝叶斯网络进行筛选之后，选择右侧的识别结果作为与要识别的电力设备的图像相对应的最准确的识别结果。两种方法的识别结果如表1所示：
识别方法 识别率 识别速度
R-CNN识别 72％ 7.5分钟
本方法 96％ 7分钟
实验表明，本发明提出的方法仅使用750张带批注的图片作为数据集，与R-CNN识别法相比获得了良好的识别效果。且成功地将Mask R-CNN输出的mAP值(mean AveragePrecision，各类别AP的平均值)从0.699提高到0.819，提高了12％，效果显著。由于贝叶斯网络和Mask R-CNN同时训练，并且贝叶斯网络训练时间比Mask R-CNN训练时间短，因此贝叶斯网络对Mask R-CNN输出结果的验证几乎不需要时间，从而不会增加程序的总运行时间，用R-CNN进行参数训练耗时5小时，而用本发明提出的方法进行参数训练只需2小时。
应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (10)

1.一种基于人类概念学的电力设备目标识别方法，其特征在于：包括，
建立电力设备图像数据集并进行标注；
利用标注后的数据集训练神经网络和贝叶斯网络，分别获得识别结果和条件概率；
结合所述条件概率计算联合概率；
筛选最高联合概率所对应的识别结果作为所述数据集中电力设备的识别结果，完成所述电力设备的识别。
2.如权利要求1所述的基于人类概念学的电力设备目标识别方法，其特征在于：所述数据集包括，
利用VIA VGG图像注释器标记工具建立包含750张所述电力设备图像的数据集，其中所述电力设备图像由变电站检查机器人拍摄。
3.如权利要求1或2所述的基于人类概念学的电力设备目标识别方法，其特征在于：所述标注包括，
使用标签工具对每个电力设备图像中包含的电力设备进行所述标注，并利用标签信息与有向边信构造相应的有向无环图。
4.如权利要求3所述的基于人类概念学的电力设备目标识别方法，其特征在于：所述标签信息包括，
电力设备的轮廓，类型和图像质量信息。
5.如权利要求4所述的基于人类概念学的电力设备目标识别方法，其特征在于：所述训练贝叶斯网络包括，
利用标签信息计算相应的贝叶斯网络的节点和边缘信息，从而获取相应的条件概率表。
6.如权利要求5所述的基于人类概念学的电力设备目标识别方法，其特征在于：所述节点包括，
设备类型，设备相对面积，设备质心的横坐标，设备质心的纵坐标，设备轮廓上每个标记点的横坐标，设备轮廓上每个标记点的坐标，设备序列号，设备子节点，以及设备中包含的所有像素。
7.如权利要求5或6所述的基于人类概念学的电力设备目标识别方法，其特征在于：所述边缘信息包括，
边缘的方向：基于定义的优先级信息，优先级较高的节点指向优先级较低的节点。
边缘的权重：比较每个节点所在多边形中心的相对位置与位置矩阵。
8.如权利要求7所述的基于人类概念学的电力设备目标识别方法，其特征在于：所述识别结果包括，
矩形框参数，类别参数，得分参数和遮罩参数。
9.如权利要求8所述的基于人类概念学的电力设备目标识别方法，其特征在于：所述条件概率包括，
相同类型的两个设备同时存在的概率表达式如下：
Ps＝P(p2|p1,p4)P(p3|p2,p4)
其中，P1为1号设备存在的概率，P2为2号设备存在的概率，P3为3号设备存在的概率，P4为4号设备存在的概率；
每个设备的相对面积与设备本身的类型相关联的概率表达式如下：
Pa＝P(s1|p1)P(s2|p2)
其中，S1为1号设备的相对面积，S2为2号设备的相对面积；
设备与设备之间的空间关系与两个设备的类型相关联的概率表达式如下：
Pr＝P(R1,2|p1,p2)P(R2,3|p2,p3)P(R3,4|p3,p4)P(R4,5|p4,p5)P(R5,6|p5,p6)P(R6,7|p6,p7)P(R7,8|p7,p8)P(R8,9|p8,p9)P(R9,10|p9,p10)]
其中，R1,2为1号设备与2号设备的空间关系，R2,3为2号设备与3号设备的空间关系，R3,4为3号设备与4号设备的空间关系，R4,5为4号设备与5号设备的空间关系，R5,6为号设5备与6号设备的空间关系，R6,7为6号设备与7号设备的空间关系，R7,8为7号设备与8号设备的空间关系，R8,9为号设8备与9号设备的空间关系，R9,10为9号设备与10号设备的空间关系；P5为5号设备存在的概率，P6为6号设备存在的概率，P7为7号设备存在的概率，P8为8号设备存在的概率，P9为9号设备存在的概率，P10为10号设备存在的概率。
10.如权利要求9所述的基于人类概念学的电力设备目标识别方法，其特征在于：所述联合概率包括，
所述联合概率分布表达式如下：
P＝PsPaPr
CN202010978271.XA 2020-09-17 2020-09-17 一种基于人类概念学的电力设备目标识别方法 Withdrawn CN112102296A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010978271.XA CN112102296A (zh) 2020-09-17 2020-09-17 一种基于人类概念学的电力设备目标识别方法
US17/210,530 US11810348B2 (en) 2020-09-17 2021-03-24 Method for identifying power equipment targets based on human-level concept learning

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010978271.XA CN112102296A (zh) 2020-09-17 2020-09-17 一种基于人类概念学的电力设备目标识别方法

Publications (1)

Publication Number Publication Date
CN112102296A true CN112102296A (zh) 2020-12-18

Family

ID=73758850

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010978271.XA Withdrawn CN112102296A (zh) 2020-09-17 2020-09-17 一种基于人类概念学的电力设备目标识别方法

Country Status (2)

Country Link
US (1) US11810348B2 (zh)
CN (1) CN112102296A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113220828A (zh) * 2021-04-28 2021-08-06 平安科技（深圳）有限公司 意图识别模型处理方法、装置、计算机设备及存储介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11403700B2 (en) * 2019-04-23 2022-08-02 Target Brands, Inc. Link prediction using Hebbian graph embeddings
CN115984756B (zh) * 2023-03-17 2023-07-18 佛山市华易科技有限公司 一种基于数据分析的农业电网线路巡查管理方法
CN116310390B (zh) * 2023-05-17 2023-08-18 上海仙工智能科技有限公司 一种空心目标的视觉检测方法及***、库位管理***

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111209864A (zh) * 2020-01-07 2020-05-29 上海交通大学 一种电力设备目标识别方法
CN111402224A (zh) * 2020-03-12 2020-07-10 广东电网有限责任公司广州供电局 一种用于电力设备的目标识别方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9551504B2 (en) * 2013-03-15 2017-01-24 Emerson Electric Co. HVAC system remote monitoring and diagnosis
CN110334740A (zh) * 2019-06-05 2019-10-15 武汉大学 人工智能推理融合的电力设备故障检测定位方法
CN110514924B (zh) * 2019-08-12 2021-04-27 武汉大学 深度卷积神经网络融合视觉辨识的电力变压器绕组故障定位方法
WO2021155012A1 (en) * 2020-01-28 2021-08-05 Ubicquia Llc Electric power industry structure monitor

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111209864A (zh) * 2020-01-07 2020-05-29 上海交通大学 一种电力设备目标识别方法
CN111402224A (zh) * 2020-03-12 2020-07-10 广东电网有限责任公司广州供电局 一种用于电力设备的目标识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LAKE等: "Human-level concept learning through probabilistic program induction", 《SCIENCE》, pages 1332 - 1338 *
S. XIONG 等: "Incipient Fault Identification in Power Distribution Systems via Human-Level Concept Learning", 《IEEE TRANSACTIONS ON SMART GRID》, vol. 11, no. 6, pages 5239 - 5248, XP011815816, DOI: 10.1109/TSG.2020.2994637 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113220828A (zh) * 2021-04-28 2021-08-06 平安科技（深圳）有限公司 意图识别模型处理方法、装置、计算机设备及存储介质
CN113220828B (zh) * 2021-04-28 2023-07-21 平安科技（深圳）有限公司 意图识别模型处理方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
US11810348B2 (en) 2023-11-07
US20220083778A1 (en) 2022-03-17

Similar Documents

Publication Publication Date Title
CN108428229B (zh) 一种基于深度神经网络提取表观和几何特征的肺部纹理识别方法
CN112102296A (zh) 一种基于人类概念学的电力设备目标识别方法
CN111402224B (zh) 一种用于电力设备的目标识别方法
CN104134234B (zh) 一种全自动的基于单幅图像的三维场景构建方法
CN111209864B (zh) 一种电力设备目标识别方法
CN113435282B (zh) 基于深度学习的无人机影像麦穗识别方法
CN111144325A (zh) 变电站电力设备的故障识别定位方法、装置及设备
CN106127205A (zh) 一种适用于室内轨道机器人的数字仪表图像的识别方法
CN112990086A (zh) 遥感影像建筑物检测方法、装置及计算机可读存储介质
CN114120141B (zh) 一种可全天候遥感监测自动分析方法及其***
CN107578477A (zh) 一种三维模型部件的自动检测方法
CN115909059A (zh) 一种自然资源样本库建立方法和装置
CN115527234A (zh) 一种基于改进YOLOv5模型的红外图像笼内死鸡识别方法
CN113033315A (zh) 一种稀土开采高分影像识别与定位方法
CN116052222A (zh) 自然采集牛脸图像的牛脸识别方法
Li et al. An over-segmentation-based uphill clustering method for individual trees extraction in urban street areas from MLS data
Liao et al. Quantitative assessment framework for non-structural bird’s nest risk information of transmission tower in high-resolution UAV images
CN109615610A (zh) 一种基于YOLO v2-tiny的医用创可贴瑕疵检测方法
CN116052110B (zh) 一种路面标线缺损智能定位方法及***
CN115620169B (zh) 基于区域一致性的建筑物主角度修正方法
CN109784261B (zh) 基于机器视觉的行人分割与识别方法
CN117079125A (zh) 一种基于改进型YOLOv5的猕猴桃授粉花朵识别方法
CN113361968B (zh) 基于人工智能和大数据的电网基建人员安全风险评估方法
CN108765384A (zh) 一种联合流形排序和改进凸包的显著性检测方法
CN103336781A (zh) 一种医学图像聚类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20201218