CN110210387B - 基于知识图谱的绝缘子目标检测方法、***、装置 - Google Patents

基于知识图谱的绝缘子目标检测方法、***、装置 Download PDF

Info

Publication number
CN110210387B
CN110210387B CN201910468534.XA CN201910468534A CN110210387B CN 110210387 B CN110210387 B CN 110210387B CN 201910468534 A CN201910468534 A CN 201910468534A CN 110210387 B CN110210387 B CN 110210387B
Authority
CN
China
Prior art keywords
insulator
image
network
target
knowledge
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910468534.XA
Other languages
English (en)
Other versions
CN110210387A (zh
Inventor
翟永杰
王坤峰
刘鑫月
贾雪健
王飞跃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Automation of Chinese Academy of Science
North China Electric Power University
Original Assignee
Institute of Automation of Chinese Academy of Science
North China Electric Power University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science, North China Electric Power University filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN201910468534.XA priority Critical patent/CN110210387B/zh
Publication of CN110210387A publication Critical patent/CN110210387A/zh
Application granted granted Critical
Publication of CN110210387B publication Critical patent/CN110210387B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G06F40/295—Named entity recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于电力管理及图像检测领域，具体涉及了一种基于知识图谱的绝缘子目标检测方法、***、装置，旨在解决现有目标检测算法速度慢以及很难应用于特定领域实时检测的问题。本发明方法包括：基于获取的包含绝缘子的图像，采用绝缘子目标检测网络，获得绝缘子目标候选框的图像并输出；其中，绝缘子目标检测网络包括特征提取网络、目标候选框生成网络、分类网络。本发明方法一方面引入知识图谱，提供更丰富的语义关系，增强了机器的学习能力；另一方面利用空域形态一致性特征，既保证了精度又加快了检测速度。

Description

基于知识图谱的绝缘子目标检测方法、***、装置
技术领域
本发明属于电力管理及图像检测领域，具体涉及了一种基于知识图谱的绝缘子目标检测方法、***、装置。
背景技术
在逐步实现无人机航拍电力巡检的发展趋势下，将会收集存储到数据量越来越庞大的输电线路图像数据，但是这些图像背景复杂，对这些数据内容的处理和反馈成为很棘手的问题，传统的人工对图像的检测效率低而且容易漏检，图像处理不及时则会导致检修不及时而发生故障。计算机视觉技术的发展和应用，为解决图像数据处理的问题提供了方法和途径。目前，世界上很多国家在计算机视觉和图像处理领域的研究火热，包括目标识别、目标检测、图像分类以及检索等，这些技术研究都为我们电力专业领域的发展打下了基础。
目标检测的任务是找出图像中所有感兴趣的目标(物体)，确定它们的位置。目标检测是机器视觉领域的核心问题之一。由于各类物体有不同的外观、形状和姿态，加上成像时光照、遮挡等因素的干扰，目标检测一直是机器视觉领域最具有挑战性的问题之一。近年来，随着深度学习对图像检测和分类准确度的大幅度提高，基于深度学习的目标检测算法逐渐成为主流。
现有的目标检测算法，会产生多达2000个左右的候选区域，然而真实场景中，一张图像并不会包含如此多的目标，所以算法产生的绝大多数候选框都是多余的，这就导致了很高的计算代价，现有检测算法检测速度慢，很难应用于特定领域的实时检测。
发明内容
为了解决现有技术中的上述问题，即现有目标检测算法速度慢以及很难应用于特定领域实时检测的问题，本发明提供了一种基于知识图谱的绝缘子目标检测方法，包括：
步骤S10，获取包含绝缘子的图像作为待检测图像；
步骤S20，采用绝缘子目标检测网络，基于所述待检测图像，获取带绝缘子目标候选框的图像；
步骤S30，将获取的图像输出；
其中，所述绝缘子目标检测网络，包括特征提取网络、目标候选框生成网络、分类网络，其训练方法为：
步骤B10，基于获取的训练图像集，构建知识图谱；
步骤B20，随机选取训练图像集中一批图像，调整为预设尺寸并采用特征提取网络提取特征，获得特征图；采用目标候选框生成网络获取显著性特征，结合知识图谱中的空间先验知识，获得带目标候选框及人工标注框的训练图像；
步骤B30，将所述特征图与带目标候选框的训练图像输入分类网络，计算网络总损失值，并更新网络参数；
步骤B40，重复执行步骤B20-步骤B30，直至达到预设的训练结束条件，获得训练好的绝缘子目标检测网络。
在一些优选的实施例中，所述训练图像集，其获取方法为：
采用矩形框对绝缘子图像集中每一个图像的绝缘子进行人工标记，并生成对应的文件作为图像的标签；所述文件中包含人工标注框左上角点坐标和标注框的高度、宽度。
在一些优选的实施例中，所述知识图谱，其构建方法为：
步骤B101，获取训练图像集中图像数据的文本描述以及绝缘子所在电力领域相关知识的语料库；
步骤B102，利用上下文信息、动词短语、关系描述等筛选所述图像数据的文本描述以及绝缘子所在电力领域相关知识的语料库中的实体词汇，并给所述实体词汇定义名称；
步骤B103，基于实体词汇的名称，利用关系描述各类实体词汇之间的关联关系；
步骤B104，基于所述实体词汇、实体词汇的名称、各类实体词汇之间的关联关系，构建实体链接，形成知识图谱。
在一些优选的实施例中，步骤B20中“采用目标候选框生成网络获取显著性特征，结合知识图谱中的空间先验知识，获得带目标候选框及人工标注框的训练图像”，其方法为：
步骤B201，将随机选取的所述训练图像集中一个图像，从RGB空间转换至HIS空间，提取基于颜色对比的显著性特征、提取基于空域形态对比的显著性特征；
步骤B202，依据所述知识图谱中的空间先验知识，融合所述基于颜色对比的显著性特征以及基于空域形态对比的显著性特征，采用预设的阈值进行二值化去除面积较小的伪目标，获得带目标候选框及人工标注框的训练图像。
在一些优选的实施例中，“提取基于颜色对比的显著性特征”，其方法为：
基于HIS空间图像的颜色直方图对比，通过非参数的颜色分布计算颜色对比，获得每一个像素基于颜色对比的显著性特征。
在一些优选的实施例中，“提取基于空域形态对比的显著性特征”，其方法为：
提取HIS空间图像的像素点的梯度方向和梯度值作为结构特征，获得每一个像素基于空域形态对比的显著性特征。
在一些优选的实施例中，步骤B20“随机选取训练图像集中一个图像，调整为预设尺寸并采用特征提取网络提取特征，获得特征图；采用目标候选框生成网络获取显著性特征，结合知识图谱中的空间先验知识，获得带目标候选框及人工标注框的训练图像”之后还设置有ROI Pooling的步骤，其方法为：
将不同大小的目标候选框，分割为预设大小网格，将所述网格映射到从对应的图像特征图中，提取每个网格中的最大值作为该网格的输出值，得到预设大小的特征图。
在一些优选的实施例中，所述网络总损失值，通过目标所属类别对应的损失值与目标位置损失值加权获得。
本发明的另一方面，提出了一种基于知识图谱的绝缘子目标检测***，包括输入模块、绝缘子检测模块、输出模块；
所述输入模块，配置为获取包含绝缘子的图像作为待检测图像并输入；
所述绝缘子检测模块，配置为采用绝缘子目标检测网络，基于所述待检测图像，获取绝缘子目标候选框的图像；
所述输出模块，配置为将获取的图像输出；
其中，所述绝缘子检测模块，包括特征提取模块、目标候选框生成模块、分类模块、循环控制模块；
所述特征提取模块，配置为随机选取训练图像集中一批图像，调整为预设尺寸并采用特征提取网络提取特征，获得特征图；
所述目标候选框生成模块，配置为采用目标候选框生成网络获取特征图对应的训练图像的显著性特征，结合知识图谱中的空间先验知识，获得带目标候选框及人工标注框的训练图像；
所述分类模块，配置为将所述特征图与带目标候选框的训练图像输入分类网络，计算网络总损失值，并更新网络参数；
所述循环控制模块，配置为控制特征提取模块、目标候选框生成模块以及分类模块循环执行，直至达到预设的训练结束条件。
本发明的第三方面，提出了一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述的基于知识图谱的绝缘子目标检测方法。
本发明的第四方面，提出了一种处理装置，包括处理器、存储装置；所述处理器，适于执行各条程序；所述存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的基于知识图谱的绝缘子目标检测方法。
本发明的有益效果：
(1)本发明基于知识图谱的绝缘子目标检测方法，加入知识图谱，提供更丰富的语义关系，增强了机器的学习能力。
(2)本发明利用空域形态一致性特征获得数量更少、质量更高的绝缘子区域候选框，与深度学习方法结合，在准确度不下降或者有所提升的前提下，加快了目标检测的速度。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是本发明基于知识图谱的绝缘子目标检测方法的***流程示意图；
图2是本发明基于知识图谱的绝缘子目标检测方法的一种实施例的知识图谱构建流程示意图；
图3是本发明基于知识图谱的绝缘子目标检测方法的一种实施例的知识图谱示例图；
图4是本发明基于知识图谱的绝缘子目标检测方法的一种实施例的特征提取网络结构示意图；
图5是本发明基于知识图谱的绝缘子目标检测方法的一种实施例的目标候选框生成流程示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
本发明的一种基于知识图谱的绝缘子目标检测方法，包括：
步骤S10，获取包含绝缘子的图像作为待检测图像；
步骤S20，采用绝缘子目标检测网络，基于所述待检测图像，获取带绝缘子目标候选框的图像；
步骤S30，将获取的图像输出；
其中，所述绝缘子目标检测网络，包括特征提取网络、目标候选框生成网络、分类网络，其训练方法为：
步骤B10，基于获取的训练图像集，构建知识图谱；
步骤B20，随机选取训练图像集中一批图像，调整为预设尺寸并采用特征提取网络提取特征，获得特征图；采用目标候选框生成网络获取显著性特征，结合知识图谱中的空间先验知识，获得带目标候选框及人工标注框的训练图像；
步骤B30，将所述特征图与带目标候选框的训练图像输入分类网络，计算网络总损失值，并更新网络参数；
步骤B40，重复执行步骤B20-步骤B30，直至达到预设的训练结束条件，获得训练好的绝缘子目标检测网络。
为了更清晰地对本发明基于知识图谱的绝缘子目标检测方法进行说明，下面结合图1对本发明方法实施例中各步骤展开详述。
本发明一种实施例的基于知识图谱的绝缘子目标检测方法，包括步骤S10-步骤S30，各步骤详细描述如下：
步骤S10，获取包含绝缘子的图像作为待检测图像。
近年来，随着输电线路电压等级不断升高，各行各业的用电需求量持续增加，线路里程也呈“井喷”式增长，保证输电线路的安全稳定运行变得尤为重要。为了缓解输电线路运维压力，提高线路巡检质量和效率，保证电网安全稳定，越来越多的供电公司开始应用无人机进行线路巡检。但是这些图像背景复杂，传统的人工处理效率低、漏检率高。随着计算机视觉技术的发展，采用计算机进行绝缘子目标检测逐渐成为主流。
步骤S20，采用绝缘子目标检测网络，基于所述待检测图像，获取带绝缘子目标候选框的图像。
目标检测，也叫目标提取，是一种基于目标几何和统计特征的图像分割，它将目标的分割和识别合二为一，其准确性和实时性是整个***的一项重要能力。尤其是在复杂场景中，需要对多个目标进行实时处理时，目标自动提取和识别就显得特别重要。
所述绝缘子目标检测网络，包括特征提取网络、目标候选框生成网络、分类网络，其训练方法为：
步骤B10，基于获取的训练图像集，构建知识图谱。
所述训练图像集，其获取方法为：
采用矩形框对绝缘子图像集中每一个图像的绝缘子进行人工标记，并生成对应的文件作为图像的标签；所述文件中包含人工标注框左上角点坐标和标注框的高度、宽度。
知识图谱的出现受益于大数据和机器学习等技术的发展，是知识工程代表性的技术，而知识工程的目标即为把领域、专家知识集成到机器当中，让机器像专家一样解决问题。知识图谱的本质是一个大规模语义网络，拥有几亿个甚至更多的节点，而语义网络则是表达了大数据时代下，实体、概念及其之间各种语义关系的一种知识表示，应用知识图谱就是让这些知识能在机器中用语义网络的方式进行合理的表达。
知识图谱中有许多节点，这些节点构成非常丰富，基本包含实体、概念、属性和关系。实体是属性赖以发生的基础，并且能够独立存在的东西，比如伞裙有材质这个属性，所以伞裙是实体，所以实体和属性密不可分。概念是一类具有共性属性的事件，比如绝缘子，输电线等。如果图谱中有实体有概念，则就可以帮助机器实现实体归类的能力，这个学术上叫做范畴化。属性就是指实体或概念的属性，比如绝缘子的伞裙数，间隔棒的形状等。关系就是指实体与实体、概念与概念或者实体与概念之间的关系，如绝缘子与输电线是连接关系，伞裙与绝缘子是构成关系等。
如图2所示，为本发明基于知识图谱的绝缘子目标检测方法的一种实施例的知识图谱构建流程示意图，首先获取相关语料库，然后进行词汇、实体挖掘，接着进行关系抽取，最后进行实体链接与存储获得构建的知识图谱。
所述知识图谱，其构建方法为：
步骤B101，获取训练图像集中图像数据的文本描述以及绝缘子所在电力领域相关知识的语料库。
知识图谱构建本质就是将非结构化的数据结构化，在我们的研究中，非结构化的数据就是绝缘子图像数据集，要想将这些图像中包含的语义网络提取出来，就需要获得图像数据的文本描述以及更多电力领域相关知识的语料库。在这些以绝缘子图像数据集描述为主的语料库中，包含着电力领域大量的关键词汇。
步骤B102，利用上下文信息、动词短语、关系描述等筛选所述图像数据的文本描述以及绝缘子所在电力领域相关知识的语料库中的实体词汇，并给所述实体词汇定义名称。
利用语料库建立起电力领域的主题词表，这就是挖掘词汇的过程。接下来是实体挖掘，就是充分利用上下文信息、动词短语、关系描述等推断这个词汇是不是实体，如果是，就定义相应的名称，在此过程中要以实体为主体目标，对语料库中不同来源的数据进行映射与合并，利用属性来表示不同数据源中针对实体的描述，形成对实体的全方位描述。通过对语料库进行词汇挖掘与实体挖掘，获得构建知识图谱的基础之一。
步骤B103，基于实体词汇的名称，利用关系描述各类实体词汇之间的关联关系。
关系抽取是利用关系来描述各类抽象建模成实体的数据之间的关联关系，从而支持关联分析。关系抽取可以建模为关系分类问题，即将候选实体对归类到已知的关系当中，关系往往在特定类型的实体对之间成立，所以命名实体的类别标签会帮助关系分类。关系抽取可以帮助实现图像数据的结构化。为了获得更多的标注数据，可以利用已有的种子实体对，用迭代更新抽取的方法获得更多的种子实体对。本研究拟采用CloseIE的方法进行信息抽取，CloseIE是面向特定领域，基于领域专业知识抽取的抽取信息的方法，需要预先定义好抽取的关系类型，规模小但精度比较高，很适合本次研究中的需求。
步骤B104，基于所述实体词汇、实体词汇的名称、各类实体词汇之间的关联关系，构建实体链接，形成知识图谱。
有了实体和关系，下一步就是构建实体链接，即实现围绕实体的多种类型数据的关联存储。本发明一个实施例中，采用Neo4j进行存储，它是当前图数据存储排名第一的图数据库，支持原生图存储和处理。
如图3所示，为本发明基于知识图谱的绝缘子目标检测方法的一种实施例的知识图谱示例图，包括了实体、属性、实体属性的关系、实体与实体的关系，由于本发明语料库是以输电线路绝缘子图像描述为主体数据，因此构建的知识图谱目前只适用于绝缘子图像数据研究。
步骤B20，随机选取训练图像集中一批图像，调整为预设尺寸并采用特征提取网络提取特征，获得特征图；采用目标候选框生成网络获取显著性特征，结合知识图谱中的空间先验知识，获得带目标候选框及人工标注框的训练图像。
本发明一个实施例中，将图像调整为224×224大小，将调整后的图像输入特征提取网络-VGG16的特征提取部分。
如图4所示，为本发明基于知识图谱的绝缘子目标检测方法的一种实施例的特征提取网络结构示意图，网络共有15层，其中：第1、2层为卷积层，卷积核为3×3，通道数为64；第3层为MaxPool层；第4、5层为卷积层，卷积核为3×3，通道数为128；第6层为MaxPool层；第7-9层为卷积层，卷积核为3×3，通道数为256；第10-15层为卷积层，第10、11、13、14层卷积核为3×3，第12、15层卷积核为1×1，通道数均为512。
步骤B20中“采用目标候选框生成网络获取显著性特征，结合知识图谱中的空间先验知识，获得带目标候选框及人工标注框的训练图像”，其方法为：
图像中一个区域的显著性依赖于它自身的特征与周围环境的差异，这个差异特征通常体现在颜色特征、形状特征、纹理特征或局部特征上。此方法采用将颜色对比特征和结构对比特征相融合的显著性区域检测算法，从而产生目标区域候选框。
如图5所示，为本发明基于知识图谱的绝缘子目标检测方法的一种实施例的目标候选框生成流程示意图，将图像从RGB空间转换到HIS空间，分别提取基于颜色对比的显著性特征、基于空域形态对比的显著性特征，依据知识图谱的先验知识进行特征融合后二值化、滤波、设定阈值去除伪目标后获得绝缘子目标候选区域。
步骤B201，将随机选取的所述训练图像集中一个图像，从RGB空间转换至HIS空间，提取基于颜色对比的显著性特征、提取基于空域形态对比的显著性特征。
将训练图像集中的RGB格式图像转化为HSI格式的图像，HSI(色调H、饱和度S、强度I)三个分量正好对应人们对颜色的类别、纯度、明亮程度这三个方面的认识。由于色调H分量不随亮度、对比度等发生改变，具有较高的鲁棒性，所以此方法采用图像的H分量来提取颜色对比特征。
“提取基于颜色对比的显著性特征”，其方法为：
基于HIS空间图像的颜色直方图对比，通过非参数的颜色分布计算颜色对比，获得每一个像素基于颜色对比的显著性特征。
“提取基于空域形态对比的显著性特征”，其方法为：
提取HIS空间图像的像素点的梯度方向和梯度值作为结构特征，获得每一个像素基于空域形态对比的显著性特征。
输电线路中使用的绝缘子种类繁多，但是绝缘子串的组成方式是一致的，绝缘子串由中心轴和若干形状、颜色完全相同的绝缘子片等间距垂直排列构成，其外观结构可近似为具有一定宽度的长矩形，因而在梯度特征上绝缘子串具有一定的规律性，我们称绝缘子在空域形态上具有一致性。因此提取像素点的梯度方向和梯度值作为结构特征，获得每一个像素的显著性特征。
步骤B202，依据所述知识图谱中的空间先验知识，融合所述基于颜色对比的显著性特征以及基于空域形态对比的显著性特征，采用预设的阈值进行二值化去除面积较小的伪目标，获得带目标候选框及人工标注框的训练图像。
分别得到基于颜色对比与基于空域形态对比的显著性特征，依据具有显著特征的像素一般分布于图像的中心或者远离图像的边缘这一空间先验知识(来源于知识图谱)，将两种显著性特征进行融合，得到最终的显著性检测结果，然后选择合适的阈值对其进行二值化，并通过滤波去除噪声点，再采用设定阈值的方法去除面积较小的伪目标，保留下来的连通域则作为绝缘子区域候选框。
步骤B20“随机选取训练图像集中一个图像，调整为预设尺寸并采用特征提取网络提取特征，获得特征图；采用目标候选框生成网络获取显著性特征，结合知识图谱中的空间先验知识，获得带目标候选框及人工标注框的训练图像”之后还设置有ROI Pooling的步骤，其方法为：
将不同大小的目标候选框，分割为预设大小网格，将所述网格映射到从对应的图像特征图中，提取每个网格中的最大值作为该网格的输出值，得到预设大小的特征图。
由于目标候选区域(region proposal)是基于原始HSI图像得到的，每个目标候选区域都具有不同的大小。而后续的全连接层需要固定大小的输入，所以不能将不同大小的目标候选区域(region proposal)直接映射到feature maps作为输出。ROI Pooling的作用是针对不同大小的目标候选区域(region proposal)中提取固定大小的特征图(featuremaps)。
本发明一个实施例中，将一个h×w(高×宽)的目标候选区域(region proposal)分割成7×7的网格，然后将这个目标候选区域映射到特征图(feature maps)上，最后提取每个网格里的最大值作为该网络的最终输出。所以不管ROI Pooling的输入大小是多少，它的输出大小始终为7×7。
步骤B30，将所述特征图与带目标候选框的训练图像输入分类网络，计算网络总损失值，并更新网络参数。
所述网络总损失值，通过目标所属类别对应的损失值与目标位置损失值加权获得。
步骤B40，重复执行步骤B20-步骤B30，直至达到预设的训练结束条件，获得训练好的绝缘子目标检测网络。
步骤S30，将获取的图像输出。
本发明第二实施例的基于知识图谱的绝缘子目标检测***，包括输入模块、绝缘子检测模块、输出模块；
所述输入模块，配置为获取包含绝缘子的图像作为待检测图像并输入；
所述绝缘子检测模块，配置为采用绝缘子目标检测网络，基于所述待检测图像，获取绝缘子目标候选框的图像；
所述输出模块，配置为将获取的图像输出；
其中，所述绝缘子检测模块，包括特征提取模块、目标候选框生成模块、分类模块、循环控制模块；
所述特征提取模块，配置为随机选取训练图像集中一批图像，调整为预设尺寸并采用特征提取网络提取特征，获得特征图；
所述目标候选框生成模块，配置为采用目标候选框生成网络获取特征图对应的训练图像的显著性特征，结合知识图谱中的空间先验知识，获得带目标候选框及人工标注框的训练图像；
所述分类模块，配置为将所述特征图与带目标候选框的训练图像输入分类网络，计算网络总损失值，并更新网络参数；
所述循环控制模块，配置为控制特征提取模块、目标候选框生成模块以及分类模块循环执行，直至达到预设的训练结束条件。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
需要说明的是，上述实施例提供的基于知识图谱的绝缘子目标检测***，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。
本发明第三实施例的一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述的基于知识图谱的绝缘子目标检测方法。
本发明第四实施例的一种处理装置，包括处理器、存储装置；处理器，适于执行各条程序；存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的基于知识图谱的绝缘子目标检测方法。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (10)

1.一种基于知识图谱的绝缘子目标检测方法，其特征在于，该绝缘子目标检测方法包括：
步骤S10，获取包含绝缘子的图像作为待检测图像；
步骤S20，采用绝缘子目标检测网络，基于所述待检测图像，获取带绝缘子目标候选框的图像；
步骤S30，将获取的图像输出；
其中，所述绝缘子目标检测网络，包括特征提取网络、目标候选框生成网络、分类网络，其训练方法为：
步骤B10，获取训练图像集以及所述训练图像集中图像数据的文本描述和绝缘子所在电力领域相关知识的语料库；
利用上下文信息、动词短语、关系描述筛选所述图像数据的文本描述以及绝缘子所在电力领域相关知识的语料库中的实体词汇，并给所述实体词汇定义名称；
基于实体词汇的名称，利用关系描述各类实体词汇之间的关联关系；
基于所述实体词汇、实体词汇的名称、各类实体词汇之间的关联关系，构建实体链接，形成知识图谱；
步骤B20，随机选取训练图像集中一批图像，调整为预设尺寸并采用特征提取网络提取特征，获得特征图；采用目标候选框生成网络获取显著性特征，结合知识图谱中的空间先验知识，获得带目标候选框及人工标注框的训练图像；
步骤B30，将所述特征图与带目标候选框的训练图像输入分类网络，计算网络总损失值，并更新网络参数；
步骤B40，重复执行步骤B20-步骤B30，直至达到预设的训练结束条件，获得训练好的绝缘子目标检测网络。
2.根据权利要求1所述的基于知识图谱的绝缘子目标检测方法，其特征在于，所述训练图像集，其获取方法为：
采用矩形框对绝缘子图像集中每一个图像的绝缘子进行人工标记，并生成对应的文件作为图像的标签；所述文件中包含人工标注框左上角点坐标和标注框的高度、宽度。
3.根据权利要求1所述的基于知识图谱的绝缘子目标检测方法，其特征在于，步骤B20中“采用目标候选框生成网络获取显著性特征，结合知识图谱中的空间先验知识，获得带目标候选框及人工标注框的训练图像”，其方法为：
步骤B201，将随机选取的所述训练图像集中一个图像，从RGB空间转换至HIS空间，提取基于颜色对比的显著性特征、提取基于空域形态对比的显著性特征；
步骤B202，依据所述知识图谱中的空间先验知识，融合所述基于颜色对比的显著性特征以及基于空域形态对比的显著性特征，采用预设的第一阈值进行二值化，并去除面积小于预设的第二阈值的伪目标，获得带目标候选框及人工标注框的训练图像。
4.根据权利要求3所述的基于知识图谱的绝缘子目标检测方法，其特征在于，“提取基于颜色对比的显著性特征”，其方法为：
基于HIS空间图像的颜色直方图对比，通过非参数的颜色分布计算颜色对比，获得每一个像素基于颜色对比的显著性特征。
5.根据权利要求3所述的基于知识图谱的绝缘子目标检测方法，其特征在于，“提取基于空域形态对比的显著性特征”，其方法为：
提取HIS空间图像的像素点的梯度方向和梯度值作为结构特征，获得每一个像素基于空域形态对比的显著性特征。
6.根据权利要求3所述的基于知识图谱的绝缘子目标检测方法，其特征在于，步骤B20“随机选取训练图像集中一个图像，调整为预设尺寸并采用特征提取网络提取特征，获得特征图；采用目标候选框生成网络获取显著性特征，结合知识图谱中的空间先验知识，获得带目标候选框及人工标注框的训练图像”之后还设置有ROIPooling的步骤，其方法为：
将不同大小的目标候选框，分割为预设大小网格，将所述网格映射到从对应的图像特征图中，提取每个网格中的最大值作为该网格的输出值，得到预设大小的特征图。
7.根据权利要求1所述的基于知识图谱的绝缘子目标检测方法，其特征在于，所述网络总损失值，通过目标所属类别对应的损失值与目标位置损失值加权获得。
8.一种基于知识图谱的绝缘子目标检测***，其特征在于，包括输入模块、绝缘子检测模块、输出模块；
所述输入模块，配置为获取包含绝缘子的图像作为待检测图像并输入；
所述绝缘子检测模块，配置为采用绝缘子目标检测网络，基于所述待检测图像，获取绝缘子目标候选框的图像；
所述输出模块，配置为将获取的图像输出；
其中，所述绝缘子检测模块，包括知识图谱构建模块、特征提取模块、目标候选框生成模块、分类模块、循环控制模块；
所述知识图谱构建模块，配置为获取训练图像集以及所述训练图像集中图像数据的文本描述和绝缘子所在电力领域相关知识的语料库，利用上下文信息、动词短语、关系描述筛选所述图像数据的文本描述以及绝缘子所在电力领域相关知识的语料库中的实体词汇，并给所述实体词汇定义名称，基于实体词汇的名称，利用关系描述各类实体词汇之间的关联关系，基于所述实体词汇、实体词汇的名称、各类实体词汇之间的关联关系，构建实体链接，形成知识图谱；
所述特征提取模块，配置为随机选取训练图像集中一批图像，调整为预设尺寸并采用特征提取网络提取特征，获得特征图；
所述目标候选框生成模块，配置为采用目标候选框生成网络获取特征图对应的训练图像的显著性特征，结合知识图谱中的空间先验知识，获得带目标候选框及人工标注框的训练图像；
所述分类模块，配置为将所述特征图与带目标候选框的训练图像输入分类网络，计算网络总损失值，并更新网络参数；
所述循环控制模块，配置为控制特征提取模块、目标候选框生成模块以及分类模块循环执行，直至达到预设的训练结束条件，获得训练好的绝缘子目标检测网络。
9.一种存储装置，其中存储有多条程序，其特征在于，所述程序适于由处理器加载并执行以实现权利要求1-7任一项所述的基于知识图谱的绝缘子目标检测方法。
10.一种处理装置，包括
处理器，适于执行各条程序；以及
存储装置，适于存储多条程序；
其特征在于，所述程序适于由处理器加载并执行以实现：
权利要求1-7任一项所述的基于知识图谱的绝缘子目标检测方法。
CN201910468534.XA 2019-05-31 2019-05-31 基于知识图谱的绝缘子目标检测方法、***、装置 Active CN110210387B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910468534.XA CN110210387B (zh) 2019-05-31 2019-05-31 基于知识图谱的绝缘子目标检测方法、***、装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910468534.XA CN110210387B (zh) 2019-05-31 2019-05-31 基于知识图谱的绝缘子目标检测方法、***、装置

Publications (2)

Publication Number Publication Date
CN110210387A CN110210387A (zh) 2019-09-06
CN110210387B true CN110210387B (zh) 2021-08-31

Family

ID=67789964

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910468534.XA Active CN110210387B (zh) 2019-05-31 2019-05-31 基于知识图谱的绝缘子目标检测方法、***、装置

Country Status (1)

Country Link
CN (1) CN110210387B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110750600A (zh) * 2019-10-15 2020-02-04 北京明略软件***有限公司 一种信息处理方法及装置
CN111160336B (zh) * 2019-12-09 2024-07-12 平安科技（深圳）有限公司 目标检测方法、装置及计算机可读存储介质
CN111881934A (zh) * 2020-06-18 2020-11-03 江苏大学 电子元器件属性与类别的空间关系发现方法
CN112149713B (zh) * 2020-08-21 2022-12-16 中移雄安信息通信科技有限公司 基于绝缘子图像检测模型检测绝缘子图像的方法及装置
CN112052907A (zh) * 2020-09-15 2020-12-08 浙江智慧视频安防创新中心有限公司 基于图像边缘信息的目标检测方法、装置及存储介质
CN112184666A (zh) * 2020-09-28 2021-01-05 国网江西省电力有限公司电力科学研究院 一种目标设备的检测方法、装置及***
CN113158743B (zh) * 2021-01-29 2022-07-12 中国科学院自动化研究所 基于先验知识的小目标实时检测与定位方法、***、设备
CN114821374B (zh) * 2022-06-27 2022-09-13 中国电子科技集团公司第二十八研究所 一种知识与数据协同驱动的无人机航拍目标检测方法
CN116665215A (zh) * 2023-05-25 2023-08-29 北京航星永志软件技术有限公司 图像显著性区域提取方法、装置、计算机设备及存储介质
CN117591901B (zh) * 2024-01-17 2024-05-03 合肥中科类脑智能技术有限公司 绝缘子破损检测方法、装置、存储介质和电子设备

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101214195B1 (ko) * 2005-12-28 2012-12-24 텔레콤 이탈리아 소시에떼 퍼 아찌오니 특히, 전기통신 네트워크에서 중재를 위한 작업흐름 모델의 자동 생성 방법
CN105976368B (zh) * 2016-04-28 2018-12-11 华北电力大学（保定） 一种绝缘子定位方法
US10140709B2 (en) * 2017-02-27 2018-11-27 International Business Machines Corporation Automatic detection and semantic description of lesions using a convolutional neural network
US20180268292A1 (en) * 2017-03-17 2018-09-20 Nec Laboratories America, Inc. Learning efficient object detection models with knowledge distillation
US10740601B2 (en) * 2017-04-10 2020-08-11 Pearson Education, Inc. Electronic handwriting analysis through adaptive machine-learning
CN107145846B (zh) * 2017-04-26 2018-10-19 贵州电网有限责任公司输电运行检修分公司 一种基于深度学习的绝缘子识别方法
CN107862562B (zh) * 2017-09-15 2022-01-07 唯品会(海南)电子商务有限公司 一种根据用户的图片喜好选择进行商品推荐的方法及装置
CN108171213A (zh) * 2018-01-22 2018-06-15 北京邮电大学 一种适用图文知识图谱的关系抽取方法
CN108229578B (zh) * 2018-01-25 2019-10-11 海南大学 基于数据、信息和知识三层图谱架构的图像数据目标识别方法
CN109272440B (zh) * 2018-08-14 2023-11-03 阿基米德（上海）传媒有限公司 一种联合文本和图像内容的缩略图生成方法及***
CN109241912B (zh) * 2018-09-08 2020-08-07 河南大学 面向无人自主***的基于类脑跨媒体智能的目标识别方法
CN109344285B (zh) * 2018-09-11 2020-08-07 武汉魅瞳科技有限公司 一种面向监控的视频图谱构建和挖掘方法、设备
CN109378053B (zh) * 2018-11-30 2021-07-06 安徽影联云享医疗科技有限公司 一种用于医学影像的知识图谱构建方法
CN109753969A (zh) * 2019-01-23 2019-05-14 河海大学 一种基于形状特征和图像分割的绝缘子识别和定位方法

Also Published As

Publication number Publication date
CN110210387A (zh) 2019-09-06

Similar Documents

Publication Publication Date Title
CN110210387B (zh) 基于知识图谱的绝缘子目标检测方法、***、装置
Pape et al. 3-D histogram-based segmentation and leaf detection for rosette plants
Xue et al. Design of digital camouflage by recursive overlapping of pattern templates
CN109977997B (zh) 基于卷积神经网络快速鲁棒的图像目标检测与分割方法
CN108898145A (zh) 一种结合深度学习的图像显著目标检测方法
CN105184763B (zh) 图像处理方法和装置
CN112132197B (zh) 模型训练、图像处理方法、装置、计算机设备和存储介质
Yu et al. Automatic interesting object extraction from images using complementary saliency maps
KR20150107579A (ko) 화상 처리 장치 및 화상 처리 방법
Xu et al. Weakly supervised deep semantic segmentation using CNN and ELM with semantic candidate regions
Li et al. DeepCotton: in-field cotton segmentation using deep fully convolutional network
Havel et al. Efficient tree construction for multiscale image representation and processing
CN111027538A (zh) 一种基于实例分割模型的集装箱检测方法
Shete et al. TasselGAN: An application of the generative adversarial model for creating field-based maize tassel data
CN109213886B (zh) 基于图像分割和模糊模式识别的图像检索方法及***
Han Improved SLIC imagine segmentation algorithm based on K-means
Wang et al. Unsupervised segmentation of greenhouse plant images based on modified Latent Dirichlet Allocation
CN111415364A (zh) 一种计算机视觉中图像分割样本的转换方法、***及存储介质
Obeso et al. Saliency-based selection of visual content for deep convolutional neural networks: application to architectural style classification
CN108664968B (zh) 一种基于文本选取模型的无监督文本定位方法
CN111368865B (zh) 遥感影像储油罐检测方法、装置、可读存储介质及设备
CN111178196A (zh) 一种细胞分类的方法、装置及设备
JP2009110526A (ja) 画像解析方法及び画像解析装置
Bell et al. Reflections on connoisseurship and computer vision
Zhang et al. An Improved Computational Approach for Salient Region Detection.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant