CN112149713B - 基于绝缘子图像检测模型检测绝缘子图像的方法及装置 - Google Patents

基于绝缘子图像检测模型检测绝缘子图像的方法及装置 Download PDF

Info

Publication number
CN112149713B
CN112149713B CN202010852425.0A CN202010852425A CN112149713B CN 112149713 B CN112149713 B CN 112149713B CN 202010852425 A CN202010852425 A CN 202010852425A CN 112149713 B CN112149713 B CN 112149713B
Authority
CN
China
Prior art keywords
feature map
insulator
training
feature
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010852425.0A
Other languages
English (en)
Other versions
CN112149713A (zh
Inventor
杨韵洁
张宝海
韩东旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Information System Integration Co ltd
China Mobile Communications Group Co Ltd
China Mobile Xiongan ICT Co Ltd
China Mobile System Integration Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
China Mobile Xiongan ICT Co Ltd
China Mobile System Integration Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, China Mobile Xiongan ICT Co Ltd, China Mobile System Integration Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN202010852425.0A priority Critical patent/CN112149713B/zh
Publication of CN112149713A publication Critical patent/CN112149713A/zh
Application granted granted Critical
Publication of CN112149713B publication Critical patent/CN112149713B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供了一种基于绝缘子图像检测模型检测绝缘子图像的方法及装置，该方法包括：获取目标绝缘子图像；通过第一预设卷积层对目标绝缘子图像进行特征提取，得到第一特征图；通过对第一特征图进行空间变换，得到第二特征图；通过对目标绝缘子图像进行特征提取，得到第三特征图；通过处理第二特征图和第三特征图，得到第四特征图；将第四特征图输入区域候选网络，输出第五特征图；将第四特征图输入分类器，输出第四特征图中的绝缘子类型；本申请实施例能够基于改进的特征提取网络较为准确的检测绝缘子图像的绝缘子，解决了现有的更快的用于精确物体定位和语义分割的丰富特征层次结构Faster‑RCNN对绝缘子图像检测正确率较低的问题。

Description

基于绝缘子图像检测模型检测绝缘子图像的方法及装置
技术领域
本申请属于计算机视觉和图像处理领域，尤其涉及一种基于绝缘子图像检测模型检测绝缘子图像的方法及装置。
背景技术
目前，在输电线路中，对绝缘子图像中的绝缘子目标进行检测在绝缘子的故障诊断中是至关重要的。在对绝缘子故障进行诊断的过程中，只有准确的识别和定位图像中的绝缘子目标才能对故障原因进行分析。
目前，对绝缘子的故障诊断主要是对无人机航拍巡线绝缘子图像中的绝缘子目标进行分析。然而，在输电线路中，绝缘子的种类较多，包括不同材质、不同形状和不同颜色的绝缘子。此外，航拍巡线绝缘子图像背景复杂，图像差异大进而导致很难找到一种鲁棒性较好的方法对航拍图像中的绝缘子进行识别和定位。
目前有成功将基于卷积神经网络的目标检测模型Faster-RCNN应用于绝缘子图像的绝缘子目标检测中，但现有的Faster-RCNN对绝缘子图像检测正确率较低。
发明内容
本申请实施例提供一种基于绝缘子图像检测模型检测绝缘子图像的方法及装置，能够基于改进的特征提取网络较为准确的检测绝缘子图像的绝缘子，解决了现有的Faster-RCNN对绝缘子图像检测正确率较低的问题。
第一方面，本申请实施例提供一种基于绝缘子图像检测模型检测绝缘子图像的方法，该绝缘子图像检测模型包括，特征提取网络、区域候选网络和分类器；特征提取网络中嵌有空间变换网络；
该方法包括：
获取目标绝缘子图像；
通过特征提取网络中的第一预设卷积层对目标绝缘子图像进行特征提取，得到第一特征图；
通过空间变换网络对第一特征图进行空间变换，得到第二特征图；
通过特征提取网络中的第二预设卷积层对目标绝缘子图像进行特征提取，得到第三特征图；
通过处理第二特征图和第三特征图，得到第四特征图；
将第四特征图输入区域候选网络，输出第五特征图，第五特征图中标识有绝缘子所在的位置；
将第四特征图输入分类器，输出第四特征图中的绝缘子类型。
进一步地，在一种实施例中，通过处理第二特征图和第三特征图，得到第四特征图，包括：
在第一预设卷积核下对第二特征图进行卷积，得到第六特征图；
对第三特征图进行上采样，得到第七特征图，第七特征图与第一特征图的尺寸相同；
通过处理第六特征图与第七特征图，得到第四特征图。
进一步地，在一种实施例中，通过处理第六特征图与第七特征图，得到第四特征图，包括：
分别在第一预设卷积核下和第二卷积核下对第七特征图进行卷积，得到第八特征图和第九特征图；
对第六特征图、第八特征图和第九特征图用加法进行特征融合，生成融合特征图；
在第一预设卷积核下对融合特征图进行卷积，得到第四特征图。
进一步地，在一种实施例中，区域候选网络的候选框是基于第四特征图中的绝缘子轮廓确定的。
进一步地，在一种实施例中，绝缘子图像检测模型通过如下步骤训练得到：
获取训练样本集，训练样本集包括多个训练样本，每个训练样本包括绝缘子原始图像和与其对应的标签图像；
针对每个训练样本，分别执行以下操作：将训练样本输入目标模型的特征提取网络中的第一预设卷积层，得到第一训练特征图；将第一训练特征图输入空间变换网络，得到第二训练特征图；将训练样本输入特征提取网络中的第二预设卷积层，得到第三训练特征图；处理第二训练特征图和第三训练特征图，得到第四训练特征图；将第四训练特征图输入区域候选网络，输出第五训练特征图，第五训练特征图中标识有绝缘子所在的位置；将第四训练特征图输入分类器，输出第四训练特征图中的绝缘子类型；
在不满足预设训练停止条件的情况下，根据各个第五训练特征图、第四训练特征图中的绝缘子类型以及其对应的标签图像，调整目标模型的模型参数；返回将训练样本输入目标模型的特征提取网络中的第一预设卷积层，直至满足预设训练停止条件，得到绝缘子图像检测模型。
第二方面，本申请实施例提供一种基于绝缘子图像检测模型检测绝缘子图像的装置，该绝缘子图像检测模型包括，特征提取网络、区域候选网络和分类器；特征提取网络中嵌有空间变换网络；
该装置包括：
获取模块，用于获取目标绝缘子图像；
第一特征提取模块，用于通过特征提取网络中的第一预设卷积层对目标绝缘子图像进行特征提取，得到第一特征图；
空间变换模块，还用于通过空间变换网络对第一特征图进行空间变换，得到第二特征图；
第二特征提取模块，还用于通过特征提取网络中的第二预设卷积层对目标绝缘子图像进行特征提取，得到第三特征图；
处理模块，用于通过处理第二特征图和第三特征图，得到第四特征图；
第一输出模块，用于将第四特征图输入区域候选网络，输出第五特征图，第五特征图中标识有绝缘子所在的位置；
第二输出模块，还用于将第四特征图输入分类器，输出第四特征图中的绝缘子类型。
进一步地，在一种实施例中，处理模块，包括：第一处理单元、第二处理单元、以及第三处理单元；
第一处理单元，用于在第一预设卷积核下对第二特征图进行卷积，得到第六特征图；
第二处理单元，用于对第三特征图进行上采样，得到第七特征图，第七特征图与第一特征图的尺寸相同；
第三处理单元，用于通过处理第六特征图与第七特征图，得到第四特征图。
进一步地，在一种实施例中，第三处理单元，具体用于：
分别在第一预设卷积核下和第二卷积核下对第七特征图进行卷积，得到第八特征图和第九特征图；
对第六特征图、第八特征图和第九特征图用加法进行特征融合，生成融合特征图；
在第一预设卷积核下对融合特征图进行卷积，得到第四特征图。
第三方面，本申请实施例提供一种基于绝缘子图像检测模型检测绝缘子图像的计算设备，该计算设备包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，计算机程序被处理器执行时实现如权利要求至中任一项的方法。
第四方面，本申请实施例提供一种计算机可读存储介质，该计算机可读存储介质上存储有信息传递的实现程序，程序被处理器执行时实现如权利要求至中任一项的方法。
本申请实施例的基于绝缘子图像检测模型检测绝缘子图像的方法及装置，首先通过特征提取网络中的第一预设卷积层对目标绝缘子图像进行特征提取，得到第一特征图，第一预设卷积层为低层卷积层，能够更好的检测出较小的绝缘子图像；然后通过空间变换网络对第一特征图进行空间变换，得到第二特征图，经空间变换后的特征图能够更好的表征绝缘子的图像特征；通过特征提取网络中的第二预设卷积层对目标绝缘子图像进行特征提取，得到第三特征图，第二预设卷积层为高层卷积层，包含丰富的语义特征；通过处理第二特征图和第三特征图，得到第四特征图，由于本申请的第四特征图是基于第二特征图和第三特征图得到的，不仅能够清楚反映绝缘子图像，并且包含着丰富的语义特征，基于该第四特征图分别输入区域候选网络和分类器，输出的绝缘子位置和绝缘子类型更加准确。本申请通过将空间变换网络引入Faster-RCNN目标检测模型的特征提取网络，该空间变换网络可对输入图像或特征图执行空间变换操作，提高卷积神经网络模型的几何不变性，从而提高了Faster-RCNN目标检测模型的检测精度，进而提高Faster-RCNN目标检测模型的检测性能，使得Faster-RCNN目标检测模型对图像中的绝缘子目标具有更好的检测效果，解决了现有的Faster-RCNN对绝缘子图像的绝缘子检测正确率较低的问题。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单的介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种绝缘子图像检测模型的结构示意图；
图2是本申请实施例提供的一种绝缘子图像检测模型的训练方法的流程示意图；
图3是本申请实施例提供的一种基于绝缘子图像检测模型检测绝缘子图像的方法的流程示意图；
图4是本申请实施例提供的一种基于绝缘子图像检测模型检测绝缘子图像的方法的应用实例的流程示意图；
图5是本申请实施例提供的一种空间变换网络的结构示意图；
图6是本申请实施例提供的一种生成融合特征图的流程示意图；
图7是本申请实施例提供的一种生成第四特征图的流程示意图；
图8是本申请实施例提供的一种绝缘子图像检测模型的训练装置的结构示意图；
图9是本申请实施例提供的一种基于绝缘子图像检测模型检测绝缘子图像的计算设备的结构示意图；
图10是本申请实施例提供的一种候选框的结构示意图。
具体实施方式
下面将详细描述本申请的各个方面的特征和示例性实施例，为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本申请进行进一步详细描述。应理解，此处所描述的具体实施例仅被配置为解释本申请，并不被配置为限定本申请。对于本领域技术人员来说，本申请可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本申请的示例来提供对本申请更好的理解。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
目前，对绝缘子的故障诊断主要是对无人机航拍巡线绝缘子图像中的绝缘子目标进行分析。然而，在输电线路中，绝缘子的种类较多，包括不同材质、不同形状和不同颜色的绝缘子。此外，航拍巡线绝缘子图像背景复杂，图像差异大进而导致很难找到一种鲁棒性较好的方法对航拍图像中的绝缘进行识别和定位。目前，对无人机巡线绝缘子图像中的绝缘子进行识别的定位方法主要有以下几种：
基于纹理的方法，这类方法主要是通过查找图像中感兴趣的纹理信息实现对绝缘子的定位，但是这类方法计算复杂度高，同时对于图像中绝缘子和背景的纹理信息对比不明显时，定位效果较差。
基于边缘检测的方法，该方法主要是根据图像感兴趣的边缘来定位图像中的绝缘子，但是航拍巡线绝缘子图像背景复杂，包含大量噪声，从而该类方法在实际应用中效果不好。
基于局部特征的方法，这类方法主要使用图像中不同的局部特征对图像信息进行表征，然后选出图像中绝缘子目标部分的特征图，进而实现图像中绝缘子目标的定位。
近年来，随着深度卷积神经网络的不断发展，基于深度学习的图像分类模型不断发展并且可以较好的提取图像的特征。相较于传统的手工设计图像特征的方式，卷积神经网络可以通过网络模型根据数据集中的图像信息，自主的学习挖掘图像的特征。卷积神经网络是一种层次结构，采用多层卷积层、激活函数和池化层的堆叠的方式，在每层之间通过不断的映射，使模型具有较强的非线性映射能力和表征图像特征的能力，进而使得卷积神经网络提取的图像特征图可以有效的表征图像的特征信息。
目前有成功的将基于卷积神经网络的Faster RCNN目标检测模型应用到绝缘子图像中的绝缘子检测中，但是并未针对航拍巡线绝缘子图像的特点对模型进行改进。由于航拍巡线绝缘子图像中绝缘子目标存在角度独特，即部分图像中绝缘子目标呈倾斜的角度。此外，部分图像中绝缘子目标由于拍摄距离的原因使得图像中的绝缘子目标较小，而Faster-RCNN模型采用单尺度预测的方式使得该模型对图像中小目标检测效果较差。分析图像中绝缘子目标发现，绝大部分图像中绝缘子都呈长条状，即目标的宽高差别较大，原有的Faster RCNN生成检测框的方式并不适用于检测绝缘子目标。
为了解决现有技术问题，本申请实施例提供了一种基于绝缘子图像检测模型检测绝缘子图像的方法及装置。本申请实施例通过将空间变换网络引入Faster-RCNN目标检测模型的特征提取网络，该空间变换网络可对输入图像或特征图执行空间变换操作，提高卷积神经网络模型的几何不变性，从而提高了Faster-RCNN目标检测模型的检测精度，进而提高Faster-RCNN目标检测模型的检测性能，使得Faster-RCNN目标检测模型对图像中的绝缘子目标具有更好的检测效果，解决了现有的Faster-RCNN对绝缘子图像的绝缘子检测正确率较低的问题。下面首先对本申请实施例采用的绝缘子图像检测模型进行介绍。
该绝缘子图像检测模型包括特征提取网络、区域候选网络(Region ProposalNetworks，RPN)和分类器Classifier，特征提取网络包含卷积层(Convolutional layers，Conv layers)并嵌有空间变换网络(Spatial Transformer Networks，STNs)，Conv layers有N层，N为大于等于2的正整数，该绝缘子图像检测模型的结构示意图如图1所示。
下面介绍该模型的训练方法，如图2所示，该训练方法的流程示意图可以包括如下步骤：
S210，获取训练样本集。
训练样本集包括多个训练样本，每个训练样本包括绝缘子原始图像和与其对应的标签图像；标签图像指示出了原始图像对应的绝缘子位置和绝缘子类型。该训练样本集可以是历史拍摄后并进行标签的绝缘子图像。获取该训练样本集仅需与存有历史拍摄后并进行标签的绝缘子图像的终端进行数据传输。
针对每个训练样本，分别执行以下操作：
S220，将训练样本输入目标模型的特征提取网络中的第一预设卷积层，得到第一训练特征图。
基于绝缘子图像通常较小，而低层卷积层适用于检测小目标图形，本申请的第一预设卷积层选用低层卷积层。
S230，将第一训练特征图输入空间变换网络，得到第二训练特征图。
经空间变换后的特征图能够更好的表征图像特征。
S240，将训练样本输入特征提取网络中的第二预设卷积层，得到第三训练特征图。
第二预设卷积层选为高层卷积层，经第二预设卷积层提取的第三训练特征图包含丰富的语义特征。
S250，处理第二训练特征图和第三训练特征图，得到第四训练特征图。
由于第二特征图是基于低层卷积层生成，所包含语义特征较少，故将第三特征图与其融合，丰富第二特征图的语义特征，从而进一步的提升检测精度。
S260，将第四训练特征图输入区域候选网络，输出第五训练特征图，第五训练特征图中标识有绝缘子所在的位置。
S270，将第四训练特征图输入分类器，输出第四训练特征图中的绝缘子类型。
S280，在不满足预设训练停止条件的情况下，根据各个第五训练特征图、第四训练特征图中的绝缘子类型以及其对应的标签图像，调整目标模型的模型参数；返回将训练样本输入目标模型的特征提取网络中的第一预设卷积层，直至满足预设训练停止条件，得到绝缘子图像检测模型。
本申请通过将空间变换网络引入Faster-RCNN目标检测模型的特征提取网络，该空间变换网络可对输入图像或训练特征图执行空间变换操作，提高卷积神经网络模型的几何不变性，从而提高了Faster-RCNN目标检测模型的检测精度，进而提高Faster-RCNN目标检测模型的检测性能，使得Faster-RCNN目标检测模型对图像中的绝缘子目标具有更好的检测效果，解决了现有的Faster-RCNN对绝缘子图像的绝缘子检测正确率较低的问题。
基于上述模型，下面介绍本申请提供的检测绝缘子图像的方法。图3示出了本申请一个实施例提供的基于绝缘子图像检测模型检测绝缘子图像的方法的流程示意图。如图3所示，该方法可以包括以下步骤：
S110：获取目标绝缘子图像。
该目标绝缘子可以由拍摄装置拍摄获取，在输电线路中，对绝缘子图像中的绝缘子目标进行检测在绝缘子的故障诊断中是至关重要的。在对绝缘子故障进行诊断的过程中，只有准确的识别和定位图像中的绝缘子目标才能对故障原因进行分析。
S120：通过特征提取网络中的第一预设卷积层对目标绝缘子图像进行特征提取，得到第一特征图。
基于绝缘子图像通常较小，而低层卷积层适用于检测小目标图形，本申请的第一预设卷积层选用低层卷积层。
S130：通过空间变换网络对第一特征图进行空间变换，得到第二特征图。
经空间变换后的特征图能够更好的表征图像特征。
S140：通过特征提取网络中的第二预设卷积层对目标绝缘子图像进行特征提取，得到第三特征图。
第二预设卷积层为高层卷积层，经第二预设卷积层提取的第三训练特征图包含丰富的语义特征。
S150：通过处理第二特征图和第三特征图，得到第四特征图。
由于第二特征图是基于低层卷积层生成，所包含语义特征较少，故将第三特征图与其融合，丰富第二特征图的语义特征，从而进一步的提升检测精度。
在一种实施例中，基于第二特征图与第三特征图的图形差异，在融合二者前，需要对他们进行融合前的预处理，基于此，S150可以包括：
在第一预设卷积核下对第二特征图进行卷积，得到第六特征图。
对第三特征图进行上采样，得到第七特征图，第七特征图与第一特征图的尺寸相同。
分别在第一预设卷积核下和第二卷积核下对第七特征图进行卷积，得到第八特征图和第九特征图。
经过上述对第二特征图和第三特征图的预处理后，即可进行特征图的融合，即：对第六特征图、第八特征图和第九特征图用加法进行特征融合，生成融合特征图。
在第一预设卷积核下对融合特征图进行卷积，得到第四特征图。经过第一预设卷积核下的卷积，此时的第四特征图适用于区域候选网络和分类器的输入。
S160：将第四特征图输入区域候选网络，输出第五特征图，第五特征图中标识了绝缘子所在的位置。
S170：将第四特征图输入分类器，输出第四特征图中的绝缘子类型。
绝缘子的类型包括材质类型、形状类型和颜色类型。
至此，即完成了目标绝缘子图像的检测，检测出了该图像中绝缘子的位置及类型。
在一种实施例中，基于绝缘子图像的外形特殊性，本申请实施例提供的区域候选网络的候选框可以是基于第四特征图中的绝缘子轮廓确定的。具体的，根据绝缘子轮廓确定候选框的个数、尺寸大小、以及长宽比。
本申请实施例的基于绝缘子图像检测模型检测绝缘子图像的方法及装置，首先通过特征提取网络中的第一预设卷积层对目标绝缘子图像进行特征提取，得到第一特征图，第一预设卷积层为低层卷积层，能够更好的检测出较小的绝缘子图像；然后通过空间变换网络对第一特征图进行空间变换，得到第二特征图，经空间变换后的特征图能够更好的表征绝缘子的图像特征；通过特征提取网络中的第二预设卷积层对目标绝缘子图像进行特征提取，得到第三特征图，第二预设卷积层为高层卷积层，包含丰富的语义特征；通过处理第二特征图和第三特征图，得到第四特征图，由于本申请的第四特征图是基于第二特征图和第三特征图得到的，不仅能够清楚反映绝缘子图像，并且包含着丰富的语义特征，基于该第四特征图分别输入区域候选网络和分类器，输出的绝缘子位置和绝缘子类型更加准确。
以上为本申请实施例提供的基于绝缘子图像检测模型检测绝缘子图像的方法，为了便于理解，下面提供一个基于该方法进行绝缘子图像检测的具体应用实例进行说明。
图4示出了该具体应用实例的流程示意图，该实例应用的绝缘子图像检测模型包括：特征提取网络、区域候选网络和分类器；特征提取网络中包括卷积层，且嵌有空间变换网络，该卷积层有con1、con2、con3、con4、和con5共五层。如图4所示，该应用实例可以包括：
S310，获取目标绝缘子图像。
S312，通过con3对目标绝缘子图像进行特征提取，得到第一特征图。
S314，通过空间变换网络对第一特征图进行空间变换，得到第二特征图。
下面对空间变换网络进行介绍，图5示出了空间变换网络的结构，如图5所示，其中：
本地化网络Localization net根据输入图，计算得到一个θ。
网格生成器Grid generator根据输出图的坐标点和θ，采用Tθ(G)计算出输入图的坐标点。
采样器Sampler根据输入图的坐标点和自身定义的填充规则来填充像素，形成输出图。
S316，对第二特征图进行卷积操作，卷积核的大小为1×1，得到第六特征图。
S318，通过con5对目标绝缘子图像进行特征提取，得到第三特征图。
S320，通过反卷积的方式对第三特征图不断进行上采样，得到第七特征图，采样停止条件为：第七特征图与第一特征图的尺寸相同。
S322，对第七特征图进行两次卷积操作，两次操作的卷积核分别为1×1和3×3，相应得到第八特征图和第九特征图。
S324，对第六特征图、第八特征图和第九特征图用加法进行特征融合，生成融合特征图。
融合特征图的生成流程示意图如图6所示。
S326，在第一预设卷积核下对融合特征图进行卷积，得到第四特征图。
第四特征图的生成流程示意图如图7所示。
S328，将第四特征图输入区域候选网络，输出第五特征图。
该区域候选网络的候选框是基于第四特征图中的绝缘子轮廓确定的，图10示出了该候选框的结构示意图，其中，候选框的尺度大小分别设置为8和16，长宽比设置为1:6、6:1、1:3、以及3:1，在第四特征图中的每个锚点上生成8个大小不同的候选框，图4仅示出了四个候选框，并未将全部8个候选框示出。
S330，将第四特征图输入分类器，输出第四特征图中的绝缘子类型。
本申请实施例的基于绝缘子图像检测模型检测绝缘子图像的方法及装置，首先通过特征提取网络中的第一预设卷积层对目标绝缘子图像进行特征提取，得到第一训练特征图，第一预设卷积层为低层卷积层，能够更好的检测出较小的绝缘子图像；然后通过空间变换网络对第一训练特征图进行空间变换，得到第二训练特征图，经空间变换后的训练特征图能够更好的表征绝缘子的图像特征；通过特征提取网络中的第二预设卷积层对目标绝缘子图像进行特征提取，得到第三训练特征图，第二预设卷积层为高层卷积层，包含丰富的语义特征；通过处理第二训练特征图和第三训练特征图，得到第四训练特征图，由于本申请的第四训练特征图是基于第二训练特征图和第三训练特征图得到的，不仅能够清楚反映绝缘子图像，并且包含着丰富的语义特征，基于该第四训练特征图分别输入区域候选网络和分类器，输出的绝缘子位置和绝缘子类型更加准确。
图1-7描述了基于绝缘子图像检测模型检测绝缘子图像的方法，下面结合附图8和附图9描述本申请实施例提供的装置。
图8示出了本申请一个实施例提供的绝缘子图像检测模型的训练装置的结构示意图，图8所示装置中各模块具有实现图3中各个步骤的功能，并能达到其相应技术效果，为简洁描述，在此不再赘述。如图9所示，该装置可以包括：
获取模块210，用于获取目标绝缘子图像；
第一特征提取模块220，用于通过特征提取网络中的第一预设卷积层对目标绝缘子图像进行特征提取，得到第一特征图；
空间变换模块230，还用于通过空间变换网络对第一特征图进行空间变换，得到第二特征图；
第二特征提取模块240，还用于通过特征提取网络中的第二预设卷积层对目标绝缘子图像进行特征提取，得到第三特征图；
处理模块250，用于通过处理第二特征图和第三特征图，得到第四特征图；
第一输出模块260，用于将第四特征图输入区域候选网络，输出第五特征图，第五特征图中标识有绝缘子所在的位置；
第二输出模块270，还用于将第四特征图输入分类器，输出第四特征图中的绝缘子类型。
本申请实施例的基于绝缘子图像检测模型检测绝缘子图像的装置，首先通过特征提取网络中的第一预设卷积层对目标绝缘子图像进行特征提取，得到第一特征图，第一预设卷积层为低层卷积层，能够更好的检测出较小的绝缘子图像；然后通过空间变换网络对第一特征图进行空间变换，得到第二特征图，经空间变换后的特征图能够更好的表征绝缘子的图像特征；通过特征提取网络中的第二预设卷积层对目标绝缘子图像进行特征提取，得到第三特征图，第二预设卷积层为高层卷积层，包含丰富的语义特征；通过处理第二特征图和第三特征图，得到第四特征图，由于本申请的第四特征图是基于第二特征图和第三特征图得到的，不仅能够清楚反映绝缘子图像，并且包含着丰富的语义特征，基于该第四特征图分别输入区域候选网络和分类器，输出的绝缘子位置和绝缘子类型更加准确。
图9示出了本申请一个实施例提供的基于绝缘子图像检测模型检测绝缘子图像的计算设备的结构示意图。如图9所示，该设备可以包括处理器301以及存储有计算机程序指令的存储器302。
具体地，上述处理器301可以包括中央处理器(Central Processing Unit，CPU)，或者特定集成电路(Application Specific Integrated Circuit，ASIC)，或者可以被配置成实施本申请实施例的一个或多个集成电路。
存储器302可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器302可包括硬盘驱动器(Hard Disk Drive，HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus，USB)驱动器或者两个或更多个以上这些的组合。在一个实例中，存储器302可以包括可移除或不可移除(或固定)的介质，或者存储器302是非易失性固态存储器。存储器302可在综合网关容灾设备的内部或外部。
在一个实例中，存储器302可以是只读存储器(Read Only Memory，ROM)。在一个实例中，该ROM可以是掩模编程的ROM、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、电可改写ROM(EAROM)或闪存或者两个或更多个以上这些的组合。
处理器301通过读取并执行存储器302中存储的计算机程序指令，以实现图3所示实施例中的方法/步骤S110至S170，并达到图3所示实例执行其方法/步骤达到的相应技术效果，为简洁描述在此不再赘述。
在一个示例中，该基于绝缘子图像检测模型检测绝缘子图像的计算设备还可包括通信接口303和总线300。其中，如图9所示，处理器301、存储器302、通信接口303通过总线300连接并完成相互间的通信。
通信接口303，主要用于实现本申请实施例中各模块、装置、单元和/或设备之间的通信。
总线300包括硬件、软件或两者，将在线数据流量计费设备的部件彼此耦接在一起。举例来说而非限制，总线可包括加速图形端口(Accelerated Graphics Port，AGP)或其他图形总线、增强工业标准架构(Extended Industry Standard Architecture，EISA)总线、前端总线(Front Side Bus，FSB)、超传输(Hyper Transport，HT)互连、工业标准架构(Industry Standard Architecture，ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、***组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线300可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线，但本申请考虑任何合适的总线或互连。
该基于绝缘子图像检测模型检测绝缘子图像的计算设备可以执行本申请实施例中的基于绝缘子图像检测模型检测绝缘子图像的方法的步骤，从而实现图3描述的基于绝缘子图像检测模型检测绝缘子图像的方法。
另外，结合上述实施例中的基于绝缘子图像检测模型检测绝缘子图像的方法，本申请实施例可提供一种计算机存储介质来实现。该计算机存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种基于绝缘子图像检测模型检测绝缘子图像的方法。
需要明确的是，本申请并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本申请的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本申请的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。
以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(Application SpecificIntegrated Circuit，ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本申请的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RadioFrequency，RF)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。
还需要说明的是，本申请中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或***。但是，本申请不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。
上面参考根据本公开的实施例的方法、装置(***)和计算机程序产品的流程图和/或框图描述了本公开的各方面。应当理解，流程图和/或框图中的每个方框以及流程图和/或框图中各方框的组合可以由计算机程序指令实现。这些计算机程序指令可被提供给通用计算机、专用计算机、或其它可编程数据处理装置的处理器，以产生一种机器，使得经由计算机或其它可编程数据处理装置的处理器执行的这些指令使能对流程图和/或框图的一个或多个方框中指定的功能/动作的实现。这种处理器可以是但不限于是通用处理器、专用处理器、特殊应用处理器或者现场可编程逻辑电路。还可理解，框图和/或流程图中的每个方框以及框图和/或流程图中的方框的组合，也可以由执行指定的功能或动作的专用硬件来实现，或可由专用硬件和计算机指令的组合来实现。
以上所述，仅为本申请的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的***、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。

Claims (6)

1.一种基于绝缘子图像检测模型检测绝缘子图像的方法，其特征在于，所述绝缘子图像检测模型包括特征提取网络、区域候选网络和分类器；所述特征提取网络中嵌有空间变换网络；
所述方法包括：
获取目标绝缘子图像；
通过特征提取网络中的第一预设卷积层对所述目标绝缘子图像进行特征提取，得到第一特征图；
通过所述空间变换网络对所述第一特征图进行空间变换，得到第二特征图；
通过特征提取网络中的第二预设卷积层对所述目标绝缘子图像进行特征提取，得到第三特征图；
在第一预设卷积核下对所述第二特征图进行卷积，得到第六特征图；
对所述第三特征图进行上采样，得到第七特征图，所述第七特征图与所述第一特征图的尺寸相同；
分别在所述第一预设卷积核下和第二卷积核下对所述第七特征图进行卷积，得到第八特征图和第九特征图；
对所述第六特征图、所述第八特征图和所述第九特征图用加法进行特征融合，生成融合特征图；
在所述第一预设卷积核下对所述融合特征图进行卷积，得到第四特征图；
将所述第四特征图输入所述区域候选网络，输出第五特征图，所述第五特征图中标识有绝缘子所在的位置；
将所述第四特征图输入所述分类器，输出所述第四特征图中的绝缘子类型。
2.如权利要求1所述的基于绝缘子图像检测模型检测绝缘子图像的方法，其特征在于，所述区域候选网络的候选框是基于所述第四特征图中的绝缘子轮廓确定的。
3.如权利要求1所述的基于绝缘子图像检测模型检测绝缘子图像的方法，其特征在于，所述绝缘子图像检测模型通过如下步骤训练得到：
获取训练样本集，所述训练样本集包括多个训练样本，每个所述训练样本包括绝缘子原始图像和与其对应的标签图像；
针对每个所述训练样本，分别执行以下操作：
将所述训练样本输入目标模型的特征提取网络中的第一预设卷积层，得到第一训练特征图；
将所述第一训练特征图输入所述空间变换网络，得到第二训练特征图；
将所述训练样本输入所述特征提取网络中的第二预设卷积层，得到第三训练特征图；
在第一预设卷积核下对所述第二训练特征图进行卷积，得到第六训练特征图；
对所述第三训练特征图进行上采样，得到第七训练特征图，所述第七训练特征图与所述第一训练特征图的尺寸相同；
分别在所述第一预设卷积核下和第二卷积核下对所述第七训练特征图进行卷积，得到第八训练特征图和第九训练特征图；
对所述第六训练特征图、所述第八训练特征图和所述第九训练特征图用加法进行特征融合，生成融合训练特征图；
在所述第一预设卷积核下对所述融合训练特征图进行卷积，得到第四训练特征图；
将所述第四训练特征图输入所述区域候选网络，输出第五训练特征图，所述第五训练特征图中标识有绝缘子所在的位置；
将所述第四训练特征图输入所述分类器，输出所述第四训练特征图中的绝缘子类型；
在不满足预设训练停止条件的情况下，根据各个所述第五训练特征图、所述第四训练特征图中的绝缘子类型以及其对应的标签图像，调整所述目标模型的模型参数；返回所述将所述训练样本输入目标模型的特征提取网络中的第一预设卷积层，直至满足预设训练停止条件，得到绝缘子图像检测模型。
4.一种基于绝缘子图像检测模型检测绝缘子图像的装置，其特征在于，所述绝缘子图像检测模型包括特征提取网络、区域候选网络和分类器；所述特征提取网络中嵌有空间变换网络；
所述装置包括：
获取模块，用于获取目标绝缘子图像；
第一特征提取模块，用于通过特征提取网络中的第一预设卷积层对所述目标绝缘子图像进行特征提取，得到第一特征图；
空间变换模块，用于通过所述空间变换网络对所述第一特征图进行空间变换，得到第二特征图；
第二特征提取模块，用于通过特征提取网络中的第二预设卷积层对所述目标绝缘子图像进行特征提取，得到第三特征图；
处理模块包括第一处理单元、第二处理单元以及第三处理单元；其中，所述第一处理单元，用于在第一预设卷积核下对所述第二特征图进行卷积，得到第六特征图；所述第二处理单元，用于对所述第三特征图进行上采样，得到第七特征图，所述第七特征图与所述第一特征图的尺寸相同；所述第三处理单元，具体用于分别在所述第一预设卷积核下和第二卷积核下对所述第七特征图进行卷积，得到第八特征图和第九特征图；对所述第六特征图、所述第八特征图和所述第九特征图用加法进行特征融合，生成融合特征图；在所述第一预设卷积核下对所述融合特征图进行卷积，得到第四特征图；
第一输出模块，用于将所述第四特征图输入所述区域候选网络，输出第五特征图，所述第五特征图中标识有绝缘子所在的位置；
第二输出模块，用于将所述第四特征图输入所述分类器，输出所述第四特征图中的绝缘子类型。
5.一种基于绝缘子图像检测模型检测绝缘子图像的计算设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至3中任一项所述的方法。
6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有信息传递的实现程序，所述程序被处理器执行时实现如权利要求1至3中任一项所述的方法。
CN202010852425.0A 2020-08-21 2020-08-21 基于绝缘子图像检测模型检测绝缘子图像的方法及装置 Active CN112149713B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010852425.0A CN112149713B (zh) 2020-08-21 2020-08-21 基于绝缘子图像检测模型检测绝缘子图像的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010852425.0A CN112149713B (zh) 2020-08-21 2020-08-21 基于绝缘子图像检测模型检测绝缘子图像的方法及装置

Publications (2)

Publication Number Publication Date
CN112149713A CN112149713A (zh) 2020-12-29
CN112149713B true CN112149713B (zh) 2022-12-16

Family

ID=73888315

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010852425.0A Active CN112149713B (zh) 2020-08-21 2020-08-21 基于绝缘子图像检测模型检测绝缘子图像的方法及装置

Country Status (1)

Country Link
CN (1) CN112149713B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113065575A (zh) * 2021-02-27 2021-07-02 华为技术有限公司 一种图像处理方法及相关装置
CN114399628B (zh) * 2021-12-21 2024-03-08 四川大学 复杂空间环境下的绝缘子高效检测***
CN114820567B (zh) * 2022-05-17 2024-02-13 合肥工业大学 一种基于深度学习的绝缘子检测方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107169421A (zh) * 2017-04-20 2017-09-15 华南理工大学 一种基于深度卷积神经网络的汽车驾驶场景目标检测方法
CN107977656A (zh) * 2017-12-26 2018-05-01 北京大学 一种行人重识别方法及***
CN108460649A (zh) * 2017-02-22 2018-08-28 阿里巴巴集团控股有限公司 一种图像识别方法及装置
CN110210387A (zh) * 2019-05-31 2019-09-06 华北电力大学（保定） 基于知识图谱的绝缘子目标检测方法、***、装置
CN110246209A (zh) * 2019-06-19 2019-09-17 腾讯科技（深圳）有限公司 图像处理方法及装置
CN110348319A (zh) * 2019-06-18 2019-10-18 武汉大学 一种基于人脸深度信息和边缘图像融合的人脸防伪方法
CN110516583A (zh) * 2019-08-21 2019-11-29 中科视语(北京)科技有限公司 一种车辆重识别方法、***、设备及介质
CN110909644A (zh) * 2019-11-14 2020-03-24 南京理工大学 基于强化学习的机械臂末端执行器抓取姿态调整方法及***
CN111222513A (zh) * 2019-12-31 2020-06-02 深圳云天励飞技术有限公司 车牌号码识别方法、装置、电子设备及存储介质
CN111274971A (zh) * 2020-01-21 2020-06-12 南京航空航天大学 一种基于颜色空间融合网络及空间变换网络的交通识别方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108460649A (zh) * 2017-02-22 2018-08-28 阿里巴巴集团控股有限公司 一种图像识别方法及装置
CN107169421A (zh) * 2017-04-20 2017-09-15 华南理工大学 一种基于深度卷积神经网络的汽车驾驶场景目标检测方法
CN107977656A (zh) * 2017-12-26 2018-05-01 北京大学 一种行人重识别方法及***
CN110210387A (zh) * 2019-05-31 2019-09-06 华北电力大学（保定） 基于知识图谱的绝缘子目标检测方法、***、装置
CN110348319A (zh) * 2019-06-18 2019-10-18 武汉大学 一种基于人脸深度信息和边缘图像融合的人脸防伪方法
CN110246209A (zh) * 2019-06-19 2019-09-17 腾讯科技（深圳）有限公司 图像处理方法及装置
CN110516583A (zh) * 2019-08-21 2019-11-29 中科视语(北京)科技有限公司 一种车辆重识别方法、***、设备及介质
CN110909644A (zh) * 2019-11-14 2020-03-24 南京理工大学 基于强化学习的机械臂末端执行器抓取姿态调整方法及***
CN111222513A (zh) * 2019-12-31 2020-06-02 深圳云天励飞技术有限公司 车牌号码识别方法、装置、电子设备及存储介质
CN111274971A (zh) * 2020-01-21 2020-06-12 南京航空航天大学 一种基于颜色空间融合网络及空间变换网络的交通识别方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
"Spatial Transformer Networks";Max Jaderberg等;《arXiv》;20160204;第2-4节 *
基于Faster R-CNN模型的绝缘子故障检测;陈俊杰等;《电工电气》;20200415(第04期);全文 *
基于卷积神经网络的遥感图像目标检测;欧攀等;《激光与光电子学进展》;20181007(第05期);全文 *
注意力机制和Faster RCNN相结合的绝缘子识别;赵文清等;《智能***学报》;20200131;第15卷(第01期);第1-3节 *

Also Published As

Publication number Publication date
CN112149713A (zh) 2020-12-29

Similar Documents

Publication Publication Date Title
CN112149713B (zh) 基于绝缘子图像检测模型检测绝缘子图像的方法及装置
CN109190752B (zh) 基于深度学习的全局特征和局部特征的图像语义分割方法
CN111402264B (zh) 图像区域分割方法、装置及其模型训练方法及计算机设备
CN108388896B (zh) 一种基于动态时序卷积神经网络的车牌识别方法
EP2811423B1 (en) Method and apparatus for detecting target
CN111079685B (zh) 一种3d目标检测方法
CN106683119B (zh) 基于航拍视频图像的运动车辆检测方法
CN113591967B (zh) 一种图像处理方法、装置、设备及计算机存储介质
CN102236798B (zh) 一种图像匹配方法及其装置
CN112766136B (zh) 一种基于深度学习的空间车位检测方法
CN110969166A (zh) 一种巡检场景下小目标识别方法和***
CN112336342B (zh) 手部关键点检测方法、装置及终端设备
CN111046767B (zh) 一种基于单目图像的3d目标检测方法
CN110298281B (zh) 视频结构化方法、装置、电子设备及存储介质
CN112733885A (zh) 点云识别模型的确定方法、点云识别的方法及装置
CN112927303B (zh) 一种基于车道线的自动驾驶车载相机位姿估计方法及***
CN111553414A (zh) 一种基于改进Faster R-CNN的车内遗失物体检测方法
CN113781391A (zh) 图像缺陷检测方法以及相关设备
CN113780492A (zh) 一种二维码二值化方法、装置、设备及可读存储介质
CN113723216A (zh) 一种车道线检测方法、装置、车辆及存储介质
CN110458019B (zh) 稀缺认知样本条件下的排除倒影干扰的水面目标检测方法
CN117831002A (zh) 障碍物关键点检测方法、装置、电子设备及存储介质
CN113256595A (zh) 地图创建方法、装置、设备及计算机存储介质
CN111754497B (zh) 一种基于几何代数的工业缺陷检测方法和***
CN112837384A (zh) 车辆标记方法、装置和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20231208

Address after: No. 220 Qingyuan Street, Shijiazhuang City, Hebei Province, 050011

Patentee after: China Mobile System Integration Co.,Ltd.

Patentee after: China Mobile xiongan information and Communication Technology Co.,Ltd.

Patentee after: CHINA MOBILE COMMUNICATIONS GROUP Co.,Ltd.

Patentee after: China Mobile Information System Integration Co.,Ltd.

Address before: 071700 No.88, South Aowei Road, Rongcheng County, Baoding City, Hebei Province

Patentee before: China Mobile xiongan information and Communication Technology Co.,Ltd.

Patentee before: China Mobile System Integration Co.,Ltd.

Patentee before: CHINA MOBILE COMMUNICATIONS GROUP Co.,Ltd.