CN113838056A - 一种电力设备联合检测识别方法、***、设备及存储介质 - Google Patents

一种电力设备联合检测识别方法、***、设备及存储介质 Download PDF

Info

Publication number
CN113838056A
CN113838056A CN202111429591.0A CN202111429591A CN113838056A CN 113838056 A CN113838056 A CN 113838056A CN 202111429591 A CN202111429591 A CN 202111429591A CN 113838056 A CN113838056 A CN 113838056A
Authority
CN
China
Prior art keywords
power equipment
electric power
auxiliary
main
power device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111429591.0A
Other languages
English (en)
Other versions
CN113838056B (zh
Inventor
焦飞
莫文昊
谈元鹏
蒲天骄
刘海莹
蔡常雨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Electric Power Research Institute Co Ltd CEPRI
Original Assignee
China Electric Power Research Institute Co Ltd CEPRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Electric Power Research Institute Co Ltd CEPRI filed Critical China Electric Power Research Institute Co Ltd CEPRI
Priority to CN202111429591.0A priority Critical patent/CN113838056B/zh
Publication of CN113838056A publication Critical patent/CN113838056A/zh
Application granted granted Critical
Publication of CN113838056B publication Critical patent/CN113838056B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/047Probabilistic or stochastic networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20076Probabilistic image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种电力设备联合检测识别方法、***、设备及存储介质,包括:获取电力设备的图像信息,使用旋转回归框对电力设备的图像信息中各电力设备进行标注;将标注后的电力设备的图像信息输入到训练后的网络模型中,得旋转回归框的位置信息及角度信息、主电力设备集合以及附属电力设备集合;根据旋转回归框的位置信息及角度信息将主电力设备集合中的各主电力设备与附属电力设备集合中的附属电力设备进行配对,以确定主电力设备对应的附属电力设备,完成面向图像数据的电力设备联合检测识别,该方法、***、设备及存储介质能够较为准确进行电力设备联合检测。

Description

一种电力设备联合检测识别方法、***、设备及存储介质
技术领域
本发明属于自动检测技术领域,涉及一种电力设备联合检测识别方法、***、设备及存储介质。
背景技术
我国当前正处在清洁能源转型的关键阶段,大规模清洁能源的接入对电力***的稳定性提出了更高要求。电力设备的稳定运行是电力网络安全运行的基础和保证,对电力设备状态进行实时的感知和监控对于设备状态评价、潜在隐患排查、故障实时诊断具有重要意义。近年来,电力设备特征信息的采集手段不断丰富,传统的传感技术和设备故障诊断方法难以适应电网智能化要求。
目标检测是模式识别领域的重点研究问题,近年来,基于人工智能技术,尤其是深度学习技术的图像识别和目标检测迅猛发展,目标检测模型性能显著提升,在电力设备识别、缺陷检测等领域取得了巨大突破,推动智能运检技术的发展。目前,目标检测算法主要分为三类:以Faster R-CNN、Cascade R-CNN等为代表的双阶段网络,采用RPN对默认框进行筛选,网络检测精度较高,但模型运算量较大;以SSD、YOLO等为代表的单阶段网络,直接在特征图上进行基于默认框的预测,模型结构简单,计算速度快,但在检测精度,尤其是小目标检测上效果较差;以FCOS、CornerNet等为代表的无锚框网络,不再预设默认框,在对特征图上直接回归中心点位置、检测宽高、检测框关键点等信息。
小型器件和形状特征模糊器件是电力设备检测的难点之一,容易出现漏检和错检,对其故障的检测更加困难。小型器件的运行状态直接影响电力设备运行安全,如:输电线路和变电设备的小尺寸金具。已有基于图像的目标检测技术对各类型独立进行检测,未考虑相邻检测目标的逻辑关联性,难以结合专家知识,学***标注框,这种水平的矩形框在狭长物体和旋转物体的检测上效果较差。随着目标在图像内角度的变化,水平检测框不具备旋转不变性,在特征和检测区域上引入大量噪声,影响模型的学习效果,检测结果较差。
发明内容
本发明的目的在于克服上述现有技术的缺点,提供了一种电力设备联合检测识别方法、***、设备及存储介质,该方法、***、设备及存储介质能够准确进行电力设备联合检测。
为达到上述目的,本发明采用如下技术方案:
本发明一方面,本发明提供了一种电力设备联合检测识别方法,包括:
获取待识别电力设备的图像信息;
将待识别电力设备的图像信息输入到训练后的网络模型中,得旋转回归框的位置信息及角度信息、主电力设备集合以及附属电力设备集合,其中,所述网络模型通过旋转回归框标注后的电力设备的图像样本训练而成;
根据旋转回归框的位置信息及角度信息将主电力设备集合中的各主电力设备与附属电力设备集合中的附属电力设备进行配对,以确定主电力设备对应的附属电力设备,完成面向图像数据的电力设备联合检测识别。
本发明所述电力设备联合检测识别方法的进一步改进在于:
所述方法还包括:使用旋转回归框对电力设备的图像样本中的各电力设备进行标注,其中,旋转回归框的标注方向与电力设备的形状方向保持一致,同时建立主电力设备以及附属电力设备的关联关系标注。
所述网络模型包括基于注意力机制的特征提取网络、多任务检测网络、方向向量预测分支以及角度预测分支,其中,角度预测分支由可变形卷积模块及第一卷积模块拼接而成,所述方向向量预测分支包括第二卷积模块。
角度预测分支对应的损失函数为:
Figure 883788DEST_PATH_IMAGE001
其中,
Figure 586165DEST_PATH_IMAGE002
为第i个旋转回归框的标注旋转角度,
Figure 416718DEST_PATH_IMAGE003
为第i个旋转回归框的预测角 度,
Figure 597163DEST_PATH_IMAGE004
为旋转回归框的长宽比,
Figure 462351DEST_PATH_IMAGE005
Figure 586163DEST_PATH_IMAGE006
为超参数。
根据旋转回归框的位置信息及角度信息将主电力设备集合中的各主电力设备与附属电力设备集合中的附属电力设备进行配对,以确定主电力设备对应的附属电力设备的具体过程为:
根据旋转回归框的位置信息及角度信息将主电力设备集合中的各主电力设备与附属电力设备集合中的附属电力设备进行配对,基于电力专业知识关联距离的电力设备配对算法,以确定主电力设备对应的附属电力设备。
根据旋转回归框的位置信息及角度信息将主电力设备集合中的各主电力设备与附属电力设备集合中的附属电力设备进行配对,以确定主电力设备对应的附属电力设备的具体过程为:
根据旋转回归框的位置信息及角度信息,计算主电力设备与附属电力设备集合中各附属电力设备之间的关联距离;
选取关联距离最近的
Figure 904012DEST_PATH_IMAGE007
个附属电力设备作为该主电力设备对应的附属电力设 备。
主电力设备
Figure 888149DEST_PATH_IMAGE008
与附属电力设备
Figure 607843DEST_PATH_IMAGE009
的关联距离
Figure 652022DEST_PATH_IMAGE010
为:
Figure 457167DEST_PATH_IMAGE011
Figure 244995DEST_PATH_IMAGE012
其中,
Figure 819196DEST_PATH_IMAGE013
为主电力设备M及附属电力设备D的关联性偏置,
Figure 34276DEST_PATH_IMAGE014
为主电力设备
Figure 61138DEST_PATH_IMAGE015
对应旋转回归框的中心与附属电力设备
Figure 652657DEST_PATH_IMAGE016
对应旋转回归框的中心点之间的欧氏距 离,
Figure 81364DEST_PATH_IMAGE017
为主电力设备
Figure 467346DEST_PATH_IMAGE018
对应旋转回归框的中心到附属电力设备
Figure 247083DEST_PATH_IMAGE019
对应旋转回归框的中 心的方向向量的垂直距离,
Figure 376713DEST_PATH_IMAGE020
之间距离对应的权重超参数,
Figure 158462DEST_PATH_IMAGE021
为主 设备
Figure 980924DEST_PATH_IMAGE022
在当前图像中的宽度,
Figure 982379DEST_PATH_IMAGE023
为主设备
Figure 650120DEST_PATH_IMAGE024
在当前图像中的高度。
本发明二方面,本发明提供了一种电力设备联合检测识别***,包括:
标注模块,用于获取待识别电力设备的图像信息;
计算模块,用于将待识别电力设备的图像信息输入到训练后的网络模型中,得旋转回归框的位置信息及角度信息、主电力设备集合以及附属电力设备集合,其中,所述网络模型通过旋转回归框标注后的电力设备的图像样本训练而成;
配对模块,用于根据旋转回归框的位置信息及角度信息将主电力设备集合中的各主电力设备与附属电力设备集合中的附属电力设备进行配对,以确定主电力设备对应的附属电力设备,完成面向图像数据的电力设备联合检测识别。
本发明三方面,本发明提供了一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现所述电力设备联合检测识别方法的步骤。
本发明四方面,本发明提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现所述电力设备联合检测识别方法的步骤。
本发明具有以下有益效果:
本发明所述的电力设备联合检测识别方法、***、设备及存储介质在具体操作时,使用旋转回归框对电力设备的图像样本中各电力设备进行标注,其中,旋转回归框具备旋转可变性,从而避免在特征和检测区域上引入噪声,并且避免传统水平检测框对检测目标形状适应性较差的问题,从而提高网络模型检测识别的准确性,继而提高检测结果的准确性,然后根据旋转回归框的位置信息及角度信息将主电力设备集合中的各主电力设备与附属电力设备集合中的附属电力设备进行配对,以确定主电力设备对应的附属电力设备,实现电力设备的联合检测,方便、简单,实用性极强。
进一步,角度预测分支对应的损失函数中考虑旋转回归框的长宽比,以提高旋转回归框角度预测的准确性。
进一步,基于电力专业知识关联距离的电力设备配对算法,确定主电力设备对应的附属电力设备,以提升召回率。
附图说明
图1为本发明的原理图;
图2为本发明的方法流程图;
图3为本发明的***结构图;
图4为仿真实验一中标注旋转回归框后的示意图;
图5为仿真实验一的检测结果图;
图6a为仿真实验二的一处效果图;
图6b为仿真实验二的另一处效果图;
图6c为仿真实验二的另一处效果图;
图6d为仿真实验二的另一处效果图;
图6e为仿真实验二的另一处效果图;
图6f为仿真实验二的另一处效果图;
图6g为仿真实验二的另一处效果图;
图6h为仿真实验二的另一处效果图;
图6i为仿真实验二的另一处效果图;
图6j为仿真实验二的另一处效果图。
其中,1为标注模块、2为计算模块、3为配对模块。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,不是全部的实施例,而并非要限制本发明公开的范围。此外,在以下说明中,省略了对公知结构和技术的描述,以避免不必要的混淆本发明公开的概念。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
在附图中示出了根据本发明公开实施例的结构示意图。这些图并非是按比例绘制的,其中为了清楚表达的目的,放大了某些细节,并且可能省略了某些细节。图中所示出的各种区域、层的形状及它们之间的相对大小、位置关系仅是示例性的,实际中可能由于制造公差或技术限制而有所偏差,并且本领域技术人员根据实际所需可以另外设计具有不同形状、大小、相对位置的区域/层。
参考图1及图2,本发明所述的面向图像数据的电力设备联合检测识别方法包括以下步骤:
1)获取电力设备的图像样本,使用旋转回归框对电力设备进行标注,使用标注后的电力设备的图像样本对网络模型进行训练;
11)考虑网络模型对分辨率要求及检测目标尺寸,在保持原图尺寸不变情况下,以较小方向像素尺寸为608进行图像缩放,形成若干规定尺寸的图像样本。
旋转回归框的标注采用五参数标注法,即对于任意旋转回归框,使用
Figure 53420DEST_PATH_IMAGE025
进行标注及保存,其中,
Figure 46784DEST_PATH_IMAGE026
为旋转回归框中心点的横坐标,
Figure 269955DEST_PATH_IMAGE027
为旋转回归框 中心点的纵坐标,
Figure 6966DEST_PATH_IMAGE028
为旋转回归框的宽度,
Figure 264772DEST_PATH_IMAGE029
为旋转回归框的高度,
Figure 163458DEST_PATH_IMAGE030
为旋转回归框的旋转 角度,考虑角度的周期性及宽高的可替换性,设定:旋转回归框的宽度
Figure 139504DEST_PATH_IMAGE031
为矩形的长边,旋 转回归框的高度
Figure 414628DEST_PATH_IMAGE032
为矩形的短边;旋转回归框的旋转角度
Figure 526941DEST_PATH_IMAGE030
为图像的纵轴正方向与矩形的 任意长边顺时针形成的夹角
Figure 862107DEST_PATH_IMAGE033
;旋转回归框标注方向与电力设备的形状方向保 持一致,同时建立主电力设备以及附属电力设备的关联关系标注,对于部分因为遮挡无法 体现特征的目标,仍按照其形状结构进行完整标注。
12)利用图像样本对网络模型进行训练;
具体过程为:对图像样本进行预处理,预处理的方式包括图像尺寸映射、随机翻转 及数据拼接融合,根据预设均值和方差对图像样本进行归一化处理,得尺寸为
Figure 59870DEST_PATH_IMAGE034
的输入数据,然后输入到网络模型中进行训练,得训练后的网络模型,所述 网络模型包括特征提取网络、多任务检测网络、方向向量预测分支及角度预测分支。
特征提取网络使用引入注意力机制的Hourglass网络,特征提取网络由一组串联的不同特征尺寸的Hourglass模块组成,下一个Hourglass模块的分辨率为上一个Hourglass模块的分辨率的一半,分辨率较高的Hourglass模块倾向于较小样本的特征提取,分辨率较低的Hourglass模块倾向于较大型目标的特征提取,同时结合不同尺寸下的空间注意力网络分支实现关注区域的自动生成及特征信息增强。
对于待提取的特征层
Figure 138685DEST_PATH_IMAGE035
,其注意力层
Figure 604039DEST_PATH_IMAGE036
为:
Figure 844527DEST_PATH_IMAGE037
(1)
其中,
Figure 795166DEST_PATH_IMAGE038
为批标准化层,即
Figure 677671DEST_PATH_IMAGE039
(2)
Figure 764576DEST_PATH_IMAGE040
(3)
Figure 175965DEST_PATH_IMAGE041
(4)
Figure 348321DEST_PATH_IMAGE042
(5)
Figure 768938DEST_PATH_IMAGE043
为卷积核为1x1尺寸的标准卷积层;
Figure 710349DEST_PATH_IMAGE044
为卷积核为 3x3的空洞卷积层,即
Figure 558219DEST_PATH_IMAGE045
(6)
将注意力层结果与特征层
Figure 217871DEST_PATH_IMAGE046
逐点相乘后,得一组分辨率不同的特征图集合。
所述多任务检测网络包括中心点及类别分支、中心点偏置分支、宽高尺寸分支及回归角度分支。
中心点和类别分支的长宽与特征图相同,深度为待检测的类别,对于提取得到的 特征图,通过2个3x3的卷积网络回归及Softmax函数得到检测结果,通过一个3x3的非极大 值抑制计算,按照各点的得分进行排序,并将排序结果作为最终输出的旋转回归框,为建立 真实检测框和特征图的对应关系,使用高斯核建立真实检测框的热图
Figure 911020DEST_PATH_IMAGE047
;
Figure 972517DEST_PATH_IMAGE048
(7)
其中,
Figure 991289DEST_PATH_IMAGE049
为输入图像的尺寸,R为最终特征层的收缩比例,
Figure 872657DEST_PATH_IMAGE050
为用于调整特 征图上标注区域的超参数;当同一个特征点被包括在多个高斯核中,则采用其中的最高值 作为其特征值。
中心点偏置及宽高预测网络深度均为2,通过2个3x3的卷积网络回归得到,全部类别共享预测结果,在训练中,仅在有真实目标中心点的位置设置宽高及偏置的预测值,其余位置填充为零。
所述方向向量预测分支包括一组3x3的第二卷积模块,用于预测各附属电力设备对应旋转回归框的中心点到主电力设备对应旋转回归框中心点的方向向量,所述方向向量用于附属电力设备的从属性判断,主电力设备及无对应主电力设备的附属电力设备处的方向向量为零。
所述角度预测分支包括一个3x3的可变形卷积模块及一个3x3的第一卷积模块结合,用于增强对旋转目标的适应性,可变形卷积模型通过预测每个特征点对应的所有卷积点的位置偏移,使卷积核自由在特征图上提取任意特征,对异构物体、旋转目标等复杂检测结果具备更好的适应性。
考虑到角度对目标检测精度的影响权重较大及线性角度回归与检测框交并比不统一的问题,本发明提出一种基于目标框长宽比的角度预测损失函数AR L1 Loss,即,
Figure 133612DEST_PATH_IMAGE051
Figure 49615DEST_PATH_IMAGE051
(8)
其中,
Figure 239288DEST_PATH_IMAGE052
为第i个旋转回归框的标注旋转角度,
Figure 873532DEST_PATH_IMAGE053
为第i个旋转回归框的预测角 度,
Figure 174063DEST_PATH_IMAGE054
为旋转回归框的长宽比,b及
Figure 944573DEST_PATH_IMAGE055
为超参数,
Figure 305147DEST_PATH_IMAGE056
2)获取待识别电力设备的图像信息;
3)将待识别电力设备的图像信息输入到训练后的网络模型中,得旋转回归框的位置信息及角度信息、主电力设备集合以及附属电力设备集合;
4)根据旋转回归框的位置信息及角度信息将主电力设备集合中的各主电力设备与附属电力设备集合中的附属电力设备进行配对,以确定主电力设备对应的附属电力设备,完成面向图像数据的电力设备联合检测识别。
步骤4)的具体过程为:
根据旋转回归框的位置信息及角度信息将主电力设备集合中的各主电力设备与附属电力设备集合中的附属电力设备进行配对,基于电力专业知识关联距离(CorrelationDistance, CoD)的电力设备配对算法,以确定主电力设备对应的附属电力设备。
根据电力专业知识构建各主电力设备与其附属电力设备的分布规则,包括从属设 备数量
Figure 161108DEST_PATH_IMAGE057
及关联性偏置
Figure 265330DEST_PATH_IMAGE058
等。
对于主电力设备M及其附属电力设备D,构建集合
Figure 155926DEST_PATH_IMAGE059
Figure 687401DEST_PATH_IMAGE060
Figure 30658DEST_PATH_IMAGE061
,其中,
Figure 672992DEST_PATH_IMAGE062
为第p个主电力设备 对应旋转回归框的中心点,
Figure 418094DEST_PATH_IMAGE063
为第q个附属电力设备对应旋转回归框的中心点,
Figure 120471DEST_PATH_IMAGE064
为第q个附属电力设备的方向向量预测结果,则主电力设备
Figure 951023DEST_PATH_IMAGE065
与附属电力设备
Figure 635864DEST_PATH_IMAGE066
的关联距离
Figure 501051DEST_PATH_IMAGE067
为:
Figure 374329DEST_PATH_IMAGE068
(9)
Figure 426599DEST_PATH_IMAGE069
(10)
Figure 676315DEST_PATH_IMAGE070
(11)
Figure 396009DEST_PATH_IMAGE071
(12)
其中,
Figure 440189DEST_PATH_IMAGE072
为主电力设备M及附属电力设备D的关联性偏置,当
Figure 979754DEST_PATH_IMAGE072
越大,则主电力 设备M及附属电力设备D的关联性越弱;
Figure 33161DEST_PATH_IMAGE073
为主电力设备M对应旋转回归框的中心点与附属 电力设备D对应旋转回归框的中心点之间的欧氏距离;
Figure 607362DEST_PATH_IMAGE074
为主电力设备M对应旋转回归框 的中心点到附属电力设备D对应旋转回归框的中心点的方向向量的垂直距离,
Figure 556863DEST_PATH_IMAGE075
之间距离对应的权重超参数,
Figure 849304DEST_PATH_IMAGE076
为主设备
Figure 175243DEST_PATH_IMAGE077
在当前图像中的宽 度,
Figure 869530DEST_PATH_IMAGE078
为主设备
Figure 255512DEST_PATH_IMAGE079
在当前图像中的高度。
确定主电力设备
Figure 268205DEST_PATH_IMAGE077
对应的关联距离最近的
Figure 397835DEST_PATH_IMAGE080
个附属电力设备D,将关联距离 最近的
Figure 946628DEST_PATH_IMAGE080
个附属电力设备D作为主电力设备的附属电力设备,完成面向图像数据的电力 设备联合检测识别。
仿真实验一
变压器广泛存在于电力***中,变压器能否稳定运行直接影响着电力***的运行安全,对变压器运行状态的检测及故障分析预判具有重要的实际价值。在实际工作环境下,由于背景混乱、相邻设备与线路干扰等因素,变压器及其附属设备的检测难度较大,容易出现漏检和误检的情况。
参考图4,本发明首先采集变电站变压器及其附属设备的图像,针对变压器本体、绝缘套管、油枕、呼吸器和散热器等设备进行旋转回归框标注,并建立相关附属设备与变压器本体的关联关系标注,其中,变压器本体的标注需包油枕、冷却器在内的全部附属设备区域,绝缘套管的标注方向以与输电线路相连的方向为头方向,然后,将整合标注好的数据送入网络模型进行训练,考虑到样本中设备的尺寸,设置三个串联的Hourglass模块作为特征提取器,并分别连接注意力网络层,各注意力层独立训练和预测。特征提取结果输送至输出全部类型设备的检测结果。最后,进行变压器本体及其相关设备的联合检测,考虑到变压器本体结构特点,一个变压器应识别到对应的油枕、散热器、呼吸器不超过一个,套管不超过8个,基于以上特征进一步进行检测结果的筛选,参考图5。
经过实验,本发明通过变压器相关设备的联合学习,有效提升了各类设备的识别准确率,通过方向自适应检测实现套管、油枕等设备的精细化检测,可有效减少背景信息的干扰。
仿真实验二
本仿真实验针对输电杆塔及阴影进行联合检测,具体过程为:
首先,收集输电杆塔及其阴影的影像数据,并使用旋转回归框进行标注,考虑后续模型对分辨率要求和检测目标尺寸,在保持原图尺寸不变情况下以较小方向像素尺寸为608进行图像缩放,形成若干规定尺寸的图像样本。
旋转回归框的标注采用五参数标注法,即对于任意旋转回归框,使用
Figure 706774DEST_PATH_IMAGE081
标注及保存,其中,
Figure 708228DEST_PATH_IMAGE082
为旋转框中心点横坐标、
Figure 641549DEST_PATH_IMAGE083
为旋转框中心点纵坐标、
Figure 44848DEST_PATH_IMAGE084
为旋转框宽度、
Figure 38212DEST_PATH_IMAGE085
为旋转框高度、
Figure 261383DEST_PATH_IMAGE086
为旋转框旋转角度。考虑角度的周期性和宽高的可替换 性,设置以下规则保证标注结果唯一且训练结果不产生歧义:设旋转回归框的宽度
Figure 998395DEST_PATH_IMAGE084
为矩 形的长边,旋转回归框的高度
Figure 256201DEST_PATH_IMAGE085
为矩形的短边;旋转回归框的旋转角度
Figure 154887DEST_PATH_IMAGE086
为图像的纵轴正方 向与矩形的任意长边顺时针形成的夹角,
Figure 130933DEST_PATH_IMAGE087
;旋转回归框标注的方向与输电杆塔 及其阴影的顶部朝向保持一致,对于部分因为遮挡无法体现特征的目标,仍按照其形状结 构进行完整标注。
依据标注数据对模型进行训练,对原始图片进行预处理,包括:图像尺寸映射、随 机翻转及数据拼接融合等。根据给定的均值和方差对数据进一步进行归一化处理,得到尺 寸为
Figure 904592DEST_PATH_IMAGE088
的输入数据,送入网络模型进行训练,如图1所示,网络模型分为特征提 取网络和多任务检测网络两部分,分别负责高维特征提取和检测参数的回归。
特征提取网络使用引入注意力机制的Hourglass网络,由两个串联的不同特征尺寸的Hourglass模块组成。考虑到输电杆塔和阴影的数据分布具有明显特征,阴影面积和长宽比都大于杆塔本体,建立了两个不同尺寸的特征网络,分辨率较高的网络分支倾向于杆塔本体中较小样本的特征提取,分辨率较低的网络分支复杂较大型目标的特征提取,并结合不同尺寸下的空间注意力网络分支实现关注区域的自动生成和特征信息增强。
对于待提取的特征层
Figure 16904DEST_PATH_IMAGE035
,其注意力层
Figure 352070DEST_PATH_IMAGE089
为:
Figure 549834DEST_PATH_IMAGE037
(1)
其中,
Figure 628648DEST_PATH_IMAGE038
为批标准化层,即
Figure 595467DEST_PATH_IMAGE090
(2)
Figure 101535DEST_PATH_IMAGE091
(3)
Figure 786594DEST_PATH_IMAGE092
(4)
Figure 403520DEST_PATH_IMAGE093
(5)
其中,
Figure 490425DEST_PATH_IMAGE094
为卷积核为1x1尺寸的标准卷积层;
Figure 167394DEST_PATH_IMAGE095
为卷积 核为3x3的空洞卷积层,即
Figure 339749DEST_PATH_IMAGE096
(6)
注意力层的结果与特征层
Figure 760366DEST_PATH_IMAGE046
逐点相乘后,输出一组分辨率不同的特征图集合,用 于多任务分支回归。多任务分支网络包括四部分:中心点及类别分支、中心点偏置分支、宽 高尺寸分支和回归角度分支。各部分在多尺度特征图上独立进行计算,分别对小目标和大 尺寸目标进行检测。
中心点和类别尺寸分支长宽与特征图相同,深度为需检测的类别。对于提取得到 的特征图,通过2个3x3的卷积网络回归和Softmax函数得到检测结果,通过一个3x3的非极 大值抑制计算,按照各点的得分进行排序,作为最终输出的回归框。为建立真实检测框和特 征图的对应关系,使用高斯核建立真实检测框的热图
Figure 701777DEST_PATH_IMAGE097
,其中,
Figure 549648DEST_PATH_IMAGE098
(7)
其中,其中,
Figure 209299DEST_PATH_IMAGE099
为输入图像的尺寸,R为最终特征层的收缩比例,
Figure 666563DEST_PATH_IMAGE100
为用于 调整特征图上标注区域的超参数,如果同一个特征点被包括在多个高斯核中,则采用其中 的最高值作为其特征值。
中心点偏置和宽高预测网络深度均为2,通过2个3x3的卷积网络回归得到,全部类别共享预测结果,在训练中,仅在有真实目标中心点的位置设置宽高及偏置预测值,其余位置填充为零,亦不参与训练。
角度预测采用一个3x3的可变形卷积模块和一个3x3的卷积模块结合,增强对旋转目标的适应性。可变形卷积通过预测每个特征点对应的所有卷积点的位置偏移,使卷积核可以自由在特征图上提取任意特征,对异构物体、旋转目标等复杂检测结果具备更好的适应性。
考虑到角度对目标检测精度的影响权重较大和线性角度回归与检测框交并比不统一的问题,本发明提出一种基于目标框长宽比的角度预测损失函数AR L1 Loss:
Figure 728060DEST_PATH_IMAGE101
(8)
其中,
Figure 481252DEST_PATH_IMAGE102
为第i个旋转回归框的标注旋转角度,
Figure 628200DEST_PATH_IMAGE103
为第i个旋转回归框的预测角 度,
Figure 390620DEST_PATH_IMAGE104
为旋转回归框的长宽比,b及
Figure 306623DEST_PATH_IMAGE055
为超参数,
Figure 496296DEST_PATH_IMAGE105
最后,根据输电杆塔与阴影的一一对应关系和空间近邻性,提出一种基于中心点 距离的输电杆塔和阴影配对算法,对于有确定关联性的两种电力设备
Figure 864960DEST_PATH_IMAGE106
,将网络检 测结果划分为集合
Figure 165492DEST_PATH_IMAGE107
,其中,
Figure 201581DEST_PATH_IMAGE108
为第i
Figure 562155DEST_PATH_IMAGE109
类设备中心 点,
Figure 418115DEST_PATH_IMAGE110
为第j
Figure 522338DEST_PATH_IMAGE111
类设备中心点。依次找出集合TS中距离最近的一组点
Figure 412933DEST_PATH_IMAGE112
,并将其 从集合中取出,作为一对目标保留,直至集合TS没有元素,或TS中距离最近的点的距离 超过设定的阈值超参数。
参考图6a至图6j,本发明可实现遥感影像下输电杆塔及其类型的有效识别,检测准确率和AP均在90%以上,较好的解决了前后景分离困难和类型信息模糊的问题。同时,本发明可在区域输电线路统计,偏远地区杆塔防倾倒与运维管理,输电线路及杆塔施工作业等场景下发挥重要作用,具有实际应用价值。
实施例二
参考图3,本发明所述电力设备联合检测识别***包括:
标注模块1,用于获取待识别电力设备的图像信息;
计算模块2,用于将待识别电力设备的图像信息输入到训练后的网络模型中,得旋转回归框的位置信息及角度信息、主电力设备集合以及附属电力设备集合,其中,所述网络模型通过旋转回归框标注后的电力设备的图像样本训练而成;
配对模块3,用于根据旋转回归框的位置信息及角度信息将主电力设备集合中的各主电力设备与附属电力设备集合中的附属电力设备进行配对,以确定主电力设备对应的附属电力设备,完成面向图像数据的电力设备联合检测识别。
实施例三
一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现所述电力设备联合检测识别方法的步骤,其中,所述存储器可能包含内存,例如高速随机存储器,也可能还包括非易失性存储器,例如,至少一个磁盘存储器等;处理器、网络接口、存储器通过内部总线互相连接,该内部总线可以是工业标准体系结构总线、外设部件互连标准总线、扩展工业标准结构总线等,总线可以分为地址总线、数据总线、控制总线等。存储器用于存放程序,具体地,程序可以包括程序代码、所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器,并向处理器提供指令和数据。
实施例四
一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现所述电力设备联合检测识别方法的步骤,具体地,所述计算机可读存储介质包括但不限于例如易失性存储器和/或非易失性存储器。所述易失性存储器可以包括随机存储存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器可以包括只读存储器(ROM)、硬盘、闪存、光盘、磁盘等。
本领域内的技术人员应明白,本申请的实施例可提供为方法、***、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
最后应当说明的是:以上实施例仅用以说明本发明的技术方案而非对其限制,尽管参照上述实施例对本发明进行了详细的说明,所属领域的普通技术人员应当理解:依然可以对本发明的具体实施方式进行修改或者等同替换,而未脱离本发明精神和范围的任何修改或者等同替换,其均应涵盖在本发明的权利要求保护范围之内。

Claims (10)

1.一种电力设备联合检测识别方法,其特征在于,包括:
获取待识别电力设备的图像信息;
将待识别电力设备的图像信息输入到训练后的网络模型中,获得旋转回归框的位置信息及角度信息、主电力设备集合以及附属电力设备集合,其中,所述网络模型通过旋转回归框标注后的电力设备的图像样本训练而成;
根据旋转回归框的位置信息及角度信息将主电力设备集合中的各主电力设备与附属电力设备集合中的附属电力设备进行配对,以确定主电力设备对应的附属电力设备,完成面向图像数据的电力设备联合检测识别。
2.根据权利要求1所述的电力设备联合检测识别方法,其特征在于,所述方法还包括:
使用旋转回归框对电力设备的图像样本中的各电力设备进行标注,其中,旋转回归框的标注方向与电力设备的形状方向保持一致,同时建立主电力设备以及附属电力设备的关联关系标注。
3.根据权利要求1所述的电力设备联合检测识别方法,其特征在于,所述网络模型包括基于注意力机制的特征提取网络、多任务检测网络、方向向量预测分支以及角度预测分支,其中,所述角度预测分支由可变形卷积模块及第一卷积模块拼接而成,所述方向向量预测分支包括第二卷积模块。
4.根据权利要求3所述的电力设备联合检测识别方法,其特征在于,角度预测分支对应的损失函数为:
Figure 677490DEST_PATH_IMAGE001
其中,
Figure 88880DEST_PATH_IMAGE002
为第i个旋转回归框的标注旋转角度,
Figure 261235DEST_PATH_IMAGE003
为第i个旋转回归框的预测角度,
Figure 416273DEST_PATH_IMAGE004
为旋转回归框的长宽比,
Figure 623263DEST_PATH_IMAGE005
Figure 205554DEST_PATH_IMAGE006
为超参数。
5.根据权利要求1所述的电力设备联合检测识别方法,其特征在于,所述根据旋转回归框的位置信息及角度信息将主电力设备集合中的各主电力设备与附属电力设备集合中的附属电力设备进行配对,以确定主电力设备对应的附属电力设备的具体过程为:
基于电力专业知识关联距离的电力设备配对算法,根据旋转回归框的位置信息及角度信息将主电力设备集合中的各主电力设备与附属电力设备集合中的附属电力设备进行配对,以确定主电力设备对应的附属电力设备。
6.根据权利要求1所述的电力设备联合检测识别方法,其特征在于,所述根据旋转回归框的位置信息及角度信息将主电力设备集合中的各主电力设备与附属电力设备集合中的附属电力设备进行配对,以确定主电力设备对应的附属电力设备的具体过程为:
根据旋转回归框的位置信息及角度信息,计算主电力设备与附属电力设备集合中各附属电力设备之间的关联距离;
选取关联距离最近的
Figure 130785DEST_PATH_IMAGE007
个附属电力设备作为该主电力设备对应的附属电力设备。
7.根据权利要求6所述的电力设备联合检测识别方法,其特征在于,主电力设备
Figure 89514DEST_PATH_IMAGE008
与 附属电力设备
Figure 151011DEST_PATH_IMAGE009
的关联距离
Figure 169782DEST_PATH_IMAGE010
为:
Figure 316730DEST_PATH_IMAGE011
Figure 547991DEST_PATH_IMAGE012
其中,
Figure 729574DEST_PATH_IMAGE013
为主电力设备M及附属电力设备D的关联性偏置,
Figure 919247DEST_PATH_IMAGE014
为主电力设备
Figure 553490DEST_PATH_IMAGE015
对应 旋转回归框的中心与附属电力设备
Figure 854022DEST_PATH_IMAGE016
对应旋转回归框的中心点之间的欧氏距离,
Figure 123067DEST_PATH_IMAGE017
为主 电力设备
Figure 483641DEST_PATH_IMAGE018
对应旋转回归框的中心到附属电力设备
Figure 605181DEST_PATH_IMAGE019
对应旋转回归框的中心的方向向 量的垂直距离,
Figure 443824DEST_PATH_IMAGE020
之间距离对应的权重超参数,
Figure 334419DEST_PATH_IMAGE021
为主设备
Figure 865895DEST_PATH_IMAGE022
在 当前图像中的宽度,
Figure 209151DEST_PATH_IMAGE023
为主设备
Figure 117064DEST_PATH_IMAGE024
在当前图像中的高度。
8.一种电力设备联合检测识别***,其特征在于,包括:
标注模块,用于获取待识别电力设备的图像信息;
计算模块,用于将待识别电力设备的图像信息输入到训练后的网络模型中,得旋转回归框的位置信息及角度信息、主电力设备集合以及附属电力设备集合,其中,所述网络模型通过旋转回归框标注后的电力设备的图像样本训练而成;
配对模块,用于根据旋转回归框的位置信息及角度信息将主电力设备集合中的各主电力设备与附属电力设备集合中的附属电力设备进行配对,以确定主电力设备对应的附属电力设备,完成面向图像数据的电力设备联合检测识别。
9.一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述电力设备联合检测识别方法的步骤。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述电力设备联合检测识别方法的步骤。
CN202111429591.0A 2021-11-29 2021-11-29 一种电力设备联合检测识别方法、***、设备及存储介质 Active CN113838056B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111429591.0A CN113838056B (zh) 2021-11-29 2021-11-29 一种电力设备联合检测识别方法、***、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111429591.0A CN113838056B (zh) 2021-11-29 2021-11-29 一种电力设备联合检测识别方法、***、设备及存储介质

Publications (2)

Publication Number Publication Date
CN113838056A true CN113838056A (zh) 2021-12-24
CN113838056B CN113838056B (zh) 2022-03-01

Family

ID=78971866

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111429591.0A Active CN113838056B (zh) 2021-11-29 2021-11-29 一种电力设备联合检测识别方法、***、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113838056B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110458005A (zh) * 2019-07-02 2019-11-15 重庆邮电大学 一种基于多任务渐进配准网络的旋转不变人脸检测方法
EP3623882A1 (en) * 2018-09-13 2020-03-18 Siemens Aktiengesellschaft Identifying type and alignment of a workpiece
CN111382687A (zh) * 2020-03-05 2020-07-07 平安科技(深圳)有限公司 人脸检测方法及***
CN111414931A (zh) * 2019-12-31 2020-07-14 杭州电子科技大学 一种基于图像深度的多分支多尺度小目标检测方法
CN112542800A (zh) * 2020-11-24 2021-03-23 广西电网有限责任公司电力科学研究院 一种输电线路故障识别的方法及其***
CN113158789A (zh) * 2021-03-15 2021-07-23 华南理工大学 一种遥感图像的目标检测方法、***、装置及介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3623882A1 (en) * 2018-09-13 2020-03-18 Siemens Aktiengesellschaft Identifying type and alignment of a workpiece
CN110458005A (zh) * 2019-07-02 2019-11-15 重庆邮电大学 一种基于多任务渐进配准网络的旋转不变人脸检测方法
CN111414931A (zh) * 2019-12-31 2020-07-14 杭州电子科技大学 一种基于图像深度的多分支多尺度小目标检测方法
CN111382687A (zh) * 2020-03-05 2020-07-07 平安科技(深圳)有限公司 人脸检测方法及***
CN112542800A (zh) * 2020-11-24 2021-03-23 广西电网有限责任公司电力科学研究院 一种输电线路故障识别的方法及其***
CN113158789A (zh) * 2021-03-15 2021-07-23 华南理工大学 一种遥感图像的目标检测方法、***、装置及介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘钦: "基于大数据的电力设备数据融合与应用", 《信息化建设》 *

Also Published As

Publication number Publication date
CN113838056B (zh) 2022-03-01

Similar Documents

Publication Publication Date Title
CN106127204B (zh) 一种全卷积神经网络的多方向水表读数区域检测算法
CN109712118A (zh) 一种基于Mask RCNN的变电站隔离开关检测识别方法
CN108734143A (zh) 一种巡检机器人的基于双目视觉的输电线路在线检测方法
CN108710913A (zh) 一种基于深度学习的开关柜图像开关状态自动识别方法
CN111898432B (zh) 一种基于改进YOLOv3算法的行人检测***及方法
US11810348B2 (en) Method for identifying power equipment targets based on human-level concept learning
CN109784375A (zh) 基于Faster RCNN的自适应变压器部件检测识别方法
CN113902792A (zh) 基于改进RetinaNet网络的建筑物高度检测方法、***和电子设备
Tian et al. Research on flower image classification method based on YOLOv5
Zhao et al. G3DOA: Generalizable 3D descriptor with overlap attention for point cloud registration
CN114219753A (zh) 一种基于深度学习的电力设备表面缺陷检测方法及终端
CN113838056B (zh) 一种电力设备联合检测识别方法、***、设备及存储介质
CN116205905B (zh) 基于移动端的配电网施工安全及质量图像检测方法及***
Zhang et al. Recognition and detection of wolfberry in the natural background based on improved YOLOv5 network
CN116912774A (zh) 一种基于边缘计算的输变电设备红外图像目标识别方法、电子装置及存储介质
CN112818836B (zh) 一种变电站场景的人员目标检测方法及***
Wang et al. Research on surface defect detection of disc harrow based on YOLOv5
Feng et al. Recognition of insulator based on yolov5 algorithm
Chen et al. Smart Grid Image Recognition Based on Neural Network and SIFT Algorithm
Wang et al. Leakage Detection and Identification of Power Plant Pipelines Based on Improved Faster RCNN
Lu et al. MStrans: Multiscale Vision Transformer for Aerial Objects Detection
Hong et al. Target Registration of Electric Power Installation Based on Hybrid Network Model Under the Application of Intelligent Inspection Application
Liao Road Damage Intelligent Detection with Deep Learning Techniques
Wu et al. Liquid Drip Detection in Power Plant based on Machine Vision
Dong et al. PLPD-SLAM: Point-Line-Plane-Based RGB-D SLAM for Dynamic Environments

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant