CN116993681A - 一种变电站巡检缺陷检测方法及*** - Google Patents

一种变电站巡检缺陷检测方法及*** Download PDF

Info

Publication number
CN116993681A
CN116993681A CN202310825936.7A CN202310825936A CN116993681A CN 116993681 A CN116993681 A CN 116993681A CN 202310825936 A CN202310825936 A CN 202310825936A CN 116993681 A CN116993681 A CN 116993681A
Authority
CN
China
Prior art keywords
defect
substation equipment
loss
inspection
attention
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310825936.7A
Other languages
English (en)
Inventor
王一博
刘士峰
王科
刘俊
塔晓龙
金洋
高寅
冶金顺
秦之武
赵中奇
秦贵邦
董发福
李嘉荣
李新龙
周先
***
张鸿远
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Haibei Power Supply Company State Grid Qinghai Electric Power Co ltd
State Grid Corp of China SGCC
State Grid Qinghai Electric Power Co Ltd
Original Assignee
Haibei Power Supply Company State Grid Qinghai Electric Power Co ltd
State Grid Corp of China SGCC
State Grid Qinghai Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Haibei Power Supply Company State Grid Qinghai Electric Power Co ltd, State Grid Corp of China SGCC, State Grid Qinghai Electric Power Co Ltd filed Critical Haibei Power Supply Company State Grid Qinghai Electric Power Co ltd
Priority to CN202310825936.7A priority Critical patent/CN116993681A/zh
Publication of CN116993681A publication Critical patent/CN116993681A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种变电站巡检缺陷检测方法，属于电力设备巡检技术领域；该方法包括：获取变电站设备缺陷图像；根据变电站设备缺陷图像，构建变电站设备缺陷检测模型；获取待识别变电站设备缺陷图像；将待识别变电站设备缺陷图像输入变电站设备缺陷检测模型进行缺陷识别，得到缺陷识别结果；对缺陷识别结果进行可视化展示。本发明还公开一种变电站巡检缺陷检测***。本发明利用多头注意力机制丰富提取时空特征信息，同时采用了滑动窗口加强了各个窗口之间的联系，加强了局部特征与全局特征的交互，同时采取了FPN进行特征融合和YOLOv5的检测头组建融合网络，在实时高效检测的同时，保证了复杂背景缺陷检测的识别率。

Description

一种变电站巡检缺陷检测方法及***
技术领域
本发明涉及电力设备巡检技术领域，具体涉及一种变电站巡检缺陷检测方法及***。
背景技术
变电站是电力***的重要组成部分，为了保证电力***的正常、稳定和安全的运行，变电站需要定期的进行检测和维护。然而，传统变电站的例行巡检全部依赖人工作业，存在工作效率低、巡检结果难以准确反映设备状态等问题。随着近年来电网的飞速发展，生产人员不足和巡检工作量增加之间的矛盾日益突出，而运维一体化等工作在扩展业务范围的同时也给变电运维工作提出了更高的要求，在这样的形势下，传统的“人工巡检、手动记录”的巡检作业方式难以适应电力***精益化、集约化的发展要求。目前，变电站也出现了一些巡检机器人，但是由于检测方法的本身检测精度有限，同时针对设备上的缺陷等小目标更是很难查询。
现有技术的具体缺点为：
1、现有的变电站缺陷检测方法易受复杂背景影响，导致识别结果不准确。
2、现有的变电站缺陷检测方法识别范围有限，针对变电站设备的细微缺陷等小目标容易造成漏检。
3、现有的方法的针对的多为全局特征提取，局部特征与全局特征的关系无法关联。
发明内容
本发明的目的在于提供一种变电站巡检缺陷检测方法及装置，旨在通过在巡检过程中通过二级检测网络获取细小缺陷的设备状态数据，结合人工智能数据分析和处理技术，实现对设备缺陷的全面、精准检测，提高巡检的效率和准确性。
为解决上述技术问题，本发明提供一种变电站巡检缺陷检测方法，包括以下步骤：
获取变电站设备缺陷图像；
根据变电站设备缺陷图像，构建变电站设备缺陷检测模型；
获取待识别变电站设备缺陷图像；
将待识别变电站设备缺陷图像输入变电站设备缺陷检测模型进行缺陷识别，得到缺陷识别结果；
对缺陷识别结果进行可视化展示。
优选地，根据变电站设备缺陷图像，构建变电站设备缺陷检测模型，具体包括以下步骤：
对变电站设备缺陷图像进行数据扩增，得到图像数据集；
将图像数据集划分为训练集和测试集；
对训练集和测试集中的变电站设备缺陷图像进行标注；
通过滑动窗口多头自注意力网络对训练集中的变电站设备缺陷图像进行特征提取；
通过FPN结构对特征进行特征融合，得到目标特征；
使用改进的K-means++聚类算法对训练集进行聚类分析，确定用于进行目标检测的先验框；
对YOLOv5融合网络进行网络结构调整，在损失函数中引入Focal Loss来调节YOLOv5融合网络中正负样本比例；
将聚类分析后的训练集输入YOLOv5网络模型进行训练，得到变电站设备缺陷检测模型；
根据聚类分析后的测试集对变电站设备缺陷检测模型进行测试。
优选地，通过滑动窗口多头自注意力网络对训练集中的变电站设备缺陷图像进行特征提取，具体包括以下步骤：
将训练集中的变电站设备缺陷图像输入到Patch Partition模块中进行分块，每4x4相邻的像素为一个Patch，然后沿着通道方向展平；所述训练集中的变电站设备缺陷图像为RGB三通道图片；
通过四个阶段构建的不同大小的小特征图；第一阶段是线性嵌入层、窗口多头自注意力模块与滑动窗口多头自注意力模块的组合；第二阶段到第四阶段都为PatchMerging下采样、窗口多头自注意力模块与滑动窗口多头自注意力模块的组合，其中第三阶段中，窗口多头自注意力模块与滑动窗口多头自注意力模块的组合使用3次；
四个小特征图在深度方向进行拼接，然后再通过归一化层和全连接层，使得特征图的长宽缩小一半，进行下采样处理，同时通道数增加一倍。
优选地，在第一阶段中，在线性嵌入层对每个像素的通道数据做线性变换，将通道数转换为设置好的数值；
窗口多头自注意力模块将整个特征图划分成一个个等大小的窗口，然后单独对每个窗口内部进行多头注意力机制
滑动窗口多头自注意力模块通过将窗口的偏移，实现不同窗口之间进行信息传递。
优选地，所述窗口多头自注意力模块由基于残差连接的归一化层、窗口多头自注意力层和多层感知机组成，其中窗口多头自注意力层基于多头自注意力机制；
所述多头自注意力机制计算公式如下：
其中：Q,K,V分别为查询向量序列，键向量序列和值向量序列，d为查询向量序列与键向量序列的距离；
窗口多头自注意力层则将多头注意力机制处理的整体特征图化分成个宽高都为M大小的窗口，w为宽，h为高，然后在每个窗口使用多头注意力计算。
优选地，滑动窗口多头自注意力模块通过将窗口的偏移，实现不同窗口之间进行信息传递，具体包括以下步骤：
将窗口多头自注意力层分好的等M大小的窗口从左上角分别向右侧和下方各偏移了向下取整的M/2，使得窗口和窗口之间得以信息传递；
再对M/2大小的窗口做一次循环移位，将分割好的各块拼接成M大小的窗口；
将拼接好的M大小的窗口通过掩码多头自注意力机制的方式进行运算，其中对不相关位置进行注意力机制计算时加上掩码；
对掩码后的M大小的窗口的循环移位进行还原。
优选地，使用改进的K-means++聚类算法对训练集进行聚类分析，确定用于进行目标检测的先验框，具体包括以下步骤：
在训练集中随机挑选一个样本标注框视为初始聚类中心点；
计算每个样本与当前聚类中心点的最短距离D(x)，并计算每个样本被选中为下一个聚类中心的概率，最终选择最大概率值所对应的样本点作为下一个聚类中心，直至选取出k个聚类中心点；
将k个聚类中心点作为初始聚类中心，最终聚类出k个先验框；
样本被选中为聚类中心的概率的计算公式如下：
其中：P为选择为聚类中心的概率，X为数据集，x为样本。
优选地，在损失函数中引入Focal Loss来调节YOLOv5融合网络中正负样本比例，具体包括以下步骤：
YOLOv5融合网络的损失函数loss由回归框损失bbox_loss、置信度损失conf_loss和分类损失prob_loss构成；所述损失函数loss的公式如下：
loss＝bbox_loss+conf_loss+prob_loss
YOLOv5融合网络采用CIoU loss计算回归框损失，只计算正样本的定位损失，其公式如下：
上式中，ρ为标签框和预测框的中心点距离，c为标签框和预测框的最小包围矩形的对角线长度，v为标签框和预测框的宽高比相似度，α为v的影响因子，预测框的左上角、右下角坐标分别为(xp1,yp1)、(xp2,yp2)，标签框的左上角、右下角坐标分别为(xl1,yl2)、(xl2,yl2)；
YOLOv5融合网络采用二分类交叉熵损失函数Binary CrossEntropy Loss来计算置信度损失和分类损失，针对在网络训练中正负样本不平衡和难易样本关注度调节的问题，引入了调制系数，定义为Focal Loss损失函数，公式如下所示：
式中其中p∈[0,1]，表示模型检测输出目标类别的概率，y则用0和1表示是否为该类别，α和γ为调制系数，其中α决定了正负样本的平衡度，γ决定了难易样本的关注度。
优选地，获取待识别变电站设备缺陷图像，具体包括以下步骤：
设置巡检机器人的巡检参数；所述巡检参数包括巡检线路和巡检速度；
根据巡检线路和巡检速度，运行巡检机器人；
获取巡检机器人运行时的位置信息和障碍物信息；
根据巡检机器人运行时的位置信息和障碍物信息，对巡检线路进行规避调整；
通过巡检机器人拍摄变电设备，得到待识别变电站设备缺陷图像。
本发明还提供一种变电站巡检缺陷检测***，包括：
获取模块，用于获取变电站设备缺陷图像；
构建模块，根据变电站设备缺陷图像，构建变电站设备缺陷检测模型；
采集模块，用于获取待识别变电站设备缺陷图像；
计算识别模块，用于将待识别变电站设备缺陷图像输入变电站设备缺陷检测模型进行缺陷识别，得到缺陷识别结果；
可视化模块，用于对缺陷识别结果进行可视化展示。
与现有技术相比，本发明的有益效果为：
(1)、本发明的基于滑动窗口多头自注意力网络与YOLOv5融合网络的变电站机器人巡检方法利用多头注意力机制丰富提取时空特征信息，同时采用了滑动窗口加强了各个窗口之间的联系，加强了局部特征与全局特征的交互，同时采取了FPN进行特征融合和YOLOv5的检测头组建融合网络，在实时高效检测的同时，保证了复杂背景缺陷检测的识别率；
(2)、本发明的设计了改进了先验框选取策略K-mean++聚类算法和Focal loss损失函数，有效提升了设计基于滑动窗口多头自注意力网络与YOLOv5融合网络算法的检测精度；
(3)、本发明的采用二级串联的目标检测策略，可以有效提高小目标的精细化巡检。
附图说明
下面结合附图对本发明的具体实施方式作进一步详细说明。
图1是基于滑动窗口多头自注意力网络与YOLOv5融合网络的结构图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是本发明能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施的限制。
在本说明书一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本说明书一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本说明书一个或多个实施例中可能采用术语第一、第二等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本说明书一个或多个实施例范围的情况下，第一也可以被称为第二，类似地，第二也可以被称为第一。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
下面结合附图对本发明做进一步的详细描述：
本发明提供一种变电站巡检缺陷检测方法，包括以下步骤：
获取变电站设备缺陷图像；
根据变电站设备缺陷图像，构建变电站设备缺陷检测模型；
获取待识别变电站设备缺陷图像；
将待识别变电站设备缺陷图像输入变电站设备缺陷检测模型进行缺陷识别，得到缺陷识别结果；
对缺陷识别结果进行可视化展示。
优选地，根据变电站设备缺陷图像，构建变电站设备缺陷检测模型，具体包括以下步骤：
对变电站设备缺陷图像进行数据扩增，得到图像数据集；
将图像数据集划分为训练集和测试集；
对训练集和测试集中的变电站设备缺陷图像进行标注；
通过滑动窗口多头自注意力网络对训练集中的变电站设备缺陷图像进行特征提取；
通过FPN结构对特征进行特征融合，得到目标特征；
使用改进的K-means++聚类算法对训练集进行聚类分析，确定用于进行目标检测的先验框；
对YOLOv5融合网络进行网络结构调整，在损失函数中引入Focal Loss来调节YOLOv5融合网络中正负样本比例；
将聚类分析后的训练集输入YOLOv5网络模型进行训练，得到变电站设备缺陷检测模型；
根据聚类分析后的测试集对变电站设备缺陷检测模型进行测试。
优选地，通过滑动窗口多头自注意力网络对训练集中的变电站设备缺陷图像进行特征提取，具体包括以下步骤：
将训练集中的变电站设备缺陷图像输入到Patch Partition模块中进行分块，每4x4相邻的像素为一个Patch，然后沿着通道方向展平；所述训练集中的变电站设备缺陷图像为RGB三通道图片；
通过四个阶段构建的不同大小的小特征图；第一阶段是线性嵌入层、窗口多头自注意力模块与滑动窗口多头自注意力模块的组合；第二阶段到第四阶段都为PatchMerging下采样、窗口多头自注意力模块与滑动窗口多头自注意力模块的组合，其中第三阶段中，窗口多头自注意力模块与滑动窗口多头自注意力模块的组合使用3次；
四个小特征图在深度方向进行拼接，然后再通过归一化层和全连接层，使得特征图的长宽缩小一半，进行下采样处理，同时通道数增加一倍。
优选地，在第一阶段中，在线性嵌入层对每个像素的通道数据做线性变换，将通道数转换为设置好的数值；
窗口多头自注意力模块将整个特征图划分成一个个等大小的窗口，然后单独对每个窗口内部进行多头注意力机制
滑动窗口多头自注意力模块通过将窗口的偏移，实现不同窗口之间进行信息传递。
优选地，所述窗口多头自注意力模块由基于残差连接的归一化层、窗口多头自注意力层和多层感知机组成，其中窗口多头自注意力层基于多头自注意力机制：
其中：Q,K,V分别为查询向量序列，键向量序列和值向量序列，d为查询向量序列与键向量序列的距离；
窗口多头自注意力层则将多头注意力机制处理的整体特征图化分成个宽高都为M大小的窗口，w为宽，h为高，然后在每个窗口使用多头注意力计算。
优选地，滑动窗口多头自注意力模块通过将窗口的偏移，实现不同窗口之间进行信息传递，具体包括以下步骤：
将窗口多头自注意力层分好的等M大小的窗口从左上角分别向右侧和下方各偏移了向下取整的M/2，使得窗口和窗口之间得以信息传递；
再对M/2大小的窗口做一次循环移位，将分割好的各块拼接成M大小的窗口；
将拼接好的M大小的窗口通过掩码多头自注意力机制的方式进行运算，其中对不相关位置进行注意力机制计算时加上掩码；
对掩码后的M大小的窗口的循环移位进行还原。
优选地，使用改进的K-means++聚类算法对训练集进行聚类分析，确定用于进行目标检测的先验框，具体包括以下步骤：
在训练集中随机挑选一个样本标注框视为初始聚类中心点；
计算每个样本与当前聚类中心点的最短距离D(x)，并计算每个样本被选中为下一个聚类中心的概率，最终选择最大概率值所对应的样本点作为下一个聚类中心，直至选取出k个聚类中心点；
样本被选中为聚类中心的概率的计算公式如下：
其中：P为选择为聚类中心的概率，X为数据集，x为样本；
将这k个聚类中心点作为初始聚类中心，最终聚类出k个先验框。
优选地，在损失函数中引入Focal Loss来调节YOLOv5融合网络中正负样本比例，具体包括以下步骤：
YOLOv5融合网络的损失函数loss由回归框损失bbox_loss、置信度损失conf_loss和分类损失prob_loss构成；所述损失函数loss的公式如下：
loss＝bbox_loss+conf_loss+prob_loss
YOLOv5融合网络采用CIoU loss计算回归框损失，只计算正样本的定位损失，其公式如下：
上式中，ρ为标签框和预测框的中心点距离，c为标签框和预测框的最小包围矩形的对角线长度，v为标签框和预测框的宽高比相似度，α为v的影响因子，预测框的左上角、右下角坐标分别为(xp1,yp1)、(xp2,yp2)，标签框的左上角、右下角坐标分别为(xl1,yl2)、(xl2,yl2)；
YOLOv5融合网络采用二分类交叉熵损失函数Binary CrossEntropy Loss来计算置信度损失和分类损失，针对在网络训练中正负样本不平衡和难易样本关注度调节的问题，引入了调制系数，定义为Focal Loss损失函数，公式如下所示：
式中其中p∈[0,1]，表示模型检测输出目标类别的概率，y则用0和1表示是否为该类别，α和γ为调制系数，其中α决定了正负样本的平衡度，γ决定了难易样本的关注度。
优选地，获取待识别变电站设备缺陷图像，具体包括以下步骤：
设置巡检机器人的巡检参数；所述巡检参数包括巡检线路和巡检速度；
根据巡检线路和巡检速度，运行巡检机器人；
获取巡检机器人运行时的位置信息和障碍物信息；
根据巡检机器人运行时的位置信息和障碍物信息，对巡检线路进行规避调整；
通过巡检机器人拍摄变电设备，得到待识别变电站设备缺陷图像。
本发明还提供一种变电站巡检缺陷检测***，包括：
获取模块，用于获取变电站设备缺陷图像；
构建模块，根据变电站设备缺陷图像，构建变电站设备缺陷检测模型；
采集模块，用于获取待识别变电站设备缺陷图像；
计算识别模块，用于将待识别变电站设备缺陷图像输入变电站设备缺陷检测模型进行缺陷识别，得到缺陷识别结果；
可视化模块，用于对缺陷识别结果进行可视化展示。
为了更好的说明本发明的技术效果，本发明提供如下具体实施例说明上述技术流程：
实施例1、一种变电站巡检缺陷检测***，用于变电站巡检机器人的缺陷检测，包括以下部分：
M1：采集模块：用于采集巡检机器人的可见光摄像头获取不同视角的含有变电站设备及其缺陷的图像；
M2：定位模块：用于确定巡检机器人的位置
M3：控制模块：用于巡检机器人的路径规划指令下发，控制巡检机器人的前、后、左、右的运动(包括巡检的速度)，也负责巡检机器人的避障工作；
M4：通讯模块：用于将定位模块的巡检机器人的位置信息传递给控制模块、将采集模块的图像信息传出到计算识别模块和将计算识别模块处理的结果传输到可视化模块；
M5：存储模块：用于存储巡检机器人拍摄的可见光视频及图像，方便后期回溯；
M6：计算识别模块：用于智能检测变电站的设备和其对应的缺陷(表计破损、绝缘子破损、渗漏油、呼吸器破损、盖板破损或缺失、鸟巢异物等等)并对检测到的缺陷进行标记预警；
M7：可视化模块：用于展示巡检机器人的巡检结果和故障告警提示。
应用该检测***的变电站巡检缺陷检测方法，整个巡检流程包括以下步骤：
S1：在控制模块中下发规划好的巡检线路，同时设置好巡检机器人的巡检速度，巡检线路和巡检速度作为巡检参数，巡检机器人开始工作；
S2：定位模块通过GPS实时上报给控制模块巡检机器人巡检过程中的位置信息，如果遇到掩体或者障碍物，控制模块会通过控制机器人的前、后、左、右的运动在路径规划合理的范围内进行避障；
S3：采集模块在巡检机器人巡检过程中获取不同视角的含有变电设备及其缺陷的可见光图像(变电站设备缺陷图像)，并将其存储于存储模块中；同时采集模块通过传输模块将拍摄到的变电站设备缺陷图像传输到计算识别模块中；
S4：计算识别模块中串联了两个网络模型，第一级是变电站设备识别模型，第二级是变电站设备缺陷识别模型，首先计算识别模块在接收到采集模块传输的变电站设备缺陷图像之后会进入到变电站识别模型进行检测，如果检测不到目标，则不会进行第二级变电站设备缺陷识别模型检测，不再作处理；如果检测到目标，则会将目标进行裁剪放大，将放大的目标图像再进入到第二级电站设备缺陷识别模型进行缺陷识别，如果检测到缺陷，则进行标记，并进行缺陷预警；如果检测不到缺陷，则不再进行处理；
S5：计算识别模块计算后的结果通过通讯模块传输到可视化模块，可视化模块展示巡检路径和在巡检过程中巡检到的变电站设备的缺陷以及对应的类型，并进行广播告警，提示工作进行人员处理。
进一步的，所述步骤S4中，采用基于滑动窗口多头自注意力机制与YOLOv5混合检测的网络模型，以电站设备缺陷识别模型检测为例，具体的建模流程为：
S41：通过巡检机器人获取丰富的变电站设备缺陷图像；
S42：对获得的图像采用水平镜像、旋转变换、图像错切和颜色变换等方法进行数据扩增，建立图像数据集并按照随机比例分配生成训练集和测试集；
S43：利用Labelme软件对图像数据集中的变电站设备缺陷进行标注；
S44：利用滑动窗口多头自注意力网络对含有变电站设备缺陷的图像数据集中的图像进行不同背景、不同颗粒度的特征提取，并通过FPN结构进行特征融合，得到目标特征；
S45：设计网络先验框的选取：使用改进的K-means++聚类算法进行先验框聚类，产生更有数据集针对性的先验框；
S46：设计网络模型损失函数：通过在损失函数中引入Focal Loss来调节YOLOv5中正负样本比例并提升对于分类困难样本的检测能力；
S47：基于滑动窗口多头自注意力网络与YOLOv5融合网络对变电站设备缺陷图像进行检测；
S48：基于滑动窗口多头自注意力网络与YOLOv5融合网络对变电站设备缺陷模型训练：利用S43已标注的图像数据集的训练集对滑动窗口多头自注意力网络与YOLOv5融合网络进行训练，得到变电站设备缺陷检测模型，如图1所示；
S49：将S48获得的检测模型应用于变电站巡检机器人巡检，将图像数据集的测试集输入到训练所得模型进行测试，输出变电站机器人巡检结果。
进一步地，所述步骤S44中，滑动窗口多头自注意力网络提取特征包括以下步骤：
S44_1：首先将输入3通道的RGB图片传输到Patch Partition模块进行分块，其中每4x4相邻的像素为一个Patch，然后沿着通道方向展平；
S44_2：然后是通过四个阶段构建的不同大小的特征图，第一阶段是线性嵌入层、窗口多头自注意力模块与滑动窗口多头自注意力模块的组合；
S44_3：在线性嵌入层对每个像素的通道数据做线性变换，将通道数转换为设置好的数值；
S44_4:窗口多头自注意力模块是将整个特征图划分成一个个等大小的窗口，然后单独对每个窗口内部进行多头注意力机制；
S44_5：滑动窗口多头自注意力模块通过将窗口的偏移，窗口与窗口之间的信息传递；
S44_6：Patch Merging下采样层将特征图依据空间位置划分成4个等大小的小特征图，接着将这四个小特征图在深度方向进行拼接，然后再通过归一化层和全连接层，使得特征图的长宽缩小一半，进行下采样处理，同时通道数增加一倍。
S44_7：第二阶段到第四阶段都为Patch Merging下采样、窗口多头自注意力模块与滑动窗口多头自注意力模块的组合，其中第三阶段中，窗口多头自注意力模块与滑动窗口多头自注意力模块的组合使用3次；
进一步地，所述步骤S44_4中，窗口多头自注意力模块由基于残差连接的归一化层、窗口多头自注意力层和多层感知机组成，其中窗口多头自注意力层基于多头自注意力机制：
其中Q,K,V分别为查询向量序列，键向量序列和值向量序列，d为查询向量序列与键向量序列的距离，窗口多头自注意力层则将多头注意力机制处理的整体特征图化分成个宽高都为M大小的窗口(其中w为宽，h为高)，然后在每个窗口使用多头注意力计算，减少了整体的计算复杂度；
进一步地，所述步骤S44_5中，滑动窗口多头自注意力模块由基于残差连接的归一化层、滑动窗口多头自注意力层和多层感知机组成，其中滑动窗口多头自注意力层又分为以下操作步骤：
S44_51：首先将窗口多头自注意力层分好的等M大小的窗口从左上角分别向右侧和下方各偏移了M/2(向下取整),使得窗口和窗口之间得以信息传递；
S44_52：然后在此基础上再做一次循环移位，将分割好的各块在拼接成M大小的窗口；
S44_53：将拼接好的M大小的窗口通过掩码多头自注意力机制的方式进行运算，其中对不相关位置进行注意力机制计算时加上掩码，掩码就是给需要掩码的位置结果加上-100，不需要掩码的位置不变，从而防止不同区域的信息错乱；
S44_54：最后把循环移位再还原回去，保证图片原有的语义信息。
进一步地，所述步骤45中设计网络先验框选取方法，采用的K-means++聚类算法，具体步骤如下：
S45_1：在数据集中随机挑选一个样本标注框视为初始聚类中心点；
S45_2：计算每个样本与已知聚类中心的最短距离D(x)，并计算每个样本被选中为下一个聚类中心的概率，最终选择最大概率值所对应的样本点作为下一个聚类中心；
其中P为选择为聚类中心的概率，X为数据集，x为样本。
S45_3：重复步骤S45_2，当选取出k个聚类中心点时进入下一步骤；
S45_4：将这k个聚类中心点作为初始聚类中心，最终聚类出k个先验框。
进一步地，所述步骤S46中设计的网络模型损失函数，具体表示为：
(1)YOLOv5网络损失函数由回归框损失bbox_loss、置信度损失conf_loss和分类损失prob_loss构成，如式(3)，
loss＝bbox_loss+conf_loss+prob_loss (3)
(2)YOLOv5网络中采用CIoU loss计算回归框损失，只计算正样本的定位损失，其公式为(3)-(7),
/>
上式中，ρ为标签框和预测框的中心点距离，c为标签框和预测框的最小包围矩形的对角线长度，v为标签框和预测框的宽高比相似度，α为v的影响因子，预测框的左上角、右下角坐标分别为(xp1,yp1)、(xp2,yp2)，标签框的左上角、右下角坐标分别为(xl1,yl2)、(xl2,yl2)。
(3)YOLOv5网络中采用二分类交叉熵损失函数(Binary CrossEntropy Loss)来计算置信度损失和分类损失，针对在网络训练中正负样本不平衡和难易样本关注度调节的问题，引入了调制系数，定义为Focal Loss损失函数，如式(8)，
式中其中p∈[0,1]，表示模型检测输出目标类别的概率，y则用0和1表示是否为该类别，α和γ为调制系数，其中α决定了正负样本的平衡度，γ决定了难易样本的关注度。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块、模组或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元、模组或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。
所述单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是一个物理单元或多个物理单元，即可以位于一个地方，或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分从网络上被下载和安装，和/或从可拆卸介质被安装。在该计算机程序被中央处理单元(CPU)执行时，执行本发明的方法中限定的上述功能。需要说明的是，本发明上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线段、或半导体的***、装置或器件，或者任意以上的组合。
附图中的流程图和框图，图示了按照本发明各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何在本发明揭露的技术范围内的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种变电站巡检缺陷检测方法，其特征在于，包括以下步骤：
获取变电站设备缺陷图像；
根据变电站设备缺陷图像，构建变电站设备缺陷检测模型；
获取待识别变电站设备缺陷图像；
将待识别变电站设备缺陷图像输入变电站设备缺陷检测模型进行缺陷识别，得到缺陷识别结果；
对缺陷识别结果进行可视化展示。
2.根据权利要求1所述的变电站巡检缺陷检测方法，其特征在于，根据变电站设备缺陷图像，构建变电站设备缺陷检测模型，具体包括以下步骤：
对变电站设备缺陷图像进行数据扩增，得到图像数据集；
将图像数据集划分为训练集和测试集；
对训练集和测试集中的变电站设备缺陷图像进行标注；
通过滑动窗口多头自注意力网络对训练集中的变电站设备缺陷图像进行特征提取；
通过FPN结构对特征进行特征融合，得到目标特征；
使用改进的K-means++聚类算法对训练集进行聚类分析，确定用于进行目标检测的先验框；
对YOLOv5融合网络进行网络结构调整，在损失函数中引入Focal Loss来调节YOLOv5融合网络中正负样本比例；
将聚类分析后的训练集输入YOLOv5网络模型进行训练，得到变电站设备缺陷检测模型；
根据聚类分析后的测试集对变电站设备缺陷检测模型进行测试。
3.根据权利要求2所述的变电站巡检缺陷检测方法，其特征在于，通过滑动窗口多头自注意力网络对训练集中的变电站设备缺陷图像进行特征提取，具体包括以下步骤：
将训练集中的变电站设备缺陷图像输入到Patch Partition模块中进行分块，每4x4相邻的像素为一个Patch，然后沿着通道方向展平；所述训练集中的变电站设备缺陷图像为RGB三通道图片；
通过四个阶段构建的不同大小的小特征图；第一阶段是线性嵌入层、窗口多头自注意力模块与滑动窗口多头自注意力模块的组合；第二阶段到第四阶段都为Patch Merging下采样、窗口多头自注意力模块与滑动窗口多头自注意力模块的组合，其中第三阶段中，窗口多头自注意力模块与滑动窗口多头自注意力模块的组合使用3次；
四个小特征图在深度方向进行拼接，然后再通过归一化层和全连接层，使得特征图的长宽缩小一半，进行下采样处理，同时通道数增加一倍。
4.根据权利要求3所述的变电站巡检缺陷检测方法，其特征在于：
在第一阶段中，在线性嵌入层对每个像素的通道数据做线性变换，将通道数转换为设置好的数值；
窗口多头自注意力模块将整个特征图划分成一个个等大小的窗口，然后单独对每个窗口内部进行多头注意力机制
滑动窗口多头自注意力模块通过将窗口的偏移，实现不同窗口之间进行信息传递。
5.根据权利要求4所述的变电站巡检缺陷检测方法，其特征在于：
所述窗口多头自注意力模块由基于残差连接的归一化层、窗口多头自注意力层和多层感知机组成，其中窗口多头自注意力层基于多头自注意力机制；
所述多头自注意力机制计算公式如下：
其中：Q,K,V分别为查询向量序列，键向量序列和值向量序列，d为查询向量序列与键向量序列的距离；
窗口多头自注意力层则将多头注意力机制处理的整体特征图化分成个宽高都为M大小的窗口，w为宽，h为高，然后在每个窗口使用多头注意力计算。
6.根据权利要求5所述的变电站巡检缺陷检测方法，其特征在于，滑动窗口多头自注意力模块通过将窗口的偏移，实现不同窗口之间进行信息传递，具体包括以下步骤：
将窗口多头自注意力层分好的等M大小的窗口从左上角分别向右侧和下方各偏移了向下取整的M/2，使得窗口和窗口之间得以信息传递；
再对M/2大小的窗口做一次循环移位，将分割好的各块拼接成M大小的窗口；
将拼接好的M大小的窗口通过掩码多头自注意力机制的方式进行运算，其中对不相关位置进行注意力机制计算时加上掩码；
对掩码后的M大小的窗口的循环移位进行还原。
7.根据权利要求2所述的变电站巡检缺陷检测方法，其特征在于，使用改进的K-means++聚类算法对训练集进行聚类分析，确定用于进行目标检测的先验框，具体包括以下步骤：
在训练集中随机挑选一个样本标注框视为初始聚类中心点；
计算每个样本与当前聚类中心点的最短距离D(x)，并计算每个样本被选中为下一个聚类中心的概率，最终选择最大概率值所对应的样本点作为下一个聚类中心，直至选取出k个聚类中心点；
将k个聚类中心点作为初始聚类中心，最终聚类出k个先验框；
样本被选中为聚类中心的概率的计算公式如下：
其中：P为选择为聚类中心的概率，X为数据集，x为样本。
8.根据权利要求2所述的变电站巡检缺陷检测方法，其特征在于，在损失函数中引入Focal Loss来调节YOLOv5融合网络中正负样本比例，具体包括以下步骤：
YOLOv5融合网络的损失函数loss由回归框损失bbox_loss、置信度损失conf_loss和分类损失prob_loss构成；所述损失函数loss的公式如下：
loss＝bbox_loss+conf_loss+prob_loss
YOLOv5融合网络采用CIoU loss计算回归框损失，只计算正样本的定位损失，其公式如下：
上式中，ρ为标签框和预测框的中心点距离，c为标签框和预测框的最小包围矩形的对角线长度，v为标签框和预测框的宽高比相似度，α为v的影响因子，预测框的左上角、右下角坐标分别为(xp1,yp1)、(xp2,yp2)，标签框的左上角、右下角坐标分别为(xl1,yl2)、(xl2,yl2)；
YOLOv5融合网络采用二分类交叉熵损失函数Binary CrossEntropy Loss来计算置信度损失和分类损失，针对在网络训练中正负样本不平衡和难易样本关注度调节的问题，引入了调制系数，定义为Focal Loss损失函数，公式如下所示：
式中其中p∈[0,1]，表示模型检测输出目标类别的概率，y则用0和1表示是否为该类别，α和γ为调制系数，其中α决定了正负样本的平衡度，γ决定了难易样本的关注度。
9.根据权利要求1所述的变电站巡检缺陷检测方法，其特征在于，获取待识别变电站设备缺陷图像，具体包括以下步骤：
设置巡检机器人的巡检参数；所述巡检参数包括巡检线路和巡检速度；
根据巡检线路和巡检速度，运行巡检机器人；
获取巡检机器人运行时的位置信息和障碍物信息；
根据巡检机器人运行时的位置信息和障碍物信息，对巡检线路进行规避调整；
通过巡检机器人拍摄变电设备，得到待识别变电站设备缺陷图像。
10.一种变电站巡检缺陷检测***，用于实现如权利要求1-9任一所述的变电站巡检缺陷检测方法，其特征在于，包括：
获取模块，用于获取变电站设备缺陷图像；
构建模块，根据变电站设备缺陷图像，构建变电站设备缺陷检测模型；
采集模块，用于获取待识别变电站设备缺陷图像；
计算识别模块，用于将待识别变电站设备缺陷图像输入变电站设备缺陷检测模型进行缺陷识别，得到缺陷识别结果；
可视化模块，用于对缺陷识别结果进行可视化展示。
CN202310825936.7A 2023-07-06 2023-07-06 一种变电站巡检缺陷检测方法及*** Pending CN116993681A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310825936.7A CN116993681A (zh) 2023-07-06 2023-07-06 一种变电站巡检缺陷检测方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310825936.7A CN116993681A (zh) 2023-07-06 2023-07-06 一种变电站巡检缺陷检测方法及***

Publications (1)

Publication Number Publication Date
CN116993681A true CN116993681A (zh) 2023-11-03

Family

ID=88525730

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310825936.7A Pending CN116993681A (zh) 2023-07-06 2023-07-06 一种变电站巡检缺陷检测方法及***

Country Status (1)

Country Link
CN (1) CN116993681A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117274723A (zh) * 2023-11-22 2023-12-22 国网智能科技股份有限公司 一种用于输电巡检的目标识别方法、***、介质及设备
CN117951585A (zh) * 2024-03-27 2024-04-30 国网山东省电力公司曲阜市供电公司 一种电力设备运行状态实时检测方法及***

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117274723A (zh) * 2023-11-22 2023-12-22 国网智能科技股份有限公司 一种用于输电巡检的目标识别方法、***、介质及设备
CN117274723B (zh) * 2023-11-22 2024-03-26 国网智能科技股份有限公司 一种用于输电巡检的目标识别方法、***、介质及设备
CN117951585A (zh) * 2024-03-27 2024-04-30 国网山东省电力公司曲阜市供电公司 一种电力设备运行状态实时检测方法及***

Similar Documents

Publication Publication Date Title
CN107808133B (zh) 基于无人机巡线的油气管道安全监测方法、***及软件存储器
CN116993681A (zh) 一种变电站巡检缺陷检测方法及***
CN108734143A (zh) 一种巡检机器人的基于双目视觉的输电线路在线检测方法
CN105930819A (zh) 基于单目视觉和gps组合导航***的实时城区交通灯识别***
CN113592905B (zh) 基于单目摄像头的车辆行驶轨迹预测方法
CN112613668A (zh) 基于人工智能的景区危险区域管控方法
CN113284144B (zh) 一种基于无人机的隧道检测方法及装置
CN112541403B (zh) 一种利用红外摄像头的室内人员跌倒检测方法
CN109002746A (zh) 3d立体火灾识别方法和***
CN115585731A (zh) 空天地一体化水电站空间状态智能监控管理***及其方法
Makrigiorgis et al. Extracting the fundamental diagram from aerial footage
CN117115728A (zh) 一种应用于变电站现场作业的风险识别方法及***
CN115661932A (zh) 一种垂钓行为检测方法
Elihos et al. Deep learning based segmentation free license plate recognition using roadway surveillance camera images
CN114298163A (zh) 一种基于多源信息融合的在线路况检测***及方法
CN116543603B (zh) 一种考虑空域态势和局部优化的航迹补全预测方法及装置
CN113159984A (zh) 一种变电站工作人员工作路径追踪方法
CN114550016B (zh) 一种基于上下文信息感知的无人机定位方法及***
CN111145551A (zh) 一种基于cnn检测遵章率的路***通规划***
CN116862832A (zh) 一种基于三维实景模型的作业人员定位方法
CN110807415A (zh) 一种基于年检标志的交通卡口车辆智能检索***及方法
CN115083229A (zh) 基于ai视觉识别的飞行训练设备智能识别与警示***
CN112069997B (zh) 一种基于DenseHR-Net的无人机自主着陆目标提取方法及装置
CN115083212A (zh) 一种基于三维建模的无人机定位智能管理***
Gavrilov et al. Automated visual information processing using artificial intelligence

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination