CN115713533A - 基于机器视觉的电力设备表面缺陷检测方法及装置 - Google Patents
基于机器视觉的电力设备表面缺陷检测方法及装置 Download PDFInfo
- Publication number
- CN115713533A CN115713533A CN202310032686.1A CN202310032686A CN115713533A CN 115713533 A CN115713533 A CN 115713533A CN 202310032686 A CN202310032686 A CN 202310032686A CN 115713533 A CN115713533 A CN 115713533A
- Authority
- CN
- China
- Prior art keywords
- image
- neural network
- convolutional neural
- data
- preset
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000007547 defect Effects 0.000 title claims abstract description 123
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000012549 training Methods 0.000 claims abstract description 134
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 104
- 238000001514 detection method Methods 0.000 claims abstract description 15
- 238000012545 processing Methods 0.000 claims description 39
- 210000002569 neuron Anatomy 0.000 claims description 28
- 238000011176 pooling Methods 0.000 claims description 28
- 238000005070 sampling Methods 0.000 claims description 25
- 238000003709 image segmentation Methods 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 claims description 7
- 230000002708 enhancing effect Effects 0.000 claims description 5
- 230000010354 integration Effects 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 238000013473 artificial intelligence Methods 0.000 abstract description 5
- 238000005516 engineering process Methods 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 73
- 238000001914 filtration Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 5
- 230000002829 reductive effect Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 239000006002 Pepper Substances 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000002238 attenuated effect Effects 0.000 description 2
- 230000002146 bilateral effect Effects 0.000 description 2
- 230000002950 deficient Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 230000036961 partial effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 235000002566 Capsicum Nutrition 0.000 description 1
- 235000016761 Piper aduncum Nutrition 0.000 description 1
- 235000017804 Piper guineense Nutrition 0.000 description 1
- 244000203593 Piper nigrum Species 0.000 description 1
- 235000008184 Piper nigrum Nutrition 0.000 description 1
- 229910000831 Steel Inorganic materials 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000012535 impurity Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- -1 plaques Substances 0.000 description 1
- 238000010248 power generation Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 150000003839 salts Chemical class 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Image Analysis (AREA)
Abstract
本发明涉及人工智能技术，揭露了一种基于机器视觉的电力设备表面缺陷检测方法及装置，包括：获取预设的卷积神经网络，根据获取的电力设备的设备图像预设的卷积神经网络的表面缺陷训练集；利用表面缺陷训练集和预设的感受野值对所述预设的卷积神经网络进行训练，生成所述预设的卷积神经网络的衰减函数，根据所述衰减函数和预设的梯度下降算法对所述预设的卷积神经网络进行参数更新，得到训练完成的卷积神经网络；利用所述训练完成的卷积神经网络进行目标电力设备的表面缺陷检测。本发明可以提高基于机器视觉的电力设备表面缺陷检测的准确度。
Description
技术领域
本发明涉及人工智能技术领域，尤其涉及一种基于机器视觉的电力设备表面缺陷检测方法及装置。
背景技术
产品外观是产品表面质量的重要组成部分，由于生产环境等因素的限制，产品表面会不可避免地存在各种类型的缺陷。
产品表面的缺陷表现为和产品其它部分不同的地方，即具有显著性，人眼很容易找到，因此传统的表面缺陷检测主要依靠人眼，但人容易受主观因素影响，判断缺陷标准不一，不能得到可靠、一致、准确的检测结果，人眼对缺陷目标和背景灰度差异较小的缺陷、尺寸非常小的缺陷或者复杂背景中的缺陷较难辨别，因此如何提高电力设备表面缺陷的检测准确性，成为了亟待解决的问题。
发明内容
本发明提供一种基于机器视觉的电力设备表面缺陷检测方法及装置，其主要目的在于解决电力设备表面缺陷检测时准确性较低的问题。
为实现上述目的，本发明提供的一种基于机器视觉的电力设备表面缺陷检测方法，包括：
获取电力设备的设备图像，对所述设备图像进行图像处理，得到所述设备图像的目标图像；
获取预设的卷积神经网络，利用所述目标图像构建所述预设的卷积神经网络的表面缺陷训练集；
生成所述表面缺陷训练集中训练数据的训练标签，利用所述表面缺陷训练集和预设的感受野值对所述预设的卷积神经网络进行训练，得到所述预设的卷积神经网络的训练结果；
根据所述训练结果和所述训练标签生成所述预设的卷积神经网络的损失函数；
对所述损失函数进行衰减处理，得到所述损失函数的衰减函数，根据所述衰减函数和预设的梯度下降算法对所述预设的卷积神经网络进行参数更新，得到训练完成的卷积神经网络；
利用所述训练完成的卷积神经网络进行目标电力设备的表面缺陷检测。
可选地，所述对所述设备图像进行图像处理，得到所述设备图像的目标图像，包括：
对所述设备图像进行区域提取，得到所述设备图像的标准图像；
对所述标准图像进行图像预处理，得到所述标准图像的预处理图像；
对所述预处理图像进行图像分割，得到所述预处理图像的目标图像。
可选地，所述对所述标准图像进行图像预处理，得到所述标准图像的预处理图像，包括：
对所述标准图像进行去噪处理，得到所述标准图像的去噪图像；
对所述去噪图像进行增强处理，得到所述去噪图像的预处理图像。
可选地，所述利用所述目标图像构建所述预设的卷积神经网络的表面缺陷训练集，包括：
对所述目标图像进行特征提取，得到所述目标图像的图像特征；
根据所述图像特征建立所述目标图像的特征序列，按照预设的抽样比例对所述特征序列进行分层抽样，得到所述目标图像的抽样数据；
汇集所述抽样数据为所述预设的卷积神经网络的表面缺陷训练集。
可选地，所述生成所述表面缺陷训练集中训练数据的训练标签，包括：
确定所述训练数据的标签映射规则，根据所述标签映射规则生成所述训练数据的训练标签。
可选地，所述利用所述表面缺陷训练集和预设的感受野值对所述预设的卷积神经网络进行训练，得到所述预设的卷积神经网络的训练结果，包括：
对预设的卷积神经网络进行参数初始化，得到初始卷积神经网络；
将所述表面缺陷训练集输入至所述初始卷积神经网络，利用预设的感受野值和所述初始卷积神经网络对所述表面缺陷训练集进行卷积处理，得到所述表面缺陷训练集的卷积数据；
对所述卷积数据进行池化处理，得到所述卷积数据的池化数据；
利用所述初始卷积神经网络的全连接层对所述池化数据进行数据整合，得到所述初始卷积神经网络的训练结果。
可选地，所述利用预设的感受野值和所述初始卷积神经网络对所述表面缺陷训练集进行卷积处理，得到所述表面缺陷训练集的卷积数据，包括：
根据预设的感受野值确定所述初始卷积神经网络中池化层的池化维度；
利用如下卷积算法对所述表面缺陷训练集进行卷积处理，得到所述表面缺陷训练集的卷积数据：
其中，
是表示第
层第
个神经元的输出，
是卷积层的层数标识，
是卷积层中第
层神经元标识，
是卷积层中第
层神经元标识，
是第
层第
个神经元和第
层
第
个神经元的连接权值，
是第
层第
个神经元的输出，
是第
层第
个神经元的
偏置，
是激活函数。
可选地，所述对所述卷积数据进行池化处理，得到所述卷积数据的池化数据，包括：
确定所述卷积数据的下采样函数类型，根据所述下采样函数类型和如下采样算法对所述卷积数据进行池化处理，得到所述卷积数据的池化数据：
其中，
是所述卷积数据的池化数据，
是下采样函数，
是
所述卷积数据。
可选地，所述对所述损失函数进行衰减处理，得到所述损失函数的衰减函数，包括：
确定所述损失函数的正则化类型，根据所述正则化类型生成所述损失函数的惩罚项；
利用所述惩罚项对所述损失函数进行衰减处理，得到所述损失函数的衰减函数。
为了解决上述问题，本发明还提供一种基于机器视觉的电力设备表面缺陷检测装置，所述装置包括：
图像处理模块，用于获取电力设备的设备图像，对所述设备图像进行图像处理，得到所述设备图像的目标图像；
生成训练集模块，用于获取预设的卷积神经网络，利用所述目标图像构建所述预设的卷积神经网络的表面缺陷训练集；
模型训练模块，用于生成所述表面缺陷训练集中训练数据的训练标签，利用所述表面缺陷训练集和预设的感受野值对所述预设的卷积神经网络进行训练，得到所述预设的卷积神经网络的训练结果；
损失函数模块，用于根据所述训练结果和所述训练标签生成所述预设的卷积神经网络的损失函数；
参数更新模块，用于对所述损失函数进行衰减处理，得到所述损失函数的衰减函数，根据所述衰减函数和预设的梯度下降算法对所述预设的卷积神经网络进行参数更新，得到训练完成的卷积神经网络；
缺陷检测模块，用于利用所述训练完成的卷积神经网络进行目标电力设备的表面缺陷检测。
本发明实施例通过对电力设备的设备图像进行预处理，消除了所述设备图像的部分噪声，降低噪声对后续分析的影响，并增强了所述设备图像局部特征和全局特征，使得感兴趣的图像区域更加凸显，提高图像的识别效果，利用预设的感受野值和生成的表面缺陷训练集对预设的卷积神经网络进行训练，使得模型参数更加精确，生成所述预设的卷积神经网络的损失函数并对所述损失模型进行衰减处理，降低了模型误差，利用预设的梯度下降算法进行参数更新，加快了参数更新速度，因此本发明提出基于机器视觉的电力设备表面缺陷检测方法及装置，可以解决电力设备表面缺陷检测准确度较低的问题。
附图说明
图1为本发明一实施例提供的基于机器视觉的电力设备表面缺陷检测方法的流程示意图；
图2为本发明一实施例提供的生成表面缺陷训练集的流程示意图；
图3为本发明一实施例提供的预设的卷积神经网络的训练的流程示意图；
图4为本发明一实施例提供的基于机器视觉的电力设备表面缺陷检测装置的功能模块图；
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本申请实施例提供一种基于机器视觉的电力设备表面缺陷检测方法。所述基于机器视觉的电力设备表面缺陷检测方法的执行主体包括但不限于服务端、终端等能够被配置为执行本申请实施例提供的该方法的电子设备中的至少一种。换言之，所述基于机器视觉的电力设备表面缺陷检测方法可以由安装在终端设备或服务端设备的软件或硬件来执行。所述服务端包括但不限于：单台服务器、服务器集群、云端服务器或云端服务器集群等。所述服务器可以是独立的服务器，也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content DeliveryNetwork，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
参照图1所示，为本发明一实施例提供的基于机器视觉的电力设备表面缺陷检测方法的流程示意图。在本实施例中，所述基于机器视觉的电力设备表面缺陷检测方法包括：
S1、获取电力设备的设备图像，对所述设备图像进行图像处理，得到所述设备图像的目标图像。
在本发明实施例中，电力设备可以是各种，例如：电站锅炉、蒸汽轮机、燃气轮机、水轮机、发电机、变压器等发电设备，各种电压等级的输电线路、互感器、接触器等供电设备；所述设备图像是指对所述电力设备进行拍照取样得到的照片。
在本发明实施例中，所述对所述设备图像进行图像处理，得到所述设备图像的目标图像，包括：
对所述设备图像进行区域提取，得到所述设备图像的标准图像；
对所述标准图像进行图像预处理，得到所述标准图像的预处理图像；
对所述预处理图像进行图像分割，得到所述预处理图像的目标图像。
详细地，所述区域提取是指在所述设备图像上选取出需要进行分析的图像区域。
详细地，所述图像预处理包括：图像去噪和图像增强，其中所述图像去噪是由于获取的设备图像可能会受环境、传感器、电子元件等的影响产生噪声，因此要对设备图像进行去噪，从而降低噪声对后续分析的影响；所述图像增强是强调图像的局部或者全局特征，使得感兴趣的图像区域更加凸显，提高图像的识别效果。
进一步地，所述对所述预处理图像进行图像分割目的是将缺陷从整体图像中分割出来，以便下一步对缺陷提取特征以及识别。
详细地，所述图像分割的方法可分为基于边缘的图像分割、基于区域的图像分割、基于阈值的图像分割、基于聚类的图像分割以及基于特定理论的图像分割等，其中，所述基于特定理论的图像分割包括：分水岭分割、基于模糊理论的分割、基于图论的分割等。
详细地，所述对所述标准图像进行图像预处理，得到所述标准图像的预处理图像，包括：
对所述标准图像进行去噪处理，得到所述标准图像的去噪图像；
对所述去噪图像进行增强处理，得到所述去噪图像的预处理图像。
详细地，图像中的常见噪声包含椒盐噪声和高斯噪声，所述去噪处理可以利用均值滤波、中值滤波、双边滤波等方法，其中，所述均值滤波使用中心像素及其邻域窗口中像素点的灰度均值代替该中心像素点的灰度值，邻域越大去噪效果越好，但图像会越模糊，不能保持边缘细节特征，适合去除高斯噪声；所述中值滤波检测中心像素点邻域窗口像素的中值，代替该中心像素点的灰度值，可以减少均值滤波带来的图像模糊问题，适合去除椒盐噪声和脉冲噪声；所述双边滤波既考虑了像素点空间位置关系，又考虑了像素灰度的相似性，在滤除噪声的同时也能保持良好的边缘信息。
详细地，由于光照变化、缺陷形状、大小不同、缺陷深浅不一等原因，图像灰度分布不均匀，且缺陷目标和背景之间差异不明显，因此需要图像增强来提高缺陷目标的显著性，使得目标和背景差异性增大。图像增强技术大致可分为两类：间接增强和直接增强。间接增强计算图像的直方图来调整图像对比度。如直方图均衡化，通过改变像素在整个灰度级上的分布，达到增强图像对比度的效果；直接增强基于对比度策略调整图像的对比度，对比度策略表示目标和背景之间的颜色或者亮度的定量差异。
S2、获取预设的卷积神经网络，利用所述目标图像构建所述预设的卷积神经网络的表面缺陷训练集。
在本发明实施例中，参图2所示，所述利用所述目标图像构建所述预设的卷积神经网络的表面缺陷训练集，包括：
S21、对所述目标图像进行特征提取，得到所述目标图像的图像特征；
S22、根据所述图像特征建立所述目标图像的特征序列，按照预设的抽样比例对所述特征序列进行分层抽样，得到所述目标图像的抽样数据；
S23、汇集所述抽样数据为所述预设的卷积神经网络的表面缺陷训练集。
详细地，所述目标图像的图像特征包括但不限于：几何特征、灰度特征和纹理特征，其中，所述几何特性是指缺陷通常具有面积、椭圆度、线性度、矩形度、周长等几何特征，因此可以采用几何特征描述缺陷，几何特征主要分为两种：简单描述子，包括边界的长度、区域的面积、外接矩形长宽比等；形状描述子，包括圆度、不变矩、链码、曲率等，一般要求几何特征具有平移不变性、旋转不变性和尺度不变性；所述灰度特征描述图像像素值的分布情况，包括灰度的均值、方差、熵、峤度等，一般图像的纹理特征与图像灰度特征有关，可由灰度特征组成；所述纹理特征反映了图像表面的结构信息以及各个像素与其周围像素的关系，不依赖于图像的颜色，是非常重要的特征，它需要在像素点邻域内计算统计性而不仅仅只依赖于单个像素灰度值，因此它具有局部性，并且纹理特征通常具有旋转不变性，对噪声不敏感，鲁棒性较好。
详细地，所述根据所述图像特征建立所述目标图像的特征序列是指将所述图像特征用向量集或者矩阵形式表示，将代表所述图像特征的特征点用向量或者数字表示。
详细地，所述预设的抽样比例可以选择8：2，其中，所述特征序列中80%的数据用来构成抽样数据。
S3、生成所述表面缺陷训练集中训练数据的训练标签，利用所述表面缺陷训练集和预设的感受野值对所述预设的卷积神经网络进行训练，得到所述预设的卷积神经网络的训练结果。
在本发明实施例中，所述训练标签是指用来表示所述训练数据的特征的标签，其中，所述训练标签和所述训练数据具有一一对应的关系，可用来检验所述预设的卷积神经网络的实用性和准确性。
详细地，所述预设的感受野值是指在预设的卷积神经网络中的卷积层进行卷积时的卷积维度和所述池化层进行池化时的池化维度，亦即，卷积层和池化层都会受到感受野影响，感受野是指特征图上的某个点能看到的输入图像的区域,即特征图上的点是由输入图像中感受野大小区域的计算得到的，神经元感受野的值越大表示其能接触到的原始图像范围就越大，也意味着它可能蕴含更为全局，语义层次更高的特征；相反，值越小则表示其所包含的特征越趋向局部和细节。因此感受野的值可以用来大致判断每一层的抽象层次。
在本发明实施例中，所述生成所述表面缺陷训练集中训练数据的训练标签，包括：
确定所述训练数据的标签映射规则，根据所述标签映射规则生成所述训练数据的训练标签。
详细地，所述标签映射规则是根据键值对产生的，例如：值value=1时，对应标签“存在缺陷”，又或者值value=1时，对应标签“无缺陷”，所述训练标签是自定义的。
在本发明实施例中，参图3所示，所述利用所述表面缺陷训练集和预设的感受野值对所述预设的卷积神经网络进行训练，得到所述预设的卷积神经网络的训练结果，包括：
S31、对预设的卷积神经网络进行参数初始化，得到初始卷积神经网络；
S32、将所述表面缺陷训练集输入至所述初始卷积神经网络，利用预设的感受野值和所述初始卷积神经网络对所述表面缺陷训练集进行卷积处理，得到所述表面缺陷训练集的卷积数据；
S33、对所述卷积数据进行池化处理，得到所述卷积数据的池化数据；
S34、利用所述初始卷积神经网络的全连接层对所述池化数据进行数据整合，得到所述初始卷积神经网络的训练结果。
详细地，所述预设的卷积神经网络主要由输入层、卷积层、池化层、全连接层及输出层组成，其中，所述卷积层进行卷积处理，所述池化层进行池化处理，所述全连接层进行数据整合处理。
详细地，所述利用预设的感受野值和所述初始卷积神经网络对所述表面缺陷训练集进行卷积处理，得到所述表面缺陷训练集的卷积数据，包括：
根据预设的感受野值确定所述初始卷积神经网络中池化层的池化维度；
利用如下卷积算法对所述表面缺陷训练集进行卷积处理，得到所述表面缺陷训练集的卷积数据：
其中，
是表示第
层第
个神经元的输出，
是卷积层的层数标识，
是卷积层中第
层神经元标识，
是卷积层中第
层神经元标识，
是第
层第
个神经元和第
层
第
个神经元的连接权值，
是第
层第
个神经元的输出，
是第
层第
个神经元的
偏置，
是激活函数。
详细地，考虑到每个模式可能出现在图像的局部区域，同一模式可能出现在图像的不同区域，并且下采样原始图像不会影响识别结果，因此 CNN 采用卷积层提取图像局部特征，采用池化层实现对图像下采样的目的，通过局部感受野和下采样逐层对图像特征进行提取，并且为了减少网络参数，采用权值共享的方式。
详细地，所述对所述卷积数据进行池化处理，得到所述卷积数据的池化数据，包括：
确定所述卷积数据的下采样函数类型，根据所述下采样函数类型和如下采样算法对所述卷积数据进行池化处理，得到所述卷积数据的池化数据：
其中，
是所述卷积数据的池化数据，
是下采样函数，
是
所述卷积数据。
详细地，池化层是通过一定的规则对特征图进行下采样，规则一般包括：平均池化、最大池化等，亦即，下采样函数类型包括：平均下采样函数和最大下采样函数等，其中，所述平均池化是对感受野内各特征值求均值，所述最大池化是取感受野内特征的最大值，池化层的目的是对图像下采样，减少模型参数数量，有效避免模型过拟合，并且逐步扩大图像的感受野，使得提取图像的局部特征逐渐过渡到提取图像的全局特征。
S4、根据所述训练结果和所述训练标签生成所述预设的卷积神经网络的损失函数。
在本发明实施例中，所述损失函数就是用来度量所述预设的卷积神经网络的预测值与真实值的差异程度的运算函数，亦即，所述损失函数就是用来度量所述预设的卷积神经网络的所述训练结果与所述训练标签的差异程度的运算函数，它是一个非负实值函数，损失函数越小，模型的鲁棒性就越好。
详细地，所述损失函数包括但不限于：均方误差损失函数、欧氏距离损失函数、曼哈顿距离损失函数、huber损失函数、相对熵等。
S5、对所述损失函数进行衰减处理，得到所述损失函数的衰减函数，根据所述衰减函数和预设的梯度下降算法对所述预设的卷积神经网络进行参数更新，得到训练完成的卷积神经网络。
在本发明实施例中，所述衰减函数的使用主要是在所述预设的卷积神经网络的训练阶段，每个批次的训练数据送入模型后，通过前向传播输出预测值，然后所述衰减函数会计算损失值，得到损失值之后，模型通过反向传播去更新各个参数，来降低真实值与预测值之间的损失，使得所述预设的卷积神经网络生成的预测值往真实值方向靠拢，从而达到学习的目的。
在本发明实施例中，所述对所述损失函数进行衰减处理，得到所述损失函数的衰减函数，包括：
确定所述损失函数的正则化类型，根据所述正则化类型生成所述损失函数的惩罚项；
利用所述惩罚项对所述损失函数进行衰减处理，得到所述损失函数的衰减函数。
详细地，所述正则化类型包括：L2正则化和L1正则化，其中，所述L2正则化是在损
失函数中加入权重参数的惩罚项
，使得模型越简单越好，通过
调节惩罚项的程度，
越大表明对于权重较大的参数会有非常高的惩罚项，因此会使得权重更加均匀；所述L1正
则化是在损失函数上加入权重参数惩罚项
，使得有的权重尽可能地为0，只保留对目
标函数影响比较大的权重。
详细地，所述预设的梯度下降算法为：
其中，
是更新的参数，
是需要调节的参数，
表示梯度，
是计算所述
衰减函数需要的
数据与
数据之间的小批次数据，
是计算所述衰减函数需要
的
数据与
数据之间的小批次数据，
是作为一个值容器承载着梯度平方加权平均
的结果，
作为梯度缩放的因子，
是常数，一般取
，
是数据标识，
是数据标
识。
详细地，预设的梯度下降算法是使得参数在朝着所述衰减函数降低的方向更新更
快，而垂直于所述衰减函数降低的方向变化较慢，避免出现所述衰减函数“之字形”下降现
象；
是常数，是一个很小的数，避免所述预设的梯度下降算法中的
为0
S6、利用所述训练完成的卷积神经网络进行目标电力设备的表面缺陷检测。
在本发明实施例中，产品表面的缺陷表现为和产品其它部分不同的地方，即具有显著性，例如：带钢表面会出现划痕、夹杂、麻面、擦伤、氧化皮等，金属表面会出现斑块、孔洞等，纸张表面会出现污点、色差等，产品表面的缺陷不仅影响产品的商业价值，对产品的后续加工以及用户体验都有严重的影响，因此，在产品出厂之前，需要严格检查产品外观是否存在缺陷。
详细地，利用所述训练完成的卷积神经网络可以检测出所述目标电力设备的表面缺陷，例如：所述训练完成的卷积神经网络输出值大于预设的缺陷阈值，那么就可以确定所述目标电力设备的表面存在缺陷。
本发明实施例通过对电力设备的设备图像进行预处理，消除了所述设备图像的部分噪声，降低噪声对后续分析的影响，并增强了所述设备图像局部特征和全局特征，使得感兴趣的图像区域更加凸显，提高图像的识别效果，利用预设的感受野值和生成的表面缺陷训练集对预设的卷积神经网络进行训练，使得模型参数更加精确，生成所述预设的卷积神经网络的损失函数并对所述损失模型进行衰减处理，降低了模型误差，利用预设的梯度下降算法进行参数更新，加快了参数更新速度，因此本发明提出基于机器视觉的电力设备表面缺陷检测方法，可以解决电力设备表面缺陷检测准确度较低的问题。
如图4所示，是本发明一实施例提供的基于机器视觉的电力设备表面缺陷检测装置的功能模块图。
本发明所述基于机器视觉的电力设备表面缺陷检测装置100可以安装于电子设备中。根据实现的功能，所述基于机器视觉的电力设备表面缺陷检测装置100可以包括图像处理模块101、生成训练集模块102、模型训练模块103、损失函数模块104、参数更新模块105及缺陷检测模块106。本发明所述模块也可以称之为单元，是指一种能够被电子设备处理器所执行，并且能够完成固定功能的一系列计算机程序段，其存储在电子设备的存储器中。
在本实施例中，关于各模块/单元的功能如下：
所述图像处理模块101，用于获取电力设备的设备图像，对所述设备图像进行图像处理，得到所述设备图像的目标图像；
所述生成训练集模块102，用于获取预设的卷积神经网络，利用所述目标图像构建所述预设的卷积神经网络的表面缺陷训练集；
所述模型训练模块103，用于生成所述表面缺陷训练集中训练数据的训练标签，利用所述表面缺陷训练集和预设的感受野值对所述预设的卷积神经网络进行训练，得到所述预设的卷积神经网络的训练结果；
所述损失函数模块104，用于根据所述训练结果和所述训练标签生成所述预设的卷积神经网络的损失函数；
所述参数更新模块105，用于对所述损失函数进行衰减处理，得到所述损失函数的衰减函数，根据所述衰减函数和预设的梯度下降算法对所述预设的卷积神经网络进行参数更新，得到训练完成的卷积神经网络；
所述缺陷检测模块106，用于利用所述训练完成的卷积神经网络进行目标电力设备的表面缺陷检测。
在本发明所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。
因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。
本申请实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能（Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用装置。
此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一、第二等词语用来表示名称，而并不表示任何特定的顺序。
最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。
Claims (10)
1.一种基于机器视觉的电力设备表面缺陷检测方法，其特征在于，所述方法包括：
获取电力设备的设备图像，对所述设备图像进行图像处理，得到所述设备图像的目标图像；
获取预设的卷积神经网络，利用所述目标图像构建所述预设的卷积神经网络的表面缺陷训练集；
生成所述表面缺陷训练集中训练数据的训练标签，利用所述表面缺陷训练集和预设的感受野值对所述预设的卷积神经网络进行训练，得到所述预设的卷积神经网络的训练结果；
根据所述训练结果和所述训练标签生成所述预设的卷积神经网络的损失函数；
对所述损失函数进行衰减处理，得到所述损失函数的衰减函数，根据所述衰减函数和预设的梯度下降算法对所述预设的卷积神经网络进行参数更新，得到训练完成的卷积神经网络，其中，所述预设的梯度下降算法为：
其中，
是更新的参数，
是需要调节的参数，
表示梯度，
是计算所述衰减
函数需要的
数据与
数据之间的小批次数据，
是计算所述衰减函数需要的
数据与
数据之间的小批次数据，
是作为一个值容器承载着梯度平方加权平均的结
果，
作为梯度缩放的因子，
是常数，一般取
，
是数据标识，
是数据标识；
利用所述训练完成的卷积神经网络进行目标电力设备的表面缺陷检测。
2.如权利要求1所述的基于机器视觉的电力设备表面缺陷检测方法，其特征在于，所述对所述设备图像进行图像处理，得到所述设备图像的目标图像，包括：
对所述设备图像进行区域提取，得到所述设备图像的标准图像；
对所述标准图像进行图像预处理，得到所述标准图像的预处理图像；
对所述预处理图像进行图像分割，得到所述预处理图像的目标图像。
3.如权利要求2所述的基于机器视觉的电力设备表面缺陷检测方法，其特征在于，所述对所述标准图像进行图像预处理，得到所述标准图像的预处理图像，包括：
对所述标准图像进行去噪处理，得到所述标准图像的去噪图像；
对所述去噪图像进行增强处理，得到所述去噪图像的预处理图像。
4.如权利要求1所述的基于机器视觉的电力设备表面缺陷检测方法，其特征在于，所述利用所述目标图像构建所述预设的卷积神经网络的表面缺陷训练集，包括：
对所述目标图像进行特征提取，得到所述目标图像的图像特征；
根据所述图像特征建立所述目标图像的特征序列，按照预设的抽样比例对所述特征序列进行分层抽样，得到所述目标图像的抽样数据；
汇集所述抽样数据为所述预设的卷积神经网络的表面缺陷训练集。
5.如权利要求1所述的基于机器视觉的电力设备表面缺陷检测方法，其特征在于，所述生成所述表面缺陷训练集中训练数据的训练标签，包括：
确定所述训练数据的标签映射规则，根据所述标签映射规则生成所述训练数据的训练标签。
6.如权利要求1所述的基于机器视觉的电力设备表面缺陷检测方法，其特征在于，所述利用所述表面缺陷训练集和预设的感受野值对所述预设的卷积神经网络进行训练，得到所述预设的卷积神经网络的训练结果，包括：
对预设的卷积神经网络进行参数初始化，得到初始卷积神经网络；
将所述表面缺陷训练集输入至所述初始卷积神经网络，利用预设的感受野值和所述初始卷积神经网络对所述表面缺陷训练集进行卷积处理，得到所述表面缺陷训练集的卷积数据；
对所述卷积数据进行池化处理，得到所述卷积数据的池化数据；
利用所述初始卷积神经网络的全连接层对所述池化数据进行数据整合，得到所述初始卷积神经网络的训练结果。
7.如权利要求6所述的基于机器视觉的电力设备表面缺陷检测方法，其特征在于，所述利用预设的感受野值和所述初始卷积神经网络对所述表面缺陷训练集进行卷积处理，得到所述表面缺陷训练集的卷积数据，包括：
根据预设的感受野值确定所述初始卷积神经网络中池化层的池化维度；
利用如下卷积算法对所述表面缺陷训练集进行卷积处理，得到所述表面缺陷训练集的卷积数据：
其中，
是表示第
层第
个神经元的输出，
是卷积层的层数标识，
是卷积层中第
层
神经元标识，
是卷积层中第
层神经元标识，
是第
层第
个神经元和第
层第
个神经元的连接权值，
是第
层第
个神经元的输出，
是第
层第
个神经元的偏
置，
是激活函数。
8.如权利要求6所述的基于机器视觉的电力设备表面缺陷检测方法，其特征在于，所述对所述卷积数据进行池化处理，得到所述卷积数据的池化数据，包括：
确定所述卷积数据的下采样函数类型，根据所述下采样函数类型和如下采样算法对所述卷积数据进行池化处理，得到所述卷积数据的池化数据：
其中，
是所述卷积数据的池化数据，
是下采样函数，
是所述卷
积数据。
9.如权利要求1至8中任一项所述的基于机器视觉的电力设备表面缺陷检测方法，其特征在于，所述对所述损失函数进行衰减处理，得到所述损失函数的衰减函数，包括：
确定所述损失函数的正则化类型，根据所述正则化类型生成所述损失函数的惩罚项；
利用所述惩罚项对所述损失函数进行衰减处理，得到所述损失函数的衰减函数。
10.一种基于机器视觉的电力设备表面缺陷检测装置，其特征在于，所述装置包括：
图像处理模块，用于获取电力设备的设备图像，对所述设备图像进行图像处理，得到所述设备图像的目标图像；
生成训练集模块，用于获取预设的卷积神经网络，利用所述目标图像构建所述预设的卷积神经网络的表面缺陷训练集；
模型训练模块，用于生成所述表面缺陷训练集中训练数据的训练标签，利用所述表面缺陷训练集和预设的感受野值对所述预设的卷积神经网络进行训练，得到所述预设的卷积神经网络的训练结果；
损失函数模块，用于根据所述训练结果和所述训练标签生成所述预设的卷积神经网络的损失函数；
参数更新模块，用于对所述损失函数进行衰减处理，得到所述损失函数的衰减函数，根据所述衰减函数和预设的梯度下降算法对所述预设的卷积神经网络进行参数更新，得到训练完成的卷积神经网络；
缺陷检测模块，用于利用所述训练完成的卷积神经网络进行目标电力设备的表面缺陷检测。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310032686.1A CN115713533B (zh) | 2023-01-10 | 2023-01-10 | 基于机器视觉的电力设备表面缺陷检测方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310032686.1A CN115713533B (zh) | 2023-01-10 | 2023-01-10 | 基于机器视觉的电力设备表面缺陷检测方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115713533A true CN115713533A (zh) | 2023-02-24 |
| CN115713533B CN115713533B (zh) | 2023-06-06 |
Family
ID=85236232
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310032686.1A Active CN115713533B (zh) | 2023-01-10 | 2023-01-10 | 基于机器视觉的电力设备表面缺陷检测方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115713533B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115331152A (zh) * | 2022-09-28 | 2022-11-11 | 江苏海舟安防科技有限公司 | 一种消防识别方法和*** |
| CN116704266A (zh) * | 2023-07-28 | 2023-09-05 | 国网浙江省电力有限公司信息通信分公司 | 一种电力设备故障检测方法、装置、设备及存储介质 |
| CN116758060A (zh) * | 2023-08-10 | 2023-09-15 | 江苏森标科技有限公司 | 一种电池片立式花篮视觉检测*** |
| CN118134938A (zh) * | 2024-05-10 | 2024-06-04 | 山东银山耐火材料有限公司 | 一种耐火砖表面缺陷视觉检测方法及*** |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070146491A1 (en) * | 2004-06-09 | 2007-06-28 | Cognex Corporation | Human-machine-interface and method for manipulating data in a machine vision system |
| CN109060838A (zh) * | 2018-07-23 | 2018-12-21 | 三固（厦门）科技有限公司 | 一种基于机器视觉的产品表面划痕检测方法 |
| CN109359608A (zh) * | 2018-10-25 | 2019-02-19 | 电子科技大学 | 一种基于深度学习模型的人脸识别方法 |
| CN110349146A (zh) * | 2019-07-11 | 2019-10-18 | 中原工学院 | 基于轻量级卷积神经网络的织物缺陷识别***的搭建方法 |
| CN110992317A (zh) * | 2019-11-19 | 2020-04-10 | 佛山市南海区广工大数控装备协同创新研究院 | 一种基于语义分割的pcb板缺陷检测方法 |
| US20200134461A1 (en) * | 2018-03-20 | 2020-04-30 | Sri International | Dynamic adaptation of deep neural networks |
| CN111507990A (zh) * | 2020-04-20 | 2020-08-07 | 南京航空航天大学 | 一种基于深度学习的隧道表面缺陷分割方法 |
| US20210334587A1 (en) * | 2018-09-04 | 2021-10-28 | Boe Technology Group Co., Ltd. | Method and apparatus for training a convolutional neural network to detect defects |
| CN113870230A (zh) * | 2021-09-30 | 2021-12-31 | 湖南大学 | 一种基于混合监督学习的表面异常检测方法 |
| CN114119554A (zh) * | 2021-11-29 | 2022-03-01 | 哈尔滨工业大学 | 一种基于卷积神经网络的表面微缺陷检测方法及装置 |
| CN114330094A (zh) * | 2021-11-18 | 2022-04-12 | 国家电网有限公司 | 一种基于tcn-gru联合模型的风电功率短期预测方法 |
| CN115271263A (zh) * | 2022-09-27 | 2022-11-01 | 佰聆数据股份有限公司 | 基于改进关联规则的电力设备缺陷预警方法、***及介质 |
| CN115294038A (zh) * | 2022-07-25 | 2022-11-04 | 河北工业大学 | 一种基于联合优化与混合注意力特征融合的缺陷检测方法 |
-
2023
- 2023-01-10 CN CN202310032686.1A patent/CN115713533B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070146491A1 (en) * | 2004-06-09 | 2007-06-28 | Cognex Corporation | Human-machine-interface and method for manipulating data in a machine vision system |
| US20200134461A1 (en) * | 2018-03-20 | 2020-04-30 | Sri International | Dynamic adaptation of deep neural networks |
| CN109060838A (zh) * | 2018-07-23 | 2018-12-21 | 三固（厦门）科技有限公司 | 一种基于机器视觉的产品表面划痕检测方法 |
| US20210334587A1 (en) * | 2018-09-04 | 2021-10-28 | Boe Technology Group Co., Ltd. | Method and apparatus for training a convolutional neural network to detect defects |
| CN109359608A (zh) * | 2018-10-25 | 2019-02-19 | 电子科技大学 | 一种基于深度学习模型的人脸识别方法 |
| CN110349146A (zh) * | 2019-07-11 | 2019-10-18 | 中原工学院 | 基于轻量级卷积神经网络的织物缺陷识别***的搭建方法 |
| CN110992317A (zh) * | 2019-11-19 | 2020-04-10 | 佛山市南海区广工大数控装备协同创新研究院 | 一种基于语义分割的pcb板缺陷检测方法 |
| CN111507990A (zh) * | 2020-04-20 | 2020-08-07 | 南京航空航天大学 | 一种基于深度学习的隧道表面缺陷分割方法 |
| CN113870230A (zh) * | 2021-09-30 | 2021-12-31 | 湖南大学 | 一种基于混合监督学习的表面异常检测方法 |
| CN114330094A (zh) * | 2021-11-18 | 2022-04-12 | 国家电网有限公司 | 一种基于tcn-gru联合模型的风电功率短期预测方法 |
| CN114119554A (zh) * | 2021-11-29 | 2022-03-01 | 哈尔滨工业大学 | 一种基于卷积神经网络的表面微缺陷检测方法及装置 |
| CN115294038A (zh) * | 2022-07-25 | 2022-11-04 | 河北工业大学 | 一种基于联合优化与混合注意力特征融合的缺陷检测方法 |
| CN115271263A (zh) * | 2022-09-27 | 2022-11-01 | 佰聆数据股份有限公司 | 基于改进关联规则的电力设备缺陷预警方法、***及介质 |
Non-Patent Citations (1)
| Title |
|---|
| 刘士波: "基于数字图像的输电线故障识别与定位方法研究", pages 1 - 60 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115331152A (zh) * | 2022-09-28 | 2022-11-11 | 江苏海舟安防科技有限公司 | 一种消防识别方法和*** |
| CN115331152B (zh) * | 2022-09-28 | 2024-03-08 | 江苏海舟安防科技有限公司 | 一种消防识别方法和*** |
| CN116704266A (zh) * | 2023-07-28 | 2023-09-05 | 国网浙江省电力有限公司信息通信分公司 | 一种电力设备故障检测方法、装置、设备及存储介质 |
| CN116704266B (zh) * | 2023-07-28 | 2023-10-31 | 国网浙江省电力有限公司信息通信分公司 | 一种电力设备故障检测方法、装置、设备及存储介质 |
| CN116758060A (zh) * | 2023-08-10 | 2023-09-15 | 江苏森标科技有限公司 | 一种电池片立式花篮视觉检测*** |
| CN116758060B (zh) * | 2023-08-10 | 2023-10-27 | 江苏森标科技有限公司 | 一种电池片立式花篮视觉检测*** |
| CN118134938A (zh) * | 2024-05-10 | 2024-06-04 | 山东银山耐火材料有限公司 | 一种耐火砖表面缺陷视觉检测方法及*** |
| CN118134938B (zh) * | 2024-05-10 | 2024-07-12 | 山东银山耐火材料有限公司 | 一种耐火砖表面缺陷视觉检测方法及*** |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115713533B (zh) | 2023-06-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115713533B (zh) | 基于机器视觉的电力设备表面缺陷检测方法及装置 | |
| CN111723860B (zh) | 一种目标检测方法及装置 | |
| CN113160192B (zh) | 复杂背景下基于视觉的压雪车外观缺陷检测方法及装置 | |
| Jiang et al. | Change detection in heterogeneous optical and SAR remote sensing images via deep homogeneous feature fusion | |
| CN111611874B (zh) | 基于ResNet和Canny的人脸口罩佩戴检测方法 | |
| CN110598600A (zh) | 一种基于unet神经网络的遥感图像云检测方法 | |
| CN111445459B (zh) | 一种基于深度孪生网络的图像缺陷检测方法及*** | |
| CN106651774B (zh) | 一种车牌超分辨率模型重建方法及装置 | |
| CN111160249A (zh) | 基于跨尺度特征融合的光学遥感图像多类目标检测方法 | |
| CN110060273B (zh) | 基于深度神经网络的遥感影像滑坡测图方法 | |
| CN111968095B (zh) | 一种产品表面缺陷检测方法及***及装置及介质 | |
| CN111680690B (zh) | 一种文字识别方法及装置 | |
| CN111242864B (zh) | 一种基于Gabor纹理约束的手指静脉图像修复方法 | |
| CN109840483B (zh) | 一种滑坡裂缝检测与识别的方法及装置 | |
| CN109191430A (zh) | 一种基于Laws纹理与单分类SVM结合的素色布匹缺陷检测方法 | |
| CN113392849A (zh) | 一种基于r-cnn的复杂路面裂缝识别方法 | |
| CN113221881B (zh) | 一种多层级的智能手机屏幕缺陷检测方法 | |
| Sahu et al. | Trends and prospects of techniques for haze removal from degraded images: A survey | |
| CN116228780A (zh) | 基于计算机视觉的硅片缺陷检测方法及*** | |
| CN115829942A (zh) | 基于非负性约束稀疏自编码器的电子电路缺陷检测方法 | |
| CN116012922A (zh) | 一种适于口罩佩戴状态的人脸图像性别识别方法 | |
| CN116152261A (zh) | 一种印刷制品质量的视觉检测*** | |
| Widyantara et al. | Gamma correction-based image enhancement and canny edge detection for shoreline extraction from coastal imagery | |
| CN117036342B (zh) | 一种芯片缺陷识别方法及*** | |
| Han et al. | Low contrast image enhancement using convolutional neural network with simple reflection model |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |