CN112381794A - 一种基于深度卷积生成网络的印刷缺陷检测方法 - Google Patents
一种基于深度卷积生成网络的印刷缺陷检测方法 Download PDFInfo
- Publication number
- CN112381794A CN112381794A CN202011276148.XA CN202011276148A CN112381794A CN 112381794 A CN112381794 A CN 112381794A CN 202011276148 A CN202011276148 A CN 202011276148A CN 112381794 A CN112381794 A CN 112381794A
- Authority
- CN
- China
- Prior art keywords
- image
- defect detection
- noise
- feature map
- attention
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000007547 defect Effects 0.000 title claims abstract description 58
- 238000001514 detection method Methods 0.000 title claims abstract description 42
- 238000000034 method Methods 0.000 claims abstract description 22
- 238000009826 distribution Methods 0.000 claims abstract description 14
- 230000007246 mechanism Effects 0.000 claims abstract description 8
- 238000012549 training Methods 0.000 claims description 17
- 238000005070 sampling Methods 0.000 claims description 13
- 230000011218 segmentation Effects 0.000 claims description 12
- 230000002950 deficient Effects 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 7
- 238000010586 diagram Methods 0.000 claims description 6
- 230000017105 transposition Effects 0.000 claims description 6
- 238000013135 deep learning Methods 0.000 abstract description 3
- 238000005516 engineering process Methods 0.000 abstract 1
- 238000005520 cutting process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012372 quality testing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
一种基于深度卷积生成网络的印刷缺陷检测方法，本发明涉及缺陷检测技术中，印刷品微小缺陷准确检测的问题。近年来，深度学习被广泛用于缺陷检测。虽然目前的方法在简单背景下的缺陷检测任务上取得了进展，但对于细微缺陷还是无法准确检测。针对这一问题，本发明提出了一种基于深度卷积生成网络的印刷缺陷检测方法。首先，加入上采样模块，减少上采样中的损失。其次，提出一种自注意力机制，从而使得网络可以生成结构性更为复杂和细节更为准确的图像。最后，拟合生成器生成图像的噪声分布，去除噪声，获得缺陷图像。在保证准确率的基础上，提高了检测精度。本发明应用于无监督的印刷微小缺陷检测。
Description
技术领域
本发明涉及印刷品微小缺陷检测
背景技术
随着生活水平的提高，人们对于印刷品的外观质量也有了更高的要求。中国拥有巨大的印刷市场，印刷检测也成为了学术界的研究热点。传统的人工检测，不仅费时费力，而且不同质检员有不同的检测标准，同时还伴随着疲劳而导致的误检漏检。这种方式在追求质量与效率的当下逐渐被冷落，开始被自动化的机器视觉检测所替代。自动化检测可以实现24小时同标准同速度的检测，不会有人工疲劳带来的风险，同时极大的节约了人力物力，是当前最为流行的检测方式。机器视觉的主要是通过模板匹配来检测缺陷的。待检图片与模板图像相减获得缺陷的方式，极大程度上受限与图像校准的准确度。如果无法完美校准，则会有边界处的误检缺陷出现。基于深度学习的缺陷检测框架刚好可以弥补这一不足。
深度学习方法可以应对较为复杂的实际检测环境，但监督学习需要利用大量的标记数据集来进行模型训练，而且能够检测出的缺陷也仅限于训练中的缺陷类型，对于没有训练到的缺陷是无法检测到的。使用正样本训练的无监督学习，可以得到待检图像对应的无缺陷图像，利用无缺陷图像与待检图像做差得到结果，对结果再进行优化处理可以实现检测任意缺陷。但目前只对于大面积的印刷缺陷可以准确检测，还无法实现微小缺陷的准确检测。因此本发明提出了一种深度卷积生成网络缺陷检测框架，用于实现印刷品微小缺陷准确检测。
本发明提出的深度卷积生成网络缺陷检测框架，首先加入上采样模块，减少上采样中的损失。其次，提出一种自注意力机制，从而使得网络可以生成结构性更为复杂和细节更为准确的图像。最后，学习生成器生成图像的噪声分布，确定最佳阈值，去除噪声，获得缺陷图。在保证准确率的基础上，提高了检测精度。
发明内容
本发明的目的是为了解决本印刷品微小缺陷准确检测的问题，而提出的一种基于深度卷积生成网络的印刷缺陷检测方法，包含如下步骤：
S1、制备训练数据集，包含如下步骤：
S11、选取图像：选取50个不同位置的印刷品图像；
S12、制作缺陷图像：选取一半图片，利用随机数确定缺陷的位置与大小、形
状，生成随机缺陷；
S13、裁剪图片：对图片进行裁剪，大小为512x512。
S2、搭建DCGAN网络，为了保留更多细节，减少上采样过程中损失，在解码过程中使用转置卷积和上采样两种方式，然后取两种方式结果的平均值。
S3、为了生成结构性更为复杂和细节更为准确的图像，本发明提出一种自注意力机制：
S31、将输入的特征图阈值分割，获得前景特征图，从而使得目标区域获得更多的注意力；
S32、使用不同的1x1卷积降低特征图的维度，获得特征图A，B；
S33、使用1x1卷积降低前景特征图的维度，获得特征图C；
S34、对特征图A进行转置操作，然后与特征图C相乘，得到的结果通过softmax获得注意力权重图；
S35、注意力权重图与特征图B相乘，获得注意力特征图；
注意力学习结构的输出如下公式计算：
式中，x为输入的特征图，S(x)表示阈值分割操作，G(x),H(x),F(x)为三种1x1卷积操作，T(x)表示转置操作。
S4、训练模型，获得训练成功的生成器。损失函数公式如下：
loss(xi,yi)＝-wi[yilogxi+(1-yi)log(1-xi)] (2)
其中i为训练样本，x为期望的类别概率，y为模型预测的类别概率，w为权重。
S5、缺陷检测，步骤如下：
S51待检图像通过生成器生成无缺陷图像；
S52无缺陷图像与待检图像相减获得差图；
S53去除噪声。因为生成图像与真实图像存在差异，会在差图中产生噪声，影响检测结果；为了拟合噪声分布，同时排除缺陷的干扰，所以选取无缺陷待检图像的差图做拟合数据，学习差图中的噪声分布，然后通过阈值分割去除噪声，获得最终的缺陷图；步骤如下：
S531、统计差图中各个灰度级x的像素个数y；
S532、对x，y拟合曲线，获得噪声分布y＝m(x)；
S533、计算y＝0时的x,也就是噪声消失的x,设为阈值key；
S534、利用阈值分割去除差图中的噪声，获得最终缺陷图。
发明效果
本发明提供了一种基于深度卷积生成网络的印刷缺陷检测方法，通过引入上采样改进模块，自注意力机制和拟合噪声分布去除噪声的方法，提高了检测精度。首先加入上采样模块，减少上采样中的损失。其次，提出一种自注意力机制，从而使得网络可以生成结构性更为复杂和细节更为准确的图像。最后，拟合生成器生成图像的噪声分布，确定最佳阈值，去除噪声，获得缺陷图像。实验结果表明，本文方法在缺陷检测方面具有较好的表现，相比之前的方法在细小缺陷检测中可以提高检测精度。
附图说明
图1模型结构图示
图2 DCGAN网络模型结构图；
图3自注意力学习机制图；
图4样本直方图；
图5检测对比图
具体实施方法
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1：
如图1所示本文提供的一种基于深度卷积生成网络的印刷缺陷检测方法，包含模型训练和直方图灰度统计：
所述模型训练包含步骤：
S1、制备训练数据集；
S2、搭建DCGAN网络，加入上采样模块，如图2所示；
S3、搭建自注意力结构，如图3所示；
S4、训练模型，获得生成器；
S5、缺陷检测；
本发明使用不同位置的图片切片后，选取一半数据生成随机缺陷，通过训练DCGAN网络，获得可以生成无缺陷图像的生成器；在网络的上采样过程中，加入上采样模块，减少上采样损失；然后引入自注意力机制，生成结构更为复杂的图像；通过生成器生成图像与原始图像相减，获得差图；通过无缺陷图像的差图拟合噪声分布，通过阈值分割去除噪声，获得最终的缺陷图。
下面对本发明实施例进行详细的说明：
S1、制备训练数据集，包含如下步骤：
S11、选取图像：选取50个不同位置的印刷品图像；
S12、制作缺陷图像：利用随机数确定缺陷的位置与大小，形状，生成随机缺陷；
S13、裁剪图片：对图片进行裁剪，大小为512x512。
S2、搭建DCGAN网络，为了保留更多细节，减少上采样过程中损失，在解码过程中使用转置卷积和上采样两种方式，然后取两种方式结果的平均值。
S3、为了生成结构性更为复杂和细节更为准确的图像，本发明提出一种自注意力学习机制：
S31、将输入的特征图阈值分割，获得前景特征图，从而使得目标区域获得更
多的注意力；
S32、使用不同的1x1卷积降低特征图的维度，获得特征图A，B；
S33、使用1x1卷积降低前景特征图的维度，获得特征图C；
S34、对特征图A进行转置操作，然后与特征图C相乘，得到的结果通过softmax获得注意力权重图；
S35、注意力权重图与特征图B相乘，获得注意力特征图；
注意力学习结构的输出如下公式计算：
式中，x为输入的特征图，S(x)表示阈值分割操作，G(x),H(x),F(x)为三种1x1卷积操作，T(x)表示转置操作。
S4、训练模型，获得训练成功的生成器。损失函数公式如下：
loss(xi,yi)＝-wi[yilogxi+(1-yi)log(1-xi)] (2)
其中i为训练样本，x为期望的类别概率，y为模型预测的类别概率，w为权重。
S5、缺陷检测，步骤如下：
S51待检图像通过生成器生成无缺陷图像；
S52无缺陷图像与待检图像相减获得差图；
S53去除噪声。因为生成图像与真实图像存在差异，会在差图中产生噪声，影响检测结果；为了拟合噪声分布，同时排除缺陷的干扰，所以选取无缺陷待检图像的差图做拟合数据，学习差图中的噪声分布，然后通过阈值分割去除噪声，获得最终的缺陷图；步骤如下：
S531、统计差图中各个灰度级x的像素个数y，如图4所示；
S532、对x，y拟合曲线，获得噪声分布y＝m(x)；
S533、计算y＝0时的x,也就是噪声消失的x,设为阈值key；
S534、利用阈值分割去除差图中的噪声，获得最终缺陷图，如图5所示。
Claims (4)
1.一种基于深度卷积生成网络的印刷缺陷检测方法，其特征在于，模型结构和训练方法包含如下步骤：
S1、制备训练数据集；
S2、搭建DCGAN网络，加入上采样模块；
S3、搭建自注意力结构；
S4、训练模型，获得生成器；
S5、缺陷检测。
2.如权利要求1所述的一种基于深度卷积生成网络的印刷缺陷检测方法，其特征在于，S2搭建DCGAN网络，为了保留更多细节，减少上采样过程中损失；在解码过程中使用转置卷积和上采样两种方式，然后取两种方式结果的平均值。
3.如权利要求1所述的一种基于深度卷积生成网络的印刷缺陷检测方法，其特征在于，S3为了生成结构性更为复杂和细节更为准确的图像，本发明提出一种自注意力机制：
S31、将输入的特征图阈值分割，获得前景特征图，从而使得目标区域获得更多的注意力；
S32、使用不同的1x1卷积降低特征图的维度，获得特征图A，B；
S33、使用1x1卷积降低前景特征图的维度，获得特征图C；
S34、对特征图A进行转置操作，然后与特征图C相乘，得到的结果通过softmax获得注意力权重图；
S35、注意力权重图与特征图B相乘，获得注意力特征图；
注意力学习结构的输出如下公式计算：
式中，x为输入的特征图，S(x)表示阈值分割操作，G(x),H(x),F(x)为三种1x1卷积操作，T(x)表示转置操作。
4.如权利要求1所述的一种基于深度卷积生成网络的印刷缺陷检测方法，其特征在于，S5缺陷检测，步骤如下：
S51待检图像通过生成器生成无缺陷图像；
S52无缺陷图像与待检图像相减获得差图；
S53去除噪声。因为生成图像与真实图像存在差异，会在差图中产生噪声，影响检测结果；为了拟合噪声分布，同时排除缺陷的干扰，所以选取无缺陷待检图像的差图做拟合数据，学习差图中的噪声分布，然后通过阈值分割去除噪声，获得最终的缺陷图；步骤如下：
S531、统计差图中各个灰度级x的像素个数y；
S532、对x，y拟合曲线，获得噪声分布y＝m(x)；
S533、计算y＝0时的x,也就是噪声消失的x,设为阈值key；
S534、利用阈值分割去除差图中的噪声，获得最终缺陷图。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011276148.XA CN112381794B (zh) | 2020-11-16 | 2020-11-16 | 一种基于深度卷积生成网络的印刷缺陷检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011276148.XA CN112381794B (zh) | 2020-11-16 | 2020-11-16 | 一种基于深度卷积生成网络的印刷缺陷检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112381794A true CN112381794A (zh) | 2021-02-19 |
| CN112381794B CN112381794B (zh) | 2022-05-31 |
Family
ID=74584207
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011276148.XA Expired - Fee Related CN112381794B (zh) | 2020-11-16 | 2020-11-16 | 一种基于深度卷积生成网络的印刷缺陷检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112381794B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113409254A (zh) * | 2021-06-04 | 2021-09-17 | 哈尔滨理工大学 | 一种针对模糊成像环境的印刷品缺陷检测方法 |
| WO2023070911A1 (zh) * | 2021-10-27 | 2023-05-04 | 西安工程大学 | 一种基于自注意力的彩色纹理织物缺陷区域的检测方法 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108562589A (zh) * | 2018-03-30 | 2018-09-21 | 慧泉智能科技（苏州）有限公司 | 一种对磁路材料表面缺陷进行检测的方法 |
| CN110619618A (zh) * | 2018-06-04 | 2019-12-27 | 杭州海康威视数字技术股份有限公司 | 一种表面缺陷检测方法、装置及电子设备 |
| WO2020131091A1 (en) * | 2018-12-20 | 2020-06-25 | Hewlett-Packard Development Company, L.P. | Print quality assessments via patch classification |
| EP3675034A1 (en) * | 2018-12-28 | 2020-07-01 | Palo Alto Research Center Incorporated | Image realism predictor |
| CN111429355A (zh) * | 2020-03-30 | 2020-07-17 | 新疆大学 | 一种基于生成对抗网络的图像超分辨率重建方法 |
| CN111507521A (zh) * | 2020-04-15 | 2020-08-07 | 北京智芯微电子科技有限公司 | 台区电力负荷预测方法及预测装置 |
| CN111612759A (zh) * | 2020-05-19 | 2020-09-01 | 佛山科学技术学院 | 一种基于深度卷积生成式对抗网络的印刷品缺陷识别方法 |
| CN111724372A (zh) * | 2020-06-19 | 2020-09-29 | 深圳新视智科技术有限公司 | 基于对抗神经网络的布匹缺陷检测方法、终端和存储介质 |
| CN111914916A (zh) * | 2020-07-22 | 2020-11-10 | 河海大学 | 基于双路卷积融合神经网络的高光谱图像分类模型及方法 |
-
2020
- 2020-11-16 CN CN202011276148.XA patent/CN112381794B/zh not_active Expired - Fee Related
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108562589A (zh) * | 2018-03-30 | 2018-09-21 | 慧泉智能科技（苏州）有限公司 | 一种对磁路材料表面缺陷进行检测的方法 |
| CN110619618A (zh) * | 2018-06-04 | 2019-12-27 | 杭州海康威视数字技术股份有限公司 | 一种表面缺陷检测方法、装置及电子设备 |
| WO2020131091A1 (en) * | 2018-12-20 | 2020-06-25 | Hewlett-Packard Development Company, L.P. | Print quality assessments via patch classification |
| EP3675034A1 (en) * | 2018-12-28 | 2020-07-01 | Palo Alto Research Center Incorporated | Image realism predictor |
| CN111429355A (zh) * | 2020-03-30 | 2020-07-17 | 新疆大学 | 一种基于生成对抗网络的图像超分辨率重建方法 |
| CN111507521A (zh) * | 2020-04-15 | 2020-08-07 | 北京智芯微电子科技有限公司 | 台区电力负荷预测方法及预测装置 |
| CN111612759A (zh) * | 2020-05-19 | 2020-09-01 | 佛山科学技术学院 | 一种基于深度卷积生成式对抗网络的印刷品缺陷识别方法 |
| CN111724372A (zh) * | 2020-06-19 | 2020-09-29 | 深圳新视智科技术有限公司 | 基于对抗神经网络的布匹缺陷检测方法、终端和存储介质 |
| CN111914916A (zh) * | 2020-07-22 | 2020-11-10 | 河海大学 | 基于双路卷积融合神经网络的高光谱图像分类模型及方法 |
Non-Patent Citations (1)
| Title |
|---|
| HAN ZHANG ET AL: "Self-Attention Generative Adversarial Networks", 《MACHINE LEARNING》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113409254A (zh) * | 2021-06-04 | 2021-09-17 | 哈尔滨理工大学 | 一种针对模糊成像环境的印刷品缺陷检测方法 |
| CN113409254B (zh) * | 2021-06-04 | 2022-06-07 | 哈尔滨理工大学 | 一种针对模糊成像环境的印刷品缺陷检测方法 |
| WO2023070911A1 (zh) * | 2021-10-27 | 2023-05-04 | 西安工程大学 | 一种基于自注意力的彩色纹理织物缺陷区域的检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112381794B (zh) | 2022-05-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111223088B (zh) | 一种基于深层卷积神经网络的铸件表面缺陷识别方法 | |
| CN109145830B (zh) | 一种智能水尺识别方法 | |
| CN112990335B (zh) | 一种电网无人机巡检影像缺陷智能识别自学习训练方法、*** | |
| CN105894036A (zh) | 一种应用于手机屏幕缺陷检测的图像特征模板匹配方法 | |
| CN113506286A (zh) | 基于YOLOv5算法小样本数据集实现微波芯片缺陷检测方法 | |
| CN112381794B (zh) | 一种基于深度卷积生成网络的印刷缺陷检测方法 | |
| CN112802016A (zh) | 基于深度学习的实时布匹缺陷检测方法及*** | |
| CN113469951B (zh) | 一种基于级联区域卷积神经网络的轮毂缺陷检测方法 | |
| CN112132196B (zh) | 一种结合深度学习和图像处理的烟盒缺陷识别方法 | |
| CN116485709A (zh) | 一种基于YOLOv5改进算法的桥梁混凝土裂缝检测方法 | |
| CN111597941B (zh) | 一种面向大坝缺陷图像的目标检测方法 | |
| CN116664565A (zh) | 一种光伏太阳能电池片的隐裂检测方法及*** | |
| CN111553898A (zh) | 一种基于卷积神经网络的面料疵点检测方法 | |
| CN112561875A (zh) | 一种基于人工智能的光伏电池板粗栅检测方法 | |
| CN116258682A (zh) | 基于PSPNet和改进YOLOv7的PCB锡膏缺陷检测方法 | |
| CN114627062A (zh) | 一种改进Faster R-CNN的太阳能电池片表面缺陷检测方法 | |
| CN109657682B (zh) | 一种基于深度神经网络和多阈值软切分的电能表示数识别方法 | |
| CN111507249A (zh) | 基于目标检测的变电站鸟窝识别方法 | |
| CN117911252A (zh) | 基于深度学习去除图像中光照的方法及*** | |
| CN113052234A (zh) | 一种基于图像特征和深度学习技术的玉石分类方法 | |
| CN113256563A (zh) | 基于空间注意力机制的精品罐表面缺陷检测方法和*** | |
| CN115830302B (zh) | 一种多尺度特征提取融合配电网设备定位识别方法 | |
| CN110766675B (zh) | 太阳能电池板缺陷检测方法 | |
| CN116758080A (zh) | 一种太阳能电池片丝网印刷缺陷检测方法及*** | |
| CN116523851A (zh) | 一种档案报表扫描图像清晰度识别方法、装置与*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20220531 |