CN117474928B - 一种基于元学习模型的陶瓷封装基板表面缺陷检测方法 - Google Patents

一种基于元学习模型的陶瓷封装基板表面缺陷检测方法 Download PDF

Info

Publication number
CN117474928B
CN117474928B CN202311829427.8A CN202311829427A CN117474928B CN 117474928 B CN117474928 B CN 117474928B CN 202311829427 A CN202311829427 A CN 202311829427A CN 117474928 B CN117474928 B CN 117474928B
Authority
CN
China
Prior art keywords
package substrate
ceramic package
image
query set
query
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311829427.8A
Other languages
English (en)
Other versions
CN117474928A (zh
Inventor
于瑞云
郭冰洋
Original Assignee
东北大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 东北大学 filed Critical 东北大学
Priority to CN202311829427.8A priority Critical patent/CN117474928B/zh
Publication of CN117474928A publication Critical patent/CN117474928A/zh
Application granted granted Critical
Publication of CN117474928B publication Critical patent/CN117474928B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/0464Convolutional networks [CNN, ConvNet]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30148Semiconductor; IC; Wafer
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于元学***均池化以获取空间分辨率下的特征统计信息:采用元学习范式进行训练,实现芯片陶瓷封装基板表面缺陷检测。

Description

一种基于元学习模型的陶瓷封装基板表面缺陷检测方法
技术领域
本发明涉及陶瓷芯片表面缺陷技术领域,尤其涉及一种基于元学习模型的陶瓷封装基板表面缺陷检测方法。
背景技术
陶瓷芯片作为一种重要的电子材料,具有高硬度、高弹性模量、高耐磨、高绝缘、耐腐蚀、低膨胀等优点。陶瓷芯片被广泛用于各种IC元器件的封装中,能提供IC芯片气密性的密封保护,使其具有优良的可靠度。此外,陶瓷芯片还可以用作硅片抛光机、外延/氧化/扩散等热处理设备、光刻机、沉积设备,半导体刻蚀设备,离子注入机等设备的零部件。陶瓷芯片缺陷检测可以积极地反馈产品质量信息,以便人们及时掌控各生产过程,提高产品的良率,该技术在芯片生产制造过程中起着至关重要的作用。然而,由于缺陷样本的数量较少,难以构建完善的数据库以进行算法设计,在实际应用中存在较多难点。
发明内容
针对现有技术的不足,本发明提供一种基于元学习模型的陶瓷封装基板表面缺陷检测方法,用以解决现有检测方法对数据需求量大且难以泛化的问题。本方法将数据划分为支持集和查询集,通过骨干网络进行图像特征提取,利用矩阵分解方法过滤无关背景特征,采用原型选择模块完成相似特征的采集,并使用边界优化模块完成特征优化,最后利用轻量级解码器实现表面缺陷的像素级预测。
一种基于元学习模型的陶瓷封装基板表面缺陷检测方法,包括以下步骤:
步骤1:采集陶瓷封装基板图像,对陶瓷封装基板图像进行预处理,并将预处理之后的图像数据划分为支持集和查询集元组;
所述预处理包括局部裁剪、对比度增强、随机反转;
步骤2:针对步骤1中的支持集和查询集元组,采用骨干网络进行陶瓷封装基板图像的特征提取;
所述骨干网络采用VGG-16网络,最大池化层步长设定为1,对于VGG-16网络中的前5个卷积块替换为分组卷积,所获得的结果定义为X=[x1,...,xn],其中xn为每个图像对应的特征,n为总个数;
步骤3:针对步骤2中获取到的陶瓷封装基板图像特征,进行支持集和查询集的低秩矩阵重建:
其中,表示需要求解的低秩矩阵, E表示为将被消除的噪声矩阵,D表示图像的基本字典矩阵,R表示字典矩阵对应的节点;为保证求解过程的精度,采用下式最小化F范数求算D和R:/>
步骤4:针对步骤3中经过矩阵分解得到的支持集和查询集的低秩矩阵,分别命名 为,然后通过全局平均池化以获取空间分辨率下的特征统计信息:
其中,H、W分别表示低秩矩阵的高度和宽度,Ffusion表示支持集和查询集低秩矩阵融合后的特征,ADD表示特征融合操作,GAP表示全局平均池化操作;
随后,使用VGG-16中的全连接层以减少通道维度,并利用Softmax操作获取支持集特征和查询集特征对应的权重信息:
其中,s和q表示支持集和查询集,sc'、qc'表示支持集和查询集在当前通道的顺序,e表示全连接层的参数,c表示通道数。
将权重信息与各自相应的特征进行加权处理后,得支持集与查询集的显著表示:
,/>
步骤5:对查询集的显著表示通过边界优化和金字塔池化进行增强处理,并通过1×1卷积层实现边界预测:
其中表示经过增强处理后的查询集显著表示,A表示金字塔池化,R()表示边界优化函数, Conv1D表示1×1卷积层。
步骤6:采用元学习范式进行训练,实现芯片陶瓷封装基板表面缺陷检测;
其中主体损失函数采用交叉熵损失进行优化:
其中N为总样本个数,yq表述查询集对应的类别标签;
同时,采用辅助损失函数对查询集数据进行正则化,将查询图像作为新的支持图像,并预测掩码来学习分割支持图像:
其中N为总样本个数,xq表述查询集对应的语义标签,表示查询集的语义预测结果;
综上得到整体损失函数如下:
其中,λ代表辅助系数。
采用上述技术方案所产生的有益效果在于:
本发明提供一种基于元学习模型的芯片陶瓷封装基板表面缺陷检测方法,元学习模型能够从先前的学习经验中汲取知识,使其更具适应性。在陶瓷封装基板缺陷检测领域,由于缺陷样本数据量有限,模型需要快速适应新任务。元学习使得模型能够在少量样本上进行有效学习,并且更好地应对新的未见过的情况。同时,元学习使得模型能够学习到更一般性的表示,从而提高了其在未见过任务上的泛化性能。这对于小样本分割任务尤为重要,因为在这些任务中,样本数量很有限,模型必须从少量样本中抽象出更普适的规律。
附图说明
图1为本发明实施例中芯片陶瓷封装基板表面缺陷检测方法整体流程图;
图2为本发明实施例中陶瓷芯片分割示意图。
具体实施方式
下面结合附图和实施例,对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明,但不用来限制本发明的范围。
一种基于元学习模型的陶瓷封装基板表面缺陷检测方法,如图1所示,包括以下步骤:
步骤1:采集陶瓷封装基板图像,对陶瓷封装基板图像进行预处理,并将预处理之后的图像数据划分为支持集和查询集元组;
所述预处理包括局部裁剪、对比度增强、随机反转;
步骤2:针对步骤1中的支持集和查询集元组,采用骨干网络进行陶瓷封装基板图像的特征提取;
所述骨干网络采用VGG-16网络,最大池化层步长设定为1,对于VGG-16网络中的前5个卷积块替换为分组卷积,所获得的结果定义为X=[x1,...,xn],其中xn为每个图像对应的特征,n为总个数;
步骤3:针对步骤2中获取到的陶瓷封装基板图像特征,进行支持集和查询集的低秩矩阵重建:
其中,表示需要求解的低秩矩阵, E表示为将被消除的噪声矩阵,D表示图像的基本字典矩阵,R表示字典矩阵对应的节点;为保证求解过程的精度,采用下式最小化F范数求算D和R:/>
本实施例中具体的整体优化过程程序如下:
步骤4:针对步骤3中经过矩阵分解得到的支持集和查询集的低秩矩阵,分别命名 为,然后通过全局平均池化以获取空间分辨率下的特征统计信息:
其中,H、W分别表示低秩矩阵的高度和宽度,Ffusion表示支持集和查询集低秩矩阵融合后的特征,ADD表示特征融合操作,GAP表示全局平均池化操作;
随后,使用VGG-16中的全连接层以减少通道维度,并利用Softmax操作获取支持集特征和查询集特征对应的权重信息:
其中,s和q表示支持集和查询集,sc'、qc'表示支持集和查询集在当前通道的顺序,e表示全连接层的参数,c表示通道数。
将权重信息与各自相应的特征进行加权处理后,得支持集与查询集的显著表示:
,/>
步骤5:对查询集的显著表示通过边界优化和金字塔池化进行增强处理,并通过1×1卷积层实现边界预测:
其中表示经过增强处理后的查询集显著表示,A表示金字塔池化,R()表示边界优化函数, Conv1D表示1×1卷积层。
步骤6:采用元学习范式进行训练,实现芯片陶瓷封装基板表面缺陷检测;
其中主体损失函数采用交叉熵损失进行优化:
其中N为总样本个数,yq表述查询集对应的类别标签;
同时,采用辅助损失函数对查询集数据进行正则化,将查询图像作为新的支持图像,并预测掩码来学习分割支持图像:
其中N为总样本个数,xq表述查询集对应的语义标签,表示查询集的语义预测结果;
综上得到整体损失函数如下:
其中,λ代表辅助系数,在本发明中设置为1。
本实施例中多次试验结果如图2所示,在测试集达到的精度如下表所示:
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本公开的实施例中所涉及的发明范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述发明构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开的实施例中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (4)

1.一种基于元学习模型的陶瓷封装基板表面缺陷检测方法,其特征在于,包括以下步骤:
步骤1:采集陶瓷封装基板图像,对陶瓷封装基板图像进行预处理,并将预处理之后的图像数据划分为支持集和查询集元组;
步骤2:针对步骤1中的支持集和查询集元组,采用骨干网络进行陶瓷封装基板图像的特征提取;
步骤3:针对步骤2中获取到的陶瓷封装基板图像特征,进行支持集和查询集的低秩矩阵重建;
步骤4:获取支持集与查询集的显著表示:
所述步骤4具体为:
针对步骤3中经过矩阵分解得到的支持集和查询集的低秩矩阵,分别命名为然后通过全局平均池化以获取空间分辨率下的特征统计信息:
其中,H、W分别表示低秩矩阵的高度和宽度,Ffusion表示支持集和查询集低秩矩阵融合后的特征,ADD表示特征融合操作,GAP表示全局平均池化操作;
随后,使用VGG-16中的全连接层以减少通道维度,并利用Softmax操作获取支持集特征和查询集特征对应的权重信息:
其中,s和q表示支持集和查询集,sc'、qc'表示支持集和查询集在当前通道的顺序,e表示全连接层的参数,c表示通道数;
将权重信息与各自相应的特征进行加权处理后,得支持集与查询集的显著表示:
步骤5:对查询集的显著表示通过边界优化和金字塔池化进行增强处理,并通过1×1卷积层实现边界预测;
所述边界预测具体为:
其中表示经过增强处理后的查询集显著表示,A表示金字塔池化,R()表示边界优化函数,Conv1D表示1×1卷积层;
步骤6:采用元学习范式进行训练,实现芯片陶瓷封装基板表面缺陷检测;
所述步骤6具体为,
主体损失函数采用交叉熵损失进行优化:
其中N为总样本个数,yq表述查询集对应的类别标签;
同时,采用辅助损失函数对查询集数据进行正则化,将查询图像作为新的支持图像,并预测掩码来学习分割支持图像:
其中N为总样本个数,xq表述查询集对应的语义标签,表示查询集的语义预测结果;
综上得到整体损失函数如下:
其中,λ代表辅助系数。
2.根据权利要求1所述的一种基于元学习模型的陶瓷封装基板表面缺陷检测方法,其特征在于,步骤1中所述预处理包括局部裁剪、对比度增强、随机反转。
3.根据权利要求1所述的一种基于元学习模型的陶瓷封装基板表面缺陷检测方法,其特征在于,步骤2中所述骨干网络采用VGG-16网络,最大池化层步长设定为1,对于VGG-16网络中的前5个卷积块替换为分组卷积,所获得的结果定义为X=[x1,...,xn],其中xn为每个图像对应的特征,n为总个数。
4.根据权利要求1所述的一种基于元学习模型的陶瓷封装基板表面缺陷检测方法,其特征在于,步骤3中所述低秩矩阵重建:
其中,表示需要求解的低秩矩阵,E表示为将被消除的噪声矩阵,D表示图像的基本字典矩阵,R表示字典矩阵对应的节点;
为保证求解过程的精度,采用下式最小化F范数求算D和R:
min||X-DR||F
CN202311829427.8A 2023-12-28 2023-12-28 一种基于元学习模型的陶瓷封装基板表面缺陷检测方法 Active CN117474928B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311829427.8A CN117474928B (zh) 2023-12-28 2023-12-28 一种基于元学习模型的陶瓷封装基板表面缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311829427.8A CN117474928B (zh) 2023-12-28 2023-12-28 一种基于元学习模型的陶瓷封装基板表面缺陷检测方法

Publications (2)

Publication Number Publication Date
CN117474928A CN117474928A (zh) 2024-01-30
CN117474928B true CN117474928B (zh) 2024-03-19

Family

ID=89633395

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311829427.8A Active CN117474928B (zh) 2023-12-28 2023-12-28 一种基于元学习模型的陶瓷封装基板表面缺陷检测方法

Country Status (1)

Country Link
CN (1) CN117474928B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117893766B (zh) * 2024-03-11 2024-07-02 鹏城实验室 物体检测分割方案

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004012422A (ja) * 2002-06-11 2004-01-15 Dainippon Screen Mfg Co Ltd パターン検査装置、パターン検査方法およびプログラム
WO2021109644A1 (zh) * 2019-12-06 2021-06-10 北京理工大学 一种基于元学习的混合动力车辆工况预测方法
CN115527072A (zh) * 2022-11-07 2022-12-27 南京工程学院 一种基于稀疏空间感知与元学习的芯片表面缺陷检测方法
CN116310510A (zh) * 2023-02-08 2023-06-23 西安电子科技大学 一种基于小样本深度学习的高光谱图像分类方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004012422A (ja) * 2002-06-11 2004-01-15 Dainippon Screen Mfg Co Ltd パターン検査装置、パターン検査方法およびプログラム
WO2021109644A1 (zh) * 2019-12-06 2021-06-10 北京理工大学 一种基于元学习的混合动力车辆工况预测方法
CN115527072A (zh) * 2022-11-07 2022-12-27 南京工程学院 一种基于稀疏空间感知与元学习的芯片表面缺陷检测方法
CN116310510A (zh) * 2023-02-08 2023-06-23 西安电子科技大学 一种基于小样本深度学习的高光谱图像分类方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
PDDD-Net: Defect Detection Network Based on Parallel Attention Mechanism and Dual-Channel Spatial Pyramid Pooling;TINGTING SUI;《IEEE》;20231215;1-12 *
基于图神经网络的小样本学习方法研究进展;杨洁祎;《计算机研究与发展》;20230712;1-27 *

Also Published As

Publication number Publication date
CN117474928A (zh) 2024-01-30

Similar Documents

Publication Publication Date Title
CN117474928B (zh) 一种基于元学习模型的陶瓷封装基板表面缺陷检测方法
CN111259905B (zh) 一种基于下采样的特征融合遥感图像语义分割方法
CN110782462A (zh) 一种基于双流特征融合的语义分割方法
CN110909801B (zh) 基于卷积神经网络的数据分类方法、***、介质及设备
CN111462013B (zh) 一种基于结构化残差学习的单图去雨方法
CN111563507B (zh) 一种基于卷积神经网络的室内场景语义分割方法
CN112232229B (zh) 基于U-net神经网络的精细水体提取方法
CN110223304B (zh) 一种基于多路径聚合的图像分割方法、装置和计算机可读存储介质
CN111127374A (zh) 一种基于多尺度密集网络的Pan-sharpening方法
CN113642445B (zh) 一种基于全卷积神经网络的高光谱影像分类方法
CN115019143A (zh) 一种基于CNN和Transformer混合模型的文本检测方法
CN115953303B (zh) 结合通道注意力的多尺度图像压缩感知重构方法及***
CN112819705B (zh) 一种基于网状结构与长距离相关性的真实图像去噪方法
Hu et al. Semi-supervised wafer map pattern recognition using domain-specific data augmentation and contrastive learning
CN117893481A (zh) 一种基于自监督对比学习的混合型晶圆缺陷识别分割方法
CN115330697A (zh) 基于可迁移Swin Transformer的轮胎瑕疵检测域自适应方法
CN114581406A (zh) 基于Segformer的胃部病理切片细胞核分割方法
CN110851627A (zh) 一种用于描述全日面图像中太阳黑子群的方法
CN116797582A (zh) 基于改进Yolov7网络模型检测光伏电池缺陷的方法及装置
CN116188882A (zh) 融合自注意力和多路路径图卷积的点云上采样方法及***
CN116167965A (zh) 基于隐私保护的类不平衡晶圆缺陷模式识别方法及装置
CN116257852A (zh) 基于差分曲率的芯片硬件木马检测方法
Peng et al. BiCSNet: A bidirectional cross-scale backbone for recognition and localization
CN112990336B (zh) 基于竞争注意力融合的深度三维点云分类网络构建方法
CN111210439B (zh) 通过抑制非感兴趣信息的语义分割方法、设备及存储设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant