CN108489989B - 基于多相机拼接成像检测的光伏组件双面外观检测仪 - Google Patents

基于多相机拼接成像检测的光伏组件双面外观检测仪 Download PDF

Info

Publication number
CN108489989B
CN108489989B CN201810267585.1A CN201810267585A CN108489989B CN 108489989 B CN108489989 B CN 108489989B CN 201810267585 A CN201810267585 A CN 201810267585A CN 108489989 B CN108489989 B CN 108489989B
Authority
CN
China
Prior art keywords
imaging
image
camera
detection
photovoltaic module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810267585.1A
Other languages
English (en)
Other versions
CN108489989A (zh
Inventor
李华超
王小彬
张海生
徐以强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Juneng Machine Vision Technology Co ltd
Original Assignee
Suzhou Juneng Machine Vision Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Juneng Machine Vision Technology Co ltd filed Critical Suzhou Juneng Machine Vision Technology Co ltd
Priority to CN201810267585.1A priority Critical patent/CN108489989B/zh
Publication of CN108489989A publication Critical patent/CN108489989A/zh
Application granted granted Critical
Publication of CN108489989B publication Critical patent/CN108489989B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01—Arrangements or apparatus for facilitating the optical investigation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques

Landscapes

  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明基于多相机拼接成像检测的光伏组件双面外观检测仪，包括对应设置的一组输送组件，一组所述输送组件间设置有检测区域，所述检测区域的上下方分别设置有成像组件a和成像组件b，且所述成像组件a和所述成像组件b分别连通有显示设备a和显示设备b；所述成像组件a和所述成像组件b均由四个相机构成；检测时，所述成像组件a和所述成像组件b分别对光伏组件的正面和背面进行拍摄，并利用多相机拼接成像检测方法进行检测，后分别于所述显示设备a和所述显示设备b上进行显示检测图像并在图像上标识出产品外观缺陷之处。

Description

基于多相机拼接成像检测的光伏组件双面外观检测仪
技术领域
本发明涉及自动化设备及自动化生产技术，具体的，其展示一种基于多相机拼接成像检测的光伏组件双面外观检测仪。
背景技术
光伏组件，包括TPT、EVA、电池片、EVA、玻璃五层，经高温高压的过层压工序，使其形成一整体，基本成型为最终组件；光伏组件整个生产过程中，涉及到诸多工艺步骤，如何在生产过程中及时的发现组件不良，能有效降低组件生产的不良率，此外，在第一时间发现组件的不良，及时进行维修，能大大降低制造成本。
传统的检测方式，对于层压前，由于组件的各部分尚未合成一个整体，不能随意翻动，因此，一般通过机械将组件顶升，人走到组件正下方抬头观察组件，检测是否有缺陷，并不成像组件背面缺陷；对于层压后，由于组件已经成为一个整体，通过翻转90度，人只需站立平视，即可成像组件。此种检测最大的缺点是：1. 工人检测疲劳，2. 由于组件较大，无法仔细观察组件所有位置 3. 人类视力有限，无法观察到细小的缺陷，尤其对于组件背面。
近些年，逐渐出现新的组件外观检测设备，一般通过多个高清摄像头多次拍照的方式，合成一副图像，并通过人工观察、图像算法自动检测的方式进行缺陷检测。目前设备的缺点：1. 针对组件正面进行检测，没有对组件背面的检测 2. 拼接得到的最终图像，亮度不均匀现象明显，主要由以下3个原因导致：A.多个相机之间必然存在的亮度差异，B.单个相机拍摄的图像，图像中的不同位置的亮度不同，这主要是由于相机镜头和相机ccd导致，C. 设备中的光源，无法保证组件表面所有位置都一致。
因此，有必要提供一种基于多相机拼接成像检测的光伏组件双面外观检测仪来解决上述问题。
发明内容
本发明的目的是提供一种基于多相机拼接成像检测的光伏组件双面外观检测仪。
技术方案如下：
一种基于多相机拼接成像检测的光伏组件双面外观检测仪，包括对应设置的一组输送组件，一组所述输送组件间设置有检测区域，所述检测区域的上下方分别设置有成像组件a和成像组件b，且所述成像组件a和所述成像组件b分别连通有显示设备a和显示设备b；
所述成像组件a和所述成像组件b均由四个相机构成；检测时，所述成像组件a和所述成像组件b分别对光伏组件的正面和背面进行拍摄，并利用多相机拼接成像检测方法进行检测，后分别于所述显示设备a和所述显示设备b上进行显示检测图像并在图像上标识出产品外观缺陷之处；
多相机拼接成像检测方法包括如下步骤：
1）多相机拼接成像亮度校正，并形成亮度校正表；
2）使用亮度校正表进行多相机拼接；
3）光伏组件正反面缺陷检测。
进一步的，步骤1）具体包括：
S1）进行设备调整，确保检测的光学环境与正常生产时相同；
S2）将待测试的光伏组件，按正常生产的流程，移动到相机拍摄图像位置；
S3）调试相机的曝光时间、增益、光圈等参数，使得相机拍摄到的组件图像亮度适宜；
S4）对于每个相机，选择合适的灰度板，覆盖单个相机的全视野，使得拍摄的灰度板亮度与组件亮度相近；拍摄标定图像，PIMG1、PIMG2、PIMG3、PIMG4；
S5）对PIMG1、PIMG2、PIMG3、PIMG4，每一副图像，分别计算得到校正表M1、M2、M3、M4，计算亮度校正表如下：
S5-1）对标定图像srcImg，进行均值滤波，得到均值滤波后的图像filterImg，以去除图像上的小的异物对标定结果的影响；
S5-2）以标定图像中间附近位置的灰度值为基准值，设定亮度校正目标灰度值r；
S5-3）对于图像上每个像素点（像素坐标位置(x,y)），假定其在filterImg中的像素值为f(x,y)，则，像素位置(x,y)对应的校正系数为c(x,y) = r/f(x,y)；
S5-4）图像上每个像素点的校正系数c(x,y)构成了该幅图像的校正表M。
进一步的，步骤2）具体包括：
K1）4个相机分别采集图像，得到QIMG1、QIMG2、QIMG3、QIMG4；
K2）步骤1）中得到的校正表M1、M2、M3、M4，分别对QIMG1、QIMG2、QIMG3、QIMG4进行校正，得到校正图C_ QIMG1、C_ QIMG2、C_ QIMG3、C_ QIMG4；
K3）用户设置每副图像需要的范围；
K4）通过图像变换，将C_ QIMG1、C_ QIMG2、C_ QIMG3、C_ QIMG4虚线所框起来的范围投影到拼接图像中，得到拼接图像。
进一步的，步骤3）具体包括：
W1）将拼接图像分割成多幅子图像，保证相邻块之前有重叠，对分割子图像，使用多线程技术，进行并行处理；
W2）对子图像的每个像素点，设定其参考范围为边长为N的矩形范围，以此范围内的像素值均值为参考值，与当前像素值比较，差异越大，缺陷特征越强烈；
W3）将差异大的像素点进行集合，并作为缺陷于显示设备a或显示设备b上的显示图像上进行对应位置标示。
进一步的，所述成像组件a和所述成像组件b分别对应设置有光源。
进一步的，一组所述输送组件上进设置有来料感应装置。
进一步的，所述检测区域上设置有归正架，所述归正架上设置有归正机构。
与现有技术相比，本发明高效进行光伏组件和背面的检测，同时检测精度高，保证检测效率同时，保证检测精度，进而保证产品生产效率和成品合格率。
附图说明
图1是本发明的结构示意图之一。
图2是本发明的结构示意图之二。
图3是本发明的结构示意图之三。
具体实施方式
实施例：
请参阅图1至图3，本实施例展示一种光伏组件双面外观检测仪，包括对应设置的一组输送组件1，一组所述输送组件1间设置有检测区域2，所述检测区域2的上下方分别设置有成像组件a 3和成像组件b 4，且所述成像组件a 3和所述成像组件b 4分别连通有显示设备a 5和显示设备b 6；
所述成像组件a 3和所述成像组件b 4均由四个相机构成；检测时，所述成像组件a3和所述成像组件b 4分别对光伏组件100的正面和背面进行拍摄，并利用多相机拼接成像检测方法进行检测，后分别于所述显示设备a 5和所述显示设备b 6上进行显示检测图像并在图像上标识出产品外观缺陷之处；
多相机拼接成像检测方法包括如下步骤：
1）多相机拼接成像亮度校正，并形成亮度校正表；
2）使用亮度校正表进行多相机拼接；
3）光伏组件正反面缺陷检测。
步骤1）具体包括：
S1）进行设备调整，确保检测的光学环境与正常生产时相同；
S2）将待测试的光伏组件，按正常生产的流程，移动到相机拍摄图像位置；
S3）调试相机的曝光时间、增益、光圈等参数，使得相机拍摄到的组件图像亮度适宜；
S4）对于每个相机，选择合适的灰度板，覆盖单个相机的全视野，使得拍摄的灰度板亮度与组件亮度相近；拍摄标定图像，PIMG1、PIMG2、PIMG3、PIMG4；
S5）对PIMG1、PIMG2、PIMG3、PIMG4，每一副图像，分别计算得到校正表M1、M2、M3、M4，计算亮度校正表如下：
S5-1）对标定图像srcImg，进行均值滤波，得到均值滤波后的图像filterImg，以去除图像上的小的异物对标定结果的影响；
S5-2）以标定图像中间附近位置的灰度值为基准值，设定亮度校正目标灰度值r；
S5-3）对于图像上每个像素点（像素坐标位置(x,y)），假定其在filterImg中的像素值为f(x,y)，则，像素位置(x,y)对应的校正系数为c(x,y) = r/f(x,y)；
S5-4）图像上每个像素点的校正系数c(x,y)构成了该幅图像的校正表M。
步骤2）具体包括：
K1）4个相机分别采集图像，得到QIMG1、QIMG2、QIMG3、QIMG4；
K2）步骤1）中得到的校正表M1、M2、M3、M4，分别对QIMG1、QIMG2、QIMG3、QIMG4进行校正，得到校正图C_ QIMG1、C_ QIMG2、C_ QIMG3、C_ QIMG4；
K3）用户设置每副图像需要的范围；
K4）通过图像变换，将C_ QIMG1、C_ QIMG2、C_ QIMG3、C_ QIMG4虚线所框起来的范围投影到拼接图像中，得到拼接图像。
步骤3）具体包括：
W1）将拼接图像分割成多幅子图像，保证相邻块之前有重叠，对分割子图像，使用多线程技术，进行并行处理；
W2）对子图像的每个像素点，设定其参考范围为边长为N的矩形范围，以此范围内的像素值均值为参考值，与当前像素值比较，差异越大，缺陷特征越强烈；
W3）将差异大的像素点进行集合，并作为缺陷于显示设备a或显示设备b上的显示图像上进行对应位置标示。
所述成像组件a 3和所述成像组件b 4分别对应设置有光源7。
一组所述输送组件1上进设置有来料感应装置8。
所述检测区域2上设置有归正架9，所述归正架上设置有归正机构91。
与现有技术相比，本实施例高效进行光伏组件和背面的检测，同时检测精度高，保证检测效率同时，保证检测精度，进而保证产品生产效率和成品合格率。
以上所述的仅是本发明的一些实施方式。对于本领域的普通技术人员来说，在不脱离本发明创造构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

Claims (6)

1.一种基于多相机拼接成像检测的光伏组件双面外观检测仪，其特征在于：包括对应设置的一组输送组件，一组所述输送组件间设置有检测区域，所述检测区域的上下方分别设置有成像组件a和成像组件b，且所述成像组件a和所述成像组件b分别连通有显示设备a和显示设备b；
所述成像组件a和所述成像组件b均由四个相机构成；检测时，所述成像组件a和所述成像组件b分别对光伏组件的正面和背面进行拍摄，并利用多相机拼接成像检测方法进行检测，后分别于所述显示设备a和所述显示设备b上进行显示检测图像并在图像上标识出产品外观缺陷之处；
多相机拼接成像检测方法包括如下步骤：
S1）多相机拼接成像亮度校正，并形成亮度校正表；其包括：
S11）进行设备调整，确保检测的光学环境与正常生产时相同；
S12）将待测试的光伏组件，按正常生产的流程，移动到相机拍摄图像位置；
S13）调试相机的曝光时间、增益、光圈参数，使得相机拍摄到的组件图像亮度适宜；
S14）对于每个相机，选择合适的灰度板，覆盖单个相机的全视野，使得拍摄的灰度板亮度与组件亮度相近；拍摄标定图像，PIMG1、PIMG2、PIMG3、PIMG4；
S15）对PIMG1、PIMG2、PIMG3、PIMG4，每一副图像，分别计算得到校正表M1、M2、M3、M4，计算亮度校正表如下：
S151）对标定图像srcImg，进行均值滤波，得到均值滤波后的图像filterImg，以去除图像上的小的异物对标定结果的影响；
S152）以标定图像中间附近位置的灰度值为基准值，设定亮度校正目标灰度值r；
S153）对于图像上每个像素点，其像素坐标位置为(x,y)，假定其在filterImg中的像素值为f(x,y)，则，像素位置(x,y)对应的校正系数为c(x,y) = r/f(x,y)；
S154）图像上每个像素点的校正系数c(x,y)构成了该幅图像的校正表M；
S2）使用亮度校正表进行多相机拼接；
S3）光伏组件正反面缺陷检测。
2.根据权利要求1所述的一种基于多相机拼接成像检测的光伏组件双面外观检测仪，其特征在于：步骤2）具体包括：
K1）4个相机分别采集图像，得到QIMG1、QIMG2、QIMG3、QIMG4；
K2）步骤1）中得到的校正表M1、M2、M3、M4，分别对QIMG1、QIMG2、QIMG3、QIMG4进行校正，得到校正图C_ QIMG1、C_ QIMG2、C_ QIMG3、C_ QIMG4；
K3）用户设置每副图像需要的范围；
K4）通过图像变换，将C_ QIMG1、C_ QIMG2、C_ QIMG3、C_ QIMG4中用户设置的所需要的范围投影到拼接图像中，得到拼接图像。
3.根据权利要求1所述的一种基于多相机拼接成像检测的光伏组件双面外观检测仪，其特征在于：步骤3）具体包括：
W1）将拼接图像分割成多幅子图像，保证相邻块之前有重叠，对分割子图像，使用多线程技术，进行并行处理；
W2）对子图像的每个像素点，设定其参考范围为边长为N的矩形范围，以此范围内的像素值均值为参考值，与当前像素值比较，差异越大，缺陷特征越强烈；
W3）将差异大的像素点进行集合，并作为缺陷于显示设备a或显示设备b上的显示图像上进行对应位置标示。
4.根据权利要求1-3任意一项所述的一种基于多相机拼接成像检测的光伏组件双面外观检测仪，其特征在于：所述成像组件a和所述成像组件b分别对应设置有光源。
5.根据权利要求4所述的一种基于多相机拼接成像检测的光伏组件双面外观检测仪，其特征在于：一组所述输送组件上进设置有来料感应装置。
6.根据权利要求5所述的一种基于多相机拼接成像检测的光伏组件双面外观检测仪，其特征在于：所述检测区域上设置有归正架，所述归正架上设置有归正机构。
CN201810267585.1A 2018-03-28 2018-03-28 基于多相机拼接成像检测的光伏组件双面外观检测仪 Active CN108489989B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810267585.1A CN108489989B (zh) 2018-03-28 2018-03-28 基于多相机拼接成像检测的光伏组件双面外观检测仪

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810267585.1A CN108489989B (zh) 2018-03-28 2018-03-28 基于多相机拼接成像检测的光伏组件双面外观检测仪

Publications (2)

Publication Number Publication Date
CN108489989A CN108489989A (zh) 2018-09-04
CN108489989B true CN108489989B (zh) 2021-07-13

Family

ID=63317105

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810267585.1A Active CN108489989B (zh) 2018-03-28 2018-03-28 基于多相机拼接成像检测的光伏组件双面外观检测仪

Country Status (1)

Country Link
CN (1) CN108489989B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109900723A (zh) * 2019-04-26 2019-06-18 李配灯 玻璃表面缺陷检测方法及装置
CN113281341A (zh) * 2021-04-19 2021-08-20 唐山学院 热镀锌带钢的双传感器表面质量检测***的检测优化方法
CN113218955A (zh) * 2021-05-06 2021-08-06 宁波星帆信息科技有限公司 一种检测装置及方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5768443A (en) * 1995-12-19 1998-06-16 Cognex Corporation Method for coordinating multiple fields of view in multi-camera
US7623228B1 (en) * 2007-05-21 2009-11-24 Kla-Tencor Technologies Corporation Front face and edge inspection
CN104021540B (zh) * 2013-02-28 2017-06-23 宝山钢铁股份有限公司 一种用于机器视觉表面检测设备的静态标定装置和方法
CN105046700B (zh) * 2015-07-09 2018-03-09 北京农业智能装备技术研究中心 基于亮度校正与颜色分类的水果表面缺陷检测方法及***
CN105044126A (zh) * 2015-07-22 2015-11-11 瑞安市质量技术监督检测院 宽幅连续表面缺陷视觉检测***
US9892488B1 (en) * 2015-08-28 2018-02-13 Amazon Technologies, Inc. Multi-camera frame stitching
CN105574845B (zh) * 2015-09-01 2018-03-06 湖南大学 一种多相机阵列烟标叠层数量测量方法及装置
US10334209B2 (en) * 2015-12-17 2019-06-25 Nike, Inc. Image stitching for footwear component processing
CN106248679A (zh) * 2016-04-01 2016-12-21 上海众思电子设备有限公司 多线阵相机在线双面检测装置
CN107563987A (zh) * 2016-07-01 2018-01-09 北京疯景科技有限公司 标定成像差异的方法及装置
CN106530219B (zh) * 2016-11-07 2020-03-24 青岛海信移动通信技术股份有限公司 图像拼接方法及装置
CN106596590A (zh) * 2016-12-24 2017-04-26 大连日佳电子有限公司 托盘ic检测方法
CN106706653A (zh) * 2017-01-12 2017-05-24 河北省自动化研究所 一种高速宽型板材检测方法
CN107220955A (zh) * 2017-04-24 2017-09-29 东北大学 一种基于重叠区域特征点对的图像亮度均衡方法
CN206740668U (zh) * 2017-06-01 2017-12-12 江苏双星彩塑新材料股份有限公司 一种薄膜缺陷在线检测设备
CN107240070A (zh) * 2017-06-08 2017-10-10 广东容祺智能科技有限公司 一种基于应急处理的无人机图像拼接***及方法

Also Published As

Publication number Publication date
CN108489989A (zh) 2018-09-04

Similar Documents

Publication Publication Date Title
CN108508022B (zh) 多相机拼接成像检测方法
CN108760767B (zh) 基于机器视觉的大尺寸液晶屏缺陷检测方法
CN106601167B (zh) 一种显示面板的灰阶补偿方法、装置和***
CN108489989B (zh) 基于多相机拼接成像检测的光伏组件双面外观检测仪
CN106323600B (zh) 一种级联分布式aoi缺陷检测***及其检测方法
WO2020042153A1 (zh) 全屏任意拼接的校正方法、校正装置及校正***
CN101447173B (zh) 一种工厂逐点亮度调整***和方法
CN109685789B (zh) 基于视觉检测的电芯表面胶纸检测方法及装置
CN103955080A (zh) 一种采用多摄像头的液晶屏缺陷检测采图装置
WO2021022592A1 (zh) 一种成像补偿装置、成像补偿方法及其应用
CN104992446B (zh) 非线性光照自适应的图像拼接方法及其实现***
CN104931421B (zh) 液晶面板视觉检测***的定位对焦方法
CN105092473A (zh) 一种多晶硅薄膜的质量检测方法和***
CN106405894B (zh) 一种液晶面板缺陷自动定位方法
CN206248563U (zh) 一种电子产品外观表面缺陷检测装置
CN106023193A (zh) 一种用于浑浊介质中结构表面检测的阵列相机观测方法
CN112885289A (zh) 一种显示屏的校准方法及设备
CN104166250A (zh) 一种平面显示器面板均匀度检测方法及其***
CN106251830B (zh) 显示器的不良显示的修复方法及其装置
CN114267267A (zh) 一种虚拟像素led显示屏的亮暗缝修复方法、装置及***
US20150371405A1 (en) Luminance-chrominance calibration production line of led display module
CN111665261A (zh) 一种基于机器视觉的芯片晶粒检测方法
CN117092127A (zh) 一种覆防蓝光保护膜上下层缺陷检测装置和检测方法
CN207946371U (zh) 光伏组件双面外观检测仪
CN105828036A (zh) 一种用于流水线的单行线排列多摄像头液晶屏幕采图装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant