CN106383121B - 一种可自适应多品牌的视觉检测方法及*** - Google Patents

一种可自适应多品牌的视觉检测方法及*** Download PDF

Info

Publication number
CN106383121B
CN106383121B CN201610453458.1A CN201610453458A CN106383121B CN 106383121 B CN106383121 B CN 106383121B CN 201610453458 A CN201610453458 A CN 201610453458A CN 106383121 B CN106383121 B CN 106383121B
Authority
CN
China
Prior art keywords
brand
under test
object under
vision
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610453458.1A
Other languages
English (en)
Other versions
CN106383121A (zh
Inventor
姚国明
朱艳华
赵雷
李庆
蓝健
陈川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHENZHEN LINK TECHNOLOGY Co Ltd
Original Assignee
SHENZHEN LINK TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHENZHEN LINK TECHNOLOGY Co Ltd filed Critical SHENZHEN LINK TECHNOLOGY Co Ltd
Priority to CN201610453458.1A priority Critical patent/CN106383121B/zh
Publication of CN106383121A publication Critical patent/CN106383121A/zh
Application granted granted Critical
Publication of CN106383121B publication Critical patent/CN106383121B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/89—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
    • G01N21/892—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles characterised by the flaw, defect or object feature examined
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N2021/8411—Application to online plant, process monitoring
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N2021/845—Objects on a conveyor
    • G01N2021/8455—Objects on a conveyor and using position detectors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques

Landscapes

  • Analytical Chemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Pathology (AREA)
  • Biochemistry (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Textile Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种可自适应多品牌的视觉检测方法及***，所述方法包括接受待测物体的到位信号，并根据所述待测物体到位信号，采集待测物体的外观图像信息；对所述待测物体的外观图像信息进行处理后，在预先存储的品牌检测任务信息中查找匹配与待测物体相对应的品牌信息；根据所述待测物体的品牌信息，在预先配置的视觉检测任务信息中，查找与当前待测物体的品牌信息相对应的视觉检测任务信息；根据所述视觉检测任务信息完成当前待测物体的视觉检测。本发明提供的一种可自适应多品牌的视觉检测方法及***用自适应的机器视觉检测方法，自动化程度高，提高包装设备的生产质量及有效作业率。

Description

一种可自适应多品牌的视觉检测方法及***
技术领域
本发明涉及包装机械设备检测领域，特别涉及一种可自适应多品牌的视觉检测方法及***。
背景技术
随着现代自动化水平的不断提高，越来越多的包装生产线逐渐的智能化，各种先进的技术不断的在智能化产线上得以应用。同时，包装生产设备的生产速度随之越来越快，包装的外观质量越来越被消费者重视。
为了节能降耗，越来越多的产品的外包装被回收，并重新利用，回收的外包装容易存在破损、褶皱等缺陷。包装生产线上的物品在生产入库的过程中，会汇集到统一的传输通道上，经过传输、分拣、码垛，最后进入仓库。然而，在此过程中，需要对通道上的多种品牌的物品进行外观检测，缺陷物品自动剔除。
当前市场上的机器视觉检测装置通常只能够检测当前设置的固定某一品牌，多品牌的物品暂时无法通过视觉进行自动检测及剔除，存在一定的设计局限性，检测效率低。
发明内容
针对以上问题，本发明专利目的在于设计了一种可自适应多品牌的视觉检测方法及***，用自适应的机器视觉检测方法，自动化程度高，提高包装设备的生产质量及有效作业率。
本发明技术方案如下：
一种可自适应多品牌的视觉检测方法，具体包括如下步骤：
步骤A，接受待测物体的到位信号，并根据所述待测物体到位信号，采集待测物体的外观图像信息；
步骤B，对所述待测物体的外观图像信息进行处理后，在预先存储的品牌检测任务信息中查找匹配与待测物体相对应的品牌信息；若匹配失败，则输出品牌异常信息并通过控制剔除模块将异常品牌的待测物体自动剔除；若匹配成功，则输出所述待测物体的品牌信息并进行下一步；
步骤C，根据所述待测物体的品牌信息，在预先配置的视觉检测任务信息中，查找与当前待测物体的品牌信息相对应的视觉检测任务信息；
步骤D，根据所述视觉检测任务信息完成当前待测物体的视觉检测。
进一步，本发明所述方法进一步包括：
预先存储品牌检测任务信息，为每一个正常生产过程中的待测物体配置相应的品牌检测任务信息。
进一步，本发明所述方法进一步包括：
预先配置视觉检测任务信息，根据每一个待测物体的品牌信息，为每个待测物体配置相应的视觉检测任务信息。
进一步，本发明所述在预先存储的品牌检测任务信息中查找匹配与待测物体相对应的品牌信息，进一步包括：
建立图像分析坐标系，通过图像过滤工具，对待测物体的外观图像信息进行滤波处理；
通过缺陷提取工具，获取滤波处理后的差分图像，在差分图像上进行Blob分析，寻找亮斑；
利用边缘工具及卡尺工具，测量图像亮斑特征之间的距离，经过阈值及数据分析，与预先存储的品牌检测任务信息中数据进行比较。
本发明还提供一种可自适应多品牌的视觉检测***，包括：
图像采集模块，用来采集待测物体的外观图像信息；
图像处理模块，用来对所述待测物体的外观图像信息进行处理；
品牌匹配模块，用来在预先存储的品牌检测任务信息中查找匹配与待测物体相对应的品牌信息；
视觉检测任务信息查找模块，用来根据所述待测物体的品牌信息，在预先配置的视觉检测任务信息中，查找与当前待测物体的品牌信息相对应的视觉检测任务信息。
进一步，本发明所述***还包括：
第一预先配置模块，用来预先存储品牌检测任务信息，为每一个正常生产过程中的待测物体配置相应的品牌检测任务信息。
进一步，本发明所述***还包括：
第二预先配置模块，预先配置视觉检测任务信息，根据每一个待测物体的品牌信息，为每个待测物体配置相应的视觉检测任务信息。
进一步，本发明所述***还包括主控模块、逻辑控制模块、人机交互模块、剔除模块，所述主控模块分别与所述逻辑控制模块、人机交互模块、图像处理模块连接。
进一步，本发明所述图像处理模块与主控模块之间通过PCI-E接口进行连数据传输；所述图像采集模块与图像处理模块之间通过千兆网进行数据传输；所述逻辑控制模块与主控模块之间通过OPC协议进行数据传输。
本发明采用机器视觉检测的方式，通过实时采集混合通道中的物品外观的图像，利用图像自适应算法，可以自动识别当前通道中的物品品牌，然后调用相关的图像处理算法，在物品外观存在缺陷时，自动剔除。整个工作过程无需人工干涉，算法先进，自动化程度高，提高设备的生产质量及有效作业率。
附图说明
以下参照附图对本发明实施例作进一步说明，其中：
图1是本发明一种可自适应多品牌的视觉检测方法的流程图；
图2是本发明一种可自适应多品牌的视觉检测***的模块图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步的详细说明。
本发明提出了一种可自适应多品牌的视觉检测方法，请参阅图1，具体包括如下步骤：
在步骤A中，接受待测物体的到位信号，并根据所述待测物体到位信号，采集待测物体的外观图像信息。
在步骤B中，对所述待测物体的外观图像信息进行处理后，在预先存储的品牌检测任务信息中查找匹配与待测物体相对应的品牌信息；若匹配失败，则输出品牌异常信息并通过控制剔除模块将异常品牌的待测物体自动剔除；若匹配成功，则输出所述待测物体的品牌信息并进行下一步。
具体的，所述在预先存储的品牌检测任务信息中查找匹配与待测物体相对应的品牌信息，进一步包括：建立图像分析坐标系，通过图像过滤工具，对待测物体的外观图像信息进行滤波处理；
通过缺陷提取工具，获取滤波处理后的差分图像，在差分图像上进行Blob分析，寻找亮斑；
利用边缘工具及卡尺工具，测量图像亮斑特征之间的距离，经过阈值及数据分析，与预先存储的品牌检测任务信息中数据进行比较。
在步骤C中，根据所述待测物体的品牌信息，在预先配置的视觉检测任务信息中，查找与当前待测物体的品牌信息相对应的视觉检测任务信息。
在步骤D中，根据所述视觉检测任务信息完成当前待测物体的视觉检测。具体的，就是利用程序内置的算法，调用定位、模板匹配、图像过滤、缺陷提取、灰度分析、边缘查找等图像分析、处理工具，对各个工具的输出结果进行数据分析，然后得出当前品牌的物品外观是否正常。
图像分析部分主要是用来判断分析当前采集的图像的好坏，由底层图像处理函数、图像处理算法构成，基于工控机平台，主要有二值化、灰度分析、边缘查找、模型匹配、尺寸测量等图像分析处理工具。
所述方法进一步包括：
预先存储品牌检测任务信息，为每一个正常生产过程中的待测物体配置相应的品牌检测任务信息；预先配置视觉检测任务信息，根据每一个待测物体的品牌信息，为每个待测物体配置相应的视觉检测任务信息。
本发明还提供一种可自适应多品牌的视觉检测***，请参阅图2，包括：
图像采集模块，用来采集待测物体的外观图像信息；
图像处理模块，用来对所述待测物体的外观图像信息进行处理；
品牌匹配模块，用来在预先存储的品牌检测任务信息中查找匹配与待测物体相对应的品牌信息；
视觉检测任务信息查找模块，用来根据所述待测物体的品牌信息，在预先配置的视觉检测任务信息中，查找与当前待测物体的品牌信息相对应的视觉检测任务信息。
所述***还包括：
第一预先配置模块，用来预先存储品牌检测任务信息，为每一个正常生产过程中的待测物体配置相应的品牌检测任务信息；
第二预先配置模块，预先配置视觉检测任务信息，根据每一个待测物体的品牌信息，为每个待测物体配置相应的视觉检测任务信息。
所述***还包括主控模块、逻辑控制模块、人机交互模块、剔除模块，所述主控模块分别与所述逻辑控制模块、人机交互模块、图像处理模块连接，所述逻辑控制模块与所述剔除模块连接。
所述图像处理模块与主控模块之间通过PCI-E接口进行连数据传输；所述图像采集模块与图像处理模块之间通过千兆网进行数据传输；所述逻辑控制模块与主控模块之间通过OPC协议进行数据传输。
本发明提出的一种可自适应多品牌的视觉检测***，其工作原理如下：
***初始化后，等待待测物体到位信号，当检测到待测物体时，图像采集模块开始采集当前通道上的物体的外观图像；采集到的图像经过千兆网传输至图像处理模块，图像处理模块通过PCI-E接口将图像信号传输至主控模块；主控模块中的图像分析部分，品牌匹配模块根据算法设计，将当前的实际图像与***中存储的属于正常生产过程中的品牌的物品图像相比对，如有模板匹配正常的，则输出此图像模板的品牌信息，确定当前图像的品牌。如果所有已存储的图像模板匹配均出现异常，无匹配成功的，则输出品牌异常信息，进而直接通过逻辑控制模块，控制剔除模块将异常品牌的物品自动剔除。视觉检测任务信息查找模块根据确定的图像模板的品牌信息，属于当前正常的生产的物品品牌，则根据确定的品牌信息，去调取对应的图像算法工具，然后对当前的实时图像进行算法工具分析，利用如灰度、模板匹配、亮度分析、边缘等，根据各图像分析工具设置的实际参数，分析当前的品牌的物品外观图像是否正常，如果有不良，则输出缺陷信号到逻辑控制模块，进而控制剔除模块将不良品自动剔除。如果当前的品牌的物品外观图像属于正常，则进入后续工位。当有物体到位后，则再次循环此工作流程；否则，整个工作流程结束。
本发明采用机器视觉检测的方式，通过实时采集混合通道中的物品外观的图像，利用图像自适应算法，可以自动识别当前通道中的物品品牌，然后调用相关的图像处理算法，在物品外观存在缺陷时，自动剔除。整个工作过程无需人工干涉，算法先进，自动化程度高，提高设备的生产质量及有效作业率。
以上所述本发明的具体实施方式，并不构成对本发明保护范围的限定。任何根据本发明的技术构思所做出的各种其他相应的改变与变形，均应包含在本发明权利要求的保护范围内。

Claims (4)

1.一种可自适应多品牌的视觉检测方法，其特征在于，具体包括如下步骤：
步骤A，接受待测物体的到位信号，并根据所述待测物体到位信号，采集待测物体的外观图像信息；
步骤B，对所述待测物体的外观图像信息进行处理后，在预先存储的品牌检测任务信息中查找匹配与待测物体相对应的品牌信息，包括建立图像分析坐标系，通过图像过滤工具，对待测物体的外观图像信息进行滤波处理，通过缺陷提取工具，获取滤波处理后的差分图像，在差分图像上进行Blob分析，寻找亮斑，利用边缘工具及卡尺工具，测量图像亮斑特征之间的距离，经过阈值及数据分析，与预先存储的品牌检测任务信息中数据进行比较；若匹配失败，则输出品牌异常信息并通过控制剔除模块将异常品牌的待测物体自动剔除；若匹配成功，则输出所述待测物体的品牌信息并进行下一步；
步骤C，根据所述待测物体的品牌信息，在预先配置的视觉检测任务信息中，查找与当前待测物体的品牌信息相对应的视觉检测任务信息；
步骤D，根据所述视觉检测任务信息完成当前待测物体的视觉检测；
所述方法进一步包括：
预先存储品牌检测任务信息，为每一个正常生产过程中的待测物体配置相应的品牌检测任务信息；
预先配置视觉检测任务信息，根据每一个待测物体的品牌信息，为每个待测物体配置相应的视觉检测任务信息。
2.一种可自适应多品牌的视觉检测***，其特征在于，包括：
图像采集模块，用来采集待测物体的外观图像信息；
图像处理模块，用来对所述待测物体的外观图像信息进行处理；
品牌匹配模块，用来在预先存储的品牌检测任务信息中查找匹配与待测物体相对应的品牌信息，包括建立图像分析坐标系，通过图像过滤工具，对待测物体的外观图像信息进行滤波处理，通过缺陷提取工具，获取滤波处理后的差分图像，在差分图像上进行Blob分析，寻找亮斑，利用边缘工具及卡尺工具，测量图像亮斑特征之间的距离，经过阈值及数据分析，与预先存储的品牌检测任务信息中数据进行比较；
视觉检测任务信息查找模块，用来根据所述待测物体的品牌信息，在预先配置的视觉检测任务信息中，查找与当前待测物体的品牌信息相对应的视觉检测任务信息；
所述***还包括主控模块、逻辑控制模块、人机交互模块、剔除模块，所述主控模块分别与所述逻辑控制模块、人机交互模块、图像处理模块连接，所述逻辑控制模块与所述剔除模块连接；
所述图像处理模块与主控模块之间通过PCI-E接口进行连数据传输；所述图像采集模块与图像处理模块之间通过千兆网进行数据传输；所述逻辑控制模块与主控模块之间通过OPC协议进行数据传输。
3.根据权利要求2所述的可自适应多品牌的视觉检测***，其特征在于，所述***还包括：
第一预先配置模块，用来预先存储品牌检测任务信息，为每一个正常生产过程中的待测物体配置相应的品牌检测任务信息。
4.根据权利要求2所述的可自适应多品牌的视觉检测***，其特征在于，所述***还包括：
第二预先配置模块，预先配置视觉检测任务信息，根据每一个待测物体的品牌信息，为每个待测物体配置相应的视觉检测任务信息。
CN201610453458.1A 2016-06-22 2016-06-22 一种可自适应多品牌的视觉检测方法及*** Active CN106383121B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610453458.1A CN106383121B (zh) 2016-06-22 2016-06-22 一种可自适应多品牌的视觉检测方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610453458.1A CN106383121B (zh) 2016-06-22 2016-06-22 一种可自适应多品牌的视觉检测方法及***

Publications (2)

Publication Number Publication Date
CN106383121A CN106383121A (zh) 2017-02-08
CN106383121B true CN106383121B (zh) 2019-11-05

Family

ID=57916611

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610453458.1A Active CN106383121B (zh) 2016-06-22 2016-06-22 一种可自适应多品牌的视觉检测方法及***

Country Status (1)

Country Link
CN (1) CN106383121B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108639855B (zh) * 2018-04-17 2020-01-10 四川大学 液体类包装生产线的集成联动***
CN108971025A (zh) * 2018-08-17 2018-12-11 上海玉嵩机器人技术有限公司 一种视觉检测方法及视觉检测***
CN110252674A (zh) * 2019-07-11 2019-09-20 重庆时代云英科技有限公司 一种基于机器视觉的包装盒质量检测的方法及***
CN110907472A (zh) * 2019-11-15 2020-03-24 河南中烟工业有限责任公司 一种在线卷烟产品包装的图像识别***
CN111389750B (zh) * 2020-04-07 2022-04-12 苏州瀚德光电科技有限公司 一种视觉测量***及测量方法
CN114273261A (zh) * 2021-11-10 2022-04-05 上海艾豚科技有限公司 一种汽车内饰件多工件套件的同时检测方法及***

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5991436A (en) * 1995-06-30 1999-11-23 Cognex Corporation Apparatus and method for inspecting wirebonds on leads
CN102253048A (zh) * 2011-04-29 2011-11-23 惠州市钧悦科技有限公司 可用于多种产品检测的机器视觉检测方法及***
CN104677914A (zh) * 2015-03-10 2015-06-03 华中科技大学 一种芯片连晶缺陷识别方法
CN104865188A (zh) * 2015-05-28 2015-08-26 歌尔声学股份有限公司 一种视觉检测控制方法及***

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5991436A (en) * 1995-06-30 1999-11-23 Cognex Corporation Apparatus and method for inspecting wirebonds on leads
CN102253048A (zh) * 2011-04-29 2011-11-23 惠州市钧悦科技有限公司 可用于多种产品检测的机器视觉检测方法及***
CN104677914A (zh) * 2015-03-10 2015-06-03 华中科技大学 一种芯片连晶缺陷识别方法
CN104865188A (zh) * 2015-05-28 2015-08-26 歌尔声学股份有限公司 一种视觉检测控制方法及***

Also Published As

Publication number Publication date
CN106383121A (zh) 2017-02-08

Similar Documents

Publication Publication Date Title
CN106383121B (zh) 一种可自适应多品牌的视觉检测方法及***
CN109829914B (zh) 检测产品缺陷的方法和装置
CN101995223B (zh) 一种芯片外观检测方法及***
CN102253048B (zh) 可用于多种产品检测的机器视觉检测方法及***
US11836967B2 (en) Method and device for small sample defect classification and computing equipment
CN109685760B (zh) 一种基于matlab的slm粉床铺粉图像凸包凹陷缺陷检测方法
CN103868935A (zh) 基于计算机视觉的烟支外观质量检测方法
CN105388162A (zh) 基于机器视觉的原料硅片表面划痕检测方法
CN105403147A (zh) 一种基于嵌入式的瓶胚检测***和检测方法
CN107084992A (zh) 一种基于机器视觉的胶囊检测方法及***
CN109916913A (zh) 一种基于机器视觉的智能制造产品识别与检测方法
CN111160451A (zh) 一种柔性材料检测方法及其储存介质
CN108971025A (zh) 一种视觉检测方法及视觉检测***
CN104952754A (zh) 基于机器视觉的镀膜后硅片分选方法
CN110756457A (zh) 墙地砖自动识别分类***及方法
WO2024002187A1 (zh) 缺陷检测方法、缺陷检测设备及存储介质
CN105478364B (zh) 一种不良品检测分类方法及***
CN115035092A (zh) 基于图像的瓶体检测方法、装置、设备及存储介质
CN114441452B (zh) 一种光纤尾纤检测方法
CN111626995A (zh) 一种针对工件的智能嵌件检测方法和装置
US20220284699A1 (en) System and method of object detection using ai deep learning models
CN107121063A (zh) 检测工件的方法
CN109584212B (zh) 一种基于matlab的slm粉床铺粉图像划痕缺陷识别方法
CN116311053A (zh) 一种缺陷检测方法、***及其应用
CN114897863A (zh) 一种缺陷的检测方法、装置以及设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant