CN110659662B - 利用人工智能的瑕疵检测***及其方法 - Google Patents

利用人工智能的瑕疵检测***及其方法 Download PDF

Info

Publication number
CN110659662B
CN110659662B CN201811472668.0A CN201811472668A CN110659662B CN 110659662 B CN110659662 B CN 110659662B CN 201811472668 A CN201811472668 A CN 201811472668A CN 110659662 B CN110659662 B CN 110659662B
Authority
CN
China
Prior art keywords
flaw
image
terminal
marking
review
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811472668.0A
Other languages
English (en)
Other versions
CN110659662A (zh
Inventor
亚鲁木鲁甘 安比卡帕
安比卡帕亚鲁木鲁甘
徐敏堂
陆家樑
方志恒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Utechzone Co Ltd
Original Assignee
Utechzone Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Utechzone Co Ltd filed Critical Utechzone Co Ltd
Publication of CN110659662A publication Critical patent/CN110659662A/zh
Application granted granted Critical
Publication of CN110659662B publication Critical patent/CN110659662B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G01N2021/8867—Grading and classifying of flaws using sequentially two or more inspection runs, e.g. coarse and fine, or detecting then analysing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G01N2021/888—Marking defects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30148—Semiconductor; IC; Wafer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Signal Processing (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种利用人工智能的瑕疵检测***及其方法。所述瑕疵检测***，连接于自动外观检测装置，包括下列装置。复检伺服站接收瑕疵图像与瑕疵位置。训练终端存储已训练模块。分类终端接收瑕疵图像与瑕疵位置，读取已训练模块中相应瑕疵图像的目标训练模块，依据目标训练模块分类瑕疵图像以产生并传送标记瑕疵图像至复检伺服站。复检终端接收标记瑕疵图像，接收并传送相应标记瑕疵图像的验证操作至复检伺服站。标记复检终端接收验证操作与标记瑕疵图像，并接收相应标记瑕疵图像的标记结果。复检伺服站传送标记结果与标记瑕疵图像至训练终端，以使训练终端据此训练对应的训练模块。

Description

利用人工智能的瑕疵检测***及其方法
技术领域
本发明涉及一种瑕疵检测技术，尤其涉及一种利用人工智能的瑕疵检***及瑕疵检测方法。
背景技术
随着科技进步，电子零件的精密度要求日益趋高。为确保电子零件的良率提升，在电路板的制作过程会经过光学检测与复检两个阶段。光学检测阶段用以取得待检物图像，并判断待检物是否存在瑕疵。复检阶段是通过人工的方式对光学检测阶段所判定的瑕疵进一步检测标记。然而，降低制作过程中所耗费的大量人力为工业制程中的趋势。因此，如何设计机台，并导入新的技术，进而改善工业流程为本领域技术人员所致力的课题。
发明内容
本发明提供一种瑕疵检测***与瑕疵检测方法，通过在工业制程中引入人工智能的方式，藉此降低人力的负担。
本发明提供的瑕疵检测***连接于自动外观检测装置，瑕疵检测***具有下列设备。复检伺服站连接于自动外观检测装置，复检伺服站接收来自自动外观检测装置的瑕疵图像与瑕疵位置。训练终端连接至复检伺服站，存储至少一个已训练模块。分类终端连接至复检伺服站与分类终端，接收来自复检伺服站的瑕疵图像与瑕疵位置，读取至少一个已训练模块中相应于瑕疵图像的目标训练模块。分类终端依据目标训练模块，分类瑕疵图像以产生标记瑕疵图像，分类终端并传送标记瑕疵图像至复检伺服站。复检终端连接至复检伺服站，接收来自复检伺服站传送的标记瑕疵图像，复检终端接收相应标记瑕疵图像的验证操作，并传送验证操作至复检伺服站。标记复检终端连接至复检伺服站，接收来自复检伺服站的验证操作与标记瑕疵图像，并接收相应标记瑕疵图像的标记结果。复检伺服站传送标记结果与标记瑕疵图像至训练终端，训练终端接收并依据来自标记复检终端的标记结果以及对应的标记瑕疵图像训练对应的训练模块。
复检伺服站连接于自动外观检测装置，并接收来自自动外观检测装置的瑕疵图像与瑕疵位置。训练***连接至复检伺服站，存储多个已训练模块。分类终端连接至复检伺服站与分类终端，接收来自复检伺服站的瑕疵图像与瑕疵位置，读取已训练模块中相应于瑕疵图像的目标训练模块，依据目标训练模块分类瑕疵图像以产生标记瑕疵图像，分类终端并传送标记瑕疵图像至复检伺服站。复检终端(VRS)，连接至复检伺服站，接收来自复检伺服站传送的标记瑕疵图像，并显示标记瑕疵图像于复检终端的显示器上，复检终端接收相应标记瑕疵图像的验证操作，并传送验证操作至复检伺服站。复检伺服站传送验证操作以及标记瑕疵图像至训练***，训练***依据验证操作以及标记瑕疵图像进行训练，以更新目标训练模块。
本发明提供的瑕疵检测方法适用连接自动外观检测装置的瑕疵检测***。瑕疵检测***具有复检伺服站、训练终端、标记复检终端、分类终端以及复检终端。瑕疵检测方法具有下列步骤。由复检伺服站接收来自自动外观检测装置的瑕疵图像与瑕疵位置；由分类终端接收来自复检伺服站的瑕疵图像与瑕疵位置；由分类终端相应于瑕疵图像的目标训练模块，依据目标训练模块分类瑕疵图像以产生标记瑕疵图像，并传送标记瑕疵图像至复检伺服站；由复检终端接收来自复检伺服站传送的标记瑕疵图像，显示标记瑕疵图像于复检终端的显示器上；由复检终端接收相应标记瑕疵图像的验证操作，并传送验证操作至复检伺服站；由标记复检终端接收来自复检伺服站的验证操作与标记瑕疵图像，并接收相应标记瑕疵图像的标记结果；由复检伺服站接收标记结果以及标记瑕疵图像并传送至训练终端；以及由训练终端接收并依据来自标记复检终端的标记结果以及对应的标记瑕疵图像训练对应的训练模块。
基于上述，本发明的瑕疵检测***与瑕疵检测方法采用了训练终端，并通过分类终端训练终端中的训练模型，以对待检物的瑕疵图像自动分类。如此一来，目检员仅需针对分类终端检测不出的瑕疵进行判断，有效的降低人力耗损与成本。
为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合所附附图作详细说明如下。
附图说明
图1示出本发明一实施例瑕疵检测***的***示意图。
图2示出本发明一实施例训练***的***示意图。
图3示出了本发明另一实施例瑕疵检测***的***示意图。
附图标记说明
10、40：自动外观检测装置；
100、400：瑕疵检测***；
110、410：复检伺服站；
412：自动取样装置；
414：自动运输装置；
415：图像统整设备；
122、422：训练终端；
124：目标训练模块；
126：已训练模块；
128、424：标记复检终端；
130、430：分类终端；
140、440：复检终端；
S210～S290、S310～S340、S505～S555：步骤。
具体实施方式
图1示出本发明一实施例瑕疵检测***的***示意图。以下将通过图1说明本发明瑕疵检测***100中的***结构与硬件元件。
首先，瑕疵检测***100连接至自动外观检测装置10。自动外观检测装置10具有光学元件，用以获取待检物图像。自动外观检测装置10通过待检物图像对待检物进行初步的瑕疵筛检。若自动外观检测装置10判断待检物具备瑕疵，则会传送瑕疵图像以及瑕疵位置至瑕疵检测***100。
在本发明的一实施例中，自动外观检测装置例如为自动光学检测装置(AutomaticOptical Inspection equipment，AOI)或者是自动外观检测装置(Automatic VisualInspection equipment，AVI)。待检物例如为各种类型的电路板。常见的瑕疵例如为，内外层偏位、手指异色、手指异物、手指露铜、文字不清、油墨脱落、金面异色、金面异物、金面露铜、电测、手指压折伤、防焊脱落、金面压折伤或软板脏污等。瑕疵图像为具有或疑似具有瑕疵特征，并被判定为存在瑕疵的图像。本发明并不以前述自动外观检测装置10、待检物与瑕疵的案例为限。
本发明的瑕疵检测***100具有复检伺服站110、训练终端122、标记复检终端128、分类终端130以及复检终端140。
复检伺服站110连接于自动外观检测装置10，并用以接收来自自动外观检测装置10的瑕疵图像与瑕疵位置。除此之外，复检伺服站110也会与瑕疵检测***100中的其他设备相互连接，并作为整合设备与数据传输的中继站。不仅如此，复检伺服站110还会将所接收到的瑕疵图像、强化瑕疵图像和/或标记瑕疵图像都存储在复检伺服站110，藉此，复检伺服站110可以依据不同的制程流程进而传送对应的瑕疵图像、强化瑕疵图像和/或标记瑕疵图像至对应的处理装置中。在本发明的一实施例中，复检伺服站110例如为验证修复伺服器，然本发明不限于此。
训练***包括训练终端122以及标记复检终端128。训练终端122连接于复检伺服站110，用以训练、管理并存储多个已训练模块。训练终端122会接收多笔已标记瑕疵类型的瑕疵图像输入至深度学习模型，藉此获取已训练模型。训练终端122可以使用任何具备处理器的装置所实现，且训练终端122采用的深度学习模型例如但不限于，LeNet模型、AlexNet模型、GoogleNet模型或VGG模型(Visual Geometry Group)、或是依据上述模型作为基础进行修改及扩充的卷积神经网络。须说明的是，训练终端122会依据不同类型的待检物分别建立不同的模型，例如，每个已训练模型会对应到一种料号。换句话说，已训练模块对应到在此料号中可能出现的多种不同的瑕疵种类，且每一种瑕疵种类都有相对应的分类法则。
标记复检终端128连接于复检伺服站110，且标记复检终端128的功能与用途与复检终端140相似。差别在于，标记复检终端128会由资深目检员进行操作，且经由标记复检终端128所标记或验证的标记瑕疵图像不需再次验证，即可存储在训练***中。详细来说，虽然训练程度会随着输入的样本数量与样本的正确性而提升，然而若样本的正确性不佳，会导致训练程度不佳，增加误判的情形。因此，在工厂中额外设置标记复检终端128，并交由资深目检员进行操作可以提升样本的正确性。除此之外，在初始建立训练模型时，资深目检员可以通过标记复检终端128对多个样本瑕疵图像进行分类，并将资深目检员判定的分类输入深度学习模型，藉此建立训练模块。
分类终端130连接于复检伺服站110以及训练终端122，用以获取已训练模块，并据此对瑕疵图像进行分类(Automatic Defect Judgement，ADJ或Automatic DefectClassification，ADC)。分类终端130可以采用任何具备处理器的装置进行实作，本发明不限于此。须说明的是，虽然图1的分类终端130仅示出一个，然在其他实施例中，分类终端130的数量也可以为多个，在整个制造产线的任一段制程段，提供特定制程的检测功能。
复检终端140连接于复检伺服站110，用以在显示器中显示分类好的标记瑕疵图像，以提供目检员进一步检视标记瑕疵图像的瑕疵是否为真，分类是否正确。在目检员检视标记瑕疵图像后，复检终端140还会接收目检员所输入的验证操作。在本发明的实施例中，复检终端140可以采用任何具备显示器、处理器以及输入单元(例如，键盘、鼠标、触控屏幕等)的装置进行实作，本发明不限于此。此外，虽然图1的复检终端140仅示出一个，然在其他实施例中，复检终端140的数量也可以为多个，本发明不限于此。
在本发明的一实施例中，复检伺服站110与自动外观检测装置10、训练终端122、标记复检终端128、分类终端130、复检终端140等设备连接时，是通过实体线路以及各类输入端口，例如通用串行总线(Universal Serial Bus，USB)、串行端口(Serial Port)、火线(FireWire，采用IEEE 1394标准)、VME总线等进行数据的交换。又或者是，复检伺服站110也可以通过各类的通信芯片，例如蓝牙芯片、WiFi芯片等进行实作，以进行数据的交换。本发明并不以此为限。
以下将继续通过图1，说明在瑕疵检测***100中各个元件互动以执行瑕疵检测方法的步骤。
在步骤S210，由复检伺服站110接收来自自动外观检测装置10的瑕疵图像与瑕疵位置。复检伺服站110会将未标记的瑕疵图像传送到分类终端130。
在步骤S220，由分类终端130接收来自复检伺服站110的瑕疵图像与瑕疵位置。
在步骤S230，由分类终端130读取已训练模块中相应于瑕疵图像的目标训练模块。
详细来说，如同前述，每一个已训练模块都会相对应于一种待检物料号。换句话说，由分类终端130的目标训练模块对应的料号相同于待检物的料号。在本发明的一实施例中，待检物的料号会记载在瑕疵图像上，分类终端130可辨识并获取料号，进而读取目标训练模块。在本发明的其他实施例中，待检物的料号也可以被输入在自动外观检测装置10，并通过复检伺服站110而传送到分类终端130，本发明不限于此。
分类终端130在获取瑕疵图像与目标训练模块后，会依据目标训练模块分类并对瑕疵图像标记，以产生标记瑕疵图像。也就是说，标记瑕疵图像实质上具有瑕疵图像与相对应瑕疵图像的瑕疵标记，以记录此瑕疵图像属于哪种瑕疵类型。
在步骤S240，由分类终端130传送标记瑕疵图像至复检伺服站110。
在步骤S250，由复检终端140接收来自复检伺服站110传送的标记瑕疵图像，并显示标记瑕疵图像于复检终端140的显示器上。
在步骤S260，复检终端140接收相应标记瑕疵图像的验证操作，并传送验证操作至复检伺服站110。在本发明一实施例中，复检终端140是通过输入单元接收目检员输入的验证操作。详细来说，复检终端140在显示标记瑕疵图像后，会提供正确选项以及错误选项，以供目检员点选。若目检员所判断标记瑕疵图像的真实瑕疵与其瑕疵标记相同，则表示分类终端130的分类是正确的。此时，目检员可以点选正确选项。若目检员判断标记瑕疵图像的真实瑕疵与其瑕疵标记不同，则表示分类终端130的分类错误。复检终端140会记录目检员的验证操作，并传送至复检伺服站110。
值得一提的是，通过分类终端130先进行分类与标记的好处在于，目检员只需针对标记为空值的标记瑕疵图像(即，分类终端130检测不出来的瑕疵)进行判断，因而大幅降低目检员操作的时间。对于标记不为空值的标记瑕疵图像，目检员也仅需进行确认，不需要额外的分类操作。再者，若训练模型的训练程度相当高，精确度可以趋近于100％，则工厂也可以视情形调整目检员的复检政策，因而降低人力成本。
在步骤S270，标记复检终端128接收来自复检伺服站110的验证操作。此时，资深目检员可以再次确认由目检员的验证操作是否正确。倘若目检员的验证操作并不正确，资深目检员可以进一步点选错误图像。标记复检终端128会进一步提供多种瑕疵类型，以供资深目检员点选正确的瑕疵类型。
在步骤S280，标记复检终端128会记录资深目检员所点选的瑕疵类型，并将资深目检员的标记结果传送至复检伺服站110。也就是说，资深目检员的标记结果会直接被应用于模型的训练中，无须再次验证。
在步骤S290，由复检伺服站110传送标记结果以及标记瑕疵图像至训练终端122，训练终端122依据标记结果以及标记瑕疵图像进行训练，以更新目标训练模块。
详细来说，分类终端130会依据训练终端122训练出来的已训练模块进行分类。因此，分类终端130正确分类的关键会与已训练模块的训练程度呈现正相关。对于已训练模块而言，其训练程度会随着输入的样本数量与样本的正确性而提升。基此，在本发明的实施例中，通过资深目检员在标记复检终端128的再次确认可以加强样本的正确性。通过复检伺服站110进一步将标记瑕疵图像输入至训练终端122，可以加强输入的样本数量。藉此，本发明可以进一步加强目标训练模块的训练程度。
图2示出本发明一实施例的训练***的***示意图。以下将通过图2说明训练***中，训练终端122与标记复检终端128的运行方式。训练终端122是用以将训练样本、标记瑕疵图像输入深度学习模型，以对目标训练模块124进行训练。此外，训练终端122并存储已训练模块126。详细来说，训练终端122将训练样本、标记瑕疵图像输入深度学习模型时，是依据训练样本、标记瑕疵图像所属的类别(例如，料号)训练对应的模块。也就是说，训练样本、标记瑕疵图像与目标训练模块124对应的类别相同。经由深度学习模型输出的为已训练模块，训练终端122会将已训练模块126存储在训练终端122的存储单元(例如：硬盘)中。在本发明的一实施例，训练终端122是采用具有处理器，且处理器足以运行深度学习模型的硬件来实作，本发明不限于此。
除了再次验证来自复检终端140的验证操作外，标记复检终端128也可以在无须复检终端140的验证操作下，独立与训练终端122合作，直接对来自自动外观检测装置的瑕疵图像进行分类与标记，藉此以产生或更新目标训练模块124。值得一提的是，在本揭示的其他实施例中，在成本考量与工厂设计的考量下，标记复检终端128也可以合并在复检终端140中运行。或者是，在本揭示的另一实施例中，训练终端122与标记复检终端128之间也可以在不通过复检伺服站110的情形下直接进行数据交换。本揭示并不限于此。在步骤S310，由复检伺服站110接收来自自动外观检测装置10的瑕疵图像与瑕疵位置。
在步骤S320，由标记复检终端128接收来自复检伺服站110传送的瑕疵图像或标记瑕疵图像。标记复检终端128显示瑕疵图像或标记瑕疵图像，并接收相应瑕疵图像的分类结果或相应标记瑕疵图像的验证操作。
详细来说，在本发明的一实施例中，若在瑕疵检测***100中不具有相应待检物的已训练模块，或者是处于建模/更新方式时，复检伺服站110会在接收来自自动外观检测装置10的瑕疵图像与瑕疵位置时，直接将瑕疵图像输入标记复检终端128。标记复检终端128会依据人工判读所输入的分类产生分类结果，并将此分类结果直接用以训练样本，以供建模或更新。
若在瑕疵检测***100中已具有相应待检物的已训练模块，瑕疵检测***100也可以直接通过已训练模块而产生待检物的分类瑕疵图像，并交由复检终端140、标记复检终端128进行验证(即通过图1的步骤S220至S290)，进而依据标记结果而将标记瑕疵图像反馈至训练终端122。
标记复检终端128接收并存储相应瑕疵图像的分类结果或相应标记瑕疵图像的验证操作后，会标记尚未标记的瑕疵图像并存储验证操作，接着传送分类结果或验证操作，以及标记瑕疵图像至复检伺服站110。
在步骤S330，复检伺服站110接收并依据来自标记复检终端128的验证操作以及分类瑕疵图像。
在步骤S340，训练终端122通过复检伺服站110接收并依据来自标记复检终端128的验证操作及分类瑕疵图像而训练对应标记瑕疵图像的训练模块(即，目标训练模块124)。训练好的模块会存储在训练终端122中(即，已训练模块126)。藉此，训练终端122可以通过标记复检终端128的协作而建模，且持续更新训练模块。
图3示出了本发明另一实施例瑕疵检测***的***示意图。图3实施例是以图1实施例为主，进而衍生的实施例。请参照图3，此瑕疵检测***400与自动外观检测装置40连接，并具备复检伺服站410、分类终端430、复检终端440以及由训练终端422以及标记复检终端424组成的训练***。于此，自动外观检测装置40、复检伺服站410、训练终端422、标记复检终端424、分类终端430以及复检终端440与图1的自动外观检测装置10、复检伺服站110、训练终端122、标记复检终端128、分类终端130以及复检终端140相似。基此，复检伺服站410、训练终端422、标记复检终端424、分类终端430、复检终端440的硬件结构及功能即不再赘述。
然而，相较于图1与图2，本发明的瑕疵检测***400还具有自动取样装置412及自动运输装置414。
自动取样装置412位于自动外观检测装置40与复检伺服站410之间，并连接于自动外观检测装置40与复检伺服站410。自动取样装置412接收来自自动外观检测装置10的瑕疵坐标，并依据瑕疵坐标对待检物重新取样。详细来说，在自动外观检测装置40中，会发生检测到瑕疵坐标，然而瑕疵并不明显的情形。此时，通过自动取样装置412可以强化瑕疵的图像特征，藉此获取强化瑕疵特征。
在本发明的一实施例中，自动取样装置412具备光学元件(例如，摄像机)与光源设备。光学元件的参数是可调整的，参数例如内在参数(如：焦距、像距、镜头投影中心成像在图像上的位置、像素的长宽比、镜头扭曲变形的参数等)或者是外在参数(如：摄影机在三维坐标中的位置与拍摄方向，包含旋转矩阵与位移矩阵)。自动取样装置412会依据自动外观检测装置40提供的瑕疵图像的瑕疵特征调整光学元件的参数，进而获取待检物在瑕疵位置的图像。
光源设备的参数也为可调整的，自动取样装置412会依据自动外观检测装置40提供的瑕疵图像的瑕疵特征调整光源设备的参数，例如，发射不同频谱的光源(如：白光、红光、蓝光、绿光、黄光、UV光、或激光)，并且进一步调整光源的强度以及照射角度，藉此以辅助光学元件获取图像，以获取强化瑕疵图像。强化瑕疵图像的图像特征会优于瑕疵图像，有助于后续的分类与学习。需说明的是，在此实施例中，在后续对瑕疵图像进行分类、目检与训练时，将由强化瑕疵图像取代瑕疵图像。
自动运输装置414，通信连接于自动外观检测装置40与自动取样装置412。自动运输装置414安装路由程序，当接收到自动外观检测装置40的完成信号时，自动运输装置414会前往并搬运自动外观检测装置40的样品台上的待检物至自动取样装置412的样品台。如此一来，自动运输装置414可以取代人工搬运代检物的过程，以降低人为疏失的情形，同时以达到减轻人力负担的目的。
值得一提的是，由于训练***所需要的图像数据相当庞大，且图像数据还会随着工业工艺的复检阶段而持续成长。倘若这些图像数据都存储在复检伺服站410，会使复检伺服站410的存储空间不敷使用，或者是降低复检伺服站410的传输及处理速度。为了因应庞大的图像数据，在本发明的实施例中，瑕疵检测***400还可以在复检伺服站410中设置图像统整设备415(Image station)。图像统整设备415具备庞大的存储空间，以将所有瑕疵图像、强化瑕疵图像和/或标记瑕疵图像都存储在图像统整设备415中。藉此，复检伺服站410可以将所接收到的瑕疵图像、强化瑕疵图像和/或标记瑕疵图像都存储在图像统整设备415中。此外，复检伺服站410在传送瑕疵图像、强化瑕疵图像和/或标记瑕疵图像至分类终端430、复检终端440以及训练终端422、标记复检终端424时，可以仅传送档案的存储位置而使前述装置自行连接至图像统整设备中，并下载或采用线上运作的方式进行处理。藉此，可以降低图像传输很慢的问题。除此之外，图像统整设备也可以具备多个存储装置(例如：硬盘、固态硬盘等)，藉此以对图像进行备份，并且拥有弹性的扩展空间。
以下将通过图3说明本发明另一实施例中各个元件的互动关系。
在步骤S505，由自动取样装置412接收来自自动外观检测装置40的瑕疵图像与瑕疵坐标。
此外，在步骤S510，自动运输装置414会在接收到自动外观检测装置40的完成信号时，规划由自动外观检测装置40至自动取样装置412的路由，以前往并运送自动外观检测装置40的样品台上的待检物至自动取样装置412的样品台。
通过步骤S505及S510，自动取样装置412会依据待检物瑕疵图像的瑕疵特征进而调整光源设备与光学元件的参数，并依据瑕疵坐标而对待检物重新取样，以获取强化瑕疵图像。步骤S505与步骤S510执行的前后顺序不以前述为限。
在步骤S515，自动取样装置412还传送强化特征图像至复检伺服站410。
步骤S520至步骤S540对应于图1的步骤S220至S260，差异在于，步骤S520至步骤S540中，会以强化瑕疵图像取代瑕疵图像。也就是说，复检伺服站410、分类终端430、复检终端440都是针对强化瑕疵图像进行处理。由于强化瑕疵图像与瑕疵图像之间为取样结果的差异，对于瑕疵检测***100的结构并没有影响。因此，于此即不赘述步骤S520至步骤S540的细节。
而步骤S545至步骤S555则相同于图2的步骤S320至S340，特别是，相同于前述步骤S320至S340中，通过已训练模块而产生待检物的分类瑕疵图像，并交由人工复检之后，进而依据验证操作而将标记瑕疵图像反馈至训练终端422。因此，于此也不赘述步骤S545至步骤S555的细节。
值得一提的是，本发明一实施例的瑕疵检测***中，复检伺服站、训练终端、标记复检终端、分类终端、复检终端、自动运输装置以及自动取样装置中，皆采用独立的设备。因此，对于工厂而言，瑕疵检测***可以通过现有的复检终端、更新既有复检伺服站的操作***后，仅添购其余设备即可完成本发明的瑕疵检测***。并且，在特定设备的需求紧绷时，可以独立添购特定设备以扩充瑕疵检测***的承载量。基此，瑕疵检测***具备良好的扩充能力，并可架设于现有的瑕疵检测***上，以降低工厂设备更新的成本。
综上所述，本发明的瑕疵检测***与瑕疵检测方法采用了训练终端，并通过分类终端读取训练终端中的训练模型，以对待检物的瑕疵图像自动分类。如此一来，目检员仅需针对分类终端检测不出的瑕疵进行判断，有效的降低人力耗损与成本。不仅如此，本发明的瑕疵检测***扩展性佳，可架设于现有的瑕疵检测***上，以降低工厂设备更新的成本。
虽然本发明已以实施例揭示如上，然其并非用以限定本发明，任何所属技术领域中技术人员，在不脱离本发明的精神和范围内，当可作些许的更改与润饰，故本发明的保护范围当视所附的权利要求所界定者为准。

Claims (12)

1.一种利用人工智能的瑕疵检测***，连接于自动外观检测装置，所述瑕疵检测***包括：
复检伺服站，连接于所述自动外观检测装置，所述复检伺服站接收来自所述自动外观检测装置的瑕疵图像与瑕疵位置；
训练终端，连接至所述复检伺服站，存储至少一个已训练模块；
分类终端，连接至所述复检伺服站与所述训练终端，接收来自所述复检伺服站的所述瑕疵图像与所述瑕疵位置，读取所述至少一个已训练模块中相应于所述瑕疵图像的目标训练模块，所述分类终端依据所述目标训练模块，分类所述瑕疵图像以产生标记瑕疵图像，所述分类终端并传送所述标记瑕疵图像至所述复检伺服站；
复检终端，连接至所述复检伺服站，接收来自所述复检伺服站传送的所述标记瑕疵图像，所述复检终端自外部接收相应所述标记瑕疵图像的验证操作，并传送所述验证操作至所述复检伺服站；以及
标记复检终端，连接至所述复检伺服站，接收来自所述复检伺服站的所述验证操作与所述标记瑕疵图像，并将相应所述标记瑕疵图像的标记结果传送至所述复检伺服站，
其中，所述复检伺服站传送所述标记结果与所述标记瑕疵图像至所述训练终端，所述训练终端接收并依据来自所述复检伺服站的所述标记结果以及对应的所述标记瑕疵图像训练对应的训练模块。
2.根据权利要求1所述的瑕疵检测***，其中，
所述标记复检终端还接收来自所述复检伺服站传送的所述瑕疵图像以及相应所述瑕疵图像的分类结果，
所述训练终端还接收并依据来自所述复检伺服站的所述分类结果以及对应的所述瑕疵图像训练对应的训练模块。
3.根据权利要求2所述的瑕疵检测***，其中所述训练终端还输入所述标记瑕疵图像至深度学习模型，以训练所述训练模块。
4.根据权利要求1所述的瑕疵检测***，还包括：
自动取样装置，连接至所述自动外观检测装置与所述复检伺服站，接收来自所述自动外观检测装置的瑕疵坐标，其中所述瑕疵坐标对应于待检物，其中
所述自动取样装置还依据所述瑕疵坐标对所述待检物重新取样，以获取强化特征图像，
所述自动取样装置还传送所述强化特征图像至所述复检伺服站。
5.根据权利要求4所述的瑕疵检测***，还包括：
自动运输装置，通信连接于所述自动外观检测装置与所述自动取样装置，所述自动运输装置于接收到所述自动外观检测装置的完成信号时，前往并搬运所述自动外观检测装置的样品台上的所述待检物至所述自动取样装置的样品台。
6.根据权利要求1所述的瑕疵检测***，其中所述复检伺服站还包括：
图像统整设备，存储所述瑕疵图像以及所述标记瑕疵图像。
7.一种利用人工智能的瑕疵检测方法，适用连接自动外观检测装置的瑕疵检测***，且所述瑕疵检测***包括复检伺服站、训练终端、标记复检终端、分类终端以及复检终端，所述瑕疵检测方法包括：
由所述复检伺服站接收来自所述自动外观检测装置的瑕疵图像与瑕疵位置；
由所述分类终端接收来自所述复检伺服站的所述瑕疵图像与所述瑕疵位置；
由所述分类终端读取所述训练终端中相应于所述瑕疵图像的目标训练模块，依据所述目标训练模块分类所述瑕疵图像以产生标记瑕疵图像，并传送所述标记瑕疵图像至所述复检伺服站；
由所述复检终端自外部接收来自所述复检伺服站传送的所述标记瑕疵图像，显示所述标记瑕疵图像于所述复检终端的显示器上；
由所述复检终端接收相应所述标记瑕疵图像的验证操作，并传送所述验证操作至所述复检伺服站；
由所述标记复检终端接收来自所述复检伺服站的所述验证操作与所述标记瑕疵图像，并将相应所述标记瑕疵图像的标记结果传送至所述复检伺服站；
由所述复检伺服站接收所述标记结果以及所述标记瑕疵图像并传送至所述训练终端；以及
由所述训练终端接收并依据来自所述复检伺服站的所述标记结果以及对应的所述标记瑕疵图像训练对应的训练模块。
8.根据权利要求7所述的瑕疵检测方法，其中所述瑕疵检测方法还包括：
由所述标记复检终端接收来自所述复检伺服站传送的所述瑕疵图像以及相应所述瑕疵图像的分类结果，
由所述训练终端接收并依据来自所述复检伺服站的所述分类结果以及对应的所述瑕疵图像训练对应的训练模块。
9.根据权利要求8所述的瑕疵检测方法，其中由所述训练终端接收并依据来自所述标记复检终端的所述分类结果以及对应的所述瑕疵图像训练对应的训练模块的步骤中，还包括：
由所述训练终端输入所述标记瑕疵图像至深度学习模型，以训练所述训练模块。
10.根据权利要求7所述的瑕疵检测方法，其中所述瑕疵检测***还包括自动取样装置，且所述瑕疵检测方法还包括：
由所述自动取样装置接收来自所述自动外观检测装置的瑕疵坐标，其中所述瑕疵坐标对应于待检物；
由所述自动取样装置依据所述瑕疵坐标对所述待检物重新取样，以获取强化特征图像；以及
由所述自动取样装置传送所述强化特征图像至所述复检伺服站。
11.根据权利要求10所述的瑕疵检测方法，其中所述瑕疵检测***还包括自动运输装置，且所述瑕疵检测方法还包括：
由所述自动运输装置接收到所述自动外观检测装置的完成信号；以及
由所述自动运输装置前往并搬运所述自动外观检测装置的样品台上的所述待检物至所述自动取样装置的样品台。
12.根据权利要求7所述的瑕疵检测方法，其中所述瑕疵检测***还包括图像统整设备，且所述瑕疵检测方法还包括：
由图像统整设备存储所述瑕疵图像以及所述标记瑕疵图像。
CN201811472668.0A 2018-06-29 2018-12-04 利用人工智能的瑕疵检测***及其方法 Active CN110659662B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW107122627A TWI667575B (zh) 2018-06-29 2018-06-29 利用人工智慧的瑕疵檢測系統及其方法
TW107122627 2018-06-29

Publications (2)

Publication Number Publication Date
CN110659662A CN110659662A (zh) 2020-01-07
CN110659662B true CN110659662B (zh) 2023-05-30

Family

ID=68316407

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811472668.0A Active CN110659662B (zh) 2018-06-29 2018-12-04 利用人工智能的瑕疵检测***及其方法

Country Status (3)

Country Link
US (1) US10991088B2 (zh)
CN (1) CN110659662B (zh)
TW (1) TWI667575B (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201803795D0 (en) * 2018-03-09 2018-04-25 Prisymid Ltd Label data processing system
CN111054638A (zh) * 2019-11-27 2020-04-24 奥特斯科技(重庆)有限公司 制造部件承载件的方法及在制造期间操控面板的设备
TWI732370B (zh) * 2019-12-04 2021-07-01 財團法人工業技術研究院 神經網路模型的訓練裝置和訓練方法
TWI707137B (zh) * 2020-01-13 2020-10-11 憶象有限公司 智能產線監測系統及監測方法
CN113267501A (zh) * 2020-02-17 2021-08-17 远传电信股份有限公司 片状材料快速检测瑕疵整合***及其使用方法
CN111307823B (zh) * 2020-04-13 2022-10-25 国家电网有限公司 基于边云协同的变电设备典型视觉缺陷检测***及方法
CN113805365A (zh) * 2020-06-16 2021-12-17 艾聚达信息技术(苏州)有限公司 标记设备及缺陷标记方法
CN112485259A (zh) * 2020-11-13 2021-03-12 湖南交通工程学院 一种自适应强的金属表面智能缺陷视觉检测装备及检测方法
CN114638773A (zh) * 2020-11-30 2022-06-17 纬创资通（中山）有限公司 用于影像标记标准化的方法、电子装置及计算机程序产品
CN112557399B (zh) * 2020-11-30 2022-11-22 河北白沙烟草有限责任公司 一种烟机设备质量检测***点检方法及装置
CN114626538A (zh) * 2020-12-09 2022-06-14 艾聚达信息技术(苏州)有限公司 人工智能模型自动提升训练***及方法
CN113012097B (zh) * 2021-01-19 2023-12-29 富泰华工业（深圳）有限公司 图像复检方法、计算机装置及存储介质
TWI762193B (zh) * 2021-02-09 2022-04-21 鴻海精密工業股份有限公司 圖像瑕疵檢測方法、裝置、電子設備及存儲介質
TWI806004B (zh) * 2021-02-09 2023-06-21 麗臺科技股份有限公司 自動化視覺檢測的ai流程管理系統及方法
CN114002225B (zh) * 2021-10-19 2023-05-12 业成科技（成都）有限公司 光学检测***与方法
CN114674289A (zh) * 2022-03-29 2022-06-28 银河航天科技(南通)有限公司 用于卫星装配的自校正***及自校正方法
US11995812B2 (en) 2022-06-29 2024-05-28 Electrical Components International, Inc. Next generation quality inspection

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6292582B1 (en) * 1996-05-31 2001-09-18 Lin Youling Method and system for identifying defects in a semiconductor
CN104991502A (zh) * 2015-07-29 2015-10-21 成都国铁电气设备有限公司 车载接触网运行状态检测数据分析与处理***及方法
US9528908B2 (en) * 2012-03-05 2016-12-27 Fiberqa, Llc System and method of an integrated fiber optic inspection and cleaning apparatus
CN106355188A (zh) * 2015-07-13 2017-01-25 阿里巴巴集团控股有限公司 图像检测方法及装置
CN106918600A (zh) * 2017-04-07 2017-07-04 江苏博虏智能科技有限公司 一种基于机器视觉的面料表面缺陷检测和标记方法
CN107064160A (zh) * 2017-04-01 2017-08-18 佛山市南海天富科技有限公司 基于显著性检测的纺织品表面瑕疵检测方法及***
CN107389701A (zh) * 2017-08-22 2017-11-24 西北工业大学 一种基于图像的pcb表观缺陷自动检测***及方法
CN107543827A (zh) * 2016-06-23 2018-01-05 由田新技股份有限公司 光学检测***
CN107643294A (zh) * 2017-10-13 2018-01-30 陕西长岭软件开发有限公司 一种布匹瑕疵自动检测设备
CN107657603A (zh) * 2017-08-21 2018-02-02 北京精密机电控制设备研究所 一种基于智能视觉的工业外观检测方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3784603B2 (ja) * 2000-03-02 2006-06-14 株式会社日立製作所 検査方法及びその装置並びに検査装置における検査条件設定方法
TWM528233U (zh) * 2016-05-06 2016-09-11 中華大學 一種研磨墊檢測系統
TWI608369B (zh) * 2016-11-23 2017-12-11 財團法人工業技術研究院 分類方法、分類模組及電腦程式產品
TWM550465U (zh) * 2017-06-30 2017-10-11 中華大學 半導體晶圓檢測系統
US20200005422A1 (en) * 2018-06-29 2020-01-02 Photogauge, Inc. System and method for using images for automatic visual inspection with machine learning

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6292582B1 (en) * 1996-05-31 2001-09-18 Lin Youling Method and system for identifying defects in a semiconductor
US9528908B2 (en) * 2012-03-05 2016-12-27 Fiberqa, Llc System and method of an integrated fiber optic inspection and cleaning apparatus
CN106355188A (zh) * 2015-07-13 2017-01-25 阿里巴巴集团控股有限公司 图像检测方法及装置
CN104991502A (zh) * 2015-07-29 2015-10-21 成都国铁电气设备有限公司 车载接触网运行状态检测数据分析与处理***及方法
CN107543827A (zh) * 2016-06-23 2018-01-05 由田新技股份有限公司 光学检测***
CN107064160A (zh) * 2017-04-01 2017-08-18 佛山市南海天富科技有限公司 基于显著性检测的纺织品表面瑕疵检测方法及***
CN106918600A (zh) * 2017-04-07 2017-07-04 江苏博虏智能科技有限公司 一种基于机器视觉的面料表面缺陷检测和标记方法
CN107657603A (zh) * 2017-08-21 2018-02-02 北京精密机电控制设备研究所 一种基于智能视觉的工业外观检测方法
CN107389701A (zh) * 2017-08-22 2017-11-24 西北工业大学 一种基于图像的pcb表观缺陷自动检测***及方法
CN107643294A (zh) * 2017-10-13 2018-01-30 陕西长岭软件开发有限公司 一种布匹瑕疵自动检测设备

Also Published As

Publication number Publication date
CN110659662A (zh) 2020-01-07
US20200005449A1 (en) 2020-01-02
TW202001699A (zh) 2020-01-01
TWI667575B (zh) 2019-08-01
US10991088B2 (en) 2021-04-27

Similar Documents

Publication Publication Date Title
CN110659662B (zh) 利用人工智能的瑕疵检测***及其方法
TWI757825B (zh) 基於假點缺陷檢測之pcb檢修系統及檢修方法
CN112053318A (zh) 基于深度学习的二维pcb缺陷实时自动检测与分类装置
TWI703514B (zh) 人工智慧複檢系統及其方法
US11727553B2 (en) Vision analysis and validation system for improved inspection in robotic assembly
CN101093520A (zh) 缺陷检查***及缺陷检查方法
TW201331572A (zh) 檢查結果之目視確認作業之支援用之系統及裝置和方法
US20220189002A1 (en) Method and system for defect inspection based on deep learning
CN106980099B (zh) 一种电路板自动测试***的校准方法及***
JP2021119341A (ja) 生産ラインスマート監視システム及び監視方法
JP7408516B2 (ja) 欠陥管理装置、方法およびプログラム
CN114862832A (zh) 缺陷检测模型的优化方法、装置、设备及存储介质
JP2004151057A (ja) 部品コード変換テーブルの登録方法、変換テーブル登録装置、部品コード変換テーブルの登録用プログラムおよび記憶媒体
CN113077416A (zh) 一种基于图像处理的焊点焊接缺陷检测方法与***
CN111929239A (zh) 一种pcb板零件缺陷的aoi检测装置及检测方法
TWI780580B (zh) 圖像複檢方法、電腦裝置及儲存介質
JP4814116B2 (ja) 実装基板外観検査方法
CN115937555A (zh) 一种基于标准化流模型的工业缺陷检测算法
CN114782431A (zh) 一种印刷电路板缺陷检测模型训练方法及缺陷检测方法
CN113034496A (zh) 一种pcb板测试***
TWI745767B (zh) 光學檢測二次圖像分類方法
JP4830767B2 (ja) 部品実装基板の品質表示データの作成方法およびプログラム
TWM619772U (zh) 印刷電路板遠程光學檢修系統
CN117593287A (zh) 减少aoi检测设备误报率的pcba缺陷检测方法、检测设备
CN115436398A (zh) Smd封装高速aoi测试设备的aoi检测***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant