CN102144155B - 支援发现检查对象物的缺陷的***及方法 - Google Patents

支援发现检查对象物的缺陷的***及方法 Download PDF

Info

Publication number
CN102144155B
CN102144155B CN200980134528.5A CN200980134528A CN102144155B CN 102144155 B CN102144155 B CN 102144155B CN 200980134528 A CN200980134528 A CN 200980134528A CN 102144155 B CN102144155 B CN 102144155B
Authority
CN
China
Prior art keywords
mentioned
image
defect
information
acquisition unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN200980134528.5A
Other languages
English (en)
Other versions
CN102144155A (zh
Inventor
冈田雅州
土居意弘
森由美
植山晋辅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of CN102144155A publication Critical patent/CN102144155A/zh
Application granted granted Critical
Publication of CN102144155B publication Critical patent/CN102144155B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/95Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956Inspecting patterns on the surface of objects
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/95Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956Inspecting patterns on the surface of objects
    • G01N21/95607Inspecting patterns on the surface of objects using a comparative method
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01MTESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M11/00Testing of optical apparatus; Testing structures by optical methods not otherwise provided for
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/001Industrial image inspection using an image reference approach
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L22/00Testing or measuring during manufacture or treatment; Reliability measurements, i.e. testing of parts without further processing to modify the parts as such; Structural arrangements therefor
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/95Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N2021/9513Liquid crystal panels
    • GPHYSICS
    • G02OPTICS
    • G02FOPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G02F1/1306Details
    • G02F1/1309Repairing; Testing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/16Indexing scheme for image data processing or generation, in general involving adaptation to the client's capabilities
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30121CRT, LCD or plasma display

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Immunology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biochemistry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Theoretical Computer Science (AREA)
  • Manufacturing & Machinery (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Power Engineering (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明提供一种用于支援发现检查对象物的缺陷的***及方法。在捕获单元(20)中,接收部(21)从照相机(10)接收捕获图像并存储到发送队列(22)中,收发部(23)将捕获图像发送给图像处理单元(30),并且存储到缓存器(24)中。在图像处理单元(30)中,收发部(31)接收捕获图像并存储到缓存器(32)中,图像分析部(33)根据捕获图像判断缺陷图像,缺陷信息生成部(34)生成用于确定缺陷图像的缺陷信息,收发部(31)将缺陷信息发送给捕获单元(20)。在捕获单元(20)中,收发部(23)接收缺陷信息,图像提取部(25)根据缺陷信息从捕获图像中提取缺陷图像,发送部(26)将缺陷图像发送给结果保存单元(40)。根据本发明,能够避免被连接在进行用于判断检查对象物的缺陷部分的图像的图像处理的单元上的通信线路的带宽不足这样的情况。

Description

支援发现检查对象物的缺陷的***及方法
技术领域
本发明涉及支援发现检查对象物的缺陷的***及方法。本发明尤其涉及处理检查对象物的图像,支援发现该缺陷的***及方法。
背景技术
近年来,在制造LCD(Liquid Crystal Display:液晶显示器)、半导体晶片等工场的生产线上进行着通过用高分辨率的照相机拍摄所制造的LCD、晶片等的表面,对拍摄数据进行图像分析,来自动检查LCD、晶片等的缺陷。
在此,作为用于检查在制作LCD时使用的光掩模等极小图案的缺陷的技术,提出有输出将对光掩模中的光学图像与参考图像进行比较后的结果的技术,其中,参考图像是根据包含在CAD数据文件中的图形数据所生成的(例如,参照专利文献1)。在专利文献1中,光学图像获取部获取光掩模中的光学图像,其中,光掩模成为描绘有包含在CAD数据文件中的图形数据所示图形的样本。然后,在比较电路中,使用预定的算法对光学图像与参考图像进行比较,将判断为缺陷的图像等输出到复查装置,其中,参考图像是将包含在CAD数据文件中的图形数据变换为图像数据施加预定的过滤处理而生成的。
专利文献1:日本特开2007-85995号公报
发明内容
这样,通过处理LCD等图像来检查其缺陷的技术已经存在。
但是,近来,伴随着LCD等中的检查面积的巨大化、用于显示大量数据的LCD等的高精细化,对比较光学图像与参考图像的图像处理的性能要求变高。因此,在专利文献1中,考虑有将比较光学图像与参考图像的比较电路做成与用于获取光学图像的光学图像单元装置不同的高性能的专用单元。
然而,即使通过使用高性能的专用单元解决了对图像处理的性能要求,但在将判断为缺陷的图像输出到复查装置时,不能解决伴随着数据传送量的巨大化,用于在***内进行数据通信的带宽不足这样的问题。在此,带宽是指传送路径容量,用可传送的比特率表示。
即使对上述问题设计成采用最大限度地获取带宽那样的***结构,也需要使比较电路集中进行图像处理,因此具有与周边单元的通信能力和增大的数据传送量不平衡的可能性。
另外,为了使传送数据量变小,也考虑对判断为缺陷的图像进行压缩。但是,该处理产生致使原来的图像处理性能降低的新问题。
本发明的目的在于避免连接在进行图像处理的单元上的通信线路的带宽不足这样的情况,其中图像处理用于判断检查对象物的缺陷部分的图像。尤其在于消除图像处理单元与结果保存单元之间带宽的增大。
基于上述目的,本发明提供一种用于支援发现检查对象物的缺陷的***,包括:获取部,用于获取通过对检查对象物进行拍摄所得到的摄影图像;判断部,通过第一通信线路连接着获取部,判断由获取部所获取的摄影图像中的、包含检查对象物的缺陷部分的区域的图像即缺陷图像;以及保存部,通过第二通信线路被连接着获取部,保存由判断部所判断的缺陷图像,获取部通过第一通信线路将摄影图像发送给判断部,并且将摄影图像存储在本身的存储器内,在通过第一通信线路从判断部接收用于确定缺陷图像的图像确定信息时,通过第二通信线路向保存部发送存储在存储器内的摄影图像中的由图像确定信息所确定的缺陷图像。
在此,也可以是,图像确定信息包含具有上述摄影图像的识别号码、上述缺陷部分的个数、以及由上述缺陷部分的坐标和区域构成的缺陷区域信息的组中的至少一者。
另外,也可以是,获取部从存储在存储器内的摄影图像切出缺陷图像,将缺陷图像发送给保存部。这种情况下,获取部可以在从判断部接收用于确定存储在存储器内的摄影图像内的缺陷图像所占有的区域的区域确定信息作为图像确定信息时,将由摄影图像内的区域确定信息所确定的区域切出来作为缺陷图像。
另外,也可以是,获取部在从判断部接收到存储在存储器内的摄影图像不包含缺陷图像这一情况的信息时,从存储器删除摄影图像。
另一方面,也可以是,摄影图像包含多个图像碎片,获取部向保存部发送存储在存储器内的摄影图像所包含的多个图像碎片中的包含缺陷图像的图像碎片。这种情况下,获取部可以在从判断部接收到用于确定包含存储在存储器内的摄影图像所具有的多个图像碎片中的缺陷图像的图像碎片的碎片确定信息作为图像确定信息时,向保存部发送由多个图像碎片中的碎片确定信息所确定的图像碎片。
另外,也可以是,摄影图像包含多个图像碎片,获取部从判断部接收到未包含存储于存储器内的摄影图像所具有的多个图像碎片中的确定的图像碎片这一情况的信息时,从存储器内删除确定的图像碎片。
另外,也可以是,判断部在未向获取部发送所判断的缺陷图像的情况下,删除缺陷图像。
并且,也可以是,第二通信线路的带宽大于第一通信线路的带宽。
另外,本发明还提供一种用于支援发现检查对象物的缺陷的方法,其包括以下步骤:获取部从拍摄部获取拍摄部通过对检查对象物进行拍摄所得到的摄影图像;获取部通过第一通信线路将摄影图像发送给判断部;获取部将摄影图像存储在本身的存储器内;判断部判断通过第一通信线路从获取部接收到的摄影图像中的、包含检查对象物的缺陷部分的区域图像即缺陷图像;判断部通过第一通信线路向获取部发送用于确定缺陷图像的图像确定信息;以及获取部通过第二通信线路向保存部发送由存储于存储器内的摄影图像中的图像确定信息所确定的缺陷图像。
并且,本发明还提供一种用于支援发现检查对象物的缺陷的方法,其包括以下步骤:获取部从拍摄部获取拍摄部通过对检查对象物进行拍摄所得到的摄影图像的多个图像碎片;获取部通过第一通信线路将多个图像碎片发送给判断部;获取部将多个图像碎片存储在本身的存储器内;判断部判断通过第一通信线路从获取部接收到的多个图像碎片中的、包含检查对象物的缺陷部分的区域图像即缺陷图像;判断部通过第一通信线路向获取部发送用于确定包含存储在存储器内的多个图像碎片中的缺陷图像的图像碎片的碎片确定信息、和用于确定图像碎片内的缺陷图像所占有的区域的区域确定信息;获取部将存储在存储器内的多个图像碎片中的由碎片确定信息所确定的图像碎片内的由区域确定信息所确定的区域作为缺陷图像来切出;以及获取部将所切出的缺陷图像发送给保存部。
根据本发明,能够避免连接在进行图像处理的单元上的通信线路的带宽不足这样的情况,其中,图像处理用于判断检查对象物的缺陷部分的图像。
附图说明
图1是表示本发明实施方式中的缺陷发现支援***的功能结构的框图。
图2是表示本发明实施方式中的捕获单元将捕获图像存储到发送队列为止的概略工作的图。
图3是表示本发明实施方式中的捕获单元将捕获图像传送到图像处理单元为止的概略工作的图。
图4是表示本发明实施方式中的图像处理单元将无缺陷的信息返回到捕获单元时的概略工作的图。
图5是表示本发明实施方式中的图像处理单元将缺陷信息返回到捕获单元时的概略工作的图。
图6是表示由本发明实施方式生成的缺陷信息的具体例的图。
图7是表示本发明实施方式中的捕获单元将捕获图像传送到图像处理单元时的工作例的流程图。
图8是表示本发明实施方式中的图像处理单元进行图像分析时的工作例的流程图。
图9是表示本发明实施方式中的捕获单元从图像处理单元接受信息进行处理时的工作例的流程图。
图10是表示能够适用本发明的实施方式的计算机的硬件结构的图。
标号说明
10照相机
20捕获单元
21接收部
22发送队列
23收发部
24缓存器
25图像提取部
26发送部
30图像处理单元
31收发部
32缓存器
33图像分析部
34缺陷信息生成部
具体实施方式
以下参照附图详细说明用于实施本发明的方式(以下称为“实施方式”)。
首先,对本实施方式中的缺陷发现支援***进行说明。另外,在此,作为检查对象物以LCD为例进行说明。
图1是表示这样的缺陷发现支援***100的整体结构例的图。
如图示那样,缺陷发现支援***100包括:照相机10、捕获单元20、图像处理单元30以及结果保存单元40。
在此,照相机10是高性能的面扫描照相机或线扫描照相机即可。捕获单元20和结果保存单元40例如能够由服务器来实现。另外,图像处理单元30能够由安装有多核CPU的刀片服务器来实现。另外,在图中用一个框来表示照相机10,但在LCD等的检查面积较大时,优选设置多个照相机10来分别拍摄LCD等的表面的小区域。并且,还优选与多个照相机10对应而设置多个捕获单元20。
另外,捕获单元20与图像处理单元30通过通信线路52连接,捕获单元20与结果保存单元40通过通信线路54连接。在此,基于通信线路52和通信线路54的连接能够通过使用以太网(注册商标)开关用以太网(注册商标)连接、使用IB开关用Infini Band(无线带宽)连接或者使用PCIe桥接器用PCIe连接来实现。这种情况下,通信线路52是第一通信线路的一例,通信线路54是第二通信线路的一例。并且,第二通信线路的带宽被设定得比第一通信线路的带宽宽。
以下对构成缺陷发现支援***100的各单元的功能进行说明。
照相机10对LCD的点亮显示画面表面进行拍摄。即,检查对象的LCD流到制造工序线上时,对LCD上确定的画面区域进行拍摄。在此,点亮显示画面能够包含用于发现缺陷的各种测试图案。并且,将由拍摄得到的图像数据依次送入捕获单元20。
捕获单元20是用于获取图像的获取部的一例,包括:接收部21、发送队列22、收发部23、缓存器24、图像提取部25以及发送部26。在此,接收部21依次接收照相机10通过拍摄所得到的图像数据。
发送队列22为了将图像数据向图像处理单元30传送,而存储接收部21所获取的图像数据(以下称为“捕获图像”)。另外,捕获图像是通过对检查对象物进行拍摄而得到的摄影图像的一例。
收发部23将被存储在发送队列22中的捕获图像传送到图像处理单元30,并从图像处理单元30接收在哪个捕获图像的哪个位置发现了缺陷,或者表示该缺陷大小的信息(以下称为“缺陷信息”)。
缓存器24将捕获图像发送给图像处理单元30之后,也保持一定量的捕获图像。
图像提取部25根据收发部23所接收到的缺陷信息来从保持在缓存器24中的捕获图像中提取包含缺陷部分的区域的图像数据(以下称为“缺陷图像”)。
发送部26将图像提取部25所提取的缺陷图像发送给结果保存单元40。
图像处理单元30是判断缺陷图像的判断部的一例,包括:收发部31、缓存器32、图像分析部33以及缺陷信息生成部34。
在此,收发部31从捕获单元20接收捕获图像,若在捕获图像中未发现缺陷,则将其含义发送给捕获单元20,若发现缺陷则将缺陷信息发送给捕获单元20。
缓存器32存储收发部31从捕获单元20接收到的捕获图像。该捕获图像在包含图像分析和缺陷信息生成的图像处理结束时被删除。
图像分析部33对存储在缓存器32中的捕获图像进行图像处理,对在捕获图像中是否存在缺陷,若存在缺陷则对其位置和大小(形状、面积等)进行分析。
缺陷信息生成部34在由图像分析部33判断为在捕获图像中存在缺陷时生成缺陷信息。另外,在下面详细说明,但缺陷信息不是缺陷部分的图像数据,而是包含用于确定缺陷部分的信息、尺寸比图像数据量小的数据量。
结果保存单元40是接受缺陷图像的发送的保存部的一例,用于保存从捕获单元20接收到的缺陷图像。即,是具有存储缺陷图像的磁盘装置(HDD)的文件服务器。
接着,对本实施方式中的缺陷发现支援***100的概略工作进行说明。
图2~图5是按时间顺序表示概略工作中的状态的图。另外,对图1所示的捕获单元20、图像处理单元30内的构成要素仅示出需要说明的构成要素。
图2是示意地表示捕获单元20将用照相机10拍摄而得到的图像数据存储在发送队列22时的工作的图。
首先,照相机10对检查对象的LCD进行拍摄,将图像数据依次发送给捕获单元20(1)。
接着,捕获单元20将从照相机10接收到的捕获图像存储在发送队列22中(2)。另外,对捕获图像赋予用于唯一识别捕获图像的“捕获图像ID”,以下,将捕获图像ID为“N”的捕获图像标记为“捕获图像#N”。在图中,首先,捕获图像#1~#3被存储在发送队列22中,之后,从照相机10发送捕获图像#4、#5。另外,捕获图像中的网格表示缺陷部分。在下面的图像分析中该部分被识别为缺陷。
图3是示意地表示捕获单元20将捕获图像传送到图像处理单元30时的工作的图。
首先,捕获单元20将被存储在发送队列22中的捕获图像发送给图像处理单元30(3)。在此,在图2中表示被存储在发送队列22中的捕获图像#1~#3被发送给图像处理单元30的中途。之后,从照相机10发送新的捕获图像#4~#8,其中,捕获图像#4、#5、#6被存储在发送队列22中。
接着,捕获单元20将完成传送到图像处理单元30的捕获图像移动到缓存器24(4)。在此,捕获图像#1~#3表示被传送到图像处理单元30后的状态,正在将捕获图像#1~#3移动到缓存器24。
即,捕获单元20和图像处理单元30暂时具有相同的捕获图像。
图4是示意地表示在图像处理单元30中的图像处理中被判断为无缺陷时的工作的图。
首先,图像处理单元30对在图3发送出的捕获图像中的捕获图像#1进行图像处理,判断为无缺陷(5)。
接着,图像处理单元30废弃图像处理后的捕获图像#1(6)。然后,图像处理单元30将在捕获图像#1中不存在缺陷这一情况通知给捕获单元20(7)。
最后捕获单元20废弃保持在缓存器24中的捕获图像#1(8)。
图5是示意地表示在图像处理单元30中的图像处理中判断为存在缺陷时的工作的图。
首先,图像处理单元30对在图3发送的捕获图像中的捕获图像#3进行图像处理,发现存在缺陷(9)。
接着,图像处理单元30废弃图像处理后的捕获图像#3(10)。即,存在缺陷时也与无缺陷时相同地废弃捕获图像。
然后,图像处理单元30将缺陷信息通知给捕获单元20(11)。在此,缺陷信息不是缺陷图像本身,而是包含用于确定捕获图像内的缺陷图像的位置和大小的信息的数据。也就是说,数据量也比缺陷图像的数据量少。
这样一来,捕获单元20从被存储在缓存器24中的捕获图像中提取缺陷图像来发送给结果保存单元40(12)。
据此,结果保存单元40保存缺陷图像(13)。
最后,捕获单元20废弃处理完成即提取缺陷图像后的捕获图像(14)。在图中从缓存器24中废弃捕获图像#3。
在此,在图5中对从图像处理单元30发送给捕获单元20的缺陷信息进行说明。
图6是表示缺陷信息的具体例的图。
如上述那样,缺陷信息不是图像数据本身,而是尺寸比具有以下那样的信息的图像数据小的数据。在本实施方式中,作为用于确定缺陷图像的图像确定信息的一例,使用缺陷信息。
如图6所示那样,缺陷信息包括:捕获图像ID、缺陷区域数以及缺陷区域信息。
如已说明那样,捕获图像ID是用于唯一识别捕获图像的识别信息。按对分割LCD后的画面区域进行拍摄而得到的捕获图像来赋予该捕获图像ID。例如,若将LCD的画面分成4部分而得到4个捕获图像时,对4个捕获图像分别赋予#5、#6、#7、#8这样的捕获图像ID。另外,在此,示出捕获图像#5的例子。在本实施方式中,作为用于确定图像碎片的碎片确定信息的一例,使用捕获图像ID。
缺陷区域数是在捕获图像内所发现的缺陷区域的个数。有时在1个捕获图像中包含多个缺陷,这样的情况下,将包含各个缺陷的矩形区域作为缺陷区域。另外,在此,示出了在捕获图像#5内发现了3个缺陷区域的情况的例子。
缺陷区域信息是用于确定由缺陷区域数所示的个数的区域的信息,具体而言,包含以下的信息。首先,为top-left,其表示以捕获图像左上角的点为原点时的缺陷区域左上角的坐标。另外,为width,其表示缺陷区域的宽度。并且,为height,其表示缺陷区域的高度。另外,在此,缺陷区域数为“3”,因此包包含3个量的缺陷区域信息。在本实施方式中,作为用于确定缺陷图像所占有的区域的区域确定信息的一例,设置有缺陷区域信息。另外,在此,作为区域确定信息使用了坐标、宽度、高度,但只要是能够确定区域的信息,则可以使用任意信息,例如也可以使用左上角的点的坐标和右下角的点的坐标等。
另外,也可以包含通过在该缺陷信息中分析缺陷部分的图像浓度而得到的缺陷严重程度的信息和缺陷的尺寸(面积)的信息。
以下详细说明本实施方式中的缺陷发现支援***100的工作。在以下的说明中也同时参照图1。
图7是表示从照相机10接收捕获图像并传送到图像处理单元30为止的捕获单元20的工作例的流程图。
在捕获单元20中,首先,接收部21从照相机10接收捕获图像(步骤201)。然后,将接收到的捕获图像存储到发送队列22中(步骤202)。
这样,从接收部21将捕获图像被存储在发送队列22中这一情况的信息通知给收发部23,收发部23从发送队列22中取出捕获图像并发送给图像处理单元30(步骤203)。另外,收发部23将传送完成的捕获图像存储在缓存器24中(步骤204)。
另外,在此工作例中,从照相机10发送的捕获图像在被存储到发送队列22中时,收发部23取出该捕获图像并传送到图像处理单元30。然而,收发部23也可以与从照相机10发送的捕获图像存储到发送队列22非同步地取出该捕获图像并传送到图像处理单元30。例如,收发部23每隔一定时间间隔检查捕获图像是否被存储在发送队列22中,若捕获图像被存储,则可以取出捕获图像并传送到图像处理单元30。
图8是表示接收到捕获图像的图像处理单元30的工作例的流程图。
在图像处理单元30中,首先,收发部31接收捕获图像,并存储到缓存器32中(步骤301)。
接着,图像分析部33对存储在缓存器32中的捕获图像进行分析(步骤302)。具体而言,将捕获图像与表示与该捕获图像对应的LCD区域的正确图案的参考图像进行比较。例如,若由照相机10拍摄的LCD区域已确定时,将照相机10的识别信息与通过拍摄所得到的图像数据一起发送给捕获单元20。然后,根据照相机10的识别信息确定与捕获图像对应的LCD区域,从参考图像存储部(未图示)读出表示该区域的正确图案的参考图像即可。据此,图像分析部33从捕获图像内的小区域中,求出与参考图像的对应区域和图案不同的区域数、这样的区域位置及其大小。
然后,图像分析部33判断缺陷区域的数量是否为“0”(步骤303)。即,判断在捕获图像中是否存在缺陷。
其结果,若判断为缺陷区域的数量为“0”,则图像分析部33将其含义传递到收发部31,收发部31将捕获图像ID和无缺陷含义的信息发送给捕获单元20(步骤304)。然后,收发部31从缓存器32中删除与该捕获图像ID对应的捕获图像(步骤310)。
另一方面,若判断为缺陷区域的数量不为“0”,则图像分析部33将捕获图像ID、缺陷区域的数量、位置以及大小传递到缺陷信息生成部34,缺陷信息生成部34生成缺陷信息。即,首先,缺陷信息生成部34将捕获图像ID设定为缺陷信息(步骤305)。接着,将缺陷区域数设定为缺陷信息(步骤306)。然后,将用于对1个缺陷区域确定缺陷区域的位置和大小的缺陷区域信息设定为缺陷信息(步骤307)。之后,判断是否还存在其他缺陷区域(步骤308)。然后,若存在其他缺陷区域,则反复进行步骤307。另外,若不存在其他缺陷区域,则将所生成的缺陷信息交接给收发部31,收发部31将缺陷信息发送给捕获单元20(步骤309)。然后,收发部31从缓存器32中删除与该捕获图像ID对应的捕获图像(步骤310)。
图9是表示从图像处理单元30接收到信息的捕获单元20的工作例的流程图。
在捕获单元20中,首先,收发部23接收信息(步骤221)。
接着,判断该信息是否为缺陷信息(步骤222)。
其结果,若判断为不是缺陷信息,即,若判断为捕获图像ID和表示捕获图像中不存在缺陷的的信息,则收发部23删除存储在缓存器24中的、与该捕获图像ID对应的捕获图像(步骤229)。
另一方面,若判断为缺陷信息,则收发部23将缺陷信息传递到图像提取部25,图像提取部25从缺陷信息中取出捕获图像ID(步骤223)。然后,从缓存器24中读出与捕获图像ID对应的捕获图像(步骤224)。接着,图像提取部25从缺陷信息中取出1个缺陷区域信息(步骤225)。然后,从捕获图像中切出根据缺陷区域信息确定的缺陷区域的图像、即缺陷图像(步骤226)。这样,从图像提取部25将该被切出的缺陷图像传递到发送部26,发送部26将缺陷图像发送给结果保存单元40(步骤227)。之后,图像提取部25判断是否还有缺陷区域信息(步骤228)。然后,若还有缺陷区域信息,则反复进行步骤225~227的处理。另外,若已没有缺陷区域信息,则将其含义返回到收发部23。然后,收发部23删除存储在缓存器24中的、与该捕获图像ID对应的捕获图像(步骤229)。
另外,在此工作例中,每次在步骤226从捕获图像切出缺陷图像时,在步骤227将缺陷图像发送给结果保存单元40。然而,也可以将在步骤226从捕获图像切出的缺陷图像预先保持到在步骤228判断为无缺陷区域信息为止,在判断为无缺陷区域信息后集中向结果保存单元40发送。
在本实施方式中,在缺陷信息中包含捕获图像ID和缺陷区域信息,但也可以在缺陷信息中仅包含它们的一方。
例如,考虑在缺陷信息中仅包含缺陷区域信息的情况。在这种情况下,以将传送到图像处理单元30的捕获图像和存储在缓存器24中的捕获图像用捕获图像ID以外的方法建立关联为前提。例如,有时将1个捕获图像传送到图像处理单元30并存储到缓存器24,在捕获图像的处理结束时,从图像处理单元30也从缓存器24删除该捕获图像,移至下一个捕获图像的处理。在这种情况下,通过从图像处理单元30传递缺陷区域信息,捕获单元20能够根据缺陷区域信息,从存储在缓存器24中的1个捕获图像切出缺陷图像。
另外,考虑在缺陷信息中仅包含捕获图像ID的情况。这种情况下,将多个捕获图像传送到图像处理单元30并存储到缓存器24,捕获单元20在通知包含缺陷图像的捕获图像的捕获图像ID时,选择具有从存储在缓存器24内的捕获图像中所通知的捕获图像ID的捕获图像并发送给结果保存单元40。即,不从存储在缓存器24中的捕获图像切出缺陷图像,而将包含缺陷图像的捕获图像整体发送给结果保存单元40。若将捕获图像设定为小尺寸,则即使发送捕获图像整体通信的负荷也不会那么大。
以上详细地说明了本发明的实施方式。
在本实施方式中,通过进行这样的工作,解决现有技术的问题如下。
·图像处理单元30不会发送缺陷图像,因此能够使图像处理单元30所需的传送带宽窄。另一方面,捕获单元20所需的传送带宽变宽,但在捕获单元20中使用服务器那样的单元,因此与图像处理单元30相比能够容易且便宜地进行传送带宽的扩展,不成为问题。
·在图像处理单元30中不会进行缺陷图像的压缩那样的多余处理,图像处理单元30不会对在原来的图像分析中使用的时间产生影响。
并且,也列举出以下优点。
·进行提取缺陷图像的处理也被卸载到捕获单元20中,因此图像处理单元30可用在原来的图像分析中的时间增加。
·与图像处理单元30相比,在捕获单元20中能够容易且便宜地进行存储器和磁盘的扩展。因此,通过使捕获单元20具有大的缓存器,***整体中的图像处理量增大。
但是,在本实施方式中,用服务器来实现捕获单元20,用刀片服务器来实现图像处理单元30。然而,捕获单元20可以由例如PC(Personal Computer:个人电脑)等通常的计算机来实现。
另外,图像处理单元30也能够用组装有CAB(Cell AcceleratorBoard:加速板)的PC等通常的计算机来实现。
因此,作为在通常的计算机中进行这些处理的计算机,对其硬件结构进行说明。
图10是表示这样的计算机的硬件结构的一例的图。如图示那样,计算机包括:作为运算机构的CPU(Central Processing Unit:中央处理器)90a;通过M/B(motherboard:主板)芯片组90b连接在CPU90a上的主存储器90c;以及相同地通过M/B芯片组90b连接在CPU90a上的显示机构90d。另外,在M/B芯片组90b上通过电桥电路90e连接有:网络接口90f、磁盘装置(HDD)90g、声音机构90h、键盘/鼠标90i以及软盘驱动器90j。
另外,在图10中,各构成要素通过总线连接。例如,CPU90a与M/B芯片组90b之间通过CPU总线连接,M/B芯片组90b与主存储器90c之间通过CPU总线连接。另外,M/B芯片组90b与显示机构90d之间可以通过AGP(Accelerated Graphics Port:加速图形接口)连接,但在显示机构90d包含PCI Express对应的显卡的情况下,M/B芯片组90b与该显卡之间通过PCI Express(PCIe)总线连接。另外,在与电桥电路90e连接的情况下,能够对网络接口90f使用例如PCIExpress。另外,能够对磁盘装置90g使用例如串行ATA(ATAttachment:高级技术附加装置)、并行传送的ATA、PCI(PeripheralComponents Interconnect:外部控制器接口)。并且,能够对键盘/鼠标90i和软盘驱动器90j使用USB(Universal Serial Bus:通用串行总线)。
在此,本发明可以全部由硬件来实现,也可以全部由软件来实现。另外,也能够由硬件和软件这两者来实现。另外,本发明能够实现为计算机、数据处理***、计算机程序。该计算机程序能够由被存储在可供计算机读取的介质来提供。在此,作为介质,可考虑电子、磁、光学、电磁、红外线、半导体***(器件或者设备)或者传输介质。另外,作为可供计算机读取的介质例示半导体、固态存储装置、磁带、可取出的计算机磁盘、随机存取存储器(RAM)、只读存储器(ROM)、硬磁盘以及光盘。在当前时刻的光盘的例子中包含只读型光盘(CD-ROM)、可重写光盘(CD-R/W)以及DVD。
以上使用实施方式说明了本发明,但本发明的技术范围并不限于上述实施方式。本领域技术人员显然清楚在不脱离本发明的精神和范围内能够进行各种变更、或采用替代方式。

Claims (12)

1.一种用于支援发现检查对象物的缺陷的***,包括:
获取部,用于获取通过对上述检查对象物进行拍摄而得到的摄影图像;
判断部,通过第一通信线路连接着上述获取部,用于判断由上述获取部所获取的上述摄影图像中的、包含上述检查对象物缺陷部分的区域的图像即缺陷图像;以及
保存部,
所述用于支援发现检查对象物的缺陷的***的特征在于:
所述保存部通过第二通信线路连接着上述获取部,用于保存由上述判断部判断出的上述缺陷图像,
上述获取部通过上述第一通信线路向上述判断部发送上述摄影图像,并且将上述摄影图像存储在本身的存储器内,当通过上述第一通信线路从上述判断部接收到用于确定上述缺陷图像的图像确定信息时,通过上述第二通信线路向上述保存部发送由存储在上述存储器内的上述摄影图像中的上述图像确定信息所确定的上述缺陷图像。
2.根据权利要求1所述的***,其特征在于,
上述图像确定信息包含具有上述摄影图像的识别号码、上述缺陷部分的个数、以及由上述缺陷部分的坐标和区域构成的缺陷区域信息的组中的至少一者。
3.根据权利要求1所述的***,其特征在于,
上述获取部从存储在上述存储器内的上述摄影图像上切出上述缺陷图像,并将上述缺陷图像发送给上述保存部。
4.根据权利要求3所述的***,其特征在于,
上述获取部在从上述判断部接收到用于确定存储在上述存储器内的上述摄影图像内的上述缺陷图像所占有的区域的区域确定信息来作为上述图像确定信息时,将由上述摄影图像内的上述区域确定信息所确定的区域作为上述缺陷图像来切出。
5.根据权利要求1所述的***,其特征在于,
上述获取部在从上述判断部接收到存储在上述存储器内的上述摄影图像不包含上述缺陷图像这一情况的信息时,从上述存储器内删除上述摄影图像。
6.根据权利要求1所述的***,其特征在于,
上述摄影图像包含多个图像碎片,
上述获取部向上述保存部发送存储在上述存储器内的上述摄影图像所包含的多个图像碎片中的包含上述缺陷图像的图像碎片。
7.根据权利要求6所述的***,其特征在于,
上述获取部在从上述判断部接收到用于确定存储在上述存储器内的上述摄影图像所包含的多个图像碎片中的包含上述缺陷图像的图像碎片的碎片确定信息来作为上述图像确定信息时,向上述保存部发送由上述多个图像碎片中的上述碎片确定信息所确定的图像碎片。
8.根据权利要求1所述的***,其特征在于,
上述摄影图像包含多个图像碎片,
上述获取部在从上述判断部接收到存储在上述存储器内的上述摄影图像所包含的多个图像碎片中的确定的图像碎片不包含上述缺陷图像这一情况的信息时,从上述存储器内删除上述确定的图像碎片。
9.根据权利要求1所述的***,其特征在于,
上述判断部不向上述获取部发送判断出的上述缺陷图像而删除上述缺陷图像。
10.根据权利要求1所述的***,其特征在于,
上述第二通信线路的带宽大于上述第一通信线路的带宽。
11.一种用于支援发现检查对象物的缺陷的方法,包括以下步骤:
获取部从拍摄部获取通过该拍摄部对上述检查对象物进行拍摄而得到的摄影图像;
上述获取部通过第一通信线路将上述摄影图像发送给判断部,
所述用于支援发现检查对象物的缺陷的方法的特征在于,还包括以下步骤:
上述获取部将上述摄影图像存储在本身的存储器内;
上述判断部判断通过上述第一通信线路从上述获取部接收到的上述摄影图像中的、包含上述检查对象物缺陷部分的区域的图像即缺陷图像;
上述判断部通过上述第一通信线路向上述获取部发送用于确定上述缺陷图像的图像确定信息;以及
上述获取部通过第二通信线路向保存部发送存储在上述存储器内的上述摄影图像中的由上述图像确定信息所确定的上述缺陷图像。
12.一种用于支援发现检查对象物的缺陷的方法,其特征在于,包括以下步骤:
获取部从拍摄部获取通过该拍摄部对上述检查对象物进行拍摄而得到的摄影图像的多个图像碎片;
上述获取部通过第一通信线路将上述多个图像碎片发送给判断部;
上述获取部将上述多个图像碎片存储在本身的存储器内;
上述判断部判断通过上述第一通信线路从上述获取部接收到的上述多个图像碎片中的、包含上述检查对象物缺陷部分的区域的图像即缺陷图像;
上述判断部通过上述第一通信线路向上述获取部发送用于确定存储在上述存储器内的上述多个图像碎片中的包含上述缺陷图像的图像碎片的碎片确定信息和用于确定上述图像碎片内的上述缺陷图像所占有的区域的区域确定信息;
上述获取部将存储在上述存储器内的上述多个图像碎片中的由上述碎片确定信息所确定的图像碎片内的由区域确定信息所确定的区域作为上述缺陷图像来切出;以及
上述获取部将所切出的上述缺陷图像发送给保存部。
CN200980134528.5A 2008-09-18 2009-08-03 支援发现检查对象物的缺陷的***及方法 Active CN102144155B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2008-239073 2008-09-18
JP2008239073 2008-09-18
PCT/JP2009/063730 WO2010032562A1 (ja) 2008-09-18 2009-08-03 検査対象物の欠陥の発見を支援するシステム及び方法

Publications (2)

Publication Number Publication Date
CN102144155A CN102144155A (zh) 2011-08-03
CN102144155B true CN102144155B (zh) 2014-06-18

Family

ID=42039404

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200980134528.5A Active CN102144155B (zh) 2008-09-18 2009-08-03 支援发现检查对象物的缺陷的***及方法

Country Status (7)

Country Link
US (1) US8630476B2 (zh)
EP (1) EP2312301A4 (zh)
JP (1) JP5480149B2 (zh)
KR (1) KR20110067020A (zh)
CN (1) CN102144155B (zh)
TW (1) TW201024715A (zh)
WO (1) WO2010032562A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5480149B2 (ja) 2008-09-18 2014-04-23 インターナショナル・ビジネス・マシーンズ・コーポレーション 検査対象物の欠陥の発見を支援するシステム及び方法
JP5664230B2 (ja) * 2010-12-28 2015-02-04 コニカミノルタ株式会社 画像読み込みシステムおよび読み込み画像処理システム
US9196031B2 (en) * 2012-01-17 2015-11-24 SCREEN Holdings Co., Ltd. Appearance inspection apparatus and method
JP2017111092A (ja) * 2015-12-18 2017-06-22 株式会社フジクラ 光学素子および光学装置、光学素子および光学装置の検査装置、並びに光学素子および光学装置の検査方法
WO2017130550A1 (ja) * 2016-01-29 2017-08-03 富士フイルム株式会社 欠陥検査装置、方法およびプログラム
CN107290345B (zh) * 2017-05-16 2021-02-12 武汉精测电子集团股份有限公司 一种基于aoi的显示面板缺陷分类方法及装置
JP7051244B2 (ja) * 2019-04-19 2022-04-11 Ckd株式会社 メンテナンス支援システム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1392999A (zh) * 2000-09-18 2003-01-22 奥林巴斯光学工业株式会社 图像数据文件管理***及方法
US6721391B2 (en) * 2001-04-03 2004-04-13 L-3 Communications Security And Detection Systems Remote baggage screening system, software and method
CN1863440A (zh) * 2004-03-15 2006-11-15 欧姆龙株式会社 零部件安装基板制造方法、该基板用检查方法和检查***
CN101113958A (zh) * 2006-07-24 2008-01-30 优志旺电机株式会社 图形检查装置
CN101180536A (zh) * 2005-05-18 2008-05-14 株式会社名南制作所 木材的节子探查方法及装置和程序

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5506676A (en) 1994-10-25 1996-04-09 Pixel Systems, Inc. Defect detection using fourier optics and a spatial separator for simultaneous optical computing of separated fourier transform components
JPH11258178A (ja) * 1998-03-13 1999-09-24 Omron Corp 検査装置および方法
JP2000028547A (ja) * 1998-07-09 2000-01-28 Nkk Corp 鋼板の表面欠陥検査装置
JP2000197035A (ja) * 1998-12-28 2000-07-14 Dainippon Printing Co Ltd 画像検査方法及び装置
JP2000356512A (ja) * 1999-06-14 2000-12-26 Hitachi Ltd 外観検査システムおよび外観検査方法
AU1553601A (en) * 1999-11-29 2001-06-12 Olympus Optical Co., Ltd. Defect inspecting system
US6898305B2 (en) * 2001-02-22 2005-05-24 Hitachi, Ltd. Circuit pattern inspection method and apparatus
JP3904419B2 (ja) * 2001-09-13 2007-04-11 株式会社日立製作所 検査装置および検査システム
JP2004226328A (ja) * 2003-01-24 2004-08-12 Hitachi Ltd 外観検査システムおよびそれらを用いた品質評価システムおよび品質評価情報提供システム
US7508973B2 (en) * 2003-03-28 2009-03-24 Hitachi High-Technologies Corporation Method of inspecting defects
JP2005158780A (ja) * 2003-11-20 2005-06-16 Hitachi Ltd パターン欠陥検査方法及びその装置
JP3966336B2 (ja) * 2004-03-15 2007-08-29 オムロン株式会社 部品実装基板用の検査方法および検査システム、部品実装基板の製造方法
JP4518835B2 (ja) * 2004-05-13 2010-08-04 大日本スクリーン製造株式会社 欠陥検出装置、配線領域抽出装置、欠陥検出方法および配線領域抽出方法
JP2005351631A (ja) * 2004-06-08 2005-12-22 Dainippon Screen Mfg Co Ltd 欠陥検出装置および欠陥検出方法
JP2006171816A (ja) * 2004-12-10 2006-06-29 Sony Corp 画像処理装置
JP4199759B2 (ja) 2005-09-26 2008-12-17 アドバンスド・マスク・インスペクション・テクノロジー株式会社 インデックス情報作成装置、試料検査装置、レビュー装置、インデックス情報作成方法及びプログラム
JP2008065555A (ja) * 2006-09-06 2008-03-21 Hitachi High-Technologies Corp 画像処理装置の機能診断方法及び機能診断システム
JP5480149B2 (ja) 2008-09-18 2014-04-23 インターナショナル・ビジネス・マシーンズ・コーポレーション 検査対象物の欠陥の発見を支援するシステム及び方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1392999A (zh) * 2000-09-18 2003-01-22 奥林巴斯光学工业株式会社 图像数据文件管理***及方法
US6721391B2 (en) * 2001-04-03 2004-04-13 L-3 Communications Security And Detection Systems Remote baggage screening system, software and method
CN1863440A (zh) * 2004-03-15 2006-11-15 欧姆龙株式会社 零部件安装基板制造方法、该基板用检查方法和检查***
CN101180536A (zh) * 2005-05-18 2008-05-14 株式会社名南制作所 木材的节子探查方法及装置和程序
CN101113958A (zh) * 2006-07-24 2008-01-30 优志旺电机株式会社 图形检查装置

Non-Patent Citations (9)

* Cited by examiner, † Cited by third party
Title
JP特开2000-197035A 2000.07.14
JP特开2000-28547A 2000.01.28
JP特开2000-356512A 2000.12.26
JP特开2004-226328A 2004.08.12
JP特开2006-171816A 2006.06.29
JP特开2008-65555A 2008.03.21
JP特开平11-258178A 1999.09.24
嵌入式桥梁拉索表面损伤检测技术;郭永彩等;《数据采集与处理》;20061231;第21卷;143-146 *
郭永彩等.嵌入式桥梁拉索表面损伤检测技术.《数据采集与处理》.2006,第21卷143-146.

Also Published As

Publication number Publication date
TW201024715A (en) 2010-07-01
WO2010032562A1 (ja) 2010-03-25
KR20110067020A (ko) 2011-06-20
JP5480149B2 (ja) 2014-04-23
EP2312301A4 (en) 2015-10-28
EP2312301A1 (en) 2011-04-20
US20110123094A1 (en) 2011-05-26
JPWO2010032562A1 (ja) 2012-02-09
US8630476B2 (en) 2014-01-14
CN102144155A (zh) 2011-08-03

Similar Documents

Publication Publication Date Title
CN102144155B (zh) 支援发现检查对象物的缺陷的***及方法
CN111507958B (zh) 目标检测方法、检测模型的训练方法及电子设备
US8175373B2 (en) Use of design information and defect image information in defect classification
US8255172B2 (en) Wafer defect detection system and method
CN106534344B (zh) 一种云平台视频处理***及其应用方法
CN113095438B (zh) 晶圆缺陷分类方法及其装置、***、电子设备和存储介质
CN112329881B (zh) 车牌识别模型训练方法、车牌识别方法及装置
CN110261392B (zh) 质量检测方法、装置、电子设备和***
CN109547748B (zh) 对象落脚点确定方法、装置及存储介质
JP2004134758A (ja) 検査システムセットアップ技術
US8229251B2 (en) Pre-processing optimization of an image processing system
CN113891070A (zh) 一种网络摄像机延迟时间的测量方法和装置
JP5111055B2 (ja) 画像処理装置及び画像処理方法、コンピュータプログラム
CN111178445A (zh) 图像处理方法及装置
WO2024148993A1 (zh) 管道缺陷检测方法、装置、电子设备及存储介质
CN115700758A (zh) 一种***活性的检测方法、装置、设备及存储介质
CN115237703A (zh) 一种基板管理控制芯片调试方法、装置、设备及可读介质
CN114546957A (zh) 一种数据智能集中处理服务平台
CN213659503U (zh) 图像数据处理***、存储策略设备
CN115542100B (zh) 绝缘子故障检测方法、装置、设备及介质
CN115753778B (zh) 一种茶叶灰分测定方法和***
JP2013032995A (ja) 検査プログラム、同プログラムを格納した記録媒体及び検査装置
CN117112816A (zh) 安检图像的排序方法、装置、设备及存储介质
JP5175825B2 (ja) 画像データ配信方法及び検査装置
CN117636310A (zh) 灰尘检测方法、模型训练方法、装置及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant