CN1468371A - Pcb检测中错误报警的减少 - Google Patents
Pcb检测中错误报警的减少 Download PDFInfo
- Publication number
- CN1468371A CN1468371A CNA008198810A CN00819881A CN1468371A CN 1468371 A CN1468371 A CN 1468371A CN A008198810 A CNA008198810 A CN A008198810A CN 00819881 A CN00819881 A CN 00819881A CN 1468371 A CN1468371 A CN 1468371A
- Authority
- CN
- China
- Prior art keywords
- image
- circuit
- point
- conductor
- candidate defect
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
- G01N21/956—Inspecting patterns on the surface of objects
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
- G01N21/956—Inspecting patterns on the surface of objects
- G01N21/95607—Inspecting patterns on the surface of objects using a comparative method
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
- G01R31/00—Arrangements for testing electric properties; Arrangements for locating electric faults; Arrangements for electrical testing characterised by what is being tested not provided for elsewhere
- G01R31/28—Testing of electronic circuits, e.g. by signal tracer
- G01R31/302—Contactless testing
- G01R31/308—Contactless testing using non-ionising electromagnetic radiation, e.g. optical radiation
- G01R31/309—Contactless testing using non-ionising electromagnetic radiation, e.g. optical radiation of printed or hybrid circuits or circuit substrates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30141—Printed circuit board [PCB]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Analytical Chemistry (AREA)
- Pathology (AREA)
- Chemical & Material Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Immunology (AREA)
- Quality & Reliability (AREA)
- Electromagnetism (AREA)
- Toxicology (AREA)
- General Engineering & Computer Science (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
Abstract
一种对电路(12)进行自动光学检测的方法,包括:获得电路(12)的至少一个光学图像;根据该至少一个图像产生至少一个第一检测图像,并从其中确定候选缺陷(236)的区域;对围绕候选缺陷(236)的区域产生至少一个附加的检测图像,所述至少一个附加的检测图像至少部分地包含所述至少一个第一检测图像中所不包括的光学信息;并通过检测所述至少一个附加的检测图像,确定是否候选缺陷(236)是一个似是而非的缺陷。
Description
发明领域
本发明涉及几何布图的物体(例如印刷电路板上的电路)的自动光学检测方法,所述几何布图的物体,更具体地说,本发明涉及在其检测过程中减少错误报警的方法。
发明背景
基于机器视觉的自动检测***广泛用于分析物体上的几何构图。这种***的典型应用包含对印刷电路板(“PCB”)上的电路、平板显示器、球栅阵列衬底、半导体芯片、标度线、组装在PCB上的电子元件等的检测。
PCB具有金属化的导体部分和未金属化的衬底部分,PCB的光学检测通过下列方式进行:(i)照射PCB的一部分表面,(ii)获得所照射的表面部分的图像;(iii)分析表面上的亮度,以便界定图像中的导体。通过相对于参考图像和相对于一组标准或准则分析图像,确定PCB中的缺陷,以便确定对参考图像的偏离和导体是否满足一定的准则。
在现有技术的公开中,如美国专利No.4,758,888、5,586,058、5,619,429、5,774,572和5,774,573描述了这种方法,引入这些公开文献作为参考。
在以色列的亚夫内的奥博泰克公司销售各种自动光学检测***,在其中使用的一种常规PCB检测方法中,用多色光源照射PCB,在光学分辨率下得到PCB的灰度级图像(gray level image)。在灰度级图像中,根据亮度,像素被分到三个类别之一中:衬底、导体和中间亮度区,中间亮度区一般包括衬底和导体之间的边缘。确定导体和衬底之间边缘的精确位置到子像素精确度,抛弃位于衬底或导体区中的边缘。使用剩余的边缘来产生PCB的二进制表示方式,其具有大于光学分辨率的分辨率。分析二进制图像以便确定电路中导体形态中的缺陷。
美国专利5,586,058和5,619,429描述且显示了用于检测布图的物体(例如半导体晶片)和标度线的检测***,包含基于硬件的精细缺陷检测管线(用于检测物体的二进制图像)和基本上平行于精细缺陷检测管线操作的基于硬件的超精细缺陷检测管线(用于检测物体的灰度级图像)。该***另外包含基于软件的后处理器,可用来接收被测物***置的实时记录表示内容以及二进制或灰度级参考信息。这些表示内容来自精细和超精细检测管线采用的图像相同的图像,分析这些表示内容以便过滤错误的警报并且对这些缺陷归类。
在PCB的自动光学检测中遇到的一个典型问题发生在PCB上的导体部分氧化时。氧化经常仅仅是表面上的瑕疵,不影响PCB的功能,同样将不会导致将氧化区判定为缺陷。然而,氧化的导体一般具有与未氧化金属的亮度值不同的亮度值。一般在PCB的红色图像中氧化的亮度值介于未氧化金属和衬底的各个值之间,因此常规的灰度级处理不能有效地辨别和处理氧化。结果,即使想要将氧化部分归类为金属化部分,但氧化部分往往可能会从似是而非上被误归为衬底。
结果,在常规的图像检测方法中,氧化附近的导体部分会不满足预定的准则,这样导致缺陷的似是而非误检测。例如,氧化附近的金属化部分会被从似是而非上误归类为具有不希望的针孔或者不能得到最小的线宽。临近于金属化部分和衬底之间的更宽的区域,这个问题尤其普遍,这些区域一般具有介于导体和衬底之间的亮度值。
在名称为“利用颜色的印刷电路板检测”的PCT公开申请WO00/11454中,使用彩色图像处理来识别PCB导体上的氧化,这里引入其公开的内容作为参考。通过与未氧化金属和衬底都不同的特有颜色来识别氧化。一般应用颜色处理作为灰度级处理管线的一部分,它是对二进制图像处理的补足。具有作为氧化物特性的颜色的像素被同样地归类,然后就如它们是未氧化金属那样被处理。
发明概述
本发明寻求提供改进的装置和方法,用于减少在印刷电路板的光学检测过程出现的错误报警。
本发明的一些实施例的总的方面涉及一种图像处理的方法,其中在包含二进制图像处理的第一图像处理操作中识别候选缺陷。在第二处理操作中处理围绕候选缺陷的附近区域的瞬态图像(snapshotimage),以归类候选缺陷并且区分实际缺陷和似是而非缺陷。瞬态图可以是围绕候选缺陷附近区域像素的多色或彩色图像,二进制图像和瞬态图像都来源于相同的图像输入。
本发明的一些实施例的总的方面涉及用于一种用于确定电路中缺陷的图像处理方法,包括:第一图像处理操作,其中分析缩减的数据图像例如电路的二进制或者灰色单色图像,以便确定真实缺陷和候选缺陷,在第二图像处理阶段,围绕候选缺陷的区域的鲁棒性(robust)图像包含未被包括在缩减的数据图像中的光学信息,处理该鲁棒性图像以便确定实际缺陷和似是而非缺陷。
本发明的一些实施例的总的方面涉及用于证实电路中缺陷的方法,其中获得并分析电路的图像。准备图像中特征的表示(representation),然后根据准则对其修改。处理修改的表示以便确定电路中缺陷的存在。例如,准备表示金属和衬底之间边缘的轮廓的表示,然后对其进行修改。如果在修改的边缘附近发现氧化,那么可以分析该被修改的表示,以便确定缺陷的存在。
本发明的一些实施例的总的方面涉及用于证实布图物体(例如电路)中的缺陷的方法。获得并检查电路图像。处理图像中的像素,以便界定表示衬底和导体之间边缘的近似位置的轮廓。处理沿着这些轮廓的点,以便确定它们是否被氧化。在其中确定沿着轮廓的一些点被氧化的导体中,修改被氧化的轮廓点附近的轮廓。处理修改的轮廓表示,以便确定实际或似是而非缺陷是否存在于氧化的附近。
可以选择的是,根据本发明的一些实施例的总的方面,对于轮廓表示中的角之间延伸的所有区,修改电路的轮廓表示中的轮廓,其中的轮廓表示金属导体和衬底之间边缘的近似位置。检查围绕被修改轮廓的区域,以便确定氧化。如果存在氧化,那么分析被修改的轮廓表示,以便确定缺陷。
在本发明的实施例中,获得包括衬底和金属化导体的PCB的图像(“源图像”),从中产生二进制图像。分析二进制图像以确定候选缺陷的存在。当确定PCB上的金属化导体上具有候选缺陷时,在PCB的源图像中界定围绕候选缺陷的附近区域,以下称之为“测试的附近区域”。选择测试的附近区域,使其足够大,使得它包含充足的导体部分,其中定位候选缺陷,以便能够限定候选缺陷附近导体的形状。例如,如果候选缺陷是线宽违规,例如在特定位置导体不够宽,那么选择测试的附近区域的尺寸使其足够大,使得它包含轮廓的图像,该轮廓表示至少两个在候选缺陷附近导体的几何形状上相对的边缘。如果缺陷是焊盘违规,即PCB焊盘太小,或者其它不适当地成型,那么选择测试的附近区域的尺寸使其足够大,使得它包含基本上表示被怀疑是缺陷的整个焊盘的轮廓。
在本发明的实施例中,处理该测试的附近区域中的像素,以便限定表示衬底和导体之间被评估的边缘位置的轮廓线。优选的是,轮廓线的位置接近于子像素精度,大致如在美国专利5,774,572和5,774,573中描述的。
根据本发明的一些实施例的一方面,延伸到测试的附近区域图像之边界的导体图像被从图像边界被截短一个短的距离。结果,限定在测试的附近区域中的衬底和金属化导体之间边缘的轮廓形成为单封闭轮廓线,使得测试的附近区域中的导体就像导电材料的“岛”,具有由封闭的轮廓线界定的形状。优选的是,PCB的源图像是彩色图像,使用沿着轮廓线的像素的彩色值,以确定轮廓线上的点是否邻近导体的氧化区。
根据本发明的一些实施例的一方面,根据在预定光谱内的反射光强度的梯度的函数,轮廓线上的点被识别为氧化轮廓点。例如,在PCB上的电路中,一般对于所有的通道来说,氧化的特征在于对红色相对于绿色和蓝色具有弱梯度和高强度值。这样,根据本发明的实施例,根据红、绿和蓝光的强度的空间导数,确定导体的氧化部分和导体衬底的未氧化部分之间的边界。
根据本发明的一些实施例的一方面,如果一个点位于被确定为氧化导体的区域中或位于该区域附近,那么确定该点是氧化边界点。优选的是,利用上面参考申请WO 00/11454描述的方法,确定PCB的区域是氧化导体。
根据本发明实施例的一方面,提供一种用于处理电路图像的多管线图像处理器。在第一管线中,处理电路的二进制图像以便确定缺陷。在第二管线中,处理灰度级单色图像以便确定缺陷的存在。将缺陷至少归类为实际缺陷和候选缺陷之一。在软件图像处理管线中进一步处理围绕候选缺陷的区域的增强光学数据图像。优选的是,候选缺陷是在二进制映射图像处理操作中检测到的一定类型的缺陷,根据对包含二进制或者灰度级单色图像中未出现的光学数据的鲁棒光学数据图像进行的分析,可以将上述缺陷归类为实际或似是而非的缺陷。
这样,根据本发明的实施例,提供一种对电路进行自动光学检测的方法,包括:
获得电路的至少一个光学图像;
根据该至少一个图像产生至少一个第一检测图像,从中确定候选缺陷的区域;
对围绕候选缺陷的区域产生至少一个附加的检测图像,所述至少一个附加的检测图像至少部分地包含所述至少一个第一检测图像中未包括的光学信息;
通过检测所述至少一个附加的检测图像,确定候选缺陷是否是似是而非的缺陷。
在本发明的实施例中,获得步骤包含获得电路的多色图像。多色图像可以包括红、绿和蓝组分。附加的检测图像还可包括在多色图像中获得的红、绿和蓝组分的每一个。
在本发明的实施例中,所述至少一个第一检测图像包含电路的二进制表示。可选的是,该二进制表示仅根据所获得图像的红色组分而产生。
在本发明的实施例中,所述至少一个第一检测图像包含电路的单色灰度级表示。单色灰度级表示仅根据所获得图像的红色组分而产生。
在本发明的实施例中,第一检测图像和附加的检测图像根据相同的光学图像而导出。
可以自动确定候选缺陷和/或实际缺陷。
根据本发明的优选实施例,进一步提供一种检测电路的方法,包括:
提供电路的二进制表示;
至少部分地通过分析该第一二进制表示,确定电路中候选缺陷的存在;
提供围绕候选缺陷的区域的非二进制图像;和
根据对所述非二进制图像的分析,确定电路中实际缺陷的存在。
可选的是,该二进制表示比该非二进制图像覆盖该电路的更大范围。
在本发明的实施例中,确定实际缺陷包括:
在围绕根据二进制图像所确定的候选缺陷的区域中提供非二进制图像;
处理非二进制图像以便证实实际缺陷的存在。
该方法可以包含:提供电路的灰度级单色表示,至少部分地通过分析二进制表示和灰度级单色表示确定电路中的候选缺陷。该方法可以包含:根据对二进制表示和灰度级单色表示的分析识别实际缺陷。
在本发明的实施例中,利用所述二进制图像确定的缺陷包含实际缺陷,其中所述实际缺陷包含下列各项中的一个或多个:遗漏电路中的部件、错误放置电路中的部件、电路中的外来部件、小孔和刮痕。
准备的二进制图像可以达到比产生它的光学图像的光学分辨率更精细的分辨率。
在本发明的实施例中,候选缺陷包括电路中金属导体中的可疑形状异常。在本发明的实施例中,在电路的光学图像中,电路中的金属化部分具有第一光学特性,非金属化部分具有第二光学特性,可疑形状异常的区域具有与金属化部分和非金属化部分的光学特性不同的第三光学特性。可选的是,光学特性包括反射的强度和/或色彩。
可以选择的是,提供二进制图像包括:从电路的多通道多色图像的单一通道提供二进制图像。该非二进制图像可以是电路的多色图像。
根据本发明的实施例,进一步提供一种确定电路中缺陷的方法,包括:
获得电路的光学图像;
根据该图像产生电路的表示;
分析候选区附近之区域处的该表示的至少一部分,以便检测电路的属性;
根据检测的电路属性修改该表示;
处理修改的图像以便确定实际缺陷的存在。
在本发明的实施例中,该表示是电路中轮廓的表示。在例举的实施例中,轮廓表示电路中金属化部分和衬底部分之间的假定边缘。
在本发明的实施例中,修改包含评估该表示中的区域,以便确定它是否是金属,如果检测到金属,修改轮廓。在本发明的实施例中,金属是氧化的或未氧化的金属。金属可以是铜。
在本发明的实施例中,评估包含分析该区域的单色图像。可以选择或附加的是,在本发明的实施例中,评估包含分析该区域的多色图像。
在本发明的实施例中,修改包含对轮廓的一部分计算有向凸包,并且用有向凸包代替该部分。可以选择或附加的是,在本发明的实施例中,修改包含定位表示位于候选缺陷附近的轮廓中的角的点。有向凸包可以在角轮廓点之间延伸。
在本发明的实施例中,修改包含检测位于氧化导体上的轮廓点。修改还可以包含识别至少三个邻近氧化轮廓点。修改还可以包含从所述至少三个邻近的氧化轮廓点中识别至少两个氧化轮廓点,每个都由未氧化的轮廓点界定。可以选择或附加的是,修改包含从所述至少三个邻近的氧化轮廓点中识别也是角的至少一个氧化轮廓点。修改还可以包含从所述至少三个邻近的氧化轮廓点中识别由未氧化的轮廓点界定的附加轮廓点。
在本发明的实施例中,修改包含计算在下列任何对之间的有向凸包:由未氧化轮廓点的组合界定的氧化轮廓点和作为角的氧化轮廓点。
在本发明的实施例中,属性包括氧化物的光学属性特性。
在本发明的实施例中,属性是包括在至少两个光谱范围中的反射强度水平的光学属性。属性也可以是包括在至少三个光谱范围中的反射强度水平的光学属性。光谱范围可以包括红色、绿色和蓝色中的至少两种颜色。
在本发明的实施例中,根据在候选缺陷附近的金属和/或氧化物的检测进行处理。可以在沿着金属导体和衬底之间的假定边界定位的轮廓点上进行氧化物的检测。可以选择或附加的是,在由电路中位于候选缺陷附近的区域的像素得到的值上进行氧化物的检测。
在本发明的实施例中,修改包含修改假定轮廓,以便包含有向凸包。修改还可以包含测量假定轮廓之间的距离,其中至少部分假定轮廓包含有向凸包。
根据本发明的实施例,进一步提供一种对电路进行自动光学检测的装置,包括:
至少一个光学传感器,用来获得电路的图像;
第一图像处理器,用来根据该图像产生电路的第一表示,并且分析所述第一表示以便从中确定电路中可疑缺陷。
瞬态图产生器,用来接收来自所述至少一个传感器的图像和来自第一图像处理器的可疑缺陷的报告,产生围绕可疑缺陷区域的相邻图像;和
图像后处理器,用来分析相邻图像和从中确定实际缺陷的存在。
在本发明的实施例中,第一图像处理器产生第一表示,它是电路的二进制表示。光学传感器可以具有光学分辨率,电路的二进制表示所产生的分辨率比上述光学分辨率更精细。可选的是,当可疑缺陷是候选缺陷和实际缺陷时,图像后处理器用来分析候选缺陷的相邻图像。可选的是,该装置包括灰度级图像处理器,至少一些由灰度级图像处理器检测到的异常是实际缺陷,并且至少一些由二进制图像处理器检测到的异常是候选缺陷。
相邻图像可以是多色图像,也可以是彩色图像。
根据本发明的实施例,进一步提供一种用于产生电路之表示的方法,包括:
获得包括多个导体和衬底的电路之图像,所述导体至少在其第一部分具有第一可区分的光学属性,且在其第二部分具有第二可区分的光学属性,衬底具有第三可区分的光学属性,其中至少导体的一些第二部分位于第一部分和衬底之间;及
计算机处理该图像以便产生电路的表示,所述表示包括沿着由所述第二部分形成的所述导体的边缘部分的导体和衬底的边缘的近似位置。
该方法还可以包括:
产生所述边缘的第一近似位置,对该图像做有关存在所述第一部分和第二部分的分析,和
根据对在所述第一部分和所述衬底之间所述第二部分的存在的分析,修改所述边缘的近似位置。
可以选择的是,图像是单色的,分析包含:对所述单色图像做有关反射强度的差别的分析。
可以选择的是,图像是多色的,分析包含:对所述多色图像做有关颜色的差别的分析。
可以选择的是,产生包括产生第一部分的部分和衬底之间边缘的近似位置。
可以选择的是,修改包括:
计算在边缘的所述近似的各个部分之间延伸的有向凸包,
用有向凸包代替第一部分和衬底之间边界的评估部分。
可以选择的是,有向凸包在至少部分与被识别为第二部分的区域相邻的边界的表示部分之间延伸。
可以选择的是,该方法包含识别沿着第一部分和衬底之间边界的近似位置的至少一个点(其是角)。有向凸包可以在一对角之间延伸。
可以选择的是,有向凸包在角和沿着位于所述第一部分和所述第二部分之间的边界的表示的点之间延伸。
可以选择的是,第一部分是未氧化的金属,第二部分是氧化的金属。
可以选择的是,该方法包含根据一准则或者一系列的准则检测缺陷的被修改表示。准则可以是导体和衬底之间的至少两个近似边界之间距离的大小。
根据本发明的实施例,进一步提供一种用于检测电路的方法,包括:
获得电路表面的图像;
近似电路中导体的未氧化部分的边缘的位置;
近似电路中导体的氧化部分和衬底之间边缘的位置;和
根据所述未氧化部分的所述边缘和所述氧化部分的所述边缘的近似位置,近似导体边缘的位置;和
相对于其所述近似边缘测量导体的宽度。可以选择的是,近似氧化部分和衬底之间边缘的位置包括产生沿着轮廓在一对点之间延伸的线段,所述轮廓限定了所述未氧化部分的边缘的所述近似位置。
可以选择的是,该方法包含检测沿着轮廓的至少两个角的位置。可以选择的是,该方法还包含:
在包含沿着轮廓定位的附加点的角之间延伸有向凸包。
确定与有向凸包相邻的材料是否具有可归因于导体的光学特性;和
如果与有向凸包相邻的图像部分具有可归因于导体的光学特性,那么修改所述未氧化部分的边缘的近似位置,以便包含所述有向凸包,如果与有向凸包相邻的图像部分具有不可归因于导体的光学特性,那么不用所述有向凸包代替所述未氧化部分的边缘的近似位置。
在本发明的实施例中,可归因于导体的光学特性是与导体的氧化相关的光学特性。
附图的简要说明
在下面参考附图对本发明非限定性实施例的描述中,介绍了本发明的例举的实施例。主要是为了表达的方便和清楚选择了图中所示的部件和零件的尺寸,不是必须按比例尺给出的。
图1是根据本发明例举的实施例构成和实施的自动光学检测装置的简化图示,该装置用于检测印刷电路板;
图2是对应于图1所示印刷电路板的印刷电路板上的一部分电路的放大二进制表示;
图3是对应于围绕图2中第一候选缺陷的像素附近的瞬态图像的一部分;
图4是说明在图1所示装置的环境中实施的优选方法的主要步骤的流程示意图,用于识别和处理PCB中的缺陷;
图5A和5B是说明在优选的后处理操作中主要步骤的流程示意图,可用于印刷电路板上电路的检测;
图6是说明例举的方法中主要步骤的流程示意图,用于在子像素精度内计算图像中的轮廓;
图7是图3的图像的卷积像素值映射图,示出了通过应用边缘确定影响函数计算的卷积像素值;
图8是图7的卷积像素值映射图,其中修改卷积像素值以便高度确定地表示金属导体和衬底区域以及其它的过渡区域;
图9是假定轮廓图,示出了图3中图像所示的金属导体和衬底之间边缘的近似位置;
图10A是根据本发明例举的第一方法的图9所示的假定轮廓图和为围绕候选缺陷的氧化轮廓计算的凸包;
图10B是根据本发明例举的另一方法的图9所示的假定轮廓图和为围绕候选缺陷的氧化轮廓计算的凸包;
图11是对应于围绕图2所示的第二候选线宽缺陷的像素附近的瞬态图像的一部分;
图12A是假定轮廓图,表示图11中图像所示的金属导体和衬底之间的假定边界;
图12B是根据本发明例举的实施例的假定轮廓图,表示图11中图像所示的金属导体和衬底之间的假定边界和有向凸包;
图13示出了根据本发明例举的方法的假定轮廓图,其示出对可疑角缺陷的金属导体和衬底之间的假定边界和有向凸包;
图14示出了在由凸包限定的区域中,具有候选缺陷的电路中导体的一部分。
例举的实施例的详细描述
参考图1,图1是根据本发明例举的实施例构造和实施的自动光学检测装置的简化图示。可操作检测装置10进行如在PCB12上发现的电路的自动光学检测,该电路具有设置在非金属衬底16上的多个金属导体14。尽管总的来说在印刷电路板的光学检测的范围中描述了本发明,但应容易理解的是,这里描述的方法和装置通常也可以应用于其它布图表面的检测,尤其是对标度线(reticules)和电路的检测,例如包含芯片载体、球栅阵列衬底、胶带粘结衬底、多芯片组件和混合电路衬底的电路。应认为这里述及的PCB也指其它适当形式的布图表面和电路。
在本发明的优选实施例中,测试装置10包含照明器18,最好如PCT公开WO99/66314描述的那样构成,这里引入其公开内容作为参考,在光检测过程中可操作照明器18来照射PCB12。设置摄像机阵列20,最好是从Eastman Kodak公司买到的三线RGB8000×3元CCD传感器,以便观察PCB上由照明器18照射的区。当PCB12传送到照明器18下面时,每个摄像机20都扫描PCB12,最好产生PCB12的24位多色图像,该图像由每个都独立而在空间上基本上相互一致的红色图像输出22、绿色图像输出24和蓝色图像输出26构成。红色图像输出22、绿色图像输出24和蓝色图像输出26之每一个最好在其各自的光谱内对应于检测的PCB的灰度级单色图像。
将灰度级单色图像之一、优选由红色输出22提供给二进制转换器单元(binarizor unit)28,最好可操作二进制单元28以便基于为单色图像中的像素记录的强度值产生PCB12上电路的二进制图像。较好的是,在PCB检测中,使用红色图像输出22,因为当检测淀积在典型的PCB衬底上的铜时,与绿色图像输出24和蓝色图像输出26相比,它表现出增强的亮度梯度。应容易理解的是,与由所有的三个红、绿和蓝图像输出共同产生的图像相比,红色图像输出22包含更少的关于PCB12的光学数据。在产生的二进制图像中,确定为衬底的区域标为0值,确定为导体的图像标为1值,或者反过来亦然。根据美国专利5,774,572和5,774,573所描述和示出的方法,优选的是,二进制转换器单元28用于产生达到子光学像素分辨率的二进制图像,这里引入它们的公开内容作为参考。图2示出了PCB12的对应于图1中的区域32的电路部分的放大二进制图像。
将由二进制转换器28产生的PCB12的二进制图像提供给候选缺陷检测器34,候选缺陷检测器34用于处理二进制图像并且从中辨别各种缺陷,例如由PCB12上的电路形成的图形中的各种缺陷。候选缺陷检测器34最好至少部分采用PCT公开WO00/19372所描述和示出的方法,以便分析二进制图像,这里引入其公开内容作为参考。
候选缺陷检测器34最好还包含灰度级处理管线(未示出),例如美国专利5,586,058和5,619,429所描述的,这里引入其公开内容作为参考。采用的灰度级图像最好由红色图像输出22产生。灰度级管线通常与在候选缺陷检测器34中进行二进制图像分析并行工作,较好的是,候选缺陷检测器34将通过PCB12的二进制和灰度级分析所检测的缺陷归类到实际缺陷和候选缺陷中。
一般实际缺陷由候选缺陷检测器34检测,其中包含检测的PCB中相对于参考图形缺少部件、检测的PCB中部件相对于参考图形的不适当位置、检测的PCB中相对于参考图形的外来部件。此外,一些缺陷一般被候选缺陷检测器归类为实际缺陷。一般被归类为实际缺陷但没有示出的其它缺陷包含其中两个分开的导体接合造成的短路、其中在导体的中间发现孔的小孔或划痕。
由候选缺陷检测器34归类为候选缺陷并示于图2的典型缺陷包含断口35、第一线宽违规36、第二线宽违规38和候选缺陷焊盘违规40,在第一线宽违规36中导体14的宽度被判定在给定点不够宽,在候选缺陷焊盘违规40中导体焊盘42被判定为太小或不适当地成型。
从图2可以看到但不需要归类为实际或候选缺陷的其它的畸形包含较小的线宽违规48,其中导体14的宽度被判定为小于标称线宽,但没到有必要构成候选缺陷线宽违规(如第一线宽违规36或第二线宽违规38)的程度。
至少部分基于缩减的数据图像的分析,例如由二进制转换器28产生的二进制图像,候选缺陷检测器34产生最初的缺陷报告,指定PCB12上实际缺陷和怀疑是缺陷的候选缺陷的类型和位置。将来自候选缺陷检测器34的最初缺陷报告提供给瞬态图产生器48和最后的缺陷报告发生器50。
瞬态图产生器48除了接收来自候选缺陷检测器34的最初缺陷报告之外,还接收PCB12的完全光学数据图像。较好的是,完全光学数据图像包括分别从摄像机20接收的红色图像输出22、绿色图像输出24和蓝色图像输出26之每一个。
对于认为是候选缺陷的缺陷来说,例如图2中看到的线宽违规36或焊盘违规40,瞬态图(snapshot)发生器48产生并输出围绕每个这种候选缺陷的附近的瞬态图52。瞬态图52最好包括记录在摄像机20的像素上对于红、绿和蓝光谱的反射光强度值,如分别从红色图像输出22、绿色图像输出24和蓝色图像输出26之每一个所接收的。在例举的实施例中,瞬态图52包含在50×50和150×150像素之间的像素值阵列,一般在大约90×90和100×100像素之间。根据候选缺陷的尺寸或类型,可以固定或动态确定瞬态图52的尺寸,最好产生尽可能小且同时包含必要的处理信息的瞬态图52。
现在参考图3,其中示出了瞬态图52的一部分152。瞬态图152对应于紧绕图2所示的候选主线宽违规36的像素附近。如所看到的,瞬态图152中的每个像素154包含三个数值,“R”值代表对红色的反射强度,“G”值代表对绿色的反射强度,“B”值代表对蓝色的反射强度。看到的对每个像素154的“R”、“G”和“B”值在30和225之间的范围内,并且对应于在PCB12上的给定取样点由摄像机20中的像素记录的光强度值,这些值分别输出到每个红色图像输出22、绿色图像输出24和蓝色图像输出26。为了说明本发明的原理,示出了叠加在部分PCB12的灰度级表示上的像素值,其中看到了导体部分214、相邻的衬底部分215和候选缺陷236,对应于图2所示的候选线宽违规36。
回到图1,将瞬态图52提供给图像后处理器54,一个基于优选软件的图像处理包用于接收和分析瞬态图52,并向最后的缺陷报告发生器50输出根据对瞬态图52的分析而发现的实际缺陷的类型和位置的报告。下面参考图4-6更详细地讨论用于处理瞬态图像46的优选方法的细节。
最后缺陷报告发生器50接收来自候选缺陷检测器34和后处理器54的缺陷报告,组合该报告来产生在PCB12上检测的每个实际缺陷的组合报告。应理解的是,可以有选择地构成报告发生器50以便发布似是而非的候选缺陷(例如氧化)的附加报告。
从本发明的***的上述描述,应理解二进制转换器(binarizor)28和候选缺陷检测器34通常形成一个快速、最好是硬件的管线,该管线最好准备和分析缩减数据的光学图像,以便快速识别在PCB12上电路图形中、PCB12上包含实际缺陷的区和包含候选缺陷的区。这样瞬态图产生器48接收候选缺陷区的报告,且一般继续准备围绕每个候选缺陷附近的鲁棒完全数据图像,最好是全彩色图像,例如用于另外的图像处理操作或用于操作者浏览。在例举的实施例中,每个瞬态图52是从相同的原始图像输入而产生,从该原始图像输入得到由候选检测器48分析的缩减的数据图像。
通常,后处理器54一般被实现在软件中,尽管软件一般慢于专用的硬件,在应用不同的检测算法中具有更高的灵活性。例如,软件处理器可用于动态限定PCB12上怀疑包含候选缺陷的区域。软件可进一步用于将一个或多个检测算法应用到动态限定的区域中,如由候选缺陷类型触发,从大量可用的算法中选择这些算法作为最佳可用算法,以确定是否特定的候选缺陷是似是而非的或实际的缺陷。
此外,与候选缺陷检测器34采用的快速硬件处理相比,通过分析数据鲁棒图像,基于软件的处理器一般在识别实际缺陷中可以实现高得多的精确度。这样,鉴于其与候选缺陷检测器34相比较慢,为了使后处理器54的优异的图像处理效率最大,一般基于软件的图像后处理仅限于那些被识别为围绕候选缺陷的区。根据由候选缺陷检测器34发现的候选缺陷,可以动态地界定这些区。此外,为了有效地利用后处理资源,可以构成后处理器54,使得不检测围绕被候选缺陷检测器34归类为实际缺陷的区域。
现在参考图4,图4是说明例举的方法中的主要步骤流程示意图,该方法可在图1所示装置的环境中操作,用于识别和处理PCB中的缺陷。该优选方法包含下列内容:
方框250:最好利用参考图1所描述装置获得适于被检测的PCB12或其它布图物体的多通道输入图像。获得的该图像最好是PCB12的24位或48位彩色多色图像,且由分离的但通常在空间上一致的红色图像输出22、绿色图像输出24和蓝色图像输出26形成。每个相应的红色、绿色和蓝色图像最好是在各自的光谱范围中的单色灰度级图像,并且它们一起形成源自PCB12的光学数据的全彩色图像。
方框260:产生PCB12的缩减的光学数据图像或表示,使得能够进行快速图像处理。在262,从多色图像分离在250获得的多色图像的单色红色灰度级图像部分。在264,例如在图1的二进制转换器28中处理红色图像部分,以便产生PCB12上电路的表示。最好利用上述美国专利5,774,572和5,774,573所示出和描述的方法,通过二进制转换器28产生二进制表示,以便产生具有比摄像机20(图1)的光学分辨率更高的分辨率的二进制表示。
方框270:将在260产生的缩减的数据表示例如提供给图1的候选缺陷检测器34,在那里对其进行分析和处理,以便识别和归类PCB12中的实际缺陷、候选缺陷和似是而非缺陷。该图像理想地在本领域公知的实时处理***中进行“在线(on the fly)”处理,例如使用从以色列的亚夫内购买的InSpireTM9060自动光学检测***。方框270一般包含二进制图像处理272和灰度级图像处理274。二进制图像处理一般应用指定PCB12上图形中所需要的形状、位置和部件的定位的准则的组合以及图像分析,例如侵蚀/膨胀操作,以便从形态上分析图形。侵蚀/膨胀操作最好采用上述WO001/9372中更详细描述的方法。
应理解的是,一般确定二进制图像处理272和灰度级图像处理274的参数,以便检测多于在PCB12上实际存在的更大数量的缺陷。这样方框270通常包含缺陷分类276,在缺陷分类276中,缺陷被分为实际缺陷和其它缺陷,实际缺陷表示可以进行另外的处理以便在实际缺陷或似是而非缺陷之间作出区分的候选缺陷,其它缺陷非常可能是实际缺陷或者不能进行另外的处理。一些畸形和不规则可以作为似是而非缺陷完全被滤除。在278产生缺陷报告。该缺陷报告最好提供每个缺陷的类型的最初指示,例如线宽违规、断口、短路、外来部件、丢失部件(feature)及其各自的位置。一般将该报告提供给瞬态图产生器48和最后的缺陷报告发生器50(图1)。
方框280:瞬态图产生器最好产生围绕在270报告的每个候选缺陷的像素附近的瞬态图。它还可以用于一些操作,以便产生对各个非候选缺陷的瞬态图,例如为了校准候选缺陷检测器34或为了故障查找。
在本发明的一些实施例中,从相同的原始数据图像产生瞬态图52,由上述原始数据图像在260产生缩减的数据图像。在280产生的瞬态图像52一般包含全面包含在红色图像输出22、绿色图像输出24和蓝色图像输出26中的光学数据,在空间上限于围绕候选缺陷的附近。可以选择的是,可以由第一图像输入产生二进制图像,同时从与第一图像输入分开且包含更大量的光学信息(例如非常高的分辨率24位,全彩色图像)的第二图像输入(未示出)产生瞬态图像。
方框290:例如在图像后处理器54中处理和分析瞬态图。该瞬态图像至少包含一些关于电路的光学特性的光学数据,该光学数据附加于在260中产生的缩减的数据图像中包括的数据。在290的图像后处理中检测的实际缺陷的报告输出到最后的缺陷报告发生器50中(图1)。
方框295:由278输出的报告和方框290的输出产生存在于电路中的缺陷的完整报告。
现在参考图5A和5B,图5A和5B显示了最佳的后处理操作中主要步骤的流程图,用于检测印刷电路板上的电路,最好在方框290中采用。图5A和5B所示的后处理操作尤其适于评估导体14上被怀疑是线宽违规的候选缺陷。
在常规的检测方法中,线宽违规和其它类似的缺陷(例如焊盘违规)一般是由不充足的铜、或者误认氧化铜为遗漏铜而引起的。参考图5A和5B示出和描述的最佳后处理方法采用各种图像分析方法,以便评估是否在给定位置的候选线宽违规是由于不充足的铜、或仅由于误将氧化认作衬底而引起的,后者会引起错误报警。
应容易理解的是,下面描述的后处理方法是后处理方法的举例,可以采用这些方法来分析PCB的图像,这些图像具有比缩减的数据表示中存在的数据量更大的数据,例如在方框260中产生的和在方框270中分析的数据(图4)。还应理解的是,在本发明范围内的后处理可以采用各种方法,实施这些方法来分析相对于用来识别候选缺陷的图像具有增加的光学数据量的图像,例如包含在彩色图像中的数据,方框290可以另外采用动态算法适配器,它给候选缺陷的类型归类,然后对候选缺陷的特定类型应用适当的算法。例如,可以将第一算法应用到线宽缺陷,可将第二个不同的算法应用到候选焊盘缺陷或应用到铜斑点,例如可能出现的铜的外来隔离岛。
一种例举的后处理方法用于评估氧化的存在以及确定被氧化的导体16(图1)上实际缺陷的存在,该方法最好包含下列内容:
方框300:例如,在后处理器(例如后处理器54)中处理围绕候选缺陷的像素附近的全彩色瞬态图像,例如图1中的瞬态图52。从前面的讨论可以看到,最好从包含在每个红色图像输出22、绿色图像输出24和蓝色图像输出26中的光学像素的值的原始数据制备瞬态图。这样,瞬态图52一般包含在由候选缺陷检测器34采用的缩减的数据表示中不包含的光学数据,以便检测候选缺陷。将每个瞬态图像52限制到围绕候选缺陷的像素邻域。较好的是,该邻域足够大以便包含候选缺陷的全部区域。
方框310:首先,产生轮廓表示,理想的是对所有瞬态图像52。轮廓表示导体和衬底之间的假定边界,在包括铜导体的电路中,一般仅由红色图像输入22中的数据分析产生轮廓。下面参考图6-9更详细地描述用于产生轮廓的例举方法,其中基于包含在红色图像输出22中的信息逼近轮廓的位置。
方框320:优选的是,参考方框310中计算的轮廓的位置评估候选缺陷,例如候选缺陷236(图3)。例如,由候选缺陷检测器34提供候选缺陷的精确位置,一般用点表示。瞬态图像可以包含多个导体。优选的是,该方法评估了候选缺陷是在导体上还是在导体附近。如果候选缺陷位于外侧、或者确实或在预定的阈值内不靠近导体,那么该缺陷被认为图像异常;制作似是而非的缺陷报告322,相对于特定候选缺陷退出后处理。如果候选缺陷在导体内部或者在轮廓的外侧但在预定的距离内接近导体,那么处理仅限于紧紧围绕其中候选缺陷所在位置的导体的像素领域;后处理进行到方框330。
方框330:根据本发明的优选实施例,可以将在310产生的轮廓表示中的轮廓点归类为下列之一:(i)规则的轮廓点,(ii)图像边界轮廓点,(iii)氧化轮廓点,(iv)角轮廓点,或(v)氧化角。尽管红色图像输出22、绿色图像输出24和蓝色图像输出26中的任何一个都可以单独使用或在子组合中使用,但分类最好基于对从包含输出22、24和26的集合得到的数据进行的分析。应容易理解,红色图像输出22、绿色图像输出24和蓝色图像输出26的组合提供了关于PCB12的不存在于任何单个输出的光学信息。
方框340:根据本发明的优选实施例,评估像素邻域中的轮廓点,以便确定候选缺陷的邻域中氧化是否存在,如果候选缺陷附近的轮廓点没有被氧化,那么认为候选缺陷是实际缺陷。或者,分析候选缺陷附近的区域以便确定氧化的存在,如果没有发现氧化,那么认为该候选缺陷是实际缺陷。
对每个实际缺陷,发布实际缺陷报告342,并为每一个这种候选缺陷,后处理退出。另一方式是,缺陷还可以进行进一步的处理,例如使用另一个算法,评估它是实际的缺陷还是似是而非的缺陷。如果候选缺陷附近的轮廓点被氧化,或者如果在候选缺陷附近的区域发现氧化,那么目前的后处理继续。
方框350:评估像素邻域中氧化轮廓点的链,以便确定链中角的存在。氧化轮廓点链是沿着包含至少三个氧化点的轮廓的邻近的氧化轮廓点的任何集合。在名称为“光学检测***”的共同未决PCT专利申请PCT/IL00/00434中描述了一种用于确定沿着轮廓的角的存在的优选方法,这里引入其全文作为参考。一般,分开处理位于角的任一侧的氧化链。因此,如果角轮廓点沿着一个氧化轮廓点链定位,那么在方框325,在角轮廓点分解氧化链。对于角的任一侧的氧化轮廓点的每个集合来说,处理进行到方框352,并且分开分析每个氧化轮廓点链。
方框360(图5B):在瞬态图52中对每个氧化点链计算一个有向凸包。点的集合的凸包是连接集合中点的最小凸集的多线(polyline),该集合限定了包含所有点的区域。有向凸包是连接两端轮廓点的凸包上的一部分,为此所有的轮廓点或者沿着有向凸包定位,或者位于其导体侧上。用于计算凸包和有向凸包的方法对于计算几何图形领域的技术人员来说是众所周知的。在M.DeBerg,M.van Kreveld,M.Uvermars和V.Schwarzkopf,
计算几何学,Springer1997中,描述了一种适当的方法。较好的是,这些端点是角点,或者是邻近规则轮廓点的氧化点。
方框370:优选的是通过对围绕轮廓的选择像素的颜色分析,证实沿着轮廓的导体侧与有向凸包相邻的区域是氧化铜,或者在其它情况下适于被考虑的铜(这里共同称作氧化铜)。
可以选择的是,可以评估与有向凸包相邻的区域,以便仅依赖于红色图像输出22、绿色图像输出24或蓝色图像输出26之一的输入确定是否该区域是叠层体或铜。
参考图14,其中看到在由凸包1038限定且具有一个有向凸包部分1040的区域中具有候选缺陷1036的导体1014的一部分。导体1014设置在衬底1042的背景上。
根据本发明优选实施例、用于确定凸包1038内部的区域是叠层体还是氧化铜的决策树如下:
定义:
COP=是铜的导体1014的像素成像部分的平均强度。
LAM=是叠层体的导体1014的像素成像部分的平均强度。
使成像被测电子电路的像素的强度归一化,使得COP=1和LAM=0。这样,例如,指定COP和LAM之间的中点的强度为值0.5。
此外,定义下列值A-E:
A=沿着有向凸包1040及在其法线方向上的最大强度梯度。
B=沿着有向凸包1040及在其法线方向上的最小强度梯度。
C=凸包1038内部红色图像输出22(图1)中像素的平均强度。
比率R=B/A
S=比率+C
区域=凸包1038内部的范围。
在例举的情况中,以两个用户可定义的敏感度(低敏感度或高敏感度)之一进行分类程序,用于检测铜。这些敏感度指检测***(例如可以从以色列的奥博泰克公司买到的InspireTM9060)识别像素为与铜或衬底相关的敏感度。在低的敏感度设定值,检测***比在高敏感度设定值更难识别像素与铜相关。因此,如果***已经以其低敏感度工作,当设定在高敏感度时,可能被认为与铜相关的一些像素(例如成像氧化铜的像素)不再会被认为与铜相关。基于用户所选择的敏感度水平和对铜的氧化区的期望响应,凭经验选择是否使用低敏感度或高敏感度。
如果C<0.05,那么区域=叠层体;否则
如果C>0.25,那么区域=铜;否则
根据下列低敏感度或高敏感度决策树之任一种确定是否区域是铜或叠层体:
对于LOW敏感度:
如果S<1.2=>区域=铜 否则
如果B<25=>区域=叠层体 否则
如果B>55=>区域=铜 否则
如果R>1.2=>区域=铜 否则
区域=叠层体。
对于HIGH敏感度:
如果S<1=>区域=铜 否则
如果B<20=>区域=叠层体 否则
如果B>50=>区域=铜 否则
如果R>1=>区域=铜 否则
区域=叠层体。
该程序可以根据其它设备稍做修改。然而,该例给本领域技术人员以清楚的指导,以便使其明白如何利用不同的设备应用本发明。
如果测试的区域、例如凸包1038内部的区域不是氧化铜,那么测量导体宽度,适当时作出实际或似是而非缺陷的报告372,否则后处理继续。
方框380(图5B):如果在方框370中证实与有向凸包相邻的区域包含氧化铜,那么通过用包含在端点之间延伸的有向凸包的轮廓代替现存的轮廓,来修改在方框310中产生的轮廓表示。
方框390:分析在方框380中得到的修改的图像是否有缺陷。较好的是,再次测试围绕修改的轮廓的区域,以便证实氧化铜的存在。当证实时,计算轮廓的两个相对侧之间的距离,该距离表示铜导体的相对边缘的估计位置,然后利用该距离确定由于氧化而导致的实际缺陷或似是而非缺陷的存在。
方框400:按照决策树来处理在390分析的实际和似是而非缺陷。如果如上所述修改了的导体部分不满足决定其结构的一系列准则,那么发布实际缺陷报告402。此时,可以通过实际缺陷以用于进一步处理,例如通过另外的算法或者退出后处理,并且适当标出缺陷。如果修改的导体部分满足这些准则,那么认为缺陷是似是而非的缺陷403,随后忽略。或者,报告似是而非的缺陷。
应理解的是,如果导体部分包含多个氧化链,在为图像中每个氧化链重构轮廓之后,进行在方框390进行的图像分析。
现在参考图3和6-12,以便进一步说明上述后处理。
现在参考图3,图3示出了围绕候选缺陷236的瞬态图部分152。为了简化说明,注意,图3被限于仅示出了完全瞬态图52的一部分。候选缺陷236是由候选缺陷检测器34检测的候选线宽违规。
在候选缺陷236附近,导体214被氧化。在图3中,在从红色图像输出22接收的“R”通道中,非氧化铜区中的像素(例如像素420)记录了大约210至220的相当高的反射率值,并用暗的阴影表示。衬底区中的像素(例如像素422)记录对“R”通道的较低的反射率值,大约为35,并使其有淡淡的阴影。氧化铜区中的像素(例如像素424)和沿着铜和衬底之间边界的像素(例如像素426)都记录了在“R”通道中大约65-195的中间反射率值,用中间的阴影表示。与非氧化的导体相比,氧化铜区的像素(例如像素428)在绿色图像输出24的“G”通道中和蓝色图像输出26的“B”通道中表现出了细微的差别。除了对“R”通道中像素值的考虑,对“G”和“B”通道中像素值的细微差别进行可能的分析,有助于区分边缘区和氧化铜的区。
应理解的是,为了便于说明,选择了图3所示的强度,用于像素成像铜、像素成像衬底、铜和衬底之间的像素成像边界和像素成像氧化铜的强度可以与图3所示的不同。
瞬态图像一般提供有候选缺陷位置指示430,它表示在图4的方框270确定的候选缺陷的具***置。较好的是,分析整个瞬态图52是否有缺陷,然而,在处理时间有限的应用中,很容易理解的是,可以将瞬态图像的分析限定于具有围绕候选缺陷位置指示430的N个像素的半径的邻域中的瞬态图部分,其中一般以统计或者动态方法设定N值,作为***参数。当图像分析限于刚好围绕候选缺陷位置指示430的邻域时,选择该邻域的尺寸为足够大,以便包含所有的候选缺陷236以及导体214和衬底215的紧邻区域。
参考图6,图6是说明例举方法的主要步骤的流程示意图,例如其被用于方框310中(图5A),以便在子像素精度内计算图像部分中的轮廓。图6的优选方法的工作参考图3。
方框312:优选的是,用至少一个边缘确定影响函数(edge-determining kernel)卷积瞬态图部分152中所有像素154的“R”强度。卷积对每个像素154产生一个值(之后称为“卷积值”),其随后被用于识别图像部分152中沿着导体214和衬底215之间的假设边界的点。
一般,上述影响函数为每个像素154产生卷积值,该值是在具有高斯函数的二次导数(second derivative)的二维近似的像素位置处的“R”强度值的卷积,例如利用高斯方法论的差分,基本上如美国专利5,774,572中对Automatic Visual Inspection System的描述,这里引入上述美国专利作为参考。通过应用影响函数或者通过连续直交卷积可进行上述卷积。对于任何适当的像素邻域的组合,例如5×5-1×1邻域或者9×9-3×3邻域的组合,可以进行高斯逼近的差分。也可以采用其它边缘检测的方法,如D.Marr,
Vision,Freeman&Co.,纽约,1982中总体描述的方法。
用于影响高斯函数的二次导数的二维近似的影响函数具有下列形式:
0.0039 0.0156 0.0234 0.0156 0.0039
0.0156 0.0625 0.0938 0.0625 0.0156
0.0234 0.0938 -0.8594 0.0938 0.0234
0.0156 0.0625 0.0938 0.0625 0.0156
0.0039 0.0156 0.0234 0.0156 0.0039
其中,对于与影响函数的中心单元(central cell)对应的像素的卷积值是对应于影响函数中的单元的相邻像素的反射强度值的总和,其中每个强度值乘以从影响函数中对应的单元得到的卷积值。
在一个优选的实施例中,影响函数是可分的。那么可以将上述影响函数写为下列影响函数的产物:
0 0 0.0625 0 0
0 0 0.25 0 0
0 0 0.375 0 0
0 0 0.25 0 0
0 0 0.0625 0 0
和
0 0 0 0 0
0 0 0 0 0
0.0625 0.25 0.375 0.25 0.0625
0 0 0 0 0
0 0 0 0 0
此后与下列影响函数相加:
0 0 0 0 0
0 0 0 0 0
0 0 -1 0 0
0 0 0 0 0
0 0 0 0 0
参考图7,图7示出了通过应用前述的边缘确定影响函数计算的图像部分152的卷积像素值图452。
方框314:将瞬态图部分152中的像素整体指定为高可靠(high-sure)、低可靠或过渡。高可靠像素是通过对瞬态图部分152中像素的反射系数的分析而肯定地判定为铜的像素。低可靠像素是通过对瞬态图部分152中像素的反射值的分析而肯定地判定为衬底的像素。过渡像素是通过对瞬态图部分152中像素的反射值的分析、既未判定为高可靠又未判定为低可靠的像素。
根据例举的方法,采用用户定义的像素值阈值来评估像素是高可靠、低可靠或过渡。这样,如果像素和其所有的八个邻域都在高可靠阈值之上,那么认为该像素是高可靠像素。如果像素和其所有的八个邻接区域都在低可靠阈值之下,那么认为该像素是低可靠像素。如果一像素或其任何邻接像素的值在高可靠值之上和之下,或者如果一像素或其任何邻接像素的值在低可靠值之上和之下,那么该像素是过渡像素。高可靠阈值和低可靠阈值可以是不同的值,或者可以仅使用一个值。
在图3-8所示的关于图像部分152的例子中,应用单个的阈值以便区分高可靠和低可靠区,为了说明,其被设定为80。这样,如果一像素值和其所有八个邻接像素的值超过80,那么该像素是高可靠像素,而如果一像素值和其所有八个邻接像素的值小于80,那么该像素是低可靠的。所有其它像素是过渡像素。
应理解的是,可以按照所示的顺序、或者相反的顺序或者并行地执行方框312和314。
方框316:鉴于高可靠和低可靠的计算,检查和修改卷积像素值图452(图7)中的像素值。此外,为了确保轮廓形成为闭环,最好指定每行和每列中两个最末端的像素为低可靠像素,不考虑它们的实际值。容易理解的是,通过分析的实际图像中末端行中的值的转换,或者通过添加到具有适当低可靠值的图像附加行和列中,可以执行低可靠指定的属性。
现在参考图8,图8示出了修改的卷积像素值图552,它是图7的卷积像素值图452,表示在方框314中指定为高可靠和低可靠像素的像素。为了简化说明,已经添加了沿着边界的附加行和列。高可靠像素554用暗阴影示出,低可靠像素556没有用阴影示出,过渡像素558用浅阴影示出。根据一优选方法,每个高可靠像素554必须具有负的卷积值,每个低可靠像素556必须具有零或者正的卷积值。如果高可靠像素554包含正值,其卷积值修改为-1。如果低可靠像素556包含负值,其卷积值修改为+1。过渡像素558可以包含正或负值,且未被修改。例如,像素560的值已经从其最初卷积值-1(图7)变为+1,因为它位于低可靠区。鉴于高可靠低可靠计算而对卷积值的修改确保外来的轮廓不会出现在极其确信为铜或叠层体的区域中。此外,不考虑它们的类型,修改每行和每列的任一方面的两个最末端像素,以便确保卷积值是+1,其表示衬底。
方框318:由按照方框316得到的修改的卷积像素值,逐个像素计算对于铜导体214和衬底215(图3)之间的假定边界的轮廓点。根据一优选方法,认为一轮廓点存在于共享一边的一对相反符号的邻接像素的中心点之间的零相交处,其计算是通过基于相邻像素的相应的相反符号值的线性插值法。
参考图9,图9示出了假定的轮廓图660,表示图3的图像部分152中示出的金属导体214和衬底215之间的假定轮廓662。假定轮廓662对应于通过连接在方框318得到的轮廓点664(最好是利用直线线段)而产生的轮廓组成部分663的集合。容易理解的是,通过指定在修改的卷积像素值图552(图8)中的每行和列中的末端像素为衬底,使围绕每个导体214的假定轮廓为闭环。
如果由候选缺陷检测器34提供的候选缺陷指示430完全被判定为铜的像素包围,或者在与判定为铜的像素区相距一个像素的距离内,则确定候选缺陷位于导体上或接近于导体。
较好的是,评估假定轮廓图660中的每个轮廓点664,并基于对瞬态图部分152中包含的红色“R”、绿色“G”和蓝色“B”像素值的分析,将其归入下列各类之一:(i)规则的轮廓点,(ii)图像边缘轮廓点,(iii)氧化轮廓点,(iv)角轮廓点,或者(v)氧化角。另一方式是,轮廓点仅被归入上述类别中一些类别中,例如:规则的轮廓点和角轮廓点。
根据一优选方法,氧化轮廓点(例如氧化轮廓点668)用“R”强度的梯度表征,参考相邻的像素,它相当小,例如仅是沿着轮廓的平均梯度的一半。而氧化轮廓点的“R”强度值与“G”和“B”强度值相比则相当大。可以根据经验确定实际的和相对的梯度和像素强度值。
因此,根据本发明的优选实施例,如果在轮廓点[R’<C1]或[R’<C2和2R>G+B+C3],那么将轮廓点664归类为氧化轮廓点668。在公式中,例如通过轮廓点附近的四个像素的双线性插值法,确定轮廓点的强度值,例如在J.D.Foley等人的“计算机图形:原理和实践”,Addison-Wesley,1990中所描述的,R’是在轮廓点364处的“R”强度的法向导数,C1、C2和C3是常数。
优选的是,R’是沿着向外垂直于轮廓线(轮廓点位于其中)的方向在轮廓点100处的R强度的一次导数近似,对其进行计算得出离开该轮廓点的单个像素间隔。
此外,如果第一轮廓点与归类为氧化轮廓点668的另一轮廓点664邻接,那么一般将第一轮廓点664归类为氧化轮廓点668,结果在第二轮廓点664满足上述公式之一。
最好根据影响瞬态图部分152(图3)中由像素154记录的“R”、“G”和“B”强度的成像参数,凭经验确定常数C1、C2和C3。这些成像参数例如是用来得到PCB源图像的摄像机的光谱敏感度、和当得到源图像时用来照射PCB的光谱。
例如,如果使成像PCB的像素154的“R”、“G”和“B”强度归一化,使得对于成像衬底215的像素154为R=G=B=0,对于成像铜导体214的像素1 54为R=B=G=1。那么,对于常数C1、C2、C3和C4的典型值是C1=0.5,C2=0.6和C3=0.1。发明人已经发现这些值在小于或等于大约±0.1大小的改变基本不影响是否轮廓点664被归类为规则轮廓点666或氧化轮廓点668。在一定的条件下,可以选择其它值。
图9中,可以看出假定轮廓662包含已经归类为规则轮廓点666的轮廓点(它们是铜和衬底之间的轮廓点)、图像边界轮廓点667(它们是沿着图像边界形成的轮廓点)、氧化轮廓点668(位于氧化导体上的轮廓点)和角轮廓点669。角轮廓点位于假定轮廓强烈内凹并且在改变的方向上延续至少预定延伸的一连串轮廓点的位置。通过分析在距假定角为预定距离的像素内限定的三角形,可以确定一个角。在候选线宽违规缺陷236附近,有几个邻近的氧化轮廓点668,它们形成一连串氧化轮廓点664。
现在参考图10A,其中可以看出图9的假定轮廓图660、为候选缺陷236附近的氧化轮廓点668计算的凸包680和有向凸包684。
根据一个例举的实施例,评估由有向凸包684(其为位于凸包680上或内部的轮廓点)围绕的轮廓点,以便证实它们确实适于表示铜,例如因为它们表示氧化铜。采用参考图5A中的方框330或参考图15描述的图像分析的优选方法,以便证实位于凸包680之区域内部的被选像素适于表示铜,例如氧化铜。用于分析铜存在的另一优选方法包含对该凸包区内部的像素取“R”、“G”和“B”的平均值,并且基于采用参考方框330描述的方法,分析该平均值是否代表氧化。用于证实凸包内部区域是否代表氧化铜的再一个优选方法在上面参考的申请人共同未审的专利申请WO 00/11454中描述了。还可以采用任何其它用于识别氧化铜和非氧化铜的适当方法。一般仅为凸包内部或沿着凸包的像素进行此分析。
如果对与由有向凸包684围绕的区域、即跨在凸包680上或在凸包680内部的区域对应的像素进行分析,而该分析表明该区域整体不代表铜或氧化铜,由于实际缺陷被示出,因此一般不需要进一步的图像分析了。
如果从像素分析证实,由有向凸包684围绕的区域适于表示铜或氧化铜,那么修改假定的边界662。最好确定凸包的端部轮廓点682。端部轮廓点682是氧化轮廓点,它由规则氧化点666或角氧化点669界定。最好通过用有向凸包684代替在端部轮廓点682之间延伸的每个轮廓部分663,修改假设的轮廓662。
现在参考图10B,图10B与图10A所示的导体214的相同区域对应,并且说明了另外的优选实施例的应用,其用于处理轮廓图660和评估其中假定边界662的位置,以便确定实际缺陷的存在或不存在。如图10B所示,由于候选缺陷指示430在距表示假定轮廓662的轮廓部分663一个像素长度的距离,因此有向凸包684在如上所述确定的角轮廓点669之间延伸。利用如上所述的用于评估氧化物存在的任何适当方法,评估由凸包684围绕的各个轮廓点664和像素654,以便确定它们是代表铜还是代表氧化物。另一方式是,可以为角轮廓点669之间的所有轮廓点664计算凸包686,并且可以分析对应于凸包686内部区域的像素,以便确定是否凸包内部的区域适合表示铜或氧化物。
从图10B可以看出,由于轮廓点664和像素表示氧化物,因此当它在角轮廓点669之间延伸时,在有向凸包684上进行计算,以便确定候选缺陷是实际缺陷还是似是而非缺陷。
一旦根据由有向凸包684表示的边缘位置逼近、修改了假定轮廓662,那么利用上述的任何方法,评估现在包含有向凸包684的、沿着假定轮廓662的各个点,以便确定是否它们适合表示铜或氧化物。这样,如果认为沿着有向凸包684或由凸包686封闭的区域是铜或氧化铜,较好的是,现在利用有向凸包重新计算铜导体214部分的宽度,以便在假定轮廓图660中表示代表导体214边缘的轮廓的近似位置。
尺寸计算方法是众所周知的。如果宽度尺寸满足适用于被测电路的预定准则,那么认为候选缺陷236是似是而非缺陷。例如由铜导体的氧化导致的缺陷。如果即使假定轮廓的位置修改之后,导体两侧轮廓之间的铜导体214部分的宽度尺寸仍然保持小于准则所要求的最小容限,那么该缺陷归因于真正的铜缺乏,认为候选缺陷246是实际线宽违规,产生实际缺陷报告。
现在参考图11,图11是瞬态图52的部分752,对应于紧紧围绕候选主线宽违规738的像素邻域,该违规738对应于图2所示的主线宽违规38。候选线宽违规是由导体部分714中实际的铜缺乏而导致的实际线宽违规,不仅仅是导体部分的氧化。
另外参考图12A,图12A示出了在方框310(图5A)为图像部分752产生的轮廓图760,示出了一种优选方法的应用,用于处理轮廓图760,以便确定实际缺陷的存在或不存在。由于候选缺陷表示730在距表示假定轮廓762的轮廓部分763一个像素长度的范围内,因此评估沿着轮廓762的轮廓点764,以便确定它们的类型,即规则轮廓点766、角轮廓点769或氧化轮廓点(不存在于轮廓图760中)。这样,对图11所示的“R”、“G”和“B”像素值的评估表明,氧化不存在于任何轮廓点764处,其每个都被指定为规则轮廓点766。由于没有轮廓点764是氧化轮廓点,因此不需要计算凸包。在不修改假定轮廓762的情况下计算导体714的宽度,在图12A的例子中,对候选缺陷738发布一个实际缺陷报告。
另外参考图12B,图12B示出了在方框310(图5A)为图像部分752产生的轮廓图760,示出了另一个优选方法的应用,用于处理轮廓图760,评估其中假定轮廓762的位置,以便确定实际缺陷的存在或不存在。从图12B可以看出,由于候选缺陷表示730在距表示假定轮廓762的轮廓部分763一个像素长度的距离,因此有向凸包784在角轮廓点769之间延伸。利用上面描述的任何适于评估铜和氧化物存在的方法,评估由有向凸包784围绕的各个轮廓点764和像素754,证实是否有氧化物存在,或者确定与有向凸包784相邻的区域是否适于被认为是铜。由于没有轮廓点764或像素754显示出氧化,因此在不修改假定轮廓762的情况下计算导体714的宽度,在图12B的例子中,对候选缺陷738发布一个实际缺陷报告。
现在参考图13,图13是轮廓图,说明角候选缺陷920的区域中导体914部分的轮廓,角候选缺陷对应于图2的候选缺陷46。
根据本发明的优选实施例,最好利用这里详细描述的方法,由全彩色图像建立表示轮廓点932位置和轮廓部分934的轮廓图930,它们限定了导体914的假定轮廓936。识别轮廓点932,检测角轮廓点938。可以将轮廓点归类为如上所述的规则轮廓点、氧化轮廓点、图像边缘轮廓点、角轮廓点、角氧化轮廓点。注意,对应于角44(图2)的角轮廓点沿着假定轮廓936定位。
较好的是,为在候选缺陷920附近的连续角轮廓点938之间延伸的假定轮廓936的每部分计算有向凸包,例如有向凸包940和942。较好的是,为连续的角轮廓点938计算有向凸包,以避免包含不是导体914的部分的区域,例如由异常包946限定的区域944。如上所述,评估由有向凸包940和942围绕的各个轮廓点932或像素948,以便确定是否它们代表铜或氧化物。这样,如果检测到铜或氧化物,最好参考至少部分形成的凸包940和942的修改的假定轮廓,重新计算导体914的宽度,作出适当的实际或似是而非缺陷报告;如果没有检测到氧化物,那么不修改假定轮廓。
通过并非限定本发明范围的举例,已经利用本发明的优选实施例的非限定性的详细描述介绍了本发明。对于本领域技术人员来说,描述的实施例会出现变化,这里描述的方法可以应用到电路检测中的各种假设的缺陷。
本发明的范围仅由下面的权利要求限定。在本申请的权利要求书和说明书中,“包括”“包含”和“具有”及其词性的变化指的是“包含,但并非必须限定于此”。
Claims (77)
1.一种对电路进行自动光学检测的方法,包括:
获得电路的至少一个光学图像;
根据该至少一个图像产生至少一个第一检测图像,从其中确定候选缺陷的区域;
对围绕候选缺陷的区域产生至少一个附加的检测图像,所述至少一个附加的检测图像至少部分地包含所述至少一个第一检测图像中所不包括的光学信息;及
通过检测所述至少一个附加的检测图像,确定候选缺陷是否是似是而非缺陷。
2.根据权利要求1的方法,其中,获得步骤包含获得电路的多色图像。
3.根据权利要求2的方法,其中,该多色图像包括红色、绿色和蓝色组分。
4.根据权利要求3的方法,其中,该附加检测图像包括在多色图像中获得的红色、绿色和蓝色组分的每一个。
5.根据权利要求1的方法,其中,所述至少一个第一检测图像包含电路的二进制表示。
6.根据权利要求5的方法,其中,该二进制表示仅来源于所获得图像的红色组分。
7.根据权利要求1的方法,其中,所述至少一个第一检测图像包含电路的单色灰度级表示。
8.根据权利要求7的方法,其中,仅从所获得图像的红色组分产生该单色灰度级表示。
9.根据权利要求1的方法,其中,从相同的光学图像产生该第一检测图像和该附加的检测图像。
10.根据权利要求1的方法,其中,候选缺陷被自动确定。
11.根据权利要求1的方法,其中,实际缺陷被自动确定。
12.一种检测电路的方法,包括:
提供电路的二进制表示;
至少部分地通过分析该第一二进制表示,确定电路中候选缺陷的存在;
提供围绕候选缺陷的区域的非二进制图像;和
通过分析所述非二进制图像,确定电路中实际缺陷的存在。
13.根据权利要求12的方法,其中,该二进制表示比该非二进制图像覆盖该电路的更大范围。
14.根据权利要求12的方法,其中,确定实际缺陷包括:
在围绕根据该二进制图像确定的候选缺陷的区域中提供一个非二进制图像;
处理该非二进制图像,以证实实际缺陷的存在。
15.根据权利要求12的方法,包含:
提供电路的灰度级单色表示,和
至少部分地通过分析该二进制表示和灰该度级单色表示,确定电路中的候选缺陷。
16.根据权利要求15的方法,包括通过分析该二进制表示和该灰度级单色表示来识别实际缺陷。
17.根据权利要求12的方法,其中,利用所述二进制图像确定的缺陷包含实际缺陷,其中所述实际缺陷包含下列各项中的一个或多个:遗漏电路中的部件、使电路中的部件放错位置、电路中的外来部件、小孔和划痕。
18.根据权利要求9的方法,其中,所准备的该二进制图像达到的分辨率比从其中产生它的光学图像的光学分辨率更精细。
19.根据权利要求12的方法,其中,候选缺陷包括电路的金属导体中的可疑形状异常。
20.根据权利要求19的方法,其中,在电路的光学图像中,电路中的金属化部分具有第一光学特性,非金属化部分具有第二光学特性,可疑形状异常的区域具有与金属化部分和非金属化部分的光学特性不同的第三光学特性。
21.根据权利要求20的方法,其中的光学特性包括反射率的强度。
22.根据权利要求20的方法,其中的光学特性包括颜色。
23.根据权利要求12的方法,其中,提供二进制图像包括从电路的多通道多色图像的单一通道提供二进制图像。
24.根据权利要求12的方法,其中,该非二进制图像是电路的多色图像。
25.一种确定电路中的缺陷的方法,包括:
获得电路的光学图像;
根据该图像产生电路的表示;
在候选区附近的区域处分析该表示的至少一部分,以检测该电路的属性;
根据检测到的电路属性修改该表示;
处理被修改的图像,以确定实际缺陷的存在。
26.根据权利要求25的方法,其中,该表示是该电路中轮廓的表示。
27.根据权利要求26的方法,其中,所述轮廓表示电路中的金属化部分和衬底部分之间的假定边缘。
28.根据权利要求25的方法,其中的修改步骤包含:
鉴定该表示中的一区域,以便确定它是否是金属;
如果检测到金属,修改所述轮廓。
29.根据权利要求28的方法,其中,该金属是氧化的或未氧化的金属。
30.根据权利要求29的方法,其中,该金属是铜。
31.根据权利要求28的方法,其中的鉴定步骤包含分析该区域的单色图像。
32.根据权利要求28的方法,其中的鉴定步骤包含分析该区域的多色图像。
33.根据权利要求25的方法,其中的修改步骤包含对所述轮廓的一部分计算一个有向凸包,并且用该有向凸包代替该部分。
34.根据权利要求29的方法,其中的修改步骤包含定位表示位于候选缺陷附近的轮廓中的角的点。
35.根据权利要求34的方法,其中,该有向凸包在角轮廓点之间延伸。
36.根据权利要求25的任何一项的方法,其中的修改步骤包含检测位于氧化导体上的轮廓点。
37.根据权利要求36的方法,其中的修改步骤包括识别至少三个邻近的氧化轮廓点。
38.根据权利要求37的方法,其中的修改步骤包含从所述至少三个邻近的氧化轮廓点中识别至少两个氧化轮廓点,每个都由未氧化的轮廓点界定。
39.根据权利要求37的方法,其中的修改步骤包含从所述至少三个邻近的氧化轮廓点中识别也是角的至少一个氧化轮廓点。
40.根据权利要求39的方法,其中的修改步骤包含从所述至少三个邻近的氧化轮廓点中识别由未被氧化的轮廓点界定的附加轮廓点。
41.根据权利要求38的方法,其中的修改步骤包含计算下列任何一对之间的有向凸包:由未氧化轮廓点的组合界定的氧化轮廓点和作为角的氧化轮廓点。
42.根据权利要求25的方法,其中,该属性包括氧化物的光学属性特性。
43.根据权利要求25的方法,其中,该属性是一种光学属性,包括在至少两个光谱范围中的反射强度的水平。
44.根据权利要求43的方法,其中,该属性是一种光学属性,包括在至少三个光谱范围中的反射强度的水平。
45.根据权利要求43的方法,其中,所述光谱范围包括红色、绿色和蓝色中的至少两种颜色。
46.根据权利要求44的方法,其中,所述光谱范围包括红色、绿色和蓝色中的至少两种颜色。
47.根据权利要求25的方法,其中的处理是根据在候选缺陷附近的金属的检测进行的。
48.根据权利要求25的方法,其中的处理是根据在候选缺陷附近的氧化物的检测进行的。
49.根据权利要求48的方法,其中,对氧化物的检测是在沿着金属导体和衬底之间的假定边界定位的轮廓点上进行的。
50.根据权利要求48的方法,其中,对氧化物的检测是在由电路中位于候选缺陷附近的区域的像素得到的值上进行的。
51.根据权利要求25的方法,其中的修改步骤包含修改假定轮廓,以包含有向凸包。
52.根据权利要求51的方法,其中的修改步骤包含测量假定轮廓之间的距离,其中至少部分假定轮廓包含该有向凸包。
53.一种对电路进行自动光学检测的装置,包括:
至少一个光学传感器,用来获得电路的图像;
第一图像处理器,用来根据该图像产生该电路的第一表示,并且分析所述第一表示,以从其中确定电路中的可疑缺陷;
瞬态图产生器,用来接收来自所述至少一个传感器的图像和来自第一图像处理器的可疑缺陷的报告,以产生围绕可疑缺陷之区域的相邻图像;和
图像后处理器,用来分析这些相邻图像和从其中确定实际缺陷的存在。
54.根据权利要求53的装置,其中,第一图像处理器产生第一表示,该表示是该电路的二进制表示。
55.根据权利要求54的装置,其中光学传感器具有光学分辨率,电路的二进制表示被产生,其分辨率比上述光学分辨率更精细。
56.根据权利要求53的装置,其中,可疑缺陷是候选缺陷和实际缺陷,该图像后处理器用来分析候选缺陷的相邻图像。
57.根据权利要求54的装置,包括灰度级图像处理器,其中由灰度级图像处理器检测到的至少一些异常是实际缺陷,并且由二进制图像处理器检测到的至少一些异常是候选缺陷。
58.根据权利要求53的装置,其中所述相邻图像是多色图像。
59.根据权利要求58的用于对电路进行自动光学检测的装置,其中的多色图像是彩色图像。
60.一种用于产生电路显示的方法,包括:
获得包括多个导体和衬底的电路的图像,所述导体在其第一部分具有至少一个第一可区分的光学属性,在其第二部分具有第二可区分的光学属性,该衬底具有第三可区分的光学属性,其中,所述导体的至少一些第二部分位于第一部分和衬底之间;及
计算机处理该图像以产生电路的表示,所述表示包括沿着由所述第二部分形成的所述导体的边缘部分的导体和衬底的边缘的近似位置。
61.根据权利要求60的方法,包括:
产生所述边缘的第一近似位置,
对该图像做有关所述第一部分和第二部分之存在的分析,和
根据检测在所述第一部分和所述衬底之间所述第二部分的存在,修改所述边缘的近似位置。
62.根据权利要求61的方法,其中,所述图像是单色的,所述分析包含对所述单色图像做有关反射强度的差别的分析。
63.根据权利要求61的方法,其中,所述图像是多色的,所述分析包含对所述多色图像做有关颜色的差别的分析。
64.根据权利要求61的方法,其中,所述产生步骤包括产生第一部分的部分和衬底之间边缘的近似位置。
65.根据权利要求64的方法,其中所述修改步骤包括:
计算在边缘的所述近似的各个部分之间延伸的有向凸包,
用该有向凸包代替第一部分和衬底之间边界的评估部分。
66.根据权利要求65的方法,其中,该有向凸包在边界的表示部分之间延伸,这些部分至少部分地与被识别为第二部分的区域相邻。
67.根据权利要求65的方法,包含识别作为角、沿着第一部分和衬底之间边界的近似位置的至少一个点。
68.根据权利要求67的方法,其中,该有向凸包在一对角之间延伸。
69.根据权利要求67的方法,其中,该有向凸包在一个角和沿着位于所述第一部分和所述第二部分之间的边界之表示的一点之间延伸。
70.根据权利要求60的方法,其中,第一部分是未氧化的金属,第二部分是被氧化的金属。
71.根据权利要求60的方法,包含:根据一个准则或者一系列的准则,对该被修改的表示做有关缺陷的检测。
72.根据权利要求71的方法,其中,该准则是导体和衬底之间的至少两个近似边界之间的距离的大小。
73.一种用于检测电路的方法,包括:
获得电路表面的图像;
逼近电路中导体的未氧化部分的边缘的位置;
逼近电路中导体的氧化部分和衬底之间边缘的位置;和
根据所述未氧化部分的所述边缘和所述氧化部分的所述边缘的逼近位置,逼近该导体的边缘的位置;和
相对于其所述逼近边缘来测量该导体的宽度。
74.根据权利要求73的方法,其中,逼近氧化部分和衬底之间边缘的位置之步骤包括产生一线段,它在沿着界定所述未氧化部分之边缘的所述逼近位置的轮廓的一对点之间延伸。
75.根据权利要求74的方法,包括检测沿着该轮廓的至少两个角的位置。
76.根据权利要求75的方法,包括:
在包含沿着该轮廓定位的附加点的角之间延伸一个有向凸包;
确定与该有向凸包相邻的材料是否具有可归因于导体的光学特性;和
如果与该有向凸包相邻的图像部分具有可归因于导体的光学特性,则修改所述未氧化部分的边缘的逼近位置,以包含所述有向凸包,如果与该有向凸包相邻的图像部分具有不可归因于导体的光学特性,则不用所述有向凸包代替所述未氧化部分的边缘的逼近位置。
77.根据权利要求76的方法,其中,该可归因于导体的光学特性是与导体的氧化相关的光学特性。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/IL2000/000552 WO2002021105A1 (en) | 2000-09-10 | 2000-09-10 | Reduction of false alarms in pcb inspection |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2006101318267A Division CN1955717B (zh) | 2000-09-10 | 2000-09-10 | Pcb检测中错误报警的减少 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1468371A true CN1468371A (zh) | 2004-01-14 |
CN1289901C CN1289901C (zh) | 2006-12-13 |
Family
ID=11042995
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNB008198810A Expired - Fee Related CN1289901C (zh) | 2000-09-10 | 2000-09-10 | Pcb检测中错误报警的减少 |
CN2006101318267A Expired - Fee Related CN1955717B (zh) | 2000-09-10 | 2000-09-10 | Pcb检测中错误报警的减少 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2006101318267A Expired - Fee Related CN1955717B (zh) | 2000-09-10 | 2000-09-10 | Pcb检测中错误报警的减少 |
Country Status (7)
Country | Link |
---|---|
US (2) | US7177458B1 (zh) |
JP (1) | JP2004509325A (zh) |
CN (2) | CN1289901C (zh) |
AU (1) | AU2000270373A1 (zh) |
GB (1) | GB2388428A (zh) |
IL (1) | IL154445A0 (zh) |
WO (1) | WO2002021105A1 (zh) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN100399039C (zh) * | 2004-03-31 | 2008-07-02 | 安立株式会社 | 印刷电路板检查装置 |
CN101127119B (zh) * | 2006-08-14 | 2011-09-28 | 株式会社日立高新技术 | 图案检查装置以及半导体检查*** |
CN102901923A (zh) * | 2011-07-26 | 2013-01-30 | 烽腾科技有限公司 | 用于检测电路的***及方法 |
CN105806848A (zh) * | 2014-12-31 | 2016-07-27 | 技嘉科技股份有限公司 | 印刷电路板装配检测***及其检测方法 |
CN107228860A (zh) * | 2017-06-28 | 2017-10-03 | 北京因时机器人科技有限公司 | 一种基于图像旋转周期特性的齿轮缺陷检测方法 |
CN107980094A (zh) * | 2017-03-31 | 2018-05-01 | 深圳配天智能技术研究院有限公司 | 一种视觉检测***及方法 |
CN109540901A (zh) * | 2018-11-02 | 2019-03-29 | 英业达(重庆)有限公司 | 自动光学检测不良信息反馈***及方法 |
CN109767445A (zh) * | 2019-02-01 | 2019-05-17 | 佛山市南海区广工大数控装备协同创新研究院 | 一种高精度的pcb缺陷智能检测方法 |
CN110023991A (zh) * | 2016-12-02 | 2019-07-16 | 皇家飞利浦有限公司 | 用于从对象类中识别对象的装置 |
CN110793472A (zh) * | 2019-11-11 | 2020-02-14 | 桂林理工大学 | 一种基于四元数奇异值熵指标的磨削表面粗糙度检测方法 |
Families Citing this family (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3866688B2 (ja) * | 2003-06-13 | 2007-01-10 | 三井金属鉱業株式会社 | 電子部品実装用フィルムキャリアテープの検査装置およびパターン不良の確認方法 |
US7027934B2 (en) * | 2003-09-24 | 2006-04-11 | 3M Innovative Properties Company | Apparatus and method for automated web inspection |
WO2005065305A2 (en) * | 2003-12-31 | 2005-07-21 | 3M Innovative Properties Company | Inventory control for web-based articles |
WO2005065367A2 (en) | 2003-12-31 | 2005-07-21 | 3M Innovative Properties Company | Maximation of yield for web-based articles |
US7623699B2 (en) | 2004-04-19 | 2009-11-24 | 3M Innovative Properties Company | Apparatus and method for the automated marking of defects on webs of material |
GB2417073A (en) * | 2004-08-13 | 2006-02-15 | Mv Res Ltd | A machine vision analysis system and method |
US7925074B2 (en) * | 2006-10-16 | 2011-04-12 | Teradyne, Inc. | Adaptive background propagation method and device therefor |
US8175739B2 (en) | 2007-07-26 | 2012-05-08 | 3M Innovative Properties Company | Multi-unit process spatial synchronization |
US7542821B2 (en) | 2007-07-26 | 2009-06-02 | 3M Innovative Properties Company | Multi-unit process spatial synchronization of image inspection systems |
JP5236241B2 (ja) * | 2007-10-02 | 2013-07-17 | シャープ株式会社 | 欠陥検査装置、欠陥検査方法、画像処理装置、プログラム、及び該プログラムを記録したコンピュータ読み取り可能な記録媒体 |
KR20090100615A (ko) * | 2008-03-20 | 2009-09-24 | 삼성전자주식회사 | 결함 검출 방법 |
US7797133B2 (en) | 2008-09-10 | 2010-09-14 | 3M Innovative Properties Company | Multi-roller registered repeat defect detection of a web process line |
JP5251678B2 (ja) | 2009-03-31 | 2013-07-31 | ソニー株式会社 | 外観検査用照明装置および外観検査装置 |
US9035673B2 (en) * | 2010-01-25 | 2015-05-19 | Palo Alto Research Center Incorporated | Method of in-process intralayer yield detection, interlayer shunt detection and correction |
US8866899B2 (en) | 2011-06-07 | 2014-10-21 | Photon Dynamics Inc. | Systems and methods for defect detection using a whole raw image |
US20130071006A1 (en) * | 2011-09-19 | 2013-03-21 | International Business Machines Corporation | Image Analysis of Processor Device Features |
TWI493201B (zh) | 2012-11-09 | 2015-07-21 | Ind Tech Res Inst | 電子零件腳位判斷與插件之方法與系統 |
JP6510189B2 (ja) * | 2014-06-23 | 2019-05-08 | キヤノンメディカルシステムズ株式会社 | 医用画像処理装置 |
US10586318B2 (en) * | 2016-10-07 | 2020-03-10 | Raytheon Company | Automated model-based inspection system for screening electronic components |
US10438340B2 (en) * | 2017-03-21 | 2019-10-08 | Test Research, Inc. | Automatic optical inspection system and operating method thereof |
KR102309569B1 (ko) * | 2017-06-14 | 2021-10-07 | 캠텍 리미티드 | 자동 결함 분류 |
US11320385B2 (en) | 2018-10-16 | 2022-05-03 | Seagate Technology Llc | Intelligent defect identification system |
CN109752392B (zh) * | 2018-12-24 | 2021-08-03 | 苏州江奥光电科技有限公司 | 一种pcb板缺陷类型检测***和方法 |
CN110579479B (zh) * | 2019-08-09 | 2024-07-16 | 苏州康代智能科技股份有限公司 | 一种基于假点缺陷检测的pcb检修***及检修方法 |
CN111079564B (zh) | 2019-11-27 | 2021-06-01 | 奥特斯科技(重庆)有限公司 | 处理部件承载件的方法及光学检查设备和计算机可读介质 |
US11599988B2 (en) * | 2020-09-11 | 2023-03-07 | Super Micro Computer, Inc. | Inspection of circuit boards for unauthorized modifications |
CN114152615A (zh) * | 2021-10-12 | 2022-03-08 | 宏华胜精密电子(烟台)有限公司 | 电路板检测设备的检测方法、装置、设备及存储介质 |
CN116503401B (zh) * | 2023-06-26 | 2023-09-22 | 成都数联云算科技有限公司 | 一种pcb连板目标检测方法、装置、设备和介质 |
Family Cites Families (36)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB1406146A (en) * | 1973-05-21 | 1975-09-17 | Mullard Ltd | Level sensor |
JPS59157505A (ja) * | 1983-02-28 | 1984-09-06 | Hitachi Ltd | パタ−ン検査装置 |
US5774573A (en) * | 1984-12-20 | 1998-06-30 | Orbotech Ltd. | Automatic visual inspection system |
US5774572A (en) | 1984-12-20 | 1998-06-30 | Orbotech Ltd. | Automatic visual inspection system |
JPS62247478A (ja) * | 1986-04-21 | 1987-10-28 | Hitachi Ltd | パタ−ン検査装置 |
DE3786699T2 (de) * | 1986-05-10 | 1993-11-11 | Fujitsu Ltd | System zur Untersuchung von Mustern. |
US4758888A (en) | 1987-02-17 | 1988-07-19 | Orbot Systems, Ltd. | Method of and means for inspecting workpieces traveling along a production line |
JPH0317785A (ja) * | 1989-06-14 | 1991-01-25 | Fujitsu Ltd | パターン読取装置 |
JPH0357241A (ja) * | 1989-07-26 | 1991-03-12 | Hitachi Ltd | 自動外観検査装置 |
JP3132565B2 (ja) * | 1989-08-30 | 2001-02-05 | 株式会社日立製作所 | 欠陥検査方法及びその装置 |
JPH03233349A (ja) * | 1990-02-07 | 1991-10-17 | Nippon Seiko Kk | パターン検査方法及び装置 |
US5272763A (en) * | 1990-03-02 | 1993-12-21 | Matsushita Electric Industrial Co., Ltd. | Apparatus for inspecting wiring pattern formed on a board |
JP2745763B2 (ja) * | 1990-03-02 | 1998-04-28 | 松下電器産業株式会社 | 配線パターン検査装置 |
IL125217A (en) | 1990-12-04 | 1999-10-28 | Orbot Instr Ltd | Apparatus and method for microscopic inspection of articles |
US5586058A (en) | 1990-12-04 | 1996-12-17 | Orbot Instruments Ltd. | Apparatus and method for inspection of a patterned object by comparison thereof to a reference |
US5204910A (en) * | 1991-05-24 | 1993-04-20 | Motorola, Inc. | Method for detection of defects lacking distinct edges |
DE69331433T2 (de) * | 1992-10-22 | 2002-10-02 | Advanced Interconnection Technology, Inc. | Einrichtung zur automatischen optischen Prüfung von Leiterplatten mit darin verlegten Drähten |
JP3255562B2 (ja) * | 1994-08-12 | 2002-02-12 | 株式会社東芝 | 表面検査装置 |
JPH08189904A (ja) * | 1995-01-06 | 1996-07-23 | Kawasaki Steel Corp | 表面欠陥検出装置 |
JP3544237B2 (ja) * | 1995-02-09 | 2004-07-21 | 独立行政法人 科学技術振興機構 | 巨大フラーレンの製造方法 |
JPH08247960A (ja) * | 1995-03-14 | 1996-09-27 | Adtec Eng:Kk | 外観検査装置 |
JPH0992692A (ja) * | 1995-07-13 | 1997-04-04 | Toray Ind Inc | Tabテープの検査装置および検査方法ならびに実装tabテープの製造方法および製造装置 |
JP3536884B2 (ja) * | 1995-10-09 | 2004-06-14 | 株式会社神戸製鋼所 | 半導体ウエハの欠陥分類方法及びその装置 |
SG42307A1 (en) * | 1996-01-09 | 1997-08-15 | Peng Seng Toh | Measurement and inspection of leads on integrated circuit packages |
JP3752849B2 (ja) * | 1997-07-04 | 2006-03-08 | 株式会社日立製作所 | パターン欠陥検査装置及びパターン欠陥検査方法 |
JPH11248641A (ja) * | 1998-03-03 | 1999-09-17 | Sumitomo Metal Ind Ltd | 表面欠陥検査装置及び表面欠陥検査方法 |
JPH11271232A (ja) * | 1998-03-23 | 1999-10-05 | Hitachi Eng & Service Co Ltd | プリント基板の配線の欠陥検出方法および装置 |
IL140248A0 (en) | 1998-06-16 | 2002-02-10 | Orbotech Ltd | Illuminator for inspecting substantially flat surfaces |
JP4104213B2 (ja) * | 1998-07-08 | 2008-06-18 | 松下電器産業株式会社 | 欠陥検出方法 |
JP4270604B2 (ja) * | 1998-07-14 | 2009-06-03 | オリンパス株式会社 | 画像入力装置 |
JP2000028334A (ja) * | 1998-07-15 | 2000-01-28 | Hitachi Ltd | パターン欠陥検査方法およびその装置 |
JP2000058601A (ja) * | 1998-08-07 | 2000-02-25 | Nippon Inter Connection Systems Kk | テープキャリアの欠陥検出装置および欠陥検出方法 |
CN1188693C (zh) | 1998-08-18 | 2005-02-09 | 奥宝科技有限公司 | 利用颜色检查印刷电路板 |
AU9456298A (en) | 1998-09-28 | 2000-04-17 | Orbotech Ltd. | Pixel coding and image processing method |
US6850636B1 (en) * | 1999-05-25 | 2005-02-01 | Nichiha Corporation | Surface inspection system |
IL131092A (en) | 1999-07-25 | 2006-08-01 | Orbotech Ltd | Optical inspection system |
-
2000
- 2000-09-10 US US10/363,982 patent/US7177458B1/en not_active Expired - Fee Related
- 2000-09-10 CN CNB008198810A patent/CN1289901C/zh not_active Expired - Fee Related
- 2000-09-10 IL IL15444500A patent/IL154445A0/xx active IP Right Grant
- 2000-09-10 WO PCT/IL2000/000552 patent/WO2002021105A1/en active Application Filing
- 2000-09-10 JP JP2002525473A patent/JP2004509325A/ja active Pending
- 2000-09-10 CN CN2006101318267A patent/CN1955717B/zh not_active Expired - Fee Related
- 2000-09-10 GB GB0305457A patent/GB2388428A/en not_active Withdrawn
- 2000-09-10 AU AU2000270373A patent/AU2000270373A1/en not_active Abandoned
-
2006
- 2006-12-29 US US11/618,471 patent/US20070165939A1/en not_active Abandoned
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN100399039C (zh) * | 2004-03-31 | 2008-07-02 | 安立株式会社 | 印刷电路板检查装置 |
CN101127119B (zh) * | 2006-08-14 | 2011-09-28 | 株式会社日立高新技术 | 图案检查装置以及半导体检查*** |
CN102901923A (zh) * | 2011-07-26 | 2013-01-30 | 烽腾科技有限公司 | 用于检测电路的***及方法 |
CN102901923B (zh) * | 2011-07-26 | 2017-04-19 | 烽腾科技有限公司 | 用于检测电路的***及方法 |
CN105806848A (zh) * | 2014-12-31 | 2016-07-27 | 技嘉科技股份有限公司 | 印刷电路板装配检测***及其检测方法 |
CN110023991A (zh) * | 2016-12-02 | 2019-07-16 | 皇家飞利浦有限公司 | 用于从对象类中识别对象的装置 |
CN110023991B (zh) * | 2016-12-02 | 2023-04-04 | 皇家飞利浦有限公司 | 用于从对象类中识别对象的装置 |
CN107980094A (zh) * | 2017-03-31 | 2018-05-01 | 深圳配天智能技术研究院有限公司 | 一种视觉检测***及方法 |
CN107228860A (zh) * | 2017-06-28 | 2017-10-03 | 北京因时机器人科技有限公司 | 一种基于图像旋转周期特性的齿轮缺陷检测方法 |
CN107228860B (zh) * | 2017-06-28 | 2020-04-24 | 北京因时机器人科技有限公司 | 一种基于图像旋转周期特性的齿轮缺陷检测方法 |
CN109540901A (zh) * | 2018-11-02 | 2019-03-29 | 英业达(重庆)有限公司 | 自动光学检测不良信息反馈***及方法 |
CN109767445A (zh) * | 2019-02-01 | 2019-05-17 | 佛山市南海区广工大数控装备协同创新研究院 | 一种高精度的pcb缺陷智能检测方法 |
CN109767445B (zh) * | 2019-02-01 | 2020-11-27 | 佛山市南海区广工大数控装备协同创新研究院 | 一种高精度的pcb缺陷智能检测方法 |
CN110793472A (zh) * | 2019-11-11 | 2020-02-14 | 桂林理工大学 | 一种基于四元数奇异值熵指标的磨削表面粗糙度检测方法 |
Also Published As
Publication number | Publication date |
---|---|
GB2388428A (en) | 2003-11-12 |
CN1955717A (zh) | 2007-05-02 |
US7177458B1 (en) | 2007-02-13 |
US20070165939A1 (en) | 2007-07-19 |
CN1955717B (zh) | 2011-04-20 |
IL154445A0 (en) | 2003-09-17 |
AU2000270373A1 (en) | 2002-03-22 |
CN1289901C (zh) | 2006-12-13 |
JP2004509325A (ja) | 2004-03-25 |
WO2002021105A1 (en) | 2002-03-14 |
GB0305457D0 (en) | 2003-04-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN1289901C (zh) | Pcb检测中错误报警的减少 | |
CN1214340C (zh) | 多个神经网络的成像设备和方法 | |
KR102203112B1 (ko) | 표준 기준 이미지로부터 결정된 속성에 기초한 결함 검출 및 분류 | |
CN1261908C (zh) | 检测印刷电路板缺陷的方法和*** | |
JP4736764B2 (ja) | 基板検査装置並びにその検査ロジック設定方法および検査ロジック設定装置 | |
US7734082B2 (en) | Defect inspection method | |
US6799130B2 (en) | Inspection method and its apparatus, inspection system | |
US7173693B2 (en) | Method for inspecting defects and an apparatus of the same | |
US7844100B2 (en) | Method for filtering nuisance defects | |
JP2020187657A (ja) | 画像検査装置 | |
CN1735907A (zh) | 图像分析 | |
WO2018061067A1 (ja) | 欠陥検査装置及び欠陥検査方法 | |
CN1825100A (zh) | 基板检查方法和装置、及其检查逻辑设定方法和装置 | |
JP2007071586A (ja) | 画像欠陥検査装置、画像欠陥検査システム、欠陥分類装置及び画像欠陥検査方法 | |
CN1384538A (zh) | 半导体集成电路的不良检测方法和不良检测装置 | |
JP4539355B2 (ja) | 基板検査装置並びにそのパラメータ設定方法およびパラメータ設定装置 | |
EP2558846A2 (en) | Apparatus and methods for setting up optical inspection parameters | |
Birla et al. | An efficient method for quality analysis of rice using machine vision system | |
CN1308893C (zh) | 生成电路板检验***中使用的电路板特征调色板的方法 | |
CN1834630A (zh) | 基板检查装置及其检查逻辑设定方法和检查逻辑设定装置 | |
Alekhin et al. | Optical-electronic system for express analysis of mineral raw materials dressability by color sorting method | |
CN1434918A (zh) | 用于检验多色和轮廓图像的cam(计算机辅助制造)参考 | |
JP2007033126A (ja) | 基板検査装置並びにそのパラメータ調整方法およびパラメータ調整装置 | |
JP4506395B2 (ja) | 基板検査装置並びにそのパラメータ設定方法およびパラメータ設定装置 | |
JP2013171026A (ja) | 検査領域表示装置及び検査領域表示方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20061213 Termination date: 20190910 |
|
CF01 | Termination of patent right due to non-payment of annual fee |