KR20200086812A - System for inspecting substrate defects by bubbles and Method for inspecting substrate defects by bubbles - Google Patents
System for inspecting substrate defects by bubbles and Method for inspecting substrate defects by bubbles Download PDFInfo
- Publication number
- KR20200086812A KR20200086812A KR1020190003058A KR20190003058A KR20200086812A KR 20200086812 A KR20200086812 A KR 20200086812A KR 1020190003058 A KR1020190003058 A KR 1020190003058A KR 20190003058 A KR20190003058 A KR 20190003058A KR 20200086812 A KR20200086812 A KR 20200086812A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- substrate
- defect
- bubble
- roi
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Immunology (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Pathology (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
Description
본 발명은 기포에 의한 기판불량 검사시스템 및 기포에 의한 기판불량 검사방법에 관한 것이며, 상세하게는 기판영상 중 기포로 예측되는 부분만을 ROI영상으로 추출하고, 딥러닝방식으로 ROI영상으로부터 기포의 유무판단 및 기포결함영역의 도출이 수행되어, 기포에 의한 기판의 불량을 신속하게 검사할 수 있는 기포에 의한 기판불량 검사시스템 및 기포에 의한 기판불량 검사방법을 제공하는 것을 목적으로 한다. The present invention relates to a substrate defect inspection system by air bubbles and a method for inspecting a substrate defect by air bubbles. Specifically, only the portion predicted as air bubbles among the substrate images is extracted as an ROI image, and the presence or absence of air bubbles from the ROI image by a deep learning method. It is an object of the present invention to provide a defect inspection system for bubbles and a method for inspecting substrate defects due to bubbles, which is capable of promptly inspecting defects of substrates due to determination and derivation of bubble defect areas.
일반적으로 전자부품이 실장된 인쇄회로기판(PCB: Printed Circuit Board)에는 코팅용액이 도포된다. 이는, 전자부품이 실장된 인쇄회로기판이 주변 환경에 민감하므로 코팅을 통해 수분, 먼지, 고온환경, 전자파 등으로부터 보호하기 위함이다. 다만, 코팅 시 PCB 표면의 온도, 이물, 주변습도, 부품의 실장 상태 등에 따라 기포가 발생할 수 있다. Generally, a coating solution is applied to a printed circuit board (PCB) on which electronic components are mounted. This is to protect the printed circuit board on which the electronic component is mounted from the moisture, dust, high temperature environment, and electromagnetic waves through coating because the printed circuit board is sensitive to the surrounding environment. However, when coating, air bubbles may occur depending on the temperature of the PCB surface, foreign matter, ambient humidity, and the mounting conditions of the components.
인쇄회로기판에 코팅되어 응고된 코팅용액에 존재하는 기포는 온도가 증가하면 부풀어 올라 코팅용액의 탈락을 유발할 수 있다. 그리고, 코팅용액의 벗겨짐은 습기에 의한 전자부품의 손상을 발생시켜 인쇄회로기판이 장착된 기기의 오동작을 유발할 수 있다. 그리고, 적정 수준 이하의 코팅 두께는 인쇄회로기판에 실장된 전자부품이 진동에 의하여 탈락되게 할 수 있다.Bubbles present in the coating solution coagulated by being coated on the printed circuit board may swell when the temperature increases, thereby causing the coating solution to fall off. In addition, peeling of the coating solution may cause damage to electronic components due to moisture, which may cause malfunction of a device equipped with a printed circuit board. And, the coating thickness below the appropriate level can cause the electronic components mounted on the printed circuit board to fall off due to vibration.
종래에는, 인쇄회로기판의 코팅 상태를 머신 비전을 이용하여 검사해 왔으나 기술적으로 정밀한 검사가 어려운 한계가 있었다. Conventionally, the coating state of a printed circuit board has been inspected using machine vision, but there is a limitation that it is difficult to perform a technically precise inspection.
일 예로 납땜(Solder)면에서의 유사한 밝기 변화와 유사한 형상의 패턴 특히 홀(Hole)의 경우 머신 비전 기술로 기포와 구분하기 어려우므로 검출된 것 모두를 NG뷰어에 표시해서 추후 작업자가 판단하는 반자동 시스템(Semi-Auto system)이 되거나 작업자가 한번 더 육안 검사해야 하는 불편함이 있었다.For example, similar brightness changes on the solder surface and patterns of similar shapes, especially in the case of holes, are difficult to distinguish from air bubbles by machine vision technology. There was the inconvenience of becoming a semi-auto system or requiring the operator to visually inspect once more.
최근에 많은 연구가 이루어지고 있는 딥러닝 기반으로 검사를 하게 되면 전자부품이 실장된 인쇄회로기판의 불량을 정확하게 잡을 수 있는 장점이 있다. 다만, 딥러닝 검사 시스템을 구성하는데 소요되는 비용이 크고, 딥러닝 방식만을 사용하는 기판의 불량을 검사하는 경우에는 검사속도가 매우 느려, 속도가 빨라야 하는 공정에는 딥러닝 방식을 적용하는데 어려움이 따른다. 특히, 딥러닝 방식에 따른 기판의 불량검사는, 공정 상황에 따라 미세하게 검사 조건을 변경해야 하는 경우에 대응하지 못하는 단점이 있다.When the inspection is performed based on deep learning, which has been recently conducted a lot of research, it has an advantage of accurately catching defects in a printed circuit board on which electronic components are mounted. However, the cost of constructing the deep learning inspection system is high, and when inspecting the defects of the substrate using only the deep learning method, the inspection speed is very slow, and it is difficult to apply the deep learning method to the process requiring high speed. . Particularly, the defect inspection of the substrate according to the deep learning method has a disadvantage that it cannot cope with a case in which the inspection condition needs to be changed finely according to the process situation.
본 발명은 기판영상 중 기포로 예측되는 부분만을 ROI영상으로 추출하고, 딥러닝방식으로 ROI영상으로부터 기포의 유무판단 및 기포결함영역의 도출이 수행되어, 기포에 의한 기판의 불량을 신속하게 검사할 수 있는 기포에 의한 기판불량 검사시스템 및 기포에 의한 기판불량 검사방법을 제공하는 것을 목적으로 한다. In the present invention, only the portion predicted as bubbles among the substrate images is extracted as an ROI image, and the presence/absence of bubbles and derivation of bubble defect areas are performed from the ROI image by a deep learning method, so that defects in the substrate due to bubbles can be quickly inspected. It is an object of the present invention to provide a substrate defect inspection system using air bubbles and a substrate defect inspection method using air bubbles.
아울러, 본 발명은 ROI영상에 기포결함영역이 표시된 결과이미지를 이용하여, 공정조건이 반영된 특징추출기반검사를 수행함으로써, 문제가 되는 부분을 집중적으로 검사하는 동시에 공정조건에 부합하게 기포에 의한 기판의 불량을 검사할 수 있는 기포에 의한 기판불량 검사시스템 및 기포에 의한 기판불량 검사방법을 제공하는 것을 목적으로 한다. In addition, according to the present invention, by performing a feature extraction-based inspection in which the process conditions are reflected by using the result image in which the bubble defect area is displayed on the ROI image, the problem-intensive part is intensively inspected and the substrate by air bubbles conforms to the process conditions. An object of the present invention is to provide a substrate defect inspection system based on bubbles and a method for inspecting substrate defects caused by bubbles, which can inspect defects of the object.
본 발명의 일 실시예에 있어서, 기판이 촬영된 촬영영상에서 기판의 코팅시 발생된 기포에 의한 기판의 불량을 검사하는 기포에 의한 기판불량 검사시스템은, 복수의 촬영영상이 영상조합에 의해 생성된 기판영상에서 기포로 예측되는 지점이 후보위치로 탐색되고, 후보위치에 대한 후보영역이 기판영상에서 추출되어 ROI영상으로 출력되는 영상처리부; 입력된 ROI영상이 기저장된 학습데이터를 기반으로 딥러닝되면서, ROI영상에서의 기포의 유무가 판단되고, ROI영상에 기포결함영역이 표시된 결과이미지가 출력되는 딥러닝결함판단부; 및 입력된 결과이미지가 기설정된 기반검사 알고리즘에 따라 기포결함영역에 대한 특징값이 산출되고, 특징값이 기설정된 불량판정범위에 포함되면 "불량"으로 최종판단되고, 특징값이 불량판정범위에 포함되지 않으면 "정상"으로 최종판단되는 특징추출기반검사부를 포함하는 것이 바람직하다. In one embodiment of the present invention, a substrate defect inspection system using bubbles that inspects defects of a substrate due to bubbles generated when a substrate is coated on a captured image of a substrate, a plurality of captured images are generated by an image combination An image processing unit in which a point predicted as a bubble is searched as a candidate position in the substrate image, and a candidate region for the candidate location is extracted from the substrate image and output as an ROI image; A deep learning defect determination unit in which the input ROI image is deep-learned based on pre-stored learning data, it is determined whether air bubbles are present in the ROI image, and a result image in which a bubble defect region is displayed on the ROI image is output; And a feature value for the bubble defect area is calculated according to a preset basic inspection algorithm, and if the feature value is included in the predetermined defect determination range, it is finally judged as "bad", and the feature value is determined to the defect determination range. If not included, it is preferable to include a feature extraction-based inspection unit that is finally judged as "normal".
본 발명의 일 실시예에 있어서, 딥러닝결함판단부는, ROI영상이 신경망 입력데이터 형태로 정규화 처리되고, 다운-샘플링되어 특징맵(feature map)으로 변환되는 공통네트워크; 입력된 특징맵이 기저장된 학습데이터를 기반으로 딥러닝되면서, 기포의 유무가 판단되는 판정네트워크; 및 특징맵이 ROI영상의 크기로 업-샘플링되어 판독용 ROI영상으로 변환되고, 판독용 ROI영상이 학습데이터를 기반으로 딥러닝되면서 기포결함영역이 도출되면, 판독용 ROI영상에 기포결함영역이 표시된 결과이미지가 출력되는 영역분할네트워크를 포함하고, 판독용 ROI영상은 ROI영상크기로, 각 픽셀이 기설정된 조건에 따라 0과 1로 이진화 처리된 것이 바람직하다. In one embodiment of the present invention, the deep learning defect determination unit includes: a common network in which an ROI image is normalized in the form of neural network input data, down-sampled, and converted into a feature map; A decision network in which the presence or absence of air bubbles is determined as the input feature map is deep-learned based on pre-stored learning data; And the feature map is up-sampled to the size of the ROI image, converted into a ROI image for reading, and when a bubble defect region is derived while the ROI image for reading is deep learning based on the learning data, the bubble defect region is displayed in the ROI image for reading. It is preferable to include an area division network in which the displayed result image is output, and the ROI image for reading is the size of the ROI image, and it is preferable that each pixel is binarized to 0 and 1 according to predetermined conditions.
본 발명의 일 실시예에 있어서, 공통네트워크와 판정네트워크는 기포존재영상과 기포부존재영상이 학습데이터로 학습되고, 영역분할네트워크는 기포존재영상만 학습데이터로 학습되고, 기포존재영상에는 판정네트워크에서 기포가 존재하는 것으로 판단된 영상이 포함되는 것이 바람직하다. In one embodiment of the present invention, in the common network and the determination network, the bubble existence image and the bubble non-existence image are learned as learning data, and the region division network is learned only as the bubble existence image as the learning data, and the bubble existence image is determined by the determination network. It is preferable that an image judged to have air bubbles is included.
본 발명의 일 실시예에 있어서, 영상처리부는, 기설정된 영상처리 알고리즘에 따라, 서로 다른 파장의 조명에서 촬영된 복수의 촬영영상이 영상조합되어 기판영상이 생성되는 기판영상생성부; 영상처리 알고리즘에 따라, 기판영상에서 후보위치가 탐색되고, 탐색된 후보위치에 나열된 리스트가 산출되는 후보위치탐색부; 및 리스트에 따라, 후보위치를 중심점으로 하여 후보영역이 산출되고, 기판영상에서 후보영역이 추출되어 ROI영상이 출력되는 ROI영상생성부를 포함하는 것이 바람직하다.In one embodiment of the present invention, the image processing unit includes: a substrate image generation unit for generating a substrate image by combining a plurality of captured images shot at different wavelengths of illumination according to a preset image processing algorithm; A candidate location search unit that searches for a candidate location in a substrate image and calculates a list listed in the searched candidate location according to an image processing algorithm; And according to the list, it is preferable to include a ROI image generating unit for calculating a candidate region using the candidate location as a center point, and extracting the candidate region from the substrate image to output the ROI image.
한편, 본 발명의 일 실시예에 있어서, 기판이 촬영된 촬영영상에서 기판의 코팅시 발생된 기포에 의한 기판의 불량을 검사하는 기포에 의한 기판불량 검사방법은, (A) 딥러닝결함판단부에서, 기포존재영상과 기포부존재영상이 학습데이터로 학습되는 단계;(B) 영상처리부에서, 복수의 촬영영상이 영상조합에 의해 생성된 기판영상에서 기포로 예측되는 지점이 후보위치로 탐색되고, 후보위치에 대한 후보영역이 기판영상에서 추출되어 ROI영상으로 출력되는 단계; (C) 딥러닝결함판단부에서, 입력된 ROI영상이 기저장된 학습데이터를 기반으로 딥러닝되면서, ROI영상에서의 기포의 유무가 판단되고, ROI영상에 기포결함영역이 표시된 결과이미지가 출력되는 단계; 및 (D) 특징추출기반검사부에서, 결과이미지가 기설정된 기반검사 알고리즘에 따라 기포결함영역에 대한 특징값이 산출되고, 특징값이 기설정된 불량판정범위에 포함되면 "불량"으로 최종판단되고, 특징값이 불량판정범위에 포함되지 않으면 "정상"으로 최종판단되는 단계를 포함하는 것이 바람직하다.On the other hand, in one embodiment of the present invention, the substrate defect inspection method by the air bubbles for inspecting the defects of the substrate due to the air bubbles generated when the substrate is coated on the captured image of the substrate is (A) deep learning defect determination unit In, the step of learning the bubble-existing image and the bubble-free image as learning data; (B) In the image processing unit, a point where a plurality of photographed images are predicted as bubbles in the substrate image generated by the image combination is searched as a candidate location, A step in which a candidate region for a candidate position is extracted from a substrate image and output as an ROI image; (C) In the deep learning defect determination unit, as the input ROI image is deep-learned based on the pre-stored learning data, the presence or absence of air bubbles in the ROI image is determined, and a result image in which the bubble defect area is displayed in the ROI image is output. step; And (D) in the feature extraction-based inspection unit, the feature image is calculated for the bubble defect area according to the preset base inspection algorithm, and if the feature value is included in the preset defect determination range, it is finally judged as "bad", If the feature value is not included in the defective determination range, it is preferable to include a step of final judgment as "normal".
본 발명의 일 실시예에 있어서, (B)단계는, (B1) 기설정된 영상처리 알고리즘에 따라 기판영상이 서로 다른 파장의 조명에서 촬영된 복수의 촬영영상들의 조합에 의해 생성되는 단계; (B2) 영상처리 알고리즘에 따라, 기판영상에서 후보위치가 탐색되고, 각각의 후보위치에 나열된 리스트가 산출되는 단계; 및(B3) 리스트에 따라, 후보위치를 중심점으로 하여 기설정된 크기를 가진 후보영역이 산출되고, 기설정된 중첩영역제거 알고리즘에 따라, 리스트에서 임의로 후보위치가 선택되면, 선택된 후보위치에 대한 선택후보영역의 중첩범위 내에서 미선택된 후보위치가 탐색되고, 탐색된 후보위치가 리스트에서 제거되는 단계; 및 (B4) B3단계 후 리스트에 따라, 기판영상에서 후보영역이 추출되어 ROI영상이 출력되는 단계를 포함하는 것이 바람직하다. In one embodiment of the present invention, step (B) comprises: (B1) generating a substrate image by a combination of a plurality of photographed images photographed in different wavelength illumination according to a preset image processing algorithm; (B2) in accordance with the image processing algorithm, searching for candidate positions in the substrate image and calculating a list listed in each candidate position; And (B3) a candidate region having a predetermined size is calculated using the candidate location as a center point according to the list, and if a candidate location is randomly selected from the list according to a preset overlapping region removal algorithm, candidate candidates for the selected candidate location are selected. An unselected candidate position is searched within the overlapping range of the area, and the searched candidate position is removed from the list; And (B4) after step B3, it is preferable to include a step of extracting a candidate region from the substrate image and outputting the ROI image.
본 발명의 일 실시예에 있어서, 중첩범위는 선택된 후보위치를 중심점으로 하여, 선택후보영역의 면적의 1/2 범위 내로 영상처리부에 기설정된 것이 바람직하다.In one embodiment of the present invention, it is preferable that the overlapping range is preset to the image processing unit within 1/2 of the area of the selected candidate area, with the selected candidate position as the center point.
본 발명의 일 실시예에 있어서, C단계는, (C1) 공통네트워크로 ROI영상이 입력되고, ROI영상이 신경망 입력데이터 형태로 정규화 처리되고, 다운-샘플링되어 특징맵(feature map)으로 변환되는 단계; (C2) 공통네트워크에서 판정네트워크로 특징맵이 입력되고, 특징맵이 학습데이터를 기반으로 딥러닝되면서, 기포의 유무가 판단되는 단계; 및 (C3) 공통네트워크에서 영역분할네트워크로 특징맵이 입력되고, 특징맵이 공통네트워크로 입력된 영상크기로 업-샘플링된 판독용 ROI영상으로 변환되고, 판독용 ROI영상이 학습데이터를 기반으로 딥러닝되면서 기포결함영역이 도출되면, 판독용 ROI영상에 기포결함영역이 표시된 결과이미지로 출력되는 단계를 포함하고, 판독용 ROI영상은 ROI영상의 각 픽셀이 기설정된 조건에 따라 0과 1로 이진화 처리된 것이 바람직하다.In an embodiment of the present invention, in step C, (C1) an ROI image is input into a common network, the ROI image is normalized to a neural network input data form, down-sampled and converted into a feature map. step; (C2) a feature map is input from the common network to the determination network, and the feature map is deep-learned based on the learning data, whereby the presence or absence of bubbles is determined; And (C3) a feature map is input from a common network to an area division network, and the feature map is converted into an up-sampled ROI image for up-sampling to the image size input into the common network, and the ROI image for reading is based on learning data. When the bubble defect area is derived while deep learning, the step of outputting a result image in which the bubble defect area is displayed on the read ROI image includes a step in which each pixel of the ROI image is set to 0 and 1 according to preset conditions. It is preferred that the binarization treatment.
본 발명의 일 실시예에 있어서, C2단계 및 C3단계는 C1 단계 후 병렬처리되어, 기포의 유무판단과 기포결함영역의 도출이 개별적으로 수행되는 것이 바람직하다.In one embodiment of the present invention, steps C2 and C3 are processed in parallel after step C1, so it is preferable that the determination of the presence or absence of bubbles and the derivation of the bubble defect region are performed separately.
본 발명의 일 실시예에 있어서, C2단계에서, 판정네트워크는 입력된 복수의 특징맵이 병렬구조로 딥러닝되어, 복수의 특징맵에서의 기포의 유무에 대한 판단이 일괄적으로 수행되는 것이 바람직하다. In one embodiment of the present invention, in step C2, it is preferable that a plurality of feature maps are deep-learned in a parallel structure in the determination network, so that the determination of the presence or absence of bubbles in the plurality of feature maps is performed collectively. Do.
본 발명의 일 실시예에 있어서, C3단계에서, 영역분할네트워크는 입력된 복수의 판독용 ROI영상이 병렬구조로 딥러닝되어, 복수의 판독용 ROI영상에서의 기포결함영역의 도출이 일괄적으로 수행되는 것이 바람직하다.In one embodiment of the present invention, in step C3, in the area division network, a plurality of inputted ROI images are deep-learned in a parallel structure, so that derivation of bubble defect regions in a plurality of readout ROI images is collectively performed. It is preferably carried out.
본 발명의 일 실시예에 있어서, C 단계에서, 공통네트워크 및 판정네트워크는 기포존재영상과 기포부존재영상이 학습데이터로 학습되고, 영역분할네트워크는 기포존재영상만 학습데이터로 학습되고, 기포존재영상에는 판정네트워크에서 기포가 존재하는 것으로 판단된 상이 포함된 것이 바람직하다.In one embodiment of the present invention, in step C, in the common network and the determination network, the bubble existence image and the bubble non-existence image are learned as learning data, and the region division network is learned only as the bubble existence image as learning data, and the bubble presence image It is preferable that the phase includes a phase determined to exist in the determination network.
본 발명은 기판영상 중 기포로 예측되는 부분만을 ROI영상으로 추출하고, 딥러닝방식으로 ROI영상으로부터 기포의 유무판단 및 기포결함영역의 도출이 수행되어, 기포에 의한 기판의 불량을 신속하게 검사할 수 있다. In the present invention, only the portion predicted as bubbles among the substrate images is extracted as an ROI image, and the presence/absence of bubbles and derivation of bubble defect areas are performed from the ROI image by a deep learning method, so that defects in the substrate due to bubbles can be quickly inspected. Can.
아울러, 본 발명은 ROI영상에 기포결함영역이 표시된 결과이미지를 이용하여, 공정조건이 반영된 특징추출기반검사를 수행함으로써, 문제가 되는 부분을 집중적으로 검사하는 동시에 공정조건에 부합하게 기포에 의한 기판의 불량을 검사할 수 있다. In addition, according to the present invention, by performing a feature extraction-based inspection in which the process conditions are reflected by using the result image in which the bubble defect area is displayed on the ROI image, the problem-intensive part is intensively inspected and the substrate by air bubbles conforms to the process conditions. You can inspect the defect.
즉, 본 발명은 기포에 의한 기판의 불량 검사를, 기판영상에서 기포로 예측되는 부분만을 ROI영상으로 생성하는 과정, ROI영상으로부터 기포의 유무판단 및 기포결함영역의 도출이 수행되는 과정, 마지막으로, ROI영상에 기포결함영역이 표시된 결과이미지가 특징추출기반검사가 수행됨에 공정조건에 부합하게 기포에 의한 기판의 불량을 최종판단하는 과정으로 세분화함으로써, 기판영상 전체를 대상으로 기포에 따른 기판불량을 검사하는 것이 아니라 결함이 예측되는 부분에 대해서는 기판불량검사가 수행되어, 기포에 의한 기판의 불량을 신속 및 정확하게 검사할 수 있다. That is, the present invention is a process of generating a defect inspection of a substrate due to bubbles, generating only a portion predicted as bubbles in the substrate image as an ROI image, determining whether there are bubbles or not and deriving a bubble defect region from the ROI image, finally In the ROI image, the result image in which the bubble defect area is displayed is characterized by performing the feature extraction-based inspection, so that the defects of the substrate due to bubbles are subdivided into the process of final judgment to meet the process conditions. The defect of the substrate is performed on the part where the defect is predicted, rather than the inspection, and the defect of the substrate due to air bubbles can be quickly and accurately inspected.
본 발명은 기판영상과 비교하여 적은 데이터용량을 가진 ROI영상이 딥러닝됨에 따라, 기판영상이 딥러닝되는 것과 비교하여 딥러닝 작업효율을 향상시킬 수 있는 동시에, 딥러닝결함판독부를 구현하는 시스템비용을 저비용으로 구현할 수 있다. According to the present invention, as the ROI image having a smaller data capacity is deeper compared to the substrate image, the system cost of realizing a deep learning defect reading unit can be improved while improving the deep learning work efficiency compared to the deep learning of the substrate image. Can be implemented at low cost.
이와 더불어, 본 발명은 기포결함영역이 표시된 결과이미지에 대한 특징추출기반검사시, 공정조건에 반영되어 기포에 의한 기판의 불량유무가 판단됨에 따라, 딥러닝에 의해 기판 불량으로 판단된 기판에 대해, 작업자가 공정조건을 반영하여 육안으로 기판의 불량을 추가적으로 판단할 필요없어, 기포에 의한 기판의 불량을 자동으로 구현할 수 있다. In addition, according to the present invention, when the feature extraction-based inspection of the result image in which the bubble defect region is displayed is reflected in the process conditions, the presence or absence of defects in the substrate due to bubbles is determined. , It is not necessary for the operator to additionally determine the defect of the substrate by visually reflecting the process conditions, so that the defect of the substrate due to air bubbles can be automatically implemented.
도 1 및 도 2는 본 발명의 일 실시예에 따른 기포에 의한 기판불량 검사시스템을 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 기포에 의한 기판불량 검사방법의 순서도이다.
도 4는 본 발명의 일 실시예에서, 영상처리 알고리즘이다.
도 5는 본 발명의 일 실시예에 따른 중첩영역제거 알고리즘이다.
도 6은 본 발명의 일 실시예에서, 기판영상에서 ROI영상을 추출하는 과정을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시에에서, ROI영상으로부터 기포에 의한 기판의 불량을 판단하는 과정을 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시예에서, ROI영상이 신경망의 입력데이터로 변환되어, 판정네트워크와 영역분할네트워크에 적용되는 과정을 설명하기 위한 도면이다. 1 and 2 are diagrams for explaining a substrate defect inspection system due to air bubbles according to an embodiment of the present invention.
3 is a flowchart of a method for inspecting a substrate defect due to air bubbles according to an embodiment of the present invention.
4 is an image processing algorithm in one embodiment of the present invention.
5 is an overlap region removal algorithm according to an embodiment of the present invention.
6 is a diagram for explaining a process of extracting an ROI image from a substrate image in one embodiment of the present invention.
7 is a view for explaining a process of determining a defect of a substrate due to air bubbles from an ROI image in one embodiment of the present invention.
8 is a diagram for explaining a process in which an ROI image is converted into input data of a neural network and applied to a determination network and a region division network in an embodiment of the present invention.
이하에서는 첨부도면을 참조하여, 본 발명의 바람직한 실시예에 따른 기포에 의한 기판불량 검사시스템 및 기포에 의한 기판불량 검사방법에 대해 설명하기로 한다. Hereinafter, with reference to the accompanying drawings, it will be described with respect to the substrate defect inspection system by air bubbles and the substrate defect inspection method by air bubbles according to a preferred embodiment of the present invention.
본 발명의 일 실시예에 따른 기포에 의한 기판불량 검사시스템(100)은, 기포에 의한 기판의 불량을 신속 및 정확하게 검사하기 위한 목적을 구현하기 위한 것이다. 이를 위해, 본 발명은 기판영상 중 기포가 존재하는 곳으로 예측되는 부분만 ROI영상으로 추출하고, 딥러닝방식으로 ROI영상으로부터 기포의 유무판단, 기포결함영역의 도출, 그리고, 기포결함영역에 대한 특징추출기반검사로 세분화되어 기포에 의한 기판불량검사가 수행되어, 기판영상 전체를 대상으로 기포에 따른 기판불량을 검사하는 것이 아니라 결함이 예측되는 부분에 대해서는 기판불량검사가 수행되게, 각 구성요소가 구성된다. The substrate
도 1 및 도 2를 참조하면, 본 발명의 일 실시예에 따른 기포에 의한 기판불량 검사시스템(100)은 영상처리부(110), 딥러닝결함판단부(120), 특징추출기반검사부(130) 및 데이터저장부(140)를 포함한다. 1 and 2, the substrate
영상처리부(110)는 기판영상에서 기포로 예측되는 지점이 후보위치로 탐색되고, 각각의 후보위치에 대한 각각의 후보영역이 기판영상에서 추출되어 ROI영상이 생성된다. 도 2를 참조하면, 영상처리부(110)는 기판영상생성부(111), 후보위치탐색부(113) 및 ROI영상생성부(115)로 구성된다. In the
영상처리부(110)에서 기판영상을 생성하기 전에, 머신비전부(160)에 의해 기판이 촬영된여러 장의 촬영영상이 획득된다. 머신비전부(160)는 조명(161), 카메라(165) 및 조명조절부(163)를 포함한다. 머신비전부(160)는 기판이동부(150)을 따라 이동하는 기판을 촬영한다. Before the substrate image is generated by the
복수의 촬영영상은 서로 다른 파장이 조사될 때, 카메라(165)에서 각각 촬영된 영상이다. 조명(161)은 조명조절부(163)에 의해 파장이 조절되어, 기판으로 서로 다른 파장을 조사한다. 카메라(165)는 조명조절부(163)에 기설정된 파장에 따라, 조명(161)이 기판으로 조사될 때 기판을 촬영한다. 복수의 촬영영상은 머신비전부(160)에서 기판영상생성부(111)로 제공된다. The plurality of photographed images are images photographed by the
기판영상생성부(111)는 복수의 촬영영상을 영상처리하여, 기판영상을 생성한다. 본 실시예에서, 기판영상은 같은 위치에서 기판이 서로 다른 파장의 조명(161)으로 촬영된 복수의 촬영영상들을 논리 또는 산술적으로 조합되어 기포가 도드라지게 표현된 것이다. 예를 들어, 복수의 촬영영상 중 어느 한 개의 촬영영상은 UV파장이 기판으로 조사될 때 촬영된 촬영영상이 사용된다. 그리고, 다른 촬영영상은 R빔, G빔, B빔 중 적어도 하나 이상의 파장에서 촬영된 것이다. The substrate
후보위치탐색부(113)는 기설정된 영상처리 알고리즘에 따라 기판영상에서 후보위치가 탐색되고, 각각의 후보위치에 나열된 리스트가 산출된다. The candidate
ROI영상생성부(115)는 리스트에 따라, 후보위치를 중심점으로 하여 기설정된 크기를 가진 후보영역이 산출되고, 기판영상에서 각각의 후보영역이 추출되어 ROI영상이 생성된다. 여기서, 기설정된 크기는 ROI영상 크기이다. ROI는 후보영역(Region Of Interest)의 약자이다. According to the list, the ROI
딥러닝결함판단부(120)는 ROI영상이 기저장된 학습데이터를 기반으로 딥러닝되면서, 기포의 유무가 판단되고, 기포결함영역이 도출되면 ROI영상에 기포결함영역이 표시된 결과이미지가 출력된다. The deep learning
딥러닝결함판단부(120)는, 공통네트워크(121), 판정네트워크(123) 및 영역분할네트워크(125)로 구성된다. 공통네트워크(121)와 판정네트워크(123)는 기포존재영상과 기포부존재영상이 학습데이터로 학습된다. 영역분할네트워크(125)는 기포존재영상만 학습데이터로 학습되고, 기포존재영상에는 판정네트워크(123)에서 기포가 존재하는 것으로 판단된 것이 포함된다. The deep learning
공통네트워크(121)에서, 영상처리부(110)에서 입력된 ROI영상은 신경망 입력데이터 형태로 정규화 처리된다. 이후, ROI영상은 다운-샘플링되어 특징맵(feature map)으로 변환된다. 특징맵은 공통네트워크(121)에서 출력되어, 판정네트워크(123) 및 영역분할네트워크(125)로 각각 입력된다. In the
본 실시예에서, ROI영상의 정규화 처리는 ROI영상이 신경망인 판정네트워크(123) 및/또는 영역분할네트워크(125)으로 입력되기 전의 영상을 전처리하는 것이다. ROI영상의 정규화처리는 영상평균이 0이거나 0에 가깝고 데이터 분포가 양수와 음수로 적절하게 분포되면서 기포가 잘 표현될 수 있는 형태로 한다. 예를 들어 영상평균의 빼기 또는 나누기나 Z-Score계산을 통해 정규화할 수 있다.In this embodiment, the normalization process of the ROI image is to pre-process the image before the ROI image is input to the
판정네트워크(123)는 딥러닝방식으로 특징맵으로부터 기포의 유무만을 판단한다. 공통네트워크(121)에서 판정네트워크(123)로 입력된 특징맵은 기저장된 학습데이터를 기반으로 딥러닝되면서 기포의 유무가 판단된다. The
예컨대, 판정네트워크(123)는 입력된 특징맵이 기포존재영상의 특징맵에 매칭되면 기포 존재라고 판단한다. 또는 판정네트워크(123)는 입력된 특징맵이 기포부존재영상의 특징맵에 매칭되면 기포부존재라고 판단한다. For example, when the input feature map matches the feature map of the bubble existence image, the
즉, 판정네트워크(123)는 입력된 특징맵이 딥러닝 방식에 의해 기포의 유무만 판단된다. 판정네트워크(123)에서 기포존재라고 판단된 것은 학습데이터로 활용하기 위해 데이터저장부(140)에 저장된다. 그리고, 판정네트워크(123)는 기포부존재라고 판단된 것을 쓰레기데이터로 처리된다. That is, in the
영역분할네트워크(125)는, 딥러닝방식으로 특징맵으로부터 기판결함영역을 도출한다. 공통네트워크(121)에서 영역분할네트워크(125)로 입력된 특징맵은 공통네트워크(121)로 입력된 ROI영상크기로 업-샘플링된 판독용 ROI영상으로 변환되고, 판독용 ROI영상이 학습데이터를 기반으로 딥러닝되면서 기포결함영역이 도출되면, 판독용 ROI영상에 기포결함영역이 표시된 결과이미지가 출력된다. 판독용 ROI영상은 ROI영상의 각 픽셀이 기설정된 조건에 따라 0과 1로 이진화 처리된 것이다. The
특징추출기반검사부(130)는 기설정된 기반검사 알고리즘에 따라 결과이미지가 영상처리되면서 기포결함영역의 특징이 추출되어, 기판에 대한 최종 불량 유무가 판단된다. 기반검사 알고리즘으로는 BLOB알고리즘이 사용될 수 있다. The feature extraction-based
이하에서는 도 2 내지 도 8을 참조하여 기포에 의한 기판불량 검사방법에 대해 설명하기로 한다. Hereinafter, a method of inspecting a substrate defect due to bubbles will be described with reference to FIGS. 2 to 8.
본 발명의 일 실시예에 따른 기포에 의한 기판불량 검사방법은 기판이 촬영된 기판영상에서 기판의 코팅시 발생된 기포에 의한 기판의 불량을 검사하는 방법이다. The method for inspecting a substrate defect due to air bubbles according to an embodiment of the present invention is a method for inspecting a defect in the substrate due to air bubbles generated when the substrate is coated on the substrate image on which the substrate is photographed.
우선, 딥러닝결함판단부(120)에서, 기포존재영상과 기포부존재영상이 학습데이터로 학습된다(A 단계). 여기서, 기포존재영상과 기포부존재영상은 코팅된 기판을 촬영한 것이다. First, in the deep learning
다음으로, 머신비전방식으로 기판이 촬영된다. 같은 위치에서 기판이 서로 다른 파장의 조명(161)으로 촬영된 복수의 촬영영상들이 영상처리부(110)로 제공되어, 영상처리부(110)에서 ROI영상이 생성된다(B 단계). Next, the substrate is photographed by a machine vision method. At the same location, a plurality of images captured by the
도 4에 따른 영상처리 알고리즘에 따라, 복수의 촬영영상은 기판영상생성부(111)에서 영상조합 및 노이즈가 제거되어, 한 개의 기판영상으로 변환된다. 상술했듯이, 기판영상은 같은 위치에서 기판이 서로 다른 파장의 조명(161)으로 촬영된 복수의 촬영영상들을 논리 또는 산술적으로 조합되어 기포가 도드라지게 표현된 것이다. According to the image processing algorithm according to FIG. 4, the image combination and noise are removed from the substrate
이어서, 후보위치탐색부(113)에 의해, 기판영상에서 기포로 예측되는 지점이 후보위치로 탐색된다. 후보위치탐색부(113)에서, 각 후보위치가 나열된 리스트가 산출된다. Subsequently, a point predicted as a bubble in the substrate image is searched by the candidate
ROI영상생성부(115)에서, 리스트에 따라, 후보위치를 중심점으로 하여 기설정된 크기를 가진 후보영역이 산출된다. In the ROI
이후, ROI영상생성부(115)에 기설정된 중첩영역제거 알고리즘(도 5참조)에 따라, 리스트에서 임의로 후보위치가 선택되면, 선택된 후보위치에 대한 선택후보영역의 중첩범위 내에서 미선택된 후보위치가 탐색되고, 탐색된 후보위치가 리스트에서 제거된다. 중첩범위는 선택된 후보위치를 중심점으로 하여, 선택후보영역의 면적의 1/2 범위 내로 ROI영상생성부(115)에 기설정된다.Subsequently, if a candidate position is randomly selected from the list according to the overlap area removal algorithm (see FIG. 5) preset in the ROI
도 5에 도시된 바와 같이, 중첩영역제거 알고리즘은 검사하고자 하는 후보영역의 면적의 1/2범위 내의 가까운 위치에 다른 후보 위치가 있는지 확인하여 제거하는 것을 반복하는 알고리즘이다. 이후 기준이 되었던 선택된 후보위치는 다른 후보위치를 계산할 때 영향을 받지 않도록 이미 계산한 위치로서 플래그(Flag)로 셋팅된다. 중첩영역제거 알고리즘은 리스트에 나열된 모든 후보위치가 계산될 때까지 반복된다. As shown in FIG. 5, the overlapping region removal algorithm is an algorithm that repeats the removal by checking whether there is another candidate location at a position close to 1/2 of the area of the candidate region to be examined. The selected candidate position, which became the reference, is already set as a flag as a position already calculated so as not to be affected when calculating other candidate positions. The overlapping region removal algorithm is repeated until all candidate positions listed in the list are calculated.
이후, ROI영상생성부(115)에서, 리스트에 따라, 후보위치를 중심점으로 하여, 기판영상에서 일정 크기의 후보영역이 컷팅되어 ROI영상이 생성된다. 예컨대, ROI영상크기는 영상크기가 다운샘플링되는 중간과정에서 홀수가 되지 않게 선정된다. 예컨대, ROI영상 크기가 176이고, 4번의 다운샘플링을 한다고 가정하면, 각 단계에서의 ROI영상 크기는 176->88->44->22->11이 되며 시작부터 중간단계는 모두 짝수 크기임을 알 수 있다. 또는, ROI영상 크기가 112이고, 4번의 다운샘플링을 한다고 가정하면, 112->56->28->14->7로 영상크기가 작아진다(도 8참조). 도 8을 참조하여, 입력된 ROI영상크기가 112×112인 ROI영상은 공통네트워크(121)에서 영상처리되어 7×7의 영상크기의 특징맵으로 변환된다. Thereafter, in the ROI
기판영상에서 ROI영상을 추출하는 과정에 대해 도 6을 참조하여 설명하면 다음과 같다. The process of extracting the ROI image from the substrate image will be described with reference to FIG. 6 as follows.
도 6(a)에 도시된 바와 같이, 기판영상은 상술한 바와 같은 복수의 촬영영상들의 조합에 의해 기포가 예측되는 지점이 도드라지게 표시된 것이다. 도 6(a)에 도시된 번호 1 내지 번호6은 후보위치를 나타낸 것이다. 후보위치는 BLOB알고리즘에 의해 산출될 수 있다. 후보위치는 기포일 수도 있고, 홀(hole)일 수도 있다. 배경기술에서 설명했듯이, 홀(hole)은 기포의 패턴과 비교하여, 납땜면에서의 유사한 밝기 변화와 유사한 형상의 패턴을 가져, 머신비전방식에 의한 영상처리방식으로는 구분하기 어려워 후보위치로 탐색될 가능성이 높다. As shown in FIG. 6(a), the substrate image is markedly marked with a point where bubbles are predicted by a combination of a plurality of photographed images as described above.
이후, 도 6(b)에 도시된 바와 같이, 각각의 후보위치를 중심점으로 하여 기설정된 크기로 후보영역이 도출된다. 본 발명은 설명의 편의를 위해, 후보영역에 대해 다음과 같이 지칭한다. 후보영역1(11A)은 후보위치1를 중심점으로 기설정된 크기를 가진 영역이다. 후보영역2(12A) 내지 후보영역6(16A)은 각각의 후보위치2 내지 후보위치6을 중심점으로 기설정된 크기를 가진 영역이다. Subsequently, as shown in FIG. 6(b), candidate areas are derived with a predetermined size using each candidate position as a center point. For convenience of description, the present invention is referred to as the candidate region as follows. Candidate region 1 (11A) is a region having a predetermined size with
도 6(b)를 참조하면, 각각의 후보위치마다 후보영역이 도출되면, 후보영역간에 중첩되는 경우가 발생될 수도 있다. 본 예에서, 후보영역2(12A)와 후보영역3(13A)이 중첩되고, 후보영역4(14A)와 후보영역5(15A)가 중첩된다. Referring to FIG. 6(b), when a candidate region is derived for each candidate location, a case in which the candidate regions overlap may occur. In this example, candidate region 2 (12A) and candidate region 3 (13A) overlap, and candidate region 4 (14A) and candidate region 5 (15A) overlap.
이후, 도 6(c)에 도시된 바와 같이, 중첩영역제거 알고리즘에 따라, 중첩된 후보영역이 제거되는 과정에 수행된다. 도 6(c)를 참조하여, 중첩영역제거 알고리즘이 수행되는 과정을 설명하면, 리스트에 나열된 후보위치1이 선택되면, 후보영역1(11A)의 1/2의 면적(11B) 내에서 다른 후보위치가 존재하는지 여부가 탐색되고, 다른 후보위치가 탐색되지 않으면 후보위치1은 탐색완료 후보위치로 리스트에 셋팅된다.Subsequently, as shown in FIG. 6( c), according to the overlap region removal algorithm, the overlapped candidate region is removed. Referring to FIG. 6(c), when the process of performing the overlapped region removal algorithm is described, when
리스트에 나열된 후보위치2가 선택되면, 후보영역2(12A)의 1/2의 범위 내에 다른 후보위치가 존재하는지 여부가 탐색된다. 이 과정에서, 후보영역2(12A)의 1/2면적(12B) 내에서 다른 후보위치인 후보위치3이 탐색되면, 리스트에서 후보위치3이 제거된다. 이 과정은 후보영역의 1/2범위 내에서 다른 후보위치가 탐색되지 않을 때까지 반복된다. When the
이후, 리스트에 나열된 후보위치4 내지 후보위치6에 대해 상기와 같은 과정이 반복수행되어, 도 6(d)와 같은 후보영역이 확정된다. 후보영역4(14A) 및 후보영역5(15A)와 같이 후보영역이 중첩되더라도, 에컨대, 후보위치4가 후보영역5(15A)의 1/2의 면적(15A) 내에 속하지 않으면 후보영역4(14A)에 후보위치4 및 후보위치5가 모두 존재하고, 후보영역5(15A)에 후보위치4 및 후보위치5가 모두 존재하더라도, 별개의 후보영역으로 산출된다. 본 실시예에서, 도면번호 11A 내지 도면번호 16A는 후보영역을 지시한 것이고, 도면번호 11B 내지 16B는 각 후보영역의 1/2면적 범위를 지시한다. Thereafter, the above process is repeated for
도 6(e)에는 기판영상에서 각각의 후보영역이 추출된 ROI영상이 도시된다. 본 실시예에서는 설명의 편의를 위해, 후보위치1이 중심점인 영상을 ROI영상1(21)이라 지칭하고, 후보위치2가 중심점인 영상을 ROI영상2(22)이라 지칭하고, 후보위치4가 중심점인 영상을 ROI영상3(23)이라 지칭하고, 후보위치5가 중심점인 영상을 ROI영상4(24)이라 지칭하고, 후보위치6이 중심점인 영상을 ROI영상5(25)이라 지칭한다. FIG. 6(e) shows an ROI image in which each candidate region is extracted from the substrate image. In this embodiment, for convenience of description, the image where the
이후, ROI영상1(21) 내지 ROI영상5(25)는 딥러닝결함판단부(120)로 입력되어, 기포의 유무 또는 기포결함영역이 표시된 결과이미지로 출력된다(C 단계). Subsequently, the ROI images 1 (21) to ROI images 5 (25) are input to the deep learning
우선, 도 7을 참조하면, ROI영상1(21) 내지 ROI영상5(25)이 공통네트워크(121)로 입력된다. 공통네트워크(121)에서, ROI영상1(21) 내지 ROI영상5(25)는 신경망 입력데이터 형태로 정규화 처리되고, 다운-샘플링되어 특징맵(feature map)으로 변환된다. 본 실시예에서는 설명의 편의를 위해, ROI영상1(21)에 대한 특징맵을 특징맵1(31)이라 지칭하고, ROI영상2(22)에 대한 특징맵을 특징맵2(32)라 지칭한다. 그리고, ROI영상3(23) 내지 ROI영상5(25)에 대한 특징맵을 특징맵3 내지 특징맵5(33, 34, 35)라 각각 지칭한다. First, referring to FIG. 7, ROI images 1 (21) to ROI images 5 (25) are input to the
도 7을 참조하면, 특징맵1내지 특징맵5(31, 32, 33, 34, 35)는 판정네트워크(123) 및 영역분할네트워크(125)로 각각 입력된다. Referring to FIG. 7,
판정네트워크(123)는 공통네트워크(121)에서 입력된 특징맵1(31) 내지 특징맵5(35)에 대해 기저장된 학습데이터를 기반으로 딥러닝되면서, 기포의 유무가 판단된다. 판정네트워크(123)는 기포존재영상과 기포부존재영상이 학습데이터로 학습된다. The
판정네트워크(123)는 입력된 복수의 특징맵이 병렬구조로 딥러닝되어, 복수의 특징맵에서의 기포의 유무에 대한 판단이 일괄적으로 수행한다. 즉, 판단네트워크는 특징맵1(31) 내지 특징맵5(35)이 동시에 학습데이터를 기반으로 동시에 딥러닝되면서, 각각의 특징맵에 대한 결과값을 출력한다. 판단네트워크에서, 입력된 특징맵에 대해 기포의 존재유무에 따라, "정상" 또는 "불량" 두 가지 값 중 어느 한 개가 결과값으로 출력된다. 그리고, 판정네트워크(123)는 한 개의 ROI영상에 두 개의 후보위치가 존재하더라도 딥러닝 결과 한 개라도 기포가 존재하면 불량으로 판단되도록 설계된 것이 바람직하다.In the
예컨대, 판정네트워크(123)는 입력된 특징맵1(31) 내지 특징맵5(35)가 기포존재영상 또는 기포부존재영상 중 어느 것에 더 근접한 특징을 가진지로 특징맵1(31) 내지 특징맵5(35)에 대한 기포의 유무를 판단한다. 본 실시예에서는 설명의 편의를 위해, 후보위치1, 후보위치3 및 후보위치5에 홀(hole)이 존재하고, 후보위치2, 후보위치4 및 후보위치6에 기포가 존재한다고 가정한다. For example, the
판정네트워크(123)는 특징맵1(31)에 대해 학습데이터를 기반으로 딥러닝되면서 기포부존재영상의 특징맵과 매칭되면, 특징맵1(31)에 대해 "정상"으로 결과값을 출력한다. 또한, 판정네트워크(123)DPT 특징맵2(32)는 학습데이터를 기반으로 딥러닝되면서 기포존재영상의 특징맵과 매칭되면, 특징맵2(32)에 대해 "불량"으로 결과값이 산출된다. 이와 같은 과정이, 판정네트워크(123)에서 특징맵3 내지 특징맵5(33, 34, 35)에 대해서도 일괄적을 수행된다. 결과적으로, 후보위치4가 존재하는 특징맵3(33)은 "불량"으로, 후보위치5가 존재하는 특징맵4(34)는 "정상"으로, 후보위치6이 존재하는 특징맵5(35)는 "불량"으로 결과값이 산출된다. The
한편, 영역분할네트워크(125)는 공통네트워크(121)에서 입력된 특징맵을 판독용 ROI영상으로 변환하여, 판독용 ROI영상을 기저장된 학습데이터를 기반으로 딥러닝하여 기포결함영역을 도출한다. 영역분할네트워크(125)는 기포존재영상만 학습데이터로 학습되고, 기포존재영상에는 판정네트워크(123)에서 기포가 존재하는 것으로 판단된 영상이 포함된다. Meanwhile, the
구체적으로, 특징맵1(31) 내지 특징맵5(35)가 공통네트워크(121)에서 영역분할네트워크(125)로 입력된다. 특징맵이 공통네트워크(121)로 입력된 ROI영상크기로 업-샘플링된 판독용 ROI영상으로 변환된다. 도 8을 참조하면, 영역분할네트워크(125)에서, 7×7의 영상크기의 특징맵은 112×112의 ROI영상크기의 판독용 ROI영상으로 업샘플링된다. 판독용 ROI영상은 ROI영상의 각 픽셀이 기설정된 조건에 따라 0과 1로 이진화 처리된 것이다. Specifically, the feature map 1 (31) to the feature map 5 (35) are input from the
본 실시예에서는 설명의 편의를 위해, 특징맵1(31)이 업샘플링된 영상을 판독용 ROI영상1(41)이라 지칭하고, 특징맵2(32)가 업샘플링된 영상을 판독용 ROI영상2(42)라 지칭한다. 이와 동일한 방식으로, 특징맵3 내지 특징맵5(33, 34, 35)가 업샘플링된 영상을 판독용 ROI영상3 내지 ROI영상5(43, 44, 45)라 지칭한다. In this embodiment, for convenience of description, the image in which the feature map 1 (31) is upsampled is referred to as an ROI image 1 (41) for reading, and the image in which the feature map 2 (32) is upsampled is read as an ROI image for reading. Referred to as 2(42). In the same way, the images obtained by up-sampling the feature maps 3 through 5 (33, 34, 35) are referred to as read
그리고, 영역분할네트워크(125)에서, 판독용 ROI영상1 내지 판독용 ROI영상5(41, 42, 43, 44, 45)는 학습데이터를 기반으로 딥러닝된다. 본실시예에서, 판독용 ROI영상1 내지 판독용 ROI영상5(41, 42, 43, 44, 45)는 영역분할네트워크(125)에서 병렬구조로 딥러닝되어, 판독용 ROI영상1 내지 판독용 ROI영상5(41, 42, 43, 44, 45) 각각에서의 기포결함영역이 일괄적으로 도출된다. 이에 따라, 본 발명은 기포결함영역을 도출하는 검사속도를 향상시킬 수 있다. And, in the
이어서, 영역분할네트워크(125)는 판독용 ROI영상1 내지 판독용 ROI영상5(41, 42, 43, 44, 45)에서 기포결함영역이 도출되면, 기포결함영역이 표시된 결과이미지가 출력된다. 결과이미지는 판독용 ROI영상에서 기포결함영역이 주변과 구분되게 이미지처리된 것이다. 예시적으로, 결과이미지는 판독용 ROI영상에 기포결함영역이 주변과 다른 색상으로 표시된 것이다. Subsequently, when the region-
영역분할네트워크(125)는 특징맵1(31)에 대해 기저장된 학습데이터인 기포존재영상을 기반으로 딥러닝되어, 후보위치1(홀)이 기포존재영상에 매칭되지 않으면 쓰레기데이터로 처리된다. 이는, 후보위치1이 홀로 기판의 불량에 해당되지 않기 때문이다.The
영역분할네트워크(125)는 특징맵2(32)에 대해 학습데이터를 기반으로 딥러닝되면서, 후보위치2(기포)가 기포존재영상과 매칭되면, 후보위치2에 대한 부분이 기포결함영역으로 표시된다. 예컨대, 특징맵2(32)에 대한 판독용 ROI영상에 후보위치2에 대한 부분과 나머지 부분이 구분되게, 후보위치2에 대해 기판결함영역으로 표시된다. The
이와 같은 과정이 특징맵3 내지 특징맵5(33, 34, 35)에 대해서도 수행된다. 특징맵3(33) 및 특징맵5(35)는 기포가 존재하는 데이터로, 특징맵3(33)에 대한 판독용 ROI영상은 후보위치4에서 해당되는 부분이 기판결함영역으로 표시된다. 그리고, 특징맵5(35)에 대한 판독용 ROI영상은 후보위치6에 해당되는 부분이 기판결함영역으로 표시된다. 특징맵4(34)는 홀이 존재하는 데이터로, 특징맵4(34)에 대한 특징맵3 내지 특징맵5(33, 34, 35)특징맵3 내지 특징맵5(33, 34, 35)상은 쓰레기데이터로 처리된다. This process is also performed for the feature maps 3 to 5 (33, 34, 35). The feature map 3 (33) and the feature map 5 (35) are data in which air bubbles exist, and a portion corresponding to the ROI image for reading the feature map 3 (33) is displayed as a substrate defect area. In addition, in the ROI image for reading on the feature map 5 (35), a portion corresponding to the
영역분할네트워크(125)는 특징맵1(31) 내지 특징맵5(35)에 대해 병렬방식으로, 학습데이터를 기반으로 동시에 딥러닝되면서, 각각의 특징맵에 대한 결과이미지를 출력한다. 즉, 기포가 존재하는 것으로 판단된 특징맵2(32), 특징맵3(33) 및 특징맵5(35)에 대해서는 각각 기포결함영역이 표시된 결과이미지를 출력한다. 반면, 기포가 없는 것으로 판단된 특징맵1(31) 및 특징맵4(34)에 대해서는 쓰레기데이터로, 결과이미지가 출력되지 않는다.The
본 발명은 딥러닝 방식으로 입력데이터를 판단하는 구성을 판단네트워크와 영역분할네트워크(125)로 세분화하고, 판단네트워크와 영역분할네트워크(125)가 앞단인 공통네트워크(121)를 공유하게 설계됨에 따라, 입력데이터를 판단하는 속도를 향상시킬 수 있다. 이와 동시에, 본 발명은 네트워크의 구성을 단순화시켜 저비용으로 딥러닝을 수행토록 할 수 있다.According to the present invention, the configuration for determining the input data by the deep learning method is subdivided into the judgment network and the
한편, 결과이미지는 특징추출기반검사부(130)로 입력된다. 특징추출기반검사부(130)에서, 결과이미지는 기설정된 기반검사 알고리즘에 따라 영상처리되면서 기포결함영역에 대한 특징값이 산출된다. Meanwhile, the result image is input to the feature extraction-based
특징추출기반검사부(130)는 결과이미지가 기설정된 기반검사 알고리즘에 따라 기포결함영역에 대한 특징값이 산출되고, 특징값이 기설정된 불량판정범위에 포함되면 "불량"으로 최종판단되고, 특징값이 불량판정범위에 포함되지 않으면 "정상"으로 최종판단된다. 여기서, 불량판정범위는 기판에 따라 공정조건이 반영된 것으로서, 작업공정에 따라 조절된다. The feature extraction-based
기반검사 알고리즘은 결과이미지를 수치화하는 알고리즘으로, BLOB알고리즘이 적용될 수 있으나 반드시 이에 한정되는 것은 아니며, 영상을 수치화할 수 있는 알고리즘이면 다양한 알고리즘이 적용가능하다.The basic inspection algorithm is an algorithm for digitizing a result image, and a BLOB algorithm may be applied, but is not limited thereto, and various algorithms may be applied as long as it is an algorithm capable of quantifying an image.
상기와 같은 과정에 의해, 본 발명은 기판영상 중 기포로 예측되는 부분만을 ROI영상으로 추출하고, 딥러닝방식으로 ROI영상으로부터 기포의 유무판단 및 기포결함영역의 도출이 수행되어, 기포에 의한 기판의 불량을 신속하게 검사할 수 있다. Through the above-described process, the present invention extracts only the portion predicted as bubbles among the substrate images as an ROI image, and determines whether there are bubbles or not and deduces bubble defect areas from the ROI image by a deep learning method, thereby performing substrates by bubbles. Defects can be quickly inspected.
아울러, 본 발명은 ROI영상에 기포결함영역이 표시된 결과이미지를 이용하여, 공정조건이 반영된 특징추출기반검사를 수행함으로써, 문제가 되는 부분을 집중적으로 검사하는 동시에 공정조건에 부합하게 기포에 의한 기판의 불량을 검사할 수 있다. In addition, according to the present invention, by performing a feature extraction-based inspection in which the process conditions are reflected by using the result image in which the bubble defect area is displayed on the ROI image, the problem-intensive part is intensively inspected and the substrate by air bubbles conforms to the process conditions. You can inspect the defect.
즉, 본 발명은 기포에 의한 기판의 불량 검사를, 기판영상에서 기포로 예측되는 부분만을 ROI영상으로 생성하는 과정, ROI영상으로부터 기포의 유무판단 및 기포결함영역의 도출이 수행되는 과정, 마지막으로, ROI영상에 기포결함영역이 표시된 결과이미지가 특징추출기반검사가 수행됨에 공정조건에 부합하게 기포에 의한 기판의 불량을 최종판단하는 과정으로 세분화함으로써, 기판영상 전체를 대상으로 기포에 따른 기판불량을 검사하는 것이 아니라 결함이 예측되는 부분에 대해서는 기판불량검사가 수행되어, 기포에 의한 기판의 불량을 신속 및 정확하게 검사할 수 있다. That is, the present invention is a process of generating a defect inspection of a substrate due to bubbles, generating only a portion predicted as bubbles in the substrate image as an ROI image, determining whether there are bubbles or not and deriving a bubble defect region from the ROI image, finally In the ROI image, the result image in which the bubble defect area is displayed is characterized by performing the feature extraction-based inspection, so that the defects of the substrate due to bubbles are subdivided into the process of final judgment to meet the process conditions. The defect of the substrate is performed on the part where the defect is predicted, rather than the inspection, and the defect of the substrate due to air bubbles can be quickly and accurately inspected.
본 발명은 기판영상과 비교하여 적은 데이터용량을 가진 ROI영상이 딥러닝됨에 따라, 기판영상이 딥러닝되는 것과 비교하여 딥러닝 작업효율을 향상시킬 수 있는 동시에, 딥러닝결함판독부를 구현하는 시스템비용을 저비용으로 구현할 수 있다. According to the present invention, as the ROI image having a smaller data capacity is deeper compared to the substrate image, the system cost of realizing a deep learning defect reading unit can be improved while improving the deep learning work efficiency compared to the deep learning of the substrate image. Can be implemented at low cost.
이와 더불어, 본 발명은 딥러닝방식으로 기포결함영역이 도출된 후, 기포결함영역이 표시된 결과이미지에 대한 특징추출기반검사시, 공정조건에 반영되어 기포에 의한 기판의 불량유무가 판단됨에 따라, 딥러닝에 의해 기판 불량으로 판단된 기판에 대해, 작업자가 공정조건을 반영하여 육안으로 기판의 불량을 추가적으로 판단할 필요없어, 기포에 의한 기판의 불량을 자동으로 구현할 수 있다. In addition, according to the present invention, after the bubble defect area is derived by a deep learning method, when the feature extraction-based inspection of the result image in which the bubble defect area is displayed is reflected in the process conditions, the presence or absence of defects in the substrate due to bubbles is determined. With respect to the substrate determined as a substrate defect by deep learning, the operator does not need to additionally judge the defect of the substrate by visually reflecting the process conditions, so that the defect of the substrate due to air bubbles can be automatically implemented.
즉, 본 발명은 기포가 기판의 전체적인 결함에 문제가 되는 것인지 또는 기포가 존재하기는 하나 기판의 결함에 문제가 되지 않을 정도인지 여부를 세밀하게 파악할 수 있다. 이에 따라, 본 발명은 기포에 의한 기판의 불량을 신속 및 정확하게 검사할 수 있다. That is, the present invention can grasp in detail whether the bubble is a problem for the overall defect of the substrate or whether the bubble is present, but not so much as the defect of the substrate. Accordingly, the present invention can quickly and accurately inspect the defect of the substrate due to air bubbles.
이상에서 설명한 본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능함은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명백할 것이다.The present invention described above is not limited by the above-described embodiments and accompanying drawings, and various substitutions, modifications, and changes are possible within the scope of the present invention without departing from the technical spirit of the present invention. It will be obvious to those who have the knowledge of.
100: 기포에 의한 기판불량 검사시스템
110: 영상처리부
111: 기판영상생성부
113: 후보위치탐색부
115: ROI영상생성부
120: 딥러닝결함판단부
121: 공통네트워크
123: 판정네트워크
125: 영역분할네트워크
130: 특징추출기반검사부
140: 데이터저장부
150: 기판이동부
160: 머신비전부
161: 조명
163: 조명조절부
165: 카메라
100: substrate defect inspection system due to air bubbles
110: image processing unit 111: substrate image generation unit
113: candidate location search unit 115: ROI image generation unit
120: deep learning fault determination unit 121: common network
123: Judgment network 125: Area division network
130: feature extraction-based inspection unit 140: data storage unit
150: substrate moving unit 160: machine vision unit
161: lighting 163: lighting control unit
165: camera
Claims (12)
복수의 상기 촬영영상이 영상조합에 의해 생성된 기판영상에서 상기 기포로 예측되는 지점이 후보위치로 탐색되고, 상기 후보위치에 대한 후보영역이 상기 기판영상에서 추출되어 ROI영상으로 출력되는 영상처리부;
입력된 상기 ROI영상이 기저장된 학습데이터를 기반으로 딥러닝되면서, 상기 ROI영상에서의 상기 기포의 유무가 판단되고, 상기 ROI영상에 기포결함영역이 표시된 결과이미지가 출력되는 딥러닝결함판단부; 및
입력된 상기 결과이미지가 기설정된 기반검사 알고리즘에 따라 상기 기포결함영역에 대한 특징값이 산출되고, 상기 특징값이 기설정된 불량판정범위에 포함되면 "불량"으로 최종판단되고, 상기 특징값이 상기 불량판정범위에 포함되지 않으면 "정상"으로 최종판단되는 특징추출기반검사부를 포함하는 것을 특징으로 하는 기포에 의한 기판불량 검사시스템. In the substrate defect inspection system by the air bubbles to inspect the defects of the substrate due to air bubbles generated when the substrate is coated on the captured image of the substrate,
An image processing unit in which a plurality of the photographed images are predicted as candidate positions in the substrate image generated by the image combination as a candidate location, and a candidate region for the candidate location is extracted from the substrate image and output as an ROI image;
A deep learning defect determination unit in which the inputted ROI image is deep-learned based on pre-stored learning data, the presence or absence of the air bubbles in the ROI image is determined, and a result image in which a bubble defect region is displayed on the ROI image is output; And
When the input result image is based on a preset base inspection algorithm, a feature value for the bubble defect area is calculated, and if the feature value is included in a predetermined bad determination range, it is finally judged as "bad", and the feature value is the A substrate defect inspection system due to air bubbles, comprising a feature extraction-based inspection unit that is finally judged as "normal" if not included in the defect determination range.
상기 ROI영상이 신경망 입력데이터 형태로 정규화 처리되고, 다운-샘플링되어 특징맵(feature map)으로 변환되는 공통네트워크;
입력된 상기 특징맵이 기저장된 학습데이터를 기반으로 딥러닝되면서, 상기 기포의 유무가 판단되는 판정네트워크; 및
상기 특징맵이 상기 ROI영상의 크기로 업-샘플링되어 판독용 ROI영상으로 변환되고, 상기 판독용 ROI영상이 상기 학습데이터를 기반으로 딥러닝되면서 기포결함영역이 도출되면, 상기 판독용 ROI영상에 상기 기포결함영역이 표시된 결과이미지가 출력되는 영역분할네트워크를 포함하고,
상기 판독용 ROI영상은 상기 ROI영상크기로, 각 픽셀이 기설정된 조건에 따라 0과 1로 이진화 처리된 것을 특징으로 하는 기포에 의한 기판불량 검사시스템. According to claim 1, wherein the deep learning fault determination unit,
A common network in which the ROI image is normalized in the form of neural network input data, down-sampled and converted into a feature map;
A decision network in which the presence or absence of the air bubbles is determined while the input feature map is deep-learned based on pre-stored learning data; And
When the feature map is up-sampled to the size of the ROI image and converted into a ROI image for reading, and when the ROI image for reading is deep learning based on the learning data, a bubble defect region is derived, the ROI image is read And an area division network in which a result image in which the bubble defect area is displayed is output,
The ROI image for reading is the size of the ROI image, and each pixel is binarized to 0 and 1 according to a preset condition, thereby inspecting a substrate defect caused by air bubbles.
상기 공통네트워크와 상기 판정네트워크는 상기 기포존재영상과 상기 기포부존재영상이 상기 학습데이터로 학습되고,
상기 영역분할네트워크는 상기 기포존재영상만 상기 학습데이터로 학습되고, 상기 기포존재영상에는 상기 판정네트워크에서 상기 기포가 존재하는 것으로 판단된 영상이 포함되는 것을 특징으로 하는 기포에 의한 기판불량 검사시스템. According to claim 2,
In the common network and the determination network, the bubble existence image and the bubble absence image are learned as the learning data,
The area division network is a substrate defect inspection system due to air bubbles, characterized in that only the bubble existence image is learned as the learning data, and the bubble existence image includes an image determined to exist in the determination network.
기설정된 영상처리 알고리즘에 따라, 서로 다른 파장의 조명에서 촬영된 상기 복수의 촬영영상이 영상조합되어 상기 기판영상이 생성되는 기판영상생성부;
상기 영상처리 알고리즘에 따라, 상기 기판영상에서 상기 후보위치가 탐색되고, 탐색된 상기 후보위치에 나열된 리스트가 산출되는 후보위치탐색부; 및
상기 리스트에 따라, 상기 후보위치를 중심점으로 하여 상기 후보영역이 산출되고, 상기 기판영상에서 상기 후보영역이 추출되어 상기 ROI영상이 출력되는 ROI영상생성부를 포함하는 것을 특징으로 하는 기포에 의한 기판불량 검사시스템.According to claim 1, wherein the image processing unit,
A substrate image generation unit for generating the substrate image by combining images of the plurality of captured images shot at different wavelengths of illumination according to a preset image processing algorithm;
A candidate location search unit in which the candidate location is searched for in the substrate image, and a list listed in the searched candidate location is calculated according to the image processing algorithm; And
According to the list, the candidate region is calculated using the candidate position as a center point, and the candidate region is extracted from the substrate image, and the ROI image generating unit outputs the ROI image. Inspection system.
(A) 딥러닝결함판단부에서, 기포존재영상과 기포부존재영상이 학습데이터로 학습되는 단계;
(B) 영상처리부에서, 복수의 상기 촬영영상이 영상조합에 의해 생성된 기판영상에서 상기 기포로 예측되는 지점이 후보위치로 탐색되고, 상기 후보위치에 대한 후보영역이 상기 기판영상에서 추출되어 ROI영상으로 출력되는 단계;
(C) 상기 딥러닝결함판단부에서, 입력된 상기 ROI영상이 기저장된 학습데이터를 기반으로 딥러닝되면서, 상기 ROI영상에서의 상기 기포의 유무가 판단되고, 상기 ROI영상에 기포결함영역이 표시된 결과이미지가 출력되는 단계; 및
(D) 특징추출기반검사부에서, 상기 결과이미지가 기설정된 기반검사 알고리즘에 따라 상기 기포결함영역에 대한 특징값이 산출되고, 상기 특징값이 기설정된 불량판정범위에 포함되면 "불량"으로 최종판단되고, 상기 특징값이 상기 불량판정범위에 포함되지 않으면 "정상"으로 최종판단되는 단계를 포함하는 것을 특징으로 하는 기포에 의한 기판불량 검사방법.In the substrate defect inspection method by the air bubbles to inspect the defects of the substrate due to the air bubbles generated during the coating of the substrate in the photographed image taken,
(A) In the deep learning defect determination unit, the step of learning the bubble presence image and the bubble absence image as learning data;
(B) In the image processing unit, a point where a plurality of the photographed images are predicted as bubbles in a substrate image generated by an image combination is searched as a candidate location, and a candidate region for the candidate location is extracted from the substrate image and ROI is extracted. Outputting as an image;
(C) In the deep learning defect determination unit, while the inputted ROI image is deep learning based on pre-stored learning data, it is determined whether or not the air bubbles are present in the ROI image, and a bubble defect region is displayed on the ROI image. Outputting a result image; And
(D) In the feature extraction-based inspection unit, the feature image is calculated for the bubble defect area according to a preset base inspection algorithm, and when the feature value is included in a predetermined defect determination range, the final determination is made as "bad". And, if the feature value is not included in the defect determination range, the final defect is judged as "normal".
(B1) 기설정된 영상처리 알고리즘에 따라 상기 기판영상이 서로 다른 파장의 조명에서 촬영된 복수의 촬영영상들의 조합에 의해 생성되는 단계;
(B2) 상기 영상처리 알고리즘에 따라, 상기 기판영상에서 상기 후보위치가 탐색되고, 각각의 상기 후보위치에 나열된 리스트가 산출되는 단계;
(B3) 상기 리스트에 따라, 상기 후보위치를 중심점으로 하여 기설정된 크기를 가진 상기 후보영역이 산출되고, 기설정된 중첩영역제거 알고리즘에 따라, 상기 리스트에서 임의로 후보위치가 선택되면, 선택된 후보위치에 대한 선택후보영역의 중첩범위 내에서 미선택된 후보위치가 탐색되고, 탐색된 후보위치가 상기 리스트에서 제거되는 단계; 및
(B4) 상기 B3단계 후 상기 리스트에 따라, 상기 기판영상에서 상기 후보영역이 추출되어 상기 ROI영상이 출력되는 단계를 포함하는 것을 특징으로 하는 기포에 의한 기판불량 검사방법. The method of claim 5, wherein step (B),
(B1) generating the substrate image according to a preset image processing algorithm by a combination of a plurality of captured images taken in illumination of different wavelengths;
(B2) in accordance with the image processing algorithm, the candidate location is searched for in the substrate image, and a list listed in each candidate location is calculated;
(B3) According to the list, the candidate region having a predetermined size is calculated using the candidate location as a center point, and if a candidate location is randomly selected from the list according to a preset overlapping region removal algorithm, the selected candidate location is selected. Searching for an unselected candidate position within the overlapping range of the selected candidate candidate area and removing the searched candidate position from the list; And
(B4) After the step B3, according to the list, extracting the candidate region from the substrate image and outputting the ROI image.
상기 중첩범위는 상기 선택된 후보위치를 중심점으로 하여, 상기 선택후보영역의 면적의 1/2 범위 내로 상기 영상처리부에 기설정된 것을 특징으로 하는 기포에 의한 기판불량 검사방법.The method of claim 6,
The overlapping range is a substrate defect inspection method due to air bubbles, characterized in that the image processing unit is set in the range of 1/2 of the area of the selected candidate region, with the selected candidate position as a center point.
(C1) 공통네트워크로 상기 ROI영상이 입력되고, 상기 ROI영상이 신경망 입력데이터 형태로 정규화 처리되고, 다운-샘플링되어 특징맵(feature map)으로 변환되는 단계;
(C2) 상기 공통네트워크에서 판정네트워크로 상기 특징맵이 입력되고, 상기 특징맵이 상기 학습데이터를 기반으로 딥러닝되면서, 상기 기포의 유무가 판단되는 단계; 및
(C3) 상기 공통네트워크에서 영역분할네트워크로 상기 특징맵이 입력되고, 상기 특징맵이 상기 공통네트워크로 입력된 영상크기로 업-샘플링된 판독용 ROI영상으로 변환되고, 상기 판독용 ROI영상이 상기 학습데이터를 기반으로 딥러닝되면서 기포결함영역이 도출되면, 상기 판독용 ROI영상에 상기 기포결함영역이 표시된 결과이미지로 출력되는 단계를 포함하고,
상기 판독용 ROI영상은 상기 ROI영상의 각 픽셀이 기설정된 조건에 따라 0과 1로 이진화 처리된 것을 특징으로 하는 기포에 의한 기판불량 검사방법.The method of claim 5, wherein step C,
(C1) inputting the ROI image into a common network, normalizing the ROI image into a neural network input data, down-sampling and converting it into a feature map;
(C2) the feature map is input from the common network to the determination network, and the feature map is deep-learned based on the learning data, whereby the presence or absence of the bubble is determined; And
(C3) The feature map is input from the common network to an area division network, and the feature map is converted into an up-sampled read ROI image with an image size input to the common network, and the read ROI image is the When a bubble defect area is derived while deep learning is based on the learning data, a step of outputting a result image in which the bubble defect area is displayed on the ROI image for reading is included.
The read ROI image is a method for inspecting a substrate defect due to air bubbles, characterized in that each pixel of the ROI image is binarized to 0 and 1 according to predetermined conditions.
상기 C2단계 및 상기 C3단계는 상기 C1 단계 후 병렬처리되어, 상기 기포의 유무판단과 상기 기포결함영역의 도출이 개별적으로 수행되는 것을 특징으로 하는 기포에 의한 기판불량 검사방법.The method of claim 8,
Steps C2 and C3 are performed in parallel after the step C1, so that the determination of the presence or absence of the bubbles and the derivation of the bubble defect areas are performed separately, wherein the method for inspecting substrate defects due to bubbles is performed.
상기 판정네트워크는 입력된 복수의 상기 특징맵이 병렬구조로 딥러닝되어, 상기 복수의 특징맵에서의 상기 기포의 유무에 대한 판단이 일괄적으로 수행되는 것을 특징으로 하는 기포에 의한 기판불량 검사방법. The method of claim 8, wherein in step C2,
In the determination network, a method for inspecting a substrate defect due to air bubbles is characterized in that a plurality of input feature maps are deep-learned in a parallel structure, whereby the determination of the presence or absence of the air bubbles in the plurality of feature maps is performed collectively. .
상기 영역분할네트워크는 입력된 복수의 상기 판독용 ROI영상이 병렬구조로 딥러닝되어, 상기 복수의 판독용 ROI영상에서의 상기 기포결함영역의 도출이 일괄적으로 수행되는 것을 특징으로 하는 기포에 의한 기판불량 검사방법.The method of claim 8, wherein in step C3,
In the region division network, a plurality of inputted ROI images are deep-learned in a parallel structure to derive the bubble-defective regions from the plurality of readout ROI images collectively. Substrate defect inspection method.
상기 공통네트워크 및 상기 판정네트워크는 상기 기포존재영상과 상기 기포부존재영상이 상기 학습데이터로 학습되고,
상기 영역분할네트워크는 상기 기포존재영상만 학습데이터로 학습되고, 상기 기포존재영상에는 상기 판정네트워크에서 상기 기포가 존재하는 것으로 판단된 영상이 포함되는 것을 특징으로 하는 기포에 의한 기판불량 검사방법.The method of claim 8, wherein in step C,
In the common network and the determination network, the bubble existence image and the bubble absence image are learned as the learning data,
The region segmentation network is a method for inspecting substrate defects due to air bubbles, characterized in that only the air bubble existing image is learned as learning data, and the air bubble existence image includes an image in which the air bubbles are determined to exist in the determination network.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190003058A KR102172768B1 (en) | 2019-01-10 | 2019-01-10 | System for inspecting substrate defects by bubbles and Method for inspecting substrate defects by bubbles |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190003058A KR102172768B1 (en) | 2019-01-10 | 2019-01-10 | System for inspecting substrate defects by bubbles and Method for inspecting substrate defects by bubbles |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200086812A true KR20200086812A (en) | 2020-07-20 |
| KR102172768B1 KR102172768B1 (en) | 2020-11-02 |
Family
ID=71831913
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190003058A KR102172768B1 (en) | 2019-01-10 | 2019-01-10 | System for inspecting substrate defects by bubbles and Method for inspecting substrate defects by bubbles |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102172768B1 (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112085715A (en) * | 2020-09-01 | 2020-12-15 | 工业互联网创新中心（上海）有限公司 | Novel tin bead detection system and detection method |
| KR102346676B1 (en) * | 2021-07-23 | 2022-01-03 | 주원씨엔시 주식회사 | Method for creating damage figure using the deep learning-based damage image classification of facility |
| KR20220079006A (en) * | 2020-12-04 | 2022-06-13 | 서울과학기술대학교 산학협력단 | Device, method and system for recommending object |
| CN117611563A (en) * | 2023-12-04 | 2024-02-27 | 东莞市隆亨钧精密制造有限公司 | Plastic mold production defect detection method based on image processing |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20230063102A1 (en) * | 2021-08-25 | 2023-03-02 | Kla Corporation | Methods And Systems For Selecting Wafer Locations To Characterize Cross-Wafer Variations Based On High-Throughput Measurement Signals |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101711073B1 (en) * | 2016-07-25 | 2017-02-28 | (주)제이엘케이인스펙션 | Micro cracks detection device and method of flexible touch screen panel using deep learning algorithm |
| KR20180004046A (en) * | 2017-12-21 | 2018-01-10 | 동우 화인켐 주식회사 | Apparatus and method for inspection |
| KR101848173B1 (en) | 2016-11-24 | 2018-05-24 | 한양대학교 산학협력단 | Apparatus and method for printed circuit board coating inspection |
| KR101863196B1 (en) * | 2017-07-24 | 2018-06-01 | 한국생산기술연구원 | An Apparatus and A Method For Detecting A Defect On Surfaces Based On Deep Learning |
-
2019
- 2019-01-10 KR KR1020190003058A patent/KR102172768B1/en active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101711073B1 (en) * | 2016-07-25 | 2017-02-28 | (주)제이엘케이인스펙션 | Micro cracks detection device and method of flexible touch screen panel using deep learning algorithm |
| KR101848173B1 (en) | 2016-11-24 | 2018-05-24 | 한양대학교 산학협력단 | Apparatus and method for printed circuit board coating inspection |
| KR101863196B1 (en) * | 2017-07-24 | 2018-06-01 | 한국생산기술연구원 | An Apparatus and A Method For Detecting A Defect On Surfaces Based On Deep Learning |
| KR20180004046A (en) * | 2017-12-21 | 2018-01-10 | 동우 화인켐 주식회사 | Apparatus and method for inspection |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112085715A (en) * | 2020-09-01 | 2020-12-15 | 工业互联网创新中心（上海）有限公司 | Novel tin bead detection system and detection method |
| KR20220079006A (en) * | 2020-12-04 | 2022-06-13 | 서울과학기술대학교 산학협력단 | Device, method and system for recommending object |
| KR102346676B1 (en) * | 2021-07-23 | 2022-01-03 | 주원씨엔시 주식회사 | Method for creating damage figure using the deep learning-based damage image classification of facility |
| CN117611563A (en) * | 2023-12-04 | 2024-02-27 | 东莞市隆亨钧精密制造有限公司 | Plastic mold production defect detection method based on image processing |
| CN117611563B (en) * | 2023-12-04 | 2024-05-10 | 东莞市隆亨钧精密制造有限公司 | Plastic mold production defect detection method based on image processing |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102172768B1 (en) | 2020-11-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20200086812A (en) | System for inspecting substrate defects by bubbles and Method for inspecting substrate defects by bubbles | |
| US11636585B2 (en) | Substrate defect inspection apparatus, substrate defect inspection method, and storage medium | |
| US7162073B1 (en) | Methods and apparatuses for detecting classifying and measuring spot defects in an image of an object | |
| TWI412739B (en) | Defect detection method and defect detection apparatus | |
| US20230386013A1 (en) | Method and system for scanning wafer | |
| KR102168724B1 (en) | Method And Apparatus for Discriminating Normal and Abnormal by using Vision Inspection | |
| KR100598381B1 (en) | in-line typed apparatus for auto wafer-defect classification and control method thereof | |
| CN109738450B (en) | Method and device for detecting notebook keyboard | |
| CN113160161A (en) | Method and device for detecting defects at edge of target | |
| JP2020106461A (en) | Image generation device and appearance inspection device | |
| CN110672620B (en) | Chip defect detection method and system | |
| JP4910128B2 (en) | Defect inspection method for object surface | |
| Iwahori et al. | Defect classification of electronic board using dense SIFT and CNN | |
| JP2015040827A (en) | Defect determination device, and defect determination method | |
| WO2014103617A1 (en) | Alignment device, defect inspection device, alignment method, and control program | |
| CN110288040A (en) | A kind of similar evaluation method of image based on validating topology and equipment | |
| JP3589424B1 (en) | Board inspection equipment | |
| JP2020085774A (en) | Method for inspecting tube glass, method for learning, and tube glass inspection device | |
| KR20160097651A (en) | Apparatus and Method for Testing Pattern of Sample using Validity Image Processing Technique, and computer-readable recording medium with program therefor | |
| JP2013205320A (en) | Inspection condition determination method, inspection method, and inspection device | |
| CN115100166A (en) | Welding spot defect detection method and device | |
| Shreya et al. | Design of machine vision system for high speed manufacturing environments | |
| JP3233205B2 (en) | Circuit inspection method and device | |
| JP2009074828A (en) | Flaw detection method and flaw detector | |
| JP3753234B2 (en) | Defect detection method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |