KR102618194B1 - Semiconductor package board processing hole 3d automatic process inspection method and system - Google Patents
Semiconductor package board processing hole 3d automatic process inspection method and system Download PDFInfo
- Publication number
- KR102618194B1 KR102618194B1 KR1020230094802A KR20230094802A KR102618194B1 KR 102618194 B1 KR102618194 B1 KR 102618194B1 KR 1020230094802 A KR1020230094802 A KR 1020230094802A KR 20230094802 A KR20230094802 A KR 20230094802A KR 102618194 B1 KR102618194 B1 KR 102618194B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- depth
- focus
- semiconductor package
- images
- Prior art date
Links
- 239000004065 semiconductor Substances 0.000 title claims abstract description 65
- 238000000034 method Methods 0.000 title claims abstract description 62
- 238000007689 inspection Methods 0.000 title claims abstract description 54
- 238000012545 processing Methods 0.000 title claims abstract description 54
- 230000008569 process Effects 0.000 title claims abstract description 44
- 239000000758 substrate Substances 0.000 claims abstract description 62
- 238000004806 packaging method and process Methods 0.000 claims abstract description 33
- 238000005516 engineering process Methods 0.000 claims abstract description 28
- 238000012937 correction Methods 0.000 claims abstract description 16
- 230000007547 defect Effects 0.000 claims description 42
- 238000003754 machining Methods 0.000 claims description 23
- 238000001514 detection method Methods 0.000 claims description 18
- 230000003287 optical effect Effects 0.000 claims description 13
- 238000013135 deep learning Methods 0.000 claims description 11
- 238000006073 displacement reaction Methods 0.000 claims description 11
- 238000005259 measurement Methods 0.000 claims description 10
- 239000003086 colorant Substances 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 4
- 238000013523 data management Methods 0.000 description 3
- 230000002950 deficient Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 239000011347 resin Substances 0.000 description 3
- 229920005989 resin Polymers 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000011179 visual inspection Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000013434 data augmentation Methods 0.000 description 1
- 239000012535 impurity Substances 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/93—Detection standards; Calibrating baseline adjustment, drift correction
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8854—Grading and classifying of flaws
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N2201/00—Features of devices classified in G01N21/00
- G01N2201/10—Scanning
- G01N2201/104—Mechano-optical scan, i.e. object and beam moving
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N2201/00—Features of devices classified in G01N21/00
- G01N2201/12—Circuits of general importance; Signal processing
- G01N2201/127—Calibration; base line adjustment; drift compensation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/06—Recognition of objects for industrial automation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Evolutionary Computation (AREA)
- Biochemistry (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Analytical Chemistry (AREA)
- Chemical & Material Sciences (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Quality & Reliability (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Signal Processing (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
본 발명은 AI와 자동제어 기술을 접목한 반도체 패키지 기판 가공홀 3D 자동 공정검사 방법 및 시스템에 관한 것으로, 본 발명에 따른 AI와 자동제어 기술을 접목한 반도체 패키지 기판 가공홀 3D 자동 공정검사 방법은 위치교정부가 전동 스테이지의 4개의 모서리와 중앙을 기준으로 하여 반도체 패키징 기판의 위치를 교정하는 제1 단계; 및 X-Y 위치제어부가 상기 반도체 패키징 기판에 형성되는 가공홀의 정보를 포함하는 가공홀 데이터를 수신하여, 상기 가공홀의 위치가 2D 광학 현미경의 대물렌즈의 중앙에 위치하도록 상기 전동 스테이지를 이동시키는 제2 단계;를 포함하여 구성된다.The present invention relates to a 3D automatic process inspection method and system for semiconductor package substrate processing holes that combines AI and automatic control technology. The 3D automatic process inspection method for semiconductor package substrate processing holes that combines AI and automatic control technology according to the present invention A first step in which the position correction unit corrects the position of the semiconductor packaging substrate based on the four corners and center of the motorized stage; And a second step in which the It consists of ;.
Description
본 발명은 AI와 자동제어 기술을 접목한 반도체 패키지 기판 가공홀 3D 자동 공정검사 방법 및 시스템에 관한 것으로, 보다 상세하게는 패키징 기판 가공홀의 검사 시에 AI 기반의 품질검사로 불량원인을 분석하여 생산공정 개선을 통한 불량제품 감소 및 원가절감이 가능한 AI와 자동제어 기술을 접목한 반도체 패키지 기판 가공홀 3D 자동 공정검사 방법 및 시스템에 관한 것이다.The present invention relates to a 3D automatic process inspection method and system for semiconductor package substrate processing holes that combines AI and automatic control technology. More specifically, the cause of defects is analyzed through AI-based quality inspection when inspecting packaging substrate processing holes for production. It is about a 3D automatic process inspection method and system for semiconductor package substrate processing holes that combines AI and automatic control technology to reduce defective products and reduce costs through process improvement.
품질관리 측면에서 핵심 공정인 레이저 가공 공정에서 수행되는 반도체 인쇄기판 품질측정 검사방식은 작업자의 육안검사에 의존하여 양품과 불량품을 판정하고 있으므로, 작업 능률과 육안검사의 한계점을 안고 있다.In terms of quality control, the quality measurement and inspection method of semiconductor printed circuit boards performed in the laser processing process, which is a key process, relies on the operator's visual inspection to determine good and defective products, and thus has limitations in work efficiency and visual inspection.
수작업으로 이루어지는 홀 사이즈 크기 측정방식은 작업자의 숙련도와 홀 판단 기준에 따라 정확성과 측정 사이즈에 오차가 발생할 수 있으며, 많은 시간이 소요되고, 가공 홀의 깊이와 편심을 측정할 수 없었다.The manual hole size measurement method can cause errors in accuracy and measurement size depending on the operator's skill level and hole judgment standards, takes a lot of time, and cannot measure the depth and eccentricity of the machined hole.
일반 반도체 패키징 기판 기판의 경우 AOI(Automated Optical Inspection: 자동 광학 검사) 시스템을 활용해 자동검사가 가능하지만, 반도체 패키지 기판의 경우 반도체 표면의 레진 처리로 인해 레이저 가공 시, 불순물 생성 등으로 인해 AOI 시스템 도입으로는 한계가 존재하였다.In the case of general semiconductor packaging substrates, automatic inspection is possible using the AOI (Automated Optical Inspection) system, but in the case of semiconductor package substrates, the AOI system is damaged due to the generation of impurities during laser processing due to resin treatment of the semiconductor surface. There were limitations to its introduction.
전술한 문제를 해결하기 위한 본 발명의 일실시예에 따른 AI와 자동제어 기술을 접목한 반도체 패키지 기판 가공홀 3D 자동 공정검사 방법은 위치교정부가 전동 스테이지의 4개의 모서리와 중앙을 기준으로 하여 반도체 패키징 기판의 위치를 교정하는 제1 단계; 및 X-Y 위치제어부가 상기 반도체 패키징 기판에 형성되는 가공홀의 정보를 포함하는 가공홀 데이터를 수신하여, 상기 가공홀의 위치가 2D 광학 현미경의 대물렌즈의 중앙에 위치하도록 상기 전동 스테이지를 이동시키는 제2 단계;를 포함하여 구성된다.In order to solve the above-described problem, the 3D automatic process inspection method of a semiconductor package substrate processing hole combining AI and automatic control technology according to an embodiment of the present invention has the position correction unit inspecting the semiconductor using the four corners and center of the motorized stage as a reference. A first step of correcting the position of the packaging substrate; And a second step in which the It consists of ;.
본 발명의 다른 일실시예에 따르면, 상기 제1 단계는 상기 위치교정부가 레이저 변위센서에서 감지되는 전동 스테이지의 4개의 모서리와 중앙을 기준으로 하여 반도체 패키징 기판의 위치를 교정할 수 있다.According to another embodiment of the present invention, in the first step, the position correction unit may correct the position of the semiconductor packaging substrate based on the four corners and center of the motorized stage detected by the laser displacement sensor.
본 발명의 다른 일실시예에 따르면, 상기 제2 단계는 상기 X-Y 위치제어부가 상기 반도체 패키징 기판에 형성되는 가공홀의 정보를 포함하는 가공홀 데이터를 수신하는 단계; 및 상기 X-Y 위치제어부가 레이저 변위센서에서 감지되는 상기 가공홀의 위치가 2D 광학 현미경의 대물렌즈의 중앙에 위치하도록 상기 전동 스테이지를 이동시키는 단계;를 포함할 수 있다.According to another embodiment of the present invention, the second step includes the X-Y position control unit receiving processing hole data including information on processing holes formed in the semiconductor packaging substrate; And the X-Y position control unit moves the motorized stage so that the position of the processing hole detected by the laser displacement sensor is located at the center of the objective lens of the 2D optical microscope.
본 발명의 다른 일실시예에 따르면, 이미지 생성부가 가변 초점카메라에서 다양한 초점거리에서 촬영한 다수의 2D 이미지를 이용해 3D EDOF(Extended Depth of Focus) 이미지 및 3D DOF(Depth of Field) 이미지를 생성하는 제3 단계; 및 측정 검사부가 3D EDOF(Extended Depth of Focus) 이미지 및 3D DOF(Depth of Field) 이미지에서 가공 홀을 측정 및 검사하는 제4 단계;를 더 포함할 수 있다.According to another embodiment of the present invention, the image generator generates a 3D EDOF (Extended Depth of Focus) image and a 3D DOF (Depth of Field) image using a plurality of 2D images taken at various focal distances from a variable focus camera. Step 3; and a fourth step in which the measurement and inspection unit measures and inspects the machining hole in the 3D Extended Depth of Focus (EDOF) image and the 3D Depth of Field (DOF) image.
본 발명의 다른 일실시예에 따르면, 상기 제4 단계의 이후에, 불량 판정부가 딥러닝 기반의 객체 탐지 모델을 사용하여 상기 2D 이미지, 상기 3D EDOF(Extended Depth of Focus) 이미지 및 3D DOF(Depth of Field) 이미지로부터 상기 가공 홀의 불량을 검출하는 단계;를 더 포함할 수 있다.According to another embodiment of the present invention, after the fourth step, the defect determination unit uses a deep learning-based object detection model to detect the 2D image, the 3D Extended Depth of Focus (EDOF) image, and the 3D Depth of Focus (DOF). of Field) may further include detecting defects in the machining hole from the image.
본 발명의 일실시예에 따른 AI와 자동제어 기술을 접목한 반도체 패키지 기판 가공홀 3D 자동 공정검사 시스템은 위치교정부가 전동 스테이지의 4개의 모서리와 중앙을 기준으로 하여 반도체 패키징 기판의 위치를 교정하는 위치교정부; 및 상기 반도체 패키징 기판에 형성되는 가공홀의 정보를 포함하는 가공홀 데이터를 수신하여, 상기 가공홀의 위치가 2D 광학 현미경의 대물렌즈의 중앙에 위치하도록 상기 전동 스테이지를 이동시키는 X-Y 위치제어부;를 포함하여 구성된다.The 3D automatic process inspection system for semiconductor package substrate processing holes that combines AI and automatic control technology according to an embodiment of the present invention has a position correction unit that corrects the position of the semiconductor packaging substrate based on the four corners and center of the motorized stage. Position correction unit; And an It is composed.
본 발명의 다른 일실시예에 따르면, 상기 위치교정부는 레이저 변위센서에서 감지되는 전동 스테이지의 4개의 모서리와 중앙을 기준으로 하여 반도체 패키징 기판의 위치를 교정할 수 있다.According to another embodiment of the present invention, the position correction unit can correct the position of the semiconductor packaging substrate based on the four corners and center of the motorized stage detected by the laser displacement sensor.
본 발명의 다른 일실시예에 따르면, 상기 X-Y 위치제어부는 상기 반도체 패키징 기판에 형성되는 가공홀의 정보를 포함하는 가공홀 데이터를 수신하고, 레이저 변위센서에서 감지되는 상기 가공홀의 위치가 2D 광학 현미경의 대물렌즈의 중앙에 위치하도록 상기 전동 스테이지를 이동시킬 수 있다.According to another embodiment of the present invention, the The motorized stage can be moved to be located in the center of the objective lens.
본 발명의 다른 일실시예에 따르면, 가변 초점카메라에서 다양한 초점거리에서 촬영한 다수의 2D 이미지를 이용해 3D EDOF(Extended Depth of Focus) 이미지 및 3D DOF(Depth of Field) 이미지를 생성하는 이미지 생성부; 및 3D EDOF(Extended Depth of Focus) 이미지 및 3D DOF(Depth of Field) 이미지에서 가공 홀을 측정 및 검사하는 측정 검사부;를 더 포함할 수 있다.According to another embodiment of the present invention, an image generator that generates a 3D Extended Depth of Focus (EDOF) image and a 3D Depth of Field (DOF) image using a plurality of 2D images taken at various focal lengths from a variable focus camera. ; and a measurement inspection unit that measures and inspects the machining hole in a 3D EDOF (Extended Depth of Focus) image and a 3D DOF (Depth of Field) image.
본 발명의 다른 일실시예에 따르면, 딥러닝 기반의 객체 탐지 모델을 사용하여 상기 2D 이미지, 상기 3D EDOF(Extended Depth of Focus) 이미지 및 3D DOF(Depth of Field) 이미지로부터 상기 가공 홀의 불량을 검출하는 불량 판정부;를 더 포함할 수 있다.According to another embodiment of the present invention, defects in the machining hole are detected from the 2D image, the 3D Extended Depth of Focus (EDOF) image, and the 3D Depth of Field (DOF) image using a deep learning-based object detection model. It may further include a defect determination unit.
본 발명에 따르면 2D 광학현미경에 가변초점카메라를 부착하고, 반도체 패키징 기판 가공홀 파일의 홀 좌표를 전동스테이지와 연동하여 자동으로 가공홀에 대한 슬라이스 2D 이미지를 촬영하고 슬라이스 2D 이미지를 처리하여 3D 이미지를 생성한 후, 반도체 패키징 기판 가공홀의 상단홀, 하단홀 크기, 홀 깊이를 측정하여 진원도, 편심 등(치수 불량)의 검사를 진행하고, AI 모델을 통해 미가공, 관통, 레진 잔사, 스크래치, 찍힘 등(외형 불량)을 검사하고 MES 공정데이터와 연동하며, 비전검사(공정검사) 데이터를 빅데이터 분석을 하여, 불량 유형과 불량원인과의 관계를 분석하고, 가공레이저의 출력과 반도체 패키징 기판 재질 및 불량 유형과의 관계를 분석하여, 공정개선을 통한 반도체 패키지 기판 가공홀의 불량을 최소화할 수 있다.According to the present invention, a variable focus camera is attached to a 2D optical microscope, and the hole coordinates of the semiconductor packaging substrate processing hole file are linked with the motorized stage to automatically capture a slice 2D image of the processing hole and process the slice 2D image to create a 3D image. After creating, the upper hole, lower hole size, and hole depth of the semiconductor packaging substrate processing hole are inspected for roundness, eccentricity, etc. (dimensional defects), and through the AI model, unprocessed, penetrated, resin residue, scratch, and nicked areas are inspected. (outward appearance defects) are inspected and linked with MES process data, and vision inspection (process inspection) data is analyzed as big data to analyze the relationship between defect types and defect causes, processing laser output and semiconductor packaging substrate material. By analyzing the relationship between and defect types, defects in semiconductor package substrate processing holes can be minimized through process improvement.
또한, 본 발명에 따르면 반도체 패키징 기판 가공홀의 검사 시에 AI 기반의 품질검사로 불량원인을 분석하여 생산공정 개선을 통한 불량제품 감소 및 원가절감이 가능하다.In addition, according to the present invention, it is possible to reduce defective products and reduce costs through production process improvement by analyzing the cause of defects through AI-based quality inspection when inspecting processing holes of semiconductor packaging substrates.
또한, 본 발명에 따르면 기존의 2D 광학현미경에 가변초점카메라와 전동스테이지를 추가로 부착하여 저렴한 가격으로 3D 비전검사 시스템을 구축할 수 있으며, 숙련된 검사인력 없이도 신뢰성 높은 품질검사가 가능하여 산업 경쟁력을 높일 수 있다.In addition, according to the present invention, a 3D vision inspection system can be built at a low price by additionally attaching a variable focus camera and a motorized stage to an existing 2D optical microscope, and highly reliable quality inspection is possible without skilled inspection personnel, increasing industrial competitiveness. can increase.
도 1은 본 발명의 일실시예에 따른 AI와 자동제어 기술을 접목한 반도체 패키지 기판 가공홀 3D 자동 공정검사 방법 및 시스템을 설명하기 위한 도면이다.
도 2는 본 발명의 일실시예에 따른 AI와 자동제어 기술을 접목한 반도체 패키지 기판 가공홀 3D 자동 공정검사 방법을 설명하기 위한 흐름도이다.
도 3 및 도 4는 본 발명의 일실시예에 따른 다수의 2D 이미지를 이용해 3D EDOF(Extended Depth of Focus) 이미지 및 3D DOF(Depth of Field) 이미지를 생성 및 검사 방법을 설명하기 위한 도면이다.
도 5는 본 발명의 일실시예에 따른 AI와 자동제어 기술을 접목한 반도체 패키지 기판 가공홀 3D 자동 공정검사 시스템의 구성도이다.
도 6은 본 발명의 일실시예에 따른 AI와 자동제어 기술을 접목한 반도체 패키지 기판 가공홀 3D 자동 공정검사 시스템을 설명하기 위한 도면이다.Figure 1 is a diagram for explaining a 3D automatic process inspection method and system for a semiconductor package substrate processing hole combining AI and automatic control technology according to an embodiment of the present invention.
Figure 2 is a flowchart illustrating a 3D automatic process inspection method of a semiconductor package substrate processing hole combining AI and automatic control technology according to an embodiment of the present invention.
3 and 4 are diagrams for explaining a method of generating and inspecting a 3D Extended Depth of Focus (EDOF) image and a 3D Depth of Field (DOF) image using multiple 2D images according to an embodiment of the present invention.
Figure 5 is a configuration diagram of a 3D automatic process inspection system for semiconductor package substrate processing holes combining AI and automatic control technology according to an embodiment of the present invention.
Figure 6 is a diagram for explaining a 3D automatic process inspection system for semiconductor package substrate processing holes combining AI and automatic control technology according to an embodiment of the present invention.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.Since the present invention can be modified in various ways and can have various embodiments, specific embodiments will be illustrated in the drawings and described in detail in the detailed description. However, this is not intended to limit the present invention to specific embodiments, and should be understood to include all transformations, equivalents, and substitutes included in the spirit and technical scope of the present invention.
다만, 실시형태를 설명함에 있어서, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략한다. 또한, 도면에서의 각 구성요소들의 크기는 설명을 위하여 과장될 수 있으며, 실제로 적용되는 크기를 의미하는 것은 아니다.However, in describing the embodiments, if it is determined that specific descriptions of related known functions or configurations may unnecessarily obscure the gist of the present invention, detailed descriptions thereof will be omitted. Additionally, the size of each component in the drawings may be exaggerated for explanation and does not mean the actual size.
또한, 명세서 전체에서, 일 구성요소가 다른 구성요소와 "연결된다" 거나 "접속된다" 등으로 언급된 때에는, 상기 일 구성요소가 상기 다른 구성요소와 직접 연결되거나 또는 직접 접속될 수도 있지만, 특별히 반대되는 기재가 존재하지 않는 이상, 중간에 또 다른 구성요소를 매개하여 연결되거나 또는 접속될 수도 있다고 이해되어야 할 것이다. 또한, 명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.In addition, throughout the specification, when a component is referred to as "connected" or "connected" to another component, the component may be directly connected or directly connected to the other component, but in particular Unless there is a contrary description, it should be understood that it may be connected or connected through another component in the middle. In addition, throughout the specification, when a part "includes" a certain element, this means that it may further include other elements rather than excluding other elements, unless specifically stated to the contrary.
도 1은 본 발명의 일실시예에 따른 AI와 자동제어 기술을 접목한 반도체 패키지 기판 가공홀 3D 자동 공정검사 방법 및 시스템을 설명하기 위한 도면이다.Figure 1 is a diagram for explaining a 3D automatic process inspection method and system for a semiconductor package substrate processing hole combining AI and automatic control technology according to an embodiment of the present invention.
본 발명의 일실시예에 따른 AI와 자동제어 기술을 접목한 반도체 패키지 기판 가공홀 3D 자동 공정검사 시스템은 AI 자동 공정검사 시스템으로서, 검사자동 제어 시스템, 이미지 프로세싱 시스템 및 공정검사 분류 시스템을 포함하여 구성된다.The 3D automatic process inspection system for semiconductor package substrate processing holes combining AI and automatic control technology according to an embodiment of the present invention is an AI automatic process inspection system, including an automatic inspection control system, an image processing system, and a process inspection classification system. It is composed.
상기 검사자동 제어 시스템은 전동 스테이지의 4개의 모서리와 중앙을 기준으로 하여 반도체 패키징 기판의 위치를 교정하고, 상기 반도체 패키징 기판에 형성되는 가공홀의 정보를 포함하는 가공홀 데이터를 수신하여, 상기 가공홀의 위치가 2D 광학 현미경의 대물렌즈의 중앙에 위치하도록 상기 전동 스테이지를 이동시킨다.The automatic inspection control system corrects the position of the semiconductor packaging substrate based on the four corners and center of the motorized stage, receives processing hole data including information on the processing hole formed in the semiconductor packaging substrate, and detects the processing hole of the processing hole. The motorized stage is moved so that the position is located in the center of the objective lens of the 2D optical microscope.
또한, 상기 이미지 프로세싱 시스템은 가변 초점카메라에서 다양한 초점거리에서 촬영한 다수의 2D 이미지를 이용해 3D EDOF(Extended Depth of Focus) 이미지 및 3D DOF(Depth of Field) 이미지를 생성하고, 3D EDOF(Extended Depth of Focus) 이미지 및 3D DOF(Depth of Field) 이미지에서 가공 홀을 측정 및 검사한다.In addition, the image processing system generates 3D EDOF (Extended Depth of Focus) images and 3D DOF (Depth of Field) images using multiple 2D images taken at various focal lengths from a variable focus camera, and 3D EDOF (Extended Depth) images. of Focus) images and 3D DOF (Depth of Field) images to measure and inspect machining holes.
이때, 상기 2D 이미지, 상기 3D EDOF 이미지 및 상기 3D DOF 이미지는 진원도, 편심, 홀확장 등의 데이터 라벨링이 표시될 수 있으며, 이와 같은 이미지 데이터를 수집 및 저장 플랫폼에서 수집, 저장 및 활용하여, AI 플랫폼에서 딥러닝 기반의 객체 탐지 모델을 학습하며, 이때 데이터 전처리 및 모델 학습을 통해 모델을 생성할 수 있다.At this time, the 2D image, the 3D EDOF image, and the 3D DOF image may display data labeling such as roundness, eccentricity, and hole expansion, and such image data is collected, stored, and utilized on a collection and storage platform, and AI A deep learning-based object detection model is learned on the platform, and a model can be created through data preprocessing and model learning.
또한, 상기 공정검사 분류 시스템은 공정검사 이력 데이터를 이용하여 반도체패키징 기판의 불량 현황, 불량 검출 현황 등 전반적인 공정 현황을 실시간으로 모니터링할 수 있다.In addition, the process inspection classification system can monitor the overall process status, such as defect status and defect detection status of semiconductor packaging substrates, in real time using process inspection history data.
도 2는 본 발명의 일실시예에 따른 AI와 자동제어 기술을 접목한 반도체 패키지 기판 가공홀 3D 자동 공정검사 방법을 설명하기 위한 흐름도이다.Figure 2 is a flowchart illustrating a 3D automatic process inspection method of a semiconductor package substrate processing hole combining AI and automatic control technology according to an embodiment of the present invention.
이후부터는 도 2를 참조하여 본 발명의 일실시예에 따른 AI와 자동제어 기술을 접목한 반도체 패키지 기판 가공홀 3D 자동 공정검사 방법을 설명하기로 한다.From now on, a 3D automatic process inspection method of a semiconductor package substrate processing hole combining AI and automatic control technology according to an embodiment of the present invention will be described with reference to FIG. 2.
본 발명의 일실시예에 따른 AI와 자동제어 기술을 접목한 반도체 패키지 기판 가공홀 3D 자동 공정검사 방법에 의하면, 먼저 2D 광학 현미경과 가변 초점카메라를 설정하며(S101), 이때 상기 2D 광학 현미경에 상기 가변 초점카메라를 설치하고, 상기 2D 광학 현미경의 측정배율과 상기 가변 초점카메라의 가변초점 범위를 설정할 수 있다.According to the 3D automatic process inspection method of a semiconductor package substrate processing hole combining AI and automatic control technology according to an embodiment of the present invention, first, a 2D optical microscope and a variable focus camera are set up (S101), and at this time, the 2D optical microscope is The variable focus camera can be installed, and the measurement magnification of the 2D optical microscope and the variable focus range of the variable focus camera can be set.
이와 같은 설정 이후에는 반도체 패킹징 기판(PCB)를 전동 스테이지의 측정위치에 고정한다(S102). 이때, 상기 전동 스테이지 상부의 진공 흡착판 부착하여 반도체 패키징 기판의 측정 중에 움직임이 없게 고정할 수 있다.After this setting, the semiconductor packaging board (PCB) is fixed to the measurement position of the motorized stage (S102). At this time, a vacuum suction plate can be attached to the upper part of the motorized stage to prevent movement during measurement of the semiconductor packaging substrate.
이후, 위치고정부가 전동 스테이지의 4개의 모서리와 중앙을 기준으로 하여 반도체 패키징 기판의 위치를 교정한다(S103).Afterwards, the position fixing unit corrects the position of the semiconductor packaging substrate based on the four corners and center of the motorized stage (S103).
이때, 상기 위치교정부가 레이저 변위센서에서 감지되는 전동 스테이지의 4개의 모서리와 중앙을 기준으로 하여 반도체 패키징 기판의 위치를 교정할 수 있다.At this time, the position correction unit can correct the position of the semiconductor packaging substrate based on the four corners and center of the motorized stage detected by the laser displacement sensor.
이후에는 X-Y 위치제어부가 상기 반도체 패키징 기판에 형성되는 가공홀의 정보를 포함하는 가공홀 데이터를 수신하여, 상기 가공홀의 위치가 2D 광학 현미경의 대물렌즈의 중앙에 위치하도록 상기 전동 스테이지를 이동시킨다(S104).Afterwards, the ).
보다 상세하게 설명하면, 상기 X-Y 위치제어부가 상기 반도체 패키징 기판에 형성되는 가공홀의 정보를 포함하는 가공홀 데이터를 수신하고, 상기 X-Y 위치제어부가 레이저 변위센서에서 감지되는 상기 가공홀의 위치가 2D 광학 현미경의 대물렌즈의 중앙에 위치하도록 상기 전동 스테이지를 이동시킬 수 있다.In more detail, the X-Y position control unit receives processing hole data including information on the processing hole formed in the semiconductor packaging substrate, and the The motorized stage can be moved to be located in the center of the objective lens.
즉, 가공홀 데이터(반도체 패키징 기판 가공홀 파일)을 이용해 X-Y 위치 좌표를 동기화하기 위하여, 전동 스테이지의 모서리 4곳과 중앙을 기준으로 촬영할 반도체 패키징 기판의 위치를 교정하며, 이때 정확한 교정을 위해서 레이저 변위센서를 사용한다.In other words, in order to synchronize the Use a displacement sensor.
또한, 반도체 패키징 기판의 가공 홀의 위치좌표가 전동 스테이지의 X-Y 위치제어부로 전송되면, 상기 X-Y 위치제어부는 해당 반도체 패키징 기판의 가공 홀의 중심의 위치가 2D 현미경의 대물렌즈의 중앙에 위치하도록 전동 스테이지를 이동시키며, 이때도 레이저 변위센서를 활용하여 정확도를 높인다.In addition, when the position coordinates of the processing hole of the semiconductor packaging substrate are transmitted to the X-Y position control unit of the motorized stage, the It moves, and in this case, the laser displacement sensor is used to increase accuracy.
한편, 상기 전동 스테이지의 이동은 1μm 단위로 이동하고 오차범위 또한 1μm 이내가 되도록 하며, 필요 시 하나의 반도체 패키징 기판에 배치된 부품을 고려하여 구역을 나누고, 구역 내에서 이동하며 반도체 패키징 기판 가공 홀을 검사할 수 있도록 구성될 수 있다.Meanwhile, the movement of the motorized stage moves in units of 1μm and the error range is also within 1μm. If necessary, it is divided into zones in consideration of the components placed on one semiconductor packaging substrate, and moves within the zone to create a semiconductor packaging substrate processing hole. It can be configured to inspect.
이후에는, 이미지 생성부가 가변 초점카메라에서 다양한 초점거리에서 다수의 2D 이미지를 촬영 및 저장하고(S105, S106), 촬영한 다수의 2D 이미지를 이용해 3D EDOF(Extended Depth of Focus) 이미지 및 3D DOF(Depth of Field) 이미지를 생성 및 저장한다(S107).Afterwards, the image generator captures and stores multiple 2D images at various focal lengths from a variable focus camera (S105, S106), and uses the multiple captured 2D images to create 3D EDOF (Extended Depth of Focus) images and 3D DOF (S105, S106). Create and save a Depth of Field image (S107).
이후, 측정 검사부가 3D EDOF(Extended Depth of Focus) 이미지 및 3D DOF(Depth of Field) 이미지에서 가공 홀을 측정 및 검사한다(S108).Afterwards, the measurement inspection unit measures and inspects the machining hole in the 3D Extended Depth of Focus (EDOF) image and the 3D Depth of Field (DOF) image (S108).
이때, 상기 불량 판정부가 딥러닝 기반의 객체 탐지 모델을 사용하여 상기 2D 이미지, 상기 3D EDOF(Extended Depth of Focus) 이미지 및 3D DOF(Depth of Field) 이미지로부터 상기 가공 홀의 불량을 검출할 수 있다. 또한, 상기 불량 판정부는 상기 2D 이미지, 상기 3D EDOF(Extended Depth of Focus) 이미지 및 3D DOF(Depth of Field) 이미지를 이용해 상기 딥러닝 기반의 객체 탐지 모델(AI)을 학습하고, 학습한 딥러닝 기반의 객체 탐지 모델(AI)을 이용하여 상기 가공 홀의 불량을 검출할 수 있다.At this time, the defect determination unit may detect defects in the machining hole from the 2D image, the 3D EDOF (Extended Depth of Focus) image, and the 3D DOF (Depth of Field) image using a deep learning-based object detection model. In addition, the defect determination unit learns the deep learning-based object detection model (AI) using the 2D image, the 3D EDOF (Extended Depth of Focus) image, and the 3D DOF (Depth of Field) image, and the learned deep learning Defects in the machining hole can be detected using an object detection model (AI)-based object detection model (AI).
보다 구체적으로, 본 발명에 따르면 가변 초점카메라를 활용한 3D EDOF 스캔을 통해 3D 이미지를 획득하고, 가공 홀의 깊이 및 직경 치수를 측정하여 불량을 식별할 수 있다.More specifically, according to the present invention, 3D images can be acquired through 3D EDOF scanning using a variable focus camera, and defects can be identified by measuring the depth and diameter of the machining hole.
도 3에 도시된 바와 같이, 본 발명에 따르면 광학 시스템의 초점 영역 외의 부분까지 선명하게 만들기 위하여, 가변 초점카메라가 여러 장의 이미지를 초점을 서로 다르게 맞추어 촬영 후, 초점이 맞는 영역의 이미지들을 결합하여 하나의 이미지로 결합한 이미지를 얻을 수 있다. 도 4를 참조하면 이와 같이 전체 영역에 걸쳐 깊이가 일정하게 유지되는 결합 이미지를 얻음으로써, 깊이 정보가 중요한 검사 및 검출에 유용한 3D EDOF(Extended Depth of Foucs) 및 3D DOF(Depth of Field) 이미지를 생성할 수 있다.As shown in FIG. 3, according to the present invention, in order to make parts other than the focus area of the optical system clear, a variable focus camera captures several images with different focuses, and then combines the images of the in-focus area. You can obtain images combined into one image. Referring to FIG. 4, by obtaining a combined image with constant depth over the entire area, 3D EDOF (Extended Depth of Foucs) and 3D DOF (Depth of Field) images, which are useful for inspection and detection where depth information is important, are obtained. can be created.
아울러, DOF 이미지에서 광학 시스템에서 초점을 맞춘 특정 영역 내의 대상을 선명하게 표현하는 이미지로 초점을 맞춘 영역을 '초점 영역'이라고 한다. 초점 영역의 앞과 뒤에 위치한 대상은 흐릿하게 표현되는데, 본 발명에 따르면 초점 거리에 따라서 초점영역이 맞는 부분을 색상을 다르게 표현하여 시각적인 효과를 높여 불량 검출을 용이하게 한다.In addition, in a DOF image, an image that clearly expresses the object within a specific area focused by the optical system, and the focused area is called the 'focus area'. Objects located in front and behind the focus area are expressed blurry, but according to the present invention, the part that is in focus is expressed in different colors depending on the focal distance to increase visual effect and facilitate defect detection.
이때, 상기 불량 판정부가 윤곽선을 추출한 이미지와 3D DOF 이미지를 비교하여 상단 홀, 하단 홀 크기(지름) 및 편심을 측정할 수 있으며, 보다 상세하게는 3D DOF 이미지에서 가공 홀의 깊이를 측정하고, 윤곽선 추출 이미지와 3D DOF 이미지에서 AI 기법을 기반으로 진원도를 측정할 수 있다.At this time, the defect determination unit can compare the image from which the outline is extracted and the 3D DOF image to measure the size (diameter) and eccentricity of the upper hole and lower hole. More specifically, the depth of the machining hole is measured in the 3D DOF image, and the contour is measured. Roundness can be measured based on AI techniques in extracted images and 3D DOF images.
또한, 본 발명에 따르면 상기 불량 판정부가 AI 기반의 불량유형 분류 시에, 딥러닝 기반의 객체 탐지 모델을 활용하여 미가공, 관통, 레진잔사, 스크래치, 찍힘 등의 불량 여부를 검사할 수 있다. 이때, 검사공정에 적용할 알고리즘은 실시간성과 정확도를 모두 고려하여 객체탐지 기반의 모델을 적용할 수 있다.In addition, according to the present invention, when classifying AI-based defect types, the defect determination unit can use a deep learning-based object detection model to inspect defects such as unprocessed, penetrated, resin residue, scratches, and dents. At this time, the algorithm to be applied to the inspection process can be an object detection-based model considering both real-time and accuracy.
이와 같은 딥러닝 기반의 객체 탐지 모델로서 CNN(Convolution Neural Network), YOLO(You Only Look Once), EfficientNet 또는 ConvNeXt를 사용할 수 있다.As such deep learning-based object detection models, CNN (Convolution Neural Network), YOLO (You Only Look Once), EfficientNet, or ConvNeXt can be used.
CNN(Convolution Neural Network)은 이미지, 비디오, 텍스트 등에서 패턴을 찾는 데 유용하며, 주어진 데이터의 특징을 학습하고 분류하는데 특화된 알고리즘이다.CNN (Convolution Neural Network) is useful for finding patterns in images, videos, texts, etc., and is an algorithm specialized for learning and classifying the characteristics of given data.
또한, YOLO(You Only Look Once)는 1-Stage Detector의 대표격인 모델로서 빠른 속도와 상대적으로 높은 정확도를 가지고 있어, 다양한 산업 분야에서 많이 활용되고 있다. 특히 실시간성이 중요한 물류 소포 객체 분류, 지능형 교통제어, 농작물 분류 등 빠른 추론이 필요한 분야에 널리 사용되고 있다.In addition, YOLO (You Only Look Once) is a representative model of 1-Stage Detector and has fast speed and relatively high accuracy, so it is widely used in various industrial fields. In particular, it is widely used in fields that require fast inference, such as logistics parcel object classification, intelligent traffic control, and crop classification, where real-time is important.
또한, 모델의 크기를 키움으로써 성능을 높이는 모델이 많이 공개가 되었는데 EfficientNet의 경우 한정된 자원으로 최대의 효율을 낸 모델로서, 공개 학습 데이터셋인 ImageNet에서 기존 공개된 CNN기반 모델보다 8.4배 작으면서 빠르고 높은 정확도를 보이며, 8개의 사전학습 모델 파라미터를 활용한 전이학습이 가능하다.In addition, many models that improve performance by increasing the model size have been released. In the case of EfficientNet, it is a model that achieves maximum efficiency with limited resources. It is 8.4 times smaller and faster than the previously released CNN-based model in ImageNet, a public learning dataset. It shows high accuracy and transfer learning is possible using 8 pre-learning model parameters.
또한, Transformer의 공개 이후 컴퓨터비전 분야에서도 이를 적용한 ViT(Vision Transformer)가 등장하였으나, ViT는 높은 성능을 보여주지만 입력 이미지 크기의 제곱의 계산량이 필요해 고해상도 이미지에서 적용하기 어려웠다. 이를 해결한 Swin-Transformer 모델이 등장하였고, 이후 CNN의 단순함과 효율성을 유지하면서, Swin-Transformer 장점을 차용한 ConvNeXt 모델이 개발되었다. ConvNeXt 모델은 Swin-Transformer 모델보다 이미지 분류, 객체 탐지, 객체 분할 세 가지 분야에서 더 좋은 성능을 나타낸다.In addition, after the release of Transformer, ViT (Vision Transformer), which applied it, appeared in the computer vision field. Although ViT showed high performance, it was difficult to apply to high-resolution images because it required the amount of calculation of the square of the input image size. The Swin-Transformer model appeared to solve this problem, and later the ConvNeXt model was developed, which borrowed the advantages of Swin-Transformer while maintaining the simplicity and efficiency of CNN. The ConvNeXt model shows better performance than the Swin-Transformer model in three areas: image classification, object detection, and object segmentation.
도 5는 본 발명의 일실시예에 따른 AI와 자동제어 기술을 접목한 반도체 패키지 기판 가공홀 3D 자동 공정검사 시스템의 구성도이고, 도 6은 본 발명의 일실시예에 따른 AI와 자동제어 기술을 접목한 반도체 패키지 기판 가공홀 3D 자동 공정검사 시스템을 설명하기 위한 도면이다.Figure 5 is a configuration diagram of a 3D automatic process inspection system for semiconductor package substrate processing holes combining AI and automatic control technology according to an embodiment of the present invention, and Figure 6 is a diagram of the configuration of AI and automatic control technology according to an embodiment of the present invention. This is a drawing to explain the 3D automatic process inspection system for semiconductor package substrate processing holes.
이후부터는 도 5 및 도 6을 참조하여 본 발명의 일실시예에 따른 AI와 자동제어 기술을 접목한 반도체 패키지 기판 가공홀 3D 자동 공정검사 시스템을 설명하기로 한다.From now on, a 3D automatic process inspection system for processing holes in a semiconductor package substrate combining AI and automatic control technology according to an embodiment of the present invention will be described with reference to FIGS. 5 and 6.
본 발명의 일실시예에 따른 AI와 자동제어 기술을 접목한 반도체 패키지 기판 가공홀 3D 자동 공정검사 시스템(100)은 컴퓨터 단말, 서버 또는 전용 장치로 구성되거나, 각 기능을 제공하는 구성요소가 각각 컴퓨터 단말, 서버 또는 전용 장치로 구성될 수 있다. 또는, 본 발명의 일실시예에 따른 AI와 자동제어 기술을 접목한 반도체 패키지 기판 가공홀 3D 자동 공정검사 시스템(100)은 각 기능을 제공하는 각각의 구성요소가 하드웨어 또는 소프트웨어로 구성될 수 있다.The semiconductor package substrate processing hole 3D automatic
보다 구체적으로, 본 발명의 일실시예에 따른 AI와 자동제어 기술을 접목한 반도체 패키지 기판 가공홀 3D 자동 공정검사 시스템(100)은 위치교정부(111), X-Y 위치제어부(112), 이미지 생성부(121) 및 불량 판정부(122)를 포함하여 구성될 수 있다.More specifically, the semiconductor package substrate processing hole 3D automatic
또한, 상기 위치교정부(111)와 상기 X-Y 위치제어부(112)는 검사자동 제어 시스템(110)을 구성할 수 있으며, 상기 이미지 생성부(121)와 상기 불량 판정부(122)는 이미지 프로세싱 시스템(120)을 구성할 수 있다.In addition, the
상기 위치교정부(111)는 전동 스테이지의 4개의 모서리와 중앙을 기준으로 하여 반도체 패키징 기판의 위치를 교정한다.The
보다 구체적으로, 상기 위치교정부(111)는 레이저 변위센서에서 감지되는 전동 스테이지의 4개의 모서리와 중앙을 기준으로 하여 반도체 패키징 기판의 위치를 교정할 수 있다.More specifically, the
또한, 상기 X-Y 위치제어부(112)는 상기 반도체 패키징 기판에 형성되는 가공홀의 정보를 포함하는 가공홀 데이터를 수신하여, 상기 가공홀의 위치가 2D 광학 현미경의 대물렌즈의 중앙에 위치하도록 상기 전동 스테이지를 이동시킨다In addition, the move it
보다 구체적으로, 상기 X-Y 위치제어부(112)는 상기 반도체 패키징 기판에 형성되는 가공홀의 정보를 포함하는 가공홀 데이터를 수신하고, 레이저 변위센서에서 감지되는 상기 가공홀의 위치가 2D 광학 현미경의 대물렌즈의 중앙에 위치하도록 상기 전동 스테이지를 이동시킬 수 있다.More specifically, the The electric stage can be moved to be located in the center.
한편, 상기 이미지 생성부(121)는 가변 초점카메라에서 다양한 초점거리에서 촬영한 다수의 2D 이미지를 이용해 3D EDOF(Extended Depth of Focus) 이미지 및 3D DOF(Depth of Field) 이미지를 생성한다.Meanwhile, the
또한, 상기 불량 판정부(122)는 3D EDOF(Extended Depth of Focus) 이미지 및 3D DOF(Depth of Field) 이미지에서 가공 홀을 측정 및 검사한다.Additionally, the
보다 구체적으로, 상기 불량 판정부(122)는 딥러닝 기반의 객체 탐지 모델을 사용하여 상기 2D 이미지, 상기 3D EDOF(Extended Depth of Focus) 이미지 및 3D DOF(Depth of Field) 이미지로부터 상기 가공 홀의 불량을 검출할 수 있다.More specifically, the
또한, 도 6에 도시된 바와 같이 본 발명에 따르면 데이터 관리부를 통해 2D 이미지, 변환된 3D 이미지뿐만 아니라 AI의 학습을 위한 학습용 이미지의 제품 정보, 불량 유형 정보 및 이미지 정보를 제공할 수 있는 데이터 관리 기능을 제공할 수 있다.In addition, as shown in Figure 6, according to the present invention, the data management unit can provide not only 2D images and converted 3D images, but also product information, defect type information, and image information of learning images for AI learning. function can be provided.
또한, 상기 불량 판정부(122)는 학습용 이미지를 사용하여 머신비전 기반의 수치 불량 판정 모델과 AI를 통한 불량 유형 판정 모델을 학습하고, 상기 데이터 관리부를 통해 모델 학습 알고리즘, 학습 데이터 양 및 성능지표 내역을 관리할 수 있다.In addition, the
또한, 상기 불량 판정부(122)는 알고리즘 성능 저하 및 일정량의 학습용 데이터 축적 시, 모델 학습부를 통해 머신비전 기반의 수치 불량 판정 모델과 AI을 재학습할 수 있도록 할 수 있다.In addition, the
또한, 모니터링 제공부는 공정검사 이력 데이터를 이용하여 반도체패키징 기판의 불량 현황, 불량 검출 현황 등 전반적인 공정 현황을 실시간으로 모니터링할 수 있도록 할 수 있다.In addition, the monitoring provider can use process inspection history data to monitor the overall process status, such as defect status and defect detection status of the semiconductor packaging substrate, in real time.
또한, 상기 데이터 관리부는 불량 분류 모델 개발을 위한 데이터셋을 구축하고, 데이터 불균형이 발생할 시 데이터 증강을 통해 이를 해결할 수 있다.In addition, the data management unit builds a dataset for developing a defect classification model, and when data imbalance occurs, it can be resolved through data augmentation.
전술한 바와 같은 본 발명의 상세한 설명에서는 구체적인 실시예에 관해 설명하였다. 그러나 본 발명의 범주에서 벗어나지 않는 한도 내에서는 여러 가지 변형이 가능하다. 본 발명의 기술적 사상은 본 발명의 전술한 실시예에 국한되어 정해져서는 안 되며, 청구범위뿐만 아니라 이 청구범위와 균등한 것들에 의해 정해져야 한다.In the detailed description of the present invention as described above, specific embodiments have been described. However, various modifications are possible without departing from the scope of the present invention. The technical idea of the present invention should not be limited to the above-described embodiments of the present invention, but should be determined not only by the claims but also by equivalents to the claims.
100: AI와 자동제어 기술을 접목한 반도체 패키지 기판 가공홀 3D 자동 공정검사 시스템
110: 검사자동 제어 시스템
111: 위치교정부
112: X-Y 위치제어부
120: 이미지 프로세싱 시스템
121: 이미지 생성부
122: 불량 판정부100: 3D automatic process inspection system for semiconductor package substrate processing hole combining AI and automatic control technology
110: Automatic inspection control system
111: Position correction unit
112: XY position control unit
120: image processing system
121: Image generation unit
122: Defect judgment unit
Claims (10)
X-Y 위치제어부가 상기 반도체 패키징 기판에 형성되는 가공홀의 정보를 포함하는 가공홀 데이터를 수신하여, 상기 가공홀의 위치가 2D 광학 현미경의 대물렌즈의 중앙에 위치하도록 상기 전동 스테이지를 이동시키는 제2 단계;
이미지 생성부의 가변 초점카메라가 여러 장의 이미지를 초점을 서로 다르게 맞추어 촬영 후, 초점이 맞는 영역의 이미지들을 결합하여 하나의 이미지로 결합하되, 상기 초점이 맞는 영역은 색상이 다르게 표현되는 3D EDOF(Extended Depth of Focus) 이미지 및 3D DOF(Depth of Field) 이미지를 생성하는 제3 단계;
측정 검사부가 3D EDOF(Extended Depth of Focus) 이미지 및 3D DOF(Depth of Field) 이미지에서 가공 홀을 측정 및 검사하는 제4 단계; 및
불량 판정부가 딥러닝 기반의 객체 탐지 모델을 사용하여 2D 이미지, 상기 3D EDOF(Extended Depth of Focus) 이미지 및 3D DOF(Depth of Field) 이미지로부터 상기 가공 홀의 불량을 검출하는 제5 단계;
를 포함하는 것을 특징으로 하는 AI와 자동제어 기술을 접목한 반도체 패키지 기판 가공홀 3D 자동 공정검사 방법.
A first step in which the position correction unit corrects the position of the semiconductor packaging substrate based on the four corners and center of the motorized stage;
A second step wherein the
The variable focus camera of the image generator captures multiple images with different focuses, then combines the images of the in-focus area into one image, and the in-focus area is expressed in different colors using 3D EDOF (Extended A third step of generating a Depth of Focus) image and a 3D Depth of Field (DOF) image;
A fourth step in which the measurement inspection unit measures and inspects the machining hole in the 3D Extended Depth of Focus (EDOF) image and the 3D Depth of Field (DOF) image; and
A fifth step in which a defect determination unit detects defects in the machining hole from a 2D image, the 3D EDOF (Extended Depth of Focus) image, and the 3D DOF (Depth of Field) image using a deep learning-based object detection model;
A 3D automatic process inspection method for semiconductor package substrate processing holes that combines AI and automatic control technology, comprising:
상기 제1 단계는,
상기 위치교정부가 레이저 변위센서에서 감지되는 전동 스테이지의 4개의 모서리와 중앙을 기준으로 하여 반도체 패키징 기판의 위치를 교정하는 것을 특징으로 하는 AI와 자동제어 기술을 접목한 반도체 패키지 기판 가공홀 3D 자동 공정검사 방법.
In claim 1,
The first step is,
A 3D automatic process for semiconductor package substrate processing hole combining AI and automatic control technology, wherein the position correction unit corrects the position of the semiconductor packaging substrate based on the four corners and center of the motorized stage detected by the laser displacement sensor. method of inspection.
상기 제2 단계는,
상기 X-Y 위치제어부가 상기 반도체 패키징 기판에 형성되는 가공홀의 정보를 포함하는 가공홀 데이터를 수신하는 단계; 및
상기 X-Y 위치제어부가 레이저 변위센서에서 감지되는 상기 가공홀의 위치가 2D 광학 현미경의 대물렌즈의 중앙에 위치하도록 상기 전동 스테이지를 이동시키는 단계;
를 포함하는 것을 특징으로 하는 AI와 자동제어 기술을 접목한 반도체 패키지 기판 가공홀 3D 자동 공정검사 방법.
In claim 1,
The second step is,
The XY position control unit receiving machining hole data including information on machining holes formed in the semiconductor packaging substrate; and
The XY position control unit moves the motorized stage so that the position of the processing hole detected by the laser displacement sensor is located at the center of the objective lens of the 2D optical microscope;
A 3D automatic process inspection method for semiconductor package substrate processing holes that combines AI and automatic control technology, comprising:
상기 반도체 패키징 기판에 형성되는 가공홀의 정보를 포함하는 가공홀 데이터를 수신하여, 상기 가공홀의 위치가 2D 광학 현미경의 대물렌즈의 중앙에 위치하도록 상기 전동 스테이지를 이동시키는 X-Y 위치제어부;
가변 초점카메라에서 여러 장의 이미지를 초점을 서로 다르게 맞추어 촬영 후, 초점이 맞는 영역의 이미지들을 결합하여 하나의 이미지로 결합하되, 상기 초점이 맞는 영역은 색상이 다르게 표현되는 3D EDOF(Extended Depth of Focus) 이미지 및 3D DOF(Depth of Field) 이미지를 생성하는 이미지 생성부;
3D EDOF(Extended Depth of Focus) 이미지 및 3D DOF(Depth of Field) 이미지에서 가공 홀을 측정 및 검사하는 측정 검사부; 및
딥러닝 기반의 객체 탐지 모델을 사용하여 2D 이미지, 상기 3D EDOF(Extended Depth of Focus) 이미지 및 3D DOF(Depth of Field) 이미지로부터 상기 가공 홀의 불량을 검출하는 불량 판정부;
를 포함하는 것을 특징으로 하는 AI와 자동제어 기술을 접목한 반도체 패키지 기판 가공홀 3D 자동 공정검사 시스템.
a position correction unit that corrects the position of the semiconductor packaging substrate based on the four corners and center of the motorized stage;
An XY position control unit that receives machining hole data including information on machining holes formed in the semiconductor packaging substrate and moves the motorized stage so that the machining hole is located at the center of the objective lens of the 2D optical microscope;
3D EDOF (Extended Depth of Focus) is used to capture multiple images with different focuses in a variable focus camera, then combine the images in the in-focus area into one image, and the in-focus area is expressed in different colors. ) An image generator that generates images and 3D Depth of Field (DOF) images;
A measurement inspection unit that measures and inspects machining holes in 3D EDOF (Extended Depth of Focus) images and 3D DOF (Depth of Field) images; and
A defect determination unit that detects defects in the machining hole from the 2D image, the 3D EDOF (Extended Depth of Focus) image, and the 3D DOF (Depth of Field) image using a deep learning-based object detection model;
A 3D automatic process inspection system for semiconductor package substrate processing holes incorporating AI and automatic control technology.
상기 위치교정부는,
레이저 변위센서에서 감지되는 전동 스테이지의 4개의 모서리와 중앙을 기준으로 하여 반도체 패키징 기판의 위치를 교정하는 것을 특징으로 하는 AI와 자동제어 기술을 접목한 반도체 패키지 기판 가공홀 3D 자동 공정검사 시스템.
In claim 6,
The position correction unit,
A 3D automatic process inspection system for semiconductor package substrate processing holes that combines AI and automatic control technology, characterized by correcting the position of the semiconductor packaging substrate based on the four corners and center of the motorized stage detected by the laser displacement sensor.
상기 X-Y 위치제어부는,
상기 반도체 패키징 기판에 형성되는 가공홀의 정보를 포함하는 가공홀 데이터를 수신하고,
레이저 변위센서에서 감지되는 상기 가공홀의 위치가 2D 광학 현미경의 대물렌즈의 중앙에 위치하도록 상기 전동 스테이지를 이동시키는 것을 특징으로 하는 AI와 자동제어 기술을 접목한 반도체 패키지 기판 가공홀 3D 자동 공정검사 시스템.
In claim 6,
The XY position control unit,
Receiving machining hole data including information on machining holes formed in the semiconductor packaging substrate,
A 3D automatic process inspection system for semiconductor package substrate processing holes that combines AI and automatic control technology, characterized in that the motorized stage is moved so that the position of the processing hole detected by the laser displacement sensor is located at the center of the objective lens of the 2D optical microscope. .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020230094802A KR102618194B1 (en) | 2023-07-20 | 2023-07-20 | Semiconductor package board processing hole 3d automatic process inspection method and system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020230094802A KR102618194B1 (en) | 2023-07-20 | 2023-07-20 | Semiconductor package board processing hole 3d automatic process inspection method and system |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102618194B1 true KR102618194B1 (en) | 2023-12-28 |
Family
ID=89384814
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020230094802A KR102618194B1 (en) | 2023-07-20 | 2023-07-20 | Semiconductor package board processing hole 3d automatic process inspection method and system |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102618194B1 (en) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010264508A (en) * | 2009-04-13 | 2010-11-25 | Nippon Sharyo Seizo Kaisha Ltd | Machining device |
| KR20190100616A (en) * | 2018-02-21 | 2019-08-29 | (주)오로스 테크놀로지 | Surface defect inspection apparatus |
| KR20220023901A (en) * | 2020-08-21 | 2022-03-03 | 한국생산기술연구원 | Optical system alignment method for hole inspection and optical system device using the same |
| KR102409833B1 (en) | 2021-10-26 | 2022-06-22 | 거산산업주식회사 | Aoi automation system and method |
| KR20230068445A (en) * | 2021-11-08 | 2023-05-18 | 주식회사 하이지노 | Automatic quality inspection device and method of hole image based on artificial intelligence |
-
2023
- 2023-07-20 KR KR1020230094802A patent/KR102618194B1/en active IP Right Grant
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010264508A (en) * | 2009-04-13 | 2010-11-25 | Nippon Sharyo Seizo Kaisha Ltd | Machining device |
| KR20190100616A (en) * | 2018-02-21 | 2019-08-29 | (주)오로스 테크놀로지 | Surface defect inspection apparatus |
| KR20220023901A (en) * | 2020-08-21 | 2022-03-03 | 한국생산기술연구원 | Optical system alignment method for hole inspection and optical system device using the same |
| KR102409833B1 (en) | 2021-10-26 | 2022-06-22 | 거산산업주식회사 | Aoi automation system and method |
| KR20230068445A (en) * | 2021-11-08 | 2023-05-18 | 주식회사 하이지노 | Automatic quality inspection device and method of hole image based on artificial intelligence |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112053318B (en) | Two-dimensional PCB defect real-time automatic detection and classification device based on deep learning | |
| CN105184793A (en) | Electric energy meter sample appearance and PCB element detection method | |
| CN102938077A (en) | Online AOI (Automatic Optical Inspection) image retrieval method based on double-threshold binaryzation | |
| KR20030074823A (en) | Web inspection method and device | |
| Li et al. | Automatic industry PCB board DIP process defect detection with deep ensemble method | |
| CN110501347A (en) | A kind of rapid automatized Systems for optical inspection and method | |
| Guo et al. | Research of the machine vision based PCB defect inspection system | |
| Taha et al. | Automatic optical inspection for PCB manufacturing: a survey | |
| CN114136975A (en) | Intelligent detection system and method for surface defects of microwave bare chip | |
| KR20180095972A (en) | High-speed automated optical inspection apparatus supporting double scan approach | |
| CN102854195B (en) | Method for detecting defect coordinates on color filter | |
| CN110186375A (en) | Intelligent high-speed rail white body assemble welding feature detection device and detection method | |
| CN113822882A (en) | Circuit board surface defect detection method and device based on deep learning | |
| CN111307819A (en) | Wafer edge defect detection system and method | |
| CN110426395B (en) | Method and device for detecting surface of solar EL battery silicon wafer | |
| CN114820439A (en) | PCB bare board defect detection system and method based on AOI | |
| KR102618194B1 (en) | Semiconductor package board processing hole 3d automatic process inspection method and system | |
| JP4523310B2 (en) | Foreign matter identification method and foreign matter identification device | |
| Torng et al. | Development of an automated optical inspection system for mobile phone panels | |
| TWI753424B (en) | Appearance inspection management system, appearance inspection management device, appearance inspection management method, and program | |
| Zou et al. | Laser-based precise measurement of tailor welded blanks: a case study | |
| KR20230066937A (en) | Wafer inspection method using the deep learning and wafer inspection device for implementing this | |
| Qixin et al. | A binocular machine vision system for ball grid array package inspection | |
| Zhang et al. | Automatic optical defect inspection and dimension measurement of drill bit | |
| CN111183351A (en) | Image sensor surface defect detection method and detection system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |