KR20230068445A - 인공지능 기반 홀 이미지의 자동 품질 검사 장치및 방법 - Google Patents
인공지능 기반 홀 이미지의 자동 품질 검사 장치및 방법 Download PDFInfo
- Publication number
- KR20230068445A KR20230068445A KR1020210152219A KR20210152219A KR20230068445A KR 20230068445 A KR20230068445 A KR 20230068445A KR 1020210152219 A KR1020210152219 A KR 1020210152219A KR 20210152219 A KR20210152219 A KR 20210152219A KR 20230068445 A KR20230068445 A KR 20230068445A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- hole
- artificial intelligence
- inspection device
- quality
- Prior art date
Links
- 238000007689 inspection Methods 0.000 title claims abstract description 65
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 49
- 238000000034 method Methods 0.000 title claims abstract description 36
- 230000007547 defect Effects 0.000 claims abstract description 19
- 238000007781 pre-processing Methods 0.000 claims abstract description 15
- 238000013528 artificial neural network Methods 0.000 claims abstract description 6
- 230000008569 process Effects 0.000 abstract description 21
- 238000012545 processing Methods 0.000 abstract description 9
- 239000004065 semiconductor Substances 0.000 abstract description 3
- 238000005516 engineering process Methods 0.000 abstract description 2
- 238000005259 measurement Methods 0.000 description 18
- 238000004458 analytical method Methods 0.000 description 8
- 230000002950 deficient Effects 0.000 description 7
- 238000012549 training Methods 0.000 description 7
- 238000010276 construction Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000003709 image segmentation Methods 0.000 description 4
- 239000000463 material Substances 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 230000001976 improved effect Effects 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 238000013480 data collection Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000012938 design process Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 230000000873 masking effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000011179 visual inspection Methods 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 241000124008 Mammalia Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/08—Measuring arrangements characterised by the use of optical techniques for measuring diameters
- G01B11/12—Measuring arrangements characterised by the use of optical techniques for measuring diameters internal diameters
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8806—Specially adapted optical and illumination features
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8854—Grading and classifying of flaws
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30148—Semiconductor; IC; Wafer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Analytical Chemistry (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Pathology (AREA)
- Chemical & Material Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biochemistry (AREA)
- Immunology (AREA)
- Signal Processing (AREA)
- Quality & Reliability (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
Abstract
본 발명은 홀 이미지의 품질 검사 기술에 관한 것으로, 더욱 상세하게는 레이저 가공 공정에서 수행되는 반도체 인쇄기판에 포함된 홀 이미지의 품질을 자동으로 검사하는 품질 검사 장치 및 방법에 관한 것이다.
Description
본 발명은 홀 이미지의 품질 검사 기술에 관한 것으로, 더욱 상세하게는 레이저 가공 공정에서 수행되는 반도체 인쇄기판에 포함된 홀 이미지의 품질을 자동으로 검사하는 품질 검사 장치 및 방법에 관한 것이다.
PCB 홀은 매우 정밀한 작업을 요하는 공정으로, TOP/BOTTOM 홀의 원 사이즈는 40㎛~100㎛(약 0.04mm~ 0.1mm) 정도로 판넬 당 최대 800만 개의 홀을 가공하고 있다. 가공한 홀은 1차 저배율 전역 검사, 2차 고배율 현미경 검사와 홀 사이즈 측정 프로그램을 사용하여 작업자가 육안으로 검사와 측정작업을 하고 있다.
한편, 품질관리 측면에서 핵심 공정인 레이저 가공 공정에서 수행되는 초중종물 반도체 인쇄기판 품질 측정 검사방식은 작업자의 육안검사에 의존하여 양품과 불량품을 판정하고 있어 작업 능률과 육안 검사의 한계점을 안고 있다. 수작업으로 이루어지는 홀 사이즈 크기 측정방식은 작업자의 숙련도와 홀 판단 기준에 따라 정확성과 측정 사이즈에 오차가 발생할 수 있으며 많은 시간이 소요된다.
본 발명의 배경기술은 대한민국 공개특허 제10-2021-0005976 호에 게시되어 있다.
본 발명은 기존 작업자의 숙련도와 홀 사이즈 측정 기준에 의해 수행되고 있는 초·중·종·물 품질측정검사 작업을 자동화된 AI 시스템을 도입하여 불량 DATA를 축적하고 품질 예측을 통해 검사의 정확성을 높이고 작업 능률과 설비가동율을 증가시켜 생산성을 극대화하는 인공지능 기반 홀 이미지의 자동 품질 검사 장치 및 방법을 제공한다.
본 발명이 이루고자 하는 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 측면에 따르면, 인공지능 기반 홀 이미지의 자동 품질 검사 장치가 제공된다.
본 발명의 일 실시 예에 따른 인공지능 기반 홀 이미지의 자동 품질 검사 장치는 고배율 현미경으로부터 수집한 이미지를 입력하는 입력부, 수집한 이미지를 전처리하는 전처리부 및 기학습된 신경망을 이용하여 전처리된 홀 이미지에 대한 불량 판정을 수행하는 불량판정부를 포함할 수 있다.
본 발명의 다른 일 측면에 따르면, 인공지능 기반 홀 이미지의 자동 품질 검사 방법이 제공된다.
본 발명의 일 실시 예에 따른 인공지능 기반 홀 이미지의 자동 품질 검사 방법은 고배율 현미경으로부터 수집한 이미지를 입력하는 단계, 수집한 이미지를 전처리하는 단계 및 기학습된 신경망을 이용하여 전처리된 홀 이미지에 대한 불량 판정을 수행하는 단계를 포함할 수 있다.
본 발명의 실시 예에 따르면, 레이저공정 불량 원인 파악으로 설비 최적화 및 작업조건을 도출하고, 불량 DATA 축적으로 불량 유형별 분석이 가능하여 동일 불량 건수가 감소한다.
본 발명의 실시 예에 따르면, 개발된 AI학습 모델 활용을 바탕으로 검사 시간 단축으로 설비가동율이 증가하고, AI 데이터 분석을 통한 품질 예측을 위한 관리데이터 분석 기본 자료를 축적할 수 있다.
본 발명의 효과는 상기한 효과로 한정되는 것은 아니며, 본 발명의 설명 또는 청구범위에 기재된 발명의 구성으로부터 추론 가능한 모든 효과를 포함하는 것으로 이해되어야 한다.
도 1내지 도 13은 본 발명의 일 실시 예에 따른 인공지능 기반 홀 이미지의 자동 품질 검사 장치 및 방법을 설명하기 위한 도면들.
이하에서는 첨부한 도면을 참조하여 본 발명을 설명하기로 한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 따라서 여기에서 설명하는 실시예로 한정되는 것은 아니다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결(접속, 접촉, 결합)"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 부재를 사이에 두고 "간접적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 구비할 수 있다는 것을 의미한다.
본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
도 1내지 도 13은 본 발명의 일 실시 예에 따른 인공지능 기반 홀 이미지의 자동 품질 검사 장치 및 방법을 설명하기 위한 도면들이다.
도 1을 참조하면, 본 발명에 따른 인공지능 기반 홀 이미지의 자동 품질 검사 장치는 스마트 팩토리 공정에 포함될 수 있다.
도 2를 참조하면, 본 발명에 따른 인공지능 기반 홀 이미지의 자동 품질 검사 방법은 에지 서버에 구축되어 홀 이미지의 자동 품질 검사를 진행할 수 있다.
도 3을 참조하면, 본 발명에 따른 인공지능 기반 홀 이미지의 자동 품질 검사 방법은 관리자용 단말기에 자동 품질 검사를 위한 솔루션이 구축되어 이를 제어할 수 있다.
도 4를 참조하면, 인공지능 기반 홀 이미지의 자동 품질 검사 장치는 텍스처 분석에 사용되는 선형필터인 Gabor 필터와 바이오 의료영상 분할을 위해 도입된 딥러닝 알고리즘인 UNET 알고리즘이 색깔과 재질에 따라서 이미지 분할을 하는 전처리 과정을 수행하고, 검출 부분에서 활용된 RANSAC 알고리즘은 기존의 알고리즘보다 더 정확하고 이상 적인 결과를 반환하는데 특히 노이즈가 심한(outlier 데이터가 많은) 이미지 처리에 있어서 특히 뛰어난 성능을 발휘할 수 있다.
인공지능 기반 홀 이미지의 자동 품질 검사 장치는 입력부, 전처리부 및 불량판정부를 포함한다.
입력부는 고배율 현미경으로부터 수집한 이미지를 입력한다.
전처리부는 수집한 이미지를 전처리한다. 고배율 현미경으로부터 수집한 이미지에는 측정하고자 하는 레이저 홀이 포함되어 있다. 현미경으로부터 수집한 이미지는 육안으로 쉽게 원의 형태를 감지할 수 있지만 컴퓨터가 인식하기에는 노이즈가 심하고 원의 형태로 잘못 인지할 부분들이 많이 있으므로 일반적인 원 인식 알고리즘으로는 정확한 원을 검출하는 것이 어렵기 때문에 이미지 전처리 과정이 필수적이고 이러한 과정에 대하여 이미지 분할을 적용하여 필요한 홀의 원 부분만을 구분해 낼 수 있다면 더 정확한 홀의 사이즈를 측정할 수 있다.
불량판정부는 기학습된 신경망을 이용하여 전처리된 홀 이미지에 대한 불량 판정을 수행한다.
구체적으로, 불량판정부는 텍스처 분석에 사용되는 선형필터인 Gabor 필터와 바이오 의료영상 분할을 위해 도입된 딥러닝 모델인 UNET을 이용하여 홀 이미지에 대한 불량 판정을 수행한다.
Gabor 필터는 재질을 해석하고 분할하기 위한 포유류의 다중 채널 시각 접근 방식을 가장 잘 모델링한 필터로 알려져있으며 재질 인식 알고리즘을 설계할 때 유용하게 사용할 수 있는 모델이다.
본 솔루션에서 활용된 UNET은 FCN 알고리즘을 개선한 모델로써 적은 훈련 데이터셋으로도 최적화된 학습이 가능한 장점을 가지며, 훈련 데이터가 충분히 수집되어 있지 않은 공장이나 기업에서 활용성이 높다.
UNET은 Olag Ronneberger et al.에 의해 바이오 의료영상 분할(BioMedical Image segmentation)을 위해 도입되었으며 이미지의 컨텍스트(context)를 캡처하는 데 사용되는 축소 경로(인코더라고도 함) 및 전치된 컨볼루션을 사용하여 정확한 지역화(localizataion)를 가능하게 하는 데 사용되는 대칭 확장 경로(디코더라고도 함)가 존재한다. UNET은 Fully Convolution Network(FCN)를 기반으로 하며, 기존 FCN 알고리즘에 비해 속도 및 컨텍스트(context) 인식 측면에서 향상된 효과를 나타내며, 지역화(localization)간의 trade-off를 해결한다.
UNET의 원 검출 부분에서 활용된 RANSAC 알고리즘은 기존의 알고리즘보다 더 정확하고 이상 적인 결과를 반환하는데 특히 노이즈가 심한(outlier 데이터가 많은) 이미지 처리에 있어서 특히 뛰어난 성능을 발휘한다.
RANSAC은 RANdom SAmple Consensus의 약자로, 데이터셋에서 노이즈를 제거하고 모델을 예측하는 알고리즘이며 매우 많은 분야에서 활용되며 특히 컴퓨터 비전 분야에서 광범위하게 사용되고 있다. RANSAC은 특정 임계값 이상의 데이터를 완전히 무시해버리는 특성이 있어 outlier에 강건한 알고리즘으로, 노이즈가 매우 크지만, 노이즈를 반영하지 않고 최대 데이터가 일치하는 이상적인 모델을 추출해내는 것을 확인할 수 있다.
불량판정부는 기존 작업자의 숙련도와 홀 사이즈 측정 기준에 의해 수행되고 있는 초·중·종·물 품질측정검사 작업을 자동화된 AI 시스템을 도입하여 불량 DATA를 축적하고 품질 예측을 통해 검사의 정확성을 높이고 작업 능률과 설비가동율을 증가시켜 생산성을 극대화한다.
본 발명에 따른 인공지능 기반 홀 이미지의 자동 품질 검사 방법은 에지 서버에 구축되어 홀 이미지의 자동 품질 검사는 설계 과정, 수집 과정, 정제 과정, 분석 과정 및 적용 과정을 통하여 진행될 수 있다.
인공지능 기반 홀 이미지의 자동 품질 검사 장치는 프로세스 설계 공정 전·후 관계, 홀 이미지 크기 측정에 영향을 주는 인자를 조사한다. 인공지능 기반 홀 이미지의 자동 품질 검사 장치는 DataSet 구조 설계 홀 이미지 수집 및 측정, 양/불량 판정, 결과 리포팅 데이터 구조를 설계한다.
S1에서 인공지능 기반 홀 이미지의 자동 품질 검사 장치는 데이터수집 홀 이미지 데이터를 취득해 Database에 수집한다.
S2에서 인공지능 기반 홀 이미지의 자동 품질 검사 장치는 마스킹 이미지를 마스킹 처리한다.
S3에서 인공지능 기반 홀 이미지의 자동 품질 검사 장치는 분할 색깔/재질을 분할 처리한다.
S4에서 인공지능 기반 홀 이미지의 자동 품질 검사 장치는 스케일링 그레이스케일링 처리한다.
S5에서 인공지능 기반 홀 이미지의 자동 품질 검사 장치는 모델구성 데이터에 가장 적합한 AI Algorithm을 선정한다.
S6에서 인공지능 기반 홀 이미지의 자동 품질 검사 장치는 AI모델링 선정된 Algorithm, 학습데이터 이용해 패턴을 학습한다.
S7에서 인공지능 기반 홀 이미지의 자동 품질 검사 장치는 모델평가 학습된 Algorithm을 검증데이터를 통해 평가한다.
S8에서 인공지능 기반 홀 이미지의 자동 품질 검사 장치는 시스템 구축 홀 이미지 생성 폴더 감시 및 수집 시스템을 구축한다.
S9에서 인공지능 기반 홀 이미지의 자동 품질 검사 장치는 시스템 실증 구성된 시스템의 작동 상태 및 효율성을 실증 분석한다.
도 5를 참조하면, 본 발명에 따른 인공지능 기반 홀 이미지의 자동 품질 검사 장치는 개발된 AI 모델을 활용한 AI솔루션 적용으로 검사시간 단축으로 설비가동율 증가에 따른 생산성을 향상시킬 수 있다.
본 발명에 따른 인공지능 기반 홀 이미지의 자동 품질 검사 장치는 체계적인 이미지 데이터 저장 관리 및 양/불량 정보 활용하여 품질 예측 자료로 활용할 수 있다.
본 발명에 따른 인공지능 기반 홀 이미지의 자동 품질 검사 장치는 불량 데이터 축적에 따른 불량 원인 및 유형 분석이 가능하다.
본 발명에 따른 인공지능 기반 홀 이미지의 자동 품질 검사 장치는 하이지노 에센텍MES와 연계하여 측정 검사에 필요한 기준정보 연동과 리포팅 기능을 강화할 수 있다.
본 발명에 따른 인공지능 기반 홀 이미지의 자동 품질 검사 장치는 활용 제조데이터 수집·가공·처리 방안을 구축할 수 있다.
본 발명에 따른 인공지능 기반 홀 이미지의 자동 품질 검사 장치는 PCB 홀 가공 이미지 데이터를 고배율 현미경(Axio Scope Ai)으로 캡처한 PCB 홀 가공 이미지 데이터로 사용할 수 있다.
본 발명에 따른 인공지능 기반 홀 이미지의 자동 품질 검사 장치는 고배율 현미경으로 T-code(T1~T6) 별 홀의 윗면/밑면 이미지를 캡쳐하여 이미지 데이터를 추출할 수 있다.
본 발명에 따른 인공지능 기반 홀 이미지의 자동 품질 검사 장치는 원본 이미지를 LOT 별, 일자별 디렉토리 생성 후 홀 캡처 이미지를 저장할 수 있다.
본 발명에 따른 인공지능 기반 홀 이미지의 자동 품질 검사 장치는 전처리 이미지 및 AI 측정 이미지 DB 정보를 생성할 수 있다.
본 발명에 따른 인공지능 기반 홀 이미지의 자동 품질 검사 장치는 원본 이미지 디렉토리 검색·측정 대상 이미지 파일정보 분석 후, DB에 AI 측정 이미지 데이터 정보 생성 및 이미지 전처리 작업 후, 전처리 디렉토리에 일자별 디렉토리 생성 후 전처리 이미지를 저장할 수 있다.
본 발명에 따른 인공지능 기반 홀 이미지의 자동 품질 검사 장치는 현미경 캡처 원본 이미지 저장 서버와는 별도로 AI 전처리 과정과 홀 사이즈 측정 및 학습, 그리고 분석 데이터를 저장 관리할 별도 AI 서버를 이용할 수 있다.
본 발명에 따른 인공지능 기반 홀 이미지의 자동 품질 검사 장치는 이미지 정보 분석 결과 및 MES 연계 LOT별 기준정보를 이용하여 데이터 정합성을 확인한 후 저장할 수 있다.
도 6 내지 도 13을 참조하면, 본 발명에 따른 인공지능 기반 홀 이미지의 자동 품질 검사 장치는 데이터 추출 시 고배율 현미경으로 T코드별(T1~T6) 홀 TOP/BOTTOM 이미지 캡쳐 후 저장할 수 있다. 본 발명에 따른 인공지능 기반 홀 이미지의 자동 품질 검사 장치는 데이터 수집 및 저장 관리 시, 원본 이미지는 LOT별 일자별 디렉토리 생성 후 홀 이미지 저장할 수 있다. 본 발명에 따른 인공지능 기반 홀 이미지의 자동 품질 검사 장치는 전처리 이미지 및 AI 측정 이미지 DB 정보 생성 원본 이미지 디렉토리 검색, 측정 대상 이미지 파일정보 분석 후 DB에 AI 측정 이미지 데이터 정보 생성하며 이미지 전처리 작업 후 전처리 디렉토리에 일자별 디렉토리 생성 후 전처리 홀 이미지를 저장할 수 있다.
본 발명에 따른 인공지능 기반 홀 이미지의 자동 품질 검사 장치는 전처리 이미지를 기반으로 정확한 원 크기 파악 후 원본 이미지 바탕으로 사이즈를 표시한 측정 이미지를 측정 디렉토리에 일자별 디렉토리 생성 후 저장하고 LOT 기준정보 (MES 연동)와 측정 사이즈를 분석하여 양/불 판정 정보와 사이즈 정보 등 분석정보를 DB에 업데이트할 수 있다.
본 발명에 따른 인공지능 기반 홀 이미지의 자동 품질 검사 장치는 작업자에 의해 이루어지는 홀 사이즈 측정을 AI알고리즘을 적용하여 홀 사이즈 측정을 수행할 경우 정확성과 양품/불량품의 차이를 비교 분석할 수 있다.
본 발명에 따른 인공지능 기반 홀 이미지의 자동 품질 검사 장치는 분석 예측 결과 AI로 이미지 데이터를 분석하여 기준에 따라 홀의 양/불량 판단 원본 이미지의 홀 사이즈를 측정 한 결과를 표시(원, 지름) - 실증 공정의 정량적 예측 결과 수집된 모든 이미지 데이터의 원 사이즈 측정값과 표시된 이미지를 분석하여 양/불량 판정의 결과를 통합적으로 저장할 수 있다.
본 발명에 따른 인공지능 기반 홀 이미지의 자동 품질 검사 장치는AI 솔루션 학습 데이터 구축 및 훈련 제시 실증 AI 솔루션 개발에 필요한 딥러닝 모델(U-Net)의 적합성을 판단하기 위해 샘플 레이저 공정 이미지를 사용하여 학습 훈련 데이터 구축 및 단위 훈련 테스트를 진행할 수 있다.
이 때, 학습 훈련 데이터는 홀 사이즈 측정 후 생성된 원본 이미지이며, Label 이미지는 원본 이미지로부터 홀 검출을 위해 라벨링한 바이너리 이미지일 수 있다.
본 발명에 따른 인공지능 기반 홀 이미지의 자동 품질 검사 장치는 라벨링 작업 과정에서 VIA(VGG Image Annotator)툴을 사용할 수 있다.
본 발명에 따른 인공지능 기반 홀 이미지의 자동 품질 검사 장치는 데이터 전처리 시 학습 효과를 올리기 위해 Input 이미지를 그레이 스케일링할 수 있다.
본 발명에 따른 인공지능 기반 홀 이미지의 자동 품질 검사 장치는 학습에 필요한 이미지 크기를 512x512 사이즈로 zero-padding 전처리 하여 크기 비율을 조정할 수 있다.
본 발명에 따른 인공지능 기반 홀 이미지의 자동 품질 검사 장치는 이미지 데이터를 numpy 배열 형식으로 변환하고, 학습/평가 데이터를 분리 및 변수 설정 (데이터셋: 288장, train: 200장, val: 56장, test: 32장)하고, 하이퍼 파라미터 설정 (Batch: 4, Epoch: 100)할 수 있다.
본 발명에 따른 인공지능 기반 홀 이미지의 자동 품질 검사 장치는 데이터 개수에 따른 Batch 크기는 4로, Epoch는 100으로써 비교적 크게 설정하여 모델 구축 및 훈련 U-Net 네트워크를 구현하고 훈련을 진행할 수 있다.
본 발명에 따른 인공지능 기반 홀 이미지의 자동 품질 검사 장치는 결과 분석 및 샘플을 출력할 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 후술하는 청구범위에 의하여 나타내어지며, 청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
Claims (2)
- 인공지능 기반 홀 이미지의 자동 품질 검사 장치에 있어서,
고배율 현미경으로부터 수집한 이미지를 입력하는 입력부;
상기 수집한 이미지를 전처리하는 전처리부; 및
기학습된 신경망을 이용하여 전처리된 홀 이미지에 대한 불량 판정을 수행하는 불량판정부를 포함하는 인공지능 기반 홀 이미지의 자동 품질 검사 장치.
- 인공지능 기반 홀 이미지의 자동 품질 검사 방법에 있어서,
고배율 현미경으로부터 수집한 이미지를 입력하는 단계;
상기 수집한 이미지를 전처리하는 전처리하는 단계; 및
기학습된 신경망을 이용하여 전처리된 홀 이미지에 대한 불량 판정을 수행하는 단계를 포함하는 인공지능 기반 홀 이미지의 자동 품질 검사 방법.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020210152219A KR20230068445A (ko) | 2021-11-08 | 2021-11-08 | 인공지능 기반 홀 이미지의 자동 품질 검사 장치및 방법 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020210152219A KR20230068445A (ko) | 2021-11-08 | 2021-11-08 | 인공지능 기반 홀 이미지의 자동 품질 검사 장치및 방법 |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20230068445A true KR20230068445A (ko) | 2023-05-18 |
Family
ID=86545698
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020210152219A KR20230068445A (ko) | 2021-11-08 | 2021-11-08 | 인공지능 기반 홀 이미지의 자동 품질 검사 장치및 방법 |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR20230068445A (ko) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102618194B1 (ko) * | 2023-07-20 | 2023-12-28 | 김형모 | Ai와 자동제어 기술을 접목한 반도체 패키지 기판 가공홀 3d 자동 공정검사 방법 및 시스템 |
-
2021
- 2021-11-08 KR KR1020210152219A patent/KR20230068445A/ko unknown
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102618194B1 (ko) * | 2023-07-20 | 2023-12-28 | 김형모 | Ai와 자동제어 기술을 접목한 반도체 패키지 기판 가공홀 3d 자동 공정검사 방법 및 시스템 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111179251B (zh) | 基于孪生神经网络利用模板比对的缺陷检测***及方法 | |
US10964004B2 (en) | Automated optical inspection method using deep learning and apparatus, computer program for performing the method, computer-readable storage medium storing the computer program, and deep learning system thereof | |
US12032469B2 (en) | Explainable artificial intelligence modeling and simulation system and method | |
CN110402487B (zh) | 对从晶片检测的缺陷进行分类的方法和装置 | |
US6941009B2 (en) | Method for evaluating pattern defects on a water surface | |
KR20200096861A (ko) | 불량 감지 방법 및 장치 | |
CN112534470A (zh) | 用于基于图像的目标对象检验的***及方法 | |
Hortinela et al. | Identification of abnormal red blood cells and diagnosing specific types of anemia using image processing and support vector machine | |
CN106290392A (zh) | 一种小微轴承表面凹痕缺陷在线检测方法及其*** | |
JP2011158373A (ja) | 自動欠陥分類のための教師データ作成方法、自動欠陥分類方法および自動欠陥分類装置 | |
KR20150131046A (ko) | 현미경 이미지의 이미지 품질 평가 | |
García-Pérez et al. | CNN-based in situ tool wear detection: A study on model training and data augmentation in turning inserts | |
CN114494780A (zh) | 基于特征对比的半监督工业缺陷检测方法及*** | |
CN117392042A (zh) | 缺陷检测方法、缺陷检测设备及存储介质 | |
KR20230068445A (ko) | 인공지능 기반 홀 이미지의 자동 품질 검사 장치및 방법 | |
KR101782364B1 (ko) | 케이평균군집화를 통한 학습기반의 비전검사 방법 | |
CN108615039A (zh) | 基于计算机视觉的弹壳表面缺陷自动检测方法 | |
CN114092935A (zh) | 一种基于卷积神经网络的纺织品纤维识别方法 | |
Çelebi et al. | Red and white blood cell classification using Artificial Neural Networks | |
CN112836724A (zh) | 物体缺陷识别模型训练方法、装置、电子设备和存储介质 | |
CN114226262A (zh) | 瑕疵检测方法、瑕疵分类方法及其*** | |
CN115063385A (zh) | 一种用于晶圆检测的机器视觉方法 | |
CN114119562A (zh) | 一种基于深度学习的刹车盘外表面缺陷检测方法及*** | |
Khan et al. | Image based portable wear debris analysis tool | |
Florez et al. | Architecture for fault detection in sandwich panel production using visual analytics |