KR102602167B1 - 딥러닝 기반의 mlcc 적층 얼라인먼트 검사 시스템 및 방법 - Google Patents

딥러닝 기반의 mlcc 적층 얼라인먼트 검사 시스템 및 방법 Download PDF

Info

Publication number
KR102602167B1
KR102602167B1 KR1020210151239A KR20210151239A KR102602167B1 KR 102602167 B1 KR102602167 B1 KR 102602167B1 KR 1020210151239 A KR1020210151239 A KR 1020210151239A KR 20210151239 A KR20210151239 A KR 20210151239A KR 102602167 B1 KR102602167 B1 KR 102602167B1
Authority
KR
South Korea
Prior art keywords
data
mlcc
deep learning
learning
segmentation
Prior art date
Application number
KR1020210151239A
Other languages
English (en)
Other versions
KR20230065558A (ko
Inventor
오흥선
손성빈
박주찬
이선훈
정준욱
박용준
Original Assignee
한국기술교육대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국기술교육대학교 산학협력단 filed Critical 한국기술교육대학교 산학협력단
Priority to KR1020210151239A priority Critical patent/KR102602167B1/ko
Priority to US18/276,450 priority patent/US20240103076A1/en
Priority to PCT/KR2022/016880 priority patent/WO2023080587A1/ko
Publication of KR20230065558A publication Critical patent/KR20230065558A/ko
Application granted granted Critical
Publication of KR102602167B1 publication Critical patent/KR102602167B1/ko

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R31/00—Arrangements for testing electric properties; Arrangements for locating electric faults; Arrangements for electrical testing characterised by what is being tested not provided for elsewhere
    • G01R31/28—Testing of electronic circuits, e.g. by signal tracer
    • G01R31/317—Testing of digital circuits
    • G01R31/3181—Functional testing
    • G01R31/3183—Generation of test inputs, e.g. test vectors, patterns or sequences
    • G01R31/318307—Generation of test inputs, e.g. test vectors, patterns or sequences computer-aided, e.g. automatic test program generator [ATPG], program translations, test program debugging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R31/00—Arrangements for testing electric properties; Arrangements for locating electric faults; Arrangements for electrical testing characterised by what is being tested not provided for elsewhere
    • G01R31/28—Testing of electronic circuits, e.g. by signal tracer
    • G01R31/317—Testing of digital circuits
    • G01R31/3181—Functional testing
    • G01R31/3183—Generation of test inputs, e.g. test vectors, patterns or sequences
    • G01R31/318342—Generation of test inputs, e.g. test vectors, patterns or sequences by preliminary fault modelling, e.g. analysis, simulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01G—CAPACITORS; CAPACITORS, RECTIFIERS, DETECTORS, SWITCHING DEVICES, LIGHT-SENSITIVE OR TEMPERATURE-SENSITIVE DEVICES OF THE ELECTROLYTIC TYPE
    • H01G4/00—Fixed capacitors; Processes of their manufacture
    • H01G4/30—Stacked capacitors
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01G—CAPACITORS; CAPACITORS, RECTIFIERS, DETECTORS, SWITCHING DEVICES, LIGHT-SENSITIVE OR TEMPERATURE-SENSITIVE DEVICES OF THE ELECTROLYTIC TYPE
    • H01G4/00—Fixed capacitors; Processes of their manufacture
    • H01G4/002—Details
    • H01G4/005—Electrodes
    • H01G4/012—Form of non-self-supporting electrodes

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Power Engineering (AREA)
  • Computer Hardware Design (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Manufacturing & Machinery (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • Electrical Control Of Air Or Fuel Supplied To Internal-Combustion Engine (AREA)

Abstract

본 발명의 일 실시예에 따른 딥러닝 기반의 MLCC 적층 얼라인먼트 검사 시스템은 반도체 MLCC 칩으로부터 적층 구조가 촬영된 이미지 데이터의 검사가 필요한 핵심영역을 딥러닝 기반의 적어도 하나의 핵심영역 검출 모델을 활용하여 검출하고, 검출된 핵심영역에서 세그멘테이션(segmentation)하고, 세그멘테이션 결과를 이용하여 기준 마진율 범위에 따라 불량 여부를 판단하여 정상/불량 데이터를 생성하여 불량 검출이 이루어지도록 하는 통합형 불량검출부; 상기 통합형 불량검출부의 핵심영역 검출, 세그멘테이션, 불량검출에 대한 결과별로 시각화를 수행하고, 시각화된 단계별 분석 데이터의 검사자 분석을 통하여 해당 데이터의 수정 여부를 결정할 수 있도록 제공하는 결과분석부; 및 상기 정상/불량 데이터, 단계별 분석 데이터를 저장하는 데이터 스토리지를 포함한다.

Description

딥러닝 기반의 MLCC 적층 얼라인먼트 검사 시스템 및 방법{Deep learning-based MLCC stacked alignment inspection system and method}
본 발명은 MLCC 적층 얼라인먼트 검사 시스템 및 방법에 관한 것으로, 더욱 상세하게는 촬영된 이미지에 대한 딥러닝 기반 모델의 핵심영역 검출 및 세그멘테이션 결과를 이용하여 마진율 범위에 의한 불량 여부를 판단하는 딥러닝 기반의 MLCC 적층 얼라인먼트 검사 시스템 및 방법에 관한 것이다.
일반적으로, MLCC(Multi Layer Ceramic Capacitor)칩은 전자제품의 회로에 전류가 일정하게 흐르도록 제어하는 핵심 부품으로 자동차를 비롯하여 다양한 스마트 전자기기 분야에 활용되고 있다.
이러한 MLCC 칩의 적층 얼라인먼트 검사는 적층 공정 이후의 검사공정을 포함할 수 있다.
도 10은 종래에 적층부터 검사까지의 전체 공정을 도시한 것으로, 적층은 패턴 단위의 Ni 전극이 인쇄된 유전체 Sheet를 수백층 쌓는 공정이며, 적층된 제품은 Green Bar라 하고, 트리밍은 Green Bar를 4등분으로 나누고 4측면을 추가로 트리밍해서 Ni 전극층을 노출시킴으로써 Vision 검사가 가능하도록 준비하는 공정이다.
또한 검사 공정은 대개 Vision 카메라로 모서리 부분의 2포인트씩 총 8포인트의 이미지를 촬영하고 육안으로 적층 얼라인먼트 양불을 판단하는 공정이다.
또한 MLCC 검사는 일반적으로 도 11을 참조하면 적층 얼라인먼트 불량인 얼라인먼트 밀림, Sheet 접힘, 전극삐침, 얼라인먼트 틀어짐의 4종류를 중점으로 검사할 수 있다.
그러나 기존의 검사 방식은 Green Bar를 검사 Stage에 놓고 수작업으로 핸들링하므로 WD(Working Distance) 편차가 발생하고, 절단면의 각도에 의한 DOF(Depth of Focus) Range 차가 발생해 균일한 이미지 확보가 어려움이 있으며, 카메라와 검사 Stage 등이 고정 되어있지 않은 불균일한 촬영환경 개선이 필요하다.
또한 촬영된 이미지를 가지고 마진율 판단을 하여 마진 범위를 벗어나면 불량으로 판단하는데, 기존 검사 방식에는 마진율 판단시 검사자간 편차가 발생하는데 원인은 촬영 이미지를 전극(검정색)과 유전체(흰색)의 경계가 뚜렷해질 때까지 임계값을 육안 기준으로 조절하고, 최고점 최저점을 육안으로 판단하여 전극 사이의 거리 값을 측정하는데 수치적 평가보다 육안 평가가 주를 이루기 때문이다.
따라서, 전술한 문제를 해결하기 위하여 이미지에 대한 객체 인식을 통하여 노이즈를 제거하고, 불량 데이터 및 정상 데이터에 대한 학습을 통하여 마진율 범위에 의한 불량 판단을 개선할 수 있는 딥러닝 기반의 MLCC 적층 얼라인먼트 검사 시스템 및 방법에 대한 연구가 필요하게 되었다.
대한민국 공개특허 제10-2011-0004929호(2011년01월17일 공개)
본 발명의 목적은 이미지에 대한 객체 인식을 통하여 노이즈를 제거하고, 불량 데이터 학습을 통하여 마진율 범위에 의한 불량 판단을 개선할 수 있도록 반도체 MLCC 칩으로부터 촬영된 이미지 데이터의 검사가 필요한 핵심영역을 객체 인식 알고리즘을 포함한 딥러닝 기반의 적어도 하나의 핵심영역 검출 모델을 활용하여 이미지 내에서 검출하고, 검출된 핵심영역에서 세그멘테이션(segmentation)하고, 세그멘테이션 결과를 이용하여 기준 마진율 범위에 따라 불량 여부를 판단하는 딥러닝 기반의 MLCC 적층 얼라인먼트 검사 시스템 및 방법을 제공하는 것이다.
다른 목적으로는 통합형 불량검출부의 핵심영역 검출, 세그멘테이션, 불량검출에 대한 결과별로 시각화를 수행하고, 시각화된 단계별 분석 데이터의 검사자 분석을 통하여 해당 데이터의 수정 여부를 결정할 수 있도록 제공하여 불량 검출시 오류에 강인하도록 하는 딥러닝 기반의 MLCC 적층 얼라인먼트 검사 시스템 및 방법을 제공하는 것이다.
본 발명의 일 실시예에 따른 딥러닝 기반의 MLCC 적층 얼라인먼트 검사 시스템은, 반도체 MLCC 칩으로부터 적층 구조가 촬영된 이미지 데이터의 검사가 필요한 핵심영역을 딥러닝 기반의 적어도 하나의 핵심영역 검출 모델을 활용하여 검출하고, 검출된 핵심영역에서 세그멘테이션(segmentation)하고, 세그멘테이션 결과를 이용하여 기준 마진율 범위에 따라 불량 여부를 판단하여 정상/불량 데이터를 생성하여 불량 검출이 이루어지도록 하는 통합형 불량검출부; 상기 통합형 불량검출부의 핵심영역 검출, 세그멘테이션, 불량검출에 대한 결과별로 시각화를 수행하고, 시각화된 단계별 분석 데이터의 검사자 분석을 통하여 해당 데이터의 수정 여부를 결정할 수 있도록 제공하는 결과분석부; 및 상기 정상/불량 데이터, 단계별 분석 데이터를 저장하는 데이터 스토리지를 포함한다.
상기 시스템에 있어서, 상기 통합형 불량검출부는 상기 핵심영역 검출 모델에 의해 검출된 다수의 핵심영역에서 클래스 별 경계면을 분할하는 세그멘테이션 모델을 활용하여 경계면 분할을 수행하고, 상기 핵심영역의 세그멘테이션 결과를 이용해 전극과 전극 사이 직선거리에 대한 마진율을 측정하고, 측정된 마진율이 미리 설정된 기준마진율 범위 이내이면 정상으로 판단하고, 기준마진율 범위 밖이면 불량으로 판단할 수 있는 것을 특징으로 한다.
상기 시스템에 있어서, 상기 결과분석부를 통해 시각화 과정을 거쳐 결과 분석을 통해 얻은 수정이 필요한 단계별 분석 데이터에 대해서 레이블링을 수정하는 프로그램인 어노테이션 도구를 더 포함한다.
상기 시스템에 있어서, 상기 통합형 불량검출부에서 생성된 정상/불량 데이터에 대해 모델 성능 향상을 위해 주기적인 학습을 수행하는 자가학습부를 더 포함한다.
상기 시스템에 있어서, 정상 데이터와 불량 데이터의 불균형을 완화시키기 위해 학습에 필요한 불량 데이터를 적대적 생성 신경망(GAN) 기반의 모델을 통해 생성하는 불량데이터 생성부를 더 포함한다.
본 발명의 일 실시예에 따른 딥러닝 기반의 MLCC 적층 얼라인먼트 검사 방법은, 딥러닝 기반의 MLCC 적층 얼라인먼트 검사 시스템 내 구비된 통합형 불량검출부는 반도체 이미지 데이터로부터 사전 학습된 핵심영역 추출 모델을 활용하여 핵심영역을 추출하는 단계; 상기 통합형 불량검출부는 핵심영역 내 세그멘테이션을 이용하여 검사영역을 구분하는 단계; 상기 통합형 불량검출부는 세그멘테이션에 의해 구분된 검사영역 내 마진율을 기준 마진율과 비교하여 반도체 칩의 불량 여부를 판단하는 단계; 결과분석부는 불량 검출시 각 과정에 대한 결과를 분석하여 시각화하여 분석 데이터 생성하고, 수정여부를 판단할 수 있도록 제공하는 단계를 포함한다.
상기 방법에 있어서, 상기 결과분석부는 어노테이션 도구를 활용하여 시각화된 단계별 분석 데이터로부터 수정 데이터가 생성된 경우, 학습을 위해 데이터 스토리지에 불량 여부 판단시 생성된 정상 데이터 및 불량 데이터와 함께 저장하는 단계를 더 포함한다.
상기 방법에 있어서, 자가학습부는 정상 데이터, 불량 데이터 및 수정데이터를 활용하여 자가 학습을 수행하고, 불량 검출시 활용되는 모델의 예측 정확도를 향상시키고, 최적화를 위해 주기적으로 업데이트하여 반영하는 단계를 더 포함한다.
본 발명의 딥러닝 기반의 MLCC 적층 얼라인먼트 검사 시스템은 딥러닝 학습을 기반으로 이미지에 대한 객체 인식 학습을 통하여 노이즈를 제거하고, 불량 데이터 학습을 통하여 마진율 범위에 의한 불량 판단을 개선할 수 있도록 반도체 MLCC 칩으로부터 촬영된 이미지 데이터의 검사가 필요한 핵심영역을 객체 인식 알고리즘을 포함한 딥러닝 기반의 적어도 하나의 핵심영역 검출 모델을 활용하여 이미지 내에서 검출하고, 검출된 핵심영역에서 세그멘테이션(segmentation)하고, 세그멘테이션 결과를 이용하여 기준 마진율 범위에 따라 정확하게 불량 여부를 판단할 수 있는 장점이 있다.
또한, 핵심영역 검출, 세그멘테이션, 불량검출에 대한 결과별로 시각화를 수행하고, 시각화된 단계별 분석 데이터의 검사자 분석을 통하여 해당 데이터의 수정 여부를 결정할 수 있도록 제공하여 불량 검출시 오류에 강인하도록 하는 장점이 있다.
또한 불량 검출시 활용되는 기존 모델은 적은 데이터로 학습된 모델이므로 모델의 결과와 생성된 불량데이터, 수정된 데이터들이 일정량이 모이게 되면 불량 검출이 더욱 잘 이루어지도록 주기적으로 자가 학습을 진행함으로써, 상술한 예측 모델들(핵심영역 추출 모델, 세그멘테이션 모델, 불량 검출 모델 등)의 성능 향상 및 변수 최적화를 이룰 수 있는 장점이 있다.
도 1은 본 발명의 일 실시예에 따른 딥러닝 기반의 MLCC 적층 얼라인먼트 검사 시스템의 구성을 보인 블록도이다.
도 2는 도 1의 딥러닝 기반의 MLCC 적층 얼라인먼트 검사 시스템의 내부 구성 및 기능을 세부적으로 보인 블록도이다.
도 3은 도 1의 통합형 불량검출부의 세부 기능을 보인 도면이다.
도 4는 도 1의 결과분석부의 세부 기능을 보인 도면이다.
도 5는 도 1의 어노테이션 도구의 세부 기능을 보인 도면이다.
도 6은 도 1의 불량데이터 생성부의 세부 기능을 보인 도면이다.
도 7은 도 1의 자가학습부의 세부 기능을 보인 도면이다.
도 8은 도 1의 결과분석부의 세부 기능을 보인 도면이다.
도 9는 본 발명의 일 실시예에 따른 딥러닝 기반의 MLCC 적층 얼라인먼트 검사 방법의 순서도이다.
도 10은 종래의 MLCC 적층부터 검사까지의 전체 공정을 나타낸 도면이다.
도 11은 일반적인 MLCC 검사 종류를 나타낸 도면이다.
도 12는 본 발명에서 마진율 판단 예시를 설명하기 위한 도면이다.
이하에서는 도면을 참조하여 본 발명의 구체적인 실시예를 상세하게 설명한다. 다만, 본 발명의 사상은 제시되는 실시예에 제한되지 아니하고, 본 발명의 사상을 이해하는 당업자는 동일한 사상의 범위 내에서 다른 구성요소를 추가, 변경, 삭제 등을 통하여, 퇴보적인 다른 발명이나 본 발명 사상의 범위 내에 포함되는 다른 실시예를 용이하게 제안할 수 있을 것이나, 이 또한 본원 발명 사상 범위 내에 포함된다고 할 것이다. 또한, 각 실시예의 도면에 나타나는 동일한 사상의 범위 내의 기능이 동일한 구성요소는 동일한 참조부호를 사용하여 설명한다.
도 1은 본 발명의 일 실시예에 따른 딥러닝 기반의 MLCC 적층 얼라인먼트 검사 시스템의 구성을 보인 블록도이고, 도 2는 도 1의 딥러닝 기반의 MLCC 적층 얼라인먼트 검사 시스템의 내부 구성 및 기능을 세부적으로 보인 블록도이며, 도 3은 도 1의 통합형 불량검출부의 세부 기능을 보인 도면이고, 도 4는 도 1의 결과분석부의 세부 기능을 보인 도면이며, 도 5는 도 1의 어노테이션 도구의 세부 기능을 보인 도면이고, 도 6은 도 1의 불량데이터 생성부의 세부 기능을 보인 도면이며, 도 7은 도 1의 자가학습부의 세부 기능을 보인 도면이고, 도 8은 도 1의 결과분석부의 세부 기능을 보인 도면이다.
본 발명의 딥러닝 기반의 MLCC 적층 얼라인먼트 검사 시스템(1000)은 MLCC 적층 불량 검사를 위한 시스템으로서, 구체적 기능을 수행하기 위해 도 1 및 도 2에 도시된 바와 같이, 통합형 불량검출부(100), 결과분석부(200), 데이터 스토리지(300), 어노테이션 도구(400), 자가학습부(500), 불량데이터 생성부(600)를 포함한다.
통합형 불량검출부(100)는 도 3에 도시된 바와 같이 반도체 MLCC 칩으로부터 촬영된 이미지 데이터의 검사가 필요한 핵심영역 검출 기능, 세그멘테이션(segmentation) 기능, 불량검출 기능을 단계적으로 수행하여 불량 검출이 이루어지도록 할 수 있다.
먼저 핵심영역 검출 기능은 반도체 이미지 데이터의 불량 유무를 판단할 수 있는 적어도 하나의 핵심영역 검출 모델을 활용하여 이미지 내에서 핵심영역을 검출한다.
여기서 활용되는 모델은 객체 인식 알고리즘을 포함한 딥러닝 기반의 어떤 검출 모델도 적용 가능하며, 모델의 검출 결과는 예측한 핵심영역의 Box 좌표가 될 수 있다. 또한 핵심영역은 검사가 필요한 MLCC 적층 구조에 대해 촬영된 이미지 영역이 될 수 있다.
여기서 객체 인식 알고리즘 내지 딥러닝 기반 검출 모델은 CNN(Convolutional Neural Networks)과, Transfomer 알고리즘이 될 수 있으며, 여기서 CNN 알고리즘은 합성곱 연산을 통하여 객체를 인식시키는 신경망 알고리즘이고, Transformer 알고리즘은 이미지를 Sequence 형태로 구성하고 Multi-head attention을 사용해 전역적인 중요성을 탐지 가능한 알고리즘이다.
또한 본 발명에서는 특히 객체 위치를 검출하는데 탁월하도록 딥러닝 객체 인식 방법을 사용한 R-CNN(Region-based CNN) 알고리즘 혹은 DETR(Detection Transformer)을 이용하여 객체를 인식할 수도 있다.
R-CNN 알고리즘은 먼저 후보영역을 생성하고 이를 기반으로 CNN을 학습시켜 영상 내 객체의 위치를 찾아내는 신경망 알고리즘으로, 객체인식과정은 입력된 영상에서 선택적 탐색을 이용하여 후보 영역 생성하는 과정과, 생성된 각 후보 영역들을 동일한 크기로 변환하고, CNN을 통해 특징을 추출하는 과정과, 추출된 특징을 Fully-connected layer의 입력으로 넣어 후보 영역 내의 객체의 위치와 클래스를 분류하는 과정을 포함한다.
이때 후보 영역의 위치는 정확하지 않기 때문에 최종적으로 회귀 학습 모듈과, 클래스 분류 모둘을 통해 객체 영역 박스 위치와 클래스를 정확히 보정할 수 있다.
또한 Detection Transformer 알고리즘은 먼저 이미지를 시퀀스(Sequence) 형태로 구성하고 이를 Transformer Encoder에 통과시켜, 이미지의 정보를 잘 내포시킨 임베딩을 만드는 과정과, Transformer Decoder를 추가로 구성하고, Transformer Encoder의 결과인 임베딩을 Decoder에서 재사용함으로써 실제 객체의 위치와 객체의 클래스를 정확하게 분류하는 과정을 포함한다.
또한 Encoder에서 이미지의 정보를 잘 내포시킨 임베딩을 만드는 과정에서, 시퀀스(Sequence)간의 중요도를 확인하여 학습에 도움을 줄 수 있는 Multi-head attention을 사용함으로써, 이미지에 대한 고 품질의 특징을 포착할 수 있고, 객체의 위치와 카테고리를 분류하는 과정에서 기존과 달리 Non-Maximum Suppression(NMS) 방식을 쓰지 않고, 헝가리안 알고리즘과 이분매칭을 사용함으로써 중복을 최소화하여 객체의 위치와 클래스를 정확히 보정할 수도 있다.
또한 다른 신경망 알고리즘으로 Fast R-CNN, R-FCN, YOLO(You only Look Once), SSD(Single Shot MultiBox Detector) 등이 있는데, 상술한 신경망 알고리즘을 추가로 적용하거나 R-CNN을 대체하여 적용할 수 있으며, 상술한 신경망 알고리즘 중 1-stage에 해당하는 알고리즘을 적용하여 객체 인식 속도를 향상시킬 수도 있다.
나아가, 객체 인식율을 높이기 위해 에이다부스트(AdaBoost), 서포트 벡터 머신(Support Vector Machine: SVM), 선형판별식 해석(Linear Disciminant Analysis: LDA), 주성분 분석(Principal Component Analusis: PCA) 등의 알고리즘이 추가로 이용될 수도 있으며, 이러한 알고리즘 기법들은 모두 외형에 기반하여 인식대상 영역을 식별하는 것으로, 트레이닝에 사용될 영상 이미지들의 집합에 의해 트레이닝된 모델을 이용해서 객체(예컨대 핵심영역에 해당하는 MLCC 적층 구조에 대한 이미지 영역) 주위의 영역을 검출하며, 여러 주변의 제약 조건들이 트레이닝을 통해 극복되어지기 때문에 결과적으로 이미지 노이즈(불량 화소 등)에 강인하도록 하고, 객체 인식 정확도와 신뢰도를 높일 수 있다.
또한 세그멘테이션 기능은 핵심영역 검출 모델에 의해 검출된 다수의 핵심영역에서 클래스 별 경계면을 분할하는 세그멘테이션 모델을 활용하여 경계면 분할을 수행할 수 있다. 즉 여기서 경계면은 핵심영역 내에서 불량 검출이 필요한 하나 이상의 검사영역에 해당할 수 있다.
또한 세그멘테이션 모델은 알고리즘 혹은 딥러닝 기반의 어떤 세그멘테이션 모델도 적용 가능하며, 이 세그멘테이션 모델 검출 결과는 예측한 핵심영역에 존재하는 각 픽셀들의 클래스가 될 수 있다.
또한, 통합형 불량검출부(100)는 핵심영역의 세그멘테이션 결과를 이용해 전극과 전극 사이 직선거리에 대한 마진율을 측정하는 불량검출기능을 수행할 수 있다.
측정된 마진율을 비교하기 위한 기준마진율은 반도체 이미지 데이터마다 개별적으로 설정 가능하고, 설정한 기준마진율을 기준점으로 잡고 측정된 마진율 범위가 기준마진율 범위 이내이면 정상, 기준마진율 범위 밖이면 불량으로 판단할 수 있게 된다. 여기서 기준마진율 직선거리 범위는 예컨대 MLCC 적층 구조에서 각 전극 패턴 간의 거리가 될 수 있다.
좀 더 구체적으로 도 12를 참조하여 예를 들어 설명하면, 마진율 판단은 촬영된 이미지 데이터를 가지고 인쇄 패턴에서의 전극과 전극 사이의 거리(마진 구간)를 4등분하여 전극이 마진부분에 해당하는 기준마진율인 1/4(25%)을 초과(초록색 동그라미 부분)하여 벗어나면 불량, 1/4 이내면 양품으로 판단하는 것이다.
결과 분석부는 도 4를 참조하면, 통합형 불량검출부(100)의 단계별 결과를 전처리 후 시각화하여 눈으로 볼 수 있게 데이터를 분석하고 변환하는 기능을 수행할 수 있다.
또한 결과 분석부는 데이터 스토리지(300)에 있는 데이터(기존, 정상, 불량, 수정 데이터들)를 선택하여 결과 시각화를 진행할 수도 있다.
또한 결과 분석부는 결과 시각화를 진행한 데이터를 검사자에게 제공하여 시각화된 단계별 결과를 통해 모델이 예측한 결과의 수정 유무를 판단할 수 있도록 한다.
즉, 결과 분석부는 통합형 불량검출부(100)의 각 기능 단계인 핵심영역 검출, 세그멘테이션, 불량검출에 대한 결과별로 시각화를 수행하고, 그 결과인 단계별 분석 데이터를 검사자가 직접 확인하여 수정이 필요한지 여부를 결정하도록 하는 것이다.
데이터 스토리지(300)는 도 6을 참조하면 기존데이터와 함께, 통합형 불량검출부(100)를 통해 산출된 정상 데이터와 불량 데이터가 저장되고 관리되는 데이터베이스로서의 역할을 수행한다.
또한 데이터 스토리지(300)는 후술할 어노테이션 도구(400)를 통해 수정한 수정데이터가 추가로 저장될 수 있다.
또한 여기서 데이터 스토리지(300)에 저장되는 각종 데이터는 이미지 파일(예컨대 *.jpg, *.png 등)과 이미지에 해당하는 레이블링 파일로 구성되어 있으며, 결과분석부(200)에 의해 시각화된 결과 분석 데이터 및 불량데이터는 후술할 자가학습부(500)를 통하여 자가학습에 사용될 수 있다.
또한 기존 데이터는 자가학습부(500)에 의해 사전 학습되는 데이터로서, 과거에 통합형 불량검출부(100)에 의해 생성된 정상/불량 데이터가 될 수 있으며, 초기에 정상/불량 데이터가 존재하지 않는 경우 사전 학습을 위해 출하시 MLCC 칩 모델의 초기 정상 데이터와 불량데이터 생성부(600)에 의해 임의로 생성된 불량 데이터가 될 수 있다.
어노테이션 도구(400)는 도 5를 참조하면 결과분석부(200)를 통해 시각화 과정을 거쳐 결과 분석을 통해 얻은 수정이 필요한 단계별 분석 데이터에 대해서 레이블링(Labeling)을 수정하여 재레이블링(Re-Labeling)하는 도구(프로그램 툴)이다.
이때 레이블링은 핵심영역, 세그멘테이션로 두 가지 기능을 지원하며, 웹 기반 레이블링 수정용 어노테이션 도구(400)를 통해 수정이 필요한 단계별 분석 데이터를 수정하하여 재레이블링하고, 수정된 데이터를 데이터 스토리지(300)에 저장하여 자가학습에 활용할 수 있다. 또한 이러한 어노테이션 도구(400)는 검사자가 소지한 관리자단말 또는 결과분석부(200) 내에 프로그램 형태로 설치될 수 있다.
자가학습부(500)는 도 7을 참조하면 반도체 데이터 수집이 어렵기 때문에 기존 모델은 적은 데이터로 학습된 모델이므로 모델의 결과와 생성된 불량데이터, 수정된 데이터들이 일정량이 모이게 되면 불량 검출이 더욱 잘 이루어지도록 상술한 예측 모델들(핵심영역 추출 모델, 세그멘테이션 모델, 불량 검출 모델 등)의 성능 향상 및 변수 최적화를 위해 주기적으로 학습을 진행할 수 있다.
또한 자가학습부(500)는 딥러닝 알고리즘 기반 자가학습을 비전문가도 사용할 수 있도록 웹기반의 딥러닝 기반 학습 서비스를 제공하며, 기존에 존재하는 모델들 중 선택 및 파라미터 설정 등 학습에 필요한 값들을 웹기반 UI(User Interface)를 통하여 설정하여 자가학습이 진행되고, 학습이 끝나면 자동으로 모델이 업데이트되고, 학습 기본 모델로 설정되도록 할 수 있다.
또한 자가학습부(500)는 통합형 불량 검출부에서 활용되는 단계별 각 모델들(핵심영역 추출 모델, 세그멘테이션 모델, 불량 검출 모델 등)의 기준이 되는 사전 학습을 위해 초기 데이터를 제공받아 사전 학습을 진행할 수 있으며, 초기 데이터는 전술한 바와 같이, 출하시 MLCC 칩 모델의 초기 정상 데이터와 불량데이터 생성부(600)에 의해 임의로 생성된 불량 데이터가 될 수 있다.
불량데이터 생성부(600)는 도 8을 참조하면 실제 반도체 공정에서는 불량데이터의 발생률이 매우 적으므로 정상과 불량 데이터의 불균형이 존재하므로, 불균형을 완화시키기 위해 불량데이터를 생성할 수 있다.
구체적으로 불량데이터 생성부(600)는 데이터 스토리지(300)에서 정상 데이터를 추출 후 적대적 생성 신경망(GAN) 기반의 모델을 통해 불량 데이터를 생성할 수 있으며, 생성된 불량 데이터는 데이터 스토리지(300)에 불량 데이터로 저장되어 학습시 활용된다.
여기서 적대적 생성 신경망(GAN)은 기존의 딥러닝 네트워크와는 달리 여러 개의 심층 신경망으로 이루어진 구조로, 고해상도 이미지를 생성하기 위해 기존 심층 신경망 모델보다 수십 배 많은 연산량을 요구하지만, 이미지 복원 및 생성에 탁월한 성능을 제공할 수 있다.
또한 적대적 생성 신경망은 생성기(Generator)와 판별기(Discriminator)로 두 네트워크를 적대적(Adversarial)으로 학습시키는 비지도 학습 기반 생성모델로서, 생성기에는 입력 데이터가 입력되어 실제 이미지와 유사한 가짜 이미지(본 발명의 불량 데이터 이미지)를 만들어내도록 학습될 수 있다.
입력 데이터는 노이즈 값이 입력될 수 있다. 노이즈 값은 어떤 확률 분포를 따를 수 있다. 예컨대, 제로 평균 가우시안(Zero-Mean Gaussian)으로 생성된 데이터일 수 있다.
판별기는 실제 이미지와 생성기가 생성한 가짜 이미지를 판별하도록 학습할 수 있다. 보다 구체적으로는, 실제 이미지를 입력하면 높은 확률이 나오도록, 가짜 이미지를 입력하면 확률이 낮아지도록 학습할 수 있다. 즉, 판별기는 실제 이미지와 가짜 이미지를 잘 판별하도록 점진적으로 학습할 수 있다.
도 9는 본 발명의 일 실시예에 따른 딥러닝 기반의 MLCC 적층 얼라인먼트 검사 방법의 순서도이다.
먼저, 딥러닝 기반의 MLCC 적층 얼라인먼트 검사 시스템(1000) 내 구비된 통합형 불량검출부(100)는 반도체 이미지 데이터로부터 사전 학습된 핵심영역 추출 모델을 활용하여 핵심영역을 추출할 수 있다(S100).
다음 통합형 불량검출부(100)는 핵심영역 내 세그멘테이션을 이용하여 검사영역을 구분할 수 있다(S102).
또한 통합형 불량검출부(100)는 세그멘테이션에 의해 구분된 검사영역 내 마진율을 기준 마진율과 비교하여 반도체 칩(MLCC 칩)의 불량 여부를 판단할 수 있다(S104).
또한 결과분석부(200)는 불량 검출시 각 과정에 대한 결과를 분석하여 시각화하여 분석 데이터를 생성하고, 수정 여부를 판단할 수 있도록 검사자에게 제공될 수 있다(S106).
또한 결과분석부(200)는 어노테이션 도구(400)를 활용하여 시각화된 단계별 분석 데이터로부터 수정 데이터가 생성된 경우, 학습을 위해 데이터 스토리지(300)에 불량 여부 판단시 생성된 정상 데이터 및 불량 데이터와 함께 저장한다(S108).
자가학습부(500)는 정상, 불량 데이터 및 수정데이터를 활용하여 자가 학습을 수행하고, 불량 검출시 활용되는 모델의 예측 정확도를 향상시키고, 최적화를 위해 주기적으로 업데이트하여 반영한다(S110).
결과적으로 누적된 기존 데이터(과거 데이터), 정상/불량 데이터 및 수정데이터가 많을수록 학습에 의해 모델의 성능이 향상되어 예측 정확도를 향상시키고, 변수의 최적화를 이루어 궁극적으로 불량 검출 성능을 높일 수 있게 된다.
100 : 통합형 불량검출부
200 : 결과분석부
300 : 데이터 스토리지
400 : 어노테이션 도구
500 : 자가학습부
600 : 불량데이터 생성부
1000 : 딥러닝 기반의 MLCC 적층 얼라인먼트 검사 시스템

Claims (8)

  1. 반도체 MLCC 칩으로부터 적층 구조가 촬영된 이미지 데이터의 검사가 필요한 핵심영역을 딥러닝 기반의 적어도 하나의 핵심영역 검출 모델을 활용하여 검출하고, 검출된 핵심영역에서 세그멘테이션(segmentation)하고, 세그멘테이션 결과를 이용하여 기준 마진율 범위에 따라 불량 여부를 판단하여 정상/불량 데이터를 생성하여 불량 검출이 이루어지도록 하는 통합형 불량검출부;
    상기 통합형 불량검출부의 핵심영역 검출, 세그멘테이션, 불량검출에 대한 결과별로 시각화를 수행하고, 시각화된 단계별 분석 데이터의 검사자 분석을 통하여 해당 데이터의 수정 여부를 결정할 수 있도록 제공하는 결과분석부; 및
    상기 정상/불량 데이터, 단계별 분석 데이터를 저장하는 데이터 스토리지
    를 포함하는 딥러닝 기반의 MLCC 적층 얼라인먼트 검사 시스템.
  2. 청구항 1에 있어서,
    상기 통합형 불량검출부는
    상기 핵심영역 검출 모델에 의해 검출된 다수의 핵심영역에서 클래스 별 경계면을 분할하는 세그멘테이션 모델을 활용하여 경계면 분할을 수행하고,
    상기 핵심영역의 세그멘테이션 결과를 이용해 전극 패턴과 전극 패턴 사이 직선거리에 대한 마진율을 측정하고, 측정된 마진율이 미리 설정된 기준마진율 범위 이내이면 정상으로 판단하고, 기준마진율 범위 밖이면 불량으로 판단할 수 있는 것을 특징으로 하는 딥러닝 기반의 MLCC 적층 얼라인먼트 검사 시스템.
  3. 청구항 2에 있어서,
    상기 결과분석부를 통해 시각화 과정을 거쳐 결과 분석을 통해 얻은 수정이 필요한 단계별 분석 데이터에 대해서 레이블링을 수정하는 프로그램인 어노테이션 도구
    를 더 포함하는 딥러닝 기반의 MLCC 적층 얼라인먼트 검사 시스템.
  4. 청구항 2에 있어서,
    상기 통합형 불량검출부에서 생성된 정상/불량 데이터에 대해 모델 성능 향상을 위해 주기적인 학습을 수행하는 자가학습부
    를 더 포함하는 딥러닝 기반의 MLCC 적층 얼라인먼트 검사 시스템.
  5. 청구항 4에 있어서,
    정상 데이터와 불량 데이터의 불균형을 완화시키기 위해 학습에 필요한 불량데이터를 적대적 생성 신경망(GAN) 기반의 모델을 통해 생성하는 불량데이터 생성부
    를 더 포함하는 딥러닝 기반의 MLCC 적층 얼라인먼트 검사 시스템.
  6. 딥러닝 기반의 MLCC 적층 얼라인먼트 검사 시스템 내 구비된 통합형 불량검출부는 반도체 이미지 데이터로부터 사전 학습된 핵심영역 추출 모델을 활용하여 핵심영역을 추출하는 단계;
    상기 통합형 불량검출부는 핵심영역 내 세그멘테이션을 이용하여 검사영역을 구분하는 단계;
    상기 통합형 불량검출부는 세그멘테이션에 의해 구분된 검사영역 내 마진율을 기준 마진율과 비교하여 반도체 칩의 불량 여부를 판단하는 단계;
    결과분석부는 불량 검출시 각 과정에 대한 결과를 분석하여 시각화하여 분석 데이터 생성하고, 수정여부를 판단할 수 있도록 제공하는 단계
    를 포함하는 딥러닝 기반의 MLCC 적층 얼라인먼트 검사 방법.
  7. 청구항 6에 있어서,
    상기 결과분석부는 어노테이션 도구를 활용하여 시각화된 단계별 분석 데이터로부터 수정 데이터가 생성된 경우, 학습을 위해 데이터 스토리지에 불량 여부 판단시 생성된 정상 데이터 및 불량 데이터와 함께 저장하는 단계
    를 더 포함하는 딥러닝 기반의 MLCC 적층 얼라인먼트 검사 방법.
  8. 청구항 7에 있어서,
    자가학습부는 정상 데이터, 불량 데이터 및 수정데이터를 활용하여 자가 학습을 수행하고, 불량 검출시 활용되는 모델의 예측 정확도를 향상시키고, 최적화를 위해 주기적으로 업데이트하여 반영하는 단계
    를 더 포함하는 딥러닝 기반의 MLCC 적층 얼라인먼트 검사 방법.
KR1020210151239A 2021-11-05 2021-11-05 딥러닝 기반의 mlcc 적층 얼라인먼트 검사 시스템 및 방법 KR102602167B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020210151239A KR102602167B1 (ko) 2021-11-05 2021-11-05 딥러닝 기반의 mlcc 적층 얼라인먼트 검사 시스템 및 방법
US18/276,450 US20240103076A1 (en) 2021-11-05 2022-11-01 Deep learning-based mlcc stacked alignment inspection system and method
PCT/KR2022/016880 WO2023080587A1 (ko) 2021-11-05 2022-11-01 딥러닝 기반의 mlcc 적층 얼라인먼트 검사 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210151239A KR102602167B1 (ko) 2021-11-05 2021-11-05 딥러닝 기반의 mlcc 적층 얼라인먼트 검사 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20230065558A KR20230065558A (ko) 2023-05-12
KR102602167B1 true KR102602167B1 (ko) 2023-11-13

Family

ID=86241774

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210151239A KR102602167B1 (ko) 2021-11-05 2021-11-05 딥러닝 기반의 mlcc 적층 얼라인먼트 검사 시스템 및 방법

Country Status (3)

Country Link
US (1) US20240103076A1 (ko)
KR (1) KR102602167B1 (ko)
WO (1) WO2023080587A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117094990B (zh) * 2023-10-16 2024-01-23 江苏富松模具科技有限公司 用于复合式冲压模具的缺陷检测方法及***

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100311282B1 (ko) 1999-01-14 2001-11-02 김상렬 접속케이블 자동검사시스템
JP2009294204A (ja) 2008-05-09 2009-12-17 Nec Lcd Technologies Ltd 表示装置の検査方法と検査装置及び表示装置用基板と表示装置
CN108982508A (zh) 2018-05-23 2018-12-11 江苏农林职业技术学院 一种基于特征模板匹配和深度学习的塑封体ic芯片缺陷检测方法
JP2019100917A (ja) 2017-12-05 2019-06-24 パナソニックＩｐマネジメント株式会社 検査プログラム生成システム、検査プログラムの生成方法、及び検査プログラムの生成用プログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110004929A (ko) 2009-07-09 2011-01-17 김교영 엠엘시시반도체부품검사장비검사알고리즘및시스템 발명
KR20140082095A (ko) * 2012-12-21 2014-07-02 삼성전기주식회사 불량 검출 장치 및 이를 이용한 불량 검출 방법
KR20190063839A (ko) * 2017-11-30 2019-06-10 전자부품연구원 제조 공정에서 딥러닝을 활용한 머신 비전 기반 품질검사 방법 및 시스템
KR102342337B1 (ko) * 2019-01-24 2021-12-23 가천대학교 산학협력단 딥러닝 신경망을 이용한 디스플레이 패널 불량 진단 시스템 및 방법
KR102384419B1 (ko) * 2020-03-31 2022-04-12 주식회사 세컨핸즈 객체에 관한 정보를 추정하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100311282B1 (ko) 1999-01-14 2001-11-02 김상렬 접속케이블 자동검사시스템
JP2009294204A (ja) 2008-05-09 2009-12-17 Nec Lcd Technologies Ltd 表示装置の検査方法と検査装置及び表示装置用基板と表示装置
JP2019100917A (ja) 2017-12-05 2019-06-24 パナソニックＩｐマネジメント株式会社 検査プログラム生成システム、検査プログラムの生成方法、及び検査プログラムの生成用プログラム
CN108982508A (zh) 2018-05-23 2018-12-11 江苏农林职业技术学院 一种基于特征模板匹配和深度学习的塑封体ic芯片缺陷检测方法

Also Published As

Publication number Publication date
US20240103076A1 (en) 2024-03-28
KR20230065558A (ko) 2023-05-12
WO2023080587A1 (ko) 2023-05-11

Similar Documents

Publication Publication Date Title
US10885618B2 (en) Inspection apparatus, data generation apparatus, data generation method, and data generation program
US10878283B2 (en) Data generation apparatus, data generation method, and data generation program
CN110992317B (zh) 一种基于语义分割的pcb板缺陷检测方法
US6771807B2 (en) Method and system for detecting defects on a printed circuit board
US11694318B2 (en) Electronic substrate defect detection
CN113724231B (zh) 一种基于语义分割和目标检测融合模型的工业缺陷检测方法
CN113344857B (zh) 缺陷检测网络的训练方法、缺陷检测方法和存储介质
JP2013167596A (ja) 欠陥検査装置、欠陥検査方法及びプログラム
TWI669519B (zh) 電路板瑕疵篩選方法及其裝置與電腦可讀取記錄媒體
CN109859164A (zh) 一种通过快速型卷积神经网络对pcba外观检验的方法
KR20220085589A (ko) 딥러닝 기반 제품 불량 검출방법 및 시스템
KR102602167B1 (ko) 딥러닝 기반의 mlcc 적층 얼라인먼트 검사 시스템 및 방법
TW202127371A (zh) 基於圖像的瑕疵檢測方法及電腦可讀存儲介質
CN112435222A (zh) 一种电路板检测方法、装置及计算机可读存储介质
CN115023731A (zh) 半导体样本的检查
JP2020106461A (ja) 画像生成装置及び外観検査装置
KR20210105335A (ko) 반도체 시편에서의 결함들의 분류
CN111062919B (zh) 一种轴承套圈外观缺陷检测方法
JP5298552B2 (ja) 判別装置、判別方法及びプログラム
JP7251078B2 (ja) 画像処理装置及びプログラム
KR102498322B1 (ko) 딥러닝 기반의 반도체 디바이스 상태 분류를 위한 장치 및 방법
CN111460198A (zh) 一种图片时间戳的审核方法及装置
KR20230063742A (ko) 계층적 cnn을 이용한 스마트 팩토리에서의 제품 불량 탐지 방법 및 이를 기록한 기록매체
CN113506290A (zh) 一种线路绝缘子缺陷检测方法及装置
CN117817211B (zh) 基于机器视觉的焊接自动化控制方法及***

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant