KR20100121250A - 큐에프엔 반도체 패키지의 외형 결함 검사를 위한 비전 시스템 및 이를 이용한 결함 분류 방법 - Google Patents

큐에프엔 반도체 패키지의 외형 결함 검사를 위한 비전 시스템 및 이를 이용한 결함 분류 방법 Download PDF

Info

Publication number
KR20100121250A
KR20100121250A KR1020090040315A KR20090040315A KR20100121250A KR 20100121250 A KR20100121250 A KR 20100121250A KR 1020090040315 A KR1020090040315 A KR 1020090040315A KR 20090040315 A KR20090040315 A KR 20090040315A KR 20100121250 A KR20100121250 A KR 20100121250A
Authority
KR
South Korea
Prior art keywords
package
image
light
defects
semiconductor package
Prior art date
Application number
KR1020090040315A
Other languages
English (en)
Inventor
주효남
김준식
이정섭
김효준
Original Assignee
호서대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 호서대학교 산학협력단 filed Critical 호서대학교 산학협력단
Priority to KR1020090040315A priority Critical patent/KR20100121250A/ko
Publication of KR20100121250A publication Critical patent/KR20100121250A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8806—Specially adapted optical and illumination features
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/59—Transmissivity
    • G01N21/5907—Densitometers
    • G01N2021/5957—Densitometers using an image detector type detector, e.g. CCD
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8806—Specially adapted optical and illumination features
    • G01N2021/8812—Diffuse illumination, e.g. "sky"
    • G01N2021/8816—Diffuse illumination, e.g. "sky" by using multiple sources, e.g. LEDs
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G01N2021/8858—Flaw counting

Landscapes

  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

본 발명은 반도체 패키지 외관 결함 특징정보 추출이 용이한 광학계 구성, QFN 패키지 결함의 분류를 위한 알고리즘 및 광학시스템에 관한 것이다. 제안한 본 발명에서는 분류가 어려운 결함 중 하나인 foreign material(이물질) 과 chip결함의 효과적인 분류를 위해 제안한 결함의 위치, 밝기의 특징정보(feature)를 사용한 ML(Maximum Likelihood ratio) 분류방법 및 특징정보 획득에 효과적인 광학계를 개시함으로써, 분류가 어려운 foreign material과 chip결함과 같은 패키지 외관 결함 특징정보에 대한 대한 신뢰성 높은 분류 관리가 가능하다.
반도체, 패키지, 이물질, 칩, 결함, 조명, 분류

Description

큐에프엔 반도체 패키지의 외형 결함 검사를 위한 비전 시스템 및 이를 이용한 결함 분류 방법 {Vision System for inspectiON of QFN Semiconductor package and classifying method}
본 발명은 반도체 패키지 외관 결함 특징정보 추출이 용이한 광학계 구성, QFN 패키지 결함의 분류를 위한 알고리즘 및 광학시스템에 관한 것이다.
반도체 외관 결함에는 발생 요인이 각각 다른 crack, foreign material, chip-out, chip, void 등이 있으며, 검사 시스템에서는 결함 유무 및 결함 분류를 수행하여 효과적인 공정관리가 가능하여야 한다.
한편, 최근 각광을 받고 있는 리드가 없는 패키지로는 대표적으로 Leadless Chip Carriers (LCC), Bumped Chip Carriers (BCC) 그리고 Quad Flat No Leads (QFN)가 있다. 이러한 패키지들은 크기가 작고, 리드가 없어 PCB 상에서 차지하는 면적이 약 50% 가까이 축소되고 생산 비용 또한 기존의 소형 패키지와 유사하여 많은 주목을 받고 있다. 리드가 없는 패키지들은 이러한 여러 장점들이 있지만, 크기가 작아지고 기존의 반도체 소자들과는 형태가 달라 이에 맞는 검사 기술이 필요하게 되는데, 최근에는 자동 검사 항목의 증가, 검사시간 단축 등의 검사 대상의 고 급화로 결함 분류에 의한 공정관리가 어려워지고 있는 상황이다.
도 1은 이러한 대표적인 패키지 결함 형태인 이물질(21) 및 칩 결함(22)을 도시한 단면도이다.
이러한 결함의 대표적인 해결 방안으로 영상 데이터를 이용한 대상 분류법이 있는데 지금까지 연구되어온 대표적인 영상 데이터의 분류법으로는 이진화 이미지를 이용한 방법과 명암 이미지를 이용한 방법이 있다. 이진화 이미지에서의 분류방법은 질감을 이용하는 방법, 블록 높이 및 백화소의 길이를 이용하는 방법, 그리고 체인코드를 이용하는 방법 등이 있었다.
그리고 명암 이미지에서의 영상 분류방법은 인공지능 기법과 통계적 기법이 있는데 인공지능 기법으로는 뉴럴 네트웍, 퍼지 이론, 디시젼 트리와 같은 것이 있으며 이들은 각각 장단점이 있다.
이 중, 뉴럴 네트웍은 특별한 규칙성이 없는 데이터에 대해 각각 다른 가중치를 할당하여 좋은 분류성능을 보이지만, 계산양이 많아지고, 변수들마다 다른 가중치를 부여해야 하는 난점이 있다.
퍼지 이론은 패턴 분류에 있어 성공적으로 적용되어 왔지만 분류하고자 하는 클래스의 수가 많거나 대상의 특성이 여러 가지를 갖는 경우 계산이 매우 복잡해지는 단점이 있다.
디시젼 트리는 서로 연관성이 없는 변수들의 분류에 사용되었다. 통계적 기법으로는 minimum distance, ML, nearest neighbor, parallel-piped 등이 있다. 그 중 ML은 클래스에 대한 데이터가 가우스 분포를 갖는다는 가정이 필요하며 분류성 능은 학습된 클래스의 품질에 의존하게 된다.
도 2는 기존의 외관 검사 광학계 구성도이다. 도시된 바와 같이, 검사 대상인 반도체 패키지(11) 외관을 검사하기 위한 CCD 카메라(12), 동축조명(14), 측사조명(15), 하프미러(13), 촬영 컨트롤러부(16)로 구성되어 있다. 하지만 측사조명(15)을 패키지(11) 상부에 일정 기울어진 각도로 조명하므로 패키지(11) 표면의 외관 결함, 특히 칩 결함에 대한 특징정보를 추출하는 데 문제가 있었다.
상기한 종래 문제점을 해결하기 위한 본 발명의 목적은, 반도체 패키지의 외관결함 가운데 검출과 분류가 어려운 foreign material과 chip 결함을 대상으로 ML 분류법을 사용하여 가장 높은 분류성능을 갖게 하는 특징정보의 선정과 특징정보의 정확한 획득을 위한 광학계 및 결함 분류 방법을 제공하는 것을 목적으로 하고 있다.
또한, 반도체 패키지의 외관 결함의 위치, 밝기 특징정보와 ML을 이용한 분류방법 및 특징정보 획득에 용이한 광학계를 제공하는 데 본 발명의 또 다른 목적이 있다.
상기한 본 발명의 기술적 과제를 해결하기 위한 광학계 구성은, 반도체 패키지의 외형 결함 검사를 위한 비전 시스템에 있어서, 반도체 패키지 상측에 설치 구성되어 조명수단으로부터 공급되는 광이 상기 패키지에 반사되는 반사광과, 패키지 표면에 존재하는 이물질 및 칩 결함에 의하여 반사되는 반사광을 촬영하기 위한 CCD 카메라와; 상기 카메라 하부 및 상기 패키지 상부 사이에 위치하며 발광원을 발광시키기 위한 조명수단과; 상기 조명수단으로부터 공급되는 광을 일정 각도로 굴절시켜 상기 패키지에 조사시키기 위한 하프미러; 및 상기 광원 제공, 촬영 이미지 데이터 저장 및 전송 과정을 제어하기 위한 촬영 컨트롤러부;로 구성하되, 상기 조명수단은 상기 검사 대상인 패키지 측면에서 광을 조사하기 위한 측사조명 및 상기 측사조명 상측에 구성하며 렌즈를 통하여 빛을 전달하여 상기 패키지에 90° 각도로 광원을 떨구어주는 동축조명을 포함하며, 상기 측사조명 및 동축조명의 광로를 평행하게 형성하도록 한 것을 특징으로 한다.
이 경우, 상기 조명수단을 구성하는 발광원은 LED인 것을 특징으로 한다.
상기한 본 발명의 기술적 과제를 해결하기 위한 결함 분류 방법은, 확률밀도함수를 사용하여 훈련 패턴으로부터 데이터를 순차적으로 추정하며 입력패턴으로부터 분포의 특징패턴을 추출하는 최대우도비(ML) 방법을 이용하고, 분류를 위하여 크기, 위치, 방향에 독립적인 특징정보를 추출하되, 영상에서 특정 영역의 분리를 위하여 트레스홀드(threshold) 기법 및 트레스홀드 처리 후 나타나는 불필요한 영역 제거와 결함의 본래 형태를 유지하기 위하여 모폴로지 기법을 이용한 결함 분류 알고리즘을 사용하는 것을 특징으로 한다.
여기에서, 상기 알고리즘은, 영상을 입력하는 단계; 상기 입력영상을 minimum error threshold를 이용하여 이진화하고 이를 이미지1이라 명하는 단계; 상기 이미지1에서 발생할 수 있는 1~2개 화소 크기의 홀을 없애기 위하여 3 X 3 박 스의 strutching element로 closing 연산을 수행하는 단계; 배경에서 5~10개 화소 크기로 분포하는 노이즈 성분을 최소화하기 위해 11 X 11 박스의 strutching element로 opening 연산을 하고 결과 영상을 이미지2라 명하는 단계; opening으로 인하여 본래 모양을 잃었을 결함 영역을 최소화하기 위하여 상기 이미지1과 이미지2를 이용하여 conditional dilation 기법을 적용하는 단계; 및 특징정보 추출을 위하여 분할된 영역에 blob analysis를 수행하는 단계;를 포함하는 것을 특징으로 한다.
이상에서와 같이, 본 발명에 따른 광학계는, 반도체 패키지의 외관결함 가운데 검출과 분류가 어려운 이물질과 chip 결함에 대한 특징정보의 선정과 특징정보의 획득에 매우 효과적인 툴을 제공하게 된다.
또한, 반도체 패키지의 외관 결함의 위치, 밝기 특징정보와 ML을 이용한 분류방법, 및 특징정보 획득에 용이한 광학계를 제공하여 효과적인 반도체 패키지 결함 유무 판별 및 결함 분류를 통하여 효과적인 반도체 패키지 공정관리가 가능하게 된다.
이하, 첨부되는 도면, 도표, 그래프, 수학식을 참조하여 본 발명에 따른 광학계 구성 및 특징정보 획득, 이를 통한 결함 분류 방법에 대하여 상세하게 설명하면 다음과 같다.
먼저 이하 기술되는 Foreign material은 이물질을 의미하며, sawing 공정 후 세척불량으로 molding 성분의 잔여물이 패키지에 남아 결함으로 나타나게 된다. 이 경우 일반적으로 폭이 최소 100μm 이상인 결함을 검사 대상으로 하고 있다. Chip은 sawing 공정 시 사용되는 water-knife 불량으로 발생하며 패키지 외곽의 molding 부분이 깨진 형태이고, 폭은 이물질과 같은 최소 100μm 이상의 결함을 검사 대상으로 하고 있다. 이러한 이물질과 chip결함은 재질이 같고 표면의 구조가 다르므로 효과적인 검출을 위해 구조의 차이를 최대화시킬 수 있는 조명이 필요하다.
이를 위하여 본 발명에서 제안하는 광학계의 구성을 도 3을 참조하여 설명한다.
도 3에 도시된 바와 같이, 광학계(100) 구성은, 반도체 패키지(110) 상측에 설치 구성되어 조명수단(140, 150)으로부터 공급되는 광이 상기 패키지(110)에 반사되는 반사광과, 패키지(110) 표면에 존재하는 이물질(21) 및 칩 결함(22)에 의하여 반사되는 반사광을 촬영하기 위한 CCD 카메라(120)와, 상기 카메라(120) 하부 및 상기 패키지(110) 상부 사이에 위치하며 발광원을 발광시키기 위한 조명수단(140, 150)과, 상기 조명수단(140, 150)으로부터 공급되는 광을 일정 각도로 굴절시켜 상기 패키지(110)에 조사시키기 위한 하프미러(130) 및 상기 광원 제공, 촬영 이미지 데이터 저장 및 전송 과정을 제어하기 위한 촬영 컨트롤러부(160)로 구성된다.
여기에서, 상기 조명수단(140, 150)은 상기 검사 대상인 패키지(110) 측면에서 광을 조사하기 위한 측사조명(150) 및 상기 측사조명(150) 상측에 구성하며 렌 즈를 통하여 빛을 전달하여 상기 패키지(110)에 90° 각도로 광원을 떨구어주는 동축조명(140)을 포함한다. 이 경우, 바람직하게는 상기 측사조명(150) 및 동축조명(140)의 광로를 평행하게 형성하도록 한다. 즉, 측사조명(150)의 광로가 형성하는 축을 검사 대상 시료인 패키지(110) 수평축과 평행하게 하여 구성하는 것이 바람직하다.
하지만 측사조명(150)만 사용할 경우 반도체 패키지(110)의 고르지 않은 표면의 특성도 동시에 나타나게 된다. 이러한 노이즈 성분을 감소시키기 위해 동축 조명(140)을 같이 사용하는 것이 바람직하다.
이는, 패키지(110) 표면의 이물질(21) 및 칩 결함(22)의 효과적인 검출을 위하여 구조 차이를 최대화시킬 수 있는 조명으로 이는 도 4의 광학계(100) 영상에서 뚜렷한 효과를 나타내고 있음을 알 수 있다.
이 경우, 상기 조명수단을 구성하는 발광원은 LED로 구성하는 것이 바람직하다.
상기 촬영 컨트롤러부(160)는 일반적인 패키지 결함 검사를 위한 광학 시스템에서 사용되는 구성과 동일하므로, 이에 대한 상세한 설명은 생략하기로 한다.
제안한 광학계에서 촬영한 영상과 기존 광학계에서 촬영한 영상을 도4에서 보이고 있다. 도 4b는 기존 광학계에서 촬영한 영상, 도 4a를 histogram-stretch 방법으로 콘트라스트를 개선한 영상이고, 도 4c는 제안한 광학계에서 촬영한 영상이다. 도 4b와 도 4c를, 영역 분할 방법에 적용한 결과영상을 도 4d, 도 4e에서 보이고 있다. 여기에서 보면 기존 광학계에서 촬영한 영상은 콘트라스트를 개선한 후 에도 chip 결함을 검출하지 못하는 것을 확인할 수 있다. 정확한 결함의 분류를 위해서는 먼저 결함의 검출이 필수적으로 수행되어야 한다. 하지만 제안한 광학계에서 촬영한 영상에 대한 결과에서는 이물질과 chip 결함이 모두 검출되는 것을 확인할 수 있다.
또한 도 4b와 도 4c를 비교하기 위한 또 다른 방법으로 각 영상 histogram에서의 클래스 내 분산과 클래스 간 분산을 이용하였다. 표 1은 클래스 내 분산을 클래스 간 분산으로 나눈 값을 나타내었으며, 이 값이 작을수록 배경과 결함의 구분이 쉬운 영상이라 할 수 있다.
SW / SB
기존 광학계 13270.12
기존 광학계 (개선영상) 5425.24
제안한 광학계 153.91
*
Figure 112009027777306-PAT00001
: 클래스 내 분산,
Figure 112009027777306-PAT00002
: 클래스 간 분산
(표1)
표 1에서 보는 바와 같이 기존 광학계의 개선한 영상보다 제안한 광학계의 영상이 결함과 배경의 구분이 분명하여 결함 검출에 용이한 영상 촬영이 가능한 것을 확인할 수 있다.
광학시스템에서 조명의 선정은 매우 중요하다. 조명 선정을 위해 고려해야 할 부분은 조명의 형태, 광원, 조명의 색 등이 있다. 본 발명에서는 앞서 소개한 광학시스템(100)에서 측사조명(150)의 색을 변화시켜 그 영향이 결함 분류에 미치는 영향을 확인하고 분류에 가장 적합한 조명의 색을 추출하였다. 사용한 색은 광원이 LED인 IR, red, blue, white이고 이들은 각각 다른 파장을 갖는다. 파장에 따 라 대상의 형태가 다르게 나타나므로 조명 선정은 결함 분류를 위한 중요 요소라 할 수 있다.
도 5는 LED 조명의 색에 따른 파장대역을 나타낸 것이다.
이하, 상기한 광학 시스템(100)을 이용한 결함(21, 22) 특징정보 추출을 이용한 본 발명에 따른 결함 분류 방법에 대하여 설명한다.
먼저, 최대우도비(Maximum Likelihood Ratio, 이하 ML이라 한다)를 이용한 분류 방식을 채택하고 있는데, 이를 상세하게 설명하면 다음과 같다.
ML은 입력패턴으로부터 분포의 특징패턴을 추출하는 방법으로 확률밀도함수를 사용하여 훈련패턴으로부터 데이터를 순차적으로 추정하는 parametric model이다. 수학식 1의 확률밀도함수는 입력패턴들의 발생이 서로 독립적인 D차원 가우시안이라는 가정 하에 성립하게 된다.
Figure 112009027777306-PAT00003
Figure 112009027777306-PAT00004
Figure 112009027777306-PAT00005
클래스
Figure 112009027777306-PAT00006
의 평균벡터(mean vector),
Figure 112009027777306-PAT00007
는 클래스
Figure 112009027777306-PAT00008
의 공분산행렬(covariance matrix)을 나타낸다. 평균벡터
Figure 112009027777306-PAT00009
와 공분산행렬
Figure 112009027777306-PAT00010
는 아래의 수학식 (2)와 (3)에 의해 훈련패턴으로 추정된다.
Figure 112009027777306-PAT00011
Figure 112009027777306-PAT00012
Figure 112009027777306-PAT00013
클래스
Figure 112009027777306-PAT00014
의 훈련패턴 수, 수학식 2의
Figure 112009027777306-PAT00015
는
Figure 112009027777306-PAT00016
의
Figure 112009027777306-PAT00017
번째 값을 나타내며, 수학식 3의
Figure 112009027777306-PAT00018
는
Figure 112009027777306-PAT00019
의
Figure 112009027777306-PAT00020
성분,
Figure 112009027777306-PAT00021
는 클래스
Figure 112009027777306-PAT00022
의
Figure 112009027777306-PAT00023
성분을 의미한다. 또한 위 수학식을 근거로 수학식 (4)와 같이 likelihood ratio를 나타낼 수 있다. 이때
Figure 112009027777306-PAT00024
또는
Figure 112009027777306-PAT00025
의 경우에 따라 ML 규준을 적용하여 feature vector
Figure 112009027777306-PAT00026
가 소속하는 클래스를 추정할 수 있게 된다.
Figure 112009027777306-PAT00027
이어서, Fisher의 선형 판별식(Fisher's linear discriminant)에 대하여 설명한다. Fisher의 선형 판별식은 두 개의 클래스로 이루어진 D차원 점들이 1차원의 직선에 사상(mapping)될 때, 두 클래스를 가장 잘 나누는 직선의 기울기를 찾기 위해 제안되었다. 이 경우, 두 클래스를 잘 나누는 직선을 찾기 위해서는 1차원 직선에 사상된 두 클래스의 분할 정도를 판별할 수 있어야 한다. D차원의 점이 기울기 벡터가 W인 1차원 직선에 사상된 클래스의 분할 정도를 판단하는 함수 J(W)는 아래와 같이 Fisher의 목적함수를
Figure 112009027777306-PAT00028
와
Figure 112009027777306-PAT00029
항에 의한 수학식 5와 같이 정의 할 수 있다.
Figure 112009027777306-PAT00030
여기서 변환행렬 W를 찾아내야 하는데 본 논문에서는 W는 찾지 않고
Figure 112009027777306-PAT00031
,
Figure 112009027777306-PAT00032
만 을 이용해 2차 성능 검증을 하였다.
Figure 112009027777306-PAT00033
Figure 112009027777306-PAT00034
결론적으로
Figure 112009027777306-PAT00035
는 값이 클수록 좋고,
Figure 112009027777306-PAT00036
는 값이 작을수록 좋다. 2차 검증 방법에서는
Figure 112009027777306-PAT00037
/
Figure 112009027777306-PAT00038
을 사용하여 가장 큰 값을 가지는 feature를 선택 한다.
이어서 특징정보 추출(Feature selection) 방법에 대하여 설명한다.
본 발명에서 분류하고자 하는 결함인 이물질과 chip결함은 크기, 위치, 방향이 일정하지 않아 분류를 위한 특징정보는 크기, 위치, 방향에 독립적이어야만 한다. 이에 대한 실험에서는 제안한 특징정보와 일반적으로 사용하는 특징정보를 비교하기 위해 두 가지 특징정보를 모두 적용해 보았다. 먼저 일반적인 특징정보로는 compactness, eccentricity, round- ness를 후보로 선정하였고, 제안한 특징정보로 CB(Connected Boundary ratio), DM(Difference of Mean)을 선정하였다. 이들에 대해 다음에서 설명한다.
Compactness는 영역의 넓이와 둘레에 대한 비율로, 넓이가 a, 둘레가 l 일 때 수학식 8과 같이 나타낼 수 있으며 ‘1’이면 원, ‘0’이면 직선을 나타낸다. Eccentricity는 영역을 포함하는 타원의 초점과 장축길이(major axis length)의 비율로서 타원의 중심에서 초점까지 거리를 f, 장축길이는
Figure 112009027777306-PAT00039
일 때 수학식 9와 같이 나타낼 수 있고 그 값이 ‘1’이면 직선, ‘0’이면 원을 나타낸다. Roundness는 해당 영역의 단축길이(minor axis length)와 장축길이의 비율로서 ‘1’이면 원, ‘0’이면 직선을 나타낸다.
Figure 112009027777306-PAT00040
Figure 112009027777306-PAT00041
본 발명에서 제안하는 CB는 해당 영역 둘레의 일부가 반도체 패키지 외곽에 연결되어 있는 비율로서 외곽에 연결된 화소의 개수가 c, 둘레는 l 일 때 수학식 10과 같이 표현할 수 있다. DM는 패키지 면의 평균밝기와 결함 영역의 평균밝기에 대한 비율로서 배경의 평균밝기를
Figure 112009027777306-PAT00042
, 결함의 평균밝기를
Figure 112009027777306-PAT00043
라 하면 수학식 11과 같이 나타낼 수 있다.
Figure 112009027777306-PAT00044
Figure 112009027777306-PAT00045
여기에서, 특징정보는 반도체 패키지의 외곽에서 발생하는 chip 결함의 고유특성과 조명에 의해 결함의 화소 값이 패키지 면과 차이를 갖는 특성을 고려하였다.
이하 본 발명에 따른 결함 분류 알고리즘에 대하여 설명한다. 도 6은 본 발명에 따른 결함영역 분류 흐름도이다.
영상에서 특정영역의 분리를 위해 가장 널리 사용되는 방법으로는 threshold 기법이 있다. 본 발명에서 사용한 threshold 기법은 Kittler & Illingworth의 minimum error threshold 방법이다. 또한 threshold 처리 후 나타나는 불필요한 영역제거와 결함의 본래 형태를 유지하기 위해 모폴로지 기법을 이용하였다.
도 6에 도시된 바와 같이, 먼저 입력영상(S210)을 minimum error threshold를 이용하여 이진화하고 이것을 Image1이라고 하였다(S220). 그리고, Image1에서 발생할 수 있는 1~2개 화소 크기의 hole을 없애기 위해 3
Figure 112009027777306-PAT00046
3 box의 structuring element로 closing 연산(S230)을 하였다. 또한 배경에서 5~10개 화소 크기로 분포하는 노이즈 성분을 최소화하기 위해 11
Figure 112009027777306-PAT00047
11 box의 structuring element로 opening 연산을 하고 결과영상을 Image2라 하였다(S240). Opening으로 인하여 본래 모양을 잃었을 결함 영역을 최소화하기 위해 Image1과 Image2를 이용하여 conditional dilation(조건확대)기법을 적용(S250)하였다. 마지막으로 특징정보 추출을 위해 분할 된 영역에 blob analysis를 수행(S260)하였다.
이하, 본 발명에 따른 광학계를 이용한 특징정보 추출 및 이에 대한 분류 방법에 대한 실시 예를 상세하게 설명한다.
먼저 본 발명에서는, 영상 취득에 사용한 카메라는 해상도 1024
Figure 112009027777306-PAT00048
768의 mono CCD 카메라를 사용하였고 검사할 반도체 패키지는 QFN 4mm
Figure 112009027777306-PAT00049
4mm패키지를 사용하였다.
(표 2. 광학계 사양)
Working Distance (mm) 216
Focal Length (mm) 134
Object size (QFN) (mm) 4 X 4
CCD Size (mm) 4.76 X 3.57
CCD Size (mm) 7.06 X 5.3
Pixel Resolution (μm/pixel) 6.9
또한, 결함 영역에 대한 일반적인 특징정보의 데이터와 제안한 특징정보 CB, DM의 데이터가 ML 방법에 적용되었을 때의 분류성능 및 조명의 색에 따른 특징정보 데이터의 정확성에 대해 평가하기 위하여 조명의 색을 IR, red, blue, white로 변화를 주면서 각각에 대해 foreign material 결함 영상과 chip 결함 영상을 약 800장 촬영하였고 각 영상에서 얻은 다섯 개의 특징정보 데이터 중 2개의 특징정보를 이용하여 ML 분류를 위한 분류모델들을 생성하였다. 또한 생성한 분류모델들의 ML 분류성능 평가 및 검증을 위해 두 가지 검증방법을 사용하였다. 1차 검증방법으로 조명의 색과 결함 별로 총280장의 새로운 결함 영상을 촬영 후 분류모델에 적용하여 정확히 분류한 개수와 분류를 하지 못한 개수를 분석하여 1차 검증을 하였다. 표 3은 검증방법의 수행결과를 나타내었다.
표 3을 통해 red 측사조명을 사용하였을 경우 선정한 특징정보의 조합에 의한 분류성능이 평균 98.88%로 가장 좋은 결과를 보였다. Blue 조명에서는 가장 부정확한 특징정보 데이터가 얻어진 것을 알 수 있다. 또한 DM vs CB 방법을 사용하였을 경우엔 조명색의 변화에 따라 성능이 변화하는 다른 특징정보들과는 다르게 4가지 색 모두에서 99.9%의 분류성능을 보였다.
(표 3. 조명종류 및 특징정보 별 분류평가 결과)
조명색 특징정보s White (%) Blue (%) Red (%) IR (%)
Comp vs Ecc 96.5 96.5 98.6 96.5
Ecc vs DM 97.2 99.3 99.9 99.3
DM vs CB 99.9 99.9 99.9 99.9
Round vs Comp 96.5 96.5 97.9 96.5
Round vs Ecc 94.4 30.1 97.9 94.4
Average performance 96.9 84.46 98.84 97.32
Standard deviation 1.98 30.42 1.91 2.26
*Comp : compactness, Ecc : eccentricity, Round : roundness
2차 검증방법으로 특징정보 도메인에서 각 클래스 간 분산과 클래스 내 분산을 구한 후 클래스 간 분산을 클래스 내 분산으로 나눈 값으로 분류성능을 비교하였다. 다음의 표 4에서는 2차 검증결과를 보이고 있다.
(표 4. 특징정보 도메인에서 클래스 간 분산과 클래스 내 분산 비교)
Data 특징정보 SB SW SB / SW
Comp vs Ecc 4.81 e-04 4.03 e-04 1.195
Ecc vs DM 5.20 e-04 9.24 e-05 5.629
DM vs CB 3.94 e-04 2.74 e-05 14.347
Round vs Comp 9.30 e-04 7.34 e-04 1.266
Round vs Ecc 3.98 e-04 5.53 e-04 0.721
*
Figure 112009027777306-PAT00050
: 클래스 내 분산,
Figure 112009027777306-PAT00051
: 클래스 간 분산
위 결과에서도 DM vs CB 방법을 사용하였을 때 가장 좋은 결과를 보였다. 이 결과는 특징정보 도메인에서 두 클래스 간 독립성이 크다는 것을 의미하며 이것은 분류성능과 직접적인 관계를 가지고 있다.
도 7은 레드 조명 영상의 특징정보 도메인에서의 칩 결함, 이물질 결함 분류모델 그래프이다. 여기에서는 특징정보 도메인을 그래프로 나타내고 있는데 여기서 표 4의 결과를 쉽게 확인할 수 있다.
이 경우, 상세하게는, 도 7a는 Compactness vs eccentricity, 도 7b는 Eccentricity vs DM, 도 7c는 DM vs CB, 도 7d는 Roundness vs compactness, 도 7e는 Roundness vs eccentricity에 대한 특징정보 도메인을 도시하고 있다.
일반적인 특징정보에 의해 생성된 분류모델들은 결함의 특성분포가 일부 겹치지만 제안한 특징정보에 의해 생성된 분류모델은 결함의 특성분포가 거의 독립적 으로 분포하는 것을 볼 수 있다. DM vs CB 특징정보 도메인을 나타낸 그림 7(c)를 보면 제안한 특징정보 CB는 반도체 패키지의 외곽 영역에서만 발생하는 chip과 위치에 독립적으로 발생하는 foreign material의 특성을 이용하여 제안한 특징정보로써 분류성능을 향상시키기 충분한 특징정보라 판단되며, 밝기 차이 정보를 이용한 DM도 분류 성능 향상에 효과적인 분류모델을 생성하는 것을 확인하였다.
상기한 바와 같이, 본 발명에 따른 광학시스템(100)에서는 재질은 같으나 결함 표면의 차이를 극대화 시키고 반도체 패키지(110) 표면의 특성에 의한 노이즈는 최소화할 수 있도록 측사조명(150)과 동축조명(140)을 동시에 사용하였으며, 제안한 광학계를 통해 기존 광학계에서는 검출이 어려운 chip 결함(22)의 검출이 용이한 것을 확인할 수 있었다. 또한 일반적인 특징정보 보다 결함(21, 22)의 위치 및 밝기 특성을 이용한 특징정보 CB, DM를 이용하였으며, 검증을 위해 불량 영상을 이용한 실험적 검증방법과, 얻어진 특징정보를 통해 생성된 클래스의 분산을 분석하는 방법을 사용하였다. 실험결과 제안한 특징정보를 사용하였을 경우 일반적인 특징정보(eccentricity, roundness, compactness)를 사용한 결과보다 분류성능이 대폭 향상되는 것을 확인하였으며, 측사 red 조명을 사용하였을 경우 다른 색의 광원을 사용하였을 때보다 향상된 분류성능을 보이는 것을 상기 실시 예에서 확인할 수 있을 것이다.
이상과 같이, 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 이것에 의해 한정되지 않으며 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술사상과 아래에 기재될 특허청구범위의 균등 범 위 내에서 다양한 수정 및 변형이 가능함은 물론이다.
도 1은 결함 형태인 이물질 및 칩 결함을 도시한 단면도
도 2는 기존 광학계 구성을 도시한 구성도
도 3은 본 발명에 따른 광학계 구성을 도시한 구성도
도 4는 광학계 영상 비교를 위한 사진
도 5는 본 발명에 다른 광학계에서 사용한 조명의 파장특성 그래프
도 6은 본 발명에 따른 결함영역 분류 흐름도
도 6은 레드 조명 영상의 특징정보 도메인에서의 칩 결함, 이물질 결함 분류모델 그래프
< 도면의 주요 부분에 대한 부호의 설명 >
100: 광학계 110: 반도체 패키지
120: CCD 카메라 130: 하프미러
140: 동축조명 150: 측사조명
160: 컨트롤러부

Claims (4)

  1. 반도체 패키지의 외형 결함 검사를 위한 비전 시스템에 있어서,
    반도체 패키지 상측에 설치 구성되어 조명수단으로부터 공급되는 광이 상기 패키지에 반사되는 반사광과, 패키지 표면에 존재하는 이물질 및 칩 결함에 의하여 반사되는 반사광을 촬영하기 위한 CCD 카메라와;
    상기 카메라 하부 및 상기 패키지 상부 사이에 위치하며 발광원을 발광시키기 위한 조명수단과;
    상기 조명수단으로부터 공급되는 광을 일정 각도로 굴절시켜 상기 패키지에 조사시키기 위한 하프미러; 및
    상기 광원 제공, 촬영 이미지 데이터 저장 및 전송 과정을 제어하기 위한 촬영 컨트롤러부;로 구성하되,
    상기 조명수단은 상기 검사 대상인 패키지 측면에서 광을 조사하기 위한 측사조명 및 상기 측사조명 상측에 구성하며 렌즈를 통하여 빛을 전달하여 상기 패키지에 90° 각도로 광원을 떨구어주는 동축조명을 포함하며, 상기 측사조명 및 동축조명의 광로를 평행하게 형성하도록 한 것을 특징으로 하는 QFN 반도체 패키지의 외형 결함 검사를 위한 비전 시스템
  2. 제 1항에 있어서,
    상기 조명수단을 구성하는 발광원은 LED인 것을 특징으로 하는 QFN 반도체 패키지의 외형 결함 검사를 위한 비전 시스템
  3. 상기한 제 1항 또는 제 2항의 비전 시스템을 이용한 반도체 패키지 외형 결함 분류 방법으로서,
    확률밀도함수를 사용하여 훈련 패턴으로부터 데이터를 순차적으로 추정하며 입력패턴으로부터 분포의 특징패턴을 추출하는 최대우도비(ML) 방법을 이용하고, 분류를 위하여 크기, 위치, 방향에 독립적인 특징정보를 추출하되, 영상에서 특정 영역의 분리를 위하여 트레스홀드(threshold) 기법 및 트레스홀드 처리 후 나타나는 불필요한 영역 제거와 결함의 본래 형태를 유지하기 위하여 모폴로지 기법을 이용한 결함 분류 알고리즘을 사용하는 것을 특징으로 하는 QFN 반도체 패키지 외형 결함 분류 방법
  4. 제 3항에 있어서,
    상기 알고리즘은,
    영상을 입력하는 단계(S210);
    상기 입력영상을 minimum error threshold를 이용하여 이진화하고 이를 이미지1이라 명하는 단계(S220);
    상기 이미지1에서 발생할 수 있는 1~2개 화소 크기의 홀을 없애기 위하여 3X3 박스의 strutching element로 closing 연산을 수행하는 단계(S230);
    배경에서 5~10개 화소 크기로 분포하는 노이즈 성분을 최소화하기 위해 11X11 박스의 strutching element로 opening 연산을 하고 결과 영상을 이미지2라 명하는 단계(S240);
    opening으로 인하여 본래 모양을 잃었을 결함 영역을 최소화하기 위하여 상기 이미지1과 이미지2를 이용하여 conditional dilation 기법을 적용하는 단계(S250); 및
    특징정보 추출을 위하여 분할된 영역에 blob analysis를 수행하는 단계(S260);를 포함하는 것을 특징으로 하는 QFN 반도체 패키지 외형 결함 분류 방법
KR1020090040315A 2009-05-08 2009-05-08 큐에프엔 반도체 패키지의 외형 결함 검사를 위한 비전 시스템 및 이를 이용한 결함 분류 방법 KR20100121250A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090040315A KR20100121250A (ko) 2009-05-08 2009-05-08 큐에프엔 반도체 패키지의 외형 결함 검사를 위한 비전 시스템 및 이를 이용한 결함 분류 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090040315A KR20100121250A (ko) 2009-05-08 2009-05-08 큐에프엔 반도체 패키지의 외형 결함 검사를 위한 비전 시스템 및 이를 이용한 결함 분류 방법

Publications (1)

Publication Number Publication Date
KR20100121250A true KR20100121250A (ko) 2010-11-17

Family

ID=43406628

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090040315A KR20100121250A (ko) 2009-05-08 2009-05-08 큐에프엔 반도체 패키지의 외형 결함 검사를 위한 비전 시스템 및 이를 이용한 결함 분류 방법

Country Status (1)

Country Link
KR (1) KR20100121250A (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101275134B1 (ko) * 2012-04-27 2013-06-17 한미반도체 주식회사 반도체 자재 검사장치 및 반도체 자재 검사방법
KR101324973B1 (ko) * 2012-03-22 2013-11-05 한미반도체 주식회사 반도체 패키지 검사유닛, 반도체 패키지 검사장치 및 반도체 패키지 검사방법
KR101362548B1 (ko) * 2012-11-30 2014-02-13 세메스 주식회사 다이 본딩 공정에서 다이를 검사하는 방법
KR101358370B1 (ko) * 2012-07-30 2014-02-18 한미반도체 주식회사 반도체 패키지 검사 장치 및 그 검사 방법
KR20200039049A (ko) * 2018-10-02 2020-04-16 (주)지엘테크 외관불량 검사방법 및 외관불량 검사 시스템
WO2023004294A1 (en) * 2021-07-19 2023-01-26 Onto Innovation Inc. Low contrast non-referential defect detection

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101324973B1 (ko) * 2012-03-22 2013-11-05 한미반도체 주식회사 반도체 패키지 검사유닛, 반도체 패키지 검사장치 및 반도체 패키지 검사방법
KR101275134B1 (ko) * 2012-04-27 2013-06-17 한미반도체 주식회사 반도체 자재 검사장치 및 반도체 자재 검사방법
KR101358370B1 (ko) * 2012-07-30 2014-02-18 한미반도체 주식회사 반도체 패키지 검사 장치 및 그 검사 방법
KR101362548B1 (ko) * 2012-11-30 2014-02-13 세메스 주식회사 다이 본딩 공정에서 다이를 검사하는 방법
KR20200039049A (ko) * 2018-10-02 2020-04-16 (주)지엘테크 외관불량 검사방법 및 외관불량 검사 시스템
WO2023004294A1 (en) * 2021-07-19 2023-01-26 Onto Innovation Inc. Low contrast non-referential defect detection

Similar Documents

Publication Publication Date Title
CN114723701B (zh) 基于计算机视觉的齿轮缺陷检测方法和***
KR101370697B1 (ko) 다중 파장 조명을 이용한 화질 개선 방법
CN110490847A (zh) 基于视觉的led芯片质量检测方法
US20160267647A1 (en) Information processing apparatus, information processing method, and storage medium
TWI618925B (zh) Defect inspection method and defect inspection system
JP5085860B2 (ja) 木材の検査方法及び装置及びプログラム
Wu et al. An inspection and classification method for chip solder joints using color grads and Boolean rules
CN105957082A (zh) 一种基于面阵相机的印刷质量在线监测方法
KR20100121250A (ko) 큐에프엔 반도체 패키지의 외형 결함 검사를 위한 비전 시스템 및 이를 이용한 결함 분류 방법
US11788973B2 (en) Defect inspection device and defect inspection method
JPWO2019151393A1 (ja) 食品検査システム、食品検査プログラム、食品検査方法および食品生産方法
KR101679205B1 (ko) 디바이스 결함 검출장치
KR100941878B1 (ko) 반도체 패키지의 외관 검사를 위한 광학 시스템
TW201702584A (zh) 電子元件感興趣區域找尋方法及使用該找尋方法之電子元件缺陷檢測方法及裝置
JP2006194607A (ja) 基板検査装置並びにそのパラメータ設定方法およびパラメータ設定装置
JP2004109018A (ja) 回路パターン検査方法および検査装置
CN116543247A (zh) 基于光度立体表面重建的数据集制作方法及验证***
JP2017227474A (ja) 照明装置、及び、画像検査装置
KR101059697B1 (ko) 인쇄회로기판상의 측정대상물의 측정방법
JP2020112367A (ja) ウェハ検査装置
JP2021173566A (ja) 欠陥検出方法及び欠陥検出装置
JP4015436B2 (ja) 金めっき欠陥検査装置
KR101358370B1 (ko) 반도체 패키지 검사 장치 및 그 검사 방법
Wu et al. A visual inspection system for surface mounted components based on color features
US10466179B2 (en) Semiconductor device inspection of metallic discontinuities

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application