KR101521620B1 - 다이 영상 분할 방법 - Google Patents

Abstract

대상 다이에 대한 촬영을 실시하여 흑백 사진과 같은 2차원 입력 영상을 획득하는 단계, 입력 영상에서 전경 세부 영역을 도출하는 단계, 입력 영상에서 배경 세부 영역을 도출하는 단계, 이들 전경 및 배경 세부 영역을 크기 형태 밝기 정보에 의해 분류하는 단계를 구비하여 이루어지는 다이 영상 분할 방법이 개시된다.
본 발명에 따르면 대상 반도체 다이에 대한 영상에서 단위로서 의미를 가지는 세부 영역을 자동적으로 추출하고, 같은 특성의 세부 영역끼리 같은 종류로 자동 분류할 수 있으므로 영상 처리를 통한 다이 검사 효율을 높이고 비용을 절감할 수 있다.

Description

다이 영상 분할 방법 {method of segmentation of die image for semiconductor device examination}

본 발명은 반도체 다이의 검사 방법에 관한 것으로서, 보다 상세하게는 반도체 다이의 검사를 위해 획득한 다이 영상에서 세부 영역을 추출하고 공통된 세부 영역끼리 분류하는 분할 방법에 관한 것이다.

반도체 장치는 미세화 집적화되어 작은 영역에 많은 소자를 반도체 프로세싱을 통해 형성하며, 그 과정에서 불량이 발생할 수 있으므로 시판 전에 검사를 통해 반도체 장치가 정상적인지 문제가 있는 지를 판단하게 되는 검사 과정을 거치게 된다.

이러한 반도체 장치는 대개 매우 미세한 구성을 가지고 복잡한 구조이므로 고집적화된 반도체 장치를 육안으로 정상 및 불량을 판단하는 것은 거의 불가능하고, 외부와 접속을 위해 형성한 패드에 시험적으로 신호를 인가하여 회로요소, 소자들이 정상적으로 기능하는 가를 확인하는 방법을 사용할 수 있지만, 제작 과정에 있는 다이를 검사하기에는 적합하지 않고, 여러 어려움이 있어 경우에 따라 이런 방법으로의 검사는 비효율적이고 비용이 많이 들며 만족스럽지 못할 수 있다.

자동화된 광학 웨이퍼 검사 시스템은 수동에서 자동화된 웨이퍼 검사 시스템으로의 변화를 가능하게 한 이미지 프로세싱 및 연관 소프트웨어를 갖춘 전자-광학, 컴퓨터 플랫폼에서 진보한 1980년대에 도입되었다. 상당기간 검사 속도 및 결과적으로 이들 시스템의 웨이퍼 수율은 기술에 제한되었고 증가하는 엄격한 생산 요구사항, 즉 사이즈가 증가하고 임계치수가 작아지는 웨이퍼로 집적회로를 제조하는 것을 따라가지 못했지만 근래에 더욱 높은 해상도로 영상 획득하는 광학기술과 컴퓨터 하드웨어와 소프트웨어를 통한 자동 영상 처리 기법의 발달로 영상을 통해 제작된 반도체 다이의 검사를 수행하는 방법도 이루어지고 있으며, 반도체 장치의 특성 및 종류에 따라 이런 방법이 더 중심을 이룰 수 있다.

대한민국 등록특허 제10-1113602호의 웨이퍼 결합 검출 시스템에는 이러한 반도체 다이에 대한 광학적 검사 방법이 구체적으로 개시되어 있다.

기존의 영상을 통한 검사 방법은 영상을 단순히 분할하여 영상 내의 패턴이 정상적인 기준 패턴과 일치하는 지를 단순히 검사하는 경우가 위주가 되었고, 따라서, 미리 지정된 기준 패턴이 없는 경우 영상 검사를 하기 어려우며, 영상을 효율적으로 분할하지 못하는 경우가 많아 분할된 영역에서 일일이 대상 패턴을 찾아야하는 경우가 많고 결국 이미지 처리에 의한 영상 검사의 효율을 높이기에 어려움이 있었다.

대한민국 등록특허 제10-1113602호

본 발명은 제작이 완료된 혹은 제작 중에 있는 반도체 다이에서 검사를 위한 영상을 구하고, 획득된 흑백의 반도체 다이 영상에서 검사의 대상 단위로서 의미를 가지는 세부 영역을 자동적, 효율적으로 추출하고, 같은 세부 영역끼리 분류하는 반도체 다이 영상 분할 방법을 제공하는 것을 목적으로 한다.

본 발명은 영상 처리를 통한 다이 검사 효율을 높일 수 있는 반도체 다이 영상 분할 방법을 제공하는 것을 목적으로 한다.

상기 목적을 달성하기 위한 본 발명의 방법은, 대상 다이에 대한 촬영을 실시하여 흑백 사진과 같은 2차원 입력 영상을 획득하는 단계, 입력 영상에서 전경 세부 영역을 도출하는 단계, 입력 영상에서 배경 세부 영역을 도출하는 단계, 이들 전경 및 배경 세부 영역을 크기 형태 밝기 정보에 의해 분류하는 단계를 구비하여 이루어지며,

보다 구체적으로는, 대상 다이에 대한 촬영을 실시하여 흑백 사진과 같은 2차원 입력 영상을 획득하는 단계,

입력 영상의 밝기 정보를 각각 x축과 y축으로 프로젝션시켜 입력 영상의 x축 및 y축을 따라가면서 밝기가 크게 변화하는 부분인 점프 포인트의 x축상 위치(좌표)와 y축상 위치(좌표)를 알고, 이들 위치를 지나는 x축과 수직인 직선과 y축과 수직인 직선을 밝은 부분과 어두운 부분의 경계를 이루는 경계 격자선으로서 입력 영상 위에 산출하는 경계 격자선 산출 단계,

경계 격자선에 의해 나뉘어진 입력 영상의 사각형 영역들을 밝기 기준으로 어두운 곳과 밝은 곳의 두 종류로 구분하고 상, 하, 좌, 우 각각의 방향으로 이웃한 사각형 영역이 동일한 종류인 경우에는 경계 격자선을 무시하고 영역을 병합하는 연쇄과정을 거쳐 세부 영역을 구성하고, 세부 영역 내부에 구멍(hole)이 있는 지의 여부에 따라 구멍이 없다면 해당 세부 영역을 전경으로, 구멍이 있다면 해당 세부 영역을 배경으로 분류하는 전경 배경 구분 단계,

세부 영역 가운데 전경으로 구분된 영역인 전경 세부 영역의 격자 인덱스(index)를 추출(부여)하는 단계,

배경으로 구분된 배경 영역에서 밝은 선 형태의 경계 정보를 추출하여 그 경계에 의해 구분되는 사각형 배경 세부 영역을 얻는 단계,

배경 세부 영역의 격자 인덱스를 추출하는 단계,

전경 세부 영역들과 배경 세부 영역들을 가지고 이들 세부 영역의 형태 및 밝기와 같은 적어도 하나의 특성에 따라 이들 세부 영역을 복수 종류로 분류하는 분류 단계를 구비하여 이루어진다.

본 발명에서 분류 단계 이후에는 분류된 세부 영역의 좌표 정보를 산출하는 세부 영역 좌표 산출 단계가 구비될 수 있다.

본 발명의 배경 세부 영역을 얻는 단계는 다시 배경 영역에서 밝은 선 형태의 경계 정보를 추출하여 배경 경계 격자선을 산출하는 배경 경계 격자선 산출 단계와, 배경 경계 격자선이 교차하는 교차점을 제거하여 배경 경계 격자선을 선분으로 분할하고, 이들 선분 가운데 일정 기준 이상의 밝기를 가지는 유효선분들만 추출하여 이들 유효선분들로 상하좌우가 둘러싸인 사각형 영역을 추출하여 배경 세부 영역으로 하는 단계로 구분될 수 있고,

또한, 배경 경계 격자선 산출 단계는 배경 영역을 사각형의 집합으로 나누되 나뉜 사각형 갯수가 최소가 되고 각 사각형의 가로 세로 길이가 비슷하도록 나눈다고 할 때, 그 사각형들 가운데 일정 크기 이상의 사각형들만을 관심영역으로 분리한 뒤, 관심 영역의 밝기 정보를 경계 격자선 산출 단계에서와 비슷하게 각각 x축과 y축으로 프로젝션시켜 각 축을 따라가면서 각 축상의 위치에서의 밝기를 나타내는 선그래프에서 극대점을 찾아 그 극대점에서 이들 위치를 지나는 x축과 수직인 직선과 y축과 수직인 직선을 배경 경계 격자선으로 산출하는 단계를 구비하여 이루어질 수 있다.

본 발명에서 전경 세부 영역을 산출하기 전에 경계 격자선을 산출한 뒤에는 입력 영상과 경계 격자선의 크기를 줄이는 축소 단계가 더 구비될 수 있고, 배경 세부 영역을 산출하기 전에 배경 경계 격자선을 산출한 뒤에는 배경 경계 격자선의 크기를 줄이는 축소 단계가 더 구비될 수 있다.

본 발명에서 각 전경 세부 영역과 배경 세부 영역의 크기나 형태는 이들 세부 영역의 좌표를 이용하여 산출하고 판단할 수도 있다.

본 발명에서 세부 영역 내부에 구멍(hole)이 있는 지의 여부를 판단하는 방법으로 각각의 세부 영역의 오일러 표수(Euler number: Euler characteristic)를 계산하는 방법을 사용할 수 있다.

본 발명에 따르면 대상 반도체 다이에 대한 영상에서 단위로서 의미를 가지는 세부 영역을 자동적으로 추출하고, 같은 특성의 세부 영역끼리 같은 종류로 분류할 수 있는 반도체 다이 영상 분할 방법을 제공할 수 있다.

따라서, 본 발명에 따르면 영상 처리를 통한 다이 검사 효율을 높이고 비용을 절감할 수 있다.

도1은 본 발명 일 실시예에 따라 세부 영역 추출 및 분류가 이루어지는 과정을 전반적으로 나타내는 개념도,
도2는 본 발명의 일 실시예를 이루는 각 단계의 흐름을 나타내는 흐름도,
도3은 입력 영상의 밝기 정보를 X축과 Y축으로 각각 프로젝션을 시켜 얻은 X 프로젝션 함수 그래프 및 Y 프로젝션 함수 그래프,
도4는 도3의 각 그래프를 중간값 필터링 기법을 이용하여 노이즈를 제거하여 얻은 프로젝션 함수 그래프,
도5는 도4의 프로젝션 함수의 1계 미분 값을 이용하여 함수의 극소점, 극대점 및 변화율을 얻고 이들을 이용해 밝기가 크게 변화하는 점프의 위치를 찾아 표시한 그래프,
도6은 입력 영상에서 도5의 점프 위치에 붉은 경계 격자선을 나타낸 도면,
도7은 도6의 상태에서 격자선으로 둘러싸인 사각형을 밝고 어두운 두 종류로 구분한 상태를 나타내는 도면,
도8은 도7에서 인접한 같은 종류의 사각형을 병합하여 세부 영역을 정하고 오일러 표수를 적용하여 전경과 배경을 구분한 상태를 나타내는 도면,
도9는 전경과 배경 구분 도면에서 배경을 사각형 집합으로 분할한 상태를 나타내는 도면,
도10은 입력 영상의 배경 가운데 관심 영역을 나타내는 도면,
도11은 관심 영역에 대해 밝기 정보를 X축과 Y축으로 각각 프로젝션을 시켜 얻은 프로젝션 함수 그래프들에서 노이즈를 제거하고 극대점을 표시하여 얻은 프로젝션 함수 그래프들,
도12는 도11의 극대점을 이용하여 입력 영상의 관심 영역에 배경 경계 격자선을 표시한 도면,
도13은 도12에서 격자선 교차점을 지워 얻은 격자선부 가운데 유효 경계 선분을 선택하여 얻은 도면,
도14는 도13을 이용하여 얻은 배경 세부 영역을 나타내는 도면,
도15는 입력 영상에서 얻은 전경 및 배경 세부 영역들을 종류별로 분류하여 생각으로 구분한 도면이다.

이하 도면을 참조하면서 실시예를 통해 본 발명을 보다 상세히 설명하기로 한다.

우선, 본 발명 전반과 관련하여 본 발명은 대개는 반도체 장치 제조 장비에서 공정에 따라 웨이퍼를 진행시키면서 검사 장비의 카메라로 촬영을 하고, 촬영 결과의 처리나 다른 본 발명의 단계들도 자동으로 검사 장비에 구비되는 컴퓨터 혹은 프로세서에서 내장 프로그램을 통해 이루어지고, 얻어진 결과도 자동 저장되어 다음 검사 단계를 위해 이용된다고 전제될 수 있다. 따라서, 이하의 상세한 설명에서도 별도로 언급하지 않아도 이런 사항을 고려하여 설명을 이해할 필요가 있다.

가령, 본 발명에서 얻어지는 입력 영상은 외부로 표출되는 실제의 영상일 수도 있지만 대개는 영상을 이루는 화소가 2차원 상의 행렬을 이룬다고 볼 때 각 화소 위치 정보와 그 화소에서의 밝기 혹은 켜짐과 꺼짐 정보를 포함하는 일종의 영상 데이타로 볼 수 있으며, 함수 그래프도 가시적 결과물이기보다는 함수 데이타로 볼 수 있으며, 경계 격자선을 산출하는 단계에서 입력 영상의 밝기 정보를 각각 x축과 y축으로 프로젝션시킨다는 것은 실제 영상을 y축방향 혹은 x축 방향 라인 스캐너를 x축 방향 혹은 y축 방향으로 움직이면서 그 라인의 전체 밝기를 측정하는 것일 수도 있지만 컴퓨터 프로세서가 이런 영상 데이타를 분석하고 산출하는 작업, 가령 영상 데이타의 화소 행렬의 각 행이나 열에서 그 행이나 열을 이루는 화소의 밝기를 전부 더하여 평균하고 편차나 분산같은 수치를 구하고 그 함수관계 데이타를 저장하는 등의 작업으로 볼 수 있다.

본 발명 방법은 기능적으로는 볼 때 크게 다음의 세 가지 부분으로 나누어질 수 있는데, 그 첫 번째는 전경 세부 영역 추출 과정으로서, 세부 영역이란 도1의 A의 회색 사각형 영역들과 같이 밝은 영역과 어두운 영역의 경계선들로 둘러싸인 영역 중 사각형 형태를 가진 영역을 의미한다. 이 과정에서는 도1의 A과 같은 원본 입력 영상으로부터 B의 빨간 색깔의 선과 같이 밝은 영역과 어두운 영역의 경계를 나타내는 경계 격자선을 생성하고, 경계 격자선에 의해 나누어진 사각형 영역들을 전경과 배경으로 구분한 뒤, C의 각 색상의 사각형 영역들과 같이 전경에 속하는 각각의 세부 영역을 추출하게 된다.

두 번째는 배경 세부 영역 추출과정으로서, 배경 세부 영역이란 배경에 속하는 영역들 중에서 밝은 선 형태의 경계로 둘러싸인 세부 영역 중 사각형 형태를 가진 영역을 의미하며, 이런 예는 도1의 A의 하단의 검은 사각형 영역들에서 볼 수 있다. 도1의 B에서 생성된 경계 격자선은 밝은 영역과 어두운 영역의 경계 부분만을 검출하도록 설계되어 있으므로 입력 영상의 하단부와 같은 밝은 선 형태의 경계 부분은 배경 세부 영역 추출과정이라는 별도 과정을 통해 검출한다.

이 과정에서는 먼저 배경 영역을 D와 같은 사각형의 집합으로 나누고, 그 중에서 일정 크기 이상의 사각형 영역(D의 하단 연두색 사각형 영역)만을 관심 영역(ROI, Region Of Interest)으로 분리한 뒤, 그것에서 밝은 선 형태의 경계를 검출한다. 이로부터 E의 빨간 선과 같은 배경 경계 격자선을 생성하고 그 격자선으로 나누어지며 F에서 각 색상으로 구분지어지는 사각형의 배경 세부 영역을 추출한다.

다음으로 세 번째는 세부 영역 분류과정으로서, 전경 및 배경 세부 영역 추출 과정에서 추출된 전경 및 배경의 세부 영역들은 각 영역의 평균 밝기, 크기, 너비, 높이, 밝기 편차 등의 특징 요소를 이용하여 같은 특징 요소를 가지는 영역들끼리 같은 종류의 세부 영역인 것으로 분류한다. 가령 도1의 G에서 같은 색상으로 표시된 영역들은 같은 종류로 분류된 세부 영역들이다. 여기서 A의 입력 영상은 162개의 독립적인 세부 영역으로 이루어져 있고, 이 세부 영역들은 3가지 종류의 영역으로 구분되며, 본 발명 방법은 최종적으로 각 세부 영역의 종류 및 위치 정보를 본 발명의 방법 사용자에게 제공하여 이어지는 다이 검사 등에 이용하게 할 수 있다.

도2는 이상의 세 과정을 구성하는 보다 구체화된 단계들을 요소로 이루어지는 본 발명의 일 실시예를 나타내는 흐름도이다.

이 실시예는, 대상 다이의 적어도 일 부분을 촬영하여 얻은 영상을 컴퓨터와 같은 분석수단에 입력하는 영상 입력 단계,

점프 검출에 의한 선 검출(Line detection by jump detection) 기법을 이용하여 입력 영상으로부터 경계 격자선 혹은 전경(foreground) 경계 격자선을 산출하는 경계 격자선 산출 단계,

입력 영상과 전경 경계 격자선의 크기를 축소하는 전경 크기 축소 단계,

전경과 배경을 분리하고, 축소된 입력 영상과 전경 경계 격자선을 이용하여 전경 세부 영역의 격자 인덱스를 추출하는 전경 및 배경 분리 및 전경 세부 영역 격자 인덱스 추출 단계,

부분 최대화 검출(Local maxima detection) 기법을 이용하여 입력 영상으로부터 배경(background) 경계 격자선을 산출하는 배경 경계 격자선 산출 단계,

배경 경계 격자선의 크기를 축소하는 배경 크기 축소 단계,

축소된 입력 영상과 전경 경계 격자선을 이용하여 배경 세부 영역의 격자 인덱스를 추출하는 배경 세부 영역 격자 인덱스 추출 단계,

재귀 호출 함수를 이용하여 전경 및 배경의 세부 영역을 같은 종류의 영역들로 분류하는 분류 단계,

분류된 세부 영역의 좌표 정보를 산출하는 세부 영역 좌표 산출 단계를 구비하여 이루어진다.

본 실시예에서 영상 입력 단계는 고해상도 디지털 카메라로 일정 조명하에 대상 다이의 영상을 촬영하고 그 결과로 얻은 각 화소별 밝기 정보를 각 화소의 2차원 행렬 상의 위치와 각 위치의 밝기를 연관시켜 얻은 데이타 형태로 이미지 프로세서를 이루는 컴퓨터에 입력시킴으로써 이루어질 수 있다.

전경 경계 격자를 산출하는 단계는 입력 영상으로부터 전경 경계 격자를 생성하는 과정으로, 본 발명의 발명자가 자체 개발한 점프 검출에 의한 선 검출(Line Detection by Jump Detection)기법을 사용하였다. 이 기법은 입력 영상의 밝기 정보(intensity)를 각각 X축과 Y축으로 프로젝션(projection)시킨 1차원 함수 그래프로부터 밝기가 크게 변화하는 부분(jump)을 찾아냄으로써 경계 영역을 검출하는 방법으로, 첫째, 입력 영상의 밝기 정보 프로젝션 단계, 둘째, 노이즈 제거 단계, 셋째, 점프 검출 단계 및 넷째, 전경 경계 격자선 생성 단계의 세부 단계를 구비할 수 있다.

입력 영상의 밝기 정보 프로젝션 단계에서는 입력 영상의 밝기 정보를 X축과 Y축으로 각각 프로젝션을 시켜 도3과 같은 형태의 X 프로젝션 함수 그래프와 Y 프로젝션 함수 그래프를 구한다.

노이즈 제거 단계에서는 이런 프로젝션 함수에 중간값 필터링(median filtering) 기법을 이용하여 노이즈를 제거하여 도4와 같은 형태의 그래프들을 얻는다.

필터링은 가령 컴퓨터 프로세서가 각 행이나 열에 대한 밝기 평균값 혹은 그 변화율과 같은 재가공 데이타로 산출하여 그 값이 미리 입력된 일정 필터링 기준값과 비교하여 낮으면 버리고 높으면 남기고 것과 같은 조작을 통해 이루어질 수 있다.

점프 검출 단계에서는 프로젝션 함수의 1계 미분 값을 구하고, 이것을 이용하여 함수의 극소점, 극대점 및 변화율을 구하고, 다시 이들을 이용해 밝기가 크게 변화하는 점프의 위치를 찾아낸다. 이때, 밝기가 천천히 증가하거나 감소하는 위치는 점프 위치로 고려하지 않고, 가까운 위치에 있는 점프들의 변화율을 부호가 같다면 그 것들은 하나의 점프로 간주하고 합치며, 결과로써 도5의 그래프를 얻는다. 이때, 파란색 스파이크 선이 검출된 점프로 볼 수 있다.

전경 경계 격자 생성 단계에서는 도5의 X 프로젝션 함수 그래프와 Y프로젝션 함수 그래프로부터 검출된 점프의 위치를 이용하여 도6과 같이 붉은 색으로 표현된 전경 경계 격자선을 생성한다.

물론 생성된 이런 경계 격자선은 입력 영상과 같이 격자선을 표시하는 데이타 형태로 컴퓨터 내에 저장되고 필요시에는 입력 영상과 결합될 수 있고, 이후의 다른 단계들을 위해 이용될 수 있다.

본 발명에서 도출하는 각 세부 영역의 위치 정보는 화소(픽셀: pixel) 단위로 정확하게 찾아져야 하므로 입력된 원본 영상을 이용하여 전경 경계 격자를 생성하지만, 이 실시예에서 이후 과정인 전경 및 배경 영역 구분 및 세부 영역 분류는 작은 이미지를 이용하여 계산하여도 같은 결과를 얻을 수 있으므로 굳이 큰 원본 영상을 이용하여 계산을 할 필요가 없다. 따라서 본 실시예에서는 입력 영상과 경계 격자선의 크기를 축소하는 단계를 두어 원본 영상을 작게 축소하고 전경 경계 격자선 또한 이에 맞춰 축소함으로써 계산 시간을 크게 줄이고 알고리즘 실행 속도를 향상시킬 수 있다. 축소 비율은 앞선 경계 격자선 생성 단계에서 검출된 점프들의 최소 간격이 2 픽셀이 되도록 설정함으로써 작은 세부 영역에서도 밝기 정보가 소실되지 않도록 한다.

전경과 배경을 분리하고, 전경 세부 영역의 격자 인덱스를 추출하는 단계에서 전격과 배경을 분리하는 과정도 경계 격자로 나누어진 사각형 영역들을 두 개의 종류(class)로 분류하는 세부 단계, 같은 종류에 속하는 이웃한 사각형 영역을 서로 합쳐나가는 세부 단계, 전경 및 배경 영역을 구분하는 세부 단계로 나누어질 수 있다.

경계 격자로 나누어진 사각형 영역들을 두 개의 종류로 분류하는 세부 단계에서는 전경 경계 격자선에 의해 나누어진 각각의 사각형 영역들의 밝기 평균, 밝기 편차, 밝기 총 분산을 계산하고, 이 값들을 기준으로 사각형 영역들을 도7과 같이 두 개의 종류로 구분하게 된다

같은 종류에 속하는 이웃한 사각형 영역을 합치는 세부 단계에서는 어떤 사각형 영역의 이웃(상/하/좌/우)에 같은 종류에 속하는 사각형이 있다면, 두 사각형은 원래는 하나의 세부 영역에 속하지만 경계 격자선에 의해 나누어진 사각형들이므로 이러한 같은 종류의 이웃 사각형들끼리는 병합하여 원래의 세부 영역으로 복원시킨다. 도8에서 보이는 각기 다른 색상의 영역들은 같은 종류의 이웃 사각형 영역들이 병합하여 만들어진 세부 영역들이며, 검은색으로 표시된 영역 또한 병합을 통해 만들어진 하나의 세부 영역이다.

전경 및 배경 영역을 구분하는 세부 단계에서는 각각의 세부 영역이 이루는 다각형의 오일러 표수(Euler number, Euler characteristic)를 계산하여 세부 영역 내부의 구멍(hole)의 존재 여부를 판단하고, 만일 구멍이 없다면 해당 세부 영역을 전경으로, 구멍이 존재한다면 배경으로 분류한다. 도8에서 검은색으로 표시된 영역만이 구멍을 가지고 있으며, 따라서 검은색으로 표시된 영역이 배경 영역으로 분류된다.

본 발명에서 세부 영역에 부여하는 인덱스(index)는 각 세부 영역에 대한 표지로서 숫자로 표시된 것이며, 좌표와는 다른 의미를 가진다. 가령, 각 사각형 세부 영역의 왼쪽 상단과 오른쪽 하단의 꼭지점 좌표가 이 세부 영역들의 절대적인 위치를 나타낸다고 하면, 인덱스는 각 영역들 간의 상대적인 위치를 나타낸다. 전경 및 배경 격자선 축소 과정을 통해 좌표 정보가 축소된 스케일로 변경 되더라도 각 세부 영역의 상대적인 위치는 변하지 않고 따라서 인덱스 또한 변하지 않는다. 좌표 정보는 최종적으로 각 세부 영역의 좌상단 및 우하단 좌표 정보를 결과로서 검사의 다른 단계에 혹은 방법 사용자에게 제공할 때와 배경 영역을 사각형으로 분리하는 과정에서 각 변의 길이와 사각형의 면적을 계산할 때 등의 과정에서 사용되는 정보이며, 인덱스는 격자선으로 나누어진 세부 영역들을 같은 종류의 이웃 영역들과 합칠 때 등과 같이 각 세부 영역의 상대적인 위치 정보가 필요한 경우에 사용하기 위한 것이다.

본 실시예에서 배경 경계 격자선 생성 단계는 배경에 속하는 영역들 중에서 밝은 선 형태의 경계 정보를 추출하여 배경 경계 격자선을 생성하는 단계이다. 도9의 왼쪽과 같이 전경과 배경이 나뉜 상태에서 배경을 이루는 흰 색으로 표시된 복잡한 배경 영역을 도9의 오른쪽과 같이 사각형의 집합으로 나누고 그 중에서 일정 크기 이상의 사각형 영역만을 관심 영역으로 분류한다. 그리고, 입력 영상 가운데 관심 영역의 밝기 정보를 전경 경계 격자선을 그리는 단계에서와 같이 각각 X축과 Y축으로 프로젝션시킨 1차원 함수 그래프를 얻고 이로부터 극대점 위치을 찾아냄으로써 경계 영역을 검출하고 배경 경계 격자선을 산출하게 된다.

이 단계는 배경 영역을 사각형 집합으로 나누는 세부 단계, 관심 영역을 선택하는 세부 단계, 부분 영상의 밝기 정보 프로젝션을 통해 각 축에 대한 프로젝션 함수 그래프를 얻는 세부 단계, 이 그래프에서 노이지(noise)를 제거하는 세부 단계, 그래프에서 극대점 위치 정보를 얻는 세부 단계, 배경 경계 격자선을 생성하는 세부 단계를 구비하여 이루어질 수 있다.

사각형 집합으로 나누는 세부 단계에서는 나누어진 사각형의 총 개수가 최소가 되고, 가능하면 각 사각형의 가로와 세로 길이가 비슷하여 정사각형에 가깝게 나누는 것이 규칙이 되며, 이로써 넓은 영역의 사각형이 얻어지기 쉽다. 본 실시예에서는 결과로서 도9의 오른쪽 도면과 같은 사각형 분할을 가지게 된다.

그리고, 도9의 오른쪽 도면에서 하단의 연두색 부분이 가장 넓은 면적으로서 관심 영역으로 선택된다. 도10은 이 관심 영역에 대한 입력 영상 부분을 나타낸다.

이 부분에는 검은색 바탕에 흰색 선으로 된 두 개의 테두리선으로 둘러싸인 영역이 있고, 각 영역은 흰색 수직선분에 의해 복수 개의 종속 영역으로 나뉘어져 있다.

도10의 관심 영역에 대해 밝기 정보를 X축과 Y축으로 각각 프로젝션을 시켜 X 프로젝션 함수와 Y 프로젝션 함수를 구하고, 프로젝션 함수에 중간값 필터링(median filtering) 기법을 이용하여 노이즈를 제거하여 도11의 X 프로젝션 함수 그래프와 Y 프로젝션 함수 그래프를 얻는다.

도11에서 붉고 작은 원으로 표시한 부분이 밝기의 극대점이며, X 프로젝션 함수 그래프에서는 이 점의 x축상 위치를, Y 프로젝션 함수 그래프에서는 이 점의 y축상 위치를 얻는다.

그리고, 이들 위치를 이용하여 도12의 관심 영역 상에 수평 및 수직의 붉은 직선으로 나타난 배경 경계 격자선을 산출한다.

배경 경계 격자선 산출 단계 뒤에는 배경 세부 영역 산출을 위한 단계에서의 연산량을 줄이고 알고리즘 실행 속도를 향상시키기 위하여 앞서의 입력 영상과 경계 격자선의 크기를 축소하는 단계에서 축소를 행한 비율에 맞추어 배경 경계 격자선의 크기를 축소시키는 단계가 이루어진다.

배경 세부 영역 추출 단계에서는 앞선 입력 영상 및 전경 경계 격자선 축소 단계에서 축소가 이루어진 원본 영상과 축소된 배경 경계 격자선을 이용하여 배경 세부 영역을 추출하는 과정으로,

배경 경계 격자선을 분할하는 세부 단계에서는 배경 경계 격자선에서 격자선들의 교차점 부근을 제거함으로써 배경 경계 격자선을 분할하여 경계 선분들의 집합으로 만들고,

유효 선분을 추출하는 세부 단계에서는 원본 영상에서 각각의 경계 선분들의 평균 밝기를 계산하여 일정 기준 이상의 밝기를 가지는 경계 선분들만 추출하여 잔류시켜 도13의 붉은 선들만 나타나게 한다.

배경 세부 영역을 산출하는 단계에서는 추출된 유효 경계 선분들로 상/하/좌/우가 모두 둘러싸인 사각형 영역을 추출하여 이를 도14의 여러 색상으로 표시되는 배경 세부 영역으로 만든다.

그리고, 각 배경 세부 영역의 격자 인덱스를 추출한다

재귀 호출 함수를 이용하여 전경 및 배경의 세부 영역들을 같은 종류의 영역들로 분류하는 분류 단계는 추출된 전경 및 배경 세부 영역들을 각 영역의 평균 밝기, 크기, 너비, 높이, 밝기 편차 등 특성을 기준으로 같은 종류의 영역들끼리 분류하는 과정으로, 먼저 전체 세부 영역을 위의 기준에 따라 두 개의 종류(클래스)로 분류하고, 각각의 종류의 차이를 계산한다.

만일 두 종류의 차이가 프로그램 운영을 위한 입력값으로 미리 얻어진 유효 기준 수치보다 작다면 두 종류는 분리가 불가능한 것으로 판단하고 분류 프로세스를 종료하고 다른 특성 기준에 의한 분류를 같은 방식으로 시도하게 된다. 만일 두 종류의 차이가 유효 기준 수치보다 크다면 두 종류는 분리가 가능한 것으로 판단하고 각각의 종류에 대해 위 과정을 반복한다. 이 반복 과정은 이 실시예에서는 재귀 호출 함수를 이용하여 구성된다.

이 분류 과정을 좀 더 구체적인 예의 세부 단계로 구분하여 살펴보면, 예비단계로서, 각 세부 영역에 대한 각 특성의 수치화된 값을 얻고 해당 세부 영역을 규정하는 특성 요소로서 연관시킨다. 가령, 각각의 세부 영역들의 평균 밝기, 크기(넓이), 너비, 높이, 밝기 편차를 계산하여 이용할 수 있다.

그리고, 첫째로, 특성 가운데 하나 가령 평균 밝기를 기준으로 세부 영역들을 두 종류(그룹)로 나눈다. 만일 일 측에 속하는 세부 영역들의 평균 밝기의 평균과 다른 측에 속하는 세부 영역들의 평균 밝기의 평균의 차이가 미리 입력되어 있는 유효 기준 수치보다 크면 두 종류는 분리 가능한 것이므로 이러한 구분을 인정하고, 두 종류 각각에 대해서도 위의 첫째 과정, 즉, 평균 밝기를 기준으로 다시 종류를 나누는 작업을 실시한다. 만일 두 종류에서의 평균 밝기의 평균의 차이가 유효 기준 수치 이하라면 두 종류로의 구분은 무효화되며 다음 특성, 가령 아래의 넓이에 의한 종류 구분 작업을 실행한다.

넓이 차이에 의한 분류에서는 이미 구분된 종류 각각에 대한 세부 영역들의 넓이를 기준으로 두 종류로 구분하고, 각 종류에 속하는 세부 영역들의 넓이 평균을 계산하고, 두 종류의 평균 넓이 차이가 기준값(유효 기준 수치) 이상이라면 두 종류는 분리 가능한 것이므로 이렇게 분리된 각각의 종류에 대하여 분류 단계의 처음부터 다시 분류 과정을 실행한다. 만일 두 종류의 평균 넓이 차이가 기준값 이하라면 다음 특성에 의한 종류 구분 작업을 실행한다.

다음으로 높이 특성에 의한 분류에서는 이미 구분된 각각의 종류에 대하여 해당 종류에 속하는 세부 영역들의 평균 높이를 계산하고, 두 종류의 평균 높이 차이가 기준값 이상이라면 두 종류는 분리 가능한 것이므로 각각의 종류에 대하여 처음의 세부 단계부터 다시 실행한다. 만일 두 종류의 평균 높이 차이가 기준값 이하라면 다음 특성에 의한 종류 구분 작업을 실시한다.

다음으로 너비 특성에 의한 분류에서는 이미 구분된 각각의 종류에 대하여 해당 종류에 속하는 세부 영역들의 평균 너비를 계산하고, 두 종류의 평균 너비 차이가 기준값 이상이라면 두 종류는 분리 가능한 것이므로 각각의 종류에 대하여 분류 단계의 처음부터 다시 실행한다. 만일 두 종류의 평균 너비 차이가 기준값 이하라면 다음 특성에 의한 종류 구분 작업을 실시한다.

다음으로 평균 밝기 편차에 의한 분류가 이미 살펴본 위와 같은 방식으로 이루어진다.

한편, 분류된 세부 영역 좌표 정보 산출 단계에서는 최종적으로 본 발명 방법에서 각각의 세부 영역에 대하여 소속된 종류, 좌상단 격자점 좌표, 우하단 격자점 좌표 정보를 산출하여 본 발명 방법의 사용자가 이용할 수 있도록 제공하며, 전체적인 영상을 통한 반도체 다이 검사 방법에서 활용할 수 있도록 한다.

이상에서는 한정된 실시예를 통해 본 발명을 설명하고 있으나, 이는 본 발명의 이해를 돕기 위해 예시적으로 설명된 것일 뿐 본원 발명은 이들 특정의 실시예에 한정되지 아니한다. 즉, 당해 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 발명을 토대로 다양한 변경이나 응용예를 실시할 수 있을 것이며 이러한 변형례나 응용예는 첨부된 특허청구범위에 속함은 당연한 것이다.

Claims (8)

1. 대상 다이에 대한 촬영을 실시하여 2차원 입력 영상을 획득하는 단계,
   상기 입력 영상의 밝기 정보를 각각 x축과 y축으로 프로젝션시켜 입력 영상의 x축 및 y축을 따라가면서 밝기가 크게 변화하는 부분인 점프 포인트의 x축상 위치와 y축상 위치를 알고, 상기 위치를 지나는 x축과 수직인 직선과 y축과 수직인 직선을 상기 입력 영상의 밝은 부분과 어두운 부분의 경계를 이루는 경계 격자선으로서 산출하는 경계 격자선 산출 단계,
   상기 경계 격자선에 의해 나뉘어진 상기 입력 영상의 사각형 영역들을 밝기 기준으로 어두운 영역과 밝은 영역의 두 종류로 구분하고 상, 하, 좌, 우 각각의 방향으로 이웃한 사각형 영역이 동일한 종류인 경우에는 상기 경계 격자선을 무시하고 영역을 병합하는 과정을 통해 세부 영역을 구성하고, 각각의 상기 세부 영역의 내부에 구멍(hole)이 있는 지의 여부에 따라 구멍이 없다면 해당 세부 영역을 전경으로, 구멍이 있다면 해당 세부 영역을 배경으로 분류하는 전경 배경 구분 단계,
   상기 세부 영역 가운데 전경으로 구분된 영역인 전경 세부 영역의 격자 인덱스를 산출하는 단계,
   배경으로 구분된 배경 영역에서 밝은 선 형태의 경계 정보를 추출하여 상기 경계 정보에 의해 구분되는 사각형의 배경 세부 영역을 얻는 단계,
   상기 배경 세부 영역의 격자 인덱스를 산출하는 단계,
   상기 전경 세부 영역과 상기 배경 세부 영역에 대한 형태, 크기 및 밝기 특성 가운데 적어도 하나에 따라 상기 전경 세부 영역과 상기 배경 세부 영역을 복수 종류로 분류하는 분류 단계를 구비하여 이루어지는 반도체 다이 영상 분할 방법.
2. 제 1 항에 있어서,
   상기 전경 배경 구분 단계에서 영역을 병합하는 과정을 통해 상기 어두운 영역에 속하는 사각형 영역을 병합하여 구성된 세부 영역이 구멍을 가져서 상기 어두운 영역에 속하는 사각형 영역을 병합하여 구성된 세부 영역을 상기 배경 세부 영역으로 정하는 경우,
   상기 배경 세부 영역을 얻는 단계는
   상기 배경 영역에서 밝은 선 형태의 경계 정보를 추출하여 배경 경계 격자선을 산출하는 배경 경계 격자선 산출 단계와,
   상기 배경 경계 격자선이 교차하는 교차점을 제거하여 상기 배경 경계 격자선을 선분으로 분할하고, 상기 선분들 가운데 일정 기준 이상의 밝기를 가지는 유효선분들만 추출하여 상기 유효선분들로 상하좌우가 둘러싸인 사각형 영역을 추출하여 배경 세부 영역으로 규정하는 단계를 구비하여 이루어지는 반도체 다이 영상 분할 방법.
3. 제 2 항에 있어서,
   상기 배경 경계 격자선 산출 단계는 상기 배경 영역을 사각형의 집합으로 나누되 나뉜 사각형 갯수가 최소가 되고 상기 나뉜 사각형의 가로 세로 길이가 최대한 동일하게 나누는 단계와,
   상기 사각형들 가운데 일정 크기 이상의 사각형들만을 관심영역으로 분류하는 단계와,
   상기 관심 영역의 밝기 정보를 각각 x축과 y축으로 프로젝션시켜
   x 축을 따라가면서 x 축 상의 위치에서의 밝기를 나타내는 함수 그래프에서 극대점을 찾아 상기 극대점에 대한 상기 x 축 상의 위치를 지나는 x축과 수직인 직선을 구하고,
   y 축을 따라가면서 y 축 상의 위치에서의 밝기를 나타내는 함수 그래프에서 극대점을 찾아 상기 극대점에 대한 상기 y 축 상의 위치를 지나는 y축과 수직인 직선을 구하여,
   상기 x축과 수직인 직선과 상기 y축과 수직인 직선을 상기 배경 경계 격자선으로 규정하는 단계를 구비하여 이루어지는 것을 특징으로 하는 반도체 다이 영상 분할 방법.
4. 제 2 항에 있어서
   상기 전경 세부 영역을 얻기 전에 상기 경계 격자선을 산출한 뒤에는 상기 입력 영상과 상기 경계 격자선의 크기를 일정 비율로 줄이는 축소 단계가 더 구비되고,
   상기 배경 세부 영역을 규정하기 전에 상기 배경 경계 격자선을 산출한 뒤에도 상기 배경 경계 격자선의 크기를 상기 일정 비율로 줄이는 축소 단계가 더 구비되는 것을 특징으로 하는 반도체 다이 영상 분할 방법.
5. 제 1 항에 있어서,
   상기 분류 단계는 상기 전경 세부 영역들 및 상기 배경 세부 영역들의 평균 밝기, 크기, 너비, 높이, 밝기 편차를 기준으로 같은 종류의 영역들끼리 분류하는 것을 특징으로 하는 반도체 다이 영상 분할 방법.
6. 제 1 항에 있어서,
   상기 입력 영상의 밝기 정보를 각각 x축과 y축으로 프로젝션시켜 입력 영상의 x축 및 y축을 따라가면서 밝기가 크게 변화하는 부분인 점프 포인트의 x축상 위치와 y축상 위치를 알아낼 때, 상기 입력 영상의 밝기 정보를 각각 x축과 y축으로 프로젝션시켜 입력 영상의 x축 및 y축을 따라가면서 위치에 따른 밝기의 함수관계를 얻고 상기 함수관계에 대해 중간값 필터링(median filtering) 기법을 이용하여 노이즈를 제거하여 세부 단계가 구비되는 것을 특징으로 하는 반도체 다이 영상 분할 방법.
7. 제 1 항에 있어서,
   상기 분류 단계 이후에는 분류된 세부 영역의 좌표 정보를 산출하는 세부 영역 좌표 산출 단계가 구비되는 것을 특징으로 하는 반도체 다이 영상 분할 방법.
8. 제 1 항에 있어서,
   상기 세부 영역의 내부에 구멍(hole)이 있는 지의 여부를 판단할 때에 상기 세부 영역이 이루는 다각형의 오일러 표수(Euler characteristic)를 사용하여 결정하는 것을 특징으로 하는 반도체 다이 영상 분할 방법.

Images