KR102129071B1 - 스캐닝 홀로그램 기반 자동광학검사 장치 및 방법 - Google Patents
스캐닝 홀로그램 기반 자동광학검사 장치 및 방법 Download PDFInfo
- Publication number
- KR102129071B1 KR102129071B1 KR1020190066643A KR20190066643A KR102129071B1 KR 102129071 B1 KR102129071 B1 KR 102129071B1 KR 1020190066643 A KR1020190066643 A KR 1020190066643A KR 20190066643 A KR20190066643 A KR 20190066643A KR 102129071 B1 KR102129071 B1 KR 102129071B1
- Authority
- KR
- South Korea
- Prior art keywords
- hologram
- coordinate system
- rotation angle
- depth position
- depth
- Prior art date
Links
- 230000003287 optical effect Effects 0.000 title claims abstract description 101
- 238000007689 inspection Methods 0.000 title claims abstract description 72
- 238000000034 method Methods 0.000 title claims abstract description 69
- 238000001093 holography Methods 0.000 title 1
- 238000012544 monitoring process Methods 0.000 claims abstract description 107
- 238000000605 extraction Methods 0.000 claims abstract description 45
- 238000012545 processing Methods 0.000 claims abstract description 22
- 239000013598 vector Substances 0.000 claims description 47
- 238000001514 detection method Methods 0.000 claims description 40
- 239000011159 matrix material Substances 0.000 claims description 25
- 230000009466 transformation Effects 0.000 claims description 18
- 238000003384 imaging method Methods 0.000 claims description 12
- 230000001678 irradiating effect Effects 0.000 claims 1
- 230000015572 biosynthetic process Effects 0.000 abstract 1
- 238000013527 convolutional neural network Methods 0.000 description 24
- 239000000284 extract Substances 0.000 description 10
- 230000008569 process Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 238000011478 gradient descent method Methods 0.000 description 3
- 230000003595 spectral effect Effects 0.000 description 3
- 238000011426 transformation method Methods 0.000 description 3
- 238000012952 Resampling Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000000611 regression analysis Methods 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- BQCADISMDOOEFD-UHFFFAOYSA-N Silver Chemical compound [Ag] BQCADISMDOOEFD-UHFFFAOYSA-N 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 229910052736 halogen Inorganic materials 0.000 description 1
- 150000002367 halogens Chemical class 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000013488 ordinary least square regression Methods 0.000 description 1
- 230000010287 polarization Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 229910052709 silver Inorganic materials 0.000 description 1
- 239000004332 silver Substances 0.000 description 1
- 238000013403 standard screening design Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/2518—Projection by scanning of the object
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B9/00—Measuring instruments characterised by the use of optical techniques
- G01B9/02—Interferometers
- G01B9/021—Interferometers using holographic techniques
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/22—Processes or apparatus for obtaining an optical image from holograms
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N2201/00—Features of devices classified in G01N21/00
- G01N2201/06—Illumination; Optics
- G01N2201/061—Sources
- G01N2201/06113—Coherent sources; lasers
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N2201/00—Features of devices classified in G01N21/00
- G01N2201/10—Scanning
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/22—Processes or apparatus for obtaining an optical image from holograms
- G03H1/2249—Holobject properties
- G03H2001/2281—Particular depth of field
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Holo Graphy (AREA)
Abstract
본 발명은 스캐닝 홀로그램 기반 자동광학검사 장치 및 방법에 관한 것으로, 상기 자동광학검사 장치는 스캐닝 홀로그램 카메라를 이용하여 대물판 위에 존재하는 대상체의 홀로그램을 촬영하는 홀로그램 촬영부, 상기 대물판 및 상기 대상체 중 어느 하나의 표면을 향해 모니터링 광을 조사하고 해당 표면에 의해 반사되는 모니터링 광을 검출하는 광 모니터링 처리부, 검출된 상기 모니터링 광을 기초로 상기 대물판의 대물면에 관한 깊이위치 및 회전각을 추출하는 깊이위치 및 회전각 추출부, 상기 깊이위치 및 회전각을 이용하여 상기 대물면에 대응되는 회전된 좌표계를 형성하는 회전된 좌표계 형성부 및 상기 홀로그램을 상기 회전된 좌표계의 깊이방향으로 형성되는 평면에서 복원함으로써 상기 대상체의 영상을 획득하는 홀로그램 복원부를 포함한다.
Description
본 발명은 자동 광학 검사 장비 및 방법에 관한 것으로, 더욱 상세하게는 촬영 대상체의 홀로그램을 촬영하고 이를 수치적 방법으로 처리하여 회전과 탈초점에 관계없이 고정밀 자동광학검사가 가능한 영상정보를 획득할 수 있는 스캐닝 홀로그램 카메라 장치 및 방법에 관한 것이다.
종래에 광학 현미경에 따른 자동광학검사 장치 및 방법은 광학 현미경을 이용하여 대물판 위에 위치한 대상물의 초점 맺은 영상 정보를 디지털 신호형태로 추출하고 이를 컴퓨터를 이용해 수치적으로 인식 처리하는 방법으로 대상체의 결함이나 왜곡을 검사하였다. 하지만, 상기 자동광학 검사장비 및 방법을 이용해 고해상도로 대상체의 영상을 획득하기 위해서는 대물렌즈의 심도(depth of focus)가 수 마이크로미터 수준으로 얇아져 대물판의 정교한 정렬, 대물렌즈의 정교한 기계적 초점 조절 등이 요구된다.
또한, 대상체의 3차원 영상을 얻기 위해서는 대물판을 깊이 방향으로 순차적으로 위치시켜 순차적인 깊이위치에서 초점 맺은 영상을 획득해 이를 조합하는 방식으로 대상체의 3차원 영상을 획득하거나 대물렌즈를 깊이 방향으로 순차적으로 위치시켜 순차적인 깊이 방향에 대해서 초점 맺은 영상들을 획득하여 다시 재 조합하는 방식으로 대상체의 3차원 영상을 획득하였다.
따라서, 이와 같은 기계적 정렬 및 초점조절에 따른 기존의 촬상광학계에 기반한 자동광학 검사장비로는 정밀한 기계적 제어를 위한 부가적인 장치가 필요할 뿐 아니라 기계적 움직임에 따라 초고속 검사가 어렵다. 컨베이어 벨트 상에 올려져 있는 대상체의 검사를 예시로 들면, 컨베이어 벨트 상의 대상체는 컨베이어 벨트의 요동에 따라 대물렌즈의 심도영역을 벗어나 탈초점된 깊이위치에서 회전에 의해 경사지게 위치하게 된다.
이때, 탈초점 영역에서 경사지게 위치한 대상체를 대물렌즈의 심도영역으로 재정렬하기 위해서는 탈초점된 깊이위치와 경사진 회전각의 정교한 검출은 물론, 검출된 깊이위치와 경사진 회전각을 이용하여 정교한 기계적 제어를 통한 대상체의 재정렬이 필요하다. 실제로는 컨베이어 벨트 상에 위치한 대상체를 컨베이어 벨트 상에서 깊이 방향으로 움직이거나 회전시키는 기계적인 장치를 부가하는 것이 컨베이어 벨트 상에서 구조적으로 어려워, 대상체를 컨베이어 벨트에서 로봇팔 등을 이용해 정교하게 정렬된 대물판 위에 위치시킨 후 대물렌즈의 기계적 움직임을 통해 초점을 맞춰 초점 맺은 영상을 획득한다. 따라서 정교한 기계적인 조정 없이 대상체의 홀로그램을 촬영하고 이를 수치적 방법으로 처리하여 대물판의 회전 및 탈초점된 위치에서도 회전과 탈초점에 관계없이 초점 맺은 선명한 영상을 획득하여 기계적인 정교한 재정렬 없이 자동광학검사가 가능한 영상정보를 획득할 수 있는 홀로그램 카메라 및 수치적 처리방법을 발명한다.
본 발명의 일 실시예는 스캐닝 홀로그램 카메라를 이용하여 싱글 샷으로 촬영 대상체의 홀로그램을 촬영하고 모니터링 광을 통해 획득한 정보를 이용하여 대물판에 관한 깊이위치와 회전각을 획득할 수 있는 스캐닝 홀로그램 기반 자동광학검사 장치 및 방법을 제공하고자 한다.
본 발명의 일 실시예는 경사진 대물판 위치에서도 회전과 탈초점에 관계없이 초점 맺은 선명한 영상을 획득하여 정밀한 기계적 조정 없이 고정밀 자동광학검사가 가능한 영상정보를 획득할 수 있는 스캐닝 홀로그램 기반 자동광학검사 장치 및 방법을 제공하고자 한다.
실시예들 중에서, 스캐닝 홀로그램 기반 자동광학검사 장치는 스캐닝 홀로그램 카메라를 이용하여 대물판 위에 존재하는 대상체의 홀로그램을 촬영하는 홀로그램 촬영부, 상기 대물판 및 상기 대상체 중 어느 하나의 표면을 향해 모니터링 광을 조사하고 해당 표면에 의해 반사되는 모니터링 광을 검출하는 광 모니터링 처리부, 검출된 상기 모니터링 광을 기초로 상기 대물판의 대물면에 관한 깊이위치 및 회전각을 추출하는 깊이위치 및 회전각 추출부, 상기 깊이위치 및 회전각을 이용하여 상기 대물면에 대응되는 회전된 좌표계를 형성하는 회전된 좌표계 형성부 및 상기 홀로그램을 상기 회전된 좌표계의 깊이방향으로 형성되는 평면에서 복원함으로써 상기 대상체의 영상을 획득하는 홀로그램 복원부를 포함한다.
상기 스캐닝 홀로그램 카메라는 전자기파를 발생시키는 광원, 상기 전자기파를 분할하는 분할수단, 분할된 상기 전자기파에 의해 형성되는 간섭 빔을 이용하여 상기 대상체를 스캔하는 스캔수단 및 상기 대상체로부터 반사, 형광 또는 투과된 빔을 검출하는 광 검출수단을 포함하고, 상기 홀로그램 촬영부는 상기 촬영의 결과로서 복소수 홀로그램을 생성할 수 있다.
상기 광 모니터링 처리부는 상기 대물판의 상단에 배치되고 상기 대상체에 조사되는 모니터링 광을 생성하는 모니터링 광 생성 모듈 및 상기 대상체의 표면에 의해 반사되는 상기 모니터링 광을 검출하는 광 위치 검출 모듈을 포함할 수 있다.
상기 광 모니터링 처리부는 상기 모니터링 광의 진행 경로 상에 대물렌즈, 빔스플리터를 포함하는 광학 소자를 더 포함하고, 상기 모니터링 광 생성 모듈 및 상기 광 위치 검출 모듈은 상호 간의 동작 및 상기 광학 소자의 배치에 따라 각각의 위치가 결정될 수 있다.
상기 모니터링 광 생성 모듈은 적어도 2개의 광을 상기 모니터링 광으로서 생성할 수 있고, 상기 광 위치 검출 모듈은 CCD 및 CMOS를 포함하는 촬상 소자의 어레이로 구성될 수 있다.
상기 깊이위치 및 회전각 추출부는 상기 대상체 또는 상기 대물판의 표면에서 반사된 모니터링 광의 위치를 벡터로서 산출할 수 있다.
상기 회전된 좌표계 형성부는 상기 깊이위치 및 회전각 추출부에 의해 추출된 깊이위치와 회전각을 이용하여 생성되고 기준 좌표계를 회전된 좌표계로 변환하는 변환 행렬을 생성할 수 있다.
상기 홀로그램 복원부는 상기 홀로그램을 기준 좌표계의 깊이위치에서 복원한 후 상기 회전된 좌표계의 깊이방향으로 형성되는 평면으로 도파시킴으로써 상기 대상체의 영상을 획득할 수 있다.
상기 홀로그램 복원부는 상기 홀로그램을 기준 좌표계의 깊이위치에서 복원한 후 상기 회전된 좌표계의 깊이방향으로 형성되는 순차적인 평면으로 각각 도파시킴으로써 상기 대상체의 3차원 영상을 획득할 수 있다.
상기 홀로그램 복원부는 상기 홀로그램을 기준 좌표계의 깊이방향으로 형성되는 순차적인 평면에서 각각 복원한 후 상기 회전된 좌표계로 보간(interpolation)할 수 있다.
상기 홀로그램 복원부는 상기 순차적인 평면에서 복원된 영상들에 대해 각 순차적인 평면의 깊이위치를 축으로 하여 3차원 행렬을 생성하고 상기 3차원 행렬을 상기 회전된 좌표계의 좌표축으로 보간함으로써 상기 대상체의 영상을 획득할 수 있다.
실시예들 중에서, 스캐닝 홀로그램 기반 자동광학검사 방법은 스캐닝 홀로그램 카메라를 이용하여 대물판 위에 존재하는 대상체의 홀로그램을 촬영하는 단계, 상기 대물판 및 상기 대상체 중 어느 하나의 표면을 향해 모니터링 광을 조사하고 해당 표면에 의해 반사되는 모니터링 광을 검출하는 단계, 검출된 상기 모니터링 광을 기초로 상기 대물판의 대물면에 관한 깊이위치 및 회전각을 추출하는 단계, 상기 깊이위치 및 회전각을 이용하여 상기 대물면에 대응되는 회전된 좌표계를 형성하는 단계 및 상기 홀로그램을 상기 회전된 좌표계의 깊이방향으로 형성되는 평면에서 복원함으로써 상기 대상체의 영상을 획득하는 단계를 포함한다.
개시된 기술은 다음의 효과를 가질 수 있다. 다만, 특정 실시예가 다음의 효과를 전부 포함하여야 한다거나 다음의 효과만을 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
본 발명의 일 실시예에 따른 스캐닝 홀로그램 기반 자동광학검사 장치 및 방법은 스캐닝 홀로그램 카메라를 이용하여 싱글 샷으로 촬영 대상체의 홀로그램을 촬영하고 모니터링 광을 통해 획득한 정보를 이용하여 대물판에 관한 깊이위치와 회전각을 획득할 수 있다.
본 발명의 일 실시예에 따른 스캐닝 홀로그램 기반 자동광학검사 장치 및 방법은 경사진 대물판 위치에서도 회전과 탈초점에 관계없이 초점 맺은 선명한 영상을 획득하여 정밀한 기계적 조정 없이 고정밀 자동광학검사가 가능한 영상정보를 획득할 수 있다.
도 1은 본 발명에 따른 스캐닝 홀로그램 기반 자동광학검사 시스템의 구성을 설명하는 도면이다.
도 2는 도 1에 있는 자동광학검사 장치의 기능적 구성을 설명하는 블록도이다.
도 3은 도 1에 있는 자동광학검사 장치에서 수행되는 스캐닝 홀로그램 기반 자동광학검사 과정을 설명하는 순서도이다.
도 4는 스캐닝 홀로그램 카메라 기반 자동광학검사 장비의 일 실시예를 설명하는 도면이다.
도 5는 광 스캐닝 홀로그램을 이용한 검사대상체의 홀로그램 촬영을 설명하는 도면이다.
도 6은 순차적 깊이위치에서 복원된 영상 및 깊이위치 측정 영역을 설명하는 도면이다.
도 7은 홀로그램과 깊이위치 측정 영역을 설명하는 도면이다.
도 8은 기준 좌표계와 회전된 좌표계를 설명하는 도면이다.
도 9는 홀로그램과 깊이위치 측정 일부영역을 설명하는 도면이다.
도 10은 깊이 및 회전각 측정용 모니터링 광 생성 및 검출장치를 설명하는 도면이다.
도 11은 깊이 및 회전각 측정용 모니터링 광 생성 및 검출장치 및 추가 광학구조를 설명하는 도면이다.
도 2는 도 1에 있는 자동광학검사 장치의 기능적 구성을 설명하는 블록도이다.
도 3은 도 1에 있는 자동광학검사 장치에서 수행되는 스캐닝 홀로그램 기반 자동광학검사 과정을 설명하는 순서도이다.
도 4는 스캐닝 홀로그램 카메라 기반 자동광학검사 장비의 일 실시예를 설명하는 도면이다.
도 5는 광 스캐닝 홀로그램을 이용한 검사대상체의 홀로그램 촬영을 설명하는 도면이다.
도 6은 순차적 깊이위치에서 복원된 영상 및 깊이위치 측정 영역을 설명하는 도면이다.
도 7은 홀로그램과 깊이위치 측정 영역을 설명하는 도면이다.
도 8은 기준 좌표계와 회전된 좌표계를 설명하는 도면이다.
도 9는 홀로그램과 깊이위치 측정 일부영역을 설명하는 도면이다.
도 10은 깊이 및 회전각 측정용 모니터링 광 생성 및 검출장치를 설명하는 도면이다.
도 11은 깊이 및 회전각 측정용 모니터링 광 생성 및 검출장치 및 추가 광학구조를 설명하는 도면이다.
본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
한편, 본 출원에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.
"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다"또는 "가지다" 등의 용어는 실시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
각 단계들에 있어 식별부호(예를 들어, a, b, c 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.
본 발명은 컴퓨터가 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있고, 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치, HDD, SSD 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.
도 1은 본 발명에 따른 스캐닝 홀로그램 기반 자동광학검사 시스템의 구성을 설명하는 도면이다.
도 1을 참조하면, 스캐닝 홀로그램 기반 자동광학검사 시스템(100)은 스캐닝 홀로그램 카메라(110), 자동광학검사 장치(130) 및 데이터베이스(150)를 포함할 수 있다.
스캐닝 홀로그램 카메라(110)는 대물판에 위치한 검사대상체의 홀로그램을 촬영할 수 있는 장치에 해당할 수 있다. 스캐닝 홀로그램 카메라(110)는 자동광학검사 장치(130)와 네트워크를 통해 연결될 수 있고, 복수의 스캐닝 홀로그램 카메라(110)들은 자동광학검사 장치(130)와 동시에 연결될 수 있다.
일 실시예에서, 스캐닝 홀로그램 카메라(110)는 자동광학검사 장치(130)의 일 구성요소로 포함되어 구현될 수 있고, 이 경우 스캐닝 홀로그램 카메라(110)는 대상체의 홀로그램을 촬영하는 동작을 수행하는 독립된 모듈에 해당할 수 있다.
일 실시예에서, 스캐닝 홀로그램 카메라(110)는 전자기파를 발생시키는 광원, 전자기파를 분할하는 분할수단, 분할된 전자기파에 의해 형성되는 간섭 빔을 이용하여 대상체를 스캔하는 스캔수단 및 대상체로부터 반사, 형광 또는 투과된 빔을 검출하는 광 검출수단을 포함할 수 있다.
광원은 전자기파의 발생이 가능한 레이저 발생기, LED(Light Emitting Diode), 결맞음 길이(coherence length)가 짧은 헬로겐 광처럼 가간섭성(Coherence)이 낮은 빔 등의 다양한 수단을 포함할 수 있다.
분할수단은 광원에서 발생된 전자기파, 예를 들어 레이저 빔을 제1 빔과 제2 빔으로 분할할 수 있다. 일 실시예에서, 분할수단은 광 섬유 커플러(optical fiber coupler), 빔 스플리터(beam splitter), 기하위상렌즈(geometric phase lens)를 포함할 수 있고, 자유 공간을 도파하여 빔을 외부로 전달하는 방식으로 구현될 수 있을 뿐 아니라, 상기 기하위상렌즈 등 공축상(in-line)에서 빔을 분할할 수 있는 수단을 이용해서는 공축상에서 제1 빔과 제2 빔으로 분할할 수 있다.
스캔수단은 분할된 전자기파에 의해 형성되는 간섭 빔(또는 간섭 패턴)을 이용하여 촬영 대상물을 스캔할 수 있다. 스캔수단은 거울 스캐너에 해당할 수 있으나, 반드시 이에 한정되지 않고, 공지된 다양한 스캔수단으로 대체될 수 있다. 예를 들어, 스캔수단은 프레넬 윤대판(Fresnel zone plate)을 촬영 대상물을 가로질러 이동시킴으로써 촬영 대상물을 스캐닝할 수 있다. 이 경우, 스캔수단은 제어 신호에 따라 스캐닝 위치를 조절할 수 있다. 또한, 스캔수단은 촬영대상물을 대물판 위에 위치시키고 대물판을 수평 이동하여 촬영대상물을 스캐닝할 수 있다.
광 검출수단은 빔을 검출하여 전류신호로 변환할 수 있다. 이 경우, 광 검출수단은 검출된 빔의 세기에 따라 전류를 생성할 수 있다. 광 검출수단은 광 다이오드를 사용하여 구현될 수 있으나, 반드시 이에 한정되지 않고, 광증배관(photo-multiplier tube) 등 다양한 광 검출수단을 포함할 수 있다. 또한, 광 검출수단은 촬영 대상물로부터 반사, 형광 또는 투과된 빔을 집광하는 집광기를 포함하여 구현될 수 있다.
자동광학검사 장치(130)는 검사대상체의 홀로그램을 촬영하고 수치적 방법으로 처리하여 탈초점 및 회전에 관계없이 선명한 영상을 획득할 수 있는 컴퓨터 또는 프로그램에 해당하는 서버로 구현될 수 있다. 자동광학검사 장치(130)는 독립된 동작을 수행하는 외부 시스템(도 1에 미도시함)과 블루투스, WiFi, 통신망 등을 통해 무선으로 연결될 수 있고, 네트워크를 통해 외부 시스템과 데이터를 주고받을 수 있다.
일 실시예에서, 자동광학검사 장치(130)는 데이터베이스(150)와 연동하여 자동광학검사 과정에서 필요한 정보를 저장할 수 있다. 한편, 자동광학검사 장치(130)는 도 1과 달리, 데이터베이스(150)를 내부에 포함하여 구현될 수 있다. 또한, 자동광학검사 장치(130)는 물리적 구성으로서 프로세서, 메모리, 사용자 입출력부 및 네트워크 입출력부를 포함하여 구현될 수 있다.
데이터베이스(150)는 스캐닝 홀로그램 기반 자동광학검사를 수행하는 과정에서 필요한 다양한 정보들을 저장하는 저장장치에 해당할 수 있다. 데이터베이스(150)는 스캐닝 홀로그램 카메라(110)로부터 획득한 검사대상체의 홀로그램에 관한 정보를 저장할 수 있고, 반드시 이에 한정되지 않고, 자동광학검사 장치(130)가 획득된 홀로그램을 수치적 방법으로 처리하여 탈초점과 회전에 상관없이 검사대상체의 선명한 영상을 획득하는 과정에서 다양한 형태로 수집 또는 가공된 정보들을 저장할 수 있다.
도 2는 도 1에 있는 자동광학검사 장치의 기능적 구성을 설명하는 블록도이다.
도 2를 참조하면, 자동광학검사 장치(130)는 홀로그램 촬영부(210), 광 모니터링 처리부(220), 깊이위치 및 회전각 추출부(230), 회전된 좌표계 형성부(240), 홀로그램 복원부(250) 및 제어부(260)를 포함할 수 있다.
홀로그램 촬영부(210)는 스캐닝 홀로그램 카메라(110)를 이용하여 대물판 위에 존재하는 대상체의 홀로그램을 촬영할 수 있다. 일 실시예에서, 홀로그램 촬영부(210)는 촬영의 결과로서 복소수 홀로그램을 생성할 수 있다.
일 실시예에서, 홀로그램 촬영부(210)는 광 스캐닝 홀로그램 기반 촬영법을 이용하여 대상체의 홀로그램을 촬영할 수 있다. 보다 구체적으로, 홀로그램 촬영부(210)는 도 5의 그림 (a)의 구성으로 광 스캐닝 홀로그램 카메라를 이용하여 대상체의 홀로그램을 촬영할 수 있다. 도 5의 그림 (a)에서는 대상체로부터 반사 또는 형광되는 빔을 검출하는 것으로 도시하였으나 광 검출기를 대물면 하단에 위치하는 방법으로 대상체로부터 투과된 빔을 검출할 수 있는 것은 물론이다. 이때 대물면은 투명한 유리 또는 대상체 부분은 뚫려 있는 것이 바람직하다. 이 때, 촬영된 홀로그램은 다음의 수학식 1 내지 5로 표현될 수 있다.
여기서, 
는 대상물의 반사율(reflectance)의 3차원 분포로서 대상물의 3차원 영상이고, 
는 콘볼루션(convolution) 연산이다. 그리고, 
는 스캔수단에 의해 지정되는 스캔빔의 스캔 위치이고, z는 대상물의 깊이위치로서 구면파의 초점에서부터 대상물까지의 거리에 해당된다.
여기서, d는 제1 구면파의 초점과 제2 구면파의 초점 사이의 거리이다. 홀로그램은 d를 조정하여 축소 및 확대에 따른 왜곡을 보정할 수 있다. d를 조정하는 방법으로는 렌즈의 이미징 법칙에 따라 렌즈의 위치와 초점거리를 변경하여 조정할 수 있다.
여기서, Mimg는 편광 감응형 렌즈(기하 위상 렌즈) 면의 패턴을 대상물 영역의 면으로 이미징 시 제1 렌즈에 의한 상의 축소 또는 확대 비율, zimg는 제2 구면파의 초점위치로부터 대상물까지의 거리, 2M2 imgfgp는 조정된 제1 및 제2 구면파의 각 초점 간의 거리이다.
광 모니터링 처리부(220)는 대물판 및 대상체 중 어느 하나의 표면을 향해 모니터링 광을 조사하고 해당 표면에 의해 반사되는 모니터링 광을 검출할 수 있다. 예를 들어, 광 모니터링 처리부(220)는 대물판 상에 반사판을 위치시키고 반사판에 레이저를 조사해 반사된 빛의 위치를 촬상 소자 등으로 검출해, 대물판의 깊이위치와 회전각을 추출할 수 있다.
일 실시예에서, 광 모니터링 처리부(220)는 대물판의 상단에 배치되고 대상체에 조사되는 모니터링 광을 생성하는 모니터링 광 생성 모듈 및 대상체의 표면에 의해 반사되는 모니터링 광을 검출하는 광 위치 검출 모듈을 포함할 수 있다. 도 10을 참조하면, 검사대상체 또는 대물판에 모니터링 광을 조사하고, 모니터링 광이 검사대상체 면에서 반사되어 광 위치 검출단으로 입사된다. 광 위치 검출단에 도달한 빔의 위치로부터 검사대상체의 평면의 회전각을 추출한다.
일 실시예에서, 광 모니터링 처리부(220)는 모니터링 광의 진행 경로 상에 대물렌즈, 빔스플리터를 포함하는 광학 소자를 더 포함하고, 모니터링 광 생성 모듈 및 광 위치 검출 모듈은 상호 간의 동작 및 광학 소자의 배치에 따라 각각의 위치가 결정될 수 있다. 도 11을 참조하면, 광 모니터링 처리부(220)는 모니터링 광 생성 모듈과 광 위치 검출 모듈 사이에 렌즈를 포함하거나 또는 렌즈와 빔스플리터를 포함할 수 있다.
따라서, 광 모니터링 처리부(220)는 다양한 기하학적 구조가 가능하며 기하학적 구조에 따라 위치벡터 해석이 가능할 수 있다. 또한, 광 모니터링 처리부(220)는 대물판과 검사대상체 사이에 깊이 차이를 고려하여 위치 벡터에 대한 기하학적 해석을 수행할 수 있다.
일 실시예에서, 모니터링 광 생성 모듈은 적어도 2개의 광을 모니터링 광으로서 생성할 수 있고, 광 위치 검출 모듈은 CCD 및 CMOS를 포함하는 촬상 소자의 어레이로 구성될 수 있다. 도 10에서, 모니터링 광 생성부(모니터링 광 생성 모듈)는 2개의 모니터링 광을 생성하여 검사대상체 또는 대물판에 입사할 수 있고, 2개의 모니터링 광은 검사대상체 또는 대물판에서 반사되어 광 위치 검출단(광 위치 검출 모듈)으로 입사될 수 있다. 특히, 광 위치 검출단은 CCD 등 촬상 소자로 입사된 광의 위치를 출력으로 제공할 수 있다.
검사대상체 또는 대물판에서 반사된 광의 위치는 반사벡터에 의해서 다음의 수학식 21으로 주어진다.
여기에서, 
는 평행한 제1 및 제2 모니터링 빔을 나타내고, 
는 각각 제1, 2 모니터링 광의 투사 방향벡터이고, 
는 회전된 검사대상체 또는 대물면의 법선벡터이다. 광 위치 검출 모듈은 CCD, CMOS 등의 촬상 소자와 같은 평판형으로 광 검출요소의 어레이로 구성될 수 있으며, 이 경우 광 검출단의 광 검출평면에서 검출된 모니터링 광의 위치는 평면과 레이(ray)의 교차 방정식에 따라 다음의 수학식 22로 주어진다.
여기에서, 
는 광 위치 검출 모듈의 검출평면의 법선벡터이고, 
는 모니터링 광이 검사대상체 또는 대물판에 반사된 위치를 가리키는 위치벡터로 
이다. 여기에서, 
는 모니터링 광 생성 모듈에서 생성된 제1 및 제2 모니터링 광의 시작위치를 나타내는 위치벡터, 
는 제1 및 제2 모니터링 광의 투사 방향으로 검사 대상체 또는 대물판까지의 거리이다.
깊이위치 및 회전각 추출부(230)는 홀로그램을 기초로 대물판의 대물면에 관한 깊이위치 및 회전각을 추출할 수 있다. 여기에서, 대물면은 대물판과 평행한 평면에 해당할 수 있다. 즉, 깊이위치 및 회전각 추출부(230)는 홀로그램을 수치적 방법으로 처리하여 대물면의 깊이위치와 회전각을 산출할 수 있다. 이 때, 수치적 방법은 3영역 분석 기반의 추출법, CNN 기반의 추출법, 경사 하강법(gradient descent) 기반의 추출법을 포함할 수 있다.
일 실시예에서, 깊이위치 및 회전각 추출부(230)는 대물면에서 상호 이격되어 존재하고 독립적으로 정의되는 3개의 영역들 각각에서 깊이위치를 추출한 후 대물면에 관한 깊이위치 및 회전각을 추출할 수 있다. 예를 들어, 도 4에서 컨베이어 벨트 상에 있는 대상체가 대물면에 수평으로 위치하지 않는 경우 깊이위치 및 회전각 추출부(230)는 초점 메트릭(focus metric)을 이용하여 깊이위치 및 회전각을 추출할 수 있고 회전된 좌표계 형성부(240)가 이를 기초로 회전된 좌표계를 형성할 수 있다.
여기에서, 3개의 영역들은 도 6에서 작은 사각형으로 표시된 영역에 해당할 수 있고, 각각 제1, 제2 및 제3 셀(cell)영역(610, 620 및 630)으로 정의될 수 있다. 3개의 영역들은 대물면을 포함하는 평면상에서 상호 이격되어 독립적으로 정의될 수 있고, 3개의 서로 다른 위치를 포함하는 특정 영역에 해당할 수 있다. 또한, 3개의 영역들은 깊이 위치에 따라 대물면에 상응하는 평면 상에서 독립적으로 정의될 수 있다.
일 실시예에서, 깊이위치 및 회전각 추출부(230)는 홀로그램을 순차적인 깊이위치에서 각각 복원하는 제1 단계, 복원된 영상들에 대해 3개의 영역들 각각에서 초점 메트릭을 산출하는 제2 단계 및 초점 메트릭이 최대값이 되는 깊이위치를 3개의 영역들 각각의 깊이 위치로서 결정하는 제3단계를 수행할 수 있다. 깊이위치 및 회전각 추출부(230)는 상기 수학식 1 내지 5의 홀로그램을 각각 디지털 뒤 전파(digital back propagation)의 방법으로 순차적인 깊이위치에서 복원할 수 있다. 도 6은 순차적인 깊이위치에서 복원된 홀로그램을 나타내고 있다.
각각의 순차적인 깊이위치에서 홀로그램을 복원하는 방법의 구체적인 예로는 상기 수학식 1 내지 5의 홀로그램을 형성한 다음의 수학식 51의 프레넬 윤대판(Fresnel zone plate)의 켤레 복소수를 각각의 대응하는 순차적인 깊이위치에서 홀로그램에 컨볼루션하여 복원한다. 이는 다음의 수학식 6으로 주어진다. 또한, 각각의 깊이위치에서 수학식 51의 프레넬 윤대판에 대응하는 각 스펙트럼(angular spectrum)을 콘볼루션하여 복원할 수 있고, 레일리-서머에펠드(Rayleigh-Sommerfeld)법으로 복원할 수도 있을 뿐 아니라, 잘 알려진 다양한 디지털 뒷 전파(digital back propagation)를 통해 복원할 수 있다.
여기서, l={1, 2, 3, 4, 5}로 각각 상기 수학식 1 내지 5를 통해 획득된 홀로그램과 상기 수학식 51에 대응하는 프레넬 윤대판을 지칭한다. *는 켤레 복소수를 의미한다.
또한, 깊이위치 및 회전각 추출부(230)는 순차적인 깊이위치에서 복원한 영상의 세 지점에서(도 6의 610, 620 및 630) 깊이위치를 찾아낼 수 있다. 깊이위치를 찾는 구체적인 방법으로는 회전된 홀로그램을 순차적인 깊이위치에서 복원한 후(도 6), 순차적 깊이위치에서 복원된 영상들의 제1, 제2 및 제3 셀영역에서 초점 맺은 깊이위치를 구한다. 초점 맺은 깊이위치를 구하는 다양한 알고리즘은 컴퓨터 비전 분야에서 잘 알려져 있다.
또한, 깊이위치 및 회전각 추출부(230)는 제1, 제2 및 제3 영역의 초점 메트릭이 최대값이 되는 깊이위치를 제1, 제2 및 제3 영역의 깊이위치로 결정할 수 있다. 깊이위치 및 회전각 추출부(230)는 다양한 초점 메트릭을 사용할 수 있고, 예를 들어, 타무라(Tamura) 계수를 초점 메트릭으로 사용할 수 있다. 깊이위치 z에서 복원된 이미지의 제n={1, 2, 3} 영역에서 타무라 계수는 다음의 수학식 7과 같다.
여기에서, 
는 깊이위치 z에서 복원된 이미지의 제n={1, 2, 3} 영역에서 표준편차이고 
는 깊이위치 z에서 복원된 이미지의 제n={1, 2, 3} 영역에서 평균이다. 상기 수학식 7에 따른 타무라 계수가 최대값을 갖는 제1, 제2 및 제3 영역에서의 깊이위치를 각각 z1, z2 및 z3이라 하면, 제1, 제2 및 제3 영역의 중앙점 좌표는 각각 (x1, y1, z1), (x2, y2, z2) 및 (x3, y3, z3)이다. 여기에서, 깊이위치를 추출하기 위해 제1, 제2 및 제3 셀영역을 포함하는 홀로그램을 복원하는 것으로 설명하였으나, 제1 셀영역을 포함하는 일부분, 제2 셀영역을 포함하는 일부분, 제3 셀영역을 포함하는 일부분을 복원해서 상기 방법으로 깊이위치를 찾는 것도 물론 가능하다.
또한, 깊이위치 및 회전각 추출부(230)는 대상체의 3차원 분포에 따라 제1, 제2 및 제3 영역에서의 상대적인 깊이위치가 상이한 경우, 상기의 방법으로 추출된 깊이위치를 상대적인 깊이위치에 관한 정보를 이용해 보정함으로써 대물면에 관한 깊이위치를 추출할 수 있다. 도 5의 그림 (b)를 참조하면, 대상체가 3차원 분포를 갖는 경우 상기에서 설명하는 방법에 의하면 대물면의 깊이위치가 아닌 대상체의 각 해당 영역에서의 깊이위치가 추출될 수 있다. 깊이위치 및 회전각 추출부(230)는 대상체의 3차원 분포를 사전에 파악할 수 있고, 상대적인 깊이 위치에 관한 정보(δd1 및 δd2)를 이용하여 추출된 깊이위치를 보정함으로써 대물판의 대물면에 관한 깊이위치를 추출할 수 있다.
일 실시예에서, 깊이위치 및 회전각 추출부(230)는 순차적인 깊이위치에서 영상을 복원하지 않고 홀로그램에서 직접 깊이위치를 추출할 수 있다. 이 때, 사용하는 방법은 홀로그램의 프린지를 수치적으로 분석하는 방법을 포함할 수 있다.
보다 구체적으로, 깊이위치 및 회전각 추출부(230)는 홀로그램을 복원하지 않고 제1 셀영역을 포함하는 일부분의 홀로그램, 제2 셀영역을 포함하는 일부분의 홀로그램 및 제3 셀영역을 포함하는 일부분의 홀로그램을 프린지(fringe) 분석 방법으로 제1, 제2 및 제3 영역의 깊이위치를 추출할 수 있다. 여기에서, 홀로그램 프린지의 변화량이 초점 맺은 깊이위치에 선형적으로 비례하므로 프린지의 변화량을 얻어내 초점 맺은 깊이위치를 추출한다.
즉, 도 7의 촬영된 홀로그램에서 제1, 제2 및 제3 셀영역을 추출한 후, 셀영역의 홀로그램의 실수 부분과 허수 부분을 추출하여 프리에 변환 후 프리에 변환된 각각의 홀로그램의 실수부분을 추출하여 이를 복소수 더하기 방법으로 더해 실수 유일 홀로그램을 합성한다. 이는 다음의 수학식 8로 주어진다.
여기에서, l={1,2,3,4,5}로 각각 상기 수학식 1 내지 5를 통해 획득된 홀로그램을 지시하고, n={1,2,3}로 제1, 제2 및 제3 셀영역을 지시한다. F{}는 2차원 프리에 변환, Re[], Im[]는 복소수에서 실수부분과 허수부분을 추출하는 실수 연산자(real operator), 허수 연산자(imaginary operator) 그리고 (kx,ky)는 공간주파수 축이다. 실수 유일 홀로그램을 멱 프린지 정합 필터링(power fringe-adjusted filtering)하여 깊이위치에 따라 프린지의 변화량이 증가하는 프레넬 윤대판을 얻는다. 이는 다음의 수학식 9로 주어진다.
여기에서, δ는 멱 프린지 정합 필터에서 폴 문제(pole problem)을 방지하기 위한 미소 값이고 l={1,2,3,4,5}로 각각 상기 수학식 1 내지 5를 통해 획득된 홀로그램을 지시하고 
은 깊이위치 연계 파라미터로 상기 수학식 1 내지 5를 통해 획득된 홀로그램에 따라 다음의 수학식 10과 같다.
상기 수학식 9의 프레넬 윤대판의 위그너(wigner) 분포를 구하면 공간 및 공간 주파수영역에서 직선을 구할 수 있다. 직선의 기울기는 
과 같다. 따라서, 기울기에서 
를 구한 후 상기 수학식 10에 따라 초점 맺은 깊이위치 z를 구한다. 또는, 상기 수학식 9의 프레넬 윤대판의 축을 보간의 방법을 통해 새로운 축, (
) 변환하여 새로운 축에서의 상기 수학식 9를 프리에 변환하면 주파수 축에서 
의 위치에서 피크 신호를 생성한다. 따라서, 신호의 피크 위치에서 
를 추출하고 상기 수학식 10에 따라 초점 맺은 깊이위치 z를 구한다.
일 실시예에서, 깊이위치 및 회전각 추출부(230)는 홀로그램 데이터를 CNN(Convolutional Neural Network) 모델에 입력하여 3개의 영역들 각각에서의 깊이위치를 출력으로 획득한 후 대물면에 관한 깊이위치 및 회전각을 추출할 수 있다. 여기에서, CNN 모델은 학습용 물체를 대상으로 기 알고 있는 다양한 3차원 위치 지점에서 획득한 학습용 물체에 대한 홀로그램 데이터 및 그에 대응된 위치 정보를 각각 학습데이터로 활용하여, 학습부에서 미리 학습시킨 신경망에 해당할 수 있다. 이 때, 위치 정보는 물체의 깊이위치를 포함하는 정보이다. 본 실시예에서는 인공신경망으로 CNN을 예시적으로 설명하였으나, 다양한 종류의 인공신경망이 사용될 수 있음은 물론이다.
일 실시예에서, 깊이위치 및 회전각 추출부(230)는 홀로그램 데이터로서 촬영을 통해 획득한 복소수 홀로그램, 복소수 홀로그램의 실수부에 해당하는 실수 홀로그램, 복소수 홀로그램의 허수부에 해당하는 허수 홀로그램 및 복소수 홀로그램을 이용하여 합성한 탈축(off-axis) 홀로그램 중 어느 하나를 CNN 모델에 입력할 수 있다.
일 실시예에서, 깊이위치 및 회전각 추출부(230)는 홀로그램을 형성하는 특정 영역을 입력으로 하고 회전된 대물면의 회전각을 출력으로 하는 학습을 통해 생성된 CNN 모델을 이용하여 대물면에 관한 깊이위치 및 회전각을 추출할 수 있다. 도 9를 참조하면, 깊이위치 및 회전각 추출부(230)는 홀로그램의 특정 영역(910)을 CNN에 입력으로 하고, 도 8의 회전된 평면(830)의 회전각(θx, θy, θz)을 출력으로 하여 CNN을 학습시킬 수 있다.
일 실시예에서, 깊이위치 및 회전각 추출부(230)는 홀로그램을 공간주파수 영역으로 프리에 변환한 후 해당 공간주파수 영역에서 특정 영역에 대응되는 영역을 입력으로서 사용할 수 있다. 즉, 깊이위치 및 회전각 추출부(230)는 홀로그램을 공간주파수 영역으로 프리에 변환하여, 공간주파수 영역에서 일부영역을 추출하여 CNN의 입력으로 하고, 도 8의 회전된 평면(830)의 회전각을 출력으로 하여 CNN을 학습시킬 수 있다.
일 실시예에서, 깊이위치 및 회전각 추출부(230)는 홀로그램을 형성하는 특정 영역에 관한 복소수 홀로그램의 실수부, 허수부, 진폭부 및 위상부 중 적어도 하나를 입력으로서 사용할 수 있다. 즉, 깊이위치 및 회전각 추출부(230)는 공간주파수 영역에서의 홀로그램이 복소수인 점을 기초로 공간주파수 영역에서 홀로그램의 일부영역의 실수부, 허수부, 진폭부 또는 위상부를 각각 또는 조합하여 CNN의 입력으로 하고, 도 8의 회전된 평면(830)의 회전각을 출력으로 하여 기 공지된 CNN 학습방법으로 CNN을 학습시킬 수 있다.
일 실시예에서, 깊이위치 및 회전각 추출부(230)는 홀로그램의 부분 또는 전체 영역을 기초로 경사 하강법(gradient descent)을 이용하여 대물면에 관한 깊이위치 및 회전각을 추출할 수 있다. 즉, 깊이위치 및 회전각 추출부(230)는 홀로그램의 부분 또는 전체 영역에서 초점 메트릭을 최대화하는 깊이위치와 회전각을 경사 하강법으로 검색할 수 있다.
일 실시예에서, 깊이위치 및 회전각 추출부(230)는 대물판이 회전 가능한 회전 영역과 위치 가능한 깊이 영역에 대해서 홀로그램의 부분 또는 전체 영역을 도파시킨 후 도파된 홀로그램의 초점 메트릭이 최대값을 가지는 회전각과 깊이위치를 검색할 수 있다.
도 8을 참고하면, 기준 좌표계의 x-축, y-축, z-축에 대해서 각각 θx, θy, θz만큼 회전된 좌표계로 변환하면, 회전된 좌표계에서 위치는 
이다. 여기에서, 
는 다음의 수학식 11에서 주어지는 변환 행렬이고 
는 회전된 좌표계의 위치벡터이다.
여기에서,
로 주어지는 회전행렬이고 θx,θy,θz는 도 8에서와 같이 각각 x-축, y-축, z-축을 중심으로 회전한 회전각이다.
기준 좌표계에서 도 9의 홀로그램의 특정 영역(910)을 
라 하면, 여기에서 l={1,2,3,4,5}로 상기 수학식 1 내지 5의 홀로그램을 나타낸다. 기준 좌표계에서 특정 영역의 홀로그램을 회전된 좌표계로 각 스랙트럼 회전 변환법(angular spectrum rotational transformation)으로 변환하여 회전된 좌표계의 깊이방향으로 도파시킨 홀로그램은 다음의 수학식 12로 주어진다.
여기에서, 
는 회전된 공간 주파수축에서 회전된 공간축으로 2차원 프리에 역변환, 
로 
의 2차원 프리에 변환이고, (u,v)는 (x,y)축 방향의 공간 주파수축이고, 
은 상기 수학식 11에서 변환 행렬(
)의 원소이고, (utilt,vtilt) 각각 (xtilt,ytilt)축 방향의 주파수축이고 
으로 ztilt방향의 공간 주파수축이고, 
는 좌표계 변환에 따른 미소적분면적소의 비례량을 나타내는 야코비안(Jacobian) 즉, 
이다.
상기 수학식 12에 따른 회전된 축에서 깊이방향으로 ztilt에서 복원된 영상을 구할 때, 
를 새로운 변수인 (utilt,vtilt)축에 대해 보관을 이용해 등 간격으로 재 정렬(resampling)한 후 고속 푸리에 변환(Fast Fourier Transform)을 하는 방법으로 회전된 좌표계에서 홀로그램을 구하거나, 비 등 간격 데이터(non-equispaced data)에 대한 비 등간격 이산 프리에 변환(non-uniform discrete Fourier Transform) 또는 비 등간격 고속 프리에 변환(non-uniform Fast Fourier Transform) 등 비등간격 프리에 변환을 실시하여 구할 수 있다.
예시적으로, 홀로그램을 각 스팩트럼 회전 변환법(angular spectrum rotational transformation)으로 변환하여 도파시켰으나, 다양한 변환법으로 회전된 좌표계로 홀로그램을 변환하여 도파 시킬 수 있음은 물론이다.
도 9의 홀로그램의 특정 영역(910)이 x-축, y-축으로 θx, θy 회전된 좌표계에서 도파된 패턴은 상기 수학식 12로 구할 수 있다. 따라서, 대물판이 회전 가능한 회전 영역 즉, 
과 가능한 깊이위치 즉 
의 영역에 대해서 상기 수학식 12로 특정 영역(910)의 홀로그램을 도파시켜, 도파된 특정 영역(910)의 홀로그램의 초점 메트릭이 최대값을 갖게 하는 회전각과 깊이위치를 찾는다. 여기에서, 
는 대물판이 회전 가능한 회전각 영역의 최소값과 최대값이고 
는 회전된 좌표계에서 대물판이 위치가능한 깊이위치의 최소값과 최대값이다. 초점 메트릭의 최대값을 갖도록 하는 회전된 좌표계의 회전각과 깊이위치를 찾는 검색 방법으로는 기 공지된 다양한 검색 방법이 있으나 본 실시예에서는 경사 하강법(gradient descent)으로 찾는다. 여기에서, 경사 하강의 대상함수로 초점 메트릭 함수를 사용할 수 있다. 대표적인 초점 메트릭인 타무라 계수를 예로 들어 설명하면, 경사 하강법을 이용한 회전각과 깊이위치를 찾아내기 위한 대상함수는 다음의 수학식 121과 같다.
여기에서, 
으로 회전된 좌표계의 회전각과 회전된 좌표계 깊이 방향으로 도파된 길이이고, 
는 θx,θy,θz의 회전각을 갖는 회전된 좌표계에서 상기 수학식 12에 따라 회전된 좌표계의 깊이방향으로 ztilt만큼 도파된 영상, 
의 평균이고, 
는 표준편차이다. 대상 함수가 최소값이 되는 정의역 중 대응 지점에서 초점 맺은 영상이 복원되므로, 회전된 좌표계의 회전각과 깊이위치는 대상함수의 정의역 중 대상함수의 최소값에 대응하는 지점, 즉 
인 
를 경사 하강법(gradient descent)으로 구한다. 첫째, 초기값 
를 추정하고 다음으로 수학식 122의 반복식(iteration)에 따라, 수렴하는 
를 찾는다.
여기서, 
는 그래디언트(gradient) 연산자이고 αk는 반복에 따른 단계크기(step size)로 코시(cauchy)법, 바르질리와 보웨인(Barzilai and Borwein)법, 다이와 위안(Dai and Yuan)법을 포함한 다양한 방법에 의해 결정될 수 있다. 예시적으로, 바르질리와 보웨인법에 따른 단계크기는 
이다.
일 실시예에서, 깊이위치 및 회전각 추출부(230)는 대상체 또는 대물판의 표면에서 반사된 모니터링 광의 위치를 벡터로서 산출할 수 있다.
상기 수학식 21과 모니터링 광이 검사대상체 또는 대물판에 반사된 위치를 가리키는 위치벡터를 상기 수학식 22에 대입해 정리하면 다음의 수학식 23이 된다.
여기에서, 모니터링 광의 시작 위치벡터(
), 제1, 2 모니터링 광의 투사 방향벡터(
), 검출평면 범선벡터(
)는 모니터링 광 생성 모듈과 광 위치 검출 모듈의 기하학적 구조에 따라 결정되어 알려진 파라미터이고 광 검출 모듈의 광 검출면에서 검출된 모니터링 광의 위치(
)는 검사대상체 또는 대물판의 회전에 의해 검출된 위치이다. 따라서, 기준 좌표계에서 검출면에서 검출된 모니터링 광의 위치와 회전된 검사대상체 또는 대물면의 법선 벡터(
)를 나타내면 각각 
, 
이다. 상기 수학식 23을 변수인 법선벡터와 제1 및 제2 모니터링 광의 투사 방향으로 검사대상체 또는 대물판까지의 거리와 모니터링 광 생성 모듈과 광 위치 검출 모듈의 기하학적인 구조에 따라 결정되어 알려진 파라미터로 구성된 행렬식으로 표현하면 다음의 수학식 24로 주어진다.
상기 수학식 24의 연립방정식은 선형 대수학에 잘 알려진 다양한 방법으로 풀어 변수, 
를 구한다. 가장 단순한 방법 중 하나는 선형방정식을 가우시안 요르단 소거법(Gaussian Jordan elimination) 방법으로 기약행사다리꼴행렬(Reduced Row Echelon Form)로 변환해 선형방정식을 풀어 변수를 구할 수 있다. 또한, 상기 수학식 24의 연립방정식의 6개 행 중 임의의 5개를 선택하여 선형 연립방정식 시스템을 형성해 양변에 역행렬을 곱하는 방식으로 연립방정식을 풀 수 있음은 물론이다. 뿐만 아니라 측정상의 오차가 있는 경우를 고려하면, 변환 행렬 
은 행의 개수가 열의 개수보다 많은 과 결정된 시스템(overdetermined system)이다. 이에 대해서는, 회귀 해석(regression analysis) 등에 기반한 다양한 종류의 어림자(estimator)를 이용해 해를 추정할 수 있다. 아주 간단하게는 일반 최소 제곱(ordinary least square) 어림자로 다음의 수학식 241로 구할 수 있다.
여기서, 
는 행렬의 전치(transpose), 
는 행렬의 역(inverse)를 나타낸다. 어림자로 일반 최소 제곱 어림자를 예시적으로 제시하였으나, 가중 최소 제곱(weighted least square), 일반 최소 제곱(generalized least square), 반복 재보정 최소 제곱(Iteratively reweighted least squares), 수단 변수 회귀(instrumental variables regression), 전 최소 곱(total least square) 등 기 공지된 다양한 어림자 방법으로 해를 얻을 수 있다.
일 실시예에서, 모니터링 광 생성 모듈이 1개의 광을 모니터링 광으로서 생성할 수 있고, 광 위치 검출 모듈은 CCD 및 CMOS를 포함하는 촬상 소자의 어레이로 구성될 수 있다. 도 10의 모니터링 광 생성부(모니터링 광 생성 모듈)는 2개의 모니터링 광을 생성하여 검사대상체 또는 대물판에 입사하는 것으로 도시되어 있으나, 도 10의 모니터링 생성부에서 1개의 모니터링광을 생성하면(미도시), 1개의 모니터링 광(단일 모니터링 광이라 한다)은 검사대상체 또는 대물판에서 반사되어 광 위치 검출단(광 위치 검출 모듈)으로 입사될 수 있다. 특히, 광 위치 검출단은 CCD 등 촬상 소자로 입사된 광의 위치를 출력으로 제공할 수 있다. 상기 1개의 모니터링 광 생성 모듈에서 1 개의 빔을 생성하고 광위치 검출단에서 1개의 빔의 위치를 검출하면, 상기 수학식 21과 단일 모니터링 광이 검사대상체 또는 대물판에 반사된 위치를 가리키는 위치벡터를 상기 수학식 22에 대입해 정리하면 다음의 수학식 242가 된다.
여기서, 
은 단일 모니터링 광의 투사 방향벡터, 
은 단일 모니터링 광의 투사 방향으로 검사 대상체 또는 대물판까지의 거리이다.
상기 수학식 242를 변수인 법선벡터와 단일 모니터링 광의 투사 방향으로 검사대상체 또는 대물판까지의 거리와 모니터링 광 생성 모듈과 광 위치 검출 모듈의 기하학적인 구조에 따라 결정되어 알려진 파라미터로 구성된 행렬식으로 표현하면 다음의 수학식 243로 주어진다.
변환 행렬 
은 행의 개수가 열의 개수보다 적은 과소 결정된 시스템(underdetermined system)이다. 이에 대해서는, 회귀 해석(regression analysis) 등에 기반한 다양한 종류의 어림자(estimator)를 이용해 해를 추정할 수 있다.
회전된 좌표계 형성부(240)는 깊이위치 및 회전각을 이용하여 대물면에 대응되는 회전된 좌표계를 형성할 수 있다.
일 실시예에서, 회전된 좌표계 형성부(240)는 다음의 제1 방법을 통해 회전된 좌표계를 형성할 수 있다. 제1, 제2 및 제3 셀영역의 깊이위치(x1,y1,z1), (x2,y2,z2), (x3,y3,z3)를 지나는 회전된 평면의 평면 방정식은 다음의 수학식 13으로 주어진다.
여기에서, 
는 회전되지 않은 기준 좌표계에서 위치벡터이고, 
는 내적 연산자이고 
는 제1, 제2 및 제3 셀영역을 지나는 평면의 법선벡터로 다음의 수학식 14로 주어진다.
여기에서, A-1는 제1, 제2 및 제3 셀영역의 위치를 행으로 구성된 
행렬의 역행렬이다.
회전된 평면에 수직인 축을 회전 평면의 깊이방향으로 하는 직각 좌표계를 형성하면, 깊이 방향의 단위 방향벡터는 회전된 평면의 정규화된 법선벡터로 다음의 수학식 15로 주어진다.
회전된 평면에 평행한 방향의 단위 방향벡터는 상기 수학식 13의 평면 방정식을 만족하는 2지점을 시작점과 끝점으로 갖는 단위백터로 다음의 수학식 16으로 주어진다.
여기에서, 
는 회전된 평면상의 임의의 두 위치로 상기 수학식 13을 만족시키는 두 개의 위치벡터이다. 회전된 평면상의 나머지 단위 위치벡터는 깊이 방향의 단위 위치벡터와 평면에 평행한 방향의 단위 방향벡터 곱(vector product)으로 다음의 수학식 17로 주어진다.
회전되지 않은 기준 좌표계의 원점에서 회전된 단위 방향벡터를 갖는 회전된 좌표계를 정의하면, 도 8과 같다. 도 8에서, 
는 회전된 평면 좌표계의 단위 방향벡터, 
는 회전되지 않은 기준 좌표계의 단위 방향벡터이다. 상기 수학식 15 내지 17에 따라 기준 좌표계의 위치는 회전된 좌표계에서 다음의 수학식 18로 주어진다.
여기에서, 
로 주어지는 변환 행렬(transform matrix)이다.
제1, 제2 및 제3 셀영역의 중앙의 위치가 (x1,y1,z1), (x2,y2,z2), (x3,y3,z3)이고, 기준 좌표계와 회전된 좌표계는 원점을 공유하므로 기준 좌표계의 수평 원점((x,y)=(0,0))에서 회전된 대상체 평면의 깊이위치는 3차원 공간에서 두 점을 지나는 직선의 방정식를 이용해 다음의 수학식 181로 주어진다.
여기서, (xn,yn,zn);n={1,2,3}, (xm,ym,zm);m={1,2,3}은 제1, 제2 및 제3 셀영역의 중앙의 위치이다.
일 실시예에서, 회전된 좌표계 형성부(240)는 다음의 제2 방법을 통해 회전된 좌표계를 형성할 수 있다. 회전된 좌표계 형성부(240)는 학습된 CNN 모델에 대응하는 입력을 인가하고 회전된 평면의 회전각을 출력으로 얻어 상기 수학식 11의 변환행렬을 구할 수 있다. 여기에서, CNN 학습의 효율성의 목적 달성을 위해 회전각을 CNN의 출력으로 하여 CNN을 학습시켰으나, 변환 행렬의 각 원소를 출력으로 하여 CNN을 학습시켜 변환 행렬을 획득할 수 있음은 물론이다. 또한, CNN을 이용해 회전된 평면의 회전각을 추출하는 경우 대물면의 임의의 위치에서 깊이위치를 찾아낼 수 있음은 물론이다.
다른 실시예에서, 회전된 좌표계 형성부(240)는 CNN을 도 8의 회전된 평면(830)의 회전각(θx,θy,θz)과 원점에서의 깊이위치를 출력으로 하여 CNN을 학습시키고, CNN의 출력인 회전각과 원점에서의 깊이위치를 학습된 CNN 모델의 출력으로 얻어내 회전된 평면(830)의 상기 수학식 11에 따른 변환 행렬과 깊이위치를 구할 수 있다.
일 실시예에서, 회전된 좌표계 형성부(240)는 다음의 제3 방법을 통해 회전된 좌표계를 형성할 수 있다. 상기 수학식 24의 연립방정식을 풀어 얻은 
를 이용해 회전된 검사대상체 또는 대물판이 형성하는 회전된 평면의 평면방정식은 다음의 수학식 25로 주어진다.
여기에서, 
는 회전된 평면의 법선벡터로 
이고, 
는 모니터링 광이 검사대상체 또는 대물판에 반사된 위치를 가리키는 위치벡터로 
이다.
회전된 평면에 평행한 방향의 단위 방향벡터는 상기 수학식 25의 평면방정식을 만족하는 2지점을 시작점과 끝점으로 갖는 단위백터로 다음의 수학식 26으로 주어진다.
여기서, 
는 회전된 평면 상의 임의의 두 위치로 상기 수학식 25를 만족시키는 두개의 위치벡터이다. 회전된 평면 상의 나머지 단위 위치벡터는 깊이 방향의 단위 위치벡터와 평면에 평행한 방향의 단위 방향벡터 곱(vector product)으로 다음의 수학식 27로 주어진다.
회전되지 않은 기준 좌표계의 원점에서 회전된 단위 방향 벡터를 갖는 회전된 좌표계를 정의하면, 도 7과 같다. 도 7에서, 
는 회전된 평면 좌표계의 단위 방향벡터, 
는 회전되지 않은 기준 좌표계의 단위 방향벡터이다. 상기 수학식 25 내지 27에 따라 기준 좌표계의 위치는 회전된 좌표계에서 상기 수학식 28로 주어진다.
여기에서, 
로 주어지는 변환 행렬(transform matrix)이다.
홀로그램 복원부(250)는 홀로그램을 회전된 좌표계의 깊이방향으로 형성되는 평면에서 복원함으로써 대상체의 영상을 획득할 수 있다.
일 실시예에서, 홀로그램 복원부(250)는 좌표계((x,y,z))에서 획득한 홀로그램, 
; l={1,2,3,4,5}을 각 스팩트럼 회전 변환법(angular spectrum rotational transformation)으로 변환하여, 회전된 좌표계((
))의 깊이 방향으로 도파시켜 영상을 복원한다. 복원된 영상은 다음의 수학식 19으로 주어진다.
여기에서, 
는 회전된 공간 주파수축에서 회전된 수축으로 2차원 프리에 역변환, 
로 
의 2차원 프리에 변환이고, (u,v)는 각각 (x,y)축 방향의 공간 주파수축이고, 
은 상기 수학식 13에서 변환 행렬(T)의 원소이고, 
는 각각 
축 방향의 주파수축이고 
으로 
방향의 공간 주파수축이고, 
로 좌표계 변환에 따른 미소적분면적소의 비례량을 나타내는 야코비안(Jacobian) 즉, 
이다.
상기 수학식 19에 따른 회전된 축에서 깊이방향으로 
에서 복원된 영상을 구할 때, 
를 새로운 변수인 
축에 대해 보관을 이용해 등 간격으로 재정렬(resampling)한 후 고속 푸리에 변환(Fast Fourier Transform)을 하는 방법으로 회전된 좌표계에서 홀로그램을 구하거나, 비 등 간격 데이터(non-equispaced data)에 대한 비 등간격 이산 프리에 변환(non-uniform discrete Fourier Transform) 또는 비 등간격 고속 프리에 변환(non-uniform Fast Fourier Transform) 등 비등간격 프리에 변환을 실시하여 구할 수 있다.
상기 실시예에서, 기준 좌표계의 홀로그램을 회전된 좌표계로 변환하여 회전된 좌표계에서 깊이 방향으로 형성되는 평면에서 각각 복원하면 상기 대상체의 3차원 영상을 획득할 수 있다.
예시적으로 홀로그램을 각 스팩트럼 회전 변환법(angular spectrum rotational transformation)으로 변환하여 도파시켰으나, 다양한 변환법으로 회전된 좌표계로 홀로그램을 변환하여 도파 시킬 수 있음은 물론이다.
일 실시예에서, 홀로그램 복원부(250)는 홀로그램을 기준 좌표계의 깊이위치에서 복원한 후 회전된 좌표계의 깊이방향으로 형성되는 평면으로 도파시킴으로써 대상체의 영상을 획득할 수 있다.
즉, 홀로그램 복원부(250)는 기준 좌표계((x,y,z))에서 획득한 홀로그램, 
을 상기 수학식 6에 따라, 기준 좌표계의 깊이위치에서 복원한 후, 회전된 좌표계의 깊이 방향에 수직인 평면으로 도파된 영상을 구하는 방식으로 회전에 무관하게 초점 맺은 영상을 구할 수 있다. 여기에서, 도파는 레일리-서머에펠드(Rayleigh-Sommerfeld) 방법을 포함한 다양한 디지털 도파 방법을 이용해 구할 수 있다. 다음의 수학식 191은 예시적으로 레일리-서머에펠드 방법을 이용해, 기준 좌표계의 특정 깊이위치에서 복원된 영상을 특정 깊이위치에 대응하는 회전된 좌표계의 평면으로 도파되어 회전된 평면에서 복원된 영상을 보여준다.
여기에서, λ는 홀로그램을 레코딩할 때 사용된 레이저의 파장, Orec(x,y,z)는 상기 수학식 6에 따라 복원된 영상이다.
상기 실시예에서, 기준 좌표계의 홀로그램을 회전된 좌표계로 변환하여 회전된 좌표계에서 깊이 방향으로 형성되는 평면에서 각각 복원하면 상기 대상체의 3차원 영상을 획득할 수 있다.
일 실시예에서, 홀로그램 복원부(250)는 홀로그램을 기준 좌표계의 깊이방향으로 형성되는 순차적인 평면에서 각각 복원한 후 회전된 좌표계로 보간(interpolation)할 수 있다.
일 실시예에서, 홀로그램 복원부(250)는 순차적인 평면에서 복원된 영상들에 대해 각 순차적인 평면의 깊이위치를 축으로 하여 3차원 행렬을 생성하고 3차원 행렬을 회전된 좌표계의 좌표축으로 보간함으로써 대상체의 3차원 영상을 획득할 수 있다.
즉, 홀로그램 복원부(250)는 기준 좌표계((x,y,z))에서 획득한 홀로그램, 
을 기준 좌표계에서 상기 수학식 6에 따라, 순차적 깊이위치에 대해서 복원할 수 있다. 홀로그램 복원부(250)는 순차적인 깊이위치에 대해서 복원된 영상을 순차적인 깊이위치를 축으로 하여 3차원 행렬을 형성한 후 회전된 좌표계의 좌표축으로 순차적인 깊이위치에서 복원된 영상을 보간(interpolation)할 수 있고, 이는 다음의 수학식 20로 주어진다.
여기서, 
은 기준 좌표계에서 회전된 좌표계로 변환하는 변환 행렬, 
은 기준 좌표계의 위치벡터, 
는 회전된 좌표계의 위치벡터이다.
제어부(260)는 자동광학검사 장치(130)의 전체적인 동작을 제어하고, 홀로그램 촬영부(210), 광 모니터링 처리부(220), 깊이위치 및 회전각 추출부(230), 회전된 좌표계 형성부(240) 및 홀로그램 복원부(250) 간의 제어 흐름 또는 데이터 흐름을 관리할 수 있다.
도 3은 도 1에 있는 자동광학검사 장치에서 수행되는 스캐닝 홀로그램 기반 자동광학검사 과정을 설명하는 순서도이다.
도 3을 참조하면, 자동광학검사 장치(130)는 홀로그램 촬영부(210)를 통해 스캐닝 홀로그램 카메라(110)를 이용하여 대물판 위에 존재하는 대상체의 홀로그램을 촬영할 수 있다(단계 S310). 자동광학검사 장치(130)는 광 모니터링 처리부(220)를 통해 대물판 및 대상체 중 어느 하나의 표면을 향해 모니터링 광을 조사하고 해당 표면에 의해 반사되는 모니터링 광을 검출할 수 있다(단계 S330). 자동광학검사 장치(130)는 깊이위치 및 회전각 추출부(230)를 통해 검출된 모니터링 광을 기초로 대물판의 대물면에 관한 깊이위치 및 회전각을 추출할 수 있다(단계 S350).
또한, 자동광학검사 장치(130)는 회전된 좌표계 형성부(240)를 통해 깊이위치 및 회전각 추출부(230)에 의해 추출된 깊이위치 및 회전각을 이용하여 대물면에 대응되는 회전된 좌표계를 형성할 수 있다(단계 S370). 자동광학검사 장치(130)는 홀로그램 복원부(250)를 통해 홀로그램을 회전된 좌표계의 깊이방향으로 형성되는 평면에서 복원함으로써 대상체의 영상을 획득할 수 있다(단계 S390).
본 발명의 일 실시예에 따른 자동광학검사 장치(130)는 깊이위치 및 회전각 추출부(230)를 통해 홀로그램을 수치적 방법으로 처리하여 대물면의 깊이위치와 회전각을 산출할 수 있다. 이 때, 수치적 방법은 3영역 분석 기반의 추출법(방법 A), CNN 기반의 추출법(방법 B), 경사 하강법(gradient descent) 기반의 추출법(방법 C), 광 모니터링 기반 추출법(방법 D)을 포함할 수 있고, 해당 방법들을 부분적으로 조합하여 깊이 위치와 회전각을 추출할 수도 있다.
예를 들어, 깊이위치 및 회전각 추출부(230)는 방법 D에서 단일 모니터링 광의 경우, 상기 수학식 243의 과소 결정된 시스템(underdetermined system)으로, 회전각을 추정할 수뿐이 없으나 방법 B 또는 C의 방법으로 깊이위치만을 추출하거나 방법 A에서 1 또는 1,2 영역만을 분석하여 깊이위치를 얻어내는 경우, 상기 깊이위치와 단일 모니터링 광의 시작위치(
)를 이용하여 단일 모니터링 광의 투사 방향으로 검사 대상체 또는 대물판까지의 거리, 
를 기하학적 구조에 따라 계산하는 방식으로 결정적으로 회전각을 추출할 수 있다.
그 외에도, 깊이위치 및 회전각 추출부(230)는 방법 A 내지 C에서 각각 부분적인 출력으로 회전각 또는 깊이위치를 얻고 방법 A 내지 C의 방법으로 얻은 회전각 또는 깊이위치 정보를 조합해 회전각과 깊이위치 정보를 추출해 회전된 좌표계를 형성할 수도 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100: 스캐닝 홀로그램 기반 자동광학검사 시스템
110: 스캐닝 홀로그램 카메라 130: 자동광학검사 장치
150: 데이터베이스
210: 홀로그램 촬영부 220: 광 모니터링 처리부
230: 깊이위치 및 회전각 추출부
240: 회전된 좌표계 형성부 250: 홀로그램 복원부
260: 제어부
610: 제1 영역 620: 제2 영역
630: 제3 영역
810: 기준 평면 830: 회전된 평면
910: 특정 영역
110: 스캐닝 홀로그램 카메라 130: 자동광학검사 장치
150: 데이터베이스
210: 홀로그램 촬영부 220: 광 모니터링 처리부
230: 깊이위치 및 회전각 추출부
240: 회전된 좌표계 형성부 250: 홀로그램 복원부
260: 제어부
610: 제1 영역 620: 제2 영역
630: 제3 영역
810: 기준 평면 830: 회전된 평면
910: 특정 영역
Claims (12)
- 스캐닝 홀로그램 카메라를 이용하여 대물판 위에 존재하는 대상체의 홀로그램을 촬영하는 홀로그램 촬영부;
상기 대물판 및 상기 대상체 중 어느 하나의 표면을 향해 모니터링 광을 조사하고 해당 표면에 의해 반사되는 모니터링 광을 검출하는 광 모니터링 처리부;
검출된 상기 모니터링 광을 기초로 상기 대물판의 대물면에 관한 깊이위치 및 회전각을 추출하는 깊이위치 및 회전각 추출부;
상기 깊이위치 및 회전각을 이용하여 상기 대물면에 대응되는 회전된 좌표계를 형성하는 회전된 좌표계 형성부; 및
상기 홀로그램을 상기 회전된 좌표계의 깊이방향으로 형성되는 평면에서 복원함으로써 상기 대상체의 영상을 획득하는 홀로그램 복원부를 포함하는 스캐닝 홀로그램 기반 자동광학검사 장치.
- 제1항에 있어서,
상기 스캐닝 홀로그램 카메라는 전자기파를 발생시키는 광원, 상기 전자기파를 분할하는 분할수단, 분할된 상기 전자기파에 의해 형성되는 간섭 빔을 이용하여 상기 대상체를 스캔하는 스캔수단 및 상기 대상체로부터 반사, 형광 또는 투과된 빔을 검출하는 광 검출수단을 포함하고,
상기 홀로그램 촬영부는 상기 촬영의 결과로서 복소수 홀로그램을 생성하는 것을 특징으로 하는 스캐닝 홀로그램 기반 자동광학검사 장치.
- 제1항에 있어서, 상기 광 모니터링 처리부는
상기 대물판의 상단에 배치되고 상기 대상체에 조사되는 모니터링 광을 생성하는 모니터링 광 생성 모듈; 및
상기 대상체의 표면에 의해 반사되는 상기 모니터링 광을 검출하는 광 위치 검출 모듈을 포함하는 것을 특징으로 하는 스캐닝 홀로그램 기반 자동광학검사 장치.
- 제3항에 있어서,
상기 광 모니터링 처리부는 상기 모니터링 광의 진행 경로 상에 대물렌즈, 빔스플리터를 포함하는 광학 소자를 더 포함하고,
상기 모니터링 광 생성 모듈 및 상기 광 위치 검출 모듈은 상호 간의 동작 및 상기 광학 소자의 배치에 따라 각각의 위치가 결정되는 것을 특징으로 하는 스캐닝 홀로그램 기반 자동광학검사 장치.
- 제3항에 있어서,
상기 모니터링 광 생성 모듈은 적어도 2개의 광을 상기 모니터링 광으로서 생성하고,
상기 광 위치 검출 모듈은 CCD 및 CMOS를 포함하는 촬상 소자의 어레이로 구성되는 것을 특징으로 하는 스캐닝 홀로그램 기반 자동광학검사 장치.
- 제1항에 있어서, 상기 깊이위치 및 회전각 추출부는
상기 대상체 또는 상기 대물판의 표면에서 반사된 모니터링 광의 위치를 벡터로서 산출하는 것을 특징으로 하는 스캐닝 홀로그램 기반 자동광학검사 장치.
- 제1항에 있어서, 상기 회전된 좌표계 형성부는
상기 깊이위치 및 회전각 추출부에 의해 추출된 깊이위치와 회전각을 이용하여 생성되고 기준 좌표계를 회전된 좌표계로 변환하는 변환 행렬을 생성하는 것을 특징으로 하는 스캐닝 홀로그램 기반 자동광학검사 장치.
- 제1항에 있어서, 상기 홀로그램 복원부는
상기 홀로그램을 기준 좌표계의 깊이위치에서 복원한 후 상기 회전된 좌표계의 깊이방향으로 형성되는 평면으로 도파시킴으로써 상기 대상체의 영상을 획득하는 것을 특징으로 하는 스캐닝 홀로그램 기반 자동광학검사 장치.
- 제8항에 있어서, 상기 홀로그램 복원부는
상기 홀로그램을 기준 좌표계의 깊이위치에서 복원한 후 상기 회전된 좌표계의 깊이방향으로 형성되는 순차적인 평면으로 각각 도파시킴으로써 상기 대상체의 3차원 영상을 획득하는 것을 특징으로 하는 스캐닝 홀로그램 기반 자동광학검사 장치.
- 제1항에 있어서, 상기 홀로그램 복원부는
상기 홀로그램을 기준 좌표계의 깊이방향으로 형성되는 순차적 평면에서 각각 복원한 후 상기 회전된 좌표계로 보간(interpolation)하는 것을 특징으로 하는 스캐닝 홀로그램 기반 자동광학검사 장치.
- 제10항에 있어서, 상기 홀로그램 복원부는
상기 순차적 평면에서 복원된 영상들에 대해 각 순차적 평면의 깊이위치를 축으로 하여 3차원 행렬을 생성하고 상기 3차원 행렬을 상기 회전된 좌표계의 좌표축으로 보간함으로써 상기 대상체의 영상을 획득하는 것을 특징으로 하는 스캐닝 홀로그램 기반 자동광학검사 장치.
- 자동광학검사 장치에서 수행되는 방법에 있어서,
스캐닝 홀로그램 카메라를 이용하여 대물판 위에 존재하는 대상체의 홀로그램을 촬영하는 단계;
상기 대물판 및 상기 대상체 중 어느 하나의 표면을 향해 모니터링 광을 조사하고 해당 표면에 의해 반사되는 모니터링 광을 검출하는 단계;
검출된 상기 모니터링 광을 기초로 상기 대물판의 대물면에 관한 깊이위치 및 회전각을 추출하는 단계;
상기 깊이위치 및 회전각을 이용하여 상기 대물면에 대응되는 회전된 좌표계를 형성하는 단계; 및
상기 홀로그램을 상기 회전된 좌표계의 깊이방향으로 형성되는 평면에서 복원함으로써 상기 대상체의 영상을 획득하는 단계를 포함하는 스캐닝 홀로그램 기반 자동광학검사 방법.
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190066643A KR102129071B1 (ko) | 2019-06-05 | 2019-06-05 | 스캐닝 홀로그램 기반 자동광학검사 장치 및 방법 |
| US17/608,288 US11809134B2 (en) | 2019-06-05 | 2020-06-03 | Method and apparatus of automatic optical inspection using scanning holography |
| PCT/KR2020/007189 WO2020246788A1 (ko) | 2019-06-05 | 2020-06-03 | 스캐닝 홀로그램 기반 자동광학검사 장치 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190066643A KR102129071B1 (ko) | 2019-06-05 | 2019-06-05 | 스캐닝 홀로그램 기반 자동광학검사 장치 및 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102129071B1 true KR102129071B1 (ko) | 2020-07-01 |
Family
ID=71601718
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190066643A KR102129071B1 (ko) | 2019-06-05 | 2019-06-05 | 스캐닝 홀로그램 기반 자동광학검사 장치 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102129071B1 (ko) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20230060149A (ko) * | 2021-10-27 | 2023-05-04 | 주식회사 큐빅셀 | 홀로그램 기반 대상체 3차원 계측 장치 및 방법 |
| WO2024106672A1 (ko) * | 2022-11-14 | 2024-05-23 | 주식회사 큐빅셀 | 스캐닝 홀로그래피 기반의 기판 정렬 장치 및 방법 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20130081127A (ko) * | 2012-01-06 | 2013-07-16 | 세종대학교산학협력단 | 홀로그램 레코딩 장치 |
| KR20140021765A (ko) * | 2012-08-10 | 2014-02-20 | 광운대학교 산학협력단 | 컴퓨터 홀로그램 생성을 위한 가상시점 깊이영상 합성 방법 |
| KR20140121107A (ko) * | 2013-04-05 | 2014-10-15 | 한국전자통신연구원 | 다시점 기반의 홀로그램 생성 방법 및 장치 |
| KR101529820B1 (ko) * | 2014-04-01 | 2015-06-29 | 한국방송공사 | 월드 좌표계 내의 피사체의 위치를 결정하는 방법 및 장치 |
-
2019
- 2019-06-05 KR KR1020190066643A patent/KR102129071B1/ko active IP Right Grant
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20130081127A (ko) * | 2012-01-06 | 2013-07-16 | 세종대학교산학협력단 | 홀로그램 레코딩 장치 |
| KR101304695B1 (ko) | 2012-01-06 | 2013-09-06 | 세종대학교산학협력단 | 홀로그램 레코딩 장치 |
| KR20140021765A (ko) * | 2012-08-10 | 2014-02-20 | 광운대학교 산학협력단 | 컴퓨터 홀로그램 생성을 위한 가상시점 깊이영상 합성 방법 |
| KR20140121107A (ko) * | 2013-04-05 | 2014-10-15 | 한국전자통신연구원 | 다시점 기반의 홀로그램 생성 방법 및 장치 |
| KR101529820B1 (ko) * | 2014-04-01 | 2015-06-29 | 한국방송공사 | 월드 좌표계 내의 피사체의 위치를 결정하는 방법 및 장치 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20230060149A (ko) * | 2021-10-27 | 2023-05-04 | 주식회사 큐빅셀 | 홀로그램 기반 대상체 3차원 계측 장치 및 방법 |
| KR102578312B1 (ko) * | 2021-10-27 | 2023-09-15 | (주) 큐빅셀 | 홀로그램 기반 대상체 3차원 계측 장치 및 방법 |
| WO2024106672A1 (ko) * | 2022-11-14 | 2024-05-23 | 주식회사 큐빅셀 | 스캐닝 홀로그래피 기반의 기판 정렬 장치 및 방법 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6769971B2 (ja) | 焦点体積方法を用いたウェーハ検査 | |
| AU2009323838A1 (en) | Provision of image data | |
| KR102129071B1 (ko) | 스캐닝 홀로그램 기반 자동광학검사 장치 및 방법 | |
| CN109884101B (zh) | 样品成像***、样品成像方法、计算机存储介质及计算机装置 | |
| KR102129069B1 (ko) | 스캐닝 홀로그램 기반 자동광학검사 장치 및 방법 | |
| CN105758381B (zh) | 一种基于频谱分析的摄像头模组倾斜探测方法 | |
| CN103115580A (zh) | 基于光学相干层析扫描的三维孔形检测方法及*** | |
| TWI531780B (zh) | 用於評估結構高度之方法及系統 | |
| Apolinar et al. | Three-dimensional microscope vision system based on micro laser line scanning and adaptive genetic algorithms | |
| CN210036591U (zh) | 一种基于频域oct技术的三维彩色动态成像装置 | |
| JP6950813B2 (ja) | 細胞観察装置 | |
| CN112666129B (zh) | 一种考虑折射率差异的三波长相干衍射成像方法 | |
| CN113574438B (zh) | 通过散射介质成像的***及方法 | |
| JP2016148569A (ja) | 画像測定方法、及び画像測定装置 | |
| TWI632361B (zh) | 數位全像顯微斷層之方法及裝置 | |
| US11809134B2 (en) | Method and apparatus of automatic optical inspection using scanning holography | |
| CN106502074B (zh) | 一种用于像面数字全息显微测量的自动聚焦方法 | |
| CN105446111B (zh) | 一种应用于数字全息重构过程的对焦方法 | |
| CN114659455A (zh) | 一种用于测量细丝直径的衍射条纹识别处理方法 | |
| KR20240035945A (ko) | 경사 추정 시스템, 경사 추정 방법, 경사 추정 프로그램, 반도체 검사 시스템 및 생체 관찰 시스템 | |
| CN114034471A (zh) | 一种激光光路轮廓的测量方法 | |
| CN113805454A (zh) | 散射光场全息三维位移测量装置、方法及介质 | |
| CN114371549A (zh) | 一种基于多焦复用透镜的定量相位成像方法及*** | |
| JP2006337142A (ja) | ミキシングベーン検査方法と検査装置 | |
| JP2007205767A (ja) | 三次元座標計測装置および方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |