KR102320174B1 - 프린지 메트릭 방법을 이용한 표면 검사 시스템 - Google Patents

프린지 메트릭 방법을 이용한 표면 검사 시스템 Download PDF

Info

Publication number
KR102320174B1
KR102320174B1 KR1020210035281A KR20210035281A KR102320174B1 KR 102320174 B1 KR102320174 B1 KR 102320174B1 KR 1020210035281 A KR1020210035281 A KR 1020210035281A KR 20210035281 A KR20210035281 A KR 20210035281A KR 102320174 B1 KR102320174 B1 KR 102320174B1
Authority
KR
South Korea
Prior art keywords
fringe
image
lights
phase signal
turned
Prior art date
Application number
KR1020210035281A
Other languages
English (en)
Inventor
권인수
윤여학
전웅준
Original Assignee
주식회사 하이브비젼
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 하이브비젼 filed Critical 주식회사 하이브비젼
Priority to KR1020210035281A priority Critical patent/KR102320174B1/ko
Application granted granted Critical
Publication of KR102320174B1 publication Critical patent/KR102320174B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/89—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
    • G01N21/892—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles characterised by the flaw, defect or object feature examined
    • G01N21/896—Optical defects in or on transparent materials, e.g. distortion, surface flaws in conveyed flat sheet or rod
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Analytical Chemistry (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Geometry (AREA)
  • Textile Engineering (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

본 발명은 고휘도의 조명대신 LED이 조명을 사용하여, 조명의 수명을 연장시킬 수 있는 장점을 가진다. 조명에 여러 개의 쌍으로 이루어진 LED Array를 1개이상으로 구성되어 있어, 다양한 간격의 Fringe가 조합가능한 것이 특징이다. 또한 조명과 카메라의 위치를 자유롭게 하며, 라인스캔으로의 시스템 구성을 통해 고속 측정이 가능한 프린지 메트릭 방법을 이용한 표면 검사 시스템에 관한 것이다.
이러한 프린지 메트릭 방법을 이용한 표면 검사 시스템은 직선 방향 내지 사선 방향으로 회전하는 프레임모듈과, 프레임모듈의 내부에 길이 방향을 따라 각각 제어되는 복수 개의 조명을 포함하는 조명모듈을 포함하여 검사체에 빛을 조사하는 프린지조명부; 검사체를 촬영하여 프린지이미지를 획득하는 카메라부; 조명모듈에 인가하여, 복수 개의 조명 중 일부 조명을 설정 시간 온 시킨 후 턴-오프 시키며 제1위상작동을 만들고, 오프 되어 있는 복수 개의 조명 중 나머지 조명을 턴-온 시키며 제2위상작동을 만드는 위상신호를 출력하고, 조명모듈이 제1위상작동 될 때 마다 카메라부에서 획득한 복수 개의 제1프린지이미지를 시간 순서에 따라 일렬 종대로 정렬한 제1정렬이미지와, 조명모듈이 제2위상작동 될 때 마다 카메라부에서 획득한 복수 개의 제2프린지이미지를 시간 순서에 따라 일렬 종대로 정렬한 제2정렬이미지를 합성하여 합성이미지를 생성하는 제어기부를 포함한다. 또한, 이미지 합성은 3D 이미지와 2.5D의 이미지를 생성가능 하도록 되어 있으며 대상체에 따라 선택하도록 구성되어 있다. 그리고 3D 이미지를 생성하는 프로세싱은 Wrapping의 경계면을 주위의 Phase정보를 이용하여 신뢰도를 계산하여 Unwrapping을 하도록 하는 것이 특징이다.

Description

프린지 메트릭 방법을 이용한 표면 검사 시스템{Surface Inspecting System Using Fringe Metric Method}
본 발명은 프린지 메트릭 방법을 이용하여 제품의 표면의 형태를 분석하는 기술에 속한다.
스마트폰의 종류가 많아지고, 스마트폰의 사용 주기가 짧아 짐에 따라, 다양하고 많은 스마트폰을 신속하고 정확하게 검사하는 시스템에 대한 산업이 성장하고 있다. 이에 따라, 스마트폰 커버 글라스의 결함의 검출 시스템에 대한 시장 또한 점차 커지고 있다.
현재, 물체의 표면의 형태를 표현하는 기술은 대표적으로 필름 프린지 방식과 패턴투영방식이 있다.
먼저, 필름 프린지 방식은 조명 앞에 줄(Stripe) 무늬의 필름(Film)을 이용해 프린지(Fringe)무늬를 만들고, 피에조를 이용해 필름을 적정위치로 이동시켜 프린지(Fringe)를 옮겨 위상천이를 시키는 방식이 있다. 이 방식은 필름으로 인해 조명의 밝기를 크게 저하시켜, 일반적으로 높은 휘도의 조명을 써야 한다. 그리고 측정높이의 해상도를 변경시키기 위해 프린지의 간격을 변화시키려면 필름을 교환해야 하고, 교환 후에는 복잡한 캘리브레이션 과정을 거쳐야 하는 문제를 가진다. 또한, 이러한 방식은 다른 조명의 수명에 비해 수명이 짧은 Metal Halide 조명을 사용해, 조명의 교체 주기가 짧다는 문제를 가지고 있다.
다음으로, 패턴투영방식은 다양한 간격의 패턴을 투영해 대상물체를 3차원으로 측정하는 방식이다. 그러나 이 방식은 패턴을 기계적으로 이동시켜야 하며 이때 기계에서 발생하는 기계적 진동이 정밀도에 영향을 받는 문제가 있다. 그리고 패턴의 산란광을 이용하므로 투명물체에 대해서는 측정이 어려운 단점이 있다.
대한민국 등록특허 제10-0824808호 (공고일자: 2008.04.24)
본 발명은 검사체의 표면을 검사하기 위해 프린지 무늬의 패턴을 사용으로 발생되는 문제, 고휘도의 조명을 써야하는 문제, 패턴의 이동 시 발생되는 문제를 해결하고자 한다. 또한 기존의 기술에서는 측정높이 해상도를 변경하기 위해서는 필름을 교환해야 하는 어려움이 있다.
본 발명을 이러한 문제를 해결하기위해, 다양한 간격의 Fringe Pattern을 조명을 제어하는 FPGA등의 프로그램에 파라메터의 변경만으로 간단히 변환이 가능하도록 구성하여, 측정대상의 높이 분해능을 실시간으로 변경가능한 도록 하여 이러한 문제를 해결하고자 한다.
본 발명의 기술적 과제는 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 기술적 과제를 달성하기 위한 본 발명의 프린지 메트릭 방법을 이용한 표면 검사 시스템은 회전 가능한 프레임모듈과, 프레임모듈의 내부에 일직선 상에 순차적으로 배치된 제1조명 내지 제8조명이 설치된 조명모듈을 포함하여 검사체에 빛을 조사하는 프린지조명부, 검사체를 촬영하여 프린지이미지를 획득하는 카메라부, 설정된 주기에 설정된 위상 차 간격으로 복수 개의 조명을 Nano second 단위로 제어하고, 복수 개의 조명 가운데 최 일측에 위치한 조명을 설정 시간 온(On) 시킨 후, 턴-오프(Turn-Off) 시키는 제1위상신호, 제1위상신호에 의해 턴-온 된 조명의 타측에 위치하며 제1위상신호에 의해 턴-온 된 조명의 개수와 동일한 개수만큼 턴-오프 되어 있는 조명을 턴-온 시키는 제2위상신호를 출력하여 조명모듈에 인가하는 제어기부를 포함한다. 여기서, 제어기부는 적어도 두 개의 조명을 동시에 턴-온 그리고 턴-오프 시킨 후, 턴-오프 된 조명의 타측에 위치하여 오프 된 적어도 두 개의 조명을 동시에 턴-온 시키며, 제1위상신호를 출력할 때 마다 카메라부에서 획득한 복수 개의 제1프린지이미지를 시간 순서에 따라 일렬 종대로 정렬하고, 제2위상신호를 출력할 때 마다 카메라부에서 획득한 복수 개의 제2프린지이미지를 시간 순서에 따라 일렬 종대로 정렬하는 프린지이미지수신모듈과, 순차적으로 수신된 복수 개의 제1프린지이미지를 일렬 종대로 배치시켜 하나의 제1정렬이미지를 생성하고, 복수 개의 제2프린지이미지를 일렬 종대로 배치시켜 하나의 제2정렬이미지를 생성하는 얼라인모듈과, 제1정렬이미지 내지 제2정렬이미지를 기 설정된 산식으로 연산한 후 합성하여 합성이미지를 생성하는 합성이미지생성모듈을 포함한다.
제어기부는 제2위상작동 시 턴-온 된 조명의 타측에 위치해 오프 되어 있는 조명을 턴-온 시키며 제3위상작동 시키는 제3위상신호, 제3위상작동 시 턴-온 된 조명의 타측에 위치해 오프 되어 있는 조명을 턴-온 시키며 제4위상작동 시키는 제4위상신호를 순차적으로 반복하여 출력할 수 있다.
제어기부는 제3위상작동 될 때 마다 제3프린지이미지를 획득하고 제4위상작동 될 때 마다 제4프린지이미지를 획득하며 복수 개의 제1프린지이미지 내지 복수 개의 제4프린지이미지를 획득하고, 복수 개의 제1프린지이미지를 일렬 종대로 배치시켜 하나의 제1정렬이미지를 생성하고, 복수 개의 제2프린지이미지를 일렬 종대로 배치시켜 하나의 제2정렬이미지를 생성하고, 복수 개의 제3프린지이미지를 일렬 종대로 배치시켜 하나의 제3정렬이미지를 생성하고, 복수 개의 제4프린지이미지를 일렬 종대로 배치시켜 하나의 제4정렬이미지를 생성하여, 제1프린지이미지 내지 제4프린지이미지를 합성해 표면의 높이 차를 나타내는 합성이미지를 생성할 수 있다.
프린지이미지수신모듈은 카메라부에서 촬영된 복수 개의 제1프린지이미지 내지 복수 개의 제4프린지이미지를 순차적으로 수신하고, 얼라인모듈은 순차적으로 수신된 복수 개의 제3프린지이미지를 일렬 종대로 배치시켜 하나의 제3정렬이미지를 생성하고, 복수 개의 제4프린지이미지를 일렬 종대로 배치시켜 하나의 제4정렬이미지를 생성하고, 복수 개의 제4프린지이미지를 일렬 종대로 배치시켜 하나의 제4정렬이미지를 생성하고, 합성이미지생성모듈은 제3정렬이미지 내지 제4정렬이미지를 기 설정된 산식으로 연산한 후 합성하여 합성이미지를 생성할 수 있다.
삭제
본 발명은 일정 시간으로 촬영된 프린지 이미지를 동일한 위상의 프린지 이미지로 정렬한 후, 정렬된 이미지를 합성하여 검사체의 높이 차가 있는 합성이미지를 생성한다. 이러한 합성이미지를 통해 생산 공정에서 검출하기 어려웠던, Dimple, 스크래치, Edge 부분 크랙 등에 대해 높은 검출력을 나타낼 수 있다.
아울러, 본 발명은 고휘도의 조명대신 LED이 조명을 사용하여, 조명의 수명을 연장시킬 수 있는 장점을 가진다. 또한 조명과 카메라의 위치를 자유롭게 하며, 라인스캔으로의 시스템구성을 통해 고속 측정이 가능하도록 하며 프린지이미지를 생성하도록 한다.
도 1은 본 발명의 일 실시예에 따른 프린지 메트릭 방법을 이용한 표면 검사 시스템의 사용 상태도이다.
도 2는 본 발명의 제1실시예에 따른 프린지조명부를 나타낸 도면이다.
도 3은 본 발명의 제2실시예에 따른 프린지조명부를 나타낸 도면이다.
도 4는 본 발명의 제3실시예에 따른 프린지조명부를 나타낸 도면이다.
도 5는 본 발명의 제어기부의 구성요소를 나타낸 블록도이다.
도 6은 도 3의 제2실시예에 따른 프린지조명부의 작동 상태를 나타낸 도면이다.
도 7 내지 도 9는 본 발명의 일 실시예에 따른 프린지 메트릭 방법을 이용한 표면 검사 시스템을 통해 프린지 이미지를 획득하고, 획득한 프린지 이미지를 변환 및 합성한 이미지이다.
도 10 내지 도 12는 서로 다른 주기에 맞춰 작동하는 제3실시예의 프린지조명부에 포함된 조명모듈의 작동 상태를 나타낸 도면이다.
도 13은 복수 개의 조명모듈이 하나의 조명모듈그룹으로 형성되어 작동되는 상태를 나타낸 도면이다.
본 명세서 상에 도시된 도면 및 도면에 기초한 설명은 본 발명의 기술 분야에서 통상의 지식을 가진 자가 본 발명을 쉽게 이해할 수 있도록 하는 하나의 예시이다.
따라서, 본 발명의 도면 및 발명을 실시하기 위한 구체적인 설명이 본 발명의 청구 범위를 한정하는 것은 아니다. 본 발명의 청구 범위는 오로지 청구항에 의해서만 정의될 수 있다.
이하, 본 발명의 하기의 실시예의 도면을 참조하여 본 발명의 프린지 메트릭 방법을 이용한 표면 검사 시스템에 대해 설명한다. 다만, 본 발명에 대한 설명이 명확하고 간결해질 수 있도록, 먼저 도 1 내지 도 5를 참조하여 프린지 메트릭 방법을 이용한 표면 검사 시스템에 대해 개괄적으로 설명한다. 이후, 도 6 내지 도 13을 참조하여 프린지 메트릭 방법을 이용한 표면 검사 시스템을 구성하는 구성요소에 대해 설명한다.
도 1은 본 발명의 일 실시예에 따른 프린지 메트릭 방법을 이용한 표면 검사 시스템의 사용 상태도이고, 도 2는 본 발명의 제1실시예에 따른 프린지조명부를 나타낸 도면이고, 도 3은 본 발명의 제2실시예에 따른 프린지조명부를 나타낸 도면이고, 도 4는 본 발명의 제3실시예에 따른 프린지조명부를 나타낸 도면이다. 그리고 도 5는 본 발명의 제어기부의 구성요소를 나타낸 블록도이다.
본 발명의 프린지 메트릭 방법을 이용한 표면 검사 시스템(1)은 이동하는 검사체(B)에 대해서도 검사 가능하도록 한 라인씩 이미지를 얻고 각 개별 라인에 대해 조명 밝기, 위상 및 주기를 제어하여 1회 스캔에 위상 차가 있는 이미지들을 동시에 획득할 수 있다. 이와 같은 본 발명의 프린지 메트릭 방법을 이용한 표면 검사 시스템(1)은 일정 시간으로 촬영된 프린지 이미지를 동일한 위상의 프린지 이미지로 정렬한 후, 정렬된 이미지를 합성하여 검사체의 높이 차가 있는 합성이미지를 생성한다. 이를 통해, 본 발명은 생산 공정에서 검출하기 어려웠던, Dimple, 스크래치, Edge 부분 크랙 등에 대해 높은 검출력을 나타낼 수 있다.
아울러, 본 발명은 고휘도의 조명대신 LED이 조명을 사용하여, 조명의 수명을 연장시킬 수 있는 장점을 가진다. 이러한 본 발명의 프린지 메트릭 방법을 이용한 표면 검사 시스템(1)은 TDM(Time Division Multiplexing) 적용한 조명 교차 제어 1회 스캔으로 여러 위상의 Fringe 이미지 획득하는 1단계 그리고 FPGA or GPU 이용한 복수의 위상 차 이미지 합성 Differential Fringe로 이미지 변환, 합성 및 전 처리 진행하는 2단계 그리고 FFT, AI 적용 이미지 트레이닝 불량 검출 및 미검 및 과검 획기적으로 향상되는 3단계로 진행되며 전술한 특징을 나타낼 수 있다.
본 발명은 전술 한 특징을 나타낼 수 있도록 프린지조명부(10), 카메라부(20) 및 제어기부(30)를 구성요소로 포함한다.
이하, 본 발명을 포함되는 구성요소에 대해 구체적으로 설명한다. 프린지조명부(10)는 카메라부(20)가 검사체(B)를 촬영할 수 있도록 검사체(B)에 다양한 각도로 빛을 조사할 수 있는 장치가 된다. 이러한 프린지조명부(10)는 프레임모듈(11)과 조명모듈(12)을 포함한다. 여기서, 프레임모듈(11)은 하단면이 개구 된 직육면체의 형상으로 형성된 프레임이 된다. 그리고 조명모듈(12)은 프레임모듈(11)의 내부에 길이 방향을 따라 각각 제어되는 복수 개의 조명을 포함하여 검사체(B)에 빛을 조사하는 장치가 된다. 프린지조명부(10)는 프레임모듈(11)이 외부의 고정모듈(미도시)에 설치되어 바닥면(A)에 직선 방향 내지 사선 방향으로 회전하며 검사체(B)에 빛을 조사할 수 있다.
이와 같은 프린지조명부(10)의 조명모듈(12-1)은 도 2에 도시된 바와 같이 제1조명(01) 내지 제8조명(08)을 포함하는 프린지조명부(10-1)로 형성될 수 있다. 또는, 프린지조명부(10-1)는 도 2에 도시된 바와 같은 형성으로 한정되지 않고, 필요에 따라 도 3에 도시된 바와 같이 제1조명(01) 내지 제16조명(16)을 포함하는 조명모듈(12-2)을 포함하는 프린지조명부(10-2)로 변형되어 형성될 수 있다. 아니면 도 4에 도시된 바와 같이 도 3에 도시된 조명모듈(12-2)이 일직선 상으로 3개가 배열된 조명모듈(12-3)로 형성될 수 있다.
이와 같이, 프린지조명부는 복수 개의 조명을 포함하여 다양하게 변형되어 형성될 수 있다. 여기서, 조명모듈(12-1~12-3)은 LED로 형성되어 고휘도의 할로겐 조명 보다 장시간 일정한 빛을 출력할 수 있다.
프린지조명부(10)는 복수 개의 조명을 순서대로 이동시켜가며 점등 및 소등하여 특정 조명에서 빛이 출력될 수 있도록 한다. 프린지조명부(10)가 빛을 출력할 때, 카메라부(20)는 검사체(B)를 촬영하여 프린지조명부(10)의 작동에 따라 프린지를 갖는 프린지이미지를 획득한다. 이와 같은 작동하는 카메라부(20)는 제어기부(30)에서 출력되는 제어신호에 의해 작동될 수 있다. 보다 구체적으로, 카메라부(20)는 조명모듈(12-1~12-3)의 복수 개의 조명이 이동하며 점등 및 소등되는 작동과 동기화 되어 작동하며 조명모듈(12-1~12-3)이 턴-온 될 때만 작동하며 검사체(B)를 촬영할 수 있다.
제어기부(30)는 제어신호를 발생시키며 데이터를 수신해 처리한다. 제어기부(30)는 데이터를 수신 및 처리하는 컴퓨터가 된다. 이러한 제어기부(30)는 Line Scan 이용한 교차조명 제어 시 조명시간, 지연시간을 nano second 단위로 제어할 수 있도록 구성하였다. 이를 통해, 제어기부(30)는 측정대상의 높이 분해능을 실시간으로 변경가능한 도록 한다.
이와 같은 제어기부(30)는 기존의 Microcontroller CPU를 이용한 컨트롤로 제어보드의 한계로 FPGA칩을 탑재한 별도의 제어 보드를 포함한다. 또한, 제어기부(30)는 프린지이미지수신모듈(310), 얼라인모듈(320) 및 합성이미지생성모듈(330)을 포함할 수 있다. 여기서, 프린지이미지수신모듈(310)은 카메라부(20)에서 촬영된 복수 개의 제1프린지이미지(C1) 내지 복수 개의 제4프린지이미지(C4)를 순차적으로 수신할 수 있다. 그리고 얼라인모듈(320)은 순차적으로 수신된 복수 개의 제1프린지이미지(C1) 내지 복수 개의 제4프린지이미지(C4) 중 복수 개의 제2프린지이미지(C2)를 일렬 종대로 배치시켜 하나의 제2정렬이미지(D2)를 생성하고, 복수 개의 제1프린지이미지(C1)를 일렬 종대로 배치시켜 하나의 제1정렬이미지(D1)를 생성할 수 있다. 그리고 복수 개의 제4프린지이미지(C4)를 일렬 종대로 배치시켜 하나의 제4정렬이미지(D4)를 생성할 수 있다.
그리고 합성이미지생성모듈(330)은 제1정렬이미지(D1) 내지 제4정렬이미지(D4)를 기 설정된 과정 및 기 설정된 산식으로 연산한 후 합성하여 2.5D 또는 3D의 입체 이미지로 합성이미지(E)를 생성할 수 있다. 여기서, 2.5D로 합성이미지(E)가 생성될 때는 아래와 같은 산식에 기초하여 진행될 수 있다.
Figure 112021031937516-pat00001
Figure 112021031937516-pat00002
Figure 112021031937516-pat00003
Figure 112021031937516-pat00004
그리고 2.5D로 합성이미지(E)가 생성될 때는 Image를 Segmentation하여 불필요한 영역 제거하고 관심영역 추출하는 (A)단계, 관심영역에 대해서 X 방향으로 주위 픽셀과의 Phase의 차 계산하는 (B)단계, Phase의 차가
Figure 112021031937516-pat00005
보다 작으면 차가
Figure 112021031937516-pat00006
보다 클 때까지
Figure 112021031937516-pat00007
를 더 하는 (C)단계, Phase의 차가
Figure 112021031937516-pat00008
보다 크면
Figure 112021031937516-pat00009
보다 작을 때까지
Figure 112021031937516-pat00010
를 빼는 (D)단계, 관심영역에 대해서 Y 방향으로 주위 픽셀과의 Phase의 차를 계산하는 (E)단계, Phase의 차가
Figure 112021031937516-pat00011
보다 작으면 차가
Figure 112021031937516-pat00012
보다 클 때까지
Figure 112021031937516-pat00013
를 더 하는 (F)단계 및 Phase의 차가
Figure 112021031937516-pat00014
보다 크면
Figure 112021031937516-pat00015
보다 작을 때까지
Figure 112021031937516-pat00016
를 빼는 (G)단계로 진행될 수 있다.
여기서, 3D로 합성이미지(E)가 생성될 때는 아래와 같은 산식에 기초하여 진행될 수 있다.
Figure 112021031937516-pat00017
여기서, 밝는 부분에서 어두운 부분의 간격을 I주기로 정의하고 대상물의 위치(x,y)에서의 밝기 값 I(x,y)라 하고,
Figure 112021031937516-pat00018
는 Phase이고, n개의 위상으로 이동하여
Figure 112021031937516-pat00019
번째 프린지 패턴이 된다.
아래의 표는 pixel (x,y)의 신뢰도 R을 계산하기 위한 Pixel (x,y)주변의 Pixel은 다음과 같다.
Figure 112021031937516-pat00020
Figure 112021031937516-pat00021
Figure 112021031937516-pat00022
Figure 112021031937516-pat00023
Figure 112021031937516-pat00024
Figure 112021031937516-pat00025
Figure 112021031937516-pat00026
Figure 112021031937516-pat00027
Figure 112021031937516-pat00028
본 위상 펼침 알고리즘은 이웃한 픽셀들과 이차미분의 합S의 역수를 계산하여 각 픽셀의 신뢰도 R을 계산한다.
Figure 112021031937516-pat00029
Figure 112021031937516-pat00030
Figure 112021031937516-pat00031
Figure 112021031937516-pat00032
Figure 112021031937516-pat00033
여기서, H는 수평방향, V는 수직방향, D는 대각선 방향의 미분값이 된다.
Figure 112021031937516-pat00034
는 각 픽셀의 위상 값이고,
Figure 112021031937516-pat00035
은 연속한 픽셀의 위상 값 간의 위상 불연속성을 제거하는 위상 펼침 계산을 나타낸다.
위와 같은 계산을 각 픽셀에 대해서 수행하고,
Figure 112021031937516-pat00036
의 역수로 각 픽셀의 신뢰도를 계산한다.
Figure 112021031937516-pat00037
위상 펼침 경로를 결정하기 위해서 우선 가로 세로 방향으로 이웃한 픽셀들의 신뢰도의 합을 계산하고 신뢰도의 합이 가장 큰 경계면에서부터 위상 펼침을 위상 펼침을 수행한다.
그리고 3D로 합성이미지(E)가 생성될 때는 전 픽셀에 대해서 신뢰도 R 계산(테두리 제외)하는 (A)단계, 경계에 대한 신뢰도만 수집하는 (B)단계, 경계에 대해 신뢰도 값을 내림차순으로 정렬하는 (C)단계, (C)단계 이후 경계에 대한 신뢰도만 수집하여 작은 영역에 속한 픽셀은 위상 펼침을 한 뒤, 두 영역을 병합하는 (D-1)단계, 양 픽셀 모두 영역에 속하지 않는 경우 양 픽셀용 위상 펼침하여 새로운 영역을 형성하는 (D-2)단계 또는 한 픽셀만 영역에 속한 경우 영역에 속하지 않는 픽셀을 위상 펼쳐 영역에 포함시키는 (D-3) 단계 중 어느 하나의 단계로 진행될 수 있다. 이후, 모든 경계에 대해서 수행하고 테두리는 마지막으로 수행하는 (E)단계로 진행될 수 있다.
전술 한 산식 및 과정을 통해 합성이미지를 생성하는 제어기부(30)는 검사 대상에 따라 조명 순서, 주파수 분주, 노이즈 제거 등 현장에서 문제되는 상황을 실시간으로 반영하며 합성이미지(E)를 생성할 수 있다.
이하, 도 6 내지 도 13을 참조하여 본 발명의 프린지 메트릭 방법을 이용한 표면 검사 시스템의 작동에 대해 구체적으로 설명한다.
다만, 본 발명의 프린지 메트릭 방법에 대한 설명이 간결하고 명확해질 수 있도록, 제1실시예, 제2실시예와 제3실시예의 프린지조명부 가운데 제2실시예의 프린지조명부를 기준으로 하여, 본 발명의 작동에 대해 구체적으로 설명한다.
도 6은 도 3의 제2실시예에 따른 프린지조명부의 작동 상태를 나타낸 도면이고, 도 7 내지 도 9는 본 발명의 일 실시예에 따른 프린지 메트릭 방법을 이용한 표면 검사 시스템을 통해 프린지 이미지를 획득하고, 획득한 프린지 이미지를 변환 및 합성한 이미지이고, 도 10 내지 도 12는 서로 다른 주기에 맞춰 작동하는 제3실시예의 프린지조명부에 포함된 조명모듈의 작동 상태를 나타낸 도면이다. 그리고 도 13은 복수 개의 조명모듈이 하나의 조명모듈그룹으로 형성되어 작동되는 상태를 나타낸 도면이다.
프린지조명부(10)는 전술한 바와 같이 제1조명(01) 내지 제16조명(16)을 포함한다. 이러한 프린지조명부(10)는 제어기부(30)에서 출력되는 제1위상신호 내지 제4위상신호에 따라 작동될 수 있다.
제어기부(30)는 프린지조명부(10)에 위상신호를 인가하여, 복수 개의 조명 중 일부 조명을 설정 시간 온 시킨 후, 턴-오프 시켜가면서 작동시킨다. 여기서, 제어기부(30)는 4개의 조명을 위상 이동의 한 주기로 하여 90도의 위상차를 갖도록 이동시키며 프린지조명부(10)가 90도의 위상차에서 조명이 턴-온 되도록 한 예이다. 구체적으로는, 제어기부(30)는 제1위상신호를 통해 0도의 위상각에서 제1조명, 제5조명, 제9조명 및 제13조명을 턴-온 시키고, 제2위상신호를 통해 90도의 위상각에서 제2조명, 제6조명, 제10조명 및 제14조명을 턴-온 시키고, 제3위상신호를 통해 180도의 위상각에서 제3조명, 제7조명, 제11조명 및 제15조명을 턴-온 시키고, 제4위상신호를 통해 270도의 위상각에서 제4조명, 제8조명, 제12조명 및 제16조명을 턴-온 시킨다. 이러한 제어기부(30)의 구성은 그림에서 보여준 4개의 조명 이외에도 3개의 조명, 5개의 조명등 여러가지 구성으로 위상 변화를 가질 수 있으며, 위상간격이 90도 이외에도 360도/n의 각도로도 구성이 가능하다.
즉, 제어기부(30)는 프린지조명부(10)가 제1위상신호를 수신하였을 때 도 6의 (a)에 도시된 바와 같이 복수 개의 조명을 턴-온 시키고, 제2위상신호를 수신하였을 때 도 6의 (b)에 도시된 바와 같이 복수 개의 조명을 턴-온 시키고, 제3위상신호를 수신하였을 때 도 6의 (c)에 도시된 바와 같이 복수 개의 조명을 턴-온 시키고, 제4위상신호를 수신하였을 때 도 6의 (d)에 도시된 바와 같이 복수 개의 조명을 턴-온 시킨다.
제어기부(30)는 프린지조명부(10)가 전술한 바와 같이 작동되도록 하며, 도 7의 좌측에 도시된 바와 같이, C1, C2, C3, C4, C1, C2, C3, C4, C1, C2, C3, C4 … C1, C2, C3, C4 순서로 90도의 위상차를 갖는 4개의 이미지를 연속해서 획득한다. 여기서, 제1프린지이미지(C1)는 프린지조명부(10)가 제1위상작동 될 때, 즉, 제1조명(01), 제5조명(05), 제9조명(09), 제13조명(13)이 턴-온 되었을 때, 카메라부(20)에서 획득한 프린지이미지가 된다. 그리고 제2프린지이미지(C2)는 프린지조명부(10)가 제2위상작동 될 때, 즉, 제2조명(02), 제6조명(06), 제10조명(10), 제14조명(14)이 턴-온 되었을 때, 카메라부(20)에서 획득한 프린지이미지가 된다. 그리고 제3프린지이미지(C3)는 프린지조명부(10)가 제3위상작동 될 때, 즉, 제3조명(03), 제7조명(07), 제11조명(11), 제15조명(15)이 턴-온 되었을 때, 카메라부(20)에서 획득한 프린지이미지(C3)가 된다. 그리고 제4프린지이미지(C4)는 프린지조명부(10)가 제4위상작동 될 때, 즉, 제4조명(04), 제8조명(08), 제12조명(12), 제16조명(16)이 턴-온 되었을 때, 카메라부(20)에서 획득한 프린지이미지가 된다.
그리고 제어기부(30)는 복수 개의 제1프린지이미지(C1)를 시간 순서에 따라 일렬 종대로 정렬하여 도 7의 (a) 및 도 8의 (a)에 도시된 바와 같은 제1정렬이미지(D1)를 생성한다. 그리고 복수 개의 제2프린지이미지(C2)를 시간 순서에 따라 일렬 종대로 정렬하여 도 7의 (b) 및 도 8의 (b)에 도시된 바와 같은 제2정렬이미지(D2)를 생성한다. 그리고 생성한 제1정렬이미지(D1)와 제2정렬이미지(D2)를 합성하여 합성이미지(E)를 생성한다.
또한, 제어기부(30)는 복수 개의 제3프린지이미지(C3)를 시간 순서에 따라 일렬 종대로 정렬하여 도 7의 (c) 및 도 8의 (c)에 도시된 바와 같은 제3정렬이미지(D3)를 생성한다. 그리고 복수 개의 제4프린지이미지(C4)를 시간 순서에 따라 일렬 종대로 정렬하여 도 7의 (d) 및 도 8의 (d)에 도시된 바와 같은 제4정렬이미지(D4)를 생성한다.
아울러 제어기부(30)는 전술한 제1정렬이미지(D1), 제2정렬이미지(D2), 제3정렬이미지(D3) 그리고 제4정렬이미지(D4)를 생성하였을 때, 생성한 정렬이미지 모두를 합성하여 도 9에 도시된 바와 같은 합성이미지(E)를 생성한다.
제어기부(30)는 총 4개의 정렬이미지 즉, 제1정렬이미지(D1) 내지 제4정렬이미지(D4)를 합성하여, 각 정렬이미지에 존재하는 손상부분의 높이차를 파악할 수 있도록 한다.
이때, 제어기부(30)는 도 8의 각 정렬이미지의 빨간색 네모로 표시된 구겨진 부분을 도 9의 합성이미지에 빨간색 네모로 표시된 바와 같이 구겨짐이 높이치가 명확하게 나타나도록 할 수 있다.
이와 같은 제어기부(30)는 제1위상신호 내지 제4위상신호 간 위상차를 변경하고, 변경된 위상을 한 주기로 하여 복수 개의 조명을 턴-온 및 턴-오프 하며 전술한 특징을 보다 명확히 나타낼 수 있도록 한다.
일례로, 제어기부(30)는 한 주기를 도 10에 도시된 바와 같이 λ 또는 도 11에 도시된 바와 같이 λ/2 또는 도 12에 도시된 바와 같이 λ/4 중 어느 하나를 한 주기로 설정할 수 있다. 제어기기부(30)는 설정된 각 주기에 대응해 조명을 동시에 켤 수 있다. 그리고 제어기부(30)는 설정된 각 주기에 설정된 위상 차 일례로, λ, λ/2 및 λ/4의 주기에서π/16 간격 내지 π/4 간격으로 복수 개의 조명을 켤 수 있다.
아울러, 제어기부(30)는 조명모듈그룹에 속해 있는 적어도 두 개 이상의 조명을 동시에 턴-온 그리고 턴-오프 시킨 후, 턴-오프 된 조명의 타측에 위치하여 오프 된 적어도 두 개의 조명을 동시에 턴-온 시킬 수 있다. 일례로, 제어기부(30)는 도 13의 (a)에 도시된 바와 같이 제1조명(01)과 제2조명(02) 그리고 제5조명(05)과 제6조명(06) 그리고 제9조명(09)과 제10조명(10) 그리고 제13조명(13)과 제14조명(14)이 λ/4의 주기 내에서 동시에 턴-온 및 턴-오프 될 수 있다. 제어기부(30)는 도 13의 (b)에 도시된 바와 같이, 제1조명(01), 제2조명(02), 제3조명(03) 그리고 제7조명(07), 제8조명(08), 제9조명(09) 그리고 제13조명(13), 제14조명(14), 제15조명(15)이 λ/3의 주기 내에서 동시에 턴-온 및 턴-오프 될 수 있다.
본 발명은 이동하는 검사체에 대하여도 라인씩 이미지 즉, 프린지이미지를 얻고 각 개별 라인에 대해 조명 밝기, 위상 및 주기를 제어하여 위상 차가 있는 이미지들을 동시에 획득한다. 그리고 획득한 이미지를 합성하여 검사체의 불량을 정확하게 검출할 수 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시 예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 기술이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시 적인 것이며 한정적이 아닌 것으로 이해해야 한다.
1: 프린지 메트릭 방법을 이용한 표면 검사 시스템
10, 10-1, 10-2: 프린지조명부
11: 프레임모듈 12, 12-1, 12-2: 조명모듈
20: 카메라부 30: 제어기부
A: 바닥면 B: 검사체
C1: 제1프린지이미지 C2: 제2프린지이미지
C3: 제3프린지이미지 C4: 제4프린지이미지
D1: 제1정렬이미지 D2: 제2정렬이미지
D3: 제3정렬이미지 D4: 제4정렬이미지
E: 합성이미지

Claims (5)

  1. 회전 가능한 프레임모듈(11)과, 프레임모듈(11)의 내부에 일직선 상에 순차적으로 배치된 제1조명(01) 내지 제8조명(08)이 설치된 조명모듈(12)을 포함하여 검사체(B)에 빛을 조사하는 프린지조명부(10);
    검사체(B)를 촬영하여 프린지이미지를 획득하는 카메라부(20);
    설정된 주기에 설정된 위상 차 간격으로 복수 개의 조명을 Nano second 단위로 제어하고,
    복수 개의 조명 가운데 최 일측에 위치한 조명을 설정 시간 온(On) 시킨 후, 턴-오프(Turn-Off) 시키는 제1위상신호,
    제1위상신호에 의해 턴-온 된 조명의 타측에 위치하며 제1위상신호에 의해 턴-온 된 조명의 개수와 동일한 개수만큼 턴-오프 되어 있는 조명을 턴-온 시키는 제2위상신호를 출력하여 조명모듈(12)에 인가하는 제어기부(30)를 포함하고,
    제어기부(30)는,
    적어도 두 개의 조명을 동시에 턴-온 그리고 턴-오프 시킨 후, 턴-오프 된 조명의 타측에 위치하여 오프 된 적어도 두 개의 조명을 동시에 턴-온 시키며,
    제1위상신호를 출력할 때 마다 카메라부(20)에서 획득한 복수 개의 제1프린지이미지(C1)를 시간 순서에 따라 일렬 종대로 정렬하고, 제2위상신호를 출력할 때 마다 카메라부(20)에서 획득한 복수 개의 제2프린지이미지(C2)를 시간 순서에 따라 일렬 종대로 정렬하는 프린지이미지수신모듈(310)과,
    순차적으로 수신된 복수 개의 제1프린지이미지(C1)를 일렬 종대로 배치시켜 하나의 제1정렬이미지(D1)를 생성하고, 복수 개의 제2프린지이미지(C2)를 일렬 종대로 배치시켜 하나의 제2정렬이미지(D2)를 생성하는 얼라인모듈(320)과,
    제1정렬이미지(D1) 내지 제2정렬이미지(D2)를 기 설정된 산식으로 연산한 후 합성하여 합성이미지(E)를 생성하는 합성이미지생성모듈(330)을 포함하는, 프린지 메트릭 방법을 이용한 표면 검사 시스템.
  2. 제1항에 있어서, 제어기부(30)는,
    제2위상신호에 의해 턴-온 된 조명의 타측에 위치해 제2위상신호에 의해 턴-온 된 조명의 개수와 동일한 개수만큼 턴-오프되어 있는 조명을 턴-온 시키는 제3위상신호,
    제3위상신호에 의해 턴-온 된 조명의 타측에 위치해 제3위상신호에 의해 턴-온 된 조명의 개수와 동일한 개수만큼 턴-오프되어 있는 조명을 턴-온 시키는 제4위상신호를 순차적으로 반복하여 출력하는, 프린지 메트릭 방법을 이용한 표면 검사 시스템.
  3. 제2항에 있어서, 제어기부(30)는,
    제3위상신호가 출력할 때 마다 제3프린지이미지(C3)를 획득하고 제4위상신호가 출력될 때 마다 제4프린지이미지(C4)를 획득하며 복수 개의 제1프린지이미지(C1) 내지 복수 개의 제4프린지이미지(C4)를 획득하고,
    복수 개의 제3프린지이미지(C3)를 일렬 종대로 배치시켜 하나의 제3정렬이미지(D3)를 생성하고,
    복수 개의 제4프린지이미지(C4)를 일렬 종대로 배치시켜 하나의 제4정렬이미지(D4)를 생성하여,
    제1프린지이미지(C1) 내지 제4프린지이미지(C4)를 합성해 표면의 높이 차를 나타내는 합성이미지(E)를 생성하는, 프린지 메트릭 방법을 이용한 표면 검사 시스템.
  4. 제3항에 있어서,
    프린지이미지수신모듈(310)은,
    카메라부(20)에서 촬영된 복수 개의 제1프린지이미지(C1) 내지 복수 개의 제4프린지이미지(C4)를 순차적으로 수신하고,
    얼라인모듈(320)은,
    순차적으로 수신된 복수 개의 제3프린지이미지(C3)를 일렬 종대로 배치시켜 하나의 제3정렬이미지(D3)를 생성하고, 복수 개의 제4프린지이미지(C4)를 일렬 종대로 배치시켜 하나의 제4정렬이미지(D4)를 생성하고, 복수 개의 제4프린지이미지(C4)를 일렬 종대로 배치시켜 하나의 제4정렬이미지(D4)를 생성하고,
    합성이미지생성모듈(330)은,
    제3정렬이미지(D3) 내지 제4정렬이미지(D4)를 기 설정된 산식으로 연산한 후 합성하여 합성이미지(E)를 생성하는, 프린지 메트릭 방법을 이용한 표면 검사 시스템.
  5. 삭제
KR1020210035281A 2021-03-18 2021-03-18 프린지 메트릭 방법을 이용한 표면 검사 시스템 KR102320174B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210035281A KR102320174B1 (ko) 2021-03-18 2021-03-18 프린지 메트릭 방법을 이용한 표면 검사 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210035281A KR102320174B1 (ko) 2021-03-18 2021-03-18 프린지 메트릭 방법을 이용한 표면 검사 시스템

Publications (1)

Publication Number Publication Date
KR102320174B1 true KR102320174B1 (ko) 2021-11-02

Family

ID=78476363

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210035281A KR102320174B1 (ko) 2021-03-18 2021-03-18 프린지 메트릭 방법을 이용한 표면 검사 시스템

Country Status (1)

Country Link
KR (1) KR102320174B1 (ko)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002257528A (ja) * 2001-03-02 2002-09-11 Ricoh Co Ltd 位相シフト法による三次元形状測定装置
KR100824808B1 (ko) 2006-08-25 2008-04-24 주식회사 엘티케이 리튬 2차 전지용 전극 탭 자동검사기
KR101473569B1 (ko) * 2013-07-03 2014-12-26 주식회사 앤비젼 라인스캔 카메라를 이용한 결함 검사 장치 및 그 방법
JP2018205005A (ja) * 2017-05-31 2018-12-27 株式会社キーエンス 画像検査装置
JP2018205004A (ja) * 2017-05-31 2018-12-27 株式会社キーエンス 画像検査装置
KR20200021472A (ko) * 2018-01-24 2020-02-28 일루미나, 인코포레이티드 라인 스캐닝을 이용한 구조화 조명 현미경법
KR20200021473A (ko) * 2018-01-08 2020-02-28 일루미나, 인코포레이티드 구조화 조명을 이용한 능동센서 감지기의 다중화
KR102179236B1 (ko) * 2019-07-22 2020-11-16 주식회사 에스에프에이 다면광학계와 영상 합성을 이용한 검사시스템 및 그 검사방법

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002257528A (ja) * 2001-03-02 2002-09-11 Ricoh Co Ltd 位相シフト法による三次元形状測定装置
KR100824808B1 (ko) 2006-08-25 2008-04-24 주식회사 엘티케이 리튬 2차 전지용 전극 탭 자동검사기
KR101473569B1 (ko) * 2013-07-03 2014-12-26 주식회사 앤비젼 라인스캔 카메라를 이용한 결함 검사 장치 및 그 방법
JP2018205005A (ja) * 2017-05-31 2018-12-27 株式会社キーエンス 画像検査装置
JP2018205004A (ja) * 2017-05-31 2018-12-27 株式会社キーエンス 画像検査装置
KR20200021473A (ko) * 2018-01-08 2020-02-28 일루미나, 인코포레이티드 구조화 조명을 이용한 능동센서 감지기의 다중화
KR20200021472A (ko) * 2018-01-24 2020-02-28 일루미나, 인코포레이티드 라인 스캐닝을 이용한 구조화 조명 현미경법
KR102179236B1 (ko) * 2019-07-22 2020-11-16 주식회사 에스에프에이 다면광학계와 영상 합성을 이용한 검사시스템 및 그 검사방법

Similar Documents

Publication Publication Date Title
CN103245671B (zh) 冲压件表面缺陷检测装置及方法
CN104335030B (zh) 基板的异物检测方法
JP6330574B2 (ja) 基板検査装置のティーチング装置及びティーチング方法
KR101583659B1 (ko) 3차원 형상 측정 장치
US10430940B2 (en) Inspection system and inspection method
KR101410220B1 (ko) 3차원 형상 측정장치의 높이 측정 방법
JP5432864B2 (ja) 検査装置及び検査方法
JP6256249B2 (ja) 計測装置、基板検査装置、及びその制御方法
KR101659302B1 (ko) 3차원 형상 측정장치
KR101628158B1 (ko) 3차원 형상 측정 장치
JP2014508938A (ja) 多重グリッドパターンを利用したビジョン検査装置
JP5612969B2 (ja) 外観検査装置及び外観検査方法
JP2011095226A (ja) 被検査体の検査装置、及び電子基板の位置補正装置
KR20110089486A (ko) 실장기판 검사장치 및 검사방법
KR101766468B1 (ko) 트리플 주파수 패턴을 이용한 3차원 형상 측정 방법
US7039228B1 (en) System and method for three-dimensional surface inspection
KR100863341B1 (ko) 중복 영상을 이용한 에프피디 기판 및 반도체 웨이퍼검사시스템
JP2006227652A (ja) フィルタ格子縞板、三次元計測装置及び照明手段
KR101757240B1 (ko) 3차원 형상 측정 장치에서의 기준 패턴 생성 방법
KR102216999B1 (ko) 라인 스캔용 논-램버시안 표면 검사 시스템
JP2014517914A (ja) 検査装置
KR102320174B1 (ko) 프린지 메트릭 방법을 이용한 표면 검사 시스템
KR102427648B1 (ko) 결함 검사 방법 및 결함 검사 장치
JP6677060B2 (ja) 検査装置、記憶媒体、及びプログラム
KR101405427B1 (ko) 단일주기격자를 이용한 멀티 모아레 비전검사장치

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant