KR101873648B1 - 마이크로스케일에서의 표면 법선 벡터 및 표면 반사 함수 동시 측정 방법 및 시스템 - Google Patents

마이크로스케일에서의 표면 법선 벡터 및 표면 반사 함수 동시 측정 방법 및 시스템 Download PDF

Info

Publication number
KR101873648B1
KR101873648B1 KR1020160121871A KR20160121871A KR101873648B1 KR 101873648 B1 KR101873648 B1 KR 101873648B1 KR 1020160121871 A KR1020160121871 A KR 1020160121871A KR 20160121871 A KR20160121871 A KR 20160121871A KR 101873648 B1 KR101873648 B1 KR 101873648B1
Authority
KR
South Korea
Prior art keywords
light
light dome
dome
microscale
normal vector
Prior art date
Application number
KR1020160121871A
Other languages
English (en)
Other versions
KR20180032791A (ko
Inventor
김민혁
남길주
이주호
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020160121871A priority Critical patent/KR101873648B1/ko
Priority to US15/427,821 priority patent/US10281396B2/en
Publication of KR20180032791A publication Critical patent/KR20180032791A/ko
Application granted granted Critical
Publication of KR101873648B1 publication Critical patent/KR101873648B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/55—Specular reflectivity
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/514—Depth or shape recovery from specularities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/586—Depth or shape recovery from multiple images from multiple light sources, e.g. photometric stereo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Optics & Photonics (AREA)
  • Quality & Reliability (AREA)

Abstract

일실시예에 따른, 마이크로스케일에서의 표면 법선 벡터 및 표면 반사 함수 동시 측정 시스템은 미리 설정된 간격의 조밀도를 갖는 수백 개의 LED로 구성되어, 내부에 위치하는 오브젝트에 라이트를 방사하는, 반구형 구조의 라이트 돔; 상기 라이트 돔의 중앙에 형성된 홀을 통하여, 상기 라이트 돔이 방사하는 라이트 환경 아래 상기 오브젝트를 촬영하도록 상기 라이트 돔의 상부에 배치되는, 매크로 렌즈가 장착된 카메라; 상기 라이트 돔의 하부에 배치되어 상기 오브젝트가 위치하며, 상기 매크로 렌즈가 장착된 카메라와 상기 오브젝트 사이의 초점 거리를 조절하도록 xyz 방향으로 이동하는, xyz 마이크로 변환 스테이지; 및 상기 라이트 돔과 상기 매크로 렌즈가 장착된 카메라를 제어하여 상기 라이트 돔이 방사하는 라이트 환경 아래 상기 오브젝트를 촬영한 마이크로스케일 이미지를 획득하고, 상기 마이크로스케일 이미지에 기초하여 상기 오브젝트에 대한 표면 법선 벡터 및 표면 반사 함수를 동시에 측정하는, 측정부를 포함한다.

Description

마이크로스케일에서의 표면 법선 벡터 및 표면 반사 함수 동시 측정 방법 및 시스템{METHOD AND SYSTEM FOR SIMULTANEOUS ACQUISITION OF MICROSCALE REFLECTANCE AND NORMALS}
아래의 실시예들은 마이크로스케일에서의 표면 법선 벡터 및 표면 반사 함수 동시 측정 시스템 및 그 방법에 관한 것으로, 보다 상세하게는 공간적으로 다양한 오브젝트의 반사율과 법선들을 마이크로스케일로 동시에 캡처하는 기술에 대한 것이다.
오브젝트의 표면에서의 확산, 반사 및 조도를 포함하는 외관과 법선들에 대한 정확한 묘사는 최근 몇 년 동안 연구 개발되어 큰 진전을 보였다. 여기서, 오브젝트의 표면에서의 외관과 법선들의 특성은 오브젝트의 마이크로스케일한 기하학적 구조에 크게 의존한다. 이는 마이크로스케일한 기하학적 구조 레벨에서의 랜덤한 불규칙성으로 표면 반사 현상을 설명하는 microfacet 이론을 정립하였고, 오브젝트의 표면에서의 외관과 법선들의 특성은 microfacet의 너무 작은 크기 때문에, 직접 분포를 측정하는 대신에 통계학적으로 모델링 되어왔다.
한편, 그래픽 관련 작업에서, 마이크로스케일한 기하학적 구조는 이미지 기반으로 측정된다. 예를 들어, 반사율 정보로부터 예측되는 금속 오브젝트 표면의 마이크로스케일한 기하학적 구조는 profilometer를 이용하여 측정된다. 다른 예를 들면, 마이크로스케일한 이미지에서 얻어지는 오브젝트의 외관 정보는 마이크로-구조와 조합되어 모델링되기도 한다.
그러나 기존의 오브젝트의 표면에서의 외관과 법선들은 각기 다른 방식으로 수집되었기 때문에, 하나의 방식 및 하나의 시스템을 통하여 동시에 수집되지 못하는 단점이 있다.
이에, 아래의 실시예들은 오브젝트에 대해 마이크로스케일에서의 표면 법선 벡터 및 표면 반사 함수를 동시에 측정하는 시스템 및 그 방법에 대한 기술을 제안한다.
일실시예들은 오브젝트에 대해 마이크로스케일에서의 표면 법선 벡터 및 표면 반사 함수를 동시에 측정하는 시스템 및 그 방법을 제공한다.
구체적으로, 일실시예들은 수백 개의 LED로 구성되는 반구형 구조의 라이트 돔, 렌즈가 장착된 카메라 및 xyz 마이크로 변환 스테이지를 기반으로, 라이트 돔의 구면조화함수 조명(Spherical Harmonics illumination; SH illumination) 및 라이트 돔의 적어도 일부 LED를 포인트 라이트로 이용하는 포인트 와이즈 조명(point-wise illumination) 아래 오브젝트를 촬영한 마이크로스케일 이미지를 획득함으로써, 마이크로스케일 이미지를 기초로 오브젝트에 대한 표면 법선 벡터 및 표면 반사 함수를 동시에 측정하는 시스템 및 그 방법을 제공한다.
이 때, 일실시예들은 마이크로스케일 이미지를 획득하는 과정에서 발생되는 진동을 방지하는 시스템 및 그 방법을 제공한다.
또한, 일실시예들은 마이크로스케일 이미지를 기초로 오브젝트에 대한 표면 법선 벡터 및 표면 반사 함수를 동시에 측정하는 과정에서, 마이크로스케일 이미지에서의 확산과 반사를 분리하도록 SfS(Shape-from-Specular) 기법을 이용하여, 오브젝트에 대한 표면 법선 벡터를 계산하는 시스템 및 그 방법을 제공한다.
또한, 일실시예들은 마이크로스케일 이미지를 기초로 오브젝트에 대한 표면 법선 벡터 및 표면 반사 함수를 동시에 측정하는 과정에서, 계산된 표면 법선 벡터 및 논파라메트릭(non-parametric) 함수로 표현되는 오브젝트의 반사도에 대한 NDF(Normal Distribution Function) 항에 기초하여, 오브젝트에 대한 표면 반사 함수를 계산하는 시스템 및 그 방법을 제공한다.
또한, 일실시예들은 NDF 항 및 매크로 렌즈가 장착된 카메라의 뷰 방향에서의 섀도잉/마스킹(Shadowing/Masking) 효과를 나타내는 기하학적 구조 항을 반복적으로 최적화함으로써, 계산된 표면 반사 함수를 업데이트하는 시스템 및 그 방법을 제공한다.
또한, 일실시예들은 마이크로스케일 이미지를 획득하기 이전에, 라이트 돔과 매크로 렌즈가 장착된 카메라를 제어하여 촬영할 마이크로스케일 이미지 상에서, xyz 마이크로 변환 스테이지의 표면에 대한 라이트 돔의 LED의 위치 및 매크로 렌즈가 장착된 카메라의 축을 보정하는 시스템 및 그 방법을 제공한다.
일실시예에 따르면, 마이크로스케일에서의 표면 법선 벡터 및 표면 반사 함수 동시 측정 시스템은 미리 설정된 간격의 조밀도를 갖는 수백 개의 LED로 구성되어, 내부에 위치하는 오브젝트에 라이트를 방사하는, 반구형 구조의 라이트 돔; 상기 라이트 돔의 중앙에 형성된 홀을 통하여, 상기 라이트 돔이 방사하는 라이트 환경 아래 상기 오브젝트를 촬영하도록 상기 라이트 돔의 상부에 배치되는, 매크로 렌즈가 장착된 카메라; 상기 라이트 돔의 하부에 배치되어 상기 오브젝트가 위치하며, 상기 매크로 렌즈가 장착된 카메라와 상기 오브젝트 사이의 초점 거리를 조절하도록 xyz 방향으로 이동하는, xyz 마이크로 변환 스테이지; 및 상기 라이트 돔과 상기 매크로 렌즈가 장착된 카메라를 제어하여 상기 라이트 돔이 방사하는 라이트 환경 아래 상기 오브젝트를 촬영한 마이크로스케일 이미지를 획득하고, 상기 마이크로스케일 이미지에 기초하여 상기 오브젝트에 대한 표면 법선 벡터 및 표면 반사 함수를 동시에 측정하는, 측정부를 포함한다.
상기 측정부는 상기 라이트 돔의 구면조화함수 조명(Spherical Harmonics illumination; SH illumination) 및 상기 라이트 돔의 적어도 일부 LED를 포인트 라이트로 이용하는 포인트 와이즈 조명(point-wise illumination) 아래 상기 오브젝트를 촬영한 상기 마이크로스케일 이미지를 획득하고, 상기 마이크로스케일 이미지를 기초로 SfS(Shape-from-Specular) 기법을 이용하여 상기 오브젝트에 대한 표면 법선 벡터를 계산할 수 있다.
상기 측정부는 상기 마이크로스케일 이미지에서 상기 오브젝트의 각 픽셀 당 초기 표면 법선 벡터를 측정하며, 상기 포인트 라이트에 의한 미러-라이크(mirror-like) 반사 벡터를 기초로 상기 SfS 기법을 이용하여 상기 초기 표면 법선 벡터를 업데이트하여 상기 오브젝트에 대한 표면 법선 벡터를 계산할 수 있다.
상기 측정부는 상기 계산된 표면 법선 벡터, 논파라메트릭(non-parametric) 함수로 표현되는 상기 오브젝트의 반사도에 대한 NDF(Normal Distribution Function) 항, 상기 라이트 돔이 방사하는 라이트와 상기 매크로 렌즈가 장착된 카메라의 뷰 방향에서의 섀도잉/마스킹(Shadowing/Masking) 효과를 나타내는 기하학적 구조 항 및 컬러 벡터와 관련된 프레넬(Fresnel) 항에 기초하여 상기 오브젝트에 대한 표면 반사 함수를 계산할 수 있다.
상기 측정부는 상기 NDF 항 및 상기 기하학적 구조 항을 반복적으로 최적화하여 상기 표면 반사 함수를 업데이트할 수 있다.
상기 라이트 돔은 구면조화함수 조명을 구현하도록 복수의 레벨들로 각각 조절되고, 포인트 라이트로 이용되도록 평요렌즈와 각각 결합되는 상기 수백 개의 LED로 구성될 수 있다.
상기 측정부는 상기 마이크로스케일 이미지를 획득하기 이전에, 상기 라이트 돔과 상기 매크로 렌즈가 장착된 카메라를 제어하여 촬영할 마이크로스케일 이미지 상에서, 상기 xyz 마이크로 변환 스테이지의 표면에 대한 상기 라이트 돔의 LED의 위치 및 상기 매크로 렌즈가 장착된 카메라의 축을 보정할 수 있다.
상기 측정부는 상기 매크로 렌즈가 장착된 카메라에 대한 상기 라이트 돔의 LED의 위치를 보정하고, 상기 매크로 렌즈가 장착된 카메라에 대한 상기 xyz 마이크로 변환 스테이지의 법선 벡터를 보정하며, 상기 매크로 렌즈가 장착된 카메라의 뷰 방향과 상기 라이트 돔이 방사하는 라이트의 벡터를 상기 xyz 마이크로 변환 스테이지의 기준 좌표로 변환할 수 있다.
상기 마이크로스케일에서의 표면 법선 벡터 및 표면 반사 함수 동시 측정 시스템은 상기 xyz 마이크로 변환 스테이지 하부에 배치되어, 상기 라이트 돔, 상기 매크로 렌즈가 장착된 카메라 또는 상기 xyz 마이크로 변환 스테이지 중 적어도 하나에서 발생되는 진동을 방지하는 뉴매틱 진동 절연부(pneumatic vibration isolation)를 더 포함할 수 있다.
일실시예에 따르면, 미리 설정된 간격의 조밀도를 갖는 수백 개의 LED로 구성되어, 내부에 위치하는 오브젝트에 라이트를 방사하는, 반구형 구조의 라이트 돔; 상기 라이트 돔의 중앙에 형성된 홀을 통하여, 상기 라이트 돔이 방사하는 라이트 환경 아래 상기 오브젝트를 촬영하도록 상기 라이트 돔의 상부에 배치되는, 매크로 렌즈가 장착된 카메라; 및 상기 라이트 돔의 하부에 배치되어 상기 오브젝트가 위치하며, 상기 매크로 렌즈가 장착된 카메라와 상기 오브젝트 사이의 초점 거리를 조절하도록 xyz 방향으로 이동하는, xyz 마이크로 변환 스테이지를 포함하는 마이크로스케일에서의 표면 법선 벡터 및 표면 반사 함수 동시 측정 시스템에 의해 수행되는 마이크로스케일에서의 표면 법선 벡터 및 표면 반사 함수 동시 측정 방법은 상기 라이트 돔과 상기 매크로 렌즈가 장착된 카메라를 제어하여 상기 라이트 돔이 방사하는 라이트 환경 아래 상기 오브젝트를 촬영한 마이크로스케일 이미지를 획득하는 단계; 및 상기 마이크로스케일 이미지에 기초하여 상기 오브젝트에 대한 표면 법선 벡터 및 표면 반사 함수를 동시에 측정하는 단계를 포함한다.
상기 오브젝트를 촬영한 마이크로스케일 이미지를 획득하는 단계는 상기 라이트 돔의 구면조화함수 조명(Spherical Harmonics illumination; SH illumination) 및 상기 라이트 돔의 적어도 일부 LED를 포인트 라이트로 이용하는 포인트 와이즈 조명(point-wise illumination) 아래 상기 오브젝트를 촬영한 상기 마이크로스케일 이미지를 획득하는 단계를 포함하고, 상기 마이크로스케일 이미지에 기초하여 상기 오브젝트에 대한 표면 법선 벡터 및 표면 반사 함수를 동시에 측정하는 단계는 상기 마이크로스케일 이미지를 기초로 SfS(Shape-from-Specular) 기법을 이용하여 상기 오브젝트에 대한 표면 법선 벡터를 계산하는 단계를 포함할 수 있다.
상기 마이크로스케일 이미지에 기초하여 상기 오브젝트에 대한 표면 법선 벡터 및 표면 반사 함수를 동시에 측정하는 단계는 상기 계산된 표면 법선 벡터, 논파라메트릭(non-parametric) 함수로 표현되는 상기 오브젝트의 반사도에 대한 NDF(Normal Distribution Function) 항, 상기 라이트 돔이 방사하는 라이트와 상기 매크로 렌즈가 장착된 카메라의 뷰 방향에서의 섀도잉/마스킹(Shadowing/Masking) 효과를 나타내는 기하학적 구조 항 및 컬러 벡터와 관련된 프레넬(Fresnel) 항에 기초하여 상기 오브젝트에 대한 표면 반사 함수를 계산하는 단계를 포함할 수 있다.
일실시예에 따르면, 미리 설정된 간격의 조밀도를 갖는 수백 개의 LED로 구성되어, 내부에 위치하는 오브젝트에 라이트를 방사하는, 반구형 구조의 라이트 돔; 상기 라이트 돔의 중앙에 형성된 홀을 통하여, 상기 라이트 돔이 방사하는 라이트 환경 아래 상기 오브젝트를 촬영하도록 상기 라이트 돔의 상부에 배치되는, 매크로 렌즈가 장착된 카메라; 및 상기 라이트 돔의 하부에 배치되어 상기 오브젝트가 위치하며, 상기 매크로 렌즈가 장착된 카메라와 상기 오브젝트 사이의 초점 거리를 조절하도록 xyz 방향으로 이동하는, xyz 마이크로 변환 스테이지를 포함하는 마이크로스케일에서의 표면 법선 벡터 및 표면 반사 함수 동시 측정 시스템을 구현하는 컴퓨터와 결합하여, 마이크로스케일에서의 표면 법선 벡터 및 표면 반사 함수 동시 측정 방법을 실행시키기 위해 매체에 저장된 컴퓨터 프로그램에 있어서, 상기 마이크로스케일에서의 표면 법선 벡터 및 표면 반사 함수 동시 측정 방법은 상기 라이트 돔과 상기 매크로 렌즈가 장착된 카메라를 제어하여 상기 라이트 돔이 방사하는 라이트 환경 아래 상기 오브젝트를 촬영한 마이크로스케일 이미지를 획득하는 단계; 및 상기 마이크로스케일 이미지에 기초하여 상기 오브젝트에 대한 표면 법선 벡터 및 표면 반사 함수를 동시에 측정하는 단계를 포함한다.
일실시예들은 오브젝트에 대해 마이크로스케일에서의 표면 법선 벡터 및 표면 반사 함수를 동시에 측정하는 시스템 및 그 방법을 제공할 수 있다.
구체적으로, 일실시예들은 수백 개의 LED로 구성되는 반구형 구조의 라이트 돔, 렌즈가 장착된 카메라 및 xyz 마이크로 변환 스테이지를 기반으로, 라이트 돔의 구면조화함수 조명(Spherical Harmonics illumination; SH illumination) 및 라이트 돔의 적어도 일부 LED를 포인트 라이트로 이용하는 포인트 와이즈 조명(point-wise illumination) 아래 오브젝트를 촬영한 마이크로스케일 이미지를 획득함으로써, 마이크로스케일 이미지를 기초로 오브젝트에 대한 표면 법선 벡터 및 표면 반사 함수를 동시에 측정하는 시스템 및 그 방법을 제공할 수 있다.
이 때, 일실시예들은 마이크로스케일 이미지를 획득하는 과정에서 발생되는 진동을 방지하는 시스템 및 그 방법을 제공할 수 있다.
또한, 일실시예들은 마이크로스케일 이미지를 기초로 오브젝트에 대한 표면 법선 벡터 및 표면 반사 함수를 동시에 측정하는 과정에서, 마이크로스케일 이미지에서의 확산과 반사를 분리하도록 SfS(Shape-from-Specular) 기법을 이용하여, 오브젝트에 대한 표면 법선 벡터를 계산하는 시스템 및 그 방법을 제공할 수 있다.
또한, 일실시예들은 마이크로스케일 이미지를 기초로 오브젝트에 대한 표면 법선 벡터 및 표면 반사 함수를 동시에 측정하는 과정에서, 계산된 표면 법선 벡터 및 논파라메트릭(non-parametric) 함수로 표현되는 오브젝트의 반사도에 대한 NDF(Normal Distribution Function) 항에 기초하여, 오브젝트에 대한 표면 반사 함수를 계산하는 시스템 및 그 방법을 제공할 수 있다.
또한, 일실시예들은 NDF 항 및 매크로 렌즈가 장착된 카메라의 뷰 방향에서의 섀도잉/마스킹(Shadowing/Masking) 효과를 나타내는 기하학적 구조 항을 반복적으로 최적화함으로써, 계산된 표면 반사 함수를 업데이트하는 시스템 및 그 방법을 제공할 수 있다.
또한, 일실시예들은 마이크로스케일 이미지를 획득하기 이전에, 라이트 돔과 매크로 렌즈가 장착된 카메라를 제어하여 촬영할 마이크로스케일 이미지 상에서, xyz 마이크로 변환 스테이지의 표면에 대한 라이트 돔의 LED의 위치 및 매크로 렌즈가 장착된 카메라의 축을 보정하는 시스템 및 그 방법을 제공할 수 있다.
따라서, 일실시예들은 오브젝트에 대한 표면 법선 벡터 및 표면 반사 함수를 동시에 측정하여 측정 복잡도를 감소시킬 수 있으며, 측정 정확도를 향상시킬 수 있다.
또한, 일실시예들은 오브젝트에 대한 표면 법선 벡터 및 표면 반사 함수를 측정하는 과정의 과적합을 감소시킬 수 있다.
이에, 일실시예들이 제공하는 마이크로스케일에서의 표면 법선 벡터 및 표면 반사 함수 동시 측정 시스템은 현미경 카메라 시스템과 같은 다양한 오브젝트의 외관을 캡처하는 시스템들에 적용될 수 있다.
도 1 내지 4는 일실시예에 따른 마이크로스케일에서의 표면 법선 벡터 및 표면 반사 함수 동시 측정 시스템을 나타낸 도면이다.
도 5는 일실시예에 따른 마이크로스케일 이미지 상에서, xyz 마이크로 변환 스테이지의 표면에 대한 라이트 돔의 LED의 위치 및 매크로 렌즈가 장착된 카메라의 축을 보정하는 과정을 설명하기 위한 도면이다.
도 6은 일실시예에 따른 마이크로스케일에서의 표면 법선 벡터 및 표면 반사 함수 동시 측정 방법을 나타낸 플로우 차트이다.
이하, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 또한, 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
또한, 본 명세서에서 사용되는 용어(terminology)들은 본 발명의 바람직한 실시예를 적절히 표현하기 위해 사용된 용어들로서, 이는 시청자, 운용자의 의도 또는 본 발명이 속하는 분야의 관례 등에 따라 달라질 수 있다. 따라서, 본 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1 내지 4는 일실시예에 따른 마이크로스케일에서의 표면 법선 벡터 및 표면 반사 함수 동시 측정 시스템을 나타낸 도면이다. 이하, 마이크로스케일에서의 표면 법선 벡터 및 표면 반사 함수 동시 측정 시스템을 측정 시스템으로 기재하기로 한다.
구체적으로, 도 1은 일실시예에 따른 측정 시스템을 나타낸 도면이고, 도 2는 일실시예에 따른 측정 시스템에 포함되는 xyz 마이크로 변환 스테이지를 상세히 나타낸 도면이며, 도 3은 일실시예에 따른 측정 시스템에 포함되는 라이트 돔(110)을 상세히 나타낸 도면이고, 도 4는 일실시예에 따른 측정 시스템에 포함되는 지지대를 나타낸 도면이다.
도 1 내지 4를 참조하면, 일실시예에 따른 측정 시스템은 반구형 구조의 라이트 돔(110), 매크로 렌즈가 장착된 카메라(120), xyz 마이크로 변환 스테이지(130) 및 측정부(도면에는 도시되지 않음)을 필수적으로 포함하며, 뉴메틱 진동 절연부(pneumatic vibration isolation)(140) 및 지지대(150)를 더 포함할 수 있다.
xyz 마이크로 변환 스테이지(130)는 라이트 돔(110)의 하부에 배치되어 오브젝트가 위치하며, 매크로 렌즈가 장착된 카메라(120)와 오브젝트 사이의 초점 거리를 조절하도록 xyz 방향으로 이동한다. 여기서, x 방향은 xyz 마이크로 변환 스테이지가 배치되는 평면 상에서 가로 방향을 의미하고, y 방향은 xyz 마이크로 변환 스테이지가 배치되는 평면 상에서 세로 방향을 의미하며, z 방향은 xyz 마이크로 변환 스테이지가 배치되는 평면에 직교하는 수직 방향을 의미한다.
이 때, xyz 마이크로 변환 스테이지(130)는 xyz 방향으로 움직이도록 다양하게 구성될 수 있다. 예를 들어, xyz 마이크로 변환 스테이지(130)는 도 2에 도시된 바와 같이, x 방향으로 이동하고, y 방향으로 이동하는 xy 변환부 및 z 방향으로 이동하는 z 변환부로 구성될 수 있다.
여기서, xyz 마이크로 변환 스테이지(130)는 오브젝트가 위치하는 슬라이드 및 오브젝트가 xyz 방향의 이동으로부터 움직이지 않도록 슬라이드에 위치하는 오브젝트를 고정하는 홀더를 포함할 수 있다. 따라서, 측정 시스템은 측정하고자 하는 오브젝트를 변경할 때, 시스템을 재조정하는 대신에, 오브젝트가 위치하는 슬라이드를 홀더로부터 분리하고, 다른 오브젝트가 위치하는 슬라이드를 홀더에 고정시킴으로써, 변경 과정을 보다 간단화할 수 있다.
라이트 돔(110)은 도 3에 도시된 바와 같이, 반구형 구조로서, xyz 마이크로 변환 스테이지(130)의 상부에 배치되며, 미리 설정된 간격의 조밀도를 갖는 수백 개의 LED로 구성되어, 내부에 위치하는 오브젝트(xyz 마이크로 변환 스테이지(130)에 위치하는 오브젝트)에 라이트를 방사한다.
예를 들어, 라이트 돔(110)은 오브젝트에 그림자의 캐스팅 없도록 7도 간격의 조밀도를 갖는 374개의 흰 LED(각 LED의 직경은 3mm)로 구성되어, 40mm 반경인 3D-printed 반구형 구조로 이루어질 수 있다.
이 때, 라이트 돔(110)은 중앙에 홀이 형성되어, 매크로 렌즈가 장착된 카메라(120)가 홀을 통하여 라이트 돔(110) 내부에 위치하는 오브젝트를 촬영하도록 할 수 있다.
특히, 라이트 돔(110)의 수백 개의 LED는 구면조화함수(Spherical Harmonics illumination; SH illumination) 조명을 구현하도록 복수의 레벨들로 각각 조절될 수 있으며, 포인트 와이즈 조명(point-wise illumination)을 구현하는 포인트 라이트로 이용되도록 평요렌즈(한 면은 평평하고, 다른 한 면은 오목한 렌즈)와 각각 결합될 수 있다.
예를 들어, 라이트 돔(110)의 수백 개의 LED는 4095 luminance 레벨로 레벨 3까지 올라가도록 구성될 수 있다. 이에, 라이트 돔(110)은 12 비트의 16 채널과 펄스 폭 출력을 제공하는 Arduino 마이크로-컨트롤러와 다수의 TLC5940 칩으로 구성될 수 있다.
매크로 렌즈가 장착된 카메라(120)는 라이트 돔(110)의 중앙에 형성된 홀을 통하여 라이트 돔(110)이 방사하는 라이트 환경 아래 오브젝트를 촬영하도록 라이트 돔(110)의 상부에 배치된다.
예를 들어, 매크로 렌즈가 장착된 카메라(120)는 4240×2824의 해상도(12MP, 픽셀 피치: 3.1μm)를 가지는 삼색 머신 비전 카메라(Pointgrey Grasshopper 3(GS3-U3-120S6C-C))(121)가 C-mount 어댑터를 통해 5:1의 배율을 가지는 상용 DSLR 매크로 렌즈(Canon MP-E 65mm f/2.8)(122)에 부착되어 구성될 수 있다.
여기서, 매크로 렌즈가 장착된 카메라(120)는 라이트 돔(110)의 중앙에 형성된 홀에 밀착 배치되어 고정되기 때문에, 일실시예에 따른 측정 시스템은 매크로 렌즈가 장착된 카메라(120)를 이동시켜 초점 거리를 조절하는 대신에, 위에서 설명한 바와 같이 오브젝트가 위치하는 xyz 마이크로 변환 스테이지(130)를 xyz 방향으로 이동시킴으로써, 초점 거리를 조절할 수 있다.
뉴메틱 진동 절연부(140)는 xyz 마이크로 변환 스테이지(130) 하부에 배치되어, 라이트 돔(110), 매크로 렌즈가 장착된 카메라(120) 또는 xyz 마이크로 변환 스테이지(130) 중 적어도 하나에서 발생되는 진동을 방지할 수 있다. 이 때, 뉴메틱 진동 절연부(140)로는 공기 진동 절연을 갖춘 상용 광학 테이블(Daeil DVIO-B2410M-200T)이 이용될 수 있다.
지지대(150)에는 매크로 렌즈가 장착된 카메라(120)가 부착되며, 뉴메틱 진동 절연부(140)가 고정될 수 있다. 예를 들어, 지지대(150)는 도 4에 도시된 바와 같이, 80*40*110 cm의 치수로 제작되어, 상부 프레임에 매크로 렌즈가 장착된 카메라(120)가 부착되고, 하부 프레임에 뉴메틱 진동 절연부(140)가 고정될 수 있다.
측정부는 측정 시스템의 일측에 구비되어(예컨대, 매크로 렌즈가 장착된 카메라(120)에 내장되어), 라이트 돔(110)과 매크로 렌즈가 장착된 카메라(120)를 제어하여, 라이트 돔(110)이 방사하는 라이트 환경 아래 오브젝트를 촬영한 마이크로스케일 이미지를 획득하고, 마이크로스케일 이미지에 기초하여 오브젝트에 대한 표면 법선 벡터 및 표면 반사 함수를 동시에 측정한다.
예를 들어, 측정부는 라이트 돔(110)이 구면조화함수 조명 및 포인트 와이즈 조명을 구현하도록 제어함으로써, 구면조화함수 조명 및 포인트 와이즈 조명 아래 오브젝트를 촬영한 마이크로스케일 이미지를 획득하고, 마이크로스케일 이미지를 기초로 오브젝트에 대한 표면 법선 벡터 및 표면 반사 함수를 동시에 측정할 수 있다. 이에 대한 상세한 설명은 도 6을 참조하여 기재하기로 한다.
또한, 측정부는 오브젝트에 대한 표면 법선 벡터 및 표면 반사 함수를 동시에 측정하기 위하여 오브젝트를 촬영한 마이크로스케일 이미지를 획득하기 이전에(오브젝트를 촬영하기 이전에), xyz 마이크로 변환 스테이지(130)의 표면에 대한 라이트 돔(110)의 LED의 위치 및 매크로 렌즈가 장착된 카메라(120)의 축을 보정할 수 있다. 이에 대한 상세한 설명은 도 5를 참조하여 기재하기로 한다.
이와 같이, 일실시예에 따른 측정 시스템은 구면조화함수 조명을 구현하도록 복수의 레벨들로 각각 조절되고, 포인트 와이즈 조명을 구현하는 포인트 라이트로 이용되도록 평요렌즈와 각각 결합하는 수백 개의 LED로 구성되는 라이트 돔(110), 매크로 렌즈가 장착된 카메라(120) 및 xyz 마이크로 변환 스테이지(130)를 포함함으로써, 오브젝트에 대한 표면 법선 벡터 및 표면 반사 함수를 동시에 측정하여 측정 복잡도를 감소시키고, 측정 정확도를 향상시키며, 측정 과정에서의 과적합을 감소시킬 수 있다.
또한, 상술한 측정 시스템은 현미경 카메라 시스템에 적용됨으로써, 다양한 외관의 오브젝트를 캡처하고 재건(reconstruction)하는 과정에서 이용될 수 있다.
도 5는 일실시예에 따른 마이크로스케일 이미지 상에서, xyz 마이크로 변환 스테이지의 표면에 대한 라이트 돔의 LED의 위치 및 매크로 렌즈가 장착된 카메라의 축을 보정하는 과정을 설명하기 위한 도면이다.
도 5를 참조하면, 일실시예에 따른 측정 시스템에 포함되는 측정부는 오브젝트에 대한 표면 법선 벡터 및 표면 반사 함수를 동시에 측정하기 위하여 오브젝트를 촬영한 마이크로스케일 이미지를 획득하기 이전에(오브젝트를 촬영하기 이전에), 라이트 돔과 매크로 렌즈가 장착된 카메라를 제어하여 촬영할 마이크로스케일 이미지 상에서, xyz 마이크로 변환 스테이지의 표면에 대한 라이트 돔의 LED의 위치 및 매크로 렌즈가 장착된 카메라의 축을 보정할 수 있다.
예를 들어, 측정부는 매크로 렌즈가 장착된 카메라에 대한 라이트 돔의 LED의 위치를 보정하고, 매크로 렌즈가 장착된 카메라에 대한 xyz 마이크로 변환 스테이지의 법선 벡터를 보정하며, 매크로 렌즈가 장착된 카메라의 뷰 방향과 라이트 돔이 방사하는 라이트의 벡터를 xyz 마이크로 변환 스테이지의 기준 좌표로 변환함으로써, xyz 마이크로 변환 스테이지의 표면에 대한 라이트 돔의 LED의 위치 및 매크로 렌즈가 장착된 카메라의 축을 보정할 수 있다.
더 구체적인 예를 들면, 측정부는 우선 xyz 마이크로 변환 스테이지 상에 위치하는, 라이트 프로브로 사용되는 크롬 볼(1.0mm 직경)에 라이트 돔의 수백 개의 LED를 선택적으로 on 시켜 라이트를 방사시키고, 매크로 렌즈가 장착된 카메라를 제어하여 크롬 볼을 촬영한 마이크로스케일의 테스트 이미지를 획득할 수 있다.
이에, 측정부는 테스트 이미지에서, 초기 라이트 벡터
Figure 112016092241560-pat00001
를 거울 반사 방정식인
Figure 112016092241560-pat00002
에 따라 산출할 수 있다. 여기서,
Figure 112016092241560-pat00003
는 매크로 렌즈가 장착된 카메라 좌표에서 초기 뷰 방향의 벡터
Figure 112016092241560-pat00004
이고,
Figure 112016092241560-pat00005
는 매크로 렌즈가 장착된 카메라 좌표에서 크롬 볼 표면의 가장 밝은 픽셀의 법선에 해당하는 값(초기 뷰 방향의 벡터
Figure 112016092241560-pat00006
의 방향으로 맞춰진 값)일 수 있다.
그 다음, 측정부는 도 5에 도시된 바와 같이, 각 라이트의 평균 차광 정보로부터 매크로 렌즈가 장착된 카메라 좌표 상의 xyz 마이크로 변환 스테이지의 방향
Figure 112016092241560-pat00007
을 알아낸다. 이 때, 측정부는 photometric stereo에 의존하여
Figure 112016092241560-pat00008
을 측정할 수 있다.
그 후, 측정부는
Figure 112016092241560-pat00009
의 동일한 z 방향 성분과 직교 벡터 프레임에 대하여 매크로 렌즈가 장착된 카메라 좌표를 xyz 마이크로 변환 스테이지의 기준 좌표로 변환할 수 있다. 여기서, 측정부는 벡터 프레임 상의 회전 변환을 적용하여, 매크로 렌즈가 장착된 카메라 좌표의 초기 뷰 방향의 벡터
Figure 112016092241560-pat00010
를 xyz 마이크로 변환 스테이지의 기준 좌표의 실제 뷰 방향 벡터
Figure 112016092241560-pat00011
로 변환할 수 있다.
도 6은 일실시예에 따른 마이크로스케일에서의 표면 법선 벡터 및 표면 반사 함수 동시 측정 방법을 나타낸 플로우 차트이다. 이하, 마이크로스케일에서의 표면 법선 벡터 및 표면 반사 함수 동시 측정 방법은 위에서 설명한 측정 시스템(특히, 측정 시스템에 포함되는 측정부)에 의해 수행된다. 또한, 마이크로스케일에서의 표면 법선 벡터 및 표면 반사 함수 동시 측정 방법은 위에서 설명한 측정 시스템을 구현하는 컴퓨터와 결합하는 매체에 저장된 컴퓨터 프로그램의 형태로 구현될 수도 있다.
도 6을 참조하면, 일실시예에 따른 측정 시스템은 라이트 돔과 매크로 렌즈가 장착된 카메라를 제어하여 라이트 돔이 방사하는 라이트 환경 아래 오브젝트를 촬영한 마이크로스케일 이미지를 획득한다(610).
구체적으로, 610 단계에서, 측정 시스템은 라이트 돔의 구면조화함수 조명 및 라이트 돔의 적어도 일부 LED를 포인트 라이트로 이용하는 포인트 와이즈 조명 아래 오브젝트를 촬영한 마이크로스케일 이미지를 획득할 수 있다.
그 후, 측정 시스템은 마이크로스케일 이미지에 기초하여 오브젝트에 대한 표면 법선 벡터 및 표면 반사 함수를 동시에 측정한다(620).
620 단계에서, 측정 시스템은 마이크로스케일 이미지를 기초로 SfS(Shape-from-Specular) 기법을 이용하여 오브젝트에 대한 표면 법선 벡터를 계산할 수 있다.
이 때, 라이트 돔의 중앙에는 홀이 형성되어 있기 때문에(라이트 돔의 중앙에 LED가 배치되어 있지 않기 때문에), 610 단계에서 구면조화함수 조명의 패턴의 일부가 누락될 수 있으며, 이는 표면 법선 벡터에 포함되는 일부 값이 고정되는 경향을 야기시킬 수 있다.
따라서, 측정 시스템은 이러한 문제를 해결하기 위하여, 포인트 라이트에 의한 미러-라이크(mirror-like) 반사 벡터를 초기 표면 법선 벡터에 삽입하여 초기 표면 법선 벡터에 포함되는 고정된 일부 값들과 이상치 아티팩트(outlier artifact)를 업데이트하여 표면 법선 벡터를 계산할 수 있다.
예를 들어, 측정 시스템은 마이크로스케일 이미지에서 오브젝트의 각 픽셀 당 초기 표면 법선 벡터를 측정하며, 포인트 라이트에 의한 미러-라이크 반사 벡터를 기초로 SfS 기법을 이용하여 초기 표면 법선 벡터를 업데이트하여 오브젝트에 대한 표면 법선 벡터를 계산할 수 있다.
또한, 620 단계에서, 측정 시스템은 위에서 계산된 표면 법선 벡터, 논파라메트릭(non-parametric) 함수로 표현되는 오브젝트의 반사도에 대한 NDF(Normal Distribution Function) 항, 라이트 돔이 방사하는 라이트와 매크로 렌즈가 장착된 카메라의 뷰 방향에서의 섀도잉/마스킹(Shadowing/Masking) 효과를 나타내는 기하학적 구조 항 및 컬러 벡터와 관련된 프레넬(Fresnel) 항에 기초하여 오브젝트에 대한 표면 반사 함수(SVBRDFs(Spatially-Varying Bidirectional Reflectance Distribution Functions))를 계산할 수 있다.
예를 들어, 측정 시스템은 매크로 렌즈가 장착된 카메라의 고정된 뷰 방향을 감안하여, SVBRDFs에서 각 BRDFs를 확산항과 논파라메트릭 반사항으로 표현하고, 논파라메트릭 반사항을 최적화한 뒤, 오브젝트의 반사율을 기준 BRDFs와 대응하는 혼합 계수로 인수분해함으로써, 오브젝트에 대한 표면 반사 함수를 계산할 수 있다.
더 구체적인 예를 들면, 라이트 I 아래 뷰 방향
Figure 112016092241560-pat00012
을 따라 오브젝트의 각 포인트
Figure 112016092241560-pat00013
에서 반사된 빛
Figure 112016092241560-pat00014
은 수학식 1과 같이 계산될 수 있다.
<수학식 1>
Figure 112016092241560-pat00015

수학식 1에서,
Figure 112016092241560-pat00016
포인트 x에서의 표면 법선 벡터를 의미한다. 또한, 오브젝트의 반사율
Figure 112016092241560-pat00017
은 확산항과 정반사항으로 수학식 2와 같이 표현될 수 있다.
<수학식 2>
Figure 112016092241560-pat00018

수학식 2에서,
Figure 112016092241560-pat00019
및
Figure 112016092241560-pat00020
는 포인트 x의 microfacet 스케일에서의 확산 및 반사 알베도를 각각 의미하고,
Figure 112016092241560-pat00021
는 절반 각도를 의미하며, D는 논파라메트릭 함수로 표현되는 오브젝트의 반사도에 대한 NDF 항을 의미하며, G는 라이트 돔이 방사하는 라이트와 매크로 렌즈가 장착된 카메라의 뷰 방향에서의 섀도잉/마스킹 효과를 나타내는 기하학적 구조 항을 의미하고, F는 컬러 벡터와 관련된 프레넬 항을 의미한다.
여기서, NDF 항은 90 계수의 표로 만들어진 논파라메트릭 함수로 표현될 수 있으며, 측정부는 오브젝트의 반사 lobe를 단조성 제약만으로 단일 논파라메트릭 NDF 항으로 인수분해할 수 있다.
Ashikhmin's 공식에 의해 표현되는 기하학적 구조 항은 상기 공식에서 NDF 항과 관련되기 때문에, 측정부는 V-grooves 기법에 기반하여 초기 기하학적 구조 항을 얻은 후에, 기하학적 구조 항 및 NDF 항에 대해 상호 최적화를 수행하여, 기하학적 구조 항 및 NDF 항을 인수분해할 수 있다.
프레넬 항은 표면 반사 함수를 계산하는 과정의 복잡도를 낮추기 위하여, 컬러 벡터
Figure 112016092241560-pat00022
로부터 컬러 벡터 상수 F로 단순화될 수 있다.
즉, 측정부는 반사율 R에 대해 NDF 항 및 기하학적 구조 항을 반복적으로 최적화한 뒤, 인수분해를 수행함으로써, 표면 반사 함수를 업데이트할 수 있다. 이 때, NDF 항 및 기하학적 구조 항을 반복적으로 최적화하는 것은 RMSE(Root Mean Squared Error)가 기준값 이상 증가될 때까지 수행될 수 있다.
또한, 도면에는 도시되지 않았지만, 측정 시스템은 610 단계 이전에, 라이트 돔과 매크로 렌즈가 장착된 카메라를 제어하여 촬영할 마이크로스케일 이미지 상에서, xyz 마이크로 변환 스테이지의 표면에 대한 라이트 돔의 LED의 위치 및 매크로 렌즈가 장착된 카메라의 축을 보정할 수 있다.
예를 들어, 측정 시스템은 매크로 렌즈가 장착된 카메라에 대한 라이트 돔의 LED의 위치를 보정하고, 매크로 렌즈가 장착된 카메라에 대한 xyz 마이크로 변환 스테이지의 법선 벡터를 보정하며, 매크로 렌즈가 장착된 카메라의 뷰 방향과 라이트 돔이 방사하는 라이트의 벡터를 xyz 마이크로 변환 스테이지의 기준 좌표로 변환함으로써, xyz 마이크로 변환 스테이지의 표면에 대한 라이트 돔의 LED의 위치 및 매크로 렌즈가 장착된 카메라의 축을 보정할 수 있다.
이와 같이, 일실시예에 따른 측정 시스템은 구면조화함수 조명을 구현하도록 복수의 레벨들로 각각 조절되고, 포인트 와이즈 조명을 구현하는 포인트 라이트로 이용되도록 평요렌즈와 각각 결합하는 수백 개의 LED로 구성되는 라이트 돔, 매크로 렌즈가 장착된 카메라 및 xyz 마이크로 변환 스테이지를 기반으로, 라이트 돔의 구면조화함수 조명 및 포인트 와이즈 조명 아래 오브젝트를 촬영한 마이크로스케일 이미지를 획득하고, 마이크로스케일 이미지를 기초로 오브젝트에 대한 표면 법선 벡터 및 표면 반사 함수를 동시에 측정함으로써, 측정 복잡도를 감소시키고, 측정 정확도를 향상시키며, 측정 과정에서의 과적합을 감소시킬 수 있다.
또한, 상술한 측정 시스템은 현미경 카메라 시스템과 같은 다양한 오브젝트의 외관을 캡처하는 시스템들에 적용될 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (15)

  1. 미리 설정된 간격의 조밀도를 갖는 수백 개의 LED로 구성되어, 내부에 위치하는 오브젝트에 라이트를 방사하는, 반구형 구조의 라이트 돔;
    상기 라이트 돔의 중앙에 형성된 홀을 통하여, 상기 라이트 돔이 방사하는 라이트 환경 아래 상기 오브젝트를 촬영하도록 상기 라이트 돔의 상부에 배치되는, 매크로 렌즈가 장착된 카메라;
    상기 라이트 돔의 하부에 배치되어 상기 오브젝트가 위치하며, 상기 매크로 렌즈가 장착된 카메라와 상기 오브젝트 사이의 초점 거리를 조절하도록 xyz 방향으로 이동하는, xyz 마이크로 변환 스테이지; 및
    상기 라이트 돔과 상기 매크로 렌즈가 장착된 카메라를 제어하여 상기 라이트 돔이 방사하는 라이트 환경 아래 상기 오브젝트를 촬영한 마이크로스케일 이미지를 획득하고, 상기 마이크로스케일 이미지에 기초하여 상기 오브젝트에 대한 표면 법선 벡터 및 표면 반사 함수를 동시에 측정하는, 측정부
    를 포함하고,
    상기 측정부는
    상기 라이트 돔의 구면조화함수 조명(Spherical Harmonics illumination; SH illumination) 및 상기 라이트 돔의 적어도 일부 LED를 포인트 라이트로 이용하는 포인트 와이즈 조명(point-wise illumination) 아래 상기 오브젝트를 촬영한 상기 마이크로스케일 이미지를 획득하고, 상기 마이크로스케일 이미지를 기초로 SfS(Shape-from-Specular) 기법을 이용하여 상기 오브젝트에 대한 표면 법선 벡터를 계산하는 마이크로스케일에서의 표면 법선 벡터 및 표면 반사 함수 동시 측정 시스템.
  2. 삭제
  3. 제1항에 있어서,
    상기 측정부는
    상기 마이크로스케일 이미지에서 상기 오브젝트의 각 픽셀 당 초기 표면 법선 벡터를 측정하며, 상기 포인트 라이트에 의한 미러-라이크(mirror-like) 반사 벡터를 기초로 상기 SfS 기법을 이용하여 상기 초기 표면 법선 벡터를 업데이트하여 상기 오브젝트에 대한 표면 법선 벡터를 계산하는, 마이크로스케일에서의 표면 법선 벡터 및 표면 반사 함수 동시 측정 시스템.
  4. 제1항에 있어서,
    상기 측정부는
    상기 계산된 표면 법선 벡터, 논파라메트릭(non-parametric) 함수로 표현되는 상기 오브젝트의 반사도에 대한 NDF(Normal Distribution Function) 항, 상기 라이트 돔이 방사하는 라이트와 상기 매크로 렌즈가 장착된 카메라의 뷰 방향에서의 섀도잉/마스킹(Shadowing/Masking) 효과를 나타내는 기하학적 구조 항 및 컬러 벡터와 관련된 프레넬(Fresnel) 항에 기초하여 상기 오브젝트에 대한 표면 반사 함수를 계산하는, 마이크로스케일에서의 표면 법선 벡터 및 표면 반사 함수 동시 측정 시스템.
  5. 제4항에 있어서,
    상기 측정부는
    상기 NDF 항 및 상기 기하학적 구조 항을 반복적으로 최적화하여 상기 표면 반사 함수를 업데이트하는, 마이크로스케일에서의 표면 법선 벡터 및 표면 반사 함수 동시 측정 시스템.
  6. 미리 설정된 간격의 조밀도를 갖는 수백 개의 LED로 구성되어, 내부에 위치하는 오브젝트에 라이트를 방사하는, 반구형 구조의 라이트 돔;
    상기 라이트 돔의 중앙에 형성된 홀을 통하여, 상기 라이트 돔이 방사하는 라이트 환경 아래 상기 오브젝트를 촬영하도록 상기 라이트 돔의 상부에 배치되는, 매크로 렌즈가 장착된 카메라;
    상기 라이트 돔의 하부에 배치되어 상기 오브젝트가 위치하며, 상기 매크로 렌즈가 장착된 카메라와 상기 오브젝트 사이의 초점 거리를 조절하도록 xyz 방향으로 이동하는, xyz 마이크로 변환 스테이지; 및
    상기 라이트 돔과 상기 매크로 렌즈가 장착된 카메라를 제어하여 상기 라이트 돔이 방사하는 라이트 환경 아래 상기 오브젝트를 촬영한 마이크로스케일 이미지를 획득하고, 상기 마이크로스케일 이미지에 기초하여 상기 오브젝트에 대한 표면 법선 벡터 및 표면 반사 함수를 동시에 측정하는, 측정부
    를 포함하고,
    상기 라이트 돔은
    구면조화함수 조명을 구현하도록 복수의 레벨들로 각각 조절되고, 포인트 라이트로 이용되도록 평요렌즈와 각각 결합되는 상기 수백 개의 LED로 구성되는, 마이크로스케일에서의 표면 법선 벡터 및 표면 반사 함수 동시 측정 시스템.
  7. 삭제
  8. 미리 설정된 간격의 조밀도를 갖는 수백 개의 LED로 구성되어, 내부에 위치하는 오브젝트에 라이트를 방사하는, 반구형 구조의 라이트 돔;
    상기 라이트 돔의 중앙에 형성된 홀을 통하여, 상기 라이트 돔이 방사하는 라이트 환경 아래 상기 오브젝트를 촬영하도록 상기 라이트 돔의 상부에 배치되는, 매크로 렌즈가 장착된 카메라;
    상기 라이트 돔의 하부에 배치되어 상기 오브젝트가 위치하며, 상기 매크로 렌즈가 장착된 카메라와 상기 오브젝트 사이의 초점 거리를 조절하도록 xyz 방향으로 이동하는, xyz 마이크로 변환 스테이지; 및
    상기 라이트 돔과 상기 매크로 렌즈가 장착된 카메라를 제어하여 상기 라이트 돔이 방사하는 라이트 환경 아래 상기 오브젝트를 촬영한 마이크로스케일 이미지를 획득하고, 상기 마이크로스케일 이미지에 기초하여 상기 오브젝트에 대한 표면 법선 벡터 및 표면 반사 함수를 동시에 측정하는, 측정부
    를 포함하고,
    상기 측정부는
    상기 마이크로스케일 이미지를 획득하기 이전에, 상기 라이트 돔과 상기 매크로 렌즈가 장착된 카메라를 제어하여 촬영할 마이크로스케일 이미지 상에서, 상기 xyz 마이크로 변환 스테이지의 표면에 대한 상기 라이트 돔의 LED의 위치 및 상기 매크로 렌즈가 장착된 카메라의 축을 보정하며,
    상기 측정부는
    상기 매크로 렌즈가 장착된 카메라에 대한 상기 라이트 돔의 LED의 위치를 보정하고, 상기 매크로 렌즈가 장착된 카메라에 대한 상기 xyz 마이크로 변환 스테이지의 법선 벡터를 보정하며, 상기 매크로 렌즈가 장착된 카메라의 뷰 방향과 상기 라이트 돔이 방사하는 라이트의 벡터를 상기 xyz 마이크로 변환 스테이지의 기준 좌표로 변환하는, 마이크로스케일에서의 표면 법선 벡터 및 표면 반사 함수 동시 측정 시스템.
  9. 미리 설정된 간격의 조밀도를 갖는 수백 개의 LED로 구성되어, 내부에 위치하는 오브젝트에 라이트를 방사하는, 반구형 구조의 라이트 돔;
    상기 라이트 돔의 중앙에 형성된 홀을 통하여, 상기 라이트 돔이 방사하는 라이트 환경 아래 상기 오브젝트를 촬영하도록 상기 라이트 돔의 상부에 배치되는, 매크로 렌즈가 장착된 카메라;
    상기 라이트 돔의 하부에 배치되어 상기 오브젝트가 위치하며, 상기 매크로 렌즈가 장착된 카메라와 상기 오브젝트 사이의 초점 거리를 조절하도록 xyz 방향으로 이동하는, xyz 마이크로 변환 스테이지; 및
    상기 라이트 돔과 상기 매크로 렌즈가 장착된 카메라를 제어하여 상기 라이트 돔이 방사하는 라이트 환경 아래 상기 오브젝트를 촬영한 마이크로스케일 이미지를 획득하고, 상기 마이크로스케일 이미지에 기초하여 상기 오브젝트에 대한 표면 법선 벡터 및 표면 반사 함수를 동시에 측정하는, 측정부
    를 포함하고,
    상기 xyz 마이크로 변환 스테이지 하부에 배치되어, 상기 라이트 돔, 상기 매크로 렌즈가 장착된 카메라 또는 상기 xyz 마이크로 변환 스테이지 중 적어도 하나에서 발생되는 진동을 방지하는 뉴매틱 진동 절연부(pneumatic vibration isolation)
    를 더 포함하는 마이크로스케일에서의 표면 법선 벡터 및 표면 반사 함수 동시 측정 시스템.
  10. 미리 설정된 간격의 조밀도를 갖는 수백 개의 LED로 구성되어, 내부에 위치하는 오브젝트에 라이트를 방사하는, 반구형 구조의 라이트 돔; 상기 라이트 돔의 중앙에 형성된 홀을 통하여, 상기 라이트 돔이 방사하는 라이트 환경 아래 상기 오브젝트를 촬영하도록 상기 라이트 돔의 상부에 배치되는, 매크로 렌즈가 장착된 카메라; 및 상기 라이트 돔의 하부에 배치되어 상기 오브젝트가 위치하며, 상기 매크로 렌즈가 장착된 카메라와 상기 오브젝트 사이의 초점 거리를 조절하도록 xyz 방향으로 이동하는, xyz 마이크로 변환 스테이지를 포함하는 마이크로스케일에서의 표면 법선 벡터 및 표면 반사 함수 동시 측정 시스템에 의해 수행되는 마이크로스케일에서의 표면 법선 벡터 및 표면 반사 함수 동시 측정 방법에 있어서,
    상기 라이트 돔과 상기 매크로 렌즈가 장착된 카메라를 제어하여 상기 라이트 돔이 방사하는 라이트 환경 아래 상기 오브젝트를 촬영한 마이크로스케일 이미지를 획득하는 단계; 및
    상기 마이크로스케일 이미지에 기초하여 상기 오브젝트에 대한 표면 법선 벡터 및 표면 반사 함수를 동시에 측정하는 단계
    를 포함하고,
    상기 오브젝트를 촬영한 마이크로스케일 이미지를 획득하는 단계는
    상기 라이트 돔의 구면조화함수 조명(Spherical Harmonics illumination; SH illumination) 및 상기 라이트 돔의 적어도 일부 LED를 포인트 라이트로 이용하는 포인트 와이즈 조명(point-wise illumination) 아래 상기 오브젝트를 촬영한 상기 마이크로스케일 이미지를 획득하는 단계
    를 포함하고,
    상기 마이크로스케일 이미지에 기초하여 상기 오브젝트에 대한 표면 법선 벡터 및 표면 반사 함수를 동시에 측정하는 단계는
    상기 마이크로스케일 이미지를 기초로 SfS(Shape-from-Specular) 기법을 이용하여 상기 오브젝트에 대한 표면 법선 벡터를 계산하는 단계
    를 포함하는 마이크로스케일에서의 표면 법선 벡터 및 표면 반사 함수 동시 측정 방법.
  11. 삭제
  12. 제10항에 있어서,
    상기 마이크로스케일 이미지에 기초하여 상기 오브젝트에 대한 표면 법선 벡터 및 표면 반사 함수를 동시에 측정하는 단계는
    상기 계산된 표면 법선 벡터, 논파라메트릭(non-parametric) 함수로 표현되는 상기 오브젝트의 반사도에 대한 NDF(Normal Distribution Function) 항, 상기 라이트 돔이 방사하는 라이트와 상기 매크로 렌즈가 장착된 카메라의 뷰 방향에서의 섀도잉/마스킹(Shadowing/Masking) 효과를 나타내는 기하학적 구조 항 및 컬러 벡터와 관련된 프레넬(Fresnel) 항에 기초하여 상기 오브젝트에 대한 표면 반사 함수를 계산하는 단계
    를 포함하는 마이크로스케일에서의 표면 법선 벡터 및 표면 반사 함수 동시 측정 방법.
  13. 미리 설정된 간격의 조밀도를 갖는 수백 개의 LED로 구성되어, 내부에 위치하는 오브젝트에 라이트를 방사하는, 반구형 구조의 라이트 돔; 상기 라이트 돔의 중앙에 형성된 홀을 통하여, 상기 라이트 돔이 방사하는 라이트 환경 아래 상기 오브젝트를 촬영하도록 상기 라이트 돔의 상부에 배치되는, 매크로 렌즈가 장착된 카메라; 및 상기 라이트 돔의 하부에 배치되어 상기 오브젝트가 위치하며, 상기 매크로 렌즈가 장착된 카메라와 상기 오브젝트 사이의 초점 거리를 조절하도록 xyz 방향으로 이동하는, xyz 마이크로 변환 스테이지를 포함하는 마이크로스케일에서의 표면 법선 벡터 및 표면 반사 함수 동시 측정 시스템을 구현하는 컴퓨터와 결합하여, 마이크로스케일에서의 표면 법선 벡터 및 표면 반사 함수 동시 측정 방법을 실행시키기 위해 매체에 저장된 컴퓨터 프로그램에 있어서,
    상기 마이크로스케일에서의 표면 법선 벡터 및 표면 반사 함수 동시 측정 방법은
    상기 라이트 돔과 상기 매크로 렌즈가 장착된 카메라를 제어하여 상기 라이트 돔이 방사하는 라이트 환경 아래 상기 오브젝트를 촬영한 마이크로스케일 이미지를 획득하는 단계; 및
    상기 마이크로스케일 이미지에 기초하여 상기 오브젝트에 대한 표면 법선 벡터 및 표면 반사 함수를 동시에 측정하는 단계
    를 포함하고,
    상기 오브젝트를 촬영한 마이크로스케일 이미지를 획득하는 단계는
    상기 라이트 돔의 구면조화함수 조명(Spherical Harmonics illumination; SH illumination) 및 상기 라이트 돔의 적어도 일부 LED를 포인트 라이트로 이용하는 포인트 와이즈 조명(point-wise illumination) 아래 상기 오브젝트를 촬영한 상기 마이크로스케일 이미지를 획득하는 단계
    를 포함하고,
    상기 마이크로스케일 이미지에 기초하여 상기 오브젝트에 대한 표면 법선 벡터 및 표면 반사 함수를 동시에 측정하는 단계는
    상기 마이크로스케일 이미지를 기초로 SfS(Shape-from-Specular) 기법을 이용하여 상기 오브젝트에 대한 표면 법선 벡터를 계산하는 단계
    를 포함하는 매체에 저장된 컴퓨터 프로그램.
  14. 삭제
  15. 제13항에 있어서,
    상기 마이크로스케일 이미지에 기초하여 상기 오브젝트에 대한 표면 법선 벡터 및 표면 반사 함수를 동시에 측정하는 단계는
    상기 계산된 표면 법선 벡터, 논파라메트릭(non-parametric) 함수로 표현되는 상기 오브젝트의 반사도에 대한 NDF(Normal Distribution Function) 항, 상기 라이트 돔이 방사하는 라이트와 상기 매크로 렌즈가 장착된 카메라의 뷰 방향에서의 섀도잉/마스킹(Shadowing/Masking) 효과를 나타내는 기하학적 구조 항 및 컬러 벡터와 관련된 프레넬(Fresnel) 항에 기초하여 상기 오브젝트에 대한 표면 반사 함수를 계산하는 단계
    를 포함하는 매체에 저장된 컴퓨터 프로그램.
KR1020160121871A 2016-09-23 2016-09-23 마이크로스케일에서의 표면 법선 벡터 및 표면 반사 함수 동시 측정 방법 및 시스템 KR101873648B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020160121871A KR101873648B1 (ko) 2016-09-23 2016-09-23 마이크로스케일에서의 표면 법선 벡터 및 표면 반사 함수 동시 측정 방법 및 시스템
US15/427,821 US10281396B2 (en) 2016-09-23 2017-02-08 Method and system for simultaneously measuring surface normal vector and surface reflectance function in microscale

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160121871A KR101873648B1 (ko) 2016-09-23 2016-09-23 마이크로스케일에서의 표면 법선 벡터 및 표면 반사 함수 동시 측정 방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20180032791A KR20180032791A (ko) 2018-04-02
KR101873648B1 true KR101873648B1 (ko) 2018-07-04

Family

ID=61685217

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160121871A KR101873648B1 (ko) 2016-09-23 2016-09-23 마이크로스케일에서의 표면 법선 벡터 및 표면 반사 함수 동시 측정 방법 및 시스템

Country Status (2)

Country Link
US (1) US10281396B2 (ko)
KR (1) KR101873648B1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10247621B1 (en) 2015-09-13 2019-04-02 Sitime Corporation High resolution temperature sensor
CN108885168B (zh) * 2018-06-12 2023-12-01 北京云端光科技术有限公司 一种检测***及信号增强装置
US10895448B2 (en) * 2019-04-09 2021-01-19 General Electric Company System and method for collecting measurement data of shaped cooling holes of CMC components
CN112051664A (zh) * 2020-09-28 2020-12-08 艾普拜生物科技(苏州)有限公司 一种可插拔的xy载物台及应用

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003338448A (ja) * 2002-05-21 2003-11-28 Nikon Corp 位置計測方法と位置計測装置、及び露光方法と露光装置並びにマーク計測方法
JP2013160596A (ja) * 2012-02-03 2013-08-19 Omron Corp ３次元形状計測装置およびキャリブレーション方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001358062A (ja) * 2000-04-11 2001-12-26 Nikon Corp 露光方法及び露光装置
US6900805B2 (en) * 2002-08-29 2005-05-31 Nec Laboratories America, Inc. Torrance-sparrow off-specular reflection and linear subspaces for object recognition
US7436504B2 (en) * 2003-09-10 2008-10-14 Shear Graphics, Llc Non-destructive testing and imaging
GB0913930D0 (en) * 2009-08-07 2009-09-16 Ucl Business Plc Apparatus and method for registering two medical images
US20120212491A1 (en) * 2011-02-22 2012-08-23 Sony Computer Entertainment Inc. Indirect lighting process for virtual environments
WO2014153022A1 (en) * 2013-03-14 2014-09-25 University Of Southern California Specular object scanner for measuring reflectance properties of objects
JP2017504307A (ja) * 2013-10-07 2017-02-09 セルラー リサーチ， インコーポレイテッド アレイ上のフィーチャーをデジタルカウントするための方法およびシステム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003338448A (ja) * 2002-05-21 2003-11-28 Nikon Corp 位置計測方法と位置計測装置、及び露光方法と露光装置並びにマーク計測方法
JP2013160596A (ja) * 2012-02-03 2013-08-19 Omron Corp ３次元形状計測装置およびキャリブレーション方法

Also Published As

Publication number Publication date
US10281396B2 (en) 2019-05-07
US20180087894A1 (en) 2018-03-29
KR20180032791A (ko) 2018-04-02

Similar Documents

Publication Publication Date Title
KR101873648B1 (ko) 마이크로스케일에서의 표면 법선 벡터 및 표면 반사 함수 동시 측정 방법 및 시스템
JP6519265B2 (ja) 画像処理方法
US7740361B2 (en) Alignment optimization in image display systems employing multi-camera image acquisition
KR102287472B1 (ko) 인공조명 사진을 이용한 3차원 객체 획득 방법 및 그 장치
JP5133626B2 (ja) 表面反射特性測定装置
US20150116460A1 (en) Method and apparatus for generating depth map of a scene
JP5484133B2 (ja) 鏡面反射物体の３ｄ姿勢を推定する方法
JP4872035B2 (ja) 撮像装置、撮像画像距離測定方法、撮像画像距離測定プログラム、及び記録媒体
WO2014136490A1 (ja) 形状検査方法およびその装置
JP2018141653A (ja) 画像処理装置、画像処理方法およびプログラム
JP6537738B2 (ja) 光学素子、照明器具、光学素子を作製するための方法及び非一時的コンピューター可読記憶媒体
US10853935B2 (en) Image processing system, computer readable recording medium, and image processing method
JP7330970B2 (ja) コンピュータ生成された参照物体を有するマシンビジョンシステム
US9560250B2 (en) Information processing apparatus, measurement system, control system, light amount determination method and storage medium
JP6237032B2 (ja) 色と三次元形状の計測方法及び装置
JP5441752B2 (ja) 環境内の３ｄ物体の３ｄ姿勢を推定する方法及び装置
CN111971523B (zh) 视觉传感器***、控制方法及存储介质
CN114241059A (zh) 一种光度立体视觉***中相机和光源的同步标定方法
US10859506B2 (en) Image processing system for processing image data generated in different light emission states, non-transitory computer readable recording medium, and image processing method
CN111696146B (zh) 人脸模型重建方法、***、图像处理***及存储介质
KR20130022415A (ko) 측정장치 및 이의 보정방법
JP2020196081A (ja) ビジュアルサーボシステム
US20240062510A1 (en) Apparatus and method for determining the lighting characteristics of a lighting fixture
Ellenrieder et al. Reflectivity function based illumination and sensor planning for industrial inspection
Takahashi et al. Development of design and operation supporting techniques for product inspection devices using virtual devices

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant