KR20180021509A - 거리 정보를 획득하는 방법 및 디바이스 - Google Patents

거리 정보를 획득하는 방법 및 디바이스 Download PDF

Info

Publication number
KR20180021509A
KR20180021509A KR1020160106167A KR20160106167A KR20180021509A KR 20180021509 A KR20180021509 A KR 20180021509A KR 1020160106167 A KR1020160106167 A KR 1020160106167A KR 20160106167 A KR20160106167 A KR 20160106167A KR 20180021509 A KR20180021509 A KR 20180021509A
Authority
KR
South Korea
Prior art keywords
lights
projected
distance information
noise
projection
Prior art date
Application number
KR1020160106167A
Other languages
English (en)
Inventor
조용철
권남섭
박용화
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020160106167A priority Critical patent/KR20180021509A/ko
Priority to US15/472,804 priority patent/US10545237B2/en
Priority to EP17180091.5A priority patent/EP3287807A1/en
Priority to CN201710650607.8A priority patent/CN107765260B/zh
Publication of KR20180021509A publication Critical patent/KR20180021509A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4814—Constructional features, e.g. arrangements of optical elements of transmitters alone
    • G01S7/4815—Constructional features, e.g. arrangements of optical elements of transmitters alone using multiple transmitters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4816—Constructional features, e.g. arrangements of optical elements of receivers alone
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4911—Transmitters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4912—Receivers
    • G01S7/4915—Time delay measurement, e.g. operational details for pixel components; Phase measurement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4912—Receivers
    • G01S7/4918—Controlling received signal intensity, gain or exposure of sensor
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/493—Extracting wanted echo signals
    • H04N13/0203—
    • H04N13/025—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

디바이스가 피사체에 대한 거리 정보를 획득함에 있어서, 투사하는 투사광의개수에 따라 오차를 효율적으로 감소시킬 수 있는 거리 정보 획득 방법이 제공된다.

Description

거리 정보를 획득하는 방법 및 디바이스 {Method and device for acquiring distance information}
개시된 내용은 거리 정보를 획득하는 디바이스가 거리 정보를 획득하는 방법에 관한 것으로, 더욱 상세하게는 디바이스가 3차원 영상을 획득하는 방법에 관한 것이다.
최근, 깊이감 있는 영상을 표시할 수 있는 3D 디스플레이 장치의 발전 및 수요 증가와 함께 3D 컨텐츠의 중요성이 부각되고 있다. 이에 따라, 일반 사용자가 3D 컨텐츠를 직접 제작할 수 있는 3D 카메라와 같은 3차원 영상 획득 장치가 연구되고 있다. 이러한 3D 카메라는 한번의 촬영으로 기존의 2차원 컬러 영상 정보와 함께 깊이(depth) 정보도 얻을 수 있어야 한다.
피사체의 표면들과 3D 카메라 사이의 거리에 관한 깊이 정보는, 두 대의 카메라를 이용한 양안 입체시(Stereo Vision) 방법이나 구조광(Structured Light)과 카메라를 이용한 삼각 측량법(Triangulation)을 이용하여 얻을 수 있다. 그러나 이러한 방법은 피사체의 거리가 멀어질수록 깊이 정보에 대한 정확도가 급격히 저하되고 피사체의 표면 상태에 의존적이어서 정밀한 깊이 정보를 얻기 어렵다.
이러한 문제를 개선하기 위하여 광시간비행법(Time-of-Flight; TOF)이 도입되었다. TOF 기술은 조명광을 피사체에 조사한 후, 피사체로부터 반사되는 광이 수광부에서 수광되기까지의 광 비행시간을 측정하는 방법이다. TOF 기술에 따르면, 발광 다이오드(LED) 또는 레이저 다이오드(LD)를 포함하는 조명 광학계를 이용하여 특정 파장의 빛(예컨대, 850nm의 근적외선)을 피사체에 투사하고, 피사체로부터 반사된 동일한 파장의 빛을 수광부에서 수광한 후, 기지의 이득 파형을 갖는 변조기로 상기 수광된 빛을 변조하는 등 깊이 정보를 획득하기 위한 일련의 처리 과정을 거치게 된다. 이러한 일련의 광 처리 과정에 따라 다양한 TOF 기술이 소개되어 있다.
디바이스가 피사체에 대한 거리 정보를 획득함에 있어서, 투사하는 투사광을 제어하여 오차를 효율적으로 감소시킬 수 있는 거리 정보 획득 방법이 제공된다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서,　본 개시의 제 1 측면은,　디바이스가 피사체에 대한 정보를 획득하는 방법에 있어서, 상기 피사체에 순차적으로 투사할 복수개의 투사광의 개수를 결정하는 단계; 상기 결정된 개수의 상기 복수개의 투사광을 상기 피사체에 투사하는 단계; 상기 복수개의 투사광이 상기 피사체에 반사되어 획득되는 복수개의 반사광을 변조(modulation)하여 복수개의 변조된 반사광을 획득하는 단계; 및 상기 복수개의 변조된 반사광 각각에 상기 결정된 개수 및/또는 상기 복수개의 투사광의 투사 순서에 따라 결정된 가중치를 적용하여 상기 피사체에 대한 거리 정보를 획득하는 단계를 포함할 수 있다.
또한, 상기 투사광의 개수를 결정하는 단계는 필터링될 노이즈의 종류, 상기 투사 순서 및 허용 오차 범위 중 적어도 하나에 기초하여 상기 투사광의 개수를 6 내지 10 중 하나의 개수로 결정할 수 있다.
또한, 상기 노이즈의 종류는 시간의 흐름에 관계 없이 발생하는 불연속적인 노이즈, 시간의 흐름에 선형적으로 변하는 1차 함수 형태의 노이즈 및 시간의 흐름에 2차 함수 형태로 변하는 2차 함수 형태의 노이즈 중 적어도 하나를 포함할 수 있다.
또한, 상기 피사체에 대한 상기 거리 정보를 획득하는 단계는 복수개의 가중치 세트 중에서, 상기 복수개의 변조된 반사광 각각에 대응되는 가중치를 나타내는 가중치 세트를 상기 결정된 개수 및/또는 상기 투사 순서에 따라 결정하는 단계; 및 상기 결정된 가중치 세트가 나타내는 가중치를 상기 복수개의 변조된 반사광 각각에 적용하여 상기 피사체에 대한 거리 정보를 획득하는 단계를 포함할 수 있다.
또한, 상기 결정된 가중치 세트가 나타내는 가중치를 상기 복수개의 변조된 반사광 각각에 적용하여 상기 피사체에 대한 거리 정보를 획득하는 단계는 상기 결정된 가중치 세트가 나타내는 가중치를 상기 복수개의 변조된 반사광 각각에 적용하여, TOF(Time of Flight)에 따라 지연된 위상 및/또는 MBI(motion blur index)를 획득하는 단계; 및 상기 획득된 위상 및/또는 MBI를 이용하여 상기 피사체에 대한 거리 정보를 획득하는 단계를 포함할 수 있다.
또한, 상기 복수개의 투사광 중 하나의 투사광은 주기가 서로 같고, 크기와 위상 중에서 적어도 하나가 서로 다른 복수의 주기파 중에서 하나의 주기파일 수 있다.
또한, 상기 복수개의 변조된 반사광을 획득하는 단계는 이득 파형을 갖는 변조 신호를 이용해 상기 복수개의 반사광을 변조(modulation)하여 상기 복수개의 변조된 반사광을 획득할 수 있다.
또한, 상기 변조 신호는 상기 복수개의 투사광과 동일한 주기를 갖는 주기파를 포함할 수 있다.
또한, 상기 복수개의 투사광의 사이에는 90×N˚(N은 자연수)의 위상차가 존재할 수 있다.
또한, 상기 피사체에 대한 상기 거리 정보를 획득하는 단계는 상기 결정된 개수의 반사광들을 이용하여 상기 거리 정보가 포함된 깊이 이미지를 획득할 수 있다.
또한, 본 개시의 제 2 측면은, 피사체에 대한 정보를 획득하는 디바이스에 있어서, 프로세서(processor)에서 결정된 개수의 복수개의 투사광을 상기 피사체에 투사하는 광원; 상기 복수개의 투사광이 상기 피사체에 반사되어 획득되는 복수개의 반사광을 변조(modulation)하여 복수개의 변조된 반사광을 획득하는 변조기(modulator); 및 상기 피사체에 순차적으로 투사할 상기 복수개의 투사광의 상기 개수를 결정하고, 상기 복수개의 변조된 반사광 각각에 상기 개수 및/또는 상기 복수개의 투사광의 투사 순서에 따라 결정된 가중치를 적용하여 상기 피사체에 대한 거리 정보를 획득하는 프로세서를 포함할 수 있다.
또한, 본 개시의 제 3 측면은 제 1 측면의 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 비일시적 기록 매체를 제공할 수 있다.
디바이스가 피사체에 대한 거리 정보를 획득함에 있어서, 투사하는 투사광을 제어함으로써, 오차를 효율적으로 감소시킬 수 있다.
도 1은 광시간비행법(TOF)을 이용하여 거리 정보를 획득할 수 있는 디바이스의 예시적인 구조를 개략적으로 도시한다.
도 2는 N개의 반사광을 변조한 후 촬상 소자에서 N개의 영상을 생성하는 과정을 도시한다.
도 3은 하나의 동일한 투사광과 N개의 변조 신호로 N개의 영상을 생성하는 과정을 도시한다.
도 4는 4개의 투사광으로 4개의 영상을 생성하고, 생성된 4개의 영상을 이용하여 거리 정보를 획득하는 방법을 도시한다.
도 5a는 반사광 및 변조 신호를 이용하여 CIS(CMOS Image Sensors) 이미지를 획득하는 방법을 도시한다.
도 5b는 깊이 영상 획득 과정에서의 반사도를 설명하는 도면이다.
도 6은 위상이 서로 상이한 4개의 반사광의 일 예를 도시한다.
도 7은 일 실시 예에 따른 디바이스의 구성을 설명하기 위한 블록도이다.
도 8은 일 실시 예에 따른 광처리 과정에서 나타나는 강도 이미지(intensity image)의 일 예를 도시한다.
도 9는 일 실시 예에 따른 디바이스가 복수개의 투사광을 피사체에 투사하여 피사체에 대한 거리 정보를 획득하는 방법을 나타내는 흐름도이다.
도 10은 일 실시 예에 따른 디바이스가 투사할 투사광의 개수 및 투사 순서를 결정하고, 결정된 개수의 투사광을 결정된 투사 순서로 투사하여 피사체에 대한 거리 정보를 획득하는 방법을 나타내는 흐름도이다.
도 11은 일 실시 예에 따른 디바이스가 가중치를 이용하여 피사체에 대한 거리 정보가 포함된 깊이 이미지를 획득하는 방법을 나타내는 흐름도이다.
도 12는 피사체에 대한 거리 정보 및/또는 오차 정보를 이용하여, 피사체에 투사될 투사광의 개수 및/또는 투사 순서를 결정하고, 결정된 투사광의 개수 및 투사 순서로 투사된 투사광을 이용하여 피사체에 대한 거리 정보 및/또는 오차 정보를 갱신하는 방법을 나타내는 흐름도이다.
도 13은 외부로부터 수신한 입력에 따라 피사체에 투사될 투사광의 개수 및/또는 투사 순서를 결정하고, 결정된 투사광의 개수 및 투사 순서로 투사된 투사광을 이용하여 피사체에 대한 거리 정보를 획득하는 방법을 나타내는 흐름도이다.
도 14는 일 실시 예에 따른 디바이스가 필터링할 노이즈의 종류 중 불연속적인 노이즈의 일 예를 나타내는 도면이다.
도 15는 일 실시 예에 따른 디바이스가 필터링할 노이즈의 종류 중 1차 함수 형태의 노이즈의 일 예를 나타내는 도면이다.
도 16은 일 실시 예에 따른 디바이스가 필터링할 노이즈의 종류 중 2차 함수 형태의 노이즈의 일 예를 나타내는 도면이다.
도 17은 일 실시 예에 따른 디바이스가 0˚, 90˚, 180˚, 270˚의 투사 순서로 6개의 투사광을 투사하여 1차 함수 형태의 노이즈에의한 오차가 감소된 거리 정보를 획득하는 일 예를 나타내는 도면이다.
도 18은 일 실시 예에 따른 디바이스가 0˚, 90˚, 180˚, 270˚의 투사 순서로 7개의 투사광을 투사하여 1차 함수 형태의 노이즈에의한 오차가 감소된 거리 정보를 획득하는 일 예를 나타내는 도면이다.
도 19는 일 실시 예에 따른 디바이스가 0˚, 180˚, 90˚, 270˚의 투사 순서로 투사광을 투사하여 불연속적인 노이즈에의한 오차가 감소된 거리 정보를 획득하는 일 예를 나타내는 도면이다.
도 20은 일 실시 예에 따른 디바이스가 0˚, 180˚, 90˚, 270˚의 투사 순서로 6개의 투사광을 투사하여 1차 함수 형태의 노이즈에의한 오차가 감소된 거리 정보를 획득하는 일 예를 나타내는 도면이다.
도 21은 일 실시 예에 따른 디바이스가 0˚, 180˚, 90˚, 270˚의 투사 순서로 6개의 투사광을 투사하여 불연속적인 노이즈에의한 오차가 감소된 거리 정보를 획득하는 일 예를 나타내는 도면이다.
도 22는 일 실시 예에 따른 디바이스가 0˚, 180˚, 90˚, 270˚의 투사 순서로 8개의 투사광을 투사하여 1차 함수 형태의 노이즈에의한 오차가 감소된 거리 정보를 획득하는 일 예를 나타내는 도면이다.
도 23은 일 실시 예에 따른 디바이스가 0˚, 90˚, 180˚, 270˚의 투사 순서로 8개의 투사광을 투사하여 1차 함수 형태의 노이즈 및 2차 함수 형태의 노이즈에 의한 오차가 감소된 거리 정보를 획득하는 일 예를 나타내는 도면이다.
도 24는 일 실시 예에 따른 디바이스가 0˚, 180˚, 90˚, 270˚의 투사 순서로 10개의 투사광을 투사하여 1차 함수 형태의 노이즈 및 2차 함수 형태의 노이즈에의한 오차가 감소된 거리 정보를 획득하는 일 예를 나타내는 도면이다.
도 25는 일 실시 예에 따른 디바이스(100)가 필터링할 노이즈의 종류 중 1차 함수 형태의 노이즈의 일 예를 나타내는 도면이다.
도 26은 일 실시 예에 따른 디바이스(100)가 필터링할 노이즈의 종류 중 2차 함수 형태의 노이즈의 일 예를 나타내는 도면이다.
도 27은 일 실시 예에 따른 디바이스가 0˚, 90˚, 180˚, 270˚의 투사 순서로 6개의 투사광을 이용하여 진폭(A)의 변화에 따른 오차가 감소된 거리 정보를 획득하는 일 예를 나타내는 도면이다.
도 28은 일 실시 예에 따른 디바이스가 0˚, 90˚, 180˚, 270˚의 투사 순서로 7개의 투사광을 이용하여 진폭(A)의 변화에 따른 오차가 감소된 거리 정보를 획득하는 일 예를 나타내는 도면이다.
도 29는 일 실시 예에 따른 디바이스가 0˚, 180˚, 90˚, 270˚의 투사 순서로 6개의 투사광을 이용하여 진폭(A)의 변화에 따른 오차가 감소된 거리 정보를 획득하는 일 예를 나타내는 도면이다.
도 30은 일 실시 예에 따른 디바이스가 0˚, 180˚, 90˚, 270˚의 투사 순서로 8개의 투사광을 이용하여 진폭(A)의 변화에 따른 오차가 감소된 거리 정보를 획득하는 일 예를 나타내는 도면이다.
도 31은 일 실시 예에 따른 디바이스가 0˚, 90˚, 180˚, 270˚의 투사 순서로 8개의 투사광을 이용하여 진폭(A)의 변화에 따른 오차가 감소된 거리 정보를 획득하는 일 예를 나타내는 도면이다.
도 32는 일 실시 예에 따른 디바이스가 0˚, 180˚, 90˚, 270˚의 투사 순서로 10개의 투사광을 이용하여 진폭(A)의 변화에 따른 오차가 감소된 거리 정보를 획득하는 일 예를 나타내는 도면이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에서 사용되는 "부"라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, "부"는 어떤 역할들을 수행한다. 그렇지만 "부"는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부"는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 "부"는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 "부"들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부"들로 결합되거나 추가적인 구성요소들과 "부"들로 더 분리될 수 있다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
명세서 전체에서 "거리(distance)"란 공간적으로 떨어진 길이를 의미할 수 있으며, "깊이(depth)"는 거리의 일종일 수 있다. 예를 들면, 거리 정보(distance information)는 깊이 정보(depth information)를 포함할 수 있다.
명세서 전체에서 이미지(image)는 CCD(Charge Coupled Device) 이미지 및 CIS(CMOS Image Sensors) 이미지를 포함하나 이에 제한되지 않는다.
이하, '영상'은 비디오의 정지영상 또는 이미지이거나 동영상, 즉 비디오 그 자체를 나타낼 수 있다.
이하, 첨부된 도면들을 참조하여, 거리 정보 획득 방법 및 디바이스에 대해 상세하게 설명한다. 이하의 도면들에서 동일한 참조부호는 동일한 구성요소를 지칭하며, 도면상에서 각 구성요소의 크기는 설명의 명료성과 편의상 과장되어 있을 수 있다.
도 1은 광시간비행법(TOF)을 이용하여 거리 정보를 획득할 수 있는 일 실시예에 따른 디바이스(100)의 예시적인 구조를 개략적으로 도시하고 있다. 도 1을 참조하면, 디바이스(100)는 소정의 파장을 갖는 광을 발생시키는 광원(101), 상기 광원(101)을 구동시키기 위한 광원 구동부(102), 피사체(200)로부터 반사된 광을 변조하기 위한 변조기(103), 변조기(103)를 구동시키기 위한 변조기 구동부(104), 변조기(103)에 의해 변조된 광으로부터 영상을 생성하는 촬상 소자(105), 촬상 소자(105)의 출력을 기초로 거리 정보를 계산하기 위한 거리 정보 영상 처리부(distance image processor)(107), 및 광원 구동부(102), 변조기 구동부(104), 촬상 소자(105), 거리 정보 영상 처리부(107)의 동작을 제어하기 위한 제어부(106)를 포함할 수 있다. 또한, 변조기(103)의 광입사면에는 반사광을 변조기(103)의 영역 내에 집광하기 위한 제 1 렌즈(108)와 소정의 파장을 갖는 광만을 투과시키는 필터(109)가 더 배치될 수 있다. 그리고, 변조기(103)와 촬상 소자(105) 사이에는 변조된 영상을 촬상 소자(105)의 영역 내에 집광하기 위한 제 2 렌즈(110)가 더 배치될 수 있다.
광원(101)은, 예를 들어, 안전을 위해 인간의 눈에는 보이지 않는 약 800nm 내지 약 1100nm의 근적외선(NIR) 파장을 갖는 광을 방출시킬 수 있는 발광 다이오드(LED) 또는 레이저 다이오드(LD)일 수 있지만, 파장의 대역과 광원의 종류는 제한을 받지 않는다. 광원 구동부(102)는 제어부(106)로부터 수신된 제어 신호에 따라 광원(101)을 예를 들어 크기(amplitude) 변조 또는 위상(phase) 변조 방식으로 구동할 수 있다. 광원 구동부(102)의 구동 신호에 따라, 광원(101)으로부터 피사체(200)로 투사되는 투사광은 소정의 주기를 갖는 주기적인 연속 함수의 형태를 가질 수 있다. 예를 들어, 투사광은 사인파, 램프파, 사각파 등과 같이 특수하게 정의된 파형을 가질 수도 있지만, 정의되지 않은 일반적인 형태의 파형을 가질 수도 있다.
변조기(103)는 피사체(200)로부터 반사된 광을 변조기 구동부(104)의 제어에 따라 변조한다. 변조기 구동부(104)는 제어부(106)로부터 수신된 제어 신호에 따라 변조기(103)를 구동시킨다. 예를 들어, 변조기(103)는 변조기 구동부(104)에 의해 제공된 소정의 파형을 갖는 변조 신호에 따라 이득을 변화시켜 반사광의 크기를 변조시킬 수 있다. 이를 위해, 변조기(103)는 가변 이득을 갖는다. 변조기(103)는 거리에 따른 빛의 위상차 또는 이동 시간을 식별하기 위해 수십~수백 MHz의 높은 변조 속도로 동작할 수 있다. 이에 부합하는 변조기(103)로서, 예를 들어 MCP(Multi-Channel Plate)를 구비한 영상증배관, GaAs 계열의 고체 변조기 소자, 전광(Electro-Optic) 물질을 이용한 박형의 변조기 소자 등이 사용될 수 있다. 도 1에는 변조기(103)가 투과형인 것으로 도시되어 있지만, 반사형 변조기를 사용하는 것도 가능하다. 변조 신호는 광변조 신호를 포함할 수 있다.
촬상 소자(105)는 변조기(103)에 의해 변조된 반사광을 제어부(106)의 제어에 따라 검출하여 영상을 생성하는 역할을 한다. 만약 피사체(200)의 어느 한 점까지의 거리만을 측정하고자 하는 경우, 촬상 소자(105)는 예를 들어 포토다이오드나 적분기와 같은 하나의 단일한 광센서를 사용할 수도 있다. 그러나 피사체(200) 상의 다수의 점들까지의 거리들을 동시에 측정하고자 하는 경우, 촬상 소자(105)는 다수의 포토다이오드 또는 다른 광검출기들의 2차원 또는 1차원 어레이를 가질 수도 있다. 예를 들어, 촬상 소자(105)는 2차원 어레이를 갖는 CCD(Charge Coupled Device) 이미지 센서 또는 CMOS(Complementary metal-oxide-semiconductor) 이미지 센서일 수도 있다. 또는 촬상 소자(105)는 대표적으로 CIS(CMOS Image Sensors)로 표기 될 수 있다. 거리 정보 영상 처리부(107)는 촬상 소자(105)의 출력을 기초로, 거리 정보 획득 알고리즘에 따라 거리 정보를 계산하는 역할을 한다. 거리 정보 획득 알고리즘은 기설정되어 있을 수 있다. 거리 정보 영상 처리부(107)는 예를 들어 전용의 집적회로(IC)로 구현될 수도 있으며, 또는 디바이스(100) 내에 설치된 소프트웨어로도 구현될 수 있다. 소프트웨어로 구현되는 경우, 거리 정보 영상 처리부(107)는 별도의 이동 가능한 저장 매체에 저장될 수도 있다.
이하에서는, 상술한 구조를 갖는 디바이스(100)의 동작을 개략적으로 설명한다.
먼저, 광원(101)은 제어부(106) 및 광원 구동부(102)의 제어에 따라 소정의 주기 및 파형을 갖는 N개의 투사광을 차례로 피사체(200)에 투사한다. 여기서 N은 3 이상의 자연수일 수 있다. 예를 들어, 4개의 투사광을 사용하는 경우, 시간 T1 동안 투사광1을 발생시켜 피사체(200)에 투사하고, 다음의 시간 T2 동안 투사광2를 발생시켜 피사체(200)에 투사하고, 시간 T3 동안 투사광3을 발생시켜 피사체(200)에 투사하고, 이어서 시간 T4 동안 투사광4를 피사체(200)에 투사할 수 있다. 이렇게 피사체(200)에 순차적으로 투사되는 투사광들은 사인파와 같은 특정 주기를 갖는 연속 함수의 형태를 가질 수 있다. 예를 들어, 투사광1 내지 투사광4는 동일한 주기 및 파형을 가지면서 크기 또는 위상만이 서로 다른 주기파(periodic wave)일 수 있다. 다른 예로, 투사광1 내지 투사광4는 동일한 주기, 파형 및 크기를 가지면서 위상만이 서로 다른 주기파일 수 있다. 일 예로, 투사광1 내지 투사광4는 위상이 90도씩 차이날 수 있고 이 경우, 투사광1의 위상이 투사광2 보다 90도 느리고, 투사광2의 위상이 투사광3 보다 90도 느리고, 투사광3의 위상이 투사광4 보다 90도 느릴 수 있다. 또는 이 경우, 투사광1의 위상이 투사광2 보다 90도 빠르고, 투사광2의 위상이 투사광3 보다 90도 빠르고, 투사광3의 위상이 투사광4 보다 90도 빠를 수 있다.
다른 예로, 디바이스(100)가 6개의 투사광을 피사체에 투사하는 경우, 투사광1 내지 투사광6은 동일한 주기, 파형 및 크기를 가지면서 위상만이 서로 다른 주기파일 수 있다. 일 예로, 투사광1 내지 투사광6은 위상이 90도씩 차이날 수 있고 이 경우, 투사광1의 위상이 투사광2의 위상 보다 90도 느리고, 투사광2의 위상이 투사광3의 위상 보다 90도 느리고, 투사광3의 위상이 투사광4의 위상 보다 90도 느릴 수 있다. 또한, 투사광 1과 투사광 5의 주기, 파형, 크기 및 위상은 동일할 수 있다. 또한, 투사광 2와 투사광 6의 주기, 파형, 크기 및 위상은 동일할 수 있다. "동일"의 의미는 물리적으로 동일하게 현실 세계에서 구현된다는 의미로 제한해석되지 않으며, 현실적인 오차 범위 내에서 동일함을 의미할 수 있다.
피사체(200)에 투사된 투사광은 피사체(200)의 표면에서 반사된 후, 제 1 렌즈(108)로 입사한다. 일반적으로 피사체(200)는 디바이스(100)로부터의 거리, 즉 거리(distance)가 서로 다른 다수의 표면들을 갖는다. 도 1에는 설명의 단순화를 위하여 거리가 서로 다른 5개의 표면(P1~P5)을 갖는 피사체(200)가 예시적으로 도시되어 있다. 거리가 상이한 5개의 표면(P1~P5)에서 각각 투사광이 반사되면서, 상이하게 시간 지연된(즉, 위상이 상이한) 5개의 반사광이 각각 발생한다. 예를 들어, 투사광1이 피사체(200)의 5개의 표면(P1~P5)에서 각각 반사되면서 위상이 상이한 5개의 반사광1이 발생하며, 투사광2가 피사체(200)의 5개의 표면(P1~P5)에서 각각 반사되면서 위상이 상이한 5개의 반사광2가 발생하고, 마찬가지로 투사광N도 피사체(200)의 5개의 표면(P1~P5)에서 각각 반사되면서 위상이 상이한 5개의 반사광N이 발생한다. 디바이스(100)로부터의 거리가 가장 먼 표면(P1)에서 반사된 반사광은 ΦP1 만큼의 시간 지연 후 제 1 렌즈(108)에 도달하고, 디바이스(100)로부터의 거리가 가장 가까운 표면(P5)에서 반사된 반사광은 ΦP1보다 작은 ΦP5 만큼의 시간 지연 후 제 1 렌즈(108)에 도달할 것이다.
제 1 렌즈(108)는 반사광을 변조기(103)의 영역 내에 포커싱한다. 제 1 렌즈(108)와 변조기(103) 사이에는 사용 파장 이외의 배경광이나 잡광을 제거하기 위하여 소정의 파장을 갖는 광만을 투과시키는 필터(109)가 배치될 수 있다. 예를 들어, 광원(101)이 약 850nm의 근적외선(NIR) 파장을 갖는 광을 방출하는 경우, 상기 필터(109)는 약 850nm의 근적외선 파장 대역을 통과시키는 근적외선 대역 통과 필터(IR band pass Filter)일 수 있다. 따라서, 변조기(103)에 입사하는 광은 광원(101)으로부터 방출되어 피사체(200)에서 반사된 광이 지배적일 수 있다. 도 1에는 제 1 렌즈(108)와 변조기(103) 사이에 필터(109)가 배치된 것으로 도시되어 있지만, 제 1 렌즈(108)와 필터(109)의 위치는 서로 바뀔 수도 있다. 예를 들어, 필터(109)를 먼저 통과한 근적외선광이 제 1 렌즈(108)에 의해 변조기(103)로 포커싱될 수도 있다.
그러면, 변조기(103)는 소정의 파형을 갖는 변조 신호로 반사광을 변조한다. 변조기(103)에서의 이득 파형의 주기는 투사광의 파형 주기와 동일할 수 있다. 도 1에 도시된 예에서, 변조기(103)는 피사체(200)의 5개의 표면(P1~P5)에서 각각 반사된 5개의 반사광1을 변조하여 촬상 소자(105)에 제공하고, 이어서 5개의 반사광2 내지 5개의 반사광N을 차례로 변조하여 촬상 소자(105)에 제공할 수 있다.
변조기(103)에 의해 크기가 변조된 광은 제 2 렌즈(110)를 통과하면서 배율 조정 및 재포커싱된 후 촬상 소자(105)에 도달한다. 따라서, 변조된 광은 제 2 렌즈(110)에 의해 촬상 소자(105)의 영역 내에 집광된다. 촬상 소자(105)는 상기 변조된 광을 소정의 노출 시간 동안 수광하여 영상을 생성한다. 예를 들어 촬상 소자(105)는, 도 2에서 (A)로 표시된 바와 같이, 피사체(200)의 5개의 표면(P1~P5)에서 각각 반사된 후 변조된 5개의 반사광1을 소정의 노출 시간 동안 수광하여 영상1을 생성한다. 이어서, 도 2에서 (B)로 표시된 바와 같이, 촬상 소자(105)는 피사체(200)의 5개의 표면(P1~P5)에서 각각 반사된 후 변조된 5개의 반사광2를 소정의 노출 시간 동안 수광하여 영상2를 생성한다. 이와 같은 과정을 반복하면서 마지막으로, 도 2에서 (C)로 표시된 바와 같이, 촬상 소자(105)는 피사체(200)의 5개의 표면(P1~P5)에서 각각 반사된 후 변조된 5개의 반사광N을 소정의 노출 시간 동안 수광하여 영상N을 생성한다. 이러한 방식으로, 도 2에서 (D)로 표시된 바와 같이, N 개의 상이한 영상들을 순차적으로 얻을 수 있다. 이렇게 얻은 각각의 영상1~N은 거리 정보를 갖는 한 프레임의 영상을 만들기 위한 서브 프레임(sub-frame) 영상일 수 있다. 예를 들어, 한 프레임의 주기를 Td라고 한다면, N개의 영상1~N의 각각을 얻기 위한 촬상 소자(105)에서의 노출 시간은 대략적으로 Td/N일 수 있다.
다시 도 2의 (A)를 참조하면, 첫번째 서브 프레임에서, 광원(101)으로부터 피사체(200)에 투사된 투사광1이 피사체(200)의 5개의 표면(P1~P5)에서 각각 반사되어 5개의 반사광1이 생성된다. 5개의 반사광1은 변조기(103)에 의해 변조된 후 촬상 소자(105)에 도달한다. 도 2에는, 설명의 용이함을 위해 촬상 소자(105)가 5개의 표면(P1~P5)에 각각 대응하는 5개의 화소만을 갖는 것으로 도시되어 있다. 따라서, 5개의 반사광1은 대응하는 5개의 화소에 각각 입사할 수 있다. 도 2의 (A)에 도시된 바와 같이, 각각의 표면(P1~P5)에서 반사된 5개의 반사광1은 디바이스(100)로부터 표면(P1~P5)까지의 거리에 따라 상이한 위상 지연(ΦP1~ΦP5)을 각각 갖는다. 촬상 소자(105)는 예컨대 대략 Td/N의 노출 시간 동안 반사광1을 촬영하여 영상1을 생성할 수 있다. 위와 동일한 방식으로, 두 번째 서브 프레임부터 N번째 서브 프레임까지 영상2 내지 영상N이 생성될 수 있다. 도 2의 (B) 및 (C)에 도시된 바와 같이, 2~N번째 서브 프레임에서도 거리가 다른 5개의 표면(P1~P5)으로부터 상이한 위상 지연(ΦP1~ΦP5)이 발생한다.
도 2에서는 N개의 투사광과 반사광을 사용하여 서로 다른 N개의 영상을 생성하는 경우에 대해 설명하였다. 그러나, 모든 서브 프레임에서 동일한 투사광을 사용하고, 각각의 서브 프레임마다 변조기(103)가 상이한 이득 파형으로 반사광을 변조하는 것도 가능하다.
도 3은 하나의 동일한 투사광과 N개의 상이한 이득 파형으로 N개의 상이한 영상을 생성하는 과정을 도시하고 있다. 도 3을 참조하면, 피사체(200)로부터 반사된 반사광은 모든 서브 프레임에서 동일한 파형과 위상을 갖는다. 각 서브 프레임의 반사광에는 앞서 설명한 바와 같이 피사체(200)의 표면(P1~P5)에 따라 상이한 위상 지연(ΦP1~ΦP5)들이 존재한다. 도 3의 (A)~(C)에 각각 도시된 바와 같이, 첫 번째 서브 프레임에서 변조기(103)는 변조 신호1로 반사광을 변조하며, 두 번째 서브 프레임에서 변조기(103)는 변조 신호1과 다른 변조 신호2로 반사광을 변조하고, N 번째 서브 프레임에서 변조기(103)는 또 다른 변조 신호N으로 반사광을 변조한다. 여기서, 변조 신호1~N은 완전히 서로 다른 파형의 신호일 수도 있지만, 주기와 파형은 동일하고 단지 위상만이 다른 신호일 수도 있다. 그러면, 도 3의 (D)에 각각 도시된 바와 같이, 서로 다른 N개의 영상1~N을 얻을 수 있다.
상술한 방식으로 얻은 N개의 영상들은 거리 정보 영상 처리부(107)로 전달된다. 거리 정보 영상 처리부(107)는 상기 N개의 영상들을 이용하여 기설정된 알고리즘에 따라 거리 정보를 획득할 수 있다. 예를 들면 디바이스(100)는 평균화 알고리즘을 이용하여 거리 정보를 획득할 수 있다.
도 4는 4개의 투사광으로 4개의 영상을 생성하고, 생성된 4개의 영상을 이용하여 거리 정보를 획득하는 방법을 도시한다.
제1 부분(410)에서 확인할 수 있는 바와 같이, 일 실시 예에 따른 디바이스(100)는 순차적인 촬영을 통해 4개의 강도 이미지(intensity image)를 획득할 수 있다. 예를 들면 일 실시 예에 따른 디바이스(100)는 위상차가 0도인 강도 이미지인
Figure pat00001
, 위상차가 90도인 강도 이미지인
Figure pat00002
, 위상차가 180도인 강도 이미지인
Figure pat00003
및 위상차가 270도인 강도 이미지인
Figure pat00004
를 획득할 수 있다. 일 실시 예에 따른 디바이스(100)는 움직임 평균(moving average)를 이용하여 4개의 CIS 이미지를 획득할 수 있다. 본 명세서에서 변조된 영상의 표시를 CIS 이미지로 표시하였지만, 촬상 소자(105)는 CIS로 한정되지 않는다.
일 실시 예에 따른 디바이스(100)는 [수학식 1]과 같은 순서로 4개의 이미지를 획득할 수 있다.
Figure pat00005
일 실시 예에 따른 디바이스(100)는 2개의 새로운 이미지를 획득하고, 2개의 기존 이미지를 순차적으로 제거하는 방식으로 [수학식 2]와 같이 4개 이미지의 조합을 획득할 수 있다.
Figure pat00006
(여기서 p는 임의의 수)
예를 들면, 일 실시 예에 따른 디바이스(100)는 현재 획득한 4개의 이미지가
Figure pat00007
인 경우, 앞에 획득한 2개의 이미지를 순차적으로 제거하고 새로운 이미지 두개를 획득하여
Figure pat00008
의 4개 이미지 조합을 획득할 수 있다. 예를 들면, 제1 이미지(411)는 제거되고, 제 2 이미지(413)는 추가될 수 있다. 다른 예로, 일 실시 예에 따른 디바이스(100)는 현재 획득한 4개의 이미지가
Figure pat00009
인 경우, 앞에 획득한 2개의 이미지를 순차적으로 제거하고 새로운 이미지 두개를 획득하여
Figure pat00010
의 4개 이미지 조합을 획득할 수 있다.
일 실시 예에 따른 디바이스(100)는 현재 획득한 4개의 이미지(412)를 이용하여 [수학식 3]에서와 같이 깊이 영상을 획득할 수 있다. 현재 획득한 4개의 이미지(412)는 4개의 강도 이미지를 포함할 수 있다.
구체적으로, 제2 중간 이미지(422)에서 확인할 수 있는 바와 같이, 일 실시 예에 따른 디바이스(100)는
Figure pat00011
-
Figure pat00012
로 나타내어지는 제1 중간 이미지(421) 및
Figure pat00013
-
Figure pat00014
로 나타내어지는 제2 중간 이미지(422)를 획득할 수 있다. 또한, 제3 부분(430)에서 확인할 수 있는 바와 같이 일 실시 예에 따른 디바이스(100)는 제1 중간 이미지(421) 및 제2 중간 이미지(422)를 이용하여 깊이 이미지(431)를 획득할 수 있다.
Figure pat00015
따라서, 일 실시 예에 따른 디바이스(100)는 2개의 IR 이미지를 획득하는 시간에 1개의 깊이 이미지를 획득할 수 있다.
도 4에서는 4개의 투사광을 이용하여 거리 정보를 획득하는 방법에 대해 도시하였으나, 도 4에서 기술된 방법은 일 실시 예일 뿐이고, 후술하는 바와 같이 일 실시 예에 따른 디바이스(100)는 도 4에서 기술된 방식에 따라 6개 이상의 투사광을 이용하여 거리 정보를 획득할 수 있다. 예를 들면, I1 내지 I8을 획득하는 과정에서, I1 내지 I6을 이용하여 하나의 깊이 이미지를 획득하고, I3 내지 I8을 이용하여 하나의 깊이 이미지를 획득하는 것과 같은 방식으로 2개의 강도 이미지를 획득하는 시간 동안에 1개의 깊이 이미지를 획득할 수 있다.
일 실시 예에 따른 디바이스(100)는 0˚, 90˚, 180˚, 270˚의 순서로 강도 이미지를 획득하고, 무빙 윈도우(moving window) 방식을 이용하여 깊이 이미지를 획득할 수 있다. 예를 들면, 디바이스(100)는 0˚, 90˚, 180˚, 270˚의 순서로 획득한 I1 내지 I8의 강도 이미지가 있는 경우, I1 내지 I6의 6개의 강도 이미지를 이용하여 제1 깊이 이미지를 획득하고, I2 내지 I7의 6개의 강도 이미지를 이용하여 제2 깊이 이미지를 획득하고, I3 내지 I8의 6개의 강도 이미지를 이용하여 제3 깊이 이미지를 획득할 수 있다. 다른 예로, 디바이스(100)는 0˚, 90˚, 180˚, 270˚의 순서로 획득한 I1 내지 I10의 강도 이미지가 있는 경우, I1 내지 I8의 8개의 강도 이미지를 이용하여 제1 깊이 이미지를 획득하고, I3 내지 I10의 8개의 강도 이미지를 이용하여 제2 깊이 이미지를 획득할 수 있다. 다른 예로, 디바이스(100)는 0˚, 180˚, 90˚, 270˚의 순서로 획득한 I1 내지 I12의 강도 이미지가 있는 경우, I1 내지 I10의 10개의 강도 이미지를 이용하여 제1 깊이 이미지를 획득하고, I3 내지 I12의 10개의 강도 이미지를 이용하여 제2 깊이 이미지를 획득할 수 있다.
구체적으로 6개 이상의 투사광에 가중치를 적용하여 거리 정보를 획득하는 방법에 대해서는 도 7 이하에서 후술한다.
도 5a는 반사광 및 변조 신호를 이용하여 CIS(CMOS Image Sensors) 이미지를 획득하는 방법을 도시한다. 도 5a에서 IR 광의 광처리 과정이 설명될 수 있다.
본 명세서에서,
Figure pat00016
는 S번째 투사광의 광출력(s-th emitting light optical power),
Figure pat00017
는 S번째 투사광의 위상차(phase shift of the s-th emitting light),
Figure pat00018
는 출력광의 DC 오프셋 (emitting light DC offset),
Figure pat00019
는 S번째 수신된 반사광의 광출력(s-th receiving light optical power),
Figure pat00020
는 수신된 외광(receiving ambient light), r은 피사체 표면의 광 감쇠(light attenuation of the object surface), G는 셔터 이득(shutter gain),
Figure pat00021
는 셔터 이득 DC 오프셋(shutter gain DC offset), w는 동작 주파수(operationg frequency),
Figure pat00022
는 TOF(Time of Flight)에 따른 위상 지연(phase delay due to TOF)을 의미할 수 있다.
S번째 투사광의 광출력은 [수학식 4]와 같이 표현될 수 있다.
Figure pat00023
여기서 rect는 구형파(AC)에 DC 성분이 더해진 형태일 수 있다.
필터를 통과한 후의 반사광(
Figure pat00024
)은 [수학식 5]와 같이 표현될 수 있다. 필터를 통과한 후의 반사광은 피사체의 표면에서 반사되어 돌아오므로, 물체의 표면 반사도, 물체의 법선에 대한 광원의 입사각도, 광원과 물체 사이의 거리, 렌즈의 크기 등이 종합적으로 고려된 반사도인 r이 곱해진 형태이고, TOF에 의한 위상차가 존재하고, 외광이 존재할 수 있다.
Figure pat00025
셔터의 변조 파형(Gain)은 [수학식 6]과 같이 표현될 수 있다.
Figure pat00026
예를 들면, 셔터의 변조 파형(G(t))은 사인파(AC)에 DC 성분이 더해진 형태일 수 있다.
촬상 소자(105)에 도달하는 광은 [수학식 7]과 같이 표현될 수 있다.
Figure pat00027
촬상 소자(105)로부터 획득되는 이미지는 [수학식 8]과 같이 표현될 수 있다.
Figure pat00028
상술된 [수학식 8]로부터 연속으로 획득되는 4개의 이미지가 [수학식 9] 내지 [수학식 12]로 표현될 수 있다.
Figure pat00029
Figure pat00030
Figure pat00031
Figure pat00032
또한, [수학식 9] 내지 [수학식 12]는 [수학식 13]의 조건을 만족할 수 있다.
Figure pat00033
촬상 소자에서 획득되는 위상 영상(Icis)는 [수학식 8], [수학식 13]에서와 같이 A, B의 매개 변수에 반사도 r이 곱해지는 형태일 수 있다. 일 실시 예에 따라, A는 광원 세기의 진폭(a)과, 셔터의 변조진폭(c)의 곱일 수 있고, B는 광원의 평균세기와 외부광의 평균세기의 합에 셔터의 DC 성분을 곱한 것일 수 있다. 일정한 시간의 동안 광원과 셔터의 구동 신호에 드리프트(drift)가 발생하는 등의 경우에, B는 시간이 흐름에 따라 변할 수 있다.
[수학식 4]에서 표현된 S번째 투사광의 광출력이 삼각파(sine)로 구현되는 경우에도 상술된 수식 전개가 가능하며, 이 경우 결과적으로 A가 상이한 값(A')이 될 수 있다. 예를 들면, A'은 [수학식 14]와 같이 표현될 수 있다.
Figure pat00034
상술된 [수학식 9] 내지 [수학식 12]에서 미지수인 r, A, B를 소거하여
Figure pat00035
에 대해서 풀면, 상술된 [수학식 3] 또는 아래의 [수학식 15]와 같은 깊이에 의한 위상차를 획득할 수 있다.
Figure pat00036
상술된 [수학식 9] 내지 [수학식 15]는 정지 영상의 경우에 적용할 수 있다. 예를 들면, 상술된 [수학식 9] 내지 [수학식 15]는 움직임이 없는 피사체에 대해서 적용이 가능하다.
또한, [수학식 3] 및 [수학식 15]로부터 [수학식 16]을 획득할 수 있다.
Figure pat00037
도 5a에서는 편의상 4개의 투사광을 이용하여 거리 정보를 획득하는 방법에 대해 도시하였으나, 도 5a에서 기술된 방법은 일 실시 예일 뿐이고, 도 7이하에서 후술한는 바와 같이 일 실시 예에 따른 디바이스(100)는 6개 이상의 투사광을 이용하여 거리 정보를 획득할 수 있다.
도 5b는 깊이 영상 획득 과정에서의 반사도를 설명하는 도면이다.
반사도와 관련하여 r은 [수학식 17]과 같이 표현될 수 있다.
Figure pat00038
반사도 r(p’)는 도 5b에 도시된 바와 같이 광원의 조사각도(θ), 물체 표면색에 따른 반사도(ρd), 광원과 물체사이의 거리(rp)에 관계될 수 있고, 상수 k는 렌즈의 직경(d) 및 초점거리에 관계될 수 있다. 거리 센서가 순간적으로 움직이거나 물체가 이동하는 경우에는 반사도 r(p’)가 시간에 따라 연속 또는 불연속으로 변하게 되어 위상영상의 진폭(rA)이나 밝기(rB)에 노이즈를 유발할 수 있다. 이하에서 일부의 경우, rA가 A, rB가 B로 표시될 수 있다.
도 6은 위상이 서로 상이한 4개의 반사광의 일 예를 도시한다.
일 실시 예에 따른 서로 상이한 4개의 반사광은 제1 반사광(610), 제2 반사광(620), 제3 반사광(630) 및 제4 반사광(640)일 수 있다. 제1 반사광 내지 제4 반사광은 위상이 90도씩 차이날 수 있다. 예를 들면, 제1 반사광(610)의 위상차(phase delay)는 0도이고, 제2 반사광(620)의 위상차(phase delay)는 90도이고, 제3 반사광(630)의 위상차(phase delay)는 180도이고, 제4 반사광(640)의 위상차(phase delay)는 270도일 수 있다.
일 실시 예에 따른 셔터의 변조 파형(G(t))(650)은 사인파(AC)에 DC 성분이 더해진 형태일 수 있다.
도 6에서는 위상이 서로 상이한 4개의 반사광의 일 예를 도시하였으나, 일 실시 예에 따른 디바이스(100)는 6개 이상의 반사광을 이용하여 거리 정보를 획득할 수 있다. 예를 들면, 디바이스(100)는 제1 반사광(610) 내지 제4 반사광(640) 뿐 아니라 제1 반사광(610) 내지 제4 반사광(640)과 각각 동일한 위상차를 갖는 제5 반사광(미도시) 내지 제8 반사광(미도시)을 더 이용하여 피사체에 대한 거리 정보를 획득할 수 있다.
도 7은 일 실시 예에 따른 디바이스(100)의 구성을 설명하기 위한 블록도이다.
도 7에 도시된 바와 같이, 일 실시 예에 따른 디바이스(100)는 광원(101) 및 프로세서(1010)를 포함할 수 있다. 그러나 도시된 구성요소보다 많은 구성요소에 의해　디바이스(100)가 구현될 수도 있고, 도시된 구성요소보다 적은 구성요소에 의해　디바이스(100)　가 구현될 수도 있다. 예를 들면, 일 실시 예에 따른 디바이스(100)는 디퓨저(diffuser)(1020) 또는 변조기(103)를 더 포함할 수 있다.
이하 상기 구성요소들에 대해 차례로 살펴본다.
일 실시 예에 따른 광원(101)은 프로세서(1010)로부터 수신된 제어 신호에 따라서, 복수개의 위상이 다른 투사광을 피사체(1050)에 순차적으로 투사할 수 있다. 광원(101)은 하나 이상의 투사광을 피사체(1050)에 투사할 때 공간적으로 균일한 광세기를 얻기 위해서 디퓨저(1020)를 사용할 수 있다.
예를 들면, 광원(101)은 프로세서(1010)로부터 수신된 제어 신호에 따른 개수및 투사 순서로 하나 이상의 투사광을 디퓨저(1020)를 통해서 피사체(1050)에 투사할 수 있다. 일 예로, 광원(101)은 프로세서(1010)로부터 수신된 제어 신호에 따라, 위상차가 각각 0˚, 90˚, 180˚, 270˚, 0˚, 90˚인 6개의 투사광을 순차적으로 피사체(1050)에 투사할 수 있다. 다른 예로, 광원(101)은 프로세서(1010)로부터 수신된 제어 신호에 따라, 위상차가 각각 0˚, 180˚, 90˚, 270˚, 0˚, 180˚인 6개의 투사광을 순차적으로 피사체(1050)에 투사할 수 있다. 다른 예로, 광원(101)은 프로세서(1010)로부터 수신된 제어 신호에 따라, 위상차가 각각 0˚, 90˚, 180˚, 270˚, 0˚, 90˚, 180˚인 7개의 투사광을 순차적으로 피사체(1050)에 투사할 수 있다. 다른 예로, 광원(101)은 프로세서(1010)로부터 수신된 제어 신호에 따라, 위상차가 각각 0˚, 180˚, 90˚, 270˚, 0˚, 180˚, 90˚인 7개의 투사광을 순차적으로 피사체(1050)에 투사할 수 있다. 일 실시 예에 따른 광원은 0˚, 90˚, 180˚, 270˚ 또는 0˚, 180˚, 90˚, 270˚의 순서로 6개 내지 10개의 투사광을 프로세서(1010)로부터 수신된 제어 신호에 따라 투사할 수 있다.
위상이 서로 다른 영상을 얻는 다른 방법으로, 광원이 시간적으로 일정한 주기를 지니는 변조광을 투사한 상태에서 위상차의 개수에 따라 광변조기를 순차적으로 위상 천이하여 디바이스(100)는 6 ~ 10개의 위상 영상을 동일하게 얻을 수 있다.
일 실시 예에 따른 프로세서(1010)는 피사체(1050)에 순차적으로 투사할 복수개의 투사광의 개수 및/또는 투사 순서를 결정할 수 있다. 예를 들면, 프로세서(1010)는 필터링될 노이즈의 종류, 투사광의 투사 순서 및 허용 오차 범위 중 적어도 하나에 기초하여 투사광의 개수를 6 내지 10 중 하나의 개수로 결정할 수 있다. 다른 예로, 프로세서(1010)는 필터링될 노이즈의 종류, 투사광의 투사 순서 및 허용 오차 범위 중 적어도 하나에 기초하여 투사될 투사광의 투사 순서를 0˚, 90˚, 180˚, 270˚의 순서와 0˚, 180˚, 90˚, 270˚의 순서 중 하나로 결정할 수 있다.
일 실시 예에 따른 프로세서(1010)는 결정된 개수의 투사광으로부터 획득되는 변조된 반사광을 이용하여 피사체(1050)에 대한 거리 정보를 획득할 수 있다. 예를 들면, 프로세서(1010)는 결정된 개수의 투사광으로부터 획득되는 변조된 반사광을 이용하여 깊이 이미지(depth image)를 획득할 수 있다. 일 예로, 프로세서(1010)는 6개의 투사광으로부터 획득되는 변조된 반사광을 이용하여 피사체(1050)에 대한 깊이 이미지를 생성할 수 있다.
필터링될 노이즈의 종류는 시간의 흐름에 관계 없이 발생하는 불연속적인 노이즈, 시간의 흐름에 따라 선형적으로 변하는 1차 함수 형태의 노이즈 및 시간의 흐름에 따라 2차 함수 형태로 변하는 2차 함수 형태의 노이즈 중 적어도 하나를 포함할 수 있다. 이러한 1차, 2차 함수의 형태의 노이즈는 위상 영상에서 진폭과 밝기에 동시에 또는 개별적으로 영향을 미칠 수 있다. 예를 들면, 노이즈의 영향으로, 시간의 흐름에 따라 선형적으로 또는 2차 함수 형태로 진폭의 값이 변할 수 있다. 노이즈에 따른 영향의 실시 예들에 대해서는 도 15, 도 16, 도 25 및 도 26에서 구체적으로 설명한다.
일 실시 예에 따른 프로세서(1010)는 1차 함수 형태의 노이즈에 따른 오차를 감소시키기 위해 투사광의 개수를 6으로 결정하고, 투사 순서를 0˚, 90˚, 180˚, 270˚ 순서로 결정할 수 있다. 또한, 프로세서(1010)는 투사광의 개수 및 투사 순서에 따라 변조된 반사광 각각에 적용되는 가중치를 결정할 수 있다.
예를 들면, 프로세서(1010)는 복수개의 가중치 세트 중에서, 복수개의 변조된 반사광 각각에 대응되는 가중치를 나타내는 가중치 세트를 결정된 개수 및/또는 투사 순서에 따라 결정할 수 있다. 또한, 프로세서(1010)는 결정된 가중치 세트가 나타내는 가중치를 복수개의 변조된 반사광 각각에 적용하여 피사체(1050)에 대한 거리 정보를 획득할 수 있다.
본 실시 예에 대한 구체적인 사항은 도 17에서 후술한다.
또한, 명세서 전체에서, 반사광에 가중치가 적용된다는 말의 의미는 반사광 자체 또는 반사광에 따라 획득된 신호에 가중치가 적용되는 경우를 포함하여 해석될 수 있다. 예를 들면, 제1 반사광에 제1 가중치가 적용된다 말의 의미는 제1 반사광을 통해 획득된 제1 CIS 이미지에 제1 가중치가 적용되는 경우를 포함하여 해석될 수 있다.
다른 실시 예에 따른 프로세서(1010)는 1차 함수 형태의 노이즈에 따른 오차를 감소시키기 위해 투사광의 개수를 7로 결정하고, 투사 순서를 0˚, 90˚, 180˚, 270˚ 순서로 결정할 수 있다. 또한, 프로세서(1010)는 투사광의 개수 및 투사 순서에 따라 변조된 반사광 각각에 적용되는 가중치를 결정할 수 있으며, 본 실시 예에 대한 구체적인 사항은 도 18에서 후술한다.
다른 실시 예에 따른 프로세서(1010)는 불연속적인 노이즈에 따른 오차를 감소시키기 위해 투사광의 투사 순서를 0˚, 180˚, 90˚, 270˚ 순서로 결정할 수 있다. 또한, 프로세서(1010)는 투사광의 개수 및 투사 순서에 따라 변조된 반사광 각각에 적용되는 가중치를 결정할 수 있으며, 본 실시 예에 대한 구체적인 사항은 도 19에서 후술한다.
다른 실시 예에 따른 프로세서(1010)는 1차 함수 형태의 노이즈에 따른 오차를 감소시키기 위해 투사광의 개수를 6으로 결정하고, 투사 순서를 0˚, 180˚, 90˚, 270˚ 순서로 결정할 수 있다. 또한, 프로세서(1010)는 투사광의 개수 및 투사 순서에 따라 변조된 반사광 각각에 적용되는 가중치를 결정할 수 있으며, 본 실시 예에 대한 구체적인 사항은 도 20에서 후술한다.
다른 실시 예에 따른 프로세서(1010)는 불연속적인 노이즈에 따른 오차를 감소시키기 위해 투사광의 개수를 6으로 결정하고, 투사 순서를 0˚, 180˚, 90˚, 270˚ 순서로 결정할 수 있다. 또한, 프로세서(1010)는 투사광의 개수 및 투사 순서에 따라 변조된 반사광 각각에 적용되는 가중치를 결정할 수 있으며, 본 실시 예에 대한 구체적인 사항은 도 21에서 후술한다.
다른 실시 예에 따른 프로세서(1010)는 1차 함수 형태의 노이즈에 따른 오차를 감소시키기 위해 투사광의 개수를 8로 결정하고, 투사 순서를 0˚, 180˚, 90˚, 270˚ 순서로 결정할 수 있다. 또한, 프로세서(1010)는 투사광의 개수 및 투사 순서에 따라 변조된 반사광 각각에 적용되는 가중치를 결정할 수 있으며, 본 실시 예에 대한 구체적인 사항은 도 22에서 후술한다.
다른 실시 예에 따른 프로세서(1010)는 1차 함수 형태의 노이즈에 따른 오차를 감소시키기 위해 투사광의 개수를 8로 결정하고, 투사 순서를 0˚, 90˚, 180˚, 270˚ 순서로 결정할 수 있다. 또한, 프로세서(1010)는 투사광의 개수 및 투사 순서에 따라 변조된 반사광 각각에 적용되는 가중치를 결정할 수 있으며, 본 실시 예에 대한 구체적인 사항은 도 23에서 후술한다.
다른 실시 예에 따른 프로세서(1010)는 1차 함수 형태의 노이즈 및 2차 함수 형태의 노이즈에 따른 오차를 감소시키기 위해 투사광의 개수를 10으로 결정하고, 투사 순서를 0˚, 180˚, 90˚, 270˚ 순서로 결정할 수 있다. 또한, 프로세서(1010)는 투사광의 개수 및 투사 순서에 따라 변조된 반사광 각각에 적용되는 가중치를 결정할 수 있으며, 본 실시 예에 대한 구체적인 사항은 도 24에서 후술한다.
또한 상술된 실시 예 외에도 일 실시 예에 다른 프로세서(1010)는 노이즈에 따른 오차를 감소시키기 위해 투사광의 개수 및 투사 순서를 기설정된 방식으로 결정하고, 변조된 반사광 각각에 투사된 투사광의 개수 및 투사 순서에 따라 결정된 가중치를 적용하여 오차가 감소된 거리 정보를 획득할 수 있다.
도 8은 일 실시 예에 따른 광처리 과정에서 나타나는 강도 이미지(intensity image)의 일 예를 도시한다.
도 8에 도시된 I1, I2, I3, I4는 각각 도 4에서 상술된
Figure pat00039
,
Figure pat00040
,
Figure pat00041
,
Figure pat00042
에 대응될 수 있다. 예를 들면, 상술된 [수학식 9] 내지 [수학식 12]에서 상술된
Figure pat00043
,
Figure pat00044
,
Figure pat00045
,
Figure pat00046
에서 r값을 A 또는 B 값에 포함시키는 방식으로
Figure pat00047
,
Figure pat00048
,
Figure pat00049
,
Figure pat00050
으로부터 I1, I2, I3, I4의 수식이 획득될 수 있다. 여기서 Motion Blur Index(MBI)는 위상영상이 위상 천이 시간에 따라서 변하는 정도를 나타낼 수 있다. 예를 들면, 위상영상의 진폭(A)과 밝기(B)가 일정한 경우 MBI는 영(Zero)이 될 수 있다. 일 실시 예에 따른 디바이스(100)는 MBI의 절대값의 크기가 임계치 보다 큰 영역에 대해서 거리 정보를 획득하지 않고, 거리 정보를 획득하지 않은 영역에 대한 거리 정보는 후처리 과정에서 주변 거리 정보를 이용하여 보간법을 이용하여 획득할 수 있다.
일 실시 예에 따른 그래프(810)는 위상차에 따른 I1 내지 I4를 도시하고 있다. 그래프(810)에 도시된 I1 내지 I4를 수식으로 작성하면 수식들(820)과 같이 정리될 수 있다.
도 9는 일 실시 예에 따른 디바이스(100)가 복수개의 투사광을 피사체에 투사하여 피사체에 대한 거리 정보를 획득하는 방법을 나타내는 흐름도이다.
단계 S910에서 일 실시 예에 따른 디바이스(100)는 피사체에 순차적으로 투사할 복수개의 투사광의 개수를 결정한다. 일 실시 예에 따른 디바이스(100)는 필터링될 노이즈의 종류, 투사 순서 및 허용 오차 범위 중 적어도 하나에 기초하여 투사될 투사광의 개수를 결정할 수 있다. 예를 들면, 디바이스(100)는 필터링하고자 하는 노이즈의 종류 및 투사될 투사광의 투사 순서에 따라 투사광의 개수를 6 내지 10 중 하나의 개수로 결정할 수 있다. 일 예로, 디바이스(100)는 필터링하고자 하는 노이즈의 종류가 1차 함수 형태의 노이즈인 경우, 투사광의 투사 개수를 6 내지 8 중 하나의 개수로 결정할 수 있다. 다른 예로, 디바이스(100)는 필터링하고자 하는 노이즈의 종류가 2차 함수 형태의 노이즈인 경우, 투사광의 투사 개수를 8 내지 10 중 하나의 개수로 결정할 수 있다.
단계 S920에서 일 실시 예에 따른 디바이스(100)는 단계 S910에서 결정된 개수의 복수개의 투사광을 피사체에 투사한다.
예를 들면, 디바이스(100)는 단계 S910에서 결정된 개수가 6개인 경우, 6개의 투사광을 피사체에 순차적으로 투사할 수 있다.
일 실시 예에 따른 디바이스(100)는 단계 S910에서 결정된 개수의 복수개의 투사광을 하나의 단위로 하여 반복적으로 투사할 수 있다. 예를 들면, 단계 S910에서 결정된 개수가 7개인 경우, P1 내지 P7의 투사광을 피사체에 투사한 후, 다시 P1 내지 P7의 투사광을 피사체에 투사하는 투사 과정을 반복할 수 있다. 이 경우, 디바이스(100)는 7개의 투사광으로부터 획득한 정보를 이용하여 피사체에 대한 거리 정보를 획득할 수 있다. 예를 들면, 첫번째로 투사된 7개의 투사광으로부터 획득한 정보를 이용하여 피사체에 대한 거리 정보를 결정하고, 두번째로 투사된 7개의 투사광으로부터 획득한 정보를 이용하여 첫번째로 투사된 7개의 투사광에 따라 결정된 거리 정보를 갱신할 수 있다.
일 실시 예에 따른 디바이스(100)가 투사하는 복수개의 투사광 중 하나의 투사광은 주기가 서로 같고, 크기와 위상 중에서 적어도 하나가 서로 다른 복수의 주기파 중에서 하나의 주기파일 수 있다.
예를 들면, 디바이스(100)가 N개의 투사광을 피사체에 투사하는 경우, 투사광1 내지 투사광N은 동일한 주기, 파형 및 크기를 가지면서 위상만이 서로 다른 주기파일 수 있다. 일 예로, 복수개의 투사광의 사이에는 90×N˚(N은 자연수)의 위상차가 존재할 수 있다. 이 경우, 투사광K와 투사광K+4는 주기, 파형, 크기 및 위상이 모두 동일할 수 있다. 일 예로, 투사광K의 위상이 투사광K+1의 위상 보다 90도 느리고, 투사광K+1의 위상이 투사광K+2의 위상 보다 90도 느리고, 투사광K+2의 위상이 투사광K+3의 위상 보다 90도 느리고, 투사광K+3의 위상이 투사광K+4의 위상 보다 90도 느릴 수 있다. 또한, 투사광 K와 과 투사광 K+4의 주기, 파형, 크기 및 위상은 동일할 수 있다. 여기서 "동일"의 의미는 물리적으로 동일하게 현실 세계에서 구현된다는 의미로 제한해석되지 않으며, 현실적인 오차 범위 내에서 동일함을 의미할 수 있다.
단계 S930에서 일 실시 예에 따른 디바이스(100)는 단계 S920에서 순차적으로투사된 복수개의 투사광이 피사체에 반사되어 획득되는 하나 이상의 반사광을 변조(modulation)하여 복수개의 변조된 반사광을 획득한다.
예를 들면, 디바이스(100)는 이득 파형을 갖는 변조 신호를 이용해 반사광을 믹싱(Mixing)하여 변조된 반사광, 또는 위상 영상을 획득할 수 있다.
일 실시 예에 따른 변조는 광변조를 포함할 수 있다. 또한, 디바이스(100)가 하나 이상의 반사광을 변조할 때 이용하는 변조 신호는 변조의 대상이 되는 하나 이상의 투사광과 동일한 주기를 갖는 주기파를 포함할 수 있다.
단계 S940에서 일 실시 예에 따른 디바이스(100)는 단계 S930에서 획득한 복수개의 변조된 반사광 각각에 단계 S910에서 결정된 개수 및/또는 복수개의 투사광의 투사 순서에 따라 결정된 가중치를 적용하여 피사체에 대한 거리 정보를 획득한다.
일 실시 예에 따른 디바이스(100)는 단계 S930에서 획득한 복수개의 변조된 반사광 각각에 단계 S910에서 결정된 개수에 따라 결정된 가중치를 적용하여 피사체에 대한 거리 정보를 획득할 수 있다. 예를 들면, 단계 S910에서 결정된 개수가 6개이고, 순차적으로 투사되는 제1 투사광 내지 제6 투사광에 따라 획득되는 강도 이미지(intensity image)가 I1 내지 I6일 때, 디바이스(100)는 I1, I5, I2, I6에 1/2의 가중치를 두고, I3, I4에 1의 가중치를 둘 수 있다. 이 경우, 디바이스(100)는 I1, I5, I2, I6에 1/2의 가중치를 두고, I3, I4에 1의 가중치를 두어 MBI와 Φ를 획득한 후, 획득한 MBI와 Φ를 이용하여 피사체까지의 거리 정보를 획득할 수 있다. 구체적인 가중치 적용에 따른 거리 정보 획득 방법은 도 17 이하에서 후술한다. Φ는 TOF(Time of Flight)에 따라 지연된 위상을 의미할 수 있다.
또한, 도 17 이하에서 후술된 가중치 적용에 따른 거리 정보 획득 방법은 일 실시 예일 뿐이며 발명의권리 범위를 제한하지 않는다. 도 17 이하에서 기술되지 않은 가중치 적용 방법이라도, 투사광의 개수 및/또는 투사광의 투사 순서에 기초하여 미리 결정된 가중치 적용 방법에 따라 강도 이미지, 반사광 또는 변조된 반사광에 가중치를 적용하여 피사체에 대한 거리 정보를 획득하는 방법은 권리 범위에 포함된다.
도 10은 일 실시 예에 따른 디바이스(100)가 투사할 투사광의 개수 및 투사 순서를 결정하고, 결정된 개수의 투사광을 결정된 투사 순서로 투사하여 피사체에 대한 거리 정보를 획득하는 방법을 나타내는 흐름도이다.
단계 S1010에서 일 실시 예에 따른 디바이스(100)는 필터링될 노이즈의 종류 및 허용 오차 범위 중 적어도 하나에 기초하여 피사체에 순차적으로 투사할 투사광의 개수 및 투사 순서를 결정한다.
투사광의 개수를 결정하는 방법과 관련하여 상술된 단계 S910의 내용을 참조할 수 있다.
일 실시 예에 따른 디바이스(100)는 필터링될 노이즈의 종류에 기초하여 피사체에 투사할 투사광의 개수 및 투사 순서를 결정할 수 있다.
예를 들면, 필터링하고자 하는 노이즈의 종류가 1차 함수 형태의 노이즈인 경우, 디바이스(100)는 도 17에서 후술하는 바와 같이 6개의 투사광을 0˚, 90˚, 180˚, 270˚의 투사 순서로 투사하거나, 도 18에서 후술하는 바와 같이 7개의 투사광을 0˚, 90˚, 180˚, 270˚의 투사 순서로 투사하거나, 도 20에서 후술하는 바와 같이 6개의 투사광을 0˚, 180˚, 90˚, 270˚의 투사 순서로 투사하거나, 도 22에서 후술하는 바와 같이 8개의 투사광을 0˚, 180˚, 90˚, 270˚의 투사 순서로 투사하는 방법 중 하나의 방법을 이용할 수 있다.
다른 예로, 필터링하고자 하는 노이즈의 종류가 2차 함수 형태의 노이즈인 경우, 디바이스(100)는 도 23에서 후술하는 바와 같이 8개의 투사광을 0˚, 90˚, 180˚, 270˚의 투사 순서로 투사하거나, 도 24에서 후술하는 바와 같이 10개의 투사광을 0˚, 180˚, 90˚, 270˚의 투사 순서로 투사하는 방법 중 하나의 방법을 이용할 수 있다.
다른 예로, 필터링하고자 하는 노이즈의 종류가 불연속적인 노이즈인 경우, 디바이스(100)는 기설정된 개수의 투사광을 0˚, 180˚, 90˚, 270˚의 투사 순서로 투사할 수 있다. 투사광을 0˚, 180˚, 90˚, 270˚의 투사 순서로 투사하는 경우에 대해서는 도 19 및 도 21에서 후술한다.
상술된 예시는 권리 범위를 제한하지 않으며, 상술된 예시 외에도, 필터링될 노이즈의 종류에 기초하여 피사체에 투사할 투사광의 개수 및 투사 순서를 결정하는 방법은 권리범위에 속한다.
일 실시 예에 따른 디바이스(100)는 허용 오차 범위에 기초하여 피사체에 투사할 투사광의 개수 및 투사 순서를 결정할 수 있다.
예를 들면, 디바이스(100)는 허용 오차 범위가 작을수록 투사하는 투사광의 개수를 높게 결정할 수 있다.
일 예로, 1차 함수 형태의 노이즈에 의한 Φ값의 오차를 허용하지 않는 경우, 디바이스(100)는 피사체에 투사하는 투사광의 개수를 6개 이상으로 결정할 수 있다. 다른 예로, 1차 함수 형태의 노이즈에 의한 MBI의 값의 오차를 허용하지 않는 경우, 디바이스(100)는 피사체에 투사하는 투사광의 개수를 7개 이상으로 결정할 수 있다.
단계 S1020에서 일 실시 예에 따른 디바이스(100)는 단계 S1010에서 결정된 개수의 복수개의 투사광을 단계 S1010에서 결정된 투사 순서에 따라 피사체에 투사한다.
본 단계에서 복수개의 투사광을 피사체에 투사하는 방법은 상술한 단계 S920을 참조할 수 있다.
단계 S1030에서 일 실시 예에 따른 디바이스(100)는 단계 S1020에서 투사된 복수개의 투사광이 피사체에 반사되어 획득되는 복수개의 반사광을 변조(modulation)하여 복수개의 변조된 반사광을 획득한다.
본 단계는 단계 S930에 대응되므로 전체적인 설명을 간단히 하기 위해 상세한 설명을 생략한다
단계 S1040에서 일 실시 예에 따른 디바이스(100)는 복수개의 가중치 세트 중에서, 복수개의 변조된 반사광 각각에 대응되는 가중치를 나타내는 가중치 세트를 단계 S1010에서 결정된 투사광의 개수 및/또는 투사 순서에 따라 결정한다.
예를 들면, 디바이스(100)는 S1010에서 결정된 투사광의 개수 및 투사 순서가 각각 6개 0˚, 90˚, 180˚, 270˚ 순서인 경우, 제1 가중치 세트 내지 제 N 가중치 세트 중, 제1 가중치 세트를 위치 정보 획득에 이용되는 가중치 세트로 결정할 수 있다. 이 경우, 제1 가중치 세트는 I1 내지 I6에 각각 1/2, 1/2, 1, 1, 1/2, 1/2의 가중치를 적용할 것을 나타낼 수 있다. 다른 예로, 디바이스(100)는 S1010에서 결정된 투사광의 개수 및 투사 순서가 각각 8개 0˚, 180˚, 90˚, 270˚ 순서인 경우, 제1 가중치 세트 내지 제 N 가중치 세트 중, 제4 가중치 세트를 위치 정보 획득에 이용되는 가중치 세트로 결정할 수 있다. 이 경우, 제4 가중치 세트는 I2 내지 I9에 각각 1/8, 3/8, 5/8, 1/8, 1/8, 5/8, 3/8, 1/8의 가중치를 적용할 것을 나타낼 수 있다.
단계 S1050에서 일 실시 예에 따른 디바이스(100)는 단계 S1040에서 결정된 가중치 세트가 나타내는 가중치를 복수개의 변조된 반사광에 각각 적용하거나 또는 복수개의 변조된 반사광으로 획득된 복수개의 강도 이미지에 각각에 적용하여, TOF(Time of Flight)에 따라 지연된 위상(Φ) 및/또는 MBI(motion blur index)를 획득한다.
가중치를 적용하여 MBI 및/또는 Φ를 획득하는 구체적인 실시 예는 도 17 이하에서 후술한다.
단계 S1060에서 일 실시 예에 따른 디바이스(100)는 단계 S1050에서 획득된 위상 및/또는 MBI를 이용하여 피사체에 대한 거리 정보를 획득한다.
예를 들면, 디바이스(100)는 단계 S1050에서 획득된 위상 값(Φ)에 대응하는 거리를 광원으로부터 피사체까지의 거리로 결정할 수 있다.
다른 예로, 디바이스(100)는 단계 S1050에서 획득된 MBI를 거리 정보 획득에 이용할 수 있다. 일 실시 예에 따른 디바이스는 단계 S1050에서 획득된 MBI에 따라 획득한 거리 정보를 이용할지 여부를 결정할 수 있다. 일 예로, 디바이스(100)는 단계 S1050에서 획득된 MBI가 임계치보다 큰 경우 획득된 거리 정보 데이터를 배제하고, 디바이스(100)는 단계 S1050에서 획득된 MBI가 임계치보다 작은 경우에 획득된 거리 정보만을 이용하여 피사체에 대한 거리를 결정할 수 있다. 이 경우, 일 실시 예에 따른 디바이스(100)는 단계 S1050에서 획득된 MBI가 임계치보다 작은 경우 획득된 거리 정보 데이터들을 이용하여 배제된 거리 정보 데이터를 보충할 수 있다. 예를 들면, 보간 방법이 이용될 수 있다.
도 11은 일 실시 예에 따른 디바이스(100)가 가중치를 이용하여 피사체에 대한 거리 정보가 포함된 깊이 이미지를 획득하는 방법을 나타내는 흐름도이다.
단계 S1110 내지 단계 S1130은 각각 단계 S910 내지 단계 S930에 대응되므로 전체적인 설명을 간단히 하기 위해 상세한 설명을 생략한다.
단계 S1140에서 일 실시 예에 따른 디바이스(100)는 복수개의 변조된 반사광 각각에 결정된 개수 및/또는 복수개의 투사광의 투사 순서에 따라 결정된 가중치를 적용하여 피사체에 대한 거리 정보가 포함된 깊이 이미지를 획득한다. 일 실시 예에 따른 깊이 이미지는 거리 정보를 포함한 이미지를 의미할 수 있다.
일 실시 예에 따른 디바이스(100)는 단계 S1130에서 획득한 변조된 반사광 또는 강도 이미지에 가중치를 적용하여 TOF(Time of Flight)에 따라 지연된 위상(Φ) 및/또는 MBI(motion blur index)를 획득하고, 획득한 Φ 및/또는 MBI를 이용하여 거리 정보를 포함하는 깊이 이미지를 획득할 수 있다.
도 12는 피사체에 대한 거리 정보 및/또는 오차 정보를 이용하여, 피사체에 투사될 투사광의 개수 및/또는 투사 순서를 결정하고, 결정된 투사광의 개수 및 투사 순서로 투사된 투사광을 이용하여 피사체에 대한 거리 정보 및/또는 오차 정보를 갱신하는 방법을 나타내는 흐름도이다.
단계 S1210에서 일 실시 예에 따른 디바이스(100)는 피사체에 대한 거리 정보 및/또는 오차 정보를 이용하여, 피사체에 순차적으로 투사할 복수개의 투사광의 개수 및/또는 투사광의 투사 순서를 결정한다.
일 실시 예에 따른 디바이스(100)는 획득한 거리 정보 및/또는 오차 정보가 있는 경우, 획득한 거리 정보 및/또는 오차 정보에 따라 투사할 투사광의 개수 및/또는 투사광의 투사 순서를 결정할 수 있다. 예를 들면, 이미 획득된 Φ나 MBI의 값에 기초하여 투사할 투사광의 개수 및 투사 순서를 결정할 수 있다. 일 예로, 획득된 MBI의 값이 소정의 기준 이상이라고 결정된 경우 디바이스(100)는 기존에 투사된 투사광의 개수보다 투사될 투사광의 개수를 더 큰 값으로 결정할 수 있다. 예를 들면, MBI가 소정 기준 이상인 경우 디바이스(100)는 TOF 거리 오차가 커질 확률이 높다고 결정할 수 있다. 이 경우, 불확실한 영역을 줄이기 위해 디바이스(100)는 투사광의 투사 개수 및/또는 투사광의 투사 순서를 갱신할 수 있다. 일 예로, 디바이스(100)는 MBI의 값이 소정의 기준 이상이라고 결정된 경우 투사광의 투사 순서를 갱신할 수 있다. 본 명세서에서 투사광의 투사 순서는 0˚, 90˚, 180˚, 270˚ 또는 0˚, 180˚, 90˚, 270˚의 순서로 한정되지 않는다. 예를 들면, 디바이스(100)가 투사하는 투사광의 투사 순서는 180˚, 0˚, 90˚, 270˚ 또는 0˚, 270˚, 90˚, 180˚를 포함할 수 있다. 다른 예로, 이미 획득된 Φ의 값에 따른 오차가 기준 이상이라고 결정된 경우, 디바이스(100)는 기존에 투사된 투사광의 개수보다 투사될 투사광의 개수를 더 큰 값으로 결정할 수 있다.
단계 S1220 및 단계 S1230은 각각 단계 S1020 내지 단계 S1030에 대응되므로 전체적인 설명을 간단히 하기 위해 상세한 설명을 생략한다.
단계 S1240에서 일 실시 예에 따른 디바이스(100)는 복수개의 변조된 반사광 각각에 결정된 개수 및/또는 복수개의 투사광의 투사 순서에 따라 결정된 가중치를 적용하여 피사체에 대한 거리 정보 및/또는 오차 정보를 갱신한다.
단계 S1240은 상술된 단계 S940, S1050 및 S1060의 내용을 참조할 수 있다.
일 실시 예에 따른 디바이스(100)는 단계 S1230에서 획득된 변조된 반사광 또는 강도 이미지를 이용하여 피사체에 대한 거리 정보 및/또는 오차 정보를 획득하고, 기존에 획득되었던 거리 정보 및/또는 오차 정보를 새롭게 획득된 정보에 기초하여 갱신할 수 있다.
단계 S1250에서 일 실시 예에 따른 디바이스(100)는 제어 신호에 따라 거리 정보 획득을 종료할지 여부를 결정한다.
거리 정보 획득을 유지하는 경우 일 실시 예에 따른 디바이스(100)는 단계 S1210 내지 단계 S1240의 동작을 다시 수행할 수 있다. 제어 신호에 따라 디바이스(100)는 단계 S1210 내지 단계 S1240의 동작을 반복하여 수행할 수 있다.
도 13은 외부로부터 수신한 입력에 따라 피사체에 투사될 투사광의 개수 및/또는 투사 순서를 결정하고, 결정된 투사광의 개수 및 투사 순서로 투사된 투사광을 이용하여 피사체에 대한 거리 정보를 획득하는 방법을 나타내는 흐름도이다.
단계 S1310에서 일 실시 예에 따른 디바이스(100)는 디바이스(100)의 외부로부터 입력을 수신할 수 있다. 예를 들면, 디바이스(100)는 목표로하는 정확도, 투사할 투사광의 개수, 투사할 투사광의 투사 순서 등에 대한 입력을 수신할 수 있다. 디바이스(100)가 단계 S1310에서 수신하는 입력은 사용자 입력에 기초할 수도 있고, 외부 디바이스로부터 수신되는 제어 신호에 기초할 수도 있다.
단계 S1320에서 일 실시 예에 따른 디바이스(100)는 피사체에 순차적으로 투사할 복수개의 투사광의 개수 및 투사 순서를 수신한 외부 입력에 기초하여 결정한다.
일 실시 예에 따른 디바이스(100)는 단계 S1310에서 수신한 외부 수신 입력에 기초하여, 피사체에 투사할 투사광의 투사 방식을 결정할 수 있다.
예를 들면, 디바이스(100)는 단계 S1310에서 수신한 외부 수신 입력에 따라 8개의 투사광을 투사하고, 투사광을 투사할 때에는 0˚, 90˚, 180˚, 270˚의 순서로 투사할 수 있다. 다른 예로, 디바이스(100)는 단계 S1310에서 수신한 외부 수신 입력에 따라 1번에 1개의 투사광을 투사하는 방식으로 6차례에 걸쳐 총 6개의 투사광을 투사하고, 투사광을 투사할 때에는 0˚, 180˚, 90˚, 270˚의 순서로 투사할 수 있다.
또한, 일 실시 예에 따른 디바이스(100)는 기설정된 복수개의 투사 순서들 중에서 하나의 투사 순서를 피사체에 투사할 투사광의 투사 순서로 외부 수신 입력에 기초하여 결정할 수 있다.
단계 S1330 내지 단계 S1350은 각각 단계 S1020, 단계 S1030 및 단계 S940에 대응되므로 전체적인 설명을 간단히 하기 위해 상세한 설명을 생략한다.
도 14 내지 도 16은 노이즈의 종류를 도시한다. 구체적으로, 불연속적인 노이즈, 1차함수 형태의 노이즈 및 2차함수 형태의 노이즈를 각각 도시한다. 노이즈는 피사체 표면의 반사도의 불균형, 자연적인 빛의 변화, 피사체의 움직임 또는 투사광을 투사하는 디바이스(100)의 움직임 등에 의해 발생할 수 있다. 예를 들면, 이동 로봇 등과 같이 움직임이 수반되는 디바이스(100)의 경우, 디바이스(100)의 움직임에 의한 광원의 움직임으로 인해 노이즈가 발생할 수 있다.
도 14는 일 실시 예에 따른 디바이스(100)가 필터링할 노이즈의 종류 중 불연속적인 노이즈의 일 예를 나타내는 도면이다.
불연속적인 노이즈는 예측 가능성이 없이 발생하는 노이즈(예: 비주기적 노이즈)를 포함할 수 있다. 불연속 적인 노이즈는 여러 형태가 존재할 수 있다. 예를 들면, 불연속적인 노이즈에는 계단 형태 노이즈(1410), 램프 형태 노이즈(1420) 및 루프 형태 노이즈(1430) 등이 있을 수 있다.
도 15는 일 실시 예에 따른 디바이스(100)가 필터링할 노이즈의 종류 중 1차 함수 형태의 노이즈의 일 예를 나타내는 도면이다.
1차 함수 형태의 노이즈는 시간의 흐름에 따라 일정한 변화를 갖는 노이즈를 포함할 수 있다. 예를 들면, 1차 함수 형태의 노이즈는 시간의 흐름에 따라 선형적으로 증가하거나, 시간의 흐름에 따라 선형적으로 감소할 수 있다. 시간의 흐름에 따른 변화는 위상영상에서 진폭(A)과 밝기(B)에 동시에 또는 개별적으로 발생할 수 있다.
일 실시 예에 따른 디바이스(100)는 밝기(B)를 거리 정보를 획득하기 위해 이용할 수 있다. 이 경우, 1차 함수 형태의 노이즈에 따라 밝기(B)의 값이 시간에 따라 선형적으로 변경될 수 있다.
도 16은 일 실시 예에 따른 디바이스(100)가 필터링할 노이즈의 종류 중 2차 함수 형태의 노이즈의 일 예를 나타내는 도면이다.
2차 함수 형태의 노이즈는 2차 함수로 표현할 수 있는 형태의 노이즈를 포함할 수 있다. 예를 들면, 2차 함수 형태의 노이즈는 최고차항의 계수가 양수인 형태의 노이즈나 최고차항의 계수가 음수인 형태의 노이즈를 포함할 수 있다. 시간의 흐름에 따른 변화는 위상영상에서 진폭(A)과 밝기(B)에 동시에 또는 개별적으로 발생할 수 있다.
일 실시 예에 따른 디바이스(100)는 밝기(B)를 거리 정보를 획득하기 위해 이용할 수 있다. 이 경우, 2차 함수 형태의 노이즈에 따라 밝기(B)의 값이 시간에 따라 2차 함수 형태로 변경될 수 있다.
도 17은 일 실시 예에 따른 디바이스(100)가 0˚, 90˚, 180˚, 270˚의 투사 순서로 6개의 투사광을 투사하여 1차 함수 형태의 노이즈에의한 오차가 감소된 거리 정보를 획득하는 일 예를 나타내는 도면이다.
일 실시 예에 따른 디바이스(100)는 0˚, 90˚, 180˚, 270˚의 투사 순서로 6개의 투사광을 투사하여 I1 내지 I6를 획득할 수 있다. 또한, 1차 함수 형태의 노이즈는 I1 내지 I6에 각각 0, Δ, 2Δ, 3Δ, 4Δ, 5Δ 만큼 영향을 끼치게 된다.
따라서, I1, I2, I5, I6에 1/2의 가중치를 두고, I3, I4에 1의 가중치를 두고 MBI와 Φ를 각각 계산하면, MBI의 경우 1차 함수 형태의 노이즈에 의해 Δ만큼의 오차가 생길 수 있다. Φ의 경우 밝기(B)의 1차 함수 형태의 노이즈에 대하여 오차가 발생하지 않지만, 1차 함수 형태의 진폭(A) 또는 밝기(B)의 노이즈에 대하여 진폭 변화의 영향으로 오차가 발생할 수 있다.
따라서, 일 실시 예에 따른 디바이스(100)는 0˚, 90˚, 180˚, 270˚의 투사 순서로 6개의 투사광을 투사하여 거리 정보를 획득함으로써, 1차 함수 형태의 노이즈에 의한 오차를 제거 또는 감소시킬 수 있다. 예를 들면, 도 17에 도시된 바와 같이 거리 정보를 획득하면, 4개 또는 5개의 투사광을 이용하는 경우 등에 비해 1차 함수 형태의 노이즈에 의한 오차가 감소될 수 있다.
도 18은 일 실시 예에 따른 디바이스(100)가 0˚, 90˚, 180˚, 270˚의 투사 순서로 7개의 투사광을 투사하여 1차 함수 형태의 노이즈에의한 오차가 감소된 거리 정보를 획득하는 일 예를 나타내는 도면이다.
일 실시 예에 따른 디바이스(100)는 0˚, 90˚, 180˚, 270˚의 투사 순서로 7개의 투사광을 투사하여 I1 내지 I7을 획득할 수 있다. 또한, 1차 함수 형태의 노이즈는 I1 내지 I7에 각각 0, Δ, 2Δ, 3Δ, 4Δ, 5Δ, 6Δ 만큼 영향을 끼치게 된다.
따라서, I2, I6에 1/2의 가중치를 두고, I1, I7에 1/4의 가중치를 두고, I3, I5에 3/4의 가중치를 두고, I4에 1의 가중치를 두고 MBI와 Φ를 각각 계산하면, MBI 및 Φ 모두 1차 함수 형태의 진폭(A) 또는 밝기(B)의 노이즈에 의한 오차가 생기지 않을 수 있다. 이는 중앙 지점의 270° 시점을 중심으로 가중치에 의해 시간에 대한 동시성 보정이 이루어졌기 때문이다.
따라서, 일 실시 예에 따른 디바이스(100)는 0˚, 90˚, 180˚, 270˚의 투사 순서로 7개의 투사광을 투사하여 거리 정보를 획득함으로써, 1차 함수 형태의 노이즈에 의한 오차를 감소시키거나 제거할 수 있다. 예를 들면, 도 18에 도시된 바와 같이 거리 정보를 획득하면, 4개 내지 6개의 투사광을 이용하는 경우 등에 비해 1차 함수 형태의 노이즈에 의한 오차가 감소될 수 있다.
도 19는 일 실시 예에 따른 디바이스(100)가 0˚, 180˚, 90˚, 270˚의 투사 순서로 투사광을 투사하여 불연속적인 노이즈에의한 오차가 감소된 거리 정보를 획득하는 일 예를 나타내는 도면이다.
제1 케이스(1910)의 경우 투사광이 0˚, 90˚, 180˚, 270˚의 투사 순서로 투사된다. 제1 케이스(1910)의 경우 불연속적인 노이즈의 발생에 따라, Φ에 분자와 분모에 서로 다른 부호의 Δ가 부가되어 오차가 발생한 것을 확인할 수 있다.
제2 케이스(1920)의 경우 투사광이 0˚, 180˚, 90˚, 270˚의 투사 순서로 투사된다. 제2 케이스(1920)의 경우 제1 케이스(1910)의 경우와는 달리, 불연속적인 노이즈의 발생에 따라, Φ에 발생하는 오차가 없음을 확인할 수 있다.
따라서 노이즈의 종류 및 발생 시점 등에 따라 투사광의 투사 순서가 발생하는 오차의 정도에 영향을 끼칠 수 있으며, 디바이스(100)는 노이즈의 종류 및 발생 시점 등에 따라 투사광의 투사 순서를 결정함으로써, 발생 오차를 감소시킬 수 있다.
도 20은 일 실시 예에 따른 디바이스(100)가 0˚, 180˚, 90˚, 270˚의 투사 순서로 6개의 투사광을 투사하여 1차 함수 형태의 노이즈에의한 오차가 감소된 거리 정보를 획득하는 일 예를 나타내는 도면이다.
일 실시 예에 따른 디바이스(100)는 0˚, 180˚, 90˚, 270˚의 투사 순서로 6개의 투사광을 투사하여 I2 내지 I7을 획득할 수 있다. 또한, 1차 함수 형태의 노이즈는 I2 내지 I7에 각각 Δ, 2Δ, 3Δ, 4Δ, 5Δ, 6Δ 만큼 영향을 끼치게 된다.
따라서, I2, I7에 1/4의 가중치를 두고, I3, I6에 3/4의 가중치를 두고, I4, I5에 1의 가중치를 두고 MBI와 Φ를 각각 계산하면, MBI의 경우 1차 함수 형태의 노이즈에 의해 -Δ만큼의 오차가 생기고 Φ의 경우 밝기(B)의 1차 함수 형태의 노이즈에 대하여 오차가 발생하지 않지만, 1차 함수 형태의 진폭(A) 또는 밝기(B)의 노이즈에 대하여 진폭 변화의 영향으로 오차가 발생한다.
따라서, 일 실시 예에 따른 디바이스(100)는 0˚, 180˚, 90˚, 270˚의 투사 순서로 6개의 투사광을 투사하여 거리 정보를 획득함으로써, 1차 함수 형태의 노이즈에 의한 오차를 감소 또는 제거시킬 수 있다. 예를 들면, 도 20에 도시된 바와 같이 거리 정보를 획득하면, 4개 또는 5개의 투사광을 이용하는 경우 또는 0˚, 90˚, 180˚, 270˚의 투사 순서로 6개의 투사광을 투사하여 거리 정보를 획득하는 경우 등에 비해 1차 함수 형태의 노이즈에 의한 오차가 감소될 수 있다.
도 21은 일 실시 예에 따른 디바이스(100)가 0˚, 180˚, 90˚, 270˚의 투사 순서로 6개의 투사광을 투사하여 불연속적인 노이즈에의한 오차가 감소된 거리 정보를 획득하는 일 예를 나타내는 도면이다.
제1 노이즈 그래프(2110)는 계단 형태의 노이즈가 발생하는 경우의 일 예를 도시한다. 또한, 계단 형태의 노이즈가 발생하는 시점에 따른 오차가 제1 오차 그래프(2120)에서 도시된다. 일부의 경우를 제외하고는 전반적으로 0˚, 180˚, 90˚, 270˚의 투사 순서로 6개의 투사광을 투사하는 경우의 오차가 0˚, 90˚, 180˚, 270˚의 투사 순서로 6개의 투사광을 투사하는 경우의 오차보다 작음을 제1 오차 그래프(2120)에서 확인할 수 있다.
제2 노이즈 그래프(2130)는 루프 형태의 노이즈가 발생하는 경우의 일 예를 도시한다. 또한, 루프 형태의 노이즈가 발생하는 시점에 따른 오차가 제2 오차 그래프(2140)에서 도시된다. 이 경우도, 테스트된 모든 시점에서, 0˚, 180˚, 90˚, 270˚의 투사 순서로 6개의 투사광을 투사하는 경우의 오차가 0˚, 90˚, 180˚, 270˚의 투사 순서로 6개의 투사광을 투사하는 경우의 오차보다 작음을 제2 오차 그래프(2140)에서 확인할 수 있다.
투사 순서가 0˚, 90˚, 180˚, 270˚인 경우 및 투사 순서가 0˚, 180˚, 90˚, 270˚인 경우에 위상을 계산하는 수식이 수식들(2150)에 개시되어 있다.
도 22는 일 실시 예에 따른 디바이스(100)가 0˚, 180˚, 90˚, 270˚의 투사 순서로 8개의 투사광을 투사하여 1차 함수 형태의 노이즈에의한 오차가 감소된 거리 정보를 획득하는 일 예를 나타내는 도면이다.
일 실시 예에 따른 디바이스(100)는 0˚, 180˚, 90˚, 270˚의 투사 순서로 8개의 투사광을 투사하여 I2 내지 I9을 획득할 수 있다. 또한, 1차 함수 형태의 노이즈는 I2 내지 I9에 각각 Δ, 2Δ, 3Δ, 4Δ, 5Δ, 6Δ, 7Δ, 8Δ, 만큼 영향을 끼치게 된다.
따라서, I2, I9에 1/8의 가중치를 두고, I3, I8에 3/8의 가중치를 두고, I4, I7에 5/8의 가중치를 두고, I5, I6에 7/8의 가중치를 두고, MBI와 Φ를 각각 계산하면, MBI 및 Φ 모두 1차 함수 형태의 진폭(A)과 밝기(B)의 노이즈에 의한 오차가 생기지 않을 수 있다. 이는 중앙 지점의 0°와 180° 사이의 시점을 중심으로 가중치에 의해 시간에 대한 동시성 보정이 이루어 졌기 때문이다
따라서, 일 실시 예에 따른 디바이스(100)는 0˚, 180˚, 90˚, 270˚의 투사 순서로 8개의 투사광을 투사하여 거리 정보를 획득함으로써, 1차 함수 형태의 노이즈에 의한 오차를 감소 또는 제거시킬 수 있다. 예를 들면, 도 22에 도시된 바와 같이 거리 정보를 획득하면, 4개 내지 7개의 투사광을 이용하는 경우 등에 비해 1차 함수 형태의 노이즈에 의한 오차가 감소될 수 있다. 일 예로, 도 22에 도시된 바와 같이 거리 정보를 획득하면, 0˚, 90˚, 180˚, 270˚의 투사 순서로 8개의 투사광을 투사하여 거리 정보를 획득하는 경우에 비해 1차 함수 형태의 노이즈에 의한 오차가 경우에 따라 감소될 수 있다.
도 23은 일 실시 예에 따른 디바이스(100)가 0˚, 90˚, 180˚, 270˚의 투사 순서로 8개의 투사광을 투사하여 1차 함수 형태의 노이즈 및 2차 함수 형태의 노이즈에 의한 오차가 감소된 거리 정보를 획득하는 일 예를 나타내는 도면이다.
일 실시 예에 따른 디바이스(100)는 0˚, 90˚, 180˚, 270˚의 투사 순서로 8개의 투사광을 투사하여 I1 내지 I8을 획득할 수 있다. 또한, 1차 함수 형태의 노이즈는 I1 내지 I8에 각각 0, Δ, 2Δ, 3Δ, 4Δ, 5Δ, 6Δ, 7Δ 만큼 영향을 끼치고, 2차 함수 형태의 노이즈는 I1 내지 I8에 각각 0, a, 4a, 9a, 16a, 25a, 36a, 49a 만큼 영향을 끼치게 된다.
따라서, I1, I2, I7, I8에 1/4의 가중치를 두고, I3, I4, I5, I6에 3/4의 가중치를 두고, MBI와 Φ를 각각 계산하면, MBI의 경우 2차 함수 형태의 노이즈에 의해 7a만큼의 오차가 생기고, Φ의 경우 밝기(B)의 1차 함수 및 2차 함수 형태의 노이즈에 대하여 오차가 발생하지 않지만, 1차 함수 형태 및 2차 함수 형태의 진폭(A)과 밝기(B)의 노이즈에 대하여 진폭 변화의 영향으로 오차가 발생한다.
따라서, 일 실시 예에 따른 디바이스(100)는 0˚, 90˚, 180˚, 270˚의 투사 순서로 8개의 투사광을 투사하여 거리 정보를 획득함으로써, 1차 함수 형태의 노이즈 및 2차 함수 형태의 노이즈에 의한 오차를 감소 또는 제거시킬 수 있다. 예를 들면, 도 23에 도시된 바와 같이 거리 정보를 획득하면, 4개 내지 7개의 투사광을 이용하는 경우 등에 비해 1차 함수 형태의 노이즈 및 2차 함수 형태의 노이즈에 의한 오차가 감소될 수 있다.
도 24는 일 실시 예에 따른 디바이스(100)가 0˚, 180˚, 90˚, 270˚의 투사 순서로 10개의 투사광을 투사하여 1차 함수 형태의 노이즈 및 2차 함수 형태의 노이즈에의한 오차가 감소된 거리 정보를 획득하는 일 예를 나타내는 도면이다.
일 실시 예에 따른 디바이스(100)는 0˚, 180˚, 90˚, 270˚의 투사 순서로 10개의 투사광을 투사하여 I2 내지 I11을 획득할 수 있다. 또한, 1차 함수 형태의 노이즈는 I2 내지 I11에 각각 Δ, 2Δ, 3Δ, 4Δ, 5Δ, 6Δ, 7Δ, 8Δ, 9Δ, 10Δ 만큼 영향을 끼치고, 2차 함수 형태의 노이즈는 I2 내지 I11에 각각 a, 4a, 9a, 16a, 25a, 36a, 49a, 64a, 81a, 100a 만큼 영향을 끼치게 된다.
따라서, I2, I11에 1/16의 가중치를 두고, I3, I10에 3/16의 가중치를 두고, I4, I9에 6/16의 가중치를 두고, I5, I8에 10/16의 가중치를 두고, I6, I7에 12/16의 가중치를 두고, MBI와 Φ를 각각 계산하면, MBI 및 Φ 모두 1차 함수 형태의 노이즈 및 2차 함수 형태의 진폭(A)과 밝기(B)의 노이즈에 의한 오차가 생기지 않을 수 있다. 이는 중앙 지점의 180, 90° 사이의 시점을 중심으로 가중치에 의해 시간에 대한 동시성 보정이 이루어 졌기 때문이다
따라서, 일 실시 예에 따른 디바이스(100)는 0˚, 180˚, 90˚, 270˚의 투사 순서로 10개의 투사광을 투사하여 거리 정보를 획득함으로써, 1차 함수 형태의 노이즈 및 2차 함수 형태의 노이즈에 의한 오차를 감소 또는 제거시킬 수 있다. 예를 들면, 도 24에 도시된 바와 같이 거리 정보를 획득하면, 4개 내지 9개의 투사광을 이용하는 경우 등에 비해 1차 함수 형태의 노이즈 및 2차 함수 형태의 노이즈에 의한 오차가 감소될 수 있다.
도 25는 일 실시 예에 따른 디바이스(100)가 필터링할 노이즈의 종류 중 1차 함수 형태의 노이즈의 일 예를 나타내는 도면이다.
1차 함수 형태의 노이즈는 시간의 흐름에 따라 일정한 변화를 갖는 노이즈를 포함할 수 있다. 예를 들면, 1차 함수 형태의 노이즈는 시간의 흐름에 따라 선형적으로 증가하거나, 시간의 흐름에 따라 선형적으로 감소할 수 있다. 이와 같은 변화는 위상영상에서 진폭(A)과 밝기(B)에 동시에 또는 개별적으로 발생할 수 있다.
일 실시 예에 따른 디바이스(100)는 진폭(A)을 거리 정보를 획득하기 위해 이용할 수 있다. 이 경우, 1차 함수 형태의 노이즈에 따라 진폭(A)의 값이 시간에 따라 선형적으로 변경될 수 있다.
도 26은 일 실시 예에 따른 디바이스(100)가 필터링할 노이즈의 종류 중 2차 함수 형태의 노이즈의 일 예를 나타내는 도면이다.
2차 함수 형태의 노이즈는 2차 함수로 표현할 수 있는 형태의 노이즈를 포함할 수 있다. 예를 들면, 2차 함수 형태의 노이즈는 최고차항의 계수가 양수인 형태의 노이즈나 최고차항의 계수가 음수인 형태의 노이즈를 포함할 수 있다. 이와 같은 변화는 위상영상에서 진폭(A)과 밝기(B)에 동시에 또는 개별적으로 발생할 수 있다.
일 실시 예에 따른 디바이스(100)는 진폭(A)을 거리 정보를 획득하기 위해 이용할 수 있다. 이 경우, 2차 함수 형태의 노이즈에 따라 진폭(A)의 값이 시간에 따라 2차 함수 형태로 변경될 수 있다.
도 27 내지 도 32에서는 일 실시 예에 따른 디바이스(100)가 밝기(B) 뿐 아니라 진폭(A)에 대한 노이즈까지 고려하여 거리 정보를 획득하는 방법에 대해 도시한다. 도 27 내지 도 30에서 개시된 실시 예들은 A(t)= A0 + a*i, B(t)=B0 + Δ*i임을 기초로 할 수 있다. 또한, 도 31 내지 도 32에서 개시된 실시 예들은 A(t)= A0 + a*i+β*i2, B(t)=B0 + Δ*i+a*i2임을 기초로 할 수 있다.
도 27은 일 실시 예에 따른 디바이스(100)가 0˚, 90˚, 180˚, 270˚의 투사 순서로 6개의 투사광을 이용하여 진폭(A)의 변화에 따른 오차가 감소된 거리 정보를 획득하는 일 예를 나타내는 도면이다.
또한, 도 27 및 도 28에서 I 값을 나타내는 수식의 실시 예들은 도 27의 하단에 개시되었다.
일 실시 예에 따른 디바이스(100)는 0˚, 90˚, 180˚, 270˚의 투사 순서로 6개의 투사광을 투사하여 I1 내지 I6를 획득할 수 있다. 또한, 1차 함수 형태의 노이즈는 I1 내지 I6에 각각 0, Δ, 2Δ, 3Δ, 4Δ, 5Δ 만큼 영향을 끼치게 된다.
여기서 1차 함수 형태의 노이즈는 진폭(A) 및 밝기(B)에 대한 노이즈를 포함할 수 있다.
따라서, I1, I2, I5, I6에 1/2의 가중치를 두고, I3, I4에 1의 가중치를 두고 MBI와 Φ를 각각 계산하면, MBI의 경우 1차 함수 형태의 노이즈에 의해 Δ만큼의 오차가 생길 수 있다. Φ의 경우 1차 함수 형태의 진폭(A) 또는 밝기(B)의 노이즈에 대하여 진폭 변화의 영향으로 오차가 발생할 수 있다.
따라서, 일 실시 예에 따른 디바이스(100)는 0˚, 90˚, 180˚, 270˚의 투사 순서로 6개의 투사광을 투사하여 거리 정보를 획득함으로써, 1차 함수 형태의 노이즈에 의한 오차를 제거 또는 감소시킬 수 있다. 예를 들면, 도 27에 도시된 바와 같이 거리 정보를 획득하면, 4개 또는 5개의 투사광을 이용하는 경우 등에 비해 1차 함수 형태의 노이즈에 의한 오차가 감소될 수 있다.
보다 구체적으로, 일 실시 예에 따른 디바이스(100)는 0˚, 90˚, 180˚, 270˚의 투사 순서로 6개의 투사광을 투사하여 거리 정보를 획득함으로써, 선형적으로 변하는 진폭(A) 및 밝기(B)의 값에 따른 오차를 감소시킬 수 있다.
도 28은 일 실시 예에 따른 디바이스(100)가 0˚, 90˚, 180˚, 270˚의 투사 순서로 7개의 투사광을 이용하여 진폭(A)의 변화에 따른 오차가 감소된 거리 정보를 획득하는 일 예를 나타내는 도면이다.
일 실시 예에 따른 디바이스(100)는 0˚, 90˚, 180˚, 270˚의 투사 순서로 7개의 투사광을 투사하여 I1 내지 I7을 획득할 수 있다. 또한, 1차 함수 형태의 노이즈는 I1 내지 I7에 각각 0, Δ, 2Δ, 3Δ, 4Δ, 5Δ, 6Δ 만큼 영향을 끼치게 된다.
여기서 1차 함수 형태의 노이즈는 진폭(A) 및 밝기(B)에 대한 노이즈를 포함할 수 있다.
따라서, I2, I6에 1/2의 가중치를 두고, I1, I7에 1/4의 가중치를 두고, I3, I5에 3/4의 가중치를 두고, I4에 1의 가중치를 두고 MBI와 Φ를 각각 계산하면, MBI 및 Φ 모두 1차 함수 형태의 진폭(A) 또는 밝기(B)의 노이즈에 의한 오차가 생기지 않을 수 있다. 이는 중앙 지점의 270° 시점을 중심으로 가중치에 의해 시간에 대한 동시성 보정이 이루어졌기 때문이다.
따라서, 일 실시 예에 따른 디바이스(100)는 0˚, 90˚, 180˚, 270˚의 투사 순서로 7개의 투사광을 투사하여 거리 정보를 획득함으로써, 1차 함수 형태의 노이즈에 의한 오차를 감소시키거나 제거할 수 있다. 예를 들면, 도 28에 도시된 바와 같이 거리 정보를 획득하면, 4개 내지 6개의 투사광을 이용하는 경우 등에 비해 1차 함수 형태의 노이즈에 의한 오차가 감소될 수 있다.
보다 구체적으로, 일 실시 예에 따른 디바이스(100)는 0˚, 90˚, 180˚, 270˚의 투사 순서로 7개의 투사광을 투사하여 거리 정보를 획득함으로써, 선형적으로 변하는 진폭(A) 및 밝기(B)의 값에 따른 오차를 감소시킬 수 있다.
도 29는 일 실시 예에 따른 디바이스(100)가 0˚, 180˚, 90˚, 270˚의 투사 순서로 6개의 투사광을 이용하여 진폭(A)의 변화에 따른 오차가 감소된 거리 정보를 획득하는 일 예를 나타내는 도면이다.
또한, 도 29 및 도 30에서 I 값을 나타내는 수식의 실시 예들은 도 29의 하단에 개시되었다.
일 실시 예에 따른 디바이스(100)는 0˚, 180˚, 90˚, 270˚의 투사 순서로 6개의 투사광을 투사하여 I2 내지 I7을 획득할 수 있다. 또한, 1차 함수 형태의 노이즈는 I2 내지 I7에 각각 Δ, 2Δ, 3Δ, 4Δ, 5Δ, 6Δ 만큼 영향을 끼치게 된다.
여기서 1차 함수 형태의 노이즈는 진폭(A) 및 밝기(B)에 대한 노이즈를 포함할 수 있다.
따라서, I2, I7에 1/4의 가중치를 두고, I3, I6에 3/4의 가중치를 두고, I4, I5에 1의 가중치를 두고 MBI와 Φ를 각각 계산하면, MBI의 경우 1차 함수 형태의 노이즈에 의해 -Δ만큼의 오차가 생기고 Φ의 경우 1차 함수 형태의 진폭(A) 또는 밝기(B)의 노이즈에 대하여 진폭 변화의 영향으로 오차가 발생한다.
따라서, 일 실시 예에 따른 디바이스(100)는 0˚, 180˚, 90˚, 270˚의 투사 순서로 6개의 투사광을 투사하여 거리 정보를 획득함으로써, 1차 함수 형태의 노이즈에 의한 오차를 감소 또는 제거시킬 수 있다. 예를 들면, 도 29에 도시된 바와 같이 거리 정보를 획득하면, 4개 또는 5개의 투사광을 이용하는 경우 또는 0˚, 90˚, 180˚, 270˚의 투사 순서로 6개의 투사광을 투사하여 거리 정보를 획득하는 경우 등에 비해 1차 함수 형태의 노이즈에 의한 오차가 감소될 수 있다.
보다 구체적으로, 일 실시 예에 따른 디바이스(100)는 0˚, 180˚, 90˚, 270˚의 투사 순서로 6개의 투사광을 투사하여 거리 정보를 획득함으로써, 선형적으로 변하는 진폭(A) 및 밝기(B)의 값에 따른 오차를 감소시킬 수 있다.
도 30은 일 실시 예에 따른 디바이스(100)가 0˚, 180˚, 90˚, 270˚의 투사 순서로 8개의 투사광을 이용하여 진폭(A)의 변화에 따른 오차가 감소된 거리 정보를 획득하는 일 예를 나타내는 도면이다.
일 실시 예에 따른 디바이스(100)는 0˚, 180˚, 90˚, 270˚의 투사 순서로 8개의 투사광을 투사하여 I2 내지 I9을 획득할 수 있다. 또한, 1차 함수 형태의 노이즈는 I2 내지 I9에 각각 Δ, 2Δ, 3Δ, 4Δ, 5Δ, 6Δ, 7Δ, 8Δ, 만큼 영향을 끼치게 된다.
여기서 1차 함수 형태의 노이즈는 진폭(A) 및 밝기(B)에 대한 노이즈를 포함할 수 있다.
따라서, I2, I9에 1/8의 가중치를 두고, I3, I8에 3/8의 가중치를 두고, I4, I7에 5/8의 가중치를 두고, I5, I6에 7/8의 가중치를 두고, MBI와 Φ를 각각 계산하면, MBI 및 Φ 모두 1차 함수 형태의 진폭(A)과 밝기(B)의 노이즈에 의한 오차가 생기지 않을 수 있다. 이는 중앙 지점의 0°와 180° 사이의 시점을 중심으로 가중치에 의해 시간에 대한 동시성 보정이 이루어 졌기 때문이다
따라서, 일 실시 예에 따른 디바이스(100)는 0˚, 180˚, 90˚, 270˚의 투사 순서로 8개의 투사광을 투사하여 거리 정보를 획득함으로써, 1차 함수 형태의 노이즈에 의한 오차를 감소 또는 제거시킬 수 있다. 예를 들면, 도 30에 도시된 바와 같이 거리 정보를 획득하면, 4개 내지 7개의 투사광을 이용하는 경우 등에 비해 1차 함수 형태의 노이즈에 의한 오차가 감소될 수 있다. 다른 예로, 도 30에 도시된 바와 같이 거리 정보를 획득하면, 0˚, 90˚, 180˚, 270˚의 투사 순서로 8개의 투사광을 투사하여 거리 정보를 획득하는 경우에 비해 1차 함수 형태의 노이즈에 의한 오차가 경우에 따라 감소될 수 있다.
보다 구체적으로, 일 실시 예에 따른 디바이스(100)는 0˚, 180˚, 90˚, 270˚의 투사 순서로 8개의 투사광을 투사하여 거리 정보를 획득함으로써, 선형적으로 변하는 진폭(A) 및 밝기(B)의 값에 따른 오차를 감소시킬 수 있다.
도 31은 일 실시 예에 따른 디바이스(100)가 0˚, 90˚, 180˚, 270˚의 투사 순서로 8개의 투사광을 이용하여 진폭(A)의 변화에 따른 오차가 감소된 거리 정보를 획득하는 일 예를 나타내는 도면이다.
또한, 도 31에서 I 값을 나타내는 수식의 실시 예들은 도 31의 하단에 개시되었다.
일 실시 예에 따른 디바이스(100)는 0˚, 90˚, 180˚, 270˚의 투사 순서로 8개의 투사광을 투사하여 I1 내지 I8을 획득할 수 있다. 또한, 1차 함수 형태의 노이즈는 I1 내지 I8에 각각 0, Δ, 2Δ, 3Δ, 4Δ, 5Δ, 6Δ, 7Δ 만큼 영향을 끼치고, 2차 함수 형태의 노이즈는 I1 내지 I8에 각각 0, a, 4a, 9a, 16a, 25a, 36a, 49a 만큼 영향을 끼치게 된다.
여기서 1차 또는 2차 함수 형태의 노이즈는 진폭(A) 및 밝기(B)에 대한 노이즈를 포함할 수 있다.
따라서, I1, I2, I7, I8에 1/4의 가중치를 두고, I3, I4, I5, I6에 3/4의 가중치를 두고, MBI와 Φ를 각각 계산하면, MBI의 경우 2차 함수 형태의 노이즈에 의해 7a만큼의 오차가 생기고, Φ의 경우 1차 함수 형태 및 2차 함수 형태의 진폭(A)과 밝기(B)의 노이즈에 대하여 진폭 변화의 영향으로 오차가 발생한다.
따라서, 일 실시 예에 따른 디바이스(100)는 0˚, 90˚, 180˚, 270˚의 투사 순서로 8개의 투사광을 투사하여 거리 정보를 획득함으로써, 1차 함수 형태의 노이즈 및 2차 함수 형태의 노이즈에 의한 오차를 감소 또는 제거시킬 수 있다. 예를 들면, 도 31에 도시된 바와 같이 거리 정보를 획득하면, 4개 내지 7개의 투사광을 이용하는 경우 등에 비해 1차 함수 형태의 노이즈 및 2차 함수 형태의 노이즈에 의한 오차가 감소될 수 있다.
보다 구체적으로, 일 실시 예에 따른 디바이스(100)는 0˚, 90˚, 180˚, 270˚의 투사 순서로 8개의 투사광을 투사하여 거리 정보를 획득함으로써, 선형적으로 또는 2차 함수 형태로 변하는 진폭(A) 및 밝기(B)의 값에 따른 오차를 감소시킬 수 있다.
도 32는 일 실시 예에 따른 디바이스(100)가 0˚, 180˚, 90˚, 270˚의 투사 순서로 10개의 투사광을 이용하여 진폭(A)의 변화에 따른 오차가 감소된 거리 정보를 획득하는 일 예를 나타내는 도면이다.
또한, 도 32에서 I 값을 나타내는 수식의 실시 예들은 도 32의 하단에 개시되었다.
일 실시 예에 따른 디바이스(100)는 0˚, 180˚, 90˚, 270˚의 투사 순서로 10개의 투사광을 투사하여 I2 내지 I11을 획득할 수 있다. 또한, 1차 함수 형태의 노이즈는 I2 내지 I11에 각각 Δ, 2Δ, 3Δ, 4Δ, 5Δ, 6Δ, 7Δ, 8Δ, 9Δ, 10Δ 만큼 영향을 끼치고, 2차 함수 형태의 노이즈는 I2 내지 I11에 각각 a, 4a, 9a, 16a, 25a, 36a, 49a, 64a, 81a, 100a 만큼 영향을 끼치게 된다.
여기서 1차 또는 2차 함수 형태의 노이즈는 진폭(A) 및 밝기(B)에 대한 노이즈를 포함할 수 있다.
따라서, I2, I11에 1/16의 가중치를 두고, I3, I10에 3/16의 가중치를 두고, I4, I9에 6/16의 가중치를 두고, I5, I8에 10/16의 가중치를 두고, I6, I7에 12/16의 가중치를 두고, MBI와 Φ를 각각 계산하면, MBI 및 Φ 모두 1차 함수 형태의 노이즈 및 2차 함수 형태의 진폭(A)과 밝기(B)의 노이즈에 의한 오차가 생기지 않을 수 있다. 이는 중앙 지점의 180, 90° 사이의 시점을 중심으로 가중치에 의해 시간에 대한 동시성 보정이 이루어 졌기 때문이다
따라서, 일 실시 예에 따른 디바이스(100)는 0˚, 180˚, 90˚, 270˚의 투사 순서로 10개의 투사광을 투사하여 거리 정보를 획득함으로써, 1차 함수 형태의 노이즈 및 2차 함수 형태의 노이즈에 의한 오차를 감소 또는 제거시킬 수 있다. 예를 들면, 도 32에 도시된 바와 같이 거리 정보를 획득하면, 4개 내지 9개의 투사광을 이용하는 경우 등에 비해 1차 함수 형태의 노이즈 및 2차 함수 형태의 노이즈에 의한 오차가 감소될 수 있다.
보다 구체적으로, 일 실시 예에 따른 디바이스(100)는 0˚, 180˚, 90˚, 270˚의 투사 순서로 10개의 투사광을 투사하여 거리 정보를 획득함으로써, 선형적으로 또는 2차 함수 형태로 변하는 진폭(A) 및 밝기(B)의 값에 따른 오차를 감소시킬 수 있다.
도 17 내지 도 32에서 상술된 가중치 적용 방법은 일 실시 예일 뿐이며 발명의권리 범위를 제한하지 않는다. 도 17 내지 도 32에서 기술되지 않은 가중치 적용 방법이라도, 투사광의 개수 및/또는 투사광의 투사 순서에 기초하여 미리 결정된 가중치 적용 방법에 따라 강도 이미지, 반사광 또는 변조된 반사광에 가중치를 적용하여 피사체에 대한 거리 정보를 획득하는 방법은 권리 범위에 포함된다. 예를 들면, 11개 이상의 투사광을 투사하여 3차 함수 형태의 노이즈에 의한 오차를 감소시키는 방법은 권리 범위에 포함된다.
이상에서 전술한 일 실시 예에 따른 정보 획득 방법 및 장치는 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있고 컴퓨터에 의해 실행됨으로써 전술한 기능들이 실행될 수 있다.
또한, 이러한 코드는 전술한 기능들을 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조 되어야 하는지에 대한 메모리 참조 관련 코드를 더 포함할 수 있다.
이상에서 전술한 바와 같은 프로그램을 기록한 컴퓨터로 읽힐 수 있는 기록매체는, 일례로, ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 미디어 저장장치 등이 있다.
각 실시 예에 따른 정보 획득 방법 및 장치를 실행시키기 위한 프로그램인 애플리케이션을 기록한 기록매체를 읽을 수 있는 컴퓨터는, 일반적인 데스크 탑이나 노트북 등의 일반 PC 뿐만 아니라, 스마트 폰, 태블릿 PC, PDA(Personal Digital Assistants) 및 이동통신 단말기 등의 모바일 단말을 포함할 수 있으며, 이뿐만 아니라, 컴퓨팅(Computing) 가능한 모든 기기로 해석되어야 할 것이다.
이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재될 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다.
이상의 설명은 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 해당 기술 분야에서 통상의 지식을 가진 자라면 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 개시된 실시 예들은 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 기술 사상의 범위가 한정되는 것은 아니다. 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (20)

  1. 디바이스가 피사체에 대한 정보를 획득하는 방법에 있어서,
    상기 피사체에 순차적으로 투사할 복수개의 투사광의 개수를 결정하는 단계;
    상기 결정된 개수의 상기 복수개의 투사광을 상기 피사체에 투사하는 단계;
    상기 복수개의 투사광이 상기 피사체에 반사되어 획득되는 복수개의 반사광을 변조(modulation)하여 복수개의 변조된 반사광을 획득하는 단계; 및
    상기 복수개의 변조된 반사광 각각에 상기 결정된 개수 및/또는 상기 복수개의 투사광의 투사 순서에 따라 결정된 가중치를 적용하여 상기 피사체에 대한 거리 정보를 획득하는 단계를 포함하는 거리 정보 획득 방법.
  2. 제 1 항에 있어서,
    상기 투사광의 개수를 결정하는 단계는
    필터링될 노이즈의 종류, 상기 투사 순서 및 허용 오차 범위 중 적어도 하나에 기초하여 상기 투사광의 개수를 6 내지 10 중 하나의 개수로 결정하는 거리 정보 획득 방법.
  3. 제 2 항에 있어서,
    상기 노이즈의 종류는 시간의 흐름에 관계 없이 발생하는 불연속적인 노이즈, 시간의 흐름에 선형적으로 변하는 1차 함수 형태의 노이즈 및 시간의 흐름에 2차 함수 형태로 변하는 2차 함수 형태의 노이즈 중 적어도 하나를 포함하는 거리 정보 획득 방법.
  4. 제 1 항에 있어서,
    상기 피사체에 대한 상기 거리 정보를 획득하는 단계는
    복수개의 가중치 세트 중에서, 상기 복수개의 변조된 반사광 각각에 대응되는 가중치를 나타내는 가중치 세트를 상기 결정된 개수 및/또는 상기 투사 순서에 따라 결정하는 단계; 및
    상기 결정된 가중치 세트가 나타내는 가중치를 상기 복수개의 변조된 반사광 각각에 적용하여 상기 피사체에 대한 거리 정보를 획득하는 단계를 포함하는 거리 정보 획득 방법.
  5. 제 4 항에 있어서,
    상기 결정된 가중치 세트가 나타내는 가중치를 상기 복수개의 변조된 반사광 각각에 적용하여 상기 피사체에 대한 거리 정보를 획득하는 단계는
    상기 결정된 가중치 세트가 나타내는 가중치를 상기 복수개의 변조된 반사광 각각에 적용하여, TOF(Time of Flight)에 따라 지연된 위상 및/또는 MBI(motion blur index)를 획득하는 단계; 및
    상기 획득된 위상 및/또는 MBI를 이용하여 상기 피사체에 대한 거리 정보를 획득하는 단계를 포함하는 거리 정보 획득 방법.
  6. 제 1 항에 있어서,
    상기 복수개의 투사광 중 하나의 투사광은 주기가 서로 같고, 크기와 위상 중에서 적어도 하나가 서로 다른 복수의 주기파 중에서 하나의 주기파인 거리 정보 획득 방법.
  7. 제 1 항에 있어서,
    상기 복수개의 변조된 반사광을 획득하는 단계는
    이득 파형을 갖는 변조 신호를 이용해 상기 복수개의 반사광을 변조(modulation)하여 상기 복수개의 변조된 반사광을 획득하는 거리 정보 획득 방법.
  8. 제 7 항에 있어서,
    상기 변조 신호는 상기 복수개의 투사광과 동일한 주기를 갖는 주기파를 포함하는 거리 정보 획득 방법.
  9. 제 1 항에 있어서,
    상기 복수개의 투사광의 사이에는 90×N˚(N은 자연수)의 위상차가 존재하는 거리 정보 획득 방법.
  10. 제 1 항에 있어서,
    상기 피사체에 대한 상기 거리 정보를 획득하는 단계는
    상기 결정된 개수의 반사광들을 이용하여 상기 거리 정보가 포함된 깊이 이미지를 획득하는 거리 정보 획득 방법.
  11. 피사체에 대한 정보를 획득하는 디바이스에 있어서,
    프로세서(processor)에서 결정된 개수의 복수개의 투사광을 상기 피사체에 투사하는 광원;
    상기 복수개의 투사광이 상기 피사체에 반사되어 획득되는 복수개의 반사광을 변조(modulation)하여 복수개의 변조된 반사광을 획득하는 변조기(modulator); 및
    상기 피사체에 순차적으로 투사할 상기 복수개의 투사광의 상기 개수를 결정하고, 상기 복수개의 변조된 반사광 각각에 상기 개수 및/또는 상기 복수개의 투사광의 투사 순서에 따라 결정된 가중치를 적용하여 상기 피사체에 대한 거리 정보를 획득하는 프로세서를 포함하는 거리 정보 획득 디바이스.
  12. 제 11 항에 있어서,
    상기 프로세서는
    필터링될 노이즈의 종류, 상기 투사 순서 및 허용 오차 범위 중 적어도 하나에 기초하여 상기 투사광의 개수를 6 내지 10 중 하나의 개수로 결정하는 거리 정보 획득 디바이스.
  13. 제 12 항에 있어서,
    상기 노이즈의 종류는 시간의 흐름에 관계 없이 발생하는 불연속적인 노이즈, 시간의 흐름에 선형적으로 변하는 1차 함수 형태의 노이즈 및 시간의 흐름에 2차 함수 형태로 변하는 2차 함수 형태의 노이즈 중 적어도 하나를 포함하는 거리 정보 획득 디바이스.
  14. 제 11 항에 있어서,
    상기 프로세서는
    복수개의 가중치 세트 중에서, 상기 복수개의 변조된 반사광 각각에 대응되는 가중치를 나타내는 가중치 세트를 상기 결정된 개수 및/또는 상기 투사 순서에 따라 결정하고,
    상기 결정된 가중치 세트가 나타내는 가중치를 상기 복수개의 변조된 반사광 각각에 적용하여 상기 피사체에 대한 거리 정보를 획득하는 거리 정보 획득 디바이스.
  15. 제 14 항에 있어서,
    상기 프로세서는
    상기 결정된 가중치 세트가 나타내는 가중치를 상기 복수개의 변조된 반사광 각각에 적용하여, TOF(Time of Flight)에 따라 지연된 위상 및/또는 MBI(motion blur index)를 획득하고,
    상기 획득된 위상 및/또는 MBI를 이용하여 상기 피사체에 대한 거리 정보를 획득하는 거리 정보 획득 디바이스.
  16. 제 11 항에 있어서,
    상기 복수개의 투사광 중 하나의 투사광은 주기가 서로 같고, 크기와 위상 중에서 적어도 하나가 서로 다른 4 종류의 주기파 중에서 하나의 주기파인 거리 정보 획득 디바이스.
  17. 제 11 항에 있어서,
    상기 변조기는
    이득 파형을 갖는 변조 신호를 이용해 상기 복수개의 반사광을 변조(modulation)하여 상기 복수개의 변조된 반사광을 획득하는 거리 정보 획득 디바이스.
  18. 제 17 항에 있어서,
    상기 변조 신호는 상기 복수개의 투사광과 동일한 주기를 갖는 주기파를 포함하는 거리 정보 획득 디바이스.
  19. 제 11 항에 있어서,
    상기 복수개의 투사광의 사이에는 90×N˚(N은 자연수)의 위상차가 존재하는 거리 정보 획득 디바이스.
  20. 제 1 항 내지 제 10 항 중 어느 한 항의 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 비일시적 기록 매체.
KR1020160106167A 2016-08-22 2016-08-22 거리 정보를 획득하는 방법 및 디바이스 KR20180021509A (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020160106167A KR20180021509A (ko) 2016-08-22 2016-08-22 거리 정보를 획득하는 방법 및 디바이스
US15/472,804 US10545237B2 (en) 2016-08-22 2017-03-29 Method and device for acquiring distance information
EP17180091.5A EP3287807A1 (en) 2016-08-22 2017-07-06 Method and device for acquiring distance information
CN201710650607.8A CN107765260B (zh) 2016-08-22 2017-08-02 用于获取距离信息的方法、设备及计算机可读记录介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160106167A KR20180021509A (ko) 2016-08-22 2016-08-22 거리 정보를 획득하는 방법 및 디바이스

Publications (1)

Publication Number Publication Date
KR20180021509A true KR20180021509A (ko) 2018-03-05

Family

ID=59295105

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160106167A KR20180021509A (ko) 2016-08-22 2016-08-22 거리 정보를 획득하는 방법 및 디바이스

Country Status (4)

Country Link
US (1) US10545237B2 (ko)
EP (1) EP3287807A1 (ko)
KR (1) KR20180021509A (ko)
CN (1) CN107765260B (ko)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017128369A1 (de) * 2017-11-30 2019-06-06 Infineon Technologies Ag Vorrichtung und verfahren zum lokalisieren eines ersten bauelements, lokalisierungsvorrichtung und verfahren zur lokalisierung
US11662433B2 (en) * 2017-12-22 2023-05-30 Denso Corporation Distance measuring apparatus, recognizing apparatus, and distance measuring method
CN109358339A (zh) * 2018-08-31 2019-02-19 北京理工大学 一种基于固态面阵激光雷达的草地高度测量方法
US11275176B2 (en) * 2018-11-06 2022-03-15 Infineon Technologies Ag Phase emulator for a time-of-flight (ToF) device
WO2020102950A1 (zh) * 2018-11-19 2020-05-28 深圳市欢太科技有限公司 图像处理方法、电子设备和计算机可读存储介质
US11223759B2 (en) * 2019-02-19 2022-01-11 Lite-On Electronics (Guangzhou) Limited Exposure method and image sensing device using the same
CN111580117A (zh) * 2019-02-19 2020-08-25 光宝电子(广州)有限公司 飞时测距感测***的控制方法
CN110221309B (zh) * 2019-04-30 2021-08-17 深圳市光鉴科技有限公司 基于异步ToF离散点云的3D成像装置及电子设备
CN110333501A (zh) * 2019-07-12 2019-10-15 深圳奥比中光科技有限公司 深度测量装置及距离测量方法
CN112449081A (zh) * 2019-08-28 2021-03-05 天津大学青岛海洋技术研究院 一种用于校正tof图像传感器成像误差的方法
TW202111350A (zh) * 2019-08-29 2021-03-16 日商索尼半導體解決方案公司 測距感測器及其驅動方法、與測距模組
CN111736173B (zh) * 2020-05-24 2023-04-11 奥比中光科技集团股份有限公司 一种基于tof的深度测量装置、方法及电子设备

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5081530A (en) 1987-06-26 1992-01-14 Antonio Medina Three dimensional camera and range finder
US4935616A (en) 1989-08-14 1990-06-19 The United States Of America As Represented By The Department Of Energy Range imaging laser radar
IL114278A (en) 1995-06-22 2010-06-16 Microsoft Internat Holdings B Camera and method
DE69635891T2 (de) 1995-06-22 2006-12-14 3Dv Systems Ltd. Verbesserte optische kamera zur entfernungsmessung
US6088086A (en) 1995-09-11 2000-07-11 Sandia Corporation Range determination for scannerless imaging
ES2194302T3 (es) 1998-02-08 2003-11-16 3Dv Systems Ltd Obturador optico de imagen de gran apertura.
US6118946A (en) 1999-06-29 2000-09-12 Eastman Kodak Company Method and apparatus for scannerless range image capture using photographic film
US6856355B1 (en) 1999-11-30 2005-02-15 Eastman Kodak Company Method and apparatus for a color scannerless range image system
US6794628B2 (en) 2000-01-03 2004-09-21 3Dv Systems, Ltd. Solid state optical shutter
WO2005036372A2 (en) 2003-10-09 2005-04-21 Honda Motor Co., Ltd. Systems and methods for determining depth using shuttered light pulses
JP4161910B2 (ja) 2004-01-28 2008-10-08 株式会社デンソー 距離画像データ生成装置及び生成方法，プログラム
US8629976B2 (en) 2007-10-02 2014-01-14 Microsoft Corporation Methods and systems for hierarchical de-aliasing time-of-flight (TOF) systems
US8619354B2 (en) 2008-12-24 2013-12-31 Samsung Electronics Co., Ltd. High speed optical shutter, method of operating the same and apparatus including the same
RU2431876C2 (ru) 2008-12-24 2011-10-20 Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." Камера трехмерного изображения с фотомодулятором
KR101520029B1 (ko) 2008-12-31 2015-05-15 삼성전자주식회사 고정세화 패턴을 갖는 광 변조기
KR101547327B1 (ko) 2009-01-15 2015-09-07 삼성전자주식회사 광 이미지 변조기와 이를 포함하는 광학장치와 광 이미지 변조기의 제조 및 구동방법
KR101603778B1 (ko) 2009-01-19 2016-03-25 삼성전자주식회사 광 이미지 셔터
KR101623960B1 (ko) 2009-06-04 2016-05-25 삼성전자주식회사 광전자 셔터, 이의 동작 방법 및 광전자 셔터를 채용한 광학 장치
KR101638974B1 (ko) 2009-06-17 2016-07-13 삼성전자주식회사 광 변조기와 그 제조 및 동작방법과 광 변조기를 포함하는 광학장치
KR101706354B1 (ko) 2009-06-24 2017-02-13 삼성전자주식회사 고속 광 변조기 및 이를 이용한 광 변조방법
KR101675111B1 (ko) 2010-01-08 2016-11-11 삼성전자주식회사 광 이미지 셔터 및 그 제조 방법
KR101675112B1 (ko) 2010-01-21 2016-11-22 삼성전자주식회사 거리 정보 추출 방법 및 상기 방법을 채용한 광학 장치
KR101638973B1 (ko) 2010-01-22 2016-07-12 삼성전자주식회사 광변조기 및 그 제조 방법
US8587771B2 (en) 2010-07-16 2013-11-19 Microsoft Corporation Method and system for multi-phase dynamic calibration of three-dimensional (3D) sensors in a time-of-flight system
KR101753312B1 (ko) 2010-09-17 2017-07-03 삼성전자주식회사 뎁스 영상 생성 장치 및 방법
KR101598547B1 (ko) 2010-12-03 2016-03-02 삼성전자주식회사 광 이미지 변조기 및 그 제조 방법
KR101660408B1 (ko) 2010-12-20 2016-09-27 삼성전자주식회사 입사광의 입사각 보정기능을 갖는 광 이미지 변조기 및 이를 포함하는 광학장치
KR101722641B1 (ko) 2010-12-23 2017-04-04 삼성전자주식회사 3차원 영상 획득 장치 및 상기 3차원 영상 획득 장치에서 깊이 정보를 추출하는 방법
KR20120075182A (ko) 2010-12-28 2012-07-06 삼성전자주식회사 다중 패브리-페로 공진 모드를 이용한 광변조기 및 상기 광변조기를 포함하는 3차원 영상 획득 장치
KR101669219B1 (ko) 2010-12-30 2016-10-26 삼성전자주식회사 광변조기 및 이를 채용한 광학장치
KR101799521B1 (ko) 2011-05-24 2017-11-20 삼성전자 주식회사 광결정형 광변조기 및 이를 구비하는 3차원 영상 획득 장치
KR101854188B1 (ko) * 2011-10-25 2018-05-08 삼성전자주식회사 3차원 영상 획득 장치 및 3차원 영상 획득 장치에서 깊이 정보 산출 방법
KR101955334B1 (ko) 2012-02-07 2019-03-07 삼성전자주식회사 3차원 영상 획득 장치 및 상기 3차원 영상 획득 장치에서 깊이 정보를 추출하는 방법
KR102040152B1 (ko) 2013-04-08 2019-12-05 삼성전자주식회사 3차원 영상 획득 장치 및 3차원 영상 획득 장치에서의 깊이 영상 생성 방법
JP6427998B2 (ja) 2014-07-07 2018-11-28 株式会社デンソー 光飛行型測距装置
KR102194237B1 (ko) 2014-08-29 2020-12-22 삼성전자주식회사 깊이 영상 촬영 장치 및 깊이 정보 획득 방법
US10061029B2 (en) 2015-01-06 2018-08-28 Samsung Electronics Co., Ltd. Correction of depth images from T-O-F 3D camera with electronic-rolling-shutter for light modulation changes taking place during light integration
KR102610830B1 (ko) 2015-12-24 2023-12-06 삼성전자주식회사 거리 정보를 획득하는 방법 및 디바이스

Also Published As

Publication number Publication date
CN107765260B (zh) 2023-07-18
US10545237B2 (en) 2020-01-28
EP3287807A1 (en) 2018-02-28
US20180052231A1 (en) 2018-02-22
CN107765260A (zh) 2018-03-06

Similar Documents

Publication Publication Date Title
KR20180021509A (ko) 거리 정보를 획득하는 방법 및 디바이스
US9123164B2 (en) 3D image acquisition apparatus and method of extracting depth information in 3D image acquisition apparatus
KR101675112B1 (ko) 거리 정보 추출 방법 및 상기 방법을 채용한 광학 장치
US9253471B2 (en) Depth camera, multi-depth camera system and method of synchronizing the same
KR101722641B1 (ko) 3차원 영상 획득 장치 및 상기 3차원 영상 획득 장치에서 깊이 정보를 추출하는 방법
US9749613B2 (en) 3D image acquisition apparatus and method of generating depth image in the 3D image acquisition apparatus
KR101854188B1 (ko) 3차원 영상 획득 장치 및 3차원 영상 획득 장치에서 깊이 정보 산출 방법
CN110688763B (zh) 一种基于脉冲型ToF相机深度和光强图像的多径效应补偿方法
EP2402784A2 (en) Apparatus and method for generating depth image
KR102610830B1 (ko) 거리 정보를 획득하는 방법 및 디바이스
US11693093B2 (en) Distance-measuring apparatus that outputs precision information
KR102194233B1 (ko) 깊이 영상 생성 장치 및 방법
US10663593B2 (en) Projector apparatus with distance image acquisition device and projection method
KR102194237B1 (ko) 깊이 영상 촬영 장치 및 깊이 정보 획득 방법
CN111736173A (zh) 一种基于tof的深度测量装置、方法及电子设备
CN116520348A (zh) 基于调制光场的深度成像***、方法、设备及介质
CN114207474A (zh) 飞行时间调制光的展开相位
JP4955507B2 (ja) 測距装置および測距方法並びにプログラム
US20230260143A1 (en) Using energy model to enhance depth estimation with brightness image
JP2022020871A (ja) 物体認識装置、物体認識方法、およびプログラム
CN113447954B (zh) 场景深度测量方法、***、设备及存储介质
US11686828B2 (en) Method and apparatus for compensating stray light caused by an object in a scene that is sensed by a time-of-flight camera
WO2023156561A1 (en) Using energy model to enhance depth estimation with brightness image
WO2023156566A1 (en) Enhancing depth estimation with brightness image
JPH11160016A (ja) 距離測定方法及び装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal