KR20180032989A - ToF(time of flight) 촬영 장치 및 다중 반사에 의한 깊이 왜곡 저감 방법 - Google Patents

ToF(time of flight) 촬영 장치 및 다중 반사에 의한 깊이 왜곡 저감 방법 Download PDF

Info

Publication number
KR20180032989A
KR20180032989A KR1020160122386A KR20160122386A KR20180032989A KR 20180032989 A KR20180032989 A KR 20180032989A KR 1020160122386 A KR1020160122386 A KR 1020160122386A KR 20160122386 A KR20160122386 A KR 20160122386A KR 20180032989 A KR20180032989 A KR 20180032989A
Authority
KR
South Korea
Prior art keywords
light
original
image
reflected light
depth
Prior art date
Application number
KR1020160122386A
Other languages
English (en)
Other versions
KR102561099B1 (ko
Inventor
이지산
박용화
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020160122386A priority Critical patent/KR102561099B1/ko
Priority to US15/713,149 priority patent/US10430956B2/en
Publication of KR20180032989A publication Critical patent/KR20180032989A/ko
Application granted granted Critical
Publication of KR102561099B1 publication Critical patent/KR102561099B1/ko

Links

Images

Classifications

    • H04N13/0246—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4912—Receivers
    • G01S7/4915—Time delay measurement, e.g. operational details for pixel components; Phase measurement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/493—Extracting wanted echo signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/557—Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/586—Depth or shape recovery from multiple images from multiple light sources, e.g. photometric stereo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • H04N13/0271—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/006—Theoretical aspects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/006—Theoretical aspects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/006—Theoretical aspects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Measurement Of Optical Distance (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

깊이 영상의 왜곡을 저감하기 위한 영상 처리 방법은 서로 다른 위상들을 갖는 조사광들을 피사체로 조사하여 상기 피사체로부터 반사된 반사광들에 기초하여, 복수의 원본 영상들을 획득하는 단계; 상기 반사광들의 위상 지연에 기초하여, 상기 복수의 원본 영상들로부터 획득된 원본 깊이 영상의 원본 깊이값들을 획득하는 단계; 상기 원본 깊이 영상에서 소정의 광량 이상인 영역에 기초하여,상기 원본 깊이값들을 왜곡시키는 다중 반사광들의 가상 세기를 상기 위상들 각각에 대하여 결정하는 단계; 상기 다중 반사광들의 가상 세기에 기초하여, 상기 원본 깊이 영상의 원본 깊이값들을 보정하는 단계; 및 상기 보정된 원본 깊이값들을 이용하여 보정된 깊이 영상을 생성하는 단계를 포함할 수 있다.

Description

ToF(time of flight) 촬영 장치 및 다중 반사에 의한 깊이 왜곡 저감 방법{ToF(time of flight) capturing apparatus and method for reducing of depth distortion caused by multiple reflection thereof}
ToF 촬영 장치 및 ToF 촬영 장치에서 다중 반사에 의한 깊이 왜곡 저감 방법에 관한 것이다.
피사체(subject)와의 거리 정보를 획득할 수 있는 3D 카메라, 모션 캡처 센서(motion capture sensor), 레이저 레이더(Laser Radar; LADAR) 등에 관한 연구가 최근 증가하는 추세이다. 특히, 깊이감 있는 영상을 표시할 수 있는 3차원 디스플레이 장치의 발전 및 수요 증가와 함께 3차원 컨텐츠의 중요성이 부각되고 있다. 이에 따라, 일반 사용자가 3차원 컨텐츠를 직접 제작할 수 있는 다양한 깊이 이미지 촬영 장치가 연구되고 있다.
피사체의 표면들과 깊이 이미지 촬영 장치 사이의 거리에 관한 깊이 정보는, 두 대의 카메라를 이용한 양안 입체시차(Stereo Vision) 방법이나 구조광(Structured Light)과 카메라를 이용한 삼각 측량법(Triangulation)을 이용하여 얻을 수 있다. 또는, ToF(Time of Flight) 방식을 채용한 깊이 이미지 촬영 장치도 활용되고 있다.
ToF 촬영 장치 및 ToF 촬영 장치에서 다중 반사에 의한 깊이 영상의 깊이 왜곡을 저감하는 방법을 제공하는 데에 있다.
또한, 다중 반사에 의한 깊이 왜곡을 저감하는 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공하는 데 있다. 일실시예들이 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 이하의 실시예들로부터 또 다른 기술적 과제들이 유추될 수 있다.
일측에 따르면, 깊이 영상의 왜곡을 저감하기 위한 영상 처리 방법은 서로 다른 위상들을 갖는 조사광들을 피사체로 조사하여 상기 피사체로부터 반사된 반사광들에 기초하여, 복수의 원본 영상들을 획득하는 단계; 상기 반사광들의 위상 지연에 기초하여, 상기 복수의 원본 영상들로부터 획득된 원본 깊이 영상의 원본 깊이값들을 획득하는 단계; 상기 원본 깊이 영상에서 소정의 광량 이상인 영역에 기초하여,상기 원본 깊이값들을 왜곡시키는 다중 반사광들의 가상 세기를 상기 위상들 각각에 대하여 결정하는 단계; 상기 다중 반사광들의 가상 세기에 기초하여, 상기 원본 깊이 영상의 원본 깊이값들을 보정하는 단계; 및 상기 보정된 원본 깊이값들을 이용하여 보정된 깊이 영상을 생성하는 단계를 포함할 수 있다.
다른 일측에 따르면, ToF 촬영 장치는 서로 다른 위상들을 갖는 조사광들을 피사체로 조사하는 광원; 광 셔터; 상기 피사체로부터 반사되어 상기 광 셔터를 통해 입사된 반사광들을 센싱하는 이미지 센서; 및 상기 반사광들에 기초하여, 복수의 원본 영상들을 획득하고, 상기 반사광들의 위상 지연에 기초하여, 상기 복수의 원본 영상들로부터 획득된 원본 깊이 영상의 원본 깊이값들을 획득하고, 상기 원본 깊이 영상에서 소정의 광량 이상인 영역에 기초하여, 상기 원본 깊이값들을 왜곡시키는 다중 반사광들의 가상 세기를 상기 위상들 각각에 대하여 결정하고, 상기 다중 반사광들의 가상 세기에 기초하여, 상기 원본 깊이 영상의 원본 깊이값들을 보정하고, 상기 보정된 원본 깊이값들을 이용하여 보정된 깊이 영상을 생성하는 프로세서(10)를 포함할 수 있다.
또 다른 일측에 따르면, 상기 깊이 영상의 왜곡을 저감하기 위한 영상 처리 방법을 실행하는 프로그램을 수록한 컴퓨터 판독 가능 기록 매체가 제공된다.
도 1은 일실시예에 따른 ToF 촬영 장치의 하드웨어 구성을 도시한 도면이다.
도 2는 일실시예에 따라, 광의 다중 반사에 의한 깊이 왜곡을 설명하기 위한 도면이다.
도 3은 일실시예에 따라, 광의 다중 반사에 의한 깊이 왜곡에 따른 적외선 영상 및 깊이 영상을 도시한다.
도 4는 일실시예에 따라, 적외선 밝기 분포도 및 깊이 분포도를 도시한다.
도 5는 일실시에에 따라, 적외선 밝기에 따른 깊이 값의 변화를 도시한다.
도 6은 일실시예에 따라, 깊이 영상의 깊이 값을 획득하는 방법을 설명하기 위한 도면이다.
도 7은 일실시예에 따라, ToF 촬영 장치 내 프로세서(10)의 하드웨어 구성을 도시한 블록도이다.
도 8은 일실시예에 따라, 깊이 영상의 왜곡을 저감하기 위한 영상 처리 방법을 설명하기 위한 도면이다.
도 9는 일실시예에 따라, 깊이 영상의 깊이 왜곡을 보정한 결과를 설명하기 위한 도면이다.
도 10은 다른 일실시예에 따라, 깊이 영상의 깊이 왜곡을 보정한 결과를 설명하기 위한 도면이다.
이하에서, 일부 실시예들을, 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
아래 설명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 관례, 새로운 기술의 출현 등에 따라 달라질 수 있다.
또한 특정한 경우는 이해를 돕거나 및/또는 설명의 편의를 위해 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 설명 부분에서 상세한 그 의미를 기재할 것이다. 따라서 아래 설명에서 사용되는 용어는 단순한 용어의 명칭이 아닌 그 용어가 가지는 의미와 명세서 전반에 걸친 내용을 토대로 이해되어야 한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
본 명세서에서 사용되는 '구성된다' 또는 '포함한다' 등의 용어는 명세서 상에 기재된 여러 구성 요소들, 도는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다. 또한, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
이하, 실시예를 첨부된 도면을 참조하여 상세하게 설명한다. 본 실시예들은 텍스쳐를 처리하는 방법 및 장치에 관한 것으로서 이하의 실시예들이 속하는 기술 분야에서 통상의 지식을 가진 자에게 널리 알려져 있는 사항들에 관해서는 자세한 설명을 생략한다.
도 1은 일실시예에 따른 ToF 촬영 장치의 하드웨어 구성을 도시한 도면이다.
도 1에 도시된 ToF 촬영 장치(1)에는 실시예들과 관련된 구성요소들만이 도시되어 있다. 따라서, 도 1에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음을 당해 기술분야의 통상의 기술자라면 이해할 수 있다.
도 1을 참조하면, ToF 촬영 장치(1)는 피사체(2)에 광을 조사하는 광원(20)과, 피사체(2)로부터 반사된 광을 수신하는 렌즈(30), 광 셔터(optical shutter)(40) 및 이미지 센서(50)를 포함할 수 있다. 광 셔터(40)는 광원(20)에서 조사된 광 및 피사체(2)에 의해 반사된 반사광이 진행하는 경로에 위치하고, 반사광의 투과율을 변화시켜 반사광의 파형을 변조할 수 있다. 그리고, ToF 촬영 장치(1)는 광원(20), 광 셔터(40) 및 이미지 센서(50)를 제어하며, 피사체(2)로부터 반사되어 측정된 광의 위상을 계산하며, 피사체(2)의 깊이 정보, 거리 정보를 연산하여 깊이 이미지를 생성하는 프로세서(10)를 포함하고, 프로세서(10)에 의해 처리된 결과를 저장하는 메모리(60)를 포함할 수 있다.
광원(light source)(20)은 발광 다이오드(light emitting diode, LED) 또는 레이저 다이오드(laser diode, LD)로 구현될 수 있다. 광원(20)은 적외선(infrared, IR) 또는 근적외선(near infrared, near IR) 영역의 광을 피사체(2)에 조사할 수 있다. 다만, 광원(120)에 의해 조사될 수 있는 광의 종류는 이에 제한되지 않으나, 본 실시예들에서는 설명의 편의를 위하여, 광의 종류가 적외선(IR) 광인 경우를 예로 들어 설명하도록 한다.
광원(20)은 피사체(2)에 순차적으로 서로 다른 위상들의 광들을 조사할 수 있다. 예를 들어, 광원(20)은 0도 위상, 90도 위상, 180도 위상, 270도 위상의 광들을 피사체(2)로 조사할 수 있다. 한편, 본 실시예에서는 설명의 편의를 위하여, 4개의 위상들을 예로 들었으나, 위상들의 종류는 이에 제한되지 않는다.
각 위상의 조사광은 피사체(10)의 표면에 의해 반사된다. 서로 다른 위상들의 반사광들은 렌즈(30)를 통하여 광 셔터(40)에 입사된다. 렌즈(30)는 피사체(2)로부터 반사된 광을 포커싱한다. 렌즈(30)에 의해 포커싱된 반사광은 광 셔터(40) 및 이미지 센서(50)로 입사된다.
광원(20)과 피사체(2) 사이의 거리에 의존하여 광원(20)으로부터 조사되어 피사체(2)에 의해 반사된 광의 비행 시간이 결정될 수 있다. 예를 들어, 피사체(2)의 다수의 지점들(P1, P2, P3, P4, P5) 각각으로부터 반사된 반사광들은 비행 거리의 차이로 인하여 비행 시간들이 서로 다를 수 있다. 따라서, 광원(20)에서 광을 조사한 시점과 이미지 센서(50)에서 광을 센싱한 시점의 차이에 해당되는 비행 시간을 계산함으로써 피사체(2)와 ToF 촬영 장치(1) 사이의 거리가 계산될 수 있다. ToF 촬영 장치(1)는 이와 같은 ToF 원리를 이용하여 피사체(2) 및 피사체(2) 주변에 대한 깊이들을 계산함으로써 피사체(2) 및 피사체(2) 주변을 포함한 장면(scene)의 깊이 이미지를 생성할 수 있다.
도 1의 그래프(31)을 참고하면, 광원(20)에서 조사된 광들은 시간에 따라 서로 다른 위상들로 피사체(2)를 향해 조사된다. 앞서 예로 든 바와 같이, 광원(20)은 0도 위상, 90도 위상, 180도 위상, 270도 위상의 광들을 피사체(2)로 조사할 수 있다. 도 1의 그래프(32)을 참고하면, 각 위상의 조사광은 대응되는 각 위상의 반사광으로 ToF 촬영 장치(1)의 광 셔터(40) 및 이미지 센서(50)에 입사된다. 이때, 광 셔터(40)는 도 1의 그래프(33)에 도시된 바와 같이, 시간의 변화에 따라 개폐 타이밍이 조절됨으로써 반사광의 이미지 센서(50)로의 입사를 제어할 수 있다.
이미지 센서(50)는 CMOS 이미지 센서(CMOS(Complementary Metal Oxide Semiconductor) image sensor, CIS) 또는 CCD(charge coupled device)일 수 있으나, 이미지 센서의 종류는 이에 제한되지 않는다. 이미지 센서(50)는 예를 들어, nㅧn (n은 자연수) 픽셀들의 센싱 소자들을 갖는 픽셀 어레이로 구현될 수 있다. 다만, 본 실시예에서는 설명의 편의를 위하여 정방형의 픽셀 어레이를 가정하였으나, 이미지 센서(50) 내 픽셀 어레이의 행 또는 열의 개수는 이에 제한되지 않고 달라질 수 있다.
프로세서(10)는 이미지 센서(50)에 의해 센싱된 서로 다른 위상들의 광 신호들을 이용하여 깊이 이미지를 생성한다. 보다 상세하게 설명하면, 프로세서(10)는 센싱된 적외선 광의 세기에 기초하여 각 위상에 대응되는 적외선 이미지들을 생성하고, 각 위상의 적외선 이미지들을 이용하여 ToF를 계산하고, 계산된 ToF에 기초한 깊이 값들로 깊이 이미지를 생성한다. 한편, 프로세서(10)는 ToF 촬영 장치(1) 내 광원(20), 광 셔터(40), 이미지 센서(50) 및 메모리(60)의 기능 및 동작을 제어한다.
메모리(60)는 ToF 촬영 장치(1) 내에서 처리된 결과들, 예를 들어 적외선 광 신호들에 관한 데이터, 생성된 적외선 이미지, ToF 계산 결과들, 깊이 값들, 깊이 이미지 등을 저장하고, 필요한 때에 ToF 촬영 장치(1) 내 각 구성들에 저장된 데이터를 제공한다.
한편, ToF 촬영 장치(1) 내의 광원(20), 렌즈(30), 광 셔터 (40) 및 이미지 센서(50)에 존재하는 전기적 노이즈 또는 신호 왜곡이 존재하여 깊이 영상의 깊이 값의 오차를 야기할 수 있다. 따라서, 본 실시예에에 따른 ToF 촬영 장치(1)는 노이즈 또는 신호 왜곡에 따라 발생된 깊이 왜곡을 저감하는 영상 처리를 수행할 수 있다. 이에 대해서는 이하의 다른 도면들을 참고하여 보다 상세하게 설명하도록 한다.
도 2는 일실시예에 따라, 광의 다중 반사에 의한 깊이 왜곡을 설명하기 위한 도면이다.
ToF 촬영 장치(1)는 광원(20)에서 발생한 조사광이 측정하고자 하는 피사체에 반사되어 다시 ToF 촬영 장치(1)의 이미지 센서(50)에 돌아오는 반사광을 감지하여 깊이를 측정할 수 있다. ToF 촬영 장치(1)로 측정하고자 하는 영역(Field Of View, fov)이 넓은 경우, 광원(20) 앞에 산광기(diffuser)나 렌즈(30)를 이용하여 광을 퍼뜨려주는 방식을 사용할 수 있다. 그러나, 광이 임의의 피사체에서 반사될 때 기본적으로 램버트 반사(Lambertian Reflection)의 형태를 가지기 때문에, 반사광은 이미지 센서(50) 뿐 아니라 전방위로 퍼져나게게 된다.
이 경우, 이미지 센서(50)에서는 측정하고자 하는 피사체에 반사되어 바로 돌아오는 다이렉트 빔(direct beam)(210) 이외에, 다양한 경로를 거쳐 들어오는 광(multiple reflection 혹은 multi-path, 이하, 다중 반사광(들)이라 기재한다.)(220)이 섞여서 깊이 정보에 왜곡을 일으킬 수 있다. 여기서, 다중 반사광들은 주변의 다른 물체나 벽, 바닥면 등에 먼저 반사되고 다시 피사체에 반사되어 들어오는 광, 피사체에 먼저 반사되고 그 다음 주변에 반사되어 들어오는 광 등이 해당될 수 있다.
도 3은 일실시예에 따라, 광의 다중 반사에 의한 깊이 왜곡에 따른 적외선 영상 및 깊이 영상을 도시한다.
광의 다중 반사는 측정 대상인 피사체 이외의 주변 환경(바닥, 벽, 다른 물체) 등 주위의 모든 객체가 원인이 될 수 있다. 도 3은 벽과 바닥이 흰색으로 되어 있는 환경에서 광학 테이블 위에 ToF 촬영 장치(1)를 놓고, 60 x 90 cm2의 크기를 가지는 화이트(white) 평판을 측정하여 획득된 적외선 영상(a) 및 깊이 영상(b)을 도시한다.
도 4는 일실시예에 따라, 적외선 밝기 분포도 및 깊이 분포도를 도시한다.
도 3에 따라, 벽과 바닥이 흰색으로 되어 있는 환경에서 광학 테이블 위에 ToF 촬영 장치(1)를 놓고, 60 x 90 cm2의 크기를 가지는 화이트 평판을 측정하는 경우, 실제 깊이 영상은 ToF 촬영 장치(1)에서 수직 거리가 아닌 실제 거리를 나타내기 때문에 중심 부분에 비해 위, 아래 지역이 조금 더 멀리 측정될 수 있다. 도 4의 (a)는 ToF 촬영 장치(1)에 의해 촬영된 깊이 영상에 대한 적외선 밝기 분포도를 나타내고, 도 4의 (b)는 깊이 분포도를 나타낸다. 화이트 평판의 깊이 정보가 화면 중앙에서는 정상적인 값이 측정되지만, 도 4(a)에 도시된 바와 같이, 중심부의 1/10 이하인 위, 아래 지역에서는 거리가 10~20cm 더 멀리 측정된다.
도 5는 일실시에에 따라, 적외선 밝기에 따른 깊이 값의 변화를 도시한다.
도 5는 도 4의 (a) 및 (b)에 도시된 그래프를 이용하여 적외선 밝기에 따른 깊이 값의 변화를 도시한다. 도 5에 도시된 바와 같이, 깊이 값은 적외선 밝기가 작아질수록 급격하게 커질 수 있다. 즉, 주변 물체에서 여러 번 반사된 다중 반사광은 대체로 측정하고자 하는 영역에 균일하게 영향을 미치기 때문에, 적외선 광량이 약한 곳에 더 큰 영향을 미칠 수 있다.
도 6은 일실시예에 따라, 깊이 영상의 깊이 값을 획득하는 방법을 설명하기 위한 도면이다.
본 명세서에서,
Figure pat00001
는 S번째 조사광의 광출력(s-th emitting light optical power),
Figure pat00002
는 S번째 조사광의 위상차(phase shift of the s-th emitting light),
Figure pat00003
는 출력광의 DC 오프셋 (emitting light DC offset),
Figure pat00004
는 S번째 수신된 반사광의 광출력(s-th receiving light optical power),
Figure pat00005
는 수신된 외광(receiving ambient light), r은 피사체 표면의 광 감쇠(light attenuation of the object surface), G는 광 셔터(40) 이득(shutter gain),
Figure pat00006
는 광 셔터(40) 이득 DC 오프셋(shutter gain DC offset), w는 동작 주파수(operationg frequency),
Figure pat00007
는 TOF(Time of Flight)에 따른 위상 지연(phase delay due to TOF)을 의미할 수 있다.
S번째 투사광의 광출력은 [수학식 1]과 같이 표현될 수 있다.
Figure pat00008
여기서 rect는 구형파(AC)에 DC 성분이 더해진 형태일 수 있다.
필터를 통과한 후의 반사광(
Figure pat00009
)은 [수학식 2]와 같이 표현될 수 있다. 필터를 통과한 후의 반사광은 피사체의 표면에서 반사되어 돌아오므로, 물체의 표면 반사도, 물체의 법선에 대한 광원(20)의 입사각도, 광원(20)과 물체 사이의 거리, 렌즈(30)의 크기 등이 종합적으로 고려된 반사도인 r이 곱해진 형태이고, TOF에 의한 위상차가 존재하고, 외광이 존재할 수 있다.
Figure pat00010
광 셔터(40)의 변조 파형(Gain)은 [수학식 3]과 같이 표현될 수 있다.
Figure pat00011
예를 들면, 셔터의 변조 파형(G(t))은 사인파(AC)에 DC 성분이 더해진 형태일 수 있다.
이미지 센서(50)에 도달하는 광은 [수학식 4]와 같이 표현될 수 있다.
Figure pat00012
Figure pat00013
이미지 센서(50)로부터 획득되는 이미지는 [수학식 5]와 같이 표현될 수 있다.
Figure pat00014
Figure pat00015
Figure pat00016
Figure pat00017
Figure pat00018
상술된 [수학식 5]로부터 연속으로 획득되는 4개의 이미지가 [수학식 6] 내지 [수학식 9]로 표현될 수 있다.
Figure pat00019
Figure pat00020
Figure pat00021
Figure pat00022
또한, [수학식 6] 내지 [수학식 9]는 [수학식 10]을 만족할 수 있다.
Figure pat00023
이미지 센서(50)에서 획득되는 위상 영상(Icis)는 [수학식 5], [수학식 10]에서와 같이 A, B의 매개 변수에 반사도 r이 곱해지는 형태일 수 있다. 일 실시 예에 따라, A는 광원(20) 세기의 진폭(a)과, 광 셔터(40)의 변조진폭(c)의 곱일 수 있고, B는 광원(20)의 평균세기와 외부광의 평균세기의 합에 셔터의 DC 성분을 곱한 것일 수 있다. 일정한 시간의 동안 광원(20)과 광 셔터(40)의 구동 신호에 드리프트(drift)가 발생하는 등의 경우에, B는 시간이 흐름에 따라 변할 수 있다.
상술된 [수학식 6] 내지 [수학식 9]에서 미지수인 r, A, B를 소거하여
Figure pat00024
에 대해서 풀면, 아래의 [수학식 11]와 같은 깊이에 의한 위상차를 획득할 수 있다.
Figure pat00025
또한, [수학식 11]로부터 [수학식 12]를 획득할 수 있다.
Figure pat00026
도 6에서는 편의상 4개의 조사광들을 이용하여 깊이 값을 획득하는 방법을 설명하였으나, 도 6에서 기술된 방법은 일실시예일 뿐이고, 다른 방법에 의해 깊이 값을 획득할 수 있음은 본 실시예의 관련 기술 분야에서 통상의 지식을 가진 자라면 이해할 수 있다.
한편, 실제 구동에서는 출력광이 정확히 구형파 모양이 되지 않고, 오프셋과 왜곡을 가지고 있고, 광 셔터(40)의 투과도 곡선 또한 사인파 모양에서 왜곡을 가질 수 있다. 또한, 광이 실제로 출력되는 소자에서도 오프셋이 존재하기 때문에, [수학식 6] 내지 [수학식 12]를 소자에 맞게 보정을 수행할 필요가 있다.
도 7은 일실시예에 따라, ToF 촬영 장치(1) 내 프로세서(10)의 하드웨어 구성을 도시한 블록도이다.
프로세서(10)는 영상 처리부(110), 보정부(120), ToF 계산부(130) 및 깊이 영상 생성부(140)를 포함할 수 있다. 다만, 도 7에 도시된 프로세서(10)는 실시예들과 관련된 구성요소들만이 도시되어 있으므로, 프로세서(10)에는 도 7에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음을 본 실시예의 기술 분야에서 통상의 지식을 가진 자라면 이해할 수 있다. 이하 상기 구성 요소들에 대해 차례로 살펴본다.
영상 처리부(110)는 이미지 센서(50)에 의해 센싱된 반사광들에 기초하여 복수의 원본 영상들을 획득할 수 있다. 이미지 센서(50)에 의해 센싱된 반사광들은 깊이 영상 생성을 위해 ToF 촬영 장치(1)에 의해 촬영된 피사체에 대한 광 신호들에 해당된다. 앞서 설명한 바와 같이, 광원(20)은 서로 다른 위상들의 조사광들을 피사체에 조사하므로, 영상 처리부(110)는 피사체로부터 반사되어 광 셔터(40)를 통해 입사된 반사광들을 센싱할 수 있다. 영상 처리부(110)는 반사광들에 기초하여 서로 다른 위상들의 복수의 원본 영상들을 생성할 수 있다. 예를 들면, 영상 처리부(110)는 0도 위상, 90도 위상, 180도 위상, 270도 위상의 원본 영상들을 생성할 수 있다.
영상 처리부(110)는 이미지 센서(50) 내 픽셀 어레이의 각 픽셀에서 센싱된 반사광들의 세기들을 획득할 수 있다. 영상 처리부(110)는 획득된 반사광들의 세기들을 원본 영상 상의 각 픽셀의 픽셀 값들로 변환함으로써 서로 다른 위상들의 원본 영상들을 생성할 수 있다.
영상 처리부(110)는 복수의 원본 영상들로부터 원본 깊이 영상을 획득하고, 원본 깊이 영상으로부터 원본 깊이값들을 획득할 수 있다. 영상 처리부(110)는 원본 깊이 영상에서 소정의 광량 이상인 영역에 기초하여 원본 깊이값들을 왜곡시키는 다중 반사광들의 가상 세기를 위상들 각각에 대하여 결정할 수 있다.
영상 처리부(110)는 복수의 원본 영상들에 대응되는 광량의 세기를 평균하여 제1 영상을 획득할 수 있다. 영상 처리부(110)는 제1 영상에서 소정의 광량 이상인 영역의 광량 및 깊이값을 이용하여 위상들 각각에 대한 다중 반사광들의 광량을 결정할 수 있다.
여기서, 다중 반사광들의 광량은 조사광들의 광량 대비 다중 반사광들의 광량의 비율 및 제1 영상에서 조정의 광량 이상인 영역의 픽셀들의 평균값에 비례할 수 있다. 또한, 다중 반사광들의 위상에 따른 광량 차이는 광 셔터(40)의 복조 대비(demodulation contrast)에 비례할 수 있다.
구체적으로, 영상 처리부(110)는 0도 위상인 제1 원본 영상, 90도 위상인 제2 원본 영상, 180도 위상인 제3 원본 영상 및 270도 위상인 제4 원본 영상에 대한 광량의 세기를 평균하여 제1 영상을 획득할 수 있다. 대부분의 다중 반사에 기여하는 광은 밝은 영역에 투사된 광이라 볼 수 있기 때문에, 영상 처리부(110)는 제1 영역의 밝은 영역을 깊이 정보를 이용하여, 밝은 영역에 대한 깊이 값의 2~3배 정도 되는 다중 반사된 광 경로를 예측할 수 있다.
또한, 영상 처리부(110)는 다중 반사된 다중 반사광들의 광 경로의 깊이 정보와 광 셔터(40)의 복조 대비(demodulation contrast) 값을 이용하여 다중 반사광들에 대한 복수의 원본 영상들(예를 들면, 0도 위상인 제1 원본 영상, 90도 위상인 제2 원본 영상, 180도 위상인 제3 원본 영상 및 270도 위상인 제4 원본 영상)의 비율을 구할 수 있다. 또한, 영상 처리부(110)는 위상들 각각에 대한 다중 반사광들의 광량을 연산할 수 있다.
영상 처리부(110)는 average(image B> irth)을 계산할 수 있다. 여기서, average(image B> irth)는 CIS에서 읽어들이는 일정 신호 값 irth 이상의 픽셀들의 값 평균을 의미한다. 또한, image B는 0도 위상인 제1 원본 영상, 90도 위상인 제2 원본 영상, 180도 위상인 제3 원본 영상 및 270도 위상인 제4 원본 영상에 대한 광량의 세기를 평균하여 획득된 영상이다. 다이렉트 광을 제외한 다중 반사되는 광의 Bmr은 [수학식 13]와 같이 표현될 수 있다.
Figure pat00027
여기서, m1은 조사광들의 광량 대비 다중 반사광들의 광량의 비율을 나타낸다. m1은 주변 환경에 따라 달라질 수 있다.
또한, 영상 처리부(110)는 서로 위상이 다른 원본 영상들에서 광 셔터(40)의 복조 대비(demodulation contrast: d.c)를 계산할 수 있고, 복조 대비를 이용하여 다중 반사광들의 Amr을 계산할 수 있다. Amr은 [수학식 14]와 같이 표현될 수 있다.
Figure pat00028
영상 처리부(110)는 원본 깊이 영상에서 소정의 광량 이상인 영역의 평균 깊이값을 이용하여 다중 반사광들의 위상 지연을 획득할 수 있다. 여기서, 평균 깊이값은 피사체 대비 다중 반사 경로 비율에 비례할 수 있다.
구체적으로, 영상 처리부(110)는 이미지 센서(50)에서 획득된 복수의 원본 영상들을 이용하여 원본 깊이 영상을 획득할 수 있다. 영상 처리부(110)는 원본 깊이 영상에서 소정의 광량 이상인 영역의 평균 깊이 값을 [수학식 15]를 통해 계산할 수 있다. [수학식 15]는 아래와 같이 표현될 수 있다.
Figure pat00029
여기서, m2는 피사체 깊이 대비 다중 반사광의 경로 비율을 나타낸다. m2는 주변 환경에 따라 달라질 수 있다. 또한, 영상 처리부(110)는 [수학식 15]를 통해 계산된 평균 깊이 값에 기초하여, 다중 반사광의 위상 지연을 계산할 수 있다. 영상 처리부(110)는 [수학식 16]을 통해 다중 반사광의 위상 지연을 계산할 수 있다. [수학식 16]은 아래와 같이 표현될 수 있다.
Figure pat00030
영상 처리부(110)는 0도 위상, 90도 위상, 180도 위상, 270도 위상에 대응하는 다중 반사광들의 광량을 [수학식 17] 내지 [수학식 20]을 통해 계산할 수 있다.
Figure pat00031
Figure pat00032
Figure pat00033
Figure pat00034
보정부(120)는 다중 반사광들의 가상 세기에 기초하여 원본 깊이 영상의 원본 깊이값들을 보정할 수 있다. 보다 상세하게, 보정부(120)는 위상들 각각에 대하여, 복수의 원본 영상들의 광량에서 다중 반사광들의 광량을 소거할 수 있다. 소거된 광량 값들은 [수학식 6] 내지 [수학식 9] 및 [수학식 17] 내지 [수학식 20]에서 계산된 값들을 이용하여 [수학식 21] 내지 [수학식 24]와 같이 표현될 수 있다.
Figure pat00035
Figure pat00036
Figure pat00037
Figure pat00038
보정부(120)는 소거된 광량에 기초하여 보정된 원본 깊이값들을 획득할 수 있다. 보정된 원본 깊이값은 [수학식 25]와 같이 표현될 수 있다.
Figure pat00039
깊이 영상 생성부(140)는 보정된 원본 깊이값들을 이용하여 보정된 깊이 영상을 생성할 수 있다.
또한, 프로세서(10)는 영상 처리부(110), 보정부(120), ToF 계산부(130) 및 깊이 영상 생성부(140)에 의해 처리된 결과를 메모리(60)에 저장하도록 제어할 수 있다.
ToF 촬영 장치(1)는 촬영된 장면(scene)에서 다중 반사광으로 인한 깊이 왜곡을 저감시킴으로써, 장면 전체의 깊이 왜곡을 보상할 수 있다.
또한, 깊이 영상의 왜곡을 저감하기 위해 영상 처리를 수행하는 ToF 촬영 장치(1)는 3D 이미징을 수행할 수 있는 IT 기기 등에 탑재될 수 있다. 구체적으로, ToF 촬영 장치(1)는 휴대폰, 카메라, TV, 로보트, 자동차 등에 탑재될 수 있다. 또한, ToF 촬영 장치(1)는 장애물 감지, 3D 맵핑 등에 활용될 수 있다.
ToF 촬영 장치(1)의 프로세서(10)는 중앙 연산 프로세서를 구비하여, 영상 처리부(110), 보정부(120), ToF 계산부(130) 및 깊이 영상 생성부(140)의 동작을 총괄적으로 제어할 수 있다. 중앙 연산 프로세서는 다수의 논리 게이트들의 어레이로 구현될 수도 있고, 범용적인 마이크로 프로세서와 이 마이크로 프로세서에서 실행될 수 있는 프로그램이 저장된 메모리와의 조합으로 구현될 수도 있다. 또한, 다른 형태의 하드웨어로 구현될 수 있음은 본 개시에 속하는 기술분야에서 통상의 지식을 가진 자라면 이해할 수 있다.
이하에서는, ToF 촬영 장치(1)가 수행하는 다양한 동작이나 응용들이 설명되는데, 광원(20), 광 셔터(40), 렌즈(30), 이미지 센서(50), 프로세서(10) 중 어느 구성을 특정하지 않더라도 본 개시에 속하는 기술분야에서 통상의 지식을 가진 자가 명확하게 이해하고 예상할 수 있는 정도의 내용은 통상의 구현으로 이해될 수 있으며, 본 발명의 권리범위가 특정한 구성의 명칭이나 물리적/논리적 구조에 의해 제한되는 것은 아니다.
도 8은 일실시예에 따라, 깊이 영상의 왜곡을 저감하기 위한 영상 처리 방법을 설명하기 위한 도면이다.
단계 S810에서, ToF 촬영 장치(1)는 서로 다른 위상들의 원본 영상들을 획득할 수 있다. 구체적으로, ToF 촬영 장치(1)는 서로 다른 위상들을 갖는 조사광들을 피사체로 조사하여 피사체로부터 반사된 반사광들에 기초하여 복수의 원본 영상들을 획득할 수 있다. 여기서, 서로 다른 위상들을 갖는 조사광들은 피사체에 순차적으로 조사될 수 있다. 복수의 조사광들은 소정의 유휴시간을 두고 피사체에 조사될 수 있다. 예를 들어, ToF 촬영 장치(1)가 N개의 조사광을 피사체에 조사하는 경우, 조사광들 중 인접한 시간대에 조사되는 광의 위상차는 360도를 N등분 한 값일 수 있다. 즉, N이 4인 경우, 조사되는 광들의 위상은 0도, 90도, 180도, 270도 일 수 있으나, 이에 제한되지 않는다.
단계 S820에서, ToF 촬영 장치(1)는 반사광들의 위상 지연에 기초하여 복수의 원본 영상들로부터 획득된 원본 깊이 영상의 원본 깊이값들을 획득할 수 있다.
ToF 촬영 장치(1)의 광원(20)이 복수의 조사광들을 피사체에 조사하면, 피사체에 반사된 반사광들은 서로 독립적으로 ToF 촬영 장치(1)의 광 셔터(40)를 통과하여 이미지 센서(50)에 입사될 수 있다. 반사광들이 광 셔터(40)를 투과하면 반사광들의 파형이 변조될 수 있다. 변조된 반사광들의 파형은 반사광들의 위상 및 광 셔터(40)의 시간에 따른 투과율 변화에 의존할 수 있다. ToF 촬영 장치(1)의 이미지 센서(50)는 광 셔터(40)에 의해 변조된 반사광들을 이용하여 반사광들과 조사광들 사이의 위상 차이를 획득할 수 있다. ToF 촬영 장치(1)는 위상이 서로 다른 조사광들을 피사체에 조사한 후, 피사체로부터 반사된 반사광들을 통해 복수의 원본 영상들을 순차적으로 획득하고, 복수의 원본 영상들을 이용하여 원본 깊이 영상을 획득할 수 있다. ToF 촬영 장치(1)는 원본 깊이 영상으로부터 원본 깊이값들을 획득할 수 있다.
단계 S830에서, ToF 촬영 장치(1)는 원본 깊이 영상에서 소정의 광량 이상인 영역에 기초하여, 원본 깊이값들을 왜곡시키는 다중 반사광들의 가상 세기를 위상들 각각에 대하여 결정할 수 있다.
구체적으로, ToF 촬영 장치(1)는 복수의 원본 영상들에 대응되는 광량의 세기를 평균하여 제1 영상을 획득할 수 있다. ToF 촬영 장치(1)는 제1 영상에서 소정의 광량 이상인 영역의 광량 및 깊이값을 이용하여, 위상들 각각에 대한 다중 반사광들의 광량을 결정할 수 있다.
다중 반사광들의 광량은 조사광들의 광량 대비 다중 반사광들의 광량의 비율 및 제1 영상에서 소정의 광량 이상인 영역의 픽셀들의 평균값에 비례할 수 있다. 또한, 다중 반사광들의 광량은 광 셔터(40)의 복조 대비에 비례할 수 있다.
또한, ToF 촬영 장치(1)는 원본 깊이 영상에서 소정의 광량 이상인 영역의 평균값을 이용하여 다중 반사광들의 위상 지연을 획득할 수 있다. 여기서, 평균 깊이값은 피사체의 깊이 대비 다중 반사광의 경로 비율에 비례할 수 있다.
단계 S840에서, ToF 촬영 장치(1)는 다중 반사광들의 가상 세기에 기초하여, 원본 깊이 영상의 원본 깊이값들을 보정할 수 있다. 구체적으로, ToF 촬영 장치(1)는 위상들 각각에 대하여, 복수의 원본 영상들의 광량에서 다중 반사광들의 광량을 소거할 수 있다. ToF 촬영 장치(1)는 소거된 광량에 기초하여, 보정된 원본 깊이값들을 획득할 수 있다.
단계 S850에서, ToF 촬영 장치(1)는 보정된 원본 깊이값들을 이용하여 보정된 깊이 영상을 생성할 수 있다.
도 9는 일실시예에 따라, 깊이 영상의 깊이 왜곡을 보정한 결과를 설명하기 위한 도면이다. 구체적으로, 화이트 평판의 거리가 30cm 인 경우, 다중 반사로 인한 깊이 왜곡 보정 결과를 설명하기 위한 도면이다.
도 9의 (a)는 원본 적외선 영상이고, (b)는 다중 반사로 인한 깊이 왜곡 보정 전의 깊이 영상과 깊이 값의 그래프를 나타낸다.
또한, 도 9의 (c) 내지 (e)는 m1 및 m2 값에 따른 보정 결과를 나타낸다. 구체적으로, m1은 조사광들의 광량 대비 다중 반사광들의 광량의 비율을 나타내고, m2는 피사체 깊이 대비 다중 반사광의 경로 비율을 나타낸다. 도 9의 (c) 내지 (e)는 m2는 2.5로 고정하고, m1을 0.005, 0.01, 0.015로 변경하면서 깊이 왜곡을 보정한 결과이다.
도 9에 도시된 바와 같이, m1이 0.01, 즉, 밝은 광의 1% 정도가 다중 반사로 일어남을 가정하고, 다중 반사광들의 광량을 보정하였을 때 깊이 영상의 깊이 왜곡이 저감되었다.
도 10은 다른 일실시예에 따라, 깊이 영상의 깊이 왜곡을 보정한 결과를 설명하기 위한 도면이다. 구체적으로, 화이트 평판의 거리가 110cm 인 경우, 다중 반사로 인한 깊이 왜곡 보정 결과를 설명하기 위한 도면이다.
도 10의 (a)는 원본 적외선 영상이고, (b)는 다중 반사로 인한 깊이 왜곡 보정 전의 깊이 영상과 깊이 값의 그래프를 나타낸다.
또한, 도 10의 (c) 내지 (e)는 m1 및 m2 값에 따른 보정 결과를 나타낸다. 구체적으로, 도 10의 (c) 내지 (e)는 m2는 2.5로 고정하고, m1을0.01, 0.02, 0.03으로 변경하면서 깊이 왜곡을 보정한 결과이다.
도 10에 도시된 바와 같이, m1이 0.02, 즉, 밝은 광의 2% 정도가 다중 반사로 일어남을 가정하고, 다중 반사광들의 광량을 보정하였을 때 깊이 영상의 깊이 왜곡이 저감되었다.
거리(또는 깊이)가 0~2m인 경우, ToF 촬영 장치(1)는 m1 값을 0.01~0.03 범위 내에서 조절하고, m2 값을 거리(또는 깊이)의 2~3배의 범위 내에서 조절하여, 다중 반사광들로 인한 깊이 왜곡을 보정할 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다.
처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다.
이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서(10) 또는 하나의 프로세서(10) 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(10)(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다.
소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.
프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

Claims (20)

  1. 서로 다른 위상들을 갖는 조사광들을 피사체로 조사하여 상기 피사체로부터 반사된 반사광들에 기초하여, 복수의 원본 영상들을 획득하는 단계;
    상기 반사광들의 위상 지연에 기초하여, 상기 복수의 원본 영상들로부터 획득된 원본 깊이 영상의 원본 깊이값들을 획득하는 단계;
    상기 원본 깊이 영상에서 소정의 광량 이상인 영역에 기초하여, 상기 원본 깊이값들을 왜곡시키는 다중 반사광들의 가상 세기를 상기 위상들 각각에 대하여 결정하는 단계;
    상기 다중 반사광들의 가상 세기에 기초하여, 상기 원본 깊이 영상의 원본 깊이값들을 보정하는 단계; 및
    상기 보정된 원본 깊이값들을 이용하여 보정된 깊이 영상을 생성하는 단계를 포함하는, 깊이 영상의 왜곡을 저감하기 위한 영상 처리 방법.
  2. 제1항에 있어서,
    상기 다중 반사광들의 가상 세기를 결정하는 단계는,
    상기 복수의 원본 영상들에 대응되는 상기 광량의 세기를 평균하여 제1 영상을 획득하는 단계; 및
    상기 제1 영상에서 소정의 광량 이상인 영역의 광량 및 깊이값을 이용하여, 상기 위상들 각각에 대한 상기 다중 반사광들의 광량을 결정하는 단계를 포함하는, 영상 처리 방법.
  3. 제2항에 있어서,
    상기 다중 반사광들의 광량은, 상기 조사광들의 광량 대비 상기 다중 반사광들의 광량의 비율 및 상기 제1 영상에서 소정의 광량 이상인 영역의 픽셀들의 평균값에 비례하는, 영상 처리 방법.
  4. 제2항에 있어서,
    상기 다중 반사광들의 위상에 의한 광량 차이는, 광 셔터의 복조 대비(demodulation contrast) 에 비례하는, 영상 처리 방법.
  5. 제2항에 있어서,
    상기 원본 깊이 영상에서 소정의 광량 이상인 영역의 평균 깊이값을 이용하여 상기 다중 반사광들의 위상 지연을 획득하는 단계를 더 포함하는, 영상 처리 방법.
  6. 제5항에 있어서,
    상기 평균 깊이값은, 상기 피사체 대비 다중 반사 경로 비율에 비례하는, 영상 처리 방법.
  7. 제1항에 있어서,
    상기 원본 깊이 영상의 원본 깊이값들을 보정하는 단계는,
    상기 위상들 각각에 대하여, 상기 복수의 원본 영상들의 광량에서 다중 반사광들의 광량을 소거하는 단계; 및
    상기 소거된 광량에 기초하여, 보정된 원본 깊이값들을 획득하는 단계를 포함하는, 영상 처리 방법.
  8. 제3항에 있어서,
    광원으로부터 상기 피사체의 거리가 증가할수록, 상기 조사광들의 광량 대비 상기 다중 반사광들의 광량의 비율은 증가하는 것을 특징으로 하는, 영상 처리 방법.
  9. 제1항에 있어서,
    상기 서로 다른 위상들을 갖는 조사광들은 상기 피사체에 순차적으로 조사되고, 상기 조사광들의 초기 위상은, 0도, 180도, 90도 및 270도인, 영상 처리 방법.
  10. 제1항에 있어서,
    상기 복수의 원본 영상들을 획득하는 단계는,
    광 셔터를 통해 상기 반사광들을 변조하고, 변조된 반사광을 검출하여 상기 서로 다른 위상들 각각에 대한 복수의 원본 영상들을 획득하는, 영상 처리 방법.
  11. 서로 다른 위상들을 갖는 조사광들을 피사체로 조사하는 광원;
    광 셔터;
    상기 피사체로부터 반사되어 상기 광 셔터를 통해 입사된 반사광들을 센싱하는 이미지 센서; 및
    상기 반사광들에 기초하여, 복수의 원본 영상들을 획득하고, 상기 반사광들의 위상 지연에 기초하여, 상기 복수의 원본 영상들로부터 획득된 원본 깊이 영상의 원본 깊이값들을 획득하고, 상기 원본 깊이 영상에서 소정의 광량 이상인 영역에 기초하여, 상기 원본 깊이값들을 왜곡시키는 다중 반사광들의 가상 세기를 상기 위상들 각각에 대하여 결정하고, 상기 다중 반사광들의 가상 세기에 기초하여, 상기 원본 깊이 영상의 원본 깊이값들을 보정하고, 상기 보정된 원본 깊이값들을 이용하여 보정된 깊이 영상을 생성하는 프로세서를 포함하는 ToF 촬영 장치.
  12. 제11항에 있어서,
    상기 프로세서는,
    상기 복수의 원본 영상들에 대응되는 상기 광량의 세기를 평균하여 제1 영상을 획득하고,
    상기 제1 영상에서 소정의 광량 이상인 영역의 광량 및 깊이값을 이용하여, 상기 위상들 각각에 대한 상기 다중 반사광들의 광량을 결정하는, ToF 촬영 장치.
  13. 제12항에 있어서,
    상기 다중 반사광들의 광량은, 상기 조사광들의 광량 대비 상기 다중 반사광들의 광량의 비율 및 상기 제1 영상에서 소정의 광량 이상인 영역의 픽셀들의 평균값에 비례하는, ToF 촬영 장치.
  14. 제12항에 있어서,
    상기 다중 반사광들의 위상에 의한 광량 차이는, 광 셔터의 복조 대비에 비례하는, ToF 촬영 장치.
  15. 제12항에 있어서,
    상기 프로세서는,
    상기 원본 깊이 영상에서 소정의 광량 이상인 영역의 평균 깊이값을 이용하여 상기 다중 반사광들의 위상 지연을 획득하는 ToF 촬영 장치.
  16. 제15항에 있어서,
    상기 평균 깊이값은, 상기 피사체 대비 다중 반사 경로 비율에 비례하는, ToF 촬영 장치.
  17. 제1항에 있어서,
    상기 프로세서는,
    상기 위상들 각각에 대하여, 상기 복수의 원본 영상들의 광량에서 다중 반사광들의 광량을 소거하고, 상기 소거된 광량에 기초하여, 보정된 원본 깊이값들을 획득하는 ToF 촬영 장치.
  18. 제11항에 있어서,
    상기 광원은, 상기 서로 다른 위상들을 갖는 조사광들을 상기 피사체에 순차적으로 조사하고, 상기 조사광들의 초기 위상은, 0도, 180도, 90도 및 270도인, ToF 촬영 장치.
  19. 제11항에 있어서,
    상기 프로세서는,
    광 셔터를 통해 상기 반사광들을 변조하고, 변조된 반사광을 검출하여 상기 서로 다른 위상들 각각에 대한 복수의 원본 영상들을 획득하는, ToF 촬영 장치.
  20. 깊이 영상의 왜곡을 저감하기 위한 영상 처리 방법을 실행하는 프로그램을 수록한 컴퓨터 판독 가능 기록 매체에 있어서, 상기 영상 처리 방법은,
    서로 다른 위상들을 갖는 조사광들을 피사체로 조사하여 상기 피사체로부터 반사된 반사광들에 기초하여, 복수의 원본 영상들을 획득하는 단계;
    상기 반사광들의 위상 지연에 기초하여, 상기 복수의 원본 영상들로부터 획득된 원본 깊이 영상의 원본 깊이값들을 획득하는 단계;
    상기 원본 깊이 영상에서 소정의 광량 이상인 영역에 기초하여, 상기 원본 깊이값들을 왜곡시키는 다중 반사광들의 가상 세기를 상기 위상들 각각에 대하여 결정하는 단계;
    상기 다중 반사광들의 가상 세기에 기초하여, 상기 원본 깊이 영상의 원본 깊이값들을 보정하는 단계; 및
    상기 보정된 원본 깊이값들을 이용하여 보정된 깊이 영상을 생성하는 단계를 포함하는 컴퓨터 판독 가능 기록 매체.
KR1020160122386A 2016-09-23 2016-09-23 ToF(time of flight) 촬영 장치 및 다중 반사에 의한 깊이 왜곡 저감 방법 KR102561099B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020160122386A KR102561099B1 (ko) 2016-09-23 2016-09-23 ToF(time of flight) 촬영 장치 및 다중 반사에 의한 깊이 왜곡 저감 방법
US15/713,149 US10430956B2 (en) 2016-09-23 2017-09-22 Time-of-flight (TOF) capturing apparatus and image processing method of reducing distortion of depth caused by multiple reflection

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160122386A KR102561099B1 (ko) 2016-09-23 2016-09-23 ToF(time of flight) 촬영 장치 및 다중 반사에 의한 깊이 왜곡 저감 방법

Publications (2)

Publication Number Publication Date
KR20180032989A true KR20180032989A (ko) 2018-04-02
KR102561099B1 KR102561099B1 (ko) 2023-07-28

Family

ID=61686491

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160122386A KR102561099B1 (ko) 2016-09-23 2016-09-23 ToF(time of flight) 촬영 장치 및 다중 반사에 의한 깊이 왜곡 저감 방법

Country Status (2)

Country Link
US (1) US10430956B2 (ko)
KR (1) KR102561099B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020047063A1 (en) * 2018-08-30 2020-03-05 Veo Robotics, Inc. Depth-sensing computer vision system
CN111953985A (zh) * 2020-08-14 2020-11-17 上海数迹智能科技有限公司 一种基于tof深度相机的图像处理方法及可存储介质
KR102351152B1 (ko) * 2020-09-17 2022-01-14 (주)미래컴퍼니 ToF 센서를 이용한 삼차원 카메라의 다중 반사 경로로 인한 깊이 정보 오차 보정 방법 및 장치

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019063738A1 (en) * 2017-09-28 2019-04-04 Sony Semiconductor Solutions Corporation APPARATUS AND METHOD
US10687034B1 (en) * 2018-04-23 2020-06-16 Facebook Technologies, Llc Image sensor with switchable optical filter
CN108921888B (zh) * 2018-07-03 2022-07-19 京东方科技集团股份有限公司 一种深度图像检测方法、***及计算机可读存储介质
KR102590900B1 (ko) * 2018-08-27 2023-10-19 엘지이노텍 주식회사 영상 처리 장치 및 영상 처리 방법
US20220141445A1 (en) * 2018-08-30 2022-05-05 Gene Malkin Calibration of depth-sensing computer vision systems
EP3620821A1 (en) * 2018-09-05 2020-03-11 Infineon Technologies AG Time of flight camera and method for calibrating a time of flight camera
CN113138660A (zh) * 2020-01-17 2021-07-20 北京小米移动软件有限公司 信息的获取方法、装置、移动终端及存储介质
CN113808024A (zh) * 2020-05-27 2021-12-17 索尼半导体解决方案公司 幻影反射补偿方法及设备
IL300296A (en) 2020-10-13 2023-04-01 Delaval Holding Ab image processor, an image processing method implemented on a computer, a computer program, and a non-volatile data provider
US11826906B2 (en) * 2020-11-24 2023-11-28 Pixart Imaging Inc. Method for eliminating misjudgment of reflective light and optical sensing system
CN113298785A (zh) * 2021-05-25 2021-08-24 Oppo广东移动通信有限公司 校正方法、电子设备及计算机可读存储介质
US11922606B2 (en) 2021-10-04 2024-03-05 Samsung Electronics Co., Ltd. Multipass interference correction and material recognition based on patterned illumination without frame rate loss

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120033045A1 (en) * 2010-07-23 2012-02-09 Mesa Imaging Ag Multi-Path Compensation Using Multiple Modulation Frequencies in Time of Flight Sensor
KR20130045018A (ko) * 2011-10-25 2013-05-03 삼성전자주식회사 3차원 영상 획득 장치 및 3차원 영상 획득 장치에서 깊이 정보 산출 방법
KR20150050486A (ko) * 2013-10-30 2015-05-08 가부시키가이샤 모르포 화상처리장치, 화상처리방법 및 프로그램
KR20160026189A (ko) * 2014-08-29 2016-03-09 삼성전자주식회사 깊이 영상 촬영 장치 및 깊이 정보 획득 방법

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5081530A (en) 1987-06-26 1992-01-14 Antonio Medina Three dimensional camera and range finder
US4935616A (en) 1989-08-14 1990-06-19 The United States Of America As Represented By The Department Of Energy Range imaging laser radar
US6118946A (en) 1999-06-29 2000-09-12 Eastman Kodak Company Method and apparatus for scannerless range image capture using photographic film
US6856355B1 (en) 1999-11-30 2005-02-15 Eastman Kodak Company Method and apparatus for a color scannerless range image system
WO2005036372A2 (en) 2003-10-09 2005-04-21 Honda Motor Co., Ltd. Systems and methods for determining depth using shuttered light pulses
JP4161910B2 (ja) 2004-01-28 2008-10-08 株式会社デンソー 距離画像データ生成装置及び生成方法，プログラム
KR101675112B1 (ko) 2010-01-21 2016-11-22 삼성전자주식회사 거리 정보 추출 방법 및 상기 방법을 채용한 광학 장치
KR101788032B1 (ko) * 2011-03-24 2017-10-19 삼성전자주식회사 깊이 센서, 상기 깊이 센서의 깊이 정보 에러 보상 방법, 및 상기 깊이 센서를 포함하는 신호 처리 시스템
JP6143747B2 (ja) 2011-06-24 2017-06-07 ソフトキネティック ソフトウェア 深度測定の品質の向上
US9329035B2 (en) 2011-12-12 2016-05-03 Heptagon Micro Optics Pte. Ltd. Method to compensate for errors in time-of-flight range cameras caused by multiple reflections
US10230934B2 (en) * 2013-06-14 2019-03-12 Microsoft Tehcnology Licensing, Llc Depth map correction using lookup tables
US10063844B2 (en) 2013-10-17 2018-08-28 Microsoft Technology Licensing, Llc. Determining distances by probabilistic time of flight imaging
US9542749B2 (en) * 2014-01-06 2017-01-10 Microsoft Technology Licensing, Llc Fast general multipath correction in time-of-flight imaging
US10061029B2 (en) * 2015-01-06 2018-08-28 Samsung Electronics Co., Ltd. Correction of depth images from T-O-F 3D camera with electronic-rolling-shutter for light modulation changes taking place during light integration

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120033045A1 (en) * 2010-07-23 2012-02-09 Mesa Imaging Ag Multi-Path Compensation Using Multiple Modulation Frequencies in Time of Flight Sensor
KR20130045018A (ko) * 2011-10-25 2013-05-03 삼성전자주식회사 3차원 영상 획득 장치 및 3차원 영상 획득 장치에서 깊이 정보 산출 방법
KR20150050486A (ko) * 2013-10-30 2015-05-08 가부시키가이샤 모르포 화상처리장치, 화상처리방법 및 프로그램
KR20160026189A (ko) * 2014-08-29 2016-03-09 삼성전자주식회사 깊이 영상 촬영 장치 및 깊이 정보 획득 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
S Fuchs, 'Multipath Interference Compensation in Time-of-Flight Camera Images', 20TH INTERNATIONAL CONFERENCE ON PATTERN RECOGNITION, 2010.08.23.* *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020047063A1 (en) * 2018-08-30 2020-03-05 Veo Robotics, Inc. Depth-sensing computer vision system
JP2022120004A (ja) * 2018-08-30 2022-08-17 ヴェオ ロボティクス， インコーポレイテッド 深度感知コンピュータビジョンシステム
CN111953985A (zh) * 2020-08-14 2020-11-17 上海数迹智能科技有限公司 一种基于tof深度相机的图像处理方法及可存储介质
CN111953985B (zh) * 2020-08-14 2024-04-05 上海数迹智能科技有限公司 一种基于tof深度相机的图像处理方法及可存储介质
KR102351152B1 (ko) * 2020-09-17 2022-01-14 (주)미래컴퍼니 ToF 센서를 이용한 삼차원 카메라의 다중 반사 경로로 인한 깊이 정보 오차 보정 방법 및 장치

Also Published As

Publication number Publication date
US20180089847A1 (en) 2018-03-29
KR102561099B1 (ko) 2023-07-28
US10430956B2 (en) 2019-10-01

Similar Documents

Publication Publication Date Title
KR102561099B1 (ko) ToF(time of flight) 촬영 장치 및 다중 반사에 의한 깊이 왜곡 저감 방법
CN109477710B (zh) 基于点的结构化光***的反射率图估计
US11120392B2 (en) System and method of calibrating a directional light source relative to a camera's field of view
KR102618542B1 (ko) ToF (time of flight) 촬영 장치 및 ToF 촬영 장치에서 깊이 이미지의 블러 감소를 위하여 이미지를 처리하는 방법
Foix et al. Lock-in time-of-flight (ToF) cameras: A survey
JP6241793B2 (ja) ３次元測定装置および３次元測定方法
US8134637B2 (en) Method and system to increase X-Y resolution in a depth (Z) camera using red, blue, green (RGB) sensing
KR101975971B1 (ko) 깊이 카메라, 다중 깊이 카메라 시스템, 그리고 그것의 동기 방법
WO2015107869A1 (ja) 距離画像生成装置及び距離画像生成方法
CN108463740A (zh) 使用结构化光和飞行时间的深度映射
US20140168424A1 (en) Imaging device for motion detection of objects in a scene, and method for motion detection of objects in a scene
US6721679B2 (en) Distance measuring apparatus and distance measuring method
US20100046802A1 (en) Distance estimation apparatus, distance estimation method, storage medium storing program, integrated circuit, and camera
KR20110085785A (ko) 거리 정보 추출 방법 및 상기 방법을 채용한 광학 장치
WO2019002199A1 (en) DETECTOR FOR DETERMINING A POSITION OF AT LEAST ONE OBJECT
KR20130126439A (ko) 깊이 센서 기반 반사 객체의 형상 취득 방법 및 장치
US20130201183A1 (en) 3d image acquisition apparatus and method of extracting depth information in 3d image acquisition apparatus
TW201421074A (zh) 藉由所關注之物體之可調適照射之深度成像方法及裝置
WO2016206004A1 (zh) 一种获取深度信息的拍照设备和方法
KR20170088259A (ko) ToF 센서를 이용하여 깊이 영상을 획득하는 방법 및 장치
Ferstl et al. Learning Depth Calibration of Time-of-Flight Cameras.
KR20160026189A (ko) 깊이 영상 촬영 장치 및 깊이 정보 획득 방법
US20120162370A1 (en) Apparatus and method for generating depth image
US9319649B2 (en) Projector drift corrected compensated projection
JP2020160044A (ja) 測距装置および測距方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant