KR102194233B1 - 깊이 영상 생성 장치 및 방법 - Google Patents

깊이 영상 생성 장치 및 방법 Download PDF

Info

Publication number
KR102194233B1
KR102194233B1 KR1020140059959A KR20140059959A KR102194233B1 KR 102194233 B1 KR102194233 B1 KR 102194233B1 KR 1020140059959 A KR1020140059959 A KR 1020140059959A KR 20140059959 A KR20140059959 A KR 20140059959A KR 102194233 B1 KR102194233 B1 KR 102194233B1
Authority
KR
South Korea
Prior art keywords
depth image
phase difference
depth
generating
image
Prior art date
Application number
KR1020140059959A
Other languages
English (en)
Other versions
KR20150133082A (ko
Inventor
김선권
정승원
최욱
강병민
신정순
이기창
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020140059959A priority Critical patent/KR102194233B1/ko
Priority to US14/597,381 priority patent/US9746547B2/en
Publication of KR20150133082A publication Critical patent/KR20150133082A/ko
Application granted granted Critical
Publication of KR102194233B1 publication Critical patent/KR102194233B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/506—Illumination models
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20008—Globally adaptive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Theoretical Computer Science (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

광원으로부터 생성된 광을 피사체에 조사하는 단계, 피사체로부터 반사되는 반사광을 센싱하여, 서로 다른 위상차를 가지는 복수의 위상차 신호들을 획득하는 단계, 복수의 위상차 신호들에 기초하여, 제1 깊이 영상을 생성하는 단계, 복수의 위상차 신호들 중 모션 아티팩트가 발생하지 않은 일부 위상차 신호들에 기초하여, 제2 깊이 영상을 생성하는 단계 및 제1 깊이 영상 및 제2 깊이 영상을 합성하여, 제3 깊이 영상을 생성하는 단계를 포함하는 깊이 영상 생성 방법을 개시한다.

Description

깊이 영상 생성 장치 및 방법{Apparatus and method for generating a depth image}
본 발명은 깊이 영상 생성 장치 및 생성 방법에 관한 것으로, 더욱 구체적으로는 모션 아티팩트(motion artifact) 및 오프셋(offset)을 제거하여, 향상된 깊이 영상을 생성할 수 있는 깊이 영상 생성 장치 및 생성 방법에 관한 것이다.
최근에 사물의 거리 정보를 촬영하는 3D 카메라 등의 기술이 개발되고 있는데, 그 중 하나가 빛의 왕복시간 측정법(Time Of Flight, 이하, TOF라 한다)으로서 촬상 장치와 피사체간의 거리를 측정하는 기술이다.
TOF 방법은 기본적으로 특정 파장의 빛, 예를 들면, 근적외선(850nm)을 LED 또는 LD를 이용하여 피사체로 투사하고, 피사체로부터 반사된 동일한 파장의 빛을 포토 다이오드 또는 카메라에서 측정 또는 촬영하여 깊이 영상을 추출하는 프로세싱을 거치게 된다. 이러한 광 처리 과정 즉, 광원 투사, 피사체 반사, 광 변조, 촬영, 프로세싱의 일련의 과정에 대한 다양한 TOF 방법이 소개되었다.
TOF 방식의 카메라를 이용하여, 생성되는 영상은 매 프레임마다 노출 시간(Integration Time)동안 조사광 신호와 피사체에 반사되어 돌아오는 반사광 신호의 위상차를 계산함으로써 얻어진다. 이때, 노출 시간 보다 짧은 시간 동안 카메라 또는 피사체에 움직임이 발생하는 경우, 반사광 신호의 위상에 변화가 발생할 수 있다.
이러한 경우, 해당 반사광 신호를 통해 얻은 깊이(depth) 정보는 부정확한 값을 가지게 되며, 모션 아티팩트가 발생하게 된다.
모션 아티팩트(motion artifact) 및 오프셋(offset)이 제거된 깊이 영상을 생성할 수 있는 깊이 영상 생성 장치 및 방법을 제공하는 데 있다.
본 발명의 일 실시예에 따른 깊이 영상 생성 방법은 광원으로부터 생성된 광을 피사체에 조사하는 단계, 상기 피사체로부터 반사되는 반사광을 센싱하여, 서로 다른 위상차를 가지는 복수의 위상차 신호들을 획득하는 단계, 상기 복수의 위상차 신호들에 기초하여, 제1 깊이 영상을 생성하는 단계, 상기 복수의 위상차 신호들 중 모션 아티팩트가 발생하지 않은 일부 위상차 신호들에 기초하여, 제2 깊이 영상을 생성하는 단계 및 상기 제1 깊이 영상 및 제2 깊이 영상을 합성하여, 제3 깊이 영상을 생성하는 단계를 포함한다.
본 발명의 일 실시예에 따른 상기 복수의 위상차 신호들은, 위상차가 서로 다른 제어 신호들에 기초하여, 획득하는 것을 특징으로 한다.
본 발명의 일 실시예에 따른 상기 제1 깊이 영상을 생성하는 단계는, 상기 복수의 위상차 신호들에 기초하여, 제1 위상차 영상들을 생성하는 단계 및 상기 제1 위상차 영상들에 기초하여, 제1 깊이 영상을 생성하는 단계를 포함하고, 상기 제2 깊이 영상을 생성하는 단계는, 상기 복수의 위상차 신호들 중 모션 아티팩트가 발생하지 않은 일부 반사광 신호들에 기초하여, 제2 위상차 영상들을 생성하는 단계 및 상기 제2 위상차 영상들에 기초하여, 제2 깊이 영상을 생성하는 단계를 포함하는 것을 특징으로 한다.
본 발명의 일 실시예에 따른 상기 제2 깊이 영상은 모션 아티팩트가 제거되고, 오프셋에 의한 효과가 포함된 깊이 영상인 것을 특징으로 한다.
본 발명의 일 실시예에 따른 상기 방법은, 상기 제2 깊이 영상의 깊이 값 일부를 상기 제1 깊이 영상의 깊이 값으로 변경한 제4 깊이 영상을 생성하는 단계 및 상기 제1 깊이 영상 및 제4 깊이 영상을 합성하여, 상기 제3 깊이 영상을 생성하는 단계를 더 포함하는 것을 특징으로 한다.
본 발명의 일 실시예에 따른 상기 방법은, 상기 모션 아티팩트 크기에 기초하여, 상기 제1 깊이 영상 및 제4 깊이 영상에 대한 가중치를 계산하는 단계를 더 포함하고, 상기 제1 깊이 영상 및 제4 깊이 영상을 합성하여, 제3 깊이 영상을 생성하는 단계는, 상기 계산된 가중치를 적용하여, 상기 제1 깊이 영상 및 제4 깊이 영상을 합성하는 것을 특징으로 한다.
본 발명의 일 실시예에 따른 상기 제3 깊이 영상을 생성하는 단계는, 상기 제1 깊이 영상에 웨이블렛 변환을 수행하여, 제1 웨이블렛 계수를 획득하고, 상기 제4 깊이 영상에 웨이블렛 변환을 수행하여 제2 웨이블렛 계수를 획득하며, 제1 웨이블렛 계수 및 제2 웨이블렛 계수에 기초하여, 제3 웨이블렛 계수를 획득하고, 제3 웨이블렛 계수에 역 웨이블렛 변환을 수행하여, 상기 제3 깊이 영상을 생성하는 것을 특징으로 한다.
본 발명의 일 실시예에 따른 상기 제3 깊이 영상은 상기 제1 깊이 영상에 나타나는 상기 피사체에 대한 깊이 정보 및 상기 제2 깊이 영상에 나타나는 상기 피사체에 대한 형태 정보를 포함하는 것을 특징으로 한다.
본 발명의 일 실시예에 따른 상기 제3 깊이 영상은 상기 제1 깊이 영상에 나타나는 모션 아티팩트 및 상기 제2 깊이 영상에 나타나는 오프셋에 의한 효과가 제거된 영상인 것을 특징으로 한다.
본 발명의 일 실시예에 따른 깊이 영상 생성 장치는 광원으로부터 생성된 광을 피사체에 조사하는 광 조사부, 상기 피사체로부터 반사되는 반사광을 센싱하여, 서로 다른 위상차를 가지는 복수의 위상차 신호들을 획득하는 센서부 및 상기 복수의 위상차 신호들에 기초하여, 제1 깊이 영상을 생성하고, 상기 복수의 위상차 신호들 중 모션 아티팩트가 발생하지 않은 일부 위상차 신호들에 기초하여, 제2 깊이 영상을 생성하며, 상기 제1 깊이 영상 및 제2 깊이 영상을 합성하여, 제3 깊이 영상을 생성하는 영상 처리부를 포함한다.
본 발명의 일 실시예에 따른 상기 복수의 위상차 신호들은, 위상차가 서로 다른 제어 신호들에 기초하여, 획득하는 것을 특징으로 한다.
본 발명의 일 실시예에 따른 상기 영상 처리부는, 상기 복수의 위상차 신호들에 기초하여, 제1 위상차 영상들을 생성하고, 상기 제1 위상차 영상들에 기초하여, 제1 깊이 영상을 생성하며, 상기 복수의 위상차 신호들 중 모션 아티팩트가 발생하지 않은 일부 반사광 신호들에 기초하여, 제2 위상차 영상들을 생성하고, 상기 제2 위상차 영상들에 기초하여, 제2 깊이 영상을 생성하는 것을 특징으로 한다.
본 발명의 일 실시예에 따른 상기 제2 깊이 영상은 모션 아티팩트가 제거되고, 오프셋에 의한 효과가 포함된 깊이 영상인 것을 특징으로 한다.
본 발명의 일 실시예에 따른 상기 영상 처리부는, 상기 제2 깊이 영상의 깊이 값 일부를 상기 제1 깊이 영상의 깊이 값으로 변경한 제4 깊이 영상을 생성하고, 상기 제1 깊이 영상 및 제4 깊이 영상을 합성하여, 상기 제3 깊이 영상을 생성하는 것을 특징으로 한다.
본 발명의 일 실시예에 따른 상기 영상 처리부는, 상기 모션 아티팩트 크기에 기초하여, 상기 제1 깊이 영상 및 제4 깊이 영상에 대한 가중치를 계산하고, 상기 계산된 가중치를 적용하여, 상기 제1 깊이 영상 및 제4 깊이 영상을 합성하는 것을 특징으로 한다.
본 발명의 일 실시예에 따른 상기 영상 처리부는, 상기 제1 깊이 영상에 웨이블렛 변환을 수행하여, 제1 웨이블렛 계수를 획득하고, 상기 제4 깊이 영상에 웨이블렛 변환을 수행하여 제2 웨이블렛 계수를 획득하며, 제1 웨이블렛 계수 및 제2 웨이블렛 계수에 기초하여, 제3 웨이블렛 계수를 획득하고, 제3 웨이블렛 계수에 역 웨이블렛 변환을 수행하여, 상기 제3 깊이 영상을 생성하는 것을 특징으로 한다.
본 발명의 일 실시예에 따른 상기 제3 깊이 영상은, 상기 제1 깊이 영상에 나타나는 상기 피사체에 대한 깊이 정보 및 상기 제2 깊이 영상에 나타나는 상기 피사체에 대한 형태 정보를 포함하는 것을 특징으로 한다.
본 발명의 일 실시예에 따른 상기 제3 깊이 영상은, 상기 제1 깊이 영상에 나타나는 모션 아티팩트 및 상기 제2 깊이 영상에 나타나는 오프셋에 의한 효과가 제거된 영상인 것을 특징으로 한다.
본 발명의 일 실시예에 따른 깊이 영상 생성 장치는 2개의 깊이 영상을 합성하여, 모션 아티팩트 및 오프셋 효과가 제거된 깊이 영상을 생성할 수 있다.
도 1은 본 발명의 일 실시예에 따른 깊이 영상 생성 장치의 구성을 나타내는 블록도이다.
도 2는 본 발명의 일 실시예에 따른 조사광 신호, 반사광 신호 및 위상차 신호들을 설명하기 위한 도면이다.
도 3의 (a)는 본 발명의 일 실시예에 따른 위상차 영상들을 나타내는 도면이고, 도 3의 (b)는 본 발명의 일 실시예에 따른 깊이 영상을 나타내는 도면이다.
도 4의 (a)는 본 발명의 일 실시예에 따른 모션 아티팩트를 제거하기 전의 깊이 영상을 나타내며, 도 4의 (b)는 모션 아티팩트를 제거한 깊이 영상을 나타내며, 도 4의 (c)는 깊이 매칭이 수행된 깊이 영상을 나타내는 도면이다.
도 5는 본 발명의 일 실시예에 따른 모션 아티팩트 제거 전 및 제거 후의 깊이 영상에 포함된 깊이 값들을 나타내는 그래프이다.
도 6은 본 발명의 일 실시예에 따른 모션 아티팩트 및 오프셋 효과가 제거된 깊이 영상을 나타내는 도면이다.
도 7은 본 발명의 일 실시예에 따른 깊이 영상 생성 방법을 나타내는 순서도이다.
도 8은 본 발명의 다른 실시예에 따른 깊이 영상 생성 방법을 나타내는 순서도이다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 “포함”한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 “…부”, “…모듈” 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
아래에서는 첨부한 도면을 참고하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.
이하에서는 도면을 참조하여 본 발명의 실시 예들을 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 깊이 영상 생성 장치의 구성을 나타내는 블록도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 깊이 영상 생성 장치(100)는 광 조사부(110), 제어부(120), 센서부(130), 모션 아티팩트 판별부(140) 및 영상 처리부(150)를 포함할 수 있다.
광 조사부(110)는 소정의 파장을 갖는 광을 발생시키는 광원과 광원을 구동시키기 위한 광원 구동부를 포함할 수 있다. 광원은 사람의 눈에는 보이지 않는 약 850nm의 근 적외선(NR) 파장을 갖는 광을 방출시킬 수 있는 발광 다이오드(LED) 또는 레이저 다이오드(LD)일 수 있다. 다만, 이에 한정되지 않으며, 파장의 대역과 광원의 종류는 다양하게 구성될 수 있다.
광원 구동부는 제어부(120)로부터 수신된 제어 신호에 따라 광원을 구동시킬 수 있다. 이에 따라, 광원으로부터 피사체(50)로 조사되는 조사광 신호는 소정의 주기를 가지는 주기적인 연속 함수의 형태를 가질 수 있다. 예를 들어, 조사광 신호는 사인파, 램프파, 사각파 등과 같이 특수하게 정의된 파형을 가질 수도 있지만, 정의되지 않은 일반적인 형태의 파형을 가질 수도 있다.
센서부(130)는 광 조사부(110)로부터 조사된 조사광 신호가 피사체(50)에 의해 반사되어 돌아오는 반사광 신호를 센싱할 수 있다. 예를 들어, 센서부(130)는 PPD(Pinned Photo Diode), Photogate, CCD(Charge Coupled Device) 등과 같이 광 센싱 소자를 포함할 수 있다.
센서부(130)는 반사광 신호를 수신하여, 전자를 생성하고, 생성된 전자를 집적부로 전달하여, 집적된 전자의 양(전하량)을 측정할 수 있다. 이때, 전자의 집적 시간이나 주기는 미리 정의될 수 있다.
한편, 제어부(120)는 센서부(130)가 반사광 신호를 수신하여, 생성되는 전자를 집적하는 타이밍을 제어할 수 있는 제어 신호를 생성할 수 있다. 이때, 센서부(130)는 복수의 집적부를 포함하여, 제어 신호에 따라, 생성된 전자를 서로 다른 집적부로 전달할 수 있다.
TOF 방식의 깊이 영상 획득 장치는 서로 상이한 L(L은 자연수)개의 위상을 갖는 제어 신호들을 생성하고, M개의 집적부(전하량 저장 공간)를 가지는 경우, L-Phase/M-tap 방식으로 구성될 수 있다.
이에 따라, 센서부(130)는 서로 다른 위상을 가지는 제어 신호에 의하여, 반사광 신호를 센싱하여, 복수의 전하량을 집적하고, 그에 대응하는 위상차 신호들을 획득할 수 있다. 이에 대해서는, 도 2를 참조하여, 자세히 설명하기로 한다.
모션 아티팩트 판별부(140)는 모션 아티팩트 발생 여부를 판단할 수 있다. 예를 들어, 모션 아티팩트 판별부(140)는, 모션 아티팩트가 발생하는 경우, 한 주기 동안 획득한 위상차 신호들의 합이 일정하다는 규칙(후술하는 수학식 5)이 성립되지 않음을 기초로 모션 아티팩트 발생 여부를 판단할 수 있다.
한편, 영상 처리부(150)는 모션 아티팩트가 제거된 깊이 영상을 생성할 수 있으며, 모션 아티팩트가 제거된 깊이 영상 및 기존 깊이 영상(모션 아티팩트가 제거되지 않은 깊이 영상)에 기초하여, 모션 아티팩트 및 오프셋이 제거된 깊이 영상을 생성할 수 있다.
도 2는 본 발명의 일 실시예에 따른 조사광 신호, 반사광 신호 및 위상차 신호들을 나타내는 도면이다.
도 2의 (a)는 조사광 신호를 나타내며, 조사광 신호(S0)는 다음과 같이 표현할 수 있다.
Figure 112014046932294-pat00001
상술한 바와 같이, 조사광 신호는 다양한 형태의 파형을 가질 수 있지만, 이하에서는, 설명의 편의를 위해, 조사광 신호가 코사인 형태의 파형을 가지는 것으로 한다. 이때, A0는 조사광 신호의 진폭(amplitude)을 나타내며, w0는 조사광 신호의 주파수를 나타낸다.
한편, 도 2의 (b)는 피사체(50)로부터 반사되는 반사광 신호(S)를 나타내며, 반사광 신호는 다음과 같이 표현할 수 있다.
Figure 112014046932294-pat00002
조사광 신호가 코사인 형태의 파형을 가지므로, 반사광 신호도 코사인 형태의 파형을 가질 수 있다. 이때, A는 반사광 신호의 진폭(amplitude)를 나타내며, w0는 반사광 신호의 주파수를 나타낸다. 반사광 신호의 주파수는 조사광 신호의 주파수와 동일하다. 또한, B는 외부의 광으로 인하여, 발생하는 오프셋(offset) 신호를 나타내며, Φ는 TOF에 의한 위상차를 나타낸다.
센서부(130)는 반사광 신호를 서로 다른 위상차를 가지는 제어 신호에 의해, 센싱할 수 있다. 예를 들어, 제어부(120)는 도 2의 (c) 내지 (f)에 도시된 바와 같이, 서로 90도의 위상차를 가지는 4개의 제어 신호(mo, m90, m180, m270)를 생성할 수 있으며, 설명의 편의를 위해, 상기 4 개의 제어 신호를 각각 제1 내지 제4 제어신호라 한다.
도 2의 (c) 내지 (f)를 참조하면, 제1 제어신호(mo)를 기준으로, 제2 제어 신호(m90)는 상기 제1 제어 신호(m0)와 90도의 위상차를 가지며, 제3 제어 신호(m180)는 상기 제1 제어 신호와 180도의 위상차를 가지고, 제4 제어 신호(m270)는 상기 제1 제어 신호(m0)와 270도의 위상차를 가진다.
이에 따라, 센서부(130)는 제1 내지 제4 제어 신호에 의해, 위상차가 각각 0도, 90도, 180도, 270도가 될 때부터 반사광 신호의 반 주기(T/2)동안의 반사광 신호를 각각 센싱하여, 복수의 위상차 신호(집적된 전하량)들을 생성할 수 있다.
예를 들어, 센서부(130)에서는 제1 제어신호(m0)에 의해 반사광 신호를 센싱하여, 생성되는 전자를 제1 집적부에 집적하고, 제2 제어신호(m90)에 의해 반사광 신호를 센싱하여, 생성되는 전자를 제2 집적부에 집적하며, 제3 제어신호(m180)에 의해 반사광 신호를 센싱하여, 생성되는 전자를 제3 집적부에 집적하고, 제4 제어신호 (m270)에 의해 반사광 신호를 센싱하여, 생성되는 전자를 제4 집적부에 집적할 수 있다.
또한, 센서부(130)는 제1 집적부에 집적된 전하량에 대응하는 제1 위상차 신호 (Q0), 제2 집적부에 집적된 전하량에 대응하는 제2 위상차 신호(Q90), 제3 집적부에 집적된 전하량에 대응하는 제3 위상차 신호(Q180), 제4 집적부에 집적된 전하량에 대응하는 제4 위상차 신호(Q270)를 생성할 수 있다.
이때, 제1 집적부 및 제3 집적부가 동일한 집적부로, 제2 집적부 및 제4 집적부가 동일한 집적부로 구성될 수 있다. 다만 이에 한정하는 것은 아니며, 다양하게 구성될 수 있다.
도 3의 (a)는 본 발명의 일 실시예에 따른 위상차 영상들을 나타내는 도면이고, 도 3의 (b)는 본 발명의 일 실시예에 따른 깊이 영상을 나타내는 도면이다. 도 1의 영상 처리부(150)는 센서부(130)에서 생성된 복수의 위상차 신호(집적된 전자의 전하량)들에 기초하여, 복수의 위상차 영상들을 생성할 수 있다.
예를 들어, 도 3의 (a)에 도시된 바와 같이, 영상 처리부(150)는 제1 위상차 신호(Q0)를 기초로 제1 위상차 영상(310), 제2 위상차 신호(Q90)를 기초로 제2 위상차 영상(320), 제3 위상차 신호(Q180)를 기초로 제3 위상차 영상(330), 제4 위상차 신호(Q270)를 기초로 제4 위상차 영상(340)을 생성할 수 있다.
또한, 영상 처리부(150)는 복수의 위상차 영상들(제1 내지 제4 위상차 영상)을 기초로, 도 3의 (b)에 도시된 바와 같이, 깊이 영상(depth image)을 생성할 수 있다.
영상 처리부(150)는 복수의 위상차 신호들을 기초로, 위상차를 계산하고, 계산된 위상차를 이용하여, 피사체의 깊이(거리)를 계산할 수 있다. 예를 들어, 영상 처리부(150)는 복수의 위상차 신호(집적된 전하량)들을 기초로, 조사광 신호와 반사광 신호의 위상차 Φ를 다음과 같은 수학식 3을 이용하여, 계산할 수 있다. 또한, 계산된 위상차 Φ를 이용하여, 수학식 4에서와 같이, 피사체(50)의 깊이를 계산할 수 있다.
Figure 112014046932294-pat00003
Figure 112014046932294-pat00004
영상 처리부(150)는 상술한 바와 같이, 피사체의 깊이가 계산되면, 계산된 깊이를 이용하여, 깊이 영상을 생성할 수 있다. 예를 들어, 깊이가 큰 경우, 픽셀의 밝기 값을 크게 하고, 깊이가 작은 경우, 픽셀의 밝기 값을 작게 할 수 있다. 또는 이와 반대로, 깊이가 작은 경우 픽셀의 밝기 값을 크게 하고, 깊이가 큰 경우, 픽셀 밝기 값을 작게 할 수 있다. 다만, 이에 한정하지 않는다.
한편, 영상 처리부(150)는 전용의 집적회로(IC)로 구현될 수도 있으며, 또는 깊이 영상 생성 장치(100) 내에 설치된 소프트웨어로 구현될 수 있다. 소프트웨어로 구현되는 경우, 영상 처리부(150)는 별도의 이동 가능한 저장 매체에 저장될 수도 있다.
한편, 영상 처리부(150)는 모션 아티팩트가 제거된 깊이 영상을 생성할 수 있으며, 모션 아티팩트가 제거된 깊이 영상 및 기존 깊이 영상(모션 아티팩트가 제거되지 않은 깊이 영상)에 기초하여, 모션 아티팩트 및 오프셋이 제거된 깊이 영상을 생성할 수 있다. 이에 대해서는 이하에서, 자세히 설명하기로 한다.
모션 아티팩트는, 피사체를 촬영하는 도중에 카메라(깊이 영상 생성 장치) 또는 피사체가 이동함에 따라 발생한다. 예를 들어, 카메라 또는 피사체가 이동하게 되면, 반사광 신호의 위상 변화가 발생하고, 이에 따라, 센서부(130)에서 센싱되는 위상차 신호(집적되는 전하량)가 달라지므로, 이를 기초로 생성된 깊이 영상에는 모션 아티팩트가 발생할 수 있다.
이하에서는, 설명의 편의를 위해, 깊이 영상 획득 장치가 4-Phase/2-tap 방식으로 동작하며, 제1 위상차 신호(Q0) 및 제3 위상차 신호(Q180)를 동시에 1/2 주기 동안 측정하고, 제2 위상차 신호(Q90) 및 제4 위상차 신호(Q270)을 동시에 1/2 주기 동안 측정하는 경우를 예로 들어 설명하기로 한다.
깊이 영상 생성 장치(100)가 피사체가 위치하는 영역에 대해, 제2 위상차 신호(Q0) 및 제4 위상차 신호(Q270)를 측정하는 동안 피사체가 이동하는 경우, 제2 위상차 신호(Q0) 및 제4 위상차 신호(Q270)에는 피사체에 대한 반사광 신호 성분뿐만 아니라, 배경에 대한 반사광 신호 성분들이 포함되게 된다. 이러한 경우, 수학식 3 및 4를 이용하여, 피사체의 깊이를 계산하면, 잘못된 깊이 값이 계산되며, 이와 같이, 잘못 계산된 값을 모션 아티팩트(motion artifact)라 한다.
한편, 상술한 바와 같이, 제1 위상차 신호(Q0) 및 제3 위상차 신호(Q180)를 1/2 주기 동안 측정하고, 제2 위상차 신호(Q90) 및 제4 위상차 신호(Q270)를 1/2 주기 동안 측정하는 경우, 오프셋 신호(B)가 존재하지 않는다면, 다음과 같은 수학식 5 및 수학식 6이 성립한다.
Figure 112014046932294-pat00005
Figure 112014046932294-pat00006
또한, 수학식 5 및 수학식 6으로부터 다음과 같은 수학식 7 및 8을 유도할 수 있다.
Figure 112014046932294-pat00007
Figure 112014046932294-pat00008
수학식 7 및 8을 참조하면, 제1 위상차 신호(Q0) 및 제3 위상차 신호(Q180)를 이용하여, |Q90-Q270|을 계산할 수 있으며, 반대로, 제2 위상차 신호(Q90) 및 제4 위상차 신호(Q270)를 이용하여, |Q0-Q180|을 계산할 수 있다. 예를 들어, 제1 위상차 신호(Q0) 및 제3 위상차 신호(Q180)를 측정하는 동안 피사체가 이동한 경우, 피사체의 이동이 없는 동안에 측정된 제2 위상차 신호(Q90) 및 제4 위상차 신호(Q270)를 이용하여, |Q0-Q180|을 계산할 수 있다.
한편, 제1 위상차 신호(Q0) 및 제3 위상차 신호(Q180)를 측정하는 동안 피사체가 이동하는 경우에도, (Q0-Q180)의 부호는 변하지 않으며, 제2 위상차 신호(Q90) 및 제4 위상차 신호(Q270)를 측정하는 동안 피사체가 이동하는 경우에도, (Q90-Q270)의 부호는 변하지 않는 것으로 가정하면, 수학식 7 및 수학식 8은 다음과 같이 수학식 9 및 10으로 표현될 수 있다.
Figure 112014046932294-pat00009
Figure 112014046932294-pat00010
이때, Q’는 모션 아티팩트가 일어나지 않았을 때(피사체의 이동이 없는 경우)에 측정될 것으로 예상되는 위상차 신호를 나타낸다. 즉, 모션 아티팩트가 제거된 위상차 신호를 나타낸다.
그러나, 상기 수학식 9 및 10은 오프셋 신호가 존재하지 않는 것으로 가정하고, 유도된 식들이며, 실제로 피사체로부터 반사광 신호를 센싱하여, 위상차 신호를 측정하는 경우, 외부의 광에 의해 오프셋 신호가 포함되게 된다.
참고로, 모션 아티팩트가 존재하지 않는 경우(피사체의 이동이 없는 경우)에 위상차 Φ를 계산하는 수학식 3은 반사광 신호에 공통적으로 포함되어 있는 오프셋 신호를 마이너스(-) 연산에 의하여, 제거하는 효과가 있다. 이에 따라, 오프셋 신호가 위상차 Φ 및 깊이 값 D에 영향을 미치지 않는다.
한편, 오프셋 신호(B)를 고려하면, 수학식 6은 다음과 같이 표현된다.
Figure 112014046932294-pat00011
이에 따라, 수학식 9 및 10은 다음과 같이 표현될 수 있다.
Figure 112014046932294-pat00012
Figure 112014046932294-pat00013
따라서, 수학식 12 및 13에 나타나듯이, 수학식 9 및 10을 적용하여, 모션 아티팩트가 제거된 위상차 신호들의 차(Q’0-Q’180 또는 Q’90-Q’270)는 오프셋 신호에 의한 EBlur를 포함한다.
또한, 도 4를 참조하면, 도 4의 (a)는 수학식 3이 적용된 깊이 영상(모션 아티팩트를 제거하기 전의 깊이 영상)을 나타내며, 도 4의 (b)는 수학식 12 또는 13이 적용된 깊이 영상(모션 아티팩트를 제거한 깊이 영상)을 나타낸다. 이때, 도 4의 (b)의 깊이 영상은 모션 아티팩트는 제거되었지만, 오프셋 신호의 영향으로 전체적인 깊이 값이 달라짐(전체적인 컬러가 달라짐)을 알 수 있다.
따라서, 본 발명의 일 실시예에 따른 깊이 영상 획득 장치는 기존 깊이 영상(모션 아티팩트를 제거하기 전의 깊이 영상, 수학식 3이 적용된 깊이 영상) 및 모션 아티팩트가 제거된 깊이 영상(수학식 12 또는 13이 적용된 깊이 영상)에 기초하여, 모션 아티팩트 및 오프셋 신호의 영향이 제거된 깊이 영상을 생성할 수 있다.
예를 들어, 깊이 영상 생성 장치는 기존 깊이 영상(이하, 제1 깊이 영상이라 한다)으로부터 오프셋 효과가 제거된 깊이 정보를 획득할 수 있으며, 모션 아티팩트가 제거된 영상(이하, 제2 깊이 영상이라 한다)으로부터 모션 아티팩트가 제거된 형태 정보를 획득할 수 있다. 이에 대해, 이하에서 자세히 설명하기로 한다.
깊이 영상 생성 장치(100)는 모션 아티팩트가 발생한 영역을 판별할 수 있다. 예를 들어, TOF 원리에 따라, 수학식 5는 모든 영역에 대해서 만족해야 한다. 수학식 5가 만족하지 않을 경우, 위상차 신호들 간의 규칙이 성립되지 않음을 의미하며, 피사체의 반사도가 갑자기 변하거나, 태양광과 같은 외부의 광이 변하는 특수한 경우를 제외하면, 모션 아티팩트가 발생함을 의미한다.
이에 따라, 모션 아티팩트 판별부(140)는 다음과 같은 수학식 14를 이용하여, 모션 아티팩트로 인한 에러(EMA)를 계산할 수 있으며, 에러 값에 기초하여, 모션 아티팩트 영역을 판별할 수 있다.
Figure 112014046932294-pat00014
Figure 112014046932294-pat00015
상기와 같이, 깊이 영상 생성 장치(100)는 계산한 에러 값(EMA)을 임계값(th)과 비교하여, 에러 값이 임계값보다 크거나 같은 경우, 모션 아티팩트 영역으로 판별하고, 에러 값이 임계값보다 작은 경우, 비-모션 아티팩트 영역으로 판별할 수 있다. 임계값(th)은 시스템의 잡음 레벨 또는 장면(scene)에 따라서 적절하게 결정될 수 있는 상수이다.
한편, 영상 처리부(150)는 제1 깊이 영상 및 제2 깊이 영상에서, 모션 아티팩트 영역으로 판별된 영역을 제외한 영역의 깊이 값들을 크기 순으로 정렬할 수 있다.
예를 들어, 도 5의 제1 그래프(510)는 제1 깊이 영상 중 모션 아티팩트 영역으로 판별된 영역을 제외한 나머지 영역의 깊이 값(나머지 영역에 포함된 픽셀 값)을 크기 순서대로 정렬한 것을 나타내며, 도 5의 제2 그래프(520)는 모션 아티팩트가 제거된 영상 중 모션 아티팩트 영역으로 판별된 영역을 제외한 나머지 영역의 깊이 값을 크기 순서대로 정렬한 것을 나타낸다.
깊이 영상 생성 장치(100)는, 제1 깊이 영상 및 제2 깊이 영상의 깊이 값 대응 관계에 기초하여, 제2 깊이 영상(모션 아티팩트가 제거된 영상)의 깊이 값을 변경할 수 있다.
예를 들어, 깊이 영상 생성 장치(100)는 제1 그래프(510) 및 제2 그래프(520)에 기초하여, 제2 그래프(520)에 포함되는 제1 깊이 값을 그에 대응하는 제1 그래프(510)에 포함된 제2 깊이 값으로 변경할 수 있다. 즉, 제2 그래프(520)에서, 픽셀 인덱스 2인 픽셀의 깊이 값을 제1 그래프(510)에서 픽셀 인덱스 2인 픽셀의 깊이 값으로 변경할 수 있다. 또한, 이와 같은 방식으로, 제2 그래프(520)의 나머지 픽셀의 깊이 값들도 변경할 수 있다.
이에 따라, 깊이 영상 생성 장치(100)는 도 4의 (c)에 도시된 바와 같이, 모션 아티팩트가 제거되고, 깊이 매칭이 수행된 깊이 영상(이하, 제4 깊이 영상이라 한다)을 생성할 수 있다.
깊이 영상 생성 장치(100)는 제1 깊이 영상 및 제4 깊이 영상을 합성하여, 모션 아티팩트 및 오프셋 효과가 제거된 영상을 생성할 수 있다. 깊이 영상 생성 장치(100)는 모션 아티팩트 크기에 기초하여, 제1 깊이 영상 및 제4 깊이 영상에 대한 가중치(weight factor, W)를 다음과 같은 식을 이용하여, 계산할 수 있다.
Figure 112014046932294-pat00016
이때, EMA는 수학식 14에서 계산되는 에러 값을 의미하여, s1은 EMA에 따라 변하는 W값의 기울기를 의미하고, s2는 W값이 변하기 시작하는 EMA값을 의미한다. S1 및 S2는 실험에 의해 적절하게 결정되는 값일 수 있다.
모션 아티팩트가 클수록 가중치(W)는 0에 가까워지고, 모션 아티팩트가 작을수록 가중치(W)는 1에 가까워진다. 즉, 모션 아티팩트가 큰 영역에서는 제4 깊이 영상의 가중치를 크게 하고, 모션 아티팩트가 작은 영역에서는 제1 깊이 영상의 가중치를 크게 하여, 제1 깊이 영상 및 제4 깊이 영상을 합성할 수 있다.
한편, 깊이 영상 생성 장치(100)는 웨이블렛 변환을 이용하여, 제1 깊이 영상 및 제4 깊이 영상을 합성할 수 있다. 예를 들어, 깊이 영상 생성 장치(100)는 제1 깊이 영상에 대하여, 웨이블렛 변환(wavelet transform)을 수행하여, 제1 깊이 영상의 웨이블렛 계수(wavelet coefficient) G0를 획득할 수 있다. 또한, 제4 깊이 영상에 대해서도, 웨이블렛 변환(wavelet transform)을 수행하여, 제4 깊이 영상의 웨이블렛 계수(wavelet coefficient) GM을 획득할 수 있다.
깊이 영상 생성 장치(100)는 다음과 같은 수학식 17을 이용하여, 제1 깊이 영상의 웨이블렛 계수 G0, 제4 깊이 영상의 웨이블렛 계수 GM 및 수학식 17에 의해 계산된 가중치(W)에 기초하여, 웨이블렛 계수 GF를 계산할 수 있다.
Figure 112014046932294-pat00017
깊이 영상 생성 장치(100)는 수학식 17에서 계산된 웨이블렛 계수 GF를 역 웨이블렛 변환(inverse-wavelet transform)하여, 도 6에 도시된 바와 같이, 새로운 깊이 영상(이하, 제3 깊이 영상이라 한다)을 생성할 수 있다. 제3 깊이 영상은 제1 깊이 영상의 깊이 값을 가지며(오프셋 효과 제거), 모션 아티팩트가 제거된 영상일 수 있다. 즉, 제3 깊이 영상은 제1 깊이 영상의 깊이 정보와 제2 깊이 영상의 형태 정보를 포함하는 깊이 영상일 수 있다.
도 7은 본 발명의 일 실시예에 따른 깊이 영상 생성 방법을 나타내는 흐름도이다.
도 7을 참조하면, 조사광 신호가 피사체에 조사될 수 있다(S710).
이때, 조사광 신호는 사람의 눈에는 보이지 않는 약 850nm의 근 적외선(NR) 파장을 갖는 광일 수 있으며, 소정의 주기를 가지는 주기적인 연속 함수의 형태를 가질 수 있다. 예를 들어, 조사광 신호는 사인파, 램프파, 사각파 등과 같이 특수하게 정의된 파형을 가질 수도 있지만, 정의되지 않은 일반적인 형태의 파형을 가질 수도 있다.
피사체로부터 반사되는 반사광 신호를 센싱하여, 서로 다른 위상차를 가지는 복수의 위상차 신호들이 획득될 수 있다(S720).
예를 들어, 반사광 신호는 서로 다른 위상차를 가지는 제어 신호에 의해 센싱될 수 있으며, 상기 복수의 제어 신호는 서로 90도의 위상차를 가지는 4개의 제어 신호를 포함할 수 있다. 이에 따라, 제1 내지 제4 제어 신호에 의해 각각 제1 내지 제4 위상차 신호(Q0, Q90, Q180, Q270)들이 획득될 수 있다.
획득된 복수의 위상차 신호들에 기초하여 제1 깊이 영상이 생성될 수 있다(S730).
예를 들어, 제1 내지 제4 위상차 신호들 및 수학식 3을 이용하여, 조사광 신호와 반사광 신호의 위상차 Φ가 계산될 수 있다. 또한, 계산된 위상차 Φ를 이용하여, 수학식 4에서와 같이, 피사체(50)의 깊이가 계산될 수 있다.
또한, 피사체의 깊이가 계산되면, 계산된 깊이를 이용하여 제1 깊이 영상이 생성될 수 있다. 예를 들어, 깊이가 큰 경우, 픽셀의 밝기 값이 크게 되고, 깊이가 작은 경우, 픽셀의 밝기 값이 작게 될 수 있다. 또는 이와 반대로, 깊이가 작은 경우 픽셀의 밝기 값이 크게 되고, 깊이가 큰 경우, 픽셀 밝기 값이 작게 될 수 있다. 다만, 이에 한정하지 않는다.
복수의 반사광 신호 중 모션 아티팩트가 발생하지 않은 일부 반사광 신호들에 기초하여, 제2 깊이 영상이 생성될 수 있다(S740).
예를 들어, 수학식 12 또는 13에 의해 모션 아티팩트가 제거된 위상차 Φ(조사광 신호와 반사광 신호의 위상차) 및 깊이 값이 계산되며, 이를 기초로, 제2 깊이 영상이 생성될 수 있다.
이후, 제1 깊이 영상 및 제2 깊이 영상을 합성하여, 제3 깊이 영상이 생성될 수 있다(S750).
예를 들어, 모션 아티팩트가 발생한 영역이 판별될 수 있으며, 모션 아티팩트가 발생한 영역 및 모션 아티팩트의 크기에 기초하여, 제1 깊이 영상 및 제2 깊이 영상에 대한 가중치가 계산될 수 있다. 이에 따라, 계산된 가중치를 적용하여, 제1 깊이 영상 및 제2 깊이 영상이 합성됨으로써, 제3 깊이 영상이 생성될 수 있다.
도 8은 본 발명의 일 실시예에 따른 깊이 영상 생성 방법을 나타내는 흐름도이다.
도 8을 참조하면, 제1 깊이 영상이 생성될 수 있다(S810). 또한, 제2 깊이 영상이 생성될 수 있다(S820). 810 단계(S810)는 도 7의 730 단계(S730)에 대응되고, 820 단계(S830)는 도 7의 740 단계(S740)에 대응되므로, 이에 대한 구체적인 설명은 생략하기로 한다.
또한, 도 8의 830 단계(S830) 내지 850 단계(S850)는 도 7의 750 단계(S750)에 대한 일 실시예일 수 있다. 다만, 이에 한정되는 것은 아니다.
제2 깊이 영상의 깊이 값을 제1 깊이 영상의 깊이 값에 매칭하여, 제4 깊이 영상이 생성될 수 있다(S830).
예를 들어, 제1 깊이 영상 및 제2 깊이 영상의 깊이 값 대응 관계에 기초하여, 제2 깊이 영상(모션 아티팩트가 제거된 영상)의 깊이 값이 변경될 수 있다. 제1 깊이 영상 중 모션 아티팩트 영역으로 판별된 영역을 제외한 나머지 영역의 깊이 값(나머지 영역에 포함된 픽셀 값)을 크기 순서대로 정렬하고, 제2 깊이 영상 중 모션 아티팩트 영역으로 판별된 영역을 제외한 나머지 영역의 깊이 값을 크기 순서대로 정렬하여, 제2 깊이 영상의 깊이 값을 각각 대응하는 제1 깊이 영상의 깊이 값으로 매칭시킬 수 있다.이에 따라, 제2 깊이 영상의 깊이 값이 제1 깊이 영상의 깊이 값으로 변경된 제4 깊이 영상(깊이 매칭이 수행된 깊이 영상)이 생성될 수 있다.
제1 깊이 영상 및 제4 깊이 영상의 가중치가 계산될 수 있다(S840).
예를 들어, 모션 아티팩트의 크기에 기초하여, 제1 깊이 영상 및 제4 깊이 영상에 대한 가중치가 계산될 수 있다. 모션 아티팩트가 클수록 가중치(W)는 0에 가까워지고, 모션 아티팩트가 작을수록 가중치(W)는 1에 가까워질 수 있다.
계산된 가중치를 적용하여, 제1 깊이 영상 및 제4 깊이 영상이 합성될 수 있다(S850).
예를 들어, 웨이블렛 변환을 이용하여, 제1 깊이 영상 및 제4 깊이 영상이 합성될 수 있다. 예를 들어, 제1 깊이 영상에 대하여, 웨이블렛 변환(wavelet transform)을 수행하여, 제1 깊이 영상의 웨이블렛 계수(wavelet coefficient) G0가 획득될 수 있다. 또한, 제4 깊이 영상에 대해서도, 웨이블렛 변환(wavelet transform)을 수행하여, 제4 깊이 영상의 웨이블렛 계수(wavelet coefficient) GM가 획득될 수 있다.
수학식 17을 이용하여, 제1 깊이 영상의 웨이블렛 계수 G0, 제4 깊이 영상의 웨이블렛 계수 GM 및 수학식 16에 의해 계산된 가중치(W)에 기초하여, 웨이블렛 계수 GF가 계산되고, 계산된 웨이블렛 계수 GF에 역 웨이블렛 변환(inverse-wavelet transform)을 수행하여, 제3 깊이 영상이 생성될 수 있다.
이에 따라, 제3 깊이 영상은 제1 깊이 영상의 깊이 값을 가지며(오프셋 효과 제거), 모션 아티팩트가 제거된 영상일 수 있다. 즉, 제3 깊이 영상은 제1 깊이 영상의 깊이 정보와 제2 깊이 영상의 형태 정보를 포함하는 깊이 영상일 수 있다.
한편, 본 발명의 깊이 영상 생성 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM. CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 프로세서가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
또한, 이상에서는 본 발명의 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

Claims (19)

  1. 광원으로부터 생성된 광을 피사체에 조사하는 단계;
    상기 피사체로부터 반사되는 반사광을 센싱하여, 서로 다른 위상차를 가지는 복수의 위상차 신호들을 획득하는 단계;
    상기 복수의 위상차 신호들에 기초하여, 제1 깊이 영상을 생성하는 단계;
    상기 복수의 위상차 신호들 중 모션 아티팩트가 발생하지 않은 일부 위상차 신호들에 기초하여, 제2 깊이 영상을 생성하는 단계; 및
    상기 제1 깊이 영상 및 제2 깊이 영상을 합성하여, 제3 깊이 영상을 생성하는 단계를 포함하고,
    상기 제2 깊이 영상은 모션 아티팩트가 제거되고, 오프셋에 의한 효과가 포함된 깊이 영상인 것인, 깊이 영상 생성 방법.
  2. 제1항에 있어서,
    상기 복수의 위상차 신호들은, 위상차가 서로 다른 제어 신호들에 기초하여, 획득하는 것을 특징으로 하는 깊이 영상 생성 방법.
  3. 제1항에 있어서,
    상기 제1 깊이 영상을 생성하는 단계는,
    상기 복수의 위상차 신호들에 기초하여, 제1 위상차 영상들을 생성하는 단계; 및
    상기 제1 위상차 영상들에 기초하여, 제1 깊이 영상을 생성하는 단계를 포함하고,
    상기 제2 깊이 영상을 생성하는 단계는,
    상기 복수의 위상차 신호들 중 모션 아티팩트가 발생하지 않은 일부 반사광 신호들에 기초하여, 제2 위상차 영상들을 생성하는 단계; 및
    상기 제2 위상차 영상들에 기초하여, 제2 깊이 영상을 생성하는 단계를 포함하는 것을 특징으로 하는 깊이 영상 생성 방법.
  4. 삭제
  5. 제1항에 있어서,
    상기 제3 깊이 영상을 생성하는 단계는,
    상기 제2 깊이 영상의 깊이 값 일부를 상기 제1 깊이 영상의 깊이 값으로 변경한 제4 깊이 영상을 생성하는 단계; 및
    상기 제1 깊이 영상 및 제4 깊이 영상을 합성하여, 상기 제3 깊이 영상을 생성하는 단계를 포함하는 것을 특징으로 하는 깊이 영상 생성 방법.
  6. 제5항에 있어서,
    상기 방법은,
    상기 모션 아티팩트 크기에 기초하여, 상기 제1 깊이 영상 및 제4 깊이 영상에 대한 가중치를 계산하는 단계를 더 포함하고,
    상기 제1 깊이 영상 및 제4 깊이 영상을 합성하여, 제3 깊이 영상을 생성하는 단계는,
    상기 계산된 가중치를 적용하여, 상기 제1 깊이 영상 및 제4 깊이 영상을 합성하는 것을 특징으로 하는 깊이 영상 생성 방법.
  7. 제5항에 있어서,
    상기 제3 깊이 영상을 생성하는 단계는,
    상기 제1 깊이 영상에 웨이블렛 변환을 수행하여, 제1 웨이블렛 계수를 획득하고, 상기 제4 깊이 영상에 웨이블렛 변환을 수행하여 제2 웨이블렛 계수를 획득하며, 제1 웨이블렛 계수 및 제2 웨이블렛 계수에 기초하여, 제3 웨이블렛 계수를 획득하고, 제3 웨이블렛 계수에 역 웨이블렛 변환을 수행하여, 상기 제3 깊이 영상을 생성하는 것을 특징으로 하는 깊이 영상 생성 방법.
  8. 제1항에 있어서,
    상기 제3 깊이 영상은 상기 제1 깊이 영상에 나타나는 상기 피사체에 대한 깊이 정보 및 상기 제2 깊이 영상에 나타나는 상기 피사체에 대한 형태 정보를 포함하는 것을 특징으로 하는 깊이 영상 생성 방법.
  9. 제1항에 있어서,
    상기 제3 깊이 영상은 상기 제1 깊이 영상에 나타나는 모션 아티팩트 및 상기 제2 깊이 영상에 나타나는 오프셋에 의한 효과가 제거된 영상인 것을 특징으로 하는 깊이 영상 생성 방법.
  10. 제1항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  11. 광원으로부터 생성된 광을 피사체에 조사하는 광 조사부;
    상기 피사체로부터 반사되는 반사광을 센싱하여, 서로 다른 위상차를 가지는 복수의 위상차 신호들을 획득하는 센서부; 및
    상기 복수의 위상차 신호들에 기초하여, 제1 깊이 영상을 생성하고, 상기 복수의 위상차 신호들 중 모션 아티팩트가 발생하지 않은 일부 위상차 신호들에 기초하여, 제2 깊이 영상을 생성하며, 상기 제1 깊이 영상 및 제2 깊이 영상을 합성하여, 제3 깊이 영상을 생성하는 영상 처리부를 포함하고,
    상기 제2 깊이 영상은 모션 아티팩트가 제거되고, 오프셋에 의한 효과가 포함된 깊이 영상인 것인, 깊이 영상 생성 장치.
  12. 제11항에 있어서,
    상기 센서부는
    위상차가 서로 다른 제어 신호들에 기초하여 상기 복수의 위상차 신호들을 획득하는 깊이 영상 생성 장치.
  13. 제11항에 있어서,
    상기 영상 처리부는,
    상기 복수의 위상차 신호들에 기초하여, 제1 위상차 영상들을 생성하고, 상기 제1 위상차 영상들에 기초하여, 제1 깊이 영상을 생성하며,
    상기 복수의 위상차 신호들 중 모션 아티팩트가 발생하지 않은 일부 반사광 신호들에 기초하여, 제2 위상차 영상들을 생성하고, 상기 제2 위상차 영상들에 기초하여, 제2 깊이 영상을 생성하는 것을 특징으로 하는 깊이 영상 생성 장치.
  14. 삭제
  15. 제11항에 있어서,
    상기 영상 처리부는,
    상기 제2 깊이 영상의 깊이 값 일부를 상기 제1 깊이 영상의 깊이 값으로 변경한 제4 깊이 영상을 생성하고, 상기 제1 깊이 영상 및 제4 깊이 영상을 합성하여, 상기 제3 깊이 영상을 생성하는 것을 특징으로 하는 깊이 영상 생성 장치.
  16. 제15항에 있어서,
    상기 영상 처리부는,
    상기 모션 아티팩트 크기에 기초하여, 상기 제1 깊이 영상 및 제4 깊이 영상에 대한 가중치를 계산하고, 상기 계산된 가중치를 적용하여, 상기 제1 깊이 영상 및 제4 깊이 영상을 합성하는 것을 특징으로 하는 깊이 영상 생성 장치.
  17. 제15항에 있어서,
    상기 영상 처리부는,
    상기 제1 깊이 영상에 웨이블렛 변환을 수행하여, 제1 웨이블렛 계수를 획득하고, 상기 제4 깊이 영상에 웨이블렛 변환을 수행하여 제2 웨이블렛 계수를 획득하며, 제1 웨이블렛 계수 및 제2 웨이블렛 계수에 기초하여, 제3 웨이블렛 계수를 획득하고, 제3 웨이블렛 계수에 역 웨이블렛 변환을 수행하여, 상기 제3 깊이 영상을 생성하는 것을 특징으로 하는 깊이 영상 생성 장치.
  18. 제11항에 있어서,
    상기 제3 깊이 영상은, 상기 제1 깊이 영상에 나타나는 상기 피사체에 대한 깊이 정보 및 상기 제2 깊이 영상에 나타나는 상기 피사체에 대한 형태 정보를 포함하는 것을 특징으로 하는 깊이 영상 생성 장치.
  19. 제11항에 있어서,
    상기 제3 깊이 영상은, 상기 제1 깊이 영상에 나타나는 모션 아티팩트 및 상기 제2 깊이 영상에 나타나는 오프셋에 의한 효과가 제거된 영상인 것을 특징으로 하는 깊이 영상 생성 장치.
KR1020140059959A 2014-05-19 2014-05-19 깊이 영상 생성 장치 및 방법 KR102194233B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020140059959A KR102194233B1 (ko) 2014-05-19 2014-05-19 깊이 영상 생성 장치 및 방법
US14/597,381 US9746547B2 (en) 2014-05-19 2015-01-15 Method and apparatus for generating depth image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140059959A KR102194233B1 (ko) 2014-05-19 2014-05-19 깊이 영상 생성 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20150133082A KR20150133082A (ko) 2015-11-27
KR102194233B1 true KR102194233B1 (ko) 2020-12-22

Family

ID=54539574

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140059959A KR102194233B1 (ko) 2014-05-19 2014-05-19 깊이 영상 생성 장치 및 방법

Country Status (2)

Country Link
US (1) US9746547B2 (ko)
KR (1) KR102194233B1 (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018182403A (ja) * 2017-04-05 2018-11-15 ソニーセミコンダクタソリューションズ株式会社 電子機器、および、電子機器の制御方法
US11498228B2 (en) * 2017-06-14 2022-11-15 Lg Electronics Inc. Method for sensing depth of object by considering external light and device implementing same
JP7214363B2 (ja) * 2018-04-27 2023-01-30 ソニーセミコンダクタソリューションズ株式会社 測距処理装置、測距モジュール、測距処理方法、およびプログラム
JP7030607B2 (ja) 2018-04-27 2022-03-07 ソニーセミコンダクタソリューションズ株式会社 測距処理装置、測距モジュール、測距処理方法、およびプログラム
JP7090889B2 (ja) * 2018-05-31 2022-06-27 キング通信工業株式会社 見守り装置
TWI722710B (zh) * 2019-12-11 2021-03-21 茂達電子股份有限公司 具切片式積分時間感測機制的接近感測器及其感測方法
KR102274033B1 (ko) 2020-03-04 2021-07-08 (주)미래컴퍼니 다중 주파수를 이용하여 모션 블러를 저감하는 깊이 영상 획득 장치
US11158120B1 (en) * 2020-11-18 2021-10-26 Motional Ad Llc Ghost point filtering
CN113298778B (zh) * 2021-05-21 2023-04-07 奥比中光科技集团股份有限公司 一种基于飞行时间的深度计算方法、***及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120098935A1 (en) * 2010-10-21 2012-04-26 Sony Corporation 3d time-of-flight camera and method
US20130242111A1 (en) * 2011-07-12 2013-09-19 Samsung Electronics Co., Ltd. Device and method for blur processing

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7450220B2 (en) 2006-02-08 2008-11-11 Canesta, Inc Method and system to correct motion blur and reduce signal transients in time-of-flight sensor systems
WO2007124450A2 (en) * 2006-04-21 2007-11-01 The Trustees Of The University Of Pennsylvania Motion artifact compensation
KR101616874B1 (ko) 2009-09-23 2016-05-02 삼성전자주식회사 다중 영상 합성 방법 및 그 장치
EP2477043A1 (en) * 2011-01-12 2012-07-18 Sony Corporation 3D time-of-flight camera and method
KR101788032B1 (ko) * 2011-03-24 2017-10-19 삼성전자주식회사 깊이 센서, 상기 깊이 센서의 깊이 정보 에러 보상 방법, 및 상기 깊이 센서를 포함하는 신호 처리 시스템
KR101300350B1 (ko) * 2011-08-09 2013-08-28 삼성전기주식회사 영상 처리 장치 및 영상 처리 방법
JP6020904B2 (ja) 2012-02-01 2016-11-02 パナソニックＩｐマネジメント株式会社 画像処理装置および撮像装置
KR101225482B1 (ko) 2012-02-15 2013-01-23 인텔 코오퍼레이션 디지털 영상 처리 방법, 장치, 및 컴퓨터로 판독 가능한 기록 매체
TWM441878U (en) * 2012-03-13 2012-11-21 Inv Element Inc Embedded touch display panel structure
KR101977711B1 (ko) * 2012-10-12 2019-05-13 삼성전자주식회사 깊이 센서, 이의 이미지 캡쳐 방법, 및 상기 깊이 센서를 포함하는 이미지 처리 시스템
US20150253417A1 (en) * 2014-03-10 2015-09-10 Texas Instruments Incorporated Phase compensation in a time of flight system
US10177936B2 (en) * 2014-03-28 2019-01-08 International Business Machines Corporation Quality of service (QoS) for multi-tenant-aware overlay virtual networks
US9451141B2 (en) * 2014-04-19 2016-09-20 Massachusetts Institute Of Technology Methods and apparatus for demultiplexing illumination

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120098935A1 (en) * 2010-10-21 2012-04-26 Sony Corporation 3d time-of-flight camera and method
US20130242111A1 (en) * 2011-07-12 2013-09-19 Samsung Electronics Co., Ltd. Device and method for blur processing

Also Published As

Publication number Publication date
US20150334372A1 (en) 2015-11-19
KR20150133082A (ko) 2015-11-27
US9746547B2 (en) 2017-08-29

Similar Documents

Publication Publication Date Title
KR102194233B1 (ko) 깊이 영상 생성 장치 및 방법
KR102040152B1 (ko) 3차원 영상 획득 장치 및 3차원 영상 획득 장치에서의 깊이 영상 생성 방법
KR101675112B1 (ko) 거리 정보 추출 방법 및 상기 방법을 채용한 광학 장치
KR101854188B1 (ko) 3차원 영상 획득 장치 및 3차원 영상 획득 장치에서 깊이 정보 산출 방법
KR101722641B1 (ko) 3차원 영상 획득 장치 및 상기 3차원 영상 획득 장치에서 깊이 정보를 추출하는 방법
KR102486385B1 (ko) 깊이 정보 획득 장치 및 방법
US7379163B2 (en) Method and system for automatic gain control of sensors in time-of-flight systems
KR101955334B1 (ko) 3차원 영상 획득 장치 및 상기 3차원 영상 획득 장치에서 깊이 정보를 추출하는 방법
KR102056904B1 (ko) 3차원 영상 획득 장치 및 그 구동 방법
KR102194237B1 (ko) 깊이 영상 촬영 장치 및 깊이 정보 획득 방법
JPWO2011158498A1 (ja) 撮像装置及び撮像方法
KR20120030196A (ko) 뎁스 영상 생성 장치 및 방법
CN107517346B (zh) 基于结构光的拍照方法、装置及移动设备
JP6467516B2 (ja) 距離画像取得装置付きプロジェクタ装置及びプロジェクション方法
CN107483815B (zh) 运动物体的拍摄方法和装置
KR101929557B1 (ko) 블러 처리 장치 및 방법
US20120162370A1 (en) Apparatus and method for generating depth image
JP6313617B2 (ja) 距離画像生成装置、物体検出装置および物体検出方法
JP6369897B2 (ja) 自己位置算出装置及び自己位置算出方法
JP2019135446A (ja) 画像処理装置、測距装置、撮像装置、画像処理方法及びプログラム
US11885880B2 (en) Unwrapped phases for time-of-flight modulation light
KR102389380B1 (ko) 3차원 영상의 깊이 정보 추출 장치 및 그 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant