KR101871235B1 - 깊이 영상 생성 방법 및 장치, 깊이 영상 처리 방법 및 장치 - Google Patents

깊이 영상 생성 방법 및 장치, 깊이 영상 처리 방법 및 장치 Download PDF

Info

Publication number
KR101871235B1
KR101871235B1 KR1020120060616A KR20120060616A KR101871235B1 KR 101871235 B1 KR101871235 B1 KR 101871235B1 KR 1020120060616 A KR1020120060616 A KR 1020120060616A KR 20120060616 A KR20120060616 A KR 20120060616A KR 101871235 B1 KR101871235 B1 KR 101871235B1
Authority
KR
South Korea
Prior art keywords
depth
depth image
different modulation
depth value
light
Prior art date
Application number
KR1020120060616A
Other languages
English (en)
Other versions
KR20130136872A (ko
Inventor
최욱
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020120060616A priority Critical patent/KR101871235B1/ko
Priority to US13/900,746 priority patent/US10091491B2/en
Priority to JP2013117744A priority patent/JP6309210B2/ja
Priority to EP13170490.0A priority patent/EP2672290B1/en
Priority to CN201310222197.9A priority patent/CN103473794B/zh
Publication of KR20130136872A publication Critical patent/KR20130136872A/ko
Application granted granted Critical
Publication of KR101871235B1 publication Critical patent/KR101871235B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Graphics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

서로 다른 변조 주파수의 광을 피사체에 조사하는 단계; 상기 피사체에 반사된 서로 다른 변조 주파수의 광을 검출하는 단계; 및 상기 서로 다른 변조 주파수의 광을 이용하여 피사체까지의 거리와 관련된 깊이 영상을 생성하는 단계를 포함하는 깊이 영상 생성 방법이 개시된다.

Description

깊이 영상 생성 방법 및 장치, 깊이 영상 처리 방법 및 장치{DEPTH IMAGE GENERATING METHOD AND APPARATUS, DEPTH IMAGE PROCESSING METHOD AND APPARATUS}
아래의 설명은 깊이 영상 생성 방법 및 장치, 깊이 영상 처리 방법 및 장치에 관한 것으로, 서로 다른 변조 주파수의 광을 이용하여 깊이 영상을 생성하고, 생성된 깊이 영상을 처리하는 방법에 관한 것이다.
깊이 영상을 생성하는 방법으로서 광이 피사체에 반사되어 돌아오는 시간을 이용하여 피사체까지의 거리를 계산하는 방법이 있다. 현재, 이 방법을 이용하여 깊이 영상을 생성하는 ToF(Time-of-Flight) 카메라가 널리 사용되고 있다. ToF 카메라는 주파수가 변조된 광이 피사체에 반사되는 과정에서 발생한 위상의 지연을 이용하여 피사체까지의 거리를 계산한다. ToF 카메라로 측정할 수 있는 최대 거리는 촬영에 사용되는 변조 주파수(modulation frequency)에 의해 결정된다. ToF 카메라는 최대로 측정할 수 있는 거리보다 먼 곳에 위치한 피사체를 측정 가능한 거리에 있는 것으로 간주하고 깊이 영상을 촬영한다.
깊이 영상에서 원거리의 깊이값을 복원하는 방법으로서 1장의 깊이 영상을 이용하는 방법과 복수 개의 깊이 영상을 이용하는 방법이 있다. 1장의 깊이 영상을 이용하는 방법은 깊이 영상의 불연속한 부분에서, 작은 깊이값을 갖는 픽셀의 모드값(Number of Mods)을 큰 깊이값을 갖는 픽셀의 모드값보다 1만큼 크게하는 방법이다. 복수 개의 깊이 영상을 이용하는 방법에는 카메라를 움직이면서 촬영한 복수 개의 깊이 영상을 이용하는 방법과 시간차를 가지고 서로 다른 변조 주파수의 광으로 촬영한 복수 개의 깊이 영상을 이용하는 방법이 있다.
일실시예에 따른 깊이 영상 생성 방법은, 서로 다른 변조 주파수의 광을 피사체에 조사하는 단계; 상기 피사체에 반사된 서로 다른 변조 주파수의 광을 검출하는 단계; 및 상기 서로 다른 변조 주파수의 광을 이용하여 피사체까지의 거리와 관련된 깊이 영상을 생성하는 단계를 포함할 수 있다.
일실시예에 따른 깊이 영상 생성 장치는, 서로 다른 변조 주파수의 광을 피사체에 조사하는 조사부; 상기 피사체에 반사된 서로 다른 변조 주파수의 광을 검출하는 검출부; 및 상기 서로 다른 변조 주파수의 광을 이용하여 피사체까지의 거리와 관련된 깊이 영상을 생성하는 생성부를 포함할 수 있다.
일실시예에 따른 깊이 영상 처리 방법은, 서로 다른 변조 주파수에 기초하여 깊이 영상을 분리하는 단계; 상기 분리된 깊이 영상을 보간하여 깊이값을 복원하는 단계; 및 상기 깊이값이 복원된 깊이 영상을 이용하여 원거리의 깊이값을 조절하는 단계를 포함할 수 있다.
일실시예에 따른 깊이 영상 처리 방법은, 상기 깊이값이 조절된 깊이 영상을 합성하는 단계를 더 포함할 수 있다.
일실시예에 따른 깊이 영상 처리 장치는, 서로 다른 변조 주파수에 기초하여 깊이 영상을 분리하는 분리부; 상기 분리된 깊이 영상을 보간하여 깊이값을 복원하는 복원부; 및 상기 깊이값이 복원된 깊이 영상을 이용하여 원거리의 깊이값을 조절하는 조절부를 포함할 수 있다.
일실시예에 따른 깊이 영상 처리 장치는, 상기 깊이값이 조절된 깊이 영상을 합성하는 합성부를 더 포함할 수 있다.
도 1은 일실시예에 따른 깊이 영상을 처리하기 위한 시스템의 전체적인 구성을 도시한 도면이다.
도 2는 일실시예에 따른 깊이 영상 생성 장치의 세부 구성을 도시한 도면이다.
도 3은 일실시예에 따른 깊이 영상 처리 장치의 세부 구성을 도시한 도면이다.
도 4a 내지 도 4c는 일실시예에 따른 서로 다른 변조 주파수에서 동작하는 광원이 배열된 일례를 도시한 도면이다.
도 5a 내지 도 5c는 일실시예에 따른 서로 다른 변조 주파수에서 동작하는 픽셀이 배열된 일례를 도시한 도면이다.
도 6은 일실시예에 따른 깊이 영상 생성 장치가 생성한 깊이 영상의 일례를 도시한 도면이다.
도 7은 일실시예에 따른 깊이 영상을 서로 다른 변조 주파수에 대응하는 픽셀 영역으로 분리하는 일례를 도시한 도면이다.
도 8은 일실시예에 따른 깊이 영상을 보간하여 깊이값을 복원하는 일례를 설명하기 위한 도면이다.
도 9는 일실시예에 따른 깊이값이 복원된 픽셀 영역의 일례를 도시한 도면이다.
도 10은 일실시예에 따른 픽셀의 깊이값을 복원하여 깊이 영상을 표현하는 일례를 도시한 도면이다.
도 11은 일실시예에 따른 원거리의 깊이값을 조절하여 깊이 영상을 표현하는 일례를 도시한 도면이다.
도 12는 일실시예에 따른 깊이 영상의 픽셀 중 보간되지 않은 픽셀의 깊이값을 조합하는 일례를 도시한 도면이다.
도 13은 일실시예에 따른 원거리의 깊이값이 조절된 깊이 영상을 합성하는 일례를 도시한 도면이다.
도 14는 일실시예에 따른 깊이 영상을 생성하는 동작을 도시한 흐름도이다.
도 15는 일실시예에 따른 깊이 영상을 처리하는 동작을 도시한 흐름도이다.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 일실시예에 따른 깊이 영상 생성 방법은 깊이 영상 생성 장치에 의해 수행될 수 있다. 또한, 일실시예에 따른 깊이 영상 처리 방법은 깊이 영상 처리 장치에 의해 수행될 수 있다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.
도 1은 일실시예에 따른 깊이 영상을 처리하기 위한 시스템의 전체적인 구성을 도시한 도면이다.
도 1을 참고하면, 깊이 영상을 처리하기 위한 시스템은 깊이 영상 생성 장치(110)와 깊이 영상 처리 장치(120)를 포함할 수 있다.
깊이 영상 생성 장치(110)는 서로 다른 변조 주파수의 광(light)을 이용하여 피사체까지의 거리와 관련된 깊이 영상을 생성할 수 있다. 깊이 영상 생성 장치(110)는 깊이 영상을 생성하여 깊이 영상 생성 장치(110)로부터 피사체까지의 거리가 얼마나 되는지를 표현할 수 있다.
광의 변조 주파수는 깊이 영상 생성 장치(110)가 측정할 수 있는 최대 거리를 결정할 수 있다. 예를 들어, 깊이 영상 생성 장치(110)가 변조 주파수 30MHz의 광으로 피사체를 촬영하는 경우, 깊이 영상 생성 장치(110)는 최대 5m까지의 거리를 측정할 수 있다.
깊이 영상 처리 장치(120)는 깊이 영상 생성 장치(110)가 서로 다른 변조 주파수에 기초하여 생성한 깊이 영상을 처리할 수 있다. 깊이 영상 처리 장치(120)는 깊이 영상 생성 장치(110)가 생성한 1 개의 깊이 영상을 이용하여 깊이 영상에 표현된 원거리의 깊이값을 조절할 수 있다. 이를 통해, 깊이 영상 처리 장치(120)는 깊이 영상 생성 장치(110) 또는 피사체가 움직이고 있는 상황에서 촬영된 깊이 영상에 관해서도 원거리의 깊이값을 조절할 수 있다. 여기서, 원거리는 깊이 영상 생성 장치(110)가 측정할 수 있는 최대 거리를 초과하는 범위의 거리를 의미할 수 있다.
깊이 영상 처리 장치(120)는 깊이 영상에 표현된 원거리의 깊이값을 조절하여 실제 피사체까지의 거리와 깊이 영상에 표현된 깊이값을 매칭시킬 수 있다. 또한, 깊이 영상 처리 장치(120)는 서로 다른 변조 주파수에 기초하여 생성된 깊이 영상을 합성할 수 있고, 이를 통해 고화질의 깊이값을 갖는 깊이 영상을 표현할 수 있다.
도 2는 일실시예에 따른 깊이 영상 생성 장치의 세부 구성을 도시한 도면이다.
도 2를 참고하면, 깊이 영상 생성 장치(210)는 조사부(220), 검출부(230), 및 생성부(240)를 포함할 수 있다.
조사부(220)는 서로 다른 변조 주파수의 광을 피사체에 조사할 수 있다. 즉, 조사부(220)는 임의의 주파수로 변조된 광을 피사체에 조사할 수 있다. 또는, 조사부(220)는 서로 다른 변조 주파수에서 동작하는 적어도 하나의 광원으로부터 출력된 광을 피사체에 조사할 수도 있다. 서로 다른 변조 주파수에서 동작하는 광원은 수평 구조, 수직 구조, 또는 격자 구조 중 어느 하나의 구조로 구성될 수 있다. 즉, 서로 다른 변조 주파수에서 동작하는 광원은 공간적으로 서로 혼합된 구조를 가질 수 있다.
검출부(230)는 피사체에 반사된 서로 다른 변조 주파수의 광을 검출할 수 있다. 또는, 검출부(230)는 서로 다른 변조 주파수에서 동작하는 적어도 하나의 픽셀을 이용하여 광을 검출할 수도 있다. 서로 다른 변조 주파수에서 동작하는 픽셀은 수평 구조, 수직 구조 또는 격자 구조 중 어느 하나의 구조로 구성될 수 있다. 즉, 서로 다른 변조 주파수에서 동작하는 픽셀은 공간적으로 서로 혼합된 구조를 가질 수 있다.
일정한 변조 주파수에서 동작하는 각각의 픽셀은 해당 변조 주파수의 광을 샘플링(sampling)할 수 있다.
생성부(240)는 서로 다른 변조 주파수의 광을 이용하여 피사체까지의 거리와 관련된 깊이 영상을 생성할 수 있다. 구체적으로, 생성부(240)는 피사체에 조사된 광의 세기와 피사체에 반사된 빛의 광의 세기를 이용하여 피사체까지의 거리를 계산할 수 있다. 또는, 생성부(240)는 피사체에 조사된 광과 피사체에 반사된 광의 위상 차이를 이용하여 피사체까지의 거리를 계산할 수도 있다. 생성부(240)는 거리값에 기초하여 영상의 명암을 조절하는 방식을 통해 깊이 영상을 생성할 수 있다.
도 3은 일실시예에 따른 깊이 영상 처리 장치의 세부 구성을 도시한 도면이다.
도 3을 참고하면, 깊이 영상 처리 장치(310)는 분리부(320), 복원부(330), 조절부(340), 및 합성부(350)를 포함할 수 있다.
분리부(320)는 서로 다른 변조 주파수에 기초하여 깊이 영상을 분리할 수 있다. 또는, 분리부(320)는 깊이 영상을 서로 다른 변조 주파수에 대응하는 픽셀 영역으로 분리할 수도 있다. 예를 들어, 분리부(320)는 하나의 깊이 영상을 생성한 픽셀 영역에서 동일한 변조 주파수에서 동작하는 픽셀을 분리하여 새로운 픽셀 영역으로 생성할 수 있다. 새롭게 생성된 픽셀 영역은 깊이값을 가지지 않은 픽셀을 포함할 수 있다.
복원부(330)는 서로 다른 변조 주파수에 기초하여 분리된 깊이 영상을 보간(interpolation)하여 깊이값을 복원할 수 있다. 즉, 복원부(330)는 서로 다른 변조 주파수별로 분리된 깊이 영상에서 깊이값이 존재하지 않는 현재 픽셀의 깊이값을 복원할 수 있다. 구체적으로, 복원부(330)는 주변 픽셀의 깊이값을 이용하여 깊이값이 존재하지 않는 현재 픽셀의 깊이값을 복원할 수 있다. 또는, 복원부(330)는 깊이값이 존재하지 않는 현재 픽셀과 주변 픽셀 간의 거리에 기초한 가중치를 고려하여 현재 픽셀의 깊이값을 복원할 수도 있다.
복원부(330)는 분리부(320)가 새로 생성한 픽셀 영역에서 깊이값이 존재하지 않는 픽셀의 깊이값을 생성함으로써, 변조 주파수 별로 독립된 픽셀 영역을 생성할 수 있다.
조절부(340)는 깊이값이 복원된 깊이 영상을 이용하여 원거리의 깊이값을 조절할 수 있다. 구체적으로, 조절부(340)는 분리된 깊이 영상 각각에서 동일한 위치에 대응하는 픽셀의 3차원 좌표값 차이를 이용하여 원거리의 깊이값을 조절할 수 있다.
원거리에 존재하는 피사체의 깊이값은 위상 래핑(phase wrapping)현상으로 인해 실제의 깊이값과 다를 수 있다. 예를 들어, 깊이 영상 생성 장치가 측정할 수 있는 최대 거리보다 멀리 위치하고 있는 피사체를 촬영하는 경우, 위상 래핑 현상이 발생할 수 있다. 이 경우, 깊이 영상에 표현된 피사체의 깊이값은 실제 깊이값보다 작을 수 있다. 이는 깊이 영상 생성 장치가 최대로 측정할 수 있는 거리보다 먼 곳에 위치한 피사체를 측정 가능한 거리에 있는 것으로 간주하고 촬영하기 때문이다. 단, 위상 래핑이 발생한 횟수를 이용하면, 위상 래핑 현상이 반영된 깊이값을 실제 깊이값으로 보정할 수 있다.
Figure 112012045072386-pat00001
수학식 1은 3차원 공간상에서 삼각형의 닮음 공식을 이용하여 위상 래핑이 발생하기 전의 깊이값을 계산하는 식으로 정의될 수 있다. 여기서,
Figure 112012045072386-pat00002
는 깊이 영상의 임의의 픽셀 i에서 변조 주파수 f로 측정한 3차원 좌표값이고,
Figure 112012045072386-pat00003
는 위상 래핑이 발생하기 전의 3차원 좌표값일 수 있다. 그리고,
Figure 112012045072386-pat00004
는 0을 포함하는 양의 정수로서, 임의의 픽셀 i에서 위상 래핑이 발생한 회수를 나타낼 수 있다. 또한, c는 빛의 속도이고,
Figure 112012045072386-pat00005
는 깊이 영상 생성 장치가 변조 주파수 f의 광을 이용하여 측정할 수 있는 최대 거리일 수 있다.
Figure 112012045072386-pat00006
는 3차원 공간상의 원점에서
Figure 112012045072386-pat00007
까지의 거리를 나타낼 수 있다.
분리된 깊이 영상에서 위치가 동일한 픽셀은 같은 지점의 거리를 측정하고 있으므로,
Figure 112012045072386-pat00008
과
Figure 112012045072386-pat00009
는 같은 값을 가질 수 있다. 여기서
Figure 112012045072386-pat00010
와
Figure 112012045072386-pat00011
는 0을 포함하는 양의 정수일 수 있다. 정확한
Figure 112012045072386-pat00012
와
Figure 112012045072386-pat00013
의 값은
Figure 112012045072386-pat00014
와
Figure 112012045072386-pat00015
의 거리 차이로 정의되는
Figure 112012045072386-pat00016
의 값을 최소화시킬 수 있다.
Figure 112012045072386-pat00017
수학식 2는
Figure 112012045072386-pat00018
의 최소값을 계산하는 식으로 정의될 수 있다. 여기서
Figure 112012045072386-pat00019
는
Figure 112012045072386-pat00020
의 최소값을 나타낼 수 있다.
Figure 112012045072386-pat00021
가 0에서 M(임의의 양의 정수)까지의 값을 가질 수 있다고 가정하면,
Figure 112012045072386-pat00022
의 값을 최소화시키는
Figure 112012045072386-pat00023
는
Figure 112012045072386-pat00024
의 값을 최소화시킬 수 있다.
Figure 112012045072386-pat00025
Figure 112012045072386-pat00026
가 0에서 N(임의의 양의 정수)까지의 값을 가질 수 있다고 가정하면, 수학식 3은
Figure 112012045072386-pat00027
의 값을 최소화시키는
Figure 112012045072386-pat00028
를 계산하는 식으로 정의될 수 있다. 즉, 수학식 3은
Figure 112012045072386-pat00029
의 값을 이용하여
Figure 112012045072386-pat00030
을 계산하는 식으로 정의될 수 있다.
조절부(340)는 또한, 분리된 깊이 영상 각각에서 동일한 위치에 대응하는 픽셀의 깊이값과 주변 픽셀의 깊이값에 기초한 가중치를 고려하여 원거리의 깊이값을 조절할 수도 있다. 수학식 3에서의
Figure 112012045072386-pat00031
값은 깊이 영상에 존재하는 노이즈에 의해 잘못된 값으로 계산될 수도 있다. 이를 보완하고자 조절부(340)는 아래의 수학식 4를 이용할 수 있다.
Figure 112012045072386-pat00032
수학식 4는 깊이 영상에 포함된 노이즈에 의해
Figure 112012045072386-pat00033
가 잘못 계산되는 것을 막기 위해, 주변 픽셀의 깊이값에 기초한 가중치를 고려하여
Figure 112012045072386-pat00034
를 계산하는 식으로 정의될 수 있다. 즉, 수학식 4는 주변 픽셀의 깊이값에 기초한 가중치를 고려하여 계산된
Figure 112012045072386-pat00035
의 값을 최소화시키는
Figure 112012045072386-pat00036
를 계산하는 식으로 정의될 수 있다.
임의의 픽셀 i의 주변 픽셀들이 픽셀 i의
Figure 112012045072386-pat00037
에 대응하는 n값을 가지고
Figure 112012045072386-pat00038
과 n의 값이 동일하다고 가정하면, 수학식 4를 이용하여
Figure 112012045072386-pat00039
를 계산할 수 있다. 여기서, Ni는 픽셀 i를 포함하는 주변 픽셀의 집합이고,
Figure 112012045072386-pat00040
는 임의의 픽셀 i에서 측정된 깊이값과 픽셀 i의 주변 픽셀인 픽셀 j에서 측정된 깊이값의 유사한 정도에 따라 결정되는 가중치일 수 있다.
그리고, 조절부(340)는 분리된 깊이 영상 각각에서 모든 픽셀의 3차원 좌표값 차이에 기초한 비용 함수의 값을 최소화하여 원거리의 깊이값을 조절할 수 있다. 예를 들어, 조절부(340)는 수학식 5와 수학식 6과 같은 비용 함수의 값을 최소화시키는
Figure 112012045072386-pat00041
를 계산하여 원거리의 깊이값을 조절할 수 있다.
Figure 112012045072386-pat00042
Figure 112012045072386-pat00043
수학식 5와 수학식 6에서 V는 픽셀 i의
Figure 112012045072386-pat00044
값과
Figure 112012045072386-pat00045
값에 대응하는 픽셀 j의
Figure 112012045072386-pat00046
값의 유사도에 기초하여 결정되는 함수로 정의될 수 있다. V 함수는 이웃한 두 픽셀 간의 깊이값을 유사하게 하는 목적 함수이며, 영상 전체 단위로 최적화를 수행하고자 할 때 이용될 수 있다.
이상의
Figure 112012045072386-pat00047
를 계산하는 과정은
Figure 112012045072386-pat00048
를 계산하는 경우에도 적용될 수 있다.
조절부(350)는 위의 수학식 4, 수학식5, 또는 수학식 6을 이용하여
Figure 112012045072386-pat00049
의 값을 계산할 수 있고, 실제 피사체까지의 거리는 픽셀에서 측정된 깊이값 r에
Figure 112012045072386-pat00050
와
Figure 112012045072386-pat00051
의 곱을 합하여 계산할 수 있다.
합성부(350)는 원거리의 깊이값이 조절된 깊이 영상을 합성할 수 있다. 구체적으로, 합성부(350)는 분리된 깊이 영상의 픽셀 중 보간되지 않은 픽셀의 깊이값을 조합하여 깊이 영상을 합성할 수 있다. 다시 말해, 합성부(350)는 깊이값이 복원된 깊이 영상을 이용하여 원거리의 깊이값을 조절한 뒤, 처음부터 깊이값이 존재했던 픽셀들을 조합할 수 있다. 합성부(350)는 위 과정을 통해, 피사체 경계 부근에서 깊이값의 정확성을 향상시키거나 깊이 영상의 노이즈를 최소화할 수 있다.
도 4a 내지 도 4c는 일실시예에 따른 서로 다른 변조 주파수에서 동작하는 광원이 배열된 일례를 도시한 도면이다.
도 4a 내지 도 4c를 참고하면, 깊이 영상 생성 장치(410)는 임의의 변조 주파수 f1에서 동작하는 광원(420)과 임의의 변조 주파수 f2에서 동작하는 광원(430)을 포함할 수 있다. 변조 주파수 f1에서 동작하는 광원(420)은 변조 주파수 f1의 광을 피사체에 조사할 수 있고, 변조 주파수 f2에서 동작하는 광원(430)은 변조 주파수 f2의 광을 피사체에 조사할 수 있다.
광원(420, 430)은 배열 방법에 따라 도 4a의 수평 구조, 도 4b의 수직 구조, 또는 도 4c의 격자 구조로 배열될 수 있다. 단, 광원(420, 430)의 배열 방식은 위 실시예에 한정되지 아니하며, 다양한 형태를 가질 수 있다.
도 5a 내지 도 5c는 일실시예에 따른 서로 다른 변조 주파수에서 동작하는 픽셀이 배열된 일례를 도시한 도면이다.
도 5a 내지 도 5c를 참고하면 깊이 영상 생성 장치는 임의의 변조 주파수 f1에서 동작하는 픽셀(510)과 임의의 변조 주파수 f2에서 동작하는 픽셀(520)을 포함할 수 있다. 광원에서 조사된 빛은 피사체에 반사되어 픽셀(510, 520)에서 검출될 수 있다. 변조 주파수 f1에서 동작하는 픽셀(510)은 변조 주파수 f1의 광을 검출할 수 있고, 변조 주파수 f2에서 동작하는 픽셀(520)은 변조 주파수 f2의 광을 검출할 수 있다.
픽셀(510, 520)은 배열 방법에 따라 도 5a의 수평 구조, 도 5b의 수직 구조, 또는 도 5c의 격자 구조로 배열될 수 있다. 단, 픽셀(510, 520)의 배열 방식은 위 실시예에 한정되지 아니하며, 다양한 형태를 가질 수 있다.
도 6은 일실시예에 따른 깊이 영상 생성 장치가 생성한 깊이 영상의 일례를 도시한 도면이다.
도 6을 참고하면, 깊이 영상 생성 장치가 생성한 깊이 영상은 피사체까지의 거리를 영상의 명암을 조절하여 표현할 수 있다. 도 6의 깊이 영상에서는 측정된 피사체까지의 거리가 가까울수록 명암이 진하게 표현될 수 있다.
깊이 영상 생성 장치가 생성한 깊이 영상은 픽셀에서 측정한 광량에 기초하여 계산된 깊이값이 혼합된 형태일 수 있다. 생성된 깊이 영상에는 위상 래핑 현상으로 인해 실제의 깊이값과 다른 깊이값을 갖는 영역이 존재할 수 있다. 이에 잘못 계산된 깊이값을 실제의 깊이값으로 보정하기 위한 처리 과정이 필요하다.
도 7은 일실시예에 따른 깊이 영상을 서로 다른 변조 주파수에 대응하는 픽셀 영역으로 분리하는 일례를 도시한 도면이다.
도 7을 참고하면, 깊이 영상 처리 장치는 서로 다른 변조 주파수를 이용하여 생성된 깊이 영상의 픽셀 영역(710)을 서로 다른 변조 주파수에 대응하는 픽셀 영역(720, 730)으로 분리할 수 있다.
깊이 영상 처리 장치가 생성한 깊이 영상의 픽셀 영역(710)은 변조 주파수 f1에 대응하는 픽셀(740)과 변조 주파수 f2에 대응하는 픽셀(760)을 포함할 수 있다. 깊이 영상 처리 장치는 변조 주파수 f1과 변조 주파수 f2를 기준으로 하여 픽셀 영역(710)을 분리할 수 있고, 변조 주파수에 따라 분리된 픽셀 영역(720, 730)은 깊이값이 존재하지 않는 픽셀(750)을 포함할 수 있다.
즉, 새롭게 분리된 픽셀 영역(720, 730)에서 다른 변조 주파수에 대응하는 픽셀은 깊이 값이 존재하지 않는 픽셀(750)로 구성될 수 있다.
도 8은 일실시예에 따른 깊이 영상을 보간하여 깊이값을 복원하는 일례를 설명하기 위한 도면이다.
도 8을 참고하면, 깊이 영상 처리 장치는 깊이값이 존재하지 않는 픽셀(820)의 깊이값을 주변 픽셀(810, 830)을 이용하여 계산할 수 있다. 예를 들어, 깊이 영상 처리 장치는 깊이값이 존재하지 않는 픽셀(820)과 주변 픽셀(810, 830) 간의 거리에 기초한 가중치를 고려하여 픽셀(820)의 깊이값을 계산할 수 있다. 단, 여기서 주변 픽셀은 위 실시예에 한정되지 아니하며, 깊이값이 존재하지 않는 픽셀(820)과 인접한 모든 픽셀이 해당될 수 있다.
픽셀(820)의 깊이값은 아래의 수학식 7과 수학식 8을 이용하여 계산할 수 있다.
Figure 112012045072386-pat00052
Figure 112012045072386-pat00053
수학식 7은 변조 주파수 f1로 동작하는 임의의 픽셀 i에서 측정한 Z축 방향의 깊이값
Figure 112012045072386-pat00054
을 계산하기 위한 식으로 정의될 수 있다. 수학식 8은 변조 주파수 f2로 동작하는 임의의 픽셀 j에서 측정한 Z축 방향의 깊이값
Figure 112012045072386-pat00055
을 계산하기 위한 식으로 정의될 수 있다. 여기서 Z축 방향은 깊이 영상 생성 장치의 정면을 가리키는 방향이고,
Figure 112012045072386-pat00056
는 픽셀 i의 깊이값을 생성하기 위해 픽셀 j의 깊이값에 적용하는 가중치일 수 있다.
Z축 방향의 깊이값이 계산되면 3차원 포인트의 나머지 X, Y 방향의 좌표는 카메라 행렬의 고유 파라미터(intrinsic parameter)를 이용하여 계산할 수 있다.
도 9는 일실시예에 따른 깊이값이 복원된 픽셀 영역의 일례를 도시한 도면이다.
도 9를 참고하면, 깊이 영상 처리 장치는 깊이값이 존재하지 않는 픽셀(950)의 깊이값을 복원하여 전체 영역에서 깊이값을 가지는 픽셀 영역(930, 940)을 생성할 수 있다.
픽셀 영역(910)은 변조 주파수 f1에 대응하는 픽셀(960)과 깊이값을 가지고 있지 않는 픽셀(950)을 함께 포함할 수 있다. 또한, 픽셀 영역(920)은 변조 주파수 f2에 대응하는 픽셀(970)과 깊이값을 가지고 있지 않는 픽셀(950)을 함께 포함할 수 있다. 깊이 영상 처리 장치는 주변 픽셀의 깊이값을 이용하여 깊이값을 복원하거나 깊이값이 존재하지 않는 픽셀(950)과 주변 픽셀 간의 거리에 기초한 가중치를 고려하여 픽셀(950)의 깊이값을 복원할 수 있다.
도 10은 도 9의 픽셀 영역(910, 920, 930, 940)을 깊이 영상으로 표현한 일례를 도시한 도면이다. 도 10의 깊이 영상(1010)은 도 9의 픽셀 영역(910)에 대응할 수 있다. 도 9의 픽셀 영역(910, 920)은 깊이값을 가지지 않은 픽셀(950)을 포함하고 있다. 따라서, 도 9의 픽셀 영역(910, 920)의 깊이값을 표현한 깊이 영상(1010, 1020)에는 깊이값이 표현되지 않은 영역(1050)이 존재할 수 있다.
깊이 영상 처리 장치는 깊이값이 존재하지 않은 픽셀의 깊이값을 복원하여 전체 영역에서 깊이값을 가지는 깊이 영상을 표현할 수 있다. 깊이값이 존재하지 않은 픽셀의 깊이값을 복원하여 전체 영역에서 깊이값을 가지는 깊이 영상이 도 10의 깊이 영상(1030, 1040)에 도시되어 있다. 깊이값의 복원 과정을 거쳐 생성된 깊이 영상(1030, 1040)은 깊이값이 표현되지 않았던 영역(1050)에서도 깊이값을 가질 수 있다.
도 11는 일실시예에 따른 원거리의 깊이값을 조절하여 깊이 영상을 표현하는 일례를 도시한 도면이다.
깊이 영상 처리 장치는 서로 다른 변조 주파수에 기초하여 분리된 깊이 영상에서 깊이값이 존재하지 않는 픽셀의 깊이값을 복원할 수 있다. 깊이값이 복원된 깊이 영상(1110)이 도 11에 도시되어 있다. 도 11의 깊이 영상(1110, 1120)에서는 피사체까지의 측정된 거리가 가까울수록 명암이 진하게 표현되어 있다. 깊이 영상(1110)에서 영역(1130)을 실제 피사체와의 거리가 다르게 측정된 영역이라고 한다면, 이를 실제 깊이값으로 조정할 필요가 있다.
즉, 깊이 영상(1110)에서 영역(1130)은 측정된 거리보다 더 먼 곳에 피사체가 위치함에도 불구하고, 피사체가 가까운 곳에 위치한 것으로 표현될 수 있다. 깊이 영상 처리 장치는 이를 보정하기 위해, 분리된 깊이 영상 각각에서 동일한 위치에 대응하는 픽셀의 3차원 좌표값 차이를 이용하여 원거리의 깊이값을 조절할 수 있다. 또는, 깊이 영상 처리 장치는 분리된 깊이 영상 각각에서 동일한 위치에 대응하는 픽셀의 깊이값과 주변 픽셀의 깊이값에 기초한 가중치를 고려하여 원거리의 깊이값을 조절할 수도 있다.
위와 같은 방법을 통해 원거리의 깊이값을 조절한 결과가 깊이 영상(1120)에 도시되어 있다. 깊이 영상(1120)에서는 영역(1130)의 깊이값이 조절되어 표현되어 있다. 즉, 깊이 영상(1120)에서는 실제 깊이값에 따라 명암의 표현이 수정되어 영역(1130)의 명암이 밝게 표현되어 있다.
도 12는 일실시예에 따른 깊이 영상의 픽셀 중 보간되지 않은 픽셀의 깊이값을 조합하는 일례를 도시한 도면이다.
도 12를 참고하면, 깊이 영상 처리 장치는 분리된 깊이 영상의 픽셀 영역(1210, 1220) 중 보간되지 않은 픽셀의 깊이값을 조합하여 새로운 픽셀 영역(1230)을 합성할 수 있다. 즉, 깊이 영상 처리 장치는 깊이값이 복원된 깊이 영상을 이용하여 원거리의 깊이값을 조절한 뒤, 처음부터 깊이값이 존재했던 픽셀들을 조합할 수 있다. 보간되지 않은 픽셀의 깊이값을 조합하여 생성된 픽셀 영역(1230)은 주변 픽셀의 거리값에 기초하여 원거리의 깊이값이 복원된 픽셀로 구성될 수 있다.
도 13은 도 12의 픽셀 영역을 깊이 영상으로 표현한 일례를 도시한 도면이다. 도 13에서 각 깊이 영상(1310, 1320, 1330)은 도 12의 각 픽셀 영역(1210, 1220, 1330)에 대응할 수 있다.
깊이 영상 처리 장치는 보간되지 않은 픽셀의 깊이값을 조합하여 경계 부근에서 깊이값의 정확성을 향상시킬 수 있다. 예를 들어, 깊이값이 존재하지 않는 픽셀의 깊이값을 보간하는 과정에서 경계 부근의 깊이값은 큰 오차를 가질 수 있다. 그러나 깊이 영상 처리 장치는 깊이값이 복원되지 않은 픽셀의 깊이값을 조합하는 방식을 통해 경계 부근에서 깊이값을 보다 정확하게 표현할 수 있다. 또한, 깊이 영상 처리 장치는 위 방법을 통해 깊이 영상의 노이즈를 최소화할 수 있다.
깊이 영상(1310, 1320)에서는 깊이값이 복원된 픽셀로 인해 경계 부근에서 오차를 가질 수 있다. 구체적으로, 경계 부근에서의 깊이값의 변화는 상대적으로 다른 영역보다 클 수 있다. 이에 주변 픽셀의 깊이값을 이용하여 깊이값이 존재하지 않는 픽셀의 깊이값을 복원하는 과정을 거치면, 깊이 영상에서 경계 부근 픽셀의 깊이값에 오차가 발생할 수 있다.
이러한 오차를 줄이기 위해 깊이 영상 처리 장치는 깊이값이 복원되지 않은 픽셀의 깊이값을 조합하여 경계 부근에서 오차가 줄어든 깊이 영상(1330)을 표현할 수 있다. 또한, 위 과정을 통해 깊이 영상 처리 장치는 고화질의 깊이값을 갖는 깊이 영상을 표현할 수 있다.
도 14는 일실시예에 따른 깊이 영상을 생성하는 동작을 도시한 흐름도이다.
단계(S1410)에서, 깊이 영상 생성 장치는 서로 다른 변조 주파수의 광을 피사체에 조사할 수 있다. 또는, 깊이 영상 생성 장치는 서로 다른 변조 주파수에서 동작하는 적어도 하나의 광원으로부터 출력된 광을 피사체에 조사할 수도 있다. 서로 다른 변조 주파수에서 동작하는 광원은 수평 구조, 수직 구조, 또는 격자 구조 중 어느 하나의 구조로 구성될 수 있다.
단계(S1420)에서, 깊이 영상 생성 장치는 피사체에 반사된 서로 다른 변조 주파수의 광을 검출할 수 있다. 또는, 깊이 영상 생성 장치는 서로 다른 변조 주파수에서 동작하는 적어도 하나의 픽셀을 이용하여 광을 검출할 수도 있다. 서로 다른 변조 주파수에서 동작하는 픽셀은 수평 구조, 수직 구조 또는 격자 구조 중 어느 하나의 구조로 구성될 수 있다.
단계(S1430)에서, 깊이 영상 생성 장치는 서로 다른 변조 주파수의 광을 이용하여 피사체까지의 거리와 관련된 깊이 영상을 생성할 수 있다. 깊이 영상 생성 장치는 피사체에 조사된 광의 빛의 세기와 피사체에서 반사된 광의 빛의 세기를 이용하여 피사체까지의 거리를 계산할 수 있다.
도 15는 일실시예에 따른 깊이 영상을 처리하는 동작을 도시한 흐름도이다.
단계(S1510)에서, 깊이 영상 처리 장치는 서로 다른 변조 주파수에 기초하여 깊이 영상을 분리할 수 있다. 또는, 깊이 영상 처리 장치는 깊이 영상을 서로 다른 변조 주파수에 대응하는 픽셀 영역으로 분리할 수도 있다.
단계(S1520)에서, 깊이 영상 처리 장치는 서로 다른 변조 주파수에 기초하여 분리된 깊이 영상을 보간하여 깊이값을 복원할 수 있다. 구체적으로, 깊이 영상 처리 장치는 서로 다른 변조 주파수별로 분리된 깊이 영상에서 깊이값이 존재하지 않는 현재 픽셀의 깊이값을 복원할 수 있다. 또는, 깊이 영상 처리 장치는 깊이값이 존재하지 않는 현재 픽셀의 주변 픽셀을 이용하여 현재 픽셀의 깊이값을 복원하거나 깊이값이 존재하지 않는 현재 픽셀과 주변 픽셀 간의 거리에 기초한 가중치를 고려하여 현재 픽셀의 깊이값을 복원할 수도 있다.
단계(S1530)에서, 깊이 영상 처리 장치는 깊이값이 복원된 깊이 영상을 이용하여 원거리의 깊이값을 조절할 수 있다. 구체적으로, 깊이 영상 처리 장치는 분리된 깊이 영상 각각에서 동일한 위치에 대응하는 픽셀의 3차원 좌표값 차이를 이용하여 원거리의 깊이값을 조절할 수 있다. 그리고, 깊이 영상 처리 장치는 분리된 깊이 영상 각각에서 동일한 위치에 대응하는 픽셀의 깊이값과 주변 픽셀의 깊이값에 기초한 가중치를 고려하여 원거리의 깊이값을 조절할 수 있다. 또한, 깊이 영상 처리 장치는 분리된 깊이 영상 각각에서 모든 픽셀의 3차원 좌표값 차이에 기초한 비용 함수의 값을 최소화하여 원거리의 깊이값을 조절할 수도 있다.
단계(S1540)에서, 깊이 영상 처리 장치는 원거리의 깊이값이 조절된 깊이 영상을 합성할 수 있다. 구체적으로, 깊이 영상 처리 장치는 분리된 깊이 영상의 픽셀 중 보간되지 않은 픽셀의 깊이값을 조합하여 깊이 영상을 합성할 수 있다. 깊이 영상 처리 장치는 이를 통해, 경계 부근에서 깊이값의 정확성을 향상시킬 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
110: 깊이 영상 생성 장치
120: 깊이 영상 처리 장치

Claims (22)

  1. 서로 다른 변조 주파수의 광(light)을 피사체에 조사하는 단계;
    상기 피사체에 반사된 서로 다른 변조 주파수의 광을 검출하는 단계; 및
    상기 검출된 서로 다른 변조 주파수의 광을 이용하여 피사체까지의 거리와 관련된 깊이 영상을 생성하는 단계
    를 포함하고,
    상기 깊이 영상은,
    상기 검출된 서로 다른 변조 주파수의 광의 변조 주파수에 대응하는 픽셀 영역들을 포함하는 깊이 영상 생성 방법.
  2. 제1항에 있어서,
    상기 광을 피사체에 조사하는 단계는,
    서로 다른 변조 주파수에서 동작하는 적어도 하나의 광원으로부터 출력된 광을 피사체에 조사하는 깊이 영상 생성 방법.
  3. 제2항에 있어서,
    상기 광을 피사체에 조사하는 단계는,
    수평 구조, 수직 구조, 또는 격자 구조 중 어느 하나의 구조로 구성된 광원으로부터 출력된 광을 피사체에 조사하는 깊이 영상 생성 방법.
  4. 제1항에 있어서,
    상기 서로 다른 변조 주파수의 광을 검출하는 단계는,
    서로 다른 변조 주파수에서 동작하는 적어도 하나의 픽셀을 이용하여 광을 검출하는 깊이 영상 생성 방법.
  5. 제4항에 있어서,
    상기 서로 다른 변조 주파수의 광을 검출하는 단계는,
    수평 구조, 수직 구조, 또는 격자 구조 중 어느 하나의 구조로 구성된 픽셀을 이용하여 광을 검출하는 깊이 영상 생성 방법.
  6. 제1항에 있어서,
    상기 피사체까지의 거리와 관련된 깊이 영상을 생성하는 단계는,
    상기 피사체에 조사된 광의 빛의 세기와 상기 피사체에서 반사된 광의 빛의 세기를 이용하여 상기 피사체까지의 거리를 계산하는 깊이 영상 생성 방법.
  7. 서로 다른 변조 주파수에 기초하여 깊이 영상을 분리하는 단계;
    상기 분리된 깊이 영상을 보간(interpolation)하여 깊이값을 복원하는 단계; 및
    상기 깊이값이 복원된 깊이 영상을 이용하여 원거리의 깊이값을 조절하는 단계
    를 포함하고,
    상기 깊이 영상은,
    피사체에 조사된 상기 서로 다른 변조 주파수의 광에 기초하여 생성되고,
    상기 서로 다른 변조 주파수에 대응하는 픽셀 영역들을 포함하는 깊이 영상 처리 방법.
  8. 제7항에 있어서,
    상기 깊이 영상을 분리하는 단계는,
    상기 깊이 영상을 상기 서로 다른 변조 주파수에 대응하는 픽셀 영역으로 분리하는 깊이 영상 처리 방법.
  9. 제7항에 있어서,
    상기 깊이값을 복원하는 단계는,
    상기 서로 다른 변조 주파수별로 분리된 깊이 영상에서 깊이값이 존재하지 않는 현재 픽셀의 깊이값을 복원하는 깊이 영상 처리 방법.
  10. 제9항에 있어서,
    상기 깊이값을 복원하는 단계는,
    상기 깊이값이 존재하지 않는 현재 픽셀의 주변 픽셀을 이용하여 현재 픽셀의 깊이값을 복원하는 깊이 영상 처리 방법.
  11. 제10항에 있어서,
    상기 깊이값을 복원하는 단계는,
    상기 깊이값이 존재하지 않는 현재 픽셀과 주변 픽셀 간의 거리에 기초한 가중치를 고려하여 현재 픽셀의 깊이값을 복원하는 깊이 영상 처리 방법.
  12. 제8항에 있어서,
    상기 원거리의 깊이값을 조절하는 단계는,
    상기 분리된 깊이 영상 각각에서 동일한 위치에 대응하는 픽셀의 3차원 좌표값 차이를 이용하여 원거리의 깊이값을 조절하는 깊이 영상 처리 방법.
  13. 제8항에 있어서,
    상기 원거리의 깊이값을 조절하는 단계는,
    상기 분리된 깊이 영상 각각에서 동일한 위치에 대응하는 픽셀의 깊이값과 주변 픽셀의 깊이값에 기초한 가중치를 고려하여 원거리의 깊이값을 조절하는 깊이 영상 처리 방법.
  14. 제8항에 있어서,
    상기 원거리의 깊이값을 조절하는 단계는,
    상기 분리된 깊이 영상 각각에서 모든 픽셀의 3차원 좌표값 차이에 기초한 비용 함수의 값을 최소화하여 원거리의 깊이값을 조절하는 깊이 영상 처리 방법.
  15. 제7항에 있어서,
    상기 깊이값이 조절된 깊이 영상을 합성하는 단계
    를 더 포함하는 깊이 영상 처리 방법.
  16. 제15항에 있어서,
    상기 깊이 영상을 합성하는 단계는,
    상기 분리된 깊이 영상의 픽셀 중 보간되지 않은 픽셀의 깊이값을 조합하는 깊이 영상 처리 방법.
  17. 제1항 내지 제16항 중 어느 한 항의 방법을 실행하기 위한 프로그램이 기록된 컴퓨터에서 판독 가능한 기록 매체.
  18. 서로 다른 변조 주파수의 광을 피사체에 조사하는 조사부;
    상기 피사체에 반사된 서로 다른 변조 주파수의 광을 검출하는 검출부; 및
    상기 서로 다른 변조 주파수의 광을 이용하여 피사체까지의 거리와 관련된 깊이 영상을 생성하는 생성부
    를 포함하고,
    상기 깊이 영상은,
    상기 검출된 서로 다른 변조 주파수의 광의 변조 주파수에 대응하는 픽셀 영역들을 포함하는 깊이 영상 생성 장치.
  19. 제18항에 있어서,
    상기 조사부는,
    서로 다른 변조 주파수에서 동작하는 적어도 하나의 광원으로부터 출력된 광을 피사체에 조사하는 깊이 영상 생성 장치.
  20. 서로 다른 변조 주파수에 기초하여 깊이 영상을 분리하는 분리부;
    상기 분리된 깊이 영상을 보간하여 깊이값을 복원하는 복원부; 및
    상기 깊이값이 복원된 깊이 영상을 이용하여 원거리의 깊이값을 조절하는 조절부
    를 포함하고,
    상기 깊이 영상은,
    피사체에 조사된 상기 서로 다른 변조 주파수의 광에 기초하여 생성되고,
    상기 서로 다른 변조 주파수에 대응하는 픽셀 영역들을 포함하는 깊이 영상 처리 장치.
  21. 제20항에 있어서,
    상기 분리부는,
    상기 깊이 영상을 서로 다른 변조 주파수에 대응하는 픽셀 영역으로 분리하는 깊이 영상 처리 장치.
  22. 제20항에 있어서,
    상기 깊이값이 조절된 깊이 영상을 합성하는 합성부
    를 더 포함하는 깊이 영상 처리 장치.
KR1020120060616A 2012-06-05 2012-06-05 깊이 영상 생성 방법 및 장치, 깊이 영상 처리 방법 및 장치 KR101871235B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020120060616A KR101871235B1 (ko) 2012-06-05 2012-06-05 깊이 영상 생성 방법 및 장치, 깊이 영상 처리 방법 및 장치
US13/900,746 US10091491B2 (en) 2012-06-05 2013-05-23 Depth image generating method and apparatus and depth image processing method and apparatus
JP2013117744A JP6309210B2 (ja) 2012-06-05 2013-06-04 深さ映像生成方法及び装置、深さ映像処理方法及び装置
EP13170490.0A EP2672290B1 (en) 2012-06-05 2013-06-04 Apparatus depth image generating method and apparatus and depth image processing method and apparatus
CN201310222197.9A CN103473794B (zh) 2012-06-05 2013-06-05 深度图像产生方法及设备和深度图像处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120060616A KR101871235B1 (ko) 2012-06-05 2012-06-05 깊이 영상 생성 방법 및 장치, 깊이 영상 처리 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20130136872A KR20130136872A (ko) 2013-12-13
KR101871235B1 true KR101871235B1 (ko) 2018-06-27

Family

ID=48700266

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120060616A KR101871235B1 (ko) 2012-06-05 2012-06-05 깊이 영상 생성 방법 및 장치, 깊이 영상 처리 방법 및 장치

Country Status (5)

Country Link
US (1) US10091491B2 (ko)
EP (1) EP2672290B1 (ko)
JP (1) JP6309210B2 (ko)
KR (1) KR101871235B1 (ko)
CN (1) CN103473794B (ko)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150037366A (ko) * 2013-09-30 2015-04-08 삼성전자주식회사 깊이 영상의 노이즈를 저감하는 방법, 이를 이용한 영상 처리 장치 및 영상 생성 장치
TWI519884B (zh) * 2014-01-23 2016-02-01 鈺創科技股份有限公司 產生深度資訊的裝置、產生深度資訊的方法和立體攝影機
KR102101864B1 (ko) * 2014-01-29 2020-04-20 엘지이노텍 주식회사 깊이 정보 추출 장치
KR102307610B1 (ko) * 2014-01-29 2021-10-05 엘지이노텍 주식회사 깊이 정보 추출 장치
US9523765B2 (en) * 2014-07-14 2016-12-20 Omnivision Technologies, Inc. Pixel-level oversampling for a time of flight 3D image sensor with dual range measurements
KR102364084B1 (ko) 2014-10-21 2022-02-17 엘지전자 주식회사 이동단말기 및 그 제어방법
US9823352B2 (en) * 2014-10-31 2017-11-21 Rockwell Automation Safety Ag Absolute distance measurement for time-of-flight sensors
JP6764863B2 (ja) * 2015-07-03 2020-10-07 パナソニックセミコンダクターソリューションズ株式会社 距離測定装置
CN106527761A (zh) * 2015-09-10 2017-03-22 义明科技股份有限公司 非接触式光学感测装置及三维空间物件深度位置感测方法
KR102372088B1 (ko) 2015-10-29 2022-03-08 삼성전자주식회사 영상 획득 장치 및 영상 획득 방법
CN108663682A (zh) * 2017-03-28 2018-10-16 比亚迪股份有限公司 障碍物测距***及具有其的车辆和tof测距方法
CN107608080A (zh) * 2017-10-31 2018-01-19 深圳增强现实技术有限公司 智能ar眼镜及智能ar眼镜景深信息获取方法
US11180373B2 (en) 2017-11-29 2021-11-23 Samsung Electronics Co., Ltd. Nanocrystalline graphene and method of forming nanocrystalline graphene
CN112074760A (zh) * 2017-12-27 2020-12-11 ams传感器新加坡私人有限公司 光电模块及其操作方法
CN108717326A (zh) * 2018-05-11 2018-10-30 深圳增强现实技术有限公司 一种基于ar眼镜的防干扰的手势识别方法及ar眼镜
US11217531B2 (en) 2018-07-24 2022-01-04 Samsung Electronics Co., Ltd. Interconnect structure having nanocrystalline graphene cap layer and electronic device including the interconnect structure
KR102532605B1 (ko) 2018-07-24 2023-05-15 삼성전자주식회사 나노결정질 그래핀 캡층을 포함하는 인터커넥트 구조체 및 이 인터커넥트 구조체를 포함하는 전자 소자
KR20200011821A (ko) 2018-07-25 2020-02-04 삼성전자주식회사 탄소물 직접 성장방법
CN108833889B (zh) * 2018-08-22 2020-06-23 Oppo广东移动通信有限公司 控制方法及装置、深度相机、电子装置及可读存储介质
US10708514B2 (en) * 2018-08-30 2020-07-07 Analog Devices, Inc. Blending depth images obtained with multiple exposures
CN110956657B (zh) * 2018-09-26 2023-06-30 Oppo广东移动通信有限公司 深度图像获取方法及装置、电子设备及可读存储介质
KR102601607B1 (ko) 2018-10-01 2023-11-13 삼성전자주식회사 그래핀의 형성방법
KR102668245B1 (ko) 2018-10-29 2024-05-23 삼성전자주식회사 3차원 깊이 측정 장치 및 방법
US11263995B2 (en) * 2019-03-21 2022-03-01 Boe Technology Group Co., Ltd. Display device, electronic equipment, and method for driving display device
KR20200126721A (ko) 2019-04-30 2020-11-09 삼성전자주식회사 그래핀 구조체 및 그래핀 구조체의 형성방법
CN110673114B (zh) * 2019-08-27 2023-04-18 三赢科技（深圳）有限公司 校准三维相机深度的方法、装置、计算机装置及存储介质
US11619723B2 (en) * 2019-09-23 2023-04-04 Microsoft Technology Licensing, Llc Multiple-mode frequency sharing for time-of-flight camera
KR20220075016A (ko) * 2020-11-26 2022-06-07 삼성전자주식회사 이미징 장치
CN112526546B (zh) * 2021-02-09 2021-08-17 深圳市汇顶科技股份有限公司 深度信息确定方法及装置
CN113238215A (zh) * 2021-07-09 2021-08-10 武汉市聚芯微电子有限责任公司 一种测距方法及ToF测距装置、存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080277473A1 (en) * 2003-11-13 2008-11-13 Metrologic Intruments, Inc. Digital image capture and processing system employing an image formation and detection system having an area-type image detection array supporting single snap-shot and periodic snap-shot modes of image acquisition during object illumination and imaging operations

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5699444A (en) 1995-03-31 1997-12-16 Synthonics Incorporated Methods and apparatus for using image data to determine camera location and orientation
US6122042A (en) * 1997-02-07 2000-09-19 Wunderman; Irwin Devices and methods for optically identifying characteristics of material objects
US6424422B1 (en) 1998-06-18 2002-07-23 Minolta Co., Ltd. Three-dimensional input device
AU9456198A (en) 1998-09-28 2000-04-17 3Dv Systems Ltd. Distance measurement with a camera
KR100513055B1 (ko) 2003-12-11 2005-09-06 한국전자통신연구원 변이지도 및 깊이지도의 융합을 통한 3차원 장면 모델생성 장치 및 그 방법
JP4631606B2 (ja) 2005-03-07 2011-02-16 日本電信電話株式会社 画像の奥行分布推定方法及び装置及びプログラム
KR100748719B1 (ko) 2005-07-14 2007-08-13 연세대학교 산학협력단 다중 스테레오 카메라를 이용한 3차원 모델링 장치 및 그방법
US7551771B2 (en) * 2005-09-20 2009-06-23 Deltasphere, Inc. Methods, systems, and computer program products for acquiring three-dimensional range information
US7791715B1 (en) * 2006-10-02 2010-09-07 Canesta, Inc. Method and system for lossless dealiasing in time-of-flight (TOF) systems
US8525287B2 (en) * 2007-04-18 2013-09-03 Invisage Technologies, Inc. Materials, systems and methods for optoelectronic devices
US7923801B2 (en) 2007-04-18 2011-04-12 Invisage Technologies, Inc. Materials, systems and methods for optoelectronic devices
KR100930286B1 (ko) 2007-12-24 2009-12-09 연세대학교 산학협력단 변이 추정 시의 비용 함수 연산 방법 및 가려진 영역 처리방법
JP5173665B2 (ja) 2008-08-08 2013-04-03 キヤノン株式会社 画像撮影装置およびその距離演算方法と合焦画像取得方法
WO2010025331A1 (en) * 2008-08-28 2010-03-04 Mesa Imaging Ag Demodulation pixel with daisy chain charge storage sites and method of operation therefor
KR101020999B1 (ko) 2009-01-05 2011-03-09 엘지이노텍 주식회사 촬영 장치 및 이의 영상 제어방법
KR101626072B1 (ko) 2009-11-13 2016-06-13 삼성전자주식회사 영상 보정 장치 및 영상 보정 방법
KR20110064622A (ko) 2009-12-08 2011-06-15 삼성전자주식회사 티오에프 카메라를 이용한 3차원 에지 추출 방법 및 장치
US8320621B2 (en) * 2009-12-21 2012-11-27 Microsoft Corporation Depth projector system with integrated VCSEL array
US8514269B2 (en) * 2010-03-26 2013-08-20 Microsoft Corporation De-aliasing depth images
KR101666854B1 (ko) 2010-06-14 2016-10-17 삼성전자주식회사 복수 개의 깊이 영상에 기초한 깊이 영상 접힘 제거 장치 및 방법
KR101666020B1 (ko) * 2010-06-25 2016-10-25 삼성전자주식회사 깊이 영상 생성 장치 및 그 방법
US9753128B2 (en) * 2010-07-23 2017-09-05 Heptagon Micro Optics Pte. Ltd. Multi-path compensation using multiple modulation frequencies in time of flight sensor
EP2598910A4 (en) * 2010-07-29 2014-06-25 Waikatolink Ltd APPARATUS AND METHOD FOR MEASURING DISTANCE AND / OR INTENSITY CHARACTERISTICS OF OBJECTS
EP2821748B1 (en) * 2012-03-01 2019-07-31 Nissan Motor Co., Ltd Range finding device and range finding method

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080277473A1 (en) * 2003-11-13 2008-11-13 Metrologic Intruments, Inc. Digital image capture and processing system employing an image formation and detection system having an area-type image detection array supporting single snap-shot and periodic snap-shot modes of image acquisition during object illumination and imaging operations

Also Published As

Publication number Publication date
EP2672290B1 (en) 2023-10-04
JP2013253971A (ja) 2013-12-19
JP6309210B2 (ja) 2018-04-11
KR20130136872A (ko) 2013-12-13
CN103473794A (zh) 2013-12-25
EP2672290A2 (en) 2013-12-11
US20130321584A1 (en) 2013-12-05
EP2672290A3 (en) 2014-03-12
US10091491B2 (en) 2018-10-02
CN103473794B (zh) 2018-05-29

Similar Documents

Publication Publication Date Title
KR101871235B1 (ko) 깊이 영상 생성 방법 및 장치, 깊이 영상 처리 방법 및 장치
EP3293698B1 (en) Time-of-flight measuring apparatus and image processing method for reducing blur of depth image therein
KR102350235B1 (ko) 영상 처리 방법 및 장치
KR101896301B1 (ko) 깊이 영상 처리 장치 및 방법
US20190098278A1 (en) Image processing apparatus, image processing method, and storage medium
US9769461B2 (en) Adaptive structured light patterns
KR101752690B1 (ko) 변이 맵 보정 장치 및 방법
JP6187640B2 (ja) 画像合成方法及び装置
US20150022693A1 (en) Wide Dynamic Range Depth Imaging
US8599199B2 (en) Stereoscopic image generation method of background terrain scenes, system using the same, and recording medium for the same
KR20100087685A (ko) 깊이 영상의 품질 개선 방법 및 장치
KR101918032B1 (ko) 광원의 변화를 사용한 깊이 영상 생성 장치 및 방법
KR20150052442A (ko) 영상 처리 방법 및 장치
KR101592405B1 (ko) 3차원 영상 획득 방법, 장치 및 컴퓨터 판독 가능한 기록 매체
KR102076494B1 (ko) 3차원 데이터 처리 장치 및 방법
JP2016063248A (ja) 画像処理装置および画像処理方法
KR101086274B1 (ko) 깊이정보 추출 장치 및 추출 방법
JP5307953B1 (ja) 立体画像処理装置、立体画像処理方法、および立体画像処理プログラム
US9217670B2 (en) Object recognition apparatus using spectrometer and method thereof
US9906775B2 (en) Device and method for multiview image calibration
KR101803139B1 (ko) 3d 홀로그램 왜곡 보정 방법 및 장치
KR102136716B1 (ko) 관심영역 기반의 화질개선 장치와 그를 위한 컴퓨터로 읽을 수 있는 기록 매체
KR101265020B1 (ko) 스테레오 이미지에서 중복된 영역의 히스토그램 분석에 의한 고해상도 디스패리티 맵 생성 장치 및 방법
KR101893142B1 (ko) 객체 영역 추출 방법 및 그 장치
KR102292064B1 (ko) 얼굴의 스테레오 복원에서 에러 영역 마스킹을 위한 딥러닝 트레이닝 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant