KR101862914B1 - 거리 감지 카메라로부터의 데이터에서 노이즈를 제거하기 위한 방법 및 장치 - Google Patents

거리 감지 카메라로부터의 데이터에서 노이즈를 제거하기 위한 방법 및 장치 Download PDF

Info

Publication number
KR101862914B1
KR101862914B1 KR1020157020397A KR20157020397A KR101862914B1 KR 101862914 B1 KR101862914 B1 KR 101862914B1 KR 1020157020397 A KR1020157020397 A KR 1020157020397A KR 20157020397 A KR20157020397 A KR 20157020397A KR 101862914 B1 KR101862914 B1 KR 101862914B1
Authority
KR
South Korea
Prior art keywords
pixel sensor
noise
phase difference
amplitude
pixel
Prior art date
Application number
KR1020157020397A
Other languages
English (en)
Other versions
KR20150103154A (ko
Inventor
미헤일 게오르기에브
아타나스 고트체브
Original Assignee
노키아 테크놀로지스 오와이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 노키아 테크놀로지스 오와이 filed Critical 노키아 테크놀로지스 오와이
Publication of KR20150103154A publication Critical patent/KR20150103154A/ko
Application granted granted Critical
Publication of KR101862914B1 publication Critical patent/KR101862914B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/487—Extracting wanted echo signals, e.g. pulse detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/493—Extracting wanted echo signals
    • G06T5/002—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

비행시간 카메라 시스템에 의해 전송되는 광 신호와 비행시간 카메라 시스템의 이미지 센서 내의 픽셀 센서의 어레이 중 적어도 하나의 픽셀 센서에 의해 수신되는 반사 광 신호 - 적어도 하나의 픽셀 센서에 의해 수신되는 반사 광 신호는 전송되는 광 신호에 의해 조명되는 오브젝트로부터 반사됨 - 사이의 위상 차를 결정하는 것(301)과; 적어도 하나의 픽셀 센서에 의해 수신되는 반사 광 신호의 진폭을 결정하는 것(301)과; 적어도 하나의 픽셀 센서에 대한 진폭 및 위상 차를, 적어도 하나의 픽셀 센서에 대한 결합 신호 파라미터로 결합하는 것(307)과; 적어도 하나의 픽셀 센서에 대한 결합 신호 파라미터를 필터를 사용하여 필터링하는 것에 의해 적어도 하나의 픽셀 센서에 대한 결합 신호 파라미터의 노이즈를 제거하는 것(309)이 특히 개시된다.

Description

거리 감지 카메라로부터의 데이터에서 노이즈를 제거하기 위한 방법 및 장치{A METHOD AND APPARATUS FOR DE-NOISING DATA FROM A DISTANCE SENSING CAMERA}
본 출원은 비행시간 카메라 시스템(time-of-flight camera system)에 관한 것으로, 특히 상기 비행시간 카메라 시스템으로부터의 거리 이미지에서의 노이즈의 감소에 관한 것이다.
비행시간(Time-of-flight; ToF) 카메라는, 변조된 광 신호의 펄스를 방출하고, 그 다음, 복귀하는 파면(returning wave front)에서의 시간차를 측정하는 것에 의해, 오브젝트까지의 거리 또는 범위를 감지할 수 있다.
ToF 카메라는 연속적으로 변조된 고조파 광 신호가 방출될 수 있게 하는 발광 다이오드(light emitting diode; LED)의 뱅크와 같은 광원을 포함할 수 있다. 광원으로부터 오브젝트의 거리 또는 범위는, 광의 방출된 광자와 반사된 광자 사이의 위상에서의 시프트(또는 시간에서의 차이)를 측정하는 것에 의해, 결정될 수 있다. 반사된 광자는 전하 결합 소자(charge coupled device) 등에 의한 카메라에 의해 감지될 수 있다.
방출된 광자와 반사된 광자 사이의 위상 시프트(또는 위상 지연)는 직접적으로 측정되지 않는다. 대신, ToF 카메라 시스템은, 위상 지연의 측정을 결정하기 위해, 수신되는 광 신호와 전기적 기준 소스 사이의 상관이 수행되게 하는 픽셀 구조를 채택할 수도 있다.
결과적인 거리(또는 범위) 맵은, 오브젝트까지의 거리를 거리 맵 이미지 내의 픽셀의 상대적 강도로서 나타낼 수 있다.
그러나, 노이즈가 전하 결합 소자에서의 열 노이즈의 결과로서의 랜덤 노이즈이든지 또는 피관측 오브젝트까지의 거리 측정에서의 시스템적 에러의 결과로서의 노이즈이든지 간에, 노이즈의 영향으로 거리 맵 이미지는 변경될 수 있다. 특히, ToF 카메라 시스템의 동작 성능은 카메라의 동작 모드로부터 초래되는 내부 요인 및 감지되는 장면 및 감지 환경의 특성에 의해 야기되는 외부 요인에 의해 영향을 받을 수 있다.
예를 들면, ToF 카메라 시스템의 성능을 제한할 수 있는 내부 요인은, 본질적인 노이즈 및 해상도와 같은 사용되는 센서의 물리적 한계를 포함할 수도 있다. ToF 카메라 시스템의 성능을 제한할 수 있는 다른 내부 요인은 방출된 신호의 출력(power), 및 반사된 신호 샘플을 형성하기 위한 통합 시간을 포함할 수 있다.
ToF 카메라 시스템의 성능을 제한할 수도 있는 외부 요인은 피감지 오브젝트로의 조명 광의 입사각, 피감지 오브젝트의 재료 및 컬러의 광 반사율, ToF 카메라 시스템의 감지 범위, 및 다수의 반사에 의해 형성되고 있는 복귀 광 신호(returned light signal)를 포함할 수도 있다.
이들 요인은 거리(또는 레인지 측정)의 정확도 및 ToF 카메라 시스템의 동작 효율성에 심각하게 영향을 끼칠 수 있다. 특히, 저출력의 ToF 시스템 디바이스의 경우, 노이즈의 영향은 거리 감지 성능을 제한할 수 있다.
하기의 실시형태는 상기 문제점의 해결을 목표로 한다.
본 출원의 한 양태에 따른 방법이 제공되는데, 그 방법은: 비행시간 카메라 시스템에 의해 전송되는 광 신호와 비행시간 카메라 시스템의 이미지 센서 내의 픽셀 센서의 어레이 중 적어도 하나의 픽셀 센서에 의해 수신되는 반사 광 신호 - 적어도 하나의 픽셀 센서에 의해 수신되는 반사 광 신호는 전송되는 광 신호에 의해 조명되는 오브젝트로부터 반사됨 - 사이의 위상 차를 결정하는 것과; 적어도 하나의 픽셀 센서에 의해 수신되는 반사 광 신호의 진폭을 결정하는 것과; 적어도 하나의 픽셀 센서에 대한 진폭 및 위상 차를, 적어도 하나의 픽셀 센서에 대한 결합 신호 파라미터(combined signal parameter)로 결합하는 것과; 적어도 하나의 픽셀 센서에 대한 결합 파라미터를 필터링하는 것에 의해 적어도 하나의 픽셀 센서에 대한 결합 신호 파라미터의 노이즈를 제거하는 것을 포함한다.
그 방법은: 적어도 하나의 픽셀 센서에 대한 위상 차를 필터링하는 것에 의해 적어도 하나의 픽셀 센서에 대한 위상 차의 노이즈를 제거하는 - 위상 차의 노이즈 제거는 진폭과 위상 차를 결합하기 이전에 발생할 수도 있음 - 것과; 적어도 하나의 픽셀 센서에 대한 진폭을 필터링하는 것에 의해 적어도 하나의 픽셀 센서에 대한 진폭의 노이즈를 제거하는 - 진폭의 노이즈 제거는 진폭과 위상 차를 결합하기 이전에 발생할 수도 있음 - 것 중 적어도 하나를 더 포함할 수도 있다.
필터링은 비로컬 공간 변환 필터(non-local spatial transform filter)에 의한 필터링을 더 포함할 수도 있다.
비로컬 공간 변환 필터는 비로컬 평균 필터(non-local means filter)일 수 있다.
그 방법은 적어도 하나의 픽셀 센서에 대한 노이즈 제거된 결합 신호 파라미터로부터 오브젝트까지의 거리 범위를: 적어도 하나의 픽셀 센서에 대한 노이즈 제거된 결합 신호 파라미터로부터 적어도 하나의 픽셀 센서에 대한 노이즈 제거된 위상 차를 결정하는 것과; 적어도 하나의 픽셀 센서에 대한 노이즈 제거된 위상 차를 사용하여 적어도 하나의 픽셀 센서에 대한 오브젝트까지의 거리 범위를 계산하는 것에 의해, 계산하는 것을 더 포함할 수도 있다.
결합 신호 파라미터는 적어도 하나의 픽셀 센서에 대한 진폭 및 위상 차를 결합하는 것으로부터 형성되는 복소수 신호 파라미터일 수도 있다.
비행시간 카메라 시스템의 이미지 센서는 포토닉 믹서 디바이스(photonic mixer device)에 적어도 부분적으로 기초할 수도 있다.
본 출원의 추가 양태에 따르면 장치가 제공되는데, 그 장치는: 비행시간 카메라 시스템에 의해 전송되는 광 신호와 비행시간 카메라 시스템의 이미지 센서 내의 픽셀 센서의 어레이 중 적어도 하나의 픽셀 센서에 의해 수신되는 반사 광 신호 - 적어도 하나의 픽셀 센서에 의해 수신되는 반사 광 신호는 전송되는 광 신호에 의해 조명되는 오브젝트로부터 반사됨 - 사이의 위상 차를 결정하고; 적어도 하나의 픽셀 센서에 의해 수신되는 반사 광 신호의 진폭을 결정하고; 적어도 하나의 픽셀 센서에 대한 진폭 및 위상 차를, 적어도 하나의 픽셀 센서에 대한 결합 신호 파라미터로 결합하고; 적어도 하나의 픽셀 센서에 대한 결합 파라미터를 필터링하는 것에 의해 적어도 하나의 픽셀 센서에 대한 결합 신호 파라미터의 노이즈를 제거하도록 구성된다.
그 장치는: 적어도 하나의 픽셀 센서에 대한 위상 차를 필터링하는 것에 의해 적어도 하나의 픽셀 센서에 대한 위상 차의 노이즈를 제거하는 것 - 그 장치는 진폭과 위상 차를 결합하기 이전에 위상 차의 노이즈를 제거하도록 구성될 수도 있음 - 과; 적어도 하나의 픽셀 센서에 대한 진폭을 필터링하는 것에 의해 적어도 하나의 픽셀 센서에 대한 진폭의 노이즈를 제거하는 것 - 그 장치는 진폭과 위상 차를 결합하기 이전에 진폭의 노이즈를 제거하도록 구성될 수도 있음 - 중 적어도 하나를 행하도록 더 구성될 수도 있다.
필터링은 비로컬 공간 변환 타입 필터(non-local spatial transform type filter)에 의한 필터링을 더 포함할 수도 있다.
비로컬 공간 변환 타입 필터는 비로컬 평균 필터일 수 있다.
그 장치는 적어도 하나의 픽셀 센서에 대한 노이즈 제거된 결합 신호 파라미터로부터 오브젝트까지의 거리 범위를 계산하도록 더 구성될 수 있고, 이러한 계산은, 적어도 하나의 픽셀 센서에 대한 노이즈 제거된 결합 신호 파라미터로부터 적어도 하나의 픽셀 센서에 대한 노이즈 제거된 위상 차를 결정하는 것과; 적어도 하나의 픽셀 센서에 대한 노이즈 제거된 위상 차를 사용하여 적어도 하나의 픽셀 센서에 대한 오브젝트까지의 거리 범위를 계산하는 것에 의한다.
결합 신호 파라미터는 적어도 하나의 픽셀 센서에 대한 진폭 및 위상 차를 결합하는 것으로부터 형성되는 복소수 신호 파라미터일 수도 있다.
비행시간 카메라 시스템의 이미지 센서는 포토닉 믹서 디바이스에 적어도 부분적으로 기초할 수도 있다.
본 출원의 다른 양태에 따르면, 적어도 하나의 프로세서와 하나 이상의 프로그램에 대한 컴퓨터 프로그램 코드를 포함하는 적어도 하나의 메모리를 포함하는 장치가 제공되는데, 적어도 하나의 프로세서와 함께 구성되는 적어도 하나의 메모리와 컴퓨터 코드는 장치로 하여금 적어도: 비행시간 카메라 시스템에 의해 전송되는 광 신호와 비행시간 카메라 시스템의 이미지 센서 내의 픽셀 센서의 어레이 중 적어도 하나의 픽셀 센서에 의해 수신되는 반사 광 신호 - 적어도 하나의 픽셀 센서에 의해 수신되는 반사 광 신호는 전송되는 광 신호에 의해 조명되는 오브젝트로부터 반사됨 - 사이의 위상 차를 결정하게 하도록; 적어도 하나의 픽셀 센서에 의해 수신되는 반사 광 신호의 진폭을 결정하게 하도록; 적어도 하나의 픽셀 센서에 대한 진폭 및 위상 차를, 적어도 하나의 픽셀 센서에 대한 결합 신호 파라미터로 결합하게 하도록; 적어도 하나의 픽셀 센서에 대한 결합 파라미터를 필터링하는 것에 의해 적어도 하나의 픽셀 센서에 대한 결합 신호 파라미터의 노이즈를 제거하게 한다.
적어도 하나의 프로세서와 함께 구성되는 적어도 하나의 메모리와 컴퓨터 코드는: 적어도 하나의 픽셀 센서에 대한 위상 차를 필터링하는 것에 의해 적어도 하나의 픽셀 센서에 대한 위상 차의 노이즈를 제거하는 것 - 적어도 하나의 메모리와 컴퓨터 코드는 진폭과 위상 차를 결합하기 이전에 위상 차의 노이즈를 제거하도록 구성될 수도 있음 - 과; 적어도 하나의 픽셀 센서에 대한 진폭을 필터링하는 것에 의해 적어도 하나의 픽셀 센서에 대한 진폭의 노이즈를 제거하는 것 - 적어도 하나의 메모리와 컴퓨터 코드는 진폭과 위상 차를 결합하기 이전에 진폭의 노이즈를 제거하도록 구성될 수도 있음 - 중 적어도 하나를 행하도록 더 구성될 수도 있다.
필터링은 비로컬 공간 변환 타입 필터에 의한 필터링을 더 포함할 수도 있다.
비로컬 공간 변환 필터는 비로컬 평균 필터일 수 있다.
적어도 하나의 프로세서와 함께 구성되는 적어도 하나의 메모리와 컴퓨터 코드는, 적어도 하나의 픽셀 센서에 대한 노이즈 제거된 결합 신호 파라미터로부터 오브젝트까지의 거리 범위를 계산하도록 또한 구성될 수 있고, 상기 계산은, 적어도 하나의 픽셀 센서에 대한 노이즈 제거된 결합 신호 파라미터로부터 적어도 하나의 픽셀 센서에 대한 노이즈 제거된 위상 차를 결정하는 것과, 적어도 하나의 픽셀 센서에 대한 노이즈 제거된 위상 차를 사용하여 적어도 하나의 픽셀 센서에 대한 오브젝트까지의 거리 범위를 계산하는 것에 의한다. 결합 신호 파라미터는 적어도 하나의 픽셀 센서에 대한 진폭 및 위상 차를 결합하는 것으로부터 형성되는 복소수 신호 파라미터일 수도 있다.
비행시간 카메라 시스템의 이미지 센서는 포토닉 믹서 디바이스에 적어도 부분적으로 기초할 수도 있다.
본 출원의 추가 양태에 따르면 컴퓨터 프로그램 코드가 제공되는데, 프로세서에 의해 실행될 때: 비행시간 카메라 시스템에 의해 전송되는 광 신호와 비행시간 카메라 시스템의 이미지 센서 내의 픽셀 센서의 어레이 중 적어도 하나의 픽셀 센서에 의해 수신되는 반사 광 신호 - 적어도 하나의 픽셀 센서에 의해 수신되는 반사 광 신호는 전송되는 광 신호에 의해 조명되는 오브젝트로부터 반사됨 - 사이의 위상 차를 결정하는 것과; 적어도 하나의 픽셀 센서에 의해 수신되는 반사 광 신호의 진폭을 결정하는 것과; 적어도 하나의 픽셀 센서에 대한 진폭 및 위상 차를, 적어도 하나의 픽셀 센서에 대한 결합 신호 파라미터로 결합하는 것과; 적어도 하나의 픽셀 센서에 대한 결합 파라미터를 필터링하는 것에 의해 적어도 하나의 픽셀 센서에 대한 결합 신호 파라미터의 노이즈를 제거하는 것을 실현한다.
컴퓨터 프로그램 코드는 프로세서에 의해 실행될 때: 적어도 하나의 픽셀 센서에 대한 위상 차를 필터링하는 것에 의해 적어도 하나의 픽셀 센서에 대한 위상 차의 노이즈를 제거하는 - 위상 차의 노이즈 제거는 진폭과 위상 차를 결합하기 이전에 발생할 수도 있음 - 것과; 적어도 하나의 픽셀 센서에 대한 진폭을 필터링하는 것에 의해 적어도 하나의 픽셀 센서에 대한 진폭의 노이즈를 제거하는 - 진폭의 노이즈 제거는 진폭과 위상 차를 결합하기 이전에 발생할 수도 있음 - 것 중 적어도 하나를 더 실현할 수도 있다.
컴퓨터 프로그램 코드는 프로세서에 의해 실행될 때 필터링을 실현하고, 컴퓨터 프로그램 코드는 비로컬 공간 변환 필터에 의한 필터링을 또한 실현할 수도 있다.
비로컬 공간 변환 필터는 비로컬 평균 필터일 수 있다.
컴퓨터 프로그램 코드는 프로세서에 의해 실행될 때 적어도 하나의 픽셀 센서에 대한 노이즈 제거된 결합 신호 파라미터로부터 오브젝트까지의 거리 범위를 계산하는 것을 더 실현할 수 있고, 계산은: 적어도 하나의 픽셀 센서에 대한 노이즈 제거된 결합 신호 파라미터로부터 적어도 하나의 픽셀 센서에 대한 노이즈 제거된 위상 차를 결정하는 것과, 적어도 하나의 픽셀 센서에 대한 노이즈 제거된 위상 차를 사용하여 적어도 하나의 픽셀 센서에 대한 오브젝트까지의 거리 범위를 계산하는 것에 의한다.
결합 신호 파라미터는 적어도 하나의 픽셀 센서에 대한 진폭 및 위상 차를 결합하는 것으로부터 형성되는 복소수 신호 파라미터일 수도 있다.
비행시간 카메라 시스템의 이미지 센서는 포토닉 믹서 디바이스에 적어도 부분적으로 기초할 수도 있다.
본 발명의 더 나은 이해를 위해, 예로서 첨부의 도면을 참조할 것이다.
도 1은 몇몇 실시형태를 활용하는 데 적합한 장치를 개략적으로 도시한다.
도 2는 몇몇 실시형태를 활용하는 데 적합한 ToF 카메라 시스템을 개략적으로 도시한다.
도 3은 도 2의 ToF 카메라 시스템의 동작을 예시하는 흐름도를 개략적으로 도시한다.
도 4는 도 2의 ToF 카메라 시스템의 신호 파라미터에 대한 복소수 파라미터 표현을 개략적으로 도시한다.
하기에서, 거리(또는 범위) 맵의 노이즈를 제거하기 위해 제공되는 가능한 ToF 카메라 시스템을 더 상세히 설명한다. 이와 관련하여, 본 출원의 실시형태에 따른 ToF 카메라 시스템을 통합할 수도 있는 예시적인 전자 디바이스 또는 장치(10)의 개략적인 블록도를 도시하는 도 1을 먼저 참조한다.
장치(10)는 예를 들면 무선 통신 시스템의 모바일 단말 또는 유저 기기(user equipment)일 수도 있다. 다른 실시형태에서, 장치(10)는 비디오 카메라와 같은 오디오-비디오 디바이스, mp3 레코더/플레이어와 같은 오디오 레코더 또는 오디오 플레이어, 미디어 레코더(mp4 레코더/플레이어로도 알려짐), 또는 오디오 신호를 프로세싱하는 데 적합한 임의의 컴퓨터일 수도 있다.
다른 실시형태에서, 장치(10)는 예를 들면 대형 컴퓨터 시스템의 서브 컴포넌트일 수도 있는데, 이 서브 컴포넌트에 의해 장치(10)는 다른 전자 컴포넌트 또는 컴퓨터 시스템과 동작하도록 배치된다. 이러한 실시형태에서, 장치(10)는 ToF 카메라 모듈을 제어하고 ToF 카메라 모듈에 인터페이싱하며 또한 ToF 카메라 모듈로부터의 정보를 프로세싱하는 기능성을 갖는 주문형 반도체(application specific integrated circuit; ASIC)로서 배치될 수도 있다.
몇몇 실시형태에서, 장치(10)는 퍼스널 컴퓨터 또는 랩탑과 같은 일반적인 컴퓨터 안에 집적되도록 구성될 수 있는 개개의 모듈로서 배치될 수도 있다.
장치(10)는 몇몇 실시형태에서 ToF 카메라 시스템 또는 모듈(11)을 포함할 수도 있는데, 이것은 프로세서(21)에 커플링될 수 있다. 프로세서(21)는 다양한 프로그램 코드를 실행하도록 구성될 수 있다. 구현되는 프로그램 코드는 몇몇 실시형태에서 ToF 카메라 모듈(11)로부터의 심도 맵 이미지를 프로세싱하기 위한 코드를 포함할 수 있다. 특히 구현되는 프로그램 코드는 프로세싱된 거리 이미지에서 노이즈 감소를 용이하게 할 수 있다.
몇몇 실시형태에서 장치는 메모리(22)를 더 포함한다. 몇몇 실시형태에서, 프로세서는 메모리(22)에 커플링된다. 메모리는 임의의 적절한 저장 수단일 수 있다. 몇몇 실시형태에서, 메모리(22)는 프로세서(21) 상에서 구현가능한 프로그램 코드를 저장하기 위한 프로그램 코드 섹션(23)을 포함한다. 또한 몇몇 실시형태에서 메모리(22)는 데이터, 예를 들면 하기에 설명되는 바와 같이 거리 맵 이미지의 후속 프로세싱을 위해 ToF 카메라 모듈(11)로부터 취출된 데이터를 저장하기 위한 저장 데이터 섹션(stored data section; 24)을 더 포함할 수 있다. 프로그램 코드 섹션(23) 내에 저장되는 구현된 프로그램 코드, 및 저장 데이터 섹션(24) 내에 저장되는 데이터는 필요될 때마다 메모리-프로세서 커플링을 통해 프로세서(21)에 의해 취출될 수 있다.
몇몇 추가 실시형태에서, 장치(10)는 유저 인터페이스(15)를 포함할 수 있다. 유저 인터페이스(15)는 몇몇 실시형태에서 프로세서(21)에 커플링될 수 있다. 몇몇 실시형태에서, 프로세서는 유저 인터페이스의 동작을 제어할 수 있고 유저 인터페이스(15)로부터 입력을 수신할 수 있다. 몇몇 실시형태에서, 유저 인터페이스(15)는 유저가 전자 디바이스 또는 장치(10)에, 예를 들면 키패드를 통해 커맨드를 입력하고/하거나 예를 들면 유저 인터페이스(15)의 일부인 디스플레이를 통해 장치(10)로부터 정보를 획득하는 것을 가능하게 할 수 있다. 유저 인터페이스(15)는 몇몇 실시형태에서 정보가 장치(10)에 입력되는 것을 가능하게 하는 것 및 정보를 장치(10)의 유저에게 추가로 디스플레이하는 것 둘 다를 할 수 있는 터치 스크린 또는 터치 인터페이스를 포함한다.
유저 인터페이스(15)의 일부인 디스플레이는 심도 맵 이미지를 그대로 디스플레이하기 위해 사용될 수도 있고 액정 디스플레이(liquid crystal display; LCD), 또는 발광 다이오드(light emitting diode; LED) 디스플레이, 또는 유기 LED(organic LED; OLED) 디스플레이, 또는 플라즈마 스크린일 수 있다. 또한, 유저 인터페이스(15)는 디스플레이 상에 표시되는 작은 커서 이미지의 위치를 제어하기 위한 그리고 디스플레이 상에 표시되는 그래픽 엘리먼트와 관련된 커맨드를 내리기(issuing) 위한 포인팅 디바이스, 예컨대 마우스, 트랙볼, 커서 방향 키, 또는 모션 센서를 또한 포함할 수도 있다.
몇몇 실시형태에서, 장치는 트랜시버(13)를 더 포함하고, 이러한 실시형태에서의 트랜시버는 프로세서에 커플링되어 예를 들면 무선 통신 네트워크를 통해 다른 장치 또는 전자 디바이스와의 통신을 가능하게 하도록 구성될 수 있다. 트랜시버(13) 또는 임의의 적절한 트랜시버 또는 송신기 및/또는 수신기 수단은 몇몇 실시형태에서 유선 또는 무선 커플링을 통해 다른 전자 디바이스 또는 장치와 통신하도록 구성될 수 있다.
트랜시버(13)는 임의의 적절한 공지의 통신 프로토콜에 의해 다른 디바이스와 통신할 수 있고, 예를 들면 몇몇 실시형태에서 트랜시버(13) 또는 트랜시버 수단은 적절한 UMTS(universal mobile telecommunications system; 범용 이동 통신 시스템) 프로토콜, 예를 들면 IEEE 802.X와 같은 WLAN(wireless local area network; 무선 로컬 에어리어 네트워크) 프로토콜, 블루투스와 같은 적절한 단거리 무선 주파수 통신 프로토콜, 또는 IRDA(infrared data communication pathway; 적외선 데이터 통신 경로)를 사용할 수 있다.
장치(10)의 구조는 많은 방식으로 보충되거나 변경될 수 있음이 다시 이해되어야 한다.
도 2 및 도 4에서 설명되는 개략적인 구조와 도 3에서 묘사된 흐름도는 도 1에 도시된 장치에서 예시적으로 도시되어 구현되는 ToF 카메라 시스템의 동작의 일부만을 나타낸다는 것을 알 수 있을 것이다.
도 2는 몇몇 실시형태에 따른 ToF 카메라 모듈(11)의 몇몇 컴포넌트를 개략적으로 도시한다.
몇몇 실시형태에서, ToF 카메라 모듈(11)은 PMD(포토닉 믹서 디바이스) 카메라 모듈일 수도 있다. 이러한 실시형태에서, 변조된 광의 콘(cone)을 방출하여 거리 검출용 장면을 조명하게 되도록 배치될 수도 있는 광 송신기(201)가 존재할 수도 있다. 실시형태에서, 광 송신기는 NIR(near infra-red; 근적외선) 스펙트럼 영역의 파장에서 동작하도록 구성되는 발광 다이오드(LED)의 어레이로부터 형성될 수도 있다. 각각의 LED는 LED로부터의 광의 방출을 보조하기 위해 각각의 광학장치(optic)와 결합될 수도 있다.
광 송신기로부터 방출되는 광은 변조기(203)로부터의 전기적 기준 신호에 의해 진폭 변조될 수도 있다.
반사된 광 신호는 수신용 광학장치(receiving optic; 205)에 의해 수신되고 PMD 센서 어레이(207)로 전달될 수 있다. PMD 센서 어레이(207)는, 각각의 픽셀 센서 엘리먼트가, 수신되는 광에 대해 도전성이며 투명한 2개의 감광 포토 게이트의 형태일 수도 있게 하는 픽셀 센서 엘리먼트의 어레이를 포함할 수도 있다. 각각의 픽셀 센서는 전기적 신호가 픽셀 판독 회로부를 통해 판독되는 것을 가능하게 하기 위해 판독 다이오드를 더 포함할 수도 있다.
PMD 센서 어레이(207)의 기능은 각각의 픽셀 센서에 대한 수신되는 광학 신호를 전기적 기준 신호와 상관시키는 것 및 상관의 결과를 (각각의 픽셀 센서의 판독 회로부를 통해) 아날로그-디지털 변환기(209)로 전송하는 것일 수 있다. 각각의 픽셀 센서 내에서의 상관을 가능하게 하기 위해, PMD 센서 어레이(207)는 발진기(205)로부터 전기적 기준 신호를 수신하도록 또한 배치될 수도 있다. 실시형태에서, PMD 센서 내에서 교차 상관 기능성을 수행하기 위해 사용되는 전기적 기준 신호는, 광 송신기(201)에서 LED 어레이를 변조시키기 위해 사용되는 원래의 기준 신호의 위상 변형일 수도 있다.
오브젝트까지의 범위를 결정하기 위해 ToF 시스템은 신호 전파 시간의 원리를 활용한다는 것이 인식되어야 한다. PMD 타입의 ToF 시스템의 경우, 이 원리는, 전송되는 광 신호와 수신되는 광 신호 사이의 위상 지연이 ToF에 그리고 이에 따라 오브젝트까지의 거리에 대응하게 하는 연속파 변조를 사용하는 것에 의해 충족될 수도 있다.
전송되는 광 신호가 특정 주파수로 연속적으로 진폭 변조되면, 수신되는 반사 광 신호는 동일한 주파수를 가질 것이지만 상이한 위상과 진폭을 가질 수도 있다. 전송되는 광 신호와 수신되는 광 신호 사이의 위상에서의 차이, 또는 위상 지연은 오브젝트까지의 거리를 결정하는 데 사용될 수 있다. 이 거리는 하기의 식으로 표현될 수도 있는데
Figure 112015072769326-pct00001
여기서 D는 오브젝트까지의 거리이고, φ는 수신되는 그리고 전송되는 광 신호 사이에서의 결정된 위상 지연이고, cs는 광속이고 f는 변조 주파수이다. 실시형태에서, 변조 주파수(f)는 20MHz 정도일 수도 있다.
반사된 수신 신호의 위상과 진폭은 반사된 수신 신호를 변조기(203)로부터의 원래의 변조용 신호(modulating signal)(전기적 기준 신호)와 교차 상관시키는 것에 의해 결정될 수도 있다. 위에서 언급된 바와 같이, 교차 상관은 PMD 센서 어레이(207) 내의 각각의 픽셀 센서에 대해 수행될 수도 있다.
실시형태에서, 교차 상관 함수는, 전송되는 광 신호와 수신되는 반사 광 신호 사이의 위상 차이(또는 지연)의 계산을 가능하게 하기 위해, 다수의 미리 선택된 위상 위치에서 수행될 수도 있다.
실시형태의 제 1 그룹에서, 수신되는 반사 광 신호(s(t))와 변조용 신호(g(t)) 사이의 교차 상관 함수(C(τ))는, 예를 들면, τ0=O°, τ1=9O°, τ2=180°, τ3=27O°에서, 4개의 상이한 위상 지연에 대해 계산될 수도 있다.
다른 실시형태는 교차 상관 함수(C(τ))를 결정하기 위해 일반적인 접근법을 채택할 수도 있음이 이해되어야 한다. 일반적인 접근법은 4보다 더 큰 다수의 상이한 위상 위치에 대한 교차 상관 함수(C(τ))를 계산할 수도 있다.
수신되는 반사 광 신호(s(t))와 변조용 신호(g(t)) 사이의 교차 상관 함수(C(τ))는
Figure 112015072769326-pct00002
로 표현될 수 있다.
몇몇 실시형태에서, 수신되는 반사 광 신호(s(t))는
Figure 112015072769326-pct00003
의 형태로 표현될 수 있고, 변조용 신호는
Figure 112015072769326-pct00004
의 형태로 표현될 수 있다.
여기서 A는 변조 진폭을 나타내고 φ는 수신되는 반사 신호의 위상을 나타낸다.
몇몇 실시형태에서, τ0=O°, τ1=9O°, τ2=180°, τ3=27O°의 4개의 상이한 위상 지연에 대한 교차 상관된 신호는
Figure 112015072769326-pct00005
로 단순화될 수 있는데, 여기서 K는 변조 오프셋이다.
교차 상관 함수(C(τ))는 PMD에 의해 다수의 상이한 균일하게 이격된 위상 위치(τ), 즉, τ=τ0,τ1…τN-1에서 결정될 수 있음이 이해되어야 한다. 실시형태의 일 그룹에서, 교차 상관 함수(C(τ))는 다음의 위상 위치 τ0=O°, τ1=9O°, τ2=180°, τ3=27O°에 대해 계산될 수 있다.
그 다음, PMD 디바이스로부터의 출력, 즉 각각의 픽셀 센서에 대한 교차 상관 함수(C(τ))는 아날로그-디지털 변환기(209)로 전달될 수도 있다.
아날로그-디지털(A/D) 변환기(209)는, 신호의 추가 프로세싱을 가능하게 하기 위해, 각각의 교차 상관 함수 신호를 아날로그 신호에서 디지털 신호로 변환할 수도 있다. (A/D) 변환기(209)는 각각의 위상 위치(τ)에 대한 교차 상관 함수 신호를 픽셀 단위 기반으로 변환할 수도 있음이 인식되어야 한다.
그 다음, 아날로그-디지털 변환기(209)로부터의 디지털 출력은 신호 파라미터 결정기(signal parameter determiner; 211)로 전달될 수도 있다.
신호 파라미터 결정기(211)는 조명된 장면의 거리(또는 범위) 맵을 픽셀 단위 기반으로 형성하는 데 필요한 파라미터를 결정할 수 있다.
신호 파라미터 결정기(211)에 의해 결정된 파라미터는 변조용 신호(g(t))와 반사된 수신 신호(s(t)) 사이의 위상 지연(φ), 반사된 수신 신호 진폭(A), 및 변조 오프셋(K)일 수도 있다.
실시형태에서, 위상 차(φ)는 다음의 식을 사용하는 것에 의해 결정될 수도 있다.
Figure 112015072769326-pct00006
수신되는 반사 광 신호의 진폭(A)은
Figure 112015072769326-pct00007
로부터 결정될 수도 있다.
변조 오프셋(K)은
Figure 112015072769326-pct00008
로부터 결정될 수도 있다.
상기 식에서, N은 교차 상관 함수가 결정된 위상 위치의 수를 의미하며, Cn은 각각의 위상 위치(τn)에 대한 교차 상관 함수를 나타낸다는 것이 인식되어야 한다. 실시형태의 제 1 그룹에서, N은, 상이한 위상 위치(τ0=O°, τ1=9O°, τ2=180°, τ3=27O°)를 설명하기 위해, 4인 것으로 결정된다. 이 특정한 실시형태에서, 위상 차(φ)는 다음의 식을 사용하는 것에 의해 결정될 수도 있다.
Figure 112015072769326-pct00009
수신되는 반사 광 신호의 진폭(A)은
Figure 112015072769326-pct00010
로부터 결정될 수도 있다.
변조 오프셋(K)은 식 (8)에서와 같이 결정될 수도 있다.
즉, 실시형태에서, 비행시간 카메라 시스템에 의해 전송되는 광 신호와 비행시간 카메라 시스템의 이미지 센서 내의 픽셀의 어레이 중 한 픽셀 광 센서에 의해 수신되는 반사 광 신호 사이의 위상 차를 결정하기 위한 수단이 존재할 수도 있는데, 픽셀 광 센서에 의해 수신되는 반사 광 신호는 전송되는 광 신호에 의해 조명되는 오브젝트로부터 반사된다. 또한, 실시형태는 픽셀 광 센서에 의해 수신되는 반사 광 신호의 진폭을 결정하기 위한 수단을 또한 포함할 수도 있다.
상기 파라미터는 각각의 픽셀에 대해 차례로 결정될 수 있음이 또한 인식되어야 한다.
본원에서 용어 신호 파라미터 맵은 맵 이미지의 모든 픽셀에 대한 파라미터(φ, A 및 K)를 총체적으로 나타내기 위해 사용될 수도 있음이 이해되어야 한다.
신호 파라미터 결정기(211)의 출력, 즉 신호 파라미터 맵은 노이즈 제거용 프로세서(213)의 입력에 연결될 수도 있다.
노이즈 제거용 프로세서(213)는 신호 파라미터 맵의 파라미터의 노이즈를 제거하기 위한 필터링 프레임워크를 제공하도록 배치될 수도 있고, 즉 필터링 프레임워크는 각각의 픽셀과 관련된 파라미터(φ, A, 및 K)의 노이즈 제거를 위해 제공된다.
도 3을 참조하면, 본 발명의 실시형태에 따른 신호 파라미터 결정기(211) 및 노이즈 제거용 프로세서(213)의 동작의 몇몇을 적어도 부분적으로 묘사하는 흐름도가 도시된다.
따라서, 각각의 픽셀에 대한 교차 상관 함수(C(τ))로부터 신호 파라미터(φ, A 및 K)를 결정하는 프로세싱 단계 301이 도 3에서 묘사된다.
실시형태에서, 신호 파라미터(φ, A 및 K)의 노이즈 제거는 비로컬 공간 변환 필터링의 기술을 채택하는 것에 의해 수행될 수도 있다. 이러한 접근법의 본질은 필터링될 픽셀을 이웃 픽셀의 윈도우 내에서 중심에 두는 것이다. 픽셀의 윈도우는 종래기술에서 패치로서 또한 알려져 있을 수도 있고, 필터링될 픽셀을 포함하는 패치는 기준 패치로서 알려져 있음을 유의해야 한다. 그 다음, 필터링될 픽셀을 포함하는 패치(즉 기준 패치)를 가장 닮은 다른 패치에 대해 이미지가 스캔된다. 그 다음, 픽셀의 노이즈 제거는, 패치가 기준 패치와 유사한 것으로 간주되는 이미지 내의 모든 픽셀 값에 걸친 평균 픽셀 값을 결정하는 것에 의해 수행될 수도 있다.
실시형태에서, 기준 패치와 이미지 내의 다른 패치 사이의 유사성은 유클리드 기반의 거리 메트릭(Euclidean based distance metric)을 이용하는 것에 의해 정량화될 수도 있다.
비로컬 공간 변환 필터링은 각각의 픽셀의 신호 파라미터에 대해 픽셀 단위 기반으로 수행될 수도 있다.
실시형태의 제 1 그룹에서, 각각의 픽셀과 관련된 신호 파라미터를 필터링하기 위해, 비로컬 평균 필터링으로서 알려진 비로컬 공간 변환 필터링의 형태가 사용될 수도 있다.
비로컬 평균 필터링
Figure 112015072769326-pct00011
에 의해 표현될 수도 있는데, 여기서 Nn은 필터 정규화기(filter normaliser)이고, Ga는 가우스 커널이고, Ω는 이미지가 검색되는 범위를 나타내고, u는 한 위치의 픽셀에 부여된 값을 나타내고, x는 필터링되고 있는 픽셀의 인덱스이며 기준 패치의 중심 픽셀이고, y는 추가 패치(기준 패치와 유사할 수 있는 패치)의 중심에 있는 픽셀의 인덱스이고, h는 노이즈 변수와 관련하여 튜닝된 필터 파라미터일 수 있고, *.(0)는 중심에 놓인 컨볼루션 연산자(centred convolution operator)를 나타낼 수 있고, 그리고 (+.)는 대응하는 패치의 중심 픽셀 주위의 픽셀 인덱스를 나타낼 수 있다.
실시형태의 제 1 그룹에서, 신호 파라미터(φ 및 A) 각각은, 노이즈 제거된 신호 파라미터(φD 및 AD)를 생성하기 위해, 상기 비로컬 평균 필터를 사용하는 것에 의해 개별적으로 필터링될 수도 있다. 파라미터(φ 및 A)의 노이즈를 제거하는 것은 각각의 픽셀 위치에 대해 차례로 수행될 수도 있다.
즉, 상기 비로컬 평균 필터는 각각의 신호 파라미터(φ 및 A)에 차례로 적용될 수도 있는데, 여기서 상기 식에서의 변수(u)는 파라미터(φ 또는 A) 중 어느 하나를 나타낼 수 있다.
비로컬 평균 필터(NL(x))로부터의 출력은 픽셀 위치(x)에 대한 노이즈 제거된 파라미터(φD 및 AD)이라는 것이 이해되어야 한다. 즉, 입력 변수(u)가 픽셀 위치(x)에서의 위상 차 신호 파라미터(φ)를 나타내는 경우 비로컬 평균 필터(NL(x))로부터의 출력은 노이즈 제거된 위상 지연 신호 파라미터(φD)이고, 입력 변수(u)가 진폭 신호 파라미터(A)를 나타내는 경우 비로컬 평균 필터(NL(x))로부터의 출력은 노이즈 제거된 진폭 파라미터(AD)이다.
몇몇 실시형태에서, 상기 비로컬 평균 필터를 이용하여 신호 파라미터(φ 및 A)를 개별적으로 프로세싱하여 개개의 노이즈 제거된 파라미터(φD 및 AD)를 생성하는 단계는, 옵션적인 프리필터링(pre-filtering) 단계로서 보일 수도 있다.
즉, 신호 파라미터(φ 및 A)를 개별적으로 프로세싱하는 단계는 몇몇 동작 모드에서는 수행되지 않을 수도 있다. 상기 프리필터링 단계를 수행하기 위한 결정은 노이즈 제거용 프로세서(213)의 동작의 모드로서 구성될 수도 있다.
따라서, 도 3은 상기 프리필터링 단계를 노이즈 제거용 프로세서의 동작의 모드 안으로 포함시키는 옵션을 결정 단계 303으로서 묘사한다.
상기 프리필터링 단계는 그 표면이 낮은 반사율을 갖는 오브젝트의 영향; 또는 작은 입사각을 갖는 광 신호에 의해 조명되고 있는 오브젝트의 영향; 또는 반사 광 신호에서의 다중 경로 반사의 영향을 줄이는 이점을 가질 수 있다.
상기 언급된 영향은 위상 지연(φ)의 래핑으로 귀결될 수 있는데, 이 래핑에 의해 입사광의 파장에 대한 한계에 가까운 범위를 갖는 오브젝트는, 반사 광의 위상 지연이 다음 파형 기간으로 래핑되는 것으로 귀결될 수도 있다. 이 래핑 효과는, 위상 지연(φ)이 래핑 경계에 가까울 때, 노이즈가 위상 지연(φ)의 값에 대한 영향력을 가질 수 있는 경우 발생할 수도 있다.
신호 파라미터(A 및 φ)의 노이즈를 개별적으로 제거하는 것에 의한 프리필터링은, 후속하는 노이즈 제거용 필터 단계의 동작 동안 검색된 패치에 대한 유사성 가중치 확신도를 향상시키는 효과를 가질 수도 있다.
다른 실시형태에서, 노이즈 제거용 필터(NL(x))에 의한 프리필터링은 단지 진폭 신호 파라미터(A) 또는 위상 지연 신호 파라미터(φ) 중 어느 하나에 대해 수행될 수도 있다. 이것은, 노이즈 제거용 필터를 각각의 신호 파라미터에 개별적으로 차례로 적용하는 것과 비교했을 때 프리필터링 단계의 계산적 복잡성을 줄이는 효과를 갖는다.
실시형태의 상기 그룹의 일 변형예에서, 노이즈 제거용 필터(NL(x))는 노이즈 제거된 진폭 신호 파라미터(AD)를 부여하기 위해 오로지 진폭 신호 파라미터(A)에 대해서만 적용될 수도 있다. 이것은, 실시형태에서, 최종 거리 맵에서의 에지 보존 및 노이즈 제거를 향상시키는 이점을 가질 수 있지만, 위에서 열거된 것과 같은 구조적 아티팩트에 기인한 영향은 여전히 남아 있을 수도 있다.
실시형태의 상기 그룹의 다른 변형예에서, 노이즈 제거용 필터(NL(x))는 오로지 위상 지연 신호 파라미터(φ)에만 적용될 수도 있다. 이것은 위에서 열거된 것과 같은 아티팩트를 억제하는 이점을 가질 수 있지만, 에지 보존은 최종 거리 이미지에서 그렇게 명확하지 않을 수도 있다.
즉, 실시형태는: 픽셀 광 센서에 의해 수신되는 반사 광 신호와 전송되는 광 신호 사이의 위상 차의 노이즈를 제거하기 위한 수단 - 위상 차의 노이즈 제거는 프리필터링 단계임 - 과; 픽셀 광 센서에 의해 수신되는 반사 광 신호의 진폭의 노이즈를 제거하기 위한 수단 - 반사 광 신호의 진폭의 노이즈 제거도 또한 프리필터링 단계임 - 중 적어도 하나를 포함할 수도 있다.
각각의 픽셀의 각각의 신호 파라미터(φ 및 A)에 대한 노이즈 제거를 수행하는 단계는 도 3에서 프로세싱 단계 305로서 도시된다.
각각의 픽셀에 대한 수신되는 반사 광 신호의 위상 차(φ) 및 진폭(A)은 단일의 결합 파라미터로 결합될 수도 있다.
몇몇 실시형태에서, 각각의 픽셀 센서에 대한 수신되는 반사 광 신호의 위상 차(φ) 및 진폭(A)은 단일의 복소수 파라미터(Z)로 결합될 수도 있다. 각각의 픽셀에 대한 복소수 신호 파라미터는
Figure 112015072769326-pct00012
로 표현될 수도 있는데, 여기서 j는 허수 단위이다. 상기 프리필터링 단계 305가 배치되게 하는 동작의 모드에서, 복소수 신호 파라미터는
Figure 112015072769326-pct00013
로 표현될 수도 있음이 이해되어야 한다.
도 4를 참조하면, 4개의 픽셀을 포함하는 복소수 신호 파라미터 맵의 그래픽 표현이 도시된다.
도 4를 참조하면, 그래프(401)는 신호 파라미터 맵에 대한 진폭(A)을 묘사하고, 그래프(403)는 동일한 신호 파라미터 맵에 대한 위상 차(φ)를 묘사한다.
다시 도 4를 참조하면, 그래프(405)는 신호 파라미터 맵에 대한 각각의 픽셀 위치에 대한 복소수 신호 파라미터(Z)를 묘사한다. 각각의 픽셀 위치에 대한 복소수 신호 파라미터가, 수신되는 반사 신호의 진폭(A)과 위상 차(φ) 둘 다에 관한 정보를 가지는 벡터라는 것을 그래프(405)로부터 알 수 있다.
즉, 실시형태는 각각의 픽셀 광 센서에 대한 진폭과 위상 차를 각각의 픽셀 광 센서에 대한 결합 신호 파라미터로 결합하기 위한 수단을 포함할 수도 있다.
각각의 픽셀에 대한 복소수 신호 파라미터를 결정하는 단계는 도 3에서 프로세싱 단계 307로서 도시된다.
실시형태에서, 노이즈 제거용 필터는 신호 파라미터 맵 내의 각각의 픽셀에 대한 복소수 신호(Z)에 적용될 수도 있다.
실시형태의 제1의 그룹에서, 각각의 픽셀에 대한 복소수 신호 파라미터(Z)는 상기 비로컬 평균 필터를 적용하는 것에 의해 노이즈 제거될 수도 있다. 즉, 상기 비로컬 평균 필터는 복소수 신호 파라미터(Z)의 관점에서 수정될 수도 있다. 비로컬 평균 필터는 Z의 관점에서
Figure 112015072769326-pct00014
로 표현될 수도 있다.
상기 비로컬 평균 필터(NLcmpix(x))로부터의 출력은 픽셀 위치(x)에서의 노이즈 제거된 복소수 신호 파라미터(ZDeN)일 수도 있다.
즉, 실시형태는 결합된 파라미터를 필터링하는 것에 의해 픽셀 광 센서에 대한 결합 신호 파라미터의 노이즈를 제거하기 위한 수단을 포함할 수도 있다.
몇몇 실시형태에서, 결합 신호 파라미터는 픽셀 광 센서에 대한 진폭 및 위상 차를 결합하는 것으로부터 형성되는 복소수 신호 파라미터일 수도 있다.
각각의 픽셀에 대한 복소수 신호 파라미터의 노이즈를 제거하는 단계는 도 3에서 프로세싱 단계 309로서 도시된다.
각각의 픽셀 위치(x)에 대한 노이즈 제거된 신호 파라미터(ADeN 및 φDeN)는 노이즈 제거된 복소수 신호 파라미터(ZDeN)로부터 획득될 수도 있다. 즉, 노이즈 제거된 진폭(AN)과 위상 차(φN)는 각각 ADeN=│ZDeN│ 및 φDeN=arg(ZDeN)으로부터 획득될 수 있다.
노이즈 제거된 복소수 신호 파라미터(ZDeN)로부터 위치(x)에서의 각각의 픽셀에 대한 노이즈 제거된 파라미터(ADeN 및 φDeN)를 획득하는 단계는, 도 3에서 프로세싱 단계 311로서 도시된다.
몇몇 실시형태에서, 프로세싱 단계 303 내지 311은 수차례 반복될 수도 있다. 이러한 실시형태에서, 각각의 픽셀 위치(x)에 대한 노이즈 제거된 신호 파라미터(ADeN 및 φDeN)는 프로세싱 단계 305의 추가 반복에 대한 입력을 형성할 수도 있는데, 이에 따라 신호 파라미터(ADeN 및 φDeN)는 상기 비로컬 평균 필터(NL(x))에 개별적으로 적용될 수도 있다.
신호 파라미터(ADeN 및 φDeN)가 비로컬 평균 필터(NL(x))에 대한 입력을 형성하는 경우에서의 추가 노이즈 제거된 신호 파라미터는 AD2 및 φD2로서 나타내어질 수 있는데, 여기서 "2"는 2차 또는 추가 반복을 나타낸다.
앞에서와 같이, 각각의 픽셀 위치(x)에 대한 개별적으로 노이즈 제거된 진폭 및 위상 차 신호 파라미터(AD2 및 φD2)인 비로컬 평균 필터(NL(x))의 출력은, 그 다음, 단일의 결합된 파라미터로 결합될 수도 있다. 실시형태의 제1의 그룹에서, 단일의 결합된 파라미터는 단일의 복소수 파라미터(Z2)일 수도 있다.
그 다음, 단일의 복소수 파라미터(Z2)는 비로컬 평균 필터(NLcmpix(x))의 복소수 수정 형태의 입력을 형성할 수도 있다.
그 다음, 비로컬 평균 필터(NLcmpix(x))의 복소수 수정 형태의 출력은 픽셀 위치(x)에 대한 추가 노이즈 제거된 복소수 파라미터(ZDeN2)일 수도 있다.
노이즈 제거된 진폭(ADeN2)과 위상 차(φDeN2)는 식 ADeN2=│ZDeN2│ 및 φDeN2=arg(ZDeN2)를 추가로 적용하는 것에 의해 획득될 수 있다.
즉, 실시형태는 노이즈 제거된 결합 신호 파라미터로부터 픽셀 광 센서에 대한 노이즈 제거된 위상 차를 결정하기 위한 수단을 포함할 수도 있다.
프로세싱 단계 303 내지 311을 반복할지의 여부를 결정하는 단계는 도 3에서 결정 단계 313으로 도시된다.
도 3을 참조하면, 프로세싱 단계 303 내지 311의 추가 반복이 존재해야 한다는 것이 프로세싱 단계 313에서 결정되면, 리턴 분기(313a)가 취해지고 프로세스 루프는 새로운 반복을 시작하기 위해 되돌아간다.
실시형태에서, 비로컬 공간 변환 필터의 파라미터는 각각의 프로세싱 루프에 대해 조정될 수도 있다. 예를 들면, 실시형태의 제1의 그룹에서, 비로컬 평균 필터에서의 필터 파라미터(h)는 프로세싱 루프의 각각의 반복에 대해 적응될 수 있다.
프로세싱 루프의 추가 반복을 위해 비로컬 공간 변환 필터 파라미터를 조정하는 단계는 리턴 분기(313a)에서의 프로세싱 단계 315로서 도 3에서 묘사된다.
실시형태에서, 루프백 분기(313a)는 결정 분기(303)로 리턴한다는 것이 인식되어야 한다. 따라서, 프리필터링 단계(305)를 포함시킬지의 여부의 결정은 프로세싱 루프의 각각의 반복에 대해 취해질 수도 있다.
추가 반복이 없어야 한다는 것이 프로세싱 단계 313에서 결정되면, 결정 분기(313b)가 취해지고, 그 다음, 노이즈 제거용 프로세서(213)는 각각의 픽셀 위치에 대한 조명된 오브젝트까지의 거리 값(D)을 결정할 수도 있다.
실시형태에서, 거리 값(D)은 노이즈 제거된 위상 차 신호 파라미터(φDeN)를 프로세싱 단계 311에 의해 제공되는 그대로 받아들이고 상기 식 (1)에 그 값을 적용하는 것에 의해 결정될 수도 있다.
거리 값(D)은 맵 내의 각각의 픽셀 위치에 대한 위상 지연에 따라 픽셀 단위 기반으로 결정될 수도 있다.
즉, 실시형태는 픽셀 광 센서에 대해 계산된 노이즈 제거된 위상 지연을 사용하여 픽셀 광 센서에 대한 오브젝트까지의 거리 범위를 계산하기 위한 수단을 포함할 수도 있다.
각각의 픽셀에 대한 조명된 오브젝트까지의 거리 값(D)을 결정하는 단계는 도 3에서 프로세싱 단계 317로서 도시된다.
신호 파라미터 데이터의 노이즈를 제거하기 위한 상기 반복적 접근법에 대한 가능한 의사코드 구현예가 하기에 도시된다.
Figure 112015072769326-pct00015
ToF 카메라 시스템(11)으로부터의 출력은 PMD 센서 어레이(207) 내의 각각의 픽셀에 대한 거리 값(D)일 수도 있다.
그 다음, 각각의 픽셀에 대한 거리 값(D)은 추가 프로세싱을 위해 프로세서(21)로 전달될 수도 있다.
몇몇 실시형태에서, 각각의 픽셀 위치에 대한 거리 값(D)은 UI(15)에서 거리 또는 심도 맵 이미지로서 디스플레이될 수도 있다.
상기 실시형태에서, 노이즈 제거의 프로세스는 비로컬 평균 필터에 의해 설명되었음이 인식되어야 한다. 그러나, 다른 실시형태는, 가우시안 스무딩, 양(다)방향 필터링(Bi(Multi)-lateral filtering), 웨이브릿 축소(wavelet shrinkage), 슬라이딩-로컬 변환 필터링(Sliding-local transform filtering)(예를 들면, 슬라이딩-DCT) 및 블록 매칭 3D 공동 변환-도메인 필터링(Block-matching 3D collaborative transform-domain filtering; BM3D)와 같은 다른 형태의 노이즈 제거를 사용할 수도 있다.
또한, 다른 실시형태는 레이더, 소나 및 라이더(lidar)와 같은 다른 ToF 카메라 시스템을 채택할 수도 있다.
또한, 다른 실시형태는 상이한 거리 측정 시스템을 사용할 수도 있는데, 이 경우 측정 데이터는 구조화 광 기반 시스템(structured-light based system), 스테레오로부터 구조 추정(structure-from-stereo)에 기반한 시스템, 및 열감지 카메라와 같은 복소수 도메인에서 해석될 수 있다.
상기 예가 장치(10) 내에서 동작하는 본 발명의 실시형태를 설명하지만, 상기에서 설명된 바와 같은 본 발명은 ToF 카메라 시스템을 지원하는 임의의 컴퓨터 또는 전자 장치의 일부로서 구현될 수도 있음이 인식되어야 할 것이다.
일반적으로, 본 발명의 다양한 실시형태는 하드웨어 또는 특수 목적의 회로, 소프트웨어, 로직 또는 이들의 임의의 조합으로 구현될 수도 있다. 예를 들면, 몇몇 양태는 하드웨어로 구현될 수도 있고, 한편 다른 양태는 컨트롤러, 마이크로프로세서 또는 다른 컴퓨팅 디바이스에 의해 실행될 수도 있는 소프트웨어 또는 펌웨어에서 구현될 수도 있지만, 본 발명은 이들에 한정되는 것은 아니다. 본 발명의 다양한 양태가 블록도, 흐름도, 또는 몇몇 다른 도해적 표현을 사용하여 예시되고 설명될 수도 있지만, 본원에서 설명되는 이들 블록, 장치, 시스템, 기술 또는 방법은, 비제한적인 예로서, 하드웨어, 소프트웨어, 펌웨어, 특수 목적의 회로 또는 로직, 범용 하드웨어 또는 컨트롤러 또는 다른 컴퓨팅 디바이스, 또는 이들의 몇몇 조합에서 구현될 수도 있음이 잘 이해된다.
따라서, 적어도 몇몇 실시형태는 적어도 하나의 프로세서와 컴퓨터 프로그램 코드를 포함하는 적어도 하나의 메모리를 포함하는 장치일 수도 있는데, 적어도 하나의 메모리와 컴퓨터 프로그램 코드는, 적어도 하나의 프로세서를 사용하여, 장치로 하여금 적어도: 비행시간 카메라 시스템에 의해 전송되는 광 신호와 비행시간 카메라 시스템의 이미지 센서 내의 픽셀 센서의 어레이 중 적어도 하나의 픽셀 센서에 의해 수신되는 반사 광 신호 - 적어도 하나의 픽셀 센서에 의해 수신되는 반사 광 신호는 전송되는 광 신호에 의해 조명되는 오브젝트로부터 반사됨 - 사이의 위상 차를 결정하는 것과; 적어도 하나의 픽셀 센서에 의해 수신되는 반사 광 신호의 진폭을 결정하는 것과; 적어도 하나의 픽셀 센서에 대한 진폭 및 위상 차를, 적어도 하나의 픽셀 센서에 대한 결합 신호 파라미터로 결합하는 것과; 적어도 하나의 픽셀 센서에 대한 결합 파라미터를 필터링하는 것에 의해 적어도 하나의 픽셀 센서에 대한 결합 신호 파라미터의 노이즈를 제거하는 것을 수행하게 하도록 구성된다.
본 발명의 실시형태는 모바일 디바이스의 데이터 프로세서에 의해 실행가능한 컴퓨터 소프트웨어에 의해, 예컨대 프로세서 엔티티에서, 또는 하드웨어에 의해, 또는 소프트웨어와 하드웨어의 조합에 의해, 구현될 수도 있다. 또한, 이와 관련하여, 도면에서와 같은 로직 플로우의 임의의 블록은 프로그램 단계, 또는 인터커넥트된 로직 회로, 블록 및 기능, 또는 프로그램 단계와 로직 회로, 블록 및 기능의 조합을 표현할 수도 있음이 주목되어야 한다.
따라서, 인코더의 적어도 몇몇 실시형태는 컴퓨터 판독가능 코드가 저장된 비일시적 컴퓨터 판독가능 저장 매체일 수도 있는데, 컴퓨터 판독가능 코드는, 컴퓨팅 장치에 의해 실행될 때, 컴퓨팅 장치로 하여금: 비행시간 카메라 시스템에 의해 전송되는 광 신호와 비행시간 카메라 시스템의 이미지 센서 내의 픽셀 센서의 어레이 중 적어도 하나의 픽셀 센서에 의해 수신되는 반사 광 신호 - 적어도 하나의 픽셀 센서에 의해 수신되는 반사 광 신호는 전송되는 광 신호에 의해 조명되는 오브젝트로부터 반사됨 - 사이의 위상 차를 결정하는 단계와; 적어도 하나의 픽셀 센서에 의해 수신되는 반사 광 신호의 진폭을 결정하는 단계와; 적어도 하나의 픽셀 센서에 대한 진폭 및 위상 차를, 적어도 하나의 픽셀 센서에 대한 결합 신호 파라미터로 결합하는 단계와; 적어도 하나의 픽셀 센서에 대한 결합 파라미터를 필터링하는 것에 의해 적어도 하나의 픽셀 센서에 대한 결합 신호 파라미터의 노이즈를 제거하는 단계를 포함하는 방법을 수행하게 한다.
메모리는 로컬한 기술적 환경에 적합한 임의의 타입을 가질 수도 있고, 임의의 적절한 데이터 저장 기술, 예컨대 반도체 기반 메모리 디바이스, 자기 메모리 디바이스와 시스템, 광학 메모리 디바이스와 시스템, 고정식 메모리와 착탈식 메모리, 즉, 비일시적 컴퓨터 판독가능 매체를 사용하여 구현될 수도 있다. 데이터 프로세서는 로컬한 기술적 환경에 적합한 임의의 타입을 가질 수도 있고, 비제한적인 예로서, 범용 컴퓨터, 특수 목적 컴퓨터, 마이크로프로세서, 디지털 신호 프로세서(digital signal processors; DSP), 주문형 반도체(application specific integrated circuit; ASIC), 게이트 레벨 회로 및 다중코어 프로세서 아키텍쳐 기반의 프로세서 중 하나 이상을 포함할 수도 있다.
본 발명의 실시형태는 집적 회로 모듈과 같은 다양한 컴포넌트에서 실시될 수도 있다. 집적 회로의 디자인은 대체로 고도로 자동화된 프로세스이다. 로직 레벨 디자인을, 반도체 기판 상에 에칭되어 형성되도록 준비된 반도체 회로 디자인으로 변환하는 데 복잡하고 강력한 소프트웨어 툴이 이용가능하다.
프로그램, 예컨대 미국 캘리포니아 마운틴 뷰에 소재한 Synopsys, Inc.와 미국 캘리포니아 산호세에 소재한 Cadence Design에 의해 제공되는 프로그램은, 잘 확립된 디자인 규칙뿐만 아니라 미리 저장된 디자인 모듈의 라이브러리를 사용하여 반도체 칩 상에서 컴포넌트의 위치를 결정하고 도선을 자동적으로 배선한다. 반도체 회로에 대한 디자인이 완료되면, 표준 전자 포맷(예를 들면, Opus, GDSII 등)의 결과물 디자인은, 제조를 위해, 반도체 제조 설비 또는 "팹(fab)"으로 전송될 수 있다.
본 출원에서 사용된 바와 같이, 용어 '회로부'는 다음의 모두를 지칭한다:
(a) 하드웨어 단독의 회로 구현예(예컨대 아날로그 및/또는 디지털 회로부에서만의 구현예)와
(b) 회로와 소프트웨어(및/또는 펌웨어)의 조합, 예컨대: (i) 프로세서(들)의 조합 또는 (ii) 프로세서(들)/소프트웨어(디지털 신호 프로세서(들)를 포함함), 소프트웨어, 및 모바일 폰 또는 서버와 같은 장치로 하여금 다양한 기능을 수행하게 하기 위해 함께 작동하는 메모리(들)의 일부와
(c) 회로, 예컨대, 소프트웨어 또는 펌웨어가 물리적으로 존재하지 않는 경우에도, 동작을 위해 소프트웨어 또는 펌웨어를 필요로 하는 마이크로프로세서(들) 또는 마이크로프로세서(들)의 일부.
'회로부'의 이 정의는, 임의의 청구항을 포함해서, 본 출원에서의 이 용어의 모든 용례에 적용된다. 추가 예로서, 본 출원에서 사용된 바와 같이, 용어 '회로부'는, 단지, 프로세서(또는 다수의 프로세서) 또는 프로세서의 일부 및 그것의(또는 그들의) 수반하는 소프트웨어 및/또는 펌웨어의 구현예를 또한 포괄할 것이다. 용어 '회로부'는, 예를 들면 그리고 특정 청구항의 엘리먼트에 적용가능하다면, 모바일 폰에 대한 베이스밴드 집적 회로 또는 애플리케이션 프로세서 집적 회로 또는 서버, 셀룰러 네트워크 디바이스, 또는 다른 네트워크 디바이스에서의 유사한 집적 회로를 또한 포괄할 것이다.
상기 설명은 본 발명의 예시적인 실시형태의 완전하고 정보적인 설명을 예시적이며 비제한적인 예로서 제공하였다. 그러나, 첨부의 도면 및 첨부된 특허청구범위와 함께 읽을 때, 상기 설명의 관점에서 다양한 수정예 및 적응예가 당업자에게는 명백할 수도 있다. 그러나, 본 발명의 교시의 모든 이러한 그리고 유사한 수정예는, 여전히, 첨부된 특허청구범위에서 정의되는 바와 같은 본 발명의 범위 내에 있을 것이다.

Claims (28)

  1. 데이터 노이즈를 제거하는(de-noising) 방법으로서,
    비행시간 카메라 시스템(time of flight camera system)에 의해 전송되는 광 신호와 상기 비행시간 카메라 시스템의 이미지 센서 내의 픽셀 센서의 어레이 중 적어도 하나의 픽셀 센서에 의해 수신되는 반사 광 신호(a reflected light signal) 사이의 위상 차를 결정하는 단계 - 상기 적어도 하나의 픽셀 센서에 의해 수신되는 상기 반사 광 신호는 상기 전송되는 광 신호에 의해 조명되는(illuminated) 오브젝트(an object)로부터 반사됨 - 와,
    상기 적어도 하나의 픽셀 센서에 의해 수신되는 상기 반사 광 신호의 진폭을 결정하는 단계와,
    상기 적어도 하나의 픽셀 센서에 대한 상기 진폭 및 상기 위상 차를 상기 적어도 하나의 픽셀 센서에 대한 결합 신호 파라미터(combined signal parameter)로 결합하는 단계와,
    상기 적어도 하나의 픽셀 센서에 대한 상기 결합 신호 파라미터를 필터링하는 것에 의해 상기 적어도 하나의 픽셀 센서에 대한 상기 결합 신호 파라미터의 노이즈를 제거하는 단계를 포함하는
    데이터 노이즈 제거 방법.
  2. 제 1 항에 있어서,
    상기 적어도 하나의 픽셀 센서에 대한 상기 위상 차를 필터링하는 것에 의해 상기 적어도 하나의 픽셀 센서에 대한 상기 위상 차의 노이즈를 제거하는 단계 - 상기 위상 차의 상기 노이즈 제거는 상기 진폭 및 상기 위상 차를 결합하기 이전에 발생함 - 와,
    상기 적어도 하나의 픽셀 센서에 대한 상기 진폭을 필터링하는 것에 의해 상기 적어도 하나의 픽셀 센서에 대한 상기 진폭의 노이즈를 제거하는 단계 - 상기 진폭의 상기 노이즈 제거는 상기 진폭 및 상기 위상 차를 결합하기 이전에 발생함 - 중 적어도 하나를 더 포함하는
    데이터 노이즈 제거 방법.
  3. 제 1 항 또는 제 2 항에 있어서,
    상기 필터링하는 것은,
    비로컬 공간 변환 필터(non-local spatial transform filter)를 사용하여 필터링하는 것을 더 포함하는
    데이터 노이즈 제거 방법.
  4. 제 3 항에 있어서,
    상기 비로컬 공간 변환 필터는 비로컬 평균 필터(non-local means filter)인
    데이터 노이즈 제거 방법.
  5. 제 1 항 또는 제 2 항에 있어서,
    상기 적어도 하나의 픽셀 센서에 대한 상기 노이즈 제거된 결합 신호 파라미터로부터 상기 오브젝트까지의 거리 범위를 계산하는 단계를 더 포함하되,
    상기 계산하는 단계는,
    상기 적어도 하나의 픽셀 센서에 대한 상기 노이즈 제거된 결합 신호 파라미터로부터 상기 적어도 하나의 픽셀 센서에 대한 상기 노이즈 제거된 위상 차를 결정하는 단계와,
    상기 적어도 하나의 픽셀 센서에 대한 상기 노이즈 제거된 위상 차를 사용하여 상기 적어도 하나의 픽셀 센서에 대한 상기 오브젝트까지의 상기 거리 범위를 계산하는 단계에 의한 것인
    데이터 노이즈 제거 방법.
  6. 제 1 항 또는 제 2 항에 있어서,
    상기 결합 신호 파라미터는 상기 적어도 하나의 픽셀 센서에 대한 상기 진폭 및 상기 위상 차를 결합하는 것으로부터 형성되는 복소수 신호 파라미터(a complex signal parameter)인
    데이터 노이즈 제거 방법.
  7. 제 1 항 또는 제 2 항에 있어서,
    상기 비행시간 카메라 시스템의 상기 이미지 센서는 포토닉 믹서 디바이스(photonic mixer device; PMD)에 적어도 기초하는
    데이터 노이즈 제거 방법.
  8. 데이터 노이즈를 제거하는 장치로서,
    비행시간 카메라 시스템에 의해 전송되는 광 신호와 상기 비행시간 카메라 시스템의 이미지 센서 내의 픽셀 센서의 어레이 중 적어도 하나의 픽셀 센서에 의해 수신되는 반사 광 신호 사이의 위상 차를 결정 - 상기 적어도 하나의 픽셀 센서에 의해 수신되는 상기 반사 광 신호는 상기 전송되는 광 신호에 의해 조명되는 오브젝트로부터 반사됨 - 하고,
    상기 적어도 하나의 픽셀 센서에 의해 수신되는 상기 반사 광 신호의 진폭을 결정하고,
    상기 적어도 하나의 픽셀 센서에 대한 상기 진폭 및 상기 위상 차를 상기 적어도 하나의 픽셀 센서에 대한 결합 신호 파라미터로 결합하고,
    상기 적어도 하나의 픽셀 센서에 대한 상기 결합 신호 파라미터를 필터링하는 것에 의해 상기 적어도 하나의 픽셀 센서에 대한 상기 결합 신호 파라미터의 노이즈를 제거하도록 구성되는
    데이터 노이즈 제거 장치.
  9. 제 8 항에 있어서,
    상기 장치는 또한,
    상기 적어도 하나의 픽셀 센서에 대한 상기 위상 차를 필터링하는 것에 의해 상기 적어도 하나의 픽셀 센서에 대한 상기 위상 차의 노이즈를 제거하는 것 - 상기 장치는 상기 진폭 및 상기 위상 차를 결합하기 이전에 상기 위상 차의 노이즈를 제거하도록 구성됨 - 과,
    상기 적어도 하나의 픽셀 센서에 대한 상기 진폭을 필터링하는 것에 의해 상기 적어도 하나의 픽셀 센서에 대한 상기 진폭의 노이즈를 제거하는 것 - 상기 장치는 상기 진폭 및 상기 위상 차를 결합하기 이전에 상기 진폭의 노이즈를 제거하도록 구성됨 - 중 적어도 하나를 수행하도록 구성되는
    데이터 노이즈 제거 장치.
  10. 제 8 항 또는 제 9 항에 있어서,
    필터링하는 것은 비로컬 공간 변환 타입 필터를 사용하여 필터링하는 것을 포함하는
    데이터 노이즈 제거 장치.
  11. 제 10 항에 있어서,
    상기 비로컬 공간 변환 타입 필터는 비로컬 평균 필터인
    데이터 노이즈 제거 장치.
  12. 제 8 항 또는 제 9 항에 있어서,
    상기 장치는 상기 적어도 하나의 픽셀 센서에 대한 상기 노이즈 제거된 결합 신호 파라미터로부터 상기 오브젝트까지의 거리 범위를 계산하도록 또한 구성되고,
    상기 계산은,
    상기 적어도 하나의 픽셀 센서에 대한 상기 노이즈 제거된 결합 신호 파라미터로부터 상기 적어도 하나의 픽셀 센서에 대한 상기 노이즈 제거된 위상 차를 결정하는 것과,
    상기 적어도 하나의 픽셀 센서에 대한 상기 노이즈 제거된 위상 차를 사용하여 상기 적어도 하나의 픽셀 센서에 대한 상기 오브젝트까지의 상기 거리 범위를 계산하는 것에 의한 것인
    데이터 노이즈 제거 장치.
  13. 제 8 항 또는 제 9 항에 있어서,
    상기 결합 신호 파라미터는 상기 적어도 하나의 픽셀 센서에 대한 상기 진폭 및 상기 위상 차를 결합하는 것으로부터 형성되는 복소수 신호 파라미터인
    데이터 노이즈 제거 장치.
  14. 제 8 항 또는 제 9 항에 있어서,
    상기 비행시간 카메라 시스템의 상기 이미지 센서는 포토닉 믹서 디바이스에 적어도 기초하는
    데이터 노이즈 제거 장치.
  15. 데이터 노이즈를 제거하기 위한 컴퓨터 프로그램 코드를 포함하는 컴퓨터 판독가능 저장 매체로서,
    상기 컴퓨터 프로그램 코드는 프로세서에 의해 실행될 때,
    비행시간 카메라 시스템에 의해 전송되는 광 신호와 상기 비행시간 카메라 시스템의 이미지 센서 내의 픽셀 센서의 어레이 중 적어도 하나의 픽셀 센서에 의해 수신되는 반사 광 신호 사이의 위상 차를 결정하는 것 - 상기 적어도 하나의 픽셀 센서에 의해 수신되는 상기 반사 광 신호는 상기 전송되는 광 신호에 의해 조명되는 오브젝트로부터 반사됨 - 과,
    상기 적어도 하나의 픽셀 센서에 의해 수신되는 상기 반사 광 신호의 진폭을 결정하는 것과,
    상기 적어도 하나의 픽셀 센서에 대한 상기 진폭 및 상기 위상 차를 상기 적어도 하나의 픽셀 센서에 대한 결합 신호 파라미터로 결합하는 것과,
    상기 적어도 하나의 픽셀 센서에 대한 상기 결합 신호 파라미터를 필터링하는 것에 의해 상기 적어도 하나의 픽셀 센서에 대한 상기 결합 신호 파라미터의 노이즈를 제거하는 것을 실현하는
    데이터 노이즈를 제거하기 위한 컴퓨터 프로그램 코드를 포함하는 컴퓨터 판독가능 저장 매체.
  16. 제 15 항에 있어서,
    상기 컴퓨터 프로그램 코드는 상기 프로세서에 의해 실행될 때,
    상기 적어도 하나의 픽셀 센서에 대한 상기 위상 차를 필터링하는 것에 의해 상기 적어도 하나의 픽셀 센서에 대한 상기 위상 차의 노이즈를 제거하는 것 - 상기 위상 차의 상기 노이즈 제거는 상기 진폭 및 상기 위상 차를 결합하기 이전에 발생함 - 과,
    상기 적어도 하나의 픽셀 센서에 대한 상기 진폭을 필터링하는 것에 의해 상기 적어도 하나의 픽셀 센서에 대한 상기 진폭의 노이즈를 제거하는 것 - 상기 진폭의 상기 노이즈 제거는 상기 진폭 및 상기 위상 차를 결합하기 이전에 발생함 -,
    중 적어도 하나를 더 실현하는
    데이터 노이즈를 제거하기 위한 컴퓨터 프로그램 코드를 포함하는 컴퓨터 판독가능 저장 매체.
  17. 제 15 항 또는 제 16 항에 있어서,
    상기 컴퓨터 프로그램 코드는 상기 프로세서에 의해 실행될 때 필터링을 실현하고, 상기 컴퓨터 프로그램 코드는,
    비로컬 공간 변환 필터에 의한 필터링을 더 실현하는
    데이터 노이즈를 제거하기 위한 컴퓨터 프로그램 코드를 포함하는 컴퓨터 판독가능 저장 매체.
  18. 제 17 항에 있어서,
    상기 비로컬 공간 변환 필터는 비로컬 평균 필터인
    데이터 노이즈를 제거하기 위한 컴퓨터 프로그램 코드를 포함하는 컴퓨터 판독가능 저장 매체.
  19. 제 15 항 또는 제 16 항에 있어서,
    상기 컴퓨터 프로그램 코드는 상기 프로세서에 의한 실행될 때 상기 적어도 하나의 픽셀 센서에 대한 상기 노이즈 제거된 결합 신호 파라미터로부터 상기 오브젝트까지의 거리 범위를 계산하는 것을 또한 실현하고,
    상기 계산하는 것은,
    상기 적어도 하나의 픽셀 센서에 대한 상기 노이즈 제거된 결합 신호 파라미터로부터 상기 적어도 하나의 픽셀 센서에 대한 상기 노이즈 제거된 위상 차를 결정하는 것과,
    상기 적어도 하나의 픽셀 센서에 대한 상기 노이즈 제거된 위상 차를 사용하여 상기 적어도 하나의 픽셀 센서에 대한 상기 오브젝트까지의 상기 거리 범위를 계산하는 것에 의한 것인
    데이터 노이즈를 제거하기 위한 컴퓨터 프로그램 코드를 포함하는 컴퓨터 판독가능 저장 매체.
  20. 제 15 항 또는 제 16 항에 있어서,
    상기 결합 신호 파라미터는 상기 적어도 하나의 픽셀 센서에 대한 상기 진폭 및 상기 위상 차를 결합하는 것으로부터 형성되는 복소수 신호 파라미터인
    데이터 노이즈를 제거하기 위한 컴퓨터 프로그램 코드를 포함하는 컴퓨터 판독가능 저장 매체.
  21. 제 15 항 또는 제 16 항에 있어서,
    상기 비행시간 카메라 시스템의 상기 이미지 센서는 포토닉 믹서 디바이스에 적어도 기초하는
    데이터 노이즈를 제거하기 위한 컴퓨터 프로그램 코드를 포함하는 컴퓨터 판독가능 저장 매체.
  22. 삭제
  23. 삭제
  24. 삭제
  25. 삭제
  26. 삭제
  27. 삭제
  28. 삭제
KR1020157020397A 2012-12-28 2012-12-28 거리 감지 카메라로부터의 데이터에서 노이즈를 제거하기 위한 방법 및 장치 KR101862914B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/FI2012/051304 WO2014102442A1 (en) 2012-12-28 2012-12-28 A method and apparatus for de-noising data from a distance sensing camera

Publications (2)

Publication Number Publication Date
KR20150103154A KR20150103154A (ko) 2015-09-09
KR101862914B1 true KR101862914B1 (ko) 2018-05-31

Family

ID=51019941

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020157020397A KR101862914B1 (ko) 2012-12-28 2012-12-28 거리 감지 카메라로부터의 데이터에서 노이즈를 제거하기 위한 방법 및 장치

Country Status (6)

Country Link
US (1) US10003757B2 (ko)
EP (1) EP2939049B1 (ko)
JP (1) JP6367827B2 (ko)
KR (1) KR101862914B1 (ko)
CN (1) CN105026955B (ko)
WO (1) WO2014102442A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220041536A (ko) * 2020-09-25 2022-04-01 주식회사 포스코 기계부품 교정장치

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9918017B2 (en) 2012-09-04 2018-03-13 Duelight Llc Image sensor apparatus and method for obtaining multiple exposures with zero interframe time
US9531961B2 (en) 2015-05-01 2016-12-27 Duelight Llc Systems and methods for generating a digital image using separate color and intensity data
US9819849B1 (en) 2016-07-01 2017-11-14 Duelight Llc Systems and methods for capturing digital images
US10558848B2 (en) 2017-10-05 2020-02-11 Duelight Llc System, method, and computer program for capturing an image with correct skin tone exposure
US9807322B2 (en) 2013-03-15 2017-10-31 Duelight Llc Systems and methods for a digital image sensor
EP2894492B1 (en) * 2014-01-13 2020-10-28 Sony Depthsensing Solutions SA/NV A method for driving a time-of-flight system
US9439040B2 (en) 2014-08-15 2016-09-06 Wensheng Hua System and method of time of flight detection
US10924688B2 (en) 2014-11-06 2021-02-16 Duelight Llc Image sensor apparatus and method for obtaining low-noise, high-speed captures of a photographic scene
US11463630B2 (en) 2014-11-07 2022-10-04 Duelight Llc Systems and methods for generating a high-dynamic range (HDR) pixel stream
LU92688B1 (en) * 2015-04-01 2016-10-03 Iee Int Electronics & Eng Sa Method and system for real-time motion artifact handling and noise removal for tof sensor images
US9864048B2 (en) 2015-05-17 2018-01-09 Microsoft Technology Licensing, Llc. Gated time of flight camera
KR101720881B1 (ko) * 2015-12-03 2017-03-28 한양대학교 산학협력단 주성분 분석을 이용한 비지역적 평균 알고리즘 기반의 영상 잡음제거 방법 및 이를 이용하는 영상 처리 장치
CN108885265A (zh) * 2016-03-31 2018-11-23 富士胶片株式会社 距离图像处理装置、距离图像获取装置及距离图像处理方法
US9788770B1 (en) * 2016-04-14 2017-10-17 Verily Life Sciences Llc Continuous monitoring of tumor hypoxia using near-infrared spectroscopy and tomography with a photonic mixer device
JP2018036102A (ja) * 2016-08-30 2018-03-08 ソニーセミコンダクタソリューションズ株式会社 測距装置、および、測距装置の制御方法
WO2018044314A1 (en) 2016-09-01 2018-03-08 Duelight Llc Systems and methods for adjusting focus based on focus target information
JP7149941B2 (ja) * 2016-12-07 2022-10-07 ソニーセミコンダクタソリューションズ株式会社 装置および方法
DE112018004891T5 (de) 2017-09-01 2020-06-10 Sony Corporation Bildverarbeitungsvorrichtung, bildverarbeitungsverfahren, programm und mobiler körper
WO2019069300A1 (en) * 2017-10-02 2019-04-11 Tower-Sec Ltd. DETECTION AND PREVENTION OF A PHYSICAL CYBERATTAKE FOR SENSORS
CN110956657B (zh) * 2018-09-26 2023-06-30 Oppo广东移动通信有限公司 深度图像获取方法及装置、电子设备及可读存储介质
US11393115B2 (en) * 2018-11-27 2022-07-19 Infineon Technologies Ag Filtering continuous-wave time-of-flight measurements, based on coded modulation images
WO2020130855A1 (en) * 2018-12-21 2020-06-25 Chronoptics Limited Time of flight camera data processing system
US11402477B2 (en) * 2019-03-01 2022-08-02 Beijing Voyager Technology Co., Ltd System and methods for ranging operations using modulated signals
CN110501691B (zh) * 2019-08-13 2022-03-08 Oppo广东移动通信有限公司 Tof模组的噪声滤除方法、tof模组及装置
CN110954921B (zh) * 2019-12-03 2022-01-04 浙江大学 一种基于块匹配3d协同滤波的激光雷达回波信号信噪比提升方法
US20210183018A1 (en) * 2019-12-17 2021-06-17 Stmicroelectronics (Grenoble 2) Sas Filtering Device, Associated System and Method
CN111340723B (zh) * 2020-02-23 2022-04-15 武汉大学 一种地形自适应的机载LiDAR点云正则化薄板样条插值滤波方法
US11927673B1 (en) * 2023-05-16 2024-03-12 Wireless Photonics, Llc Method and system for vehicular lidar and communication utilizing a vehicle head light and/or taillight

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090190007A1 (en) 2008-01-30 2009-07-30 Mesa Imaging Ag Adaptive Neighborhood Filtering (ANF) System and Method for 3D Time of Flight Cameras
US20100046802A1 (en) 2008-08-19 2010-02-25 Tatsumi Watanabe Distance estimation apparatus, distance estimation method, storage medium storing program, integrated circuit, and camera
JP2011507429A (ja) 2007-12-18 2011-03-03 アイイーイー インターナショナル エレクトロニクス アンド エンジニアリング エス．エイ． シーンの３ｄ映像の記録
JP2011117860A (ja) 2009-12-04 2011-06-16 Yamatake Corp 物体検出センサおよび物体検出方法
US20120082346A1 (en) 2010-10-04 2012-04-05 Microsoft Corporation Time-of-flight depth imaging

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5311271A (en) * 1992-01-21 1994-05-10 Dme/Golf, Inc. Golf course range finder
US5841522A (en) * 1996-08-01 1998-11-24 Lumen Laboratories, Inc. Phase detector
JP4543904B2 (ja) 2004-11-30 2010-09-15 パナソニック電工株式会社 距離画像センサ
US7994465B1 (en) * 2006-02-06 2011-08-09 Microsoft Corporation Methods and devices for improved charge management for three-dimensional and color sensing
EP2026246A1 (en) 2007-08-03 2009-02-18 Harman/Becker Automotive Systems GmbH Method and apparatus for evaluating an image
CN101919230B (zh) 2007-12-25 2013-02-13 梅迪奇视觉-脑科技有限公司 降低图像噪声的方法
JP2009258006A (ja) 2008-04-18 2009-11-05 Sokkia Topcon Co Ltd 光波距離計
EP2148212B1 (en) * 2008-07-24 2019-08-21 Toshiba Medical Systems Corporation Magnetic resonance imaging apparatus for contrast enhancement of images
EP2598910A4 (en) 2010-07-29 2014-06-25 Waikatolink Ltd APPARATUS AND METHOD FOR MEASURING DISTANCE AND / OR INTENSITY CHARACTERISTICS OF OBJECTS
KR101669819B1 (ko) * 2010-11-11 2016-10-27 삼성전자주식회사 깊이 영상의 고정밀 복원을 위한 필터링 장치 및 방법
KR20120057216A (ko) 2010-11-26 2012-06-05 삼성전자주식회사 깊이 센서, 상기 깊이 센서의 노이즈 감소 방법, 및 상기 깊이 센서를 포함하는 신호 처리 시스템
EP2992357A4 (en) * 2013-04-29 2017-01-18 Nokia Technologies OY A method and apparatus for fusing distance data from a distance sensing camera with an image
KR102061699B1 (ko) * 2013-06-19 2020-01-02 삼성전자주식회사 이미지 센서, 이를 포함하는 이미지 처리 시스템 및 이의 동작 방법
CN106603942B (zh) * 2016-12-15 2019-12-03 杭州艾芯智能科技有限公司 一种tof相机降噪方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011507429A (ja) 2007-12-18 2011-03-03 アイイーイー インターナショナル エレクトロニクス アンド エンジニアリング エス．エイ． シーンの３ｄ映像の記録
US20090190007A1 (en) 2008-01-30 2009-07-30 Mesa Imaging Ag Adaptive Neighborhood Filtering (ANF) System and Method for 3D Time of Flight Cameras
US20100046802A1 (en) 2008-08-19 2010-02-25 Tatsumi Watanabe Distance estimation apparatus, distance estimation method, storage medium storing program, integrated circuit, and camera
JP2010071976A (ja) 2008-08-19 2010-04-02 Panasonic Corp 距離推定装置、距離推定方法、プログラム、集積回路およびカメラ
JP2011117860A (ja) 2009-12-04 2011-06-16 Yamatake Corp 物体検出センサおよび物体検出方法
US20120082346A1 (en) 2010-10-04 2012-04-05 Microsoft Corporation Time-of-flight depth imaging

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220041536A (ko) * 2020-09-25 2022-04-01 주식회사 포스코 기계부품 교정장치
KR102491028B1 (ko) 2020-09-25 2023-01-20 주식회사 포스코 기계부품 교정장치

Also Published As

Publication number Publication date
US20150334318A1 (en) 2015-11-19
CN105026955A (zh) 2015-11-04
EP2939049A4 (en) 2016-08-10
JP6367827B2 (ja) 2018-08-01
KR20150103154A (ko) 2015-09-09
EP2939049B1 (en) 2018-02-28
US10003757B2 (en) 2018-06-19
CN105026955B (zh) 2018-12-18
EP2939049A1 (en) 2015-11-04
JP2016509208A (ja) 2016-03-24
WO2014102442A1 (en) 2014-07-03

Similar Documents

Publication Publication Date Title
KR101862914B1 (ko) 거리 감지 카메라로부터의 데이터에서 노이즈를 제거하기 위한 방법 및 장치
US10269104B2 (en) Method and apparatus for fusing distance data from a distance sensing camera with an image
US10234561B2 (en) Specular reflection removal in time-of-flight camera apparatus
EP3092509B1 (en) Fast general multipath correction in time-of-flight imaging
US9989630B2 (en) Structured-light based multipath cancellation in ToF imaging
WO2014201076A1 (en) Depth map correction using lookup tables
US11520052B2 (en) Adaptive processing in time of flight imaging
US20160247286A1 (en) Depth image generation utilizing depth information reconstructed from an amplitude image
WO2022250894A1 (en) Distributed depth data processing
WO2023027804A1 (en) Denoising depth data of low-signal pixels
CN112824934B (zh) 基于调制光场的tof多径干扰去除方法、***、设备及介质
CN109242782B (zh) 噪点处理方法及装置
US10838487B2 (en) Mixed pixel unwrapping error mitigation by filtering optimization
WO2023077412A1 (zh) 一种物体测距方法及装置
EP4004590A1 (en) Unwrapped phases for time-of-flight modulation light
US20190340776A1 (en) Depth map interpolation using generalized likelihood ratio test parameter estimation of a coded image
US20220224881A1 (en) Method, apparatus, and device for camera calibration, and storage medium
KR102162019B1 (ko) 3 차원 이미지 생성 방법 및 장치
US20230260143A1 (en) Using energy model to enhance depth estimation with brightness image
CN117897721A (zh) 用于去噪深度图像数据的时间度量
WO2023156561A1 (en) Using energy model to enhance depth estimation with brightness image

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant