KR20210032669A - 비행 시간 센서 및 비행 시간 센서의 에러 보정 방법 - Google Patents

비행 시간 센서 및 비행 시간 센서의 에러 보정 방법 Download PDF

Info

Publication number
KR20210032669A
KR20210032669A KR1020190113980A KR20190113980A KR20210032669A KR 20210032669 A KR20210032669 A KR 20210032669A KR 1020190113980 A KR1020190113980 A KR 1020190113980A KR 20190113980 A KR20190113980 A KR 20190113980A KR 20210032669 A KR20210032669 A KR 20210032669A
Authority
KR
South Korea
Prior art keywords
time
flight sensor
delay
phase differences
measurement
Prior art date
Application number
KR1020190113980A
Other languages
English (en)
Inventor
강문천
배광혁
고하영
서덕찬
이철웅
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020190113980A priority Critical patent/KR20210032669A/ko
Priority to US16/829,467 priority patent/US11789133B2/en
Priority to DE102020113140.2A priority patent/DE102020113140B4/de
Priority to CN202010654539.4A priority patent/CN112596065A/zh
Publication of KR20210032669A publication Critical patent/KR20210032669A/ko

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/32Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/36Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/8943D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808Evaluating distance, position or velocity data
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/4865Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491Details of non-pulse systems
    • G01S7/4912Receivers
    • G01S7/4915Time delay measurement, e.g. operational details for pixel components; Phase measurement
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497Means for monitoring or calibrating

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

비행 시간 센서의 에러 보정 방법은, 변조 신호에 기초하여 변조된 송신 광을 테스트 피사체에 조사하는 단계, 버퍼 체인 회로를 이용하여 서로 다른 복수의 로컬 지연 위상들을 갖는 복수의 복조 신호들을 발생하는 단계, 상기 복수의 복조 신호들을 비행 시간 센서의 복수의 픽셀 그룹들에 각각 제공하고 상기 복수의 복조 신호들에 기초하여 상기 테스트 피사체로부터 반사된 수신 광을 샘플링하여 측정 위상차들을 제공하는 단계, 상기 측정 위상차들에 기초하여 상기 송신 광과 상기 수신 광의 위상차에 의존하는 위글링 에러를 결정하는 단계 및 상기 위글링 에러에 기초하여 상기 비행 시간 센서에 의해 측정된 타겟 피사체까지의 거리를 보정하는 단계를 포함한다. 버퍼 체인 회로를 이용하여 인위적인 로컬 지연 위상들을 발생함으로써 비행 시간 센서의 에러 보정의 효율성과 정확도를 현저하게 향상시킬 수 있다.

Description

비행 시간 센서 및 비행 시간 센서의 에러 보정 방법{Time-of-Flight sensor and method of calibrating errors in the same}
본 발명은 반도체 집적 회로에 관한 것으로서, 더욱 상세하게는 비행 시간 센서 및 상기 비행 시간 센서의 에러 보정 방법에 관한 것이다.
최근 물체의 입체 정보를 획득하는 3차원 센싱에 대한 관심이 증대됨에 따라서 여러 가지의 3차원 카메라가 개발되고 있다. 다양한 방식의 3차원 카메라 중에서도, 비행 시간(ToF, Time of Flight) 방식의 카메라가 회로의 복잡도가 낮고 거리 분해능이 뛰어난 장점이 있어서 많이 사용되고 있다.
비행 시간 센서는 거리 정보를 추출하기 위하여 별도의 레이저 또는 발광 다이오드(LED)와 광원을 이용하여 송신 광을 피사체에 조사한 후 반사되어 나오는 반사광의 시간차 혹은 위상차를 측정하여 거리를 계산한다. 물체에 반사되어 되돌아온 신호는 코사인(cosine) 또는 사인(sine) 함수와 같은 정현파(sinusoidal wave)로 모델링되어 거리 계산에 사용되는데, 이 때 모델링 에러로 인하여 주기적인 에러가 발생하게 된다.
이 에러는 그 모양이 지글지글한 경향을 띠어 일반적으로 위글링 에러(wiggling error)라고 부른다. 위글링 에러는 비행 시간 센서의 정확도를 떨어뜨리는 직접적인 요인이 되기 때문에 이를 보정할 것이 요구된다.
상기와 같은 문제점을 해결하기 위한 본 발명의 일 목적은, 위글링 에러를 효율적으로 보정할 수 있는 비행 시간 센서의 에러 보정 방법을 제공하는 것이다.
또한 본 발명의 일 목적은, 위글링 에러를 효율적으로 보정할 수 있는 비행 시간 센서 및 테스트 시스템을 제공하는 것이다.
상기 일 목적을 달성하기 위해, 본 발명의 실시예들에 따른 비행 시간 센서의 에러 보정 방법은, 변조 신호에 기초하여 변조된 송신 광을 테스트 피사체에 조사하는 단계, 버퍼 체인 회로를 이용하여 서로 다른 복수의 로컬 지연 위상들을 갖는 복수의 복조 신호들을 발생하는 단계, 상기 복수의 복조 신호들을 비행 시간 센서의 복수의 픽셀 그룹들에 각각 제공하고 상기 복수의 복조 신호들에 기초하여 상기 테스트 피사체로부터 반사된 수신 광을 샘플링하여 측정 위상차들을 제공하는 단계, 상기 측정 위상차들에 기초하여 상기 송신 광과 상기 수신 광의 위상차에 의존하는 위글링 에러를 결정하는 단계 및 상기 위글링 에러에 기초하여 상기 비행 시간 센서에 의해 측정된 타겟 피사체까지의 거리를 보정하는 단계를 포함한다.
상기 일 목적을 달성하기 위해, 본 발명의 실시예들에 따른 테스트 시스템은 비행 시간(Time of flight) 센서 및 상기 비행 시간 센서의 위글링 에러를 측정하는 테스트 장치를 포함한다. 상기 비행 시간 센서는, 변조 신호에 기초하여 변조된 상기 송신 광을 피사체에 조사하는 광원, 서로 다른 복수의 로컬 지연 위상들을 갖는 복수의 복조 신호들을 발생하는 버퍼 체인 회로 및 상기 복수의 복조 신호들을 각각 수신하는 픽셀 그룹들로 그룹화되고 상기 복수의 복조 신호들에 기초하여 상기 테스트 피사체로부터 반사된 수신 광을 샘플링하여 측정 위상차들을 제공하는 픽셀들을 포함하는 픽셀 어레이를 포함한다.
상기 일 목적을 달성하기 위해, 본 발명의 실시예들에 따른 비행 시간 센서는 변조 신호에 기초하여 변조된 송신 광을 피사체에 조사하는 광원, 서로 다른 복수의 로컬 지연 위상들을 갖는 복수의 복조 신호들을 발생하는 버퍼 체인 회로 및 상기 복수의 복조 신호들을 각각 수신하는 픽셀 그룹들로 그룹화되고 상기 복수의 복조 신호들의 각각에 기초하여 상기 테스트 피사체로부터 반사된 수신 광을 샘플링하여 측정 위상차들을 제공하는 픽셀들을 포함하는 픽셀 어레이를 포함한다.
본 발명의 실시예들에 따른 비행 시간 센서 및 비행 시간 센서의 에러 보정 방법은, 버퍼 체인 회로를 이용하여 인위적인 로컬 지연 위상들을 발생함으로써 비행 시간 센서의 에러 보정의 효율성과 정확도를 현저하게 향상시킬 수 있다.
본 발명의 실시예들에 따른 비행 시간 센서 및 비행 시간 센서의 에러 보정 방법은, 비행 시간 센서의 복수의 로컬 지연 위상들과 가변적인 글로벌 지연 위상을 이용하여 한 장의 차트 영상에서도 많은 거리에 대한 측정 샘플을 획득할 수 있기 때문에, 적은 수의 측정 사이클로도 위글링 에러를 효율적으로 획득할 수 있다.
본 발명의 실시예들에 따른 비행 시간 센서 및 비행 시간 센서의 에러 보정 방법은, 글로벌 지연 위상을 위한 제어 코드를 변경할 때, 각 픽셀 별로 위상차 변화가 선형적이다라는 가정만 하기 때문에, 비행 시간 센서와 평면 차트와 같은 테스트 피사체와의 거리, 테스트 피사체의 기울어짐(tilt), 시간 지연에 대한 파라미터 등의 값을 알 필요가 없을 뿐만 아니라, 테스트 피사체에 대한 제약 조건(예를 들어, 평면 차트)도 없다는 장점이 있다.
본 발명의 실시예들에 따른 비행 시간 센서 및 비행 시간 센서의 에러 보정 방법은, 임의의 위상차에 대한 위글링 에러를 구할 때, 많은 수의 픽셀 정보를 함께 이용하기 때문에 공간 필터링(spatial filtering)의 기능을 수반하여 잡음에 강인한 장점이 있다.
도 1은 본 발명의 실시예들에 따른 비행 시간 센서의 에러 보정 방법을 나타내는 순서도이다.
도 2는 본 발명의 실시예들에 따른 테스트 시스템을 나타내는 블록도이다.
도 3 및 4는 본 발명의 실시예들에 따른 비행 시간 센서를 나타내는 블록도들이다.
도 5는 비행 시간 센서에서 피사체의 거리를 계산하는 일 예를 설명하기 위한 도면이다.
도 6은 비행 시간 센서에 포함되는 픽셀 구조의 일 예를 나타내는 회로도이다.
도 7은 도 6의 픽셀 구조에 상응하는 레이아웃의 일 예를 나타내는 평면도이다.
도 8은 비행 시간 센서의 동작을 설명하기 위한 타이밍도이다.
도 9a 및 9b는 위글링 에러의 측정 방법을 설명하기 위한 도면들이다.
도 10은 본 발명의 실시예들에 따른 비행 시간 센서에 포함되는 버퍼 체인 회로의 일 실시예를 나타내는 도면이다.
도 11은 본 발명의 실시예들에 따른 비행 시간 센서의 로컬 지연 위상들을 설명하기 위한 도면이다.
도 12는 본 발명의 실시예들에 따른 비행 시간 센서의 에러 보정 방법을 위한 가변 지연 회로의 일 실시예를 나타내는 도면이다.
도 13 및 14는 도 12의 가변 지연 회로의 동작을 설명하기 위한 도면들이다.
도 15는 본 발명의 실시예들에 따른 비행 시간 센서의 에러 보정 방법을 위한 위글링 에러의 결정 방법의 일 실시예를 나타내는 순서도이다.
도 16 및 17은 도 15의 위글링 에러의 결정 방법을 설명하기 위한 도면들이다.
도 18은 본 발명의 실시예들에 따른 비행 시간 센서의 로컬 지연 위상을 설명하기 위한 도면이다.
도 19a 내지 21은 본 발명의 실시예들에 따른 비행 시간 센서의 에러 보정 방법의 효과를 설명하기 위한 도면들이다.
도 22는 본 발명의 실시예들에 따른 카메라 시스템을 나타내는 블록도이다.
도 23은 본 발명의 실시예들에 따른 카메라 시스템의 에러 보정을 나타내는 도면이다.
도 24는 본 발명의 이미지 센서를 컴퓨팅 시스템에 응용한 예를 나타내는 블록도이다.
도 25는 도 24의 컴퓨팅 시스템에서 사용되는 인터페이스의 일 예를 나타내는 블록도이다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 실시예들에 따른 비행 시간 센서의 에러 보정 방법을 나타내는 순서도이다.
도 1에는 광원을 이용하여 송신 광을 피사체에 조사하고 피사체에 의해 반사되어 돌아오는 반사광의 위상차를 측정하여 피사체까지의 거리를 측정하는 비행 시간(ToF, Time of Flight) 센서에 대한 에러 보정 방법이 도시되어 있다.
도 1을 참조하면, 변조 신호에 기초하여 변조된 송신 광을 테스트 피사체에 조사한다(S100). 예를 들어, 약 10 내지 약 200 MHz의 주파수로 토글링하는 변조 신호에 응답하여 광원을 턴-온 및 턴-오프시키는 방식으로 송신 광(TX)을 변조할 수 있다.
버퍼 체인 회로를 이용하여 서로 다른 복수의 로컬 지연 위상들을 갖는 복수의 복조 신호들을 발생한다(S200). 버퍼 체인 회로는 비행 시간 센서 내에 집적될 수 있다. 버퍼 체인 회로의 실시예는 도 10을 참조하여 후술한다.
상기 복수의 복조 신호들을 비행 시간 센서의 복수의 픽셀 그룹들에 각각 제공하고 상기 복수의 복조 신호들에 기초하여 상기 테스트 피사체로부터 반사된 수신 광을 샘플링하여 측정 위상차들을 제공한다(S300). 일 실시예에서, 상기 복수의 픽셀 그룹들의 각각은 복수의 픽셀 열들을 포함할 수 있다. 다른 실시예에서 상기 복수의 픽셀 그룹들의 각각의 복수의 픽셀 행들을 포함할 수 있다.
상기 측정 위상차들에 기초하여 상기 송신 광과 상기 수신 광의 위상차에 의존하는 위글링 에러를 결정한다(S400). 일 실시예에서, 후술하는 바와 같이 위글링 에러는 측정 위상차들 및 상기 측정 위상차들에 상응하는 대표 오프셋 값들의 매핑 관계를 나타내는 매핑 테이블의 형태로 제공될 수 있다.
상기 위글링 에러에 기초하여 상기 비행 시간 센서에 의해 측정된 타겟 피사체까지의 거리를 보정한다(S500).
이와 같이, 본 발명의 실시예들에 따른 비행 시간 센서 및 비행 시간 센서의 에러 보정 방법은, 버퍼 체인 회로를 이용하여 인위적인 로컬 지연 위상들을 발생함으로써 비행 시간 센서의 에러 보정의 효율성과 정확도를 현저하게 향상시킬 수 있다.
일 실시예에서, 복수의 측정 사이클들에서 서로 다른 복수의 글로벌 지연 위상들을 각각 갖도록 상기 변조 신호를 발생할 수 있다. 이 경우, 비행 시간 센서의 복수의 로컬 지연 위상들과 가변적인 글로벌 지연 위상을 이용하여 한 장의 차트 영상에서도 많은 거리에 대한 측정 샘플을 획득할 수 있기 때문에, 적은 수의 측정 사이클로도 위글링 에러를 획득할 수 있다.
도 2는 본 발명의 실시예들에 따른 테스트 시스템을 나타내는 블록도이다.
도 2를 참조하면, 테스트 시스템(10)은 테스트 장치(20) 및 피검사 장치로서의 비행 시간 센서(30)를 포함할 수 있다.
비행 시간 센서(30)는 광원(LS) 및 센싱부(SEN)를 포함할 수 있다. 센싱부(SEN)는 버퍼 체인 회로(DBC) 및 픽셀 어레이(미도시)를 포함할 수 있다. 비행 시간 센서(30)의 구성 및 동작에 대해서는 도 3 내지 8을 참조하여 후술한다.
광원(LS)은 변조 신호(MOD)에 기초하여 변조된 송신 광을 피사체에 조사할 수 있다. 버퍼 체인 회로(DBC)는 서로 다른 복수의 로컬 지연 위상들을 갖는 복수의 복조 신호들을 발생할 수 있다. 픽셀 어레이는 상기 복수의 복조 신호들을 각각 수신하는 픽셀 그룹들로 그룹화되고 상기 복수의 복조 신호들의 각각에 기초하여 상기 테스트 피사체로부터 반사된 수신 광을 샘플링하여 측정 위상차들을 제공하는 픽셀들을 포함할 수 있다. 버퍼 체인 회로(DBC) 및 픽셀 그룹의 실시예는 도 10 및 11을 참조하여 후술한다.
테스트 장치(20)는 컨트롤러(CTRL), 메모리(MEM) 및 가변 지연 회로(GDL)를 포함할 수 있다.
컨트롤러(20)는 테스트 장치(20)의 전반적인 동작을 제어하고 메모리(MEM)는 테스트 장치(20)의 동작을 위한 데이터, 제어 프로그램 코드 등을 저장할 수 있다.
가변 지연 회로(GDL)는 복수의 측정 사이클들에서 서로 다른 복수의 글로벌 지연 위상들을 각각 갖도록 변조 신호(MOD)를 발생할 수 있다. 가변적인 위상을 갖는 변조 신호(MOD)는 비행 시간 센서(30)에 제공될 수 있다. 실시예에 따라서, 가변 지연 회로(GDL)는 비행 시간 센서(30)에 포함될 수도 있다.
일 실시예에서, 도 12를 참조하여 후술하는 바와 같이, 가변 지연 회로(GDL)는 제어 코드에 따라서 변화하는 지연량을 갖는 변조 신호(MOD)를 발생할 수 있다. 이 경우, 제어부(CTRL)는 상기 복수의 측정 사이클들에서 상기 복수의 글로벌 지연 위상들을 각각 갖는 변조 신호(MOD)를 발생하도록 상기 복수의 측정 사이클들에서 상기 제어 코드를 순차적으로 변경할 수 있다.
컨트롤러(CTRL)는 위상차 발생부(PDG) 및 에러 발생부(WGG)를 포함할 수 있다.
위상차 발생부(PDG)는 비행 시간 센서(30)로부터 제공되는 테스트 피사체로부터 반사된 수신 광을 샘플링한 샘플 데이터(SDATA)에 기초하여 측정 위상차들을 제공할 수 있다. 실시예에 따라서, 위상차 발생부(PDG)는 비행 시간 센서(30)에 배치될 수 있고, 이 경우 테스트 장치(20)는 비행 시간 센서(30)로부터 샘플 데이터(SDATA) 대신에 상기 측정 위상차들을 제공받을 수 있다.
에러 발생기(WGG)는 상기 측정 위상차들에 기초하여 비행 시간 센서(30)의 송신 광과 수신 광의 위상차에 의존하는 위글링 에러를 결정할 수 있다.
도 3 및 4는 본 발명의 실시예들에 따른 비행 시간 센서를 나타내는 블록도들이다.
도 3을 참조하면, 비행 시간 센서(100)는 픽셀 어레이(110), 버퍼 체인 회로(DBC), 아날로그-디지털 변환(Analog-to-Digital Conversion; ADC)부(120), 로우 주사 회로(130), 컬럼 주사 회로(140), 제어부(150) 및 광원 모듈(200)을 포함한다.
픽셀 어레이(110)는 광원 모듈(200)에서 송신된 광(TX)이 피사체(OBJ)에서 반사되어 수신된 광(RX)을 전기적인 신호로 변환하는 거리 픽셀(depth pixel)들을 포함한다. 상기 거리 픽셀들은 흑백 영상 정보와 함께 비행 시간 센서(100)로부터 피사체(OBJ)의 거리에 대한 정보를 제공할 수 있다.
픽셀 어레이(110)는 컬러 영상 정보를 제공하는 컬러 픽셀들을 더 포함할 수 있다. 이 경우, 비행 시간 센서(100)는 상기 컬러 영상 정보 및 상기 거리 정보를 동시에 제공하는 3차원 컬러 이미지 센서일 수 있다. 일 실시예에서, 적외선(또는 근적외선) 필터가 상기 거리 픽셀들 상에 형성되고, 컬러 필터(예를 들어, 적색, 녹색 및 청색 필터들)가 상기 컬러 픽셀들 상에 형성될 수 있다. 실시예에 따라, 상기 거리 픽셀과 상기 컬러 픽셀의 개수 비는 변경될 수 있다.
ADC부(120)는 픽셀 어레이(110)로부터 출력되는 아날로그 신호를 디지털 신호로 변환할 수 있다. 실시예에 따라, ADC부(120)는 각 컬럼 라인마다 연결된 아날로그-디지털 변환기를 이용하여 아날로그 신호들을 병렬로 변환하는 컬럼 ADC를 수행하거나, 단일한 아날로그-디지털 변환기를 이용하여 상기 아날로그 신호들을 순차적으로 변환하는 단일 ADC를 수행할 수 있다.
실시예에 따라, ADC부(120)는 유효 신호 성분을 추출하기 위한 상관 이중 샘플링(Correlated Double Sampling; CDS)부를 포함할 수 있다. 일 실시예에서, 상기 CDS부는 리셋 성분을 나타내는 아날로그 리셋 신호와 신호 성분을 나타내는 아날로그 데이터 신호의 차이에 기초하여 상기 유효 신호 성분을 추출하는 아날로그 더블 샘플링(Analog Double Sampling)을 수행할 수 있다.
다른 실시예에서, 상기 CDS부는 상기 아날로그 리셋 신호와 상기 아날로그 데이터 신호를 디지털 신호들로 각각 변환한 후 상기 유효 신호 성분으로서 두 개의 디지털 신호의 차이를 추출하는 디지털 더블 샘플링(Digital Double Sampling)을 수행할 수 있다.
또 다른 실시예에서, 상기 CDS부는 상기 아날로그 더블 샘플링 및 상기 디지털 더블 샘플링을 모두 수행하는 듀얼 상관 이중 샘플링을 수행할 수 있다.
로우 주사 회로(130)는 제어부(150)로부터 제어 신호들을 수신하여 픽셀 어레이(110)의 로우 어드레스 및 로우 주사를 제어할 수 있다. 로우 주사 회로(130)는 로우 라인들 중에서 해당 로우 라인을 선택하기 위하여 해당 로우 라인을 활성화시키는 신호를 픽셀 어레이(110)에 인가할 수 있다. 일 실시예에서, 로우 주사 회로(130)는 픽셀 어레이(110) 내의 로우 라인을 선택하는 로우 디코더 및 선택된 로우 라인을 활성화시키는 신호를 공급하는 로우 드라이버를 포함할 수 있다.
컬럼 주사 회로(140)는 제어부(150)로부터 제어 신호들을 수신하여 픽셀 어레이(110)의 컬럼 어드레스 및 컬럼 주사를 제어할 수 있다. 컬럼 주사 회로(140)는 ADC부(120)에서 출력되는 디지털 출력 신호, 즉 샘플 데이터(SDATA)를 디지털 신호 프로세싱 회로(Digital Signal Processing Circuit, 미도시) 또는 외부의 호스트(미도시)로 출력할 수 있다. 예를 들어, 컬럼 주사 회로(140)는 수평 주사 제어 신호를 ADC부(120)에 출력함으로써, ADC부(120) 내의 복수의 아날로그-디지털 변환기들을 순차적으로 선택할 수 있다.
일 실시예에서, 컬럼 주사 회로(140)는 복수의 아날로그-디지털 변환기들 중 하나를 선택하는 컬럼 디코더 및 선택된 아날로그-디지털 변환기의 출력을 수평 전송선으로 유도하는 컬럼 드라이버를 포함할 수 있다. 한편, 상기 수평 전송선은 상기 디지털 출력 신호를 출력하기 위한 비트 폭을 가질 수 있다.
제어부(150)는 ADC부(120), 로우 주사 회로(130), 컬럼 주사 회로(140), 버퍼 체인 회로(DBC) 및 광원 모듈(200)을 제어할 수 있다. 제어부(150)는 ADC부(120), 로우 주사 회로(130), 컬럼 주사 회로(140) 및 광원 모듈(200)의 동작에 요구되는 클럭 신호, 타이밍 컨트롤 신호 등과 같은 제어 신호들을 공급할 수 있다. 일 실시예에서, 제어부(150)는 로직 제어 회로, 위상 고정 루프(Phase Lock Loop; PLL) 회로, 타이밍 제어 회로 및 통신 인터페이스 회로 등을 포함할 수 있다.
광원 모듈(200)은 소정의 파장을 가진 광(예를 들어, 적외선 또는 근적외선)을 출력할 수 있다. 광원 모듈(200)은 광원(210) 및 렌즈(220)를 포함할 수 있다. 광원(210)은 제어부(150)에 의해 제어되어 세기가 주기적으로 변하는 광(TX)을 출력할 수 있다.
예를 들어, 광(TX)의 세기는 연속적인 펄스들을 가지는 펄스 파, 사인 파, 코사인 파 등과 같은 형태를 가지도록 제어될 수 있다. 광원(210)은 발광 다이오드(light emitting diode, LED), 레이저 다이오드 등으로 구현될 수 있다.
이하, 본 발명의 실시예들에 따른 비행 시간 센서(100)의 노말 동작을 설명한다.
제어부(150)는 주기적으로 변동하는 세기를 가지는 광(TX)을 출력하도록 광원 모듈(200)을 제어할 수 있다. 광원 모듈(200)에서 방출된 광(TX)은 피사체(OBJ)에서 반사되고, 수신 광(RX)으로서 상기 거리 픽셀들에 입사될 수 있다. 상기 거리 픽셀들은 로우 주사 회로(130)에 의해 활성화되어 수신 광(RX)에 상응하는 아날로그 신호를 출력할 수 있다. ADC부(120)는 상기 거리 픽셀들로부터 출력된 아날로그 신호를 디지털 데이터, 즉 샘플 데이터(SDATA)로 변환할 수 있다. 샘플 데이터(SDATA)는 컬럼 주사 회로(140)에 의해 제어부(150)에 제공될 수도 있다.
제어부(150) 또는 외부의 프로세서는 샘플 데이터(SDATA)에 기초하여 비행 시간 센서(100)로부터 피사체(OBJ)의 거리, 피사체(OBJ)의 수평 위치, 피사체(OBJ)의 수직 위치 및/또는 피사체(OBJ)의 면적 등을 계산할 수 있다. 제어부(150)는 측정된 피사체(OBJ)의 거리, 수평 위치, 수직 위치 및/또는 면적에 기초하여 광원 모듈(200)에서 방출되는 광(TX)의 확산각, 조사 위치 등을 제어할 수 있다. 예를 들어, 제어부(150)는 광원(210)과 렌즈(220)의 간격, 광원(210)과 렌즈(220)의 상대적 위치, 렌즈(220)의 굴절률, 렌즈(220)의 곡률 등을 조절할 수 있다.
피사체(OBJ)에 상응하는 영역에 조사된 광(TX)은 피사체(OBJ)에서 반사되어 상기 거리 픽셀들에 다시 입사될 수 있다. 상기 거리 픽셀들은 수신 광(RX)에 상응하는 아날로그 신호를 출력하고, ADC부(120)는 상기 거리 픽셀들로부터 출력된 아날로그 신호를 디지털 데이터, 즉 샘플 데이터(SDATA)로 변환할 수 있다. 샘플 데이터(SDATA)는 제어부(150) 또는 외부의 프로세서에 의해 거리 정보로 변환되고, 상기 거리 정보는 디지털 신호 프로세싱 회로 또는 외부의 호스트로 제공될 수 있다. 실시예에 따라, 픽셀 어레이(110)는 컬러 픽셀들을 포함할 수 있고, 상기 디지털 신호 프로세싱 회로 또는 상기 호스트에는 상기 거리 정보와 함께 컬러 영상 정보가 제공될 수 있다.
이하, 본 발명의 실시예들에 따른 비행 시간 센서(100)의 캘리브레이션 동작을 설명한다.
캘리브레이션 동작에서, 선택부(MUX)는 테스트 모드 신호(TST)에 응답하여 제어부(150)로부터 제공되는 제어 신호 대신에 외부의 가변 지연 회로(GDL)로부터 제공되는 변조 신호(MOD)를 광원 모듈(200)에 제공할 수 있다. 전술한 바와 같이, 가변 지연 회로(GDL)는 복수의 측정 사이클들에서 서로 다른 복수의 글로벌 지연 위상들을 각각 갖도록 변조 신호(MOD)를 발생할 수 있다.
버퍼 체인 회로(DBC)는 서로 다른 복수의 로컬 지연 위상들을 갖는 복수의 복조 신호들을 발생할 수 있다.
픽셀 어레이(110)의 픽셀들은 상기 복수의 복조 신호들을 각각 수신하는 픽셀 그룹들로 그룹화되고, 상기 복수의 복조 신호들에 기초하여 상기 테스트 피사체로부터 반사된 수신 광을 샘플링하여 측정 위상차들을 제공할 수 있다.
도 2의 테스트 장치(20)는 상기 측정 위상차들에 기초하여 송신 광(TX)과 수신 광(RX)의 위상차에 의존하는 위글링 에러를 결정할 수 있다. 위글링 에러 결정의 실시예들은 도 15 내지 17을 참조하여 후술한다.
도 4의 비행 시간 센서(101)는 가변 지연 회로(GDL)에 관한 사항을 제외하고는 도 3의 비행 시간 센서(100)와 동일하므로 중복되는 설명을 생략한다.
일 실시예에서, 도 3에 도시된 바와 같이, 가변 지연 회로(GDL)는 비행 시간 센서(100)의 외부에 배치된다. 예를 들어, 가변 지연 회로(GDL)는 도 2의 테스트 장치(20)에 포함될 수 있다. 이 경우, 테스트 장치(20)는, 복수의 측정 사이클들에서 서로 다른 복수의 글로벌 지연 위상들을 각각 갖는 변조 신호(MOD)를 비행 시간 센서(100)에 제공할 수 있다.
다른 실시예에서, 도 4에 도시된 바와 같이, 가변 지연 회로(GDL)는 비행 시간 센서(101)의 내부에 포함될 수 있다. 이 경우, 테스트 장치(20)는 복수의 측정 사이클들에서 서로 다른 복수의 글로벌 지연 위상들을 각각 갖는 변조 신호(MOD)를 발생하도록 제어 신호를 비행 시간 센서(101)에 제공할 수 있다. 예를 들어, 도 12를 참조하여 후술하는 바와 같이, 상기 제어 신호는 복수의 측정 사이클들에서 순차적으로 변경되는 복수 비트의 제어 코드일 수 있다.
도 5는 비행 시간 센서에서 피사체의 거리를 계산하는 일 예를 설명하기 위한 도면이다.
도 3 내지 5를 참조하면, 광원 모듈(200)에서 방출된 광(TX)은 주기적으로 변동하는 세기를 가질 수 있다. 예를 들어, 방출된 광(TX)의 세기(즉, 단위 면적당 광자의 수)는 사인 파의 형태를 가질 수 있다.
광원 모듈(200)에서 방출된 광(TX)은 피사체(OBJ)에서 반사되어 수신 광(RX)으로서 픽셀 어레이(110)에 입사된다. 픽셀 어레이(110)는 수신 광(RX)을 주기적으로 샘플링할 수 있다. 실시예에 따라, 픽셀 어레이(110)는 수신 광(RX)의 각 주기(즉, 방출된 광(TX)의 주기)마다 180 도의 위상차를 가지는 두 개의 샘플링 포인트들, 각각 90 도의 위상차를 가지는 네 개의 샘플링 포인트들, 또는 그 이상의 샘플링 포인트들에서 수신 광(RX)을 샘플링할 수 있다. 예를 들어, 픽셀 어레이(110)는 매 주기 마다 방출된 광(TX)의 90 도, 180 도, 270도 및 360도의 위상들에서 수신 광(RX)의 샘플들(A0, A1, A2, A3)을 추출할 수 있다. 샘플들(A0, A1, A2, A3)에 기초하여 송신 광(TX) 및 수신 광(RX)의 위상차를 계산하고 상기 위상차에 기초하여 피사체까지의 거리를 계산할 수 있다.
수신 광(RX)은 추가적인 배경 광, 노이즈 등에 의해 광원 모듈(200)에서 방출된 광(TX)의 오프셋과 다른 오프셋(B)을 가질 수 있다. 수신 광(RX)의 오프셋(B)은 수학식 1과 같이 계산될 수 있다.
[수학식 1
Figure pat00001
여기서, A0는 방출된 광(TX)의 90 도의 위상에서 샘플링된 수신 광(RX)의 세기를 나타내고, A1은 방출된 광(TX)의 180 도의 위상에서 샘플링된 수신 광(RX)의 세기를 나타내고, A2는 방출된 광(TX)의 270 도의 위상에서 샘플링된 수신 광(RX)의 세기를 나타내고, A3는 방출된 광(TX)의 360 도의 위상에서 샘플링된 수신 광(RX)의 세기를 나타낸다.
수신 광(RX)은 광 손실에 의해 광원 모듈(200)에서 방출된 광(TX)의 진폭(amplitude)보다 작은 진폭(A)을 가질 수 있다. 수신 광(RX)의 진폭(A)은 수학식 2와 같이 계산될 수 있다.
[수학식 2]
Figure pat00002
픽셀 어레이(110)에 포함된 거리 픽셀들 각각에 대한 수신 광(RX)의 진폭(A)에 기초하여 피사체(OBJ)에 대한 흑백 영상 정보가 제공될 수 있다.
수신 광(RX)은 방출된 광(TX)에 대하여 비행 시간 센서(100)로부터 피사체(OBJ)의 거리의 두 배에 상응하는 위상차(φ)만큼 지연된다. 방출된 광(TX)에 대한 수신 광(RX)의 위상차(φ)는 수학식 3과 같이 계산될 수 있다.
[수학식 3]
Figure pat00003
방출된 광(TX)에 대한 수신 광(RX)의 위상차(φ)는 광의 비행 시간(Time-Of-Flight; ToF)에 상응한다. 비행 시간 센서(100)로부터 피사체(OBJ)의 거리는 수학식 “R = c * ToF / 2”(여기서, R은 피사체(OBJ)의 거리를 나타내고, c는 빛의 속도를 나타낸다)을 이용하여 계산될 수 있다. 또한, 비행 시간 센서(100)로부터 피사체(OBJ)의 거리는 수신 광(RX)의 위상차(φ)를 이용하여 수학식 4와 같이 계산될 수 있다.
[수학식 4]
Figure pat00004
여기서, f는 변조 주파수, 즉 방출된 광(TX)(또는 수신 광(RX))의 주파수를 나타낸다.
도 5에는 사인 파의 형태를 가지도록 변조된 광(TX)을 이용한 예가 도시되어 있으나, 실시예에 따라, 비행 시간 센서(100)는 다양한 형태의 변조된 광(TX)을 이용할 수 있다. 또한, 비행 시간 센서(100)는 광(TX)의 세기의 파형, 거리 픽셀의 구조 등에 따라 다양한 방식으로 거리 정보를 추출할 수 있다.
도 6은 비행 시간 센서에 포함되는 픽셀 구조의 일 예를 나타내는 회로도이고, 도 7은 도 6의 픽셀 구조에 상응하는 레이아웃의 일 예를 나타내는 평면도이고, 도 8은 비행 시간 센서의 동작을 설명하기 위한 타이밍도이다.
도 6 및 7을 참조하면, 거리 정보를 제공하기 위한 픽셀 세트(GR)는 플로팅 디퓨젼 노드(FD), 제1 픽셀(210), 제2 픽셀(220), 제3 픽셀(230), 제4 픽셀(240) 및 독출 회로(300)를 포함할 수 있다. 제1 픽셀(210), 제2 픽셀(220), 제3 픽셀(230) 및 제4 픽셀(240)은 플로팅 디퓨젼 노드(FD)에 공통으로 연결된다. 도 3의 픽셀 어레이(110)에는 도 6 및 7에 도시된 바와 같은 픽셀 세트(GR)가 행 방향(X) 및 열 방향(Y)으로 반복적으로 배치될 수 있다.
픽셀 세트(GR)에 제공되는 제어 신호들(TX1, TX2, TX3, TX4, RX)은 행 방향(X)의 배선들(MW)을 통하여 도 2의 행 구동부(30)로부터 전송될 수 있다.
제1 픽셀(210)은 제1 포토다이오드(PD1) 및 제1 전송 트랜지스터(MT1)를 포함할 수 있다. 제2 픽셀(220)은 제2 포토다이오드(PD2) 및 제2 전송 트랜지스터(MT2)를 포함할 수 있다. 제3 픽셀(230)은 제3 포토다이오드(PD3) 및 제3 전송 트랜지스터(MT3)를 포함할 수 있다. 제4 픽셀(240)은 제4 포토다이오드(PD4) 및 제4 전송 트랜지스터(MT4)를 포함할 수 있다. 제1 내지 제4 포토다이오드들(PD1~PD4)의 각각은 제1 내지 제4 포토 게이트 제어 신호들(PG1~PG4)의 각각의 위상에 상응하는 광전하를 수집할 수 있다.
독출 회로(300)는 리셋 트랜지스터(MR), 소스 폴로워 트랜지스터 또는 구동 트랜지스터(MD) 및 선택 트랜지스터(MS)를 포함할 수 있다.
도 6에는 설명의 편의상 각 픽셀이 하나의 트랜지스터를 포함하고 독출 회로가 3개의 트랜지스터들을 포함하는 구조를 예시하고 있으나, 다양한 다른 구성에 대해서도 본 발명의 실시예들에 따른 비행 시간 센서의 동작 방법이 적용될 수 있음을 이해할 수 있을 것이다.
도 8은 본 발명의 다른 실시 예에 따른 픽셀 구조를 갖는 거리 측정 센서의 동작을 설명하기 위한 타이밍도로서, 도 6 및 7의 픽셀 구조를 갖는 비행 시간 센서에서 변조 타이밍과 복조 타이밍, 즉 포토 게이트 신호의 제어 타이밍 동작을 설명하기 위해 사용된다.
도 8을 참조하면, 광원으로부터 출력되는 송신 광(TX)은 전술한 변조 신호(MOD)에 동기되어 출력된다. 제1 내지 제4 포토 게이트 제어 신호들(PG1~PG4)은 복조 신호(DEM)에 동기되어 출력된다. 제1 내지 제4 포토 게이트 제어 신호들(PG1~PG4)은 각각 변조 신호(MOD)와 0도, 90도, 180도, 270도의 위상차를 갖는다. 결과적으로 이와 같은 제1 내지 제4 포토 게이트 제어 신호들(PG1~PG4)을 이용하여 도 5를 참조하여 설명한 바와 같이 송신 광(TX)의 90 도, 180 도, 270도 및 360도의 위상들에서 수신 광(RX)의 샘플들(A0, A1, A2, A3)을 추출할 수 있다.
도 8에는 복조 신호의 위상, 즉 제1 포토 게이트 제어 신호(PG1)의 위상이 변조 신호(MOD)의 위상과 동일한 경우가 도시되어 있다. 본 발명의 실시예들에 따라서, 전술한 바와 같은 가변적인 글로벌 지연 위상 및 복수의 로컬 지연 위상들을 인위적으로 발생함으로써 적은 횟수의 측정 사이클로도 위글링 에러를 효율적으로 구할 수 있다.
도 9a 및 9b는 위글링 에러의 측정 방법을 설명하기 위한 도면들이다.
위글링 에러는 각각의 비행 시간 센서의 특성에 따라서 결정되는 계통 에러(systematic error)의 일종이다. 위글링 에러는 테스트 모드 또는 캘리브레이션 모드에서 한 주기(2π 또는 360도) 동안 발생하는 에러의 크기를 측정하고 실제 거리를 측정하는 노말 모드에서는 캘리브레이션 모드에서 측정된 에러를 역으로 반영함으로써 위글링 에러를 제거할 수 있다. 이러한 위글링 에러를 결정하기 위해서는 각각의 비행 시간 센서에서 한 주기에 포함되는 다양한 위상차들의 측정이 요구된다. 이러한 다양한 위상차들의 측정을 위해 다양한 방법이 이용될 수 있다.
도 9a를 참조하면, 평면 차트(PLC)와 같은 테스트 피사체를 복수의 측정 사이클들에서 순차적으로 이동하여 비행 시간 센서(ToF)와 평면 차트(PLC)와의 거리(d1)를 변경함으로써 다양한 위상차들을 측정할 수 있다. 변경되는 거리(d1)는 레이저 거리 측정기(LDM)와 같은 수단을 이용해서 측정될 수 있다.
그러나, 이러한 측정 방법은 평면을 촬영할 때, 1장의 영상으로 측정, 샘플링 할 수 있는 거리 값의 범위가 매우 작기 때문에, 한 주기에 해당하는 모든 거리 내의 위글링 에러를 정확히 측정하기 위해서는 많은 촬영이 필요하다는 문제가 있다. 또한, 촬영한 평면 차트와 카메라 센서 사이의 거리의 정확한 값을 알 수 없기 때문에 오차가 발생하고, 측정 데이터 내 잡음에 크게 영향을 받는다.
도 9b를 참조하면, 본 발명의 실시예들에 따라서, 평면 차트(PLC)와 같은 테스트 피사체는 한 주기 내의 위상차들을 측정하기 위한 캘리브레이션 모드에서 동일한 위치에 고정될 수 있다. 즉 캘리브레이션 모드 동안에 비행 시간 센서(ToF)와 평면 차트(PLC)와의 거리(d)는 고정될 수 있다.
위글링 에러를 결정하기 위한 다양한 위상차들은 변조 신호 및 복조 신호의 위상을 변경함으로써 측정될 수 있다. 전술한 바와 같이, 버퍼 체인 회로(DBC)를 이용하여 서로 다른 복수의 로컬 지연 위상들을 갖는 복수의 복조 신호들을 발생하고, 상기 복수의 복조 신호들을 비행 시간 센서의 복수의 픽셀 그룹들에 각각 제공함으로써, 픽셀 그룹별로 적용되는 다양한 위상차를 구현할 수 있다. 또한, 전술한 바와 같이, 가변 지연 회로(GDL)를 이용하여 복수의 측정 사이클들에서 서로 다른 복수의 글로벌 지연 위상들을 각각 갖도록 변조 신호를 발생함으로써, 픽셀 어레이에 포함되는 모든 픽셀에 공통적으로 적용되는 다양한 위상차를 구현할 수 있다. 평면 차트(PLC)는 상기 복수의 측정 사이클들에서 동일한 위치에 고정될 수 있다.
이와 같이, 비행 시간 센서의 복수의 로컬 지연 위상들과 가변적인 글로벌 지연 위상을 이용하여 한 장의 차트 영상에서도 많은 거리에 대한 측정 샘플을 획득할 수 있기 때문에, 적은 수의 측정 사이클로도 위글링 에러를 획득할 수 있다.
도 10은 본 발명의 실시예들에 따른 비행 시간 센서에 포함되는 버퍼 체인 회로의 일 실시예를 나타내는 도면이고, 도 11은 본 발명의 실시예들에 따른 비행 시간 센서의 로컬 지연 위상들을 설명하기 위한 도면이다.
도 10을 참조하면, 버퍼 체인 회로(DBC)는 직렬로 연결되어 복수의 복조 신호들(DEM1~DEMm)을 각각 발생하는 복수의 지연 버퍼 유닛들(DU1~Dum)을 포함할 수 있다. 복수의 지연 버퍼 유닛들(DU1~Dum)은 복조 타이밍 신호(DEL)를 순차적으로 지연하여 서로 다른 복수의 로컬 지연 위상들을 갖는 복수의 복조 신호들(DEM1~DEMm)을 각각 발생할 수 있다. 복수의 복조 신호들(DEM1~DEMm)에 기초하여 픽셀 그룹별로 도 5에 도시된 제1 포토 게이트 제어 신호(PG1)가 발생될 수 있다. 따라서, 복수의 픽셀 그룹들에 상응하는 복수의 제1 포토 게이트 제어 신호들(PG1)은 서로 다른 복수의 로컬 지연 위상들을 각각 가질 수 있다. 실시예에 따라서, 복수의 지연 버퍼 유닛들(DU1~Dum)의 지연량들은 모두 동일할 수도 있고 상이할 수도 있다.
도 10에 도시된 바와 같이, 픽셀 어레이(110)는 복수의 픽셀 그룹들(CG1~CGm)로 그룹화될 수 있다. 예를 들어, 복수의 픽셀 그룹들(CG1~CGm)은 복수의 픽셀 열들(PC1~PCk)을 포함할 수 있다. 도 10에는 예시적으로 복수의 픽셀 그룹들이 열을 기준으로 그룹화되는 실시예를 도시하고 있으나 이에 한정되는 것은 아니다. 예를 들어, 복수의 픽셀 그룹들은 행을 기준으로 그룹화되어 각각의 픽셀 그룹은 복수의 픽셀 행들을 포함할 수도 있다.
복수의 픽셀 그룹들(CG1~CGm)은 복수의 복조 신호들(DEM1~DEMm)의 각각에 기초하여 테스트 피사체로부터 반사된 수신 광을 샘플링하여 측정 위상차들을 제공할 수 있다.
도 11의 왼쪽에는 버퍼 체인 회로(DBC)를 포함하지 않는 경우의 픽셀 어레이(110)의 위상 지연이 도시되어 있고, 도 11의 오른쪽에는 본 발명의 실시예들에 따라서 버퍼 체인 회로(DBC)를 포함하는 경우의 픽셀 어레이(110)의 위상 지연이 도시되어 있다. 도 10과 같이 열을 기준으로 픽셀 그룹이 형성되는 경우에는 동일한 픽셀 그룹 내에 속하는 픽셀들의 로컬 위상 지연은 실질적으로 동일하고 오른쪽의 픽셀 그룹일수록 위상 지연이 증가하여 가장 좌측의 픽셀 그룹과 가장 우측의 픽셀 그룹 사이에서 최대 위상차(MXPD)가 구현될 수 있다.
이와 같이, 복조 신호의 위상 지연을 픽셀 그룹별로 다르게 함으로써 1장의 촬영 영상만으로도 위글링 에러의 결정에 필요한 다양한 위상차들을 측정할 수 있다.
도 12는 본 발명의 실시예들에 따른 비행 시간 센서의 에러 보정 방법을 위한 가변 지연 회로의 일 실시예를 나타내는 도면이다.
도 12를 참조하면, 가변 지연 회로(GDL)는 직렬로 연결된 복수의 지연 유닛들(71~74)을 포함할 수 있다. 복수의 지연 유닛들(71~74)은 이전의 지연 유닛의 출력을 지연하는 지연 회로들(51~54) 및 제어 코드(B1~Bn)의 각 비트에 응답하여 상기 이전의 지연 유닛의 출력 및 상기 지연 유닛의 출력 중 하나를 선택하여 다음의 지연 유닛으로 출력하는 선택기들(61~64)을 각각 포함할 수 있다. 예를 들어, 지연 유닛(72)은 이전의 지연 유닛(71)의 출력을 지연하는 지연 회로(52) 및 제어 코드(B1~Bn)의 비트(B2)에 응답하여 이전의 지연 유닛(71)의 출력 및 지연 유닛(52)의 출력 중 하나를 선택하여 다음의 지연 유닛(73)으로 출력하는 선택기(62)를 포함할 수 있다.
지연 회로들(51~54)의 지연량들(D1~Dn)은 다양한 방식으로 결정될 수 있다. 예를 들어, 지연량들(D1~Dn)의 각각은 D*2i(i=1부터 n까지의 사이의 자연수)의 형태로 구현될 수 있다.
도 13 및 14는 도 12의 가변 지연 회로의 동작을 설명하기 위한 도면들이다.
도 13에는 제어 코드의 값이 3개의 사이클들에서 각각 C1, C2, C3 이 되도록 순차적으로 변경될 때 본 발명의 실시예들에 따른 비행 시간 센서의 픽셀 어레이의 위상 지연을 나타낸다. 이와 같이, 복수의 측정 사이클들에서 서로 다른 복수의 글로벌 지연 위상들을 각각 갖는 변조 신호를 발생하도록 복수의 측정 사이클들에서 제어 코드를 순차적으로 변경할 수 있다. 전술한 바와 같이, 각각의 측정 사이클에서 픽셀 어레이는 픽셀 그룹별로 서로 다른 로컬 지연 위상을 갖고, 나아가 측정 사이클별로 서로 다른 글로벌 지연 위상을 가질 수 있다. 이와 같이, 측정 사이클에 따른 서로 다른 복수의 글로벌 위상 지연들 및 픽셀 위치에 따른 서로 다른 복수의 로컬 지연 위상들을 구현함으로써 다양한 위상차들을 효율적으로 측정할 수 있다.
도 9b를 참조하여 전술한 바와 같이 위치가 고정된 평면 차트(PLC)와 같은 테스트 피사체를 촬영했을 때, 각 픽셀 별로 측정된 입력 위상차
Figure pat00005
는 수학식 5와 같이 모델링 할 수 있다.
[수학식 5]
Figure pat00006
여기서, x는 비행 시간 센서의 픽셀의 위치를 나타내고,
Figure pat00007
는 가변 지연 회로(GDL)가 유휴 상태 일 때 기본 지연 위상차를 나타내고,
Figure pat00008
는 제어 코드에 따른 위상차 변화율을 나타내고, c는 제어 코드의 값을 나타낸다.
Figure pat00009
는 위글링 에러이고,
Figure pat00010
는 버퍼 체인 회로(DBC)에 의한 로컬 지연 위상, 테스트 피사체와의 거리 등 다른 요인으로 인한 위상차를 나타내고, N은 잡음으로 인한 위상차를 나타낸다.
수학식 5에 따르면, 복수의 측정 사이클들에서 제어 코드를 변경하면서 테스트 피사체를 촬영할 때 입력 위상차
Figure pat00011
를 변경시키는 요인은
Figure pat00012
Figure pat00013
이다. 이 때,
Figure pat00014
는 상수 값이기 때문에,
Figure pat00015
은 코드에 따라 선형적으로 증가하는 값이다. 제어 코드를 증가시키면서 촬영하여 획득한 위상차 영상의 정가운데 값을 나타낸 결과는 도 14와 같다.
도 14에 도시된 바와 같이, 실제의 측정 위상차(MPD)는 제어 코드의 값에 따라 선형적으로 증가함을 확인할 수 있다. 이 때, 약간의 굴곡을 볼 수 있는데, 이는 위글링 에러에 따른 영향으로 볼 수 있다. 이러한 결과에 따라서, 도 15 내지 17을 참조하여 후술하는 바와 같이, 각 픽셀 별로 위상차 변화를 먼저 기록하고, 그 변화율을 1차원 선형 핏팅(fitting)을 이용하여 계산한 후, 핏팅 결과에 대한 오프셋 값들을 구하면, 그로부터 위글링 에러를 결정할 수 있다.
도 15는 본 발명의 실시예들에 따른 비행 시간 센서의 에러 보정 방법을 위한 위글링 에러의 결정 방법의 일 실시예를 나타내는 순서도이고, 도 16 및 17은 도 15의 위글링 에러의 결정 방법을 설명하기 위한 도면들이다.
도 15를 참조하면, 비행 시간 센서의 모든 픽셀들에 대하여, 복수의 측정 사이클들에서 측정되는 각각의 픽셀에 상응하는 측정 위상차들을 각각의 일차 함수로 선형 핏팅한다(S10).
상기 모든 픽셀들에 대하여, 상기 각각의 픽셀에 상응하는 측정 위상차들 및 상기 각각의 일차 함수의 값의 오차에 해당하는 오프셋 값들을 계산한다(S20).
상기 모든 픽셀들에 대한 상기 측정 위상차들 및 상기 오프셋 값들에 대하여, 동일한 측정 위상차에 상응하는 오프셋 값들에 기초하여 상기 측정 위상차들의 각각에 상응하는 대표 오프셋 값들을 결정한다(S30).
상기 대표 오프셋 값들에 기초하여 상기 위글링 에러를 나타내는 매핑 함수를 결정한다(S40).
도 16에는 하나의 픽셀에 대하여 제어 코드의 값들(C1~C8)에 상응하는 측정 위상차(MPD)의 값들이 점들(dots)로 표시되어 있고, 상기 하나의 픽셀에 상응하는 측정 위상차들의 값들을 선형 핏팅한 일차 함수가 직선으로 표시되어 있다.
도 16에 도시된 바와 같이, 하나의 측정 위상차의 값(Vm) 및 일차 함수의 값(Vt)의 오차에 해당하는 오프셋 값(OFS)을 계산할 수 있다.
이러한 방식으로 복수의 측정 사이클들에 대한 비행 시간 센서의 모든 픽셀들에 상응하는 측정 위상차들에 기초하여 매우 많은 개수의 오프셋 값들을 구할 수 있다.
도 17의 왼쪽에는 전술한 방법에 의한 구해진 복수의 오프셋 값들(OFS)을 측정 위상차(MPD)의 복수의 값들(V1~V6)에 따라 정렬한 결과가 도시되어 있다.
모든 픽셀들에 대한 측정 위상차들 및 오프셋 값들에 대하여, 동일한 측정 위상차에 상응하는 오프셋 값들에 기초하여 측정 위상차들의 각각에 상응하는 대표 오프셋 값들을 결정할 수 있다. 예를 들어, 도 17의 오른쪽에 도시한 바와 같이 동일한 측정 위상차에 상응하는 오프셋 값들의 평균들을 대표 오프셋 값들로 결정할 수 있다. 이러한 대표 오프셋 값들에 기초하여 도 21을 참조하여 후술하는 바와 같이 위글링 에러를 나타내는 매핑 함수를 결정할 수 있다. 상기 매핑 함수는 도 17에 도시된 바와 같이 측정 위상차들 및 대표 오프셋 값들의 매핑 관계를 나타내는 매핑 테이블(TAB)의 형태로 제공될 수 있다.
도 18은 본 발명의 실시예들에 따른 비행 시간 센서의 로컬 지연 위상을 설명하기 위한 도면이다.
도 18에서, 제1 센서(SEN1) 및 제2 센서(SEN2)는 본 발명의 실시예들에 따라서 인위적으로 발생된 로컬 지연 위상들이 적용된 비행 시간 센서들에 해당하고, 제3 센서(SEN3) 및 제4 센서(SEN4)는 인위적인 로컬 지연 위상들이 적용되지 않은 기존의 비행 시간 센서들에 해당한다. MHz로 표시한 주파수들은 변조 및 복조를 위한 동작 주파수들을 나타내고, %로 표시한 비율들은 한 주기(2π)에 대한 픽셀 어레이 내에서의 최대 위상차(MXPD)의 비율(MXPD/2π)들을 나타낸다.
기존의 비행 시간 센서들(SEN3, SEN4)의 경우도 일정 수준의 로컬 지연 위상이 존재하지만 그 범위가 매우 작다. 기존 비행 시간 센서에서는 이를 고상 위상 패턴(FPP, fixed phase pattern) 노이즈라고 규정하고 있다.
기존 비행 시간 센서들(SEN3, SEN4)에 비하여, 본 발명의 실시예들에 따른 비행 시간 센서들(SEN1, SEN2)의 경우에는 로컬 지연 위상들에 따른 위상차 변화 범위가 매우 큰 것을 알 수 있다. 제1 센서(SEN1)에서 100MHz의 광원을 사용할 경우, 1장의 영상 데이터로부터 송신 광의 주기의 54.5% 해당하는 범위의 거리 정보를 한번에 측정 및 샘플링할 수 있다.
이상적인 상황을 가정하고 단순 산술 계산을 해보면, 한 주기에 대해서 위글링 에러를 모두 구하기 위해서 제3 센서(SEN3)는 20MHz에서 최소 108번의 측정 사이클들이 필요하고, 제4 센서(SEN4)는 20MHz에서 최소 17번의 측정 사이클들이 필요하지만, 본 발명의 실시예들에 따른 제1 센서(SEN1)는 80MHz에서 최소 3번의 측정 사이클들에 의한 3장의 촬영 데이터만 모든 영역에서 위글링 에러를 결정할 수 있다.
추가적으로, 전술한 바와 같이 비행 시간 센서의 내부 또는 외부에 장착된 가변 지연 회로(GDL)를 이용하여 임의의 간격으로 송신 광의 위상, 즉 글로벌 지연 위상을 변경하면 마치 더 멀리 떨어진 거리의 테스트 피사체를 촬영한 것과 같은 효과를 나타낼 수 있다. 이와 같이, 측정 사이클에 따른 서로 다른 복수의 글로벌 위상 지연들 및 픽셀 위치에 따른 서로 다른 복수의 로컬 지연 위상들을 구현함으로써 다양한 위상차들을 효율적으로 측정할 수 있다.
도 19a 내지 21은 본 발명의 실시예들에 따른 비행 시간 센서의 에러 보정 방법의 효과를 설명하기 위한 도면들이다.
도 19a 내지 21에는 100MHz의 동작 주파수에 대해 비행 시간 센서의 위글링 캘리브레이션(wiggling calibration)을 진행한 결과가 도시되어 있다. 도 19a 내지 21에서 가로축은 한 주기(2π)에 해당하는 위상을 0~1로 정규화한 값을 나타내고, 세로축은 결정된 위글링 에러의 대표 오프셋 값을 나타낸다.
도 19a 내지 20b는 도 9a를 참조하여 설명한 무빙 차트(Moving chart) 방법을 사용하여 데이터를 획득하여 위글링 캘리브레이션을 위해 생성된 룩업 함수 또는 룩업 테이블을 나타낸다.
94% 반사율의 화이트 보드(white board)를 사용하고, 비행 시간 센서의 광축과 화이트 보드가 완전히 수직하도록 정렬하여 촬영한다. 100MHz 신호의 한 주기에 해당하는 1500mm 길이의 구간을 20등분하여 일정 간격으로 화이트 보드를 이동시키며 촬영한다. 즉 경계 포함 21회의 측정 사이클들에서 촬영한다. 이 때, 촬영 영상의 가운데 3*3 영역의 측정 값만을 추출, 평균 값을 구하여 해당 거리의 대표 측정 값으로 사용한다.
이러한 21회의 측정 결과가 도 19a에 도시되어 있고, 이를 곡선 핏팅(spline fitting)한 결과가 도 19b에 도시되어 있다.
추가 비교를 위하여 좀더 넓게 10등분한 간격으로도 유사한 방식으로 데이터를 획득한다. 즉 경계 포함 11회의 측정 사이클들에서 촬영한다. 이러한 11회의 측정 결과가 도 20a에 도시되어 있고, 이를 곡선 핏팅한 결과가 도 20b에 도시되어 있다.
도 19a 및 19b에 도시된 바와 같이 21회 촬영 데이터로는 매핑 테이블을 구하기 위한 충분한 데이터를 획득하기 어렵고, 실제 위글링 에러의 보정을 위해서는 더 많은 데이터가 필요하다. 그러나 위글링 캘리브레이션은 비행 시간 센서 모듈 별로(M2M, module-to-module) 진행되어야 하는데, 21번의 촬영만 해도 M2M 캘리브레이션에 사용되기에는 현실적으로 너무 많은 시간이 소요된다.
한편 본 발명의 실시예들에 따라서, 버퍼 체인 회로(DBC)에 의해 복수의 로컬 지연 위상들이 구현된 비행 시간 센서로부터 500mm 거리에 화이트 보드를 고정시켜놓고, 가변 지연 회로(GDL)를 이용하여 글로벌 지연 위상을 변경시키면서 촬영한다. 무빙 차트와 마찬가지로 21회의 측정 사이클들 및 11회의 측정 사이클들에서 촬영한다.
도 15 내지 17을 참조하여 설명한 바와 같이, 본 발명의 실시예들에 따라서 복수의 측정 사이클들에 대한 상기 비행 시간 센서의 모든 픽셀들에 상응하는 상기 측정 위상차들에 기초하여 위글링 에러를 결정할 수 있다. 이와 같이, 21 회 및 11회의 측정 결과에 따른 매핑 테이블들이 도 21에 중첩하여 도시되어 있다.
종래의 무빙 차트의 경우에는 화이트 보드를 매번 정교하게 이동시켜야 하는 문제가 있어서 21회의 촬영 시 대략 5~6분 정도의 시간이 소요된다. 그에 반해, 본 발명의 경우, 수 초 이내 촬영 및 매핑 테이블 계산이 완료된다.
위글링 캘리브레이션 중에 온도가 변하면 제어 코드 당 가변 지연 회로(GDL)의 지연량이 달라져서 캘리브레이션 오차가 발생할 수 있다. 본 발명의 캘리브레이션 방법은 촬영 시간(약 3초) 동안만 온도가 유지 되면 캘리브레이션이 가능하기 때문에 온도 변화에 강인한 장점이 있다.
도 21에 도시된 바와 같이, 본 발명의 실시예들에 따른 방법은 추가적인 곡선 핏팅 없이도 매우 촘촘하면서도 부드러운 매핑 테이블을 획득할 수 있다. 또한 도 21에 도시된 바와 같이, 본 발명의 실시예들에 따른 방법은 11회의 촬영 결과와 21회의 촬영 결과가 거의 동일함을 알 수 있고, 종래 기술과 달리 적은 수의 촬영으로도 유사한 결과를 획득할 수 있다.
도 22는 본 발명의 실시예들에 따른 카메라 시스템을 나타내는 블록도이고, 도 23은 본 발명의 실시예들에 따른 카메라 시스템의 에러 보정을 나타내는 도면이다.
도 22를 참조하면, 카메라 시스템(500)은 프로세서(CPU)(520)와 결합되고 통신하는 비행 시간 센서 모듈(SEN)(530)을 포함할 수 있다. 또한, 카메라 시스템(100)은 프로세서(520)에 결합된 메모리(MEM)(510)를 포함할 수 있다. 메모리(510)는 비행 시간 센서 모듈(530)로부터 수신된 데이터를 저장할 수 있다. 또한, 메모리(510)는 본 발명의 실시예들에 따른 방법에 의해 결정된 위글링 에러의 매핑 테이블(TAB)을 저장할 수 있다.
실시예들에 따라서, 카메라 시스템(500)은 단일 IC(Integrated Circuit) 또는 칩에 캡슐화될 수 있다. 이와는 달리, 하나 또는 그 이상의 구성 요소들(510, 520, 530)은 분리된 칩으로 구현될 수 있다.
프로세서(520)는 위상차 발생부(PDG) 및 에러 보정부(CALB)를 포함할 수 있다.
위상차 발생부(PDG)는 비행 시간 센서 모듈(530)로부터 제공되는 테스트 피사체로부터 반사된 수신 광을 샘플링한 샘플 데이터에 기초하여 측정 위상차들을 제공할 수 있다. 실시예에 따라서, 위상차 발생부(PDG)는 비행 시간 센서 모듈(530)에 배치될 수 있고, 이 경우 프로세서(520)는 비행 시간 센서 모듈(530)로부터 샘플 데이터 대신에 상기 측정 위상차들을 제공받을 수 있다.
에러 보정부(CALB)는 전술한 캘리브레이션 방법에 의해 제공된 위글링 에러, 즉 매핑 테이블(TAB)에 기초하여 비행 시간 센서 모듈(530)에 의해 측정된 타겟 피사체까지의 거리를 보정할 수 있다. 도 23의 제1 경우(CS1)는 한 주기에 해당하는 거리(가로축)에 대하여 위글링 에러를 보정하기 전의 측정 거리의 오차(세로축)를 나타내고 제2 경우(CS2)는 위글링 에러를 보정한 후의 측정 거리의 오차를 나타낸다.
본 명세서에서 카메라 시스템(100)은 3D 카메라 어플리케이션들로 구성되어 있는 임의의 저전력 전자 장치일 수 있다. 카메라 시스템(500)은 비휴대용 또는 휴대용일 수 있다.
카메라 시스템(500)의 비휴대용 버전의 예들은 자동차 또는 트럭과 같은 차량, 항공기, 항공 플랫폼(air-born platform), 선박, 무인 운반차(rail-guided vehicle), 차량의 운전자 측에 장착된 카메라(예를 들어, 운전자가 깨어 있는지 아닌지를 모니터링하는), 비디오 아케이드의 콘솔 게임, 상호적 비디오 터미널, 머신 비전 시스템, 산업용 로봇, VR 장비 등을 포함할 수 있지만, 이에 한정되지 않는다.
카메라 시스템(500)의 휴대용 버전의 예는 모바일 장치, 휴대폰, 스마트폰, 사용자 단말기(User Equipment: UE), M2M(Machine-to-Machine) 통신 유닛, 가상 현실(VR, virtual reality) 장비 또는 모듈, 로봇 등을 포함할 수 있지만 이에 한정되지 않는다.
일 실시예에서, 프로세서(520)는 범용 마이크로 프로세서인 CPU일 수 있다. 그러나, 프로세서(119)는 CPU 이외에도 마이크로 제어기, DSP(Digital Signal Processor), GPU(Graphics Processing Unit), 전용 ASIC(Application Specific Integrated Circuit) 프로세서 등을 포함할 수 있고, 이에 한정되지 않는다.
도 24는 본 발명의 이미지 센서를 컴퓨팅 시스템에 응용한 예를 나타내는 블록도이다.
도 24를 참조하면, 컴퓨팅 시스템(1000)은 프로세서(1010), 메모리 장치(1020), 저장 장치(1030), 입출력 장치(1040), 파워 서플라이(1050) 및 비행 시간 센서(100)를 포함할 수 있다. 한편, 도 24에는 도시되지 않았지만, 컴퓨팅 시스템(1000)은 비디오 카드, 사운드 카드, 메모리 카드, USB 장치 등과 통신하거나, 또는 다른 전자 기기들과 통신할 수 있는 포트(port)들을 더 포함할 수 있다.
프로세서(1010)는 특정 계산들 또는 태스크(task)들을 수행할 수 있다. 실시예에 따라, 프로세서(1010)는 마이크로프로세서(micro-processor), 중앙 처리 장치(Central Processing Unit; CPU)일 수 있다. 프로세서(1010)는 어드레스 버스(address bus), 제어 버스(control bus) 및 데이터 버스(data bus)를 통하여 메모리 장치(1020), 저장 장치(1030) 및 입출력 장치(1040)와 통신을 수행할 수 있다.
실시예에 따라, 프로세서(1010)는 주변 구성요소 상호연결(Peripheral Component Interconnect; PCI) 버스와 같은 확장 버스에도 연결될 수 있다. 메모리 장치(1020)는 컴퓨팅 시스템(1000)의 동작에 필요한 데이터를 저장할 수 있다.
예를 들어, 메모리 장치(1020)는 디램(DRAM), 모바일 디램, 에스램(SRAM), 피램(PRAM), 에프램(FRAM), 알램(RRAM) 및/또는 엠램(MRAM)으로 구현될 수 있다. 저장 장치(1030)는 솔리드 스테이트 드라이브(solid state drive), 하드 디스크 드라이브(hard disk drive), 씨디롬(CD-ROM) 등을 포함할 수 있다. 입출력 장치(1040)는 키보드, 키패드, 마우스 등과 같은 입력 수단 및 프린터, 디스플레이 등과 같은 출력 수단을 포함할 수 있다. 파워 서플라이(1050)는 전자 기기(1000)의 동작에 필요한 동작 전압을 공급할 수 있다.
비행 시간 센서(100)는 상기 버스들 또는 다른 통신 링크를 통해서 프로세서(1010)와 연결되어 통신을 수행할 수 있다. 전술한 바와 같이, 비행 시간 센서(100)는 전술한 바와 같이 측정 사이클에 따른 서로 다른 복수의 글로벌 위상 지연들 및 픽셀 위치에 따른 서로 다른 복수의 로컬 지연 위상들을 구현함으로써 다양한 위상차들을 효율적으로 측정할 수 있다. 비행 시간 센서(100)는 프로세서(1010)와 함께 하나의 칩에 집적될 수도 있고, 서로 다른 칩에 각각 집적될 수도 있다.
도 25는 도 24의 컴퓨팅 시스템에서 사용되는 인터페이스의 일 예를 나타내는 블록도이다.
도 25를 참조하면, 컴퓨팅 시스템(1100)은 MIPI 인터페이스를 사용 또는 지원할 수 있는 데이터 처리 장치로 구현될 수 있고, 어플리케이션 프로세서(1110), 비행 시간 센서(1140) 및 디스플레이(1150) 등을 포함할 수 있다.
어플리케이션 프로세서(1110)의 CSI 호스트(1112)는 카메라 시리얼 인터페이스(Camera Serial Interface; CSI)를 통하여 비행 시간 센서(1140)의 CSI 장치(1141)와 시리얼 통신을 수행할 수 있다.
일 실시예에서, CSI 호스트(1112)는 디시리얼라이저(DES)를 포함할 수 있고, CSI 장치(1141)는 시리얼라이저(SER)를 포함할 수 있다. 어플리케이션 프로세서(1110)의 DSI 호스트(1111)는 디스플레이 시리얼 인터페이스(Display Serial Interface; DSI)를 통하여 디스플레이(1150)의 DSI 장치(1151)와 시리얼 통신을 수행할 수 있다.
일 실시예에서, DSI 호스트(1111)는 시리얼라이저(SER)를 포함할 수 있고, DSI 장치(1151)는 디시리얼라이저(DES)를 포함할 수 있다. 나아가, 컴퓨팅 시스템(1100)은 어플리케이션 프로세서(1110)와 통신을 수행할 수 있는 알에프(Radio Frequency; RF) 칩(1160)을 더 포함할 수 있다.
컴퓨팅 시스템(1100)의 PHY(1113)와 RF 칩(1160)의 PHY(1161)는 MIPI(Mobile Industry Processor Interface) DigRF에 따라 데이터 송수신을 수행할 수 있다. 또한, 어플리케이션 프로세서(1110)는 PHY(1161)의 MIPI DigRF에 따른 데이터 송수신을 제어하는 DigRF MASTER(1114)를 더 포함할 수 있다.
한편, 컴퓨팅 시스템(1100)은 지피에스(Global Positioning System; GPS)(1120), 스토리지(1170), 마이크(1180), 디램(Dynamic Random Access Memory; DRAM)(1185) 및 스피커(1190)를 포함할 수 있다. 또한, 컴퓨팅 시스템(1100)은 초광대역(Ultra WideBand; UWB)(1210), 무선 랜(Wireless Local Area Network; WLAN)(1220) 및 와이맥스(Worldwide Interoperability for Microwave Access; WIMAX)(1230) 등을 이용하여 통신을 수행할 수 있다. 다만, 컴퓨팅 시스템(1100)의 구조 및 인터페이스는 하나의 예시로서 이에 한정되는 것이 아니다.
이상 설명한 바와 같이, 본 발명의 실시예들에 따른 비행 시간 센서의 복수의 로컬 지연 위상들과 가변적인 글로벌 지연 위상을 이용하여 한 장의 차트 영상에서도 많은 거리에 대한 측정 샘플을 획득할 수 있기 때문에, 적은 수의 측정 사이클로도 위글링 에러를 효율적으로 획득할 수 있다.
본 발명의 실시예들은 비행 시간 센서를 포함하는 장치 및 시스템에 유용하게 이용될 수 있다. 예를 들어, 본 발명의 실시예들은 컴퓨터(computer), 노트북(laptop), 핸드폰(cellular phone), 스마트폰(smart phone), 피디에이(Personal Digital Assistants; PDA), 피엠피(Portable Multimedia Player; PMP), 디지털 TV, 디지털 카메라, 포터블 게임 콘솔(portable game console), 네비게이션(navigation) 기기, 웨어러블(wearable) 기기, IoT(internet of things;) 기기, IoE(internet of everything:) 기기, e-북(e-book), VR(virtual reality) 기기, AR(augmented reality) 기기, 차량용 네비게이션, 비디오 폰, 감시 시스템, 자동 포커스 시스템, 추적 시스템, 동작 감지 시스템 등과 같은 전자 기기에 더욱 유용하게 적용될 수 있다.
상기에서는 본 발명이 바람직한 실시예를 참조하여 설명하였지만, 해당 기술분야의 숙련된 당업자는 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 것이다.

Claims (20)

  1. 변조 신호에 기초하여 변조된 송신 광을 테스트 피사체에 조사하는 단계;
    버퍼 체인 회로를 이용하여 서로 다른 복수의 로컬 지연 위상들을 갖는 복수의 복조 신호들을 발생하는 단계;
    상기 복수의 복조 신호들을 비행 시간 센서의 복수의 픽셀 그룹들에 각각 제공하고 상기 복수의 복조 신호들에 기초하여 상기 테스트 피사체로부터 반사된 수신 광을 샘플링하여 측정 위상차들을 제공하는 단계;
    상기 측정 위상차들에 기초하여 상기 송신 광과 상기 수신 광의 위상차에 의존하는 위글링 에러를 결정하는 단계; 및
    상기 위글링 에러에 기초하여 상기 비행 시간 센서에 의해 측정된 타겟 피사체까지의 거리를 보정하는 단계를 포함하는 비행 시간 (Time of Flight) 센서의 에러 보정 방법.
  2. 제1 항에 있어서,
    복수의 측정 사이클들에서 서로 다른 복수의 글로벌 지연 위상들을 각각 갖도록 상기 변조 신호를 발생하는 단계를 더 포함하는 것을 특징으로 하는 비행 시간 센서의 에러 보정 방법.
  3. 제2 항에 있어서,
    상기 테스트 피사체는 상기 복수의 측정 사이클들에서 동일한 위치에 고정되는 것을 특징으로 하는 비행 시간 센서의 에러 보정 방법.
  4. 제2 항에 있어서,
    상기 복수의 측정 사이클들에서 상기 복수의 로컬 지연 위상들은 변화하지 않고 고정되는 것을 특징으로 하는 비행 시간 센서의 에러 보정 방법.
  5. 제2 항에 있어서,
    상기 복수의 측정 사이클들에 대한 상기 비행 시간 센서의 모든 픽셀들에 상응하는 상기 측정 위상차들에 기초하여 상기 위글링 에러를 결정하는 것을 특징으로 하는 비행 시간 센서의 에러 보정 방법.
  6. 제2 항에 있어서,
    상기 변조 신호를 발생하는 단계는,
    제어 코드에 따라서 변화하는 지연량을 갖는 가변 지연 회로를 이용하여 상기 변조 신호를 발생하는 단계; 및
    상기 복수의 측정 사이클들에서 상기 복수의 글로벌 지연 위상들을 각각 갖는 상기 변조 신호를 발생하도록 상기 복수의 측정 사이클들에서 상기 제어 코드를 순차적으로 변경하는 단계를 포함하는 것을 특징으로 하는 비행 시간 센서의 에러 보정 방법.
  7. 제6 항에 있어서,
    상기 가변 지연 회로는 상기 비행 시간 센서의 외부에 배치되는 것을 특징으로 하는 비행 시간 센서의 에러 보정 방법.
  8. 제2 항에 있어서,
    상기 위글링 에러를 결정하는 단계는,
    상기 비행 시간 센서의 모든 픽셀들에 대하여, 상기 복수의 측정 사이클들에서 측정되는 각각의 픽셀에 상응하는 측정 위상차들을 각각의 일차 함수로 선형 핏팅하는 단계;
    상기 모든 픽셀들에 대하여, 상기 각각의 픽셀에 상응하는 측정 위상차들 및 상기 각각의 일차 함수의 값의 오차에 해당하는 오프셋 값들을 계산하는 단계;
    상기 모든 픽셀들에 대한 상기 측정 위상차들 및 상기 오프셋 값들에 대하여, 동일한 측정 위상차에 상응하는 오프셋 값들에 기초하여 상기 측정 위상차들의 각각에 상응하는 대표 오프셋 값들을 결정하는 단계; 및
    상기 대표 오프셋 값들에 기초하여 상기 위글링 에러를 나타내는 매핑 함수를 결정하는 단계를 포함하는 것을 특징으로 하는 비행 시간 센서의 에러 보정 방법.
  9. 제8 항에 있어서,
    상기 매핑 함수는 상기 측정 위상차들 및 상기 대표 오프셋 값들의 매핑 관계를 나타내는 매핑 테이블의 형태로 제공되는 것을 특징으로 하는 비행 시간 센서의 에러 보정 방법.
  10. 제1 항에 있어서,
    상기 버퍼 체인 회로는 상기 비행 시간 센서 내에 집적되는 것을 특징으로 하는 비행 시간 센서의 에러 보정 방법.
  11. 비행 시간(Time of flight) 센서; 및
    상기 비행 시간 센서의 위글링 에러를 측정하는 테스트 장치를 포함하고,
    상기 비행 시간 센서는,
    변조 신호에 기초하여 변조된 상기 송신 광을 피사체에 조사하는 광원;
    서로 다른 복수의 로컬 지연 위상들을 갖는 복수의 복조 신호들을 발생하는 버퍼 체인 회로; 및
    상기 복수의 복조 신호들을 각각 수신하는 픽셀 그룹들로 그룹화되고 상기 복수의 복조 신호들에 기초하여 상기 테스트 피사체로부터 반사된 수신 광을 샘플링하여 측정 위상차들을 제공하는 픽셀들을 포함하는 픽셀 어레이를 포함하는 테스트 시스템.
  12. 제11 항에 있어서,
    복수의 측정 사이클들에서 상기 변조 신호는 서로 다른 복수의 글로벌 지연 위상들을 각각 갖는 것을 특징으로 하는 테스트 시스템.
  13. 제12 항에 있어서,
    상기 테스트 장치는, 제어 코드에 기초하여 상기 제어 코드에 상응하는 지연량을 갖는 상기 변조 신호를 발생하는 가변 지연 회로를 포함하고,
    상기 테스트 장치는, 상기 복수의 측정 사이클들에서 상기 제어 코드를 순차적으로 변경하여 상기 복수의 측정 사이클들에서 서로 다른 복수의 글로벌 지연 위상들을 각각 갖는 상기 변조 신호를 상기 비행 시간 센서에 제공하는 것을 특징으로 하는 테스트 시스템.
  14. 제13 항에 있어서
    상기 가변 지연 회로는 직렬로 연결된 복수의 지연 유닛들을 포함하고, 상기 복수의 지연 유닛들의 각각은,
    이전의 지연 유닛의 출력을 지연하는 지연 회로; 및
    상기 제어 코드의 각 비트에 응답하여 상기 이전의 지연 유닛의 출력 및 상기 지연 유닛의 출력 중 하나를 선택하여 다음의 지연 유닛으로 출력하는 선택기를 포함하는 것을 특징으로 하는 테스트 시스템.
  15. 제12 항에 있어서,
    상기 비행 시간 센서는, 제어 코드에 기초하여 상기 제어 코드에 상응하는 지연량을 갖는 상기 변조 신호를 발생하는 가변 지연 회로를 더 포함하고,
    상기 테스트 장치는, 복수의 측정 사이클들에서 서로 다른 복수의 글로벌 지연 위상들을 각각 갖는 상기 변조 신호를 발생하도록 상기 복수의 측정 사이클들에서 순차적으로 변경되는 상기 제어 코드를 상기 비행 시간 센서에 제공하는 것을 특징으로 하는 테스트 시스템.
  16. 제12 항에 있어서,
    상기 테스트 장치는,
    상기 비행 시간 센서의 모든 픽셀들에 대하여, 상기 복수의 측정 사이클들에서 측정되는 각각의 픽셀에 상응하는 측정 위상차들을 각각의 일차 함수로 선형 핏팅하고,
    상기 모든 픽셀들에 대하여, 상기 각각의 픽셀에 상응하는 측정 위상차들 및 상기 각각의 일차 함수의 값의 오차에 해당하는 오프셋 값들을 계산하고,
    상기 모든 픽셀들에 대한 상기 측정 위상차들 및 상기 오프셋 값들에 대하여, 동일한 측정 위상차에 상응하는 오프셋 값들에 기초하여 상기 측정 위상차들의 각각에 상응하는 대표 오프셋 값들을 결정하고,
    상기 대표 오프셋 값들에 기초하여 상기 위글링 에러를 나타내는 매핑 함수를 결정하는 것을 특징으로 하는 테스트 시스템.
  17. 제16 항에 있어서,
    상기 테스트 장치는, 상기 매핑 함수를 상기 송신 광과 상기 수신 광의 위상차들 및 상기 대표 오프셋 값들의 매핑 관계를 나타내는 매핑 테이블의 형태로 상기 비행 시간 센서에 제공하고,
    상기 비행 시간 센서는, 상기 매핑 테이블에 기초하여 상기 비행 시간 센서에 의해 측정된 타겟 피사체까지의 거리를 보정하는 것을 특징으로 하는 테스트 시스템.
  18. 변조 신호에 기초하여 변조된 송신 광을 피사체에 조사하는 광원;
    서로 다른 복수의 로컬 지연 위상들을 갖는 복수의 복조 신호들을 발생하는 버퍼 체인 회로; 및
    상기 복수의 복조 신호들을 각각 수신하는 픽셀 그룹들로 그룹화되고 상기 복수의 복조 신호들의 각각에 기초하여 상기 테스트 피사체로부터 반사된 수신 광을 샘플링하여 측정 위상차들을 제공하는 픽셀들을 포함하는 픽셀 어레이를 포함하는 비행 시간(Time of Flight) 센서.
  19. 제18 항에 있어서,
    상기 버퍼 체인 회로는,
    직렬로 연결되어 상기 복수의 복조 신호들을 각각 발생하는 복수의 지연 버퍼 유닛들을 포함하는 것을 특징으로 하는 비행 시간 센서.
  20. 제19 항에 있어서,
    상기 비행 시간 센서는, 제어 코드에 기초하여 상기 제어 코드에 상응하는 지연량을 갖는 상기 변조 신호를 발생하는 가변 지연 회로를 더 포함하고,
    상기 비행 시간 센서는, 복수의 측정 사이클들에서 서로 다른 복수의 글로벌 지연 위상들을 각각 갖는 상기 변조 신호를 발생하도록 상기 복수의 측정 사이클들에서 순차적으로 변경되는 상기 제어 코드를 외부의 테스트 장치로부터 수신하는 것을 특징으로 하는 비행 시간 센서.
KR1020190113980A 2019-09-17 2019-09-17 비행 시간 센서 및 비행 시간 센서의 에러 보정 방법 KR20210032669A (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020190113980A KR20210032669A (ko) 2019-09-17 2019-09-17 비행 시간 센서 및 비행 시간 센서의 에러 보정 방법
US16/829,467 US11789133B2 (en) 2019-09-17 2020-03-25 Time-of-flight sensor and method of calibrating errors in the same
DE102020113140.2A DE102020113140B4 (de) 2019-09-17 2020-05-14 Testsystem und Verfahren zum Kalibrieren von Fehlern in einem Time-of-Flight (ToF)-Sensor
CN202010654539.4A CN112596065A (zh) 2019-09-17 2020-07-08 飞行时间传感器及校准其中的误差的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190113980A KR20210032669A (ko) 2019-09-17 2019-09-17 비행 시간 센서 및 비행 시간 센서의 에러 보정 방법

Publications (1)

Publication Number Publication Date
KR20210032669A true KR20210032669A (ko) 2021-03-25

Family

ID=74686684

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190113980A KR20210032669A (ko) 2019-09-17 2019-09-17 비행 시간 센서 및 비행 시간 센서의 에러 보정 방법

Country Status (4)

Country Link
US (1) US11789133B2 (ko)
KR (1) KR20210032669A (ko)
CN (1) CN112596065A (ko)
DE (1) DE102020113140B4 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113438133B (zh) * 2021-06-30 2022-11-29 北京小米移动软件有限公司 Uwb设备测试方法、装置、***、电子设备及存储介质
EP4152045A1 (en) 2021-09-16 2023-03-22 Samsung Electronics Co., Ltd. Image sensor for measuring distance and camera module including the same
CN115469331A (zh) * 2022-09-05 2022-12-13 奥比中光科技集团股份有限公司 Itof相机、标定方法及相关设备

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8391698B2 (en) 2005-10-28 2013-03-05 Hewlett-Packard Development Company, L.P. Systems and methods of generating Z-buffers for an image capture device of a camera
US7450220B2 (en) 2006-02-08 2008-11-11 Canesta, Inc Method and system to correct motion blur and reduce signal transients in time-of-flight sensor systems
US8587771B2 (en) 2010-07-16 2013-11-19 Microsoft Corporation Method and system for multi-phase dynamic calibration of three-dimensional (3D) sensors in a time-of-flight system
US9325920B2 (en) 2012-01-10 2016-04-26 Softkinetics Sensors Nv Processing of time-of-flight signals
EP3129803B1 (en) 2014-04-08 2020-03-11 University of Waikato Signal harmonic error cancellation method and apparatus
DE102015225192A1 (de) 2014-12-15 2016-06-16 Pmdtechnologies Gmbh Lichtlaufzeitmesssystem mit Überreichweitenerkennung
US10061029B2 (en) 2015-01-06 2018-08-28 Samsung Electronics Co., Ltd. Correction of depth images from T-O-F 3D camera with electronic-rolling-shutter for light modulation changes taking place during light integration
DE102015103472B4 (de) 2015-03-10 2021-07-15 Sick Ag Entfernungsmessender Sensor und Verfahren zur Erfassung und Abstandsbestimmung von Objekten
US20170041589A1 (en) * 2015-08-06 2017-02-09 Texas Instruments Incorporated Non-linearity correction in phase-to-depth conversion in 3d time of flight systems
US10516875B2 (en) 2016-01-22 2019-12-24 Samsung Electronics Co., Ltd. Method and apparatus for obtaining depth image by using time-of-flight sensor
DE102016204140B3 (de) 2016-03-14 2017-04-06 pmdtechnologies ag Vorrichtung und Verfahren zur Kalibrierung einer Lichtlaufzeitkamera

Also Published As

Publication number Publication date
CN112596065A (zh) 2021-04-02
US11789133B2 (en) 2023-10-17
US20210080554A1 (en) 2021-03-18
DE102020113140B4 (de) 2023-12-14
DE102020113140A1 (de) 2021-03-18

Similar Documents

Publication Publication Date Title
US10677923B2 (en) Optoelectronic modules for distance measurements and/or multi-dimensional imaging
US10602086B2 (en) Methods of operating image sensors
CN110596722B (zh) 直方图可调的飞行时间距离测量***及测量方法
WO2021008209A1 (zh) 深度测量装置及距离测量方法
KR20210032669A (ko) 비행 시간 센서 및 비행 시간 센서의 에러 보정 방법
KR102470675B1 (ko) 등극선 레이저 포인트 스캔을 이용한 3차원 카메라의 타임스탬프 측정
JP5918763B2 (ja) 階層的な飛行時間(tof)システムのディエリアシング方法およびシステム
CN111045029B (zh) 一种融合的深度测量装置及测量方法
CN109343070A (zh) 时间飞行深度相机
US20130229491A1 (en) Method of operating a three-dimensional image sensor
KR20160032014A (ko) 타임 오브 플라이트 시스템 구동 방법
KR20120075739A (ko) 이미지 처리 시스템 및 이미지 처리 방법
KR20120105169A (ko) 복수의 거리 픽셀들을 포함하는 3차원 이미지 센서의 구동 방법
CN110596723A (zh) 动态直方图绘制飞行时间距离测量方法及测量***
KR20120111013A (ko) 3차원 이미지 센서 및 이를 이용한 거리 측정 방법
WO2019146457A1 (en) Time-of-flight image sensor with distance determination
KR102003322B1 (ko) 3차원 이미지 센서의 거리 픽셀의 구동 방법 및 3차원 이미지 센서의 구동 방법
CN111474553B (zh) 飞时测距方法与装置
US10877154B2 (en) Range estimation for light detecting and ranging (LIDAR) systems
CN112946671A (zh) 光学距离计算装置和距离计算的方法
US20220018946A1 (en) Multi-function time-of-flight sensor and method of operating the same
WO2022241942A1 (zh) 一种深度相机及深度计算方法
US20220043116A1 (en) Time-of-flight sensor and method of measuring distance using the same
JP2019100969A (ja) 距離計測装置、距離計測方法および距離計測プログラム
CN111200710A (zh) 用于单次读出深度测量的具有交织保持的图像传感器

Legal Events

Date Code Title Description
A201 Request for examination