KR20170054221A - 직접적인 tof 및 삼각 측량에 근거한 레인지 센서 장치 - Google Patents

직접적인 tof 및 삼각 측량에 근거한 레인지 센서 장치 Download PDF

Info

Publication number
KR20170054221A
KR20170054221A KR1020160111906A KR20160111906A KR20170054221A KR 20170054221 A KR20170054221 A KR 20170054221A KR 1020160111906 A KR1020160111906 A KR 1020160111906A KR 20160111906 A KR20160111906 A KR 20160111906A KR 20170054221 A KR20170054221 A KR 20170054221A
Authority
KR
South Korea
Prior art keywords
light
output
range
pixel
image sensor
Prior art date
Application number
KR1020160111906A
Other languages
English (en)
Other versions
KR102545703B1 (ko
Inventor
이빙 미쉘 왕
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20170054221A publication Critical patent/KR20170054221A/ko
Application granted granted Critical
Publication of KR102545703B1 publication Critical patent/KR102545703B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03K—PULSE TECHNIQUE
    • H03K5/00—Manipulating of pulses not covered by one of the other main groups of this subclass
    • H03K5/13—Arrangements having a single output and transforming input signals into pulses delivered at desired time intervals
    • H03K5/135—Arrangements having a single output and transforming input signals into pulses delivered at desired time intervals by the use of time reference signals, e.g. clock signals
    • H04N5/2256—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/487—Extracting wanted echo signals, e.g. pulse detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/10—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D21/00—Measuring or testing not otherwise provided for
    • G01D21/02—Measuring two or more variables by means not covered by a single other subclass
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/46—Indirect determination of position data
    • G01S17/48—Active triangulation systems, i.e. using the transmission and reflection of electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/487—Extracting wanted echo signals, e.g. pulse detection
    • G01S7/4876—Extracting wanted echo signals, e.g. pulse detection by removing unwanted signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/04—Generating or distributing clock signals or signals derived directly therefrom
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03K—PULSE TECHNIQUE
    • H03K17/00—Electronic switching or gating, i.e. not by contact-making and –breaking
    • H03K17/30—Modifications for providing a predetermined threshold before switching
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03K—PULSE TECHNIQUE
    • H03K19/00—Logic circuits, i.e. having at least two inputs acting on one output; Inverting circuits
    • H03K19/0008—Arrangements for reducing power consumption
    • H03K19/0016—Arrangements for reducing power consumption by using a control or a clock signal, e.g. in order to apply power supply
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03K—PULSE TECHNIQUE
    • H03K3/00—Circuits for generating electric pulses; Monostable, bistable or multistable circuits
    • H03K3/01—Details
    • H03K3/012—Modifications of generator to improve response time or to decrease power consumption
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03K—PULSE TECHNIQUE
    • H03K3/00—Circuits for generating electric pulses; Monostable, bistable or multistable circuits
    • H03K3/02—Generators characterised by the type of circuit or by the means used for producing pulses
    • H03K3/027—Generators characterised by the type of circuit or by the means used for producing pulses by the use of logic circuits, with internal or external positive feedback
    • H03K3/037—Bistable circuits
    • H03K3/0372—Bistable circuits of the master-slave type
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03K—PULSE TECHNIQUE
    • H03K3/00—Circuits for generating electric pulses; Monostable, bistable or multistable circuits
    • H03K3/02—Generators characterised by the type of circuit or by the means used for producing pulses
    • H03K3/353—Generators characterised by the type of circuit or by the means used for producing pulses by the use, as active elements, of field-effect transistors with internal or external positive feedback
    • H03K3/356—Bistable circuits
    • H03K3/356017—Bistable circuits using additional transistors in the input circuit
    • H03K3/356052—Bistable circuits using additional transistors in the input circuit using pass gates
    • H04N13/02—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/767—Horizontal readout lines, multiplexers or registers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • H04N5/347—
    • H04N5/3741—
    • H04N5/3742—
    • H04N5/3745—
    • H04N5/378—
    • H04N9/735—
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G01S7/4863—Detector arrays, e.g. charge-transfer gates
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03K—PULSE TECHNIQUE
    • H03K19/00—Logic circuits, i.e. having at least two inputs acting on one output; Inverting circuits
    • H03K19/0008—Arrangements for reducing power consumption
    • H03K19/0013—Arrangements for reducing power consumption in field effect transistor circuits
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03K—PULSE TECHNIQUE
    • H03K3/00—Circuits for generating electric pulses; Monostable, bistable or multistable circuits
    • H03K3/02—Generators characterised by the type of circuit or by the means used for producing pulses
    • H03K3/353—Generators characterised by the type of circuit or by the means used for producing pulses by the use, as active elements, of field-effect transistors with internal or external positive feedback
    • H03K3/356—Bistable circuits
    • H03K3/356104—Bistable circuits using complementary field-effect transistors
    • H03K3/356113—Bistable circuits using complementary field-effect transistors using additional transistors in the input circuit
    • H03K3/356147—Bistable circuits using complementary field-effect transistors using additional transistors in the input circuit using pass gates

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer Hardware Design (AREA)
  • Nonlinear Science (AREA)
  • Measurement Of Optical Distance (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

레인지 센서 및 방법이 제공된다. 레인지 센서는 시야(field of view, FOV) 내의 각도에서 단면광을 투사하는 광원; 상기 광원으로부터의 오프셋을 포함하는 이미지 센서; 수집 광학계; 및 상기 광원, 상기 이미지 센서, 및 상기 수집 광학계에 연결되고, 직접적인 TOF(time-of-flight)에 근거하여 원거리 오브젝트의 범위를 결정하고, 삼각 측량에 근거하여 근거리 오브젝트의 범위를 결정하는 제어기를 포함한다. 레인지 센서 방법은 광원을 통해 시야(field of view, FOV) 내의 각도로 단면광을 투사하는 단계; 상기 광원으로부터 이미지 센서를 오프셋하는 단계; 오브젝트들에 반사된 상기 단면광을 수집 광학계를 통해 수집하는 단계; 및 상기 광원, 상기 이미지 센서, 및 상기 수집 광학계와 연결된 제어기를 통해, 직접적인 TOF(time of flight)에 근거하여 원거리 오브젝트의 범위 및 삼각 측량에 근거하여 근거리 오브젝트의 범위를 동시에 결정하는 단계를 포함한다.

Description

직접적인 TOF 및 삼각 측량에 근거한 레인지 센서 장치{APPARATUS FOR RANGE SENSOR BASED ON DIRECT TIME-OF-FLIGHT AND TRIANGULATION}
본 발명은 레인지 센서의 장치 및 방법으로써, 좀 더 구체적으로, TOF(Time Of Flight) 및 삼각 측량에 근거한 레인지 센서의 장치 및 방법에 관한 것이다.
ADAS(advanced driver assistant systems)를 위한 고속 3D(three-dimensional) 이미징 시스템, 자율 주행을 위한 고속 3D 이미징 시스템과 같은 매우 다양한 어플리케이션에서 3D 이미징 시스템의 사용은 점차적으로 증가하고 있다.
현존하는 3D 이미징 기술들은, 예를 들어, TOF(Tim Of Flight)기반의 범위(range) 이미징, 스테레오 비전 시스템, 및 SL(structured light) 방법들을 포함할 수 있다.
TOF 방법에서, 3D 오브젝트까지의 범위(또는 거리)는 이미지의 각각의 포인트에 대해서 광 신호가 카메라와 3D 오브젝트 사이를 이동하는데 걸리는 왕복 시간을 측정함으로써 잘 알려진 광의 속도에 근거하여 구해진다. TOF 카메라는 스캐너레스(scannerless) 접근법을 사용하여 레이저 또는 광펄스 각각을 통해서 전체 장면을 감지할 수 있다. TOF 방법에 의한 일부 예시적인 어플리케이션들은 실시간의 거리 이미지들에 근거한 능동적 보행자 안전(active pedestrian safety) 또는 충돌 방지와 같은 진보된 차량 어플리케이션을 포함한다. 또한, 비디오 게임 콘솔들 상에서 게임들과 상호 작용을 하는 동안 사람들의 움직임을 추적하는 것, 산업 머신 비전에서 오브젝트들을 분류하고, 로봇들이 컨베이어 벨트 등에서 아이템들을 찾는 것을 돕는 것 등을 포함한다.
입체 영상 또는 스테레오 비전 시스템들에서, 수평상에서 서로 떨어져 배치되어 있는 두 개의 카메라들은 하나의 장면상에서 서로 다른 시야들 또는 상기 장면에서 3D 오브젝트상의 서로 다른 시야들을 얻는데 사용된다. 이 두 개의 이미지들을 비교함으로써, 3D 오브젝트를 위해 상대적인 깊이 정보가 얻어진다. 로보틱스(robotics)와 같은 분야에서 자율 시스템/로봇들 근방의 3D 오브젝트들의 상대적인 위치에 관한 정보를 추출하는데 스테레오 비전은 매우 중요하다. 로보틱스를 위한 다른 어플리케이션들은 오브젝트 인식(object recognition)을 포함하고 입체 깊이 정보에 의해서 로봇 시스템이 흡장 이미지 요소들(occluding image components)을 분리 할 수 있다. 반면 오브젝트가 또 다른 오브젝트 앞부분에 위치하거나, 다른 오브젝트를 부분적으로 또는 전체로 가리는 경우에 로봇은 상기 흡장 이미지 요소들을 두 개의 분리된 오브젝트들로 구별하지 못할 수 있다. 3D 스테레오 디스플레이들은 오락 및 자동화 시스템들에 또한 이용된다.
SL 접근법에서, 오브젝트의 3D 형상은 투사되는 광 패턴들 및 이미징을 위한 카메라를 이용하여 측정될 수 있다. SL 방법에서, 그리드 또는 수평적 바들(bars) 또는 병렬 스트라이프 패턴으로 종종 알려진 광 패턴은 하나의 장면 또는 상기 장면에서의 3D 오브젝트 상에 투사될 수 있다. 투사된 패턴은 3D 오브젝트의 표면과 충돌할 때 변형되거나 이동될 수 있다. 상기 변형을 통해서 SL 비전 시스템은 오브젝트의 깊이 및 표면 정보를 측정할 수 있다. 그러므로, 3D 표면 상에 협대역의 광을 투사함으로써 조명 라인(line of illumination)을 형성할 수 있다. 상기 조명 라인은 프로젝터의 투시들과는 다르게 왜곡되어 나타날 수 있고, 비춰지는 표면 형상을 기하학적으로 복원하기 위해 사용될 수 있다. SL에 근거한 3D 이미징은 상이한 어플리케이션들에서 사용될 수 있다. 예를 들어, SL에 근거한 3D 이미징은 경찰에 의해서 지문을 인식하는 것에, 생산 과정에서 부품의 인라인 검사에, 또는 사람의 신체 형상 또는 피부와 같은 미세 구조의 실시간 측정을 위한 건광 관리에 사용될 수 있다.
본 발명은 레인지 센서의 장치 및 방법으로써, 좀 더 구체적으로, TOF(Time Of Flight) 및 삼각 측량에 근거한 레인지 센서의 장치 및 방법에 관한 것이다.
본 명세서에는 레인지 센서와 방법이 제공된다. 본 발명의 일 실시예에 따른 레인지 센서는 시야(field of view, FOV) 내의 각도에서 단면광을 투사하는 광원; 상기 광원으로부터의 오프셋을 포함하는 이미지 센서; 수집 광학계; 및 상기 광원, 상기 이미지 센서, 및 상기 수집 광학계에 연결되고, 직접적인 TOF(time-of-flight)에 근거하여 원거리 오브젝트의 범위를 결정하고, 삼각 측량에 근거하여 근거리 오브젝트의 범위를 결정하는 제어기를 포함한다.
본 발명의 일 실시예에 따른 레인지 센서 방법은 광원을 통해 시야(field of view, FOV) 내의 각도로 단면광을 투사하는 단계; 상기 광원으로부터 이미지 센서를 오프셋하는 단계; 오브젝트들에 반사된 상기 단면광을 수집 광학계를 통해 수집하는 단계; 및 상기 광원, 상기 이미지 센서, 및 상기 수집 광학계와 연결된 제어기를 통해, 직접적인 TOF(time of flight)에 근거하여 원거리 오브젝트의 범위 및 삼각 측량에 근거하여 근거리 오브젝트의 범위를 동시에 결정하는 단계를 포함한다.
본 발명의 실시예에서, 픽셀 셀은 애벌란시 모드(즉 가이거 모드)에서 동작하여, 원거리 오브젝트들에 반사된 광의 TOF를 감지하고, 가이거 모드 또는 선형 모드에서 동작하여 근거리 오브젝트들에 반사된 광의 차이를 감지하고, 전력 소비 및 기판에 의한 간섭을 감소시킨다.
본 발명의 특정 실시예의 상기한 내용 및 다른 내용들, 특징들, 및 이점들은 첨부 도면을 참조하여, 후술할 상세한 설명에서 더 명확하게 설명될 것이다. 상기 첨부 도면에서
도 1은 본 발명의 일 실시예에 따른 레인지 센서의 블록도이다.
도 2는 본 발명의 일 실시예에 따른 도 1의 이미지 센서의 블록도이다.
도 3은 본 발명의 일 실시예에 따른 도 2의 이미지 센서의 픽셀 어레이를 설명하는 도면이다.
도 4는 본 발명의 일 실시예에 따른 도 3의 픽셀 어레이의 픽셀 셀의 개략도이다.
도 5는 본 발명의 일 실시예에 따른 도 3의 픽셀 어레이의 픽셀 셀의 개략도이다.
도 6은 본 발명의 일 실시예에 따른 도 3의 픽셀 어레이 상의 원거리 오브젝트들 및 근거리 오브젝트들을 이미지하는 것을 설명하는 도면이다.
도 7은 본 발명의 일 실시예에 따른 오브젝트의 범위를 결정하는 것을 설명하는 도면이다.
도 8은 본 발명의 일 실시예에 따른 레인지 센서의 순서도이다.
도 9A 내지 도 9C는 본 발명의 일 실시예에 따른 게이팅 및 비닝을 설명하는 도면이다.
이하, 본 명세서의 실시예들은 첨부된 도면들을 참조하여 상세히 설명한다. 동일한 구성들이 다른 도면에 도시되어 있더라도 동일한 참조 번호로 지정된다. 이하 설명에서는 구체적인 구성 및 구성요소는 단지 본 발명의 실시예들의 전반적인 이해를 돕기 위하여 제공된다. 따라서, 본 명세서에서 설명되고 있는 실시예들의 다양한 변형 및 수정이 본 발명의 사상과 범위를 벗어나지 않고 이루어질 수 있다는 것은 당업자에게 자명할 것이다. 또한 공지 기능 및 구성에 대한 설명은 명확성 및 간결성을 위해 생략한다. 후술되는 용어들은 본 발명에서 기능을 고려하여 정의된 용어이고 사용자, 사용자의 의도, 또는 관습과 상이할 수 있다. 따라서, 용어의 정의는 명세서의 내용에 기초하여 결정되어야 한다.
본 발명은 이하 첨부된 도면들을 참조하여 상세히 설명되는 다양한 변형 및 실시예를 가질 수 있다. 그러나 본 발명은 실시예에 한정되지 않고, 본 발명의 기술 사상 및 범위 내 모든 변경, 균등, 대체 실시예를 포함할 수 있다. 첫째, 둘째 등과 같은 서수를 포함하는 용어가 다양한 구성을 설명하기 위해 사용됨에도 불구하고, 구성 요소들은 상기 용어들에 의해서 제한되지 않는다. 예를 들어, 본 발명의 범위를 벗어나지 않으면서, 제1 구성 요소는 제2 구성 요소라고도 할 수 있다. 마찬가지로, 제2 구성 요소도 제1 구성 요소라고 할 수 있다. 본원에서 사용되는 것처럼 “및/또는”은 하나 이상이 연관된 임의의 모든 조합을 포함한다.
본 명세서에서 사용되는 용어들은 단지 다양한 실시 예를 설명하기 위해 사용되지만, 본 발명에 한정되는 것은 아니다. 단수형의 경우에는 명백하게 의도되는 경우가 아니라면, 복수형을 포함한다. 본 명세서에서 용어 “포함하다” 또는 “가지다” 특징, 숫자, 단계, 동작, 구성 요소, 부품, 또는 이들의 조합의 존재를 지칭하는 것으로 이해될 수 있고, 하나 또는 그 이상의 특징, 숫자들, 단계들, 동작들, 구성 요소들, 부품, 또는 이들의 조합들을 부가하는 가능성을 배제하는 것이 아니다.
본 명세서에서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야의 당업자에 의해서 일반적으로 이해되는 것과 동일한 의미를 갖는다.
일반적으로 사용되고 있는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술에서 문맥상 가지는 의미와 동일하게 해석되어야 하며, 이상적이거나 과도하게 형식적인 의미로 해석되지 않아야 한다.
도 1은 본 발명의 일 실시예에 따른 레인지 센서의 블록도이다.
도 1을 참조하면, 레인지(range) 센서(100)는 광원(101), 이미지 센서(103), 수집 광학계(105), 및 제어기(107)를 포함한다.
본 발명의 실시예에서, 광원(101)은 단면광을 시야(field of view, FOV) 내에서 기설정된 각도로 투사한다. 상기 단면광은 수평 방향으로 투사될 수 있다. 그러나, 본 발명의 실시예는 이에 한정되지 않는다. 본 발명의 일 실시예에서 상기 단면광은 다른 방향으로 투사될 수 있다.(즉, 수직 또는 기설정된 각도의 방향으로 투사될 수 있다.) 단면광은 하나의 펄스로 투사되는 단면 레이저 광일 수 있다. 그러나, 본 발명의 실시예는 이에 한정되지 않는다. 근거리 및 원거리 오브젝트들을 이미징하는 임의의 형상을 가지는 광이 사용될 수 있다. 더 많은 FOV를 비추기 위해서, 광원(101)은 FOV의 또 다른 기설정된 각도 내에서 적어도 하나의 추가적인 단면광을 투사할 수 있다.(즉, 같은 각도이지만 FOV의 다른 부분, 다른 각도, FOV의 다른 부분에서 다른 각도 등) 레인지 센서(100)의 동작은 도 6 및 7을 참고하여 아래에서 자세하게 설명된다.
원거리 오브젝트는 30m에서 250m 범위 내에 있는 오브젝트이고, 근거리 오브젝트는 30m 이내에 있는 오브젝트이다. 그러나 본 발명의 실시예는 이에 한정되지 않고, 원거리 및 근거리 오브젝트들에 대한 임의의 다른 적합한 레인지가 사용될 수 있다.
이미지 센서(103)는 광원(101)의 오프셋(offset)에 위치할 수 있다. 예를 들어, 이미지 센서(103)는 0.01m 내지 0.5m의 범위에서 광원(101)의 수직 오프셋에 위치할 수 있다. 그러나 본 발명의 일 실시예는 수직 오프셋 또는 0.01m 내지 0.5m의 범위의 오프셋에 한정되지 않는다. 오프셋의 다른 범위들 및 방향들이 본 발명의 실시예에서는 사용될 수 있다. 이미지 센서(103)는 도 2에서 더 자세히 설명하도록 한다.
수집 광학계(105)는 이미지 센서(103)에 관련되게 위치하여 적어도 원거리 및 근거리 물체에서 반사되는 광원(101)으로부터 광을 수집하며, 상기 광을 이미지 센서(103)에 투사한다. 본 발명의 실시예에서, 수집 광학계(105)는 이미지 센서(103) 앞측에 위치한 렌즈들일 수 있다. 그러나, 본 발명의 실시에는 수집 광학계(105)가 렌즈 이거나 또는 이미지 센서(103) 앞에 위치하는 것에 한정되지 않는다.(즉, 수집 광학계(105)는 이미지 센서(103)에 대해서 기설정된 각도상에 위치할 수 있다.) 수집 광학계(105)는 초점 렌즈들 또는 비춰지는 오브젝트로부터 수신되는 반사된 광을 이미지 센서(103)에 집중시키는 유리/플라스틱 소재의 면일 수 있다. 본 발명의 일 실시예서, 볼록 구조가 초점 렌즈로써 사용될 수 있다. 그러나, 임의의 적합한 렌즈 형상이 수집 광학계(105)로 선택될 수 있다.
제어기(107)는 광원(101), 이미지 센서(103), 및 수집 광학계(105)에 연결되어 광원(101)의 동작(즉 광원(101)이 언제 단면광을 투사하고, 상기 단면광이 투사되는 각도, 추가적인 단면광들의 개수와 각도), 이미지 센서(103), 및 수집 광학계(105)를 제어한다.(즉, 수집 각도를 제어한다.)
도 2는 본 발명의 일 실시예에 따른 도 1의 이미지 센서(103)의 블록도이다.
도 2를 참조하면, 이미지 센서(103)은 픽셀 어레이(201), 행 디코더(203), 행 드라이버(205), TDC(time-to-digital converter) 어레이(207), 제1 바이어스 발생기(209), PLL(phase-locked-loop, 211), 제1 열 디코더(213), ADC(analog-to-digital) 어레이(215), 제2 바이어스 발생기(217), 제2 열 디코더(219), 및 디지털 블록(221)을 포함한다.
본 발명의 일 실시예에서, 픽셀 어레이(201)은 이미지 센서(103)에 입사되는 광을 수집하기 위한 열과 행 방향으로 정렬되어 있는 복수의 픽셀 셀들을 포함하다.(즉 광원(101)으로부터 투사되어 원거리 및 근거리 오브젝트들에 의해서 반사되는 광) 픽셀 어레이(201)는 도 3 내지 5에서 좀 더 상세히 설명하도록 한다. 픽셀 어레이(201)는 픽셀 어레이(201)의 여러 행들중 하나를 선택하기 위한 입력단, 원거리 오브젝트들에 관련된 픽셀 데이터를 출력하기 위한 제1 출력단, 근거리 오브젝트들에 관련된 픽셀 데이터를 출력하기 위한 제2 출력단을 포함한다.
원거리 오브젝트들은 동일한 행에 이미징된다. 상기 동일한 행은 “무한 행(infinity row)으로 지시된다. 일부 행들은 삼각 이론(triangulation theory)에 근거 하에 유효하지 않다. 예를 들어, 광원이 센서보다 위쪽에 있는 경우, 무한 행의 위쪽에 있는 행들은 무효 이다. 무효의 행들 상에서 발생된 임의의 신호는 산란, 다중경로 반사, 및 눈부심 등에 의해서 유발되고, 투사된 광의 이미징에 의해서는 유발되지 않는다. 무한 행의 아래쪽에 있는 나머지 행들은 근거리 오브젝트들을 이미징한다. 무한 행에 행이 가까워질수록, 이미징된 오브젝트는 점점 더 멀어진다. 근거리 오브젝트에 관련된 일부 행들은 비활성화 될 수 있다. 이를 “레인지 게이팅(range gating)”으로 지시하고, 비활성화된 행에 관련된 픽셀 데이터는 근거리 오브젝트의 범위를 결정하는 데에 있어서 프로세싱되지 않는다. 전술한 과정을 통해서, 리드아웃되는 프레임 레이트는 증가하게 된다. 또한 모든 유효한 행들은 그것들 자체의 TOF에 근거하여 시간적으로 게이팅될 수 있다. 결과적으로 범위 정확도(ranging accuracy)가 개선된다. 왜냐하면 난해한 조건(다중경로 반사, 어둡거나/낮은 시계, 비와 안개 같은 악천후, 강한 주변 빛/눈부심 등)에 의해서 발생되는 잘못된 신호들이 상기 TOF 범위를 넘어서는 행을 비활성화시킴으로서 제거되기 때문이다.
행 디코더(203)는 픽셀 어레이(201)의 어떤 행이 선택되는지를 지시하는 제어기(107)로부터 신호를 수신하고, 지시된 행을 선택하기 위해 신호를 출력한다.
행 드라이버(205)는 행 디코더(203)의 출력단에 연결된 입력단 및 지시된 행을 선택하는 데에 필요한 신호들 및 전압 레벨들을 공급하기 위하여 픽셀 어레이(201)의 입력단에 연결된 출력단을 포함한다.(즉, 이하 도 4에서 설명되는 픽셀 셀을 위한 행 셀렉트 신호(RSEL), 리셋 신호(RST), 전송 신호(TX), 및 전원 공급 전압, 그리고 이하 도 5에서 설명되는 픽셀 셀을 위한 RSEL, RST, 억제 신호(Vquench) 및 전원 공급 전압(VAPD))
TDC 어레이(207)은 원거리 오브젝트들에 관련된 픽셀 데이터를 수신하기 위하여 픽셀 어레이(201)의 제1 출력단에 연결된 제1 입력단, 바이어스 전압을 수신하기 위한 제2 입력단, PLL(211)으로부터 주기적인 신호를 수신하기 위한 제3 입력단, 및 제1 열 디코더(213)의 입력단과 연결된 출력단을 포함한다. TDC 어레이(207)는 원거리 오브젝트들에 관련된 픽셀 어레이(201)로부터의 픽셀 데이터를 픽셀 데이터에 관련된 TOF를 나타내는 디지털 코드들로 변환한다.
제1 바이어스 발생기(209)는 전압 레벨을 TDC 어레이(207)에 공급한다.
PLL(211)은 주기적인 신호를 TDC 어레이(207)에 공급하여, TDC 어레이(207)가 TOF 데이터를 측정하고 출력하도록 한다.
제1 열 디코더(213)은 제어기(107)에 의해서 지시되는 열에 대한 TDC 어레이(207)로부터의 출력을 수신하고, 결과값을 출력한다. 또한 본 발명의 실시예에서, TDC 어레이(207)는 또한 ADC 어레이(215)로 사용될 수 있다. TOF 신호가 측정된 후, TDC 어레이(207)는 ADC 어레이로 사용되어 근거리 필드 데이터(near field data)를 판독한다.
ADC 어레이(215)는 근거리 오브젝트들에 관련된 픽셀 데이터를 수신하기 위해 픽셀 어레이(201)의 제2 출력단에 연결된 제1 입력단, 바이어스 전압을 수신하기 위한 제2 입력단, 및 근거리 오브젝트들을 위해서 제어기(107)에 의해서 지시되는 픽셀 어레이(201)의 행들로부터의 픽셀 데이터를 출력하기 위한 제1 및 제2 출력단을 포함한다.
제2 바이어스 발생기(217)는 ADC 어레이(215)에 전압 레벨을 공급한다.
제2 열 디코더(219)는 제어기(107)에 의해서 지시되는 열을 위해서 ADC 어레이(215)로부터의 출력을 수신하고, 결과값을 출력한다.
디지털 블록(221)은 제1 열 디코더(213), PLL(211), ADC 어레이(215), 및 제2 열 디코더(219)의 출력을 수신하고, 원거리 오브젝트들을 위한 TOF에 근거한 범위 정보를 계산하고, 근거리 오브젝트들을 위한 삼각 측량값에 근거한 범위 정보를 계산한다.
도 3은 본 발명의 일 실시예에 따른 도 2의 이미지 센서(103)의 픽셀 어레이(201)를 설명하는 도면이다.
도 3을 참조하면, 픽셀 어레이(201)는 복수의 픽셀 셀들(301)을 포함한다. 복수의 픽셀 셀들(301)은 n열들과 m행들로 배열된다. n 및 m은 각각 기설정된 정수들이다. 삼각 측량에 근거한 범위 측정(ranging)을 위해서(즉 근거리 오브젝트들의 측정), 픽셀 셀들(301)의 피치는 범위 측정 해상도(ranging resolution)를 결정한다. 픽셀 셀들의 피치가 더 작아질수록, 삼각 측량에 근거한 범위 측정 해상도는 더 높아진다. 예를 들어, 픽셀 셀들의 피치는 1 micron 내지 10micron 내의 범위일 수 있다. 그러나, 본 발명의 실시예서는 픽셀 피치들은 상기한 범위에 한정되지 않으며, 임의의 적합한 픽셀 피치가 사용될 수 있다. 다중 픽셀 셀들(301)에 포함된 정보는 비닝(binning)될 수 있다. 비닝은 원거리 오브젝트들에 의해서 반사되는 광에 관한 민감도를 상승시킨다. 픽셀 셀들(301)의 두 가지 유형은 이하 도 4 및 도 5에서 설명된다. 그러나, 본 발명의 실시에는 픽셀 셀들(301)의 상기 두 가지 유형들에 한정되지 않는다. 본 발명의 실시예에서, 픽셀 어레이(201)은 CMOS(complementary metal oxide semiconductor) 어레이일 수 있다.
비춰지는 오브젝트로부터 수신되는 광은 레인지 센서(100)의 수집 광학계(105)를 통해서 픽셀 어레이(201)의 하나 또는 하나 이상의 픽셀 셀들(301) 상에 집중된다. 픽셀 어레이(201)은 RGB 픽셀 어레이일 수 있다. 픽셀 어레이(201)에서 서로 다른 픽셀 셀들(301)은 서로 다른 색상의 광 신호들을 수집할 수 있다. 픽셀 어레이(201)는 임의의 2D 센서일 수 있다. 예를 들어, 픽셀 어레이(201)는 IR(infrared) 컷 필터(cut filter)를 구비한 2D RGB(two dimensional red-green-blue) 센서, 2D IR 센서, 2D NIR(near IR) 센서, 2D RGBW(red-green-blue-white) 센서, 2D RGB-IR 센서 등일 수 있다. 픽셀 어레이(201)는 오브젝트의 2D RGB 색상 이미징(또는 오브젝트를 포함하는 장면)은 물론 오브젝트의 깊이 측정에 연관된 3D(three dimensional) 이미징을 위해서 사용될 수 있다.
도 4는 본 발명의 일 실시예에 따른 도 3의 픽셀 어레이(201)의 픽셀 셀(301)의 개략도이다.
도 4를 참조하면, 각각의 픽셀 셀(301)은 PPD(a pinned photo-diode, 401), 제1 내지 제4 NMOS(n-channel metal oxide semiconductor) FETs(field effect transistors, 403, 405, 407, 409)를 포함하는 4T PPD(four transistor pinned photodiode) 픽셀 셀일 수 있다. 그러나, 본 발명의 실시예는 4T PPD에 한정되지 않는다. 픽셀 셀들의 다른 유형들이 픽셀 셀(301)로써 사용될 수 있다. 예를 들어, 상기 유형들 중 하나의 유형은 4T PPD에서 제1 NMOS 트랜지스터(403)이 제거된 3T(three transistor) 픽셀일 수 있다. 또한, 1T(one transistor) 또는 2T(two transistor) 픽셀이 픽셀 셀(301)로써 사용될 수 있다. 게다가, 픽셀 셀(301)은 공유되는 트랜지스터 픽셀 구성을 가질 수 있고, 트랜지스터들 및 판독 회로는 다수의 이웃한 픽셀 셀들(301) 사이에서 공유될 수 있다. 공유되는 트랜지스터 픽셀 구성에서, 각각의 픽셀 셀(301)은 적어도 하나의 포토 다이오드 및 하나의 전송 게이트 트랜지스터를 가지고, 다른 트랜지스터들은 다수의 픽셀 셀들(301) 사이에서 공유될 수 있다. 공유되는 트랜지스터 픽셀 셀은 1x2(2-shared) 2.5 트랜지스터 픽셀 셀일 수 있고, 5개의 트랜지스터들이 두 개의 픽셀 셀들을 위해 사용되고, 결과적으로 2.5 트랜지스터들/픽셀 셀이 된다. 추가하여, 공유되는 트랜지스터 픽셀 셀이 사용될 수 있다. 예를 들어, 4개의 픽셀 셀들이 판독 회로를 공유하는 1x4(4-shared) 픽셀 셀이 사용될 수 있고, 각각의 픽셀 셀은 적어도 하나의 포토 다이오드 및 하나의 전송 게이트 트랜지스터를 가진다.
PPD(401)는 접지 전위에 연결된 애노드 전극 및 캐소드 전극을 포함한다. PPD(401)는 PPD(401) 상에 입사되는 광자들을 전자들로 변환하고, 그렇게 함으로써, 전하 도메인에서 광학 입력 신호를 전기적 신호로 변환한다.
제1 NMOS 트랜지스터(403)은 PPD(401)의 캐소드 전극에 연결된 소스 터미널, TX(transfer signal)를 수신하기 위한 게이트 터미널, 및 제2 NMOS 트랜지스터(405)의 소스 터미널과 제3 NMOS 트랜지스터(407)의 게이트 터미널에 연결된 드레인 터미널을 포함한다. 제1 NMOS 트랜지스터(403)는 턴 온되어 광자에서 생성되는 전자들(photon-generated electrons)을 PPD(401)에서 제1 NMOS 트랜지스터(403)의 제2 터미널로 전송한다.
제2 NMOS 트랜지스터(405)는 전원 공급 전압(즉 VDD) 및 제3 NMOS 트랜지스터(407)의 드레인 터미널에 연결된 드레인 터미널, RST(reset signal)을 수신하기 위한 게이트 터미널, 및 제1 NMOS 트랜지스터(403)의 드레인 터미널 및 제3 NMOS 트랜지스터(407)의 게이트 터미널에 연결된 소스 터미널을 포함한다. RST 및 TX가 각각 하이 전압 레벨이 되어, 제2 NMOS 트랜지스터(405) 및 제1 NMOS 트랜지스터(403) 각각을 턴 온시키는 경우, RST 신호는 PPD(401)를 기설정된 하이 전압 레벨로 리셋한다.(즉 로직 레벨 1 전압)
제3 NMOS 트랜지스터(407)는 전원 공급 전압(VDD) 및 제2 NMOS 트랜지스터(405)의 드레인 터미널에 연결된 드레인 터미널, 제1 NMOS 트랜지스터(403)의 드레인 터미널 및 제2 NMOS 트랜지스터(405)의 소스 터미널에 연결된 게이트 터미널, 및 제4 NMOS 트랜지스터(409)의 드레인 터미널에 연결된 소스 터미널을 포함한다.
제4 NMOS 트랜지스터(409)는 제3 NMOS 트랜지스터(407)의 소스 터미널에 연결된 드레인 터미널, RSEL(row select signal)을 수신하기 위한 게이트 터미널, 및 픽셀 셀(301)의 픽셀 출력단(pixel output, PIXOUT)에 연결된 소스 터미널을 포함한다. RSEL이 하이 전압 레벨이고 RST가 로우 전압 레벨이 되어 각각 제4 NMOS 트랜지스터(409)를 턴 온시키고, 제2 NMOS 트랜지스터(405)를 턴 오프시키는 경우, RSEL 신호는 PPD(401)에 입사하는 광학 신호에 대응하는 전압을 전송한다.
도 4의 픽셀 셀(301)은 TX 및 RST가 모두 하이 전압인 경우(즉 로직 레벨 1 전압), 비통합 대수 모드(non-integrating logarithmic mode)에서 동작하고, TX 및 RST가 각각 로우 전압인 경우(즉 로직 레벨 0 전압) 통합 선형 모드에서 동작한다. 원거리 오브젝트에 의해서 반사되는 광을 수신하는 픽셀 셀들(301)은 대수 모드에서 동작되어 광의 로우 레벨들을 감지한다. 근거리 오브젝트들에 의해서 반사되는 광을 수신하는 픽셀 셀들(301)은 선형 모드에서 동작되어 광의 하이 레벨들을 감지한다. 레인지 게이팅에 의해서 동작되지 않는 픽셀 셀들(301)은 리셋된다.
도 5는 본 발명의 일 실시예에 따른 도 3의 픽셀 어레이(201)의 픽셀 셀(301)의 개략도이다.
도 5를 참조하면, 각각의 픽셀 셀(301)는 PD(photo-diode, 501), PMOS(p-channel MOS) 트랜지스터(503), 센싱 회로(505), 및 NMOS 트랜지스터(507)를 포함한다.
PD(501)는 접지 전위에 연결되는 애노드 전극 및 캐소드 전극을 포함한다. PPD(501)는 VBD(breakdown voltage)를 가지는 애벌란치 다이오드(avalanche diode)이다. SPAD 픽셀은 Ge-on-Si APD(germanium-on-silicon avalanche photodiode)를 포함한다.
PMOS 트랜지스터(503)은 전원 공급 전압(VAPD)에 연결된 소스 터미널, 억제 전압(Vquench)를 수신하기 위한 게이트 터미널, 및 PD(501)의 캐소드 전극 및 센싱 회로(505)의 입력단에 연결된 드레인 터미널을 포함한다. PMOS(503)은 턴 온되어 VAPD를 PD(501)의 캐소드 전극에 공급한다. VBD보다 낮은 VAPD가 PD(501)에 공급되는 경우, PD(501)는 선형 모드에서 동작한다. VBD보다 큰 VAPD가 PD(501)에 공급되는 경우 PD(501)은 애벌란치(avalanche) 모드 (즉 가이거 모드(Geiger mode))에서 동작하여, 오브젝트에 의해서 반사되는 빛에 대한 민감도를 증가시킨다. 선형 모드에서 픽셀 전류 및 기판에 의한 간섭(substrate-induced interference)은 감소된다.
센싱 회로(505)는 PD(501)의 캐소드 전극 및 PMOS 트랜지스터(503)의 드레인 터미널에 연결된 제1 입력단, RST 신호(reset signal)을 수신하기 위한 제2 입력단, 및 NMOS 트랜지스터(507)의 드레인 터미널에 연결된 출력단을 포함한다. RST 신호는 PD(501)를 기설정된 하이 전압 레벨로 리셋한다.
NMOS 트랜지스터(507)은 센싱 회로(505)의 출력단에 연결된 드레인 터미널, RSEL(row select signal)을 수신하기 위한 게이트 터미널, 및 픽셀 셀(301)의 PIXOUT(pixel output)에 연결된 소스 터미널을 포함한다. RSEL이 하이 전압 레벨인 경우, RSEL 신호는 PD(501) 상에 입사되는 광학 신호에 대응하는 전압을 전송한다.
원거리 오브젝트들에 반사되는 광을 수신하는 픽셀 셀들(301)은 가이거 모드에서 동작되어 광의 로우 레벨들을 감지하고, 픽셀 셀들(301)은 광자가 감지된 후에 리셋된다. 근거리 오브젝트들에 의해서 반사되는 광을 수신하는 픽셀 셀들(301)은 가이거 모드에서 동작되어 민감도를 향상시키거나, 선형 모드에서 동작되어 전력 소비 및 기판에 의한 간섭을 감소시키고, 픽셀 셀들(301)은 픽셀 셀들이 픽셀 출력단(PIXOUT)에 판독될 때까지 리셋되지 않는다.
도 6은 본 발명의 일 실시예에 따른 도 3의 픽셀 어레이(201) 상의 원거리 오브젝트들(601 및 603) 및 근거리 오브젝트들(605 및 607)을 이미지하는 것을 설명하는 도면이다.
도 6을 참조하면, 레인지 센서(100)의 광원(101)은 하나의 펄스로 FOV의 기설정된 각도 θ로 단면광을 투사한다.(즉 수평적인 레이저 단면광) 단면광은 FOV의 각도 θ로 근거리 오브젝트들(605 및 607) 및 원거리 오브젝트들(601 및 603)에 반사되고, 수집 광학계(105)에 의해서 수집되며, 픽셀 어레이(201)의 픽셀 셀들(301) 상에 집중된다.
FOV의 각도 θ에서 원거리 오브젝트들(601 및 603)은 픽셀 어레이(201)의 픽셀 셀들(301)의 동일한 행(즉, 무한 행)에 이미징된다. 레인지 센서(100)로부터의 원거리 오브젝트(601 또는 603)의 범위(또는 거리)는 광원(101)으로부터 원거리 오브젝트(601 또는 603)까지 그리고 원거리 오브젝트(601 또는 603)로부터 픽셀 어레이(201)까지의 단면광의 직접적인 TOF를 이용하여 측정된다. 직접적인 TOF를 이용한 이미징은 도 7과 관련하여 이하 좀 더 상세하게 설명된다.
FOV의 각도 θ에서 근거리 오브젝트들(605 및 607)은 픽셀 어레이(210)에서 픽셀 셀들(301)의 무한 행 이외의 행들에 이미징된다. 레인지 센서(100)로부터 근거리 오브젝트(즉 605 및 607)의 범위(또는 거리)는 삼각 측량을 이용하여 측정된다. 삼각 측량을 이용한 이미징은 도 7에서 이하 더 상세하게 설명된다.
원거리 오브젝트들은 동일한 행에서 이미징 되고, 이를 “무한 행”으로 지시한다. 일부 행들은 삼각 측량에 근거하여 유효하지 않다. 예를 들어 광원이 센서 위쪽에 있는 경우, 무한 행 위쪽에 있는 행들은 유효하지 않다. 유효하지 않은 행들에서 발생되는 임의의 신호는 산란, 다중경로 반사, 눈부심 등에 의해서 생성되지만, 투사된 광의 이미지에 의해서는 생성되지 않는다. 무한 행 아래에 있는 나머지 행들은 근거리 오브젝트들을 이미징한다. 행이 무한 행에 가까워 질수록 이미징된 오브젝트는 점점 더 멀어진다. 근거리 오브젝트들에 관한 일부 행들은 비활성화되고, 이를 “레인지 게이팅”으로 지시하고, 비활성화된 행들에 관련된 픽셀 데이터는 근거리 오브젝트의 범위를 결정하기 위해 프로세싱되지 않는다. 이렇게 함으로써, 판독의 프레임 레이트는 증가된다. 또한 모든 유효한 행들은 그들 자체의 TOF에 근거하여 주어진 시간내에 게이팅된다. 결과적으로 측정 정확도는 개선된다. 왜냐하면, 난해한 조건에 의해서 발생되는 잘못된 신호(즉, 다중경로 반사, 낮은 조명/가시성, 비 및 안개와 같은 안좋은 날씨, 강한 주변 조명/눈부심 등)는 그것의 TOF 범위를 넘어선 행을 비활성화시킴으로써 제거되기 때문이다.
FOV의 추가적인 부분들을 이미징하기 위해서, 적어도 단면광의 하나 이상의 추가적인 투사가 이루어진다. 여기서 동일한 각도 θ가 사용되지만, 상이한 위치에서 사용될 수 있고, 새로운 각도 θ가 동일한 위치에서 사용되고, 새로운 각도 θ가 새로운 위치에서 사용될 수도 있다.
도 7은 본 발명의 일 실시예에 따른 오브젝트의 범위를 결정하는 것을 설명하는 도면이다.
도 7을 참조하면, 오브젝트(701)가 원거리 오브젝트인 경우, 레인지 센서(100)의 광원(101)으로부터 투사되는 단면광은 원거리 오브젝트(701)에 반사되고, 수집 광학계(105)에 의해서 수집되고, 픽셀 어레이(201)의 무한 행 상에 집중된다. 무한 행은 비닝을 위한 하나의 행 또는 복수개의 행일 수 있다. 이하 식 (1)에 따라서, 원거리 오브젝트(701)에 대한 범위(Z)는 광원(101)으로부터 경로(d1)을 따라 원거리 오브젝트(701)까지의 그리고 원거리 오브젝트(701)로부터 경로(d2)를 따라 픽셀 어레이(201)의 무한 행까지의 단면광의 직접적인 TOF에 의해서 결정된다.
Figure pat00001
d1은 광원(101)으로부터 원거리 오브젝트(701)까지의 단면광의 이동 거리이고,(즉 투사 거리), d2는 원거리 오브젝트(701)에서 반사되어 이미지 센서(103)의 픽셀 어레이(201)의 무한 행까지의 단면광의 이동 거리이고,(즉 돌아오는 거리), c는 광의 속도이고, t1은 단면광이 광원(101)에서 원거리 오브젝트(701)까지 이동하는데 걸리는 시간이고,(즉 투사 시간), t2는 단면광이 원거리 오브젝트(701)에서 이미지 센서(103)의 픽셀 어레이(201)의 무한 행까지 이동하는 데에 걸리는 시간이다.(즉 돌아오는 시간)
오브젝트(701)이 근거리 오브젝트(701)인 경우, 레인지 센서(100)의 광원(101)으로부터 투사되는 단면광은 근거리 오브젝트(701)에 반사되고, 수집 광학계(105)에 의해서 수집되며, 픽셀 어레이(201)의 무한 행 이외의 행 상에 집중된다. 이하 식 (2)에 따라서, 레이지 게이팅 때문에 행이 무시되지 않는 경우에 근거리 오브젝트(701)에 대한 범위(또는 거리)(Z)는 삼각 측량에 의해서 결정된다.
Figure pat00002
f는 수집 광학계(105)로부터 이미지 센서(103)의 픽셀 어레이(201)까지의 초점 거리이고, B는 광원(101) 및 이미지 센서(103)의 픽셀 어레이(201)의 중앙 행 사이의 오프셋이고, dYinf는 이미지 센서(103)의 픽셀 어레이(201)의 중앙 행을 기준으로 무한 행의 변위이고, dY는 이미지 센서(103)의 픽셀 어레이(201)의 무한 행을 기준으로 무한행을 제외한 행(즉, 이미징 행)의 변위이고, tan()는 탄젠트 함수이고, θ는 광원(101)에서 투사되는 단면광의 각도이다. 예를 들어, 초점 거리가 10mm일 수 있다. 그러나, 본 발명의 실시예는 상기 초점 거리에 한정되지 않으며, 임의의 적절한 초점 거리가 사용될 수 있다.
도 8은 본 발명의 일 실시예에 따른 레인지 센서(100)의 방법의 순서도이다.
도 8을 참조하면 단계(801)에서 이미지 센서(103)는 광원으로부터 오프셋된다. 예를 들어, 이미지 센서(103)는 0.01m 내지 0.5m의 범위에서 광원(101)으로부터 수직 오프셋에 위치할 수 있다. 그러나 본 발명의 실시예는 수직 오프셋 또는 0.01m 내지 0.5m의 범위에서의 오프셋에 한정되지 않는다.
다른 방향 및 범위의 오프셋이 본 발명의 실시예에서 사용될 수 있다. 이미지 센서(103)는 도 2에서 상세히 설명하였다.
스텝(803)에서 광은 광원으로부터 FOV 내에서 기설정된 각도 θ의 단면광으로 투사된다. 본 발명의 실시예에서, 광은 하나의 펄스로 투사되는 레이저 광일 수 있다. 그러나 본 발명의 실시예는 이에 한정되지 않고, 근거리 및 원거리 오브젝트들을 이미징 할 수 있는 임의의 유형의 광이 사용될 수 있다. 본 발명의 실시예에서, 단면광은 수평적일 수 있다. 그러나 본 발명의 실시예는 수평적인 단면광에 한정되지 않는다. 광은 수평적인 점광(point of light)일 수 있다. 광은 또한 수직 단면광 또는 수직 점광일 수 있다. 이미지 센서가 수직적인 경우에는 단면광은 수직적일 것이다. 광원의 단면광 또는 스캔 라인은 픽셀 어레이(201)의 행과 평행할 것이다. 게다가 광원 및 이미지 센서의 변위는 픽셀 어레이의 행과 수직할 것이다. 더 많은 FOV를 비추기 위해서 광원에 의해서 적어도 하나 이상의 추가적인 단면광이 FOV 내에 다르게 기설정된 각도로 투사될 수 있다. (즉 동일 각도이지만 FOV의 다른 부분, 다른 각도, 다른 각도 및 FOV의 다른 부분 등)
단계(805)에서 원거리 및 근거리 오브젝트들에서 반사되는 적어도 하나의 광원(101)으로부터의 광은 수집 광학계(105)에 의해서 수집된다.
단계(807)에서 원거리 오브젝트들로부터 수집된 광은 이미지 센서(103)의 픽셀 어레이(201)의 무한 행에 투사된다. 무한 행의 출력들은 TDC 어레이에 연결된다. 원거리 오브젝트들의 TOF는 TDC에 의해서 측정되고 기록된다.
단계(809)에서 근거리 오브젝트들로부터 수집된 광은 이미지 센서(103)의 픽셀 어레이(21)의 무한하지 않은 열들에 투사된다. 스텝들(807 및 809)은 동시에 발생한다. 무한하지 않은 열들은 통합 모드(integration mode)에 있고 통합이 완료된 후에는 판독을 위해 교대로 ADC 어레이에 연결된다.
본 발명의 실시예에서, FOV의 추가적인 부분들은 동일한 각도 θ가 상이한 위치에서 사용되거나, 새로운 각도 θ가 동일한 위치에서 사용되거나, 새로운 각도 θ가 새로운 위치에서 사용되는 경우 등에서 적어도 하나 이상의 단면광의 투사하고, 원거리 및 근거리 오브젝트들에 반사되는 적어도 하나 이상의 추가적인 단면광을 수집하고, 이미지 센서(103) 상에 상기 수집된 광을 투사함으로써 이미징된다.
본 발명의 실시예에서, 복수의 픽셀 셀들(301)에 포함되는 픽셀 어레이 정보는 비닝될 수 있다. 민감도를 높이기 위해서, 무한 행은 복수의 행들을 포함할 수 있다. 무한하지 않은 열들은 근거리 오브젝트들에 대해서 높은 깊이 해상도를 가지는 것에 대해서 독립적이다.
본 발명의 실시예에서, 무한 행의 픽셀 셀(301)은 비통합 대수 모드에서 동작하고, TDC에 연결되어 원거리 오브젝트들로부터의 TOF를 감지하고, 통합 선형 모드에서 동작하여 무한 행으로부터의 근거리 오브젝트들에 반사된 광의 차이를 감지한다.
본 발명의 실시예에서, 픽셀 셀(301)은 애벌란치 모드(즉, 가이거 모드)에서 동작하여, 원거리 오브젝트들에 반사된 광의 TOF를 감지하고, 가이거 모드 또는 선형 모드에서 동작하여 근거리 오브젝트들에 반사된 광의 차이를 감지하고, 전력 소비 및 기판에 의한 간섭을 감소시킨다.
스텝(811)에서 픽셀 어레이(201)의 픽셀 셀(301)이 원거리 오브젝트에 관련된 경우, 원거리 오브젝트에 대한 범위(Z)는 전술한 바와 같이 상기 식(1)에 따른 직접적인 TOF에 의해서 결정된다. 원거리 오브젝트는 단일 또는 비닝된 무한 행 상에 이미징되는 오브젝트이다. 거리 범위는 명백하게 무한하지 않다. 삼각 측량에 근거하여, 무한 행 바로 아래에 있는 행에 이미징되는 오브젝트의 거리는 계산될 수 있다. 무한 행의 범위는 무한 행 바로 아래의 행에 이미징되는 오브젝트보다 큰 임의의 거리일 수 있다. 거리 범위에 근거하여, 시간적으로 게이팅하는 것은 무한 행을 위해서 행해지며, 다중경로 반사, 좋지 않은 날씨 등에 의해서 발생되는 노이즈 신호를 추가적으로 필터링한다. 시간 게이팅(time gating)은 광원(101)이 동작된 후, 픽셀 어레이(201)의 무한 행의 픽셀들이 시간 지연을 통해 동작하는 것을 지시한다. 상기 시간 지연은 무한 행이 감지할 수 있는 최소한의 거리 범위의 TOF에 관련된다. 게이팅 신호의 지속시간은 측정될 수 있는 가장 큰 범위의 TOF에 의해서 결정된다.
단계(813)에서 픽셀 어레이(210)의 픽셀 셀(301)이 근거리 오브젝트에 관련된 경우, 근거리 오브젝트에 대한 범위(Z)는 전술한 식(2)에 따른 삼각 측량에 의해서 결정된다. 시간 게이팅은 근거리 오브젝트에도 적용될 수 있다. 통합 시간은 무한 행의 TOF보다 짧을 수 있고, 광펄스의 지속시간과 동일할 수 있다. 본 발명의 실시예에서, 통합이 완료된 후, 무한하지 않은 행들은 판독을 위해 ADC에 교대로 연결된다. 각각의 행에서의 명점들(bright spots)들은 반사된 광의 차이 그리고 근거리 오브젝트들의 범위를 결정하는데 사용된다.
단계(815)에서, 무한하지 않은 행들은 그들의 차이 및 측정된 범위에 따라 시간적으로 게이팅된다. 차이를 포함하는 무한 행을 제외한 행들(다중경로 반사, 낮은 조명/가시성, 비 및 안개와 같은 안좋은 날씨, 강한 주변 조명/눈부심 등에 의해 영향을 받은 광)은 광원이 동작하는 경우 통합 모드에 있게 된다. 광원(101)이 이미지 센서(103) 위쪽에 있는 경우, 픽셀 어레이(201)의 무한 행 위에 있는 행들은 유효하지 않은 행들로 간주된다. 유효하지 않은 행에서 수신된 신호는 다중경로 반사 또는 광원(101)을 제외한 다른 광원에 의해서 생성된다. 유효하지 않은 행들은 활성화되지 않거나 판독 시간동안 판독되지 않는다. 무한하지 않은 행들인, 무한 행 아래에 있는 행들은 근거리 오브젝트들로부터의 유효한 신호들을 통합하는 데에 사용된다. 주목하는 거리에 의존하여 특정 행들은 선택되어 판독되고, 이를 레인지 게이팅으로 지시한다.
단계(817)에서 단계(801) 내지 단계(815)가 FOV 이내의 적어도 하나 이상의 추가적인 각도 θ에서 반복된다.
도 9A 내지 도 9C는 본 발명의 일 실시예에 따른 게이팅 및 비닝을 설명하는 도면이다.
도 9A 내지 도 9C를 참조하면, 행들은 모든 범위를 세분화하는 데에 사용된다. 판독을 위한 거리 범위는 판독 시간을 증가시킬 수 있도록 선택될 수 있다. 추가적으로 게이팅은 시간적으로 행해지며 좋지 않은 날씨 또는 다중 반사들에 의한 산란에 의해서 발생되는 노이즈 신호들을 제거한다. 그러므로, 시간적으로 게이팅을 하는 것은 행 별로 셔터들(shutters)을 적용시키는 것과 동일하고 이를 일반적으로 게이팅 이미징으로 지시한다. 비닝은 민감도 및 판독 시간을 증가시키는 데에 사용된다.
본 발명의 특정 실시예들이 본 발명의 상세한 설명에서 설명되고 있지만, 본 발명은 본 발명의 범위를 벗어나지 않고 다양한 형태들로 수정될 수 있다. 그러므로 본 발명의 범위는 설명된 실시예들에만 한정되지 않으나, 첨부된 청구항들 및 균등물들에 근거하여 결정된다.

Claims (10)

  1. 시야(field of view, FOV) 내의 각도로 단면광을 투사하는 광원;
    상기 광원으로부터의 오프셋을 포함하는 이미지 센서;
    수집 광학계; 및
    상기 광원, 상기 이미지 센서, 및 상기 수집 광학계에 연결되고, 직접적인 TOF(time-of-flight)에 근거하여 원거리 오브젝트의 범위를 결정하고, 삼각 측량에 근거하여 근거리 오브젝트의 범위를 결정하는 제어기를 포함하는 레인지 센서
  2. 제1 항에 있어서,
    상기 광원은 상기 FOV 내의 각도로 수평적인 레이저 단면광을 투사하는 레인지 센서
  3. 제1 항에 있어서,
    상기 이미지 센서는
    입력단, 제1 출력단, 및 제2 출력단을 포함하는 픽셀 어레이;
    입력단 및 상기 픽셀 어레이의 상기 입력단에 연결된 행 디코더;
    상기 픽셀 어레이의 상기 제1 출력단에 연결된 제1 입력단, 제2 입력단, 제3 입력단, 및 출력단을 포함하는 TDC(time-to-digital converter) 어레이;
    상기 TDC 어레이의 상기 출력단에 연결된 입력단 및 출력단을 포함하는 제1 열 디코더;
    상기 픽셀 어레이의 상기 제2 출력단에 연결된 제1 입력단, 제2 입력단, 제1 출력단, 및 제2 출력단을 포함하는 ADC(analog-to-digital converter) 어레이;
    상기 ADC 어레이의 상기 제1 출력단에 연결된 입력단 및 출력단을 포함하는 제2 열 디코더;
    상기 ADC 어레이의 상기 제2 출력단에 연결된 제1 입력단, 상기 제2 열 디코더의 상기 출력단에 연결된 제2 입력단, 및 출력단을 포함하는 레인지 센서.
  4. 제3 항에 있어서,
    상기 픽셀 어레이는 열과 행으로 배열되는 nxm 픽셀 셀들을 포함하고,
    상기 n 및 상기 m은 기설정된 정수들이고,
    상기 픽셀 어레이는 2D(2 dimensional) RGB(red-green-blue) 센서, IR(infrared) 컷 필터, 2D IR 센서, 2D NIR(near IR) 센서, 2D RGBW(red-green-blue-whit) 센서, 및 2D RGB-IR 센서 중 하나인 레인지 센서
  5. 제4 항에 있어서,
    상기 픽셀 셀은
    접지 전위에 연결된 애노드 전극, 및 캐소드 전극을 포함하는 PPD(pinned photo-diode);
    상기 PPD의 상기 캐소드 전극에 연결된 소스 터미널, 전송 신호(TX)를 수신하는 게이트 터미널, 및 드레인 터미널을 포함하는 제1 NMOS(n-channel metal oxide semiconductor) 트랜지스터;
    전원 공급 전압에 연결된 드레인 터미널, RST(reset signal)를 수신하는 게이트 터미널, 및 상기 제1 NMOS 트랜지스터의 상기 드레인 터미널에 연결된 소스 터미널을 포함하는 제2 NMOS 트랜지스터;
    상기 전원 공급 전압에 연결된 드레인 터미널, 상기 제1 NMOS 트랜지스터의 상기 드레인 터미널에 연결된 게이트 터미널, 및 소스 터미널을 포함하는 제3 NMOS 트랜지스터;
    상기 제3 NMOS 트랜지스터의 상기 소스 터미널에 연결된 드레인 터미널, RSEL(row select signal)을 수신하는 게이트 터미널, 및 상기 픽셀 셀의 출력단(PIXOUT)인 소스 터미널을 포함하고,
    상기 PPD는 원거리 오브젝트들에 반사되는 빛에 대해서 대수 모드에서 동작하고, 근거리 오브젝트들에 반사되는 빛에 대해서 선형 모드에서 동작하고, 상기 PIXOUT은 다른 픽셀 셀과 공유되는 레인지 센서.
  6. 제4 항에 있어서,
    상기 픽셀 셀은
    접지 전위에 연결된 애노드 전극 및 캐소드 전극을 포함하는 PD(photo-diode);
    전원 공급 전압에 연결된 소스 터미널, 억제 전압(Vquench)를 수신하는 게이트 터미널, 및 상기 PD의 상기 캐소드 전극에 연결된 드레인 터미널을 포함하는 PMOS(p-channel metal oxide semiconductor) 트랜지스터;
    상기 PD의 상기 캐소드 전극에 연결된 제1 입력단, RST(reset signal)을 수신하는 제2 입력단, 및 출력단을 포함하는 센싱 회로; 및
    상기 센싱 회로의 상기 출력단에 연결된 드레인 터미널, RSEL(row select signal)을 수신하는 게이트 터미널, 및 상기 픽셀 셀의 출력단(PIXOUT)인 소스 터미널을 포함하고,
    상기 PD는 원거리 오브젝트들에 반사되는 빛에 대해서 애벌란시(avalanche) 모드에서 동작하고, 근거리 오브젝트들에 반사되는 빛에 대해서 애벌란시 모드 또는 선형 모드에서 동작하는 레인지 센서.
  7. 제4 항에 있어서,
    상기 픽셀 어레이의 행은 상기 픽셀 어레이의 상기 행의 차이 및 측정된 범위에 따라 시간적으로 게이팅되어 다중경로 반사, 낮은 조명/가시성, 비와 안개와 같은 좋지 않은 날씨, 또는 강한 주변 조명/눈부심의 영향을 감소시키고,
    상기 픽셀 어레이의 상기 행은 비활성화되고,
    측정 범위에 의존하여 판독하는 동안 기설정된 차이를 가지는 행은 무시되어 판독 프레임 레이트를 증가시키는 레인지 센서.
  8. 제1 항에 있어서,
    상기 제어기는 직접적인 TOF에 근거하여 제1 식을 통해 상기 원거리 오브젝트의 범위를 더 결정하고,
    제1 식 :
    Figure pat00003

    d1은 상기 광원으로부터 상기 원거리 오브젝트까지의 상기 단면광의 이동거리이고, d2는 상기 원거리 오브젝트에서 반사되어 상기 이미지 센서까지의 상기 단면광의 이동거리이고, c는 광의 속도이고, t1은 상기 광원으로부터 상기 원거리 오브젝트까지 상기 단면광이 이동하는 데에 걸리는 시간이고, t2는 상기 원거리 오브젝트로부터 상기 이미지 센서까지 상기 광이 이동하는 데에 걸리는 시간인 레인지 센서.
  9. 제1 항에 있어서,
    상기 제어기는 삼각 측량에 근거하여 제2 식을 통해 상기 근거리 오브젝트의 범위를 더 결정하고,
    제2 식 :
    Figure pat00004

    f는 상기 수집 광학계로부터 상기 이미지 센서까지의 초점 거리이고, B는 상기 광원과 상기 이미지 센서 사이의 오프셋이며, dYinf는 상기 이미지 센서의 제1 변위이고, dY는 상기 이미지 센서의 제2 변위이고, tan()는 탄젠트 함수이고, θ는 상기 광원으로부터 투사되는 상기 단면광의 각도인 레인지 센서.
  10. 제4 항에 있어서,
    상기 픽셀 어레이의 상기 픽셀 셀들은 비닝(binning)되어 민감도를 증가시키는 레인지 센서.
KR1020160111906A 2015-10-21 2016-08-31 직접적인 tof 및 삼각 측량에 근거한 레인지 센서 장치 KR102545703B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201562244458P 2015-10-21 2015-10-21
US62/244,458 2015-10-21
US14/992,671 US10942261B2 (en) 2015-10-21 2016-01-11 Apparatus for and method of range sensor based on direct time-of-flight and triangulation
US14/992,671 2016-01-11

Publications (2)

Publication Number Publication Date
KR20170054221A true KR20170054221A (ko) 2017-05-17
KR102545703B1 KR102545703B1 (ko) 2023-06-20

Family

ID=59048441

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160111906A KR102545703B1 (ko) 2015-10-21 2016-08-31 직접적인 tof 및 삼각 측량에 근거한 레인지 센서 장치

Country Status (2)

Country Link
US (3) US10942261B2 (ko)
KR (1) KR102545703B1 (ko)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019110447A1 (en) * 2017-12-04 2019-06-13 Ams International Ag Distance time-of-flight modules
WO2020071886A1 (ko) * 2018-10-05 2020-04-09 엘지이노텍 주식회사 깊이 정보를 획득하는 방법 및 카메라 모듈
WO2021113135A1 (en) * 2019-12-01 2021-06-10 Magik Eye Inc. Enhancing triangulation-based three-dimensional distance measurements with time of flight information
US11199397B2 (en) 2017-10-08 2021-12-14 Magik Eye Inc. Distance measurement using a longitudinal grid pattern
US11381753B2 (en) 2018-03-20 2022-07-05 Magik Eye Inc. Adjusting camera exposure for three-dimensional depth sensing and two-dimensional imaging
US11443447B2 (en) 2020-04-17 2022-09-13 Samsung Electronics Co., Ltd. Three-dimensional camera system
US11474209B2 (en) 2019-03-25 2022-10-18 Magik Eye Inc. Distance measurement using high density projection patterns
US11474245B2 (en) 2018-06-06 2022-10-18 Magik Eye Inc. Distance measurement using high density projection patterns
US11475584B2 (en) 2018-08-07 2022-10-18 Magik Eye Inc. Baffles for three-dimensional sensors having spherical fields of view
US11483503B2 (en) 2019-01-20 2022-10-25 Magik Eye Inc. Three-dimensional sensor including bandpass filter having multiple passbands
US11580662B2 (en) 2019-12-29 2023-02-14 Magik Eye Inc. Associating three-dimensional coordinates with two-dimensional feature points
US11688088B2 (en) 2020-01-05 2023-06-27 Magik Eye Inc. Transferring the coordinate system of a three-dimensional camera to the incident point of a two-dimensional camera

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10527728B2 (en) * 2017-01-27 2020-01-07 Samsung Electronics Co., Ltd Apparatus and method for range measurement
US10397554B2 (en) 2017-05-16 2019-08-27 Samsung Electronics Co., Ltd. Time-resolving sensor using shared PPD+SPAD pixel and spatial-temporal correlation for range measurement
US10116925B1 (en) * 2017-05-16 2018-10-30 Samsung Electronics Co., Ltd. Time-resolving sensor using shared PPD + SPAD pixel and spatial-temporal correlation for range measurement
US10613228B2 (en) 2017-09-08 2020-04-07 Microsoft Techology Licensing, Llc Time-of-flight augmented structured light range-sensor
US20200241140A1 (en) * 2017-09-28 2020-07-30 Sony Semiconductor Solutions Corporation Apparatus and method
JP2019090625A (ja) * 2017-11-10 2019-06-13 ミツミ電機株式会社 測距カメラ
US10545224B2 (en) 2017-12-06 2020-01-28 Samsung Electronics Co., Ltd. Time-resolving sensor using SPAD + PPD or capacitors in pixel for range measurement
US10663567B2 (en) 2018-05-04 2020-05-26 Microsoft Technology Licensing, Llc Field calibration of a structured light range-sensor
KR20210011917A (ko) * 2018-05-24 2021-02-02 소니 세미컨덕터 솔루션즈 가부시키가이샤 시간 계측 장치
CN109283508A (zh) * 2018-11-21 2019-01-29 深圳奥比中光科技有限公司 飞行时间计算方法
DE102018220839B4 (de) * 2018-12-03 2024-07-04 Pepperl+Fuchs Se Messverfahren und Messeinrichtung
DE102018132473B4 (de) * 2018-12-17 2020-07-30 Sick Ag Optoelektronischer Sensor und Verfahren zur Erfassung eines Objekts
JP2020118569A (ja) * 2019-01-24 2020-08-06 ソニーセミコンダクタソリューションズ株式会社 受光装置および測距装置
CN109766876B (zh) * 2019-03-11 2024-01-26 北京至简墨奇科技有限公司 非接触式指纹采集装置和方法
KR20210123385A (ko) 2019-03-11 2021-10-13 엠오큐아이 테크놀로지 (베이징) 씨오., 엘티디. 비접촉 지문 획득 장치 및 방법
US11768277B2 (en) * 2019-11-05 2023-09-26 Pixart Imaging Incorporation Time-of-flight sensor and control method thereof
DE102019134701A1 (de) 2019-12-17 2021-06-17 Sick Ag Optoelektronischer Sensor und Verfahren zur Erfassung eines Objekts
WO2021184155A1 (zh) * 2020-03-16 2021-09-23 深圳市汇顶科技股份有限公司 三维图像传感***以及相关电子装置以及飞时测距方法
KR20210150765A (ko) * 2020-06-04 2021-12-13 에스케이하이닉스 주식회사 이미지 센싱 장치 및 이를 포함하는 촬영 장치
US11822018B2 (en) * 2020-10-14 2023-11-21 Lg Innotek Co., Ltd. Multi-detector LiDAR systems and methods for mitigating range aliasing
WO2022174479A1 (zh) * 2021-02-22 2022-08-25 深圳市欢创科技有限公司 测距装置、激光雷达和移动机器人
EP4184113A1 (de) * 2021-11-23 2023-05-24 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. System und verfahren zur inspektion zumindest einer geometrie oder einer oberfläche eines objekts
WO2024121081A1 (en) * 2022-12-05 2024-06-13 Voxelsensors Srl Optical sensing system
CN117607837B (zh) * 2024-01-09 2024-04-16 苏州识光芯科技术有限公司 传感器阵列、距离测量设备及方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010046317A1 (en) * 2000-05-26 2001-11-29 Minolta Co., Ltd Three-dimensional measurement device and three-dimensional measurement method
US20140354539A1 (en) * 2013-05-30 2014-12-04 Tobii Technology Ab Gaze-controlled user interface with multimodal input

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102004037137B4 (de) 2004-07-30 2017-02-09 PMD Technologie GmbH Verfahren und Vorrichtung zur Entfernungsmessung
US7262402B2 (en) 2005-02-14 2007-08-28 Ecole Polytechnique Federal De Lausanne Integrated imager circuit comprising a monolithic array of single photon avalanche diodes
US8355117B2 (en) 2005-12-21 2013-01-15 Ecole Polytechnique Federale De Lausanne Method and arrangement for measuring the distance to an object
US7852461B2 (en) * 2007-11-15 2010-12-14 Microsoft International Holdings B.V. Dual mode depth imaging
KR101467509B1 (ko) 2008-07-25 2014-12-01 삼성전자주식회사 이미지 센서 및 이미지 센서 동작 방법
EP2159603B1 (de) 2008-09-01 2011-11-09 Sick Ag Objektfeststellungsverfahren und Objektfeststellungssensor
CA2815393C (en) * 2010-10-22 2019-02-19 Neptec Design Group Ltd. Wide angle bistatic scanning optical ranging sensor
EP2684221A4 (en) 2011-03-10 2014-08-20 Sionyx Inc THREE-DIMENSIONAL SENSORS, SYSTEMS AND RELATED METHODS
JP2013104784A (ja) 2011-11-14 2013-05-30 Mitsubishi Electric Corp 光３次元カメラ
FR2985570A1 (fr) 2012-01-09 2013-07-12 St Microelectronics Grenoble 2 Dispositif de detection de la proximite d'un objet, comprenant des photodiodes spad
CN107340509B (zh) 2012-03-09 2020-04-14 株式会社半导体能源研究所 半导体装置的驱动方法
JP6017916B2 (ja) 2012-10-16 2016-11-02 株式会社豊田中央研究所 光検出器
US9729860B2 (en) 2013-05-24 2017-08-08 Microsoft Technology Licensing, Llc Indirect reflection suppression in depth imaging
US10061028B2 (en) 2013-09-05 2018-08-28 Texas Instruments Incorporated Time-of-flight (TOF) assisted structured light imaging
KR102136850B1 (ko) * 2013-11-12 2020-07-22 삼성전자 주식회사 깊이 센서, 및 이의 동작 방법
EP2894491B1 (en) * 2013-12-18 2020-05-27 LG Electronics Inc. Distance measuring device and method thereof
US9874629B2 (en) 2013-12-23 2018-01-23 Oulun Yliopisto Distance measurement device, receiver thereof and method of distance measurement
WO2016025502A1 (en) * 2014-08-11 2016-02-18 Gerard Dirk Smits Three-dimensional triangulation and time-of-flight based tracking systems and methods
WO2016076796A1 (en) * 2014-11-12 2016-05-19 Heptagon Micro Optics Pte. Ltd. Optoelectronic modules for distance measurements and/or multi-dimensional imaging

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010046317A1 (en) * 2000-05-26 2001-11-29 Minolta Co., Ltd Three-dimensional measurement device and three-dimensional measurement method
US20140354539A1 (en) * 2013-05-30 2014-12-04 Tobii Technology Ab Gaze-controlled user interface with multimodal input

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11199397B2 (en) 2017-10-08 2021-12-14 Magik Eye Inc. Distance measurement using a longitudinal grid pattern
US11774563B2 (en) 2017-12-04 2023-10-03 Ams International Ag Time-of-flight module and method to determine distance to object
WO2019110447A1 (en) * 2017-12-04 2019-06-13 Ams International Ag Distance time-of-flight modules
US11381753B2 (en) 2018-03-20 2022-07-05 Magik Eye Inc. Adjusting camera exposure for three-dimensional depth sensing and two-dimensional imaging
US11474245B2 (en) 2018-06-06 2022-10-18 Magik Eye Inc. Distance measurement using high density projection patterns
US11475584B2 (en) 2018-08-07 2022-10-18 Magik Eye Inc. Baffles for three-dimensional sensors having spherical fields of view
WO2020071886A1 (ko) * 2018-10-05 2020-04-09 엘지이노텍 주식회사 깊이 정보를 획득하는 방법 및 카메라 모듈
CN112823512A (zh) * 2018-10-05 2021-05-18 Lg伊诺特有限公司 获取深度信息的方法以及摄像头模块
US11875525B2 (en) 2018-10-05 2024-01-16 Lg Innotek Co., Ltd. Method and camera module for acquiring depth information
CN112823512B (zh) * 2018-10-05 2024-01-16 Lg伊诺特有限公司 获取深度信息的方法以及摄像头模块
US11483503B2 (en) 2019-01-20 2022-10-25 Magik Eye Inc. Three-dimensional sensor including bandpass filter having multiple passbands
US11474209B2 (en) 2019-03-25 2022-10-18 Magik Eye Inc. Distance measurement using high density projection patterns
US11320537B2 (en) 2019-12-01 2022-05-03 Magik Eye Inc. Enhancing triangulation-based three-dimensional distance measurements with time of flight information
WO2021113135A1 (en) * 2019-12-01 2021-06-10 Magik Eye Inc. Enhancing triangulation-based three-dimensional distance measurements with time of flight information
US11580662B2 (en) 2019-12-29 2023-02-14 Magik Eye Inc. Associating three-dimensional coordinates with two-dimensional feature points
US11688088B2 (en) 2020-01-05 2023-06-27 Magik Eye Inc. Transferring the coordinate system of a three-dimensional camera to the incident point of a two-dimensional camera
US11443447B2 (en) 2020-04-17 2022-09-13 Samsung Electronics Co., Ltd. Three-dimensional camera system
US11847790B2 (en) 2020-04-17 2023-12-19 Samsung Electronics Co., Ltd. Three-dimensional camera system

Also Published As

Publication number Publication date
US10942261B2 (en) 2021-03-09
US11543496B2 (en) 2023-01-03
US20200057148A1 (en) 2020-02-20
US12013494B2 (en) 2024-06-18
KR102545703B1 (ko) 2023-06-20
US20170097417A1 (en) 2017-04-06
US20210088633A1 (en) 2021-03-25

Similar Documents

Publication Publication Date Title
US12013494B2 (en) Apparatus for and method of range sensor based on direct time-of-flight and triangulation
TWI801572B (zh) 影像感測器、成像單元及生成灰階影像的方法
US10397554B2 (en) Time-resolving sensor using shared PPD+SPAD pixel and spatial-temporal correlation for range measurement
US10397553B2 (en) Time-resolving sensor using shared PPD+SPAD pixel and spatial-temporal correlation for range measurement
CN108307180B (zh) 图像传感器中的像素、成像单元、用于测距的***及方法
US11153551B2 (en) Apparatus for and method of illumination control for acquiring image information and depth information simultaneously
US11988777B2 (en) Time-resolving image sensor for range measurement and 2D greyscale imaging
US10598936B1 (en) Multi-mode active pixel sensor
US9052381B2 (en) Detector array for high speed sampling of an optical pulse
KR20160124666A (ko) 동시 rgbz 센서 및 시스템
KR20190074196A (ko) 다이렉트 tof 범위 측정을 위한 non-spad 픽셀들
US11703594B2 (en) Time-resolving sensor using SPAD + PPD or capacitors in pixel for range measurement
Villa et al. 3d spad camera for advanced driver assistance
Tontini et al. Comparison of background-rejection techniques for SPAD-based LiDAR systems

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant