KR20210128927A - 3차원 이미징을 제공하기 위한 하이브리드 센서 시스템과 방법 - Google Patents

3차원 이미징을 제공하기 위한 하이브리드 센서 시스템과 방법 Download PDF

Info

Publication number
KR20210128927A
KR20210128927A KR1020210048810A KR20210048810A KR20210128927A KR 20210128927 A KR20210128927 A KR 20210128927A KR 1020210048810 A KR1020210048810 A KR 1020210048810A KR 20210048810 A KR20210048810 A KR 20210048810A KR 20210128927 A KR20210128927 A KR 20210128927A
Authority
KR
South Korea
Prior art keywords
sensing
depth
sensing region
region
light
Prior art date
Application number
KR1020210048810A
Other languages
English (en)
Inventor
김광오
이빙 미쉘 왕
라드와눌 하산 시디크
릴롱 쉬
천지 왕
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20210128927A publication Critical patent/KR20210128927A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4816—Constructional features, e.g. arrangements of optical elements of receivers alone
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • G03B35/10—Stereoscopic photography by simultaneous recording having single camera with stereoscopic-base-defining system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/236—Image signal generators using stereoscopic image cameras using a single 2D image sensor using varifocal lenses or mirrors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/293—Generating mixed stereoscopic images; Generating mixed monoscopic and stereoscopic images, e.g. a stereoscopic image overlay window on a monoscopic image background
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/705—Pixels for depth measurement, e.g. RGBZ
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/79—Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors
    • H04N5/36965—
    • H04N5/378—
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

하이브리드 센싱 어레이 기반의 3D 뎁스 센싱 시스템 및 이미지를 제공하는 방법을 제공한다. 상기 3D 센싱 시스템은 광을 방출하도록 구성된 광원, 오브젝트로부터 반사된 주변 광을 감지하도록 구성된 2D 센싱 영역, 그리고 상기 광원에 의해 방출되고 상기 오브젝트로부터 반사된 상기 광을 검출하도록 구성된 3D 뎁스 센싱 영역을 포함하는 하이브리드 센싱 어레이, 상기 하이브리드 센싱 어레이 상의 메타 렌즈, 및 상기 2D 센싱 영역에 의해 제공되는 2D 이미지 정보와 상기 3D 뎁스 센싱 영역에 의해 제공되는 3D 정보를 결합하여 결합된 3D 이미지를 생성하도록 구성된 프로세싱 회로를 포함한다. 상기 메타 렌즈는 상기 오브젝트로부터 반사된 상기 주변 광을 상기 2D 센싱 영역을 향해 지향시키고, 상기 광원에 의해 방출되고 상기 오브젝트로부터 반사된 상기 광을 상기 3D 뎁스 센싱 영역을 향해 지향하도록 구성된다.

Description

3차원 이미징을 제공하기 위한 하이브리드 센서 시스템과 방법{HYBRID SENSOR SYSTEM AND METHOD FOR PROVIDING 3D IMAGING}
본 개시의 하나 이상의 실시 예들은 3D 이미징을 위한 하이브리드 센서 시스템 및 방법에 관한 것이다.
최근에는, 첨단 운전자 지원 시스템(advanced driver assistance system; ADAS), 자율 주행 응용 프로그램(autonomous driving application), 증강 현실(augmented reality; AR), 가상 현실(virtual reality; VR) 등과 같이 컴퓨터 비전(computer vision)에 의존하는 응용 프로그램(applications)이 더 광범위하게 요구되고 있다. ADAS, 자율 주행 애플리케이션들, AR, VR 등을 지원하기 위해, Light Detection and Ranging(“LiDAR”), 카메라 등과 같은 다양한 감지 시스템(detection system)들이 제공되었다. 이러한 감지 시스템들은 응용 프로그램이 실제 세상으로부터의 정보를 이해, 수정 및 실행하는 데 도움이 되는 정보를 제공한다.
그러나, 해상도(resolution), 검출 범위(detection range), 속도(speed) 및/또는 안정성(stability)에 부정적인 영향을 미칠 수 있는 하드웨어 및 소프트웨어 제한으로 인해 ADAS, 자율 주행 애플리케이션들, AR, VR 등의 요구들을 충족하기 어려울 수 있다. 예를 들어, ADAS 및 자율 주행 애플리케이션들에 대하여 고해상도 및 고품질 3D 뎁스 정보(depth information)를 제공하는 것은 어려울 수 있다. 다른 예를 들면, 장치의 더 넓은 검출 범위(예를 들면, 10 미터 이상의 검출 범위) 및 이동성(mobility)이 유용할 수 있는 AR 및 VR 애플리케이션들에 대하여 낮은 폼 팩터(low form-factor)가 바람직할 수 있다.
일반적으로, 실제 정보를 제공하기 위하여, 복수의 개별 감지 시스템들(multiple separate detection systems)이 사용될 수 있다. 그러나, 이러한 개별 감지 시스템들로부터의 데이터를 고품질 3D 이미지(high quality 3D image)로 변환하는 것은 어려울 수 있다. 예를 들어, 별도의 2D 이미지 데이터 세트(a separate set of 2D image data)와 별도의 3D 뎁스 데이터 세트(a separate set of 3D depth data)를 제공하는 별도의 검출 시스템은 별도의 2D 이미지 데이터 및 3D 뎁스 데이터의 세트들로부터 해당하는 지점들을 정렬함으로써 3D 이미지를 제공하는 데 사용될 수 있다. 이러한 프로세스는 상당한 계산 리소스들이 필요할 수 있는 여러 요소들 및/또는 칼리브레이션들(calibrations)을 고려할 수 있다. 게다가, 2D 이미지 데이터와 3D 뎁스 데이터 사이의 해당하는 지점들이 잘못 정렬되거나 정렬하지 못하는 경우, 컴퓨터 비전 애플리케이션들(computer vision applications)을 위한 상기 개별 시스템들의 효율성이 저하될 수 있다.
상기 배경 기술의 섹션에 개시된 상술한 정보는 본 발명의 배경에 대한 이해를 향상시키기 위한 것이므로 선행 기술을 구성하지 않는 정보를 포함할 수 있다.
본 개시의 목적은 3D 이미징을 위한 하이브리드 센서 시스템 및 방법을 제공하기 위한 것이다.
본 개시의 하나 이상의 예시적인 실시 예들은 3D 이미징을 위한 시스템 및 방법에 관한 것이다.
본 개시의 일 실시 예에 따르면, 3D 센싱 시스템이 제공된다. 상기 3D 센싱 시스템은 광을 방출하도록 구성된 광원, 오브젝트로부터 반사된 주변 광을 감지하도록 구성된 2D 센싱 영역, 그리고 상기 광원에 의해 방출되고 상기 오브젝트로부터 반사된 상기 광을 검출하도록 구성된 3D 뎁스 센싱 영역을 포함하는 하이브리드 센싱 어레이, 상기 하이브리드 센싱 어레이 상의 메타 렌즈, 및 상기 2D 센싱 영역에 의해 제공되는 2D 이미지 정보와 상기 3D 뎁스 센싱 영역에 의해 제공되는 3D 정보를 결합하여 결합된 3D 이미지를 생성하도록 구성된 프로세싱 회로를 포함한다. 상기 메타 렌즈는 상기 오브젝트로부터 반사된 상기 주변 광을 상기 2D 센싱 영역을 향해 지향시키고, 상기 광원에 의해 방출되고 상기 오브젝트로부터 반사된 상기 광을 상기 3D 뎁스 센싱 영역을 향해 지향하도록 구성된다.
상기 프로세싱 회로는 상기 2D 센싱 영역에 기초하여 상기 오브젝트의 2D 이미지 정보를 결정하고, 상기 3D 뎁스 센싱 영역에 기초하여 상기 오브젝트의 3D 뎁스 정보를 결정하고, 그리고 상기 오브젝트의 상기 2D 이미지 정보를 상기 3D 뎁스 정보를 이용하여 업데이트하도록 더 구성된다.
상기 3D 센싱 시스템은 로우 디코더 및 컬럼 증폭기를 더 포함하고, 상기 로우 디코더 및 상기 컬럼 증폭기는 상기 하이브리드 센싱 어레이의 아래에 적층될 수 있다.
상기 메타 렌즈는 원형, 원통형, 직사각형, 또는 정사각형의 형태이고, 편광-독립적일 수 있다.
상기 2D 센싱 영역은 하나 이상의 포토다이오드들을 포함하고, 상기 3D 뎁스 센싱 영역은 하나 이상의 애밸랜치 포토 다이오드들(avalanche photodiodes; APDs) 또는 단일 광자 애밸랜치 다이오드들(single-photon avalanche diodes; SPADs)을 포함할 수 있다.
상기 메타 렌즈는 NIR(near infrared) 광을 상기 3D 뎁스 센싱 영역으로 향하도록 구성될 수 있다.
상기 프로세싱 회로는 상기 2D 이미지 정보에 기초하여 상기 오브젝트를 검출하고, 상기 2D 이미지 정보 내에서 상기 오브젝트의 좌표에 기초하여 관심 영역(region of interest)을 생성하고, 그리고 상기 광원을 사용하여 상기 관심 영역을 비추도록 더 구성될 수 있다.
상기 프로세싱 회로는 상기 2D 이미지 정보 및 3D 뎁스 정보에 기초하여 상기 오브젝트의 아이덴터티(identity)를 결정하고, 상기 2D 이미지 정보를 기반으로 상기 오브젝트를 추적하고, 및 임계 조건(critical condition)에 응답하여 상기 2D 이미지 정보를 상기 3D 뎁스 정보를 이용하여 업데이트하도록 더 구성될 수 있다.
본 개시의 일 실시 예에 따르면, 하이브리드 센싱 어레이에 기반하여 이미지를 제공하는 방법이 제공된다. 상기 방법은 광원으로부터 광을 방출하는 단계, 상기 하이브리드 센싱 어레이의 2D 센싱 영역에 의해, 오브젝트로부터 반사된 주변 광을 검출하는 단계, 상기 하이브리드 센싱 어레이의 3D 뎁스 센싱 영역에 의해, 상기 광원에 의해 방출되고 상기 오브젝트로부터 상기 3D 뎁스 센싱 영역을 향해 반사된 상기 광을 검출하는 단계, 상기 하이브리드 센싱 어레이 상의 메타 렌즈에 의해, 상기 주변 광을 상기 2D 센싱 영역으로 향하게 하는 단계, 상기 하이브리드 센싱 어레이의 상기 메타 렌즈에 의해, 상기 광원에 의해 방출되고 상기 오브젝트로부터 반사된 상기 광을 상기 3D 뎁스 센싱 영역으로 향하게 하는 단계, 그리고 프로세싱 회로에 의해 상기 2D 센싱 영역에서 제공되는 2D 이미지 정보와 상기 3D 뎁스 센싱 영역에서 제공되는 3D 정보를 결합하여 결합된 3D 이미지를 생성하는 단계를 포함한다.
상기 방법은 상기 프로세싱 회로에 의해 상기 2D 센싱 영역에 기초하여 상기 오브젝트의 상기 2D 이미지 정보를 결정하는 단계, 상기 프로세싱 회로에 의해 상기 3D 뎁스 센싱 영역에 기초하여 상기 오브젝트의 3D 뎁스 정보를 결정하는 단계, 그리고 상기 프로세싱 회로에 의해, 상기 오브젝트의 상기 2D 이미지 정보를 상기 3D 뎁스 정보를 이용하여 업데이트하는 단계를 더 포함할 수 있다.
상기 주변 광 및 상기 광원에 의해 방출된 상기 광을 검출하는 상기 하이브리드 센싱 어레이는 로우 디코더 및 컬럼 증폭기 위에 적층될 수 있다.
상기 주변 광을 상기 2D 센싱 영역으로 향하게 하고 상기 광원에 의해 방출되고 상기 오브젝트로부터 상기 3D 뎁스 센싱 영역을 향해 반사된 상기 광을 지향시키는 상기 메타 렌즈는 원형, 원통형, 직사각형, 또는 정사각형의 형태를 가지며 편광-독립적일 수 있다.
상기 2D 센싱 영역은 상기 주변 광을 검출하기 위한 하나 이상의 포토다이오드들을 포함하고, 상기 3D 뎁스 센싱 영역은 상기 광원에 의해 방출되고 상기 오브젝트에서 반사된 상기 광을 검출하기 위한 APD 또는 SPAD를 포함할 수 있다.
상기 하이브리드 센싱 어레이 상의 상기 메타 렌즈에 의해, 상기 주변 광을 상기 2D 센싱 영역으로 향하게 하는 단계는 가시 광을 상기 2D 센싱 영역으로 향하게 하는 단계를 포함하고 상기 하이브리드 센싱 어레이의 상기 메타 렌즈에 의해, 상기 광원에 의해 방출되고 상기 오브젝트로부터 반사된 상기 광을 상기 3D 뎁스 센싱 영역으로 향하게 하는 단계는 NIR 광을 상기 3D 뎁스 센싱 영역으로 향하게 하는 단계를 포함할 수 있다.
상기 방법은 상기 프로세싱 회로에 의해, 상기 2D 이미지 정보에 기초하여 상기 오브젝트를 검출하는 단계, 상기 프로세싱 회로에 의해, 상기 2D 이미지 정보 내 상기 오브젝트의 좌표에 기초하여 관심 영역을 생성하는 단계, 그리고 상기 프로세싱 회로에 의해, 상기 광원을 사용하여 상기 관심 영역을 비추는 단계를 더 포함할 수 있다.
상기 방법은 상기 프로세싱 회로에 의해, 상기 2D 이미지 정보 및 3D 뎁스 정보에 기초하여 상기 오브젝트의 아이덴터티를 결정하는 단계, 상기 프로세싱 회로에 의해, 상기 2D 이미지 정보에 기초하여 상기 오브젝트를 추적하는 단계, 그리고 상기 프로세싱 회로에 의해, 임계 조건에 응답하여 상기 2D 이미지 정보를 상기 3D 뎁스 정보를 이용하여 갱신하는 단계를 더 포함할 수 있다.
본 개시의 일 실시 예에 따르면, 3D 센싱 시스템이 제공된다. 상기 3D 센싱 시스템은 광을 방출하도록 구성된 광원, 오브젝트로부터 반사된 가시 광을 검출하는 2D 센싱 영역, 상기 오브젝트로부터 반사된 NIR 광을 검출하는 3D 뎁스 센싱 영역, 상기 2D 센싱 영역을 덮는 메타 렌즈, 그리고 프로세싱 회로는 상기 2D 센싱 영역에 기초하여 상기 오브젝트의 2D 이미지 정보를 결정하고, 상기 3D 뎁스 센싱 영역에 기초하여 상기 오브젝트의 3D 뎁스 정보를 결정하고, 및 상기 오브젝트의 상기 2D 이미지 정보를 상기 3D 뎁스 정보를 이용하여 업데이트하도록 더 구성된다. 상기 메타 렌즈는 상기 오브젝트로부터 반사된 상기 가시 광을 상기 2D 센싱 영역으로 향하게 하고 상기 광원에 의해 방출되고 상기 오브젝트로부터 반사된 상기 광을 상기 3D 뎁스 센싱 영역으로 향하게 구성된다.
상기 3D 센싱 시스템은 로우 디코더 및 컬럼 증폭기를 더 포함하고, 상기 로우 디코더 및 상기 컬럼 증폭기는 상기 2D 센싱 영역 및 상기 3D 뎁스 센싱 영역 아래에 적층될 수 있다.
상기 메타 렌즈는 원형, 원통형, 직사각형, 또는 정사각형의 형태이고 편광-독립적일 수 있다.
상기 2D 센싱 영역은 하나 이상의 포토 다이오드들을 포함하고, 상기 3D 뎁스 센싱 영역은 하나 이상의 SPADs or APDs을 포함할 수 있다.
본 개시의 실시 예들에 따르면, 3D 이미징을 위한 하이브리드 센서 시스템 및 방법이 제공된다.
본 개시의 상술한 다른 양상들 및 특징들은 첨부된 도면들을 참조하여 예시적인 실시 예들의 다음의 상세한 설명으로부터 당업자에게 더 명백해질 것이다.
도 1은 본 개시의 하나 이상의 실시 예들에 따른 3D 센싱 시스템의 블록도이다.
도 2a는 본 개시의 하나 이상의 실시 예들에 따른 하이브리드 센서를 포함하는 블록도이다.
도 2b는 본 개시의 하나 이상의 실시 예들에 따른 하이브리드 센서를 포함하는 블록도이다.
도 3a 내지 도 3i는 본 개시의 하나 이상의 실시 예들에 따른 하이브리드 센싱 어레이들의 부분들의 평면도들이다.
도 4a 내지 도 4d는 본 개시의 하나 이상의 실시 예들에 따른 하이브리드 센싱 어레이들 상의 복수의 메타 렌즈들을 갖는 하이브리드 센싱 어레이들의 일부들의 평면도들이다.
도 5a 내지 도 5c는 본 개시의 하나 이상의 실시 예들에 따른 하이브리드 센싱 어레이 상에 메타 렌즈 및 마이크로 렌즈를 갖는 하이브리드 센싱 어레이의 단면도들이다.
도 6a는 본 개시의 하나 이상의 실시 예에 따른 하이브리드 센싱 어레이 상의 메타 렌즈의 분해사시도 및 메타 렌즈를 포함하는 블록도이다.
도 6b는 본 개시의 하나 이상의 실시 예들에 따른 하이브리드 센싱 어레이 상의 렌즈 및 메타 렌즈를 포함하는 분해 블록도이다.
도 7a는 본 개시의 하나 이상의 실시 예들에 따른 하이브리드 센서의 평면도 및 단면도이다.
도 7b는 본 개시의 하나 이상의 실시 예들에 따른 하이브리드 센서의 단면도이다.
도 8은 본 개시의 하나 이상의 실시 예에 따른, 오브젝트 검출 및 트래킹을 위한 방법의 흐름도이다.
도 9는 본 개시의 하나 이상의 실시 예들에 따른 고해상도 2D 이미지 및 고해상도 3D 이미지를 제공하기 위한 방법의 흐름도이다.
이하에서, 첨부된 도면을 참조하여 예시적인 실시 예들을 보다 상세하게 설명할 수 있다. 여기서 동일한 참조 번호들은 전체에 걸쳐 동일한 요소들을 지칭할 것이다. 그러나, 본 개시는 다양하고 상이한 형태들로 구현될 수 있으며 여기에서 도시된 실시 예들에 한정되는 것으로 해석되어서는 안 된다. 오히려, 이들 실시 예들은 본 개시가 철저하고 완전하고 본 개시의 양태들과 특징들을 당업자에게 완전히 전달할 수 있도록 예로서 제공된다. 따라서, 본 개시의 양태들 및 특징들의 완전한 이해를 위해 당업자에게 필요하지 않은 프로세스들, 요소들 및 기술들은 설명되지 않을 수 있다. 별도의 언급이 없는 한, 동일한 도면 부호는 첨부된 도면 및 작성된 설명에 걸쳐서 동일한 구성 요소를 나타낸다. 따라서, 그것의 설명들은 반복되지 않는다.
일반적으로, direct time-of-flight (TOF) LiDAR 시스템과 같은 LiDAR 시스템은 오브젝트를 향해 광 펄스(예를 들면, 레이저 펄스)를 방출하고 상기 광 펄스가 상기 오브젝트에 반사되서 LiDAR 시스템의 센서에 의해 감지되는 데 걸리는 시간을 측정함으로써, 상기 오브젝트의 거리(예를 들면, 뎁스)를 측정한다. 일부 LiDAR 시스템들은 단일 광자 애밸랜치 다이오드(single-photon avalanche diode; SPAD) 및/또는 애밸랜치 포토 다이오드(avalanche photodiode; APD)와 같은 광 디텍터들(photodetectors)을 포함하는 3D 뎁스 센서를 사용하여 3D 뎁스 정보에 관한 광자들(photons)을 감지할 수 있다. 일부 LiDAR 시스템들은 2D 정보(예를 들면, 2D 이미지)를 위해 특정 파장(예를 들면, 가시 광선 파장)에서 광을 감지하기 위해 포토 다이오드(photodiode; PD)와 같은 광 디텍터를 포함하는 별도의 2D 이미지 센서를 사용할 수도 있으며, 그리고, 일부 LiDAR 시스템들은 3D 뎁스 센서와 2D 센서의 서로 다른 뷰들 사이에 해당 지점들을 정렬함으로써 2D 정보를 이용하여 3D 뎁스 정보를 융합할 수 있다. 3D 뎁스 정보를 2D 정보와 융합함으로써, 자율 주행 애플리케이션들, ADAS 등을 위한 오브젝트 감지(object detection)와 같은 컴퓨터 비전 애플리케이션들은 현실 세계에서 오브젝트들을 감지하고 식별할 수 있다. 따라서, 융합된 2D 이미지와 3D 뎁스 데이터가 제공되는 속도와 해상도는 실시간 컴퓨터 비전 애플리케이션들(real-time computer vision applications)에 중요할 수 있다.
그러나, 별도의 2D 이미지 센서 및 3D 뎁스 센서를 사용하면 몇 가지 이슈들이 발생한다. 예를 들어, 2D 이미지 센서 및 3D 뎁스 센서는 상이한 시야들(fields of view; FOV), 상이한 해상도들(different resolutions), 더 큰 폼 팩터(larger form factor) 등을 가질 수 있다. 따라서, 상기 센서들은 바람직하지 않게 부피가 커질 수 있고, 정확한 보정 설정(calibration settings)이 필요할 수 있고, 그리고 상당한 컴퓨팅 파워는 3D 뎁스 정보와 2D 이미지 데이터 사이의 해당 지점들을 정렬하는 데 사용될 수 있다.
별도의 2D 이미지 센서의 FOV와 별도의 3D 뎁스 센서의 FOV에 따라, 일부 지점들은 FOV가 겹치지 않는 영역, 센서들 중 하나의 장애물들, 등으로 인해 대응하지 못할 수 있다. 그리고, 별도의 2D 이미지 센서와 별도의 3D 뎁스 센서는 큰 베이스라인 거리(baseline distance)(예를 들면, 2D 이미지 센서와 3D 뎁스 센서 사이의 거리)를 가질 수 있다. 이것은 2D와 3D 정보 간의 정렬을 더 어렵게 만들 수 있다.
개별적으로, 별도의 2D 이미지 센서와 별도의 3D 뎁스 센서로부터의 데이터를 결합하면 정렬 중에 해결해야 할 이슈들이 발생할 수 있다. 예를 들어, 별도의 3D 뎁스 센서는 2D 이미지 정보와 3D 뎁스 정보의 융합을 더 어렵게 만들 수 있는 시간적, 공간적 또는 플라잉 픽셀들(flying pixels)과 같은 노이즈를 가질 수 있다.
또한, 별도의 2D 이미지 센서 및 3D 뎁스 센서는 이용 가능한 모든 센싱 픽셀들을 스캔하여 정렬을 위한 데이터를 제공할 수 있다. 그러나, 이 프로세스는 상당한 컴퓨팅 리소스들과 전력을 소비할 수 있는 반면에, 이용 가능한 모든 센싱 픽셀들을 스캔하는 것은 컴퓨터 비전 애플리케이션들을 위하여 바람직하지 않을 수 있다. 자율 주행 차량들의 경우, 증가된 전력 소모는 설정된 배터리 전력량에 기초하여 주행 범위를 감소시키는 이용 가능한 전력을 감소시킬 수 있다. 또한, 더 많은 센싱 픽셀들을 스캔하는 것과 관련된 증가된 컴퓨팅 요구들은 TOF와 같은 계산들이 완료될 수 있는 속도를 감소시킬 수 있다.
그럼에도 불구하고, 낮은 폼 팩터를 가지는 고해상도 및 고품질 3D 뎁스 정보는 컴퓨터 비전 애플리케이션들이 더 먼 거리에서 있는 환경 내에서 오브젝트들을 감지하고 향상된 이동성을 제공하는 데 매우 바람직할 수 있다. ADAS 및 자율 주행 애플리케이션들의 경우 오브젝트가 감지될 수 있는 거리를 늘리면 상기 오브젝트에 의하여 제기된 위험은 감소될 수 있다. 따라서, 적어도 100 미터부터 약 200 미터 이상의 범위까지 오브젝트들을 감지하는 것이 바람직할 수 있다. VR 및 AR 애플리케이션들의 경우 낮은 폼 팩터는 더 큰 이동성을 제공할 수 있으며, 고품질 3D 뎁스 정보는 원거리의 오브젝트들(예를 들면, 센싱 시스템에서 10 미터 이상 떨어진 오브젝트들)를 식별하는 데 바람직할 수 있다.
본 개시의 하나 이상의 실시 예들에 따르면, 하이브리드 센싱 어레이를 포함하는 콤팩트하고, 모놀리식 하이브리드 센서(compact, monolithic hybrid sensor)가 제공될 수 있다. 하이브리드 센싱 어레이는 가시적 특징들을 검출하기 위한 2D 센싱 영역(예를 들면, 컴플리먼터리 금속-산화물-반도체(complementary metal-oxide-semiconductor; CMOS) 센싱 영역)과 뎁스를 감지하기 위한 3D 뎁스 센싱 영역(예를 들면, SPAD 또는 APD 센싱 영역)을 포함할 수 있다. 상기 하이브리드 센싱 어레이의 2D 센싱 영역과 3D 뎁스 센싱 영역은 서로 동일하거나 실질적으로 동일한 FOV를 공유할 수 있다. FOV를 공유함으로써, 상기 시스템에 대한 칼리브레이션 요구들이 감소될 수 있고, 정렬이 단순화될 수 있다.
하나 이상의 실시 예들에서, 가시 광 및 근적외선의 검출을 향상시키기 위하여, 하이브리드 센싱 어레이와 외부 광 사이에 위치한 하나 이상의 메타 렌즈들은 가시 광을 2D 센싱 영역으로 향하게 할 수 있고(또는 초점을 맞출 수 있고) 근적외선(near infrared; “NIR”) 광을 3D 뎁스 센싱 영역으로 향하게 할 수 있다(또는 초점을 맞출 수 있다).
게다가, 고화질 3D 뎁스 정보를 이용하여 업데이트되거나 증강되는 고해상도 2D 이미지가 공유된 FOV에 따라 제공되도록 하기 위하여, 2D 센싱 영역의 PD들을 포함하는 제1 복수의 센싱 픽셀들과 3D 뎁스 센싱 영역의 센싱 픽셀들을 포함하는 제2 복수의 센싱 픽셀들을 배치될 수 있다. 다시 말하면, 결합된 3D 이미지는 제공될 수 있다. 예를 들어, 하나 이상의 실시 예들에서, 고해상도 2D 뷰(high resolution 2D view)에서 오브젝트를 검출하기 위하여 2D 센싱 영역으로부터의 2D 이미지 데이터는 프로세싱 회로(processing circuit)에 의해 사용될 수 있다. 따라서, 더 먼 거리에서 오브젝트는 검출될 수 있다. 3D 뎁스 센싱 영역으로부터의 3D 뎁스 정보를 2D 이미지 데이터에 매핑함으로써, 상기 프로세싱 회로는 3D 뎁스 정보를 이용하여 고해상도 2D 이미지 데이터를 업데이트하거나 증강시킬 수 있다.
본 개시의 하나 이상의 실시 예들에서, 관심 영역(region of interest; “ROI”) 스캐닝 메커니즘(scanning mechanism)을 하이브리드 센서의 3D 뎁스 센싱 영역으로 적용함으로써, 상기 프로세싱 회로는 전력을 절약하고, 연산 부담을 감소시킬 수 있다. 예를 들어, 상기 프로세싱 회로의 오브젝트 디텍터(object detector)는 하나의 알고리즘을 사용하여 2D 이미지를 기반으로 관심 오브젝트(objects of interest; “OOI”)를 식별하고 추적할 수 있다. 상기 식별 및 추적된 OOI에 기초하여, 하나 이상의 실시 예들에서, 상기 3D 뎁스 센싱 영역의 모든 센싱 픽셀들을 대신하여 상기 3D 뎁스 센싱 영역(예를 들면, 상기 3D 뎁스 센싱 영역의 SPAD 또는 APD의 일부)의 센싱 픽셀들의 일부가 3D 뎁스 정보를 프로세싱 회로로 제공하도록 상기 프로세싱 회로의 ROI 컨트롤러(ROI controller)는 상기 센싱 회로와 통신할 수 있다. 게다가, 하나 이상의 실시 예들에서, 상기 프로세싱 회로의 상기 ROI 컨트롤러는 광원과 직접 또는 간접적으로 통신하여 추적된 OOI를 비추기 위한 버티컬-캐비티-서피스-에미팅 레이저들(vertical-cavity surface-emitting lasers; “VCSEL”)의 어레이의 일부를 활성화할 수 있다. 예를 들어, ADAS 및 자율 주행 차량 애플리케이션들의 경우, 정적일 수 있는 나무(tree)와는 대조적으로 보행자는 이동할 수 있다. 따라서, 상기 보행자의 3D 뎁스 정보는 ROI 스캐닝을 사용하여 제공될 수 있는 반면, 상기 나무의 3D 뎁스 정보는 전력 및/또는 계산 리소스들을 절약하기 위해 수집되지 않을 수 있다.
지금부터, 본 개시의 하나 이상의 예시적인 실시 예들의 상술된 다른 양상들 및 특징들은 도면들을 참조하여 더 상세하게 설명될 것이다.
도 1은 본 개시의 하나 이상의 실시 예들에 따른 3D 센싱 시스템(102)의 블록도(100)이다.
도 1을 참조하면, 본 발명의 하나 이상의 실시 예들에 따르면, 3D 센싱 시스템(102)은 환경 내 그것의 주변에 대응하는 정보를 획득할 수 있다. 하나 이상의 실시 예들에서, 상기 3D 센싱 시스템은 광원(104)(예를 들어, VCSEL의 어레이) 및 하이브리드 센서(106)를 포함한다.
상기 하이브리드 센서(106)는 주변 광을 기반으로 2D 정보(예를 들면, 색상이 있거나 없는 2D 이미지 정보)를 생성하도록 구성된 2D 센싱 영역과 상기 광원(104)에서 방출된 광을 기반으로 TOF 측정에 따라 3D 뎁스 정보를 생성하도록 구성된 3D 뎁스 센싱 영역을 포함할 수 있다.
예를 들어, 상기 하이브리드 센서(106)의 2D 센싱 영역은 하나 이상의 타겟들로부터 반사된 주변 광을 검출하여 2D 이미지 정보를 생성할 수 있다. 상기 하이브리드 센서(106)의 3D 뎁스 센싱 영역은 상기 광원(104)으로부터 방출되고(예를 들면, 광 펄스가 방출된) 상기 하이브리드 센서(106)로 다시 반사되는 광을 검출할 수 있다(반사광을 3D 뎁스 센싱 영역으로 향하게 하는 하나 이상의 메타 렌즈들을 포함할 수 있음). 상기 광원(104)으로부터의 광 펄스의 방출로부터 3D 뎁스 센싱 영역에 의하여 반사된 광 펄스의 검출까지의 경과 시간(다시 말하면, TOF)에 따라, 상기 3D 센싱 시스템(102)은 상기 하나 이상의 오브젝트들(108)의 표면까지의 거리 D1(예를 들어, 뎁스)를 결정할 수 있다.
하나 이상의 실시 예들에서, 상기 2D 정보는 고해상도로 상기 3D 센싱 시스템(102)에 대한 적절한 근접도 내에 위치한 상기 하나 이상의 오브젝트들(108)을 검출하고 추적하기 위해 독립적으로 사용될 수 있다. 하나 이상의 실시 예들에서, 3D 뎁스 정보를 이용하여 보충되거나 증강된 고해상도 2D 이미지를 제공하기 위하여, 상기 3D 뎁스 정보는 상기 하나 이상의 추적된 오브젝트들(108)의 2D 정보를 업데이트하는데 사용될 수 있다.
따라서, 상기 3D 센싱 시스템(102)은 상기 하이브리드 센서(106)를 사용하여 2D의 고해상도로 환경에서 상기 하나 이상의 오브젝트들(108)을 식별하고 추적할 수 있고, 상기 하이브리드 센서(106)를 사용하여 3D 뎁스 정보를 가지는 하나 이상의 객체들에 대응하는 2D 정보를 증강 또는 업데이트 할 수 있다. 2D에서 고해상도로 상기 하나 이상의 오브젝트들(108)을 검출함으로써, 상기 3D 센싱 시스템(102)은 오브젝션 검출 거리(objection detection distance)를 증가시킬 수 있고 검출된 오브젝트에 대한 뎁스 추정(depth estimation)을 개선할 수 있다.
도 2a는 본 개시의 하나 이상의 실시 예들에 따른 상기 하이브리드 센서(106)를 포함하는 블록도이다. 도 2b는 본 개시의 하나 이상의 실시 예들에 따른 하이브리드 센서를 포함하는 블록도이다.
도 2a 및 도 2b를 참조하면, 본 개시의 하나 이상의 예시적인 실시 예들에 따라, 상기 하이브리드 센서(106)는 광을 검출하기 위한 센싱 회로(sensing circuit; 202), 그리고 프로세서(processor; 206) 및 메모리(memory; 208)를 포함하는 프로세싱 회로(processing circuit; 204)를 포함한다. 상기 프로세서(206)는 범용 프로세서(general purpose processor), application specific integrated circuit (ASIC), 하나 이상의 field programmable gate array들(FPGA), 프로세싱 컴포넌트 그룹(a group of processing components), 또는 다른 적절한 전자 프로세싱 컴포넌트들(other suitable electronic processing components)로서 구현될 수 있다. 상기 메모리(208)(예를 들면, 메모리, 메모리 유닛(memory unit), 저장 장치(storage device), 등)는 본 출원에 설명된 다양한 프로세스들을 완료하거나 용이하게 하기 위한 데이터 및/또는 컴퓨터 코드를 저장하기 위한 하나 이상의 장치들(예를 들면, RAM, ROM, 플래시 메모리(Flash memory), 하드 디스크 스토리지(hard disk storage), 등)을 포함할 수 있다. 상기 메모리(208)는 휘발성 메모리 또는 비휘발성 메모리일 수 있거나 휘발성 메모리 또는 비휘발성 메모리를 포함할 수 있다. 상기 메모리(208)는 데이터베이스 구성 요소들(database components), 오브젝트 코드 구성 요소들(object code components), 스크립트 구성 요소들(script components), 또는 본 출원에서 설명된 다양한 액티비티들(activities) 및 정보 구조들을 지원하기 위한 임의의 다른 타입의 정보 구조(any other type of information structure)를 포함할 수 있다. 예시적인 실시 예에 따르면, 상기 메모리(208)는 상기 프로세싱 회로(204)를 통해 상기 프로세서(206)에 통신 가능하도록 연결될 수 있고, 본 개시에서 설명된 하나 이상의 프로세스들을 실행(예를 들어, 상기 프로세싱 회로(204) 및/또는 상기 프로세서(206)에 의해)하기 위한 컴퓨터 코드를 포함할 수 있다.
도 2a 및 도 2b에 도시된 바와 같이, 상기 프로세싱 회로(204)는 상기 하이브리드 센서(106)의 상기 프로세싱 회로(204)로서 상기 하이브리드 센서(106) 내에서 구현될 수 있다. 그러나, 본 개시는 이에 제한되지 않는다. 하나 이상의 실시 예들에서, 상기 프로세싱 회로(204)의 기능들은 복수의 로컬 프로세싱 회로들(예를 들어, 상기 하이브리드 센서(106)로부터 분리되는 상기 하이브리드 센서(106)의 상기 프로세싱 회로(204) 그리고 상기 3D 센싱 시스템(102)의 다른 프로세싱 회로)에 걸쳐 분리되거나 공유될 수 있다. 하나 이상의 실시 예들에서, 상기 3D 센싱 시스템(102)의 상기 프로세싱 회로는 예를 들어 상기 3D 센싱 시스템(102)의 기능들(예를 들어, 차량의 제어 기능들)을 제어하고 상기 하이브리드 센서(106)의 상기 프로세싱 회로(204)와 통신할 수 있다. 따라서, 하나 이상의 실시 예들에서, 상기 하이브리드 센서(106)의 상기 프로세싱 회로(204)는 상기 3D 센싱 시스템(102)의 프로세싱 회로에 의해 수행될 수 있는 일부 기능들을 오프로드함으로써 다른 기능들을 수행하기 위하여 상기 3D 센싱 시스템(102)의 프로세싱 회로를 자유롭게 할 수 있다.
본 개시에서 설명된 상기 기능들을 수행하는 것으로 하나 이상의 로컬 프로세싱 회로들이 설명되었지만, 본 개시는 이에 제한되지 않는다. 예를 들어, 다른 실시 예에서, 상기 프로세싱 회로(204) 또는 그것의 하나 이상의 구성 요소들(예를 들어, 본 개시에서 설명된 상기 방법들을 수행하기 위해 상기 메모리(208)에서 명령을 실행하는 컴포넌트들)은 복수의 서버들 또는 컴퓨터들에 걸쳐 분산될 수 있다(예를 들어, 분산된 위치에 존재할 수 있다).
하나 이상의 실시 예들에서, 상기 프로세싱 회로(204)는 이미지 시그널 프로세서(image signal processor; 214), 오브젝트 디텍터(object detector; 212) 및/또는 ROI 컨트롤러(ROI controller; 210)로서 기능하기 위해 상기 메모리(208) 내에서 인스트럭션들을 실행할 수 있다.
상기 이미지 시그널 프로세서(214)는 상기 센싱 회로(202)로부터의 데이터를 사용하여 2D 이미지들 및/또는 3D 이미지들을 제공하거나 재구성할 수 있다. 하나 이상의 실시 예들에서, 상기 이미지 시그널 프로세서(214)는 누락된(missing) 2D 이미지 센싱 데이터를 보간함으로써 2D 이미지들을 제공하거나 재구성한다. 3D 뎁스 정보(다시 말하면, 3D 이미지)를 이용하여 보완, 보조 또는 업데이트된 고해상도 2D 이미지를 제공하기 위하여, 상기 이미지 시그널 프로세서(214)는 누락된 3D 뎁스 센싱 데이터를 보간하고, 알고리즘에 따라 제공되거나 재구성된 2D 이미지에 3D 뎁스 정보를 적용함으로써 3D 이미지들을 제공하거나 재구성할 수 있다.
하나 이상의 실시 예들에서, 상기 이미지 시그널 프로세서(214)는 2D 이미지를 이용하여 3D 품질을 향상시킬 수 있다. 예를 들어, 상기 이미지 시그널 프로세서(214)는 고해상도 2D 이미지를 이용하여 하나 이상의 OOI들을 검출할 수 있고, OOI가 감지될 수 있는 관심 영역(ROI)을 향해 3D 뎁스 센싱을 지시할 수 있다. 이 경우, 예를 들어 2D 정보와 일치하는 OOI의 누락된 3D 정보를 채우는 것과 같이, 상기 2D 이미지는 3D 이미지의 뎁스 정보를 보완 및/또는 검증하는 데 사용될 수 있다.
상기 오브젝트 디텍터(212)는 상기 2D 센싱 영역으로부터의 데이터를 기반으로 2D 이미지 데이터 내에서 오브젝트들을 검출하고 추적하기 위해 신경망 기반 오브젝트 검출 시스템(neural-network based object detection system)을 포함하는 알고리즘을 사용할 수 있다. 하나 이상의 실시 예들에서, 상기 오브젝트 디텍터(212)는 상기 2D 이미지 내에서 오브젝트들을 추적하고 ROI 스캐닝(scanning)에 기초하여 3D 정보(예를 들어, 3D 뎁스 정보)를 이용하여 상기 추적된 오브젝트들의 영역들(예를 들어, ROI)을 구체적으로 업데이트할 수 있다.
ROI 기반 3D 센싱을 구현하기 위해, 상기 ROI 컨트롤러(210)는 상기 센싱 회로(202) 및/또는 상기 광원(104)과 상호 작용하기 위해 정보를 추적하는 상기 오브젝트 디텍터(212)를 사용할 수 있다. 예를 들어, 상기 로우 디코더(218) 및/또는 상기 컬럼 스캐너(220)가 행 및 열 제어 로직에 따라 정상 또는 ROI 기반 스캔을 수행하도록 상기 ROI 컨트롤러(210)는 신호들을 상기 센싱 회로(202)에 전송할 수 있다. 하나 이상의 실시 예들에서, 상기 ROI 컨트롤러(210)는 상기 오브젝트 디텍터(212)로부터의 트래킹 정보를 사용하여 광원이 구체적으로 하나 이상의 OOI들을 비추도록 지시할 수 있다. 예를 들어, 상기 ROI 컨트롤러(210)는 하나 이상의 추적된 OOI들을 향하는 광원의 VCSEL의 어레이의 일부만을 활성화하기 위한 인스트럭션들을 전송할 수 있다. 이에 따라, 배터리 전력 소모는 감소될 수 있다.
따라서, 상기 이미지 시그널 프로세서(214), 상기 오브젝트 디텍터(212) 및 상기 ROI 컨트롤러(210)는 추적된 오브젝트들의 ROI 기반 스캐닝을 이용한 오브젝트 식별 및 추적을 포함하여 고해상도 및 고품질 3D 이미지들을 가능하게 한다.
도 2a를 참조하면, 하나 이상의 실시 예들에서, 상기 하이브리드 센서(106)의 상기 센싱 회로(202)는 2D 센싱 영역 및 3D 뎁스 센싱 영역을 포함하는 하이브리드 센싱 어레이(216)를 포함한다. 상기 2D 센싱 영역은 로우들(columns)과 컬럼들(rows)을 형성하는 라인들의 어레이로 배열된 제1 복수의 센싱 픽셀들을 포함한다. 상기 3D 뎁스 센싱 영역은 로우들과 컬럼들을 형성하는 라인들의 어레이로 배열된 제2 복수의 센싱 픽셀들을 포함한다. 상기 로우들은 제1 방향(DR1)으로 연장될 수 있다. 상기 컬럼들은 상기 제1 방향(DR1)과 교차하는 상기 제2 방향(DR2)으로 연장될 수 있다.
상기 제1 복수의 센싱 픽셀들 각각은 하나의 PD를 포함할 수 있고, 제2 복수의 센싱 픽셀들 각각은 하나의 SPAD 또는 APD를 포함할 수 있다. 하나 이상의 실시 예들에서, 상기 2D 센싱 영역의 PD들 각각은 적색 광, 녹색 광 또는 청색 광을 감지할 수 있다. 상기 SPAD 또는 APD 각각은 근적외선(다시 말하면, 0.8 마이크로미터(micrometers) 그리고 약 1 마이크로미터 사이의 파장을 갖는, 예를 들면, 904 나노미터(nanometers) 또는 940 나노미터와 같은, 광)을 감지할 수 있다. 그러나, 본 개시는 이에 제한되지 않는다. 예를 들어, 상기 2D 센싱 영역의 하나 이상의 PD들은 가시 광선 스펙트럼 내지 NIR 스펙트럼(예를 들면, 약 0.4 내지 약 0.8 마이크로미터)에 대한 임의의 적절한 광의 색상을 감지할 수 있다. 상기 3D 뎁스 센싱 영역의 하나 이상의 센싱 픽셀들이 상기 광원(104)에 기초하여 TOF를 측정하기 위해 임의의 적절한 스펙트럼의 광(예를 들면, 904 나노미터 또는 940 나노미터와 같이 0.8 마이크로미터보다 큰 광의 파장들)을 감지할 수 있다. 상기 2D 센싱 영역의 경우, 임의의 적절한 배열이 사용될 수 있다. 예를 들어, 상기 2D 센싱 영역은 적색, 녹색, 및 청색 센싱 픽셀들 중 하나 이상, 적색 및 클리어 센싱 픽셀들 중 하나 이상, 클리어 센싱 픽셀들 중 하나 이상, 또는 흑백 센싱 픽셀들 중 하나 이상을 포함할 수 있다.
하나 이상의 실시 예들에서, 상기 2D 센싱 영역의 상기 센싱 픽셀들과 상기 3D 뎁스 센싱 영역의 상기 센싱 픽셀들은 아래에서 도 3a 내지 도 3h를 참조하여 보다 상세히 도시되고 설명된 바와 같이 구성될 수 있다(예를 들어, 도 3a 내지 도 3d의 실시 예에 도시된 바와 같이, 체크된 배열로 구성되거나 도 3e 내지 도 3h의 실시 예에 도시된 바와 같이 스트라이프 배열로 구성될 수 있음). 다시 설명하면, 상기 2D 센싱 영역의 센싱 픽셀이 상기 제1 방향(DR1) 또는 상기 제2 방향(DR2)의 3D 뎁스 센싱 영역의 센싱 픽셀들 사이에 배치되거나, 상기 3D 뎁스 센싱 영역의 센싱 픽셀이 상기 제1 방향(DR1) 또는 상기 제2 방향(DR2)에서 상기 2D 센싱 영역의 두 개의 센싱 픽셀들 사이에 배치될 수 있도록 상기 3D 뎁스 센싱 영역의 상기 센싱 픽셀들 각각은 상기 2D 센싱 영역의 하나 이상의 감지 픽셀들에 직접 인접할 수 있다. 그러나, 본 개시는 이에 제한되지 않는다. 예를 들어, 도 2b, 도 3i, 도 6b, 도 7a, 및 도 7b의 실시 예들에 도시된 바와 같이, 상기 2D 센싱 영역과 상기 3D 뎁스 센싱 영역은 나란히 배열될 수 있다.
도 2b를 참조하면, 하나 이상의 실시 예들에서, 상기 하이브리드 센서(106)의 상기 센싱 회로(202)는 나란히 배열되는 2D 센싱 영역(230) 및 3D 뎁스 센싱 영역(232)을 포함하는 하이브리드 센싱 어레이를 포함한다. 상기 2D 센싱 영역(230)은 로우들(columns)과 컬럼들(rows)을 형성하는 라인들의 어레이로 배열된 제1 복수의 센싱 픽셀들을 포함한다. 상기 3D 뎁스 센싱 영역(232)은 로우들과 컬럼들을 형성하는 라인들의 어레이로 배열된 제2 복수의 센싱 픽셀들을 포함한다. 상기 로우들은 제1 방향(DR1)으로 연장될 수 있다. 상기 컬럼들은 상기 제1 방향(DR1)과 교차하는 상기 제2 방향(DR2)으로 연장될 수 있다.
상기 제1 복수의 센싱 픽셀들 각각은 하나의 PD를 포함할 수 있고, 제2 복수의 센싱 픽셀들 각각은 하나의 SPAD 또는 APD를 포함할 수 있다. 하나 이상의 실시 예들에서, 상기 2D 센싱 영역(230)의 PD들 각각은 적색 광, 녹색 광 또는 청색 광을 감지할 수 있다. 상기 SPAD 또는 APD 각각은 근적외선을 감지할 수 있다. 그러나, 본 개시는 이에 제한되지 않는다. 예를 들어, 상기 2D 센싱 영역(230)의 하나 이상의 PD들은 가시 광선 스펙트럼 내지 NIR 스펙트럼(예를 들면, 약 0.4 ~ 약 0.8 마이크로미터)에 대한 임의의 적절한 광의 색상을 감지할 수 있다. 상기 3D 뎁스 센싱 영역(232)의 하나 이상의 센싱 픽셀들이 상기 광원(104)에 기초하여 TOF를 측정하기 위해 임의의 적절한 스펙트럼의 광(예를 들면, 904 나노미터 또는 940 나노미터와 같이 0.8 마이크로미터보다 큰 광의 파장들)을 감지할 수 있다. 상기 2D 센싱 영역(230)의 경우, 임의의 적절한 배열이 사용될 수 있다. 예를 들어, 상기 2D 센싱 영역(230)은 적색, 녹색 및 청색 센싱 픽셀들 중 하나 이상, 적색 및 클리어 센싱 픽셀들 중 하나 이상, 클리어 센싱 픽셀들 중 하나 이상, 또는 흑백 센싱 픽셀들 중 하나 이상을 포함할 수 있다.
하나 이상의 실시 예들에서, 도 2a 및 도 2b의 실시 예에서, 하나 이상의 메타 렌즈들에 입사되는 광은 입사광의 파장에 따라 서로 다른 센싱 영역들로 향할 수 있도록 하나 이상의 메타 렌즈들은 하이브리드 센싱 어레이들 위에(on) 또는 상부에(above) 위치할 수 있다. 예를 들어, 가시 광선 스펙트럼의 광(예를 들면, 적색 광, 녹색 광, 청색 광, 등)은 하나 이상의 메타 렌즈들의 나노 구조들에 의해 상기 2D 센싱 영역의 센싱 픽셀로 지향(또는 집중)될 수 있는 반면, NIR 스펙트럼의 광은 상기 3D 뎁스 센싱 영역의 센싱 픽셀을 향하여 지향(또는 집중)될 수 있다. 따라서, 하나 이상의 메타 렌즈들은 인바운드 광(inbound light)을 검출하기 위하여 하이브리드 센싱 어레이의 센싱 픽셀의 능력을 향상시킨다.
도 2a를 참조하면, 하나 이상의 실시 예들에서, 상기 로우 디코더(218) 및 상기 컬럼 스캐너(220)는 상기 하이브리드 센서(106)의 센싱 픽셀을 어드레싱하기 위해 사용될 수 있다. 선택 센싱 픽셀들이 입사 광을 감지하고 감지된 광에 응답하여 센싱 신호를 출력할 수 있도록 상기 로우 디코더(218) 및/또는 상기 컬럼 스캐너(220)는 구동 신호들(driving signals)을 수신 및 출력할 수 있다. 픽셀 로우의 센싱 픽셀로부터의 센싱 신호들은 예를 들어 상기 프로세싱 회로(204)에 순차적으로 판독되기 전에 컬럼 메모리(228)에 저장될 수 있다. 하나 이상의 실시 예들에서, 상기 센싱 회로(202)는 상기 프로세싱 회로(204)의 상기 ROI 컨트롤러(210)로부터의 신호들에 따라 상기 로우 디코더(218) 및/또는 상기 컬럼 스캐너(220)에 신호들을 제공하여 노멀(normal)(예를 들어, 일반 스캐닝(general scanning)) 또는 ROI 기반한 3D 스캐닝을 수행할 수 있다.
하나 이상의 실시 예들에서, 상기 센싱 회로(202)는 신호를 증폭하기 위한 컬럼 증폭기(224), 컬럼 아날로그-디지털 변환기(“ADC”)(226), 및 상관 이중 샘플링(“CDS”) 회로(222)를 포함한다. 상기 컬럼 증폭기(224)는 리드아웃 신호를 상기 프로세싱 회로(204)에 제공하기 위해 CDS를 사용하여
센싱 픽셀로부터 ADC로의 신호를 증폭한다. 하나 이상의 실시 예들에서, 리드아웃 신호(readout signal)를 제공하는 회로 및/또는 상기 로우 및 컬럼 제어 로직(row and column control logic)는 상기 2D 센싱 영역과 상기 3D 뎁스 센싱 영역 사이에서 공유될 수 있다. 그러나, 본 개시는 이에 제한되지 않는다. 예를 들어, 도 2b에 도시된 바와 같이, 리드아웃 신호(readout signal)를 제공하는 회로 및/또는 상기 로우 및 컬럼 제어 로직은 상기 2D 센싱 영역 및 상기 3D 뎁스 센싱 영역에 각각 연결된 두 개의 개별 회로들에 의해 공급될 수 있다.
도 2b를 참조하면, 상기 2D 센싱 영역(230)은 상기 로우 디코더(234) 및 CDS 기능을 갖는 컬럼 증폭기를 포함하는 컬럼 회로(236)를 포함하는 제1 회로 및, 디지털 이중 샘플링(digital double sampling; “DDS”)의 기능을 갖는 컬럼 ADC, 그리고 라인-메모리 블록(line-memory block)에 연결될 수 있다. 상기 3D 뎁스 센싱 영역(232)은 로우 디코더(238) 및 필요한 경우 컬럼 증폭기를 포함하는 컬럼 회로(240)를 포함하는 제2 회로, 타임-투-디지털 변환기(time to digital converter; “TDC”) 및 라인 메모리 블록에 연결될 수 있다. 하나 이상의 실시 예들에서, 2D 이미지 데이터 및 3D 뎁스 정보를 제공하기 위해 상기 제1 회로 및 상기 제2 회로는 위상 고정 루프(phase-locked loop; “PLL”), 그레이 카운터(gray counter) 또는 바이너리 카운터(binary counter)인 카운터, 램프 생성기(ramp generator), 그리고 상기 센싱 회로(202)의 디지털 로직들(예를 들어, 2D 및 3D 이미지들을 재구성하기 위한 디지털 로직들)과 통신하거나 포함할 수 있다. 따라서, 도 2b에 도시된 바와 같이, 하나 이상의 실시 예들에서, 분리된 리드아웃 및 분리된 로우 및 컬럼 제어 로직들이 제공되도록 상기 제1 회로 및 상기 제2 회로는 서로 분리될 수 있다.
도 2a 및 도 2b를 참조하면, 하나 이상의 실시 예들에서, 하이브리드 센싱 어레이 및 다른 블록들, 예를 들어 로우 디코더, CDS 회로, 컬럼 증폭기, 컬럼 ADC, 컬럼 메모리, 컬럼 스캐너, 라인-메모리, TDC, PLL, 카운터, 램프 생성기, 디지털 로직들, 상기 프로세싱 회로(204), 및 상기 프로세싱 회로(204)의 구성 요소 등은 동일한 패키지(예를 들어, 동일한 다이(the same die))에서 구현될 수 있고 및/또는 적층 구조(예를 들면, 적층 다이(stacking die))의 일부일 수 있다.
하나 이상의 실시 예들에서, 상기 하이브리드 센싱 어레이 및 다른 블록들은 동일한 패키지(예를 들어, 동일한 다이)에서 나란히 구현될 수 있다. 다시 설명하면, 상기 하이브리드 센싱 어레이와 상기 다른 블록은 평면도에서 서로 겹치지 않을 수 있고 전도성 구성 요소들(conductive components)(예를 들어, 전도성 트레이스 등)을 사용하여 연결될 수 있다.
하나 이상의 실시 예들에서, 상기 하이브리드 센싱 어레이 및 상기 다른 블록들은 다른 블록 중 하나 이상이 상기 하이브리드 센싱 어레이의 아래에 있을 수 있는 적층 구조의 일부일 수 있다. 상기 다른 블록들은 전도성 구성 요소들(예를 들어, 하이브리드 본딩, through silicon-via(“TSV”) 등)를 사용하여 상기 하이브리드 센싱 어레이에 및/또는 서로에 연결될 수 있다.
도 3a 내지 도 3i는 본 개시의 하나 이상의 실시 예들에 따른 하이브리드 센싱 어레이들(300a, 300b, 300c, 300d, 300e, 300f, 300g, 300h, 및 300i)의 부분들의 평면도들이다.
도 3a 내지 도 3d를 참조하면, 상기 2D 센싱 영역은 복수의 센싱 픽셀들(예를 들어, 녹색을 감지하도록 구성된 하나 이상의 녹색 센싱 픽셀들(301), 적색을 감지하도록 구성된 하나 이상의 적색 센싱 픽셀들(302), 및 청색을 검출하도록 구성된 하나 이상의 청색 센싱 픽셀들(303))을 포함할 수 있다. 예시된 실시 예들에서, 상기 3D 뎁스 센싱 영역은 NIR 광을 감지하도록 구성된 하나 이상의 센싱 픽셀들(304)을 포함한다. 상기 2D 센싱 영역의 센싱 픽셀들(301, 302, 및 303)과 상기 3D 뎁스 센싱 영역의 상기 센싱 픽셀들(304)은 다양한 적절한 구성들로 형성될 수 있다. 하나 이상의 실시 예들에서, 상기 2D 센싱 영역은 번갈아 배치되는 녹색 센싱 픽셀들(301) 및 적색 센싱 픽셀들(302)을 갖는 제1 센싱 픽셀 로우(305), 그리고 번갈아 배치되는 청색 센싱 픽셀들(303) 및 녹색 센싱 픽셀들(301)을 포함하는 제2 센싱 픽셀 로우(307)을 포함한다. 상기 제1 센싱 픽셀 로우(305)은 상기 제2 센싱 픽셀 로우(307)에 바로 인접하여 2 개의 녹색 센싱 픽셀들(301), 하나의 적색 센싱 픽셀(302) 및 하나의 청색 센싱 픽셀(303)을 포함하는 2x2 정사각형 세그먼트들(square segments)을 형성할 수 있다. 상기 2x2 세그먼트들은 로우 방향(row direction)(예를 들면, 상기 제1 방향(DR1)) 및 상기 컬럼 방향(column direction)(예를 들면, 상기 제1 방향(DR1)과 교차하는 상기 제2 방향(DR2))으로 반복되어 베이어 이미지(Bayer image)를 형성할 수 있다. 그러나, 본 개시는 이에 제한되지 않는다. 예를 들어, 상기 2D 센싱 영역은 다른 이미지 방식들(예를 들면, 단색 이미지 방식, 적색 및 투명색 이미지 방식, 또는 클리어 이미지 방식)에 맞도록 색상 센싱 픽셀들의 임의의 적절한 배열과 함께 임의의 적절한 형상으로 배열된 센싱 픽셀들을 포함할 수 있다.
본 발명의 하나 이상의 실시 예들에 따르면, 상기 3D 뎁스 센싱 영역의 센싱 픽셀과 상기 2D 센싱 영역의 센싱 픽셀 사이의 비율은 적절하게 달라질 수 있다. 예를 들어, 하나 이상의 실시 예들에서, 상기 3D 뎁스 센싱 영역의 센싱 픽셀과 상기 2D 센싱 영역의 센싱 픽셀 사이의 상기 비율은 1:1 일 수 있다(예를 들면, 하나의 단색 센싱 픽셀에 SPAD를 포함하는 하나의 센싱 픽셀). 다른 실시 예들에서, 상기 3D 뎁스 센싱 영역의 센싱 픽셀과 상기 2D 센싱 영역의 센싱 픽셀 사이의 상기 비율은 1:1 이상 일 수 있다(예를 들어, 도 3a 내지 도 3d에 도시된 바와 같이, 적색, 녹색 및 청색 센싱 픽셀들(301, 302, 및 303)의 그룹당 하나의 센싱 픽셀(304)). 도 3a 내지 도 3h에 도시된 바와 같이, 상기 3D 뎁스 센싱 영역의 센싱 픽셀(304) 대 상기 2D 센싱 영역의 센싱 픽셀들(301, 302, 및 303)의 비율은 구성된 배열에서 대응하는 데이터의 해상도에 영향을 미칠 수 있다. 예를 들어, 상기 3D 뎁스 센싱 영역의 센싱 픽셀들(304) 당 상기 2D 센싱 영역의 센싱 픽셀들(301, 302, 및 303)의 수를 증가시키면 상기 2D 센싱 데이터의 해상도는 향상되고 3D 뎁스 센싱 데이터의 해상도는 감소한다. 도 3a 내지 3d를 참조하면, 상기 2D 센싱 영역의 센싱 픽셀들(301, 302, 및 303)에 대한 상기 3D 뎁스 센싱 영역의 센싱 픽셀들(304)의 서로 다른 비율들은 오브젝트의 최소 크기의 검출이 가능하도록 하기 위한 고해상도 2D 이미지와 최소 해상도의 3D 뎁스 정보의 밸런스를 맞추도록 제공될 수 있다.
본 발명의 하나 이상의 실시 예들에서, 도 3a 내지 도 3d의 실시 예에 도시된 바와 같이, 상기 3D 뎁스 센싱 영역의 센싱 픽셀(304)이 차지하는 면적과 상기 2D 센싱 영역의 센싱 픽셀(301, 302, 또는 303)이 차지하는 면적의 비율은 1:4 일 수 있다. 그러나, 본 개시는 이에 제한되지 않는다. 예를 들어, 3D 뎁스 센싱 영역의 센싱 픽셀(304)이 차지하는 면적의 비율과 2D 센싱 영역의 센싱 픽셀(301, 302, 또는 303)이 차지하는 면적의 비율은 적절하게 달라질 수 있다(예를 들면, 면적 비율의 1:1 또는 1:1보다 큰 면적 비율).
도 3a에 도시된 바와 같이, 상기 2D 센싱 영역과 상기 3D 뎁스 센싱 영역이 구성되도록 상기 2D 센싱 영역의 센싱 픽셀(301, 302, 또는 303)은 상기 3D 뎁스 센싱 영역의 센싱 픽셀들(304)에 의해 중단(또는 변위)될 수 있다. 다시 설명하면, 상기 2D 센싱 영역의 하나 이상의 센싱 픽셀(301, 302, 및 303) 대신 센싱 픽셀 컬럼의 패턴 및/또는 센싱 픽셀 로우의 패턴에 따라 상기 3D 뎁스 센싱 영역의 센싱 픽셀(304)이 존재할 수 있다. 하나 이상의 실시 예들에서, 로우 방향(예를 들면, 제1 방향(DR1))으로 제1 간격(306)에서 및 컬럼 방향(예를 들면, 제2 방향(DR2))으로 제2 간격(308)에서, 상기 3D 뎁스 센싱 영역의 센싱 픽셀(304)은 반복될 수 있다. 이 경우, 제1 간격(306)과 제2 간격(308)은 동일할 수 있으므로, 상기 3D 뎁스 센싱 영역의 센싱 픽셀(304)은 정사각형의 배열을 가질 수 있다. 도 3a에 도시된 실시 예에서, 상기 3D 뎁스 센싱 영역의 센싱 픽셀들(304)과 상기 2D 센싱 영역의 센싱 픽셀들(301, 302, 및 303)의 비율은 1:12 일 수 있다. 상기 3D 뎁스 센싱 영역의 각 센싱 픽셀(304)은 상기 2D 센싱 영역의 센싱 픽셀들(301, 302, 및 303) 중 두 개에 의한 상기 3D 뎁스 센싱 영역의 다른 센싱 픽셀(304)로부터 분리될 수 있다. 그러나, 본 개시는 이에 제한되지 않는다. 예를 들어, 상기 2D 센싱 영역의 센싱 픽셀들(301, 302, 및 303)에 대한 상기 3D 뎁스 센싱 영역의 센싱 픽셀(304)의 비율에 대응하는 효과와 함께, 상기 3D 뎁스 센싱 영역의 상기 센싱 픽셀들(304)은 상기 2D 센싱 영역의 임의의 적절한 수의 센싱 픽셀들(301, 302, 및 303)에 의해 서로 분리될 수 있다.
도 3b에 도시된 바와 같이, 하나 이상의 실시 예들에서, 로우 방향(예를 들면, 상기 제1 방향(DR1)) 및 컬럼 방향(예를 들면, 상기 제2 방향(DR2))에 대하여 로우 방향(예를 들어, 상기 제1 방향(DR1))의 제3 간격(310)으로 그리고 컬럼 방향(예를 들어, 상기 제2 방향(DR2))의 제4 간격(312)으로 상기 3D 뎁스 센싱 영역의 센싱 픽셀(304)은 반복될 수 있다. 이 경우, 상기 제3 간격(310)과 상기 제4 간격(312)은 서로 다를 수 있으므로, 상기 3D 뎁스 센싱 영역의 센싱 픽셀(304)은 직사각형 형태의 배열을 가질 수 있다. 도 3b에 도시된 실시 예에서, 상기 3D 뎁스 센싱 영역의 센싱 픽셀들(304)과 상기 2D 센싱 영역의 센싱 픽셀들의 비율은 1:20 일 수 있다. 로우 방향(예를 들어, 제1 방향 DR1)의 상기 2D 센싱 영역의 센싱 픽셀들(301, 302, 303) 중 2 개 그리고 컬럼 방향(예를 들면, 제2 방향 DR2)의 상기 2D 센싱 영역의 센싱 픽셀들(301, 302, 303) 중 4 개에 의하여 상기 3D 뎁스 센싱 영역의 센싱 픽셀들(304) 각각은 상기 3D 뎁스 센싱 영역의 다른 센싱 픽셀(304)로부터 분리될 수 있다. 그러나, 본 개시는 이에 제한되지 않는다. 예를 들어, 상기 2D 센싱 영역의 센싱 픽셀들(301, 302, 및 303)에 대한 상기 3D 뎁스 센싱 영역의 센싱 픽셀들(304)의 비율에 대응하는 효과와 함께, 상기 로우 방향(예를 들어, 제1 방향 DR1) 및/또는 상기 컬럼 방향(예를 들어, 제2 방향 DR2)으로 상기 3D 뎁스 센싱 영역의 상기 센싱 픽셀들(304)은 상기 2D 센싱 영역의 임의의 적절한 수의 센싱 픽셀들(301, 302, 및 303)에 의해 서로 분리될 수 있다.
도 3c에 도시된 바와 같이, 하나 이상의 실시 예들에서, 상기 3D 뎁스 센싱 영역의 홀수 번호 센싱 픽셀 로우(315)의 센싱 픽셀(304)은 제1 직사각형의 배열(제6 간격(316)과 다른 제5 간격(314)에 의하여 지시되는)을 가질 수 있다. 상기 3D 뎁스 센싱 영역의 짝수 번째 센싱 픽셀 로우(317)의 센싱 픽셀(304)은 제2 직사각형의 배열(제1 직사각형의 배열과 매칭되는)을 가질 수 있다. 로우 방향(예를 들어, 제1 방향 DR1) 및/또는 컬럼 방향(예를 들어, 제2 방향 DR2)으로 상기 제1 직사각형의 배열은 제2 직사각형의 배열로부터 오프셋될 수 있다. 다시 설명하면, 상기 3D 뎁스 센싱 영역의 상기 센싱 픽셀들(304)은 지그재그 형태의 배열을 가질 수 있다. 도 3c에 도시된 실시 예에서, 상기 2D 센싱 영역의 각 센싱 픽셀 컬럼은 상기 3D 뎁스 센싱 영역의 센싱 픽셀(304)에 의해 차단(또는 변위)될 수 있다. 게다가, 상기 3D 뎁스 센싱 영역의 센싱 픽셀들(304)과 상기 2D 센싱 영역의 센싱 픽셀들(301, 302, 및 303)의 비율은 오전 1:12 일 수 있다. 로우 방향(예를 들어, 제1 방향 DR1)의 상기 2D 센싱 영역의 센싱 픽셀들(301, 302, 303) 중 2 개 그리고 컬럼 방향(예를 들면, 제2 방향 DR2)의 상기 2D 센싱 영역의 센싱 픽셀들(301, 302, 303) 중 6 개에 의하여 상기 3D 뎁스 센싱 영역의 각 센싱 픽셀은 상기 3D 뎁스 센싱 영역의 다른 센싱 픽셀로부터 분리될 수 있다. 그러나, 본 개시는 이에 제한되지 않는다. 예를 들어, 상기 2D 센싱 영역의 센싱 픽셀들(301, 302, 및 303)에 대한 상기 3D 뎁스 센싱 영역의 센싱 픽셀(304)의 비율에 대응하는 효과와 함께, 상기 로우 방향(예를 들어, 제1 방향 DR1) 및/또는 상기 컬럼 방향(예를 들어, 제2 방향 DR2)으로 상기 3D 뎁스 센싱 영역의 상기 센싱 픽셀들(304)은 상기 2D 센싱 영역의 임의의 적절한 수의 센싱 픽셀들(301, 302, 및 303)에 의해 서로 분리될 수 있다.
도 3d에 도시된 바와 같이, 하나 이상의 실시 예들에서, 상기 3D 뎁스 센싱 영역의 홀수 번호 센싱 픽셀 로우(315)의 센싱 픽셀(304)은 제1 정사각형의 배열(제8 간격(320)과 다른 제7 간격(318)에 의하여 지시되는)을 가질 수 있다. 상기 3D 뎁스 센싱 영역의 짝수 번째 센싱 픽셀 로우(317)의 센싱 픽셀(304)은 제2 정사각형의 배열(제1 정사각형의 배열과 매칭되는)을 가질 수 있다. 로우 방향(예를 들어, 제1 방향 DR1) 및/또는 컬럼 방향(예를 들어, 제2 방향 DR2)으로 동일한 간격(다시 말하면, 제10 간격(324)과 동일한 제9 간격(322))을 가지고 상기 제1 정사각형의 배열은 상기 제2 정사각형의 배열로부터 오프셋될 수 있다. 다시 설명하면, 상기 3D 뎁스 센싱 영역의 상기 센싱 픽셀들(304)은 다이아몬드 형태의 배열을 가질 수 있다. 도 3d에 도시된 실시 예에서, 상기 2D 센싱 영역의 일부 센싱 픽셀 컬럼들은 상기 3D 뎁스 센싱 영역의 센싱 픽셀(304)에 의해 차단(또는 변위)되지 않을 수 있다. 게다가, 상기 3D 뎁스 센싱 영역의 센싱 픽셀들(304)과 상기 2D 센싱 영역의 센싱 픽셀들(301, 302, 및 303)의 비율은 오전 1:28 일 수 있다. 로우 방향(예를 들어, 제1 방향 DR1)의 상기 2D 센싱 영역의 센싱 픽셀들(301, 302, 303) 중 6 개 그리고 컬럼 방향(예를 들면, 제2 방향 DR2)의 상기 2D 센싱 영역의 센싱 픽셀들(301, 302, 303) 중 6 개에 의하여 상기 3D 뎁스 센싱 영역의 각 센싱 픽셀(304)은 상기 3D 뎁스 센싱 영역의 다른 센싱 픽셀(304)로부터 분리될 수 있다. 그러나, 본 개시는 이에 제한되지 않는다. 예를 들어, 상기 2D 센싱 영역의 센싱 픽셀들(301, 302, 및 303)에 대한 상기 3D 뎁스 센싱 영역의 센싱 픽셀들(304)의 비율에 대응하는 효과와 함께, 상기 로우 방향(예를 들어, 제1 방향 DR1) 및/또는 상기 컬럼 방향(예를 들어, 제2 방향 DR2)으로 상기 3D 뎁스 센싱 영역의 상기 센싱 픽셀들(304)은 상기 2D 센싱 영역의 임의의 적절한 수의 센싱 픽셀들(301, 302, 및 303)에 의해 서로 분리될 수 있다.
도 3a 내지 도 3d를 참조하면, 다양한 배열들 각각은 상기 프로세싱 회로(204)의 상기 오브젝트 디텍터(212)에 의한 오브젝트 검출 및 추적(object detection and tracking)에 영향을 미칠 수 있다. 예를 들어, 2D 이미지 및 3D 이미지에서 오브젝트(예를 들면, 사람, 자동차, 장애물 등)를 식별하기 위한 최소 경계 박스 사이즈는 상기 2D 센싱 영역의 센싱 픽셀들(301, 302, 및 303)에 대한 영역에 대한 상기 3D 뎁스 센싱의 센싱 픽셀들(304)의 배치 및 비율에 의하여 영향을 받을 수 있다. 도 3a는 30x8의 최소 경계 박스 사이즈를 가질 수 있다. 도 3b는 30x8의 최소 경계 박스 사이즈를 가질 수 있다. 도 3c는 30x6의 최소 경계 박스 사이즈를 가질 수 있다. 도 3d는 30x8의 최소 경계 박스 사이즈를 가질 수 있다.
도 3e 내지 도 3h를 참조하면, 상기 하이브리드 센싱 어레이(300e, 300f, 300g, 및 300h)의 센싱 픽셀 로우들(326, 328, 330, 332, 334, 및 336)은 상기 2D 센싱 영역의 센싱 픽셀 로우들(328, 330, 334, 및 336) 또는 상기 3D 뎁스 센싱 영역의 센싱 픽셀 로우들(326 및 332)일 수 있다. 다시 설명하면, 상기 2D 센싱 영역과 상기 3D 뎁스 센싱 영역은 스트라이프 배열에서 번갈아 배치되는 가로 막대들로써 배열될 수 있다. 그러나, 본 개시는 이에 제한되지 않는다. 예를 들어, 상기 2D 센싱 영역의 센싱 픽셀 로우들(328, 330, 334, 336)과 상기 3D 뎁스 센싱 영역의 센싱 픽셀 로우들(326, 332)은 그것의 애플리케이션에 따라 스트라이프 배열에서 번갈아 배치되는 세로 막대들로써 배열될 수 있다. 예를 들어, 자율 주행 애플리케이션들에서, 차량의 앞에 위치한 오브젝트들은 차량의 측면에 위치한 오브젝트들보다 더 중요할 수 있다. 따라서, 이 경우, 상기 3D 뎁스 센싱 영역의 센싱 픽셀 로우들(326 및 332)은 스트라이프 배열에서 번갈아 배치되는 수평 막대들로써 배열될 수 있다.
도 3e에 도시된 바와 같이, 하나 이상의 실시 예들에서, 상기 3D 뎁스 센싱 영역의 센싱 픽셀들(304)은 로우 방향(예를 들면, 제1 방향 DR1)에서 연속적으로 반복될 수 있다. 상기 2D 센싱 영역의 센싱 픽셀들(301, 302, 및 303) 또한 로우 방향(예를 들면, 제1 방향 DR1)으로 연속적으로 반복될 수 있다. 상기 예시된 실시 예에서, 상기 3D 뎁스 센싱 영역의 상기 센싱 픽셀들(304)은 정사각형의 배열을 가질 수 있다. 그러나, 본 개시는 이에 제한되지 않는다. 예를 들어, 도 3f 내지 도 3h의 실시 예들에 도시된 바와 같이, 상기 3D 뎁스 센싱 영역의 센싱 픽셀들(304)은 직사각형 형태와 같은 임의의 적절한 형태를 가질 수 있다.
도 3e를 참조하면, 컬럼 방향(예를 들면, 제2 방향 DR2)에서, 상기 2D 센싱 영역의 2 개의 센싱 픽셀 로우들(328 및 330)에 의하여 상기 3D 뎁스 센싱 영역의 센싱 픽셀 로우(326)은 상기 3D 뎁스 센싱 영역의 다른 센싱 픽셀 로우(332)과 분리될 수 있다. 그러나, 본 개시는 이에 제한되지 않는다. 예를 들어, 도 3g 및 3h에 도시된 바와 같이, 상기 3D 뎁스 센싱 영역의 센싱 픽셀 로우(326 및 332)는 규칙적 또는 불규칙적인 간격으로 상기 2D 센싱 영역의 임의의 수의 센싱 픽셀 로우들에 의해 서로 분리될 수 있다.
도 3i를 참조하면, 하이브리드 센싱 어레이(300i)는 사이드-바이-사이드 배열(side-by-side arrangement)에서 2D 센싱 영역(338)과 3D 뎁스 센싱 영역(340)을 포함할 수 있다.
도 3i에 도시된 바와 같이, 상기 2D 센싱 영역(338)은 전체적으로 3D 뎁스 센싱 영역(340)에 인접한다. 다시 설명하면, 상기 2D 센싱 영역(338)의 센싱 픽셀들(301, 302, 및 303)이 상기 제1 방향(DR1) 또는 상기 제2 방향(DR2)의 상기 3D 뎁스 센싱 영역의 센싱 픽셀들(304) 사이에 존재하지 않도록 상기 3D 뎁스 센싱 영역(340)의 상기 센싱 픽셀(304)은 서로 직접 인접할 수 있다. 그리고, 상기 3D 뎁스 센싱 영역(340)의 센싱 픽셀들(304)이 상기 제1 방향(DR1) 또는 상기 제2 방향(DR2)에서 2D 센싱 영역(338)의 센싱 픽셀들(301, 302, 및 303) 사이에 존재하지 않도록 상기 2D 센싱 영역(338)의 센싱 픽셀들(301, 302, 및 303)은 서로 직접 인접할 수 있다. 도 3a 내지 도 3h의 실시 예에 도시된 바와 같이, 상기 2D 센싱 영역의 센싱 픽셀들(301, 302, 및 303)은 상기 3D 뎁스 센싱 영역의 센싱 픽셀들(304)과 결합될 수 있는 배치에 비하여, 상기 2D 센싱 영역(338)과 상기 3D 뎁스 센싱 영역(340)에 대한 사이드-바이-사이드 배열은 상기 2D 센싱 영역의 센싱 픽셀들(301, 302, 및 303)의 밀도 증가로 인해 향상된 2D 이미지 해상도를 제공할 수 있다.
도 4a 내지 도 4d는 본 개시의 하나 이상의 실시 예들에 따라서, 하이브리드 센싱 어레이들(400a, 400b, 400c, 및 400d) 상의 복수의 메타 렌즈들(예를 들어, 메타 렌즈 406)을 갖는 하이브리드 센싱 어레이들(400a, 400b, 400c, 400d)의 일부들의 평면도들이다.
도 4a 내지 도 4d를 참조하면, 하나 이상의 실시 예들에서, 상기 3D 뎁스 센싱 영역의 홀수 번호 센싱 픽셀 로우들(408 및 412)의 센싱 픽셀들(404)은 제1 직사각형의 배열(서로 다른 제11 간격(414)과 제12 간격(416)에 의하여 지시되는)을 가질 수 있다. 상기 3D 뎁스 센싱 영역의 짝수 번째 센싱 픽셀 로우(410)의 센싱 픽셀들(404)은 제2 직사각형의 배열을 가질 수 있다. 상기 제1 직사각형의 배열은 로우 방향(예를 들어, 제1 방향 DR1) 및/또는 컬럼 방향(예를 들어, 제2 방향 DR2)으로 서로 다른 간격들(예를 들어, 제14 간격(420)과 상이한 제13 간격(418))로 상기 제2 직사각형의 배열로부터 오프셋될 수 있다. 다시 설명하면, 상기 3D 뎁스 센싱 영역의 센싱 픽셀들은 지그재그 형태의 배열을 가질 수 있다. 그러나, 본 발명은 이에 제한되지 않으며 임의의 적절한 형상 배열이 사용될 수 있다. 예를 들어, 하나 이상의 실시 예들에서, 다이아몬드의 형태, 정사각형, 또는 직사각형의 배열이 사용될 수 있다.
도 4a 및 도 4b에 도시된 실시 예들에서, 상기 2D 센싱 영역의 일부 센싱 픽셀 컬럼들은 상기 3D 뎁스 센싱 영역의 센싱 픽셀(404)에 의해 차단(또는 변위)되지 않을 수 있다. 또한, 로우 방향(예를 들면, 제1 방향 DR1)의 9 개의 센싱 픽셀(401, 402, 및 403 또는 402 및 405) 그리고 컬럼 방향(예를 들어, 제2 방향 DR2)의 17 개의 센싱 픽셀들(401, 402, 및 403 또는 402 및 405)에 의해 상기 3D 뎁스 센싱 영역의 각 센싱 픽셀(404)은 상기 3D 뎁스 센싱 영역의 다른 센싱 픽셀(404)과 분리될 수 있다. 그러나, 본 개시는 이에 제한되지 않는다. 예를 들어, 상기 로우 방향(예를 들어, 제1 방향 DR1) 및/또는 상기 컬럼 방향(예를 들어, 제2 방향 DR2)으로 상기 3D 뎁스 센싱 영역의 상기 센싱 픽셀들(304)은 상기 2D 센싱 영역의 임의의 적절한 수의 센싱 픽셀들(401, 402, 및 403 또는 402 및 405)에 의해 서로 분리될 수 있다. 도 4c 및 도 4d에 도시된 실시 예에서, 로우 방향(예를 들면, 제1 방향 DR1)의 9 개의 센싱 픽셀(401, 402, 및 403 또는 402 및 405) 그리고 컬럼 방향(예를 들어, 제2 방향 DR2)의 15 개의 센싱 픽셀들(401, 402, 및 403 또는 402 및 405)에 의해 상기 3D 뎁스 센싱 영역의 각 센싱 픽셀(404)은 상기 3D 뎁스 센싱 영역의 다른 센싱 픽셀(404)과 분리될 수 있다.
도 4a 내지 도 4b에 도시된 3D 뎁스 센싱 영역의 센싱 픽셀들(404)은 특정 크기 및 모양의 면적(예를 들어, 상기 2D 센싱 영역의 9 개의 센싱 픽셀들(401, 402, 및 403 또는 402 및 405)에 대한 상기 3D 뎁스 센싱 영역의 하나의 센싱 픽셀(404)의 면적 비율을 갖는 정사각형 영역)을 가질 수 있으나, 상기 3D 뎁스 센싱 영역의 센싱 픽셀(404)들은 임의의 적절한 크기 또는 모양일 수 있다. 예를 들어, 도 4c 및 도 4d에 도시된 바와 같이, 상기 3D 뎁스 센싱 영역의 센싱 픽셀들(404)은 더 큰 영역을 가질 수 있고 그리고 상기 영역은 직사각형(예를 들어, 상기 2D 센싱 영역의 15 개의 센싱 픽셀(401, 402, 및 403 또는 402 및 405)에 대한 상기 3D 뎁스 센싱 영역의 하나의 센싱 픽셀(404)의 면적 비율을 갖는 직사각형의 영역)일 수 있다. 상기 3D 뎁스 센싱 영역의 센싱 픽셀(404)이 직사각형의 형태를 가지는 경우, 정사각형의 형태를 가지는 상기 3D 뎁스 센싱 영역의 센싱 픽셀(404)에 비해 상기 3D 뎁스 센싱 영역의 센싱 픽셀(404)은 좁은 오브젝트 감지에 더 적합할 수 있다. 예를 들어, 정사각형의 종횡비를 갖는 오브젝트를 검출하기 위해서는 정사각형이 더 적합할 수 있다. 그리고, 직사각형 종횡비를 갖는 좁은 오브젝트를 검출하기 위해서는 직사각형이 더 적합할 수 있다. 또한, 상기 3D 뎁스 센싱 영역의 센싱 픽셀(404)을 위한 더 큰 영역은 더 먼 거리에 있는 오브젝트를 검출하는 데 더 적합할 수 있다 (예를 들어, 오브젝트로부터 반사된 NIR은 상기 3D 뎁스 센싱 영역의 센싱 픽셀(404)의 일부로 지향(또는 집중)될 가능성이 더 클 수 있다). 상기 3D 뎁스 센싱 영역의 하나의 센싱 픽셀(404)에서 노이즈 등으로 인한 거짓 양성(false-positive)의 3D 뎁스 정보를 피하기 위하여, 상기 3D 뎁스 센싱 영역의 대 면적의 센싱 픽셀들(404)을 서로 인접하게 배치함으로써, 상기 3D 뎁스 센싱 영역의 각 센싱 픽셀(404)에 의하여 제공되는 센싱 신호는 상기 3D 뎁스 센싱 영역의 인접한 센싱 픽셀(404)에 의해 확인할 수 있다. 따라서, 상기 애플리케이션에 따라, 상기 3D 뎁스 센싱 영역의 센싱 픽셀들이 적절한 크기들과 형태들을 갖는 것이 바람직할 수 있다.
하나 이상의 실시 예들에서, 도 4a 내지 도 4d에 도시된 바와 같이, 복수의 메타 렌즈들(예를 들어, 메타 렌즈 406)는 상기 3D 뎁스 센싱 영역의 각 센싱 픽셀(404) 그리고 상기 3D 뎁스 센싱 영역의 센싱 픽셀(404)에 인접할 수 있는 상기 2D 센싱 영역의 하나 이상의 센싱 픽셀들(401, 402, 및 403 또는 402 및 405)을 커버할 수 있다. 이 경우, 상기 메타 렌즈(406)에 입사된 광은 파장에 따라 상기 2D 센싱 영역의 센싱 픽셀들(401, 402, 및 403 또는 402 및 405) 또는 상기 3D 뎁스 센싱 영역의 센싱 픽셀들(404)로 향할 수 있다. 예를 들어, 상기 메타 렌즈(406)에 입사된 가시 광은 상기 2D 센싱 영역의 센싱 픽셀들(401, 402, 및 403 또는 402 및 405)로 향할 수(또는 집중할)있다. 그리고, 메타 렌즈(406)에 입사된 NIR 광은 상기 2D 센싱 영역의 센싱 픽셀들(401, 402, 및 403 또는 402 및 405)에 인접한(예를 들어, 바로 인접한) 상기 3D 뎁스 센싱 영역의 센싱 픽셀들(404)로 향할 수(또는 집중할)있다.
하나 이상의 실시 예들에서, 아래의 도 5a 내지 도 6b를 참조하여 보다 상세히 설명되는 바와 같이, 상기 메타 렌즈(406)는 입사광의 설정된 파장 스펙트럼을 상기 하이브리드 센싱 어레이의 각각의 센싱 영역을 향해 지향(또는 집중)하도록 적절하게 수정될 수 있는 나노 구조들에 기초하여 광을 지향(또는 집중)한다. 이 경우, 상기 메타 렌즈(406)의 중심 부분은 상기 메타 렌즈(406)의 중심 부분을 둘러싸는 상기 메타 렌즈(406)의 외부 부분으로부터 상이한 파장들의 광을 지향(또는 집중)하도록 설계될 수 있다.
예시된 실시 예에서, 복수의 메타 렌즈들(406)이 각각 상기 3D 뎁스 센싱 영역의 단일 센싱 픽셀(404) 및 상기 3D 뎁스 센싱 영역의 센싱 픽셀(404)에 인접한 상기 2D 센싱 영역의 센싱 픽셀들(401, 402, 및 403 또는 402 및 405)을 커버하지만, 본 개시는 이에 제한되지 않는다. 예를 들어, 상기 메타 렌즈(406)는 가시 광을 상기 2D 센싱 영역의 센싱 픽셀(401, 402, 및 403 또는 402 및 405)을 향하여 지향(또는 집중)하고, NIR 광을 상기 3D 뎁스 센싱 영역의 센싱 픽셀(404)을 향하여 지향(또는 집중)하도록, 상기 메타 렌즈(406)은 상기 3D 뎁스 센싱 영역의 센싱 픽셀(404)이 아닌 상기 2D 센싱 영역의 센싱 픽셀들(401, 402, 및 403 또는 402 및 405)만을 커버할 수 있다. 다른 실시 예에서, 상기 메타 렌즈(406)가 가시 광을 2D 센싱 영역의 센싱 픽셀을 향하여 지향(또는 집중)하고, NIR 광을 SPAD을 향하여 지향(또는 집중)하도록 상기 메타 렌즈(406)가 상기 2D 센싱 영역의 센싱 픽셀(401, 402, 및 403 또는 402 및 405)이 아닌 상기 3D 뎁스 센싱 영역의 센싱 픽셀(404)만을 커버할 수 있다. 따라서, 상기 메타 렌즈(406)은 임의의 형상일 수 있고 상기 메타 렌즈(406)에 대한 적절한 조정으로 상기 하이브리드 센싱 어레이의 임의의 수 또는 유형의 센싱 픽셀들을 커버할 수 있다.
도 4a 내지 4d는 복수의 메타 렌즈들을 도시하고 있지만, 본 개시는 이에 제한되지 않는다. 예를 들어, 임의의 수의 메타 렌즈들(406)은 상기 하이브리드 센싱 어레이를 커버하는 데 사용될 수 있다. 예를 들어 그것의 위에 나노 구조들을 가지는 글로벌 렌즈(global lens)(다시 말하면, 단일 메타 렌즈(single metalens))가 글로벌 렌즈의 나노 구조들에 대한 적절한 변화로 전체 하이브리드 센싱 어레이를 커버하는 데 사용될 수 있다. 도 4a 및 도 4c의 실시 예는 적색, 녹색, 및 청색 센싱 픽셀들을 포함하지만, 본 개시는 이에 한정되는 것은 아니다. 예를 들어, 도 4b 및 도 4d에 도시된 바와 같이, 센싱 픽셀들은 적색, 녹색 및 청색 센싱 픽셀들 대신 적색 및 클리어 센싱 픽셀들을 포함할 수 있다.
도 5a 내지 도 5c는 본 개시의 하나 이상의 실시 예들에 따른 하이브리드 센싱 어레이 상에 메타 렌즈(502) 및 마이크로 렌즈(504)를 갖는 하이브리드 센싱 어레이의 단면도들(500a, 500b, 및 500c)이다.
도 5a 내지 도 5c를 참조하면, 본 개시의 하나 이상의 예시적인 실시 예들에 따라, 마이크로 렌즈(504) 및 메타 렌즈(502)는 하이브리드 센싱 어레이(508) 상에 있을 수 있다. 상기 메타 렌즈(502)은 상기 메타 렌즈(502)를 통과하는 외부 광의 하나 이상의 타겟 파장 스펙트럼을 투과하기에 적합한 강성 또는 플렉시블 투명 기판 상에 배치된 복수의 나노 구조들(512, 514, 518, 522, 524, 및 526)(예를 들면, 다수의 얇은 유전체 나노 안테나 블록들(thin dielectric nano-antenna blocks) 또는 산란체들(scatterrers))를 포함할 수 있다. 상기 메타 렌즈(502)(예를 들어, 메타 렌즈(502)의 플렉시블 투명 기판)은 예를 들어, 원형, 원통형, 직사각형 또는 정사각형 형상과 같은 임의의 적절한 형상일 수 있다. 하나 이상의 실시 예들에서, 상기 메타 렌즈(502)은 편광-독립적인 특성들(polarization-independent properties)을 가질 수 있다.
상기 나노 구조들(512, 514, 518, 522, 524, 및 526) 각각의 모양, 크기 및 위치는 위상, 편광 및 초점과 같은 광의 특성들에 영향을 미칠 수 있다. 따라서, 외부 광의 다른 타겟 파장 스펙트럼들을 상기 하이브리드 센싱 어레이(508)의 다른 부분들로 향하게(또는 집중)시키는 다른 기하학적 구조들 및/또는 배열들을 갖도록 상기 나노 구조들(512, 514, 518, 522, 524, 및 526) 각각은 기판 상에 배치될 수 있다. 하나 이상의 실시 예들에서, 상기 나노 구조들(512, 514, 518, 522, 524, 및 526)는 원형, 원통형, 직사각형, 정사각형 등의 형태를 가질 수 있고, 상기 나노 구조들(512, 514, 518, 522, 524, 및 526)는 하나 이상의 메타 렌즈들(예를 들어, 메타 렌즈 502)이 편광-독립적인 특성들이 나타나도록 배열될 수 있다.
하나 이상의 실시 예들에서, 도 5a에 도시된 바와 같이, 상기 메타 렌즈(502)은 상기 2D 센싱 영역의 제1 센싱 픽셀(511)과 중첩(예를 들면, 세 번째 방향 DR3에서 중첩)하는 나노 구조들(예를 들면, 제1 나노 구조(512) 및 제2 나노 구조(514))의 제1 그룹(510), 상기 2D 센싱 영역의 제2 센싱 픽셀(517)과 중첩(예를 들면, 세 번째 방향 DR3에서 중첩)하는 나노 구조들(예를 들면, 제3 나노 구조(518))의 제2 그룹(516), 그리고 상기 3D 뎁스 센싱 영역의 센싱 픽셀(519)과 중첩(예를 들면, 세 번째 방향 DR3에서 중첩)하는 나노 구조들(예를 들면, 제4 나노 구조(522), 제5 나노 구조(524), 및 제6 나노 구조(526))의 제3 그룹(520)을 포함한다.
하나 이상의 실시 예들에서, 나노 구조들(예를 들면, 제1 나노 구조(512) 및 제2 나노 구조(514))의 제1 그룹(510)은 외부 광의 상이한 파장 스펙트럼들을 상기 하이브리드 센싱 어레이(508)의 상이한 부분들로 지향(또는 집중)하도록 구성될 수 있다. 예를 들어, 상기 제1 센싱 픽셀(511)과 중첩하는 상기 제1 나노 구조(512)는 NIR 스펙트럼(예를 들어, 0.8 마이크로 미터 이상)의 광을 상기 2D 센싱 영역의 제1 센싱 픽셀(511)에 바로 인접한 상기 3D 뎁스 센싱 영역의 센싱 픽셀(519)을 향해 지향(또는 집중)하도록 구성될 수 있다. 상기 2D 센싱 영역의 제1 센싱 픽셀(511)과 중첩하는 상기 제2 나노 구조(514)는 visible-to-NIR 스펙트럼(예를 들어, 약 0.4 마이크로 미터 내지 약 0.8 마이크로 미터) 내 광을 상기 2D 센싱 영역의 제1 센싱 픽셀(511)로 지향(또는 집중)하도록 구성할 수 있다. 따라서, 상기 제1 그룹(510)의 나노 구조들은 상기 하이브리드 센싱 어레이의 서로 다른 센싱 영역들을 향해 서로 다른 파장 스펙트럼들을 지향(또는 집중)함으로써 빔 스플리터(beam splitter)로 기능할 수 있다.
하나 이상의 실시 예들에서, 상기 제2 그룹(516)의 나노 구조들(예를 들어, 제3 나노 구조(518)) 각각은 외부 광의 동일한 파장 스펙트럼을 상기 하이브리드 센싱 어레이(508)의 동일한 부분으로 지향(또는 집중)하도록 구성될 수 있다. 예를 들어, 상기 제2 그룹(516)의 나노 구조들(예를 들어, 제3 나노 구조(518)) 각각은 visible-to-NIR 스펙트럼(예를 들면, 약 0.4 마이크로 미터 내지 약 0.8 마이크로 미터)내 광을 상기 2D 센싱 영역의 제2 센싱 픽셀(517)을 향해 지향(또는 집중)하도록 구성될 수 있다. 다시 설명하면, 상기 2D 센싱 영역의 제2 센싱 픽셀(517)과 중첩하는(예를 들어, 제3 방향 DR3으로 중첩) 상기 제2 그룹(516)의 나노 구조들 중 어느 것도 인접한 센싱 픽셀들을 향해 광을 지향(또는 집중)하지 않는다. 그러나, 본 개시는 이에 제한되지 않는다. 예를 들어, 상기 제2 그룹(516)은 빔 스플리터로서 기능하기 위해 인접 및/또는 직접 인접한 센싱 픽셀들을 향해 광을 지향(또는 집중)하는 나노 구조들을 가질 수 있다.
하나 이상의 실시 예들에서, 상기 제3 그룹(520)의 나노 구조들(예를 들면, 제4 나노 구조(522), 제5 나노 구조(524), 및 제6 나노 구조(526))은 외부 광의 서로 다른 파장 스펙트럼들을 상기 하이브리드 센싱 어레이(508)의 서로 다른 부분들로 지향(또는 집중)하도록 구성될 수 있다. 예를 들어, 상기 3D 뎁스 센싱 영역의 센싱 픽셀(519)과 중첩하는 제4 나노 구조(522)는 상기 3D 뎁스 센싱 영역의 센싱 픽셀(519)을 향해 NIR 스펙트럼(예를 들면, 0.8 마이크로 미터 초과)의 광을 지향(또는 집중)하도록 구성될 수 있다. 상기 3D 뎁스 센싱 영역의 센싱 픽셀(519)과 중첩하는 제5 나노 구조(524)는 visible-to-NIR 스펙트럼(예를 들어, 약 0.4 마이크로 미터 내지 약 0.8 마이크로 미터)의 광을 상기 3D 뎁스 센싱 영역의 센싱 픽셀(519)에 직접 인접한 상기 2D 센싱 영역의 제1 센싱 픽셀(511)로 향하도록(또는 집중하도록) 구성할 수 있다. 상기 3D 뎁스 센싱 영역의 센싱 픽셀(519)과 중첩하는 제6 나노 구조(526)는 visible-to-NIR 스펙트럼(예를 들어, 약 0.4 마이크로 미터 내지 약 0.8 마이크로 미터)의 광을 상기 3D 뎁스 센싱 영역의 센싱 픽셀(519)에 직접 인접한 상기 2D 센싱 영역의 제3 센싱 픽셀(521)로 향하도록(또는 집중하도록) 구성할 수 있다. 따라서, 나노 구조들의 상기 제3 그룹(520)은 상기 하이브리드 센싱 어레이의 서로 다른 센싱 영역들을 향해 서로 다른 파장 스펙트럼들을 지향(또는 집중)함으로써 빔 스플리터로서 기능할 수 있다. 이 경우, 상기 제3 그룹(520)은 3 개의 서로 다른 센싱 픽셀들을 향해 광을 지향(또는 집중)할 수 있다. 그러나, 본 개시는 이에 제한되지 않으며, 나노 구조들의 임의의 적절한 지향(또는 포커싱)되는 배열이 사용될 수 있다.
도 5a에서 메타 렌즈는 센싱 픽셀들 각각과 중첩하는 나노 구조들을 포함하는 것으로 도시되고 설명되었지만, 본 개시는 이에 제한되지 않는다. 예를 들어, 도 5b에 도시된 바와 같이, 일부 센싱 픽셀들(예를 들어, 도 5b의 실시 예에서, 상기 3D 뎁스 센싱 영역의 센싱 픽셀(519))은 상기 3D 뎁스 센싱 영역의 센싱 픽셀(519)과 제3 방향으로 중첩하는 나노 구조들을 갖지 않을 수 있다.
도 5a에서 메타 렌즈는 빔 스플리팅이 직접 인접한 센싱 픽셀들을 포함하는 센싱 픽셀들과 중첩하는 나노 구조들을 포함하는 것으로 도시되고 설명되었지만, 본 개시는 이에 제한되지 않는다. 예를 들어, 도 5b에 도시된 바와 같이, 상기 제2 그룹(516)은 도 5a의 실시 예에 도시된 제3 나노 구조(518)뿐만 아니라, 제7 나노 구조(528)를 포함할 수 있다. 도 5b에 도시된 바와 같이, 상기 제2 그룹(516)의 제3 나노 구조(518)는 visible-to-NIR 스펙트럼(예를 들어, 약 0.4 마이크로 미터 내지 약 0.8 마이크로 미터)의 광을 상기 2D 센싱 영역의 제2 센싱 픽셀(517)로 향하도록(또는 집중하도록) 구성할 수 있다. 상기 제2 그룹(516)의 제7 나노 구조(528)는 상기 2D 센싱 영역의 제2 센싱 픽셀(517)과 상기 3D 뎁스 센싱 영역의 센싱 픽셀(519) 사이에 상기 2D 센싱 영역의 제1 센싱 픽셀(511)이 개재된 채로, NIR 스펙트럼(예를 들어, 0.8 마이크로 미터 초과)의 광을 상기 2D 센싱 영역의 제2 센싱 픽셀(517)에 인접한 상기 3D 뎁스 센싱 영역의 센싱 픽셀(519)을 향해 지향(또는 집중)하도록 구성될 수 있다.
하나 이상의 실시 예들에서, 하나 이상의 마이크로 렌즈들(예를 들어, 마이크로 렌즈(504))는 센싱 픽셀의 타겟 부분들을 향해 입사 광을 집중시키도록 할 수 있다. 도 5a 및 5b의 실시 예들에 도시된 바와 같이, 상기 마이크로 렌즈(504)는 상기 메타 렌즈(502)의 아래에 위치할 수 있다. 다른 실시 예에서, 도 5c의 실시 예들에 도시된 바와 같이, 상기 마이크로 렌즈(504)는 상기 메타 렌즈(502) 위에 위치할 수 있다. 다시 말해서, 도 5a 및 5b의 실시 예에서, 상기 마이크로 렌즈(504)는 상기 메타 렌즈(502)과 상기 하이브리드 센싱 어레이 사이에 있을 수 있다. 다른 실시 예에서, 도 5C의 실시 예에 도시된 바와 같이, 상기 메타 렌즈(502)은 상기 마이크로 렌즈(504)와 상기 하이브리드 센싱 어레이 사이에 있을 수 있다.
하나 이상의 실시 예들에서, 복수의 컬러 필터들(506)은 광의 설정된 파장 스펙트럼을 필터링할 수 있다. 도 5a 내지 도 5c의 실시 예에서 상기 컬러 필터들(506) 각각은 두께 방향(예를 들어, 제3 방향 DR3)에서 상기 컬러 필터(506)와 중첩하는 센싱 픽셀에 의해 감지된 광의 파장에 대응한다. 예를 들어, 청색 광은 청색 센싱 픽셀(예를 들면, 제1 센싱 픽셀(511))과 중첩하는 상기 복수의 컬러 필터들(506) 중 청색 컬러 필터를 통해 투과할 수 있다. 그리고, NIR 광은 상기 센싱 픽셀(519)과 중첩하는 복수의 컬러 필터들(506) 중 NIR 컬러 필터를 통해 투과할 수 있다.
따라서, 도 5a 내지 도 5c에 도시된 바와 같이, 하나 이상의 나노 구조들(예를 들면, 다른 파장 광의 산란 로브들(scattering lobes)을 위한 구조들)을 포함하는 메타 렌즈(502)에 입사하는 외부 광은 하나 이상의 타겟 파장 스펙트럼에 기초하여 상기 하이브리드 센싱 어레이(508)의 2D 센싱 영역 및/또는 3D 뎁스 센싱 영역을 향하여 지향(또는 집중)될 수 있다.
상기 마이크로 렌즈(504)가 도 5a 내지 도 5c에 도시되어 있지만, 상기 마이크로 렌즈(504)는 타겟 파장 스펙트럼들의 초점을 맞추고 방향을 바꾸는 메타 렌즈(502)의 능력을 보완하기 위해 전용 광 포커싱 능력들을 제공한다. 따라서, 하나 이상의 실시 예들에서, 추가적인 광 포커싱이 필요하지 않을 수 있는 곳에 마이크로 렌즈(504)가 존재하지 않을 수 있다. 그러나, 도 5a 내지 도 5c의 실시 예에서, 상기 마이크로 렌즈(504)는 상기 2D 센싱 영역 및 상기 3D 뎁스 센싱 영역의 chief ray angle (“CRA”) 또는 FOV와 관련된 이슈들을 해결하는 것을 돕기 위해 존재할 수 있다.
도 6a는 본 개시의 하나 이상의 실시 예에 따른, 하이브리드 센싱 어레이 상의 글로벌 메타 렌즈(602)의 일부의 분해사시도 및 글로벌 메타 렌즈(602)의 일부를 포함하는 블록도이다.
하나 이상의 실시 예들에서, NIR 광 및 가시 광을 포함하는 외부 광(600)은 상기 글로벌 메타 렌즈(602)에 입사될 수 있다. 상기 글로벌 메타 렌즈는 외부 광(600)이 가시 광 및 NIR 광으로 분할되도록 외부 광(600)의 상이한 파장 스펙트럼들을 지향(또는 집중)하는 하나 이상의 나노 구조들(608)를 포함할 수 있다. 하나 이상의 실시 예들에서, 가시 광은 PD들을 포함하는 상기 2D 센싱 영역(604)의 센싱 픽셀들을 향해 지향(또는 집중)될 수 있다. NIR 광은 하나 또는 그 이상의 SPADs를 포함하는 상기 3D 뎁스 센싱 영역(606)의 센싱 픽셀들을 향해 지향(또는 집중)될 수 있다.
따라서, 상기 글로벌 메타 렌즈(602)은 전체 하이브리드 센싱 어레이를 커버할 수 있다. 상기 글로벌 메타 렌즈(602)의 다른 부분들은 상기 글로벌 메타 렌즈(602)의 부분에 근접한 상기 2D 센싱 영역의 부분으로 지향(또는 집중)될 수 있다. 글로벌 메타 렌즈(602)의 다른 부분들은 글로벌 메타 렌즈(602)의 부분에 근접한 상기 3D 뎁스 센싱 영역의 부분으로 NIR 광을 지향(또는 집중)할 수 있다.
도 6b는 본 개시의 하나 이상의 실시 예들에 따른 하이브리드 센싱 어레이(614) 상의 렌즈(예를 들어, 글로벌 렌즈)(610) 및 글로벌 메타 렌즈(612)을 포함하는 분해 블록도이다.
도 6b를 참조하면, 하나 이상의 실시 예들에서, 하나의 메인 렌즈로 인해 상기 2D 센싱 영역(616) 및 상기 3D 뎁스 센싱 영역(618)이 동일한 FOV를 공유한 채로 상기 하이브리드 센싱 어레이(614)는 상기 2D 센싱 영역(616) 및 상기 2D 센싱 영역(616)과 나란히 배열되고 서로 인접하는 3D 뎁스 센싱 영역(618)을 포함할 수 있다. 하나 이상의 실시 예들에서, 상기 글로벌 메타 렌즈(612)에 의해 상기 2D 센싱 영역의 적색, 녹색 및 청색 센싱 픽셀들로 향하는(집중하는) 가시 광이 높은 2D 이미지 품질을 야기하도록 상기 글로벌 메타 렌즈(612)은 상기 2D 센싱 영역(616)을 커버하도록 중앙에 배치될 수 있다. 게다가, 3D 뎁스 정보를 제공하기 위해 상기 글로벌 메타 렌즈(612)은 상기 3D 뎁스 센싱 영역(618)을 향해 충분한 NIR 광을 지향(또는 집중)한다. 따라서, NIR 광을 검출하고 3D 뎁스 정보를 제공하기 위하여 상기 인접한 3D 뎁스 센싱 영역(618)으로 방향 전환(또는 집중)된 NIR 광이 상기 3D 뎁스 센싱 영역(618)의 센싱 픽셀에 충분한 NIR 광을 제공하는 동안, 상기 2D 센싱 영역(616)을 커버하도록 상기 글로벌 메타 렌즈(612)을 중앙에 배치하면 고해상도 2D 이미지를 제공하는 데 도움이 된다.
도 7a는 본 개시의 하나 이상의 실시 예들에 따른 하이브리드 센서(106)의 평면도 및 단면도이다. 도 7b는 본 개시의 하나 이상의 실시 예들에 따른 하이브리드 센서(106)의 단면도이다.
도 7a 및 도 7b를 참조하면, 하나 이상의 실시 예들에서, 하이브리드 센서(106)는 하이브리드 센싱 어레이(702), 메인 렌즈(708), 글로벌 메타 렌즈(710), 및 인쇄 회로 기판(712)(“PCB”)을 포함할 수 있다. 상기 하이브리드 센싱 어레이(702)는 PCB(712) 상에 위치될 수 있고, 상기 2D 센싱 영역(704) 및 이와 나란히 배열된 상기 3D 뎁스 센싱 영역(706)을 포함할 수 있다.
도 7a에 도시된 바와 같이, 상기 메인 렌즈(708) 및 상기 글로벌 메타 렌즈(710)가 상기 2D 센싱 영역(704) 위에서 중심이 되도록 상기 메인 렌즈(708) 및 상기 글로벌 메타 렌즈(710)는 하이브리드 센싱 어레이(702)를 커버하거나 중첩할 수 있다. 하나 이상의 실시 예들에서, 상기 하이브리드 센싱 어레이(702)의 상기 전체 2D 센싱 영역(704) 및 상기 하이브리드 센싱 어레이의 상기 전체 3D 뎁스 센싱 영역은 상기 글로벌 메타 렌즈(710) 및 상기 메인 렌즈(708)와 중첩할 수 있다. 그러나, 본 개시는 이에 제한되지 않는다. 예를 들어, 도 7b에 도시된 바와 같이, 상기 하이브리드 센싱 어레이(702)의 상기 전체 2D 센싱 영역(704)은 상기 글로벌 메타 렌즈(710) 및 상기 메인 렌즈(708)에 중첩될 수 있는 반면, 상기 전체 3D 뎁스 센싱 영역(706)보다 작도록 글로벌 메타 렌즈(710)과 상기 메인 렌즈(708)에 중첩될 수 있다.
하나 이상의 실시 예들에서, 상기 메인 렌즈(708)에 입사된 외부 광이 상기 하이브리드 센싱 어레이(702)에 의해 검출되기 전에 상기 글로벌 메타 렌즈(710)을 통과하도록, 상기 글로벌 메타 렌즈(710)는 상기 메인 렌즈(708)와 상기 2D 센싱 영역(704) 사이에 있을 수 있다. 상기 글로벌 메타 렌즈(710)을 통과하는 광은 투명 기판(예를 들어, 유리 기판)(716) 상에 위치된 하나 이상의 나노 구조들(714)에 의해 지향(또는 집중)될 수 있다. 하나 이상의 나노 구조들 각각은 가시 광을 상기 2D 센싱 영역(704)으로 향하게(또는 집중)할 수 있고, 상기 3D 뎁스 센싱 영역(706)으로 NIR 광을 향하게(또는 집중)할 수 있다. 상기 2D 센싱 영역(704) 및 3D 뎁스 센싱 영역(706)에 의해 감지된 광이 공유된 메인 렌즈(708)를 통과하기 때문에, 상기 2D 센싱 영역(704)과 상기 3D 뎁스 센싱 영역(706) 모두 동일한 FOV를 갖는다. 따라서, 아래에서 더 상세히 논의되는 바와 같이, 상기 2D 센싱 영역(704)을 덮도록 상기 메인 렌즈(708) 및 상기 글로벌 메타 렌즈(710)을 센터링하는 것은 3D 뎁스 정보를 이용하여 증강될 수 있는 고해상도 2D 이미지를 제공하는 데 도움이 된다.
도 7a에 도시된 바와 같이, 상기 하이브리드 센싱 어레이(702)의 각 센싱 픽셀이 지향된(또는 집중된) 광에 노출되도록 상기 메인 렌즈(708), 상기 글로벌 메타 렌즈(710), 및 상기 하이브리드 센싱 어레이(702) 사이의 평면 영역 및 거리들 D2, D3 및 D4이 설정될 수 있다. 상기 메인 렌즈(708)의 초점은 상기 메인 렌즈(708)와 거리 D4만큼 이격될 수 있고, 상기 글로벌 메타 렌즈(710)와 거리 D3만큼 이격될 수 있다. 하나 이상의 실시 예들에서, 메인 렌즈의 초점은 상기 메인 렌즈(708)와 상기 글로벌 메타 렌즈(710) 사이에 있을 수 있다. 또한, 상기 하이브리드 센싱 어레이(702)의 센싱 픽셀들 각각이 상기 메인 렌즈(708) 및/또는 상기 글로벌 메타 렌즈(710)으로부터 지향된(또는 집중된) 광을 검출할 수 있도록 상기 하이브리드 센싱 어레이(702)는 거리 D2만큼 상기 글로벌 메타 렌즈(710)와 이격될 수 있다.
따라서, 공유된 FOV로부터 2D 이미지 데이터 및 3D 뎁스 정보를 제공하기 위해, 상기 하이브리드 센싱 어레이(702)를 커버하거나 중첩하는 상기 메인 렌즈(708) 및 상기 글로벌 메타 렌즈(710)가 콤팩트하고 모놀리식 하이브리드 센서(106)에게 제공된다. 또한, 상기 3D 뎁스 센싱 영역(706)의 센싱 픽셀들이 상기 2D 센싱 영역(704)의 “누락된” 센싱 픽셀들로 이어지는 상기 2D 센싱 영역(704)의 센싱 픽셀들을 방해(또는 변위)하지 않기 때문에, 상기 2D 센싱 영역(704) 및 상기 3D 뎁스 센싱 영역(706)의 나란한 배열은 고해상도 2D 이미지를 제공하는 데 도움이 된다.
도 8은 본 개시의 하나 이상의 실시 예에 따른, 오브젝트 검출 및 트래킹을 위한 방법(800)의 흐름도이다.
도 8을 참조하면, 상기 프로세싱 회로(204)의 오브젝트 디텍터(212)는 상기 2D 센싱 영역으로부터의 데이터를 기반으로 2D 이미지 데이터 내에서 오브젝트들을 검출하고 추적하기 위해 신경망 기반 오브젝트 검출 시스템(neural-network based object detection system)을 포함하는 알고리즘을 사용할 수 있다.
하나 이상의 실시 예들에서, 상기 오브젝트 디텍터(212)는 2D 이미지 데이터를 사용하여 오브젝트를 검출할 수 있다(802). 상기 오브젝트 디텍터(212)는 감지된 오브젝트가 새로운 오브젝트인지 판단할 수 있다(804). 예를 들어, 상기 오브젝트 디텍터(212)는 상기 2D 이미지 데이터에서 검출된 오브젝트가 이미 오브젝트 테이블(810)에 저장되어 있는지 여부에 기초하여 상기 오브젝트가 새로운 오브젝트인지 여부를 판단할 수 있다.
상기 오브젝트가 이전에 또는 이미 검출된 오브젝트 인 경우, 상기 오브젝트 디텍터(212)는 오브젝트 검출 루프의 일부로서 상기 이미지 내에서 다른 오브젝트들을 계속 검출한다. 상기 오브젝트가 현재의 2D 이미지 데이터에서 이전에 또는 이미 검출되지 않은 새로운 오브젝트이면, 상기 오브젝트 디텍터(212)는 상기 3D 뎁스 센싱 영역을 활성화하기 위해 상기 프로세싱 회로(204)의 상기 ROI 컨트롤러(210)와 함께 동작한다. 예를 들어, 상기 오브젝트 디텍터(212)는 상기 2D 이미지 데이터(802)를 이용하여 오브젝트(예를 들면, 보행자)를 검출하고, 상기 2D 이미지 데이터에서 해당 오브젝트(예를 들면, 보행자)의 좌표를 식별할 수 있다. 상기 2D 이미지 데이터 내에서 오브젝트의 좌표에 기초하여, 상기 ROI 컨트롤러(210)는 상기 광원(104)의 일부들(예를 들면, VCSEL 어레이의 일부들)를 활성화하여 현실 세계 내에서 상기 오브젝트(예를 들면, 보행자)를 조명할 수 있다. 하나 이상의 실시 예들에서, 상기 ROI 컨트롤러(210)는 상기 센싱 회로(202)로 신호들을 전송하여 상기 2D 이미지로부터 식별된 상기 오브젝트의 좌표에 따라 상기 3D 뎁스 센싱 영역의 특정 센싱 픽셀들(예를 들어, SPAD를 포함하는 하나 이상의 센싱 픽셀들)을 선택할 수 있다. 하나 이상의 실시 예들에서, 상기 센싱 회로(202)에 의해 구동되는 상기 3D 뎁스 센싱 영역의 센싱 픽셀들은 상기 오브젝트(예를 들면, 보행자)의 2D 이미지 데이터에 대응하는 센싱 신호들 제공하는 상기 2D 센싱 영역의 센싱 픽셀들에 인접하거나 근접할 수 있다.
따라서, 3D 뎁스 센싱 정보는 상기 하이브리드 센서(106)에 의해 수집될 수 있다(다시 말하면, 3D 뎁스 센싱이 턴-온시킴(806)). 새로운 오브젝트에 응답하여 3D 뎁스 센싱을 선택적으로 턴-온시킴으로써, 배터리 전력 사용량이 줄어들고 계산 리소스들이 더 적게 사용될 수 있다. 상기 2D 이미지 데이터와 상기 3D 뎁스 정보의 조합을 기반으로, 상기 오브젝트 디텍터(212)는 3D 뎁스 센싱 정보에 따른 뎁스 그리고 2D 센싱 정보에 따른 형상, 아이덴터티(identity), 2D 크기 정보 등과 같은 새로운 오브젝트에 관한 정보를 추정할 수 있다(808). 다른 오브젝트들을 검출하기(802)로 리턴하기 전에 상기 추정된 정보를 오브젝트 테이블(810)에 저장할 수 있다. 따라서, 상기 오브젝트 디텍터(212)는 탐지 루프를 완료한다. 하나 이상의 실시 예들에서, 상기 오브젝트 테이블(810)은 상기 오브젝트가 트래킹될 필요가 있는 OOI인지 여부를 나타낼 수 있다.
따라서, 하나 이상의 실시 예들에서, 상기 오브젝트 디텍터(212)는 검출 루프에 기초하여 상기 오브젝트 테이블에 의해 식별된 오브젝트를 추적할 수 있다. 예를 들어, ADAS 또는 자율 주행 차량 애플리케이션을 위하여, 나무와 보행자를 감지 루프에 의하여 식별할 수 있다. 이 경우, 상기 오브젝트 디텍터(212)는 백그라운드 내 나무는 추적될 필요가 없다고 판단할 수 있다. 반면에, 상기 오브젝트 디텍터(212)는 보행자는 추적될 필요가 있다고 판단할 수 있다 (예를 들면, 보행자가 움직일 수 있기 때문). 따라서, 상기 2D 이미지 데이터에서 식별된 보행자는 ROI 센싱을 이용하여 OOI로서 트래킹될 수 있다. 비록 나무와 보행자의 예가 제시되었으나, 본 개시는 이에 한정되는 것은 아니다. 상기 애플리케이션에 따라, 여러 요소들(예를 들면, 위치, 중요도, 거리, 이동성, 등)를 기반으로 트래킹을 위하여 임의의 오브젝트가 지정될 수 있다.
하나 이상의 실시 예들에서, 상기 오브젝트 디텍터(212)는 상기 2D 이미지 데이터 내에서 상기 오브젝트를 연속적으로 추적(예를 들어, 상기 위치를 추적)할 수 있다 (812). 상기 오브젝트 디텍터(212)가 상기 2D 이미지 데이터 내에서 추적된 오브젝트의 추적을 실패하면(814) (예를 들면, 추적된 오브젝트가 FOV를 벗어나거나 오류가 발생), 상기 오브젝트 추적은 검출 루프가 다른 오브젝트 또는 동일한 오브젝트를 다시 검출할 때까지 종료된다 (다시 말하면, 상기 오브젝트 디텍터(212)는 트래킹 루프를 종료하고 검출 루프로 복귀한다). 따라서, 검출 루프에서는, 가능한 오류들을 수정하기 위하여 실패한 추적 대상을 재식별하고 다시 추적할 수 있다.
상기 오브젝트 디텍터(212)가 상기 오브젝트(예를 들어, OOI)를 추적하고 임계 조건(critical condition)이 발생하면(816) (예를 들면, ADAS 애플리케이션에서 전방에 OOI가 있는 조건), 상기 오브젝트 디텍터(212)는 상기 프로세싱 회로(204)의 상기 ROI 컨트롤러(210)와 함께 작동하여 상기 3D 뎁스 센싱 영역을 활성화할 수 있다. 상기 ROI 컨트롤러(210)는 상기 센싱 회로(202)에 신호들을 전송하여 상기 3D 뎁스 센싱 영역의 특정 센싱 픽셀을 선택하고 그리고/또는 현실 세계에서 상기 검출된 오브젝트를 비추기 위하여 상기 광원(104)의 일부들(예를 들어, VCSEL 어레이의 일부)를 활성화할 수 있다. 따라서, 3D 뎁스 센싱 정보는 상기 하이브리드 센서(106)에 의해 수집될 수 있다(다시 말하면, 3D 뎁스 센싱이 턴-온시킴(818)). 임계 조건에 응답하여 3D 뎁스 센싱을 선택적으로 턴-온시킴으로써, 배터리 전력 사용량이 줄어들고 계산 리소스들이 더 적게 사용될 수 있다. 상기 3D 뎁스 센싱으로부터의 새로운 정보에 기초하여, 상기 오브젝트 디텍터는 상기 추적된 오브젝트에 대한 3D 뎁스 정보를 증가 또는 업데이트할 수 있다(820). 하나 이상의 실시 예들에서, 상기 2D 이미지 데이터와 상기 3D 뎁스 정보의 조합은 오브젝트 디텍터가 오브젝트 추적으로 복귀하기 전에 상기 추적된 오브젝트를 잃어버리거나 (814) 다른 임계 조건이 충족될 때까지(816), 오브젝트 테이블 내의 3D 뎁스 감지 정보에 따른 뎁스 그리고 2D 센싱 정보에 따른 모양, 아이덴터티 및/또는 2D 크기 정보와 같은 오브젝트 정보(820)를 재평가하거나 업데이트할 수 있도록 할 수 있다.
도 8에서는 단일 오브젝트에 대한 검출 루프 및 트래킹 루프를 참조하여 설명하였으나, 본 개시는 이에 한정되는 것은 아니다. 예를 들어, 복수의 오브젝트들은 원하는 대로 동시에 검출 및 트래킹될 수 있다. 또한, 상기 검출 루프는 항상 활성화될 수 있는 반면, 오브젝트들이 트래킹을 위해 상기 오브젝트 디텍터(212)에 의해 지정될 때(예를 들어, OOI로 지정됨), 트래킹 루프는 활성화될 수 있다. 하나 이상의 실시 예들에서, 상기 오브젝트 디텍터(212)에 의해 검출된 모든 오브젝트들이 트래킹될 수 있다. 다른 실시 예에서, 상기 오브젝트 디텍터(212)에 의해 검출된 모든 오브젝트들보다 더 적게 원하는 바에 따라 트래킹될 수 있다.
도 9는 본 개시의 하나 이상의 실시 예들에 따른 고해상도 2D 이미지 및 고해상도 3D 이미지를 제공하기 위한 방법의 흐름도(900)이다.
도 9를 참조하면, 본 발명의 하나 이상의 실시 예들에 따르면, 상기 이미지 시그널 프로세서(214)는 상기 센싱 회로(202)로부터의 데이터를 이용하여 2D 및/또는 3D 이미지를 제공하거나 재구성할 수 있다.
하나 이상의 실시 예들에서, 상기 이미지 시그널 프로세서(214)는 상기 2D 센싱 영역의 센싱 픽셀들과 상기 3D 뎁스 센싱 영역의 센싱 픽셀들의 배열에 기초하여 2D 이미지를 제공하거나 재구성할 수 있다. 예를 들어, 상기 2D 센싱 영역의 센싱 픽셀들이 상기 3D 뎁스 센싱 영역의 센싱 픽셀들과 얽혀있는 경우, 상기 3D 뎁스 센싱 영역의 센싱 픽셀들이 상기 2D 센싱 영역의 센싱 픽셀 로우들 및/또는 센싱 픽셀 컬럼들을 차단(또는 변위)하는 하이브리드 센싱 어레이의 영역을 차지하기 때문에 2D 이미지 데이터는 2D 이미지 데이터의 패치가 누락될 수 있다. 따라서, 상기 2D 센싱 영역에 의하여 생성된 2D 이미지 데이터는 누락된 픽셀들을 가질 수 있다 (예를 들면, 하나 이상의 누락된 녹색 픽셀들, 하나 이상의 누락된 적색 픽셀들, 및/또는 하나 이상의 누락된 파란색 픽셀들). 그러나, 본 개시는 이에 제한되지 않는다. 예를 들어, 하나 이상의 실시 예들에서, 상기 3D 뎁스 센싱 영역의 센싱 픽셀에 의해 차단된(또는 변위된) 센싱 픽셀들은 “누락된” 픽셀들을 초래할 수 있다. 따라서 누락된 픽셀들은 상기 3D 뎁스 센싱 영역의 센싱 픽셀에 의해 차단(또는 변위)될 수 있는 상기 2D 센싱 영역의 센싱 픽셀들에 따라 임의의 색상 및/또는 유형을 가질 수 있다.
상기 예시된 실시 예에서, 상기 2D 센싱 영역으로부터의 2D 이미지 데이터에 응답하여, 상기 이미지 시그널 프로세서(214)는 누락된 녹색 픽셀들을 보간하고(902), 누락된 적색 및 청색 픽셀들을 보간할 수 있다(904). 누락된 픽셀들을 보간하는 것에 응답하여, 상기 이미지 시그널 프로세서(214)는 베이어 이미지(Bayer image)를 완성할 수 있다(906). Bayer 이미지의 완성에 응답하여, 상기 이미지 시그널 프로세서(214)는 풀 컬러 이미지(full color image)를 재구성하기 위해 디모자이싱 알고리즘(demosaicing algorithm)을 사용할 수 있다(908). 따라서, 풀 컬러 이미지는 다양한 애플리케이션들에서 사용하기 위해 재구성될 수 있다(910)(예를 들어, 상기 프로세싱 회로(204)의 상기 오브젝트 디텍터(212)에 의한 사용).
상기 2D 이미지의 재구성은 누락된 픽셀들의 보간(902, 904)을 참조하여 설명하였으나, 본 개시의 실시 예에 따라 누락된 픽셀들의 보간은 생략될 수 있다(902, 904). 예를 들어, 도 2b, 도 3i, 도 6b, 도 7a, 및 도 7b의 실시 예들에서 도시된 바와 같이, 상기 2D 센싱 영역의 센싱 픽셀들과 상기 3D 뎁스 센싱 영역의 센싱 픽셀이 나란히 배열된 경우, 보간할 누락된 픽셀들이 없을 수 있기 때문에, 누락된 픽셀들의 보간을 생략할 수 있다. 다시 말하면, 도 2b, 도 3i, 도 6b, 그리고 도 7a 및 도 7b의 실시 예들은 스텝 910부터 시작할 수 있다.
하나 이상의 실시 예들에서, 풀 컬러 이미지를 재구성하는 것에 응답하여, 상기 이미지 시그널 프로세서(214)는 가중 평균화(weighted averaging)에 의해 누락된 뎁스 픽셀들을 보간할 수 있다(912). 다시 설명하면, 상기 3D 뎁스 센싱 영역의 3D 뎁스 정보는 상기 2D 이미지 데이터와 동일한 해상도를 가지지 않을 수 있으므로, 감지된 3D 뎁스 정보를 이용한 보간 및 가중 평균에 기초하여 누락된 3D 뎁스 정보를 결정할 수 있다. 따라서, 기초 또는 베이스로써의 고해상도 2D 이미지 및 상기 고해상도 2D 이미지를 증강 또는 업데이트하기 위한 3D 뎁스 정보를 모두 포함하는 고해상도 3D 이미지가 제공될 수 있다.
따라서, 본 명세서에 개시된 바와 같이, 본 개시의 실시 예들은 공유된 FOV를 갖는 2D 센싱 영역 및 3D 뎁스 센싱 영역을 포함하는 하이브리드 센싱 어레이를 기반으로 고해상도 2D 및 3D 이미지를 제공한다. 더불어, 본 개시의 하나 이상의 실시 예들에 따른 시스템 및 방법은 전력 및 계산 리소스들을 절약하기 위하여 오브젝트 검출 및 추적 알고리즘들(object detection and tracking algorithms)에 기초한 ROI 센싱 능력들을 제공한다.
도면에서, 요소들, 층들, 및 영역들의 상대적 사이즈들은 명확성을 위해 과장 및/또는 단순화될 수 있다.
비록 “제1”, “제2”, “제3” 등의 용어가 본 명세서에서 다양한 요소, 구성 요소, 영역, 층 및/또는 섹션을 설명하기 위해 사용될지라도 이들 요소, 구성 요소, 영역, 층 및/또는 섹션은 이러한 용어에 의해 제한되어서는 안 된다는 것이 이해 될 것이다. 이들 용어들은 하나의 요소, 구성 요소, 영역, 층 또는 섹션을 다른 요소, 구성요소, 영역, 층 또는 섹션과 구별하기 위해서 사용된다. 따라서, 본 개시의 사상 및 범위를 벗어나지 않으면서, 본 명세서에서 설명되는 제1 요소, 구성 요소, 영역, 층, 또는 섹션은 제2 요소, 구성 요소, 영역, 층, 또는 섹션으로 지칭될 수 있다.
요소 또는 층이 다른 요소 또는 층에 “위”, “에 연결된”, 또는 “에 결합된”것으로 언급될 때, 다른 요소 또는 층에 직접 연결되거나, 연결되거나, 또는 결합될 수 있거나, 하나 이상의 개재 요소 또는 층이 존재하는 것으로 이해할 수 있다. 추가적으로, 하나의 요소 또는 층이 두 요소들 또는 두 층들 “사이”로 언급 될 때, 그것은 두 요소들 또는 두 층들 사이의 층일 수 있거나, 또는 하나 이상의 개재 요소들 또는 개재 층들이 존재할 수 있음을 이해할 것이다.
본 명세서에서 사용되는 용어는 단지 특정한 실시 예들을 설명하기 위해 사용된 것으로, 본 발명을 제한하는 것으로써 의도되지 않는다. 문맥 상 명백하게 다르게 뜻하지 않는 한, 단수의 표현은 복수의 표현을 포함한다. 본 명세서에서 사용될 때 “구성한다”, “구성하는”, “포함한다”, “포함하는”, “가진다”, “가지는”, 또는 “가지면”이라는 용어는 언급된 특징, 정수, 단계, 연산, 요소 및/또는 구성요소의 존재를 특정하나 하나 이상의 다른 특징들, 정수들, 단계들, 동작들, 요소들, 구성요소들, 및/또는 이들의 그룹의 존재 또는 추가를 배제하지는 않는다. 본 발명에 사용된 용어 “및/또는”은 하나 이상의 관련된 열거된 항목들의 임의의 그리고 모든 조합들을 포함한다. 요소들의 목록 앞에 있을 때, “적어도 하나”와 같은 표현은 전체 요소들의 목록을 수정하고 상기 목록의 개별 요소들을 수정하지 않는다.
또한, 본 개시의 실시 예들을 설명 할 때 “할 수 있는”의 사용은 “본 발명의 하나 이상의 실시 예들”을 지칭한다. 본 명세서에 사용된 바와 같이, 용어 “사용”, “사용하는” 및 “사용된”은 각각 “유용하다”, “유효한” 및 “유효”라는 용어와 동의어로 간주될 수 있다.
본 발명에 사용된 바와 같이,'용어들 “실질적으로', '약', 이와 유사한 용어는 정도의 용어들이 아니라 근사 값의 용어로 사용된다. 그리고, 상기 용어는 당업자가 인식할 수 있는 측정 또는 계산된 값의 고유 편차들을 설명하기 위한 것이다.
본 발명에 인용된 임의의 수치 범위는 인용된 범위 내에 포함된 동일한 수치 정밀도의 모든 서브-범위들을 포함하는 것으로 의도된다. 예를 들어, “1.0 내지 10.0”의 범위는 언급된 최소값 1.0과 언급된 최대값 10.0 사이의(다시 말하면, 최소값이 1.0 이상이고 최대값이 10.0 이하, 예를 들어 2.4 내지 7.6을 가지는) 모든 서브-범위들을 포함하도록 의도된다. 여기서 인용된 임의의 최대 수치 제한은 그 안에 포함된 모든 하위 수치 제한을 포함하도록 의도된다. 그리고, 본 명세서에 인용된 임의의 최소 수치 제한은 그에 포함된 모든 더 높은 수치 제한을 포함하도록 의도된다. 따라서, 출원인은 본 명세서에 명시적으로 언급된 범위 내에 포함된 임의의 하위 범위를 명시적으로 인용하기 위해 청구 범위를 포함하여 본 명세서를 수정할 권리를 보유한다.
다르게 정의되지 않는 한, 본 명세서에서 사용되는 모든 용어들(기술적이거나 과학적인 용어를 포함) 은 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 갖는다. 일반적으로 사용되는 사전에서 정의된 용어와 같은 용어는 관련 기술 및/또는 본 명세서의 맥락에서 그 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 여기에 명시적으로 정의되지 않는 한 이상화되거나 지나치게 형식적인 의미로서 해석되지 않아야 한다.
일부 예시적인 실시 예가 설명되었지만, 당업자는 본 개시의 사상 및 범위를 벗어나지 않고 예시적인 실시 예에서 다양한 변형이 가능하다는 것을 쉽게 이해할 것이다. 다르게 설명되지 않는 한, 각 실시 예 내의 특징들 또는 양태들에 대한 설명은 일반적으로 다른 실시 예 내 다른 유사한 특징들 또는 양태들에 대해 이용 가능한 것으로 간주되어야 한다는 것을 이해할 것이다. 따라서, 전술된 내용은 다양한 예시적인 실시 예들을 예시한 것이며 여기에 개시된 특정 예시적인 실시 예들에 한정되는 것으로 해석되어서는 안되며, 다른 예시적인 실시 예들뿐만 아니라 개시된 예시적인 실시 예들에 대한 다양한 변형들은 첨부된 청구항들 및 그것들의 균등물에서 정의된 바와 같이 본 개시의 사상 및 범위 내에 포함되도록 의도된다고 이해해야 한다.

Claims (20)

  1. 3D 센싱 시스템에 있어서,
    광을 방출하도록 구성된 광원;
    오브젝트로부터 반사된 주변 광을 감지하도록 구성된 2D 센싱 영역, 그리고 상기 광원에 의해 방출되고 상기 오브젝트로부터 반사된 상기 광을 검출하도록 구성된 3D 뎁스 센싱 영역을 포함하는 하이브리드 센싱 어레이;
    상기 하이브리드 센싱 어레이 상의 메타 렌즈(metalens)로서, 상기 메타 렌즈는 상기 오브젝트로부터 반사된 상기 주변 광을 상기 2D 센싱 영역을 향해 지향시키고, 상기 광원에 의해 방출되고 상기 오브젝트로부터 반사된 상기 광을 상기 3D 뎁스 센싱 영역을 향해 지향하도록 구성됨; 및
    상기 2D 센싱 영역에 의해 제공되는 2D 이미지 정보와 상기 3D 뎁스 센싱 영역에 의해 제공되는 3D 정보를 결합하여 결합된 3D 이미지를 생성하도록 구성된 프로세싱 회로를 포함하는 것을 특징으로 하는 3D 센싱 시스템.
  2. 제 1 항에 있어서,
    상기 프로세싱 회로는:
    상기 2D 센싱 영역에 기초하여 상기 오브젝트의 2D 이미지 정보를 결정하고;
    상기 3D 뎁스 센싱 영역에 기초하여 상기 오브젝트의 3D 뎁스 정보를 결정하고; 및
    상기 오브젝트의 상기 2D 이미지 정보를 상기 3D 뎁스 정보를 이용하여 업데이트하도록 더 구성되는 것을 특징으로 하는 3D 센싱 시스템.
  3. 제 1 항에 있어서,
    상기 3D 센싱 시스템은,
    로우 디코더; 및
    컬럼 증폭기를 더 포함하고,
    상기 로우 디코더 및 상기 컬럼 증폭기는 상기 하이브리드 센싱 어레이의 아래에 적층되는 것을 특징으로 하는 3D 센싱 시스템.
  4. 제 1 항에 있어서,
    상기 메타 렌즈는 원형, 원통형, 직사각형, 또는 정사각형의 형태이고, 편광-독립적(polarization-independent)인 것을 특징으로 하는 3D 센싱 시스템.
  5. 제 1 항에 있어서,
    상기 2D 센싱 영역은 하나 이상의 포토다이오드들(photodiodes)을 포함하고,
    상기 3D 뎁스 센싱 영역은 하나 이상의 애밸랜치 포토 다이오드들(avalanche photodiodes; APDs) 또는 단일 광자 애밸랜치 다이오드들(single-photon avalanche diodes; SPADs)을 포함하는 것을 특징으로 하는 3D 센싱 시스템.
  6. 제 1 항에 있어서,
    상기 메타 렌즈는 NIR(near infrared) 광을 상기 3D 뎁스 센싱 영역으로 향하도록 구성되는 것을 특징으로 하는 3D 센싱 시스템.
  7. 제 1 항에 있어서,
    상기 프로세싱 회로는:
    상기 2D 이미지 정보에 기초하여 상기 오브젝트를 검출하고;
    상기 2D 이미지 정보 내에서 상기 오브젝트의 좌표에 기초하여 관심 영역(region of interest)을 생성하고; 및
    상기 광원을 사용하여 상기 관심 영역을 비추도록 더 구성되는 것을 특징으로 하는 3D 센싱 시스템.
  8. 제 7 항에 있어서,
    상기 프로세싱 회로는:
    상기 2D 이미지 정보 및 3D 뎁스 정보에 기초하여 상기 오브젝트의 아이덴터티(identity)를 결정하고;
    상기 2D 이미지 정보를 기반으로 상기 오브젝트를 추적하고; 및
    임계 조건(critical condition)에 응답하여 상기 2D 이미지 정보를 상기 3D 뎁스 정보를 이용하여 업데이트하도록 더 구성되는 것을 특징으로 하는 3D 센싱 시스템.
  9. 하이브리드 센싱 어레이를 기반으로 이미지를 제공하는 방법에 있어서,
    광원으로부터 광을 방출하는 단계;
    상기 하이브리드 센싱 어레이의 2D 센싱 영역에 의해, 오브젝트로부터 반사된 주변 광을 검출하는 단계;
    상기 하이브리드 센싱 어레이의 3D 뎁스 센싱 영역에 의해, 상기 광원에 의해 방출되고 상기 오브젝트로부터 상기 3D 뎁스 센싱 영역을 향해 반사된 상기 광을 검출하는 단계;
    상기 하이브리드 센싱 어레이 상의 메타 렌즈에 의해, 상기 주변 광을 상기 2D 센싱 영역으로 향하게 하는 단계;
    상기 하이브리드 센싱 어레이의 상기 메타 렌즈에 의해, 상기 광원에 의해 방출되고 상기 오브젝트로부터 반사된 상기 광을 상기 3D 뎁스 센싱 영역으로 향하게 하는 단계; 및
    프로세싱 회로에 의해 상기 2D 센싱 영역에서 제공되는 2D 이미지 정보와 상기 3D 뎁스 센싱 영역에서 제공되는 3D 정보를 결합하여 결합된 3D 이미지를 생성하는 단계를 포함하는 것을 특징으로 하는 하이브리드 센싱 어레이를 기반으로 이미지를 제공하는 방법.
  10. 제 9 항에 있어서,
    상기 방법은:
    상기 프로세싱 회로에 의해 상기 2D 센싱 영역에 기초하여 상기 오브젝트의 상기 2D 이미지 정보를 결정하는 단계;
    상기 프로세싱 회로에 의해 상기 3D 뎁스 센싱 영역에 기초하여 상기 오브젝트의 3D 뎁스 정보를 결정하는 단계; 및
    상기 프로세싱 회로에 의해, 상기 오브젝트의 상기 2D 이미지 정보를 상기 3D 뎁스 정보를 이용하여 업데이트하는 단계를 더 포함하는 것을 특징으로 하는 하이브리드 센싱 어레이를 기반으로 이미지를 제공하는 방법.
  11. 제 9 항에 있어서,
    상기 주변 광 및 상기 광원에 의해 방출된 상기 광을 검출하는 상기 하이브리드 센싱 어레이는 로우 디코더 및 컬럼 증폭기 위에 적층되는 것을 특징으로 하는 하이브리드 센싱 어레이를 기반으로 이미지를 제공하는 방법.
  12. 제 9 항에 있어서,
    상기 주변 광을 상기 2D 센싱 영역으로 향하게 하고 상기 광원에 의해 방출되고 상기 오브젝트로부터 상기 3D 뎁스 센싱 영역을 향해 반사된 상기 광을 지향시키는 상기 메타 렌즈는 원형, 원통형, 직사각형, 또는 정사각형의 형태를 가지며 편광-독립적인 것을 특징으로 하는 하이브리드 센싱 어레이를 기반으로 이미지를 제공하는 방법.
  13. 제 9 항에 있어서,
    상기 2D 센싱 영역은 상기 주변 광을 검출하기 위한 하나 이상의 포토다이오드들을 포함하고,
    상기 3D 뎁스 센싱 영역은 상기 광원에 의해 방출되고 상기 오브젝트에서 반사된 상기 광을 검출하기 위한 APD 또는 SPAD를 포함하는 것을 특징으로 하는 하이브리드 센싱 어레이를 기반으로 이미지를 제공하는 방법.
  14. 제 9 항에 있어서,
    상기 하이브리드 센싱 어레이 상의 상기 메타 렌즈에 의해, 상기 주변 광을 상기 2D 센싱 영역으로 향하게 하는 단계는,
    가시 광을 상기 2D 센싱 영역으로 향하게 하는 단계를 포함하고,
    상기 하이브리드 센싱 어레이의 상기 메타 렌즈에 의해, 상기 광원에 의해 방출되고 상기 오브젝트로부터 반사된 상기 광을 상기 3D 뎁스 센싱 영역으로 향하게 하는 단계는,
    NIR 광을 상기 3D 뎁스 센싱 영역으로 향하게 하는 단계를 포함하는 것을 특징으로 하는 하이브리드 센싱 어레이를 기반으로 이미지를 제공하는 방법.
  15. 제 9 항에 있어서,
    상기 방법은:
    상기 프로세싱 회로에 의해, 상기 2D 이미지 정보에 기초하여 상기 오브젝트를 검출하는 단계;
    상기 프로세싱 회로에 의해, 상기 2D 이미지 정보 내 상기 오브젝트의 좌표에 기초하여 관심 영역을 생성하는 단계; 및
    상기 프로세싱 회로에 의해, 상기 광원을 사용하여 상기 관심 영역을 비추는 단계를 더 포함하는 것을 특징으로 하는 하이브리드 센싱 어레이를 기반으로 이미지를 제공하는 방법.
  16. 제 9 항에 있어서,
    상기 방법은:
    상기 프로세싱 회로에 의해, 상기 2D 이미지 정보 및 3D 뎁스 정보에 기초하여 상기 오브젝트의 아이덴터티를 결정하는 단계;
    상기 프로세싱 회로에 의해, 상기 2D 이미지 정보에 기초하여 상기 오브젝트를 추적하는 단계; 및
    상기 프로세싱 회로에 의해, 임계 조건에 응답하여 상기 2D 이미지 정보를 상기 3D 뎁스 정보를 이용하여 갱신하는 단계를 더 포함하는 것을 특징으로 하는 하이브리드 센싱 어레이를 기반으로 이미지를 제공하는 방법.
  17. 3D 센싱 시스템에 있어서,
    광을 방출하도록 구성된 광원;
    오브젝트로부터 반사된 가시 광을 검출하는 2D 센싱 영역;
    상기 오브젝트로부터 반사된 NIR 광을 검출하는 3D 뎁스 센싱 영역;
    상기 2D 센싱 영역을 덮는 메타 렌즈로서, 상기 메타 렌즈는 상기 오브젝트로부터 반사된 상기 가시 광을 상기 2D 센싱 영역으로 항하게 하고 상기 광원에 의해 방출되고 상기 오브젝트로부터 반사된 상기 광을 상기 3D 뎁스 센싱 영역으로 향하게 구성됨; 및
    프로세싱 회로는:
    상기 2D 센싱 영역에 기초하여 상기 오브젝트의 2D 이미지 정보를 결정하고;
    상기 3D 뎁스 센싱 영역에 기초하여 상기 오브젝트의 3D 뎁스 정보를 결정하고; 및
    상기 오브젝트의 상기 2D 이미지 정보를 상기 3D 뎁스 정보를 이용하여 업데이트하도록 더 구성되는 것을 특징으로 하는 3D 센싱 시스템.
  18. 제 17 항에 있어서,
    상기 3D 센싱 시스템은:
    로우 디코더; 및
    컬럼 증폭기를 더 포함하고,
    상기 로우 디코더 및 상기 컬럼 증폭기는 상기 2D 센싱 영역 및 상기 3D 뎁스 센싱 영역 아래에 적층되는 것을 특징으로 하는 3D 센싱 시스템.
  19. 제 17 항에 있어서,
    상기 메타 렌즈는 원형, 원통형, 직사각형, 또는 정사각형의 형태이고 편광-독립적인 것을 특징으로 하는 3D 센싱 시스템.
  20. 제 17 항에 있어서,
    상기 2D 센싱 영역은 하나 이상의 포토 다이오드들을 포함하고,
    상기 3D 뎁스 센싱 영역은 하나 이상의 SPADs or APDs을 포함하는 것을 특징으로 하는 3D 센싱 시스템.
KR1020210048810A 2020-04-17 2021-04-14 3차원 이미징을 제공하기 위한 하이브리드 센서 시스템과 방법 KR20210128927A (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202063012000P 2020-04-17 2020-04-17
US63/012,000 2020-04-17
US16/940,308 2020-07-27
US16/940,308 US11269075B2 (en) 2020-04-17 2020-07-27 Hybrid sensor system and method for providing 3D imaging

Publications (1)

Publication Number Publication Date
KR20210128927A true KR20210128927A (ko) 2021-10-27

Family

ID=73856182

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210048810A KR20210128927A (ko) 2020-04-17 2021-04-14 3차원 이미징을 제공하기 위한 하이브리드 센서 시스템과 방법

Country Status (4)

Country Link
US (2) US11269075B2 (ko)
EP (1) EP3896489A1 (ko)
KR (1) KR20210128927A (ko)
CN (1) CN113542715A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102521524B1 (ko) * 2022-12-30 2023-04-14 주식회사 에이아이프로 객체의 특성을 고려한 초고해상화 영상 처리 장치 및 방법

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11269075B2 (en) * 2020-04-17 2022-03-08 Samsung Electronics Co., Ltd. Hybrid sensor system and method for providing 3D imaging
US11871132B2 (en) * 2020-05-08 2024-01-09 Omnivision Technologies, Inc. Devices and methods for obtaining three-dimensional shape information using polarization and time-of-flight detection pixel cells
US11513266B2 (en) * 2020-12-09 2022-11-29 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for an improved camera system using directional optics to estimate depth
US11659296B2 (en) * 2021-05-03 2023-05-23 Microsoft Technology Licensing, Llc Systems and methods for structured light depth computation using single photon avalanche diodes
US11428791B1 (en) * 2021-10-14 2022-08-30 Motional Ad Llc Dual-mode silicon photomultiplier based LiDAR
US11435451B1 (en) * 2021-10-14 2022-09-06 Motional Ad Llc SiPM based sensor for low level fusion
CN114137517B (zh) * 2022-02-07 2022-05-10 北京中科蓝图科技有限公司 二三维一体化道路检测方法与装置
US20240006436A1 (en) * 2022-06-29 2024-01-04 ams Sensors USA Inc. Image sensor and method of manufacturing an image sensor
WO2024015012A1 (en) * 2022-07-12 2024-01-18 Agency For Science, Technology And Research Optical system and method of forming the same, method of forming a multi-color image
DE102022124675A1 (de) 2022-09-26 2024-03-28 Ifm Electronic Gmbh PMD-Sensor mit mehreren Halbleiterebenen

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8134637B2 (en) 2004-01-28 2012-03-13 Microsoft Corporation Method and system to increase X-Y resolution in a depth (Z) camera using red, blue, green (RGB) sensing
US8648702B2 (en) 2010-08-20 2014-02-11 Denso International America, Inc. Combined time-of-flight and image sensor systems
US9425233B2 (en) * 2014-12-22 2016-08-23 Google Inc. RGBZ pixel cell unit for an RGBZ image sensor
US9608027B2 (en) 2015-02-17 2017-03-28 Omnivision Technologies, Inc. Stacked embedded SPAD image sensor for attached 3D information
US9628735B2 (en) * 2015-06-22 2017-04-18 Omnivision Technologies, Inc. Imaging systems with single-photon-avalanche-diodes and sensor translation, and associated methods
EP3485321A4 (en) * 2016-07-15 2020-04-01 Sun Chemical Corporation 3D / FLIP / MOTION PHOTO SUBSTRATE, IMAGING METHOD AND APPLICATIONS THEREOF
TWI624170B (zh) * 2016-10-19 2018-05-11 財團法人工業技術研究院 影像掃描系統及其方法
US10408416B2 (en) * 2017-01-31 2019-09-10 President And Fellows Of Harvard College Achromatic metalens and metalens with reverse chromatic dispersion
WO2018218298A1 (en) 2017-05-31 2018-12-06 Monash University An imaging method and apparatus
KR102464368B1 (ko) * 2017-11-07 2022-11-07 삼성전자주식회사 메타 프로젝터 및 이를 포함하는 전자 장치
US11971485B2 (en) * 2018-06-19 2024-04-30 Analog Devices, Inc. Metasurface array for lidar systems
US10739189B2 (en) 2018-08-09 2020-08-11 Ouster, Inc. Multispectral ranging/imaging sensor arrays and systems
JP2021534412A (ja) 2018-08-16 2021-12-09 センス・フォトニクス, インコーポレイテッドSense Photonics, Inc. 統合されたｌｉｄａｒ画像センサデバイス及びシステム並びに関連した動作方法
US11181775B2 (en) * 2018-09-11 2021-11-23 Samsung Electronics Co., Ltd. Illumination device and electronic apparatus including the same
US11435476B2 (en) * 2018-10-12 2022-09-06 Microsoft Technology Licensing, Llc Time-of-flight RGB-IR image sensor
CN210093396U (zh) * 2019-01-17 2020-02-18 深圳市光鉴科技有限公司 用于屏下的3d摄像头模组及电子设备
US11650403B2 (en) * 2019-02-08 2023-05-16 Meta Platforms Technologies, Llc Optical elements for beam-shaping and illumination
US11269075B2 (en) * 2020-04-17 2022-03-08 Samsung Electronics Co., Ltd. Hybrid sensor system and method for providing 3D imaging

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102521524B1 (ko) * 2022-12-30 2023-04-14 주식회사 에이아이프로 객체의 특성을 고려한 초고해상화 영상 처리 장치 및 방법

Also Published As

Publication number Publication date
US20220137226A1 (en) 2022-05-05
CN113542715A (zh) 2021-10-22
EP3896489A1 (en) 2021-10-20
US11269075B2 (en) 2022-03-08
US20210325541A1 (en) 2021-10-21
US11706400B2 (en) 2023-07-18

Similar Documents

Publication Publication Date Title
KR20210128927A (ko) 3차원 이미징을 제공하기 위한 하이브리드 센서 시스템과 방법
EP3465266B1 (en) Optical system for object detection and location
KR20210108450A (ko) 증가된 채널을 위한 하이 사이드 및 로우 사이드 스위치를 갖는 솔리드 스테이트 전자 스캐닝 레이저 어레이
KR20200024914A (ko) 전자적으로 스캔되는 방출기 어레이 및 동기화된 센서 어레이를 갖는 광 레인징 장치
JP7120756B2 (ja) 受光素子、飛行時間測定装置及び光レーダー装置
KR20200085909A (ko) 다중-광다이오드 픽셀 셀
US20220308232A1 (en) Tof depth measuring device and method
JP2019060652A (ja) 測距センサ
US20180347976A1 (en) Optical sensor and optical sensor system
US20230014366A1 (en) Laser transceiver system, lidar, and autonomous driving apparatus
KR20220006638A (ko) 전자 스캐닝 lidar 시스템을 위한 동기화된 이미지 캡처
US20230291885A1 (en) Stereoscopic image capturing systems
US20230176219A1 (en) Lidar and ambience signal fusion in lidar receiver
WO2019021887A1 (ja) 光レーダ装置
US11156716B1 (en) Hybrid LADAR with co-planar scanning and imaging field-of-view
US20230072058A1 (en) Omni-view peripheral scanning system with integrated mems spiral scanner
US20220206121A1 (en) Mems actuated vibratory risley prism for lidar
US20230408694A1 (en) Segmented flash lidar using stationary reflectors
US20230194718A1 (en) A lidar sensor for light detection and ranging, lidar module, lidar enabled device and method of operating a lidar sensor for light detection and ranging
JP7332801B2 (ja) 物体を検出するためのｌｉｄａｒセンサおよびｌｉｄａｒセンサに関する方法
US20240053439A1 (en) Time-of-flight modules
KR102094214B1 (ko) 영상 획득 장치 및 이의 영상 획득 방법
WO2023041761A1 (en) Emitter array with two or more independently driven areas
KR20240073503A (ko) 카메라 장치
KR20230080761A (ko) 라이다 장치

Legal Events

Date Code Title Description
A201 Request for examination