KR20180118189A - 깊이 감지 시스템들 및 방법들 - Google Patents

깊이 감지 시스템들 및 방법들 Download PDF

Info

Publication number
KR20180118189A
KR20180118189A KR1020187028216A KR20187028216A KR20180118189A KR 20180118189 A KR20180118189 A KR 20180118189A KR 1020187028216 A KR1020187028216 A KR 1020187028216A KR 20187028216 A KR20187028216 A KR 20187028216A KR 20180118189 A KR20180118189 A KR 20180118189A
Authority
KR
South Korea
Prior art keywords
light
sensor
depth sensing
sensing system
visible light
Prior art date
Application number
KR1020187028216A
Other languages
English (en)
Inventor
그레고리 마이클 링크
Original Assignee
매직 립, 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 매직 립, 인코포레이티드 filed Critical 매직 립, 인코포레이티드
Publication of KR20180118189A publication Critical patent/KR20180118189A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/705—Pixels for depth measurement, e.g. RGBZ
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10—Beam splitting or combining systems
    • G02B27/1006—Beam splitting or combining systems for splitting or combining different wavelengths
    • G02B27/1013—Beam splitting or combining systems for splitting or combining different wavelengths for colour or multispectral image sensors, e.g. splitting an image into monochromatic image components on respective sensors
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/208—Filters for use with infrared or ultraviolet radiation, e.g. for separating visible light from infrared and/or ultraviolet radiation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14603—Special geometry or disposition of pixel-elements, address-lines or gate-electrodes
    • H01L27/14605—Structural or functional details relating to the position of the pixel elements, e.g. smaller pixel elements in the center of the imager compared to pixel elements at the periphery
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/702—SSIS architectures characterised by non-identical, non-equidistant or non-planar pixel layout
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226—Determination of depth image, e.g. for foreground/background separation
    • H04N5/2258—
    • H04N5/332—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image

Abstract

깊이 감지 시스템은 표면으로부터 광을 수신하기 위한 제1 센서 픽셀 및 제2 센서 픽셀을 갖는 센서를 포함한다. 시스템은 또한, 제2 센서 픽셀로의 적외선의 투과를 방지하면서, 제1 센서 픽셀로의 전체 스펙트럼 광 및 제2 센서 픽셀로의 가시광의 투과를 허용하기 위한 필터를 포함한다. 시스템은, 표면의 깊이를 결정하기 위해 전체 스펙트럼 광 및 가시광을 분석하기 위한 프로세서를 더 포함한다. 필터는 센서와 표면 사이에 배치된다.

Description

깊이 감지 시스템들 및 방법들
[0001] 본 출원은, 대리인 문서 번호 ML.30066.00 하에서 2016년 3월 1일자로 출원되고 발명의 명칭이 "DEPTH SENSING SYSTEMS AND METHODS"인 미국 가출원 일련 번호 제62/301,847호를 우선권으로 주장한다. 본 출원은 2014년 6월 4일자로 출원된 미국 가특허 출원 일련 번호 제62/012,273호(대리인 문서 번호 ML.30019.00) 및 2013년 6월 13일자로 출원된 미국 특허 출원 일련 번호 제14/738,877호(대리인 문서 번호 ML.20019.00)와 관련된다. 따라서, 위에서 언급된 특허 출원들의 내용들은 마치 빠짐없이 기술된 것처럼 그 전체가 인용에 의해 명시적으로 그리고 완전히 포함된다. 특허 출원 대리인 일련 번호 제62/012,273호 및 제14/738,877호에서는, 프로젝팅된 광이 깊이 감지에 사용되는 가상 현실 및 증강 현실 시스템들의 다양한 실시예들이 설명된다. 본원에서는, 프로젝팅된 광 깊이 감지 시스템들 및 깊이 감지를 위한 광 센서들의 추가의 실시예들이 설명된다.
[0002] 본 개시내용은 깊이 감지 시스템들 및 방법들에 관한 것이다.
[0003] 깊이 감지는 객체의 표면 상의 "POI"(point of interest)와"3D"(three dimensional) 공간 내의 알려진 지점(예를 들어, 센서) 간의 거리의 결정이다. 깊이 감지는 또한, 표면 상의 복수의 POI들의 각각의 거리들을 결정하는 것이 그 표면의 텍스처(texture)를 결정하기 때문에, 텍스처 감지로 알려져 있다. 깊이 또는 텍스처 감지는 혼합 현실 시스템들을 포함한 다수의 컴퓨터 비전 시스템들에 대해 유용하다.
[0004] 현대 컴퓨팅 및 디스플레이 기술들은 소위 "가상 현실" 또는 "증강 현실" 경험들을 위한 혼합 현실 시스템들의 개발을 용이하게 했으며, 여기서 디지털적으로 재생된 이미지들 또는 이미지들의 부분들은, 그들이 실제인 것으로 보이거나, 실제로서 지각될 수 있는 방식으로 사용자에게 제시된다. 가상 현실(또는 "VR") 시나리오는 통상적으로 실제 실세계 시각 입력에 대한 투과성(transparency) 없는 디지털 또는 가상 이미지 정보의 프리젠테이션과 관련된다. 증강 현실(또는 "AR") 시나리오는 통상적으로 사용자 주위의 실제 세계의 시각화에 대한 증강(즉, 다른 실제 실세계 시각적 입력에 대한 투과성)으로서 디지털 또는 가상 이미지 정보의 프리젠테이션과 관련된다. 따라서, AR 시나리오들은 다른 실제 실세계 시각적 입력에 대한 투과성을 동반한 디지털 또는 가상 이미지 정보의 프리젠테이션과 관련된다.
[0005] 다양한 광학 시스템들은 혼합 현실(VR 및 AR) 시나리오들을 디스플레이하기 위해 다양한 깊이들의 이미지를 생성한다. 이러한 광학 시스템들 중 일부는 미국 특허 출원 번호 제14/738,877호(대리인 문서 번호 ML.20019.00)에 설명되며, 그의 내용들은 앞서 인용에 의해 본원에 포함되었다. 혼합 현실 시나리오들을 디스플레이하기 위한 다른 이러한 광학 시스템들은 2014년 11월 27일자로 출원된 미국 특허 출원 일련 번호 제14/555,585호(대리인 문서 번호 ML.20011.00)에 설명되며, 그리하여 그의 내용들은 마치 빠짐없이 기술된 것처럼 그 전체가 인용에 의해 명시적으로 그리고 완전히 포함된다.
[0006] AR 시나리오들은 종종 실세계 객체들에 대한 관계에서 가상 이미지 엘리먼트들의 프리젠테이션을 포함한다. 예를 들어, 도 1을 참조하면, 증강 현실 장면(scene)(100)이 도시되며, 여기서 AR 기술의 사용자는 배경에 있는 사람들, 나무들, 빌딩들, 및 콘크리트 플랫폼(104)을 피처링(featuring)하는 실세계 공원-형 세팅(102)을 본다. 이들 아이템들에 더하여, AR 기술의 사용자는 또한, 그가 실세계 플랫폼(104) 상에 서있는 로봇 동상(106), 및 호박벌의 의인화인 것으로 보여지는 날고 있는 만화-형 아바타 캐릭터(108)를 보는 것을 지각하는데, 이들 엘리먼트들(106, 108)은 실세계에 존재하지 않는다. 그럴듯한 또는 그런대로 괜찮은 AR 장면(100)을 제시하기 위해, 실세계 객체들(예를 들어, 플랫폼(104))의 깊이는 실세계 객체들과 관련하여 가상 객체들(예를 들어, 로봇 동상(106))을 제시하도록 결정되어야 한다.
[0007] 실세계 환경들의 부분들의 재현을 포함하는 VR 시나리오들은 또한 실세계 환경의 그 부분들의 깊이 및 텍스처의 결정으로부터 혜택을 받을 수 있다. 정확한 깊이 및 텍스처 정보는 VR 시나리오들을 보다 정확하게 할 것이다. 또한, AR 및 VR 둘 모두의 시나리오들은 (예를 들어, 분석 또는 송신을 위해) 실세계 환경들의 부분들을 캡처하기 위해 외향 카메라들 포함할 수 있다. 이러한 외향 카메라들을 포커싱하는 것은 실세계 환경의 그 부분들의 깊이의 결정에 의해 도움을 받을 수 있다.
[0008] 깊이 감지에 대한 하나의 접근법은 표면 상의 단일 POI의 (알려진 배향으로 알려진 거리만큼 분리되는) 2개의 이미지들의 광학 축들과, 각각의 이미지들 상의 POI 사이의 각각의 각도들을 측정하는 것을 포함한다. 그 후, 이미지 캡처 위치들 사이의 알려진 거리 및 측정된 각도들을 삼각측량함으로써 표면의 깊이가 결정된다. 이 접근법의 문제들은, (1) 제1 이미지에서(특히, 동종 표면 상의) POI 식별("식별 문제") 및 (2) 제2 이미지에서의 대응하는 POI의 식별("일치 문제")를 포함한다. 본원에서 설명된 시스템들 및 방법들은 이러한 난제들을 해결하도록 구성된다.
[0009] 본 발명의 실시예들은 하나 또는 그 초과의 사용자들에 대한 가상 현실 및/또는 증강 현실 상호작용을 용이하게 하기 위한 디바이스들, 시스템들 및 방법들에 관한 것이다.
[0010] 일 실시예에서, 깊이 감지 시스템은 표면으로부터의 광을 수신하기 위한 제1 및 제2 센서 픽셀들을 갖는 센서를 포함한다. 시스템은 또한, 제2 센서 픽셀로의 적외선의 투과를 방지하면서, 제1 센서 픽셀로의 전체 스펙트럼 광 및 제2 센서 픽셀로의 가시광의 투과를 허용하기 위한 필터를 포함한다. 시스템은, 표면의 깊이를 결정하기 위해 전체 스펙트럼 광 및 가시광을 분석하기 위한 프로세서를 더 포함한다. 필터는 센서와 표면 사이에 배치된다.
[0011] 하나 또는 그 초과의 실시예들에서, 센서는 제2 센서 픽셀을 포함하는 복수의 제2 센서 픽셀들을 가지며, 복수의 제2 센서 픽셀들 각각은 제1 센서 픽셀에 인접하고, 필터는, 복수의 제2 센서 픽셀들 각각으로의 적외선의 투과를 방지하면서, 복수의 제2 센서 픽셀들 각각으로의 가시광의 투과를 허용한다. 전체 스펙트럼 광 및 가시광을 분석하는 것은, 복수의 제2 센서 픽셀들에 대응하는 복수의 검출된 가시광 값들에 기초하여 제1 센서 픽셀에 대한 추정된 가시광 값을 계산하는 것을 포함할 수 있다. 추정된 가시광 값을 계산하는 것은, 복수의 검출된 가시광 값들을 평균화하는 것을 포함할 수 있다. 추정된 가시광 값을 계산하는 것은, 복수의 검출된 가시광 값들 상에서 에지 검출을 수행하는 것을 포함할 수 있다.
[0012] 하나 또는 그 초과의 실시예들에서, 센서는 제1 센서 픽셀을 포함하는 복수의 제1 센서 픽셀들을 가지며, 복수의 제1 센서 픽셀들 각각은 제1 센서 픽셀에 인접하고, 필터는, 복수의 제2 센서 픽셀들 각각으로의 적외선의 투과를 방지하면서, 복수의 제2 센서 픽셀들 각각으로의 가시광의 투과를 허용한다. 전체 스펙트럼 광 및 가시광을 분석하는 것은, 복수의 제1 센서 픽셀들 각각에 대한 복수의 추정된 가시광 값들을 계산하는 것; 및 복수의 추정된 가시광 값들 중 적어도 일부에 기초하여 제1 센서 픽셀에 대한 추정된 가시광 값을 계산하는 것을 포함할 수 있다.
[0013] 하나 또는 그 초과의 실시예들에서, 시스템은 또한, 표면을 향해 광을 프로젝팅하기 위한, 공간적으로 변조된 광 프로젝션 디바이스를 포함하며, 여기서 광은 표면으로부터 센서를 향해 반사된다. 전체 스펙트럼 광 및 가시광을 분석하는 것은, 표면의 적외선 이미지를 생성하는 것을 포함할 수 있다. 전체 스펙트럼 광 및 가시광을 분석하는 것은, 표면의 적외선 이미지에서 POI를 삼각측량하는 것을 포함할 수 있다.
[0014] 다른 실시예에서, 깊이 감지 시스템은, 표면을 향해 광을 프로젝팅하기 위한, 공간적으로 변조된 광 프로젝션 디바이스를 포함한다. 시스템은 또한, 표면으로부터 반사된 광을 수신하기 위한 센서를 포함한다. 시스템은, 광 프로젝션 디바이스의 공간 변조를 제어하고 센서로부터 광 정보를 수신하기 위한 액추에이터를 더 포함한다. 또한, 시스템은 표면의 깊이를 결정하기 위해 표면으로부터 반사된 광을 분석하기 위한 프로세서를 포함한다. 광은 약 700 nm 내지 약 1 mm의 파장을 갖는 적외선을 포함한다.
[0015] 하나 또는 그 초과의 실시예들에서, 광은 약 390 nm 내지 약 700 nm의 파장을 갖는 가시광을 포함한다. 액추에이터는 적외선 및 가시광을 포함하는 패턴을 형성하도록 광 프로젝션 디바이스의 공간 변조를 제어할 수 있다. 액추에이터는 표면 상에 2개의 교차하는 선분들을 형성하도록 광 프로젝션 디바이스의 공간 변조를 제어할 수 있다. 액추에이터는 표면 상에 2개의 교차하는 선분들을 포함하는 정적 패턴을 형성하도록 광 프로젝션 디바이스의 공간 변조를 제어할 수 있다. 액추에이터는 표면 상에 2개의 교차하는 선분들을 포함하는 동적 패턴을 형성하도록 광 프로젝션 디바이스의 공간 변조를 제어할 수 있다. 액추에이터는 표면 상에 복수의 개별의 교차하는 선분들을 포함하는 패턴을 형성하도록 광 프로젝션 디바이스의 공간 변조를 제어할 수 있다.
[0016] 하나 또는 그 초과의 실시예들에서, 광 프로젝션 디바이스의 공간 변조를 제어하는 것은, 광 프로젝션 디바이스의 적어도 일부의 이동을 제어하는 것을 포함한다. 광 프로젝션 디바이스의 공간 변조를 제어하는 것은, 광 프로젝션 디바이스에 의한 광의 프로젝션을 제어하는 것을 포함할 수 있다. 공간적으로 변조된 광 프로젝션 디바이스는 섬유 스캐닝 디스플레이(fiber scanned display)를 포함할 수 있다. 공간적으로 변조된 광 프로젝션 디바이스는 레이저 광 소스를 포함할 수 있다. 공간적으로 변조된 광 프로젝션 디바이스는 레이저 스캐닝 디스플레이를 포함할 수 있다.
[0017] 또 다른 실시예에서, 깊이 감지 시스템은 표면으로부터의 광을 수신하기 위한 제1 및 제2 센서 픽셀들을 갖는 센서를 포함한다. 시스템은 또한, 제1 센서 픽셀로의 가시광의 제1 비율 및 적외선의 제2 비율 및 제2 센서 픽셀로의 가시광의 제3 비율 및 적외선의 제4 비율의 투과를 허용하기 위한 필터를 포함한다. 가시광의 제1 비율 및 적외선의 제2 비율은 제1 센서 픽셀에서 제1 감지된 값을 발생시킨다. 가시광의 제3 비율 및 적외선의 제4 비율은 제2 센서 픽셀에서 제2 감지된 값을 발생시킨다. 시스템은, 표면의 깊이를 결정하기 위해 제1 감지된 값 및 제2 감지된 값을 분석하기 위한 프로세서를 더 포함한다. 필터는 센서와 표면 사이에 배치된다.
[0018] 하나 또는 그 초과의 실시예들에서, 제1 감지된 값 및 제2 감지된 값을 분석하는 것은, 표면의 적외선 이미지를 생성하는 것을 포함한다. 제1 감지된 값 및 제2 감지된 값을 분석하는 것은, 표면의 적외선 이미지에서 POI를 삼각측량하는 것을 포함할 수 있다.
[0019] 본 발명의 부가적인 그리고 다른 목적들, 특징들 및 이점들은 상세한 설명, 도면들 및 청구항들에서 설명된다.
[0020] 도면들은 본 발명의 다양한 실시예들의 설계 및 활용을 예시한다. 도면들은 실척대로 그려진 것이 아니며 유사한 구조들 또는 기능들의 엘리먼트들은 도면들 전체에 걸쳐 유사한 참조 번호들로 표현된다는 것이 주의되어야 한다. 본 발명의 다양한 실시예들의 위에서 언급된 그리고 다른 이점들 및 목적들이 어떻게 달성되는지를 더 잘 인지하기 위해, 위에서 간략하게 설명한 본 발명들의 보다 상세한 설명이 첨부 도면들에서 예시되는 본 발명의 특정 실시예들을 참조하여 제공될 것이다. 이들 도면들이 단지 본 발명의 통상적인 실시예들을 도시할 뿐이며, 이에 따라 본 발명의 범위를 제한하는 것으로 간주되지 않는다는 것을 조건으로, 본 발명은 첨부된 도면들의 사용을 통해 부가적인 특이성 및 세부사항에 관해 설명되고 기술될 것이다.
[0021] 도 1은 일 실시예에 따른 웨어러블 AR 사용자 디바이스를 통한 증강 현실(AR)의 사용자 뷰를 도시한다.
[0022] 도 2 내지 도 4는 다양한 종래 기술의 깊이 감지 시스템들에 의해 프로젝팅된 라인 세그먼트들 및 패턴들의 상세도들이고; 도 3 및 4는 또한 다양한 종래 기술의 깊이 감지 시스템들의 스캔 영역들을 도시한다.
[0023] 도 5 내지 도 9는 다양한 실시예들에 따라 깊이 감지 시스템들에 의해 프로젝팅된 라인 세그먼트들 및 패턴들의 상세도들이다.
[0024] 도 10은 일 실시예에 따른 깊이 감지 시스템의 상세 개략도이다.
[0025] 도 11은 사용 중인, 도 10에 도시된 깊이 감지 시스템의 상세 사시도이다.
[0026] 도 12는 다른 실시예에 따른 깊이 감지 시스템의 상세 개략도이다.
[0027] 도 13은 종래 기술의 깊이 감지 시스템의 상세한 개략도이다.
[0028] 도 14 및 도 15는 2개의 실시예들에 따른 깊이 감지 시스템들의 상세 개략도들이다.
[0029] 도 16 내지 도 18은 다양한 실시예들에 따른 깊이 감지 시스템들을 위한 광 센서의 상세 개략도들이다.
[0030] 도 19 및 도 21은 2개의 실시예들에 따른 이미지 프로세싱 방법들을 도시하는 흐름도이다.
[0031] 도 20은 다른 실시예에 따른 깊이 감지 시스템들을 위한 광 센서의 상세 개략도이다.
[0032] 본 발명의 다양한 실시예들은 단일 실시예 또는 다수의 실시예들에서 깊이 감지 시스템들을 위한 시스템들, 방법들 및 제조 물품들에 관한 것이다. 본 발명의 다른 목적들, 특징들 및 이점들은 상세한 설명, 도면들 및 청구항들에서 설명된다.
[0033] 당업자들이 본 발명을 실시하는 것을 가능하게 하도록 본 발명의 예시적인 예들로서 제공되는 도면들을 참조하여 다양한 실시예들이 이제 상세하게 설명될 것이다. 특히, 이하의 도면들 및 예들은 본 발명의 범위를 제한하려는 것이 아니다. 본 발명의 소정의 엘리먼트들이 알려진 컴포넌트들(또는 방법들 또는 프로세스들)을 사용하여 부분적으로 또는 완전히 구현될 수 있는 경우, 본 발명의 이해에 필수적인 그러한 알려진 컴포넌트들(또는 방법들 또는 프로세스들)의 그러한 부분들만이 설명될 것이며, 그러한 알려진 컴포넌트들(또는 방법들 또는 프로세스들)의 다른 부분들의 상세한 설명들은 본 발명을 모호하게 하지 않도록 생략될 것이다. 또한, 다양한 실시예들은 예시로 본원에서 언급된 컴포넌트들에 대한 현재 및 미래의 알려진 등가물들을 포함한다.
[0034] 깊이 감지 시스템들은 혼합 현실 시스템들과 독립적으로 구현될 수 있지만, 이하의 다수의 실시예들은 단지 예시 목적들을 위해 AR 시스템들과 관련하여 설명된다.
문제점 및 솔루션의 요약
[0035] 표면의 깊이(즉, 3D 공간 내의 알려진 지점과 표면 상의 지점 사이의 거리)를 광학적으로 추정하거나 감지하기 위한 다양한 방법들이 있다. 깊이 감지 방법들은 수동 및 능동의 2개의 주(primary) 모드들로 분류될 수 있다. 수동 시스템들은 표면에 의해 반사되는 시스템들 외부의 광 소스들(예를 들어, 천장 조명(overhead light)들 또는 태양)로부터의 주변 광을 검출한다. 능동 시스템들은 광을 표면에 프로젝팅하고 표면에 의해 반사된 프로젝팅된 광을 검출한다.
[0036] 수동 시스템들은 통상적으로 알려진 거리 만큼 분리되어 있는 상이한 위치들에서 캡처된 2개의 이미지들을 사용하여 깊이를 결정한다. 일부 수동 시스템들은 (양안 구성에서와 같이) 다수의 카메라들을 사용하여 2개의 이미지들을 캡처한다. 다른 수동 시스템들은 상이한 시간들 및 위치들에서 동일한 센서를 사용하여 2개의 이미지를 캡처한다. 2개의 이미지들이 상이한 위치들에서 캡처된 후, 시스템은 하나의 이미지의 POI를 다른 이미지의 대응하는 POI와 매칭시키도록 이미지들을 프로세싱한다. 그 후, 시스템들은, 시스템에 알려져 있는, 2개의 이미지들의 광학 축들과 표면 상의 단일 POI 사이의 각도들 및 2개의 이미지 캡처 위치들 간의 거리를 삼각측량하여 2개의 이미지 캡처 위치들에 대한 3D 공간 내의 POI의 위치를 결정한다.
[0037] 수동 시스템들은 3D 공간 내의 POI의 위치를 결정할 수 있지만, 하나의 이미지에서 식별되고("식별 문제") 다른 이미지에서 그의 상대방(counterpart)들과 매칭("일치 문제")될 수 있는 적합한 POI들의 부족들을 포함하는 다수의 장애 모드들을 가질 수 있다. 이 장애 모드의 예는, (1) 하나의 이미지에서 벽 상의 한 지점을 식별하고, (2) 다른 이미지의 대응하는 지점을 식별하는 것이 매우 어려운, 텅 빈 흰색 벽을 이미징하는 것이다. 유사하게, 어두운 방의 경우, 단순히, 객체들을 명확하게 볼 수 있는 주변 광이 충분하지 않고, 이에 따라 이들을 식별하고 매칭시키는 것은 또한 매우 어렵다.
[0038] 일부 능동 시스템들은 패터닝된 또는 텍스처링된 광(예를 들어, 만화경으로부터의 광)을 프로젝팅함으로써 이러한 2개의 문제들(즉, 광의 부족 및 구별 가능한 특징들의 부족)을 해결한다. 이러한 시스템들은 표면을 조명하고 동종 표면(예를 들어, 흰색 벽) 위에 패턴을 프로젝팅한다. (동시성 캡처, 또는 정적인 프로젝션을 사용하는 2개의 카메라들에 의해) 정적인 조명 패턴을 가진 능동 시스템들을 사용하여 2개의 이미지들을 캡처할 때, 하나의 이미지로부터의 표면 상의 패턴들(또는 그의 부분들)을 다른 것에 매칭시키는 것이 훨씬 간단하다. 따라서, 3D 공간 내의 POI들의 위치를 삼각측량하는 것이 상응하게 더 간단하다. 실제로, 엄격한 기계적 공차들을 갖는 진보된 시스템을 사용하여, 단일 카메라에 의해 캡처된 단일 이미지가 POI들의 위치를 결정하는데 사용될 수 있는데, 그 이유는 3D 공간 내의 POI의 위치는 관찰된 리플렉션(reflection)의 각도 및 카메라 및 광 프로젝터의 위치들을 삼각측량함으로써 계산될 수 있기 때문이다.
[0039] 그러나 능동 시스템들의 경우에도, 가시광의 사용은, 그것이 표면 근처의 사용자들 또는 다른 사람들에게 혼란을 주거나 혼란스럽게 할 수 있기 때문에 종종 차선책이다. 일부 능동 시스템들은 현대 원시(raw) 카메라 센서들이 검출할 수 있지만, 사람 눈이 볼 수 없는 "IR"(infrared) 광(예를 들어, 근적외선 광자들)을 프로젝팅함으로써 이 문제를 해결한다.
[0040] 적외선 능동 시스템들을 사용하더라도, 장면의 다른 패턴들은 깊이 감지를 간섭하거나 다른 깊이 감지 문제들을 야기할 수 있다. 다른 시스템들은 가시광이 센서(기본적으로 가시광 및 적외선 둘 모두를 감지할 수 있음)에 도달하지 않도록 센서 위에 배치된 파장 필터를 포함한다. 필터를 부가하는 것은, 통상적으로 시스템 (적외선) 프로젝터, 태양 및 몇몇 다른 적외선 소스들(예를 들어, 따뜻한 광을 내는(warm light) 전구들 및 리모콘들)에 의해서만 조명되는 적외선-뿐인 이미지(infrared-only image)의 검출을 초래한다.
[0041] 가장 정확하고(즉, 실제 값에 가장 근접하고) 및 정밀한(즉, 재현 가능한) 깊이 정보를 획득하기 위해, 초고분해능 센서가 바람직하다. 뷰잉 영역의 센서 픽셀들의 수가 많을수록 각각의 센서 픽셀의 각도 분해능이 감소하여, 사실상, 삼각측량 수학에 더 높은 정밀도의 각도 입력을 제공한다. 본 출원에서 사용된 바와 같이, "센서 픽셀"은 광 세기의 측정을 위한 센서 상의 구별 가능한 지점들을 포함(그러나 이에 제한되지 않음)한다.
[0042] 적외선 능동 시스템은 외향 카메라들을 포함하는 시스템들에서 가시광을 검출하는 센서들/센서 픽셀들 외에도, 적외선을 검출하는 센서들/센서 픽셀들을 필요로 한다. 이 접근법의 문제점은, (1) 하이브리드 적색/녹색/청색/적외선 센서들을 포함하는 시스템에서 가시광 분해능의 감소 및 (2) 별개의 가시광 및 적외선 센서들을 포함하는 시스템에서 좌표 등록을 포함한다. 본원에서 개시된 실시예들은 아래에서 설명되는 바와 같이, 증강된 깊이 감지를 갖는 개선된 이미지 센서를 사용함으로써 이들 및 다른 센서 문제들을 해결한다.
[0043] 부가적인 프로세싱 없이, POI에 대한 최대 각도 정밀도는 단일 센서 픽셀의 각도 분해능으로 달성된다. 그러나 이미지 프로세싱 알고리즘은 "서브픽셀 분해능"을 제공할 수 있다. 예를 들어, 시스템은 여러 센서 픽셀들의 코스에 걸쳐 일부 특징들(예를 들어, 책상의 코너 에지를 구성하는 라인들)을 관찰하고, 단일 센서 픽셀의 정밀도보다 높은 정밀도로 라인의 상관관계(equation)를 재구성할 수 있다.
[0044] 깊이 감지 방법들은 이들이 신호 프로세싱 방법들이기 때문에, 시스템들의 나이퀴스트 한계(Nyquist limit)들의 대상이다. 따라서, 신호를 재구성하기 위해 신호 주파수에 기초한 최소량의 샘플링 지점들(및 지점 밀도)이 필요하다. 따라서, 노이즈가 많은 신호들은 "더 단순한"(더 낮은 대역폭) 신호들보다 샘플링 및 재구성하기가 더 어렵다. 본원에서 개시된 실시예들은, 아래에서 설명되는 바와 같이, 프로젝팅된 광의 고주파수 노이즈를 감소시키기 위해 비-엘리어싱(non-aliasing) 패턴 프로젝터/생성기를 사용함으로써 나이퀴스트 한계 연관 문제들 및 다른 프로젝터 관련 문제들을 해결한다.
동적 비-엘리어싱 패턴 프로젝터/생성기
[0045] "FSP"(Fiber Scan Projector)들은 고주파수들로 광섬유 팁을 선택적으로 진동시킴으로써 광을 프로젝팅한다. 또한, FSP는 "FSD"(fiber scanned display), "FSD"(fiber scanning display), 스캐닝된 섬유 디스플레이들 및 스캐닝 섬유 디스플레이들로서 알려져 있다. FSP들은 인간의 관찰을 위한 디스플레이로서 동적 이미지를 프로젝팅할 수 있다. 이들의 극도로 작은 크기 및 낮은 잠재적인 전력 소비는 혼합 현실 시스템들과 같은 소정의 애플리케이션들에 대해 이상적이다. 예시적인 FSP들은 미국 특허 출원 일련 번호 제14/738,877호(대리인 문서 번호 ML.20019.00) 및 제14/555,585호(대리인 문서 번호 ML.20011.00)에 설명되며, 그의 내용들은 앞서 인용에 의해 본원에 포함되었다.
[0046] 본원에서 개시된 실시예들은, 통상적인 "패널" 유형 디스플레이(예를 들어, LCOS 또는 DLP)와는 대조적으로, 깊이 재구성에 사용하기 위해 FSP를 사용하여 텍스처링된, 패터닝된, 또는 구조화된 광을 프로젝팅하는 것을 설명한다. 기존의 능동 깊이 감지 시스템들의 대다수는 픽셀화된 패턴들(예를 들어, 정사각형들 또는 직사각형들)로 광을 프로젝팅하는 광자 소스들, 예컨대, LCOS 및 DLP를 사용한다. 이들 시스템들은 전체 프레임을 동시에 조명하며 프로젝팅된 이미지는 일괄적으로 프로젝팅되는 다수의 직선형(또는 고정된 형상) 디스플레이 픽셀들로 구성된다. 결과적으로, 이들 이미지들은 깨끗한 라인들 대신, 복수의 반복되는(일반적으로 직선형/ 정사각형) 형상들로 구성된다.
[0047] 도 2는 프로젝팅된 라인(200)의 불완전성들을 보여주기에 충분한 배율로 패널 유형 디스플레이에 의해 프로젝팅된 "라인"(200)을 도시한다. 이 배율에서, 프로젝팅된 라인(200)은 스텝(step)들의 세트를 형성하는 일련의 직각들로서 나타난다. 그러나, 더 낮은 배율들에서, 프로젝팅된 라인(200)은 관찰자에게 선형으로 나타난다. 직각들의 암(arm)들 각각은 선형의 일련의 디스플레이 픽셀들에 의해 형성된다.
[0048] 프로젝팅된 라인(200)의 불규칙성의 결과로서, 프로젝팅된 라인(200)을 검출하는 비슷한(또는 더 높은) 분해능의 센서는 프로젝팅된 패턴의 고주파수 노이즈를 관찰하기에 충분한 감도를 가질 것이며, 이는 이미지 재구성 노력들을 복잡하게 한다. 도 3은 프로젝터보다 낮은 분해능을 갖는 센서로부터의 정사각형-형상 스캔 영역들(202)이 겹쳐져 있는 도 2의 프로젝팅된 라인(200)을 도시한다. 도 3에 도시된 바와 같이, 프로젝팅된 라인(200)을 따른 스캔 영역들(202)은 프로젝팅된 라인(200)과 동일한 양을 포함하지 않는다. 따라서, 센서로부터의 신호는 매우 노이즈가 심하여, 엘리어싱, 즉 좁은 블랙 라인 대신에 넓은 그레이 라인을 발생시킨다.
[0049] 이 노이지 신호(noisy signal) 문제는 도 4에 도시된 바와 같이 2개의 프로젝팅된 라인들(200a, 200b)의 교차점(204)을 로케이팅하는 작업을 복잡하게 한다. 이 교차점(204)은 깊이 감지 시스템에 대한 POI일 수 있다. 그러나, 프로젝팅된 라인들(200a, 200b)의 고주파수 노이즈는 교차점(204)이 점(point) 대신에 선분이 되게 한다. 또한, 스캔 영역들(202)은 높은 정확도로 교차점(204)을 식별하기에 충분히 상세하게 라인들(200a, 200b)을 분해할 수 없다.
[0050] 기존 시스템들은 이 노이즈가 더 심한 신호를 서브-픽셀 단위(또는 심지어 픽셀 단위) 정밀도 매핑에 적합한 것으로 재구성하기 위해 부가적인 신호 프로세싱 알고리즘을 사용함으로써 또는 대응하는 센서보다 훨씬 높은 분해능을 갖는 프로젝터를 사용함으로써 이 문제를 해결한다.
[0051] 본원에서 개시된 실시예들은 이미지 재구성을 용이하게 하도록 더 고품질의 동적 패턴을 생성하기 위해 FSP를 사용하여 광을 프로젝팅하는 것을 설명한다. FSP들을 사용할 때, 광은 단일 주행 빔(예를 들어, 레이저)에 의해 프로젝팅된다. 빔은 비교적 높은 주파수들로 장면에 걸쳐 기계적으로 스캐닝된다. (패널 유형 디스플레이들과 같이) 장면의 실질적으로 모든 각각의 픽셀 상에 광을 프로젝팅하기 보다는, FSP들은 표면 상에 좁은 분산 각들을 갖는 빔 패턴들을 프로젝팅함으로써 광학적으로 구별되는 패턴들을 생성하여서, 프로젝팅된 광은 엘리어싱(예를 들어, 이미징 와핑(image warping) 및 재기스(jaggies)) 및 고-주파수 노이즈(이들 둘 모두는 재구성 노력들을 방해함)를 최소화한다.
[0052] 패널 유형 디스플레이들은 고정된 조명 패턴을 갖는 반면, FSP들은 동적이다. FSP의 유효 스캔 주파수는 (예를 들어,) 단지 200개의 별개의 X 및 Y 이동 경로들만을 허용할 수 있지만, 위상-오프셋, 조명 패턴 및 스캔 주파수가 변동될 수 있어, 극도로 높은 분해능 프로젝터를 요구함 없이, 명확한 비-엘리어싱 에지들, 교차점들, 및 이에 따른 쉽게 식별 가능한 POI들을 제공하는 동적인 패턴을 허용한다.
[0053] 예를 들어, 도 5는 FSP에 의해 프로젝팅된 패턴(300)을 도시한다. 패턴은 위상-오프셋된 사인파(302a, 302b)의 2개의 인스턴스들/패스(pass)들을 "끌어내도록(draw)" (예를 들어, 액추에이터로) FSB를 변조함으로써 형성된다. 따라서, 제1 및 제2 사인파들(302a, 302b)은 주기적으로 교차하여, 주기적인 교차점들(304)의 세트를 형성한다. FSP는 도 5에 도시된 패턴(300)을 형성하도록 조밀한 빔 광 소스(예를 들어, 레이저)로부터의 광을 프로젝팅할 수 있다. 따라서, 광으로부터의 신호는 최소한의 고주파수 노이즈 및 무시할만한 엘리어싱을 갖는다. 교차점들(304)은 특히 바람직한 POI들을 형성하는데, 그 이유는, 교차점들은, 광이 확산됨에 따라 직경이 증가하는 점들(점의 중심의 추정을 요구함)보다 이미지 분석에 의해 더 정확하고 정밀하게 식별 가능하기 때문이다. 개별 교차점들을 형성하는 다른 FSP 패턴은 리사주(Lissajous) 패턴이다.
[0054] 도 6은 FSP에 의해 프로젝팅된 다른 패턴(300')을 도시한다. 도 6에 도시된 패턴(300')은 도 5에 도시되고 위에서 설명된 패턴(300)과 유사하다. 실제로, 도 6에 도시된 패턴(300')은 도 5에 도시된 것과 정확히 동일한 제1 및 제2 사인파들(302a, 302b)을 형성하도록 FSP를 변조함으로써 형성된다. 그러나, FSP는 제1 및 제2 사인파들(302a, 302b)이 교차하여 교차점들(304)을 형성할 때만 FSP에서 광 소스를 활성화시킴으로써 추가로 변조된다. FSP로 이 패턴(300')을 프로젝팅하는 것은, (1) 보다 구별되고 식별 가능한 교차점들(304)(POI들) 및 (2) 광 소스를 비활성화하는 것으로부터의 감소된 시스템 에너지 사용을 발생시킨다.
[0055] 도 7은 FSP에 의해 프로젝팅된 또 다른 패턴(300")을 도시한다. 도 7에 도시된 패턴(300")은 도 6에 도시되고 위에서 설명된 패턴(300')과 거의 동일하다. 도 7에 도시된 제1 및 제2 사인파들(302a', 302b')은 도 6에 도시된 제1 및 제2 사인파들(302a, 302b)과 비교하여 (동일한 양만큼) 위상 시프트된다. 따라서, 도 7에 도시된 제1 및 제2 사인파들(302a', 302b')에 의해 형성된 교차점들(304')은 또한, 도 6에 도시된 제1 및 제2 사인파들(302a, 302b)에 의해 형성된 교차점들(304)과 비교하여 위상 시프트된다.
[0056] 교차점들(304)과 비교한 교차점들(304')의 변위가 도 8에 도시되며, 이는 (도 6으로부터의) 제1 및 제2 사인파들(302a, 302b) 및 교차점들(304)이 파선으로(in shadow) 도시되어 있는 도 7이다. 도 6에(그리고 도 8에서 파선으로) 도시된 패턴(300)과 도 7에(그리고 도 8에서 실선으로) 도시된 패턴(300") 사이에서 시간 순차적으로 스위칭하는 것은 교차점들(304/304')이 이동하는 것으로 나타나게 한다. 이 움직임은 더 구별되고 식별 가능한 교차점들 304/304'(POI들)의 동적 패턴을 발생시킨다.
[0057] 도 9는 FSP에 의해 프로젝팅된 다른 패턴(300''')을 도시한다. 도 9에 도시된 패턴(300''')은 도 6에 도시되고 위에서 설명된 패턴(300)과 유사하다. 도 9에 도시된 제1 및 제2 사인파들(302a", 302b")은 도 6에 도시된 제1 및 제2 사인파들(302a, 302b)과 비교하여 수정된다. 따라서, 도 9에 도시된 제1 및 제2 사인파들(302a", 302b")에 의해 형성된 교차점들(304")은 도 6에 도시된 제1 및 제2 사인파들(302a, 302b)에 의해 형성된 교차점들(304)과 비교하여 수정된 형상을 갖는다. 도 9의 교차점들(304")의 형상은 +들인 반면, 도 6의 교차점들(304)의 형상은 X들이다. 그러나, 도 6 및 도 9의 교차점들(304, 304")의 위치들은 동일하다. 따라서, 도 6에 도시된 패턴(300')과 도 9에 도시된 패턴(300''') 사이에서 시간 순차적으로 스위칭하는 것은, 교차점들(304/304")이 (X들과 +들 사이에서) 형상을 변화시키는 것으로 나타난다. 이 형상 변화는 더 구별되고 식별 가능한 교차점들 304/304"(POI들)의 동적 패턴을 발생시킨다.
[0058] 도 5 내지 도 9에 도시된 패턴들(300, 300', 300", 300''')은 패턴들(300, 300', 300", 300''')의 각각의 교차점들(304, 304', 304")(POI)에 대한 동일한 변화를 도시한다. 다른 실시예들에서, 교차점들(304, 304', 304")의 서브세트가 변할 수 있다(예를 들어, 포지션, 형상, 파장 등). 또 다른 실시예들에서, 교차점들(304, 304', 304")의 다양한 서브세트들이 상이한 변화들을 가질 수 있다. 예를 들어, 깊이 감지를 위해 사용되는 교차점(들)(304, 304', 304")만이 변할 수 있다. 다른 실시예들에서, 교차점들(304, 304', 304")의 수는 밀집으로부터 희박(sparse)으로 동적으로 변할 수 있다. 또 다른 실시예들에서, 광 소스(예를 들어, 레이저)는 패턴들(300, 300', 300", 300''')을 동적으로 변동시키도록 펄싱될 수 있다.
[0059] 도 10은 일 실시예에 따라 위에서 설명된 패턴들(300, 300', 300")을 프로젝팅할 수 있는 능동 깊이 감지 시스템(400)을 도시한다. 시스템(400)은 공간적으로 변조된 광 프로젝션 디바이스(402)(예를 들어, FSP), 2개의 광 센서들(404a, 404b)(예를 들어, 카메라들) 및 다른 컴포넌트들(402, 404a, 404b)에 동작 가능하게 커플링된 프로세서(406)를 포함한다. 공간적으로 변조된 광 프로젝션 디바이스(402)(예를 들어, FSP), 광 센서들(404a, 404b)(예를 들어, 카메라들) 및 프로세서(406)는 시스템(400)의 버스(도시되지 않음)에 의해 커플링될 수 있다. 대안적으로, 이들 컴포넌트들(402, 404a, 404b, 406) 중 일부 또는 전부는 네트워크(예를 들어, 무선 네트워크)에 의해 서로 커플링될 수 있다.
[0060] 도 11은 사용 중인, 도 10에 도시된 능동 깊이 감지 시스템(400)을 도시한다. 공간적으로 변조된 광 프로젝션 디바이스(402)는 패턴(408)(예를 들어, +)을 실질적으로 동종 표면(410)(예를 들어, 텅 빈 벽) 상에 프로젝팅하도록 변조된다. 패턴(408)은 광 프로젝션 디바이스(402)와 표면(410) 사이의 거리(Y)를 결정하기 위한 POI로서 사용될 수 있다. 광 프로젝션 디바이스(402)는 패턴(408)을 형성하도록 표면(410) 상에 광(412)을 프로젝팅한다. 반사 광(412', 412")이 제1 및 제2 광 센서들(404a, 404b)로부터 검출된다.
[0061] 시스템(400)은 패턴(408)이 제1 및 제2 광 센서들(404a, 404b)의 각각의 광학 축들(414a, 414b)로부터 변위되는 각도들(α, β)을 측정한다. 측정된 각도들(α, β) 및 광 프로젝션 디바이스(402)와 각각의 제1 및 제2 광 센서들(404a, 404b)을 분리하는 알려진 거리들(X1, X2) 중 하나를 사용하여, 시스템(400)은, 광 프로젝션 디바이스(402)와 표면(410) 간의 거리(Y)를 계산할 수 있다. 각도들(α, β)을 측정한 후, 시스템(400)은 더 정확하고 정밀하게 계산된 거리(Y)를 제공할 수 있다.
[0062] 도 12는 다른 실시예에 따른 능동 깊이 감지 시스템(400)을 도시한다. 도 12에 도시된 시스템(400)은 도 10 및 도 11에 도시된 것과 유사하다. 공간적으로 변조된 광 프로젝션 디바이스(402), 2개의 광 센서들(404a, 404b) 및 프로세서(406) 외에도, 도 12에 도시된 시스템(400)은 또한 광 프로젝션 디바이스(402)를 변조하기 위한 액추에이터(416)를 포함한다. 도 12에 도시된 시스템(400)의 프로세서(406)는 거기서 구동되는 패턴 설계자(418) 및 패턴 검출기(420)를 포함한다. 패턴 설계자(418)는 패턴들을 생성하고 생성된 패턴들을 특정하는 데이터를, 생성된 패턴들을 디스플레이하도록 광 프로젝션 디바이스(402)를 변조하는 액추에이터(416)에 전송한다. 패턴 검출기(420)는 제1 및 제2 광 센서들(404a, 404b)로부터 광학 데이터를 수신하고 수신된 광학 데이터로부터 패턴에 관한 정보를 추출한다.
[0063] 또한, FSP는 단순히 광 빔들에 대한 공간적으로 변조된 도관으로서 작용하기 때문에, 상이한 파장들을 갖는 광 빔들이 FSP를 따라 동시에 전달될 수 있다. 이는, 비가시 적외선뿐만 아니라 다양한 컬러들의 가시광이 투과되도록 허용한다. 다수의 광 빔들을 사용하는 것은 FSP가 가시적인 패턴을 갖는 적외선 패턴을 증강시키도록 허용하여, 보통, 유사한 파장에서 볼 수 없을 수 있는, 카메라 센서들 간의 일치(correspondence)를 허용한다. 이는 공통 좌표계로의 카메라 센서들의 등록을 도와서 부가적인 깊이 재구성 정보를 제공할 수 있다(하나의 센서로부터의 특징들이 다른 센서에 보완 정보를 제공하도록 돕는 것을 허용함). 이러한 시스템은 또한 목표, 포커싱에 사용하기 위한 구역, 경고 등을 표시하기 위한 보조 조명과 같은 다른 기능을 수행할 수 있다.
[0064] FSP를 포함한 능동 깊이 감지 시스템은 다음의 특성들을 갖는다. FSP들은 구별되고 동적인(즉, 시간에 따라 변동되는) 패턴들을 프로젝팅하여, 시간에 따른 깊이 결정을 위한 보완 또는 개선된 정보를 제공한다. 또한, FSP들은 포커싱된 영역으로의 에너지 방출을 맞춤화(tailor)할 수 있고, 그리하여 전력을 감소시키고 고주파수 노이즈를 극복하기 위해 주어진 영역에 전달되는 에너지를 증가시킨다. FSP들은 또한 최소한의 양의 고주파수 이미지 노이즈를 가지며, 그리하여 깊이 결정 계산들을 단순화한다. 또한, FSP들은 2개의 광 소스들(예를 들어, 적외선 및 비가시 광 소스들)로부터의 광을 동시에 프로젝팅할 수 있다.
[0065] 또한, 본원에서 설명된 능동 깊이 감지 시스템들은 FSP들을 포함하지만, 바람직한 시스템 특성들을 유지하면서, 다른 공간적으로 변조된 광 프로젝션 디바이스들이 능동 깊이 감지 시스템에서 또한 사용될 수 있다. 예를 들어, 능동 깊이 감지 시스템은 "MEMS"(micro-electro-mechanical system) 미러 스캐너 및 레이저 광 소스를 포함할 수 있다. FSP들을 포함한 시스템들과 마찬가지로, MEMS 미러 스캐너를 포함하는 시스템은 표면 위에 빔 패턴을 프로젝팅하고 스캔할 수 있다. 다른 실시예들에서, 시스템은 또한, 가변 가능하게-조명된 컴퓨터 생성 홀로그램의 일부를 형성하도록 패턴을 프로젝팅 및 스캔할 수 있다. 모든 공간적으로 변조된 광 프로젝션 디바이스들(예를 들어, FSP들 및 MEMS 미러 스캐너들)은 디스플레이 픽셀들 보다는, 광의 "빔들" 또는 "아크들(arcs)"을 프로젝팅하고 이러한 빔들의 경로 및 타이밍을 변동시키는 능력을 갖는다.
증강된 깊이 감지를 갖는 이미지 센서
[0066] 수동 및 능동 깊이 감지 시스템들 둘 모두는 표면으로부터 반사된 광을 검출하기 위한 적어도 하나의 센서(예를 들어, 카메라)를 포함한다. 위에서 설명된 바와 같이, 일부 깊이 감지 시스템들은 가시광(예를 들어, 주변 광)을 검출하는 반면, 다른 것들은 프로젝팅된 광 패턴들(예를 들어, 프로젝팅된 적외선)을 검출한다.
[0067] 기존의 깊이 감지 시스템들(수동 및 능동)은 통상적으로, 가시광 및 프로젝팅된 적외선을 검출하도록 2개의 카메라 센서들을 사용한다. 이 카메라 센서들은 각각 상이한 필터들과 연관되어서, 하나의 카메라 센서는 가시광(아마도, RGB 컬러 필터를 가짐)을 검출하고 다른 카메라 센서는 (가시광을 필터링함으로써) 적외선을 검출한다. 이 센서 어레인지먼트는, 가시광 센서(502) 및 적외선 센서(504)(둘 모두는 프로세서(506)에 동작 가능하게 커플링됨)를 포함하는 수동 깊이 감지 시스템(500)을 도시하는 도 13에 도시된다. 적외선 센서(504)는 적외선을 제외한 모든 광이 적외선 센서(504)에 도달하는 것을 방지하는 광 차단 필터(light cut filter)(508)를 포함한다. 가시광 및 적외선 센서들(502, 504)로부터의 데이터가 함께 사용될 수 있기 전에, 센서들(502, 504)의 좌표계들이 등록되어야 한다. 좌표계들의 등록은 특히, 깊이 감지 시스템(500)이 표면에 대해 이동할 때 어렵다.
[0068] 본원에서 개시된 실시예들은 깊이 감지 시스템들에서 사용하기 위한 하이브리드 가시광/전체 스펙트럼 광 센서를 설명한다. 본 출원에서 사용되는 바와 같은 "전체 스펙트럼 광(full spectrum light)"은 가시광 및 적외선(약 390 nm 내지 약 1 mm의 파장들)을 포함한다. 예를 들어, 도 14는 일 실시예에 따른 수동 깊이 감지 시스템(600)을 도시한다. 수동 깊이 감지 시스템(600)은 프로세서(604)에 동작 가능하게 커플링된 하이브리드 가시광/전체 스펙트럼 광 센서(602)를 포함한다. 가시광/전체 스펙트럼 광 센서(602)는 아래에서 상세히 설명되는 바와 같은 하이브리드 필터(606)를 포함한다. 하이브리드 필터(606)는 가시광만이 가시광/전체 스펙트럼 광 센서(602)의 일부 부분들(즉, 센서 픽셀들)에 도달하도록 허용할 뿐만 아니라, 전체 스펙트럼 광이 가시광/전체 스펙트럼 광 센서(602)의 다른 부분들(즉, 센서 픽셀들)에 도달하도록 허용한다.
[0069] 도 15는 다른 실시예에 따른 수동 깊이 감지 시스템(600)이다. 수동 깊이 감지 시스템(600)은 프로세서(604)에 동작 가능하게 커플링된 하이브리드 가시광/전체 스펙트럼 광 센서(602)를 포함한다. 가시광/전체 스펙트럼 광 센서(602)는 아래에서 상세히 설명되는 바와 같은 하이브리드 필터(606)를 포함한다. 프로세서(604)는 거기서 구동되는 이미지 프로세서(608)를 포함한다.
[0070] 도 16은 도 14 및 도 15에 도시된 것들과 같은 수동 깊이 감지 시스템(600)에서 사용하기 위한 하이브리드 가시광/전체 스펙트럼 광 센서(602)의 일부 및 그의 하이브리드 필터(606)를 개략적으로 도시한다. 도 16에 도시된 하이브리드 가시광/전체 스펙트럼 광 센서(602)의 부분은 5개의 센서 픽셀들(610)을 포함한다. 하부 센서 픽셀들(610)은, 이들이 각각 전체 스펙트럼 광, 즉 가시광(약 390 nm 내지 약 700 nm의 파장들) 및 적외선(약 700 nm 내지 약 1 mm의 파장들)을 검출할 수 있는 한 동일하다. 그러나, 일부 센서 픽셀들(610)에 도달하는 광은 광 소스(예를 들어, 반사 표면)와 센서(602) 사이에 배치된 필터(606)에 의해 수정된다.
[0071] 도 16에 도시된 바와 같이, 필터(606)는 대응하는 센서 픽셀들(610) 위에 배치된 서브-필터들 또는 "캡들"(F1 및 V1-V4)을 포함한다. 전체 스펙트럼 광("F-유형") 캡들은 전체 스펙트럼 광이 F-유형 캡 하부의 센서 픽셀(610)에 도달하도록 허용한다. 실제로, F-유형 캡들은 어떠한 필터링 능력도 전혀 갖지 않을 수 있다. 가시광("V-유형") 캡들은 가시광만이 V-유형 캡 하부의 센서 픽셀(610)에 도달하도록 허용한다. 센서 픽셀/캡(610F1)은 카디널 포지션(cardinal position)들에서 4개의 센서 픽셀들/캡들(610V1-610V4)에 의해 둘러싸여, 중앙에 센서 픽셀/캡(610F1)과 함께 "+" 부호를 형성한다. 따라서, 하이브리드 가시광/전체 스펙트럼 광 센서(602)는 전체 스펙트럼 광 센서 픽셀에 대한 카디널 포지션들에서 4개의 가시광("V-유형") 센서 픽셀들에 의해 둘러싸인 전체 스펙트럼 광("F-유형") 센서 픽셀을 포함한다. 하이브리드 가시광/전체 스펙트럼 광 센서(602)는 하나의 센서 내의 가시광 및 전체 스펙트럼 광 센서 픽셀들의 결합 및 이들 센서 픽셀들의 어레인지먼트로 인해 다른 센서들과 상이하다.
[0072] 도 16에 도시된 센서(602) 및 필터(606)는 십자-형상 구성으로 배열된 5개의 센서 픽셀들(610)을 포함하지만, 다른 실시예들은 상이한 수의 픽셀들 및/또는 상이한 형상들을 갖는 구성을 포함한다. 본원에서 설명된 센서 데이터 분석 방법들은 상이한 구성들을 갖는 센서들 및 필터들로부터의 데이터를 분석하도록 수정될 수 있다.
[0073] 도 17 및 도 18은 도 16에 도시된 하이브리드 가시광/전체 스펙트럼 광 센서(602)의 더 큰 부분들 및 그의 하이브리드 필터(606)를 개략적으로 도시한다. 도 17 및 도 18에 도시된 바와 같이, V-유형 및 F-유형 센서 픽셀들은 교번 패턴으로 배치되어서, 각각의 센서 픽셀(V-유형 또는 F-유형)에 대해, 모든 그의 4개의 카디널 이웃들이 보완적 유형을 갖는다.
[0074] 이러한 구성에서, P개의 총 센서 픽셀들(예를 들어, 640 × 480 = 307,200)을 갖는 하이브리드 가시광/전체 스펙트럼 광 센서(602)에 대해, 센서 픽셀들 중 절반은 V-유형일 것이고, 절반은 F-유형일 것이다. 각각의 유형의 센서 픽셀이 추가의 이미지 프로세싱 없이 독립적으로 고려될 때, 이 센서 픽셀 어레인지먼트는 센서 픽셀 유형 및 애플리케이션에 대한 감소된 유효 분해능을 초래한다. 이 문제를 보상하기 위해 전체 분해능 센서를 증가시키는 것은 전력 소비, 센서 크기 및 다른 시스템 비용들을 증가시킬 것이다.
[0075] 다양한 실시예들에 따른 하이브리드 가시광/전체 스펙트럼 광 센서(602)를 포함하는 깊이 감지 시스템(600)은 (도 15에 도시된 이미지 프로세서(608)를 사용한) 이미지 프로세싱에 의한 감소된 유효 분해능을 보상한다. 이들 방법들이 비슷한 크기의 별개의 가시광 또는 적외선 센서의 분해능의 100%를 복구하지 못할 수 있지만, 이들 방법들은 하이브리드 가시광/전체 스펙트럼 광 센서(602)의 실제 센서 픽셀 분해능으로부터 예상되는 것(예를 들어, 50% 가시광 센서 픽셀들 및 50% 전체 스펙트럼 센서 픽셀들)보다 사실상 더 높은 분해능을 복구할 수 있다. 하이브리드 가시광/전체 스펙트럼 광 센서들과 함께 사용하기 위한 이미지 프로세싱 방법들의 실시예들은 별개의 센서들의 분해능의 약 50% 내지 약 100%를 복구할 수 있다. 다른 실시예들은 분해능의 약 66% 내지 약 90%를 복구할 수 있다. 또 다른 실시예들은 분해능의 약 75%를 복구할 수 있다.
[0076] 깊이 감지 시스템(600)에서 사용되는 광은, 모든 센서 픽셀들(610)이 가시광을 검출하기 때문에 가시 스펙트럼에서 중첩되는 파장들을 포함한다. F-유형 센서 픽셀들(610F)은 또한 적외선을 검출한다. 도 16 내지 도 18에 도시된 실시예에서, 각각의 센서 픽셀(610)은 각각의 유형마다 4개씩 8개의 인접한 이웃들을 갖는다. 예를 들어, 도 17에 도시된 바와 같이, 610F1은 카디널 방향들에서 4개의 인접한 V-유형 센서 픽셀들(610V1-610V4)을 갖는다. 610F1은 또한 인터-카디널 방향들에서 4개의 인접한 F-유형 센서 픽셀들(610F2-610F5)을 갖는다.
[0077] 다음은 일 실시예에 따른 이미지 프로세싱 방법의 일반적인 설명이다. 모든 F-유형 센서 픽셀들(610F)의 F 값은 계산된 가시광 값("CV") 및 계산된 적외선 값("CI")의 2개의 값들로 구성되는 것으로 초기에 근사화될 수 있다. 제1 패스에서, F-유형 센서 픽셀(610F)에 인접한 V-유형 센서 픽셀들(610V)에 대한 측정된 가시광 값들("V")은 F-유형 센서 픽셀(610F)에 대한 제1 패스 CV를 추정하는 데 사용된다. 그 후, 제1 패스 CV는 F-유형 센서 픽셀(610F)에 대한 제1 패스 CI를 추정하는 데 사용된다. 제2 패스에서, 제1 패스 CI는 F-유형 센서 픽셀(610F)에 대한 제2 패스 CV를 (보다 정확하게) 추정하는 데 사용된다.
[0078] 실질적으로 동종이거나 잘-이해되는 CI들을 갖는 표면들에 대해, 제2 패스 CV는, V-유형 센서 픽셀들(610V) 단독으로부터 이용 가능하지 않은 정보를 제공하도록, F-유형 센서 픽셀(610F)에 대한 F로부터 제1 패스 CI를 감산함으로써 추정될 수 있다. 실질적으로 동종이거나 잘-이해되는 CI들을 갖는 표면들은 어떠한 부가적인 적외선 소스도 없고 시스템의 임의의 적외선 프로젝터가 디스에이블된 실내에서 발견될 수 있다. 유사하게, 실외 환경에서, 주위 태양광은 통상적으로 (표면의 적외선 반사율에 기초하여) 각각의 표면 상에서 대체로 분산된 조명을 제공하고, 이에 따라 각각의 표면에 대한 적외선 조명은 대체로 동종이거나 예측 가능하다.
[0079] (위에서 설명된 바와 같이) 변조된 적외선 프로젝터의 경우, 프로젝팅된 적외선 패턴에 관한 정보는 센서(602)에서 V-유형 센서 픽셀들(610V)의 수(예를 들어, P/2)보다 높은 가시광 이미지의 유효 분해능을 계산하는 데 사용될 수 있다. (위에서 설명된 바와 같이) 표면의 소정의 구역에서 동적으로 변경되는 프로젝팅된 적외선 패턴에 관한 정보는 또한, 증가된 유효 가시광 이미지 분해능을 계산하는 데 사용될 수 있다. 또한, 센서(602)는 적외선의 모든 소스들이 환경으로부터 제거될 때(예를 들어, 어떠한 적외선 소스들도 없는 실내) 전체 분해능 가시광 센서로서 사용될 수 있다.
[0080] 다양한 실시예들에 따른 다른 방법들은 추정된 CV 및 CI의 정확도를 증가시키기 위해 2번 초과의 패스들을 포함할 수 있다. 또 다른 실시예들은 F-유형 센서 픽셀(610F)에 대한 CV 및 CI를 추정하기 위해 계산된 값들 보단 측정된 다른 것을 사용한다. 예를 들어, 도 17에 도시된 하이브리드 가시광/전체 스펙트럼 광 센서(602)에 의해 취득된 데이터를 사용하여, 610F1의 CV 및 CI는 610V1-610V4의 V 외에도, 610F2-610F5의 CV 및 CI를 사용하여 추정될 수 있다. 도 18은 610F1이 610F1의 CV 및 CI의 추정을 위해 훨씬 더 많은 광학 데이터를 제공할 수 있는 훨씬 더 많은 F-유형 및 V-유형 센서 픽셀들에 의해 둘러싸인 것을 도시한다. 모든 F-유형 및 V-유형 센서 픽셀들을 사용하는 추정 방법들에서의 하나의 팩터는, 모든 F-유형 센서 픽셀들(610F)에 대한 F의 합이 적어도 모든 V-유형 센서 픽셀들(610V)에 대한 V의 합만큼은 (이보다 더 밝지 않은 경우) 밝아야 한다는 것이다.
[0081] 센서(602)에서 F-유형 센서 픽셀들(610F)의 CI를 계산하고, 어떠한 전용 적외선-뿐인 픽셀들도 갖지 않음에도, 추정된 적외선 뿐인 이미지를 생성하기 위해 유사한 프로세스들이 사용될 수 있다. 예를 들어, 도 19는 일 실시예에 따라 단일 하이브리드 가시광/전체 스펙트럼 광 센서(602)에 의해 취득된 광학 데이터로부터 별개의 가시광 및 적외선 이미지들을 생성하기 위한 이미지 프로세싱 방법(700)을 도시한다.
[0082] 단계(702)에서, 깊이 감지 시스템(600)은 표면으로부터 반사된 광을 수신한다. 하이브리드 가시광/전체 스펙트럼 광 센서(602)는 각각의 V-유형 센서 픽셀(610V)에서 가시광을 그리고 각각의 F-유형 센서 픽셀(610F)에서 전체 스펙트럼 광을 동시에 수신한다.
[0083] 단계(704)에서, 깊이 감지 시스템(600)은 픽셀(610V)에 의해 수신된 가시광에 기초하여 각각의 V-유형 센서 픽셀(610V)에 대한 가시광 값("V")을 결정한다. 단계(704)에서, 깊이 감지 시스템(600)은 또한, 픽셀(610V)에 의해 수신된 전체 스펙트럼 광에 기초하여 각각의 F-유형 센서 픽셀(610F)에 대한 전체 스펙트럼 광 값("F")을 결정한다.
[0084] 단계(706)에서, 깊이 감지 시스템(600)(예를 들어, 이미지 프로세서(608))은 각각의 F-유형 센서 픽셀(610F)에 대해 계산된 가시광 값("CV")을 계산한다. 이미지 프로세서(608)는 각각의 F-유형 센서 픽셀(610F)에 인접한 V-유형 센서 픽셀들(610V)에 대한 V를 사용하여 CV를 계산할 수 있다. 단순한 실시예에서, F-유형 센서 픽셀(610F)에 인접한 4개의 V-유형 센서 픽셀들(610V)의 V들은 CV를 생성하기 위해 평균화된다. 예를 들어, 도 16에 도시된 하이브리드 가시광/전체 스펙트럼 광 센서(602)에서, 610V1-610V4의 V들은 평균화되어 610F1에 대한 CV를 생성한다. 이 실시예는 동종 표면들(예를 들어, 흰 벽)에 대해 가장 정확하지만, 표면이 더 이종성이 됨에 따라 정확도가 떨어진다.
[0085] 다른 실시예에서, 에지들을 포함하는 비-동종 표면을 고려함으로써 더 정확한 CV를 결정하기 위해 에지 검출 및 그래디언트(gradient) 검출이 대향하는 이웃들 상에서 수행될 수 있다. 예를 들어, 도 16에 도시된 하이브리드 가시광/전체 스펙트럼 광 센서(602)에서, 에지 검출 및 그래디언트 검출은 610V1/610V3 및 610V2/610V4의 V들 상에서 수행될 수 있다. 큰 그래디언트가 610V1/610V3의 V들 사이에서 발견되는 경우, 이러한 V들에는 610F1에 대한 CV를 생성할 때 가중치가 덜 주어질 수 있다. 이 실시예는 이종성 표면들(예를 들어, 에지를 포함하는 코너)에 대해 더 정확하다.
[0086] 단계(708)에서, 깊이 감지 시스템(600)(예를 들어, 이미지 프로세서(608))은 각각의 F-유형 센서 픽셀(610F)에 대해 계산된 적외선 값("CI")을 계산한다. 이미지 프로세서(608)는 F-유형 센서 픽셀(610F)에 대한 CV를 사용하여 CI를 계산할 수 있다. 단순한 실시예에서, CI는 F-유형 센서 픽셀(610F)에 대한 F로부터 CV를 감산함으로써 계산된다.
[0087] 단계(710)에서, 깊이 감지 시스템(600)(예를 들어, 이미지 프로세서(608))은 V-유형 센서 픽셀들(610V)로부터의 V들 및 F-유형 센서 픽셀들(610f)에 대해 계산된 CV들을 사용하여 가시광 이미지를 생성한다. 단계(712)에서, 깊이 감지 시스템(600)(예를 들어, 이미지 프로세서(608))은 F-유형 센서 픽셀들(610F)에 대해 계산된 CI들을 사용하여 적외선 이미지를 생성한다. 가시광 이미지, 적외선 이미지 또는 둘 모두가 깊이 감지를 위해 사용될 수 있다.
[0088] 또한, 디모자이킹(demosaicing) 및/또는 에지 샤프닝(sharpening) 알고리즘은, 단계(704) 이전에 V-유형 센서 픽셀들(610V)의 가시광 값 및 F-유형 센서 픽셀들(610F)의 전체 스펙트럼 광 값을 분해하기 위해 이미지 데이터에 선택적으로 적용될 수 있다. 이들 광 값들(V, F)을 분해하는 것은 방법(700)의 정확도를 증가시킨다.
[0089] 본원에서 설명된 시스템(600)은, 동일한 물리적 센서(602) 상에서, P/2보다 높은 유효 분해능을 갖는 가시광 이미지 및 유사하게, 대략적으로 더 낮은 분해능의 적외선 이미지를 생성하기 위해 단일 하이브리드 가시광/전체 스펙트럼 광 센서(602)로부터의 광학 데이터를 사용한다. 따라서 가시광 및 적외선 이미지들을 생성하는 데 사용되는 광은 동일한 렌즈-스택을 통과할 것이고, 이에 따라 사소한 불완전성들이 가시광 및 적외선 이미지들 둘 모두에서 반영된다. 이러한 어레인지먼트는 기존 시스템들에 비해 2개의 추가의 이점들을 갖는다. 첫째, 가시광 및 적외선 이미지들은 각각의 이미지들의 초점에 대해 완벽한 6-DOF 일치를 제공하도록, 정확히 동일한 광학적 유리한 지점(vantage point)에서 취해질 것이다. 이는, 카메라들이 동일한 교정 타겟들을 검출할 수 없기 때문에, 상이한 파장 스펙트럼들 상에서 동작하는 별개의 카메라들을 포함하는 시스템들에서 특히 어려운 문제인 등록 및 교정의 필요성을 제거한다. 또한, 등록 및 교정은 이미지 데이터 상에서 수행된 임의의 후-스테이지 동작들의 서브-픽셀 정확도를 감소시키는 부가적인 에러 소스를 도입한다. 둘째, 정확히 동일한 센서가 사용되고, 이에 따라, 2개의 이미지들에 관한 노출 시간들이 완벽히 동기화된다. (센서, 표면 또는 둘 모두의) 상대적 모션에서 표면들의 이미지들에 대해, 가시광 및 적외선 이미지들은 기하학적으로 뿐만 아니라 시간적으로 (심지어 마이크로초 시간스케일로) 매칭시켜, 이미지의 보다 정밀하고 상세한 분석을 허용한다.
[0090] 도 20에 도시된 다른 실시예에서, 하이브리드 가시광/전체 스펙트럼 광 센서(802)는 A-유형 및 B-유형의 2개의 유형들의 센서 픽셀들(810)을 포함한다. A-유형 및 B-유형 센서 픽셀들(810A, 810B) 둘 모두는 가시광 및 적외선 둘 모두를 검출하지만, 비율들이 상이하다. 일 실시예에서, A-유형 센서 픽셀들(810A)은 픽셀(810A)에 충돌하는 가시광("pV_A")의 75% 및 적외선("pI_A")의 25%를 검출할 수 있다. 이 실시예에서, B-유형 센서 픽셀들(810B)은 픽셀(810A)에 충돌하는 가시광("pV_B")의 60% 및 적외선("pI_B")의 40%를 검출할 수 있다. 이 실시예에서 pV 및 pI 컴포넌트들은 총계가 100%가 되지만, 다른 실시예들에서, pV 및 pI 컴포넌트들은 총계가 100%보다 많거나 적게 될 수 있다. 예를 들어, 도 16 내지 도 18에 도시되고 위에서 설명된 하이브리드 가시광/전체 스펙트럼 광 센서(602)에서 F-유형(전체 스펙트럼) 센서 픽셀들(610F)은 pV = 100% 및 pI = 100%를 갖는다.
[0091] 이러한 센서들(802)에서, 각각의 센서 픽셀(810)은 검출된 가시광 및 적외선에 대응하는 감지된 값("SV")을 갖는다. 특정 A-유형 센서 픽셀(810A)에 대한 SV("SV_A")는 2개의 기여성분(contributor)들(즉, 센서 픽셀(810A)에 의해 검출된 각각의 광의 유형의 비율에 의해 수정되는 바와 같은 총 가시광 값("V") 및 총 적외선 값("I"))로 구성되기 때문에, 우리는 SV_A =(V * pV_A) +(I * pI_A)임을 안다.
[0092] 각각의 A-유형 센서 픽셀(810A)은 또한, 인접 센서 픽셀들(810)(예를 들어, 카디널 이웃들)로부터의 광학 데이터를 사용하여 계산된 추정된 값("EV_A")을 갖는다. 예를 들어, 810A1는 810B1-810B4에 대한 SV로부터 계산된 EV를 갖는다. 즉, 810B1-810B4에 대해 EV_A = f((V * pV_B) +(I * pI_B))이다. 함수(f)는 평균화만큼 단순할 수 있다. 다른 실시예들에서, 함수(f)는 위에서 설명된 바와 같이, 에지 검출 및 그래디언트 검출을 포함할 수 있다.
[0093] SV_A는 센서 픽셀(810A)에 의해 결정되고 EV_A가 추정된다. pV_A, pI_A, pV_B, pI_B는 센서(802)의 설계로부터 알려진다. 이러한 결정되고, 추정되고 알려진 값들을 통해, 2개의 수식들 SV_A =(V * pV_A) +(I * pI_A) 및 EV_A = f((V * pV_B) +(I * pI_B))이 각각의 A-유형 센서 픽셀(810A)에 대한 V 및 I를 위해 풀어질 수 있다. 유사한 프로세스가 각각의 B-유형 센서 픽셀(810A)에 대한 V 및 I를 결정하는 데 사용될 수 있다.
[0094] 도 21은 일 실시예에 따라 단일 하이브리드 가시광/전체 스펙트럼 광 센서(802)에 의해 취득된 광학 데이터로부터 별개의 가시광 및 적외선 이미지들을 생성하기 위한 이미지 프로세싱 방법(900)을 도시한다.
[0095] 단계(902)에서, 깊이 감지 시스템은 표면으로부터 반사된 광을 수신한다. 하이브리드 가시광/전체 스펙트럼 광 센서(802)는 각각의 센서 픽셀(810)(A-유형 및 B-유형 둘 모두)에서 전체 스펙트럼 광을 동시에 수신하며, 검출되는 가시광 및 적외선의 퍼센티지는 각각의 A-유형 및 B-유형 센서 픽셀(810)의 pV 및 pI에 의존한다.
[0096] 단계(904)에서, 깊이 감지 시스템은 각각의 센서 픽셀(810)에 대한 감지된 광 값("SV")을 결정한다.
[0097] 단계(906)에서, 깊이 감지 시스템은 각각의 센서 픽셀(810)에 대한 총 가시광 값("V") 및 총 적외선 값("I")을 계산한다. 예를 들어, 깊이 감지 시스템은, 위에서 설명된 바와 같이, 알려진 pV 및 pI 값들 및 검출된 SV 및 추정된 EV 값들을 이용하여, 위에서 설명된 수식들의 쌍(즉, SV_A =(V * pV_A) +(I * pI_A) 및 EV_A = f((V * pV_B) +(I * pI_B)))을 동시에 풀음으로써 각각의 센서 픽셀에 대한 V 및 I를 계산할 수 있다.
[0098] 단계(908)에서, 깊이 감지 시스템은 센서 픽셀들(810)에 대해 계산된 V들을 사용하여 가시광 이미지를 생성한다. 단계(910)에서, 깊이 감지 시스템은 센서 픽셀들(810)에 대해 계산된 I들을 사용하여 적외선 이미지를 생성한다. 가시광 이미지, 적외선 이미지 또는 둘 모두가 깊이 감지를 위해 사용될 수 있다.
[0099] 도 21에 도시된 방법(900)은 먼저 가시광 이미지를 생성하고 그 후 적외선 이미지를 생성하지만, 다른 실시예들에서, 깊이 감지 시스템은 먼저 적외선 이미지를 생성하고 그 후 가시광 이미지를 생성할 수 있다. 또 다른 실시예들에서, 깊이 감지 시스템은 다른 이미지를 생성하지 않고 가시광 이미지 또는 적외선 이미지를 생성할 수 있다.
[00100] 증강된 깊이 감지를 갖는 동적 비-엘리어싱 패턴 프로젝터 및 이미지 센서는 일부 실시예들에서 하나의 시스템의 부분으로서 설명되지만, 프로젝터 및 센서는 독립적이고, 각각은 다른 것 없이 설명된 이점들 모두를 갖고 기능할 수 있다.
[00101] 위에 참조된 센서들이 깊이 감지로서 설명되었지만, 실시예들에 따른 센서들은 카메라 포커싱 시스템들과 같은 다른 가시광/적외선 시스템들에서 사용될 수 있다. 위에서 설명된 깊이 감지 시스템들은 하이브리드 센서들로부터 혜택을 받을 수 있는 다양한 광학 시스템들의 예들로서 제공된다. 따라서, 본원에서 설명된 광학 시스템들의 사용은 개시된 깊이 감지 시스템들로 제한되지 않으며 오히려 임의의 광학 시스템에 적용 가능하다.
[00102] 본 발명의 다양한 예시적인 실시예들이 본원에서 설명된다. 비-제한적인 의미로 이들 예들에 대한 참조가 행해진다. 그 예들은, 본 발명의 더 넓게 적용 가능한 양상들을 예시하기 위해 제공된다. 다양한 변화들이 설명된 발명에 대해 행해질 수 있으며, 등가물들이 본 발명의 실제 사상 및 범위를 벗어나지 않으면서 대체될 수 있다. 부가적으로, 다수의 수정들은, 특정 상황, 재료, 재료의 조성, 프로세스, 프로세스 동작(들) 또는 단계(들)를 본 발명의 목적(들), 사상 또는 범위에 적응시키도록 행해질 수 있다. 추가로, 본원에서 설명되고 예시된 개별 변동들 각각은, 본 발명들의 사상 또는 범위를 벗어나지 않으면서 다른 여러 개의 실시예들 중 임의의 실시예의 특징들로부터 쉽게 분리될 수 있거나 이들과 결합될 수 있는 이산 컴포넌트들 및 특징들을 갖는다는 것이 당업자들에 의해 인지될 것이다. 그러한 모든 수정들은, 본 개시내용과 연관된 청구항들의 범위 내에 있는 것으로 의도된다.
[00103] 본 발명은, 본 발명의 디바이스들을 사용하여 수행될 수 있는 방법들을 포함한다. 방법들은, 그러한 적절한 디바이스를 제공하는 동작을 포함할 수 있다. 그러한 제공은 최종 사용자에 의해 수행될 수 있다. 즉, “제공하는” 동작은 단지, 최종 사용자가 본 방법에서 필수적인 디바이스를 제공하도록 획득, 액세스, 접근, 포지셔닝, 셋-업, 활성화, 파워-업 또는 그렇지 않으면 동작하는 것을 요구한다. 본원에서 인용된 방법들은, 논리적으로 가능한 임의의 순서의 인용된 이벤트들 뿐만 아니라 인용된 순서의 이벤트들에서 수행될 수 있다.
[00104] 본 발명의 예시적인 양상들은, 재료 선택 및 제조에 대한 세부사항들과 함께 위에서 기술되었다. 본 발명의 다른 세부사항들에 대해, 이들은, 위에서-참조된 특허들 및 공개공보들과 관련하여 인지될 뿐만 아니라 당업자들에 의해 일반적으로 알려지거나 인지될 수 있다. 이들은 공통적으로 또는 논리적으로 이용되는 바와 같은 부가적인 동작들의 관점들에서 본 발명의 방법-기반 양상들에 대해 동일하게 적용될 수 있다.
[00105] 부가적으로, 본 발명이 다양한 특징들을 선택적으로 포함하는 여러 개의 예들을 참조하여 설명되었지만, 본 발명은, 본 발명의 각각의 변동에 대해 고려된 바와 같이 설명되거나 표시된 것으로 제한되지 않을 것이다. 다양한 변화들이 설명된 발명에 대해 행해질 수 있으며, (본원에서 인용되었는지 또는 일부 간략화를 위해 포함되지 않았는지 여부에 관계없이) 등가물들이 본 발명의 실제 사상 및 범위를 벗어나지 않으면서 대체될 수 있다. 부가적으로, 다양한 값들이 제공되는 경우, 그 범위의 상한과 하한 사이의 모든 각각의 개재 값 및 그 언급된 범위 내의 임의의 다른 언급된 또는 개재 값이 본 발명 내에 포함되는 것으로 해석된다.
[00106] 또한, 설명된 본 발명의 변동들의 임의의 선택적인 특징이 본원에 설명된 특징들 중 임의의 하나 또는 그 초과에 독립적으로 또는 그에 결합하여 기술되고 청구될 수 있다는 것이 고려된다. 단수 아이템에 대한 참조는, 복수의 동일한 아이템들이 존재하는 가능성을 포함한다. 보다 구체적으로, 본원 및 본원에 연관된 청구항들에서 사용된 바와 같이, 단수 형태들은, 명확하게 달리 언급되지 않으면 복수의 지시 대상들을 포함한다. 즉, 단수들의 사용은 본 개시내용과 연관된 청구항들뿐 아니라 위의 설명의 청구대상 아이템 중 "적어도 하나"를 허용한다. 이 청구항들이 임의의 선택적인 엘리먼트를 배제하도록 작성될 수 있다는 것에 추가로 주의한다. 따라서, 이런 서술은 청구항 엘리먼트들의 나열과 관련하여 "오로지", "오직" 등 같은 그런 배타적인 용어의 사용, 또는 "부정적" 제한의 사용을 위한 선행 기초로서 역할을 하도록 의도된다.
[00107] 그런 배타적 용어의 사용 없이, 본 개시내용과 연관된 청구항들에서 "포함하는" 이라는 용어는, 주어진 수의 엘리먼트들이 그런 청구항들에 열거되는지 여부에 무관하게 임의의 부가적인 엘리먼트의 포함을 허용할 수 있거나, 또는 특징의 부가는 그 청구항들에 기술된 엘리먼트의 성질을 변환하는 것으로 간주될 수 있다. 본원에 구체적으로 정의된 바를 제외하고, 본원에 사용된 모든 기술적 및 과학적 용어들은 청구항 유효성을 유지하면서 가능한 한 일반적으로 이해되는 의미로 넓게 제공되어야 한다.
[00108] 본 발명의 범위는 제공된 예들 및/또는 본원 명세서로 제한되는 것이 아니라, 오히려 본 개시내용과 연관된 청구항 문언의 범위에 의해서만 제한된다.
[00109] 위의 명세서에서, 본 발명은 본 발명의 특정 실시예들을 참조하여 설명되었다. 그러나, 본 발명의 더 넓은 사상 및 범위를 벗어나지 않으면서 다양한 수정들 및 변경들이 본 발명에 행해질 수 있다는 것은 명백할 것이다. 예를 들어, 위에서-설명된 프로세스 흐름들은, 프로세스 동작들의 특정한 순서를 참조하여 설명된다. 그러나, 설명된 프로세스 동작들 대부분의 순서는 본 발명의 범위 또는 동작에 영향을 주지 않으면서 변경될 수 있다. 따라서, 명세서 및 도면들은 제한적인 의미보다는 예시적인 의미로 간주될 것이다.

Claims (25)

  1. 깊이 감지 시스템으로서,
    표면으로부터 광을 수신하기 위한 제1 센서 픽셀 및 제2 센서 픽셀을 갖는 센서;
    상기 제2 센서 픽셀로의 적외선의 투과를 방지하면서, 상기 제1 센서 픽셀로의 전체 스펙트럼 광 및 상기 제2 센서 픽셀로의 가시광의 투과를 허용하기 위한 필터; 및
    상기 표면의 깊이를 결정하기 위해 상기 전체 스펙트럼 광 및 상기 가시광을 분석하기 위한 프로세서를 포함하고,
    상기 필터는 상기 센서와 상기 표면 사이에 배치되는,
    깊이 감지 시스템.
  2. 제1항에 있어서,
    상기 센서는 상기 제2 센서 픽셀을 포함하는 복수의 제2 센서 픽셀들을 갖고,
    상기 복수의 제2 센서 픽셀들 각각은 상기 제1 센서 픽셀에 인접하고,
    상기 필터는, 상기 복수의 제2 센서 픽셀들 각각으로의 적외선의 투과를 방지하면서, 상기 복수의 제2 센서 픽셀들 각각으로의 가시광의 투과를 허용하는,
    깊이 감지 시스템.
  3. 제2항에 있어서,
    상기 전체 스펙트럼 광 및 상기 가시광을 분석하는 것은, 상기 복수의 제2 센서 픽셀들에 대응하는 복수의 검출된 가시광 값들에 기초하여 상기 제1 센서 픽셀에 대한 추정된 가시광 값을 계산하는 것을 포함하는,
    깊이 감지 시스템.
  4. 제3항에 있어서,
    상기 추정된 가시광 값을 계산하는 것은, 상기 복수의 검출된 가시광 값들을 평균화하는 것을 포함하는,
    깊이 감지 시스템.
  5. 제3항에 있어서,
    상기 추정된 가시광 값을 계산하는 것은, 상기 복수의 검출된 가시광 값들 상에서 에지 검출을 수행하는 것을 포함하는,
    깊이 감지 시스템.
  6. 제2항에 있어서,
    상기 센서는 상기 제1 센서 픽셀을 포함하는 복수의 제1 센서 픽셀들을 갖고,
    상기 복수의 제1 센서 픽셀들 각각은 상기 제1 센서 픽셀에 인접하고,
    상기 필터는, 상기 복수의 제2 센서 픽셀들 각각으로의 적외선의 투과를 방지하면서, 상기 복수의 제2 센서 픽셀들 각각으로의 가시광의 투과를 허용하는,
    깊이 감지 시스템.
  7. 제6항에 있어서,
    상기 전체 스펙트럼 광 및 상기 가시광을 분석하는 것은,
    상기 복수의 제1 센서 픽셀들 각각에 대한 복수의 추정된 가시광 값들을 계산하는 것; 및
    상기 복수의 추정된 가시광 값들 중 적어도 일부에 기초하여 상기 제1 센서 픽셀에 대한 추정된 가시광 값을 계산하는 것을 포함하는,
    깊이 감지 시스템.
  8. 제1항에 있어서,
    상기 표면을 향해 광을 프로젝팅하기 위한, 공간적으로 변조된 광 프로젝션 디바이스를 더 포함하고,
    상기 광은 상기 표면으로부터 상기 센서를 향해 반사되는,
    깊이 감지 시스템.
  9. 제1항에 있어서,
    상기 전체 스펙트럼 광 및 상기 가시광을 분석하는 것은, 상기 표면의 적외선 이미지를 생성하는 것을 포함하는,
    깊이 감지 시스템.
  10. 제9항에 있어서,
    상기 전체 스펙트럼 광 및 상기 가시광을 분석하는 것은, 상기 표면의 적외선 이미지에서 POI를 삼각측량하는 것을 포함하는,
    깊이 감지 시스템.
  11. 깊이 감지 시스템으로서,
    표면을 향해 광을 프로젝팅하기 위한, 공간적으로 변조된 광 프로젝션 디바이스;
    상기 표면으로부터 반사된 광을 수신하기 위한 센서;
    상기 광 프로젝션 디바이스의 공간 변조를 제어하고 상기 센서로부터 광 정보를 수신하기 위한 액추에이터; 및
    상기 표면의 깊이를 결정하기 위해, 상기 표면으로부터 반사된 광을 분석하기 위한 프로세서를 포함하고,
    상기 광은 약 700 nm 내지 약 1 mm의 파장을 갖는 적외선을 포함하는,
    깊이 감지 시스템.
  12. 제11항에 있어서,
    상기 광은 약 390 nm 내지 약 700 nm의 파장을 갖는 가시광을 포함하는,
    깊이 감지 시스템.
  13. 제12항에 있어서,
    상기 액추에이터는 상기 적외선 및 상기 가시광을 포함하는 패턴을 형성하도록 상기 광 프로젝션 디바이스의 공간 변조를 제어하는,
    깊이 감지 시스템.
  14. 제11항에 있어서,
    상기 액추에이터는 상기 표면 상에 2개의 교차하는 선분(line segment)들을 형성하도록 상기 광 프로젝션 디바이스의 공간 변조를 제어하는,
    깊이 감지 시스템.
  15. 제14항에 있어서,
    상기 액추에이터는 상기 표면 상에 2개의 교차하는 선분들을 포함하는 정적 패턴을 형성하도록 상기 광 프로젝션 디바이스의 공간 변조를 제어하는,
    깊이 감지 시스템.
  16. 제14항에 있어서,
    상기 액추에이터는 상기 표면 상에 2개의 교차하는 선분들을 포함하는 동적 패턴을 형성하도록 상기 광 프로젝션 디바이스의 공간 변조를 제어하는,
    깊이 감지 시스템.
  17. 제14항에 있어서,
    상기 액추에이터는 상기 표면 상에 복수의 개별의 교차하는 선분들을 포함하는 패턴을 형성하도록 상기 광 프로젝션 디바이스의 공간 변조를 제어하는,
    깊이 감지 시스템.
  18. 제11항에 있어서,
    상기 광 프로젝션 디바이스의 공간 변조를 제어하는 것은, 상기 광 프로젝션 디바이스의 적어도 일부의 이동을 제어하는 것을 포함하는,
    깊이 감지 시스템.
  19. 제18항에 있어서,
    상기 광 프로젝션 디바이스의 공간 변조를 제어하는 것은, 상기 광 프로젝션 디바이스에 의한 광의 프로젝션을 제어하는 것을 포함하는,
    깊이 감지 시스템.
  20. 제11항에 있어서,
    상기 공간적으로 변조된 광 프로젝션 디바이스는 섬유 스캐닝 디스플레이(fiber scanned display)를 포함하는,
    깊이 감지 시스템.
  21. 제11항에 있어서,
    상기 공간적으로 변조된 광 프로젝션 디바이스는 레이저 광 소스를 포함하는,
    깊이 감지 시스템.
  22. 제11항에 있어서,
    상기 공간적으로 변조된 광 프로젝션 디바이스는 레이저 스캐닝 디스플레이를 포함하는,
    깊이 감지 시스템.
  23. 깊이 감지 시스템으로서,
    표면으로부터 광을 수신하기 위한 제1 센서 픽셀 및 제2 센서 픽셀을 갖는 센서;
    상기 제1 센서 픽셀로의 가시광의 제1 비율 및 적외선의 제2 비율 및 상기 제2 센서 픽셀로의 가시광의 제3 비율 및 적외선의 제4 비율의 투과를 허용하기 위한 필터 ― 상기 가시광의 제1 비율 및 상기 적외선의 제2 비율은 상기 제1 센서 픽셀에서 제1 감지된 값을 발생시키고, 상기 가시광의 제3 비율 및 상기 적외선의 제4 비율은 상기 제2 센서 픽셀에서 제2 감지된 값을 발생시킴 ― ; 및
    상기 표면의 깊이를 결정하기 위해 상기 제1 감지된 값 및 제2 감지된 값을 분석하기 위한 프로세서를 포함하고,
    상기 필터는 상기 센서와 상기 표면 사이에 배치되는,
    깊이 감지 시스템.
  24. 제23항에 있어서,
    상기 제1 감지된 값 및 제2 감지된 값을 분석하는 것은 상기 표면의 적외선 이미지를 생성하는 것을 포함하는,
    깊이 감지 시스템.
  25. 제24항에 있어서,
    상기 제1 감지된 값 및 제2 감지된 값을 분석하는 것은 상기 표면의 적외선 이미지에서 POI를 삼각측량하는 것을 포함하는,
    깊이 감지 시스템.
KR1020187028216A 2016-03-01 2017-02-28 깊이 감지 시스템들 및 방법들 KR20180118189A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662301847P 2016-03-01 2016-03-01
US62/301,847 2016-03-01
PCT/US2017/020030 WO2017151671A1 (en) 2016-03-01 2017-02-28 Depth sensing systems and methods

Publications (1)

Publication Number Publication Date
KR20180118189A true KR20180118189A (ko) 2018-10-30

Family

ID=59724237

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187028216A KR20180118189A (ko) 2016-03-01 2017-02-28 깊이 감지 시스템들 및 방법들

Country Status (10)

Country Link
US (3) US10565717B2 (ko)
EP (2) EP3423784B1 (ko)
JP (3) JP6695440B2 (ko)
KR (1) KR20180118189A (ko)
CN (2) CN108779978B (ko)
AU (2) AU2017227599A1 (ko)
CA (1) CA3014766A1 (ko)
IL (3) IL288771B2 (ko)
NZ (2) NZ745309A (ko)
WO (1) WO2017151671A1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10565717B2 (en) 2016-03-01 2020-02-18 Magic Leap, Inc. Depth sensing systems and methods
WO2019054204A1 (ja) * 2017-09-14 2019-03-21 ソニー株式会社 画像処理装置および方法
CN111566705B (zh) * 2017-12-29 2023-07-21 上海联影医疗科技股份有限公司 一种确定医学成像中的感兴趣区域的***和方法
WO2019127385A1 (en) 2017-12-29 2019-07-04 Shenzhen United Imaging Healthcare Co., Ltd. Systems and methods for patient positioning
US11176694B2 (en) * 2018-10-19 2021-11-16 Samsung Electronics Co., Ltd Method and apparatus for active depth sensing and calibration method thereof
TWI720602B (zh) * 2019-08-27 2021-03-01 國立中央大學 重建物體表面的方法與光學系統
CN112532848A (zh) * 2020-12-16 2021-03-19 歌尔光学科技有限公司 一种摄像机

Family Cites Families (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5621529A (en) * 1995-04-05 1997-04-15 Intelligent Automation Systems, Inc. Apparatus and method for projecting laser pattern with reduced speckle noise
IL127534A (en) * 1996-06-13 2001-08-26 Leuven K U Res & Dev Method and system for acquiring a three-dimensional shape description
JPH10253330A (ja) * 1997-03-06 1998-09-25 Toshiba Corp 表面形状測定装置
US6563105B2 (en) * 1999-06-08 2003-05-13 University Of Washington Image acquisition with depth enhancement
JP2001194114A (ja) * 2000-01-14 2001-07-19 Sony Corp 画像処理装置および画像処理方法、並びにプログラム提供媒体
US7061628B2 (en) * 2001-06-27 2006-06-13 Southwest Research Institute Non-contact apparatus and method for measuring surface profile
JP4035978B2 (ja) * 2001-10-05 2008-01-23 コニカミノルタホールディングス株式会社 ３次元形状モデルの評価方法および生成方法並びに装置
JP2004126416A (ja) * 2002-10-07 2004-04-22 Fuji Photo Film Co Ltd カメラ
US20070057946A1 (en) * 2003-07-24 2007-03-15 Dan Albeck Method and system for the three-dimensional surface reconstruction of an object
WO2008130906A1 (en) 2007-04-17 2008-10-30 Mikos, Ltd. System and method for using three dimensional infrared imaging to provide psychological profiles of individuals
US8757812B2 (en) * 2008-05-19 2014-06-24 University of Washington UW TechTransfer—Invention Licensing Scanning laser projection display devices and methods for projecting one or more images onto a surface with a light-scanning optical fiber
EP4336447A1 (en) * 2008-05-20 2024-03-13 FotoNation Limited Capturing and processing of images using monolithic camera array with heterogeneous imagers
JP5874116B2 (ja) * 2009-07-30 2016-03-02 国立研究開発法人産業技術総合研究所 画像撮影装置および画像撮影方法
US8723118B2 (en) * 2009-10-01 2014-05-13 Microsoft Corporation Imager for constructing color and depth images
KR20110040402A (ko) * 2009-10-14 2011-04-20 삼성전자주식회사 필터 어레이, 이를 포함하는 이미지 센서, 및 신호 보간 방법
KR101648201B1 (ko) * 2009-11-04 2016-08-12 삼성전자주식회사 영상 센서 및 이의 제조 방법.
GB0921461D0 (en) 2009-12-08 2010-01-20 Qinetiq Ltd Range based sensing
US8456521B2 (en) 2009-12-14 2013-06-04 Berliner Glas Kgaa Herbert Kubatz Gmbh & Co. Triangulation camera device and triangulation imaging method
JP2011199798A (ja) * 2010-03-24 2011-10-06 Sony Corp 物理情報取得装置、固体撮像装置、物理情報取得方法
MX2012011600A (es) 2010-04-09 2012-11-30 Univ Michigan Biomarcadores para inhibidores de mdm2 para su uso en el tratamiento de enfermedad.
WO2011135848A1 (ja) * 2010-04-28 2011-11-03 パナソニック株式会社 走査型画像表示装置
EP2583312A2 (en) * 2010-06-18 2013-04-24 Sionyx, Inc. High speed photosensitive devices and associated methods
KR101680762B1 (ko) * 2010-10-29 2016-11-29 삼성전자주식회사 3ｄ 카메라용 빔스플리터 및 상기 빔스플리터를 채용한 3차원 영상 획득 장치
KR101739880B1 (ko) * 2010-12-01 2017-05-26 삼성전자주식회사 컬러 필터 어레이, 이를 포함하는 이미지 센서, 및 이를 포함하는 이미지 처리 장치
KR101861765B1 (ko) * 2011-03-03 2018-05-29 삼성전자주식회사 마이크로 렌즈를 포함하는 깊이 픽셀 및 상기 깊이 픽셀을 포함하는 깊이 센서
KR20120105169A (ko) * 2011-03-15 2012-09-25 삼성전자주식회사 복수의 거리 픽셀들을 포함하는 3차원 이미지 센서의 구동 방법
JP5761750B2 (ja) * 2011-07-19 2015-08-12 国立研究開発法人産業技術総合研究所 画像処理方法および装置
US9248457B2 (en) 2011-07-29 2016-02-02 Homax Products, Inc. Systems and methods for dispensing texture material using dual flow adjustment
CN102663725B (zh) 2012-03-05 2014-07-16 西北工业大学 基于线特征和控制点的可见光和sar图像配准方法
JP5958837B2 (ja) * 2012-05-28 2016-08-02 パナソニックＩｐマネジメント株式会社 奥行き推定撮像装置
CN104541127B (zh) * 2012-07-30 2017-07-04 独立行政法人产业技术综合研究所 图像处理***以及图像处理方法
EP3869797B1 (en) * 2012-08-21 2023-07-19 Adeia Imaging LLC Method for depth detection in images captured using array cameras
US10014335B2 (en) * 2012-09-14 2018-07-03 Panasonic Intellectual Property Management Co., Ltd. Solid-state imaging device and camera module
JP5971050B2 (ja) * 2012-09-18 2016-08-17 富士通株式会社 形状計測装置及び形状計測方法
US9041914B2 (en) * 2013-03-15 2015-05-26 Faro Technologies, Inc. Three-dimensional coordinate scanner and method of operation
US9646384B2 (en) * 2013-09-11 2017-05-09 Google Technology Holdings LLC 3D feature descriptors with camera pose information
US8917327B1 (en) * 2013-10-04 2014-12-23 icClarity, Inc. Method to use array sensors to measure multiple types of data at full resolution of the sensor
KR102493498B1 (ko) 2013-11-27 2023-01-27 매직 립, 인코포레이티드 가상 및 증강 현실 시스템들 및 방법들
US10051211B2 (en) * 2013-12-05 2018-08-14 Omnivision Technologies, Inc. Image sensors for capturing both visible light images and infrared light images, and associated systems and methods
US9392262B2 (en) * 2014-03-07 2016-07-12 Aquifi, Inc. System and method for 3D reconstruction using multiple multi-channel cameras
US10051209B2 (en) * 2014-04-09 2018-08-14 Omnivision Technologies, Inc. Combined visible and non-visible projection system
US9325973B1 (en) * 2014-07-08 2016-04-26 Aquifi, Inc. Dynamically reconfigurable optical pattern generator module useable with a system to rapidly reconstruct three-dimensional data
JP6794981B2 (ja) * 2015-03-17 2020-12-02 ソニー株式会社 情報処理装置および方法
US9694498B2 (en) * 2015-03-30 2017-07-04 X Development Llc Imager for detecting visual light and projected patterns
US10066933B2 (en) * 2015-05-04 2018-09-04 Facebook, Inc. Camera depth mapping using structured light patterns
CN105049829B (zh) * 2015-07-10 2018-12-25 上海图漾信息科技有限公司 滤光片、图像传感器、成像装置以及三维成像***
US10503265B2 (en) * 2015-09-08 2019-12-10 Microvision, Inc. Mixed-mode depth detection
US10453185B2 (en) * 2015-11-12 2019-10-22 Aquifi, Inc. System and method for high dynamic range depth capture using multiple cameras
JP2017112169A (ja) * 2015-12-15 2017-06-22 ソニー株式会社 イメージセンサ、撮像システム及びイメージセンサの製造方法
US10565717B2 (en) 2016-03-01 2020-02-18 Magic Leap, Inc. Depth sensing systems and methods
US10616519B2 (en) * 2016-12-20 2020-04-07 Microsoft Technology Licensing, Llc Global shutter pixel structures with shared transfer gates
JP7418181B2 (ja) * 2018-11-06 2024-01-19 ミヨシ油脂株式会社 分散剤とそれを用いた分散液

Also Published As

Publication number Publication date
US20210183087A1 (en) 2021-06-17
US10964039B2 (en) 2021-03-30
JP6972224B2 (ja) 2021-11-24
IL261149B (en) 2021-04-29
JP6695440B2 (ja) 2020-05-20
EP3902249A1 (en) 2021-10-27
WO2017151671A1 (en) 2017-09-08
IL288771A (en) 2022-02-01
US10565717B2 (en) 2020-02-18
IL281676B (en) 2022-01-01
JP2020144136A (ja) 2020-09-10
CN108779978B (zh) 2020-12-11
NZ785500A (en) 2023-03-31
JP2019512678A (ja) 2019-05-16
EP3423784A1 (en) 2019-01-09
CN108779978A (zh) 2018-11-09
CN112399028A (zh) 2021-02-23
CA3014766A1 (en) 2017-09-08
US20170256069A1 (en) 2017-09-07
NZ745309A (en) 2023-03-31
JP7270702B2 (ja) 2023-05-10
US20200143553A1 (en) 2020-05-07
IL281676A (en) 2021-05-31
EP3423784B1 (en) 2021-07-28
IL288771B1 (en) 2023-05-01
AU2021266266A1 (en) 2021-12-09
EP3423784A4 (en) 2019-01-09
IL288771B2 (en) 2023-09-01
AU2017227599A1 (en) 2018-08-30
JP2022009902A (ja) 2022-01-14
US11475583B2 (en) 2022-10-18
IL261149A (en) 2018-10-31

Similar Documents

Publication Publication Date Title
JP7270702B2 (ja) 深度感知システムおよび方法
US10401143B2 (en) Method for optically measuring three-dimensional coordinates and controlling a three-dimensional measuring device
US10088296B2 (en) Method for optically measuring three-dimensional coordinates and calibration of a three-dimensional measuring device
EP3018903B1 (en) Method and system for projector calibration
CN106550228B (zh) 获取三维场景的深度图的设备
US10262431B2 (en) Three-dimensional measurement device
CN107430324B (zh) 具有不可见光通道的数字光投影仪
US11640673B2 (en) Method and system for measuring an object by means of stereoscopy
Kitajima et al. Simultaneous projection and positioning of laser projector pixels
JP2005195335A (ja) ３次元画像撮影装置および方法
JP6963295B2 (ja) ３次元情報取得装置
US11350077B2 (en) Handheld three dimensional scanner with an autoaperture
JP2011075336A (ja) ３次元形状計測装置、３次元形状計測方法
GB2413910A (en) Determining depth information from change in size of a projected pattern with varying depth

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal