JP2022009902A - 深度感知システムおよび方法 - Google Patents
深度感知システムおよび方法 Download PDFInfo
- Publication number
- JP2022009902A JP2022009902A JP2021179296A JP2021179296A JP2022009902A JP 2022009902 A JP2022009902 A JP 2022009902A JP 2021179296 A JP2021179296 A JP 2021179296A JP 2021179296 A JP2021179296 A JP 2021179296A JP 2022009902 A JP2022009902 A JP 2022009902A
- Authority
- JP
- Japan
- Prior art keywords
- light
- projection device
- sensor
- pattern
- light projection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title abstract description 36
- 230000003287 optical effect Effects 0.000 claims description 54
- 239000000835 fiber Substances 0.000 claims description 9
- 230000008859 change Effects 0.000 claims description 7
- 230000033001 locomotion Effects 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 2
- 230000010363 phase shift Effects 0.000 claims description 2
- 230000004913 activation Effects 0.000 claims 1
- 238000001228 spectrum Methods 0.000 abstract description 49
- 230000005540 biological transmission Effects 0.000 abstract description 4
- 230000008569 process Effects 0.000 description 10
- 230000008901 benefit Effects 0.000 description 7
- 239000003795 chemical substances by application Substances 0.000 description 7
- 238000003672 processing method Methods 0.000 description 7
- 230000003190 augmentative effect Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 230000003595 spectral effect Effects 0.000 description 6
- 238000003708 edge detection Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000005286 illumination Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 241000256837 Apidae Species 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000002730 additional effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000033458 reproduction Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000001429 visible spectrum Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- 230000002747 voluntary effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
- H04N25/705—Pixels for depth measurement, e.g. RGBZ
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/10—Beam splitting or combining systems
- G02B27/1006—Beam splitting or combining systems for splitting or combining different wavelengths
- G02B27/1013—Beam splitting or combining systems for splitting or combining different wavelengths for colour or multispectral image sensors, e.g. splitting an image into monochromatic image components on respective sensors
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B5/00—Optical elements other than lenses
- G02B5/20—Filters
- G02B5/208—Filters for use with infrared or ultraviolet radiation, e.g. for separating visible light from infrared and/or ultraviolet radiation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/14603—Special geometry or disposition of pixel-elements, address-lines or gate-electrodes
- H01L27/14605—Structural or functional details relating to the position of the pixel elements, e.g. smaller pixel elements in the center of the imager compared to pixel elements at the periphery
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/1462—Coatings
- H01L27/14621—Colour filter arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/702—SSIS architectures characterised by non-identical, non-equidistant or non-planar pixel layout
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
- H04N5/2226—Determination of depth image, e.g. for foreground/background separation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Power Engineering (AREA)
- Optics & Photonics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Electromagnetism (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Computer Hardware Design (AREA)
- Condensed Matter Physics & Semiconductors (AREA)
- Health & Medical Sciences (AREA)
- Toxicology (AREA)
- Human Computer Interaction (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
- Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
- Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
Abstract
【解決手段】深度感知システムは、光を表面から受信するための第1および第2のセンサピクセルを有する、センサを含む。本システムはまた、赤外線光を第2のセンサピクセルに伝送することを防止しながら、フルスペクトル光を第1のセンサピクセルに、可視光を第2のセンサピクセルに伝送することを可能にするためのフィルタを含む。本システムはさらに、フルスペクトル光および可視光を分析し、表面の深度を判定するためのプロセッサを含む。フィルタは、センサと表面との間に配置される。
【選択図】なし
Description
本願は、米国仮出願第62/301,847号,出願日2016年3月1日、代理人管理番号ML.30066.00、発明の名称“DEPTH SENSING SYSTEMS AND METHODS”に対する優先権を主張するものである。本願は、米国仮特許出願第62/012,273号,出願日2014年6月14日(代理人管理番号ML.30019.00)および米国特許出願第14/738,877号、出願日2013年6月13日(代理人管理番号ML.20019.00)に関連している。上記特許出願の内容は、完全に記載されているかのように、それらの全体が参照により本明細書中に明示的かつ完全に援用される。特許出願第62/012,273号および第14/738,877号に記載されているのは、仮想現実および拡張現実システムの実施形態であり、そこでは、投影された光が深度感知において用いられる。本明細書中に記載されているのは、投影光深度感知システムおよび深度感知のための光センサのさらなる実施形態である。
本発明は、例えば、以下を提供する。
(項目1)
深度感知システムであって、
光を表面から受信する第1および第2のセンサピクセルを有するセンサと、
赤外線光を前記第2のセンサピクセルに伝送することを防止しながら、フルスペクトル光を前記第1のセンサピクセルに伝送し、可視光を前記第2のセンサピクセルに伝送することを可能にするフィルタと、
前記フルスペクトル光および前記可視光を分析し、前記表面の深度を判定するプロセッサと
を備え、
前記フィルタは、前記センサと前記表面との間に配置される、システム。
(項目2)
前記センサは、前記第2のセンサピクセルを含む複数の第2のセンサピクセルを有し、
前記複数の第2のセンサピクセルのそれぞれは、前記第1のセンサピクセルに隣接し、
前記フィルタは、赤外線光を前記複数の第2のセンサピクセルのそれぞれに伝送することを防止しながら、可視光を前記複数の第2のセンサピクセルのそれぞれに伝送することを可能にする、項目1に記載のシステム。
(項目3)
前記フルスペクトル光および前記可視光を分析することは、前記複数の第2のセンサピクセルに対応する複数の検出された可視光値に基づいて、前記第1のセンサピクセルに関して推定される可視光値を計算することを含む、項目2に記載のシステム。
(項目4)
前記推定される可視光値を計算することは、前記複数の検出された可視光値を平均化することを含む、項目3に記載のシステム。
(項目5)
前記推定される可視光値を計算することは、縁検出を前記複数の検出された可視光値に行うことを含む、項目3に記載のシステム。
(項目6)
前記センサは、前記第1のセンサピクセルを含む複数の第1のセンサピクセルを有し、前記複数の第1のセンサピクセルのそれぞれは、前記第1のセンサピクセルに隣接し、
前記フィルタは、赤外線光を前記複数の第2のセンサピクセルのそれぞれに伝送することを防止しながら、可視光を前記複数の第2のセンサピクセルのそれぞれに伝送することを可能にする、項目2に記載のシステム。
(項目7)
前記フルスペクトル光および前記可視光を分析することは、
前記複数の第1のセンサピクセルの各々に対し、複数の推定される可視光値を計算することと、
前記複数の推定される可視光値の少なくともいくつかに基づいて、前記第1のセンサピクセルに関して推定される可視光値を計算することと
を含む、項目6に記載のシステム。
(項目8)
前記光を前記表面に向かって投影する空間変調光投影デバイスをさらに備え、前記光は、前記表面から前記センサに向かって反射される、項目1に記載のシステム。
(項目9)
前記フルスペクトル光および前記可視光を分析することは、前記表面の赤外線光画像を生成することを含む、項目1に記載のシステム。
(項目10)
前記フルスペクトル光および前記可視光を分析することは、前記表面の赤外線光画像内のPOIを三角測量することを含む、項目9に記載のシステム。
(項目11)
深度感知システムであって、
光を表面に向かって投影する空間変調光投影デバイスと、
前記表面から反射された光を受信するセンサと、
前記光投影デバイスの空間変調を制御し、光情報を前記センサから受信するアクチュエータと、
前記表面から反射された光を分析し、前記表面の深度を判定するプロセッサと
を備え、
前記光は、波長約700nm~約1mmを有する赤外線光を含む、システム。
(項目12)
前記光は、波長約390nm~約700nmを有する可視光を含む、項目11に記載のシステム。
(項目13)
前記アクチュエータは、前記光投影デバイスの空間変調を制御し、前記赤外線光および前記可視光を含むパターンを形成する、項目12に記載のシステム。
(項目14)
前記アクチュエータは、前記光投影デバイスの空間変調を制御し、2つの交差する線セグメントを前記表面上に形成する、項目11に記載のシステム。
(項目15)
前記アクチュエータは、前記光投影デバイスの空間変調を制御し、2つの交差する線セグメントを含む静的パターンを前記表面上に形成する、項目14に記載のシステム。
(項目16)
前記アクチュエータは、前記光投影デバイスの空間変調を制御し、2つの交差する線セグメントを含む動的パターンを前記表面上に形成する、項目14に記載のシステム。
(項目17)
前記アクチュエータは、前記光投影デバイスの空間変調を制御し、複数の離散交差線セグメントを含むパターンを前記表面上に形成する、項目14に記載のシステム。
(項目18)
前記光投影デバイスの空間変調を制御することは、前記光投影デバイスの少なくとも一部の移動を制御することを含む、項目11に記載のシステム。
(項目19)
前記光投影デバイスの空間変調を制御することは、前記光投影デバイスによって前記光の投影を制御することを含む、項目18に記載のシステム。
(項目20)
前記空間変調光投影デバイスは、ファイバ走査ディスプレイを備える、項目11に記載のシステム。
(項目21)
前記空間変調光投影デバイスは、レーザ光源を備える、項目11に記載のシステム。
(項目22)
前記空間変調光投影デバイスは、レーザ走査ディスプレイを備える、項目11に記載のシステム。
(項目23)
深度感知システムであって、
光を表面から受信する第1および第2のセンサピクセルを有するセンサと、
第1の割合の可視光および第2の割合の赤外線光を前記第1のセンサピクセルに伝送し、第3の割合の可視光および第4の割合の赤外線光を前記第2のセンサピクセルに伝送することを可能にするフィルタであって、
前記第1の割合の可視光および前記第2の割合の赤外線光は、第1の感知された値を前記第1のセンサピクセルにもたらし、
前記第3の割合の可視光および前記第4の割合の赤外線光は、第2の感知された値を前記第2のセンサピクセルにもたらす、
フィルタと、
前記第1および第2の感知された値を分析し、前記表面の深度を判定するプロセッサと
を備え、
前記フィルタは、前記センサと前記表面との間に配置される、システム。
(項目24)
前記第1および第2の感知された値を分析することは、前記表面の赤外線光画像を生成することを含む、項目23に記載のシステム。
(項目25)
前記第1および第2の感知された値を分析することは、前記表面の赤外線光画像内のPOIを三角測量することを含む、項目24に記載のシステム。
表面の深度(すなわち、3D空間内の既知の点と表面上の点との間の距離)を光学的に推定または感知するための種々の方法が、存在する。深度感知方法は、2つの主要モード、すなわち、受動および能動に分類されることができる。受動システムは、表面によって反射されたシステム外の光源(例えば、頭上光または太陽)からの周囲光を検出する。能動システムは、光を表面上に投影し、表面によって反射された投影された光を検出する。
ファイバ走査プロジェクタ(「FSP」)は、ファイバ光学先端を高周波数で選択的に振動させることによって、光を投影する。FSPは、ファイバ走査型ディスプレイ(「FSD(fiber scanned displays)」)、ファイバ走査式ディスプレイ(「FSD(fiber scanning displays)」)、走査型ファイバディスプレイ、および走査式ファイバディスプレイとしても知られる。FSPは、動的画像をヒト観察のための表示として投影することができる。その超小型サイズおよび低潜在的電力消費は、複合現実システム等のある用途に理想的である。例示的FSPは、米国特許出願第14/738,877号(代理人管理番号第ML.20019.00号)および第14/555,585号(代理人管理番号第ML.20011.00号)に説明されており、その内容は、参照することによって本明細書の前述で組み込まれている。
受動および能動深度感知システムは両方とも、少なくとも1つのセンサ(例えば、カメラ)を含み、表面から反射された光を検出する。上記に説明されるように、いくつかの深度感知システムは、可視光(例えば、周囲光)を検出する一方、その他は、投影された光パターン(例えば、投影された赤外線光)を検出する。
Claims (19)
- 深度感知システムであって、
光を表面に向かって投影する空間変調光投影デバイスと、
前記光投影デバイスを変調し、相互から位相オフセットされる第1の正弦波および第2の正弦波を形成し、複数の交差する光セグメントを形成するアクチュエータと、
前記表面から反射された光を分析し、前記表面の深度を判定するプロセッサと
を備え、
前記アクチュエータは、前記光投影デバイスを変調し、前記複数の交差する光セグメントのサブセットを連続的に変化させ、動的パターンを形成する、システム。 - 前記光は、約700nm~約1mmの波長を有する赤外線光を含む、請求項1に記載のシステム。
- 前記光は、約390nm~約700nmの波長を有する可視光を含む、請求項2に記載のシステム。
- 前記アクチュエータは、前記光投影デバイスを変調し、前記赤外線光および前記可視光を含むパターンを形成する、請求項3に記載のシステム。
- 前記アクチュエータは、前記光投影デバイスを変調し、2つ以上の交差する線セグメントを前記表面上に形成する、請求項1に記載のシステム。
- 前記アクチュエータは、前記光投影デバイスを変調し、前記2つ以上の交差する線セグメントを含む動的パターンを前記表面上に形成する、請求項5に記載のシステム。
- 前記アクチュエータは、前記光投影デバイスを変調し、複数の離散交差線セグメントを含むパターンを前記表面上に形成する、請求項5に記載のシステム。
- 前記光投影デバイスの変調は、前記光投影デバイスの少なくとも一部の移動を制御することを含む、請求項1に記載のシステム。
- 前記光投影デバイスの変調は、前記光投影デバイスによる前記光の投影を制御することを含む、請求項8に記載のシステム。
- 前記空間変調光投影デバイスは、ファイバ走査ディスプレイを備える、請求項1に記載のシステム。
- 前記光投影デバイスの変調は、前記光投影デバイスの位相オフセットまたは走査周波数を変動させることを含む、請求項1に記載のシステム。
- 前記アクチュエータは、前記光投影デバイスを変調し、前記第1の正弦波および前記第2の正弦波の形状を連続的に変化させ、前記動的パターンを形成する、請求項1に記載のシステム。
- 前記アクチュエータは、前記光投影デバイスを変調し、前記光を連続的に位相偏移させ、前記動的パターンを形成する、請求項1に記載のシステム。
- 前記光を生成するための光源をさらに備える、請求項1に記載のシステム。
- 前記光源は、レーザである、請求項14に記載のシステム。
- 前記アクチュエータは、前記光源のアクティブ化も制御する、請求項14に記載のシステム。
- 前記アクチュエータは、前記光投影デバイスを変調し、前記第1の正弦波および前記第2の正弦波を形成し、
前記アクチュエータは、前記第1の正弦波および前記第2の正弦波が相互に交差するときのみ、前記光源をアクティブ化する、請求項16に記載のシステム。 - 前記プロセッサは、パターン設計器を備え、前記パターン設計器は、パターンを生成し、前記生成されたパターンを規定するデータを前記アクチュエータに送信する、請求項1に記載のシステム。
- 前記プロセッサは、前記表面から反射された光から情報を抽出するパターン検出器を備える、請求項1に記載のシステム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201662301847P | 2016-03-01 | 2016-03-01 | |
US62/301,847 | 2016-03-01 | ||
JP2020075247A JP6972224B2 (ja) | 2016-03-01 | 2020-04-21 | 深度感知システムおよび方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020075247A Division JP6972224B2 (ja) | 2016-03-01 | 2020-04-21 | 深度感知システムおよび方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022009902A true JP2022009902A (ja) | 2022-01-14 |
JP7270702B2 JP7270702B2 (ja) | 2023-05-10 |
Family
ID=59724237
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018545442A Active JP6695440B2 (ja) | 2016-03-01 | 2017-02-28 | 深度感知システム |
JP2020075247A Active JP6972224B2 (ja) | 2016-03-01 | 2020-04-21 | 深度感知システムおよび方法 |
JP2021179296A Active JP7270702B2 (ja) | 2016-03-01 | 2021-11-02 | 深度感知システムおよび方法 |
Family Applications Before (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018545442A Active JP6695440B2 (ja) | 2016-03-01 | 2017-02-28 | 深度感知システム |
JP2020075247A Active JP6972224B2 (ja) | 2016-03-01 | 2020-04-21 | 深度感知システムおよび方法 |
Country Status (10)
Country | Link |
---|---|
US (3) | US10565717B2 (ja) |
EP (2) | EP3902249A1 (ja) |
JP (3) | JP6695440B2 (ja) |
KR (1) | KR20180118189A (ja) |
CN (2) | CN108779978B (ja) |
AU (2) | AU2017227599A1 (ja) |
CA (1) | CA3014766A1 (ja) |
IL (3) | IL288771B2 (ja) |
NZ (2) | NZ785500A (ja) |
WO (1) | WO2017151671A1 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU2017227599A1 (en) | 2016-03-01 | 2018-08-30 | Magic Leap, Inc. | Depth sensing systems and methods |
US11109006B2 (en) * | 2017-09-14 | 2021-08-31 | Sony Corporation | Image processing apparatus and method |
WO2019127385A1 (en) | 2017-12-29 | 2019-07-04 | Shenzhen United Imaging Healthcare Co., Ltd. | Systems and methods for patient positioning |
WO2019127539A1 (en) * | 2017-12-29 | 2019-07-04 | Shenzhen United Imaging Healthcare Co., Ltd. | Systems and methods for determining region of interest in medical imaging |
US11176694B2 (en) * | 2018-10-19 | 2021-11-16 | Samsung Electronics Co., Ltd | Method and apparatus for active depth sensing and calibration method thereof |
TWI720602B (zh) * | 2019-08-27 | 2021-03-01 | 國立中央大學 | 重建物體表面的方法與光學系統 |
CN112532848A (zh) * | 2020-12-16 | 2021-03-19 | 歌尔光学科技有限公司 | 一种摄像机 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10253330A (ja) * | 1997-03-06 | 1998-09-25 | Toshiba Corp | 表面形状測定装置 |
JP2005501279A (ja) * | 2001-08-23 | 2005-01-13 | ユニバーシティ・オブ・ワシントン | 奥行きを強調した画像の収集 |
WO2011135848A1 (ja) * | 2010-04-28 | 2011-11-03 | パナソニック株式会社 | 走査型画像表示装置 |
JP2013513179A (ja) * | 2009-12-08 | 2013-04-18 | キネテイツク・リミテツド | 距離に基づく検知 |
JP2014059239A (ja) * | 2012-09-18 | 2014-04-03 | Fujitsu Ltd | 形状計測装置及び形状計測方法 |
JP2020075247A (ja) * | 2018-11-06 | 2020-05-21 | ミヨシ油脂株式会社 | 分散剤とそれを用いた分散液 |
Family Cites Families (46)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5621529A (en) * | 1995-04-05 | 1997-04-15 | Intelligent Automation Systems, Inc. | Apparatus and method for projecting laser pattern with reduced speckle noise |
AU712090B2 (en) * | 1996-06-13 | 1999-10-28 | K.U. Leuven Research & Development | Method and system for acquiring a three-dimensional shape description |
JP2001194114A (ja) * | 2000-01-14 | 2001-07-19 | Sony Corp | 画像処理装置および画像処理方法、並びにプログラム提供媒体 |
US7061628B2 (en) * | 2001-06-27 | 2006-06-13 | Southwest Research Institute | Non-contact apparatus and method for measuring surface profile |
JP4035978B2 (ja) * | 2001-10-05 | 2008-01-23 | コニカミノルタホールディングス株式会社 | 3次元形状モデルの評価方法および生成方法並びに装置 |
JP2004126416A (ja) * | 2002-10-07 | 2004-04-22 | Fuji Photo Film Co Ltd | カメラ |
JP2006528770A (ja) * | 2003-07-24 | 2006-12-21 | コグニテンス リミテッド | 対象物の3次元表面再構築の方法およびシステム |
US8494227B2 (en) * | 2007-04-17 | 2013-07-23 | Francine J. Prokoski | System and method for using three dimensional infrared imaging to identify individuals |
US8757812B2 (en) * | 2008-05-19 | 2014-06-24 | University of Washington UW TechTransfer—Invention Licensing | Scanning laser projection display devices and methods for projecting one or more images onto a surface with a light-scanning optical fiber |
CN102037717B (zh) * | 2008-05-20 | 2013-11-06 | 派力肯成像公司 | 使用具有异构成像器的单片相机阵列的图像拍摄和图像处理 |
JP5874116B2 (ja) * | 2009-07-30 | 2016-03-02 | 国立研究開発法人産業技術総合研究所 | 画像撮影装置および画像撮影方法 |
US8723118B2 (en) * | 2009-10-01 | 2014-05-13 | Microsoft Corporation | Imager for constructing color and depth images |
KR20110040402A (ko) * | 2009-10-14 | 2011-04-20 | 삼성전자주식회사 | 필터 어레이, 이를 포함하는 이미지 센서, 및 신호 보간 방법 |
KR101648201B1 (ko) * | 2009-11-04 | 2016-08-12 | 삼성전자주식회사 | 영상 센서 및 이의 제조 방법. |
US8456521B2 (en) * | 2009-12-14 | 2013-06-04 | Berliner Glas Kgaa Herbert Kubatz Gmbh & Co. | Triangulation camera device and triangulation imaging method |
JP2011199798A (ja) * | 2010-03-24 | 2011-10-06 | Sony Corp | 物理情報取得装置、固体撮像装置、物理情報取得方法 |
SG184288A1 (en) | 2010-04-09 | 2012-11-29 | Univ Michigan | Biomarkers for mdm2 inhibitors for use in treating disease |
CN103081128B (zh) * | 2010-06-18 | 2016-11-02 | 西奥尼克斯公司 | 高速光敏设备及相关方法 |
KR101680762B1 (ko) * | 2010-10-29 | 2016-11-29 | 삼성전자주식회사 | 3d 카메라용 빔스플리터 및 상기 빔스플리터를 채용한 3차원 영상 획득 장치 |
KR101739880B1 (ko) * | 2010-12-01 | 2017-05-26 | 삼성전자주식회사 | 컬러 필터 어레이, 이를 포함하는 이미지 센서, 및 이를 포함하는 이미지 처리 장치 |
KR101861765B1 (ko) * | 2011-03-03 | 2018-05-29 | 삼성전자주식회사 | 마이크로 렌즈를 포함하는 깊이 픽셀 및 상기 깊이 픽셀을 포함하는 깊이 센서 |
KR20120105169A (ko) * | 2011-03-15 | 2012-09-25 | 삼성전자주식회사 | 복수의 거리 픽셀들을 포함하는 3차원 이미지 센서의 구동 방법 |
JP5761750B2 (ja) * | 2011-07-19 | 2015-08-12 | 国立研究開発法人産業技術総合研究所 | 画像処理方法および装置 |
US9248457B2 (en) | 2011-07-29 | 2016-02-02 | Homax Products, Inc. | Systems and methods for dispensing texture material using dual flow adjustment |
CN102663725B (zh) | 2012-03-05 | 2014-07-16 | 西北工业大学 | 基于线特征和控制点的可见光和sar图像配准方法 |
WO2013179538A1 (ja) * | 2012-05-28 | 2013-12-05 | パナソニック株式会社 | 奥行き推定撮像装置 |
WO2014020823A1 (ja) * | 2012-07-30 | 2014-02-06 | 独立行政法人産業技術総合研究所 | 画像処理システムおよび画像処理方法 |
CN104662589B (zh) * | 2012-08-21 | 2017-08-04 | 派力肯影像公司 | 用于使用阵列照相机捕捉的图像中的视差检测和校正的***和方法 |
US10014335B2 (en) * | 2012-09-14 | 2018-07-03 | Panasonic Intellectual Property Management Co., Ltd. | Solid-state imaging device and camera module |
US9041914B2 (en) * | 2013-03-15 | 2015-05-26 | Faro Technologies, Inc. | Three-dimensional coordinate scanner and method of operation |
US9646384B2 (en) * | 2013-09-11 | 2017-05-09 | Google Technology Holdings LLC | 3D feature descriptors with camera pose information |
US8917327B1 (en) * | 2013-10-04 | 2014-12-23 | icClarity, Inc. | Method to use array sensors to measure multiple types of data at full resolution of the sensor |
KR102378457B1 (ko) | 2013-11-27 | 2022-03-23 | 매직 립, 인코포레이티드 | 가상 및 증강 현실 시스템들 및 방법들 |
US10051211B2 (en) * | 2013-12-05 | 2018-08-14 | Omnivision Technologies, Inc. | Image sensors for capturing both visible light images and infrared light images, and associated systems and methods |
US9392262B2 (en) | 2014-03-07 | 2016-07-12 | Aquifi, Inc. | System and method for 3D reconstruction using multiple multi-channel cameras |
US10051209B2 (en) * | 2014-04-09 | 2018-08-14 | Omnivision Technologies, Inc. | Combined visible and non-visible projection system |
US9325973B1 (en) * | 2014-07-08 | 2016-04-26 | Aquifi, Inc. | Dynamically reconfigurable optical pattern generator module useable with a system to rapidly reconstruct three-dimensional data |
WO2016147888A1 (ja) * | 2015-03-17 | 2016-09-22 | ソニー株式会社 | 情報処理装置および方法 |
US9694498B2 (en) * | 2015-03-30 | 2017-07-04 | X Development Llc | Imager for detecting visual light and projected patterns |
US10066933B2 (en) * | 2015-05-04 | 2018-09-04 | Facebook, Inc. | Camera depth mapping using structured light patterns |
CN105049829B (zh) * | 2015-07-10 | 2018-12-25 | 上海图漾信息科技有限公司 | 滤光片、图像传感器、成像装置以及三维成像*** |
US10503265B2 (en) * | 2015-09-08 | 2019-12-10 | Microvision, Inc. | Mixed-mode depth detection |
US10453185B2 (en) * | 2015-11-12 | 2019-10-22 | Aquifi, Inc. | System and method for high dynamic range depth capture using multiple cameras |
JP2017112169A (ja) * | 2015-12-15 | 2017-06-22 | ソニー株式会社 | イメージセンサ、撮像システム及びイメージセンサの製造方法 |
AU2017227599A1 (en) | 2016-03-01 | 2018-08-30 | Magic Leap, Inc. | Depth sensing systems and methods |
US10616519B2 (en) * | 2016-12-20 | 2020-04-07 | Microsoft Technology Licensing, Llc | Global shutter pixel structures with shared transfer gates |
-
2017
- 2017-02-28 AU AU2017227599A patent/AU2017227599A1/en not_active Abandoned
- 2017-02-28 EP EP21178691.8A patent/EP3902249A1/en active Pending
- 2017-02-28 JP JP2018545442A patent/JP6695440B2/ja active Active
- 2017-02-28 EP EP17760653.0A patent/EP3423784B1/en active Active
- 2017-02-28 US US15/445,818 patent/US10565717B2/en active Active
- 2017-02-28 NZ NZ785500A patent/NZ785500A/en unknown
- 2017-02-28 CA CA3014766A patent/CA3014766A1/en active Pending
- 2017-02-28 KR KR1020187028216A patent/KR20180118189A/ko not_active Application Discontinuation
- 2017-02-28 CN CN201780014934.2A patent/CN108779978B/zh active Active
- 2017-02-28 IL IL288771A patent/IL288771B2/en unknown
- 2017-02-28 CN CN202011337750.XA patent/CN112399028A/zh active Pending
- 2017-02-28 NZ NZ745309A patent/NZ745309A/en unknown
- 2017-02-28 WO PCT/US2017/020030 patent/WO2017151671A1/en active Application Filing
-
2018
- 2018-08-14 IL IL261149A patent/IL261149B/en active IP Right Grant
-
2020
- 2020-01-08 US US16/737,765 patent/US10964039B2/en active Active
- 2020-04-21 JP JP2020075247A patent/JP6972224B2/ja active Active
-
2021
- 2021-02-24 US US17/184,358 patent/US11475583B2/en active Active
- 2021-03-21 IL IL281676A patent/IL281676B/en unknown
- 2021-11-02 JP JP2021179296A patent/JP7270702B2/ja active Active
- 2021-11-10 AU AU2021266266A patent/AU2021266266A1/en not_active Abandoned
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10253330A (ja) * | 1997-03-06 | 1998-09-25 | Toshiba Corp | 表面形状測定装置 |
JP2005501279A (ja) * | 2001-08-23 | 2005-01-13 | ユニバーシティ・オブ・ワシントン | 奥行きを強調した画像の収集 |
JP2013513179A (ja) * | 2009-12-08 | 2013-04-18 | キネテイツク・リミテツド | 距離に基づく検知 |
WO2011135848A1 (ja) * | 2010-04-28 | 2011-11-03 | パナソニック株式会社 | 走査型画像表示装置 |
JP2014059239A (ja) * | 2012-09-18 | 2014-04-03 | Fujitsu Ltd | 形状計測装置及び形状計測方法 |
JP2020075247A (ja) * | 2018-11-06 | 2020-05-21 | ミヨシ油脂株式会社 | 分散剤とそれを用いた分散液 |
Also Published As
Publication number | Publication date |
---|---|
AU2021266266A1 (en) | 2021-12-09 |
CN112399028A (zh) | 2021-02-23 |
WO2017151671A1 (en) | 2017-09-08 |
IL261149A (en) | 2018-10-31 |
JP2020144136A (ja) | 2020-09-10 |
EP3423784A1 (en) | 2019-01-09 |
JP6972224B2 (ja) | 2021-11-24 |
CN108779978A (zh) | 2018-11-09 |
IL261149B (en) | 2021-04-29 |
NZ745309A (en) | 2023-03-31 |
CA3014766A1 (en) | 2017-09-08 |
US10964039B2 (en) | 2021-03-30 |
AU2017227599A1 (en) | 2018-08-30 |
IL288771A (en) | 2022-02-01 |
JP2019512678A (ja) | 2019-05-16 |
US10565717B2 (en) | 2020-02-18 |
IL281676A (en) | 2021-05-31 |
US20200143553A1 (en) | 2020-05-07 |
JP7270702B2 (ja) | 2023-05-10 |
IL288771B2 (en) | 2023-09-01 |
CN108779978B (zh) | 2020-12-11 |
US20170256069A1 (en) | 2017-09-07 |
IL288771B1 (en) | 2023-05-01 |
NZ785500A (en) | 2023-03-31 |
US11475583B2 (en) | 2022-10-18 |
IL281676B (en) | 2022-01-01 |
US20210183087A1 (en) | 2021-06-17 |
JP6695440B2 (ja) | 2020-05-20 |
EP3902249A1 (en) | 2021-10-27 |
KR20180118189A (ko) | 2018-10-30 |
EP3423784B1 (en) | 2021-07-28 |
EP3423784A4 (en) | 2019-01-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6972224B2 (ja) | 深度感知システムおよび方法 | |
Sarbolandi et al. | Kinect range sensing: Structured-light versus Time-of-Flight Kinect | |
EP3018903B1 (en) | Method and system for projector calibration | |
CN107430324B (zh) | 具有不可见光通道的数字光投影仪 | |
JP2018514237A (ja) | 歯科用3dスキャナ用のテクスチャマッピングの装置及び方法 | |
JP2013210663A (ja) | パノラマ投影デバイス及び前記デバイスによって実施される方法 | |
US20080074648A1 (en) | Method and Apparatus for Three-Dimensional Measurement of Objects in an Extended angular range | |
TW202028694A (zh) | 光學相位輪廓測定系統 | |
Kitajima et al. | Simultaneous projection and positioning of laser projector pixels | |
JP2011075336A (ja) | 3次元形状計測装置、3次元形状計測方法 | |
WO2021242338A1 (en) | Systems and methods for providing mixed-reality experiences under low light conditions | |
Kaminokado et al. | Augmented environment mapping for appearance editing of glossy surfaces | |
Bajzik et al. | Depth sensor selection for specific application | |
KR101358432B1 (ko) | 디스플레이 장치 및 방법 | |
EP4379316A1 (en) | Measuring system providing shape from shading | |
JP2018100829A (ja) | 対象物の表面を観察または検査するための装置及び方法。 | |
Hieda | Digital video projection for interactive entertainment | |
Epskamp | On the influence of stereographic 3D on user dependent direct projected augmented reality in the OR | |
CN118105060A (zh) | 根据阴影提供形状的测量*** | |
Kamimigaki et al. | Real reproducing of 3D appearance with multi-projectors and cameras | |
Avetisyan | Depth Camera Calibration | |
Chen et al. | A View-Dependent Stereoscopic System Using Tiled Projection |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211102 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221216 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230308 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230404 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230425 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7270702 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |