TWI669482B - 結構化的光成像系統及方法 - Google Patents

結構化的光成像系統及方法 Download PDF

Info

Publication number
TWI669482B
TWI669482B TW104120353A TW104120353A TWI669482B TW I669482 B TWI669482 B TW I669482B TW 104120353 A TW104120353 A TW 104120353A TW 104120353 A TW104120353 A TW 104120353A TW I669482 B TWI669482 B TW I669482B
Authority
TW
Taiwan
Prior art keywords
light
light emitters
sets
structured light
structured
Prior art date
Application number
TW104120353A
Other languages
English (en)
Other versions
TW201614189A (en
Inventor
蒂埃里 奧吉爾
Original Assignee
新加坡商新加坡恒立私人有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 新加坡商新加坡恒立私人有限公司 filed Critical 新加坡商新加坡恒立私人有限公司
Publication of TW201614189A publication Critical patent/TW201614189A/zh
Application granted granted Critical
Publication of TWI669482B publication Critical patent/TWI669482B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01S—DEVICES USING THE PROCESS OF LIGHT AMPLIFICATION BY STIMULATED EMISSION OF RADIATION [LASER] TO AMPLIFY OR GENERATE LIGHT; DEVICES USING STIMULATED EMISSION OF ELECTROMAGNETIC RADIATION IN WAVE RANGES OTHER THAN OPTICAL
    • H01S5/00—Semiconductor lasers
    • H01S5/40—Arrangement of two or more semiconductor lasers, not provided for in groups H01S5/02 - H01S5/30
    • H01S5/42—Arrays of surface emitting lasers
    • H01S5/423—Arrays of surface emitting lasers having a vertical cavity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Electromagnetism (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Wire Bonding (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Cameras In General (AREA)

Abstract

本發明係關於結構光成像系統及方法。該結構光成像系統及方法適於包括具有至少兩組光發射器的投射器以及具有像素陣列的影像感測器，其中控制器被組態成使得各組能獨立地操作。在一變型中，該影像感測器的各像素分配一個儲存節點給該至少兩組光發射器之各組。

Description

結構化的光成像系統及方法
本發明係關於成像系統及方法，更具體地，係關於結構光成像系統及方法。本發明亦關於用來決定場景之深度圖的方法及裝置。
許多深度感測量測系統(亦稱為3D成像系統或3D攝像機)依賴三角量測原理。主動三角量測系統中的最常用方法之一是利用發射器(或投射器)及接收器，此兩者物理上彼此分離以建立三角量測系統的基線長度。投射器可提供結構化的照明。結構化的照明在此背景中被理解為一種空間編碼或調變的照明。接收器包含具有像素陣列的影像感測器。控制器通常處理由接收器所獲得的原始圖像，並導出所獲得的物件、場景或人物的三維深度圖。此種系統通常被稱為結構光成像系統。結構化的照明可具有任何規則的形狀，例如，線形或圓形，或可具有諸如虛擬隨機點圖案的虛擬隨機圖案，或者進一步可具有虛擬隨機形狀或形狀的尺寸。在結構光成像系統的投射器中，此種 虛擬隨機但規則的樣式的實施及使用已公開於PCT公開案WO2007/105205A2中且已廣泛地適應於遊戲產業。US2013/0038881A1及WO2013127974A1中記載了依據在相同晶片上的許多發光雷射二極體並且投射到3D空間的一種在結構光成像中使用的新型投射器。已在發光固態裝置上的投影的圖案的形成具有高效節能的優點。例如，在隨機點圖案的情況中，所有產生的光被固有地綁定至該些點。在該些點之間沒有損失。另一方面，依據壓印透明性、遮罩或微鏡陣列諸如數位光處理器(DLP)來建立投射器，該些點之間的光被阻擋或偏移。因此，損失大量的所產生的光功率。其他投射器係基於單一準直的雷射二極體以及一或多個繞射光學元件。這些投射器型態顯示了良好的效率，但是在一大的溫度範圍內保持圖案足夠穩定以依據結構光成像來進行合理的深度量測是非常具有挑戰性的。為了應對此種熱缺陷，可對圖案投射器的部分作溫度控制，例如，藉由使用Peltier元件或加熱墊組，因此減少整體能源效率。
基於時間編碼之結構光源及影像感測器的結構光成像系統的另一改良已在歐洲公開案EP2519001A2中被提出。對結構光成像系統施加時間編碼可以減去背景光，無論是在圖像感測器上的像素能執行差分成像的情況下之開像素(on-pixel)或是關像素(off-pixel)，作為圖像的後處理。此外，時間編碼或調變能實現多個攝像機操作。這意味著不同的結構光成像系統可施用時間編碼，並且藉 由這樣做，可以在相同的環境內操作而不互相干擾。能以有限干擾操作之具體的時間編碼方式為，例如，基於分碼多重存取、分頻多重存取或是其他如頻率或相位跳變。
提供一種具有改良的深度及橫向解析度之高效率的結構化光成像系統以及相應的方法和裝置、以及一種用於深度映射場景的方法，可以是本發明的一個目的。結構光成像系統亦可被理解為結構光成像裝置。
這些目的是特別透過獨立項申請專利範圍之特徵來實現。此外，附屬項申請專利範圍及說明產生進一步的有利實施例。
在第一觀點中，該結構光成像裝置包含投射器，該投射器包含用於發射結構光的至少兩組光發射器、用於感測源自該投射器的光的影像感測器、以及控制單元。該控制器被結構化且被組態用於獨立地操作該至少兩組光發射器的各組。
在另一觀點中，該結構光成像系統包括影像感測器及投射器，其中該投射器包括至少兩組光發射器，其中一控制器被組態成致能各組係獨立地操作。
兩種觀點可以混合及互換。
在本發明的一些實施例中，該投射器中的單一光投射裝置被組態成將由該至少兩組光發射器所發射的結構光投射到一場景。若該組光發射器的圖案是由相同的單一光投 射裝置所投射，其係有利的且減少了處理及校正的複雜度。這將導致不同組光發射器的恆定組合圖案，其獨立於該場景中的物件的距離。藉由在該組光發射器前方具有例如兩個物理上分離的光投射裝置，不同的發射圖案彼此交叉跨越一段距離。因此，在單一距離處的單一校正採集將不足以依據三角量測而推導出差距和量測距離。
在本發明的一些實施例中，該至少兩組光發射器包括垂直腔面發射雷射器(VCSEL)。在一些情況中，VCSEL可以是光發射器的一適當選擇，因為它們可被集成在一小的裝置中且由於它們的低成本及可大批量製造。
在本發明的一些實施例中，該至少兩組光發射器被排列在一單一晶片上。在該至少兩組光發射器係在相同晶片上的情況中，其簡化了光投射裝置的設計。
在本發明的一些實施例中，該至少兩組光發射器係被配置成物理上交錯。該至少兩組光發射器的物理交錯以及其之投射允許在該發射的結構光中具有更緊密的結構，因此，從該結構光圖像所獲得的空間資訊致能更高的橫向及深度解析度。
在本發明的一些實施例中，該至少兩組光發射器係被配置成發射相同但偏移的結構光圖案。透過由該至少兩組光發射器發射相同但偏移的結構光圖案，比起由該至少兩組光發射器發射完全不同的圖案，結果將變得更能被預測。
在本發明的一些實施例中，該至少兩組光發射器係被 配置成發射不同的結構光圖案。發射不同的結構光圖案，例如，發射隨機點圖案和線條文圖案可增加深度解析度。此外，不同的隨機點圖案的組合是可以想像的。
在本發明的一些實施例中，該控制器被組態成致能該至少兩組光發射器以交錯模式操作。因為該控制器可被組態成使得各組獨立地操作，其可有利於交錯不同光發射器組的操作。取決於實際應用，不同的交錯操作方案是可以想像的，例如偽雜訊(pseudo-noise)操作、跳頻操作或其他。交錯操作有助於減少結構光成像系統之間的干擾，並可降低本發明中快速移動物件的問題。
在本發明的一些實施例中，影像感測器包括像素陣列，各像素具有每組光發射器一獨立的儲存節點。
在本發明的一些實施例中，該控制器被組態成致能針對該影像感測器的各個像素，每組光發射器分配一個儲存節點。在該影像感測器的各個像素上，具有每組光發射器一單獨的儲存節點是有利的。這可致能將各組光發射器的圖像儲存在一單獨的儲存節點中。
在本發明的一些實施例中，該影像感測器的該等像素包括一公用信號去除電路，其被組態成去除該影像感測器上之該等像素的該等儲存節點的公用模式信號。在像素級別上的公用模式信號去除會增加動態範圍，並且能夠抑制背景光。
在本發明的一些實施例中，該控制器被組態成致能在曝光期間該至少兩組光發射器係交替地且反覆地被開啟， 其中該信號相應地被集成在該等像素之該等分配的儲存節點上。在曝光期間，該組光發射器的交替及反覆操作以及在該等像素中的該等分配的儲存節點中的相應信號集成，有助於減少在同一環境中其他結構光成像系統的干擾，並且進一步降低由於曝光期間場景變化的影響。
在本發明的一些實施例中，該影像感測器的該等像素為飛行時間(time-of-flight)像素。大多數最先進的飛行時間像素已包含兩個儲存節點及甚至一像素中(in-pixel)公用模式去除電路。因此，替代設計新的像素，技術人員可依據基於此種飛行時間像素結構的發明而建立一結構光系統。
在第一觀點中，該結構光成像方法包含提供一投射器，其包含至少兩組光發射器，從該至少兩組光發射器發射結構光，其中該等光發射器組之各組係獨立地操作，以及藉由影像感測器之機構感測源自該投射器的光。
在另一觀點中，該結構光成像方法包含使用影像感測器及投射器，其中該投射器包括至少兩組光發射器，各組光發射器係獨立地操作。
兩種觀點可以混合及互換。
在一變型中，由該至少兩組光發射器所發射的該結構光係透過一單一光投射裝置被投射到該場景上。在一變型中，該至少兩組光發射器係以交錯模式操作。在一變型中，針對該影像感測器之各像素的該至少兩組，每組光發射器分配一個儲存節點。在一變型中，去除該影像感測器 之該等儲存節點的公用模式信號。在一變型中，在曝光期間交替地且反覆地開啟該至少兩組光發射器，其中該信號相應地被集成在該等像素之該等分配的儲存節點中。
用於場景之深度映射的方法包含- 以來自投射器的結構光照射該場景，該投射器包含至少第一及第二組光發射器；- 該照射包含獨立地操作該等光發射器組之各組；- 偵測反射自該場景之該結構光的光部分；- 從該偵測的光部分決定該場景的深度圖。
在另一觀點，用於場景之深度映射的方法包含- 透過本文中所描述的那種結構光成像裝置(或系統)的輔助，照亮該場景；- 藉由該結構光成像裝置(或系統)的機構，偵測反射自該場景之該結構光的光部分；- 從該偵測的光部分決定該場景的深度圖。
用於決定一場景之深度圖的裝置包含本文中所描述的那種結構光成像裝置(或系統)，用於以結構光照亮該場景，以及用於偵測反射自該場景之該結構光的光部分。並且其包含一處理單元，用於從該偵測的光部分決定該場景的深度圖。該處理單元可包含在該結構光成像裝置之該控制器中。
10‧‧‧結構光成像系統
110‧‧‧投射器
111‧‧‧發光元件
111a‧‧‧第一組光發射器
111b‧‧‧第二組光發射器
112‧‧‧光投射裝置
130‧‧‧光學系統
120‧‧‧影像感測器
121‧‧‧像素
122‧‧‧感光區域
123a‧‧‧第一開關
123b‧‧‧第二開關
124a‧‧‧第一儲存節點
124b‧‧‧第二儲存節點
125‧‧‧訊號處理電路
150‧‧‧控制器
50‧‧‧物件
20a‧‧‧當第一組光發射器開啟時所發射的結構光
20b‧‧‧當第二組光發射器開啟時所發射的結構光
30a‧‧‧當第一組光發射器開啟時所反射的光
30b‧‧‧當第二組光發射器開啟時所反射的光
本文所描述之發明將從下文所給出的詳細描述及隨附 的圖式而被更充分地理解，下文所給出的詳細描述及隨附的圖式不應被視為對所附的申請專利範圍中所述的發明之限制。圖式示出了圖1 一結構光成像裝置及方法的構造方塊概略圖；圖2 如本發明之實施例中可實施的像素的構造方塊圖；圖3 如本發明之實施例中可實施的具有兩組光發射器之發光元件上的俯視圖；圖4 在兩組光發射器皆同時開啟的情況下(圖4a)以及在兩組光發射器之各者可被單獨控制的情況下(圖4b)，由如圖3中所示之發光元件所造成的隨機點圖案；圖5 最先進的結構光成像系統之被減少為兩個點的影像(圖5a至c)，其中插圖顯示放大的細節(上圖：光柵化的黑與白，下圖：灰階)，以及圖5d至f繪出圖5a至c之跨越點中心的信號的水平橫截面；圖6 結構光成像系統之被減少為兩個點的影像(圖6a至c)，其中插圖顯示放大的細節(上圖：光柵化的黑與白，下圖：灰階)，以及圖6d至f繪出圖6a至c之跨越點中心的信號的水平橫截面)。
在先前技術的結構光成像系統中，投射器是靜態的，此意味著總是發射相同的圖案，或者投射器包括一些移動部件在投射器中，諸如微鏡(例如，基於MEMS的數位 光處理器)，或者投射器包括局部透明度改變裝置，諸如液晶裝置。後兩者幾乎能夠任意地改變圖案，但由於該方法的光阻擋性質使得大部分的發射光被浪費了。本發明可以，至少在實例中，實現無需任何移動部件的高效率結構光成像系統、更佳的解析度、以及增加的溫度穩定性。
圖1顯示裝置及方法之實施例的方塊概略圖。結構光成像系統10包括光投射器110、影像感測器120、光學系統130、及控制器150，用以獲取一場景中的物件50的圖像。光學系統130通常包括成像光學及光學帶通濾波器以阻擋不需要的光。影像感測器120包括像素121的陣列。投射器110包括發光元件111，例如，VCSEL(VCSEL：垂直腔面發射雷射器)陣列，其具有第一組光發射器111a及第二組光發射器111b。該等光發射器的所有光是由光投射裝置112朝向場景投射。光投射裝置112可包含透鏡、遮罩及/或繞射光學元件。
兩組光發射器111a、111b由控制器150控制。此外，控制器150將兩組光發射器111a、111b與影像感測器120及像素121同步。
該等光發射器為，例如，垂直腔面發射雷射器(VCSEL)陣列上的VCSEL。一種具有基於VCSEL陣列但不將發射器如本專利申請案所提出的分離成能被獨立操作的不同組之發光元件110的結構光成像系統10已由US2013/0038881A1及WO2013127974A1公開。
依據圖1，當光輸出源自於第一組光發射器111a 時，結構光成像系統10的光輸出相當於出自投射器110的第一結構光發射20a。當第一組光發射器開啟時的發射結構光20a到達物件50，被物件50反射，且部分的第一反射光30a到達結構光成像系統10的光學系統130。光學系統130將第一反射光30a成像到影像感測器120的像素121上。當光輸出源自於第二組光發射器111b時，結構光成像系統10的光輸出相當於出自投射器110的第二結構光發射20b。當第二組光發射器開啟時的發射結構光20b到達物件50，被物件50反射，且部分的第二反射光30b到達結構光成像系統10的光學系統130。光學系統130將第二反射光30b成像到影像感測器120的像素121上。發射光的波長為，例如，介於800nm及1000nm之間，但也可以是在可見光、紅外線或紫外線的範圍內。
影像感測器120之像素121的一實施例示於圖2中。像素121包括感光區域122。在感光區域下方的光生電荷可透過第一開關123a被傳送到第一儲存節點124a中，或是透過第二開關123b被傳送到第二儲存節點124b中。
一些像素的實現還包括第三開關，用以，例如，在讀取或閒置時間期間排出(dump)不需要的電荷。在所示實施例中，像素121還包括訊號處理電路125，其執行信號的減法，更具體地，確定儲存在第一儲存節點124a中的電荷和儲存在第二儲存節點124b中的電荷的差值。
減法或者公用模式電荷去除(公用模式信號去除)在曝光期間可能不斷地發生、在曝光期間或者在曝光結束時 讀取信號之前多次發生。使用類似像素結構的結構光成像系統已呈現於EP2519001A2中，其中將在結構光發射期間的所有光傳送到影像感測器120上的像素121的第一儲存節點124a，並且其中在相等的持續時間期間，結構光的發射關閉且只將背景光信號傳送到影像感測器120上的像素121的第二儲存節點124b。這種開啟/關閉循環可被重複多次，且該等信號分別被集成在該等像素的第一及第二儲存節點中。
藉由在各像素的兩個儲存節點中執行減法或公用模式電荷去除(公用模式信號去除)，可在信號處理路徑上早期取消背景信號。包含此種像素結構，即，具有有單一感光區域、由第一開關連接至第一儲存節點以及由第二開關連接至第二儲存節點的像素，其他像素結構在飛行時間深度成像及螢光壽命顯微術所使用的像素中是眾所周知的。此種像素結構已公開於，例如，專利US5’856’667、EP1009984B1、EP1513202B1及US7’884’310B2。
本發明之一實施例提出由控制器150同步兩組光發射器111a、111b及兩個開關123a、123b。在第一階段中，第一組光發射器111a被開啟，第二組光發射器111b被關閉。在這段期間，所有來自影像感測器120上之像素121的感光區域122的光生電荷透過開關123a被傳送到第一儲存節點124a。在第二階段中，第二組光發射器111b被開啟，第一組光發射器111a被關閉。此時，所有來自影像感測器120上之像素121的感光區域122的光生電荷透 過開關123b被傳送到第二儲存節點124b。
第一及第二階段的循環可被重複多次。特別是，在同一循環中，第一階段的持續時間可以和第二階段的持續時間相同。通常，階段持續時間可隨每個循環改變。藉由這樣做，循環的時間編碼是可能的，並且例如，正交調變方案可被施用來避免不同的結構光成像系統10之間的干擾。更快的循環，意味著更短的階段持續時間，通常在場景中有快速移動物件的情況下顯示效能改進。階段持續時間典型地在幾百奈秒到幾百微秒的量級。取決於應用，針對單一曝光和它們集成在兩個儲存節點中的信號可重複多達百萬次循環。
像素121中的訊號處理電路125可包括一些公用光信號去除能力(公用模式信號去除能力)。像素121中之此種光信號去除特性可大幅增加結構光成像系統10的動態範圍並增加背景光的強度(robustness)。
在以所有循環的曝光之後，將資料從影像感測器120的像素121讀取至控制單元150，其中，從該資料可導出在環境中成像物件50的深度圖。
發光元件111之一說明性實現係描繪於圖3中。發光元件111包括第一組光發射器111a及第二組光發射器111b。兩組光發射器111a、111b可被不同地控制。具有此種對兩個不同組的不同控制，允許在曝光期間交替地控制，特別是操作，各組光發射器，並且將其與至像素(121)上的不同儲存節點(124a、124b)的分配同步。 來自第一組光發射器111a及第二組光發射器111b的發射隨機點圖案可被投影至場景中的物件50上，而源自第一組光發射器111a的任意發射點不會與源自第二組光發射器111b的任意發射點干擾。若兩組光發射器的光藉由相同的光投射裝置112而被投射至空間中，則可達成此情形。光投射裝置112通常包括一或多個透鏡元件、遮罩及/或繞射光學元件。
在一實施例中，發光元件111係建立在第一組垂直腔面發射雷射器(VCSEL)上，且第二組VCSEL係在相同發射晶片上。第一及第二組光發射器可以是物理上交錯。此外，第一及第二組光發射器(111a、111b)可被配置成發射相同的結構光圖案，例如，相同的隨機點圖案，但第一發射結構光圖案係相對於第二發射結構光圖案橫向偏移。在其他情況中，可提供兩組光發射器(111a、111b)被配置成發射不同的結構光圖案，例如隨機點圖案和條紋狀圖案，或者兩個不同的隨機點圖案。
圖4a及圖4b的圖像對相應於圖3中所示的發光元件。圖4a繪示了當所有的光發射器被開啟且被相同地控制時，所發射之結構光發射。無法區分由兩個不同組光發射器(111a、111b)所發射的點。如圖4a中所示的結果發射光圖案相當於隨機點圖案，其在結構光成像中為先進的並且其已例如由PCT公開案WO2007/105205A2公開。然而，圖4b繪示了依據一實施例之可能的發射圖案。當第一組光發射器被開啟時的發射光20a被表示為空心圓， 而當第二組光發射器被開啟時的發射光20b被表示為黑點。
為了說明之目的，該範例受限於各組光發射器之隨機點圖案。然而，許多不同的結構光圖案及其組合為本發明之可能的實現方式。在隨機點圖案的情況下，第二組光發射器111b可具有與第一組光發射器111a相同但相對於第一組光發射器而橫向偏移的圖案，且可被獨立地操作。
作為一範例，在第一階段期間，第一組光發射器111a被開啟(空心圓)，並且由影像感測器120所獲得的光電荷透過像素121上的第一開關123a被傳送到第一儲存節點124a，參照圖2。在第二階段中，第二組光發射器111b被開啟，並且由影像感測器120所獲得的電荷透過第二開關123b被傳送到像素121上的第二儲存節點124b。這兩個階段可再次在單一曝光期間被重複多次，其具有可能不同的階段持續時間，以減少與其他結構光成像系統10的干擾，並減少在取得場景中之快速移動物件50的不自然痕跡(artefacts)。像素121可另外具有在像素中的光信號去除電路，其使得結構光成像系統10在背景抑制方面更強健。
圖5及圖6的圖像系列繪示了相較於先進結構光成像系統，本發明的可能優點。參照兩個相鄰點的圖像來示出此優點。在圖5 a-c及圖6 a-c中，提供插圖，該等插圖為了改進清晰度而顯示了對應圖像的放大細節(上圖：光柵化的黑與白，下圖：灰階)。
在圖5的一系列圖像中，描繪了先進結構光成像系統的結果。在此圖像系列中，圖像中的兩個點源自於相同的投射器及相同的發光元件。兩個點係同時由投射器發射；兩個點的信號係同時被集成在影像感測器的像素上。圖5a顯示由影像感測器所取得的兩個點，該兩個點的重力中心距離為相隔4個像素。圖5d繪示了通過來自圖5a之該些點中心的水平信號橫截面。圖5b繪示了與圖5a中相同的圖像，但這次，兩個點的中心之間的距離只有3個像素。圖5e繪示了通過圖5b之該些點的信號的水平橫截面。圖5c繪示了與圖5a及圖5b中相同的圖像，但這次，該些點僅相隔兩個像素。來自圖5c的水平橫截面繪示於圖5f中。
在該些點之間為4個像素的距離(圖5a及圖5d)，於圖像中可清楚地區分及識別該些點。然而，若該些點彼此更靠近時，區分將變得越來越困難(圖5b及圖5e)，而當該些點僅相隔2個像素時則完全無法區分該些點(圖5c及圖5f)。這表示，由先進的結構光成像系統所給出的結構光的資訊密度是有限的。
圖6顯示基於具體實施例的一系列結果。在曝光的第一階段中，第一組光發射器111a被開啟，並且所有的光電荷透過第一開關123a被傳送到影像感測器120上之像素121上的第一儲存節點124a(亦參照圖2)。在第二階段中，第二組光發射器111b被開啟，並且所有的光電荷透過第二開關123b被傳送到影像感測器120上之像素 121上的第二儲存節點124b。可在曝光期間將這兩個階段的循環重複多次。為了說明之目的，將圖像中的點數目減少為只有兩個點。第一個點是在曝光期間所有循環的第一階段期間被整合的信號，第二個點是在曝光期間所有循環的第二階段期間被整合的信號。
在圖示的情況中，假設像素121包含一公用信號去除電路在它的訊號處理電路125中，以減去來自第一及第二儲存節點124a、124b之信號的公用水平(參照圖2)。所產生的圖像因此為像素121之第一儲存節點124a及像素121之第二儲存節點124b的差分圖像。
若僅存在背景光(在公用信號去除之後只留下雜訊)，所產生的差分圖像具有大約零的值，且其具有針對源自第一組光發射器111a之點的正信號，以及針對源自第二光發射器111b之點的負信號。圖6a至c的圖，各者顯示依據此實施例所產生的差分圖像的兩個點。圖6a顯示源自第一光發射器111a之發射器的點及源自第二光發射器111b之發射器的點的圖像。兩點的重力中心為相隔4個像素。圖6d繪示通過該些點之中心的水平橫截面。圖6b顯示與圖6a中相同的點，但是兩點為相隔3個像素。圖6e繪示具有該些點中心之信號的水平橫截面。圖6c顯示與圖6a及圖6b中相同的點，但該等中心的距離減少為2個像素。圖6f繪示通過該些點中心之信號的水平橫截面。即使這兩個點之間具有短如2個像素的距離，仍可以輕易地區分這兩個點。
圖6及圖5的圖像系列顯示，相較於屬於圖5的先進結構光成像系統，這些點對於屬於圖6的結構光成像系統10是更好區分的。此範例顯示了在如本文所揭示之結構光中能封裝的資訊密度可以比在先前技術之結構光成像系統中所能封裝的資訊密度還要高。其結果為深度及橫向解析度中的增益，或者具有較低像素計數之影像感測器的使用，其降低了系統複雜度、影像處理資源及成本。
下面的實施例進一步公開：結構光成像系統實施例(結構光成像裝置實施例)：
E1.一種結構光成像系統(10)，包括影像感測器(120)及投射器(110)，其中投射器(110)包括至少兩組光發射器(111a、111b)，其中控制器(150)被組態成使得各組能獨立地操作。
E2.依據實施例E1的結構光成像系統(10)，其中投射器(110)之單一光投射裝置(112)被組態成將由至少兩組光發射器(111a、111b)所發射的結構光投射到場景上。
E3.依據實施例E1或E2的結構光成像系統(10)，其中至少兩組光發射器(111a、111b)包括垂直腔面發射雷射器(VCSEL)。
E4.依據實施例E1至E3的結構光成像系統(10)，其中將至少兩組光發射器(111a、111b)配置在單一晶片上。
E5.依據實施例E1至E4的結構光成像系統(10)， 其中將至少兩組光發射器(111a、111b)物理交錯地配置。
E6.依據實施例E1至E5的結構光成像系統(10)，其中將至少兩組光發射器(111a、111b)配置成發射相同但偏移的結構光圖案。
E7.依據實施例E1至E6的結構光成像系統(10)，其中將至少兩組光發射器(111a、111b)配置成發射不同的結構光圖案。
E8.依據實施例E1至E7的結構光成像系統(10)，其中控制器(150)被組態成致能至少兩組光發射器(111a、111b)以交錯模式操作。
E9.依據實施例E1至E8的結構光成像系統(10)，其中影像感測器(120)包括像素(121)陣列，各像素(121)具有每組光發射器(111a、111b)一獨立的儲存節點(124a、124b)。
E10.依據實施例E1至E9的結構光成像系統(10)，其中控制器(150)被組態成致能針對影像感測器(120)之各像素(121)，每組光發射器(111a、111b)分配一個儲存節點(124a、124b)。
E11.依據實施例E1至E10的結構光成像系統(10)，其中影像感測器(120)之像素(121)包括公用信號去除電路，其被組態成去除影像感測器(120)上之像素(121)的儲存節點(124a、124b)的公用模式信號。
E12.依據實施例E1至E11的結構光成像系統(10)，其中控制器(150)被組態成致能在曝光期間交替地且反覆地開啟至少兩組光發射器(111a、111b)，其中信號相應地被集成在像素(121)之分配的儲存節點(124a、124b)上。
E13.依據實施例E1至E12的結構光成像系統(10)，其中影像感測器(120)的像素(121)為飛行時間像素。
結構光成像方法實施例：
E14.一種結構光成像方法，使用影像感測器(120)及投射器(110)，其中投射器(110)包括至少兩組光發射器(111a、111b)，各光發射器組係獨立地操作。
E15.依據實施例E14的結構光成像方法，其中將由至少兩組光發射器(111a、111b)所發射的結構光透過單一光投射裝置(112)投射到場景上。
E16.依據實施例E14或E15的結構光成像方法，其中以交錯模式操作至少兩組光發射器(111a、111b)。
E17.依據實施例E14至E16的結構光成像方法，其中針對影像感測器(120)之各像素(121)，每組光發射器(111a、111b)分配一個儲存節點(124a、124b)。
E18.依據實施例E14至E17的結構光成像方法，其中，去除影像感測器之儲存節點的公用模式信號。
E19.依據實施例E14至E18的結構光成像方法，其中在曝光期間交替地且反覆地開啟至少兩組光發射器 (111a、111b)，其中信號相應地被集成在像素(121)之分配的儲存節點(124a、124b)上。

Claims (24)

  1. 一種結構化光成像裝置，包含：投射器，其包含可操作用於發射結構化光的至少兩組光發射器，影像感測器，可操作用於感測源自該投射器的光，其中該影像感測器包括像素陣列，每個像素包含至少兩個儲存節點，及控制器，其中該控制器可操作用於獨立地操作該至少兩組光發射器中的每一組，且其中該控制器可操作用於在曝光期間反覆地、交替地開啟各組光發射器中的不同組光發射器，並且用於將其與各像素中的不同儲存節點的分配同步。
  2. 依據申請專利範圍第1項的結構化光成像裝置，其中該影像感測器包括公用信號去除電路。
  3. 依據申請專利範圍第2項的結構化光成像裝置，其中該等公用信號去除電路中的每一個被組態用於從該些個別儲存節點去除公用模式信號。
  4. 依據申請專利範圍第1項的結構化光成像裝置，其中該控制器被進一步操作用於在每個像素中、在不同的個別儲存節點中，收集源自不同組的光發射器發出的結構化光的電荷。
  5. 依據申請專利範圍第1項的結構化光成像裝置，該投射器僅包含單一光投射裝置，且該光投射裝置***作用於將由該至少兩組光發射器所發射的結構化光投射到場景 上。
  6. 依據申請專利範圍第1項的結構化光成像裝置，其中該至少兩組光發射器包含垂直腔面發射雷射器。
  7. 依據申請專利範圍第1項的結構化光成像裝置，其中該至少兩組光發射器中的每一組包含至少一個垂直腔面發射雷射器。
  8. 依據申請專利範圍第1項的結構化光成像裝置，其中該至少兩組光發射器中的每一組包含複數個垂直腔面發射雷射器。
  9. 依據申請專利範圍第1項的結構化光成像裝置，其中將該至少兩組光發射器配置在單一晶片上。
  10. 依據申請專利範圍第1項的結構化光成像裝置，其中該至少兩組光發射器係被配置成物理上交錯。
  11. 依據申請專利範圍第1項的結構化光成像裝置，其中該至少兩組光發射器***作成發射相同的但偏移的結構化光圖案。
  12. 依據申請專利範圍第1項的結構化光成像裝置，其中該至少兩組光發射器***作成發射不同的結構化光圖案。
  13. 依據申請專利範圍第1項的結構化光成像裝置，其中該控制器***作用於以交錯模式操作該至少兩組光發射器。
  14. 依據申請專利範圍第1項的結構化光成像裝置，其中該控制器***作用於以一次僅操作各組光發射器中的 單一組的模式操作該至少兩組光發射器。
  15. 一種用於決定場景之深度圖的深度映射裝置，該裝置包括依據申請專利範圍第1項的結構化光成像裝置，用於以結構化光照射該場景，且用於偵測反射自該場景的該結構化光的光部分；以及處理單元，用於從該偵測到的光部分決定該場景的該深度圖。
  16. 依據申請專利範圍第15項的深度映射裝置，其中該處理單元係包含於該結構化光成像裝置的該控制器中。
  17. 一種場景之深度映射的方法，包含：藉由依據申請專利範圍第1至9項中任一項的結構化光成像裝置的輔助，以結構化光照射該場景；藉由該結構化光成像裝置的輔助，偵測反射自該場景的該結構化光的光部分；從該偵測到的光部分決定該場景的深度圖。
  18. 一種結構化光成像方法，包含：提供投射器，該投射器包含至少兩組光發射器；從該至少兩組光發射器發射結構化光，其中每組光發射器係獨立地操作，以及藉由影像感測器感測源自該投射器的光，其中在曝光期間反覆地、交替地開啟各組光發射器中的不同組光發射器，並且將在曝光期間反覆地、交替地開啟各組光發射器中的不同組光發射器與各像素中的不同儲存節點的分配同步。
  19. 依據申請專利範圍第18項的方法，包含僅透過單一光投射裝置，將來自該至少兩組光發射器的該結構化光發射至該場景上。
  20. 依據申請專利範圍第18項的方法，包含以交錯模式操作該至少兩組光發射器。
  21. 依據申請專利範圍第18項的方法，該方法包含：在每個像素中，從個別像素的個別儲存節點去除公用模式信號。
  22. 依據申請專利範圍第18項的方法，包含，在每個像素中、在不同的個別儲存節點中，收集源自不同組的光發射器發出的結構化光的電荷。
  23. 一種場景之深度映射的方法，包含：以來自投射器之結構化光照射該場景，該投射器包含至少第一及第二組光發射器；該照射包含在曝光期間反覆地、交替地開啟至少該第一及該第二組光發射器；偵測反射自該場景的該結構化光的光部分，其中偵測該光部分包括將開啟的至少該第一及該第二組光發射器與影像感測器之像素陣列的各像素中的不同儲存節點的分配同步；從該偵測到的光部分決定該場景的深度圖。
  24. 依據申請專利範圍第23項的方法，包含：決定在該偵測到的源自該第一組光發射器的光部分以及該偵測到的源自該第二組光發射器的光部分之間的差。
TW104120353A 2014-06-27 2015-06-24 結構化的光成像系統及方法 TWI669482B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CH9762014 2014-06-27
CH00976/14 2014-06-27

Publications (2)

Publication Number Publication Date
TW201614189A TW201614189A (en) 2016-04-16
TWI669482B true TWI669482B (zh) 2019-08-21

Family

ID=54938550

Family Applications (1)

Application Number Title Priority Date Filing Date
TW104120353A TWI669482B (zh) 2014-06-27 2015-06-24 結構化的光成像系統及方法

Country Status (5)

Country Link
US (1) US20170142393A1 (zh)
KR (1) KR102425033B1 (zh)
CN (1) CN106662433B (zh)
TW (1) TWI669482B (zh)
WO (1) WO2015199615A1 (zh)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110187878A1 (en) 2010-02-02 2011-08-04 Primesense Ltd. Synchronization of projected illumination with rolling shutter of image sensor
US10368056B2 (en) 2015-06-19 2019-07-30 Shanghai Percipio Technology Limited Depth data detection and monitoring apparatus
CN105554470B (zh) * 2016-01-16 2018-12-25 上海图漾信息科技有限公司 深度数据监控***
US10620300B2 (en) 2015-08-20 2020-04-14 Apple Inc. SPAD array with gated histogram construction
KR20170105701A (ko) * 2016-03-09 2017-09-20 한국전자통신연구원 스캐닝 장치 및 이의 동작 방법
US10241244B2 (en) 2016-07-29 2019-03-26 Lumentum Operations Llc Thin film total internal reflection diffraction grating for single polarization or dual polarization
CN106767707B (zh) * 2016-12-16 2019-06-04 中南大学 一种基于结构光的储物状态检测方法及***
CN106802138B (zh) 2017-02-24 2019-09-24 先临三维科技股份有限公司 一种三维扫描***及其扫描方法
US10445893B2 (en) 2017-03-10 2019-10-15 Microsoft Technology Licensing, Llc Dot-based time of flight
US10955552B2 (en) 2017-09-27 2021-03-23 Apple Inc. Waveform design for a LiDAR system with closely-spaced pulses
US10731976B2 (en) 2017-10-02 2020-08-04 Liqxtal Technology Inc. Optical sensing device and structured light projector
US10458783B2 (en) 2017-10-13 2019-10-29 Faro Technologies, Inc. Three-dimensional scanner having pixel memory
WO2019125349A1 (en) 2017-12-18 2019-06-27 Montrose Laboratories Llc Time-of-flight sensing using an addressable array of emitters
US10447424B2 (en) 2018-01-18 2019-10-15 Apple Inc. Spatial multiplexing scheme
DE102018105219A1 (de) 2018-03-07 2019-09-12 Ifm Electronic Gmbh Optisches Messsystem zur tiefensensitiven Messung und dessen Verwendung
US10877285B2 (en) 2018-03-28 2020-12-29 Apple Inc. Wavelength-based spatial multiplexing scheme
DE102018004078A1 (de) * 2018-05-22 2019-11-28 Friedrich-Schiller-Universität Jena Verfahren zur strukturierten Beleuchtung
CN108845332B (zh) * 2018-07-04 2020-11-20 歌尔光学科技有限公司 基于tof模组的深度信息测量方法及装置
US11054546B2 (en) 2018-07-16 2021-07-06 Faro Technologies, Inc. Laser scanner with enhanced dymanic range imaging
JP2020020681A (ja) * 2018-08-01 2020-02-06 ソニーセミコンダクタソリューションズ株式会社 光源装置、イメージセンサ、センシングモジュール
JP2020020680A (ja) * 2018-08-01 2020-02-06 ソニーセミコンダクタソリューションズ株式会社 光源装置、撮像装置、センシングモジュール
JP2020021842A (ja) * 2018-08-01 2020-02-06 ソニーセミコンダクタソリューションズ株式会社 光源装置、駆動方法、センシングモジュール
CN109299677A (zh) * 2018-09-07 2019-02-01 西安知微传感技术有限公司 一种人脸识别活体判断方法及***
US11493606B1 (en) 2018-09-12 2022-11-08 Apple Inc. Multi-beam scanning system
KR102604902B1 (ko) 2019-02-11 2023-11-21 애플 인크. 펄스형 빔들의 희소 어레이를 사용하는 깊이 감지
CN113490880A (zh) * 2019-03-01 2021-10-08 瑞识科技（深圳）有限公司 基于垂直腔面发射激光器(vcsel)阵列的图案投影仪
US11500094B2 (en) 2019-06-10 2022-11-15 Apple Inc. Selection of pulse repetition intervals for sensing time of flight
US11555900B1 (en) 2019-07-17 2023-01-17 Apple Inc. LiDAR system with enhanced area coverage
KR102233295B1 (ko) * 2019-09-03 2021-03-29 한국과학기술원 스트라이프 패턴을 가지는 가변 구조광 생성 장치 및 방법
EP3798679B1 (en) * 2019-09-30 2023-06-21 STMicroelectronics (Research & Development) Limited Laser safety verification
US11733359B2 (en) 2019-12-03 2023-08-22 Apple Inc. Configurable array of single-photon detectors
US11297289B2 (en) * 2019-12-26 2022-04-05 Himax Technologies Limited Structured light projector
KR20210115715A (ko) * 2020-03-16 2021-09-27 에스케이하이닉스 주식회사 이미지 센싱 장치 및 그의 동작 방법
CN111526303B (zh) * 2020-04-30 2022-05-24 长春长光辰芯光电技术有限公司 结构光成像中去除背景光的方法
US11681028B2 (en) 2021-07-18 2023-06-20 Apple Inc. Close-range measurement of time of flight using parallax shift

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120274744A1 (en) * 2011-04-26 2012-11-01 Aptina Imaging Corporation Structured light imaging system
CN103309137A (zh) * 2012-03-15 2013-09-18 普莱姆森斯有限公司 结构光的投影机
TWI460468B (zh) * 2011-10-19 2014-11-11 Nat Synchrotron Radiation Res Ct 使用結構光照明的光學取影系統

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040222987A1 (en) * 2003-05-08 2004-11-11 Chang Nelson Liang An Multiframe image processing
MX2009010393A (es) * 2007-03-28 2009-11-23 Interdigital Tech Corp Metodo y aparato para indicar un flujo de bloque temporal al cual se direcciona un campo de acuse de recibo/no acuse de recibo transportado.
US8659698B2 (en) * 2007-05-17 2014-02-25 Ilya Blayvas Compact 3D scanner with fixed pattern projector and dual band image sensor
DE202010018585U1 (de) * 2009-05-27 2017-11-28 Koh Young Technology Inc. Vorrichtung zur Messung einer dreidimensionalen Form
US8570530B2 (en) * 2009-06-03 2013-10-29 Carestream Health, Inc. Apparatus for dental surface shape and shade imaging
DE102009030549A1 (de) * 2009-06-25 2010-12-30 Osram Opto Semiconductors Gmbh Optisches Projektionsgerät
US8165351B2 (en) * 2010-07-19 2012-04-24 General Electric Company Method of structured light-based measurement
CN102760234B (zh) * 2011-04-14 2014-08-20 财团法人工业技术研究院 深度图像采集装置、***及其方法
US8749796B2 (en) * 2011-08-09 2014-06-10 Primesense Ltd. Projectors of structured light
US9020006B2 (en) * 2012-01-18 2015-04-28 Hewlett-Packard Development Company, L.P. High density laser optics
US20150260509A1 (en) * 2014-03-11 2015-09-17 Jonathan Kofman Three dimensional (3d) imaging by a mobile communication device

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120274744A1 (en) * 2011-04-26 2012-11-01 Aptina Imaging Corporation Structured light imaging system
TWI460468B (zh) * 2011-10-19 2014-11-11 Nat Synchrotron Radiation Res Ct 使用結構光照明的光學取影系統
CN103309137A (zh) * 2012-03-15 2013-09-18 普莱姆森斯有限公司 结构光的投影机

Also Published As

Publication number Publication date
WO2015199615A1 (en) 2015-12-30
TW201614189A (en) 2016-04-16
KR20170027788A (ko) 2017-03-10
CN106662433B (zh) 2019-09-06
KR102425033B1 (ko) 2022-07-25
CN106662433A (zh) 2017-05-10
US20170142393A1 (en) 2017-05-18

Similar Documents

Publication Publication Date Title
TWI669482B (zh) 結構化的光成像系統及方法
JP6983192B2 (ja) 撮像システムおよびそれを動作させる方法
US10872430B2 (en) Active illumination 3D zonal imaging system
JP7028878B2 (ja) 物体までの距離を測定するためのシステム
CN110325879B (zh) 用于压缩三维深度感测的***和方法
KR102486385B1 (ko) 깊이 정보 획득 장치 및 방법
US10412352B2 (en) Projector apparatus with distance image acquisition device and projection mapping method
US9749613B2 (en) 3D image acquisition apparatus and method of generating depth image in the 3D image acquisition apparatus
US8199335B2 (en) Three-dimensional shape measuring apparatus, three-dimensional shape measuring method, three-dimensional shape measuring program, and recording medium
JP2011169701A (ja) 物体検出装置および情報取得装置
KR20210066025A (ko) 구조화된 광 조명기가 있는 비행-시간 센서
EP3625589A1 (en) System and method for determining a distance to an object
JP2017517737A (ja) Ｔｏｆカメラシステムおよび該システムにより距離を測定するための方法
CN105554470B (zh) 深度数据监控***
US20130002823A1 (en) Image generating apparatus and method
Grunnet-Jepsen et al. Projectors for intel® realsense™ depth cameras d4xx
JP2023026503A (ja) 車両の周囲を特徴付けるためのシステム
US20230204724A1 (en) Reducing interference in an active illumination environment
WO2012047536A2 (en) Image projection apparatus tiling system and method
US20120162370A1 (en) Apparatus and method for generating depth image
US10466048B2 (en) Distance measuring apparatus, distance measuring method, and image pickup apparatus
CN109991581A (zh) 飞行时间获取方法和飞行时间相机
JPWO2022153969A5 (zh)
CN110545390B (zh) 飞行时间传感器及方法
JP7501582B2 (ja) 撮像装置