TWI513273B - 掃描投影機及用於３ｄ映射之影像擷取模組 - Google Patents

掃描投影機及用於３ｄ映射之影像擷取模組 Download PDF

Info

Publication number
TWI513273B
TWI513273B TW100128723A TW100128723A TWI513273B TW I513273 B TWI513273 B TW I513273B TW 100128723 A TW100128723 A TW 100128723A TW 100128723 A TW100128723 A TW 100128723A TW I513273 B TWI513273 B TW I513273B
Authority
TW
Taiwan
Prior art keywords
image
pattern
interest
region
scanned
Prior art date
Application number
TW100128723A
Other languages
English (en)
Other versions
TW201233141A (en
Inventor
Alexander Shpunt
Benny Pesach
Ronen Akerman
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of TW201233141A publication Critical patent/TW201233141A/zh
Application granted granted Critical
Publication of TWI513273B publication Critical patent/TWI513273B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2518—Projection by scanning of the object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/363—Image reproducers using image projection screens
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/365—Image reproducers using digital micromirror devices [DMD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Mechanical Optical Scanning Systems (AREA)

Description

掃描投影機及用於3D映射之影像擷取模組
本發明概言之係關於用於投影並擷取光輻射之方法及裝置，且特定而言係關於為了3D映射之目的之投影及影像擷取。
此項技術中已知用於光學3D映射(即，藉由處理一物體之一光學影像來產生該物體之表面之一個3D輪廓)之各種方法。此種3D輪廓亦稱作一個3D映像、深度映像或深度影像，且3D映射亦稱作深度映射。
一些3D映射方法係基於將一雷射斑紋圖案投影至該物體上，並隨後分析該物體上之該圖案之一影像。舉例而言，其揭示內容以引用方式併入本文中之PCT國際公開申請案WO 2007/043036闡述一種其中一同調光源及一隨機斑紋圖案之一產生器將一同調隨機斑紋圖案投影至該物體上之用於物體重構之系統及方法。一成像單元偵測受照區域之光回應並產生影像資料。使用該物體之該影像中之該圖案相對於該圖案之一參考影像之移位來即時重構該物體之一個3D映像。用於使用斑紋圖案來進行3D映射之更多方法例如闡述於其揭示內容以引用方式併入本文中之PCT國際公開申請案WO 2007/105205中。
其他光學3D映射方法將不同種類之圖案投影至欲映射之物體上。舉例而言，其揭示內容以引用方式併入本文中之PCT國際公開申請案WO 2008/120217闡述一種包括含有光點之一固定圖案之一單個透明片之用於3D映射之照射總成。一光源用光輻射來透照該透明片以便將該圖案投影至一物體上。一影像擷取總成擷取該物體上之該圖案之一影像，且該影像經處理以便重構該物體之一個3D映像。
下文所述之本發明各實施例提供用於有效投影圖案，特定而言用於3D映射以及用於成像此等所投影圖案之方法及設備。
因此，根據本發明之一實施例，提供包括一照射模組之用於映射之設備，該照射模組包括：一輻射源，其經組態以發射一輻射光束；及一掃描器，其經組態以在一選定角範圍內接收並掃描該光束。照射光學器件經組態以投影該所掃描光束以便形成在一所關注區域內延伸之光點之一圖案。一成像模組經組態以擷取投影至該所關注區域中之一物體上的該圖案之一影像。一處理器經組態以處理該影像以便建構該物體之一個三維(3D)映像。
該等光點之該圖案可在由該設備映射之一深度範圍內不相關。
在一些實施例中，該輻射源經控制以便在該掃描器掃描該光束時調變該光束之一強度，由此在該所關注區域上形成該等光點之該圖案。該照射模組可經組態以回應於由該成像模組所擷取之該影像而修改該圖案。該照射模組可經組態以控制該輻射源及該掃描器中之至少一者以便修改該所關注區域之一選定部分內呈陣列之該等光點之一角密度。另一選擇係或另外，該照射模組可經組態以控制該輻射源及該掃描器中之至少一者以便修改關於該所關注區域之一選定區中該等光點之一亮度。
在一替代實施例中，該掃描器經組態以在一第一角範圍內掃描該光束，且該等光學器件包括一光束***器，該光束***器經組態以形成在大於該第一角範圍之一第二角範圍內共同延伸的該所掃描光束之多個有角間隔開之複製物。該掃描器及該光束***器可經組態以用由該所掃描光束之該多個有角間隔開之複製物所形成之該圖案來拼貼該所關注區域。
在另一實施例中，該等光學器件包括一圖案化元件，該圖案化元件經組態以在由該光束照射時在一第一角範圍內形成該圖案，且該掃描器經組態以引導該光束連續地以多個不同角度撞擊該圖案化元件以便形成在大於該第一角範圍之一第二角範圍內共同延伸的該圖案之多個有角間隔開之複製物。該掃描器及該圖案化元件可經組態以用該圖案之該多個有角間隔開之複製物來拼貼該所關注區域。
在再一實施例中，該掃描器經組態以在一第一角範圍內掃描該光束，且該等光學器件包括一掃描擴展元件，該掃描擴展元件經組態以分散該所掃描光束以便以空間圖案涵蓋大於該第一角範圍之一第二角範圍。該掃描擴展元件可選自由一凸面反射器與一繞射光學元件組成之一元件群組。
在一所揭示實施例中，該照射模組包括至少一個光束感測器，該至少一個光束感測器係以處於由該掃描器掃描之角範圍內之一選定角度定位以便週期性地接收該所掃描光束並由此驗證該掃描器正在操作。通常，該照射模組經組態以在該感測器未能週期性地接收到該所掃描光束時抑制自該輻射源發射該光束。
在一些實施例中，該輻射源包括：一第一輻射源，其發射一紅外光束，該紅外光束經調變以形成該等光點之該圖案；及一第二輻射源，其發射一可見光光束，該可見光光束經調變以將一可見影像投影至該所關注區域上。該等掃描器及光學器件經組態以同時將該紅外光束及該可見光光束兩者投影至該所關注區域上。通常，該第二輻射源經控制以便回應於該3D映像而將該可見影像投影至該物體上。
在所揭示實施例中，該處理器經配置以藉由尋得該所擷取影像之若干區中之該等光點與屬於該圖案之一參考影像之對應參考光點位置之間的各別偏移來導出該3D映像，其中該等各別偏移指示該等區與影像擷取總成之間的各別距離。在一些實施例中，該成像模組包括一位置靈敏偵測器，該位置靈敏偵測器經組態以感測並輸出在由該照射模組投影該物體上的該圖案中之每一光點時該光點之一偏移。該成像模組可經組態以與該照射模組中之該掃描器同步地或與來自該輻射源之該光束一起掃描該位置靈敏偵測器之一視域。
另一選擇係或另外，該照射模組及該成像模組經配置以使得該等偏移沿一第一方向發生，且該成像模組包括配置成沿該第一方向延伸之一或多個列之一偵測器元件陣列及經組態以將該圖案成像至該陣列上且具有沿該第一方向較沿一第二垂直方向為大之一光學功率之像散光學器件。
在一些實施例中，該成像模組包括一感測器及成像光學器件，該等感測器及成像光學器件界定與該照射模組之該所掃描光束同步地在該所關注區域內掃描之一感測區。該感測器可包括具有一滾動快門之一影像感測器，其中該滾動快門與該所掃描光束同步。另外或另一選擇係，該照射模組中之該掃描器可係可控制的以動態地改變該選定角範圍，且該成像模組可包括一成像掃描器，該成像掃描器經組態以動態地掃描該感測區以與該所掃描光束之該選定角範圍相匹配。
根據本發明之一實施例，亦提供一種包括一照射模組之用於映射之設備，該照射模組包括一輻射源，該輻射源經組態以發射具有根據一所指定時間調變而改變之一強度之一輻射光束。一掃描器經組態以在一所關注區域內接收並掃描該光束，以便以由對該光束之該時間調變決定之一空間強度圖案來將該輻射投影至該區域上。一成像模組經組態以擷取投影至該所關注區域中之一物體上的該空間強度圖案之一影像。一處理器經組態以處理該影像以便建構該物體之一個三維(3D)映像。
在一所揭示實施例中，該時間調變係二進制的，且其中該空間強度圖案包括藉由該時間調變所產生之一光點陣列。
在一項實施例中，該成像模組包括一感測器及成像光學器件，該等感測器及成像光學器件界定與該照射模組之該所掃描光束同步地在該所關注區域內掃描之一感測區。
根據本發明之一實施例，另外提供一種用於映射之方法，該方法包括在一選定角範圍內掃描一輻射光束以便形成在一所關注區域內延伸之光點之一圖案。擷取並處理投影至該所關注區域中之一物體上的該圖案之一影像以便建構該物體之一個三維(3D)映像。
根據本發明之一實施例，進一步提供一種用於映射之方法，該方法包括產生具有根據一所指定時間調變而改變之一強度之一輻射光束。在一所關注區域內掃描該光束，以便以由對該光束之該時間調變決定之一空間強度圖案來將該輻射投影至該區域上。擷取並處理投影至該所關注區域中之一物體上的該空間強度圖案之一影像以便建構該物體之一個三維(3D)映像。
結合圖式，閱讀下文對本發明各實施例之詳細說明將更全面地瞭解本發明，其中：
下文闡述之本發明各實施例尤其提供用於有效投影圖案，特定而言用於3D映射以及用於有效成像此等所投影圖案之方法及設備。
在本發明之一些實施例中，一照射模組將光點之一圖案投影至一所關注區域上，且一成像模組擷取出現在該區域中之物體上之該圖案之一影像。此影像經處理以便尋得該影像中之該等光點之位置，並在此基礎上建構該所關注區域中之一物體之一個3D映像。通常基於該影像中之該等光點相對於該圖案之一參考影像中之對應參考光點位置之偏移藉由三角量測來計算該映像中之深度座標。
在所揭示實施例中，動態地投影該圖案，即，不是在該整個區域上同時投影該圖案，而是藉由掃描由一輻射源發射之一光束來形成該圖案。在一選定角範圍內掃描該光束。(所揭示實施例中之一些實施例涉及控制及/或擴展此範圍。)通常在該掃描期間調變該光束之強度以便形成所期望圖案。該掃描在可在映射一給定景物之過程中修改該圖案之態樣(諸如其密度、亮度及/或角範圍)意義上係「動態的」。儘管下文所述之實施例係具體針對光點圖案而繪製，但本發明之原理可同樣適用於為了3D映射之目的而形成其他種類之圖案。
此動態掃描方法在若干個重要方面係有利的。舉例而言，以此方式之動態掃描在形成圖案方面，特定而言在可在所關注區域之影像的基礎上修改圖案方面賦予靈活性。舉例而言，圖案中之光點之角密度及/或光點之亮度可根據景物中之所關注物體之景物條件及特徵而在不同區中不同。
同樣地可與對照射光束之掃描結合動態地操作成像模組，以便成像模組之活動視域追蹤在掃描中之任一時刻實際照射之圖案之區。未必如同在習用影像感測器中一樣同時擷取由所關注區域如此形成之影像，而是可作為形成該3D映像之過程之一部分，基於在掃描期間由一偵測器擷取之本端信號以電子方式組合該影像。以此方式使照射及偵測源集中於一小的移動區中可增強所偵測圖案之信號/背景比且因此改善3D映射之精度。成像模組之視域可例如以光學方式(可能使用(至少部分地)同一掃描器作為照射模組)或以電子方式(使用具有一滾動快門之一影像感測器)追蹤對照射光束之掃描。
下文所述之實施例中之一些實施例涉及擴展由照射模組所提供之掃描之角範圍。此等實施例解決一些3D映射系統對遠大於一些習用掃描器之掃描範圍之一寬視域之需要。在一種這樣的實施例中，投影模組之光學器件包含一光束***器，該光束***器同時形成所掃描光束之多個有角間隔開之複製物。此等複製物在一較該掃描範圍為大之角範圍內共同延伸。在另一實施例中，該掃描器引導來自該輻射源之該光束連續地以多個不同角度撞擊一圖案化元件，且因此形成圖案之多個有角間隔開之複製物。不論是哪種情況，照射模組之元件可經組態而以此方式用該圖案來拼貼該所關注區域，即，用該圖案之毗鄰複製物來涵蓋該區域，而無複製物之間的顯著重疊或間隙。(在此上下文中，間隙或重疊在其大約為光點之間的間距或大於此量級之情況下被視為「顯著的」。)
另一選擇係或另外，照射模組可包含諸如一凸面反射器或一繞射光學元件(DOE)之一掃描擴展元件，該掃描擴展元件擴展由所掃描光束涵蓋之角範圍。
下文闡述對使用一所掃描輻射源之一個3D映射系統之元件之其他應用及關於使用一所掃描輻射源之3D映射系統之元件之變化形式。
系統描述
圖1係根據本發明之一實施例，用於3D映射之系統20之一示意性俯視圖。系統20構建於一映射裝置22周圍，該映射裝置經組態以擷取影像並產生一景物之3D映像。該景物此處包括諸如該裝置之一使用者之手之一物體28。由裝置22所產生之3D映像中之深度資訊可例如由一主機電腦(未展示)用作使得使用者能夠與在電腦上運行之遊戲及其他應用程式以及與一顯示螢幕上所展示之元件互動之一個3D使用者介面之一部分。(此種功能性例如闡述於其揭示內容以引用方式併入本文中之美國專利申請公開案2009/0183125中。)置22之此特定應用此處提及僅為舉例說明，且該裝置之映射功能亦可用於其他目的，且適用於實質上任何合適類型之景物及3D物體。
在圖1中所示之實例中，映射裝置22中之一照射模組30將一光輻射圖案投影至物體28上，如下文將詳細解釋。用於此目的之光輻射通常處於紅外(IR)範圍內，但同樣可使用可見光或紫外光。(在圖7中展示之一項實施例中，一照射模組投影紅外及可見輻射兩者。)一成像模組38擷取並解碼該物體上之該圖案之影像以便產生影像中之每一像素之一數位移位值。該移位值表示所擷取影像中之每一像素之區中之圖案之一元件(通常為一光點)與該圖案之一參考影像中之對應圖案元件之一參考位置之間的偏移。此等偏移指示對應於該像素之實際景物中之點與影像擷取總成之間的各別距離。另一選擇係，模組38可輸出原始像素值，且該等移位值可由裝置22之另一組件或由主機電腦來計算。
裝置22中之一處理器46處理該等移位值(在必要時由模組38計算相對於原始像素值之移位值之後)以便產生由裝置22照射且成像之所關注區域之一深度映像。該深度映像包含一個3D座標陣列，該陣列包含物體表面於一預定義視域內之每一點(X、Y)處之一深度(Z)座標值。(在一影像相關資料陣列之上下文中，此等(X、Y)點亦稱作像素。)在本實施例中，該處理器基於該圖案於每一像素處之橫向移位藉由三角量測來計算物體28之表面上之點之3D座標。此等三角量測計算之原理例如闡述於上述PCT公開申請案WO 2007/043036、WO 2007/105205及WO 2008/120217中。
在替代實施例中，加以必要的變通，裝置22之元件可用於其他類型之深度映射系統中，諸如基於往來於所關注景物之光脈衝之飛行時間之量測之系統或立體系統以及使用所投影光束之其他種類之應用。
在圖1中，X軸被視為沿著裝置22之正面之水平方向，Y軸為垂直方向(在此視圖中超出頁面)，且Z軸沿該物體由該總成成像之大體方向遠離裝置22延伸。模組30及38之光軸平行於Z軸，其中X軸上之各別光瞳相隔一已知距離。在此組態中，由模組38擷取之影像中之圖案之橫向移位將僅限於(在容許錯誤範圍內)沿X方向，如上述PCT公開申請案中所解釋。
如上所述，照射模組30用光點之一圖案(諸如光點之一不相關圖案)來照射所關注景物。在本專利申請案之上下文中且在申請專利範圍中，措詞「不相關圖案」係指其位置在橫向於投影光束軸之平面中不相關之光點(其可係亮的或暗的)之一所投影圖案。該等位置在隨橫向移位而變化之圖案之自相關對於大於光點尺寸且不大於可發生於由該系統映射之深度範圍內之最大移位之任一移位不重要意義上不相關。隨機、偽隨機及擬週期圖案通常不相關到由上述定義所指定之程度。
為產生光點之圖案，模組30通常包含一合適之輻射源32，諸如一經準直二極體雷射或一發光二極體(LED)或具有適當形狀之一輻射光束之其他光源。該光束由一合適之掃描器34及照射光學器件35在一角度範圍內掃描。該光束在該掃描期間經調變以便產生該圖案。舉例而言，該光束可在時間上藉由接通與關斷源32來加以調變以形成光點或其他形式之二進制圖案。光學器件35通常包含可在不同實施例中採取各種不同形式之一或多個透鏡及/或其他光學組件，如下所述。該圖案在界定一投影視域(FOV) 36之某一角範圍內投影至該景物上，因此將對源32之時間調變轉換成在系統20之所關注區域中之物體上延伸之一所期望空間強度圖案。
在所揭示實施例中，掃描器34包含具有一機械掃描驅動器之一掃描鏡50，但亦可使用其他類型之掃描器(諸如聲光掃描器)。掃描器34可包含例如一雙向掃描鏡或一對單向掃描鏡。此等鏡可基於整合型微機電系統(MEMS)技術。此種類之掃描鏡係由諸如Microvision公司(華盛頓州Redmond市)之若干個製造商生產。
成像模組38通常包含在一感測器40上形成出現在所關注區域中之景物上之投影圖案之一影像之物鏡光學器件42。在圖1中所描繪之實例中，感測器40包含一CMOS影像感測器，該CMOS影像感測器包含二維矩陣之偵測器元件41。該矩陣之列及行與X及Y軸對準。另一選擇係，可在模組38中使用其他類型之感測器，如下所述。感測器40及物鏡光學器件42界定一成像視域44，該成像視域通常含於裝置22之所關注區域中FOV 36內。儘管感測器40在圖1中展示為具有大致相等數目個列及行之偵測器元件41，但在下文中闡述之其他實施例中，該感測器可包含僅一小數目個列，或甚至僅一單個列或一單個位置靈敏偵測器元件。
如上所述，輻射源32通常發射紅外輻射。感測器40可包含不具有一紅外截止濾波器之一單色感測器，以便偵測具有高靈敏度之所投影圖案之影像。為增強由感測器40擷取之影像之反差，光學器件42或該感測器本身可包含一帶通濾波器(未展示)，該帶通濾波器傳遞輻射源32之波長而阻斷其他頻帶中之環境輻射。
處理器46通常包含以軟體(或韌體)程式化以實施該處理並控制本文中闡述之功能之一嵌入式微處理器。該處理器可例如動態地控制照射模組30及/或成像模組38以調整諸如圖案密度、亮度及角範圍之參數，如下文詳細闡述。一記憶體48可保存程式碼、查找表及/或期中計算結果。另一選擇係或另外，處理器46可包含用於實施其功能中之一些功能或所有功能之可程式化硬體邏輯電路。可適用於處理器46之一深度映射處理器之實施方案之細節提供於其揭示內容以引用方式併入本文中之美國專利申請公開案2010/0007717中。
掃描照射模組
圖2A及圖2B係根據本發明之一實施例應用，照射模組30於兩個不同操作階段中之示意性俯視圖。在此實施例中，輻射源32包含一雷射二極體52及一準直透鏡54。來自該輻射源之該光束由掃描鏡50在受限於該掃描器之機械及光學性質之一角度範圍內掃描。(為簡化起見自此圖及後續圖省略該掃描器構。)圖2A展示該鏡處於該掃描之大致中心處，而在圖2B中該鏡處於其最極端偏轉下。此偏轉界定可由所掃描光束涵蓋之最大角範圍。
為擴展此範圍，諸如一合適繞射光學元件(DOE)之一光束***器55***所掃描光束以形成所掃描光束之多個有角間隔開之複製物56、58、60。(在沒有該光束***器的情況下，模組30將投影僅光束56。)當鏡50掃描該輻射光束時，複製物56、58、60在該所關注區域上並行掠過，從而涵蓋大於由該掃描器獨自提供之掃描範圍之一角範圍。儘管為簡化起見，圖2A及圖2B展示三個複製光束，但光束***器55亦可經組態以賦予僅兩個複製光束或賦予一更大數目個複製光束。一般而言，光束***器55可經組態以根據應用要求來產生呈實質上任一所期望佈局之mXn個光束複製物之實質上任一陣列。
圖2C係根據本發明之一實施例，由圖2A及圖2B之照射模組投影之輻射圖案之一示意性正視圖。對雷射二極體52之接通/關斷調變致使每一光束複製物56、58、60、...在視域36之一對應子區內形成光點66之一各別圖案64。光束***器55之扇出角及掃描器34之角掃描範圍通常經選取以使得圖案64將所關注區域拼貼成實質上無孔且無圖案之間的重疊。此種拼貼配置可有效地用來在3D映射系統中於一寬角範圍內投影圖案。另一選擇係，扇出角及掃描範圍可經選取以使得圖案64重疊。該等圖案可如同在所描繪實施例中一樣係光點圖案，或可包含其他類型之結構化光。
圖3係根據本發明之一替代實施例，照射模組30之一示意性側視圖。此實施例可用於形成圖2C中展示之同一種經拼貼圖案。然而，其不同於此處所述之其他實施例，因為其與掃描鏡50結合使用一繞射光學元件(DOE) 70作為一空間調變器來形成對該景物之圖案化照射。由於此配置，降低對鏡50之要求，以使得一慢得多的掃描速率成為可能，或鏡50可簡單地在離散位置之間跳轉，且照射源32可以一慢得多的速率脈衝接通及關斷。
在光學原理方面，此實施例類似於皆以引用方式併入本文中之美國專利申請公開案2009/0185274及2010/0284082中闡述之基於DOE之方案。此等公開申請案闡述用於使用一對DOE來形成繞射圖案之方法，該對DOE中之一者將一輸入光束***成一矩陣之輸出光束，而另一者將一圖案應用至該等輸出光束中之每一者。該兩個DOE因此共同將輻射投影至該圖案之多個毗鄰例項中之一空間區域上。
在本實施例中，鏡50之掃描圖案代替該等DOE中之一者以將來自輻射源32之輸入光束***成多個中間光束72。為此目的，鏡50沿X及Y方向掃描至一矩陣之預定角度中之每一者且在此等角度中之每一者處駐留達通常大約為幾毫秒之某一時間週期。每一駐留點界定一光束72。DOE 70沿著一各別軸76將光束72中之每一者繞射成一圖案化輸出光束74。軸76與光束74之發散角之間的扇出角可經選取(藉由DOE 70及鏡50之掃描圖案之適當設計)以使得光束74以圖2C中所示之方式拼貼視域36。
圖3之實施例可與各種類型之影像擷取模組38結合操作，如下所述。由於依序照射光束74，因此模組38之影像擷取圖案與照射序列同步以便使所關注景物之擷取影像中之信號/背景比最大化係合意的。某些類型之影像感測器(諸如CMOS感測器)具有一滾動快門，該滾動快門可使用例如闡述於其揭示內容以引用方式併入本文中之於2010年4月19日提出申請之美國專利申請案12/762,373中之技術來與照射序列同步。
圖4係根據本發明之另一實施例，照射模組30之一示意性側視圖。假定源32為一雷射，則其發射之光束較強且應由鏡50連續掃描以保證眼睛安全。在模組30之正常操作中，源32僅在鏡50移動時發射該光束，以使得在視域36中之所有位置處之駐留時間較短且因此不對眼睛造成任何危險。然而，若驅動鏡50之機構黏住或者誤操作，則該光束可在一個位置處駐留達一延長週期。
為避免此不測事件，模組30包含耦合至處理器46(未展示於此圖中)之諸如光電二極體之一或多個光束感測器80、82、...。此等感測器係以處於由鏡掃描之角範圍內之一選定角度或若干角度定位以便週期性地接收所掃描光束且因此驗證該掃描器正在操作。在此實例中，在FOV 36之相對側上展示兩個感測器，但亦可使用一單個安全感測器或一更大數目個此類感測器。
驅動鏡50之機構可經程式化，例如，以在每一掃描開始時將來自源32之光束引向感測器80且在每一掃描結束時將來自源32之光束引向感測器82。當該光束撞擊該等感測器中之一者時，彼感測器向處理器46輸出一脈衝。該處理器監測該等脈衝且追蹤在各脈衝間所流逝之時間。若時間超過一預設最大值，則該處理器將立即抑制自輻射源32發射該光束(通常藉由簡單地切斷該光束)。此種計時事件將在鏡50被卡在一給定位置處之情況下發生。因此，在這樣一種情況下，將立即切斷來自模組30之該光束，且將避免任何潛在的安全隱患。
圖5係根據本發明之再一實施例，投影模組30之一示意性側視圖。此實施例特定而言涉及相對於鏡50之掃描範圍擴展FOV 36。其解決在諸如MEMS之某些技術中，鏡50之掃描範圍較小，而一些3D映射應用要求在一寬視域上映射之問題。
在所描繪實施例中，鏡50在等於αmirror /2之一角範圍內掃描，從而賜予通常大約為10°至30°之寬度αmirror 之一初始FOV。來自鏡50之光束撞擊一掃描擴展元件(在此種情況下一凸面反射器88)，該掃描擴展元件擴展光束範圍以使得FOV 36具有可大約為60°至120°之寬度αout 。針對二維(X-Y)掃描，元件60可係球面的，或其可具有沿X及Y方向具有不同曲率半徑之一表面以便產生在一個維度上較在另一個維度上為寬之一視域，或其可具有某一其他非球面形狀。另一選擇係，該掃描擴展反射器可由一DOE或具有類似掃描擴展性質之一繞射元件(未展示)取代。此外，另一選擇係，反射器88之功能可由同一類型或不同類型之光學元件之一組合履行。
圖6係根據本發明之一實施例，一個3D映射系統90在操作中之一示意性、形象化圖。在此系統中，裝置22與一遊戲控制臺92結合使用以操作與兩個參與者94及96之一互動遊戲。為此目的，裝置22將光點100之一圖案投影至其視域中之物體(包括參與者及諸如系統90位於其中之房間之牆壁(及其他元件)之一背景98)上。裝置22擷取並處理該圖案之一影像，如上文所解釋，以便形成參與者及景物中之其他物體之一個3D映像。控制臺92回應於參與者之身體移動而控制遊戲，參與者之身體移動係由裝置22或控制臺92藉由分割並分析3D映像之變化偵測到。
此處展示系統90以便舉例說明3D映射系統可遇到之困難中之一些困難。所映射景物上之物體可在尺寸上相差很大，且常常小的物體(諸如參與之手、腿及頭)快速移動及改變其外觀形式。此外，往往正是此等物體需要為了在控制臺92上運行之遊戲或其他互動應用之目的而準確地映射。同時，所關注區域中之不同物體可既因反射比之變化亦因距該裝置之距離之很大差異而以大不相同之強度將圖案化照射反射返回至裝置22。因此，由成像模組38擷取之影像中之圖案之一些區可能太暗以致於不能提供準確的深度讀取。
為克服此等問題，裝置22中之照射模組30適應性地投影該圖案，從而回應於該景物之幾何形狀而改變該圖案之密度及/或亮度。關於景物幾何形狀之資訊由成像模組38所擷取之影像及/或由藉由處理此等影像產生之3D映像提供。因此，在系統90之操作期間，動態地控制輻射源32及掃描器34，以在較小或迅速變化，或者需要密切注意或更好深度涵蓋之重要物體(諸如參與者94及96之身體)上以更大密度投影光點100。另一方面，用一稀疏圖案來涵蓋大的平滑物體(例如背景98)。裝置22可回應於景物之變化而在連續影像中適應性地調整圖案密度。
另外或另一選擇係，裝置22可動態地調整輻射源32之輸出功率，以便補償所擷取景物內之距離及反射率之變化。因此，照射模組可朝具有低反射率或遠離裝置22之物體(諸如背景98)方向以更大亮度投影光點，同時減少明亮、附近物體上之所投影功率。另一選擇係或另外，可控制鏡之本端掃描速度及因此在掃描範圍內之每一位置處之駐留時間以在需要更強照射之區中賦予更長本端駐留時間及因此更大本端投影能量。此等種類之自適應功率控制增強系統90之動態範圍且使對可用輻射功率之利用最優化。
作為系統90之動態操作之另一個態樣(未圖解說明於圖6中)，亦可動態地調整裝置22中之照射及成像模組之角範圍。舉例而言，在首先擷取一廣角影像並形成所關注區域之一廣角、低解析度3D映像之後，可控制裝置22以放大已在該區域內識別出之特定物體。因此，可減小所投影圖案之角掃描範圍及成像模組之感測範圍以提供參與者94及96之身體之更高解析度深度映像。當參與者在該景物內移動時，可相應地調整掃描及感測範圍。
圖7係根據本發明之再一實施例，一照射模組110之一示意性側視圖。模組110可用來代替裝置22中之模組30(圖1)，且提供在使用同一掃描硬體來同時投影紅外圖案(用於3D映射)及可由該裝置之一使用者觀看之可見內容兩者方面之附加功能。
在此種實施例中，裝置22可使用紅外圖案來形成一給定物體之一個3D映像，且隨後可將適合該物體之形狀及外形之一可見影像投影至該物體上。此種功能例如在呈現使用者介面圖形及文字方面，且特定而言在「擴增實境」應用(針對其裝置22甚至可整合成由使用者佩帶之護目鏡以使得映射及可見影像投影與使用者之視域對準)方面係有用的。此種類之應用例如闡述於其揭示內容以引用方式併入本文中之於2011年7月18日提出申請之PCT專利申請案PCT/IB2011/053192中。
如圖7中所示，一光束組合器114(諸如二向色反射器)將來自輻射源32之紅外光束與來自一可見光源112之一可見光束對準。源112可係單色的或多色的。舉例而言，源112可包含一適用於單色照射之雷射二極體或LED，或其可包含其光束經調變及組合以便在視域中之每一點處投影所期望色彩之不同色彩之多個雷射二極體或LED(未展示)。出於後一種目的，組合器114可組合兩個或更多個二向色元件(未展示)以便對準所有該等不同色彩及紅外光束。
當鏡50在FOV 36內掃描時，處理器46同時調變源32及72：源32經調變以在視域中之每一點處產生用於3D映射之所期望圖案，而源112係根據欲在同一點處投影之可見影像(其可基於物體於彼點處之3D映像)之像素值(強度及可能色彩)調變。由於可見及紅外光束係光學對準及同軸的，因此可見影像將自動地與3D映射配準。
影像擷取組態
圖8係根據本發明之一實施例，成像模組38之一示意性形象化圖。此實施例利用照射模組30之掃描圖案與成像模組之讀出圖案之間的同步。此同步使得能夠使用具有相對於行之數目之一相對小數目個列122之偵測器元件41之一影像感測器120。換言之，該影像感測器本身具有沿Y方向(圖中之垂直方向)之低解析度，但沿X方向之高解析度。在所描繪實施例中，影像感測器80具有不到十個列且可具有例如一千個或更多個行。另一選擇係，影像感測器可具有更大或更小數目個列，但仍遠少於行之列。
物鏡光學器件42包含將視域44映射至影像感測器120之一像散成像元件。光學器件42具有沿Y方向較沿X方向為大之放大率，以使得影像感測器之每一列122擷取來自該視域中之一對應矩形區124之光。舉例而言，每一矩形區124之長寬比可大約為10:1(X:Y)，而列122具有大約為1000:1之一長寬比。可根據影像感測器中之列及行之數目及視域之所期望尺寸按任一所期望比例來選取光學器件42之不同X及Y放大率。舉例而言，在一項實施例中，光學器件42可包含一圓柱形透鏡，且感測器120可包含僅一單個列之偵測器元件。
照射模組30以一光柵圖案在視域44內掃描來自輻射源32之光束，從而用多個水平掃描線來涵蓋區124中之每一者。當每一個線由來自該照射模組之光點掃描時，對應列122擷取自該景物反射之輻射。自感測器120之讀出與照射掃描同步，以使得實質上僅在該景物中之對應區124由該掃描照射時讀出該等列122之偵測器元件41。因此，減小其間每一列122針對每一讀出整合環境光之時間長度，且因此增強感測器120之輸出中之信號/環境比。
在此實施例中由模組38擷取之影像之解析度取決於照射掃描之解析度，因為與掃描同步多次讀出每一列122之感測器120。換言之，在照射模組掃描對應區124時多次掃描第一列，並隨後多次掃描第二線，然後多次掃描第三線等等。舉例而言，若影像感測器中之第一列負責擷取照射模組之前一百個掃描線(垂直FOV之1/10)，則在掃描第二線之前一百次掃描第一列。為此目的，感測器120包括類似於例如一習用、全解析度CMOS影像感測器中之讀出電路之合適讀出電路(未展示)。另一選擇係，可在照射側上使用一垂直扇出元件，且影像感測器之線可同時掃描與對應照射掃描同步之每一者。
另一選擇係，可與照射掃描同步垂直多工對影像感測器120之掃描。舉例而言，在此方案中，使用具有一百個列之一成像感測器，該影像感測器之第一列擷取例如照射掃描之第一個、第101個、第201個、第301個掃描線等等。另外或另一選擇係，成像模組38可實施例如闡述於其揭示內容以引用方式併入本文中之於2010年12月6日提出申請之美國臨時專利申請案61/419,891中所述之種類之經空間多工成像方案。亦可使用上述掃描技術之一組合。
展示於圖8中之影像擷取模組38之配置維持沿X方向之全解析度，而依賴於照射模組30之經同步掃描來提供Y方向解析度。此實施例因此允許藉助更簡單的讀出電路來使影像感測器120變得更小且成本更低，同時潛在地提供沿X方向之增大之解析度。此X解析度係有用的，因為在圖1中所示之組態中，僅由模組38擷取之影像中之圖案之X方向移位指示景物內之深度變化，如上文所解釋。沿X方向之高解析度因此提供對光點偏移之準確讀取，此又會達成對深度座標之準確計算。
圖9係根據本發明之另一實施例，成像模組38之一示意性形象化圖。此實施例亦利用照射模組30之掃描圖案與成像模組之讀出圖案之間的同步。然而在此種情況下，有效地掃描成像模組38之視域44。
在圖9之實施例中，影像擷取模組38包含一位置靈敏偵測器130，該位置靈敏偵測器經組態以感測並輸出由照射模組30投影至物體上之圖案中之每一光點之一X偏移。換言之，當模組30依次將每一光點投影至所關注區域中之對應位置上時，偵測器130感測其影像並指示其相對於對應參考光點位置之各別偏移(及因此景物於彼位置處之深度座標)。偵測器130在該圖中展示為具有沿X方向延伸之一單個列之偵測器元件41之一線掃描感測器90。另一選擇係，位置靈敏偵測器130可包含具有指示當前成像至該偵測器上之光點之位置之一類比讀出之一單式偵測器元件。
在所描繪實施例中，物鏡光學器件42將視域44中之一矩形區134映射至感測器130中之該列之偵測器元件41上。光學器件42可如同在該先前實施例中一樣係像散的，其具有沿X方向較沿Y方向為大之光功，以使得區134具有一較該感測器中之該列之偵測器元件為低之長寬比(X:Y)。一掃描鏡132與照射模組30之光柵掃描同步沿Y方向在視域44內掃描區134，以使得區134始終含有當前處於圖案化照射下之水平線。以此方式，該影像擷取模組擷取具有高解析度及高信號/環境比之景物上之圖案之一影像，同時使用一簡單一維感測器。
圖10係根據本發明之再一實施例，一個3D映射裝置140之一示意性、形象化圖。在此實施例中，一照射模組142及成像模組144之視域共同地由一共同鏡150沿Y方向掃描。照射模組142包含輻射源32及呈一掃描鏡152之形式之一光束掃描器，該光束掃描器沿X方向掃描輻射光束。成像模組144包含一偵測器154，該偵測器之視域與掃描鏡152同步由包含一掃描鏡156之一成像掃描器沿X方向掃描。投影光學器件146將照射光束投影至裝置140之所關注區域上以便形成景物中之物體上之光點之所期望圖案，且物鏡光學器件148將該等光點成像至偵測器154上。
因此與照射模組142之所掃描光束同步地在所關注區域內掃描成像模組144之感測區。偵測器154可包含例如如同在圖9之實施例中一樣之一位置靈敏偵測器或一其中偵測器元件配置成列及行之一小面積影像感測器。如同在該等先前實施例中一樣，成像模組144提供對光點偏移之量測，該等量測隨後可經處理以產生一深度映像。儘管圖10中之鏡150方便地由照射及成像模組兩者共用，但每一模組亦可具有其自帶、經同步Y方向掃描鏡。在後一種情況下，可使用MEMS技術來產生裝置140中之所有該等鏡。然而，由於Y方向掃描相對慢，因此具有一步進式驅動器之單個鏡150對於此應用係可行的且有利於維持精確同步。
圖10中所示之配置可用來實施不僅對所投影圖案中之光點密度及亮度，而且對掃描區之動態控制，如上文所解釋。可操作鏡150及152以改變在其內掃描照射光束之角範圍，且鏡150及156然後將掃描偵測器154之掃描區以與所掃描光束之角範圍相匹配。以此方式，例如，可首先操作裝置140以擷取一整個景物之一粗3D映像，從而涵蓋一寬的角範圍。可分割該3D映像以便識別一所關注物體，且隨後可動態地調整照射總成及成像總成之掃描範圍以擷取並映射僅具有高解析度之物體之區。對此種動態控制之其他應用將為熟習此項技術者所知且視為歸屬於本發明之範疇。
上文已展示並闡述了用以增強用於圖案投影及影像擷取之掃描架構之若干個具體方式。此等實施例以舉例方式圖解說明本發明之態樣如何可尤其用於改善眼睛安全、增大視域、同時使用同一掃描硬體來投影紅外圖案及可見內容兩者、以及藉由使成像模組與照射模組同步來減小成像模組之尺寸。以上實施例之替代實施方案及組合亦視為歸屬於本發明之範疇。此等方案可使用以下之各種組合：用於3D映射之掃描投影以及對可見資訊之投影；用以成形或***掃描光束之繞射光學器件；用以擴大投影系統之視域之折射及/或繞射光學器件；及對投影及影像擷取之經同步掃描。
因此應瞭解，列舉上文所述各實施例僅為舉例說明，且本發明不僅限於上文中特別展示及闡述之內容。而是，本發明之範疇包括上文中所述之各種特徵之組合及子組合兩者，以及熟習此項技術者在閱讀上述說明後可想到且在先前技術中未揭示之本發明之變化形式及修改形式。
20．．．系統
22．．．映射裝置
28．．．物體
30．．．照射模組
32．．．輻射源
34．．．掃描器
35．．．照射光學器件
36．．．投影視域
38．．．成像模組
40．．．感測器
41．．．偵測器元件
42．．．物鏡光學器件
44．．．成像視域
46．．．處理器
48．．．記憶體
50．．．掃描鏡
52．．．雷射二極體
54．．．準直透鏡
55．．．光束***器
56．．．所掃描光束之多個有角間隔開之複製物
58．．．所掃描光束之多個有角間隔開之複製物
60．．．所掃描光束之多個有角間隔開之複製物
64．．．圖案
66．．．光點
70．．．繞射光學元件
72．．．中間光束
74．．．圖案化輸出光束
76．．．軸
80．．．光束感測器
82．．．光束感測器
88．．．凸面反射器
90．．．三維映射系統
92．．．遊戲控制臺
94．．．參與者
96．．．參與者
98．．．背景
100．．．光點
110．．．照射模組
112．．．可見光源
114．．．組合器
120．．．影像感測器
122．．．列
124．．．矩形區
130．．．位置靈敏偵測器
132．．．掃描鏡
134．．．矩形區
140．．．三維映射裝置
142．．．照射模組
144．．．成像模組
146．．．投影光學器件
148．．．物鏡光學器件
150．．．共同鏡
152．．．掃描鏡
154．．．偵測器
156．．．掃描鏡
圖1係根據本發明之一實施例，一用於3D映射之系統之一示意性俯視圖；
圖2A及圖2B係根據本發明之一實施例，一照射模組於兩個不同操作階段中之示意性俯視圖；
圖2C係根據本發明之一實施例，由圖2A及圖2B之模組投影之一圖案之一示意性正視圖；
圖3至圖5係根據本發明之其他實施例，照射模組之示意性俯視圖；
圖6係根據本發明之一實施例，一個3D映射系統在操作中之一示意性、形象化圖；
圖7係根據本發明之再一實施例，一照射模組之一示意性俯視圖；
圖8及圖9係根據本發明之實施例，成像模組之示意性、形象化圖；及
圖10係根據本發明之一實施例，一個3D成像裝置之一示意性、形象化圖。
20．．．系統
22．．．映射裝置
28．．．物體
30．．．照射模組
32．．．輻射源
34．．．掃描器
35．．．照射光學器件
36．．．投影視域
38．．．成像模組
40．．．感測器
41．．．偵測器元件
42．．．物鏡光學器件
44．．．成像視域
46．．．處理器
48．．．記憶體
50．．．掃描鏡

Claims (56)

  1. 一種用於映射之設備，其包含：一照射模組，其包含：一輻射源，其經組態以發射一輻射光束；一掃描器，其經組態以在一選定角範圍內接收並掃描該光束；及照射光學器件，其經組態以投影該所掃描光束以便形成在一所關注區域內延伸之光點之一圖案；一成像模組，其經組態以擷取投影至該所關注區域中之一物體上的該圖案之一影像；及一處理器，其經組態以處理該影像以便建構該物體之一個三維(3D)映像。
  2. 如請求項1之設備，其中該等光點之該圖案在由該設備映射之一深度範圍內不相關。
  3. 如請求項1之設備，其中該輻射源經控制以便在該掃描器掃描該光束時調變該光束之一強度，由此在該所關注區域上形成該等光點之該圖案。
  4. 如請求項3之設備，其中該照射模組經組態以回應於由該成像模組所擷取之該影像而修改該圖案。
  5. 如請求項4之設備，其中該照射模組經組態以控制該輻射源及該掃描器中之至少一者以便修改該所關注區域之一選定部分內呈陣列之該等光點之一角密度。
  6. 如請求項4之設備，其中該照射模組經組態以控制該輻射源及該掃描器中之至少一者以便修改關於該所關注區域之一選定區中該等光點之一亮度。
  7. 如請求項3之設備，其中該掃描器經組態以在一第一角範圍內掃描該光束，且其中該等光學器件包含一光束***器，該光束***器經組態以形成在大於該第一角範圍之一第二角範圍內共同延伸的該所掃描光束之多個有角間隔開之複製物。
  8. 如請求項7之設備，其中該掃描器及該光束***器經組態以用由該所掃描光束之該多個有角間隔開之複製物形成之該圖案來拼貼該所關注區域。
  9. 如請求項1之設備，其中該等光學器件包含一圖案化元件，該圖案化元件經組態以在由該光束照射時在一第一角範圍內形成該圖案，且其中該掃描器經組態以引導該光束連續地以多個不同角度撞擊該圖案化元件以便形成在大於該第一角範圍之一第二角範圍內共同延伸的該圖案之多個有角間隔開之複製物。
  10. 如請求項9之設備，其中該掃描器及該圖案化元件經組態以用該圖案之該多個有角間隔開之複製物來拼貼該所關注區域。
  11. 如請求項1之設備，其中該掃描器經組態以在一第一角範圍內掃描該光束，且其中該等光學器件包含一掃描擴展元件，該掃描擴展元件經組態以分散該所掃描光束以便以空間圖案涵蓋大於該第一角範圍之一第二角範圍。
  12. 如請求項11之設備，其中該掃描擴展元件係選自由一凸面反射器與一繞射光學元件組成之一元件群組。
  13. 如請求項1之設備，其中該照射模組包含至少一個光束感測器，該至少一個光束感測器係以處於由該掃描器掃描之該角範圍內之一選定角度定位以便週期性地接收該所掃描光束並由此驗證該掃描器正在操作。
  14. 如請求項13之設備，其中該照射模組經組態以在該感測器未能週期性地接收到該所掃描光束時抑制自該輻射源發射該光束。
  15. 如請求項1之設備，其中該輻射源包含：一第一輻射源，其發射一紅外光束，該紅外光束經調變以形成該等光點之該圖案；及一第二輻射源，其發射一可見光光束，該可見光光束經調變以將一可見影像投影至該所關注區域上，其中該等掃描器及光學器件經組態以同時將該紅外光束及該可見光光束兩者投影至該所關注區域上。
  16. 如請求項15之設備，其中該第二輻射源經控制以便回應於該3D映像而將該可見影像投影至該物體上。
  17. 如請求項1之設備，其中該處理器經配置以藉由尋得該所擷取影像之若干區中之該等光點與屬於該圖案之一參考影像之對應參考光點位置之間的各別偏移來導出該3D映像，其中該等各別偏移指示該等區與影像擷取總成之間的各別距離。
  18. 如請求項17之設備，其中該成像模組包含一位置靈敏偵測器，該位置靈敏偵測器經組態以感測並輸出在由該照射模組投影該物體上的該圖案中之每一光點時該光點之一偏移。
  19. 如請求項18之設備，其中該成像模組經組態以與該照射模組中之該掃描器同步地掃描該位置靈敏偵測器之一視域。
  20. 如請求項18之設備，其中該掃描器經組態以與來自該輻射源之該光束一起掃描該位置靈敏偵測器之一視域。
  21. 如請求項17之設備，其中該照射模組及該成像模組經配置以使得該等偏移沿一第一方向發生，且其中該成像模組包含：一偵測器元件陣列，其配置成沿該第一方向延伸之一或多個列；及像散光學器件，其經組態以將該圖案成像至該陣列上且具有沿該第一方向較沿一第二垂直方向為大之一光學功率。
  22. 如請求項1之設備，其中該成像模組包含一感測器及成像光學器件，該等感測器及成像光學器件界定與該照射模組之該所掃描光束同步地在該所關注區域內掃描之一感測區。
  23. 如請求項22之設備，其中該感測器包含具有一滾動快門之一影像感測器，且其中該滾動快門與該所掃描光束同步。
  24. 如請求項22之設備，其中該照射模組中之該掃描器係可控制的以動態地改變該選定角範圍，且其中該成像模組包含一成像掃描器，該成像掃描器經組態以動態地掃描該感測區以與該所掃描光束之該選定角範圍相匹配。
  25. 一種用於映射之設備，其包含：一照射模組，其包含：一輻射源，其經組態以發射具有根據一所指定時間調變而改變之一強度之一輻射光束；及一掃描器，其經組態以在一所關注區域內接收並掃描該光束，以便以由對該光束之該時間調變決定之一空間強度圖案來將該輻射投影至該區域上；一成像模組，其經組態以擷取投影至該所關注區域中之一物體上的該空間強度圖案之一影像；及一處理器，其經組態以處理該影像以便建構該物體之一個三維(3D)映像。
  26. 如請求項25之設備，其中該時間調變係二進制的，且其中該空間強度圖案包含藉由該時間調變所產生之一光點陣列。
  27. 如請求項25之設備，其中該處理器經配置以藉由尋得該所擷取影像之若干區中之該圖案與該圖案之一參考影像之間的各別偏移來導出該3D映像，其中該等各別偏移指示該等區與影像擷取總成之間的各別距離。
  28. 如請求項25之設備，其中該成像模組包含一感測器及成像光學器件，該等感測器及成像光學器件界定與該照射模組之該所掃描光束同步地在該所關注區域內掃描之一感測區。
  29. 一種用於映射之方法，其包含：在一選定角範圍內掃描一輻射光束以便形成在一所關注區域內延伸之光點之一圖案；擷取投影至該所關注區域中之一物體上的該圖案之一影像；及處理該影像以便建構該物體之一個三維(3D)映像。
  30. 如請求項29之方法，其中該等光點之該圖案在藉由該方法映射之一深度範圍內不相關。
  31. 如請求項29之方法，其中掃描該光束包含在該掃描該光束時調變該光束之一強度，由此在該所關注區域上形成該等光點之該圖案。
  32. 如請求項31之方法，其中形成該圖案包含回應於由該成像模組所擷取之該影像而修改該圖案。
  33. 如請求項32之方法，其中修改該圖案包含修改該所關注區域之一選定部分內呈陣列之該等光點之一角密度。
  34. 如請求項32之方法，其中修改該圖案包含修改關於該所關注區域之一選定區中該等光點之一亮度。
  35. 如請求項31之方法，其中形成該圖案包含在一第一角範圍內掃描該光束，並***該所掃描光束以形成在大於該第一角範圍之一第二角範圍內共同延伸的該所掃描光束之該圖案之多個有角間隔開之複製物。
  36. 如請求項35之方法，其中***該所掃描光束包含用由該所掃描光束之該多個有角間隔開之複製物所形成之該圖案來拼貼該所關注區域。
  37. 如請求項29之方法，其中掃描該光束包含照射經組態以在由該光束照射時在一第一角範圍內形成該圖案之一圖案化元件，同時引導該光束連續地以多個不同角度撞擊該圖案化元件以便形成在大於該第一角範圍之一第二角範圍內共同延伸的該圖案之多個有角間隔開之複製物。
  38. 如請求項37之方法，其中引導該光束包含用該圖案之該多個有角間隔開之複製物來拼貼該所關注區域。
  39. 如請求項29之方法，其中掃描該光束包含引導在一第一角範圍內掃描之該光束，以撞擊經組態以分散該所掃描光束之一掃描擴展元件以便以空間圖案涵蓋大於該第一角範圍之一第二角範圍。
  40. 如請求項39之方法，其中該掃描擴展元件係選自由一凸面反射器與一繞射光學元件組成之一元件群組。
  41. 如請求項29之方法，且其包含以處於該角範圍內之一選定角度來感測該所掃描光束，並藉由以該選定角度週期性地感測該所掃描光束來驗證該掃描。
  42. 如請求項41之方法，其中掃描該光束包含在未能週期性地感測到該所掃描光束時抑制發射該光束。
  43. 如請求項29之方法，其中掃描該光束包含掃描經調變以形成該等光點之該圖案之一紅外光束，且其中該方法包含與該紅外光束一起掃描一可見光光束，同時調變該可見光光束以便與同時將該紅外光束及該可見光光束兩者投影至該所關注區域上同時地將一可見影像投影至該所關注區域上。
  44. 如請求項43之方法，其中調變該可見光光束包含回應於該3D映像而產生該可見影像。
  45. 如請求項29之方法，其中處理該影像包含藉由尋得該所擷取影像中之若干區中之該等光點與屬於該圖案之一參考影像之對應參考光點位置之間的各別偏移來導出該3D映像，其中該等各別偏移指示該等區與影像擷取總成之間的各別距離。
  46. 如請求項45之方法，其中擷取該影像包含應用一位置靈敏偵測器來感測並輸出在由該照射模組投影該物體上之該圖案中之每一光點時該光點之一偏移。
  47. 如請求項46之方法，其中應用該位置靈敏偵測器包含與該照射模組中之該掃描器同步地掃描該位置靈敏偵測器之一視域。
  48. 如請求項46之方法，其中應用該位置靈敏偵測器包含與來自該輻射源之該光束一起掃描該位置靈敏偵測器之一視域。
  49. 如請求項45之方法，其中指示該等各別距離之該等偏移沿一第一方向發生，且其中擷取該影像包含使用具有沿該第一方向較沿一第二垂直方向為大之一光學功率之像散光學器件來將該圖案成像至配置成沿該第一方向延伸之一或多個列之一偵測器元件陣列上。
  50. 如請求項29之方法，其中擷取該影像包含與該照射模組之該所掃描光束同步地在該所關注區域內掃描一感測區或一感測器。
  51. 如請求項50之方法，其中該感測器包含具有一滾動快門之一影像感測器，且其中掃描該感測區包含使該滾動快門與該所掃描光束同步。
  52. 如請求項50之方法，其中掃描該光束包含動態地改變該選定角範圍，且掃描該感測區包含動態地掃描該感測區以與該所掃描光束之該選定角範圍相匹配。
  53. 一種用於映射之方法，其包含：產生具有根據一所指定時間調變而改變之一強度之一輻射光束；在一所關注區域內掃描該光束，以便以由對該光束之該時間調變決定之一空間強度圖案來將該輻射投影至該區域上；擷取投影至該所關注區域中之一物體上的該空間強度圖案之一影像；及處理該影像以便建構該物體之一個三維(3D)映像。
  54. 如請求項53之方法，其中該時間調變係二進制的，且其中該空間強度圖案包含藉由該時間調變所產生之一光點陣列。
  55. 如請求項53之方法，其中處理該影像包含藉由尋得該所擷取影像之若干區中之該圖案與該圖案之一參考影像之間的各別偏移來導出該3D映像，其中該等各別偏移指示該等區與影像擷取總成之間的各別距離。
  56. 如請求項53之方法，其中擷取該影像包含與該所掃描光束同步地在該所關注區域內掃描一感測區或一感測器。
TW100128723A 2010-08-11 2011-08-11 掃描投影機及用於３ｄ映射之影像擷取模組 TWI513273B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US37272910P 2010-08-11 2010-08-11
US201061425788P 2010-12-22 2010-12-22

Publications (2)

Publication Number Publication Date
TW201233141A TW201233141A (en) 2012-08-01
TWI513273B true TWI513273B (zh) 2015-12-11

Family

ID=45567416

Family Applications (1)

Application Number Title Priority Date Filing Date
TW100128723A TWI513273B (zh) 2010-08-11 2011-08-11 掃描投影機及用於３ｄ映射之影像擷取模組

Country Status (4)

Country Link
US (4) US9098931B2 (zh)
CN (1) CN103053167B (zh)
TW (1) TWI513273B (zh)
WO (1) WO2012020380A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI747289B (zh) * 2020-05-07 2021-11-21 大陸商廣州立景創新科技有限公司 成像裝置及成像方法
US12001088B2 (en) 2020-02-12 2024-06-04 Meta Platforms Technologies, Llc Optical elements for integrated IR and visible camera for depth sensing and systems incorporating the same

Families Citing this family (191)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL165212A (en) 2004-11-15 2012-05-31 Elbit Systems Electro Optics Elop Ltd Device for scanning light
EP1934945A4 (en) * 2005-10-11 2016-01-20 Apple Inc METHOD AND SYSTEM FOR RECONSTRUCTING AN OBJECT
US9035876B2 (en) 2008-01-14 2015-05-19 Apple Inc. Three-dimensional user interface session control
US8933876B2 (en) 2010-12-13 2015-01-13 Apple Inc. Three dimensional user interface session control
US8384997B2 (en) 2008-01-21 2013-02-26 Primesense Ltd Optical pattern projection
JP5588310B2 (ja) 2009-11-15 2014-09-10 プライムセンス リミテッド ビームモニタ付き光学プロジェクタ
US20110187878A1 (en) 2010-02-02 2011-08-04 Primesense Ltd. Synchronization of projected illumination with rolling shutter of image sensor
JP5791131B2 (ja) 2010-07-20 2015-10-07 アップル インコーポレイテッド 自然な相互作用のための相互作用的現実拡張
US9201501B2 (en) 2010-07-20 2015-12-01 Apple Inc. Adaptive projector
WO2012020380A1 (en) * 2010-08-11 2012-02-16 Primesense Ltd. Scanning projectors and image capture modules for 3d mapping
US10739460B2 (en) 2010-08-11 2020-08-11 Apple Inc. Time-of-flight detector with single-axis scan
US9036158B2 (en) 2010-08-11 2015-05-19 Apple Inc. Pattern projector
US8959013B2 (en) 2010-09-27 2015-02-17 Apple Inc. Virtual keyboard for a non-tactile three dimensional user interface
EP2643659B1 (en) 2010-11-19 2019-12-25 Apple Inc. Depth mapping using time-coded illumination
US9131136B2 (en) 2010-12-06 2015-09-08 Apple Inc. Lens arrays for pattern projection and imaging
US8872762B2 (en) 2010-12-08 2014-10-28 Primesense Ltd. Three dimensional user interface cursor control
WO2012107892A2 (en) 2011-02-09 2012-08-16 Primesense Ltd. Gaze detection in a 3d mapping environment
US9857868B2 (en) 2011-03-19 2018-01-02 The Board Of Trustees Of The Leland Stanford Junior University Method and system for ergonomic touch-free interface
US8840466B2 (en) 2011-04-25 2014-09-23 Aquifi, Inc. Method and system to create three-dimensional mapping in a two-dimensional game
US8881051B2 (en) 2011-07-05 2014-11-04 Primesense Ltd Zoom-based gesture user interface
US9459758B2 (en) 2011-07-05 2016-10-04 Apple Inc. Gesture-based interface with enhanced features
US9377865B2 (en) 2011-07-05 2016-06-28 Apple Inc. Zoom-based gesture user interface
US8908277B2 (en) 2011-08-09 2014-12-09 Apple Inc Lens array projector
US8749796B2 (en) 2011-08-09 2014-06-10 Primesense Ltd. Projectors of structured light
US9030498B2 (en) 2011-08-15 2015-05-12 Apple Inc. Combining explicit select gestures and timeclick in a non-tactile three dimensional user interface
US9218063B2 (en) 2011-08-24 2015-12-22 Apple Inc. Sessionless pointing user interface
US9122311B2 (en) 2011-08-24 2015-09-01 Apple Inc. Visual feedback for tactile and non-tactile user interfaces
WO2013095679A1 (en) 2011-12-23 2013-06-27 Intel Corporation Computing system utilizing coordinated two-hand command gestures
WO2013095678A1 (en) 2011-12-23 2013-06-27 Intel Corporation Mechanism to provide feedback regarding computing system command gestures
WO2013095677A1 (en) * 2011-12-23 2013-06-27 Intel Corporation Computing system utilizing three-dimensional manipulation command gestures
KR20140112059A (ko) * 2012-01-11 2014-09-22 시리얼 테크놀로지즈 에스.에이. 화소 매트릭스 및／또는 디스플레이용 제어가능한 공간 광 변조기를 조명하기 위한 광학 장치
US8854433B1 (en) 2012-02-03 2014-10-07 Aquifi, Inc. Method and system enabling natural user interface gestures with an electronic system
WO2013121366A1 (en) 2012-02-15 2013-08-22 Primesense Ltd. Scanning depth engine
US9329080B2 (en) 2012-02-15 2016-05-03 Aplle Inc. Modular optics for scanning engine having beam combining optics with a prism intercepted by both beam axis and collection axis
US9229534B2 (en) 2012-02-28 2016-01-05 Apple Inc. Asymmetric mapping for tactile and non-tactile user interfaces
AU2013237061B2 (en) 2012-03-22 2015-11-26 Apple Inc. Gimbaled scanning mirror array
AU2013237062B2 (en) 2012-03-22 2015-07-16 Apple Inc. Diffraction-based sensing of mirror position
US9335220B2 (en) 2012-03-22 2016-05-10 Apple Inc. Calibration of time-of-flight measurement using stray reflections
CN107665042B (zh) 2012-03-26 2021-05-07 苹果公司 增强的虚拟触摸板和触摸屏
US9098739B2 (en) 2012-06-25 2015-08-04 Aquifi, Inc. Systems and methods for tracking human hands using parts based template matching
US9111135B2 (en) 2012-06-25 2015-08-18 Aquifi, Inc. Systems and methods for tracking human hands using parts based template matching using corresponding pixels in bounded regions of a sequence of frames that are a specified distance interval from a reference camera
TWI648561B (zh) 2012-07-16 2019-01-21 美商唯亞威方案公司 光學濾波器及感測器系統
WO2014016995A1 (ja) * 2012-07-26 2014-01-30 日本電気株式会社 三次元物体計測装置、三次元物体計測装置制御プログラム、三次元物体計測装置制御方法
KR101653117B1 (ko) 2012-07-26 2016-08-31 애플 인크. 이중 축 주사 미러
JP2015206590A (ja) * 2012-08-30 2015-11-19 三洋電機株式会社 情報取得装置および物体検出装置
US8836768B1 (en) 2012-09-04 2014-09-16 Aquifi, Inc. Method and system enabling natural user interface gestures with user wearable glasses
WO2014064606A1 (en) 2012-10-23 2014-05-01 Primesense Ltd. Production of micro-mechanical devices
US9152234B2 (en) 2012-12-02 2015-10-06 Apple Inc. Detecting user intent to remove a pluggable peripheral device
US9129155B2 (en) 2013-01-30 2015-09-08 Aquifi, Inc. Systems and methods for initializing motion tracking of human hands using template matching within bounded regions determined using a depth map
US9092665B2 (en) 2013-01-30 2015-07-28 Aquifi, Inc Systems and methods for initializing motion tracking of human hands
AU2014217524B2 (en) 2013-02-14 2017-02-02 Apple Inc. Flexible room controls
WO2014141115A2 (en) * 2013-03-15 2014-09-18 Primesense Ltd. Depth scanning with multiple emitters
US9298266B2 (en) 2013-04-02 2016-03-29 Aquifi, Inc. Systems and methods for implementing three-dimensional (3D) gesture based graphical user interfaces (GUI) that incorporate gesture reactive interface objects
CN105324631B (zh) 2013-06-19 2018-11-16 苹果公司 集成结构化光投影仪
US9042717B2 (en) * 2013-07-31 2015-05-26 Delphi Technologies, Inc. Camera system with rotating mirror
US9798388B1 (en) 2013-07-31 2017-10-24 Aquifi, Inc. Vibrotactile system to augment 3D input systems
US10203399B2 (en) 2013-11-12 2019-02-12 Big Sky Financial Corporation Methods and apparatus for array based LiDAR systems with reduced interference
WO2015085982A1 (de) * 2013-12-11 2015-06-18 Api International Ag Vorrichtung zur 3-d-vermessung einer oberfläche und projektionseinheit, sowie verfahren zur 3-d-vermessung
US9528906B1 (en) 2013-12-19 2016-12-27 Apple Inc. Monitoring DOE performance using total internal reflection
US20150176977A1 (en) * 2013-12-20 2015-06-25 Lemoptix Sa Methods and devices for determining position or distance
TWI549476B (zh) * 2013-12-20 2016-09-11 友達光電股份有限公司 顯示系統及調整可視範圍的方法
US9507417B2 (en) 2014-01-07 2016-11-29 Aquifi, Inc. Systems and methods for implementing head tracking based graphical user interfaces (GUI) that incorporate gesture reactive interface objects
KR101710003B1 (ko) 2014-01-07 2017-02-24 한국전자통신연구원 실시간 동적 비평면 프로젝션 장치 및 방법
CN106415361B (zh) 2014-01-19 2018-11-13 苹果公司 用于装有万向接头的扫描镜阵列的耦接方案
US9619105B1 (en) 2014-01-30 2017-04-11 Aquifi, Inc. Systems and methods for gesture based interaction with viewpoint dependent user interfaces
JP2015141372A (ja) * 2014-01-30 2015-08-03 株式会社ミツトヨ 照射装置、照射方法、測定装置、及び測定方法
US9462170B2 (en) * 2014-02-21 2016-10-04 The Lightco Inc. Lighting methods and apparatus
CN104898124A (zh) * 2014-03-07 2015-09-09 光宝科技股份有限公司 深度检测的取样方法及其光学装置
US9360554B2 (en) 2014-04-11 2016-06-07 Facet Technology Corp. Methods and apparatus for object detection and identification in a multiple detector lidar array
TWI524050B (zh) * 2014-04-15 2016-03-01 聚晶半導體股份有限公司 取像裝置、影像深度產生裝置及其方法
US9633441B2 (en) * 2014-06-09 2017-04-25 Omnivision Technologies, Inc. Systems and methods for obtaining image depth information
KR102372449B1 (ko) * 2014-07-08 2022-03-10 페이스북 테크놀로지스, 엘엘씨 구조화 광 이미징용 광 패턴 조정을 위한 방법 및 시스템
JP6456084B2 (ja) * 2014-09-24 2019-01-23 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
US20160096073A1 (en) * 2014-10-07 2016-04-07 Umm Al-Qura University Game-based method and system for physical rehabilitation
US9784838B1 (en) 2014-11-26 2017-10-10 Apple Inc. Compact scanner with gimbaled optics
US9835853B1 (en) 2014-11-26 2017-12-05 Apple Inc. MEMS scanner with mirrors of different sizes
US9674415B2 (en) * 2014-12-22 2017-06-06 Google Inc. Time-of-flight camera system with scanning illuminator
CN104634277B (zh) * 2015-02-12 2018-05-15 上海图漾信息科技有限公司 拍摄设备和方法、三维测量***、深度计算方法和设备
US10679370B2 (en) 2015-02-13 2020-06-09 Carnegie Mellon University Energy optimized imaging system with 360 degree field-of-view
US11972586B2 (en) 2015-02-13 2024-04-30 Carnegie Mellon University Agile depth sensing using triangulation light curtains
US11493634B2 (en) 2015-02-13 2022-11-08 Carnegie Mellon University Programmable light curtains
US11425357B2 (en) 2015-02-13 2022-08-23 Carnegie Mellon University Method for epipolar time of flight imaging
WO2016131036A1 (en) * 2015-02-13 2016-08-18 Carnegie Mellon University Imaging system with synchronized dynamic control of directable beam light source and reconfigurably masked photo-sensor
US9798135B2 (en) 2015-02-16 2017-10-24 Apple Inc. Hybrid MEMS scanning module
EP3262439B1 (en) * 2015-02-25 2022-11-02 Facebook Technologies, LLC Using intensity variations in a light pattern for depth mapping of objects in a volume
US10036801B2 (en) 2015-03-05 2018-07-31 Big Sky Financial Corporation Methods and apparatus for increased precision and improved range in a multiple detector LiDAR array
US10250833B2 (en) 2015-04-20 2019-04-02 Samsung Electronics Co., Ltd. Timestamp calibration of the 3D camera with epipolar line laser point scanning
US11736832B2 (en) 2015-04-20 2023-08-22 Samsung Electronics Co., Ltd. Timestamp calibration of the 3D camera with epipolar line laser point scanning
US10145678B2 (en) * 2015-04-20 2018-12-04 Samsung Electronics Co., Ltd. CMOS image sensor for depth measurement using triangulation with point scan
US11002531B2 (en) 2015-04-20 2021-05-11 Samsung Electronics Co., Ltd. CMOS image sensor for RGB imaging and depth measurement with laser sheet scan
KR102473740B1 (ko) * 2015-04-20 2022-12-05 삼성전자주식회사 동시 rgbz 센서 및 시스템
US20160309135A1 (en) 2015-04-20 2016-10-20 Ilia Ovsiannikov Concurrent rgbz sensor and system
US9525863B2 (en) * 2015-04-29 2016-12-20 Apple Inc. Time-of-flight depth mapping with flexible scan pattern
US10012831B2 (en) 2015-08-03 2018-07-03 Apple Inc. Optical monitoring of scan parameters
US10895643B2 (en) * 2015-08-05 2021-01-19 Ams Sensors Singapore Pte. Ltd. Intelligent illumination systems using modulated light
US9880267B2 (en) 2015-09-04 2018-01-30 Microvision, Inc. Hybrid data acquisition in scanned beam display
US10503265B2 (en) * 2015-09-08 2019-12-10 Microvision, Inc. Mixed-mode depth detection
US9897801B2 (en) 2015-09-30 2018-02-20 Apple Inc. Multi-hinge mirror assembly
US9703096B2 (en) 2015-09-30 2017-07-11 Apple Inc. Asymmetric MEMS mirror assembly
KR102473735B1 (ko) * 2015-11-09 2022-12-05 삼성전자주식회사 이미징 장치의 동작 방법
US10708577B2 (en) * 2015-12-16 2020-07-07 Facebook Technologies, Llc Range-gated depth camera assembly
US10324171B2 (en) 2015-12-20 2019-06-18 Apple Inc. Light detection and ranging sensor
JP6631261B2 (ja) * 2016-01-14 2020-01-15 セイコーエプソン株式会社 画像認識装置、画像認識方法および画像認識ユニット
JP2019505843A (ja) 2016-01-22 2019-02-28 コーニング インコーポレイテッド 広視野パーソナル表示装置
KR102406327B1 (ko) 2016-02-02 2022-06-10 삼성전자주식회사 출력 장치를 제어하는 방법 및 장치
US9866816B2 (en) 2016-03-03 2018-01-09 4D Intellectual Properties, Llc Methods and apparatus for an active pulsed 4D camera for image acquisition and analysis
CN108885260B (zh) 2016-04-08 2022-06-03 苹果公司 具有单轴扫描的渡越时间探测器
CN105959668A (zh) * 2016-04-29 2016-09-21 信利光电股份有限公司 一种具有3d扫描功能的摄像模组及其3d扫描方法
KR102454228B1 (ko) * 2016-04-29 2022-10-14 엘지전자 주식회사 멀티 비전 장치
US9648225B1 (en) * 2016-05-10 2017-05-09 Howard Preston Method, apparatus, system and software for focusing a camera
US20170328990A1 (en) * 2016-05-11 2017-11-16 Texas Instruments Incorporated Scalable field of view scanning in optical distance measurement systems
US11106030B2 (en) 2016-05-11 2021-08-31 Texas Instruments Incorporated Optical distance measurement system using solid state beam steering
US10578719B2 (en) 2016-05-18 2020-03-03 James Thomas O'Keeffe Vehicle-integrated LIDAR system
JP6860656B2 (ja) 2016-05-18 2021-04-21 オキーフェ, ジェームスO’KEEFEE, James 車両の形状に適応したダイナミックステアドｌｉｄａｒ
WO2018128655A2 (en) 2016-09-25 2018-07-12 Okeeffe James Distributed laser range finder with fiber optics and micromirrors
US11340338B2 (en) 2016-08-10 2022-05-24 James Thomas O'Keeffe Distributed lidar with fiber optics and a field of view combiner
WO2018031830A1 (en) 2016-08-10 2018-02-15 Okeeffe James Laser range finding with enhanced utilization of a remotely located mirror
CN107726053B (zh) * 2016-08-12 2020-10-13 通用电气公司 探头***和检测方法
US9766060B1 (en) * 2016-08-12 2017-09-19 Microvision, Inc. Devices and methods for adjustable resolution depth mapping
US10145680B2 (en) * 2016-08-12 2018-12-04 Microvision, Inc. Devices and methods for providing depth mapping with scanning laser image projection
US10298913B2 (en) 2016-08-18 2019-05-21 Apple Inc. Standalone depth camera
WO2018126248A1 (en) * 2017-01-02 2018-07-05 Okeeffe James Micromirror array for feedback-based image resolution enhancement
WO2018044958A1 (en) 2016-08-29 2018-03-08 Okeeffe James Laser range finder with smart safety-conscious laser intensity
US10073004B2 (en) 2016-09-19 2018-09-11 Apple Inc. DOE defect monitoring utilizing total internal reflection
US10488652B2 (en) 2016-09-21 2019-11-26 Apple Inc. Prism-based scanner
US10200683B2 (en) 2016-12-21 2019-02-05 Microvision, Inc. Devices and methods for providing foveated scanning laser image projection with depth mapping
US10158845B2 (en) 2017-01-18 2018-12-18 Facebook Technologies, Llc Tileable structured light projection for wide field-of-view depth sensing
US10681331B2 (en) 2017-02-06 2020-06-09 MODit 3D, Inc. System and method for 3D scanning
DE102017204668A1 (de) * 2017-03-21 2018-09-27 Robert Bosch Gmbh Objektdetektionsvorrichtung und Verfahren zum Überwachen einer Lichtprojektionsoberfläche bezüglich eines Eindringens eines Objekts
US10969488B2 (en) * 2017-03-29 2021-04-06 Luminar Holdco, Llc Dynamically scanning a field of regard using a limited number of output beams
JP6626036B2 (ja) 2017-04-18 2019-12-25 ファナック株式会社 測定機能を有するレーザ加工システム
US10210648B2 (en) 2017-05-16 2019-02-19 Apple Inc. Emojicon puppeting
US10542245B2 (en) 2017-05-24 2020-01-21 Lg Electronics Inc. Mobile terminal and method for controlling the same
US10613413B1 (en) 2017-05-31 2020-04-07 Facebook Technologies, Llc Ultra-wide field-of-view scanning devices for depth sensing
US11163042B2 (en) 2017-06-06 2021-11-02 Microvision, Inc. Scanned beam display with multiple detector rangefinding
WO2018229358A1 (fr) * 2017-06-14 2018-12-20 Majo Procédé et dispositif de construction d'une image tridimensionnelle
CN107121886A (zh) * 2017-06-20 2017-09-01 深圳奥比中光科技有限公司 3d成像电子设备
US10181200B1 (en) 2017-06-28 2019-01-15 Facebook Technologies, Llc Circularly polarized illumination and detection for depth sensing
CN208589037U (zh) * 2017-08-01 2019-03-08 苹果公司 电子设备
US11445094B2 (en) 2017-08-07 2022-09-13 Apple Inc. Electronic device having a vision system assembly held by a self-aligning bracket assembly
US10268234B2 (en) 2017-08-07 2019-04-23 Apple Inc. Bracket assembly for a multi-component vision system in an electronic device
US10976551B2 (en) 2017-08-30 2021-04-13 Corning Incorporated Wide field personal display device
US10153614B1 (en) 2017-08-31 2018-12-11 Apple Inc. Creating arbitrary patterns on a 2-D uniform grid VCSEL array
US10574973B2 (en) 2017-09-06 2020-02-25 Facebook Technologies, Llc Non-mechanical beam steering for depth sensing
EP4156129A1 (en) 2017-09-09 2023-03-29 Apple Inc. Implementation of biometric enrollment
WO2018226265A1 (en) 2017-09-09 2018-12-13 Apple Inc. Implementation of biometric authentication
EP3745303B1 (en) 2017-09-09 2023-06-07 Apple Inc. Implementation of biometric authentication with error condition detection and display of an error indication
AU2018279788B2 (en) 2017-09-09 2019-11-21 Apple Inc. Implementation of biometric authentication
IL294778B2 (en) 2017-10-06 2023-10-01 Advanced Scanners Inc Creation of one or more edges of light intensity to create three-dimensional models of objects
US11415675B2 (en) 2017-10-09 2022-08-16 Luminar, Llc Lidar system with adjustable pulse period
US11415676B2 (en) 2017-10-09 2022-08-16 Luminar, Llc Interlaced scan patterns for lidar system
US10612912B1 (en) 2017-10-31 2020-04-07 Facebook Technologies, Llc Tileable structured light projection system
US10460509B2 (en) * 2017-11-07 2019-10-29 Dolby Laboratories Licensing Corporation Parameterizing 3D scenes for volumetric viewing
US11585902B2 (en) 2017-11-30 2023-02-21 Cepton Technologies, Inc. Optical designs using cylindrical lenses for improved resolution in lidar systems
US10942244B2 (en) * 2017-12-12 2021-03-09 Waymo Llc Systems and methods for LIDARs with adjustable resolution and failsafe operation
US10521926B1 (en) 2018-03-21 2019-12-31 Facebook Technologies, Llc Tileable non-planar structured light patterns for wide field-of-view depth sensing
US11073603B2 (en) * 2018-04-03 2021-07-27 GM Global Technology Operations LLC Controlled scan pattern transition in coherent lidar
US10694168B2 (en) * 2018-04-22 2020-06-23 Corephotonics Ltd. System and method for mitigating or preventing eye damage from structured light IR/NIR projector systems
US11170085B2 (en) 2018-06-03 2021-11-09 Apple Inc. Implementation of biometric authentication
US11422292B1 (en) 2018-06-10 2022-08-23 Apple Inc. Super-blazed diffractive optical elements with sub-wavelength structures
WO2019243046A1 (en) * 2018-06-18 2019-12-26 Lumileds Holding B.V. Lighting device comprising led and grating
CN110824599B (zh) 2018-08-14 2021-09-03 白金科技股份有限公司 一种红外带通滤波器
DE102018124835B3 (de) * 2018-10-09 2019-11-07 Sick Ag Optoelektronischer Sensor und Verfahren zur Erfassung von Objekten
US11287644B2 (en) 2019-02-14 2022-03-29 Microvision, Inc. Alteration of resonant mode frequency response in mechanically resonant device
US11150088B2 (en) 2019-05-13 2021-10-19 Lumileds Llc Depth sensing using line pattern generators
GB201907188D0 (en) * 2019-05-21 2019-07-03 Cambridge Mechatronics Ltd Apparatus
US11828881B2 (en) 2019-05-30 2023-11-28 Microvision, Inc. Steered LIDAR system with arrayed receiver
US11754682B2 (en) 2019-05-30 2023-09-12 Microvision, Inc. LIDAR system with spatial beam combining
US11796643B2 (en) 2019-05-30 2023-10-24 Microvision, Inc. Adaptive LIDAR scanning methods
US11320663B2 (en) 2019-06-04 2022-05-03 Omni Vision Technologies, Inc. Diffractive optical elements made of conductive materials
US11480660B2 (en) 2019-07-09 2022-10-25 Microvision, Inc. Arrayed MEMS mirrors for large aperture applications
US11579256B2 (en) 2019-07-11 2023-02-14 Microvision, Inc. Variable phase scanning lidar system
WO2021034371A1 (en) 2019-08-18 2021-02-25 Apple Inc. Force-balanced micromirror with electromagnetic actuation
WO2021039425A1 (ja) * 2019-08-28 2021-03-04 パナソニックＩｐマネジメント株式会社 投影システム及び投影方法
US11681019B2 (en) 2019-09-18 2023-06-20 Apple Inc. Optical module with stray light baffle
US11506762B1 (en) 2019-09-24 2022-11-22 Apple Inc. Optical module comprising an optical waveguide with reference light path
TWI758672B (zh) 2019-12-19 2022-03-21 宏正自動科技股份有限公司 電子裝置以及電源分配方法
EP4100925A4 (en) 2020-02-03 2024-03-06 Nanotronics Imaging, Inc. DEEP PHOTOMETRIC LEARNING (DPL) SYSTEMS, APPARATUS AND METHODS
CN115176171A (zh) * 2020-02-26 2022-10-11 株式会社电装 光学式检测装置以及光学式检测装置中的光轴偏移判定方法
JP7322908B2 (ja) * 2020-02-26 2023-08-08 株式会社デンソー 光学式検出装置および光学式検出装置における光軸ずれ判定方法
US11754767B1 (en) 2020-03-05 2023-09-12 Apple Inc. Display with overlaid waveguide
US11317031B2 (en) * 2020-03-30 2022-04-26 Amazon Technologies, Inc. High intensity pattern projection and general illumination using rolling shutter camera and a synchronized scanning laser
US11443447B2 (en) 2020-04-17 2022-09-13 Samsung Electronics Co., Ltd. Three-dimensional camera system
US20210356601A1 (en) 2020-05-13 2021-11-18 Luminar, Llc Lidar system with locally retraced scan lines
CN115218820A (zh) * 2021-04-20 2022-10-21 上海图漾信息科技有限公司 结构光投射装置、深度数据测量头、计算设备和测量方法
EP4264460A1 (en) * 2021-01-25 2023-10-25 Apple Inc. Implementation of biometric authentication
WO2022159899A1 (en) 2021-01-25 2022-07-28 Apple Inc. Implementation of biometric authentication
DE102021107194A1 (de) 2021-03-23 2022-09-29 Sick Ag Optoelektronischer Sensor und Verfahren zur Erfassung von Objekten
US20230095000A1 (en) * 2021-09-24 2023-03-30 Apple Inc. Adaptive-Flash Photography, Videography, and/or Flashlight Using Camera, Scene, or User Input Parameters
WO2023212575A1 (en) * 2022-04-25 2023-11-02 Virginia Tech Intellectual Properties, Inc. Automated objects labeling in video data for machine learning and other classifiers
CN115379182B (zh) * 2022-08-19 2023-11-24 四川大学 一种双向结构光编解码方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW542946B (en) * 2000-01-04 2003-07-21 Ut Battelle Llc Improvements to acquisition and replay system for direct-to-digital holography and holovision
US6815687B1 (en) * 1999-04-16 2004-11-09 The Regents Of The University Of Michigan Method and system for high-speed, 3D imaging of optically-invisible radiation
CN101371786A (zh) * 2007-08-24 2009-02-25 北京师范大学珠海分校 一种x射线图像三维重构的方法及***
TW200950501A (en) * 2008-02-01 2009-12-01 Koninkl Philips Electronics Nv Autostereoscopic display device
US20110295331A1 (en) * 2010-05-28 2011-12-01 Lockheed Martin Corporation Laser-based nerve stimulators for, e.g., hearing restoration in cochlear prostheses and method

Family Cites Families (253)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB1353470A (en) 1970-10-19 1974-05-15 Post D Position measuring apparatus utilizing moire fringe multiplication
DE2951207A1 (de) 1978-12-26 1980-07-10 Canon Kk Verfahren zur optischen herstellung einer streuplatte
US4542376A (en) 1983-11-03 1985-09-17 Burroughs Corporation System for electronically displaying portions of several different images on a CRT screen through respective prioritized viewports
EP0156181B1 (de) 1984-03-05 1989-05-24 Siemens Aktiengesellschaft Optisches System zum gleichzeitigen Empfang von Wärme- und Laserstrahlung
JPH0762869B2 (ja) 1986-03-07 1995-07-05 日本電信電話株式会社 パタ−ン投影による位置形状計測方法
US4843568A (en) 1986-04-11 1989-06-27 Krueger Myron W Real time perception of and response to the actions of an unencumbered participant/user
JPH0615968B2 (ja) 1986-08-11 1994-03-02 伍良 松本 立体形状測定装置
US4850673A (en) 1987-11-23 1989-07-25 U. S. Philips Corporation Optical scanning apparatus which detects scanning spot focus error
JPH01240863A (ja) 1988-03-23 1989-09-26 Kowa Co スペックルパターン発生方法及び装置
US5090797A (en) 1989-06-09 1992-02-25 Lc Technologies Inc. Method and apparatus for mirror control
JPH0340591A (ja) 1989-07-06 1991-02-21 Katsuji Okino 立体像の撮影・表示方法及び装置
JPH0743683Y2 (ja) 1989-07-28 1995-10-09 日本電気株式会社 光ファイバの余長処理構造
EP0452793B1 (en) 1990-04-12 1998-01-28 Matsushita Electric Industrial Co., Ltd. Optical head having a hologram associated with the objective lens
JP3083834B2 (ja) 1990-08-21 2000-09-04 オリンパス光学工業株式会社 光学ピックアップ装置
US5075562A (en) 1990-09-20 1991-12-24 Eastman Kodak Company Method and apparatus for absolute Moire distance measurements using a grating printed on or attached to a surface
GB9116151D0 (en) 1991-07-26 1991-09-11 Isis Innovation Three-dimensional vision system
US5691989A (en) 1991-07-26 1997-11-25 Accuwave Corporation Wavelength stabilized laser sources using feedback from volume holograms
US5483261A (en) 1992-02-14 1996-01-09 Itu Research, Inc. Graphical input controller and method with rear screen image detection
DE69226512T2 (de) 1992-03-12 1999-04-22 Ibm Verfahren zur Bildverarbeitung
US5636025A (en) 1992-04-23 1997-06-03 Medar, Inc. System for optically measuring the surface contour of a part using more fringe techniques
US5477383A (en) 1993-02-05 1995-12-19 Apa Optics, Inc. Optical array method and apparatus
JP3353365B2 (ja) 1993-03-18 2002-12-03 静岡大学長 変位および変位速度測定装置
US5406543A (en) 1993-04-07 1995-04-11 Olympus Optical Co., Ltd. Optical head with semiconductor laser
JP3623250B2 (ja) 1993-06-23 2005-02-23 オリンパス株式会社 映像表示装置
US5856871A (en) 1993-08-18 1999-01-05 Applied Spectral Imaging Ltd. Film thickness mapping using interferometric spectral imaging
JP3537881B2 (ja) 1994-03-29 2004-06-14 株式会社リコー Ｌｅｄアレイヘッド
US5557397A (en) 1994-09-21 1996-09-17 Airborne Remote Mapping, Inc. Aircraft-based topographical data collection and processing system
US6041140A (en) 1994-10-04 2000-03-21 Synthonics, Incorporated Apparatus for interactive image correlation for three dimensional image production
JPH08186845A (ja) 1994-12-27 1996-07-16 Nobuaki Yanagisawa 焦点距離制御式立体テレビ
US5630043A (en) 1995-05-11 1997-05-13 Cirrus Logic, Inc. Animated texture map apparatus and method for 3-D image displays
IL114278A (en) 1995-06-22 2010-06-16 Microsoft Internat Holdings B Camera and method
EP0839314A1 (en) 1995-07-18 1998-05-06 The Budd Company Moire interferometry system and method with extended imaging depth
JP2768320B2 (ja) 1995-09-04 1998-06-25 日本電気株式会社 波長可変光フィルタ
JPH09261535A (ja) 1996-03-25 1997-10-03 Sharp Corp 撮像装置
US5701326A (en) 1996-04-16 1997-12-23 Loral Vought Systems Corporation Laser scanning system with optical transmit/reflect mirror having reduced received signal loss
US5614948A (en) 1996-04-26 1997-03-25 Intel Corporation Camera having an adaptive gain control
DE19638727A1 (de) 1996-09-12 1998-03-19 Ruedger Dipl Ing Rubbert Verfahren zur Erhöhung der Signifikanz der dreidimensionalen Vermessung von Objekten
JP3402138B2 (ja) 1996-09-27 2003-04-28 株式会社日立製作所 液晶表示装置
IL119341A (en) 1996-10-02 1999-09-22 Univ Ramot Phase-only filter for generating an arbitrary illumination pattern
IL119831A (en) 1996-12-15 2002-12-01 Cognitens Ltd A device and method for three-dimensional reconstruction of the surface geometry of an object
JP2001507133A (ja) 1996-12-20 2001-05-29 ライフェフ／エックス・ネットワークス・インク 高速３ｄイメージパラメータ表示装置および方法
US5838428A (en) 1997-02-28 1998-11-17 United States Of America As Represented By The Secretary Of The Navy System and method for high resolution range imaging with split light source and pattern mask
US6002520A (en) 1997-04-25 1999-12-14 Hewlett-Packard Company Illumination system for creating a desired irradiance profile using diffractive optical elements
JPH10327433A (ja) 1997-05-23 1998-12-08 Minolta Co Ltd 合成画像の表示装置
US6031611A (en) 1997-06-03 2000-02-29 California Institute Of Technology Coherent gradient sensing method and system for measuring surface curvature
US6008813A (en) 1997-08-01 1999-12-28 Mitsubishi Electric Information Technology Center America, Inc. (Ita) Real-time PC based volume rendering system
DE19736169A1 (de) 1997-08-20 1999-04-15 Fhu Hochschule Fuer Technik Verfahren zur Verformungs- oder Schwingungsmessung mittels elektronischer Speckle-Pattern-Interferometrie
US6101269A (en) 1997-12-19 2000-08-08 Lifef/X Networks, Inc. Apparatus and method for rapid 3D image parametrization
US6560019B2 (en) 1998-02-05 2003-05-06 Canon Kabushiki Kaisha Diffractive optical element and optical system having the same
DE19815201A1 (de) 1998-04-04 1999-10-07 Link Johann & Ernst Gmbh & Co Meßanordnung zur Erfassung von Dimensionen von Prüflingen, vorzugsweise von Hohlkörpern, insbesondere von Bohrungen in Werkstücken, sowie Verfahren zur Messung solcher Dimensionen
US6750906B1 (en) 1998-05-08 2004-06-15 Cirrus Logic, Inc. Histogram-based automatic gain control method and system for video applications
US6731391B1 (en) 1998-05-13 2004-05-04 The Research Foundation Of State University Of New York Shadow moire surface measurement using Talbot effect
DE19821611A1 (de) 1998-05-14 1999-11-18 Syrinx Med Tech Gmbh Verfahren zur Erfassung der räumlichen Struktur einer dreidimensionalen Oberfläche
GB2352901A (en) 1999-05-12 2001-02-07 Tricorder Technology Plc Rendering three dimensional representations utilising projected light patterns
US6912293B1 (en) 1998-06-26 2005-06-28 Carl P. Korobkin Photogrammetry engine for model construction
US6377700B1 (en) 1998-06-30 2002-04-23 Intel Corporation Method and apparatus for capturing stereoscopic images using image sensors
JP3678022B2 (ja) 1998-10-23 2005-08-03 コニカミノルタセンシング株式会社 ３次元入力装置
US6084712A (en) 1998-11-03 2000-07-04 Dynamic Measurement And Inspection,Llc Three dimensional imaging using a refractive optic design
US8965898B2 (en) 1998-11-20 2015-02-24 Intheplay, Inc. Optimizations for live event, real-time, 3D object tracking
US6759646B1 (en) 1998-11-24 2004-07-06 Intel Corporation Color interpolation for a four color mosaic pattern
JP2001166810A (ja) 1999-02-19 2001-06-22 Sanyo Electric Co Ltd 立体モデル提供装置及び方法
US6259561B1 (en) 1999-03-26 2001-07-10 The University Of Rochester Optical system for diffusing light
US6636538B1 (en) 1999-03-29 2003-10-21 Cutting Edge Optronics, Inc. Laser diode packaging
US6751344B1 (en) 1999-05-28 2004-06-15 Champion Orthotic Investments, Inc. Enhanced projector system for machine vision
JP2000348367A (ja) 1999-06-04 2000-12-15 Olympus Optical Co Ltd 光学ユニットおよび光ピックアップ
US6512385B1 (en) 1999-07-26 2003-01-28 Paul Pfaff Method for testing a device under test including the interference of two beams
US6268923B1 (en) 1999-10-07 2001-07-31 Integral Vision, Inc. Optical method and system for measuring three-dimensional surface topography of an object having a surface contour
JP2001141430A (ja) 1999-11-16 2001-05-25 Fuji Photo Film Co Ltd 画像撮像装置及び画像処理装置
LT4842B (lt) 1999-12-10 2001-09-25 Uab "Geola" Hologramų spausdinimo būdas ir įrenginys
US6301059B1 (en) 2000-01-07 2001-10-09 Lucent Technologies Inc. Astigmatic compensation for an anamorphic optical system
US6700669B1 (en) 2000-01-28 2004-03-02 Zheng J. Geng Method and system for three-dimensional imaging using light pattern having multiple sub-patterns
US6937348B2 (en) 2000-01-28 2005-08-30 Genex Technologies, Inc. Method and apparatus for generating structural pattern illumination
US20020071169A1 (en) 2000-02-01 2002-06-13 Bowers John Edward Micro-electro-mechanical-system (MEMS) mirror device
JP4560869B2 (ja) 2000-02-07 2010-10-13 ソニー株式会社 メガネなし表示システムおよびバックライトシステム
JP3662162B2 (ja) 2000-03-03 2005-06-22 シャープ株式会社 双方向光通信モジュール
JP4265076B2 (ja) 2000-03-31 2009-05-20 沖電気工業株式会社 多画角カメラ、及び自動撮影装置
US6690467B1 (en) 2000-05-05 2004-02-10 Pe Corporation Optical system and method for optically analyzing light from a sample
KR100355718B1 (ko) 2000-06-10 2002-10-11 주식회사 메디슨 스티어링이 가능한 프로브를 사용한 3차원 초음파 영상시스템 및 영상 형성 방법
US6810135B1 (en) 2000-06-29 2004-10-26 Trw Inc. Optimized human presence detection through elimination of background interference
JP2002026452A (ja) 2000-07-12 2002-01-25 Toyota Central Res & Dev Lab Inc 面発光型光源及びその製造方法、レーザ加工機用光源
TW527518B (en) 2000-07-14 2003-04-11 Massachusetts Inst Technology Method and system for high resolution, ultra fast, 3-D imaging
US7227526B2 (en) 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
US6686921B1 (en) 2000-08-01 2004-02-03 International Business Machines Corporation Method and apparatus for acquiring a set of consistent image maps to represent the color of the surface of an object
US6754370B1 (en) 2000-08-14 2004-06-22 The Board Of Trustees Of The Leland Stanford Junior University Real-time structured light range scanning of moving scenes
US6639684B1 (en) 2000-09-13 2003-10-28 Nextengine, Inc. Digitizer using intensity gradient to image features of three-dimensional objects
US6583873B1 (en) 2000-09-25 2003-06-24 The Carnegie Institution Of Washington Optical devices having a wavelength-tunable dispersion assembly that has a volume dispersive diffraction grating
US6813440B1 (en) 2000-10-10 2004-11-02 The Hong Kong Polytechnic University Body scanner
JP3689720B2 (ja) 2000-10-16 2005-08-31 住友大阪セメント株式会社 三次元形状測定装置
CN1227617C (zh) 2000-11-06 2005-11-16 皇家菲利浦电子有限公司 测量输入装置运动的方法和输入设置
JP2002152776A (ja) 2000-11-09 2002-05-24 Nippon Telegr & Teleph Corp <Ntt> 距離画像符号化方法及び装置、並びに、距離画像復号化方法及び装置
JP2002191058A (ja) 2000-12-20 2002-07-05 Olympus Optical Co Ltd ３次元画像取得装置および３次元画像取得方法
JP2002213931A (ja) 2001-01-17 2002-07-31 Fuji Xerox Co Ltd ３次元形状計測装置および３次元形状計測方法
US6841780B2 (en) 2001-01-19 2005-01-11 Honeywell International Inc. Method and apparatus for detecting objects
US6611000B2 (en) 2001-03-14 2003-08-26 Matsushita Electric Industrial Co., Ltd. Lighting device
CN1220283C (zh) 2001-04-23 2005-09-21 松下电工株式会社 使用led芯片的发光装置
JP2002365023A (ja) 2001-06-08 2002-12-18 Koji Okamoto 液面計測装置及び方法
US6825985B2 (en) 2001-07-13 2004-11-30 Mems Optical, Inc. Autostereoscopic display with rotated microlens and method of displaying multidimensional images, especially color images
US6741251B2 (en) 2001-08-16 2004-05-25 Hewlett-Packard Development Company, L.P. Method and apparatus for varying focus in a scene
US20030090818A1 (en) 2001-11-02 2003-05-15 Wittenberger John Carl Co-aligned receiver and transmitter for wireless link
US7340077B2 (en) 2002-02-15 2008-03-04 Canesta, Inc. Gesture recognition system using depth perceptive sensors
US7369685B2 (en) 2002-04-05 2008-05-06 Identix Corporation Vision-based operating method and system
US7811825B2 (en) 2002-04-19 2010-10-12 University Of Washington System and method for processing specimens and images for optical tomography
US20030227614A1 (en) 2002-06-05 2003-12-11 Taminiau August A. Laser machining apparatus with automatic focusing
WO2003105289A2 (en) 2002-06-07 2003-12-18 University Of North Carolina At Chapel Hill Methods and systems for laser based real-time structured light depth extraction
US7006709B2 (en) 2002-06-15 2006-02-28 Microsoft Corporation System and method deghosting mosaics using multiperspective plane sweep
US20040001145A1 (en) 2002-06-27 2004-01-01 Abbate Jeffrey A. Method and apparatus for multifield image generation and processing
US6924915B2 (en) 2002-08-26 2005-08-02 Canon Kabushiki Kaisha Oscillation device, optical deflector using the oscillation device, and image display device and image forming apparatus using the optical deflector, and method of manufacturing the oscillation device
US6859326B2 (en) 2002-09-20 2005-02-22 Corning Incorporated Random microlens array for optical beam shaping and homogenization
KR100624405B1 (ko) 2002-10-01 2006-09-18 삼성전자주식회사 광부품 실장용 기판 및 그 제조방법
US7194105B2 (en) 2002-10-16 2007-03-20 Hersch Roger D Authentication of documents and articles by moiré patterns
GB2395261A (en) 2002-11-11 2004-05-19 Qinetiq Ltd Ranging apparatus
AU2003287803A1 (en) 2002-11-21 2004-06-15 Solvision Fast 3d height measurement method and system
US7103212B2 (en) 2002-11-22 2006-09-05 Strider Labs, Inc. Acquisition of three-dimensional images by an active stereo technique using locally unique patterns
US20040174770A1 (en) 2002-11-27 2004-09-09 Rees Frank L. Gauss-Rees parametric ultrawideband system
US7639419B2 (en) 2003-02-21 2009-12-29 Kla-Tencor Technologies, Inc. Inspection system using small catadioptric objective
US7127101B2 (en) 2003-03-10 2006-10-24 Cranul Technologies, Inc. Automatic selection of cranial remodeling device trim lines
WO2004085956A2 (en) 2003-03-24 2004-10-07 D3D, L.P. Laser digitizer system for dental applications
US20040213463A1 (en) 2003-04-22 2004-10-28 Morrison Rick Lee Multiplexed, spatially encoded illumination system for determining imaging and range estimation
US7539340B2 (en) 2003-04-25 2009-05-26 Topcon Corporation Apparatus and method for three-dimensional coordinate measurement
US7295330B2 (en) 2003-07-11 2007-11-13 Chow Peter P Film mapping system
CA2435935A1 (en) 2003-07-24 2005-01-24 Guylain Lemelin Optical 3d digitizer with enlarged non-ambiguity zone
US20070057946A1 (en) 2003-07-24 2007-03-15 Dan Albeck Method and system for the three-dimensional surface reconstruction of an object
US6940583B2 (en) 2003-07-28 2005-09-06 International Business Machines Corporation Method and apparatus for amplitude filtering in the frequency plane of a lithographic projection system
US7064876B2 (en) 2003-07-29 2006-06-20 Lexmark International, Inc. Resonant oscillating scanning device with multiple light sources
US20050111705A1 (en) 2003-08-26 2005-05-26 Roman Waupotitsch Passive stereo sensing for 3D facial shape biometrics
US6934018B2 (en) 2003-09-10 2005-08-23 Shearographics, Llc Tire inspection apparatus and method
US7187437B2 (en) 2003-09-10 2007-03-06 Shearographics, Llc Plurality of light sources for inspection apparatus and method
EP1517166B1 (en) 2003-09-15 2015-10-21 Nuvotronics, LLC Device package and methods for the fabrication and testing thereof
US7064810B2 (en) 2003-09-15 2006-06-20 Deere & Company Optical range finder with directed attention
US7874917B2 (en) 2003-09-15 2011-01-25 Sony Computer Entertainment Inc. Methods and systems for enabling depth and direction detection when interfacing with a computer program
US7112774B2 (en) 2003-10-09 2006-09-26 Avago Technologies Sensor Ip (Singapore) Pte. Ltd CMOS stereo imaging system and method
US20050135555A1 (en) 2003-12-23 2005-06-23 Claus Bernhard Erich H. Method and system for simultaneously viewing rendered volumes
US7250949B2 (en) 2003-12-23 2007-07-31 General Electric Company Method and system for visualizing three-dimensional data
US8134637B2 (en) 2004-01-28 2012-03-13 Microsoft Corporation Method and system to increase X-Y resolution in a depth (Z) camera using red, blue, green (RGB) sensing
US7961909B2 (en) 2006-03-08 2011-06-14 Electronic Scripting Products, Inc. Computer interface employing a manipulated object with absolute pose detection component and a display
US20070165243A1 (en) 2004-02-09 2007-07-19 Cheol-Gwon Kang Device for measuring 3d shape using irregular pattern and method for the same
JP2005236513A (ja) 2004-02-18 2005-09-02 Fujinon Corp 撮像装置
JP4572312B2 (ja) 2004-02-23 2010-11-04 スタンレー電気株式会社 Ｌｅｄ及びその製造方法
US7227618B1 (en) 2004-03-24 2007-06-05 Baokang Bi Pattern generating systems
US7304735B2 (en) 2004-04-02 2007-12-04 Kla-Tencor Technologies Broadband wavelength selective filter
US7427981B2 (en) 2004-04-15 2008-09-23 Avago Technologies General Ip (Singapore) Pte. Ltd. Optical device that measures distance between the device and a surface
US7308112B2 (en) 2004-05-14 2007-12-11 Honda Motor Co., Ltd. Sign based human-machine interaction
EP1761921B1 (en) 2004-06-16 2008-02-06 Koninklijke Philips Electronics N.V. Apparatus and method for generating a scanning beam in an optical pickup head, miniature optical pickup head and optical storage system incorporating a miniature pickup head
CN101031837B (zh) 2004-07-23 2011-06-15 通用电气医疗集团尼亚加拉有限公司 用于荧光共焦显微镜检查的方法和设备
US20060017656A1 (en) 2004-07-26 2006-01-26 Visteon Global Technologies, Inc. Image intensity control in overland night vision systems
EP1789928A4 (en) 2004-07-30 2011-03-16 Extreme Reality Ltd SYSTEM AND METHOD FOR PICTURE PROCESSING BASED ON THE 3D ROOM DIMENSION
US7120228B2 (en) 2004-09-21 2006-10-10 Jordan Valley Applied Radiation Ltd. Combined X-ray reflectometer and diffractometer
JP5128047B2 (ja) 2004-10-07 2013-01-23 Ｔｏｗａ株式会社 光デバイス及び光デバイスの生産方法
JP2006128818A (ja) 2004-10-26 2006-05-18 Victor Co Of Japan Ltd 立体映像・立体音響対応記録プログラム、再生プログラム、記録装置、再生装置及び記録メディア
IL165212A (en) 2004-11-15 2012-05-31 Elbit Systems Electro Optics Elop Ltd Device for scanning light
US7076024B2 (en) 2004-12-01 2006-07-11 Jordan Valley Applied Radiation, Ltd. X-ray apparatus with dual monochromators
US20060156756A1 (en) 2005-01-20 2006-07-20 Becke Paul E Phase change and insulating properties container and method of use
US20060221218A1 (en) 2005-04-05 2006-10-05 Doron Adler Image sensor with improved color filter
WO2006107929A1 (en) 2005-04-06 2006-10-12 Dimensional Photonics International, Inc. Determining positional error of an optical component using structured light patterns
JP2006310417A (ja) 2005-04-27 2006-11-09 Sony Corp 光電変換装置及びその製造方法、並びに光情報処理装置
US7750356B2 (en) 2005-05-04 2010-07-06 Avago Technologies Fiber Ip (Singapore) Pte. Ltd. Silicon optical package with 45 degree turning mirror
US7560679B1 (en) 2005-05-10 2009-07-14 Siimpel, Inc. 3D camera
US7609875B2 (en) * 2005-05-27 2009-10-27 Orametrix, Inc. Scanner system and method for mapping surface of three-dimensional object
CN1725042B (zh) 2005-06-30 2010-11-24 昆明理工大学 基于Talbot干涉仪的扫描式光栅写入法及扫描式Talbot干涉仪
US7583875B2 (en) 2005-07-22 2009-09-01 Seiko Epson Corporation Illumination device, image display device, and projector
EP1934945A4 (en) 2005-10-11 2016-01-20 Apple Inc METHOD AND SYSTEM FOR RECONSTRUCTING AN OBJECT
US20110096182A1 (en) 2009-10-25 2011-04-28 Prime Sense Ltd Error Compensation in Three-Dimensional Mapping
US8390821B2 (en) 2005-10-11 2013-03-05 Primesense Ltd. Three-dimensional sensing using speckle patterns
US9330324B2 (en) 2005-10-11 2016-05-03 Apple Inc. Error compensation in three-dimensional mapping
US8018579B1 (en) 2005-10-21 2011-09-13 Apple Inc. Three-dimensional imaging and display system
CA2628611A1 (en) 2005-11-04 2007-05-18 Clean Earth Technologies, Llc Tracking using an elastic cluster of trackers
US7856125B2 (en) 2006-01-31 2010-12-21 University Of Southern California 3D face reconstruction from 2D images
US7433024B2 (en) 2006-02-27 2008-10-07 Prime Sense Ltd. Range mapping using speckle decorrelation
JP4692329B2 (ja) 2006-02-28 2011-06-01 日本ビクター株式会社 光無線通信装置
CN101957994B (zh) 2006-03-14 2014-03-19 普莱姆传感有限公司 三维传感的深度变化光场
JP5592070B2 (ja) 2006-03-14 2014-09-17 プライム センス リミティド 三次元検知のために深度変化させる光照射野
US7423821B2 (en) 2006-03-24 2008-09-09 Gentex Corporation Vision system
US7869649B2 (en) 2006-05-08 2011-01-11 Panasonic Corporation Image processing device, image processing method, program, storage medium and integrated circuit
US8488895B2 (en) 2006-05-31 2013-07-16 Indiana University Research And Technology Corp. Laser scanning digital camera with pupil periphery illumination and potential for multiply scattered light imaging
US8139142B2 (en) 2006-06-01 2012-03-20 Microsoft Corporation Video manipulation of red, green, blue, distance (RGB-Z) data including segmentation, up-sampling, and background substitution techniques
US7352499B2 (en) 2006-06-06 2008-04-01 Symbol Technologies, Inc. Arrangement for and method of projecting an image with pixel mapping
EP2584494A3 (en) 2006-08-03 2015-02-11 Alterface S.A. Method and device for identifying and extracting images of multiple users, and for recognizing user gestures
US7737394B2 (en) 2006-08-31 2010-06-15 Micron Technology, Inc. Ambient infrared detection in solid state sensors
WO2008029345A1 (en) 2006-09-04 2008-03-13 Koninklijke Philips Electronics N.V. Method for determining a depth map from images, device for determining a depth map
US7256899B1 (en) 2006-10-04 2007-08-14 Ivan Faul Wireless methods and systems for three-dimensional non-contact shape sensing
US8542421B2 (en) 2006-11-17 2013-09-24 Celloptic, Inc. System, apparatus and method for extracting three-dimensional information of an object from received electromagnetic radiation
US8090194B2 (en) 2006-11-21 2012-01-03 Mantis Vision Ltd. 3D geometric modeling and motion capture using both single and dual imaging
US7990545B2 (en) 2006-12-27 2011-08-02 Cambridge Research & Instrumentation, Inc. Surface measurement of in-vivo subjects using spot projector
US7840031B2 (en) 2007-01-12 2010-11-23 International Business Machines Corporation Tracking a range of body movement based on 3D captured image streams of a user
US8350847B2 (en) 2007-01-21 2013-01-08 Primesense Ltd Depth mapping using multi-beam illumination
US20080212835A1 (en) 2007-03-01 2008-09-04 Amon Tavor Object Tracking by 3-Dimensional Modeling
JP4232835B2 (ja) 2007-03-07 2009-03-04 セイコーエプソン株式会社 アクチュエータ、光スキャナおよび画像形成装置
US8150142B2 (en) 2007-04-02 2012-04-03 Prime Sense Ltd. Depth mapping using projected patterns
WO2008120217A2 (en) 2007-04-02 2008-10-09 Prime Sense Ltd. Depth mapping using projected patterns
CA2627999C (en) 2007-04-03 2011-11-15 Her Majesty The Queen In Right Of Canada, As Represented By The Minister Of Industry Through The Communications Research Centre Canada Generation of a depth map from a monoscopic color image for rendering stereoscopic still and video images
KR20100017234A (ko) 2007-04-23 2010-02-16 캘리포니아 인스티튜트 오브 테크놀로지 편광 감지 센서와 연결된 편광 코드화 개구 마스크를 사용하는 단일-렌즈, 3-ｄ 영상화 장치
US7835561B2 (en) 2007-05-18 2010-11-16 Visiongate, Inc. Method for image processing and reconstruction of images for optical tomography
US8494252B2 (en) 2007-06-19 2013-07-23 Primesense Ltd. Depth mapping using optical elements having non-uniform focal characteristics
US20100182406A1 (en) 2007-07-12 2010-07-22 Benitez Ana B System and method for three-dimensional object reconstruction from two-dimensional images
JP4412362B2 (ja) 2007-07-18 2010-02-10 船井電機株式会社 複眼撮像装置
US20090060307A1 (en) 2007-08-27 2009-03-05 Siemens Medical Solutions Usa, Inc. Tensor Voting System and Method
DE102007045332B4 (de) 2007-09-17 2019-01-17 Seereal Technologies S.A. Holographisches Display zum Rekonstruieren einer Szene
KR101439434B1 (ko) 2007-10-05 2014-09-12 삼성전자주식회사 이미지 센서 및 그 제조 방법
KR100858034B1 (ko) 2007-10-18 2008-09-10 (주)실리콘화일 단일 칩 활력 이미지 센서
JP5012463B2 (ja) 2007-12-03 2012-08-29 セイコーエプソン株式会社 走査型画像表示システム及び走査型画像表示装置
US8166421B2 (en) 2008-01-14 2012-04-24 Primesense Ltd. Three-dimensional user interface
US8176497B2 (en) 2008-01-16 2012-05-08 Dell Products, Lp Method to dynamically provision additional computer resources to handle peak database workloads
US8384997B2 (en) 2008-01-21 2013-02-26 Primesense Ltd Optical pattern projection
CN101984767B (zh) 2008-01-21 2014-01-29 普莱姆森斯有限公司 用于使零级减少的光学设计
US8331006B2 (en) 2008-02-13 2012-12-11 Nokia Corporation Display device and a method for illuminating a light modulator array of a display device
KR20090091610A (ko) 2008-02-25 2009-08-28 삼성전자주식회사 멤스 미러 및 이를 채용한 스캐닝 액츄에이터
DE102008011350A1 (de) 2008-02-27 2009-09-03 Loeffler Technology Gmbh Vorrichtung und Verfahren zur Echtzeiterfassung von elektromagnetischer THz-Strahlung
US8121351B2 (en) 2008-03-09 2012-02-21 Microsoft International Holdings B.V. Identification of objects in a 3D video using non/over reflective clothing
US8035806B2 (en) 2008-05-13 2011-10-11 Samsung Electronics Co., Ltd. Distance measuring sensor including double transfer gate and three dimensional color image sensor including the distance measuring sensor
US8456517B2 (en) 2008-07-09 2013-06-04 Primesense Ltd. Integrated processor for 3D mapping
WO2010048960A1 (en) * 2008-10-28 2010-05-06 3Shape A/S Scanner with feedback control
KR20100063996A (ko) 2008-12-04 2010-06-14 삼성전자주식회사 스캐너 및 이를 채용한 화상 형성 장치
US8462207B2 (en) 2009-02-12 2013-06-11 Primesense Ltd. Depth ranging with Moiré patterns
US7949024B2 (en) 2009-02-17 2011-05-24 Trilumina Corporation Multibeam arrays of optoelectronic devices for high frequency operation
EP2226652B1 (de) 2009-03-02 2013-11-20 Sick Ag Optoelektronischer Sensor mit Ausrichtlichtsender
US8786682B2 (en) 2009-03-05 2014-07-22 Primesense Ltd. Reference image techniques for three-dimensional sensing
US8717417B2 (en) 2009-04-16 2014-05-06 Primesense Ltd. Three-dimensional mapping and imaging
US8503720B2 (en) 2009-05-01 2013-08-06 Microsoft Corporation Human body pose estimation
US8744121B2 (en) 2009-05-29 2014-06-03 Microsoft Corporation Device for identifying and tracking multiple humans over time
EP2275990B1 (de) 2009-07-06 2012-09-26 Sick Ag 3D-Sensor
US9582889B2 (en) 2009-07-30 2017-02-28 Apple Inc. Depth mapping based on pattern matching and stereoscopic information
US8773514B2 (en) 2009-08-27 2014-07-08 California Institute Of Technology Accurate 3D object reconstruction using a handheld device with a projected light pattern
WO2011036553A1 (en) 2009-09-28 2011-03-31 Pentalum Technologies Ltd. Methods, devices and systems for remote wind sensing
US8305502B2 (en) 2009-11-11 2012-11-06 Eastman Kodak Company Phase-compensated thin-film beam combiner
JP5588310B2 (ja) 2009-11-15 2014-09-10 プライムセンス リミテッド ビームモニタ付き光学プロジェクタ
JP5452197B2 (ja) 2009-12-03 2014-03-26 パナソニック株式会社 Ｍｅｍｓ光スキャナ
US8830227B2 (en) 2009-12-06 2014-09-09 Primesense Ltd. Depth-based gain control
US8320621B2 (en) 2009-12-21 2012-11-27 Microsoft Corporation Depth projector system with integrated VCSEL array
DE102010005993B4 (de) 2010-01-27 2016-10-20 Deutsches Zentrum für Luft- und Raumfahrt e.V. Laserscanner-Einrichtung und Verfahren zur dreidimensionalen berührungslosen Umgebungserfassung mit einer Laserscanner-Einrichtung
US20110188054A1 (en) 2010-02-02 2011-08-04 Primesense Ltd Integrated photonics module for optical projection
US20110187878A1 (en) 2010-02-02 2011-08-04 Primesense Ltd. Synchronization of projected illumination with rolling shutter of image sensor
US8786757B2 (en) 2010-02-23 2014-07-22 Primesense Ltd. Wideband ambient light rejection
US8982182B2 (en) 2010-03-01 2015-03-17 Apple Inc. Non-uniform spatial resource allocation for depth mapping
US8279418B2 (en) 2010-03-17 2012-10-02 Microsoft Corporation Raster scanning for depth detection
US8330804B2 (en) 2010-05-12 2012-12-11 Microsoft Corporation Scanned-beam depth mapping to 2D image
US8654152B2 (en) 2010-06-21 2014-02-18 Microsoft Corporation Compartmentalizing focus area within field of view
US9036158B2 (en) 2010-08-11 2015-05-19 Apple Inc. Pattern projector
WO2012020380A1 (en) 2010-08-11 2012-02-16 Primesense Ltd. Scanning projectors and image capture modules for 3d mapping
US20120236379A1 (en) 2010-08-23 2012-09-20 Lighttime, Llc Ladar using mems scanning
EP2643659B1 (en) 2010-11-19 2019-12-25 Apple Inc. Depth mapping using time-coded illumination
US9280718B2 (en) 2010-11-24 2016-03-08 Nocimed, Llc Systems and methods for automated voxelation of regions of interest for magnetic resonance spectroscopy
US9131136B2 (en) 2010-12-06 2015-09-08 Apple Inc. Lens arrays for pattern projection and imaging
US9030528B2 (en) 2011-04-04 2015-05-12 Apple Inc. Multi-zone imaging sensor and lens array
US8749796B2 (en) 2011-08-09 2014-06-10 Primesense Ltd. Projectors of structured light
US8908277B2 (en) 2011-08-09 2014-12-09 Apple Inc Lens array projector
US9684075B2 (en) 2011-10-27 2017-06-20 Microvision, Inc. Scanning laser time of flight 3D imaging
WO2013121366A1 (en) 2012-02-15 2013-08-22 Primesense Ltd. Scanning depth engine
US9396382B2 (en) 2012-08-17 2016-07-19 Flashscan3D, Llc System and method for a biometric image sensor with spoofing detection
US20140063189A1 (en) 2012-08-28 2014-03-06 Digital Signal Corporation System and Method for Refining Coordinate-Based Three-Dimensional Images Obtained from a Three-Dimensional Measurement System
US8948482B2 (en) 2012-11-01 2015-02-03 Align Technology, Inc. Motion compensation in a three dimensional scan
KR20150057011A (ko) 2013-11-18 2015-05-28 삼성전자주식회사 광원일체형 카메라
US20160125638A1 (en) 2014-11-04 2016-05-05 Dassault Systemes Automated Texturing Mapping and Animation from Images
US10107914B2 (en) 2015-02-20 2018-10-23 Apple Inc. Actuated optical element for light beam scanning device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6815687B1 (en) * 1999-04-16 2004-11-09 The Regents Of The University Of Michigan Method and system for high-speed, 3D imaging of optically-invisible radiation
TW542946B (en) * 2000-01-04 2003-07-21 Ut Battelle Llc Improvements to acquisition and replay system for direct-to-digital holography and holovision
CN101371786A (zh) * 2007-08-24 2009-02-25 北京师范大学珠海分校 一种x射线图像三维重构的方法及***
TW200950501A (en) * 2008-02-01 2009-12-01 Koninkl Philips Electronics Nv Autostereoscopic display device
US20110295331A1 (en) * 2010-05-28 2011-12-01 Lockheed Martin Corporation Laser-based nerve stimulators for, e.g., hearing restoration in cochlear prostheses and method

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12001088B2 (en) 2020-02-12 2024-06-04 Meta Platforms Technologies, Llc Optical elements for integrated IR and visible camera for depth sensing and systems incorporating the same
TWI747289B (zh) * 2020-05-07 2021-11-21 大陸商廣州立景創新科技有限公司 成像裝置及成像方法
US11509822B2 (en) 2020-05-07 2022-11-22 Guangzhou Luxvisions Innovation Technology Limited Imaging device and imaging method

Also Published As

Publication number Publication date
US10721459B2 (en) 2020-07-21
US20170244955A1 (en) 2017-08-24
US20190149805A1 (en) 2019-05-16
CN103053167A (zh) 2013-04-17
US9677878B2 (en) 2017-06-13
CN103053167B (zh) 2016-01-20
TW201233141A (en) 2012-08-01
US20130127854A1 (en) 2013-05-23
WO2012020380A1 (en) 2012-02-16
US10218963B2 (en) 2019-02-26
US9098931B2 (en) 2015-08-04
US20150292874A1 (en) 2015-10-15

Similar Documents

Publication Publication Date Title
TWI513273B (zh) 掃描投影機及用於３ｄ映射之影像擷取模組
US10917626B2 (en) Active illumination 3D imaging system
KR102594058B1 (ko) 광 스캐닝 프로젝터와 함께 눈 움직임을 추적하기 위한 방법 및 시스템
US11733524B1 (en) Depth camera assembly based on near infra-red illuminator
CN105659106B (zh) 使用动态结构光的三维深度映射
CN108475145B (zh) 图像识别装置、图像识别方法以及图像识别单元
TW201712371A (zh) 資料眼鏡用的投影裝置，資料眼鏡，以及操作資料眼鏡用的投影裝置的方法
KR20120098131A (ko) 격자패턴투영장치
US20180094919A1 (en) Imaging system with synchronized dynamic control of directable beam light source and reconfigurably masked photo-sensor
US10726257B2 (en) Gaze-tracking system and method of tracking user&#39;s gaze
US20220034651A1 (en) Energy optimized imaging system with synchronized dynamic control of directable beam light source and reconfigurably masked photo-sensor
JP6668764B2 (ja) 画像認識装置、画像認識方法および画像認識ユニット
US10485420B2 (en) Eye gaze tracking
US20120300273A1 (en) Floating virtual hologram display apparatus
JP7150966B2 (ja) 後方散乱レーザスペックルパターンのオプティカルフローの追跡