TW202229978A - 用於擴增實境和虛擬實境裝置的反向透視眼鏡 - Google Patents

Abstract

本發明係關於一種用於向一旁觀者提供一頭戴式裝置顯示器之一使用者之一反向透視視圖的裝置，該裝置包括包含一光學表面的一目鏡，該光學表面經組態以在該光學表面之一第一側上將一影像提供至一使用者。該裝置亦包括：一第一攝影機，其經組態以收集自該光學表面於一第一視場中反射的該使用者之一面部之一部分的一影像；一顯示器，其鄰近於該光學表面且經組態以向前投射該使用者之該面部的一影像；及一螢幕，其經組態以自該顯示器接收光且將該使用者之該面部之該影像提供至一旁觀者。

Description

用於擴增實境和虛擬實境裝置的反向透視眼鏡

本案揭示內容係關於擴增實境（augmented reality；AR）及虛擬實境（virtual reality；VR）裝置，其包括將使用者之面部特徵之實際視圖提供至前方旁觀者的反向透視特徵。更具體言之，本案揭示內容提供一種用於AR/VR頭戴式裝置使用者之旁觀者的裸視立體（autostereoscopic）外部顯示器。 相關申請案之交叉引用

本案揭示內容係關於頒予Nathan Matsuda等人之2021年1月27日申請的美國臨時申請案第63/142,458號及2021年8月6日申請的美國非臨時申請案第17/396,449號且主張該等申請案之優先權，該等申請案之內容出於所有目的特此以全文引用之方式併入。

在AR及VR裝置之領域中，一些裝置包括外向顯示器，該等外向顯示器向對裝置之使用者顯示的影像之旁觀者提供視圖。雖然此等組態有助於旁觀者較佳地理解AR或VR裝置之使用者正經歷的內容，但其使旁觀者無從知曉使用者之思想狀態或使用者之注意力集中點，諸如，在使用者嘗試使用透視模式與旁觀者說話而未另外參與虛擬實境環境的情況下。此外，對於具有外向顯示器之此等裝置，其典型地係傳統二維顯示器，缺乏使用者面部或頭部之至少一部分的全部身體影像之實際視圖以便在裝置內描繪使用者面部或頭部的準確深度及距離。

在第一具體實例中，一種裝置包括經組態以向一使用者提供一影像的一近眼顯示器及經組態以收集該使用者之一面部之一影像的眼睛成像系統。該裝置亦包括一光場顯示器，其經組態以將該使用者之該面部之一三維重建的一裸視立體影像提供至一旁觀者。該裸視立體影像描繪自該光場顯示器之一視場內的多個視點看的該使用者面部之一透視校正視圖。

在第二具體實例中，一種電腦實施方法包括：自一使用者面部之一部分接收具有一或多個視場之多個二維影像；及在一第一解析度設定下自該等二維影像擷取多個影像特徵。該電腦實施方法亦包括：針對該使用者面部之一部分，基於該等影像特徵顯現一三維重建，其中對一旁觀者遮蔽該使用者面部之該部分；及將該使用者面部之該三維重建的一裸視立體影像提供至該旁觀者。

在第三具體實例中，一種電腦實施方法用於訓練一模型以向一虛擬實境頭戴式裝置中之一裸視立體顯示器提供一使用者面部之一部分的視圖。該電腦實施方法包括：自多個使用者之面部收集多個實況影像；及藉由儲存之經校準立體影像對來矯正該等實況影像。該電腦實施方法亦包括藉由一三維面部模型產生該等使用者之面部的多個合成視圖，其中該等使用者之面部的合成視圖匹配該虛擬實境頭戴式裝置中之一面部成像攝影機的一幾何形狀，且該三維面部模型與該等實況影像紋理映射。該電腦實施方法亦包括基於該等實況影像與該等使用者之面部的該等合成視圖之間的一差異而訓練該三維面部模型。

在又一具體實例中，一種系統包括用於儲存指令之一第一構件及用於執行該等指令以執行一方法之一第二構件，該方法包括自多個使用者之面部收集多個實況影像及藉由儲存之經校準立體影像對來矯正該等實況影像。該方法亦包括藉由一三維面部模型產生該等使用者之面部的多個合成視圖，其中該等使用者之面部的合成視圖匹配該虛擬實境頭戴式裝置中之一面部成像攝影機的一幾何形狀，且該三維面部模型與該等實況影像紋理映射。該方法亦包括基於該等實況影像與該等使用者之面部的該等合成視圖之間的一差異而訓練該三維面部模型。

在以下詳細描述中，闡述諸多具體細節以提供對本案揭示內容之充分理解。然而，所屬技術領域中具有通常知識者將顯而易見，可在不具有一些此等具體細節之情況下實踐本案揭示內容的具體實例。在其他情況下，並未詳細展示熟知結構及技術以免混淆本揭示內容。

在AR及VR裝置之領域及其用途中，使用者與環境之間斷開連接，該斷開連接即便無害於使用者及附近他人，亦可能對使用者周圍之人造成困擾。在一些情境下，使用者可能期望與一或多個旁觀者對話或引起注意。當前AR及VR裝置無法使旁觀者參與及驗證使用者之注意集中點。

典型地，嘗試匹配具有深焦距之廣角視場或三維顯示器的顯示應用需要犧牲顯示器之空間解析度。一種方法係減小顯示器中之像素之尺寸以增大解析度；然而，當前技術水平下之技術中的像素尺寸即將達到可見光及近紅外光之繞射限制，此對可達成之最終解析度造成限制。就AR及VR裝置而言，在與此等裝置中涉及之形態因數及角尺寸相關聯之範圍受限的情況下，空間解析度與角解析度之間的此折衷較難調和。

AR/VR裝置之期望特徵係具有小的形態因數。因此，較細微裝置合乎需要。為達成此目的，具有較短工作距離之多小透鏡陣列（multi-lenset array；MLA）光場顯示器藉由使用便利的全像餅狀透鏡設計提供解析度損失受限之VR頭戴式裝置的細微橫截面。

AR/VR裝置之另一期望特徵係提供高解析度。儘管此舉對聚焦深度施加限制，但在用於捕獲複雜景物之光學系統中常見的此種限制對於本文揭示之外部顯示器不大嚴苛，此係因為場深受外部顯示器與使用者面部之間不大變化的相對位置限制。

如本文所揭示之具體實例針對其中穿戴VR頭戴式裝置之一或多個人與未穿戴VR頭戴式裝置之一或多個人互動的廣泛多種應用使用VR頭戴式裝置改良人際互動的品質。如本文所論述之具體實例消除VR使用者與旁觀者或其他VR使用者之間的分歧，且填補VR與AR之間的空缺：透視AR與VR系統之更大精細度及更高沉浸能力的共存益處。因此，如本文所揭示之具體實例提供引人入勝且更自然的VR體驗。

更一般化地，如本文所揭示之具體實例提供一種對於旁觀者而言看似一副標準透視眼鏡的AR/VR頭戴式裝置，其使得AR/VR使用者能夠與周圍環境更好地融合。這在AR/VR使用者與其他人或旁觀者交互的情境中極為有益。

圖1A說明根據一些具體實例之包括裸視立體外部顯示器110A的頭戴式裝置10A。頭戴式裝置10A可為經組態以安放於使用者頭部的AR或VR裝置。頭戴式裝置10A包括兩個目鏡100A，該等目鏡藉由帶15機械耦接且具有可撓性座架以將電子組件20固持於使用者頭部的後面。柔性連接器5可使目鏡100A與電子組件20以電子方式耦接。目鏡100A中之每一者包括經組態以收集自光學表面於選定視場（field of view；FOV）中反射的使用者之面部之一部分的影像之眼睛成像系統115-1及115-2（在下文統稱為「眼睛成像系統115」）。眼睛成像系統115可包括於不同FOV處收集使用者眼睛之兩個影像，以便產生使用者面部之至少一部分的三維立體視圖的雙眼睛攝影機。眼睛成像系統115可將關於瞳孔位置及移動之資訊提供至電子組件。目鏡100A亦可包括外部顯示器110A（例如光場顯示器），其鄰近於光學表面且經組態以自使用者向前投射使用者之面部的裸視立體影像。

在一些具體實例中，電子組件20可包括儲存指令之記憶體電路112及處理器電路122，該處理器電路執行該等指令以自眼睛成像系統115接收使用者面部之部分的影像且向外部顯示器110A提供使用者面部之裸視立體影像。此外，電子組件20亦可自一或多個眼睛攝影機接收使用者面部之部分的影像，且應用影像分析以評估使用者在外部視圖之一態樣或虛擬實境顯示器上的凝視、聚散眼動（vergence）及聚焦。在一些具體實例中，電子組件20包括經組態以與網路通信之通信模組118。通信模組118可包括射頻軟體及硬體以使記憶體112及處理器122與外部網路或某一其他裝置無線通信。因此，通信模組118可包括無線電天線、收發器及感測器，亦有數位處理電路以用於根據諸如Wi-Fi、藍牙、近場接觸（Near field contact；NFC）及其類似者之多個無線協定中之任一者進行信號處理。另外，通信模組118亦可與同頭戴式裝置10A協作之其他輸入工具及附件（例如，手柄、操縱桿、滑鼠、無線指標及其類似者）通信。

在一些具體實例中，目鏡100A可包括一或多個外部攝影機125-1及125-2（在下文統稱為「外部攝影機125」）以捕獲使用者之場景的正視圖。在一些具體實例中，基於可衍生自藉由雙眼睛攝影機提供之使用者面部部分之影像的使用者視圖之凝視、聚散眼動、聚焦以及其他特徵，外部攝影機125可（例如，藉由處理器122）聚焦於或導引至使用者可能尤為感興趣之正視圖的態樣。

圖1B說明根據一些具體實例之藉由前方旁觀者看到的頭戴式裝置10B。在一些具體實例中，頭戴式裝置10B可為呈「通氣管」組態之AR或VR裝置。在下文中，頭戴式裝置10A及10B將統稱為「頭戴式裝置10」。在一些具體實例中，觀察窗100B可包括將使用者101之視圖提供至旁觀者102的單一前顯示器110B。顯示器110B包括面部之具有兩個眼睛的部分、鼻子之一部分、眉毛及使用者101的其他面部特徵。此外，使用者面部之裸視立體影像111可包括諸如使用者眼睛之精確且即時位置的細節，指示使用者101之凝視方向及聚散眼動或注意力集中點。此可向旁觀者102指示使用者是在注意已探討之事，還是在注意可能轉移使用者注意力之一些其他環境干擾或感覺輸入。

在一些具體實例中，裸視立體影像111提供對使用者之面部的3D顯現。因此，旁觀者102具有使用者面部乃至使用者頭部之完整視圖，從而隨著旁觀者102改變視角而改變角度。在一些具體實例中，向外投射之顯示器110B可包括使用者面部之一部分的影像之外的額外影像特徵。舉例而言，在一些具體實例中，向外投射之顯示器可包括疊加至使用者面部之影像之影像中的虛擬元素（例如，使用者實際觀看之虛擬影像或環境中之真實光源的反射或眩光）。

圖2說明根據一些具體實例之用於AR或VR裝置的目鏡200之詳細視圖，該AR或VR裝置經組態以向前方旁觀者提供使用者面部之反向透視視圖（參考目鏡100A及通氣管觀察窗100B）。目鏡200包括經組態以在光學表面220之第一側（左側）上向使用者提供影像的光學表面220。在一些具體實例中，至使用者之影像可由前攝影機225提供，且光學表面220可包括耦接至前攝影機225之顯示器。在一些具體實例中，光學表面220中之影像可為由執行儲存於記憶體中之指令的處理器（例如，對於VR裝置，記憶體112及處理器122）提供的虛擬影像。在一些具體實例中（例如，對於AR裝置），至使用者之影像可至少部分地包括經由透明光學組件（例如，透鏡、波導、稜鏡及其類似者）自目鏡200前側傳輸的影像。

在一些具體實例中，目鏡200亦包括經組態以在兩個不同FOV處收集使用者面部（例如，使用者眼睛）之第一影像及第二影像的第一眼睛攝影機215A及第二眼睛攝影機215B（在下文統稱為「眼睛攝影機215」）。在一些具體實例中，眼睛攝影機215可為在反射模式下自熱鏡總成205收集使用者面部影像的紅外線攝影機。照明環211可提供照明至使用者面部之將由眼睛攝影機215成像的部分。因此，光學表面220可經組態以在由眼睛攝影機215操作之光的波長（例如，紅外線域）下為反射性的，且透射將影像提供至使用者之光，例如可見域，包括紅色（Red；R）、藍色（Blue；B）及綠色（Green；G）像素。前顯示器210B將使用者面部之裸視立體影像投射至旁觀者（在圖的右側末端）。

圖3A至圖3D說明根據一些具體實例之用作在AR或VR裝置中向前方旁觀者提供使用者的反向透視視圖之螢幕之微透鏡陣列300的不同態樣及組件。在一些具體實例中，微透鏡陣列300自像素陣列320接收光且將使用者面部之影像提供至旁觀者。在一些具體實例中，使用者面部之影像為使用者面部之3D再現的透視圖，此取決於旁觀者視角。

圖3A為微透鏡陣列300之詳細視圖且包括配置成具有間距305之二維圖案302的多個微透鏡301-1、301-2及301-3（在下文中統稱為「微透鏡301」）。在一些具體實例中，孔罩315可鄰近於微透鏡陣列而安置，使得一個孔與每一微透鏡301對準，以避免自旁觀者之視角的不同視角串擾。

僅出於說明之目的，圖案302為具有小於一毫米（例如，500 µm）之間距305之微透鏡301的六角柵格。微透鏡陣列300可包括第一表面及第二表面310，該第一表面及第二表面包括形成微透鏡301之凹部，該第一表面與該第二表面310藉由透射基板307（例如，N-BK7玻璃、塑膠及其類似者）分隔開。在一些具體實例中，透射基板307可具有約200 µm的厚度。

圖3B係根據一些具體實例之用於反向透視頭戴式裝置中之光場顯示器350的詳細視圖。出於說明之目的，光場顯示器350包括鄰近於微透鏡陣列（例如，微透鏡陣列300）之像素陣列320，僅展示該微透鏡陣列中的一微透鏡301。像素陣列320包括產生導引至微透鏡301之光束323的多個像素321。在一些具體實例中，像素陣列320與微透鏡301之間的距離303可大致等於微透鏡301之焦距，且因此出射光束325可取決於發端像素321之特定位置而在不同方向上準直。因此，像素陣列320中之不同像素321可取決於旁觀者之位置而提供使用者面部之3D表示的不同視角。

圖3C係展示蜂房形圖案之微透鏡陣列300的平面視圖。

圖3D說明微透鏡陣列300，其中孔罩315鄰近於該微透鏡陣列安置，使得孔罩315上之開口在微透鏡陣列300上居中。在一些具體實例中，孔罩315可包括鉻，其在500 µm六單元間距上具有約400 µm之孔隙（如所說明）。孔罩315可與第一表面或第二表面310對齊，在微透鏡陣列300之任一側上或在兩側上。

圖4說明根據一些具體實例之向旁觀者提供AR／VR裝置之使用者面部之反向透視影像的光場顯示器450之射線追蹤視圖。根據一些具體實例，光場顯示器450包括用於向前方旁觀者提供AR或VR裝置之使用者面部之廣角高解析度視圖的微透鏡陣列400。微透鏡陣列400包括配置成二維圖案之多個微透鏡401，如本文所揭示。像素陣列420可包括提供光線423之多個像素421，該等光線透射穿過微透鏡陣列400以產生AR或VR裝置之使用者的面部之至少一部分的3D再現。微透鏡陣列400可包括孔罩415。孔罩415提供接近微透鏡陣列400中的微透鏡中之每一者之邊緣的阻擋元件。阻擋元件相對於光線425A減小光線425B及425C之量，從而為旁觀者形成使用者面部之正視圖。此對於位於螢幕前方且觀察使用者面部之3D再現的旁觀者會減少串擾及重像影響（下文，根據圖4）。

圖5A至圖5C說明根據一些具體實例之微透鏡陣列中用以提供AR或VR裝置之使用者的面部的廣角高解析度視圖之解析能力特性500A、500B及500C（在下文統稱為「解析能力特性500」）的不同態樣。在解析能力特性500中，橫軸521（X軸）指示使用者面部（例如，使用者眼睛）與微透鏡陣列之間的影像距離（以mm計）。在解析能力特性500中，縱軸522（Y軸）係包括光顯示器及螢幕之光學系統的解析度，該解析度依據例如位於離穿戴AR或VR裝置之使用者約一公尺處的旁觀者於顯示器上所見之每毫米之特徵循環（循環/mm）的某一頻率值而給出。

圖5A說明包括截止值之解析能力特性500A，該截止值係旁觀者可自顯示器辨別的最高頻率。曲線501-1A及501-2A（在下文統稱為「曲線501A」）與兩個不同頭戴式裝置模型（分別稱為模型1及模型2）相關聯。特定解析度取決於影像距離及螢幕之其他參數，諸如微透鏡陣列之間距（例如，間距305）。一般而言，對於使用者眼睛與螢幕之間的較大距離，解析度截止值將單調減小（沿橫軸521至右側）。此狀況藉由曲線501-2A之截止值510-2A（大約0.1循環／mm）與曲線501-1A之截止值510-1A（大約0.25循環／mm）的差說明。實際上，曲線501-2A之頭戴式裝置模型（使用者面部與顯示器之間接近10 cm）與曲線501-1A之頭戴式裝置模型（使用者眼睛與顯示器之間約5 cm）相比具有更大影像距離。此外，對於具有更寬間距之微透鏡陣列（模型2，500 µm間距），解析度截止值相對於更小間距（模型1，200 µm間距）將減小。

圖5B說明包括用於光場顯示器模型（模型3）之曲線501B的解析能力特性500B，該光場顯示器模型在點510B處約5 cm之影像距離下提供約0.3循環/mm的空間頻率。

圖5C說明包括曲線501-1C、501-2C、501-3C及501-4C（在下文統稱為「曲線501C」）之解析能力特性500C。解析能力特性500C之橫軸521C（X軸）指示頭戴式裝置深度（例如，類似於使用者眼睛/面部與光場顯示器之間的距離），且縱軸522C（Y軸）指示光場顯示器中之像素陣列的像素間距（以微米，即µm計）。曲線501C中之每一者指示每一光場顯示器模型的數個循環/mm截止解析度。相比於點510C處針對具有高密度像素填充（低於10 µm間距）及約25 mm之緊密頭戴式裝置深度（例如，約一吋或更少）之光場顯示器模型（模型4）獲得的更佳解析度來說明點510B。

圖5D對於光場顯示器模型中之每一者，根據旁觀者說明穿戴頭戴式裝置之使用者的影像510-1D及510-2D。影像510-1D係藉由光場顯示器之模型3獲得，且影像510-2D係藉由光場顯示器之模型4獲得（分別參考點510B及510C）。模型4之解析效能當然比模型3之解析效能更佳，從而指示就與本案揭示內容一致之模型設計而言，鑒於其他取捨，存在適應期望之解析度之廣泛範圍的可能性。

圖6說明根據一些具體實例的AR或VR裝置之使用者的面部之一部分的3D再現621A及621B（在下文統稱為「3D再現621」）。在一些具體實例中，3D再現621係藉由對使用者面部（例如眼睛）之至少一部分之多個2D影像611操作的模型650提供，且藉由AR或VR裝置中之眼睛成像系統提供（參考眼睛成像系統115及眼睛攝影機215）。模型650可包括線性及/或非線性演算法，諸如神經網路（neural network；NN）、卷積神經網路（convolutional neural network；CNN）、機器學習（machine learning；ML）模型以及人工智慧（artificial intelligence；AI）模型。模型650包括儲存於記憶體電路中且由處理器電路執行的指令。記憶體電路及處理器電路可儲存於AR或VR裝置之背部中（例如，電子組件20中之記憶體112及處理器122）。因此，自眼睛成像系統接收多個2D影像611以產生、更新及改良模型650。多個2D影像包括例如來自眼睛成像系統中之兩個不同立體眼睛攝影機中之每一者的至少兩個不同FOV，且模型650可判定哪一影像來自哪一攝影機，從而形成3D再現621。模型650隨後使用2D影像輸入及兩個眼睛攝影機之FOV之間的差異（例如，攝影機方向向量）之詳細知識來提供AR或VR裝置之使用者的面部之至少一部分的3D再現621。

圖7說明根據一些具體實例之用於VR/AR頭戴式裝置之使用者的面部之一部分之3D再現的模型架構700的方塊圖。模型架構700分成兩個播放軌（track）750A及750B（在下文統稱為「播放軌750」），每一播放軌用於使用者面部之不同攝影機視圖。隨後藉由共用模型755中之權重而組合兩個播放軌750。模型架構700可包括若干階段，如下：

階段702：使用孿生網路以較低解析度（例如，藉由紅外線攝影機）提取影像特徵（例如，呈2D形式）。在一些具體實例中，階段702包括針對一組輸入影像711（例如，訓練影像或取樣影像）經由若干神經網路層對特徵集進行減少取樣712。

階段704：藉由沿著影像中之掃描線匹配特徵而在較低解析度下建構成本量（cost volume），以提供粗略視差估計。

階段706：分層細化結果以恢復小細節及細微結構。

圖8A至圖8D說明根據一些具體實例之用於訓練模型以向虛擬實境頭戴式裝置中之裸視立體顯示器提供使用者面部之一部分的視圖之方法中的元件及步驟。藉由來自多個使用者之多個訓練影像811訓練目鏡800。產生用於使用者中之每一者的3D模型821，該3D模型包括紋理圖及深度圖以恢復影像特徵833-1B、833-2B及833C（在下文統稱為「紋理及深度圖833」）的精細細節。當產生3D模型821時，將使用者面部之三維重建的裸視立體影像提供至光場顯示器中之像素陣列。光場顯示器分成作用像素之多個區段，各區段在針對旁觀者所選視角中提供3D模型821之視場的一部分。

圖8A說明根據一些具體實例之用於將多個訓練影像811收集至目鏡800上的設置850。訓練影像811可由顯示器提供，且投射至安置於與熱鏡在目鏡組裝於頭戴式裝置中時所處之相同位置處的螢幕812上。一或多個紅外線攝影機815在反射模式下收集訓練影像811，且一或多個RGB攝影機825在透射模式下收集訓練影像。設置850具有經固定以用於所有訓練影像811之影像向量801-1、IR攝影機向量801-2及RGB攝影機向量801-3（在下文統稱為「定位向量801」）。定位向量801由演算法模型用以準確地評估與3D模型821相關聯之尺寸、距離及視角。

圖8B說明根據一些具體實例之紋理影像833-1B及深度影像833-2B。紋理影像833-1B可使用RGB攝影機825自訓練影像之捕獲而獲得，且深度影像833-2B可使用IR攝影機815自訓練影像獲得。

圖8C說明根據一些具體實例之由IR攝影機815收集的深度影像833C。

圖8D說明根據一些具體實例之相對於目鏡800形成的3D模型821。

圖9說明根據一些具體實例之用於提供VR/AR頭戴式裝置使用者之面部的裸視立體視圖之方法900中的流程圖。方法900中之步驟可至少部分由執行儲存於記憶體中之指令的處理器執行，其中處理器及記憶體係本文所揭示之頭戴式裝置中之電子組件的部分（例如，記憶體112、處理器122、電子組件20及頭戴式裝置10）。在又其他具體實例中，與方法900一致之方法中的步驟中之至少一或多者可由執行儲存於記憶體中之指令的處理器執行，其中該處理器及該記憶體中之至少一者遠端地位於雲端伺服器中，且頭戴式裝置裝置經由耦接至網路之通信模組（參考通信模組118）以通信方式耦接至雲端伺服器。在一些具體實例中，方法900可使用如本文中所揭示之包括機器學習或人工智慧演算法中之神經網路架構的模型（例如模型650、模型架構700）來執行。在一些具體實例中，與本案揭示內容一致之方法可包括來自方法900之至少一或多個步驟，該一或多個步驟按不同次序、同時、幾乎同時或時間上重疊地執行。

步驟902包括自使用者面部之一部分接收具有一或多個視場之多個二維影像。

步驟904包括在第一解析度設定下自二維影像擷取多個影像特徵。在一些具體實例中，步驟904包括沿掃描線匹配影像特徵以在第一解析度設定下建構成本量以提供粗略視差估計。在一些具體實例中，步驟904包括在高於第一解析度設定之第二解析度設定下恢復包括小細節及細微結構的一或多個影像特徵。在一些具體實例中，步驟904包括基於影像特徵產生使用者面部之部分的紋理圖及使用者面部之部分的深度圖，其中該紋理圖包括影像特徵之顏色細節，且該深度圖包括影像特徵之深度位置。

步驟906包括對於使用者面部之一部分，基於影像特徵顯現三維重建，其中對旁觀者遮蔽該使用者面部之部分。

步驟908包括向旁觀者提供使用者面部之三維重建的裸視立體影像。在一些具體實例中，步驟908包括在針對旁觀者所選視點處向光場顯示器的一個區段提供使用者面部之視場的一部分。在一些具體實例中，步驟908進一步包括追蹤一或多個旁觀者以識別視角，及修改光場顯示器以最佳化一或多個旁觀者中之每一者的視場。

圖10說明在自使用者面部之一部分的多個二維（2D）影像顯現使用者面部之一部分的三維（3D）視圖之方法1000中的流程圖。方法1000中之步驟可至少部分由執行儲存於記憶體中之指令的處理器執行，其中處理器及記憶體係本文所揭示之頭戴式裝置中之電子組件的部分（例如，記憶體112、處理器122、電子組件20及頭戴式裝置10）。在又其他具體實例中，與方法1000一致之方法中的步驟中之至少一或多者可由執行儲存於記憶體中之指令的處理器執行，其中該處理器及該記憶體中之至少一者遠端地位於雲端伺服器中，且頭戴式裝置裝置經由耦接至網路之通信模組（參考通信模組118）以通信方式耦接至雲端伺服器。在一些具體實例中，方法1000可使用如本文中所揭示之包括機器學習或人工智慧演算法中之神經網路架構的模型（例如模型650、模型架構700）來執行。在一些具體實例中，與本案揭示內容一致之方法可包括來自方法1000之至少一或多個步驟，該一或多個步驟按不同次序、同時、幾乎同時或時間上重疊地執行。

步驟1002包括接收具有至少兩個或更多個視場之多個2D影像。

步驟1004包括在第一解析度設定下自2D影像擷取影像特徵。

步驟1006包括沿掃描線匹配影像特徵以在第一解析度設定下建構成本量且提供粗略視差估計。

步驟1008包括在高於第一解析度設定之第二解析度設定下恢復包括小細節及細微結構的一或多個影像特徵。

圖11說明根據一些具體實例之用於訓練模型以自使用者面部之一部分的多個二維（2D）影像顯現使用者面部之一部分的三維（3D）視圖之方法1100中的流程圖。方法1100中之步驟可至少部分由執行儲存於記憶體中之指令的處理器執行，其中處理器及記憶體係本文所揭示之頭戴式裝置中之電子組件的部分（例如，記憶體112、處理器122、電子組件20及頭戴式裝置10）。在又其他具體實例中，與方法1100一致之方法中的步驟中之至少一或多者可由執行儲存於記憶體中之指令的處理器執行，其中該處理器及該記憶體中之至少一者遠端地位於雲端伺服器中，且頭戴式裝置裝置經由耦接至網路之通信模組（參考通信模組118）以通信方式耦接至雲端伺服器。在一些具體實例中，方法1100可使用如本文中所揭示之包括機器學習或人工智慧演算法中之神經網路架構的模型（例如模型650、模型架構700）來執行。在一些具體實例中，與本案揭示內容一致之方法可包括來自方法1100之至少一或多個步驟，該一或多個步驟按不同次序、同時、幾乎同時或時間上重疊地執行。

步驟1102包括自多個使用者之面部收集多個實況影像。在一些具體實例中，步驟1102包括自使用者面部之一部分收集來自彩色顯示器的彩色影像及紅外線影像。

步驟1104包括藉由儲存之經校準立體影像對來矯正實況影像。

步驟1106包括藉由三維面部模型產生使用者面部之多個合成視圖，其中使用者面部之合成視圖匹配虛擬實境頭戴式裝置中之面部成像攝影機的幾何形狀，且該三維面部模型與該等實況影像紋理映射。在一些具體實例中，步驟1106包括針對實況影像中之每一者產生紋理圖及深度圖，其中紋理圖包括實況影像中之每一像素的顏色、透明度及反射率，且深度圖包括虛擬深度位置。

步驟1108包括基於實況影像與使用者面部之合成視圖之間的差異而訓練三維面部模型。在一些具體實例中，步驟1108包括基於實況影像與使用者面部之合成視圖之間的損失值而調整三維面部模型中的係數。 硬體概述

圖12係說明可藉以實施頭戴式裝置10及方法900、1000及1100之例示性電腦系統1200的方塊圖。在某些態樣中，電腦系統1200可使用專屬伺服器中或整合至另一實體中或跨多個實體分佈之硬體或軟體與硬體之組合來實施。電腦系統1200可包括桌上型電腦、膝上型電腦、平板電腦、平板手機、智慧型手機、功能型手機（feature phone）、伺服器電腦或其他。伺服器電腦可在遠端位於資料中心中或在本端儲存。

電腦系統1200包括匯流排1208或用於傳達資訊之其他通信機構，及用於處理資訊之與匯流排1208耦接的處理器1202（例如，處理器122）。作為實例，電腦系統1200可實施有一或多個處理器1202。處理器1202可為通用微處理器、微控制器、數位信號處理器（Digital Signal Processor；DSP）、特殊應用積體電路（Application Specific Integrated Circuit；ASIC）、場可程式化閘陣列（Field Programmable Gate Array；FPGA）、可程式化邏輯裝置（Programmable Logic Device；PLD）、控制器、狀態機、閘控邏輯、離散硬體組件或可執行資訊之計算或其他操縱的任何其他合適實體。

除了硬體之外，電腦系統1200亦可包括為相關電腦程式產生執行環境的程式碼，該電腦程式例如構成處理器韌體、協定堆疊、資料庫管理系統、作業系統或儲存於所包括記憶體1204（例如，記憶體112）中之前述各者中之一或多者的組合之程式碼，所包括記憶體諸如隨機存取記憶體（Random Access Memory；RAM）、快閃記憶體、唯讀記憶體（Read-Only Memory；ROM）、可程式化唯讀記憶體（Programmable Read-Only Memory；PROM）、可抹除PROM（Erasable PROM；EPROM）、暫存器、硬碟、可移磁碟、CD-ROM、DVD或任何其他合適的儲存裝置，其與匯流排1208耦接以用於儲存待由處理器1202執行的資訊及指令。處理器1202及記憶體1204可由專用邏輯電路補充或併入於專用邏輯電路中。

該等指令可儲存於記憶體1204中，且根據所屬技術領域中具有通常知識者所熟知之任何方法在例如於電腦可讀取媒體上編碼之電腦程式指令的一或多個模組之一或多個電腦程式產品中實施以供電腦系統1200執行或控制該電腦系統之操作，該等指令包括但不限於如下電腦語言：資料導向語言（如SQL、dBase）、系統語言（如C、Objective-C、C++、組合語言）、架構語言（如Java、.NET）和應用語言（如PHP、Ruby、Perl、Python）。指令亦可用電腦語言實施，諸如陣列語言、特性導向語言、組合語言、製作語言、命令行介面語言、編譯語言、併發語言、大括弧語言、資料流語言、資料構造語言、陳述語言、深奧語言、擴展語言、***語言、函數語言、互動模式語言、解釋語言、疊代語言、基於清單的語言、小語言、基於邏輯的語言、機器語言、宏語言、元程式設計語言、多元典範語言（multiparadigm language）、數值分析、非英語語言、物件導向基於類的語言、物件導向基於原型的語言、場外規則語言、過程語言、反射語言、基於規則的語言、指令碼處理語言、基於堆疊的語言、同步語言、語法處理語言、可視語言、wirth語言和基於xml的語言。記憶體1204亦可用於在執行待由處理器1202執行之指令期間儲存暫時變數或其他中間資訊。

如本文所論述之電腦程式未必對應於檔案系統中之檔案。程式可儲存於保持其他程式或資料（例如，儲存於標示語言文件中之一或多個指令碼）的檔案的一部分中、儲存於專用於相關程序的單一檔案中，或儲存於多個經協調檔案（例如，儲存一或多個模組、子程式或程式碼之部分的檔案）中。電腦程式可經部署以在一台電腦上或在位於一個位點或跨越多個位點分佈且由通信網路互連的多台電腦上執行。本說明書中描述的程序及邏輯流程可由一或多個可程式化處理器執行，所述可程式化處理器執行一或多個電腦程式以藉由對輸入資料進行操作且產生輸出來執行功能。

電腦系統1200進一步包括與匯流排1208耦接以用於儲存資訊及指令之資料儲存裝置1206，諸如磁碟或光碟。電腦系統1200可經由輸入/輸出模組1210耦接至各種裝置。輸入/輸出模組1210可為任何輸入/輸出模組。例示性輸入/輸出模組1210包括諸如USB埠之資料埠。輸入/輸出模組1210經組態以連接至通信模組1212。例示性通信模組1212包括網路連接介面卡，諸如乙太網卡及數據機。在某些態樣中，輸入/輸出模組1210經組態以連接至多個裝置，諸如輸入裝置1214及/或輸出裝置1216。例示性輸入裝置1214包括鍵盤及指標裝置，例如滑鼠或軌跡球，消費者可藉由該指標裝置提供輸入至電腦系統1200。其他類型之輸入裝置1214亦可用於提供與消費者的互動，諸如觸覺輸入裝置、視覺輸入裝置、音訊輸入裝置或腦機介面裝置。舉例而言，提供給使用者之回饋可為任何形式之感測回饋，諸如視覺回饋、聽覺回饋或觸覺回饋；且可自消費者接收任何形式之輸入，包括聲輸入、語音輸入或腦波輸入。例示性輸出裝置1216包括用於向消費者顯示資訊之顯示裝置，諸如液晶顯示（liquid crystal display；LCD）監視器。

根據本發明之一個態樣，回應於處理器1202執行記憶體1204中含有之一或多個指令的一或多個序列，可至少部分地使用電腦系統1200實施頭戴式裝置10。此等指令可自諸如資料儲存裝置1206之另一機器可讀取媒體讀取至記憶體1204中。主記憶體1204中含有之指令序列的執行使得處理器1202執行本文中所描述之程序步驟。呈多處理配置之一或多個處理器亦可用以執行記憶體1204中含有之指令序列。在替代態樣中，硬佈線電路可代替軟體指令使用或與軟體指令組合使用，以實施本案揭示內容之各個態樣。因此，本案揭示內容之態樣不限於硬體電路與軟體的任何特定組合。

本說明書中所描述之主題的各種態樣可於計算系統中實施，該計算系統包括後端組件，諸如資料伺服器，或包括中間軟體組件，諸如應用程式伺服器，或包括前端組件，諸如具有消費者可經由其與本說明書中所描述之主題的實施交互之圖形消費者介面或網路瀏覽器的用戶端電腦，或一或多個此等後端組件、中間軟體組件或前端組件的任何組合。系統之組件可藉由數位資料通信之任何形式或媒體（如通信網路）互連。通信網路可包括例如LAN、WAN、網際網路及其類似者中的任何一或多者。此外，通信網路可包括但不限於例如以下網路拓樸中的任何一或多者，包括：匯流排網路、星形網路、環形網路、網狀網路、星形匯流排網路、樹或階層式網路或類似者。通信模組可例如為數據機或乙太網路卡。

電腦系統1200可包括用戶端及伺服器。用戶端及伺服器大體上彼此遠離且典型地經由通信網路互動。用戶端與伺服器之關係藉助於在各別電腦上執行且彼此具有主從式關係的電腦程式產生。電腦系統1200可為例如但不限於桌上型電腦、膝上型電腦或平板電腦。電腦系統1200亦可嵌入於另一裝置中，例如但不限於行動電話、PDA、行動音訊播放器、全球定位系統（Global Positioning System；GPS）接收器、視訊遊戲控制台及/或電視機上盒。

如本文中所使用之術語「電腦可讀取儲存媒體」或「電腦可讀取媒體」係指參與將指令提供至處理器1202以供執行之任一媒體或多個媒體。此媒體可呈許多形式，包括但不限於非揮發性媒體、揮發性媒體及傳輸媒體。非揮發性媒體包括例如光碟或磁碟，諸如資料儲存裝置1206。揮發性媒體包括動態記憶體，諸如記憶體1204。傳輸媒體包括同軸纜線、銅線及光纖，包括形成匯流排1208之電線。機器可讀取媒體之常見形式包括例如軟碟、可撓性碟、硬碟、磁帶、任何其他磁性媒體、CD-ROM、DVD、任何其他光學媒體、打孔卡、紙帶、具有孔圖案之任何其他實體媒體、RAM、PROM、EPROM、FLASH-EPROM、任何其他記憶體晶片或盒帶，或可供電腦讀取之任何其他媒體。機器可讀取儲存媒體可為機器可讀取儲存裝置、機器可讀取儲存基板、記憶體裝置、影響機器可讀取傳播信號之物質的組合物，或其中之一或多者的組合。

為說明硬體與軟體之可互換性，上文已大體就其功能性描述了諸如各種說明性區塊、模組、組件、方法、操作、指令及演算法之項目。將此功能性實施為硬體、軟體還是硬體與軟體之組合視外加於整個系統上之特定應用及設計約束而定。所屬技術領域中具有通常知識者可針對每一特定應用以不同方式實施所描述功能性。

如本文中所使用，在一系列項目之前的藉由術語「及」或「或」分隔該等項目中之任一者的片語「中之至少一者」修飾清單整體，而非清單中之每一成員（例如，每一項目）。片語「中之至少一者」不需要選擇至少一個項目；實情為，該片語允許包括該等項目中之任一者中之至少一者及/或該等項目之任何組合中之至少一者及/或該等項目中之每一者中之至少一者的意義。作為實例，片語「A、B及C中之至少一者」或「A、B或C中之至少一者」各自指僅A、僅B或僅C；A、B及C之任何組合；及/或A、B及C中之每一者中之至少一者。

本文中使用詞語「例示性」以意謂「充當實例、例子或說明」。本文中描述為「例示性」之任何具體實例不必理解為比其他具體實例更佳或更有利。諸如態樣、該態樣、另一態樣、一些態樣、一或多個態樣、一實施、該實施、另一實施、一些實施、一或多個實施、具體實例、該具體實例、另一具體實例、一些具體實例、一或多個具體實例、組態、該組態、另一組態、一些組態、一或多個組態、本發明技術、本揭示內容、本案揭示內容及其他變化形式等片語為方便起見，且並不暗示與此（等）片語相關之揭示內容對於本發明技術係必要的，亦不暗示此揭示內容適用於本發明技術之所有組態。與此（等）片語相關之揭示內容可適用於所有組態或一或多個組態。與此（等）片語相關之揭示內容可提供一或多個實例。諸如態樣或一些態樣之片語可指一或多個態樣且反之亦然，且此情況類似地適用於其他前述片語。

除非具體陳述，否則以單數形式對元件的提及並不意欲意謂「一個且僅一個」，而是意謂「一或多個」。術語「一些」係指一或多個。帶下劃線及/或斜體標題及子標題僅為了便利，而不限制本發明技術，且不結合本發明技術之描述的解釋予以參考。關係術語，諸如第一及第二及其類似者，可用於區分一個實體或行為與另一實體或行為，而未必需要或意指此類實體或行為之間的任何實際此類關係或次序。所屬技術領域中具有通常知識者已知或稍後將知曉的貫穿本發明所描述之各種組態的元件之所有結構及功能等效物以引用的方式明確地併入本文中，且意欲由本發明涵蓋。此外，本文所揭示之任何內容皆不意欲專用於公眾，無論在以上描述中是否明確地敍述此揭示內容。不應依據「手段功能用語」或「步驟功能用語」之規定解釋任何請求項要素，除非使用片語「之手段」來明確地敍述該要素或者在方法請求項之情況下使用片語「之步驟」來敍述該要素。

雖本說明書含有許多特性，但此等特性不應理解為限制可能描述之內容的範圍，而是應理解為對主題之特定實施的描述。在個別具體實例之上下文中描述於此說明書中之某些特徵亦可在單一具體實例中以組合形式實施。相反，在單一具體實例之上下文中描述的各種特徵亦可分別或以任何適合子組合於多個具體實例中實施。此外，雖然上文可將特徵描述為以某些組合起作用且甚至最初按此來描述，但來自所描述之組合之一或多個特徵在一些情況下可自該組合刪除，且所描述之組合可針對子組合或子組合之變化。

本說明書之主題已關於特定態樣加以描述，但其他態樣可經實施且在以下申請專利範圍之範圍內。舉例而言，儘管在圖式中以特定次序來描繪操作，但不應將此理解為需要以所展示之特定次序或按順序次序執行此等操作，或執行所有所說明之操作以達成期望結果。可以不同次序執行申請專利範圍中所述之行為且仍達成期望結果。作為一個實例，附圖中描繪之程序未必需要展示之特定次序，或順序次序，以達成期望結果。在某些情形中，多任務及並行處理可為有利的。此外，不應將上文所描述之態樣中之各種系統組件的分離理解為在所有態樣中皆要求此分離，且應理解，所描述之程式組件及系統可大體一同整合於單一軟體產品或封裝至多個軟體產品中。

在此將標題、背景技術、圖式簡單說明、摘要及圖式併入本揭示內容中且提供為本揭示內容之說明性實例而非限定性描述。此等內容之提交應理解為其將不用於限制申請專利範圍之範圍或含義。另外在實施方式中可見，出於精簡本揭示內容之目的，本說明書提供說明性實例且在各種實施中將各種特徵分組在一起。然而，不應將本揭示方法解釋為反映以下意圖：相較於每一請求項中明確陳述之特徵，所描述之主題需要更多的特徵。確切而言，如申請專利範圍所反映，本發明主題在於單一所揭示組態或操作之少於全部的特徵。因此，將以下申請專利範圍併入實施方式中，其中每一請求項獨自作為單獨描述之主題。

申請專利範圍並不意欲限於本文中所描述之態樣，而應符合與語言申請專利範圍一致之完整範圍且涵蓋所有法定等效物。儘管如此，申請專利範圍不意欲涵蓋未能滿足可適用專利法之要求的主題，亦不應以此方式解釋該等主題。

5:柔性連接器 15:帶 10A:頭戴式裝置 10B:頭戴式裝置 20:電子組件 100A:目鏡 100B:觀察窗 101:使用者 102:旁觀者 110A:裸視立體外部顯示器 110B:顯示器 111:裸視立體影像 112:記憶體電路 115-1:眼睛成像系統 115-2:眼睛成像系統 118:通信模組 122:處理器電路 125-1:外部攝影機 125-2:外部攝影機 200:目鏡 205:熱鏡總成 210B:前顯示器 211:照明環 215A:第一眼睛攝影機 215B:第二眼睛攝影機 220:光學表面 225:前攝影機 300:微透鏡陣列 300:微透鏡陣列 301:微透鏡 301-1:微透鏡 301-2:微透鏡 301-3:微透鏡 302:二維圖案 303:距離 305:間距 307:透射基板 310:第一表面及第二表面 315:孔罩 315:孔罩 320:像素陣列 321:像素 323:光束 325:出射光束 350:光場顯示器 400:微透鏡陣列 401:微透鏡 401:微透鏡 415:孔罩 420:像素陣列 421:像素 423:光線 425A:光線 425B:光線 425C:光線 450:光場顯示器 500A:解析能力特性 500B:解析能力特性 500C:解析能力特性 501-1A:曲線 501-1C:曲線 501-2A:曲線 501-2C:曲線 501-3C曲線 501-4C:曲線 501B:曲線 510-1A:截止值 510-1D:影像 510-2A:截止值 510-2D:影像 510B:曲線 510B:點 510C:點 521:橫軸 521C:橫軸 522:縱軸 522C:縱軸 611:2D影像 621A:3D再現 621B:3D再現 650:模型 700:模型架構 702:階段 704:階段 706:階段 711:輸入影像 712:減少取樣 750A:播放軌 750B:播放軌 755:模型 800:目鏡 800:目鏡 801-1:影像向量 801-2:IR攝影機向量 801-3:RGB攝影機向量 811:訓練影像 812:螢幕 815:紅外線攝影機 821:3D模型 825:RGB攝影機 833-1B:影像特徵 833-2B:影像特徵 833C:影像特徵 850:設備 900:方法 902:步驟 904:步驟 906:步驟 908:步驟 1000:方法 1002:步驟 1004:步驟 1006:步驟 1008:步驟 1100:方法 1102:步驟 1104:步驟 1106:步驟 1108:步驟 1200:電腦系統 1202:處理器 1204:記憶體 1206:資料儲存裝置 1208:匯流排 1210:輸入/輸出模組 1212:通信模組 1214:裝置 1216:裝置

[圖1A]說明根據一些具體實例之包括裸視立體外部顯示器的AR或VR裝置。

[圖1B]說明根據一些具體實例之藉由前方旁觀者看到的AR或VR裝置之使用者。

[圖2]說明根據一些具體實例之經組態以向前方旁觀者提供使用者面部之反向透視視圖之AR或VR裝置的目鏡之詳細視圖。

[圖3A]至[圖3D]說明根據一些具體實例之用於向前方旁觀者提供AR或VR裝置使用者之反向透視視圖的微透鏡陣列之不同態樣及組件。

[圖4]說明根據一些具體實例之穿過用以向前方旁觀者提供AR或VR裝置使用者之廣角高解析度視圖的光場顯示器的射線追蹤視圖。

[圖5A]至[圖5D]說明根據一些具體實例之用以提供AR或VR裝置使用者之廣角高解析度視圖的微透鏡陣列中之解析能力特性的不同態樣。

[圖6]說明根據一些具體實例之AR或VR裝置使用者之面部的一部分之3D再現。

[圖7]說明根據一些具體實例之用於VR/AR頭戴式裝置使用者之面部之一部分的3D再現之模型架構的方塊圖。

[圖8A]至[圖8D]說明在根據一些具體實例之用於訓練模型以向虛擬實境頭戴式裝置中之裸視立體顯示器提供使用者面部之一部分的視圖之方法中的元素及步驟。

[圖9]說明根據一些具體實例之用於提供VR/AR頭戴式裝置使用者之面部的裸視立體視圖之方法中的流程圖。

[圖10]說明在自使用者面部之一部分的多個二維（two-dimensional；2D）影像顯現使用者面部之一部分的三維（three-dimensional；3D）視圖之方法中的流程圖。

[圖11]說明根據一些具體實例之用於訓練模型以自使用者面部之一部分的多個二維（2D）影像顯現使用者面部之一部分的三維（3D）視圖之方法中的流程圖。

[圖12]說明根據一些具體實例之經組態以執行使用AR或VR裝置之至少一些方法的電腦系統。

在諸圖中，除非另有明確陳述，否則類似元件根據其描述同樣地予以標記。

5:柔性連接器

10A:頭戴式裝置

15:帶

20:電子組件

100A:目鏡

110A:裸視立體外部顯示器

112:記憶體電路

115-1:眼睛成像系統

115-2:眼睛成像系統

118:通信模組

122:處理器電路

125-1:外部攝影機

125-2:外部攝影機

Claims (20)

1. 一種裝置，其包含： 近眼顯示器，其經組態以將影像提供至使用者； 眼睛成像系統，其經組態以收集該使用者之面部的影像；及 光場顯示器，其經組態以將該使用者之該面部的三維重建之裸視立體影像提供至旁觀者，其中該裸視立體影像描繪來自該光場顯示器之視場內的多個視點之該使用者之面部的經透視校正視圖。
2. 如請求項1之裝置，其中該光場顯示器包含像素陣列及多小透鏡陣列，其中該像素陣列經組態以將該使用者之該面部之分段視圖提供至該多小透鏡陣列，該分段視圖包括在選定視點處的該光場顯示器之該視場的多個部分。
3. 如請求項1之裝置，其中該眼睛成像系統包含兩個攝影機以收集該使用者之該面部的雙眼視圖。
4. 如請求項1之裝置，其進一步包含一或多個處理器及儲存指令之記憶體，該指令在由該一或多個處理器執行時，自該使用者之該面部之該影像產生該使用者之該面部的三維表示。
5. 如請求項1之裝置，其中該近眼顯示器為該使用者提供環境之三維表示，該環境包括該旁觀者。
6. 如請求項1之裝置，其中該眼睛成像系統包括紅外線攝影機，其在反射模式下自鄰近於該光場顯示器的二向分光鏡接收來自該使用者的該影像。
7. 如請求項1之裝置，其中光場顯示器包含微透鏡陣列，該微透鏡陣列具有配置成二維圖案之多個微透鏡，該二維圖案具有經預先選擇間距以針對該旁觀者避免兩個視點之該經透視校正視圖之間的串擾。
8. 如請求項1之裝置，其中該光場顯示器進一步包含鄰近於微透鏡陣列之浸入擋板，該浸入擋板包括多個孔，使得每一孔與該微透鏡陣列中之每一微透鏡的中心對準。
9. 如請求項1之裝置，其中該光場顯示器包括分成多個作用區段之像素陣列，其中該像素陣列中之每一作用區段具有對應於多小透鏡陣列中之折射元件之直徑的尺寸。
10. 如請求項1之裝置，其進一步包含一或多個處理器及儲存指令之記憶體，該指令在由該一或多個處理器執行時使得該光場顯示器將像素陣列分成多個作用區段，每一作用區段經組態以提供該光場顯示器之該視場在該旁觀者之所選視點處的部分。
11. 一種電腦實施方法，其包含： 自使用者之面部之部分接收具有一或多個視場之多個二維影像； 在第一解析度設定下自該二維影像擷取多個影像特徵； 對於該使用者之面部之部分，基於該影像特徵顯現三維重建，其中對旁觀者遮蔽該使用者之面部的該部分；及 向該旁觀者提供該使用者之面部之該三維重建的裸視立體影像。
12. 如請求項11之電腦實施方法，其進一步包含： 沿掃描線匹配該影像特徵以在第一解析度設定下建構成本量且提供粗略視差估計；及 在高於該第一解析度設定之第二解析度設定下恢復包括小細節及細微結構的一或多個影像特徵。
13. 如請求項11之電腦實施方法，其進一步包含基於該影像特徵產生該使用者之面部之該部分的紋理圖及該使用者之面部之該部分的深度圖，其中該紋理圖包括該影像特徵之顏色細節，且該深度圖包括該影像特徵之深度位置。
14. 如請求項11之電腦實施方法，其中提供該使用者之面部之該三維重建構的裸視立體影像包含在針對該旁觀者之所選視點處向光場顯示器的一個區段提供該使用者之面部之視場的部分。
15. 如請求項11之電腦實施方法，其進一步包含追蹤一或多個旁觀者以識別視角，及修改光場顯示器以最佳化該一或多個旁觀者中之每一者的視場。
16. 如請求項11之電腦實施方法，其中該二維影像中之至少一者為使用者之環境之前方影像，且顯現該使用者之面部之該部分的三維表示包含根據在該使用者之環境之該前方影像中識別的照明源來照明重建模型。
17. 一種用於訓練模型以向虛擬實境頭戴式裝置中之裸視立體顯示器提供使用者之部分的視圖之電腦實施方法，該電腦實施方法包含： 自多個使用者的面部收集多個實況影像； 藉由儲存之經校準立體影像對來矯正該實況影像； 藉由三維面部模型產生該使用者之該面部之多個合成視圖，其中該使用者之該面部之該合成視圖匹配該虛擬實境頭戴式裝置中之面部成像攝影機的幾何形狀，且該三維面部模型與該實況影像紋理映射；及 基於該實況影像與該使用者之該面部的該合成視圖之間的差異而訓練該三維面部模型。
18. 如請求項17之電腦實施方法，其中收集多個使用者之面部的多個實況影像包含自使用者之面部的部分收集來自彩色顯示器的彩色影像及紅外線影像。
19. 如請求項17之電腦實施方法，其中產生該使用者之該面部的多個合成視圖包含產生該實況影像中之每一者的紋理圖及深度圖，其中該紋理圖包括該實況影像中之每一像素的顏色、透明度及反射率，且該深度圖包括虛擬深度位置。
20. 如請求項17之電腦實施方法，其中訓練該三維面部模型包含基於該實況影像與該使用者之該面部的該合成視圖之間的損失值而調整該三維面部模型中的係數。

Images