TW201908811A - 影像投影系統 - Google Patents
影像投影系統 Download PDFInfo
- Publication number
- TW201908811A TW201908811A TW107117858A TW107117858A TW201908811A TW 201908811 A TW201908811 A TW 201908811A TW 107117858 A TW107117858 A TW 107117858A TW 107117858 A TW107117858 A TW 107117858A TW 201908811 A TW201908811 A TW 201908811A
- Authority
- TW
- Taiwan
- Prior art keywords
- image
- projection
- optical
- retina
- adjustable
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/10—Beam splitting or combining systems
- G02B27/106—Beam splitting or combining systems for splitting or combining a plurality of identical beams or images, e.g. image replication
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/09—Beam shaping, e.g. changing the cross-sectional area, not otherwise provided for
- G02B27/0938—Using specific optical elements
- G02B27/095—Refractive optical elements
- G02B27/0955—Lenses
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/10—Beam splitting or combining systems
- G02B27/14—Beam splitting or combining systems operating by reflection only
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Transforming Electric Information Into Light Information (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
Abstract
一種視網膜影像投影的系統和方法。該系統包含:影像投影模組,投影至少第一和第二影像部分,其與待分別投影至眼睛視網膜的中央窩和周邊區域的影像的第一和第二片段分別對應;及光多工模組,光學耦接至影像投影模組且用以空間及/或時間上組合/多工處理該至少第一和第二影像部分的投影而產生一組合影像投影,其輸出以沿著一般共同的光徑傳播而受引導朝向該眼睛視網膜。該光多工模組用以多工處理第一和第二影像部分的投影,使得組合投影的橫向範圍有些類似於組合投影中意圖落在/覆蓋眼睛視網膜的中央窩旁區域的第二影像部分的橫向範圍,且組合投影中第一影像部分的橫向範圍小於組合投影的橫向範圍並在其內。第一和第二影像部分可根據分別針對的視網膜中央窩和中央窩旁區域以不同品質(不同解析度及/或不同色彩深度)及/或不同圖框速率投影,以針對視網膜解剖結構最佳化影像品質/圖框速率及相關處理和投影能力。
Description
本發明係在影像投影系統之領域,且特別關於對使用者提供純、擴增或虛擬實境經驗的穿戴式/頭戴式視網膜投影系統。
頭戴式或一般穿戴式的影像投影系統係用於藉由直接將影像顯示進使用者的眼睛而提供虛擬實境及/或擴增實境的體驗。已知各種類型的頭戴式投影系統利用在使用者眼睛前面或進入使用者眼睛的影像投影。此等投影系統在許多實例中係建構成眼鏡,其可戴在使用者頭部且可操作成用於將影像投影至使用者眼睛上以提供真實且令人信服的顯示。
類似於標準顯示系統,頭戴式顯示系統旨在使用有限之運算能力的同時提供高解析度的影像。為了簡化影像顯像的複雜性,某些視網膜/中央窩(foveal)顯示系統已加以發展,使用針對使用者眼睛之中央窩區域的獨立影像投影及針對視網膜周邊區域之額外、較低解析度的影像投影,以提供寬視場。
美國專利第2008002262號揭露一種頭戴式顯示裝置,其具有:一安裝部,其將該裝置附接至使用者頭部;一分束器,以運動裝置附接至該安裝部;一影像投影器,將影像投影至該分束器上;一眼睛追蹤器,追蹤使用者眼睛的目光;及一個以上處理器。該裝置使用眼睛追蹤器及運動元件以及一選用性的頭部追蹤器,以圍繞眼睛轉動中心移動分束器,將該分束器保持於眼睛的直視視線中。使用者同時觀看影像及該影像之後的環境。一第二分束器、眼睛追蹤器、及投影器可使用於使用者的另一眼,以建立立體、虛擬的環境。該顯示器可對應人類眼睛的旋轉能力。無論使用者觀看何處,該發明預設高解析度的影像。
美國專利第2012/0105310號描述具有至少一視網膜顯示單元的一種頭戴式顯示系統,該至少一視網膜顯示單元具有在佩戴者之一隻眼睛或兩隻眼睛前面加以配置的彎曲反射器。該單元包含:第一組三個調變的可見光雷射,其係共對準且適用以提供具有可選擇顏色的雷射光束;及第一掃描器單元,其提供在多個方向上橫跨彎曲反射器一部分之雷射光束的水平及垂直掃描,以產生彩色雷射光束的反射通過眼睛瞳孔到視網膜的一部分之上,其中該視網膜部分係足夠大以包圍中央窩。該單元亦包含:第二組三個調變的可見光雷射及紅外線雷射,所有雷射係共對準且適用以提供彩色及紅外線周邊視野雷射光束;及第二掃描器單元,其提供在多個方向上橫跨彎曲反射器一部分之可見光及紅外線雷射光束的水平及垂直掃描,以產生掃描之彩色及紅外線雷射光束的反射通過眼睛瞳孔到對應於至少30度×30度之視場的視網膜之一部分之上。
美國專利第2005/185281號描述一種用於觀看的設備,其包含一屏幕。該設備包含用於偵測觀看者眼睛在屏幕上之一影像上之凝視點的裝置。該設備包含用於在屏幕上關於該凝視點顯示影像的中央窩插圖影像之裝置,使得觀看者的中央窩看到該中央窩影像,而眼睛的其餘部分看到該影像。該方法包含偵測在屏幕上的一影像上之觀看者眼睛之凝視點的步驟。具有在屏幕上關於該凝視點顯示該影像的一中央窩插圖影像之步驟,使得觀看者的中央窩看到該中央窩影像,而眼睛的其餘部分看到該影像。
美國專利第2009/189830號描述一種安裝在眼睛上及/或眼睛內部的顯示裝置。該安裝在眼睛的顯示器包含多個子顯示器,其中的每一者將光投影至對應於該子顯示器之視網膜的一部分之內的不同視網膜位置。所投影的光傳播通過瞳孔但不占滿整個瞳孔。以此方式,多個子顯示器可將各自的光投影至視網膜的相關部分之上。從瞳孔移動至角膜,瞳孔在角膜上的投影將被稱為角膜孔徑。所投影的光通過小於全角膜孔徑而加以傳播。子顯示器在角膜表面使用空間多工。
本技術領域需要新穎的顯示系統構造,在給定影像顯像能力的情況下提供具有所欲之高影像/投影品質的視網膜影像投影。
在習知投影系統中,最大影像解析度一般受限於幾個因素:影像產生元件(投影單元)、由控制單元(例如圖形處理單元(GPU))提供的處理能力、及從GPU至投影單元的資料傳輸頻寬。因此,利用習知眼睛投影系統提供具有與人類視覺的空間解析度相等的像素密度之影像投影,需要極高的計算能力且一般可能需要一陣列之小投影/顯示單元。
更具體而言,提供具有最大人類眼睛解析度的成像通常可能需要對於各眼睛含有約20百萬像素以上之影像圖框的投影。此外,為了提供與人類感知匹配的時間解析度(使得將影像運動感知為順暢且無縫),所顯示的影像可能需要以60 Hz以上的速率加以顯像。這需要高速率的影像顯像,以及在控制單元與投影單元之間、及在儲存設施與控制單元之間高速率的資料移轉(例如,考慮具有24位元彩色之色彩深度的影像投影,在28 GBit/秒之等級)。此高資料移轉速率一般超過現有眼睛投影裝置的能力,且在任何情況下,可能增加系統的重量、尺寸、成本及能量消耗。
本發明提供一種新穎影像投影系統,其使用一或多個影像投影模組/單元以將具有空間變化影像投影品質的影像投影至視網膜上。就此而言,術語影像投影品質在本文係用以意指影像投影在視網膜上的像素密度(例如:每單位立體角的點或DPI),且亦可能為影像投影在投影影像中的色彩深度等級之上之像素密度。為此,在一些實施例中,兩個以上投影模組提供分別具有兩個以上色彩深度等級的影像部分。
在某些實施例中,本發明的技術將高像素密度影像部分(即,具有在所投影表面上高角解析度及相等高數量的每英吋點數(DPI))投影至使用者眼睛的中央窩區域上,以及將具有較低像素密度(較低角解析度/DPI)之影像部分投影至使用者視網膜的周邊(例如中央窩旁(parafoveal)的區域)上。此提供由使用者眼睛對所投影影像的有效高解析度感知,且同時減少投影系統的影像顯像、資料傳輸及儲存的需求。因此,高像素密度影像係提供至視網膜區域(中央窩),其係能夠收集影像細節並將其轉譯至使用者的大腦,而較低像素密度(角解析度)的影像係提供至具有較低感知能力之視網膜的區域(中央窩旁)。
類似地,本發明的某些實施例利用色彩深度的感知在眼睛視網膜的中央窩區域相較於其他(中央窩旁)區域更顯著的事實。在那些實施例中,投影在中央窩上的影像部分相較於投影在周邊上的影像部分係以較高的色彩深度加以投影。
因此,根據本發明的某些實施例,影像的某些部分係以高影像投影品質(高角解析度及/或高色彩深度)在能夠感知具有高DPI及/或高色彩深度之投影影像的視網膜某些區域上(即在中央窩上)加以投影,而影像的某些其他部分係以較低的影像投影品質在感知係受限於較低DPI及/或較低色彩深度的視網膜區域上(例如視網膜的周邊/中央窩旁區域)加以投影。
因此,本發明的一些實施例使用一或多個影像投影模組(例如,包含單一影像投影單元或二個影像投影單元)及一光學成像多工模組以在視網膜上投影影像,該影像由具有分別寬和窄之不同的角展度的影像部分所構成。具有窄角展度之影像部分(即,以下亦稱為「第一影像部分」;例如沿水平及垂直軸之各者覆蓋3o
至10o
的立體角)具有較高影像投影品質(較高角解析度/DPI及/或較高色彩深度)且投影至視網膜的中心(中央窩)區域上,使得使用者可感知高品質影像。具有寬角展度的影像部分(即,以下亦稱為「第二影像部分」,例如沿水平及垂直軸之各者覆蓋在60°和170°之間的立體角)可能具有較低影像投影品質(雖然可能有較高的圖框速率)且投影在視網膜的周邊(例如所謂中央窩旁區域)上。這允許利用人眼的解剖學特性,以投影被感覺高品質的影像於其上,且同時減少資料量及處理需求、及/或系統的尺寸/重量及/或成本,上述需求係在原本在整個視網膜以相同高品質均勻地投影該影像的情況下所需要。
因此,本發明的技術顯著減少眼睛投影系統的資料移轉及處理需求,且同時最大化來自投影系統的使用者體驗(使用者仍透過能夠感知高解析度影像的視網膜的區域感知高解析度影像)。
眾所周知,人眼的視網膜內被膜具有光敏組織。被稱為中央窩的視網膜區域係負責清晰的視覺,具有高密度的錐形感光神經細胞。為此,本發明的技術針對使用者的中央窩使用高解析度影像,且同時提供針對視網膜且具有較低影像解析度的周邊影像,以降低顯像複雜性且同時保持大視場。因此,本發明的技術將具有高解析度的影像投影聚焦於中央窩,且提供具有較低解析度的投影,因此與均勻像素密度顯像相比,提供具有減少處理及資料傳輸需求的高解析度投影。
本發明的眼睛投影系統包含光學模組,該光學模組係配置成將來自至少兩個(例如第一及第二)影像投影單元的影像(即,此處亦稱為影像部分)引導進使用者的眼睛(即,至少進入一隻眼睛)。該光學模組係配置成多工處理第一及第二影像部分(將它們空間上及/或時間上組合),並將提供自影像投影模組的第一影像部分引導進使用者眼睛的第一區域(中央窩),且將第二影像部分引導至視網膜的周圍/周邊區域(中央窩旁)。
根據一些實施例,光學模組通常可包含一光多工模組(例如時間及/或空間光多工器,此處亦可互換地稱為組合單元,且通常包含空間及/或時間光束組合器),以及一中繼單元(此處亦稱為光學中繼器),其可沿光學模組的光徑以級聯順序加以排列,以引導來自影像投影單元的影像投影,且將該等影像投影組合地(同時或非同時)投影進使用者的眼睛。更具體而言,組合/多工單元將與由至少第一及第二投影單元產生的投影影像部分相關聯的光束組合成一組合光場(此處亦稱為組合影像投影),該組合光場代表沿著一共同一般光徑傳播而加以引導/投影至使用者眼睛的全投影影像圖框。在此,術語光場及組合光場係用以指定在朝眼睛之影像投影的整個光徑上所測量之光的強度分布及可能的色度含量。形成組合光場的光束可從組合單元發送至光學中繼器,該光學中繼器將光場引導至使用者的眼睛。
應理解的是,此處使用的術語光學中繼器(即,中繼單元)意指一成像類型的光學中繼模組,該光學中繼模組可於其一輸入埠處接收一影像投影,且將該影像投影中繼至與該輸入埠一特定距離而設置的該中繼器的一輸出埠,同時可能施行該中繼影像投影的若干光學放大。實際上,通常光學中繼模組可能不具有任何淨光學倍率(optical power)(其焦距可能為無限大),且不影響透過該模組中繼的影像投影(其光束)的聚焦特性。儘管如此,在一些實施方式中,一些中繼器可配備具有若干光學倍率(亦即是具有有限的焦距)。
光學中繼器一般包含至少二群組之透鏡 — 此處稱為透鏡組,其沿著該光學中繼器的光徑配置而在透鏡組之間有若干距離。至少一(第一/入口)透鏡組定義該光學中繼器的入口埠,且至少一其他(第二/出口)透鏡組定義光學中繼器的出口埠。關於此點,應理解的是,術語「透鏡組」於此處用以指稱一組/群組之一或多個透鏡,其可包含:一或多個折射透鏡(其焦度係透過折射而取得)、繞射透鏡(其焦度係透過繞射而取得)、反射鏡(其焦度係透過從彎曲表面的反射而取得)、及/或其組合。透鏡組,無論是一或多個透鏡,具有若干光學倍率(某個有限的焦距),且關聯於某個主光學平面,該主光學平面沿著光徑定義其光學位置的(例如,定義具有該透鏡組相同光學/焦點特性的一「薄透鏡」的等效位置)。在一些實施例中,一光學中繼器的放大特性關聯於第一/入口透鏡組的焦距與第二/出口透鏡組的焦距之間的比例(舉例來說,除非有額外的光學倍率元件在光徑上設置在它們之間)。對於不具有淨焦度的光學中繼器,倘若第一/入口透鏡組與第二/出口透鏡組之間沒有額外的聚焦光學元件(額外的光學倍率元件),介於第一/入口透鏡組與第二/出口透鏡組之間的距離(介於它們的主光學平面之間的距離)應等於它們焦距的和。
更具體而言,在一些實施例中,光學中繼器係配置成中繼至光場,使得該光場係直接投影在視網膜上。包含此等中繼器(其係加以配置並可操作以將影像直接投影至眼睛視網膜上且可納入本發明的光學模組中)的此等光學模組之操作的配置及方法之示例係例如在PCT專利公開案第WO 2015/132775號中及在以色列專利申請案第241033號中加以描述,兩者係共同轉讓給本專利申請案的受讓人且於此藉由參照納入本案揭示內容。
在此方面,應理解本文以下使用的術語「直接投影」係關於光場(例如,影像)的投影,使得傳播光場係聚焦於使用者視網膜上的影像平面。舉例而言,光學模組及/或其光學中繼器可加以配置,使得光場的光束到達眼睛的水晶體,使得光束實質上準直的及/或使得光束係藉由眼睛水晶體本身聚焦在視網膜上。或者或額外地,達成此種直接投影,可藉由將光場朝視網膜投影,使得其橫剖面直徑相較於眼睛的入射瞳孔係小得多(例如小二倍以上)(以從而在視網膜上獲得高景深的影像投影)。
在一些實施例中,光學模組包含或關聯於軌跡模組(例如可移動或可旋轉的光偏轉器,例如提供諸如在以色列專利申請案第241033號中描述的目光追蹤光學偏轉器及/或瞳孔位置光學偏轉器),該軌跡模組係加以配置並可操作以根據使用者眼睛的視線(LOS)及/或根據眼睛/瞳孔關於本發明的眼睛投影系統之相對橫向位置而調整影像投影的光徑。為此,系統可利用及/或可包含眼睛追蹤單元,該眼睛追蹤單元係配置成偵測使用者眼睛的視線(LOS)及/或目光方向上的變化,及將相應的資料提供至軌跡模組以改變一般光徑的定向,以決定由軌跡模組提供之光徑的偏向。因此,影像(光場)可由系統沿根據眼睛視線(LOS)之定向中的變化及/或相對於眼睛投影系統之瞳孔/眼睛位置中的變化而改變之一般光徑而加以投影。為此,軌跡模組可加以配置,以根據相對於眼睛投影系統之使用者眼睛的定向(例如根據眼睛的光軸/視線(LOS)的方向),改變沿光學模組之光傳播的一般光徑。包含光學中繼器及眼睛追蹤光學偏轉器(例如瞳孔位置光束偏轉器及目光方向光束偏轉器)之此種光學系統的示例係例如在以色列專利申請案第241033號中加以描述,其係共同轉讓給本專利申請案的受讓人且於此藉由參照納入本案揭示內容,該光學系統可用以在眼睛的位置及其目光方向可能相對於眼睛投影系統變化之時將影像投影引導至眼睛視網膜。
為此,在使用軌跡模組、眼睛追蹤單元及光學中繼單元的情況下,光學模組的光徑可加以變化,使得組合兩個以上影像部分的光場可沿朝使用者瞳孔的一般光徑加以發送。投影的光場可加以引導以從各種角定向抵達瞳孔的位置,使得當使用者可能改變其目光方向及/或當在眼睛投影系統與眼睛之間的相對位移改變時,使用者的眼睛可在視網膜上適當位置上形成組合影像。如上所述,光場係加以配置使得第一影像部分在視網膜之選擇的部分(即中央窩)上形成一部分的該影像,且第二影像部分在視網膜的其他區域(中央窩旁)上形成部分的該影像。此外,即使使用者移動其目光方向或相對於眼睛些微移動該系統,所產生的影像部分在視網膜上之位置可保持固定。
應注意的是,在一些實施例中,本發明的系統包含單一影像投影單元,可操作用於產生和投影一時間序列之第一及第二影像部分(中央窩及中央窩旁部分)。替代地或額外地,在一些實施例中,本發明的系統包含至少二個(第一及第二)影像投影單元,分別產生和投影第一和第二影像部分。在後者例子中,第一及第二影像投影單元通常可具有不同的性質。舉例而言,為了投影不同的視場,影像投影單元可加以配置並可操作以朝光學模組輸出跨越不同角範圍的光線/光束。此外,影像投影單元可配置成輸出具有不同角解析度及/或不同色彩深度的影像。例如,第一影像投影單元可配置以提供具有高角解析度及高色彩深度的RGB影像(影像部分),而第二影像投影單元可配置以提供具有較低色彩深度的RGB影像部分,或在某些情況下,單色及/或具有較低角解析度的影像部分。色彩深度的變化可為使得第一投影單元提供具有例如32位元或24位元之色彩深度的影像,及一個以上第二投影單元提供具有例如16位元或8位元之色彩深度的影像。
在一些實例中,影像投影單元可配置成掃描式影像投影,其輸出影像的產生係藉由在輸出影像之角範圍內掃描(例如光柵掃描(rastering))光線,且同時調制光線的強度及可能的色彩內容,以產生及投影將一影像(影像部分)編碼的一光場。
在使用第一及第二影像投影單元的一些實例中,第一及第二影像投影單元可基於不同技術而建構。舉例來說,第一影像投影單元可建構成一掃描式影像投影,用於藉由在所欲角範圍內掃描(例如光柵掃描)光線且同時調制光線的強度及色彩內容而產生第一(中央窩)影像部分。相對於非基於掃描(例如基於SLM)的投影單元,使用基於掃描的影像投影在功率及強度方面可能是有優勢的。第二影像投影單元可配置成如上所述的掃描影像投影系統或使用一個以上空間光調節器(SLM;諸如液晶陣列及/或微鏡陣列)的區域影像投影系統,以同時調制由此投影之複數像素的強度及可能的色彩內容。使用光柵掃描及/或空間光調制以形成影像之影像投影單元的構造及操作之示例在影像投影的領域中係通常已知的,且其構造及操作的原理不需在此詳加描述。
應注意,根據本發明,影像投影模組(包含單一及/或第一和第二影像投影單元)係加以配置並可操作用於分別輸出彼此在空間上互補的兩個(第一及第二)互補的影像部分(光場),以在視網膜的表面上形成連續影像的投影。為此,此光學模組可配置以投影/調整該第一影像部分的投影,以繞光學模組之一般光軸覆蓋某個角/橫向範圍,使得當將第一影像部分引導至視網膜時,該第一影像部分落在視網膜的中央窩區域上。此光學模組亦可配置以投影/調整該第二影像部分的投影,以覆蓋繞該一般光軸延展之較寬的角/橫向場,且同時選用性地跨越/覆蓋繞光學模組之一般光軸的一環(或更一般地,如框或甜甜圈狀的區域),使得當將第二影像部分引導至視網膜時,它至少落在視網膜的周邊上。
就此而言,此影像投影模組及/或光學模組係配置以製作(產生及/或光學調制)第一和第二影像部分的投影,使得它們在空間上彼此互補(例如使得它們交疊或具有共同邊界),以允許光學模組適當地空間上及/或時間上組合所產生的光場(影像部分)以形成一組合的影像投影(組合光場)。所產生之組合光場對應於在其中心區域處(在一影像平面處)的中央窩影像部分及在其周邊部分處(在一影像平面處)的中央窩旁影像部分,一起提供空間連續影像。
在一些實施方式中,第一和第二影像部分係加以投影,在二者之間的邊界上有若干重疊,使得組合光場提供在此等影像部分之間的實質順暢過渡。為達成此點,影像投影模組可配置以投影第二影像部分(例如,環形光場),使得它們的橫向/角範圍可加以結合以空間上與第一(例如,中央)影像部分(光場)部分重疊,且同時在重疊邊界處的該第一和第二影像部分的影像內容可為相似的(雖然可能具有不同品質)。為此,在第一及第二影像部分之間的一些重疊(至少沿第一影像部分的周邊(環形邊界))可用以提供在第一影像部分的高品質及第二影像部分的較低品質之間的順暢及無縫過渡。
本發明的此技術藉由集中所需的計算能力針對對應於使用者注視區域的中心視場產生高解析度影像而縮減顯像過程。影像及使用者視場的周邊可以較低的解析度加以顯像及投影。這是因為所投影影像的中央窩旁部分係在使用者注意力的周邊,且係由使用者眼睛較低密度感光細胞的的中央窩旁區域(本文通常意指視網膜)加以捕捉,且提供具有降低空間密度及較低解析度的資料。
應注意的是,因為被引導進使用者眼睛的影像係通常根據眼睛的定向而加以顯像,且影像/光場的傳輸係藉由眼睛追蹤單元加以調整,所以使用者可體驗完全的虛擬實境(或擴增實境),感知對使用者提供臨場感之大視場(實際上無影像邊界)。
因此,根據本發明的一個寬廣實施態樣,提供一個用於視網膜影像投影的系統。該系統包含一影像投影模組,配置用於投影至少第一和第二影像部分,該第一和第二影像部分係與待分別投影至一眼睛的視網膜的中央窩和周邊區域上的一影像的第一和第二片段分別對應。該系統亦包含一光多工模組,光學耦接至該影像投影模組,且建構並可操作以組合該至少第一和第二影像部分的投影而產生一組合投影,以沿著引導朝向該眼睛的視網膜的一條一般共同的光徑傳播。該光多工模組係配置並可操作以在空間及時間多工處理其中至少一者中組合該第一和第二影像部分投影,俾使該組合投影的橫向範圍類似於在該組合投影中該第二影像部分的橫向範圍,且在該組合投影中該第一影像部分的橫向範圍係小於該組合投影的橫向範圍且在該組合投影的橫向範圍之內。據此,在引導該組合投影朝向該眼睛視網膜時,該第一影像部分的投影覆蓋該視網膜的中央窩區域,且該第二影像部分的投影至少覆蓋該視網膜的周邊區域。
根據一些實施例,該系統建構成使得該第一和第二影像部分在該組合投影中分別具有較高和較低的空間像素密度,藉此最佳化該組合投影以分別對應該視網膜的中央窩和周邊區域的分別較高和較低的空間解析度。
根據一些實施例,該系統建構成使得該第一和第二影像部分在該組合投影中分別以較低和較高的圖框速率加以投影。這從而最佳化該組合投影,使得其對應該視網膜的中央窩和周邊區域的分別較低和較高的時間解析度。
根據一些實施例,該影像投影模組至少包含第一和第二影像投影單元。該第一和第二影像投影單元建構及可操作用於該至少第一和第二影像部分的空間上分開投影。該光多工模組係建構及可操作以空間上組合該至少第一和第二影像部分,使得由該第一影像投影單元所投影的該第一影像部分位在該組合投影的中心區域處,且由該第二影像投影單元所投影的該第二影像部分在包圍該組合投影的該中心區域的一環形區域上橫向延伸。
在一些實施例中,該第二影像投影單元建構成,以與由該第一影像投影單元所投影的該第一影像部分的角度範圍相比較大的角度範圍,投影該第二影像部分。
在一些實施例中,該光多工模組包含一光束組合器,建構及可操作以接收分別具有較小和較大角度範圍的該第一和第二影像部分的(空間上分開的)投影並將其組合而輸出該組合(影像)投影。
根據一些實施例,該光束組合器包含一楔形偏轉器(例如,楔形類型的光束組合器/單向反射式楔形表面)。該楔形偏轉器建構有以一傾斜角彼此傾斜的前表面和後表面,該傾斜角係加以選擇而使得來自該第一和第二影像投影單元其中一者的投影光係從該楔形偏轉器的該等表面其中一者受到反射而沿著該光徑傳播,並且該投影光從該楔形偏轉器的該等表面的另一者受到反射而朝向離開該光徑的方向。此光束組合器的構造用於抑制/防止幽靈反射沿著該光徑傳播。
根據該系統的各種實施方式,該光多工模組包含:一光學中繼模組,配置在該光束組合器的下游(以下術語下游應解釋為沿著從影像投影模組經過該系統的光徑的光傳播方向,且上游應理解為相反的方向)。該光學中繼器係建構及可操作用於將該組合投影朝該系統的一光學輸出加以中繼。
根據一些實施例,該第一和第二影像部分係在該光學中繼器上游及之外加以組合。這從而允許該光學中繼器可建構成具有縮減像差(例如,縮減的幾何像差)的非遠心中繼器。根據一些實施例,該光學中繼器為折射式及/或繞射式中繼器。在這個情況下,光學中繼器包含沿著一光徑配置的至少第一和第二透鏡組,在它們之間的光學距離匹配它們的焦距的和。該第一和第二透鏡組每一者可包含至少一折射式及/或繞射式透鏡。
為此,在一些實施例中,該光學中繼器建構成一反射式中繼器,包含具有各別光學倍率的至少第一和第二反射表面。此反射式光學中繼器在組合投影中提供縮減的色像差。該至少第一和第二反射表面可沿著(一般來說,該系統的)該中繼器的一光徑配置,使得它們的光學距離係與它們的焦距的和匹配。根據一些實施例,該中繼器建構為一折疊型反射式光學中繼器,其特徵在於該第一和第二反射表面之間的物理距離小於沿著該中繼器的光徑測得的介於它們之間的光學距離。這是一緊湊的光學中繼器構造,適合用於緊湊型眼睛投影系統之中。
根據一些實施例,該反射式中繼器包含一組之一或多個偏轉器,配置以界定介於該第一與第二反射表面之間在該中繼器之內的光徑。
根據一些實施例,光學中繼器的該第一和第二反射表面係沿著一共同平面配置。該組偏轉器包含: 第一和第二分束器,沿著光徑分別設置在該第一反射表面的上游和該第二反射表面的下游,以分別定義該光學中繼器的輸入和輸出光學埠;及 一或多個偏轉器,配置以定義具有介於該第一與第二反射表面之間的所欲光學距離的光徑。
根據本發明的一些實施例,該影像投影模組包含單一影像投影單元。該單一影像投影單元建構及可操作於用以投影一序列之圖框的一特定總圖框速率,該序列之圖框包含:以該總圖框速率的一第一分率投影的該第一影像部分,及以該總圖框速率的一第二分率投影的該第二影像部分。在此實施例中,該光多工模組包含:可調式放大光學中繼模組,建構有可調整的放大比率。該可調式放大光學中繼模組係相對於從該單一影像投影單元的光傳播方向而設置在該單一影像投影單元的下游。該可調式放大光學中繼模組可操作成與藉由該單一影像投影單元的該第一和第二影像部分的投影時序呈時間同步,以影響對於該第一和第二影像部分的各別投影之不同的第一和第二放大比率。這從而用於自該光學中繼器輸出該第一和第二影像部分的一時間多工組合投影,其中該第二影像部分具有大於該第一影像部分的角度範圍。
根據一些實施例,該可調式放大光學中繼模組包含:至少第一和第二群組的透鏡,沿著該光徑配置。該第一和第二群組的透鏡其中至少一群組建構為一可調式群組,具有在至少二個狀態之間可調整的焦距和有效主光學平面的位置。該第一和第二群組可配置成使得在該二個狀態在它們的有效主光學平面之間的光程係等於它們的焦距的和,使得該可調式放大光學中繼模組在該二個狀態提供不同的放大比率。
根據一些實施例,該可調式群組的透鏡包含至少第一和第二可調式透鏡組,配置成使得它們各別的有效主光學平面位於沿著該光徑的不同位置,且具有在各透鏡的數個(例如,二個)操作模式之間可切換的各別有效焦距。舉例來說,可調式透鏡組的該數個操作模式可包含: (i) 各可調式透鏡組的透鏡關閉操作模式,提供該可調式透鏡組的無限遠焦距;及 (ii) 可調式透鏡組的透鏡開啟操作模式,使該可調式透鏡組具有一特定的有限焦距。
根據一些實施例,在該可調式中繼器中的該第一和第二群組的透鏡包含該可調式群組的透鏡、及具有固定焦距和固定之主光學平面位置的一非可調式群組的透鏡。在此實施例中,該中繼器的該等放大率狀態包含一第一和一第二放大率狀態,其中該可調式群組的該第一和第二可調式透鏡組分別設定至不同組合的該透鏡開啟與透鏡關閉操作模式。據此,在該第一和一第二放大率狀態中,該可調式群組沿該光徑具有不同的有效焦距及不同的有效主光學平面的位置,提供光學中繼器的不同光學放大率。
在一些實施方式中,在該二個狀態中該可調式群組的有效主光學平面的該等不同位置之間的光程係與在該二個狀態中該可調式群組的該等有效焦距之間的差相匹配。這可使得光學中繼器具有類似的光學倍率(在其二個操作狀態類似的有限焦距或無限遠焦距(無光學倍率))。
在一些實施方式中,可調式放大光學中繼器建構成使得: 在該第一放大率狀態中,該第一和第二可調式透鏡組分別設定至透鏡開啟操作模式和透鏡關閉操作模式,以提供該可調式放大光學中繼器的第一放大比率,且 在該第二放大率狀態中,該第一和第二可調式透鏡組分別設定至透鏡關閉操作模式和透鏡開啟操作模式,以提供該可調式放大光學中繼器的第二放大比率。
根據一些實施例,第一和第二可調式透鏡組每一者包含至少一可調整液晶繞射透鏡。根據使用單一影像投影單元的一些實施例,該單一影像投影單元建構成利用在至少三個單色原色的光投影該第一和第二影像部分的該序列的圖框。在此實例中,該可調整液晶繞射透鏡係建構及可操作以相對於該至少三個單色原色具有相同的光學倍率,藉此抑制色像差。
根據本發明一些實施例,該系統包含一投影控制器。該投影控制器建構及可操作用於接收表示待分別投影於該視網膜的中央窩及周邊區域上的該第一和第二影像部分的資料(舉例來說,它可接收表示待投影至視網膜上的整個影像的資料,且將其分割成第一和第二影像部分)。該控制器亦建構及可操作以: (i) 操作該單一影像投影單元而以至少25 FPS(且更較佳至少30 FPS)的第一圖框速率來投影該第一影像部分,以超過中央窩的感知速率;及操作該可調式放大光學中繼模組以與該第一影像部分的投影同步,以影響對於該第一影像部分的投影的一第一放大比率。該光學中繼器建構成使得該第一放大比率係用以在該視網膜的該中央窩區域上投影該第一影像部分;及 (ii) 操作該單一影像投影單元而以至少60 FPS(且更較佳至少90 FPS)的該第二圖框速率來投影該第二影像部分,以超過該視網膜的該周邊區域的感知速率;及操作該可調式放大光學中繼模組以與該第二影像部分的投影同步,以影響對於該第二影像部分的投影的一第二放大比率。該光學中繼器建構成使得該第二放大比率大於該第一放大比率且係用以投影該第二影像部分以覆蓋該視網膜的該周邊區域。
根據一些實施例,該系統包含至少第一和第二影像投影單元,建構並可操作分別用於至少第一及第二影像部分的投影。並且,該系統亦包含一眼睛投影光學模組,光學地耦接至該至少第一及第二影像投影單元且係建構並可操作以沿一一般光徑組合該至少第一及第二影像投影單元之投影的光徑,分別關於該第一及第二影像部分的該投影之來自該第一及第二影像投影單元的光束,係沿該一般光徑加以引導以朝使用者的眼睛傳播以將包含該第一及第二影像部分的空間組合影像投影在視網膜上。
在一些實施例中,該第二影像投影單元可建構成,以與由該第一影像投影單元所投影的該第一影像部分的角度範圍相比較大的角度範圍,投影該第二影像部分。
在一些實施例中,第一影像投影單元可建構以在視網膜的第一、中心區域上投影第一影像部分,使得其覆蓋視網膜的中央窩區域,且第二區域涵蓋圍繞該中央窩區域的視網膜的中央窩旁區域的至少一部分。
第一和第二投影單元可更建構及可操作以允許在視網膜的中央窩區域上相對較高影像投影品質之影像部分、及在視網膜的周邊區域上相對較低影像投影品質的影像部分之投影。該影像投影品質可相關於以下至少一者:影像投影的角解析度、及色彩深度。
根據一些實施例,第一和第二影像投影單元其中至少一者可為基於掃描的影像投影單元,其係建構並可操作成用於藉由在視網膜上掃描一影像編碼的光束而將影像投影。
根據一些實施例,該系統可更包含與一眼睛追踨模組相關的一控制單元,該眼睛追踨模組係加以建構並可操作成用於偵測眼睛目光方向上的改變;且其中,該眼睛投影光學模組包含一軌跡模組,該軌跡模組係加以建構並可操作成用於調整朝眼睛之影像投影的一般光徑;且該控制單元係適用以根據所偵測之目光方向上的改變而操作該軌跡模組。
該眼睛追踨模組可建構及操作用於偵測眼睛瞳孔的橫向位置相對於該系統的變化,且該控制單元係用以根據所偵測之該瞳孔橫向位置上的改變而操作該軌跡模組。
該控制單元可配置並操作成用於操作該軌跡模組以補償該所偵測的改變,且從而將組合影像維持投影在視網膜上的一固定位置。
根據一些實施例,該眼睛投影光學模組係配置成將入射光引導進使用者的眼睛且通過瞳孔朝向視網膜,使得光場的橫剖面(例如在半峰全寬(full width half max)處或在25%強度處)係小於使用者的瞳孔。此提供具有相對於使用者瞳孔較小的直徑的可視範圍(eye-box)。該眼睛投影光學模組可配置成根據自該眼睛追踨模組接收之在使用者瞳孔之目光位置上的資料而改變可視範圍的位置及角度之其中至少一者,以因而將出口瞳孔對準使用者眼睛的光軸。
根據又另一實施例,該系統亦可包含一控制單元,該控制單元係加以配置並可操作成用於獲得指示應被投影至使用者眼睛之組合影像的內容之影像資料,及用於將該影像資料分割成該至少第一及第二影像部分,使得該第一及第二影像部分係在視網膜的中心及周邊區域上由該第一及第二影像投影單元可投影之互補的影像部分,藉此將該組合影像投影在視網膜上。
光學投影模組可包含一光學組合/多工元件,配置成組合該第一及第二影像投影單元的影像投影,使得由該第一影像投影單元產生及與該第一影像部分的投影相關聯的第一光場沿垂直於該光學投影模組之光軸的平面之中心區域傳播,且由該第二影像投影單元產生的第二光場在相對於該中心區域之該平面的周邊區域傳播。
為此,該第一及第二光場可分別以較高及較低的影像投影品質加以投影。該第二影像投影單元係配置成將影像投影提供至一甜甜圈狀視場上,從而將影像投影提供至中央窩旁區域。
額外地或替代地,該第一及第二光場可在該中心及周邊區域之間的一邊界區域交疊,從而在該邊界區域提供該第一及第二影像部分之交疊部分的投影。該第一及第二影像部分可加以配準,使得由該第一及第二影像投影單元投影的該等交疊部分對應於類似的影像內容。
根據一些實施例,該系統可建構成在一頭戴式顯示單元內加以使用。根據一些實施例,該系統可配置成提供虛擬或擴增實境體驗。
在一些實施例中,該眼睛投影光學模組可配置成將由該第一及第二影像投影單元投影的影像引導至使用者的眼睛且同時阻擋周圍的環境光。
在一些實施例中,該眼睛投影光學模組係配置成將由該第一及第二影像投影單元投影的影像引導至使用者的眼睛且同時允許周圍的環境光之透射,藉此提供透明的顯示。
如上所述,在本技術領域中需要眼睛投影系統的新穎構造。一起參照圖1A及1B,其示意性地描繪根據本發明的一些實施例用於將影像投影進使用者眼睛的眼睛投影系統100及方法250。眼睛投影系統100係配置成產生影像並將所產生的影像投影進使用者的眼睛10。更具體而言,根據本發明的一些實施例,眼睛投影系統100係配置且可操作成一視網膜投影系統,適用於將影像直接投影在使用者眼睛10的一視網膜上。此眼睛投影系統係用以將影像投影在視網膜上,使得落在(投影在)視網膜的中央窩和周邊區域的影像的多個部分(例如,此處稱為第一和第二影像部分)可以不同的空間解析度(不同的像素密度)及/或以不同的時間解析度(不同的圖框速率)在視網膜上它們的各別位置上加以投影。
為了簡單起見,用於投影影像至單一眼睛的眼睛投影系統100的元件顯示於此圖示中;然而,應理解的是,一般而言影像投影系統100可配置成投影影像至使用者的雙眼,同時允許右眼影像與左眼影像之間的某些差異,以提供三維的體驗。為此,投影系統100可包含在此圖式中顯示之ㄧ些或所有元件的複製物用於投影至使用者雙眼。
因此,如圖1A中所描繪,根據本發明一些實施例,可在視網膜影像投影中使用的眼睛投影系統100包含: (i) 一眼睛投影模組11,配置且可操作用於投影至少第一和第二影像部分,第一和第二影像部分係分別對應一影像的第一和第二片段,其分別待投影至眼睛10的視網膜的中央窩和周邊區域;及 (ii) 一光多工模組125,光學耦接至該影像投影模組11,用於接收如此投影之該至少第一和第二影像部分,且配置並可操作用以組合(多工操作)該至少第一和第二影像部分的投影,以產生一組合影像投影,該組合影像投影係加以輸出以沿引導朝向使用者眼睛10的視網膜的一般共同的光徑傳播。
為此,如以下參照圖4A到4G與圖5A到5B更具體描述的,在本發明各種實施例中,光多工模組125可配置及操作以實施空間及/或時間多工處理,以組合第一和第二影像部分的投影,俾以產生組合影像,該組合影像接著投影到眼睛10的視網膜上。因此,光多工模組125係配置及操作用以在空間及時間多工處理其中至少一者中組合第一和第二影像部分,使得該組合投影/影像的橫向範圍係與在該組合投影/影像中的第二(周邊)影像部分的橫向範圍類似。舉例來說,第二/周邊影像部分可在組合影像的整個橫向範圍延伸,但它可能或可能不覆蓋該組合影像投影的中央區域/片段,且在一些實例中它可能僅投影而覆蓋該組合影像投影的框區域。此外,光多工模組125係配置且可操作用以多工處理第一和第二影像部分,使得在組合影像投影中的第一影像部分的橫向範圍小於該組合投影的橫向範圍且在該組合投影的橫向範圍之內。據此,在朝眼睛的視網膜引導該組合投影(組合影像)時,該組合影像可加以引導,使得第一(中央窩)影像部分的投影覆蓋眼睛10的視網膜的中央窩區域且第二影像部分的投影至少覆蓋眼睛10的視網膜的周邊區域。
根據本發明的一些實施例,系統100(亦即是影像投影模組11及/或光多工模組125)係配置且可操作用於產生及/或組合第一和第二影像部分,使得在組合影像/投影中它們分別具有較高及較低的空間像素密度。這因而最佳化該組合投影,以分別對應視網膜的中央窩與周邊區域的較高與較低空間解析度,在組合影像/投影中的第一和第二影像部分係分別投影至中央窩與周邊區域。
在這方面,應理解的是,光多工模組125為「成像多工模組」,其包含成像光學件,且適用以組合該至少第一和第二影像部分以形成其一組合影像。這不同於非成像光束多工模組/技術(例如,有時用在光通訊中),對於非成像光束多工模組/技術,無任何需要在整個多工的光束維持影像內容。更具體而言,成像多工模組的特徵在於,它多工處理且組合(時間上或空間上)二個(第一和第二)影像部分的「投影光束」且同時實質上不損害(亦即是保留)整個光束之光的強度剖面/分布以不實質上損害/改變這些光束所投影的影像部分。
根據本發明一些實施例,系統100(亦即是影像投影模組11及/或光多工模組125)係配置且可操作用於產生及/或組合第一和第二影像部分,使得在組合影像/投影中它們分別具有較低及較高的圖框速率。這因而最佳化該組合影像/投影,以分別對應眼睛10的視網膜的中央窩與周邊區域的較低與較高時間解析度。
系統100亦可包含一光學模組120,其配置及可操作用以將對應組合影像/投影的光引導進使用者眼睛10以在使用者的視網膜12上形成影像。舉例來說,用於將影像投影引導至使用者眼睛10的視網膜上且同時可能追蹤眼睛的目光方向及/或橫向位置以將影像投影引導至視網膜上所欲/適當位置的光學模組的範例,揭露於專利申請案公開號第WO 2015/132775號及第WO 2017/037708號,其共同轉讓給本專利申請案的受讓人且於此藉由參照納入本案揭示內容。此光學模組可典型上/選用性包含一光學中繼器126,且同時可能亦包含一或多個可調整偏轉器用於引導/調整影像投影的一般光徑,以相對於眼睛投影系統100追蹤眼睛相對位置(橫向位置)、眼睛相對目光方向(眼睛的視線方向)上的變化,使得在相對於眼睛投影系統100之眼睛的目光及位置可能變化/改變時,投影的影像(在本實例中的組合影像投影)落在視網膜上的正確位置。為此,光學模組120亦可包含眼睛追蹤系統/模組(如以上參照的PCT專利公開案所述)用於監測眼睛的目光及/或橫向位置及據以操作對應的可調整偏轉器。
光學中繼器126一般為「成像光學中繼器」,該中繼器將於輸入埠/光瞳處輸入其的影像中繼而於一不同位置處(例如其輸出光瞳/埠)輸出,且同時可能具有若干光學放大率。該光學中繼器可能不具有任何淨焦度且可因此配置及操作成不影響藉此中繼之光的聚焦而可能僅影響放大。關於此點,應理解的是,光學中繼器126為成像光學中繼器(與非成像(光束)中繼器相反),且適用以保留整個藉此中繼之光束的影像資訊。
應理解的是,在本發明使用光學中繼器126的各種實施例中,光多工模組125可設置在光學中繼器126上游(參見例如圖4B),在光學中繼器126下游(參見例如圖4E),及/或與光學中繼器126本身整合(參見例如圖4C及5B)。
系統100通常亦可包含或可連接到至少一控制單元200。控制單元200通常配置以取得待投影至眼睛10的輸入視訊及/或影像資料,並處理該輸入視訊及/或影像資料,以使待傳輸至眼睛視網膜的中央窩和周邊區域的第一和第二影像部分的影像資料以可能不同的解析度及/或以不同的圖框速率加以顯像。接著,控制單元200提供/傳送影像投影模組11的第一和第二影像部分,影像投影模組11從而以所欲解析度和圖框速率產生和投影第一和第二影像部分以選用性地傳播至光學模組120,在光學模組120處將該等影像部分係加以空間上及/或時間上多工處理/組合以形成在視網膜上所投影的組合影像投影。
為此,處理影像資料以及使該至少第一和第二影像部分顯像,可包含執行以下所述的方法250的操作。控制單元200可配置及操作用於執行操作251,操作251用於接收影像資料,其表示應投影至使用者眼睛的「投影影像圖框」(此處亦稱為「組合影像」)的內容。「投影影像圖框」可為應重複投影至視網膜上若干一段時間的一靜止影像,且/或可為一視訊圖框,其為待投影至視網膜上的視訊影像序列的一片段。舉例來說,影像資料可包含應投影至視網膜上的影像的內容及佈局(其中該內容可為應同時投影至視網膜上的一或多個影像的資訊,且該佈局可包含關於這一或多個影像的投影之排列/佈局的資訊)。舉例來說,佈局資料可包含表示視網膜上影像的橫向位置的橫向定位資料(例如,關於影像中定錨點的資料,定錨點代表在眼睛的LOS與影像平面之間的交點)。
控制單元200可用以執行選用性操作252,用於處理該影像資料以決定/產生 表示應投影至視網膜上的組合光場(影像內容)的一「投影影像圖框」。舉例來說,在一些實例中,藉由將在該影像資料中所包含的複數影像串連並同時根據佈局資料在圖框中將它們加以布置,將「投影影像圖框」形成。
在選用性操作253中,控制單元執行一配準操作,以相對於眼睛的光軸(LOS)將「投影影像圖框」配準。換言之,表示「投影影像圖框」的對準位置的配準/對準資料係相對於眼睛的LOS(舉例來說,配準/對準資料可表示在「投影影像圖框」之中的一點,其應與眼睛的LOS軸相交)。
在操作254中,控制單元200將「投影影像圖框」分割成二或多個分段(該至少第一和第二影像部分),其將分別投影至視網膜的中心(中央窩)區域及投影至視網膜的周邊(中央窩旁)區域。因此,在操作254中,控制單元200藉由利用在253中獲得的配準/對準資料以決定影像的各分段落在視網膜上的位置而將「投影影像圖框」分割,且藉此在「投影影像圖框」中決定在第一與第二影像部分之間的邊界,該第一與第二影像部分分別落在視網膜上的中央窩與中央窩旁區域。為此,落在中央窩旁(周邊)視網膜區域上的分段係加以分割至第二影像部分,而落在中央窩視網膜區域上的分段係加以分割至第一影像部分。據此,控制單元200將「投影影像圖框」分割成分別投影至視網膜的中央窩與中央窩旁區域上的至少二個影像部分。
就此而言,應注意為了執行這樣的分割,控制單元可利用投影單元組態資料,該投影單元組態資料指示影像投影模組11的投影參數以及亦可能指示在投影第一和第二影像部分之操作中光學模組的光學參數。
舉例來說,在包含二個(第一和第二)影像投影單元130和140、以及用於串連它們投影的影像部分的空間影像多工模組125.1的實施例中(參見圖4A至4E的實施例),第一和第二影像投影單元130和140及/或它們之後的放大光學件(例如,分別是初始/放大中繼模組122a及122b)的數值孔徑(NA)可加以考慮/處理,以決定由各個投影單元及其角範圍所覆蓋的視網膜區域上的資料。這允許控制單元200將「投影影像圖框」在影像投影單元130與140之間適當地分割與劃分。
替代地或額外地,在包含投影第一和第二影像部分的序列(例如,交叉/交錯序列)之單一影像投影單元130、以及在分別投影第一和第二影像部分的時候施加時間上不同光學放大率的時間影像多工器125.2的實施例中(參見圖5A和5B的實施例),單一影像投影單元130及/或分別施加於第一和第二影像部分之投影的不同光學放大率的數值孔徑係加以考慮,以決定由第一和第二影像部分各者及其角範圍的投影所覆蓋的視網膜區域上的資料。這允許控制單元200將「投影影像圖框」適當地分割與劃分成第一和第二影像部分。
在255中,控制單元200執行分別將由影像投影單元130及140投影之第一及第二影像部分的顯像。控制單元200可利用投影單元組態資料,其可指示由影像投影模組11(亦即,單元130及140)提供的投影參數(諸如角解析度及色彩深度),以將各別的第一及第二影像部分據以顯像。就此而言,如上所述,相較於將影像投影在視網膜之中央窩旁區域上的第二影像投影單元140所提供的角解析度(DPI)及/或色彩深度,配置成用於將影像投影至視網膜中央窩區域的第一影像投影單元130,可配置成以較高角解析度(較高DPI)及/或以改進的色彩深度將影像投影在視網膜上。替代地,或額外地,控制單元200可用以操作影像投影模組11,以不同(例如,分別較低和較高)的圖框速率投影第一和第二影像部分。
接著在操作255中,控制單元將指示第一及第二影像部分的顯像資料提供至影像投影模組11(例如,在圖4A至4E的實施例中,分別提供至第一及第二影像投影單元130及140;及/或在圖5A和5B的實施例中,提供至單一影像投影單元130),以藉此投影。
在此方面,根據本發明的眼睛投影系統100利用人類眼睛解剖結構的特徵。參照圖2,其說明人眼的解剖結構。由於人類眼睛的結構係一般已知的,因此本文將不詳加描述,但是其係足以說明視網膜(圖1中的12)係收集光及產生資料發送至大腦的感光區。視網膜包含對光強度(黑及白視覺)及對波長(顏色視覺)敏感的複數感光細胞。更具體而言,視網膜包含對光度(光的強度)敏感之桿狀類型的細胞(桿狀細胞),及對色度(顏色或波長)敏感之錐狀類形的細胞(錐狀細胞)。視網膜中心的區域包含較高濃度的錐狀細胞(波長敏感細胞),且該區域係被稱為「中央窩」(在圖1中標示為14)。中央窩係負責提供位於視場中心或注意力中心的詳細影像。通常,中央窩區域提供較高的空間頻率或較高的解析度,以及可能較高的顏色感知能力,而中央窩旁區域提供低解析度影像感知(向大腦提供場景周圍的模糊指示)及可能較低的顏色感知能力,且同時對在輸入光場之內的移動、快速亮度變化、及梯度更敏感。為此,中央窩旁區域,相較於中央窩區域,對低圖框速率(低於60 FPS的圖框速率,且在一些實例中甚至低於90 FPS的圖框速率被中央窩旁區域感知為閃爍)更敏感,而中央窩區域對甚至低到25到30 EPS或甚至更低的低圖框速率不敏感。據此,影像投影模組(例如,單元130及/或140)係配置及可操作用於待投影至視網膜上之組合光場(「投影影像圖框」)的互補之第一和第二影像部分的投影。針對視網膜的中央窩區域的第一影像部分,以高影像投影品質加以投影(即,顯像/投影第一影像部分,使得它具有高角解析度及/或高色彩深度),但可能以較低的圖框速率進行。針對視網膜中央窩旁區域的第二影像部分,以較低影像投影品質加以投影(即,與第一影像部分相比,降低的角解析度及/或降低的色彩深度),但可能以較高的圖框速率進行以減少由中央窩旁區域所感知的閃爍。
這提供組合影像投影,其適應於視網膜的解剖及感知特性,且同時減少需要由系統處理的影像資料量。
為此,根據本發明一些實施例,影像投影系統可包含一或多個影像投影單元(例如,130及/或140),其以掃描影像投影構造加以配置(藉由該掃描影像投影構造,影像係藉由將使用影像資訊而時間調變的光束掃描(光柵掃描)而加以投影在投影表面(即,在視網膜的各別中央窩區域)上)。影像投影單元130及/或140的此種掃描影像投影構造協助達成具有影像投影模組11之緊湊尺寸的高品質影像投影。
光學模組120係配置成組合/多工處理由影像投影模組11所投影的第一和第二影像部分,且引導它們相對應的光線以形成投影進使用者眼睛10的影像。
就此而言,應注意的是,根據本發明的一些實施例,在方法250的分割操作254中,控制單元200將「投影影像圖框」分割成兩個(或更多)分段(第一及第二影像部分),其沿彼此之間的邊界區域有一些重疊。因此,在此等實施例中,影像投影模組11係加以配置並可操作以將這些第一及第二影像部分投影至視網膜上,使得它們在彼此之間的邊界區域交疊。因此,在該邊界上,相似的影像資訊係藉由第一及第二影像投影單元以交疊及分別具有高及低影像投影品質的方式加以投影。
光學模組120(光多工模組125)可配置成組合由影像投影模組11所產生的第一和第二影像部分,使得在第一及第二影像部分之間的交疊係加以維持。此外,光學模組120可配置及/或操作以引導所投影的影像部分,使得在該等影像部分之間的邊界實質上對應於使用者視網膜中之中央窩的解剖邊界。該系統可包含視網膜設定/校正參數,其指示視網膜***窩影像的之相對尺寸/角度延展及/或在視網膜***窩影像的邊界位置。該視網膜設定/校正參數可加以調整(例如,藉由預校正及/或藉由使用者選擇),以調整及/或配適在視網膜上的影像的第一部分投影的位置及橫向範圍(例如,用以滿足使用者的特定解剖特徵/參數)。替代地或額外地,視網膜設定/校正參數可加以預調整/預設 及/或 加以固定,使得它適用於大多數使用者的解剖構造。
在各種實施例中,於在組合影像/投影中所投影的第一與第二影像部分之間的交疊係重要的,以協助在視網膜中央窩區域上所投影之較高品質的影像與在其中央窩旁區域上所投影之較低品質的影像部分之間使用者感知的順暢及自然過渡,及/或補償使用者之間的誤差及解剖差異。
控制單元200亦可響應在眼睛10定向及/或位置上的眼睛追蹤資料(例如得自諸如在以色列專利申請案第241033號中揭露的眼睛追蹤模組),及對光學模組120提供適當的指令以改變影像投影的一般路徑,以根據眼睛10的運動校正影像投影的光徑。例如,光學模組120可包含軌跡模組124,該軌跡模組可包含例如可調整的目光追蹤光束偏轉器及/或可調整的瞳孔位置光束偏轉器(舉例來說,其可如在以色列專利申請案第241033號上所述加以配置及操作)。控制單元200可加以配置及操作以調整這些偏轉器中之一者或二者的位置,以根據眼睛目光方向(LOS的方向)而改變影像投影的一般傳播路徑、及/或在眼睛的光軸與光學模組120的輸出光軸之間的相對的橫向位移及/或相對的角定向,例如以維持在它們之間實質固定的相對定向及/或位移。實際上,當在眼睛的光軸與光學模組120的輸出光軸之間保持固定的相對定向及位移時,來自影像投影模組11的影像/影像部分係在視網膜上的固定位置加以投影。
或者或額外地,在一些實施例中,控制單元200可加以配置及操作以藉由操作影像投影模組11(例如,操作在圖5A-5B中的單一影像投影單元130,及/或將圖4A-4E中的第一和第二投影單元130及140二者協同地操作)而平移及/或扭曲由此投影的影像,使得投影的光場(組合影像/投影)係以抵消在相對定向/位移中之變化的方式加以位移/扭曲,而補償在眼睛與光學模組120的光軸之間之相對定向及/或位移中的一些/輕微的改變/偏移。舉例來說,使用此種技術以補償小眼睛運動係參照圖6在下面更詳細地舉例說明。
因此,根據本發明的眼睛投影系統係通常配置成針對視網膜的中央窩區域提供具有增加解析度的影像投影,而針對圍繞中央窩的中央窩旁區域提供具有相對較低(例如一般)解析度的影像投影。此允許系統相對於高解析度的影像降低影像顯像/處理的複雜性,且同時針對實際利用高解析度影像且需要高解析度影像之使用者眼睛的區域提供高解析度影像。
圖3說明由本發明的眼睛投影系統產生之兩部分的影像。完整的影像包含兩個影像部分(通常至少兩個,因為周邊影像部分可由幾個投影單元產生的幾個子影像構成),該兩個影像部分包含:提供周邊影像資料的中央窩旁/視網膜影像部分1400,該中央窩旁/視網膜影像部分1400通常環繞注意力的中心;及提供影像資料的主要部分且對應使用者注意力中心的中央窩影像部分1300。中央窩影像部分1300相對於中央窩旁影像部分1400通常可具有較高的解析度。中央窩影像部分1300之像素的實際數量可能與中央窩旁影像部分1400之像素的實際數量相同或更高。影像解析度中的差異通常可能因為由各個影像部分覆蓋的不同區域(視場)而提供。具體而言,中央窩影像部分通常可加以投影以覆蓋中央窩的實際區域或稍大的區域,其相對於視網膜的周圍區域顯著較小。應注意的是,如圖3顯示的影像部分舉例說明一圓形視場。然而,通常視場可為矩形、橢圓形或任何其他形狀。所投影之影像的中央窩影像部分1300較佳地可為圓形或橢圓形,以覆蓋中央窩的視場且因而最佳化眼睛此區域的清晰視覺能力。亦在圖3中舉例說明的是在使用者瞳孔處的中央窩影像部分1300及中央窩旁影像部分1400的角度範圍。通常,中央窩影像部分的角度範圍可為α1 in
及可在3°和10°之間,且較佳約5°。此外,在瞳孔輸入處之中央窩旁影像部分的角度範圍α2 in
可高於20°,且通常約120°-180°。
一起參照圖4A-4C及4E,描述眼睛投影系統100的數個實施例,其包含至少第一和第二影像投影單元/模組130和140(以下亦稱為投影單元),它們的影像(中央窩及周邊影像部分)係加以空間上多工處理。第一和第二影像投影單元130和140係配置及可操作用於至少第一和第二影像部分的空間分開投影。在這些實施例中,光學模組120的光多工模組125包含一空間多工器125.1,配置且可操作用以將來自第一和第二影像投影單元/模組130和140的影像(第一和第二影像部分)空間上組合,以形成一組合影像,該組合影像包含:(i)完全在該組合影像的橫向範圍之內(例如,覆蓋該組合投影/影像的中心且不延伸遍及該組合投影/影像的全部面積)的來自第一影像投影模組130的第一影像部分,及(ii)來自第二影像投影模組140的第二影像部分,在較大橫向範圍上投影以定義邊界且從而定義該組合投影/影像的橫向範圍。換言之,光多工模組空間上組合該至少第一和第二影像部分,使得該第一影像部分為該組合影像/投影的中心區域,且該第二影像部分橫向延伸於包圍該組合投影/影像之中心區域的一環形區域上。因此,在該組合投影/影像中,該第一影像部分具有與該第二影像部分相比較小的橫向範圍,使得第二影像部分框圍該第一影像部分。當投影至眼睛時,第二影像部分係如此受到引導覆蓋視網膜的周邊區域,且第一影像部分受到引導覆蓋視網膜的中央窩區域。
根據一些實施例,第一和第二影像投影單元130和140係根據它們各自的數值孔徑(及/或根據它們對應的放大中繼模組122a和122b的各自數值孔徑)加以配置,使得輸出自第一影像投影單元130(例如,輸出自對應的放大中繼模組122a)的第一影像部分之中的像素密度係高於輸出自第二影像投影單元140(例如,輸出自對應的放大中繼模組122b)的第二影像部分之中的像素密度。據此,視網膜的中央窩區域係由高解析度影像加以投影,且同時避免在視網膜的周邊區域上處理及投影高解析度影像部分的需求。舉例來說,縱使在影像投影單元130和140提供類似的空間解析度之情況下,由於來自影像投影單元140的第二影像部分在較大面積上延伸(例如,配置以覆蓋視網膜的周邊區域),當投影在視網膜上時,它的像素密度與建構以僅覆蓋中央窩(視網膜的中心區域)的第一影像部分相比係較小。
選用性地,在一些實施例中,第一和第二影像投影單元130和140可配置及操作用於以不同圖框速率分別投影第一和第二影像部分。舉例來說,由於視網膜中央窩區域係對低圖框速率(或對閃爍的影像)較不敏感,第一影像投影單元130可配置以操作於低至25-30 FPS(每秒圖框)的圖框速率,且同時由於視網膜的周邊區域對低圖框速率(或對閃爍的影像)較為敏感許多,故第二影像投影單元140可配置以操作於較高的圖框速率(例如,大於50 FPS,且更較佳是大於或等於60 FPS,甚至更較佳是至少90 FPS)。這可藉由影像投影單元130和140的特定構造加以達成,該影像投影單元130和140的特定構造用於將各自影像部分以各別較低和較高的圖框速率進行投影。
光學模組120亦可配置以將對應於由投影單元所投影之影像的光朝使用者眼睛10引導,以在使用者視網膜12上形成影像。為此,光學模組120可包含一光學中繼器126,其可相對於光傳播通過該光學模組的方向設置在空間多工模組125.1之前、之後、及/或與其整合。這些實施例以下參照圖4A至4G更詳細描述和說明。
如上所述,該系統通常亦可包含或可連接至至少一控制單元200。控制單元200係通常配置以將影像資料顯像並傳輸影像資料以藉由第一和第二投影單元130和140加以投影。為此,將影像資料顯像以藉由二或更多(第一和第二)投影單元130和140投影的操作可包含實施上述方法250的操作。
據此,影像投影單元130和140係配置且可操作用於待投影至視網膜上之組合光場(「投影影像圖框」)的互補的第一和第二部分的投影。第一影像投影單元130係配置且可操作成使得它可以高影像投影品質來投影待引導至視網膜的中央窩區域的第一影像部分(即,顯像/投影第一影像部分,使得它具有高角解析度及/或高色彩深度)。第二影像投影單元係用於以較低影像投影品質(即,與第一影像部分相比,降低的角解析度及/或降低的色彩深度)來投影第二影像部分(其將受引導至視網膜的中央窩旁區域)。
舉例來說,影像投影單元130可配置並操作用於以高角解析度(其為大約或小於每像素4弧-分2
的立體角)投影此投影影像圖框的若干部分。影像投影單元140可配置及操作用於以低角解析度(其為大約或大於每像素10弧-分2
的立體角)投影此投影影像圖框的若干部分。在一些實施例中,影像投影單元130係配置用於投影各個具有RGB顏色內容(例如具有至少8位元(256色)或更高(例如24位元)色彩深度)的影像部分。用於將影像投影至視網膜周邊上的影像投影單元140可配置成用於投影其各個具有較低色彩深度(例如4位元色彩深度(16色))及/或沒有、或具有最少顏色資訊(例如灰階影像)的影像部分。
如上所述,影像投影單元130及/或140可配置及操作用於以掃描影像投影組態/模式而操作,依據該組態/模式,藉由與在投影表面上(亦即是在視網膜的區域上)的光束掃描同步而使用影像像素資訊加以時間調變之光束的掃描(例如,光柵掃描),將一影像加以投影。影像投影單元130及/或140的此種掃描影像投影構造,協助達成使用緊湊尺寸的影像投影模組11的高品質影像投影。在一些實施例中,影像投影單元130及/或140二者係配置成掃描影像投影單元。替代地,或額外地,在一些實施例中,影像投影單元140可以掃描影像投影構造加以配置;及/或以空間影像(aerial image)投影技術加以配置,舉例來說,空間影像投影技術利用空間光調變器(SLM)將其各自第二影像部分投影至視網膜的中央窩旁區域上。
一起參照圖4B、4C、及4E,顯示眼睛投影系統100的三個構造,其中分別包含二個投影單元130及140,其分別配置且可操作用於以不同的品質(解析度及/或色彩深度)及/或以不同的圖框速率投影第一和第二影像部分。這些實施例例示光學模組120的不同特定構造,其中在光學模組的所有實施例中包含一光多工模組125,其配置為可操作用於將來自二個投影單元130和140的第一和第二影像部分空間上組合的一空間光多工模組125.1,及用於將此投影加以中繼至適當位置(從該處將其引導朝向眼睛)的一光學中繼器。
空間光多工模組125包含至少一光束組合器M(例如,半透明偏轉器/鏡 及/或 偏光偏轉器(舉例來說,在投影單元130和140用以發射不同光偏振的偏振光的實例中) 及/或此技術領域已知的任何其他合適光束組合器)以及可能的一或更多額外的偏轉器,用於將自投影單元130及140沿著各別光徑OP1及OP2傳播的光加以組合以沿著共同光徑GOP傳播。一般而言,光束組合器M可配置以在視場的橫剖面的中心處的區域之內阻斷賴自第二投影單元140的光傳輸。然而,在一些構造中,光束組合器M可配置以部分地發送通過該處的光,且因此允許由第二投影單元140所產生的光的至少一部份在視場的中心處通過。在一些另外的實施例中,光束組合器M可於中心區域處阻斷且於其周邊處發送,以允許在影像投影中在由第一和第二投影單元130與140所產生的影像之間順暢的過渡。
在圖4B的實施例中,空間光多工模組125.1係相對於通過系統100的光傳播方法設置在光學中繼器126之後/上游。在圖4E的實施例中,空間光多工模組125.1相對於光傳播方向設置在光學中繼器126之前。在圖4C的實施例中,空間光多工模組125.1係與光學中繼器126整合。在此實例中,中繼模組126包含二個(一般至少二個)輸入埠/透鏡組L1a和L1b、及單一輸出透鏡組/埠L2,以及位於在光徑OP1和OP2之間的交接處的光束組合器M。
如上所述,在組合投影中,第二(中央窩旁)影像部分一般應橫向大於第一(中央窩)影像部分,以框圍該中央窩影像部分。為此,在本發明的一些實施例中,第二影像投影單元140係配置成,以與第一影像投影單元130所投影的第一影像部分的角度範圍相比較大的角度範圍(放大率)投影第二影像部分。
然而,如圖4B所描繪,第一和第二投影單元130和140各自的輸出角度範圍α1 max
和α2 max
可能或可能不配置以提供如以上圖3所述於眼睛10的瞳孔/入口處中央窩與中央窩旁影像部分各自的所欲角度範圍α1 in
和α2 in
。因此,在一些實施例中,第二影像投影單元140本身不配置以提供具有足夠大的角度範圍的第二影像部分。因此,如圖4B和4E所顯示,選用性地,光學模組120包含二個放大中繼模組122a和122b,其沿著來自投影單元130和140的第一和第二影像部分的各別光徑配置,且建構並可操作以在各別的第一和第二影像部分上操作以調整它們的數值孔徑,使得在瞳孔輸入處進入眼睛的第一(中央窩)影像部分的角度範圍α1 in
可如上所述介於3°與10°之間(通常約5°),且在瞳孔輸入處的第二(中央窩旁)影像部分的角度範圍α2 in
可高於20°(通常約120°-180°)。為此,放大中繼模組122a和122b係建構且可操作以根據它們各別投影單元130和140的數值孔徑而將各別的第一和第二影像部分的投影放大,以取得上述進入眼睛之中央窩與中央窩旁影像部分的角度範圍。在這方面,應理解的是,一般而言放大中繼模組122a和122b為選用性的,且在影像投影單元130和140建構成本身提供正確的數值孔徑的情況下可加以省略。然而,在輸出自各別影像投影單元130和140的第一及/或第二影像部分未適當放大(影像投影單元130和140不具有適當數值孔徑)的實施例中,放大中繼模組122a和122b的相應一者或二者可加以包含在該系統中,以調整各別影像部分的適當放大,且更重要的是,二者之間的比例,這是因為組合影像的整體放大率亦可在第一和第二影像部分沿共同一般光徑GOP加以空間上或時間上組合之後加以執行。
應注意的是,在圖4E的實施例中,空間光多工模組125.1位於光學放大中繼模組122a和122b的下游且在另一光學中繼器126的上游。在此實例中,光學中繼器係於第一和第二影像部分已選用性地適當放大且由空間光多工器125.1加以多工處理/組合在一起之後接收該第一和第二影像部分,且將該第一和第二影像部分中繼至所欲位置,從該所欲位置該第一和第二影像部分可加以投影至眼睛10。在此等實施例中,放大中繼模組122a和122b其中至少一者甚至在第一和第二影像投影單元二者的數值孔徑皆未適當設定的情況下可加以省略。這是因為,即使在此等情況下,系統100可配置僅一個放大中繼模組122a或122b來調整第一與第二影像部分的角度範圍之間的比例,且共同中繼器126可適用於將組合投影/影像放大至所欲角度範圍。
與此相比,在圖4B的實施例中,光學中繼器126位於空間光多工模組125.1的上游,且可包含放大中繼模組122a和/或122b或由放大中繼模組122a和/或122b構成。在此實例中,放大中繼模組122a和/或122b可建構及操作用於亦將第一和第二影像部分中繼至光多工器的正確位置/距離,於該處該第一和第二影像部分可加以組合並自該處沿著共同全體光徑GOP朝眼睛10傳播。
如此,在圖4B和4E的實施例二者中,第一和第二投影單元130和140可選用性地與對應的放大中繼模組122a和122b相關聯,以調整如此提供的第一和第二影像部分的各別角度範圍、及/或該等角度範圍之間的比例。
在圖4C的實施例中,光學中繼器126本身係關聯於:二個輸入埠/透鏡組(例如透鏡),用於自各別的投影單元130和140接收第一和第二影像部分;及一個輸出埠/透鏡組,用於輸出該組合影像。在此實例中,光學中繼器126可建構及操作用以沿著來自二個輸入埠的光徑OP1及OP2各者提供不同的光學放大率,其係加以組合至往輸出埠的一般光徑GOP。此等放大率,如此技術領域所一般熟知,關聯於在光學中繼器126的輸入各者處之透鏡組的焦距與在輸出處之透鏡組的焦距之比率。據此,在此實例中,縱使在影像投影單元提供具有不適合/匹配的角度範圍的第一和第二影像部分的情況下,不同放大率可提供至不同光徑,且放大中繼模組122a和122b的使用可加以省略。
如在圖4B、4C、及4E的例子中所顯示,空間光多工模組125.1通常包含一光束組合器M(其可為如熟習此技術領域者所熟知的任何適合類型),且亦可能包含一或多個偏轉器,例如M1,其配置成用於將來自各別投影單元130和140的個別光徑OP1和/或OP2其中至少一者朝該光束組合器M偏轉/引導,該光束組合器M係建構以將第一和第二投影單元130和140所產生的影像投影加以合併。在這方面,應理解的是,在多於二個投影單元用於產生組合投影/影像的實例中,一或更多光束組合器可額外包含於光徑中以將來自此等投影單元的投影合併,且可平行式或級聯式加以合併/組合,使得各投影單元發送光以沿著與投影光的傳播的一般方向垂直的橫剖面在一對應區域形成一影像部分(即,一光場)。
特別參見圖4B和4E的例子,第一和第二投影單元130和140各者輸出表示一影像或一影像流的光,在圖示中針對第一影像投影單元130以極端光線R1a及R1b加以標示,且針對第二影像投影單元140以極端光線R2a及R2b加以標示。來自第一投影單元130的輸出光係發送進中繼模組122a的輸入透鏡組,且係加以中繼至軌跡模組124之上。更具體而言,光線係從投影單元輸出,使得在所投影影像上的不同像素或不同點係與光傳播之相應的不同角度相關聯。因此,極端光線R1a及R1b對應於所投影影像上的兩個極端點。中繼模組122a的第一透鏡組L1a折射光且將其朝第二透鏡組L2a引導,該第二透鏡組L2a將輸入的光再次聚焦至軌跡模組124上。在中繼模組122a的輸出處,一個以上光束組合器(M1及M2)係加以配置,如圖所示。光束組合器M1及M2係配置成將由第一投影單元投影的光組合至由第二影像投影單元140所投影的光之光徑中。類似地,中繼模組122b通常包含第一透鏡組L1b及第二透鏡組L2b,且該中繼模組122b係配置成以基本上類似的方式中繼來自第二影像投影單元140的光投影。示例性光線R2a及R2b說明投影單元140的極端光線。通常,中繼模組122a及122b係以其適當選擇之不同光學倍率的透鏡組而加以配置,且光束組合器M1及M2係加以配置使得由第一影像投影單元130投影的影像在影像投影區域的中心處佔較小的區域,該區域係由第二影像投影單元140投影之影像的部分加以環繞,如圖3所示。此外,應注意的是,通常中繼模組122a和122b兩者及光束組合器M1和M2係配置成將該等影像部分合併以形成共同影像平面(例如在軌跡模組124上)。這是為了確保使用者眼睛的共聚焦。
應注意,中繼模組122a(及諸如122b及126的任何其他中繼單元,其係未在此特別描述)可包含額外的透鏡組,且為了簡單起見在此係顯示為雙透鏡組的中繼單元(雙透鏡中繼器)。亦應注意,中繼單元的光學參數係加以選擇以提供具有如一般已知的期望解析度及清晰度之適當成像,及/或可由標準光學設計工具加以決定。
由第一影像投影單元130及第二影像投影單元140產生之投影影像部分所形成的組合影像投影係選用性地引導至軌跡模組124上。軌跡模組124可包含例如一個以上移動的光偏轉器/鏡(例如上述目光追蹤光束偏轉器及/或瞳孔位置光束偏轉器),其係加以配置以改變其定向,以根據追蹤眼睛運動所決定的一般光徑引導照射在其上的光。軌跡模組124及眼睛追蹤的技術可為任何已知的構造,且如上所述,一示例性構造係在轉讓給本申請案受讓人的以色列專利申請案第241033號中加以描述。
圖4C描繪另一構造的第一中繼模組126,用以在該中繼模組126之內結合來自第一和第二投影單元130和140的投影之第一和第二影像部分。在此實例中,中繼模組126通常應建構及可操作成一遠心中繼器(telecentric relay)。這是因為,在此實例中,除非該中繼器為遠心的,組合的影像將具有與第一近似幾何像差相比更高階的光學像差。
中繼模組122利用一共同的輸出/第二透鏡組L2,且同時利用針對第一和第二投影單元130和140的獨立輸入/第一透鏡組L1a和L1b。如所顯示,來自第二投影單元140的輸出經由透鏡組L1b和L2而加以中繼至選用性的軌跡模組124上。透鏡組L1b和L2的位置和光學倍率係加以選擇,以提供所投影光的角度分布(由極端光線R2a和R2b例示),以提供用於使用者的周邊視覺之所欲角解析度。第一投影單元130的光輸出(由極端光線R1a和R1b例示)由輸入透鏡組L1a加以收集,將發散的光轉換成朝光束組合器M傳播的一組平行光線。如以上所示的光束組合器M可使用單一表面(例如,反射表面)或複數表面,或可建構成一部分反射表面(例如,分束器類型);該光束組合器M係建構成用以引導第一投影單元130的輸出光,以與輸出自第二投影單元140的光一起傳播且定位於輸出自第二投影單元140的光之橫剖面的中心處。該組合影像/投影可接著由透鏡組L2加以收集及/或引導,以受引導/進一步傳播朝向選用性的軌跡模組124,該軌跡模組124接著將該組合影像/投影以適當的橫向及角度定向朝眼睛10引導。
應注意的是,光束組合技術(即,如在圖4A、4B、4C及4E中使使用一個(或多個)光束組合器M)可加以建構以提供在第一投影單元130的影像投影(中央窩影像)與第二投影單元140的影像投影(中央窩旁影像)之間的若干交疊。為此,該一或多個光束組合器可建構成提供50%光反射與50%光透射之分束表面,及/或建構成具有在表面周邊處高透射(反射)與在表面中心處高反射(透射)之非均勻光束組合器表面。因此,可使中央窩影像與中央窩旁影像之間的過渡相對順暢。亦應注意的是,圖形處理單元(GPU)通常可建構以將不同影像部分顯像,以提供如上所述順暢過渡。舉例來說,GPU可建構以將影像顯像,同時調整在影像部分邊界處的影像亮度,以避免影像組合所產生的急遽梯度。
如上所述,光束組合器M一般為反射式/半反射式元件(可能是極化相依反射器/鏡)。傳統上,此一光束組合器M由實質透明材料(例如,玻璃或塑膠及/或雙折射材料)的板加以形成,該實質透明材料的板可能在其一側上塗佈有反射/部分反射塗層。在習知的光束組合器中,前及後表面通常製作成彼此平行。實際上,主反射係自該塗佈的表面(例如,光束組合器的後表面)取得,但仍有一些量的反射(此處亦稱為幽靈反射(ghost reflection))亦自該光束組合器的其他(少/非反射)表面取得。
本發明的發明人已注意到,在如圖4B、4C、及4C中所顯示的系統100的若干實施方式中,使用具有平行的前和後表面的光束組合器M可能造成主反射(來自光束組合器M的主要反射表面)和幽靈反射(來自光束組合器M的少反射表面)二者受引導而沿著共同全體光徑GOP傳播且從該處進入使用者眼睛。由於主反射和幽靈反射通常彼此不對齊,幽靈反射造成使用者不適,及/或視網膜上的模糊影像投影。
因此,在本發明的一些實施例中,如在圖4D中以不言自明方式圖示的,光束組合器M係建構成單向反射式楔形偏轉器,其中它的前和後表面SM和SG不平行而是彼此傾斜,使得來自其少/非反射表面SG的幽靈反射GHS在全體光徑GOP之外的方向上傳播而不繼續傳播至使用者眼睛10,同時主反射MF沿著全體光徑GOP傳播。
實際上,光束組合器M的此實施方式可使用在圖4A到4C及4E的上述實施例其中任一者。在前表面SM與後表面SG之間的傾斜角Ω應建構成大到足以(例如,通常具有至少3度的角度)從全體光徑GOP移除幽靈反射,亦即是,大到足夠使得來自第一和第二影像投影單元其中一者的投影光係從楔形偏轉器的該等表面其中一者加以反射以沿該光徑傳播,且從楔形偏轉器的該等表面另一者反射朝向離開光徑的方向,藉此抑制幽靈反射沿著全體光徑GOP傳播。
然而,應理解的是,雖然楔形類型光束組合器M可用以抑制幽靈反射,此構造可能不是在系統100所有的實施方式中實用。舉例來說,當期望緊湊及/或輕重量的系統100實施方式時,較不合適使用此楔形類型光束組合器M;特別是,較不合適於基於圖4B和4C實施例的實施方式,其中光束組合器位於系統100的光徑的更下游、與光學中繼器126整合、及/或在其之後/下游。這是因為將光束組合器M設置的愈下游,則它應該愈大(由於通常影像投影的橫向範圍隨著往光徑下游傳播而擴張且變得更大)。因此,由於所需要的相對大的傾斜角Ω,在圖4B和4C的實施例中實施楔形類型光束組合器M可能造成大、厚、及/或重的光束組合器M,其較不適用於緊湊/輕重量的系統100實施方式。
然而,在圖4E的實施例中,其中第一和第二影像部分在光學中繼器126的上游及外側加以組合,亦即是,光學中繼器126(於該處影像投影的橫向範圍通常顯著擴大)係配置在空間光多工模組125.1的光束組合器M的下游。據此,由於在此實例中第一和第二影像部分的投影當與光束組合器M相遇/交會時具有相對窄的腰身,縱使在尋求緊湊/輕重量系統的情境下,光束組合器可相對小/窄且因此一小的楔形偏轉器光束組合器可用以抑制幽靈反射。因此,對於系統100的一些緊湊/輕重量實施方式,圖4E的實施方式可能是較佳的,特別是對於幽靈反射的抑制。
然而,應注意的是,在圖4C的實施方式中,其中空間光多工模組125.1與光學中繼器126整合,第一和第二影像部分在光學中繼器126之內組合;亦即是,在其出口透鏡組L2與其入口(第一)透鏡組L1a和L2b之間。然而,這需要光學中繼器126建構成遠心光學中繼模組。在這方面,術語「遠心(telecentric)」及/或「遠心光學系統/模組」應理解為在此技術領域中習知意義。
然而,圖4C的光學中繼器126的遠心性需要更複雜許多的光學透鏡組(例如,L1a、L1b及/或L2),其與遠心性需求寬鬆/不需要之圖4B及4E的光學中繼器126相比包含一或更多額外的光學元件/透鏡,且/或造成更高的像差(例如,增加的球形像差及/或色像差)。為此,雖然圖4C的實施例對於某些目的可能是優越的,但由於需要可能更昂貴、較不緊湊及/或較重的更複雜的光學系統(更多元件),對於其他的目的該實施例較不合適。
因此,就光學中繼器複雜性、成本、尺寸、重量、光學像差、及/或它們的組合而言,圖4B和4E的實施例可提供優越的結果,特別是相對於具有系統100的消費者商業產品。儘管如此,應理解的是,對於一些系統100的專業實施方式,圖4C的實施例可能是較佳的。
應注意的是,在圖4B、4C及4E中,光學中繼器126係示意描繪成折射式及/或繞射式中繼器,其中第一(入口/輸入)透鏡組(L1、L1a、L1b)以及第二(出口/輸出)透鏡組(L2、L2a、L2b)係實施為折射式(例如,及/或可能的繞射式透鏡組),各自包含至少一折射式(及/或繞射式)透鏡。實際上,在不需要來自光學中繼器之淨光學倍率的典型實例中,第一和第二(出口/輸出)透鏡組(L2、L2a、L2b)沿著一光徑(OP1、OP2、及/或GOP)加以配置,沿著該光徑在各對入口與出口透鏡組的主光學平面之間的光程係與該對的焦距的和相匹配。
然而,應理解,系統100的光學中繼器126可能不一定實施為折射式及/或繞射式光學中繼器。實際上,在本發明的一些實施例中,光學中繼器可實施為反射式光學中繼器,其中入口與出口透鏡組其中至少一者包含至少一反射鏡(例如,具有所欲焦距的彎曲反射表面)。
使用反射類型的光學中繼器126,就以下任一者而言可能是有利的: (i) 在各透鏡組中使用甚至單一光學元件的情況下縮減的色像差(由於反射表面一般不導入色像差); (ii) 縮減的重量,由於與折射式/繞射式透鏡相比反射表面在重量上可能較輕; (iii) 第一和第二透鏡組的反射表面之簡化及更有成本效益的製造,該第一和第二透鏡組可如圖4F中的例子所顯示在相同表面/平面一起製作; (iv) 光學中繼器126的緊湊尺寸,藉由利用例如在圖4F中顯示的折疊型光學中繼器構造。
圖4F例示反射類型的光學中繼器126,其可使用在本發明的系統100之中(例如,替代在圖4B、4C及4E中所描繪的折射式及/或繞射式光學中繼器)。光學中繼器126為反射式中繼器,至少包含第一(入口)透鏡組L1及第二(出口)透鏡組L2,分別藉由/利用第一和第二彎曲的反射/鏡表面S1和S2實施,其具有各別的光學倍率(焦距f1及f2)。如所述,光學中繼器可選用性包含一或多個偏轉器(鏡),例如M1及/或M2,以及可能的一或多個光束組合器(例如,在此例子中,IBC和OBC為入口/輸入與出口/輸出光束組合器),該光束組合器配置以界定通過該光學中繼器的光徑GOP。
在光學中繼器應不具有淨光學倍率的實施例中,選用性的一或多個偏轉器(鏡)及/或光束組合器,例如M1及/或M2及/或IBC及/或OBC,及/或透鏡組的反射/鏡表面S1及S2,係配置成使得在表面S1與S2之間的光程係與它們的焦距和(f1 + f2)匹配,如同在折射式/繞射式中繼器的情況。類似地,中繼器的光學放大比率由比率f1/f2提供。
在圖4F的特別例子中,反射式光學中繼器126建構成一折疊型反射光學中繼器,且特徵是透鏡組L1與L2的第一與第二反射表面S1與S2之間的物理距離係小於沿著穿過該光學中繼器的光徑GOP在二者之間的光程。這是藉由在光學中繼器中鏡及/或光束組合器的配置而加以達成。此一配置提供緊湊、輕重量、及有成本效益的光學中繼器構造,具有縮減的色像差。
此外,在圖4F的特定例子中,反射表面S1和S2配置在一共同平面上,使得它們可在相同基板上加以製作。由於在此實例中相同的程序可在相同平面上將表面S1及S2一起製作且同時不需要在製作之後該等表面相對於彼此的任何各自對準,這提供縮減的生產成本及更簡化的量產。
在第一和第二反射表面S1和S2沿著一共同平面配置的這個例子中,在它們之間定義光徑的偏轉表面集合包含:第一和第二分束器/組合器IBC及OBC,分別沿著該光徑設置在第一反射表面S1的上游及第二反射表面S2的下游,以分別定義中繼器126的輸入及輸出光學埠;及一或更多偏轉器,例如M1及M2,配置以定義光徑GOP,其具有介於第一與第二反射表面S1與S2之間的所欲光程。
應注意的是,圖4F的反射類型光學中繼器126係設計成適用於圖4E的實施例,以使用反射類型光學中繼器取代該處所描繪的折射或繞射類型中繼器。圖4G以不言自明的方式例示一反射類型光學中繼器,設計成用以與圖4B的實施例匹配。在圖4G的中繼器中,中繼器126包含二個獨立的中繼模組122a和122b,其建構成有些類似於圖4F所描繪的中繼器,藉此中繼模組122a和122b每一者在分別沿著光徑OP1和OP2傳播的第一和第二影像部分之不同者上操作。該第一和第二影像部分係在中繼器126之後加以組合,如圖4B所描繪。雖然未特別描繪,應理解且為熟習此技術領域者知悉的是,反射類型中繼器亦可設計用於圖4C的實施例的系統100,其中將光徑OP1及OP2組合成共同光徑GOP的光束組合器M係位在光學中繼器126之內且與其整合。
應理解,在系統的各種實施方式中,亦可在光學中繼器126之中包含折射式、繞射式、及/或反射式光學元件的組合。在使用折射式元件的情況下,此等元件較佳應加以調整以針對至少由投影模組11(例如,由雷射或其LED照明模組)所發射的獨立數量波長提供類似的光學倍率(光學長度)。這些通常包含至少三個特定且離散的波長:R、G、及B(紅、綠、及藍)。此等多色折射元件為此技術領域所熟知。
如上所述,圖4A到4G例示一些本發明技術的非限定例子/實施例,其利用空間多工處理以在使用者眼睛的視網膜上投影合成/組合影像,其中各組合/合成影像投影包含:該影像的第一部分,其配置在該組合投影影像之中,使得當該組合影像投影在視網膜上時,該第一部分係以較高的空間解析度(較高的DPI)及/或可能之較低的圖框速率而投影在視網膜的中央窩區域;及該投影影像的第二部分,以較低空間解析度(較低的DPI)及/或較高圖框速率加以投影在視網膜的周邊區域。在這些實施例中,二個(或更多)影像投影單元130和140係用以將第一和第二影像部分沿著各別的光徑OP1和OP2投影,且空間光多工模組係用以組合該第一和第二影像部分的投影路徑OP1和OP2,以形成沿著系統的共同全體光徑GOP傳播的一合成影像,使得該第一影像部分係在該組合影像投影的橫向橫剖面的若干中間/中央區域上加以投影,及/或使得該第二影像部分以與該第一影像部分相比較大的橫向範圍加以投影,且配置在該組合影像投影的橫向橫剖面之中,俾使該第二影像部分框圍/包圍/延伸超過該第一影像投影的投影的橫向範圍。應理解的是,第一和第二影像部分可能或可能不由第一和第二投影單元同時地加以投影(例如,取決於該等投影單元是否操作於相同的圖框速率及/或是否彼此同步)。亦應理解,第一和第二影像部分可為應投影至眼睛的一視訊的一個視訊圖框的部分,且系統100(例如,控制單元)可適用以藉由各自作為如上所探討組合/合成影像之包含在其中的視訊圖框序列的連續投影而投影該視訊(即,該等視訊圖框每一者或至少一些係分割成它們各別的中央窩(第一)和中央窩旁/周邊(第二)區域,且由各別的影像投影單元加以投影)。
現在參照圖5A和5B,其描繪根據本發明的二個實施例的系統100,其中一光多工器為時間光多工器125.2,用於應投影至眼睛視網膜的各別中央窩和中央窩旁區域的各影像圖框的第一和第二影像部分的投影。在這些實施例中,影像投影模組11可僅包含單一影像投影單元130,其可建構和操作用於投影一時間序列之第一和第二影像部分,每個影像部分投影於一時間。該系統僅包含單一/全體光徑GOP,該第一和第二影像部分係沿GOP依序投影。一般而言,第一和第二影像部分可以該單一影像投影單元130的類似角度範圍αmax
或可能以有些不同的角度範圍,沿著在單一影像投影單元130下游(相對於光傳播方向)的全體光徑GOP加以投影。光學模組120包含一光多工模組,該光多工模組包含建構有可調整放大比率的一可調式放大光學中繼器126,相對於自該單一影像投影單元的光傳播方向位於該單一影像投影單元的下游。該可調式放大光學中繼器126包含一時間多工器模組,其可操作用於以不同放大率對第一和第二影像部分進行時間上多工處理,使得對於該第一和第二影像部分的各別投影於它們到達眼睛10的瞳孔時產生不同的各別角度範圍α1 in
和α2 in
。
為此,(單一)影像投影單元130係建構且可操作用於在某個總圖框速率(TFR)的投影影像,該總圖框速率係等於或大於圖框速率FR1和FR2,其中第一和第二影像應於圖框速率FR1和FR2加以投影至視網膜上以在視網膜上各別的中央窩和中央窩旁區域上受到順暢地(在沒有閃爍感覺的情況下)擷取。舉例來說,用於在中央窩上投影第一影像部分的圖框速率FR1一般應為至少25 FPS(每秒圖框),其中通常至少30 FPS是較佳的;且用於在中央窩旁區域上投影第二影像部分的圖框速率FR2應至少60 FPS,其中通常至少90 FPS是較佳的。控制單元200操作該單一投影單元130以投影圖框序列,其包含以總圖框速率TFR的第一分率FR1所投影的第一影像部分以及以總圖框速率的第二分率FR2所投影的第二影像部分。
在本發明的這些實施例中使用的可調式放大光學中繼器126對沿著光徑GOP的第一和第二影像部分的影像投影導入可控制地可變放大率。可調式放大光學中繼器126係建構及可操作且可受到時間上及循序地操作以改變其於最小速率MVR(以下稱為放大變化速率(magnification variation rate))的放大比率,MVR係與各別的第一和第二影像部分的投影的圖框速率FR1和FR2其中最低者至少相等 MVR≥Min{FR1,FR2},由於通常FR1>FR2,故通常MVR≥FR1。據此,可調式放大光學中繼器的放大變化速率MVR通常匹配至少25 FPS。
控制單元係建構及可操作用於將該可調式放大光學中繼器126與單一影像投影單元130操作成彼此時間同步,使得藉由單一影像投影單元130的第一和第二影像部分的投影的時序係針對由光學中繼器所提供的第一和第二放大比率加以同步。據此,不同的第一和第二放大比率係相對於第一和第二影像部分的各別投影受到影響。這因而從中繼器126輸出第一和第二影像部分的時間多工組合投影,其中第二影像部分具有與該第一影像部分相比較大的角度範圍。
現在更特別參見圖5B的實施例,可調式放大光學中繼器126包含至少第一和第二群組的透鏡/透鏡組GP1和GP2,其沿光徑GOP配置。一般而言,該等透鏡的第一和第二群組其中至少一者為一可調式群組GP1和GP2,具有在至少二個狀態之間可調整的焦距f以及有效主光學平面的位置(例如,在此實例中群組GP1的焦距可在f = f11
與f = f12
之間變化且同時它的相應的有效主平面對應地在平面PP11
與PP12
之間變化)。舉例來說,第二群組可具有固定的焦距f2
,或在它亦為可調式的情況下可能亦具有一可變的焦距。為此,當將可調式群組(在此例子中 GP1)於其二個焦距狀態f11
與f12
之間變化時,該可調式放大光學中繼器126提供呈在該二個狀態中GP1與GP2焦距的比率之不同的各別放大率M1與M2,如下:M1 = f11
/f2
且 M2 = f12
/f2
。
如在目前的例子中所描繪,在中繼器126應不具有光學倍率的一些實施例中,第一和第二群組GP1和GP2配置成使得在中繼器的各放大率狀態,群組GP1與GP2的有效主光學平面之間的光程等於在各別放大率狀態它們焦距的和。如在圖中所顯示,在第一放大率狀態下第二群組GP2的主光學平面PP2
與第一群組GP1的主光學平面PP11
之間的距離等於在此狀態下第一與第二群組的焦距的和f11
+ f2
,故在此狀態下沒有淨光學倍率由該中繼器提供。據此,在第二放大率狀態下各別群組GP1與GP2的有效主光學平面PP11
與PP2
之間的光程等於在該第二放大率狀態下它們焦距的和f12
+ f2
。
關於此點,應理解,在若干光學倍率應由中繼器126提供的實施方式中,該等群組或它們的光學元件之間的距離可不同地加以調整。
應注意的是,各個可調式群組(在此實例中僅GP1)一般提供變焦透鏡組的功能,其亦提供可變的放大率。然而,習知的機械式變焦透鏡一般可能無法在通常應至少25 FPS的可調式放大光學中繼器的所需放大變化速率MVR下在不同的放大率狀態之間加以制動。
為此,根據本發明的若干實施例,光學中繼器係建構且可操作用於在不需要機械式運動或改變放大率所需之作動部件的情況下放大率的電子控制的變化。
為此,根據本發明的一些實施例,可調式群組(在此例子中GP1)包含複數至少二個(第一和第二)可調式透鏡/透鏡組(在本例中L1a和L1b),各自具有相對應的有效焦距可切換於幾個操作模式之間(在本例中,L1a的焦距可切換於f11
與無限大之間,且L1b的焦距可切換於f12
與無限大之間)。通常,可調式透鏡/透鏡組每一者係配置成使得它的相對應有效主光學平面係在沿著光徑GOP的不同位置。第二群組GP2可為或可不為可調式的(可包含可調式透鏡或固定焦距透鏡),且可以如上述方式配置在從第一群組的可調式透鏡的各個距離處,以如系統100的特定實施方式中所期望取得具有或不具有焦度(focal power)的光學中繼器126。為此,此例子的可調式光學中繼器可取決於各可調式透鏡群組(例如,GP1)包含的可調式透鏡的數量、及各可調式透鏡可設定至的焦點模式的數量,提供個別數量的不同放大率狀態。
應注意的是,在系統中所包含的可調式透鏡可為任何適合類型。在本例中,第一和第二可調式透鏡組L1a和L1b每一者包含至少一可調整液晶繞射式透鏡,其可操作於/可調整於以上所示二個焦點模式之間。然而,應理解且為熟習此技藝者知悉的是,其他類型的可調整透鏡亦可使用在本發明的系統中。
在一些實施例中,各個可調式透鏡可能需要焦距狀態的一些操作模式。在本例子中,可調式透鏡組L1a和L1b每一者係建構有二個操作模式: (i) 透鏡關閉(LENS-OFF)操作模式,提供可調式透鏡組的無限遠焦距;及 (ii) 透鏡開啟(LENS-ON)操作模式,提供有限的焦距,其中對於第一可調式透鏡組,該有限的焦距為f11,此處稱為第一焦距,且在第二可調式透鏡組中,該有限的焦距為f12,此處稱為第二焦距。
本例子的可調式放大光學中繼器係建構以操作在二個放大率狀態M1與M2其中一者,在該等放大率狀態各者,一不同的透鏡開啟與透鏡關閉操作模式的組合係應用於不同的可調式透鏡組。更具體而言,在本例中,應用至第一影像部分以取得瞳孔入口角度α1 in
的第一放大比率M1係藉由將可調式透鏡組L1a開啟(透鏡開啟模式)並將可調式透鏡組L1b關閉(透鏡關閉模式)而加以取得,且應用至第二影像部分以取得瞳孔入口角度α2 in
的第二放大比率M2係藉由將可調式透鏡組L1a關閉並將可調式透鏡組L1b開啟而加以取得。
在一些實施例中,可調式群組係建構成使得,在二個放大率狀態中可調式群組的有效主光學平面的不同位置之間的光程係與在該二個狀態中該可調式群組的有效焦距之間的差匹配。據此,光學中繼器的類似焦距(無論是無限遠(無焦度(focal power)或有限焦距(具有若干聚焦能力)))係在該二個狀態藉由中繼器加以取得。
在一些實施例中,第一和第二可調式透鏡組L1a和L1b每一者包含至少一可調整液晶繞射透鏡。影像投影單元130係建構以藉由利用在至少三個單色原色(例如,R、G、及B)的光來投影圖框/影像/影像部分的序列。為此,在系統中使用的可調整液晶折射透鏡係各自建構及可操作以相對於由影像投影單元130所使用/投影的該至少三個單色原色具有相同的光學倍率。這用於抑制色像差。關於此點,如熟習此技藝者所知曉,已開發的若干可調式繞射透鏡係建構及可操作以提供相對於幾個波長的類似焦度。此等透鏡可容易地建構用於無色像差的操作,特別是在本發明的一些實施例中,其中影像投影單元130利用在所需三個以上原色的各別特定離散波長中的單色光(例如,雷射光)。
如上所述,系統100包含,或關聯於,投影控制器(控制單元)200,其建構及可操作用於接收表示該第一和第二影像部分的資料,該第一和第二影像部分係分別待投影到視網膜的中央窩和周邊區域上。在此實施例中,控制器200係建構及可操作以: (i) 操作單一影像投影單元130,以至少25 FPS的第一圖框速率投影第一影像部分,以超過中央窩的感知速率;及與第一影像部分的投影同步地操作可調式放大光學中繼模組,以影響對於第一影像部分投影的第一放大比率M1,其中該第一放大比率M1係適用以在視網膜的中央窩區域上投影該第一影像部分;及 (ii) 操作單一影像投影單元,以至少60 FPS的第二圖框速率投影第二影像部分,以超過視網膜的周邊區域的感知速率;及與第二影像部分的投影同步地操作可調式放大光學中繼模組,以影響對於第二影像部分投影的第二放大比率M2。第二放大比率大於第一放大比率,使得第二影像部分覆蓋視網膜的該周邊區域。
一般而言,根據參照圖1、4A-4F、及5A和5B此處所述本發明,單一投影單元130及/或第一和第二投影單元130和140可為任何類型的投影單元,且較佳可建構成掃描雷射投影單元。一般而言,掃描雷射類型的投影單元可就光強度提供較大的效率,以及提供投影影像的較佳解析度。通常,第一/單一及/或第二投影單元130及/或140可建構有類似的規格,但提供針對控制單元(在圖1,200)或其圖形處理單元(GPU)發送之不同影像資料的投影。雖然光學模組120係建構以如圖3中所一般性例示將由第一及/或第二投影單元(130及/或140)所投影的第一及/或第二影像部分加以時間上或空間上組合,第二影像部分的影像資料可表示包含中心(中央窩)區域的完整影像,或它可包含對應甜甜圈形狀影像的影像資料(即,具有一孔洞區域的周邊影像,於該孔洞區域將由第一投影單元130所投影的影像加以組合)。
如上所述,第一/單一影像投影單元130較佳可為掃描雷射類型的投影單元。在此等投影單元中,一光柵光偏轉器(活動鏡,例如利用MEMS)係建構以在角度掃描範圍(角度投影範圍)αmax
之內以一雷射光束掃描。
光學模組120組合及引導至少第一和第二投影單元的光,使得於使用者的瞳孔,產生自第一影像部分的光當進入眼睛時具有角度範圍α1 in
且來自第一影像部分的光當進入眼睛時具有大於α1 in
的角度範圍α2 in
。實際上,於使用者瞳孔處光傳播的不同角度對應視場內的不同點。這是因為光傳播的角解析度一般對應所感知影像的解析度。發明人已發現,基於人類眼睛的解剖學特性,由第一投影單元光投影的輸入角度範圍α1 in
較佳是建構成在約3°的範圍內。在一些構造中,光學模組120及其中繼模組126係建構以提供約α1 in
= 5°的角度範圍,以確保在視網膜內中央窩區域的覆蓋率。角度範圍α1 in
較佳是根據由第一投影單元130所提供的影像解析度而決定,使得使用者的輸入瞳孔處的角解析度優於每像素2弧分,且較佳優於每像素1弧分。第二影像部分一般加以投影以提供在視場周邊內有意義的影像。因此,與由第二投影單元140的影像投影相關聯的角度範圍α2 in
較佳是大於20°,且在一些構造中可大於70°以對使用者提供具有寬視場的影像投影並提供在所投影的影像內的臨場感。第一和第二影像部分可包含類似數量的像素(類似數量的不同角度的點/光線),使得由於第一影像部分的投影的較小角度範圍,較高角度/空間解析度藉此加以提供於視網膜的中央窩區域上。
當使用掃描雷射類型投影單元時,雷射光束一般可包含來自發射三或更多原色(例如,紅、綠及藍)的三或更多個雷射單元的光束,且建構成根據掃描定向而變化色彩各者的強度以提供所欲影像資料的成像。光學模組120建構成中繼自第一和第二投影單元輸出的光,以將所投影的光引導至使用者眼睛上。一般而言,光學單元,且更特別是其中繼模組126,建構成將輸入的光引導進使用者眼睛,俾使在使用者瞳孔處光的橫剖面(即可視範圍(eye-box))具有相對於使用者瞳孔較小的直徑。更具體而言,光的橫剖面直徑(例如,全寬、半峰值、或標準差)在強光照條件下相對於瞳孔直徑係較小。這是因為,軌跡模組124將一般光徑偏轉,以根據所偵測的目光方向(LOS)及/或瞳孔位置(例如,由於相對於眼睛投影系統100的眼睛/LOS運動)而變化可視範圍(系統的出射光瞳)的位置和角度。亦應注意的是,無論是基於掃描雷射的、非雷射的、或非掃描式的,以及在一些實施例中的空間光調變器影像投影單元(例如,基於LCD),投影單元的輸出強度較佳是足夠低,或加以衰減,以避免損傷使用者,且較佳地,避免使用者不適。
在這方面,應注意的是,根據本發明光學模組120所使用的直接投影技術提供用於以輸入光場傳播至視網膜上的一影像平面的方式,將影像投影至眼睛視網膜上。此技術無論使用者眼睛的聚焦距離/構造(其通常基於目標物件的真實或虛擬距離而加以控制)一般能達成,因為可視範圍尺寸,或在瞳孔處光場的橫剖面,係一般小於瞳孔直徑。這在視網膜上提供具有增強焦深的影像投影。據此,影像係加以投影而在水晶體的實質任何焦點狀態下實質聚焦在視網膜上,舉例來說,影像可以允許其保持聚焦於視網膜上的相當焦深加以投影,同時水晶體係處於在從4公尺到∞之寬焦距範圍內的任何焦點狀態。
一般而言,根據本發明一些實施例,如圖4A至5B所例示的眼睛投影系統利用使所投影影像進入使用者眼睛的光學中繼。在這方面,本發明的技術將投影單元(例如,第一和第二投影單元)的投影影像時間上及/或空間上組合,且組合的光場通過追蹤眼睛運動的軌跡模組124,並經由中繼器模組126發送至眼睛。因此,光學模組120可建構成相對於眼睛的定向、照明條件、影像特性、使用者偏好等而最佳化投影。這是因為,不同的第一和第二影像部分投影係加以組合,以將影像部分引導至使用者視網膜中的對應區域。所投影的影像部分係使用一或多個空間/時間光多工器(例如,光束組合器及/或可調式透鏡)加以組合,該一或多個空間/時間光多工器可與光學中繼模組整合或位於光學中繼模組的上游或下游。後者通常亦建構以調整所投影影像的散布,使得由第一投影單元所投影的「中央窩」影像中的像素密度相對於由第二投影單元所投影的周圍「視網膜」影像中的像素密度係較大。一般而言,中央窩影像係相對各方向以對應480p、720p、1080p或更高的解析度加以投影到約3°到5°的視場的角度部分上。中央窩旁/視網膜影像係以實質相似數量的像素加以投影;然而,所投影影像係加以中繼至使用者眼睛,使得其佔有一預定部分之使用者視場,同時留下對應如圖3所顯示中央窩影像的中心區域處於低投影強度,從而允許由第一投影單元130的中央窩影像的投影。
因此,此光學模組的構造允許根據眼睛追蹤與影像特性之出射光瞳和一般光徑的調整。亦應注意,藉由提供朝向中央窩的高解析度影像以及較低解析度的周邊影像資料,該系統可最佳化體驗並同時降低計算複雜性。此外,為了補償小眼睛運動,與眼睛投影系統相關聯的圖形處理單元(GPU)可配置成將對應於稍微大於所投影之實際影像資料的區域之影像資料加以顯像。因此,顯像的影像資料基於在投影時眼睛的確切位置而存在且可直接發送至投影單元。此係在圖6舉例說明,其顯示中央窩影像1300及視網膜影像1400的顯像區域。更具體而言,當對應於1300及1400區域的影像資料係投影進使用者的眼睛時,GPU處理對應於後續圖框之影像資料。GPU產生的影像資料對應於區域1310及1410,該等區域1310及1410係大於1300及1400之區域。區域1310及1410包含大致在由影像部分1300及1400定義之視場外側之影像資料,在此稱為肩影像資料(shoulder image data)。在新處理的影像中,當資料係發送至影像投影單元(130及140)時,控制單元(200)使用眼睛追蹤技術指示使用者瞳孔的確切位置,且所處理影像之相對應的部分係加以投影。此技術藉由提供已顯像之肩影像資料的片段而允許補償小眼球運動的影像變化。在此方面,對使用者眼睛的中央窩區域以均勻解析度投影提供高解析度(即,每像素小於4弧分2
的立體角),需產生具有極大量像素的影像資料(具有這樣空間解析度的全半球影像需要幾乎3千萬像素)。本發明的技術允許提供具有期望的高感知角解析度之影像投影,且同時針對較不敏感的眼睛區域降低影像解析度。因此,中央窩影像使用每像素提供低於4弧分之角解析度的高像素密度,而中央窩旁影像提供較低的角解析度(例如每像素約10弧分)。此允許控制單元及其GPU產生對應於較低解析度影像(例如針對中央窩影像約5百萬像素及針對中央窩旁影像5百萬像素)的影像資料,提供約一千萬像素的總顯像影像資料。
因此,本發明針對使用者的眼睛提供一種影像投影的系統。該系統係配置成降低影像顯像複雜性及從處理/顯像單元至投影單元的資料傳輸,且同時對使用者提供期望的高解析度影像。該系統係通常配置成基於針對使用者視網膜之相應部分的兩個以上影像部分產生組合的影像投影,且係配置成最佳地利用視網膜不同區域的局部靈敏度。在此技術領域具有通常知識者將容易理解,在不背離由隨附申請專利範圍所限定之範圍的情況下,各種修改及改變可應用至如上所述之本發明的實施例。
10‧‧‧眼睛
11‧‧‧投影模組
12‧‧‧視網膜
14‧‧‧中央窩
100‧‧‧投影系統
120‧‧‧光學模組
122‧‧‧中繼模組
122a‧‧‧中繼模組
122b‧‧‧中繼模組
124‧‧‧軌跡模組
125‧‧‧光多工模組
125.1‧‧‧空間影像多工模組(多工器)
125.2‧‧‧時間影像多工器
126‧‧‧光學中繼器(模組)
130‧‧‧投影單元(模組)
140‧‧‧投影單元(模組)
200‧‧‧控制單元(控制器)
250‧‧‧方法
1300‧‧‧中央窩影像部分
1310‧‧‧區域
1400‧‧‧中央窩旁/視網膜影像部分
1410‧‧‧區域
GOP‧‧‧光徑
GP1、GP2‧‧‧透鏡/透鏡組
IBC‧‧‧分束器/組合器
L1a、L1b‧‧‧輸入埠/透鏡組
L1‧‧‧透鏡組
L2‧‧‧輸出透鏡組/埠
L2a、L2b‧‧‧透鏡組
M‧‧‧光束組合器
M1、M2‧‧‧偏轉器
OBC‧‧‧分束器/組合器
OP1‧‧‧光徑
OP2‧‧‧光徑
R1a、R1b‧‧‧光線
R2a、R2b‧‧‧光線
S1、S2‧‧‧表面
為了較佳理解此處揭露的申請標的並例示其實際上如何實施,僅以非限定例示為目的,現在將參照隨附圖式描述實施例,其中:
圖1A及1B為方塊圖和流程圖,示意描繪根據本發明一實施例的眼睛投影系統的構造以及用於操作該眼睛投影系統之根據本發明的控制單元的操作方法;
圖2顯示人類眼睛的示意圖;
圖3示意描繪根據本發明之技術所產生的影像配置;
圖4A到4G為根據本發明一些實施例的眼睛投影系統、及其各種模組的示意圖,其中該系統係配置有用於第一和第二影像部分投影的二個影像投影單元、以及用於組合第一和第二影像部分以形成組合影像投影的空間光多工器;
圖5A及5B為根據本發明二個實施例的眼睛投影系統的示意圖,其中該系統配置有用於一時間序列之第一和第二影像部分投影的單一影像投影單元、以及用於時間上組合該序列之第一和第二影像部分以形成組合影像投影的時間光多工器;
圖6描繪在根據本發明一些實施例的眼睛投影系統中所使用的一些影像顯像概念。
Claims (24)
- 一種用於視網膜影像的系統,包含: 一影像投影模組,配置用於投影至少第一和第二影像部分,該第一和第二影像部分係與待分別投影至一眼睛的視網膜的中央窩和周邊區域上的一影像的第一和第二片段分別對應;及 一光多工模組,光學耦接至該影像投影模組,且建構並可操作以組合該至少第一和第二影像部分的投影而產生一組合投影,該組合投影係加以輸出以沿著引導朝向該眼睛的視網膜的一條一般共同的光徑傳播;且 其中該光多工模組係建構並可操作以在空間及時間多工處理其中至少一者中組合該第一和第二影像部分的投影,俾使該組合投影的橫向範圍類似於在該組合投影中該第二影像部分的橫向範圍,且在該組合投影中該第一影像部分的橫向範圍係小於該組合投影的橫向範圍且在該組合投影的橫向範圍之內; 藉此使得,在引導該組合投影朝向該眼睛視網膜時,該第一影像部分的投影覆蓋該視網膜的中央窩區域,且該第二影像部分的投影至少覆蓋該視網膜的周邊區域。
- 如申請專利範圍第1項之用於視網膜影像的系統,其中該第一和第二影像部分在該組合投影中分別具有較高和較低的空間像素密度,藉此最佳化該組合投影以分別對應該視網膜的中央窩和周邊區域的分別較高和較低的空間解析度。
- 如申請專利範圍第1項或第2項之用於視網膜影像的系統,其中該第一和第二影像部分在該組合投影中分別以較低和較高的圖框速率加以投影,藉此最佳化該組合投影以分別對應該視網膜的中央窩和周邊區域的分別較低和較高的時間解析度。
- 如申請專利範圍第1項或第2項之用於視網膜影像的系統,其中該影像投影模組包含至少第一和第二影像投影單元,建構及可操作用於該至少第一和第二影像部分的空間上分開投影,且其中該光多工模組係建構及可操作以空間上組合該至少第一和第二影像部分,使得由該第一影像投影單元所投影的該第一影像部分位在該組合投影的中心區域處,且由該第二影像投影單元所投影的該第二影像部分在包圍該組合投影的該中心區域的一環形區域上橫向延伸。
- 如申請專利範圍第4項之用於視網膜影像的系統,其中該第二影像投影單元建構成,以與由該第一影像投影單元所投影的該第一影像部分的角度範圍相比較大的角度範圍,投影該第二影像部分。
- 如申請專利範圍第5項之用於視網膜影像的系統,其中該光多工模組包含一光束組合器,建構及可操作以接收分別具有較小和較大角度範圍的該第一和第二影像部分的投影並將其組合而輸出該組合投影。
- 如申請專利範圍第6項之用於視網膜影像的系統,其中該光束組合器包含:一單向反射式楔形偏轉器,具有以一傾斜角彼此傾斜的前表面和後表面,該傾斜角係加以選擇而使得來自該第一和第二影像投影單元其中一者的投影光係從該楔形偏轉器的該等表面其中一者受到反射而沿著該光徑傳播,並且該投影光從該楔形偏轉器的該等表面的另一者受到反射而朝向離開該光徑的方向,藉此抑制幽靈反射沿著該光徑傳播。
- 如申請專利範圍第6項之用於視網膜影像的系統,其中該光多工模組包含:一光學中繼器,相對於從該影像投影模組的光傳播方向配置在該光束組合器的下游;其中該光學中繼器係建構及可操作用於將該組合投影朝該系統的一光學輸出加以中繼。
- 如申請專利範圍第8項之用於視網膜影像的系統,其中該第一和第二影像部分係在該光學中繼器上游及之外加以組合,藉此使該光學中繼器為具有縮減像差的非遠心中繼器。
- 如申請專利範圍第8項之用於視網膜影像的系統,其中該光學中繼器為折射式及/或繞射式中繼器,包含沿著一光徑配置的至少第一和第二透鏡組,在它們之間的光程匹配它們的焦距的和;該第一和第二透鏡組每一者包含至少一折射式及/或繞射式透鏡。
- 如申請專利範圍第8項之用於視網膜影像的系統,其中該光學中繼器為一反射式中繼器,包含沿著該中繼器的一光徑配置的具有各別光學倍率的至少第一和第二反射表面,使得它們之間的光程係與它們的焦距的和匹配;該反射式光學中繼器係關聯於在該組合投影中的縮減的色像差。
- 如申請專利範圍第11項之用於視網膜影像的系統,其中該反射式中繼器為一折疊型反射式光學中繼器,其特徵在於該第一和第二反射表面之間的物理距離小於沿著該中繼器的光徑的介於該第一與第二反射表面之間的光程;藉此提供一緊湊的光學中繼器構造。
- 如申請專利範圍第12項之用於視網膜影像的系統,其中該反射式中繼器包含一組之一或多個偏轉器,配置以界定介於該第一與第二反射表面之間在該中繼器之內的光徑。
- 如申請專利範圍第13項之用於視網膜影像的系統,其中該第一和第二反射表面係沿著一共同平面配置,且其中該組偏轉器包含:第一和第二分束器,該第一和第二分束器係沿著該中繼器的光徑分別設置在該第一反射表面的上游和該第二反射表面的下游,以分別定義該中繼器的輸入和輸出光學埠;及一或多個偏轉器,配置以定義具有介於該第一與第二反射表面之間的光程的光徑。
- 如申請專利範圍第1項或第2項之用於視網膜影像的系統,其中該影像投影模組包含單一影像投影單元,建構及可操作於用以投影一序列之圖框的一特定總圖框速率,該序列之圖框包含:以該總圖框速率的一第一分率投影的該第一影像部分,及以該總圖框速率的一第二分率投影的該第二影像部分;且 其中,該光多工模組包含:可調式放大光學中繼模組,建構有可調整的放大比率,相對於從該單一影像投影單元的光傳播方向而設置在該單一影像投影單元的下游;該可調式放大光學中繼模組可操作成與藉由該單一影像投影單元的該第一和第二影像部分的投影的時序呈時間同步,以影響對於該第一和第二影像部分的各別投影之不同的第一和第二放大比率; 藉此從該可調式放大光學中繼模組輸出該第一和第二影像部分的一時間多工組合投影,其中該第二影像部分具有大於該第一影像部分的角度範圍。
- 如申請專利範圍第15項之用於視網膜影像的系統,其中該可調式放大光學中繼模組包含:至少第一和第二群組的透鏡,沿著該光徑配置,其中該第一和第二群組的透鏡其中至少一群組為一可調式群組,具有在至少二個狀態之間可調整的焦距和有效主光學平面的位置;且其中該第一和第二群組係配置成使得在該二個狀態在它們的有效主光學平面之間的光程係等於它們的焦距的和,使得該可調式放大光學中繼模組在該二個狀態提供不同的放大比率。
- 如申請專利範圍第16項之用於視網膜影像的系統,其中該可調式群組包含至少第一和第二可調式透鏡組,配置成使得它們各別的有效主光學平面位於沿著該光徑的不同位置,且具有在各透鏡組的數個操作模式之間可切換的各別有效焦距。
- 如申請專利範圍第17項之用於視網膜影像的系統,其中該可調式透鏡組的該數個操作模式包含: (i) 各可調式透鏡組的透鏡關閉(LENS-OFF)操作模式,提供該可調式透鏡組的無限遠焦距;及 (ii) 該可調式透鏡組的透鏡開啟(LENS-ON)操作模式,使該可調式透鏡組具有一特定的有限焦距。
- 如申請專利範圍第18項之用於視網膜影像的系統,其中該第一和第二群組的透鏡包含該可調式群組、及具有固定焦距和固定之主光學平面位置的一非可調式群組;且 其中該二個狀態包含一第一和一第二放大率狀態,其中該第一和第二可調式透鏡組分別設定至不同組合的該透鏡開啟與透鏡關閉操作模式,使得在該第一和該第二放大率狀態中,該可調式群組沿該光徑具有不同的有效焦距及不同的有效主光學平面的位置。
- 如申請專利範圍第19項之用於視網膜影像的系統,其中在該二個狀態中該可調式群組的有效主光學平面的該等不同位置之間的光程係與在該二個狀態中該可調式群組的該等有效焦距之間的差相匹配。
- 如申請專利範圍第19項之用於視網膜影像的系統,其中 在該第一放大率狀態中,該第一和第二可調式透鏡組分別設定至透鏡開啟操作模式和透鏡關閉操作模式,以提供該可調式放大光學中繼模組的該第一放大比率,且 在該第二放大率狀態中,該第一和第二可調式透鏡組分別設定至透鏡關閉操作模式和透鏡開啟操作模式,以提供該可調式放大光學中繼模組的該第二放大比率。
- 如申請專利範圍第17項之用於視網膜影像的系統,其中該第一和第二可調式透鏡組每一者包含至少一可調整液晶繞射透鏡。
- 如申請專利範圍第22項之用於視網膜影像的系統,其中該單一影像投影單元利用在至少三個單色原色的光投影該序列的圖框;且其中該可調整液晶繞射透鏡係建構及可操作以相對於該至少三個單色原色具有相同的光學倍率,藉此抑制色像差。
- 如申請專利範圍第15項之用於視網膜影像的系統,更包含一投影控制器,建構及可操作用於接收表示待分別投影於該視網膜的中央窩及周邊區域上的該第一和第二影像部分的資料,且其中該控制器係建構及可操作以: (i) 操作該單一影像投影單元而以至少25 FPS的該第一分率來投影該第一影像部分,以超過中央窩的感知速率;及操作該可調式放大光學中繼模組以與該第一影像部分的投影同步,以影響對於該第一影像部分的投影的該第一放大比率,其中該第一放大比率係用以在該視網膜的該中央窩區域上投影該第一影像部分;及 (ii) 操作該單一影像投影單元而以至少60 FPS的該第二分率來投影該第二影像部分,以超過該視網膜的該周邊區域的感知速率;及操作該可調式放大光學中繼模組以與該第二影像部分的投影同步,以影響對於該第二影像部分的投影的該第二放大比率,其中該第二放大比率大於該第一放大比率且係用以投影該第二影像部分以覆蓋該視網膜的該周邊區域。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
??PCT/IL2017/050601 | 2017-05-29 | ||
PCT/IL2017/050601 WO2018220608A1 (en) | 2017-05-29 | 2017-05-29 | Image projection system |
Publications (1)
Publication Number | Publication Date |
---|---|
TW201908811A true TW201908811A (zh) | 2019-03-01 |
Family
ID=64454522
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW107117858A TW201908811A (zh) | 2017-05-29 | 2018-05-25 | 影像投影系統 |
Country Status (10)
Country | Link |
---|---|
US (1) | US11131861B2 (zh) |
EP (1) | EP3631558A4 (zh) |
JP (1) | JP6909874B2 (zh) |
KR (1) | KR20200018494A (zh) |
CN (1) | CN110914737A (zh) |
AU (1) | AU2017416573A1 (zh) |
CA (1) | CA3062740A1 (zh) |
IL (1) | IL270744A (zh) |
TW (1) | TW201908811A (zh) |
WO (1) | WO2018220608A1 (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI777430B (zh) * | 2021-03-02 | 2022-09-11 | 瑞士商見真實股份有限公司 | 具有注視點投影之光場虛擬及混合實境系統 |
TWI788821B (zh) * | 2020-04-14 | 2023-01-01 | 瑞士商見真實股份有限公司 | 具有注視點投影與擴展眼箱區域之近眼影像投影系統 |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102506445B1 (ko) * | 2017-10-18 | 2023-03-07 | 삼성전자주식회사 | 빔 편향기 및 이를 포함하는 3차원 디스플레이 장치 |
WO2019082510A1 (ja) | 2017-10-23 | 2019-05-02 | ソニー株式会社 | 表示制御装置、ヘッドマウントディスプレイ、表示制御方法およびコンピュータプログラム |
US11250819B2 (en) * | 2018-05-24 | 2022-02-15 | Lockheed Martin Corporation | Foveated imaging system |
KR102582407B1 (ko) * | 2019-07-28 | 2023-09-26 | 구글 엘엘씨 | 포비에이티드 메시들로 몰입형 비디오 콘텐츠를 렌더링하기 위한 방법들, 시스템들, 및 매체들 |
ES2809648A1 (es) * | 2019-09-04 | 2021-03-04 | Alias Antonio Jose Casado | Sistema y procedimiento de optimizacion del renderizado de imagenes a partir del seguimiento de las pupilas |
WO2022064564A1 (ja) * | 2020-09-23 | 2022-03-31 | マクセル株式会社 | ヘッドマウントディスプレイ |
US11543883B2 (en) * | 2020-12-17 | 2023-01-03 | Zinn Labs, Inc. | Event camera system for pupil detection and eye tracking |
WO2022180605A1 (en) * | 2021-02-25 | 2022-09-01 | Ying Group | Enhanced depth solutions |
US11495194B1 (en) * | 2021-08-10 | 2022-11-08 | Varjo Technologies Oy | Display apparatuses and methods incorporating pattern conversion |
CN113660431A (zh) * | 2021-09-10 | 2021-11-16 | 湖北亿咖通科技有限公司 | 一种车机显示设备的多屏显示方法、车机显示设备和车辆 |
JP2023104319A (ja) * | 2022-01-17 | 2023-07-28 | 株式会社ソニー・インタラクティブエンタテインメント | 画像表示装置および画像表示方法 |
Family Cites Families (39)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5422653A (en) | 1993-01-07 | 1995-06-06 | Maguire, Jr.; Francis J. | Passive virtual reality |
JPH0777665A (ja) | 1993-03-29 | 1995-03-20 | Canon Inc | 画像表示装置及びその為の画像撮影装置 |
JP3332535B2 (ja) | 1993-12-14 | 2002-10-07 | キヤノン株式会社 | 眼科測定装置 |
EP0687932B1 (en) * | 1994-06-13 | 2005-05-25 | Canon Kabushiki Kaisha | Display device |
JPH10509393A (ja) | 1995-05-04 | 1998-09-14 | デルファクス システムズ | 電荷像形成方法および電荷付着印刷ヘッド |
JP2000506998A (ja) | 1996-03-15 | 2000-06-06 | レティナル ディスプレイ ケイマン リミティッド | 画像を見るための方法及び装置 |
JPH09304728A (ja) * | 1996-05-15 | 1997-11-28 | Sony Corp | 光学視覚装置 |
JPH1184306A (ja) | 1997-09-01 | 1999-03-26 | Minolta Co Ltd | 映像観察装置 |
EP1405122B1 (de) | 2000-10-07 | 2007-07-18 | David Dickerson | Vorrichtung zur bestimmung der orientierung eines auges |
WO2002065443A1 (en) * | 2001-02-15 | 2002-08-22 | Tveye Inc. | Method and apparatus for low bandwidth transmission of data utilizing of the human eye anatomy |
CN100447614C (zh) | 2002-09-24 | 2008-12-31 | 西健尔 | 图像显示装置 |
WO2005057248A2 (en) | 2003-12-04 | 2005-06-23 | New York University | Eye tracked foveal display by controlled illumination |
FR2866123B1 (fr) | 2004-02-10 | 2007-10-12 | Zile Liu | Procede et dispositif pour la creation d'images retiniennes utilisant le stigmatisme des deux foyers d'un dioptre sensiblement elliptique |
JP4222285B2 (ja) | 2004-10-06 | 2009-02-12 | セイコーエプソン株式会社 | プロジェクタ |
US7350919B2 (en) * | 2004-12-03 | 2008-04-01 | Searete Llc | Vision modification with reflected image |
RU2322771C2 (ru) * | 2005-04-25 | 2008-04-20 | Святослав Иванович АРСЕНИЧ | Стереопроекционная система |
US7542210B2 (en) | 2006-06-29 | 2009-06-02 | Chirieleison Sr Anthony | Eye tracking head mounted display |
WO2009094587A1 (en) | 2008-01-23 | 2009-07-30 | Deering Michael F | Eye mounted displays |
US9812096B2 (en) * | 2008-01-23 | 2017-11-07 | Spy Eye, Llc | Eye mounted displays and systems using eye mounted displays |
US20100149073A1 (en) * | 2008-11-02 | 2010-06-17 | David Chaum | Near to Eye Display System and Appliance |
US8922898B2 (en) | 2008-09-04 | 2014-12-30 | Innovega Inc. | Molded lens with nanofilaments and related methods |
JP5056831B2 (ja) * | 2009-11-05 | 2012-10-24 | 株式会社デンソー | ヘッドアップディスプレイ装置 |
US9529191B2 (en) | 2010-11-03 | 2016-12-27 | Trex Enterprises Corporation | Dynamic foveal vision display |
US8837050B2 (en) | 2011-04-05 | 2014-09-16 | Microvision, Inc. | Optical wedge redirection apparatus and optical devices using same |
JP5197883B1 (ja) | 2011-08-31 | 2013-05-15 | パイオニア株式会社 | 画像表示装置 |
WO2014013702A1 (ja) | 2012-07-20 | 2014-01-23 | 株式会社Jvcケンウッド | 画像表示装置 |
CN104812342B (zh) | 2012-08-24 | 2018-05-11 | Ic英赛德有限公司 | 视觉帮助投影仪 |
JP6229260B2 (ja) | 2012-11-20 | 2017-11-15 | セイコーエプソン株式会社 | 虚像表示装置 |
JP6209456B2 (ja) | 2013-05-31 | 2017-10-04 | 株式会社Qdレーザ | 画像投影装置及び投射装置 |
US9874749B2 (en) | 2013-11-27 | 2018-01-23 | Magic Leap, Inc. | Virtual and augmented reality systems and methods |
JP6415608B2 (ja) | 2014-03-03 | 2018-10-31 | アイウェイ ビジョン エルティーディー. | 目用投影システム |
TWI503577B (zh) | 2014-03-20 | 2015-10-11 | Syndiant Inc | 頭戴式擴增實境顯示系統 |
US20160143527A1 (en) | 2014-11-20 | 2016-05-26 | Gn Otometrics A/S | Head mountable device for measuring eye movement having visible projection means |
EP3256900A4 (en) | 2015-02-12 | 2018-10-31 | Google LLC | Combining a high resolution narrow field display and a mid resolution wide field display |
EP3259634A4 (en) | 2015-02-17 | 2018-10-17 | Thalmic Labs Inc. | Systems, devices, and methods for eyebox expansion in wearable heads-up displays |
US20160274365A1 (en) * | 2015-03-17 | 2016-09-22 | Thalmic Labs Inc. | Systems, devices, and methods for wearable heads-up displays with heterogeneous display quality |
IL241033B (en) | 2015-09-02 | 2021-12-01 | Eyeway Vision Ltd | Projector system and method for ocular projection |
IL242895B (en) * | 2015-12-03 | 2021-04-29 | Eyeway Vision Ltd | Image projection system |
US10499021B2 (en) * | 2017-04-11 | 2019-12-03 | Microsoft Technology Licensing, Llc | Foveated MEMS scanning display |
-
2017
- 2017-05-29 AU AU2017416573A patent/AU2017416573A1/en not_active Abandoned
- 2017-05-29 KR KR1020197038232A patent/KR20200018494A/ko not_active Application Discontinuation
- 2017-05-29 US US16/615,716 patent/US11131861B2/en active Active
- 2017-05-29 JP JP2019565261A patent/JP6909874B2/ja active Active
- 2017-05-29 WO PCT/IL2017/050601 patent/WO2018220608A1/en unknown
- 2017-05-29 CA CA3062740A patent/CA3062740A1/en not_active Abandoned
- 2017-05-29 EP EP17911689.2A patent/EP3631558A4/en not_active Withdrawn
- 2017-05-29 CN CN201780091198.0A patent/CN110914737A/zh active Pending
-
2018
- 2018-05-25 TW TW107117858A patent/TW201908811A/zh unknown
-
2019
- 2019-11-18 IL IL270744A patent/IL270744A/en unknown
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI788821B (zh) * | 2020-04-14 | 2023-01-01 | 瑞士商見真實股份有限公司 | 具有注視點投影與擴展眼箱區域之近眼影像投影系統 |
TWI777430B (zh) * | 2021-03-02 | 2022-09-11 | 瑞士商見真實股份有限公司 | 具有注視點投影之光場虛擬及混合實境系統 |
Also Published As
Publication number | Publication date |
---|---|
EP3631558A1 (en) | 2020-04-08 |
US11131861B2 (en) | 2021-09-28 |
CA3062740A1 (en) | 2018-12-06 |
AU2017416573A1 (en) | 2020-01-23 |
WO2018220608A1 (en) | 2018-12-06 |
KR20200018494A (ko) | 2020-02-19 |
EP3631558A4 (en) | 2020-12-30 |
CN110914737A (zh) | 2020-03-24 |
US20200174263A1 (en) | 2020-06-04 |
IL270744A (en) | 2020-01-30 |
JP6909874B2 (ja) | 2021-07-28 |
JP2020528564A (ja) | 2020-09-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI708985B (zh) | 影像投影系統 | |
TW201908811A (zh) | 影像投影系統 | |
KR102139268B1 (ko) | 눈 투영 시스템 | |
US6779892B2 (en) | Monocentric autostereoscopic optical display having an expanded color gamut | |
CN109633905B (zh) | 多焦平面显示***以及设备 | |
US11054639B2 (en) | Eye projection system | |
CN103890638A (zh) | 用于图像投影的失真补偿 | |
JP2019049724A (ja) | 目用投影システム |