TW201907203A - 具有聚焦管理之眼睛投影系統與方法 - Google Patents

具有聚焦管理之眼睛投影系統與方法 Download PDF

Info

Publication number
TW201907203A
TW201907203A TW107118162A TW107118162A TW201907203A TW 201907203 A TW201907203 A TW 201907203A TW 107118162 A TW107118162 A TW 107118162A TW 107118162 A TW107118162 A TW 107118162A TW 201907203 A TW201907203 A TW 201907203A
Authority
TW
Taiwan
Prior art keywords
eye
image
projection system
data
focus
Prior art date
Application number
TW107118162A
Other languages
English (en)
Inventor
波瑞斯 格林伯格
Original Assignee
以色列商愛威願景有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 以色列商愛威願景有限公司 filed Critical 以色列商愛威願景有限公司
Publication of TW201907203A publication Critical patent/TW201907203A/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/317—Convergence or focusing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B17/00—Systems with reflecting surfaces, with or without refracting elements
    • G02B17/08—Catadioptric systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/28—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising
    • G02B27/283—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising used for beam splitting or combining
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/30—Polarising elements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02—Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/021—Mountings, adjusting means, or light-tight connections, for optical elements for lenses for more than one lens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/315—Modulator illumination systems
    • H04N9/3155—Modulator illumination systems for controlling the light source
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0123—Head-up displays characterised by optical features comprising devices increasing the field of view
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0127—Head-up displays characterised by optical features comprising devices increasing the depth of field
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B2207/00—Coding scheme for general features or characteristics of optical elements and systems of subclass G02B, but not including elements and systems which would be classified in G02B6/00 and subgroups
    • G02B2207/117—Adjustment of the optical path length

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

揭露具有聚焦管理的眼投影系統及方法。眼投影系統包含：一影像投影系統，可操作用以產生一光束，此光束係經調制以編碼代表欲沿著一光束傳播路徑朝向一標的之眼睛投影之一影像的一影像數據；一光學組件，係位於該光束傳播路徑中且可操作用以引導該光束在該影像投影系統與該標的之眼睛的一視網膜之間，該光學組件包含一光束分散組件，該光束分散組件可操作用以以可受到控制的方式變化該光學組件的複數聚焦特性及調整該光束之分散，藉此影響該標的之眼睛之該視網膜上之該影像之一或多個部分的一或多個聚焦參數。該方法包含：接收代表一影像的一影像數據輸入；接收代表一瞬間眼睛焦長的一眼焦點數據；產生一聚焦與光束分散數據；基於該數據產生一光束；及以期望的時間或空間順序將該光束朝向該標的之眼睛投影。

Description

具有聚焦管理之眼睛投影系統與方法
本發明係關於影像投影系統，更具體而言，本發明係關於提供虛擬及/或擴增實境經驗予使用者用的技術。
提供虛擬及/或擴增虛擬實境予使用者眼睛的穿戴式如頭戴式影像投影系統變得愈來愈熱門。各種系統被配置為可配戴於使用者頭部上的眼鏡並可操作將影像投影至使用者的眼睛。
某些已知的系統致力於將純虛擬實境影像投影至使用者眼睛，其中來自外在實境景象的光會受到阻擋而無法到達眼睛；某些其他的已知系統致力於擴增虛擬實境投影，其允許來自外在實境景象的光通過眼睛但影像投影系統投影至眼睛的影像/視頻框會疊加於外在實境景象上。
景深與景寬為此類虛擬或擴增實境投影系統中應考慮的兩個參數。
例如，WO06078177揭露以廣視野將影像顯示於眼睛之視網膜上的直接視網膜顯示。直接視網膜顯示包含設置用以產生掃描光束的掃描源，掃描光束在掃描角度的範圍內為二維的且受到影像的調制。直接視網膜顯示更包含在掃描光束之路徑中的發散反射器，其係設置用以使入射於發散反射器上的掃描光束以放大掃描角度往外朝向收斂反射器反射，收斂反射器係設置用以使掃描光束實質上朝向眼睛之瞳孔處的一收斂點處反射以在視網膜以廣視野重建與顯示影像。
WO15081313揭露將虛擬實境與擴增實境經驗呈現予使用者的系統。該系統可包含以時序方式提供影像數據的一或多個框的影像產生源、用以傳輸與影像數據之一或多個框相關的光的光調制器、用以將影像資訊引導至使用者眼睛的基板，其中基板容納了複數反射器，複數反射器中的第一反射器係用以使與影像數據之第一框相關的傳輸光以第一角度反射至使用者眼睛、而複數反射器中的第二反射器係用以使與影像數據之第二框相關的傳輸光以第二角度反射至使用者眼睛。
WO15184412揭露將虛擬實境與擴增實境經驗呈現予使用者的系統。該系統包含空間光調制器與可變焦點元件，空間光調制器係操作地耦合至用以投影與影像數據之一或多個框相關的光的影像源，可變焦點元件係用以變化投影光的焦點俾使影像數據的第一框聚焦於第一深度平面處而影像數據的第二框聚焦於第二深度平面處，其中第一深度平面與第二深度平面之間的距離是固定的。
虛擬及擴增實境應用應提供令人信服的現實以及便利經驗予使用者，這種經驗儘可能地接近三維真實人生經驗。當思及現實人生中的世界時，取決於人的注視方向/焦點及與瞬間焦點平面之間的距離，人會見到聚焦的物體或失焦的物體。我們直接注視的每一物體是聚焦的，因為我們調節我們的目光去聚焦於注視中心的物體上；我們未直接注視且係位於不同聚焦平面中之環境中的每一物體(被稱為以世界為中心的物體)是失焦且模糊的，因為來自此類光體的光並非聚焦於我們眼睛的視網膜上，眼睛會調節以聚焦於來自於我們關注之物體的光。
不若下面將說明的本發明的技術，某些虛擬及/或擴增實境系統使用「延長焦深」原理，在此原理中不管所有的物體與使用者之間的距離以及使用者的眼睛調節，使用者見到的所有物體都是聚焦的。此效應係藉由將光學系統的出射瞳減少至一位準以使焦深涵蓋大的調節屈光度範圍而達成。
在某些潛在的虛擬或擴增實境應用中，虛擬物體/影像應被投影至相對於三維周遭環境的固定位置處，不論此三維周遭環境是虛擬或真實環境。當使用者直接朝虛擬物體看時虛擬影像的物體應是聚焦的，當使用者看向周遭環境中的不同位置處時虛擬影像的物體應是模糊/失焦的。例如，在建築計劃中，擴增實境可用以將工人引導至不同樓房元件的真實世界位置，俾不論工人的注視焦點，樓房元件都能疊加至工人所見之真實世界環境內的一有限位置處。
在某些其他的潛在虛擬或擴增實境應用中，虛擬物體/影像應隨著使用者之注視焦點/方向移動，即其係相對於周遭環境投影至不同位置處以對應使用者的注視焦點/方向。在此情況中，虛擬影像的物體應總是聚焦的。例如，在某些擴增實境遊戲中，使用者在周遭真實世界環境中移動時追著與周遭真實世界環境疊加的特定虛擬人物。
傳統之提供虛擬或擴增實境予使用者用的影像投影系統係通常基於下列方式朝向使用者眼睛投影影像：在中間影像平面上形成聚焦影像俾使使用者所感知的影像係位於使用者眼睛前方的固定距離(通常是數米)處。因此此類影像投影系統的焦深是大的且難以量測及精準地調整焦長(至中間平面的距離)。然而，具有良好調節功能的眼睛會給予使用者訊號因此使用者對影像投影系統之焦長的不精準仍維持敏感，且由於眼睛所注視的各別焦點平面間可能存在差異因此當以兩眼觀看者影像時尤其有問題。在此類影像投影系統中，必須將中間影像平面光學中繼至使用者眼睛，且由於中間影像平面通常位於眼睛前方的一特定有限距離處因此只有在眼睛聚焦至該特定有限距離時中間影像平面才會被聚焦至眼視網膜上。將所感知的影像投影至距離使用者眼睛特定有限距離處會建立眼睛疲勞，且在許多情況中頭痛係於下列事實相關：雖然在投影影像中的物體可在距離眼睛之各種距離處被感知到，但眼睛所捕捉到的影像卻是實際上被聚焦於和眼睛相距之固定距離處。已知為「聚散度-調節衝突」的此效應大致上會使腦中的視覺感知機構感到困惑/焦慮，導致眼睛疲勞與頭痛。又，眼睛相對於影像投影系統之相對位置與位向的變異會改變使用者眼睛所感知到之投影影像的位置並造成使用傳統虛擬或擴增實境眼鏡之人的明顯不適。
因此在此領域中需要基於特定的應用調整虛擬物體/影像的焦點及/或位置，俾使在使用者看向虛擬物體時不論虛擬物體是靜止或移動的，虛擬物體皆是聚焦的，且在使用者不直接看向虛擬物體(即使用者看向其視野中的不同方向及/或聚焦於其視野中的另一點)時虛擬物體是失焦的。
本發明提供能提供自然且真實之虛擬或擴增實境經驗的新穎系統及方法，其中如上所述虛擬物體係基於特定應用而動態地聚焦/失焦。因此，當使用者注視虛擬物體時虛擬物體係聚焦的，當使用者未注視虛擬物體時虛擬物體是失焦的。
本發明亦提供能基於特定應用而提供相對於真實/虛擬周遭聚焦與失焦之靜態或移動之虛擬物體的新穎系統及方法。
又，本發明提供能提供眼調節之實時追蹤的新穎系統及方法，眼調節之實時追蹤能致使對虛擬物體之聚焦/模糊的動態控制。此外或或者，所述之系統及方法假設使用者的調節與聚散度參數係自眼追蹤機構所獲得。
是以，根據本發明之一廣泛態樣，提供一種眼投影系統，其包含：
一影像投影系統，可操作用以產生一光束，此光束係經調制以編碼代表欲沿著一光束傳播路徑朝向一標的之眼睛投影之一影像的一影像數據；
一光學組件，係位於該光束傳播路徑中且可操作用以引導該光束在該影像投影系統與該標的之眼睛的一視網膜之間，該光學組件包含一光束分散組件，該光束分散組件可操作用以以可受到控制的方式變化該光學組件的複數聚焦特性及調整該光束之分散，藉此影響該標的之眼睛之該視網膜上之該影像之一或多個部分的一或多個聚焦參數。
在某些實施例中，該光束分散組件係藉著將該影像之該一或多個部分在該標的之眼睛之每一注視距離及/或方向中維持聚焦而影響該影像之該一或多個部分的該一或多個聚焦參數。
在某些實施例中，該光束分散組件係藉著將該影像之該一或多個部分投影至該標的之眼睛之一視野中的一固定空間位置處而影響該影像之該一或多個部分的該一或多個聚焦參數。
在某些實施例中，該眼投影系統更包含一眼焦點偵測模組，該眼焦點偵測模組可操作用以連續地判斷該標的之眼睛的一焦長並產生一眼焦點數據以控制該光束分散組件。該眼焦點偵測模組可包含：一光源配置，可操作用以以一準直光束照射該標的之眼睛；一光學感測器，可操作用以記錄來自該標的之該視網膜的一反射光束並產生一反射數據；及一相機，可操作用以捕捉該標的之眼睛之一瞳孔的複數影像並產生一瞳孔數據，藉此能使用該反射數據與該瞳孔數據決定該標的之眼睛的該焦長並產生一眼焦點數據。複數調節參數可以各種其他方式獲得如自動折射儀、注視向量收斂點、視網膜反射參數變化偵測等。
在某些實施例中，該光束分散組件包含具有一以可受控制方式改變之聚焦特性的一光學元件。
在某些實施例中，該光學組件包含一中繼透鏡配置。
在某些實施例中，該光學組件包含至少一輸入光學元件與一輸出光學元件，該光束分散組件可操作用以修改該輸入與輸出光學元件之間沿著該光束傳播路徑的一光束有效距離。
在某些實施例中，該光束分散組件包含複數光束偏轉器的一陣列，該複數光束偏轉器可操作用以引導該光束於該輸入與輸出光學元件之間，該光束分散組件可操作用以移動該陣列之至少一光束偏轉器。
在某些實施例中，該光束分散組件的至少一部分係沿著該光束傳播路徑位於該光學組件的另一光學元件前方。
在某些實施例中，該光束分散組件的該至少一部分包含彼此可相對位移的至少兩個光學聚焦元件。
在某些實施例中，該光束分散組件的該至少一部分包含具有一以可受控制方式改變之聚焦特性的一光學聚焦元件。
在某些實施例中，該光學聚焦元件包含具有壓電材料的一可形變之薄膜，該壓電材料可操作用以收斂或分散該光束。
在某些實施例中，該光束分散組件的該至少一部分包含沿著該光束傳播路徑依序設置的一分光器、一光極化元件、一聚焦元件、及一光束偏轉器，該聚焦元件與該光束偏轉器中的至少一者沿著該光束傳播路徑可相對於另一者位移。
在某些實施例中，該眼焦點偵測模組包含：一眼追蹤組件，可操作用以量測該標的之眼睛的一注視方向並產生一眼定位數據；一相機，可操作用以捕捉該標的之眼睛之一瞳孔的一尺寸並產生一瞳孔尺寸數據；及一控制器，可操作用以使用該眼定位數據與該瞳孔尺寸數據並產生該眼焦點數據。
根據本發明之另一廣泛態樣，提供一種標的之眼睛之視網膜上之影像之一或多個部分之一或多個聚焦參數的判斷方法，該方法包含：
接收代表欲投影至一標的之眼睛之一影像的一影像數據，該影像數據包含關於顏色、強度、距離、及該影像是否為注視中心或世界中心的資訊；
針對該影像數據的每一影像子數據接收代表一瞬間眼睛焦長的一眼焦點數據；
針對該影像數據的每一該影像子數據產生一聚焦與光束分散數據；
針對該影像數據的每一該影像子數據產生一光束，該光束基於該影像數據、該眼焦點數據及該聚焦與光束分散數據編碼每一該影像子數據；及
以期望的時間或空間順序將編碼該影像數據的該光束朝向該標的之眼睛投影。
參考圖1A – 1E之方塊圖，其概略例示依據本發明之五個非限制性例示性實施例之眼投影系統100。應注意，圖示僅為例示性且未依比例繪製。本發明之眼投影系統100特別被設計用於虛擬或擴增實境應用，但本發明之各態樣亦可被用於其他領域。眼投影系統100可操作用以控制源於(自其發射或反射)一標的之視野中之物體的光束的聚焦，且可例如是虛擬或擴增實境穿戴裝置的一實例部件。虛擬或擴增實境穿戴裝置可包含兩眼投影系統如眼投影系統100，每一眼投影系統可用以將影像投影至兩人眼中的一眼。為了簡化的目的，在圖中尤其僅顯示一眼投影系統100。又，應注意，為了清楚與簡單，以相同或相似的參考標號/符號來代表共同的元件及/或具有相同/相似之功能的元件。
大致上如所示，眼投影系統100包含影像投影系統110、光學組件120、光束分散組件130、及一或多個控制器140，影像投影系統110產生能在標的之眼睛之視網膜/中央窩上形成影像的光束LB，光束分散組件130係包含於光學組件120內並共同使光束傳輸至眼睛並控制影像的焦點，控制器140控制影像投影系統110及/或光學組件120尤其是光束分散組件130的操作以產生如所需聚焦於標的之眼睛EYE之視網膜/中央窩上的影像。
影像投影系統110可操作用以產生光束LB，光束LB係藉著下列方式而受到調制：編碼代表欲沿著光束傳播路徑LBPP朝向標的之眼睛EYE尤其朝向視網膜與中央窩之物體/影像的影像數據。應注意，一般而言，影像投影系統110產生利用影像數據依序編碼之經調制的光束LB。接著藉由光學組件120將經調制之光束LB投影至使用者的眼睛上。光束LB可被配置為具有預先設定之特性如顏色分佈(RGB)與強度的雷射光以真實地編碼代表欲投影之物體/影像之影像數據。一般而言，每一瞬間光束係被代表欲投影之物體/影像中之一像素的一影像子數據所調制。因此，例如為了投影1280×720像素的一影像，至少有921,600道經調制的光束LB係受到921,600個影像數據片段所編碼並被包含光學組件120的光學系統朝向眼睛投影。決定投影整個影像的框速率俾使其高於人眼的框速率。以影像投影系統110產生物體/影像的詳細說明係載於皆讓渡予本發明之受讓人的WO15132775與WO17037708中，將其包含於此作為參考。
如圖1A – 1E中所示，光學組件120係光學耦合至光束傳播路徑LBPP並位於光束傳播路徑LBPP中，光束傳播路徑LBPP係介於影像投影系統與標的之眼睛EYE之間。光學組件120可操作用以引導光束LB在影像投影系統110與標的之眼睛EYE之間傳輸尤其是傳輸至視網膜更尤其是傳輸至標的之眼睛EYE的中央窩。
光學組件120包含光束分散組件130，光束分散組件130可操作用以藉由調整光束LB之分散藉此影響標的之眼睛EYE上之影像之一或多個部分的一或多個聚焦參數，而以可受到控制之方式變化光學組件120的聚焦特性。
已知人眼經由眼調節而聚焦於一物體上，眼調節涉及調整眼睛的焦點/長度俾使來自聚焦物體的光係聚焦/收斂於眼睛之焦點上而在視網膜/中央窩上產生聚焦影像。換言之，受到觀察的物體僅只有在自其發射/反射的光在標的之眼睛的焦點處收斂時才會是聚焦的。
光束分散組件130藉著沿著光束傳播路徑LBPP移動而影響載帶影像至標的之眼睛之光束LB的分散/收斂，動態地造成影像或其部分聚焦或失焦。所以，為了使標的見到聚焦的影像/物體，光束分散組件130係用以藉著使光束LB收斂至眼睛之焦點處而將影像/物體的一或多個部分在標的之眼睛之每一注視距離及/或方向上皆維持為聚焦狀態。為了使標的如確切處於真實生活中，在未直接看向影像/物體時見到失焦的影像/物體，光束分散組件130係用以將影像/物體的一或多個部分投影在標的之眼睛之視野中的一固定空間位置處及/或使光束LB收斂在不同於標的之眼睛之焦點的一位置處。應注意，影像可包含RGB成分且每一顏色(R、G、B)的收斂可同時或分別控制。
一或多個控制器140可操作用以對影像投影系統110及/或光束分散組件130產生控制訊號以如上所述產生並引導能編碼每一影像子數據的每一光束LB俾以所需的焦點及景深將影像投影至視網膜/中央窩上。應注意，眼投影系統100可包含與眼投影系統100中所包含之所有元件/組件/子系統通訊的一中央控制器俾以控制眼投影系統100的所有操作。或者，每一元件/組件/子系統通訊或其組合可包含其自身的局部控制器以自眼投影系統100的其他部分接收輸入數據或將輸出數據發送至眼投影系統100的其他部分。因此，當說明書中提及控制器動作時，其可指中央控制器或局部控制器，甚至在圖中未特別顯示控制器時，假設每一元件/組件/子系統具有其自身的局部控制器或受到整個眼投影系統100的中央控制器所控制。下面將更進一步說明控制器(複數控制器)140的更多細節。
在下面的說明中，各種實施例係針對光學組件120與光束分散組件130說明。應注意，特定的實施例僅為例示用且意不在限制本發明。又應注意，為了簡單呈現會採取不同的簡化假設，如光束LB係以準直光束(來自影像投影系統110)輸入至光學組件120，但熟知此項技藝者當明白，光束LB亦可以收斂/發散光束形式輸入而不受任何限制。又應瞭解，針對離開光學組件120與眼投影系統100並朝向使用者眼睛之輸出光束的條件(複數條件)所示的圖示特定實例僅為說明性且為簡化的，本可實施輸出光束的任何其他可能條件而不受任何控制。又應瞭解，雖然並未必須或特別顯示，但本發明能產生具有任何所需特性如特定分散、收斂、頻率、振幅、寬度、強度、入射眼睛之角度、或其任何組合之朝向標的之眼睛的輸出光束，以產生所需之虛擬或擴增實境經驗如在所產生之虛擬影像/物體各處的三維聚焦輪廓。
回到圖1A，其顯示本發明之光學組件120的非限制性實例。影像投影系統110連續產生一系列光束LB，每一光束LB通常編碼代表影像中之一像素的一影像子數據。每一光束LB係受到未特別顯示之適當之導引機構的導引，因此光束沿著與光束欲產生之影像中之像素之位置相關的方向傳播，導引機構之細節係載於前面所述之共讓渡專利申請案中。光束LB通過光學組件120與被包含於光學組件120中的光束分散組件130而沿著傳播路徑LBPP傳輸，光學組件120與光束分散組件130皆負責載帶光束LB朝向眼睛並控制每一光束LB的聚焦參數。接著光束LB進入標的之眼睛EYE並基於焦點目標射到眼睛EYE後側處的視網膜/中央窩，俾以在其應為聚焦時(即當標的看向光束LB所產生之影像或部分影像時)收斂至標的之眼睛EYE的焦點處。或者，在其應為失焦時(即當標的未看向光束LB所產生之影像或部分影像時)不收斂至標的之眼睛EYE的焦點處。
如所述，光學組件120包含一或多個光學元件，一或多個光學元件可操作用以使代表欲投影至標的之眼睛之影像的光束LB在影像投影系統110之出口與標的之眼睛EYE之間傳輸。在所述之非限制性實例中，光學組件120包含形成中繼透鏡系統122的光學元件，中繼透鏡系統122包含兩個連續的會聚透鏡122A與124A。透鏡122A具有焦點F1而透鏡124A具有可變的焦點F2，可變的焦點F2具有如所示的兩個位置F2A與F2B。兩透鏡之配置俾使其光學透鏡軸係沿著光軸X且為全等的。應注意，光學組件120可包含其他光學元件如依所需包含更多透鏡。
光學組件120包含光束分散組件130，光束分散組件130包含第二透鏡124A /係由第二透鏡124A所形成。在此情況中作為輸出透鏡的第二透鏡124A具有可變的聚焦特性俾使其焦點F2可改變。如所示，焦點F2被顯示於兩個位置F2A與F2B處，位置F2A與F2B係分別對應至透鏡124A之兩個所示的組態124A1與124A2(虛線)。如所能瞭解的，具有可變/可修改之焦點/長度的透鏡可改變落在其上的光束的分散/收斂。因此光束分散組件130可以可受控制的方式調整光學組件120的聚焦特性(複數聚焦特性)俾使通過其中的光束以可受控制的方式分散/收斂。如上針對光束LB的組態所述，應注意，此類組態可以各種模式操作，不必要是以遠心方式操作。
如所示，光束LB以平行於光軸X的準直光束的形式自第一透鏡122A的側邊進入光學組件120，因此收斂至第一透鏡122A的焦點F1處。若第二透鏡係處於其組態124A1，其焦點係位於F2A處(與焦點F1一致)，光束LB將以平行於光軸X的準直光束的形式(以實線顯示)離開第二透鏡124A。這意味著光束LB1所產生的影像在無限遠處聚焦。換言之，若標的藉著看向很遠的物體將其目光聚焦於無限遠處則光束LB1所產生的影像會是聚焦的，但若標的將其目光聚焦於近距離處則光束LB1所產生的影像會是失焦的。在人的現實中，可將距離標的約5公尺或更遠處的物體認為是位於「無限遠」處，即自約6公尺及更遠距離之後標的之眼睛的焦點不會改變。當人眼聚焦於無限遠處時，眼睛的焦點係位在眼睛之最大焦長處的視網膜上，如眼焦點FE1所示。在所示的第二情況中，第二透鏡的焦點係位於點F2B處，光束LB將以收斂光束LB2(如虛線所示)的形式離開第二透鏡124A，收斂光束LB2最終收斂於焦點F2B後的某點處如標的之眼睛EYE之焦點FE2處。這意味著光束LB2所產生的影像會在標的聚焦目光的位置處聚焦。因此，本實例的光束分散組件130包含具有以可受控制方式改變之聚焦特性的光學元件，藉此影響影像之一或多個部分的聚焦參數。以此方式，藉著在標的之目光位置處(標的聚焦其目光、注視中心處)產生聚焦影像並在目光位置外的位置處(世界中心處)產生失焦影像，可產生真實的虛擬或擴增實境景象。如自上文所能瞭解的，由於每一受到控制的光束僅代表整個投影影像的一部分如影像中的一個像素，因此本發明之眼投影系統能產生包含相同投影影像內之聚焦與失焦、模糊的物體的影像(即同時產生)，因此達到具有受到控制之景深的三維感知。
圖1B顯示本發明之光學組件120之第二非限制性實例。在此實例中，光學組件120包含沿著光學組件120的輸入與輸出光學元件，輸入與輸出光學元件尤其被配置為具有串聯排列之兩匯聚雙凸透鏡122B1與122B2的中繼透鏡系統122B，透鏡122B1與122B2分別具有焦點F1B與F2B。再次應瞭解，此配置僅為了簡化圖示所選定，其並不限制本發明，光學組件120可基於眼投影系統的特定結構、目的與功能而以各種組態配置。光學組件120包含光束分散組件130，光束分散組件130係用以藉著控制光束LB的收斂/分散而調整光學組件120的聚焦特性。例示性的光束分散組件130包含用以藉著提供有效光束距離而改變傳播於其中之光束LB之分散的光束有效距離修改件，有效光束距離係藉由修改光束LB沿著光束傳播路徑通過輸入與輸出光學元件之間的距離而達到。在此非限制性實例中光束有效距離修改件係以兩個光束反射器132B與134B如兩鏡實施，兩個光束反射器132B與134B係位於光束傳播路徑LBPP中並可操作用以在光束傳播路徑LBPP中以可受控制四方式移動/位移藉此改變輸入與輸出透鏡122B1 與122B2之間的有效距離。應注意，為了簡化圖示但不限制或拘束本發明，除了在緊接於輸出透鏡後的部分外，假設光束LB在光束傳播路徑的數個部分處皆為準直的。如所示，光束LB先遇到第一輸入透鏡122B1並在下游收斂直到其撞到光束有效距離修改件上為止。在第一例示性的路徑(以實線顯示)中，當光束有效距離修改件係位於第一位置處，光束LB1B係自位於132B1處的第一反射器/鏡反射，向下傳播直到其撞到位於134B1處的第二反射器上為止被向左反射朝向第二輸出透鏡122B2，在第二輸出透鏡122B2處收斂然後朝向標的之眼睛EYE離開。第二例示性光束LB2B依循類似的路徑，除了其通過輸入與輸出透鏡之間的較短距離外(以虛線例示)。光束LB2B自位於 132B2處的第一反射器反射，接著自較接近輸入與輸出透鏡之位於134B2處的第二反射器反射。因此，當光束LB2B與光束LB1B離開並落在標的之眼睛EYE上時，光束LB2B比光束LB1B更不收斂且更分散。
圖1C顯示本發明之光學組件120的第三非限制性實例。在此實例中，光學組件120包含具有串聯設置之兩個匯聚雙凸透鏡122C1與122C2的中繼透鏡系統122C，兩透鏡的設置俾使其焦點F1C與F2C相交(透鏡係由其焦長的總和所分隔)。應瞭解，此配置僅為了簡化圖示所選定，其並不限制本發明，光學組件120可基於眼投影系統的特定結構而以各種組態配置。光束分散組件130包含位於光學組件120之入口處及影像投影系統110之出口下游的複數光學元件的陣列。光束分散組件130之複數光學元件的陣列包含用以相對於光束分散組件130之複數光學元件中之剩餘者位移的一或多個光學元件。此位移能控制光束LB 的總分散/收斂並影響複數光束所產生之影像之一或多個部分的聚焦參數。具體而言，在所述的實例中，光束分散組件130包含以串聯配置的兩個透鏡132C與134C，其中透鏡132C可相對於靜態的透鏡134C移動/位移。作為一非限制性實例，將透鏡132C選定為雙凹發散透鏡並將透鏡134C選定為雙凸會聚透鏡。因此，觀察132C1處之透鏡132C 的第一位置，以平行光軸X之準直光束開始的光束LB沿著傳播路徑LBPP傳播(如實線所示的LB1C)。光束LB被位於132C1處的透鏡132C分散，接著分別被透鏡134C、122C1與122C2收斂共三次。當透鏡132C係位於靠接近透鏡134C的第二位置132C2處時，光束LB沿著傳播路徑LBPP傳播(如些線所示的LB2C)。光束LB被位於132C2處的透鏡132C分散，接著分別被透鏡134C、122C1與122C2收斂共三次。應瞭解，在此實例中光束LB1C將在光束LB2C收斂之點處之後的一點收斂。因此，光束LB1C可用以呈現在標的之視網膜/中央窩處的聚焦物體/影像，其係位於距離光束LB2C呈現在標的之視網膜/中央窩處之聚焦物體/影像之不同距離處(在此情況中更遠)。換言之，若標的聚焦於光束LB1C所產生之物體/影像上，光束LB2C所產生的物體/影像將變得模糊且被感知為離標的更近。或者，若標的聚焦於光束LB2C所產生的物體/影像，光束LB1C所產生的物體/影像將變得模糊且被感知為距離標的更遠。
圖1D顯示本發明之光學組件120的第四非限制性實例。在此實例中，光學組件120包含具有串聯配置之兩個匯聚雙凸透鏡即具有焦點F1D 之122D1與透鏡122D2的中繼透鏡系統122D。再次應瞭解，此配置僅為了簡化圖示所選定，其並不限制本發明，光學組件120可基於眼投影系統的特定結構、目的與功能而以各種組態配置。光束分散組件130包含具有可變聚焦/失焦特性的光學元件132D，例如其可用以變化地收斂或變化地分散光束LB俾使光束的收斂或分散係完全依特定的應用所需而受到控制。在一非限制性實例中，光學元件132D為可形變之薄膜，其包含壓電材料因此施加電壓至薄膜132D會使薄膜132D形變且改變其介於收斂與分散之間的聚焦特性及/或其在任一條件下的聚焦能力。如光束傳播路徑LB1D與LB2D之兩非限制性實例所示，光束分散組件130的光學元件132D能控制光束LB的收斂/分散並提供光學組件120的不同聚焦特性，藉此影響被編碼至光束LB中之影像之一或多個部分的聚焦參數。在說明光束LB1D之第一路徑的第一非限制性實例中，光學元件係用來作為收斂元件132D1，打到收斂元件132D1的準直光束LB在焦點F3D1(在此實例中與透鏡122D1的焦點F1D一致)處收斂。接著光束LB1D打到透鏡122D1並以準直光束傳播，因為其通過透鏡122D1的焦點F1D。接著，當光束LB1D以準直光束打到透鏡122D2時，其應收斂並聚焦於透鏡122D2的焦點處。然而如所示，光束LB1D落在標的之眼睛EYE之瞳孔上且被標的之眼睛EYE更進一步收斂。在說明光束LB2D之第二路徑(以虛線表示)的第二非限制性實例中，光學元件係用來作為具有焦點F3D2的發散元件132D2。打到發散元件132D2的準直光束LB分散並朝向透鏡122D1傳播。當光束LB2D打到透鏡122D1與122D2時，其分別收斂並傳播因此其將收斂於透鏡122D2之焦點之後的一點處。再一次，標的之眼睛需要以不同方式調節其焦點/長度以聚焦於光束LB1D或LB2D所產生的任一影像上。換言之，除非標的之眼睛EYE的焦點/長度因此調節，否則標的之眼睛EYE無法聚焦於LB1D與LB2D所載帶的兩個影像上。因此，若光束LB1D與LB2D以高於人眼之新更速率或高於眼調節所需之時間的速率打到標的之眼睛EYE，則不可能同時看到聚焦之光束所載帶的兩個影像。可能是只有一個影像是焦聚的或兩個影像都是失焦的(若標的聚焦於並非兩光束所到達之位置的其他位置處，則後者發生)。
圖1E顯示本發明之光學組件120之第五非限制性實例。在此實例中，光學組件120包含具有以串聯方式配置之兩匯聚雙凸透鏡122E1與122E2的中繼透鏡系統122E。如上所述，應瞭解，此配置僅為了簡化圖示所選定，其並不限制本發明，光學組件120可基於眼投影系統的特定結構、目的與功能而以各種組態配置。光束分散組件130包含沿著光束傳播路徑LBPP配置的複數光學元件。光束LB落在能使整個光束通過的分光器/結合器138A上，接著光通過能極化光束LB的光極化濾件138B。此類光極化濾件可被配置為四分之一波板。之後，光束LB被鏡透138C收斂/分散，在此情況中顯示雙凸會聚透鏡，然後光束繼續直到其遇到光束偏轉器138D如反射鏡於是光束被反射回透鏡138C。應瞭解，修改透鏡138C與反射鏡138D之間的距離能提供如圖1B之實例所示的光束有效距離修改器，其能影響光束LB的收斂/分散。例如如所示，若光束受到位於138D1處的鏡138D反射，則反射光束LB1E會比受到位於138D2處之鏡138D反射的光束LB2E(虛線)更收斂。應瞭解，在被透鏡138C收斂第二次之後，光束LB1E/LB2E再一次被四分之一波板極化，所得之光束係與光束LB不同相且被分光器138A折射至圖中的右側。光束LB1E和LB2E與透鏡122E1和122E2交互作用並以相對於其收斂/分散視為是兩道不同光束的方式離開而朝向標的之眼睛EYE。
應注意，雖然上述之非限制性實例使用折射光學元件，但相同的原理對於具有光學能力的反射及繞射光學元件亦有效。此系統的之眾多優點中的一者為，雖然其描述了複數光束，但其大致領域是一致的，因此能大幅簡化實施需求。
如上所述，本發明亦提供監控及偵測標的之眼睛之焦點/長度的系統及方法，俾以連續偵測控制及操作包含光束分散組件的光學組件及基於期望之結構將影像投影系統所產生的光束聚焦或失焦於所偵測到之標的之眼睛的焦點上，即，若被投影的影像需要聚焦如當標的看向影像時則聚焦光束，若被投影的影像不需要聚焦如當標的不看被投影之影像時則使影像失焦。
現參考圖2A-2D，其概略顯示可被包含於眼投影系統100中的眼焦點偵測系統/模組150。應注意，眼焦點偵測系統/模組150可與光學組件120、影像投影系統110及控制器140一起被整合至眼投影系統100 內(或者，局部控制器可被包含於眼焦點偵測系統/模組150內並用以與眼投影系統100中的一或個其他控制器通訊)。為了簡化圖示，圖2A-2D僅顯示眼焦點偵測系統/模組150，但這不應被認為是限制本發明。眼焦點偵測系統150可操作用以連續監控眼焦點/長度並產生代表其之焦點數據。焦點數據可被眼投影系統100的一或多個元件所使用以影響朝向標的之眼睛投影之影像之一或多個部分的聚焦參數。
如圖2A之第一非限制性實例所示，眼焦點偵測系統/模組150包含光束源152、光感測器154、相機 156、及選擇性的分光器/結合器158。又，如上述，在此實例中包含局部控制器(140A)但並未特別顯示。光束源152可操作用以藉著產生準直光束LBI而連續照射，光束LBI以準直光束朝向標的之眼睛EYE傳播。光束LBI的大致傳播路徑可為直的或可如所示為截斷的。在後者之情況中，可使一或多個光束偏轉器或分光器/結合器與大致傳播路徑耦合俾以引導準直光束LBI 朝向標的之眼睛EYE。在所述的非限制性實例中，光束源152之位置相對於標的之眼睛EYE呈直角90o ，因此使用分光器/結合器158偏轉光束LBI朝向標的之眼睛EYE。
光束源152所產生的光為具有光譜的光，該光譜不能或幾乎不能被眼睛尤其是視網膜所吸收。例如，此類光可落在紅外線範圍，因此首先即便當標的直視光源時此類光也不會干擾標的因為其係落在不可見光譜內，再者此類光不會被吸收而是被視網膜從眼睛散射。
被包含於眼焦點偵測系統150中之光學感測器154係用以收集及偵測自標的之眼睛EYE所反射的光束。感測器以一已知距離SD 與標的之眼睛EYE 的瞳孔P 分離。
在 圖2A所示的實例中，顯示兩道反射光束回應相同入射光束LBI，其為眼睛之焦點之兩個位置/條件的結果。在第一非限制性實例中，眼睛之焦點FEM係位於眼睛的最大焦長處，即其係位於眼睛之後側處的視網膜處。這是當標的看向「無限遠」處即遠處時的焦點位置。在此情況中，如所示，準直光束LBI進入眼睛沿著路徑 LBI1傳播直到其聚焦於視網膜上的焦點FEM處然後沿著路徑 LBR1被向後反射(與入射光束LBI1一致)，接著在離開眼睛後，反射光束沿著路徑 LBR1(與路徑LBI一致)傳播直到分光器/結合器158，然後沿著相同的方向行進並分散(其為零)直到其打到感測器154為止。在第二非限制性實例中，眼睛的焦點FE2A係位於眼睛的一特定焦長FL處，此特定焦長處係位於眼睛之視網膜的前方。這是當標的看向靠近其自身的物體(即比「無限遠」更近的物體)時的例示性焦點位置。在此情況中，如所示，準直光束LBI進入眼睛沿著路徑 LBI2傳播而聚焦於焦點FE2A處然後其散射並在視網膜上形成大影像點SR。當自視網膜被向後反射時，光束沿著不同於入射光束路徑LBI2的例示性路徑LBR2傳播。接著，在離開眼睛後，反射光束沿著虛線所示的路徑 LBR2傳播直到分光器/結合器158，然後沿著相同的方向行進並分散(其不為零)直到其打到感測器154為止。因此，在上述的兩個情況中，反射光在感測器154上產生兩個分別具有面積S1與S2的不同可偵測點。一般而言，光學感測器154產生和點面積相關/呈比例的輸出，該輸出可例如具有電流或電壓的形式。
相機156可操作用以以預定速率(較佳係愈大/愈快的速率)捕捉眼睛之瞳孔P的影像。瞳孔的面積SP可自瞳孔影像計算。
因此，眼焦點偵測系統150可操作用以基於下列參數而判斷在每一特定時間處眼睛之焦點/長度FL：感測器上之點面積(S1, S2)、瞳孔SP的面積、及感測器距離瞳孔之距離。
控制器140A(或眼投影系統100之中央控制器140)可用以操作光束源152、光感測器154、相機156及分光器/結合器158中的每一者或部分者。控制器140A自相機156與光學感測器154接收數據並計算瞬間眼睛焦長FL。控制器140A產生代表眼睛焦長FL的輸出數據並將輸出數據發送至中央控制器140或依情況所需發送至其他局部控制器，以控制光束分散組件130並調整光束分散俾以控制光學組件120的聚焦特性並影響被投影至標的之眼睛EYE之影像之一或多個部分的聚焦參數。
應注意，在圖2A的實例中，假設標的一直都看向朝向感測器154的相同方向，因此感測器上的點S1與S2具有共同的中心C。然而在現實中，人眼持續移動有時快速移動如所謂的跳視(saccadic movements)。為此，眼投影系統100或眼焦點偵測系統150可包含眼追蹤機構，眼追蹤機構可操作用以追蹤眼移動並重新引導入射及/或反射光束朝向眼睛及/或自眼睛返回。此類眼追蹤機構係載於上述讓渡予本發明之受讓人且被包含於此作為參考的WO17037708中。在使用眼追蹤機構的情況中，若眼焦點偵測系統150係與某些其他結構/功能元件如眼追蹤機構一起整合至眼投影系統100中，則眼焦點偵測系統150的一或多個部件可位於眼追蹤機構之一或多個部件之後。或者，無論眼投影系統100中的其他系統如何，眼焦點偵測系統150可包含額外的元件(基本上為光導向/偏轉元件)以調整入射/反射光束及/或將眼焦點偵測系統150包含於尺寸受限之眼投影系統內。
現參考圖2B，例示包含一或多個光偏轉元件158A之眼焦點偵測系統150的非限制性實例，一或多個光偏轉元件158A係與入射及/或反射光束路徑(複數路徑)光學耦合且可操作用以調整來自光源152之入射/反射光束(複數光束)朝向眼睛及自眼睛返回朝向感測器154的傳播路徑(複數路徑)。該一或多個偏轉元件158A可用以使傳播的光朝向眼睛偏轉以維持入射光束的準直條件。應注意，可選擇偏轉元件的數目俾以調整對應至眼跳視之每一可能軸中的光束(入射與反射)。因此，雖然圖示僅顯示一個偏轉元件158A，但可使用至少兩個偏轉元件重新引導光束而分別回應橫向與垂直的眼移動。僅為了簡化，所示之非限制性實例包含一個偏轉元件。
如圖中所示，除了與介於眼睛與光源152之間及介於眼睛與感測器154之間之入射與反射光束路徑光學耦合的偏轉元件158A外，系統150中之所有元件皆具有參考圖2A所述的相同功能。在此非限制性實例中，假設眼睛僅垂直移動，因此偏轉元件係用以追蹤眼移動並偏轉入射光束俾使入射光束在打到標的之眼睛EYE時總是準直的。偏轉元件158A亦用以偏轉反射光束俾使反射光束在感測器154上所產生的點能落在感測器154的中央處。然而，由於偏轉元件之緩慢回應時間與眼睛之快進眼跳之間的不匹配，因此在感測器154上所產生的點並非總是位於中央處且並非如標的之眼睛EYE與感測器154完全對準時所期待的圓形。換言之，偏轉元件具有時間延遲會造成量測上的誤差。因此，不能使用點的面積來精準地決定眼睛焦點。為此，應如下所述進行修正。
在圖2B中，例示標的看向無限遠處的實例，但其不限制本發明。實線LBR1例示標的的視線係朝向感測器154的情況，因此在感測器的中央處C0 產生了點S1。虛線例示在標的移動其眼睛之後但在偏轉元件偏轉並重新引導光束之前反射光束LBR2的傳播。應瞭解，在感測器上所產生的點S3並非位於中央及/或並非圓形的，因此不能使用面積S3精準地決定眼睛焦長。
參考圖2C，顯示感測器154的非限制性實例。感測器154係配置為一四感測器，其感測表面被分割為四個相等的部分。在感測器上例示來自圖2B的兩個當S1與S3。應瞭解，點S1係位於感測器154的中央處但點S3係位於感測器的中央的外部。在此實例中，可以如下方式定義在感測器處的讀取誤差：若分別位於四分之一部分1-4中之點的每一部分面積所產生的電壓為A、B、C及D，則可假設： 水平誤差(點在水平方向上自中央偏離的程度)可被表示為：垂直誤差(點在垂直方向上自中央偏離的程度)可被表示為：
可如圖2D中所示繪製ErrorH與ErrorV對在感測器154處所讀到之電壓的關係圖，以獲得代表自感測器中央偏離之誤差(複數誤差)與標準差(複數標準差)的αH 與αV 。阿法值αH 與αV 係與點面積呈反比，因此表達點尺寸的差異/變化因此表達眼睛的調節。可見，若點係位於感測器的中央處，水平與垂直誤差應為零且毋須修正，即可如上所解釋的使用點面積來計算眼睛焦長。然而，若誤差值中的至少一者非為零，則需應用修正。
現參考圖3A-3C，其例示在虛擬物體係聚焦於不同於使用者所感知之距離時使用眼投影系統100將虛擬物體呈現予使用者的非限制性實例。眼投影系統100 包含影像投影系統110、包含三個光學元件302、304及306的光學組件120、及光束分散組件130。在所述的實例中，光束分散組件130係藉著改變具有固定焦長之光學元件302與304之間的有效光束距離而作用。應明白，可以如上所解釋的方式以任何其他配置或上述配置的任何組合來實施光束分散組件130。藉著使光學元件302相對於光學元件304位移，能以受到控制的方式變化光束有效距離。應注意，例如藉著移動影像投影系統110與光學元件302兩者而使影像投影系統110與光學元件302之間的距離維持常數。變化光學元件302與304之間的有效距離係由與光學元件304相距距離FD1、FD2及FD3所例示。光束有效距離會影響光束(複數光束)在行進超過光學元件304之後朝向標的之眼睛之光束的分散。光束之不同分散會造成光束(複數光束)聚焦於標的之眼睛的視網膜處並在視網膜處產生聚焦的影像32，藉此標的藉由看向不同距離處而變化其眼睛的焦長。因此，光學元件302相對於光學元件304的三個不同位移會造成標的分別感知在不同距離D1、D2及D3處的虛擬物體 30A、30B及30C。換言之，只有在標的藉著調整其眼睛之焦長而看向各別不同距離D1、D2及D3時，物體30A、30B及30C相對於作為觀察者的標的而言才是聚焦的。若標的維持其焦點於複數虛擬物體中位於單一距離處的一虛擬物體，則其他虛擬物體被呈現予標的時將會失焦。此些已說明的效應係藉著變化能在標的之視網膜上產生虛擬物體之光束(複數光束)的分散所達成。
現參考圖4例示根據本發明之用以控制影像之一或多個部分之聚焦參數的方法400。如上述，眼投影系統包含數個功能，這些功能一起能對使用者產生令人信服之真實又方便的虛擬或擴增實境經驗。眼投影系統的各種元件係受到彼此之間經由各自之輸入與輸出設備/界面通訊之特定局部控制器的控制、或受到中央控制器的控制。
在410處，眼投影系統100藉由其影像投影系統110接收代表欲投影至標的之眼睛EYE之影像的影像數據。例如，影像係由複數像素所構成(一維、二維、或三維之影像)，影像中的每一像素係由一影像子數據所呈現。影像中之每一像素的影像子數據包含資訊如顏色、強度、呈現之距離與自然(是否被投影為注視中心的影像或世界中心的影像)。選擇性地，使用者可選擇系統操作在注視中心模式或世界中心模式。
在下面的步驟中，影像投影系統110產生一系列的光束、利用對應的影像數據編碼此些光束、並藉由光學組件120將此些編碼過的光束朝向標的之眼睛EYE投影。因此，若影像係由Z個像素所構成，應產生對應的Z道經編碼的光束。
在420處，針對每一影像子數據，眼投影系統自眼焦點偵測系統150接收與瞬間眼睛焦長相關的數據。
在430處，針對每一影像子數據，眼投影系統基於其是否代表注視中心或世界中心影像而產生數據以控制光束分散組件130，俾調整對應光束之分散並控制其在標的之眼睛上的聚焦。
在440處，針對每一影像子數據，影像投影系統110基於影像資訊(顏色、距離等)、眼焦點數據及聚焦與光束分散數據而產生編碼該影像子數據的一光束。
450處，眼投影系統100以期望的時間或空間順序投影形成影像的光束。一般而言，影像數據代表形成影像之依序的複數像素且影像數據係以此順序投影。然而，眼投影系統可以與形成影像之像素之依序順序不同的順序來投影影像之部分的光束。
30A‧‧‧虛擬物體
30B‧‧‧虛擬物體
30C‧‧‧虛擬物體
100‧‧‧眼投影系統
110‧‧‧影像投影系統
120‧‧‧光學組件
122‧‧‧中繼透鏡系統
122A‧‧‧透鏡
122B‧‧‧中繼透鏡系統
122B1‧‧‧透鏡
122B2‧‧‧透鏡
122C‧‧‧中繼透鏡系統
122C1‧‧‧透鏡
122C2‧‧‧透鏡
122D‧‧‧中繼透鏡系統
122D1‧‧‧透鏡
122D2‧‧‧透鏡
122E‧‧‧中繼透鏡系統
122E1‧‧‧透鏡
122E2‧‧‧透鏡
124A‧‧‧透鏡
124A1‧‧‧組態
124A2‧‧‧組態
130‧‧‧光束分散組件
132B‧‧‧光束反射器
132B1‧‧‧位置
132C‧‧‧透鏡
132C1‧‧‧位置
132D‧‧‧光學元件
132D1‧‧‧收斂元件
132D2‧‧‧發散元件
134B‧‧‧光束反射器
134B1‧‧‧位置
134C‧‧‧透鏡
134C1‧‧‧位置
138A‧‧‧分光器/結合器
138B‧‧‧光極化濾件
138C‧‧‧鏡透
138D‧‧‧光束偏轉器
138D1‧‧‧位置
138D2‧‧‧位置
140‧‧‧控制器
140A‧‧‧局部控制器
150‧‧‧眼焦點偵測系統/模組
152‧‧‧光束源
154‧‧‧光感測器
156‧‧‧相機
158‧‧‧分光器/結合器
158A‧‧‧光偏轉元件
302‧‧‧光學元件
304‧‧‧光學元件
306‧‧‧光學元件
400‧‧‧方法
410‧‧‧步驟
420‧‧‧步驟
430‧‧‧步驟
440‧‧‧步驟
450‧‧‧步驟
為了最佳地瞭解文中所揭露的標的並例示其可施行的方式，現在藉由非限制性實例的方式參考附圖說明本發明之實施例，其中：
圖1A-1E概略例示根據本發明之眼投影系統之聚焦機構的各種配置；
圖2A-2D概略例示根據本發明之眼投影系統之眼焦點判斷機構的各種配置；
圖3A-3C概略例示使用本發明之眼投影系統的一非限制性實例；及
圖4概略例示根據本發明之調整影像之聚焦參數的方法。

Claims (16)

  1. 一種眼投影系統，包含： 一影像投影系統，可操作用以產生一光束，此光束係經調制以編碼影像數據，該影像數據代表欲沿著一光束傳播路徑朝向一標的之眼睛投影之一影像； 一光學組件，係位於該光束傳播路徑中且可操作用以在該影像投影系統與該標的之眼睛的一視網膜之間引導該光束，該光學組件包含一光束分散組件，該光束分散組件可操作用以以可受到控制的方式變化該光學組件的複數聚焦特性及調整該光束之分散，藉此影響該標的之眼睛之該視網膜上之該影像之一或多個部分的一或多個聚焦參數。
  2. 如申請專利範圍第1項之眼投影系統，其中該光束分散組件係藉著將該影像之該一或多個部分在該標的之眼睛之每一注視距離及/或方向中維持聚焦而影響該影像之該一或多個部分的該一或多個聚焦參數。
  3. 如申請專利範圍第1項之眼投影系統，其中該光束分散組件係藉著將該影像之該一或多個部分投影至該標的之眼睛之一視野中的一固定空間位置處而影響該影像之該一或多個部分的該一或多個聚焦參數。
  4. 如申請專利範圍第1項之眼投影系統，更包含一眼焦點偵測模組，該眼焦點偵測模組可操作用以連續地判斷該標的之眼睛的一焦長並產生眼焦點數據以控制該光束分散組件。
  5. 如申請專利範圍第4項之眼投影系統，其中該眼焦點偵測模組包含：一光源配置，可操作用以以一準直光束照射該標的之眼睛；一光學感測器，可操作用以記錄來自該標的之該視網膜的反射光束並產生反射數據；及一相機，可操作用以捕捉該標的之眼睛之瞳孔的複數影像並產生瞳孔數據，藉此能使用該反射數據與該瞳孔數據以決定該標的之眼睛的該焦長並產生該眼焦點數據。
  6. 如申請專利範圍第1項之眼投影系統，其中該光束分散組件包含具有一以可受控制之方式改變之聚焦特性的一光學元件。
  7. 如申請專利範圍第1項之眼投影系統，其中該光學組件包含一中繼透鏡配置。
  8. 如申請專利範圍第1項之眼投影系統，其中該光學組件包含至少一輸入光學元件與一輸出光學元件，該光束分散組件可操作用以修改該輸入與輸出光學元件之間沿著該光束傳播路徑的一光束有效距離。
  9. 如申請專利範圍第8項之眼投影系統，其中該光束分散組件包含複數光束偏轉器的一陣列，該複數光束偏轉器可操作用以於該輸入與輸出光學元件之間引導該光束，該光束分散組件可操作用以移動該陣列之至少一光束偏轉器。
  10. 如申請專利範圍第1項之眼投影系統，其中該光束分散組件的至少一部分係沿著該光束傳播路徑位於該光學組件的另一光學元件前方。
  11. 如申請專利範圍第10項之眼投影系統，其中該光束分散組件的該至少一部分包含彼此可相對位移的至少兩個光學聚焦元件。
  12. 如申請專利範圍第11項之眼投影系統，其中該光束分散組件的該至少一部分包含具有一以可受控制之方式改變之聚焦特性的一光學聚焦元件。
  13. 如申請專利範圍第12項之眼投影系統，其中該光學聚焦元件包含一可形變之薄膜，該可形變之薄膜可操作用以收斂或分散該光束。
  14. 如申請專利範圍第10項之眼投影系統，其中該光束分散組件的該至少一部分包含沿著該光束傳播路徑依序設置的一分光器、一光極化元件、一聚焦元件、及一光束偏轉器，該聚焦元件與該光束偏轉器中的至少一者沿著該光束傳播路徑可相對於另一者位移。
  15. 如申請專利範圍第4至14項中之任一項之眼投影系統，其中該眼焦點偵測模組包含：一眼追蹤組件，可操作用以量測該標的之眼睛的一注視方向並產生眼定位數據；一相機，可操作用以捕捉該標的之眼睛之瞳孔的尺寸並產生瞳孔尺寸數據；及一控制器，可操作用以使用該眼定位數據與該瞳孔尺寸數據並產生該眼焦點數據。
  16. 一種標的之眼睛之視網膜上之影像之一或多個部分之一或多個聚焦參數的判斷方法，該方法包含： 接收代表欲投影至一標的之眼睛之一影像的一影像數據，該影像數據包含關於顏色、強度、距離、及該影像是否為注視中心或世界中心的資訊； 針對該影像數據的每一影像子數據接收代表一瞬間眼睛焦長的一眼焦點數據； 針對該影像數據的每一影像子數據產生一聚焦與光束分散數據； 針對該影像數據的每一影像子數據產生一光束，該光束基於該影像數據、該眼焦點數據、及該聚焦與光束分散數據編碼每一影像子數據；及 以期望的時間或空間順序將編碼該影像數據的該光束朝向該標的之眼睛投影。
TW107118162A 2017-05-29 2018-05-28 具有聚焦管理之眼睛投影系統與方法 TW201907203A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
IL252585A IL252585A0 (en) 2017-05-29 2017-05-29 System and method for projection to the eye with focus control
ILIL252585 2017-05-29

Publications (1)

Publication Number Publication Date
TW201907203A true TW201907203A (zh) 2019-02-16

Family

ID=62452805

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107118162A TW201907203A (zh) 2017-05-29 2018-05-28 具有聚焦管理之眼睛投影系統與方法

Country Status (11)

Country Link
US (1) US20200186761A1 (zh)
EP (1) EP3630028A4 (zh)
JP (1) JP2020522010A (zh)
KR (2) KR20230144657A (zh)
CN (1) CN110891533A (zh)
AU (1) AU2018276154A1 (zh)
CA (1) CA3062777A1 (zh)
IL (1) IL252585A0 (zh)
RU (1) RU2019142858A (zh)
TW (1) TW201907203A (zh)
WO (1) WO2018220625A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11669002B2 (en) 2021-06-16 2023-06-06 Coretronic Corporation Illumination system and projection device
TWI811699B (zh) * 2021-06-16 2023-08-11 中強光電股份有限公司 照明系統及投影裝置

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3566091A4 (en) * 2017-02-17 2020-09-30 Cogni Trax METHOD AND SYSTEM FOR DISPLAYING IMAGES
US10878620B2 (en) * 2018-03-14 2020-12-29 Magic Leap, Inc. Display systems and methods for clipping content to increase viewing comfort
US11221494B2 (en) 2018-12-10 2022-01-11 Facebook Technologies, Llc Adaptive viewport optical display systems and methods
EP3819698A1 (en) * 2019-11-06 2021-05-12 Creal Sa Light-field virtual and mixed reality system having foveated projection
CN113759554B (zh) * 2021-09-13 2023-10-10 京东方科技集团股份有限公司 投影显示***、方法及存储介质

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9214909D0 (en) * 1992-07-14 1992-08-26 Secr Defence Helmet-mounted optical systems
US6008781A (en) * 1992-10-22 1999-12-28 Board Of Regents Of The University Of Washington Virtual retinal display
US5467104A (en) * 1992-10-22 1995-11-14 Board Of Regents Of The University Of Washington Virtual retinal display
JPH07199042A (ja) * 1993-12-28 1995-08-04 Canon Inc 視線検出機能付カメラ
JPH11109279A (ja) * 1997-10-03 1999-04-23 Minolta Co Ltd 映像表示装置
JP2000249974A (ja) * 1999-03-02 2000-09-14 Canon Inc 表示装置及び立体表示装置
KR100571909B1 (ko) * 2000-09-21 2006-04-17 삼성전자주식회사 화상투사장치
JP2004333661A (ja) * 2003-05-02 2004-11-25 Nippon Hoso Kyokai <Nhk> 立体画像表示装置、立体画像表示方法および立体画像表示プログラム
EP1875298A1 (en) * 2005-04-03 2008-01-09 Ben-Gurion University of the Negev Research and Development Authority Low vision aid device
JP5169253B2 (ja) * 2008-01-29 2013-03-27 ブラザー工業株式会社 画像表示装置
US20100149073A1 (en) * 2008-11-02 2010-06-17 David Chaum Near to Eye Display System and Appliance
JP4674634B2 (ja) * 2008-12-19 2011-04-20 ソニー株式会社 頭部装着型ディスプレイ
US9292973B2 (en) * 2010-11-08 2016-03-22 Microsoft Technology Licensing, Llc Automatic variable virtual focus for augmented reality displays
US9690099B2 (en) * 2010-12-17 2017-06-27 Microsoft Technology Licensing, Llc Optimized focal area for augmented reality displays
CN103188499B (zh) * 2011-12-27 2016-05-04 鸿富锦精密工业（深圳）有限公司 3d成像模组及3d成像方法
CN104812342B (zh) * 2012-08-24 2018-05-11 Ic英赛德有限公司 视觉帮助投影仪
JP2014045868A (ja) * 2012-08-30 2014-03-17 Canon Inc インタラクティブ制御装置
CN102981616B (zh) * 2012-11-06 2017-09-22 中兴通讯股份有限公司 增强现实中对象的识别方法及***和计算机
CN102937745B (zh) * 2012-11-13 2015-04-01 京东方科技集团股份有限公司 开放式头戴显示装置及其显示方法
US9699433B2 (en) * 2013-01-24 2017-07-04 Yuchen Zhou Method and apparatus to produce re-focusable vision with detecting re-focusing event from human eye
JP2014219621A (ja) * 2013-05-10 2014-11-20 株式会社タイトー 表示装置、表示制御プログラム
JP6048673B2 (ja) * 2013-05-22 2016-12-21 パナソニックＩｐマネジメント株式会社 多焦点レンズを有するビューア、および、ビューアの焦点距離変更方法
JP6111864B2 (ja) * 2013-05-24 2017-04-12 富士通株式会社 画像表示装置及び画像表示方法
US20150302773A1 (en) * 2013-07-29 2015-10-22 Fusao Ishii See Through Display enabling the correction of visual deficits
ES2535126B1 (es) * 2013-10-01 2016-03-17 Consejo Superior De Investigaciones Científicas (Csic) Instrumento miniaturizado simulador de visión simultánea
US10620457B2 (en) * 2013-12-17 2020-04-14 Intel Corporation Controlling vision correction using eye tracking and depth detection
CN106164743B (zh) * 2014-03-03 2020-10-27 埃韦视觉有限公司 眼睛投影***
JP6637440B2 (ja) * 2014-04-09 2020-01-29 スリーエム イノベイティブ プロパティズ カンパニー ヘッドマウントディスプレイ及び目立ちにくい瞳孔イルミネーター
US10254551B2 (en) * 2014-06-13 2019-04-09 Mitsubishi Electric Corporation Virtual image display device
CN105630273A (zh) * 2014-10-31 2016-06-01 Tcl集团股份有限公司 一种多图标显示方法和装置
TWI569040B (zh) * 2015-05-07 2017-02-01 尚立光電股份有限公司 自動調焦頭戴式顯示裝置
WO2016204433A1 (en) * 2015-06-15 2016-12-22 Samsung Electronics Co., Ltd. Head mounted display apparatus
CN105812768B (zh) * 2016-03-18 2018-06-19 深圳市维尚境界显示技术有限公司 一种3d视频在vr设备中的播放方法及***

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11669002B2 (en) 2021-06-16 2023-06-06 Coretronic Corporation Illumination system and projection device
TWI811699B (zh) * 2021-06-16 2023-08-11 中強光電股份有限公司 照明系統及投影裝置

Also Published As

Publication number Publication date
RU2019142858A (ru) 2021-07-02
WO2018220625A1 (en) 2018-12-06
AU2018276154A1 (en) 2020-01-23
IL252585A0 (en) 2017-08-31
KR20230144657A (ko) 2023-10-16
EP3630028A4 (en) 2021-03-10
JP2020522010A (ja) 2020-07-27
EP3630028A1 (en) 2020-04-08
CA3062777A1 (en) 2018-12-06
CN110891533A (zh) 2020-03-17
KR20200024782A (ko) 2020-03-09
US20200186761A1 (en) 2020-06-11

Similar Documents

Publication Publication Date Title
KR102678258B1 (ko) 눈 투사 시스템 및 방법
TW201907203A (zh) 具有聚焦管理之眼睛投影系統與方法
US11106276B2 (en) Focus adjusting headset
US9851565B1 (en) Increasing effective eyebox size of an HMD
KR102139268B1 (ko) 눈 투영 시스템
CN107430284B (zh) 具有改进的衍射光栅结构的虚拟和增强现实***和方法
US10228565B1 (en) Variable focus waveguide display
US10168537B1 (en) Single chip superluminous light emitting diode array for waveguide displays
US11188175B1 (en) Display system with integrated depth detection
KR20170084094A (ko) 조정 가능 초점 평면 광학 시스템
JP2019133204A (ja) 二重混合光照射フィールドデバイス
US10914953B1 (en) Varifocal waveguide display using tunable lens
CN114902112A (zh) 具有全息中继器和全息图像组合器的显示器
KR20230134154A (ko) 망막 스캔 디스플레이용 광학 시스템 및 망막에 영상 콘텐츠를 투영하는 방법
US11017562B2 (en) Imaging system and method for producing images using means for adjusting optical focus
JP2023502337A (ja) 拡張または仮想現実ディスプレイシステムのための向上された眼追跡
US10809537B1 (en) Varifocal waveguide display with dynamically bent waveguide
JP3698582B2 (ja) 画像表示装置
US11215818B1 (en) Waveguide display with structured light for eye and face tracking
JP2019049724A (ja) 目用投影システム
KR20220145668A (ko) 자유형상 곡면을 포함하는 디스플레이 장치 및 그 동작 방법