TWI720293B - 具延伸容納範圍調整之近眼顯示器 - Google Patents
具延伸容納範圍調整之近眼顯示器 Download PDFInfo
- Publication number
- TWI720293B TWI720293B TW107107311A TW107107311A TWI720293B TW I720293 B TWI720293 B TW I720293B TW 107107311 A TW107107311 A TW 107107311A TW 107107311 A TW107107311 A TW 107107311A TW I720293 B TWI720293 B TW I720293B
- Authority
- TW
- Taiwan
- Prior art keywords
- refractive index
- array
- user
- eye
- eyes
- Prior art date
Links
- 230000004308 accommodation Effects 0.000 title claims description 38
- 238000000034 method Methods 0.000 claims abstract description 34
- 238000009877 rendering Methods 0.000 claims abstract description 23
- 239000000463 material Substances 0.000 claims description 55
- 230000008859 change Effects 0.000 claims description 33
- 238000003384 imaging method Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000010354 integration Effects 0.000 claims 1
- 235000013162 Cocos nucifera Nutrition 0.000 description 16
- 244000060011 Cocos nucifera Species 0.000 description 16
- 230000003287 optical effect Effects 0.000 description 9
- 230000008901 benefit Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 239000004988 Nematic liquid crystal Substances 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 239000002131 composite material Substances 0.000 description 4
- 210000002858 crystal cell Anatomy 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000008447 perception Effects 0.000 description 4
- 210000001747 pupil Anatomy 0.000 description 4
- 238000013519 translation Methods 0.000 description 3
- 206010020675 Hypermetropia Diseases 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 210000004087 cornea Anatomy 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 201000006318 hyperopia Diseases 0.000 description 2
- 230000004305 hyperopia Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 208000001491 myopia Diseases 0.000 description 2
- 230000004379 myopia Effects 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 229920001746 electroactive polymer Polymers 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 229920000642 polymer Polymers 0.000 description 1
- 208000014733 refractive error Diseases 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000002207 retinal effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0075—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
- G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
- G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
- G02B30/27—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving lenticular arrays
-
- G—PHYSICS
- G02—OPTICS
- G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
- G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
- G02F1/29—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the position or the direction of light beams, i.e. deflection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
- H04N13/305—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using lenticular lenses, e.g. arrangements of cylindrical lenses
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
- H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
- H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Nonlinear Science (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Controls And Circuits For Display Device (AREA)
- Liquid Crystal (AREA)
Abstract
一種近眼顯示系統包含:一顯示面板,其用以顯示包括一元素影像陣列之一集成光場圖框;及一眼動追蹤組件,其用以追蹤一使用者之眼睛之一姿勢。該系統進一步包含:一小透鏡陣列;及一演現組件,其用以基於該使用者之眼睛之該姿勢調整該集成光場圖框中之該元素影像陣列之焦點。一種操作該近眼顯示系統之方法包含:使用該近眼顯示系統之一眼動追蹤組件判定一使用者之眼睛之一第一姿勢;及基於該使用者之眼睛之該第一姿勢判定形成一集成光場圖框之一元素影像陣列之一所要焦點。該方法進一步包含基於該使用者之眼睛之該第一姿勢改變自一小透鏡陣列投射出之光之焦距。
Description
頭戴式顯示器(HMD)及其他近眼顯示系統可利用一集成光場顯示器或其他運算顯示器以提供三維(3D)圖形之有效顯示。一般言之,集成光場顯示器採用一或多個顯示面板,及覆蓋一或多個顯示面板之小透鏡、針孔或其他光學特徵之一陣列。一演現系統演現一元素影像陣列,其中各元素影像表示來自一對應視角或虛擬攝影機位置之一物件或場景之一影像或視圖。此等集成光場顯示器通常展現解析度與容納範圍之間的權衡,此係因為解析度與小透鏡之密度成比例。因此,為提供令人滿意的解析度,採用一集成光場顯示器之一習知近眼顯示系統通常具有限制顯示器解析度之一低密度之大尺寸小透鏡或限制容納範圍之一高密度之較小尺寸小透鏡。
100:近眼顯示系統
102:運算顯示子系統
104:演現組件
106:眼動追蹤組件
108:眼動追蹤組件
110:左眼顯示器
112:右眼顯示器
114:裝置
116:視圖
118:顯示面板
120:陣列
122:元素影像
124:小透鏡陣列
126:小透鏡
126-1至126-5:小透鏡
128:截面視圖
130:顯示表面
132:眼睛
136:中央處理單元(CPU)/處理器
138:圖形處理單元(GPU)/處理器
140:圖形處理單元(GPU)/處理器
142:系統記憶體
144:演現程式
146:眼動追蹤程式
148:演現資訊
150:本端或遠端內容源/姿勢資訊
151:光場圖框
153:光場圖框
154:慣性管理單元(IMU)
156:眼睛影像資訊
158:可變折射率材料/可變折射率材料層
160:可選相位遮罩
200:截面視圖
202:複合虛擬影像
204:區域
206:區域
208:區域
210:區域
212:區域
214:區域
216:子區域
218:子區域
220:子區域
222:第一焦點
224:第二焦點
300:截面視圖
302:虛擬影像
304:區域
306:區域
308:區域
310:區域
312:區域
314:區域
316:子區域
318:子區域
320:子區域
322:第一焦點
324:第二焦點
400:方法
402:步驟
404:步驟
406:步驟
408:步驟
410:步驟
500:截面視圖
502:椰子
504:樹
506:容納範圍
508:第一焦點
510:第二焦點
512:容納範圍
600:俯視圖
602:第一陣列
604:立方相位板
606:第二陣列
d1:深度
d2:深度
熟習此項技術者參考隨附圖式可更好地理解本發明,且明白本發明之眾多特徵及優點。不同圖式中相同元件符號之使用指示類似或相同品項。
圖1係繪示根據一些實施例之採用眼動追蹤及對應元素影像偏移以提
供動態焦距調整的一近眼顯示系統之一圖。
圖2係繪示根據一些實施例之圖1的近眼顯示系統中之動態焦距調整的一實例之一圖。
圖3係繪示根據一些實施例之圖1的近眼顯示系統中之動態焦距調整之一額外實例之一圖。
圖4係繪示根據一些實施例之用於在圖1的近眼顯示系統中進行動態焦距調整的一方法之一流程圖。
圖5係繪示根據一些實施例之在圖1的近眼顯示系統中進行動態容納範圍調整的一實例之一圖。
圖6係繪示根據一些實施例之用於在圖1的近眼顯示系統中進行動態焦距調整的一實例性變焦小透鏡陣列之一圖。
相關申請案之交叉參考
本申請案係關於標題為「NEAR-EYE DISPLAY WITH EXTENDED ACCOMMODATION RANGE ADJUSTMENT」且於2017年5月26日申請之美國臨時申請案第62/511,567號,該案之全部內容以引用方式併入本文中。
圖1至圖6繪示用於在一近眼顯示系統中基於使用者眼睛姿勢進行動態焦距及容納範圍調整之實例性方法及系統。在至少一項實施例中,近眼顯示系統採用一運算顯示器以向一使用者顯示影像之集成光場圖框,以對使用者提供一沉浸式虛擬實境(VR)或擴增實境(AR)體驗。各集成光場圖框係由一元素影像陣列組成,其中各元素影像表示自一不同對應視點之一物件或場景之一視圖。一小透鏡陣列覆蓋顯示面板且進行操作以將元素影
像陣列作為單一自動立體影像呈現給使用者。
由於運算顯示器之解析度與小透鏡尺寸對小透鏡焦距之比成比例,故使用大的小透鏡增大解析度之嘗試一般導致減小的焦距及調整範圍,且反之亦然。為提供無容納範圍之一對應減小的經改良解析度,在至少一項實施例中,本文中所描述之近眼顯示系統利用一動態技術,其中利用一眼動追蹤組件來判定使用者之眼睛之當前姿勢(位置及/或旋轉),且基於此當前姿勢判定待施加於一可變折射率材料之一電壓,藉由該可變折射率材料,投射出小透鏡的光改變其等焦距以基於使用者眼睛之當前姿勢改變感知一影像之聚焦部分的方式。作為一實例,可最初設定該材料之折射率以產生在其內物件可被感知為聚焦之一第一容納範圍。隨後,可改變該材料之折射率以產生在其內物件可被感知為聚焦之一第二容納範圍。隨著使用者之注視改變,該材料之折射率變化以動態調整在其內物件可被感知為聚焦之容納範圍。因此,動態改變折射率且回應於使用者眼睛姿勢之變化而使容納範圍偏移有效地提供一大容納範圍,而無需近眼顯示系統之一對應解析度減小。
圖1繪示根據至少一項實施例之併入動態容納範圍調整之一近眼顯示系統100。在所描繪實例中,近眼顯示系統100包含一運算顯示子系統102、一演現組件104及一或多個眼動追蹤組件,諸如用於追蹤一使用者之左眼之一眼動追蹤組件106及用於追蹤該使用者之右眼之一眼動追蹤組件108的一者或兩者。運算顯示子系統102包含安裝於一裝置114(例如,護目鏡、眼鏡等)中之一左眼顯示器110及一右眼顯示器112,該裝置114將顯示器110、112分別放置於使用者之左眼及右眼前方。
如由視圖116所展示,顯示器110、112之各者包含至少一個顯示面板
118以顯示一系列或一連串集成光場圖框(在後文中為便於參考,「光場圖框」),該等集成光場圖框之各者包括元素影像122之一陣列120。為便於參考,元素影像122之一陣列120亦可在本文中稱為光場圖框120。顯示器110、112之各者進一步包含覆蓋顯示面板118之小透鏡126(通常亦稱為「微透鏡」)之一陣列124。通常,小透鏡陣列124中之小透鏡126之數目等於陣列120中之元素影像122之數目,但在其他實施方案中,小透鏡126之數目可少於或多於元素影像122之數目。應注意,雖然為便於繪示,圖1之實例繪示元素影像122之一5x4陣列及小透鏡126之一對應5x4陣列120,但在一典型實施方案中,一光場圖框120中之元素影像122之數目及小透鏡陣列124中之小透鏡126之數目通常高得多。此外,在一些實施例中,針對顯示器110、112之各者實施一分離顯示面板118,而在其他實施例中,左眼顯示器110及右眼顯示器112共用單一顯示面板118,其中顯示面板118之左半部用於左眼顯示器110且顯示面板118之右半部用於右眼顯示器112。
圖1之截面視圖128描繪小透鏡陣列124之沿線A-A之一截面視圖,小透鏡陣列124覆蓋顯示面板118使得小透鏡陣列124覆蓋顯示面板118之顯示表面130,以安置於顯示表面130與使用者之對應眼睛132之間。在此組態中,各小透鏡126將顯示表面130之一對應區域聚焦至眼睛之瞳孔134上,其中各此區域與一或多個鄰近區域至少部分重疊。因此,在此等運算顯示器組態中,當元素影像122之一陣列120經顯示於顯示面板118之顯示表面130處且接著由眼睛132透過小透鏡陣列124觀看時,使用者將元素影像120之陣列122感知為一場景之單一影像。因此,當針對使用者之左眼及右眼兩者(在其等間實施適當視差)並行執行此程序時,結果係向使用者
呈現自動立體三維(3D)影像。
亦如圖1中所展示,演現組件104包含一組一或多個處理器(諸如所繪示之中央處理單元(CPU)136及圖形處理單元(GPU)138、140)及一或多個儲存組件(諸如系統記憶體142),該一或多個儲存組件用以儲存由處理器136、138、140存取及執行以操縱處理器136、138、140之一或多者以執行如本文中所描述之各種任務之軟體程式或其他可執行指令。此等軟體程式包含例如:演現程式144,其包括用於一容納範圍調整程序之可執行指令,如下文所描述;以及一眼動追蹤程式146,其包括用於一眼動追蹤程序之可執行指令,亦如下文所描述。
在操作中,演現組件104自一本端或遠端內容源150接收演現資訊148,其中演現資訊148表示圖形資料、視訊資料、或表示作為待在顯示子系統102處演現及顯示之影像的主體之一物件或場景的其他資料。在執行演現程式144的情況下,CPU 136使用演現資訊148以將繪圖指令發送至GPU 138、140,該等GPU 138、140繼而利用繪圖指令以使用各種熟知VR/AR運算/光場演現程序之任一者並行演現待在左眼顯示器110處顯示之一系列光場圖框151及待在右眼顯示器112處顯示之一系列光場圖框153。作為此演現程序之部分,CPU 136可自一慣性管理單元(IMU)154接收姿勢資訊150,藉此姿勢資訊150表示顯示子系統102之一當前姿勢且控制一或多對光場圖框151、153之演現以自當前姿勢反映物件或場景之視點。
如下文詳細描述,演現組件104可進一步使用來自眼動追蹤組件106、108之一者或兩者之眼睛姿勢資訊以針對待顯示之光場圖框使元素影像122之投射之焦距自小透鏡陣列124偏移至眼睛132,且由此針對如此顯示之光場圖框調整元素影像122之一或多者之焦點。為此目的,眼動追
蹤組件106、108可各包含:一或多個紅外(IR)光源(在本文中稱為「IR照明器」),其或其等用IR光照明對應眼睛;一或多個成像攝影機,其或其等用以捕獲自對應眼睛反射之IR光作為一對應眼睛影像(眼睛影像資訊156);一或多個鏡、波導、分束器及類似者,其或其等用以將反射IR光引導至成像攝影機;及一或多個處理器,其或其等用以執行眼動追蹤程式146以自捕獲眼睛影像判定對應眼睛之一當前位置、當前定向或兩者(在本文中簡稱或統稱為「姿勢」)。各種熟知眼動追蹤裝置及技術之任一者可用作眼動追蹤組件146、148以追蹤使用者之單眼或雙眼。
在一習知的基於運算顯示器之系統中,覆蓋一顯示器之小透鏡陣列之性質通常係固定的(即,小透鏡之實體尺寸及/或材料構造係固定的,且常常針對所有小透鏡係相同的),此繼而導致小透鏡之光學性質係固定的。因此,改變使用者感知顯示影像之焦點常常包含機械致動以使小透鏡陣列實體地移動為更接近於或更遠離使用者之眼睛。在近眼顯示系統中,小透鏡之小焦距使其等遭受小透鏡-顯示器間距容差。因此,小透鏡陣列之初始構造之任何不準確性或在操作期間機械平移之不準確性可導致意外影響使用者對顯示影像之感知,諸如在顯示影像中的失焦或模糊物件。
如本文中所描述,在至少一項實施例中,近眼顯示系統100藉由實施一可變焦距小透鏡陣列而改良對顯示影像之焦點之調整的準確性,該可變焦距小透鏡陣列經組態以調整投射影像之焦距以更緊密地對準使用者眼睛之當前姿勢。此係藉由使用眼動追蹤組件106、108以追蹤使用者之單眼或雙眼以針對待顯示之一對應光場圖框判定單眼或雙眼之當前姿勢來實現。在判定當前姿勢的情況下,演現組件104接著電調整自小透鏡陣列中之小透鏡126的一或多者投射之光之焦距,以改變相對於使用者眼睛132
演現之一光場圖框內的元素影像122之一或多者之焦點。自使用者之視角,此焦點變化使如由顯示面板118顯示之物件聚焦或離焦。以此方式,可動態調整小透鏡126之(若干)焦距以更好地適應使用者眼睛之當前姿勢。
在一些實施例中,小透鏡陣列124包含由向列型液晶單元構造之小透鏡。可使用例如一電壓源(未展示)電定址向列型液晶單元。施加於小透鏡126之一電壓之變化引起小透鏡之折射率改變,由此改變小透鏡之焦距。在其它實施例中,定位一可變折射率材料層158(諸如由向列型液晶單元或經組態以具有可變焦距之其他變焦光學組件構造)以安置於顯示面板118與小透鏡陣列124之間,而非使用由向列型液晶單元構造之小透鏡。
儘管本文在向列型液晶之背景下描述,但熟習此項技術者將認知,可在不背離本發明之範疇之情況下使用任何可變折射率材料及/或變焦光學組件。例如,此等光學組件可包含但不限於可變形薄膜鏡(DMM)、流體透鏡、空間光調變器(SLM)、電光聚合物等。另外,在一些其他實施例中,可藉由組合可變折射率小透鏡或可變折射率材料層與一機械致動器(未展示)以改變小透鏡陣列124、可變折射率材料層158、顯示面板118與眼睛132之間的實體距離而進一步調整自小透鏡陣列124投射之光之焦距。例如,此等機械致動器可包含壓電、音圈或電活性聚合物致動器。
在一項實施例中,將一電壓作為整體施加於小透鏡陣列124或可變折射率材料層158。據此,各個別小透鏡126或整個可變折射率材料層158接收相同電壓以調整其折射率,由此改變自整個小透鏡陣列124投射之光之焦距。此達成相同於機械致動且使小透鏡陣列124平移為更接近於或更遠離眼睛132之效應,且進一步改良達成所要焦距之準確性。在另一實施例
中,小透鏡126之各者係可個別定址的且可接收彼此不同之一電壓。類似地,可變折射率材料層158可用匹配小透鏡陣列之彼尺寸的尺寸像素化;可變折射率材料層158之像素化區域之各者可為可個別定址的。此允許更好地控制自各小透鏡126投射之光之焦距。據此,自各小透鏡126投射之光之焦距係可調變的,且元素影像122之各者可表示一影像之不同部分,其等具有至該影像中之物件之不同觀看距離。為提供焦點控制之進一步粒度,在一些實施例中,可變折射率材料層158可依一子小透鏡級用尺寸像素化,使得對應於各小透鏡126之各元素影像122之不同部分可個別地定址至一唯一焦距。
替代地,為提供焦點控制之進一步粒度,在其它實施例中,近眼顯示系統100包含經定位以安置於顯示面板118與小透鏡陣列124之間的一可選相位遮罩160。例如,如圖1中所繪示,可選相位遮罩160係自顯示器118(或在一些實施例中,自可變折射率材料158)接收傳入光且空間調變輸出光束之相位的一像素化空間光調變器(SLM)。據此,各小透鏡126將接收針對不同射線具有複數個空間變化相位之一入射光束,使得各元素影像122之不同部分可依不同焦距聚焦。
在其他實施例中,小透鏡陣列124或可變折射率材料層158可分割成兩個或更多個分區。各分區可用相同電壓定址,由此僅改變彼分區之焦距。例如,小透鏡陣列124或可變折射率材料層158可分割成各接收一不同電壓信號之四個相等象限,分割成可個別定址列,分割成可個別定址行等。熟習此項技術者將認知,可在不背離本發明之範疇之情況下使用小透鏡陣列124或可變折射率材料層158至空間變化可定址分區之任何分割。
為闡釋,圖2描繪一運算顯示器,諸如用於使用可變折射率小透鏡之
近眼顯示系統100之運算顯示器之一截面視圖200。如此視圖中所展示,小透鏡陣列124之小透鏡126之各者用作至眼睛132上之一分離「投影儀」,其中各「投影儀」與一或多個鄰近投影儀重疊以自顯示面板118處顯示之元素影像陣列形成一複合虛擬影像202。為闡釋,小透鏡126-1自虛擬影像202之區域210投射一對應元素影像(由區域204所表示),小透鏡126-2自虛擬影像202之區域212投射一對應元素影像(由區域206所表示),且小透鏡126-3自虛擬影像202之區域214投射一對應元素影像(由區域208所表示)。如由圖2所展示,區域210及212在子區域216中重疊,區域212及214在子區域220中重疊,且所有三個區域210、212、214在子區域218中重疊。
因此,假定在此實例中,由眼睛132在一第一時間t1聚焦定位於顯示面板118之區域206處之一元素影像,小透鏡126-2之折射率可經運算(例如,由演現組件104)且經電改變,使得含有來自小透鏡126-2之影像資料之光經聚焦於眼睛132背面處之一第一焦點222處。據此,虛擬影像202之區域212部分將在第一時間t1看似聚焦。隨後,假定在此實例中,使用者在一第二時間t2轉移目光以聚焦於定位於顯示面板118之區域204處之一元素影像。為考量改變至使用者眼睛之一新姿勢,小透鏡126-2之折射率可經運算(例如,由演現組件104)且經電改變,使得含有來自小透鏡126-2之影像資料之光經聚焦於一第二焦點224處,使得使用者眼睛之容納範圍無法使影像之彼部分聚焦。據此,虛擬影像202之區域212部分將在第二時間t2看似離焦(例如,模糊)。
在一替代實施例中,圖3描繪一運算顯示器,諸如用於使用一可變折射率材料層之近眼顯示系統100中之運算顯示器之一截面視圖300。如此
視圖中所展示,小透鏡陣列124之小透鏡126之各者用作至眼睛132上之一分離「投影儀」,其中各「投影儀」與一或多個鄰近投影儀重疊以自顯示面板118處顯示之元素影像陣列形成一複合虛擬影像302。為闡釋,小透鏡126-1自虛擬影像302之區域310投射一對應元素影像(由區域304所表示),小透鏡126-2自虛擬影像302之區域312投射一對應元素影像(由區域306所表示),且小透鏡126-3自虛擬影像302之區域314投射一對應元素影像(由區域308所表示)。如由圖3所展示,區域310及312在子區域316中重疊,區域312及314在子區域320中重疊,且所有三個區域310、312、314在子區域318中重疊。在圖3中所繪示之實施例中,可變折射率材料層158(諸如前文關於圖1所論述)改變其折射率以改變小透鏡126上之光之入射,此繼而改變自小透鏡126投射之光之焦距。
因此,假定在此實例中,由眼睛132在一第一時間t1聚焦定位於顯示面板118之區域306處之一元素影像,可變折射率材料層158之折射率可經運算(例如,由演現組件104)且經電改變,使得含有自小透鏡126-2投射之影像資料之光經聚焦於眼睛132背面處之一第一焦點322處。據此,虛擬影像302之區域312部分將在第一時間t1看似聚焦。隨後,假定在此實例中,使用者在第二時間t2轉移目光以聚焦於定位於顯示面板118之區域304處之一元素影像。為考量至使用者眼睛之一新姿勢之變化,可變折射率材料層158之折射率可經運算(例如,由演現組件104)且經電改變,使得含有來自小透鏡126-2之影像資料之光經聚焦於一第二焦點324處,使得使用者眼睛之容納範圍無法使影像之彼部分聚焦。據此,虛擬影像302之區域312部分將在第二時間t2看似離焦(例如,模糊)。
圖4繪示根據一些實施例之用於使用具有可調整焦距的小透鏡演現光
場圖框以提供動態影像焦點調整之近眼顯示系統100的操作之一方法400。方法400繪示用於對左眼顯示器110或右眼顯示器112之一者演現及顯示一光場圖框的程序之一次反覆,且因此針對顯示器110、112之各者並行地重複執行所繪示程序以在不同時間點針對各眼睛產生且顯示一不同光場圖框串流或序列,且因此向使用者提供一3D自動立體VR或AR體驗。
針對一待產生且顯示之光場圖框,方法400在方塊402處開始,藉此演現組件104將待向使用者之對應眼睛顯示之影像內容識別為一光場圖框。在至少一項實施例中,演現組件104接收表示來自各種姿勢相關感測器(諸如一陀螺儀、加速度計、磁力計、全球定位系統(GPS)感測器及類似者)之資料之IMU資訊150,且自IMU資訊150判定用以將顯示器110、112安裝於使用者眼睛附近之裝置114(例如,HMD)之一當前姿勢。執行演現程式144之CPU 136可自此當前姿勢判定主體場景或物件之一對應當前視點,且自此視點以及作為演現資訊148提供之場景或物件之圖形及空間描述判定待針對當前姿勢演現之影像。
在方塊404處,執行眼動追蹤程式146之CPU 136判定使用者之對應眼睛之當前姿勢。如本文中所解釋,可使用各種眼動追蹤技術之任何一者判定一眼睛之當前姿勢。一般言之,此等技術包含捕獲自眼睛之瞳孔及角膜反射的IR光之一或多個影像。眼動追蹤程式146接著可操縱CPU 136或GPU 138、140以分析影像以基於瞳孔反射或角膜反射之一者或兩者之對應位置判定眼睛之姿勢。此外,繼而可使用瞳孔相對於角膜之定向以判定眼睛之定向(即,眼睛之注視方向)。應注意,儘管圖4中將方塊404繪示為在方塊402之後,但方塊404之程序可在方塊402之程序之前、期間或之後
執行。
在判定使用者眼睛之當前姿勢的情況下,在方塊406處,演現程式144操縱CPU 136以基於使用者眼睛之當前姿勢計算小透鏡陣列124中之一或多個小透鏡126之一所要焦距(例如,至一所要焦點或焦平面)。如上文所解釋,焦距表示當觀看自小透鏡投射之光(攜帶影像資料)時獲得最清晰焦點之距離。特定言之,所要焦距意欲允許使用者眼睛注視所指向之影像元件(例如,虛擬影像中之物件、個體、場景及類似者)在透過小透鏡126投射之後被感知為聚焦。即,所要焦距用以動態調整自小透鏡投射之光射線會聚以匹配眼睛之當前姿勢之距離,由此改變感知影像內容之不同視圖之焦點。
在至少一項實施例中,所要焦距之計算至少部分基於使用使用者眼睛相對於顯示面板118之當前姿勢識別使用者正將其注視所投向的虛擬影像中之一虛擬物件。為闡釋,參考由圖5之截面視圖500所繪示之一實例性案例,虛擬影像可包含意欲由眼睛132在不同深度處感知之數個物件。例如,虛擬影像包含表示分別定位於虛擬影像內之深度d1及d2處的一椰子502及一樹504之影像資料。假定在此實例中,如在方塊404中判定之眼睛之當前姿勢判定使用者注視正聚焦於椰子502,所要焦距可經計算使得含有自小透鏡126-3投射之椰子502的影像資料之光聚焦於眼睛132背面處之一第一焦點508處。據此,虛擬影像中之椰子502將看似聚焦。
在一些實施例中,所要焦距之計算進一步包含一容納範圍之判定,該容納範圍一般指代將感知虛擬影像中之物件為聚焦之一深度範圍。定位於容納範圍內之物件可被感知為聚焦;定位於容納範圍外(即,位於過於接近或遠離眼睛之一虛擬深度處)之物件將不被感知為聚焦,即使眼睛之
當前姿勢正直接注視於彼容納範圍外之物件。例如,再次參考圖5,樹504將不被感知為聚焦,即使當樹504經定位於容納範圍506外時,眼睛之當前姿勢正直接注視於樹504。
相比而言,若已判定容納範圍512,則椰子502及樹504兩者可對於眼睛132看似聚焦。特定言之,假定在此實例中,如在方塊404中判定之眼睛之當前姿勢判定使用者注視在一第一時間t1正聚焦於椰子502,當虛擬影像中之椰子502經定位於容納範圍512內時,椰子502將看似聚焦。在一些實施例中,在第一時間t1,虛擬影像中之樹504經定位於容納範圍512內,但在眼睛之當前姿勢經聚焦於椰子502時不被感知為聚焦。即,容納範圍之判定進一步包含判定一或多個所要焦距,使得定位於容納範圍內但未由使用者注視聚焦之物件不被感知為完全聚焦。
可判定焦距以提供一或多個聚焦區域(其中所投向之注視感知物件係聚焦的)及散焦區域(其中提供散焦模糊),由此以視網膜模糊形式提供容納提示以協助深度感知之模擬。然而,在一隨後時間t2,若使用者注視經改變以聚焦於樹504,則當虛擬影像中之樹504經定位於容納範圍512內時,樹504將看似聚焦。類似地,椰子502經定位於容納範圍512內,但在眼睛之當前姿勢在第二時間t2聚焦於樹504時不被感知為聚焦。
在其他實施例中,在方塊406中計算一所要焦距可視情況包含補償使用者眼睛中之既有折射誤差(例如,近視、遠視)。例如,可將一平移施加於集成光場之各部分之所要焦距以校正使用者之近視或遠視,從而使正常時必須佩戴校正鏡片(例如,眼鏡或隱形眼鏡)之一使用者能夠在無需佩戴此等校正鏡片的情況下觀看影像為聚焦。類似補償亦可應用於考量歸因於環境狀況之機械/熱漂移或來自製造之組裝容差。
在判定所要焦距的情況下,在方塊408處,演現程式144操縱CPU 136以計算待施加於一可變折射率材料之一電壓。作為此程序之部分,CPU 136亦指示將所計算電壓應用於引發可變折射率材料之折射率之一變化,此繼而引起進入及離開本文中所論述之小透鏡的光之入射角之一變化。例如,再次參考圖1及圖2,一些實施例包含用可變折射率材料構造小透鏡。據此,將所計算電壓施加於小透鏡直接改變小透鏡之折射率以及進入及離開小透鏡陣列之光之入射角。在諸如關於圖3所論述之其他實施例中,可變折射率材料可經提供為安置於顯示面板118與小透鏡陣列124之間之一層。在此等實施例中,將所計算電壓施加於可變折射率材料層158僅直接改變折射率以及進入及離開可變折射率材料層158之光之入射角。然而,進入及離開可變折射率材料層158之光的入射角之變化導致由小透鏡陣列124接收之光的入射角之一變化,由此改變小透鏡126之焦點及焦距。GPU隨後在方塊410處演現光場框架且將光場圖框提供至運算顯示器110、112之對應者,以向使用者之眼睛132顯示方塊406及408之焦距調整。亦應注意,儘管圖4中將方塊410繪示為方法400之最後一個步驟,但方塊410之程序亦可在方塊402之程序之前、期間或之後執行。
如上文所解釋,本文中所描述之動態容納範圍調整及焦距改變程序利用一眼動追蹤組件(例如,眼動追蹤組件106、108)以判定一對應眼睛之當前姿勢。此眼動追蹤組件通常包含:一或多個IR照明器,其或其等用以照明眼睛;一成像攝影機,其用以捕獲來自眼睛之IR反射之影像;一或多個透鏡、波導或其他光學元件,其或其等用以將來自眼睛之反射IR光引導至成像攝影機;及一或多個處理器,其或其等執行一軟體程式以分析捕獲影像。
圖5繪示根據一些實施例之一額外實例性運算顯示器,諸如用於近眼顯示系統100以使用可變折射率材料進行容納範圍延伸之運算顯示器。如由截面視圖500所展示,在此組態中,小透鏡陣列124之小透鏡126-1、126-2、126-3、126-4、126-5(統稱「小透鏡126」)之各者用作至眼睛132上之一分離「投影儀」,其中各「投影儀」與一或多個鄰近投影儀重疊以自顯示面板118處顯示之元素影像陣列形成一複合虛擬影像。
如由視圖500所展示,一虛擬影像可包含意欲由眼睛132在不同深度處感知之數個物件。例如,虛擬影像包含表示分別定位於虛擬影像內之深度d1及d2處的一椰子502及一樹504之影像資料。假定在此實例中,眼睛132之一當前姿勢判定在一第一時間t1使用者注視正聚焦於椰子502,可變折射率材料層158之折射率可經運算(例如,由演現組件104)且經電改變,使得含有如自小透鏡投射之影像資料之光與一容納範圍506相關聯。
自小透鏡126-3投射之椰子502之影像資料經聚焦於眼睛132背面處之一第一焦點508處。據此,虛擬影像中之椰子502將在第一時間t1看似聚焦。然而,基於在第一時間t1可變折射率材料層158之折射率,含有來自小透鏡126-1之樹504的影像資料之光經聚焦於一第二焦點510處。換言之,樹504經定位於容納範圍506外。據此,虛擬影像中之樹504將在第一時間t1看似離焦(例如,模糊)。相比而言,若可變折射率材料層158之折射率已經運算以產生一容納範圍512,則椰子502及樹504兩者將對於眼睛132看似聚焦。
圖6係繪示根據一些實施例之用於在圖1的近眼顯示系統中進行動態焦距調整的一實例性變焦小透鏡陣列之一圖。如由俯視圖600所展示,在此組態中,小透鏡陣列124包含立方相位板604之一第一陣列602及立方相
位板604之一第二陣列606。相對於立方相位板604之第二陣列空間平移立方相位板602之第一陣列諸如達如圖6中所繪示之兩個陣列之間的橫向位移改變立方相位板604之焦距。藉由平移兩個疊加的立方相位功能,引入一可變二次(即,變焦)效應。類似地,小透鏡陣列124可包含兩個自由形態相位板陣列,諸如Lohmann-Alvarez變焦透鏡,其中透鏡之焦距藉由透鏡之間的一橫向位移而改變。此藉由使用精確定義之表面功能而實現動態焦距調整。在一些實施例中,上文所描述之技術之特定態樣可由執行軟體之一處理系統之一或多個處理器來實施。該軟體包括儲存或以其他方式有形體現於一非暫時性電腦可讀儲存媒體上之一或多個可執行指令集。該軟體可包含指令及特定資料,該等指令及特定資料在由一或多個處理器執行時操縱一或多個處理器以執行上文所描述之技術之一或多個態樣。非暫時性電腦可讀儲存媒體可包含例如一磁碟或光碟儲存器件、固態儲存器件(諸如快閃記憶體、一快取記憶體、隨機存取記憶體(RAM)、或另一或其他非揮發性記憶體器件)、及類似者。儲存於非暫時性電腦可讀儲存媒體上之可執行指令可為原始程式碼、組合語言程式碼、目標程式碼、或由一或多個處理器解譯或可以其他方式執行之其他指令格式。
一電腦可讀儲存媒體可包含在使用期間可由一電腦系統存取以將指令及/或資料提供給該電腦系統之任何儲存媒體或儲存媒體之組合。此儲存媒體可包含但不限於光學媒體(例如,光碟(CD)、數字多功能光碟(DVD)、藍光光碟)、磁性媒體(例如,軟碟、磁帶或磁性硬碟機)、揮發性記憶體(例如,隨機存取記憶體(RAM)或快取記憶體)、非揮發性記憶體(例如,唯讀記憶體(ROM)或快閃記憶體)或基於微機電系統(MEMS)之儲存媒體。電腦可讀儲存媒體可經嵌入運算系統(例如,系統RAM或ROM)
中,固定地附接至運算系統(例如,一磁性硬碟機),可拆卸地附接至運算系統(例如,一光碟或基於通用串列匯流排(USB)之快閃記憶體),或經由一有線或無線網路(例如,網路可存取儲存裝置(NAS))耦合至電腦系統。
應注意,並非需要上文在概述中所描述之所有活動或元件,可能無需一特定活動或器件之一部分,且可執行一或多個進一步活動,或包含除彼等所描述元件外之元件。更進一步,列舉活動之順序不必係執行其等之順序。再者,概念已參考特定實施例予以描述。然而,一般技術者應明白,可在不背離如下文發明申請專利範圍中所闡述之本發明的範疇之情況下作出各種修改及變化。據此,說明書及圖將被視為闡釋性而非限制性意義,且所有此等修改意欲包含於本發明之範疇內。
上文已關於特定實施例描述優勢、其他優點及問題之解決方案。然而,優勢、優點、問題之解決方案、及可能引起任何優勢、優點或解決方案發生或變得更明顯之任何(若干)特徵不應被解釋為任何或所有發明申請專利範圍之一關鍵、必需或至關重要的特徵。此外,上文所揭示之特定實施例僅係闡釋性的,此係因為所揭示標的物可依對受益於本文教示之熟習此項技術者顯而易見之不同但等效之方式修改及實踐。除如下文發明申請專利範圍中所描述外,並非意欲限制本文中所展示之構造或設計之細節。因此顯然,可更改或修改上文所揭示之特定實施例,且所有此等變化被視為在所揭示標的物之範疇內。因此,本文中所尋求之保護係如下文發明申請專利範圍中闡述般。
400:方法
402:步驟
404:步驟
406:步驟
408:步驟
410:步驟
Claims (19)
- 一種在一近眼(near-eye)顯示系統中之方法,其包括:使用該近眼顯示系統之一眼動追蹤組件判定一使用者之眼睛之一第一姿勢;藉由識別由該使用者之眼睛的該第一姿勢而聚焦之一目標物件相對於一集成光場圖框內之一或多個其他物件的虛擬深度之一虛擬深度,以基於該使用者之眼睛之該第一姿勢判定形成該集成光場圖框之一元素影像陣列之一所要焦點;使用安置於一顯示面板與一小透鏡陣列之間之一相位遮罩,以基於該使用者之眼睛之該第一姿勢及該所要焦點改變自該小透鏡陣列投射出之光之焦距;基於經改變之光之該焦距,以在該集成光場圖框內之一位置處演現(rendering)該元素影像陣列;及在該近眼顯示系統之該顯示面板處顯示該集成光場圖框。
- 如請求項1之方法,其中判定該使用者之眼睛之該第一姿勢包括:使用安置於該顯示面板與覆蓋該顯示面板之該小透鏡陣列之間的一成像攝影機捕獲該使用者之眼睛之影像。
- 如請求項1之方法,其中改變該焦距包括:將一電壓施加於安置於該顯示面板與該小透鏡陣列之間的一可變折射率材料以引發該可變折射率材料之一折射率之一變化,其中該折射率之 該變化引起進入及離開該小透鏡陣列之光的入射角之一變化。
- 如請求項1之方法,其中改變該焦距包括:將一電壓施加於包括一可變折射率材料之該小透鏡陣列中之一或多個小透鏡以引發該一或多個小透鏡之一折射率之一變化,其中該折射率之該變化引起進入及離開該小透鏡陣列之光的該等入射角之一變化。
- 如請求項1之方法,其中改變該焦距包括:將一電壓施加於與該小透鏡陣列之一第一部分相關聯之一可變折射率材料以引發該可變折射率材料之一折射率之一變化,其中該小透鏡陣列之該第一部分可相對於該小透鏡陣列之一第二部分獨立定址,且進一步其中該折射率之該變化引起進入及離開該第一部分的光之入射角之一變化而不改變進入及離開該小透鏡陣列之該第二部分的光之入射角。
- 如請求項1之方法,其中判定該元素影像陣列之該所要焦點進一步包括:判定該所要焦點以補償該使用者之眼睛中之既有折射誤差。
- 一種在一近眼顯示系統中之方法,其包括:在一第一時間,使用該近眼顯示系統之一眼動追蹤組件判定一使用者之眼睛相對於該近眼顯示系統之一顯示面板之一第一姿勢;演現包括一元素影像陣列之一集成光場圖框;基於該使用者之眼睛之該第一姿勢,使用與一第一容納範圍相關聯 之一小透鏡陣列呈現該集成光場圖框以供顯示;識別由該使用者之眼睛的該第一姿勢聚焦之一物件相對於該集成光場圖框內之其他物件的虛擬深度之一虛擬深度;在一第二時間,使用該眼動追蹤組件判定該使用者之眼睛相對於該顯示面板之一第二姿勢,該第二姿勢不同於該第一姿勢;及基於該使用者之眼睛之該第二姿勢將該小透鏡陣列之該第一容納範圍調整至一第二容納範圍且使用該小透鏡陣列呈現該集成光場圖框以供顯示,該第二容納範圍不同於該第一容納範圍,其中將該第一容納範圍調整至一第二容納範圍包含使用安置於該顯示面板與該小透鏡陣列之間之一相位遮罩改變一焦距。
- 如請求項7之方法,其中將該第一容納範圍調整至該第二容納範圍包括:將一電壓施加於安置於該顯示面板與該小透鏡陣列之間的一可變折射率材料以引發該可變折射率材料之一折射率之一變化,其中該折射率之該變化引起進入及離開該小透鏡陣列之光的入射角之一變化。
- 如請求項7之方法,其中將該第一容納範圍調整至該第二容納範圍包括:將一電壓施加於包括一可變折射率材料之該小透鏡陣列中之一或多個小透鏡以引發該一或多個小透鏡之一折射率之一變化,其中該折射率之該變化引起進入及離開該小透鏡陣列之光的該等入射角之一變化。
- 如請求項7之方法,其中將該第一容納範圍調整至該第二容納範圍包括:將一電壓施加於與該小透鏡陣列之一第一部分相關聯之一可變折射率材料以引發該可變折射率材料之一折射率之一變化,其中該小透鏡陣列之該第一部分可相對於該小透鏡陣列之一第二部分獨立定址,且進一步其中該折射率之該變化引起進入及離開該第一部分的光之入射角之一變化而不改變進入及離開該小透鏡陣列之該第二部分的光之入射角。
- 如請求項7之方法,其進一步包括:計算該第一容納範圍,使得該小透鏡陣列之一折射率將該第一容納範圍內之虛擬深度處之其他物件呈現為聚焦。
- 如請求項7之方法,其進一步包括:計算該第一容納範圍,使得當該使用者之眼睛之一注視聚焦於該物件時,該小透鏡陣列之一折射率將該第一容納範圍內之虛擬深度處之其他物件呈現為離焦。
- 一種近眼顯示系統,其包括:一顯示面板,其用以顯示包括一元素影像陣列之一集成光場圖框;一眼動追蹤組件,其用以追蹤一使用者之眼睛之一姿勢;一小透鏡陣列,其用以向該使用者之眼睛呈現該集成光場圖框;一相位遮罩,其在該顯示面板與該小透鏡陣列之間;及一演現組件,其用以基於該使用者之眼睛之該姿勢調整該集成光場 圖框中之該元素影像陣列之焦點,其中該演現組件藉由識別由該使用者之眼睛的該姿勢聚焦之一目標物件相對於該集成光場圖框內之其他物件的虛擬深度之一虛擬深度而調整該元素影像陣列之該焦點。
- 如請求項13之近眼顯示系統,其中該演現組件藉由以下步驟調整該元素影像陣列之該焦點:將一電壓施加於與該小透鏡陣列相關聯之一可變折射率材料以引發該可變折射率材料之折射率之一變化以改變進入及離開該小透鏡陣列之光的入射角。
- 如請求項13之近眼顯示系統,其中該小透鏡陣列包括一可變折射率材料,且進一步其中該演現組件藉由以下步驟調整該元素影像陣列之該焦點:將一電壓施加於該小透鏡陣列中之一個或多個小透鏡以引發該一或多個小透鏡之該折射率之一變化且改變進入及離開該小透鏡陣列之光之該等入射角。
- 如請求項13之近眼顯示系統,其進一步包括:一可變折射率材料,其經安置於該顯示面板與該小透鏡陣列之間,其中將一電壓施加於該可變折射率材料引發該可變折射率材料之該折射率之一變化且改變進入及離開該小透鏡陣列之光之該等入射角。
- 如請求項13之近眼顯示系統,其中該眼動追蹤組件包括:一組一或多個紅外(IR)照明器,其等用以將光投射至該使用者之眼睛上;及一成像攝影機,其經安置於該小透鏡陣列與該顯示面板之間且透過該小透鏡陣列朝向該使用者之眼睛定向。
- 一種演現系統,其包括:至少一個處理器;一輸入端,其用以自一眼動追蹤組件接收資料,該資料指示一使用者之眼睛相對於一近眼顯示面板之一姿勢;及一儲存組件,其用以儲存一可執行指令集,該可執行指令集經組態以操縱該至少一個處理器以演現包括一元素影像陣列之一集成光場圖框,該可執行指令集進一步經組態以操縱該至少一個處理器以基於該使用者之眼睛之該姿勢使用在該近眼顯示面板與一小透鏡陣列之間之一相位遮罩調整該集成光場圖框中之該元素影像陣列之焦點,該可執行指令集經組態以操縱該至少一個處理器以藉由識別由該使用者之眼睛的該姿勢聚焦之一目標物件相對於該集成光場圖框內之其他物件的虛擬深度之一虛擬深度而調整該等焦點。
- 如請求項18之演現系統,其中該可執行指令集經組態以操縱該至少一個處理器以藉由以下步驟調整該等焦點:計算待施加於與該小透鏡陣列相關聯之一可變折射率材料之一電壓以引發該可變折射率材料之折射率之一變化,以改變進入及離開該小透鏡陣列之光之入射角。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201762511567P | 2017-05-26 | 2017-05-26 | |
US62/511,567 | 2017-05-26 | ||
US15/897,633 | 2018-02-15 | ||
US15/897,633 US10855977B2 (en) | 2017-05-26 | 2018-02-15 | Near-eye display with extended accommodation range adjustment |
Publications (2)
Publication Number | Publication Date |
---|---|
TW201901244A TW201901244A (zh) | 2019-01-01 |
TWI720293B true TWI720293B (zh) | 2021-03-01 |
Family
ID=61557340
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW107107311A TWI720293B (zh) | 2017-05-26 | 2018-03-05 | 具延伸容納範圍調整之近眼顯示器 |
Country Status (6)
Country | Link |
---|---|
US (2) | US10855977B2 (zh) |
JP (1) | JP6952123B2 (zh) |
KR (1) | KR102389330B1 (zh) |
DE (1) | DE202018101012U1 (zh) |
TW (1) | TWI720293B (zh) |
WO (1) | WO2018217252A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11520142B1 (en) | 2021-06-17 | 2022-12-06 | Coretronic Corporation | Light field near-eye display and method thereof for generating virtual reality images |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11435583B1 (en) * | 2018-01-17 | 2022-09-06 | Apple Inc. | Electronic device with back-to-back displays |
US11067724B2 (en) * | 2018-10-26 | 2021-07-20 | Google Llc | Fresnel-based varifocal lens assembly for VR or AR displays |
US11022835B2 (en) | 2018-12-15 | 2021-06-01 | Facebook Technologies, Llc | Optical system using segmented phase profile liquid crystal lenses |
CN111399219A (zh) * | 2019-02-28 | 2020-07-10 | 南昌虚拟现实研究院股份有限公司 | 虚拟现实镜组、设备以及*** |
US11927776B2 (en) * | 2019-03-08 | 2024-03-12 | Interdigital Madison Patent Holdings, Sas | Optical method and system for light field displays based on beams with extended depth of focus |
CN111999889A (zh) * | 2019-05-11 | 2020-11-27 | 京东方科技集团股份有限公司 | 曲面透镜和显示装置 |
CN110308566B (zh) * | 2019-06-28 | 2021-12-03 | 上海慧希电子科技有限公司 | 显示***及双目*** |
KR20220005958A (ko) * | 2020-07-07 | 2022-01-14 | 삼성전자주식회사 | 사용자의 시력을 교정하고 캘리브레이션을 수행하는 디바이스 및 방법 |
CN117998071B (zh) * | 2024-04-07 | 2024-06-18 | 清华大学 | 眼动追踪光场3d显示方法、装置、电子设备及存储介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012062681A1 (de) * | 2010-11-08 | 2012-05-18 | Seereal Technologies S.A. | Anzeigegerät, insbesondere ein head-mounted display, basierend auf zeitlichen und räumlichen multiplexing von hologrammkacheln |
US20140292620A1 (en) * | 2012-08-04 | 2014-10-02 | Paul Lapstun | Near-Eye Light Field Display |
TW201439590A (zh) * | 2012-12-19 | 2014-10-16 | Nvidia Corp | 近眼微透鏡陣列顯示器 |
US20150262424A1 (en) * | 2013-01-31 | 2015-09-17 | Google Inc. | Depth and Focus Discrimination for a Head-mountable device using a Light-Field Display System |
US20160295202A1 (en) * | 2015-04-03 | 2016-10-06 | Avegant Corporation | System, apparatus, and method for displaying an image using focal modulation |
US9519144B2 (en) * | 2013-05-17 | 2016-12-13 | Nvidia Corporation | System, method, and computer program product to produce images for a near-eye light field display having a defect |
US20170061838A1 (en) * | 2015-08-03 | 2017-03-02 | Oculus Vr, Llc | Compensation of Chromatic Dispersion in a Tunable Beam Steering Device for Improved Display |
Family Cites Families (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0886802B1 (en) | 1996-03-15 | 2001-11-21 | Retinal Display Cayman Ltd. | Method of and apparatus for viewing an image |
JP2000249974A (ja) * | 1999-03-02 | 2000-09-14 | Canon Inc | 表示装置及び立体表示装置 |
US20040212550A1 (en) * | 1999-12-16 | 2004-10-28 | Zhan He | Three-dimensional volumetric display |
US20050237622A1 (en) * | 2003-07-28 | 2005-10-27 | Kazutora Yoshino | Color 3D image display |
WO2006017771A1 (en) | 2004-08-06 | 2006-02-16 | University Of Washington | Variable fixation viewing distance scanned light displays |
WO2012055824A1 (en) * | 2010-10-26 | 2012-05-03 | Bae Systems Plc | Display assembly, in particular a head-mounted display |
US9292973B2 (en) * | 2010-11-08 | 2016-03-22 | Microsoft Technology Licensing, Llc | Automatic variable virtual focus for augmented reality displays |
US9304319B2 (en) | 2010-11-18 | 2016-04-05 | Microsoft Technology Licensing, Llc | Automatic focus improvement for augmented reality displays |
US20130088413A1 (en) * | 2011-10-05 | 2013-04-11 | Google Inc. | Method to Autofocus on Near-Eye Display |
US20130285885A1 (en) * | 2012-04-25 | 2013-10-31 | Andreas G. Nowatzyk | Head-mounted light-field display |
CN103076706B (zh) | 2013-01-05 | 2015-02-04 | 东南大学 | 一种焦距可调液晶微透镜阵列 |
US10503042B2 (en) | 2013-03-15 | 2019-12-10 | Lensvector Inc. | Methods and apparatus for focus improvement in multiple liquid crystal cell lenses |
WO2014176695A1 (en) | 2013-04-30 | 2014-11-06 | Lensvector Inc. | Reprogrammable tuneable liquid crystal lens intraocular implant and methods therefor |
US9767580B2 (en) * | 2013-05-23 | 2017-09-19 | Indiana University Research And Technology Corporation | Apparatuses, methods, and systems for 2-dimensional and 3-dimensional rendering and display of plenoptic images |
CN109445095B (zh) * | 2013-11-27 | 2021-11-23 | 奇跃公司 | 虚拟和增强现实***与方法 |
IL247588B2 (en) * | 2014-03-05 | 2023-12-01 | Univ Arizona | A three-dimensional wearable display for augmented reality with a focus that can be changed and/or object recognition |
US10203762B2 (en) * | 2014-03-11 | 2019-02-12 | Magic Leap, Inc. | Methods and systems for creating virtual and augmented reality |
CN106797423B (zh) * | 2014-06-27 | 2019-12-06 | Fove股份有限公司 | 视线检测装置 |
CN105717640B (zh) * | 2014-12-05 | 2018-03-30 | 北京蚁视科技有限公司 | 基于微透镜阵列的近眼显示器 |
CN107003734B (zh) | 2014-12-23 | 2019-12-17 | 美达视野股份有限公司 | 将视觉调节和视觉会聚耦合到感兴趣对象的任何深度处的同一平面的设备、方法和*** |
KR102612039B1 (ko) | 2015-04-24 | 2023-12-08 | 엘지디스플레이 주식회사 | 홀로그램 디스플레이 |
US9881529B2 (en) | 2015-06-12 | 2018-01-30 | Innolux Corporation | Display device and operating method thereof |
KR102593113B1 (ko) * | 2015-07-03 | 2023-10-25 | 에씰로 앙터나시오날 | 증강 현실을 위한 방법 및 시스템 |
US10042165B2 (en) * | 2015-08-03 | 2018-08-07 | Oculus Vr, Llc | Optical system for retinal projection from near-ocular display |
CN106375694B (zh) * | 2015-12-31 | 2019-04-23 | 北京智谷睿拓技术服务有限公司 | 光场显示控制方法和装置、光场显示设备 |
US10757400B2 (en) * | 2016-11-10 | 2020-08-25 | Manor Financial, Inc. | Near eye wavefront emulating display |
-
2018
- 2018-02-15 KR KR1020197025030A patent/KR102389330B1/ko active IP Right Grant
- 2018-02-15 WO PCT/US2018/018432 patent/WO2018217252A1/en unknown
- 2018-02-15 US US15/897,633 patent/US10855977B2/en active Active
- 2018-02-15 JP JP2019546240A patent/JP6952123B2/ja active Active
- 2018-02-23 DE DE202018101012.3U patent/DE202018101012U1/de active Active
- 2018-03-05 TW TW107107311A patent/TWI720293B/zh not_active IP Right Cessation
-
2020
- 2020-10-27 US US17/081,650 patent/US11435576B2/en active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012062681A1 (de) * | 2010-11-08 | 2012-05-18 | Seereal Technologies S.A. | Anzeigegerät, insbesondere ein head-mounted display, basierend auf zeitlichen und räumlichen multiplexing von hologrammkacheln |
US20140292620A1 (en) * | 2012-08-04 | 2014-10-02 | Paul Lapstun | Near-Eye Light Field Display |
TW201439590A (zh) * | 2012-12-19 | 2014-10-16 | Nvidia Corp | 近眼微透鏡陣列顯示器 |
US20150262424A1 (en) * | 2013-01-31 | 2015-09-17 | Google Inc. | Depth and Focus Discrimination for a Head-mountable device using a Light-Field Display System |
US9519144B2 (en) * | 2013-05-17 | 2016-12-13 | Nvidia Corporation | System, method, and computer program product to produce images for a near-eye light field display having a defect |
US20160295202A1 (en) * | 2015-04-03 | 2016-10-06 | Avegant Corporation | System, apparatus, and method for displaying an image using focal modulation |
US20170061838A1 (en) * | 2015-08-03 | 2017-03-02 | Oculus Vr, Llc | Compensation of Chromatic Dispersion in a Tunable Beam Steering Device for Improved Display |
Non-Patent Citations (1)
Title |
---|
Albertina Castro, Yann Frauel, and Bahram Javidi, "Integral imaging with large depth of field using an asymmetric phase mask", Optics Express, Vol.15, No.16, page10266-1027373, September 2007 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11520142B1 (en) | 2021-06-17 | 2022-12-06 | Coretronic Corporation | Light field near-eye display and method thereof for generating virtual reality images |
US11914142B2 (en) | 2021-06-17 | 2024-02-27 | Coretronic Corporation | Light field near-eye display and method thereof for generating virtual reality images |
Also Published As
Publication number | Publication date |
---|---|
US20180343443A1 (en) | 2018-11-29 |
US10855977B2 (en) | 2020-12-01 |
JP6952123B2 (ja) | 2021-10-20 |
DE202018101012U1 (de) | 2018-05-22 |
KR20190131021A (ko) | 2019-11-25 |
JP2020521991A (ja) | 2020-07-27 |
WO2018217252A1 (en) | 2018-11-29 |
TW201901244A (zh) | 2019-01-01 |
KR102389330B1 (ko) | 2022-04-22 |
US11435576B2 (en) | 2022-09-06 |
US20210076025A1 (en) | 2021-03-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI720293B (zh) | 具延伸容納範圍調整之近眼顯示器 | |
US11487121B2 (en) | Virtual and augmented reality systems and methods having improved diffractive grating structures | |
US20210018753A1 (en) | Dual depth exit pupil expander | |
US9915826B2 (en) | Virtual and augmented reality systems and methods having improved diffractive grating structures | |
US10241329B2 (en) | Varifocal aberration compensation for near-eye displays | |
KR102447098B1 (ko) | 3d 디스플레이 장치 및 방법 | |
JP7005658B2 (ja) | 非平面コンピュテーショナルディスプレイ | |
CN113196141B (zh) | 使用分段相位剖面液晶透镜的光学*** | |
US10775617B2 (en) | Eye tracked lens for increased screen resolution | |
CN110325897B (zh) | 具有扩展的调节范围调整的近眼显示器 | |
CN115087909B (zh) | 用于照明光学器件的衍射元件的基于偏振的复用 | |
US20170359572A1 (en) | Head mounted display and operating method thereof | |
JP2022545443A (ja) | 高屈折率材料を使用した平坦スペクトル応答格子 | |
US20240264442A1 (en) | Gradient-index liquid crystal lens having curved surface shape | |
US20240231162A1 (en) | Gradient-index liquid crystal lens system including guest-host liquid crystal layer for reducing light leakage | |
CN118444508A (zh) | 具有曲面形状的渐变折射率液晶透镜 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
MM4A | Annulment or lapse of patent due to non-payment of fees |