TWI537598B

TWI537598B - 用於設計用於在一頭戴式顯示器中使用之一自由空間反射光學表面的基於電腦之方法、用於執行該方法之電腦程式、執行該方法之程式化電腦系統

Info

Publication number: TWI537598B
Application number: TW100148681A
Authority: TW
Inventors: 葛雷果瑞Ａ哈理森; 大衛愛倫史密斯; 蓋瑞Ｅ威斯
Original assignee: 洛伊馬汀公司
Priority date: 2011-12-26
Filing date: 2011-12-26
Publication date: 2016-06-11
Also published as: TW201326894A

Description

用於設計用於在一頭戴式顯示器中使用之一自由空間反射光學表面的基於電腦之方法、用於執行該方法之電腦程式、執行該方法之程式化電腦系統

本發明係關於用於創造(亦即，設計或設計且生產)用於在頭戴式顯示器中使用之自由空間反射光學表面的方法及系統。更一般而言，本發明係關於用於創造用於顯示來自固持成緊密接近使用者之眼睛之發光顯示器件的影像之自由空間光學表面的方法及系統。

反射光學表面在本文中被稱作「自由空間」表面，此係因為表面之局部空間位置、局部表面曲率及局部表面定向不與特定基板(諸如，x-y平面)有關，而是在表面之設計期間使用在三維空間中適用之基本光學原理(例如，Fermat及Hero最小時間原理)來判定。

諸如戴頭盔式顯示器或戴眼鏡式顯示器之頭戴式顯示器(本文中簡寫為「HMD」)為佩戴在個人之頭部上的顯示器件，其具有位於使用者之一個眼睛或(更通常地)兩個眼睛附近之一或多個小的顯示器件。圖1展示一種類型之HMD之基本元件，該HMD包括顯示器11、反射光學表面13及具有旋轉中心17之眼睛15。如在此圖中所展示，來自顯示器11之光19由表面13反射且進入使用者之眼睛15。

一些HMD僅顯示模擬(電腦產生之)影像(如與真實世界影像相反)，且因此常被稱作「虛擬實境」或浸沒式HMD。其他HMD在非模擬之真實世界影像上疊置(組合)模擬影像。非模擬影像與模擬影像之組合允許HMD使用者經由(例如)護目鏡或接目鏡檢視世界，與待執行之任務相關的額外資料在護目鏡或接目鏡上疊置至使用者之前向視野(FOV)上。此疊置有時被稱作「擴增實境」或「混合實境」。

可使用部分反射/部分透射光學表面(「光束分光器」)來達成將非模擬之真實世界視圖與模擬之影像組合，在該情況下，表面之反射率用以將模擬影像作為虛擬影像(在光學意義上)顯示，且表面之透射率用以允許使用者直接檢視真實世界(被稱作「光學透視(see-through)系統」)。亦可藉由接受來自攝影機之真實世界視圖之視訊且使用組合器將其與模擬影像以電子方式混合來以電子方式進行將真實世界視圖與模擬影像組合(被稱作「視訊透視系統」)。接著可借助於反射光學表面(在此情況下，其不需要具有透射屬性)將組合影像作為虛擬影像(在光學意義上)呈現給使用者。

自前述內容可看出，反射光學表面可用於HMD中，HMD向使用者提供：(i)模擬影像與非模擬真實世界影像之組合、(ii)模擬影像與真實世界視訊影像之組合，或(iii)純模擬影像。(最後情況常被稱作「浸沒式」系統。)在此等情況中之每一者下，反射光學表面產生由使用者檢視之虛擬影像(在光學意義上)。歷史上，此等反射光學表面已為出射光瞳已實質上不僅限制使用者可得之動態視野而且限制靜態視野之光學系統的部分。具體言之，為了看到由光學系統產生之影像，使用者需要將其眼睛與光學系統之出射光瞳對準且將其保持為如此對準，且甚至接著，使用者可見之影像將不覆蓋使用者的整個完全靜態之視野，亦即，在已使用反射光學表面之HMD中使用的先前光學系統已為光瞳形成系統之部分，且因此已受到出射光瞳限制。

系統已受如此限制之原因為人類視野顯著大之基本事實。因此，人類眼睛之靜態視野(包括眼睛之視窩視覺及周邊視覺兩者)在水平方向上為大約~150°且在垂直方向上為大約~130°。(出於本發明之目的，150度將用作標稱人類眼睛之直前方靜態視野。)具有能夠容納此大的靜態視野之出射光瞳的良好校正之光學系統稀少，且當其存在時，其昂貴且體積大。

此外，由於眼睛可圍繞其旋轉中心旋轉，亦即，人類大腦可藉由改變眼睛之凝視方向在不同的方向上瞄準人類眼睛之視窩+周邊視野，因此人類眼睛之操作視野(動態視野)甚至更大。對於標稱眼睛，垂直運動範圍為大約向上~40°及向下~60°，且水平運動範圍為大約自直前方±~50°。對於由先前在HMD中使用的類型之光學系統產生的大小之出射光瞳，眼睛之甚至小的旋轉亦將實質上減少在眼睛之靜態視野與出射光瞳之間存在的重疊部分，且較大旋轉將使影像完全消失。雖然理論上有可能，但將與使用者之眼睛同步移動之出射光瞳不切實際且將極為昂貴。

鑒於人類眼睛之此等屬性，就提供允許使用者以與其將檢視自然世界之方式相同的方式檢視由影像顯示系統產生之影像的光學系統而言，存在相關的三個視野。三個視野中之最小者為由使用者旋轉其眼睛且因此使其視窩在外部世界上掃描之能力界定的視野。最大旋轉為自直前方大約±50°，因此此視野(視窩動態視野)為大約100°。三個視野中之中間者為直前方靜態視野，且包括使用者之視窩視覺及周邊視覺兩者。如上文所論述，此視野(視窩+周邊靜態視野)為大約150°。三個視野中之最大者為由使用者旋轉其眼睛且因此使其視窩加其周邊視覺在外部世界上掃描之能力界定的視野。基於大約±50°之最大旋轉及大約150°之視窩+周邊靜態視野，此最大視野(視窩+周邊動態視野)為大約200°。視野自至少100度至至少150度且接著至至少200度之此增加尺度為使用者提供益處(就其以直觀且自然方式檢視由影像顯示系統產生之影像之能力而言)。

因此，存在對用於在具有與人類眼睛之視野(靜態及動態兩者)的改良之相容性的HMD中使用之反射光學表面之需求。亦存在對可用以在HMD中將虛擬影像(在光學意義上)提供至人類眼睛而無由外部出射光瞳強加之限制的反射光學表面之需求。本發明提供用於創造此等表面之方法及系統。

定義

在本發明之其餘部分中及在申請專利範圍中，片語「虛擬影像」以其光學意義使用，亦即，虛擬影像為經感知為來自特定處之影像，而事實上，正被感知之光並非源於彼處。

貫穿本發明，以下片語/術語應具有以下意義/範圍：

(1)　片語「反射光學表面」(本文中亦被稱作「反射表面」)應包括僅具反射性之表面以及具反射性及透射性兩者之表面。在任一情況下，反射率可為僅部分的，亦即，入射光之部分可透射穿過該表面。同樣，當表面具反射性及透射性兩者時，反射率及/或透射率可為部分的。

(2)　片語「視野」及其縮寫FOV指代在影像(眼睛)空間中的「視在」視野，如與在物(亦即，顯示器)空間中的「真實」視野相反。

根據一態樣，揭示用於設計用於在一頭戴式顯示器中使用之一自由空間反射光學表面(13)的基於電腦之方法及相關聯之電腦系統，該自由空間反射光學表面產生一顯示表面(11)之一虛擬影像以用於由一使用者之眼睛(15)在一預選定空間位置處檢視，該等方法包括使用一或多個電腦執行以下步驟：

(a)藉由複數個顯示物件(25)表示該顯示表面(11)；

(b)藉由複數個表面元件(23)表示該自由空間反射光學表面(13)，每一表面元件(23)之特徵在於：(i)相對於該顯示表面(11)、一標稱使用者之眼睛(15)及該虛擬影像之該預選定空間位置的一空間位置，(ii)一法線，及(iii)一曲率半徑；

(c)在於該頭戴式顯示器之使用期間每一顯示物件(25)之在該預選定空間位置處之一虛擬影像將被顯示給一標稱使用者之眼睛(15)之方向上使該顯示物件(25)與至少一表面元件(23)相關聯，每一表面元件(23)與一個且僅一個顯示物件(25)相關聯；

(d)對於每一表面元件(23)，進行以下步驟：

(i)　界定該元件之一初始空間位置；

(ii)　使用該元件之初始空間位置、與該元件相關聯之該顯示物件(25)之位置及一標稱使用者之眼睛(15)之一旋轉中心(17)的位置來計算該元件之法線之一初始方向，使得來自該顯示物件(25)之自該元件反射離開的光將穿過該旋轉中心；及

(iii)　計算該元件之一初始曲率半徑，使得該顯示物件(25)之該虛擬影像處於該預選定空間位置處；及

(e)對於每一表面元件(23)，藉由以迭代方式調整該等元件之該等空間位置直至一誤差函數滿足一預定準則，計算該元件之一最終空間位置、該元件之法線之一最終方向及該元件及一組周圍元件之一最終曲率半徑。

根據另一態樣，揭示用於設計用於在一頭戴式顯示器中使用之一自由空間反射光學表面(13)的基於電腦之方法及相關聯之電腦系統，該自由空間反射光學表面產生一顯示表面(11)之一虛擬影像以用於由一使用者之眼睛(15)檢視，該方法包括使用一或多個電腦執行以下步驟：

(a)藉由複數個顯示物件(25)表示該顯示表面(11)；

(b)藉由複數個表面元件(23)表示該自由空間反射光學表面(13)；及

(c)針對該等表面元件(23)中之每一者以迭代方式計算至少一空間位置及至少一法線，該至少一空間位置及該至少一法線將使每一顯示物件(25)之一虛擬影像在針對彼顯示物件之一標稱使用者之眼睛(15)的一所要凝視方向上顯示給該眼睛(15)。

在各種實施例中，根據本文中揭示之基於電腦之方法設計的反射光學表面可向使用者提供全視窩動態視野、全視窩+周邊靜態視野或全視窩+周邊動態視野。

在本發明之態樣之以上概述中使用的參考數字(該等參考數字為代表性的且並非全包括性或詳盡的)僅為了讀者方便起見，且並不意欲且不應被解釋為限制本發明之範疇。更一般而言，應理解，前述一般描述及以下詳細描述皆僅例示性說明本發明，且並不意欲提供用於理解本發明之性質及特性的綜述或架構。

本發明之額外特徵及優勢在以下詳細描述中陳述，且自彼描述部分地對熟習此項技術者而言將為易於顯而易見的，或藉由實踐如由本文中之描述例示性說明之本發明來認識。包括隨附圖式以提供對本發明之進一步理解，且將隨附圖式併入且構成此說明書之一部分。應理解，在此說明書中及在圖式中揭示之本發明之各種特徵可以任何或所有組合使用。

為了使人類聚焦於近於大約25公分之物件，一般有必要調整正自該物件發射之光之光學屬性。調整光之光學屬性使得其可由人類眼睛聚焦之一種方式為使光準直，從而產生具有平行光束及平波前之光。離開點光源之光之波前具有球面形狀，且其曲率可由稱作聚散度(或V)之屬性定義。聚散度係以屈光度[D]來量測，其中聚散度之量由距光源之距離(以公尺為單位)判定。因此，若觀測者距點光源距離「s」[m]，則聚散度為：

等式(1)

亦即，聚散度等於距點光源之距離「s」的倒數，且具有用於屈光度之單位[D]。將聚散度展示為負的，此係因為彼為指示光線正發散之標準表示。

一般而言，人類不能調適其眼睛以聚焦於近於25公分之物。此有時稱作「近點」。因此，在調適極限下之聚散度Va為：

等式(2)

因此，若聚散度發散大於-4 D，諸如，當非光學校正之物件近於25 cm時，則眼睛不能聚焦於該物件。

本文中揭示之自由空間反射光學表面之某些實施例的目標中之一者為在自表面反射之後進入眼睛之所有光的聚散度具有相比V_a更接近零之負聚散度。因為眼睛亦不能聚焦於具有大於零之聚散度的光，所以彼等實施例之另一目標為至物件之虛擬影像的距離不能超出無限遠，因此聚散度必須大於零，或

此本質上意謂

V 0[D]。

為了使物件之虛擬影像出現在遠於25 cm之點處，需要將待達成之聚散度設定為所要距離之倒數。舉例而言，對於20[m]之距離，進入眼睛之光波之聚散度為：

V=-1/20=-0.05[D]。

且，對於50[m]之距離，聚散度為：

V=-1/50=-0.02[D]。

若顯示器遠離眼睛25 cm，則顯示器之聚散度為：

且眼睛可聚焦於該顯示器。若在圖1中，顯示器在使用者之前額上且光線自反射表面(鏡)反射離開，則自顯示器上之像素至眼睛之總距離s為：

s=s _P+s _R’

其中s_P及s_R分別指示在圖1中之線段P及R之長度。將假定顯示器不執行其發射之照明之任何準直或其發射之照明之光學屬性的任何改變。如較早所論述，若不存在光學校正，則自眼睛至顯示器之距離必須大於或等於25 cm。

假定，需要具有看似遠離眼睛之中心50[m]之虛擬影像，則進入眼睛之光之聚散度必須為：

等式(3)

為了實現此聚散度，反射表面必須在其將光引導至眼睛內時會聚發出至其上之光。反射表面必須提供之會聚焦度P之量將取決於自顯示器至表面之距離且在較少程度上取決於自眼睛至表面之距離而變化。圖2展示相關參數，其中：

P=凹面反射器之焦度[D]

W=至虛擬影像之所要距離[m]

l=至物件之距離[m]，在此情況下，物件為顯示物件

s_P=l=如由圖1中之線段P展示的距顯示器之距離[m]

(注意，歸因於光學慣例及由鏡進行之光徑之反射，sp為負的)

s_R=如由圖1中之線段R展示的自反射器至眼睛之距離[m]

l'=自反射器之表面至影像21(在此情況下，虛擬影像)之距離[m]

自圖2可看出：

l'=W-s _R

等式(4)

與距離l'相關聯之聚散度為：

等式(5)

自高斯鏡等式，

L=L'-P

等式(6)

其中L為與自顯示器至反射器之距離l相關聯之聚散度，該距離l為：

等式(7)

為了完整性，影像之橫向放大率為

等式(8)

=1+P(W-s _R)

計算之實例如下，其中假定距眼睛30 mm而置放焦距為35 mm之凹面鏡，且計算出34.976 mm之顯示距離作為將產生將顯得距使用者之眼睛50公尺之虛擬影像的距離l。該實例使用Mathcad命名法。

fl:=35 mm

fl=0.035 m

半徑：=2fl=0.07 m

P:=1/fl=28.571 m^-1

W:=50 m至虛擬影像之所要距離

sr:=30 mm自眼睛至反射器之距離

elp:=W-sr=49.97m

Lp=-1/elp=-0.0200120072 m^-1

L:=Lp-P=-28.591 m^-1

el:=1/L=-0.035m(注意，el=sp)

el:=-34.976 mm

m:=L/Lp=1.42871429 x 10³

代替在給定反射器之焦度、眼睛之位置及虛擬影像之位置的情況下計算顯示器之位置，在給定至顯示器及眼睛之距離及至虛擬影像之所要距離的情況下，可使用以上分析計算反射器之焦度。自等式(6)可看出：

P=L'-L

等式(9)

用等式(5)及等式(7)代入L'及L給出：

等式(10)

由於l=s_P，因此等式(10)變為

等式(11)

作為一實例，若所要影像距離W為50[m]，反射器距眼睛40 mm，且顯示器距反射器40 mm，則反射器焦度需要為P=24.98[D]，亦即，[0.04-(-0.04)-50]/[-0.04(50-0.04)]。注意，s_p為負。

因此，對於顯示器之給定定向、至反射器之表面的距離及自反射器至眼睛之距離，可判定正確的反射器焦度。在凹球面反射器中，焦度為

等式(12)

其中f為以公尺[m]為單位之焦距。在球面鏡中，焦距與曲率半徑r有關，如

r=2f

等式(13)

且因此

等式(14)

因此，為了如自等式(11)所計算來獲得所要焦度，有必要確保表面具有由等式(14)之半徑計算指定之曲率。

若顯示器為簡單的點光源，則球形凹面反射器可滿足反射器要求，但顯示器一般為平面器件，其具有使幾何形狀偏離可藉由球體實現之幾何形狀之發光像元或像素的柵格。又，如上所論述，需要將光在較大區上散佈以獲得較寬視野，例如，能夠利用人類眼睛之寬視野(靜態及/或靜態+動態)的視野。

根據本發明，藉由將反射表面分成複數個(例如，數千個)表面元件23且調適(調整)其位置、定向及曲率以獲得所要反射器屬性來應付此等挑戰。已發現三角形之表面元件在最佳化中成功地起作用，但可視需要使用其他形狀。表面元件23之子集之實例展示於圖3中，其中核心表面元件具有八個周圍表面元件，且此等所有表面元件必須相互成一關係而存在，以便滿足對於總體反射表面之光學屬性要求。展示自核心表面元件發出至周圍表面元件之權重，且此等權重意欲允許在需要時多於其他者而使某一量之影響參與至某些表面元件，諸如，在邊緣或拐角處(參見下文)，在其處需要較多影響來移動表面，此係因為存在較少的有貢獻之周圍表面區，因此在其處之表面區需要貢獻較多之調適運動影響。

可為扁平或彎曲之顯示表面亦被分成本文中被稱作「顯示物件」或「虛擬像素」之複數個片段。可能存在僅少數顯示物件(甚至僅一個大的虛擬像素在理論上係可能的)或在顯示表面上以地理方式排列之數千個虛擬像素(典型情況)。

在一電腦系統(參見下文)中，創造由顯示物件構成之顯示表面，創造眼睛中心，且創造反射表面元件之初始網格。接著，反射表面元件皆經指向(亦即，其法線經指向)，以按Fermat Hero法則(稍後描述)允許至眼睛內之反射，使得在反射器表面上當使用者朝向反射器表面察看時希望看到顯示物件之方向上的點處，顯示物件與眼睛之旋轉中心之間的光徑長度之一階導數將具有零。

接著如下計算表面元件之曲率半徑及空間位置。首先，對於對應於顯示器之特定顯示物件的每一核心表面元件，使用以上陳述之分析來計算將彼顯示物件之虛擬影像置放於距標稱使用者之眼睛前方所要距離處所需的表面元件之曲率半徑。接著，檢查周圍表面元件以判定其是否處於與疊置球體一致的合適處，該球體之中心位於核心表面元件之法線(參見下文)上。若否，則針對正考慮之顯示物件(虛擬像素)及核心表面元件，將周圍表面元件中之一些或全部朝向其正確位置移動。處理程序接著繼續進行至其他顯示物件/核心表面元件組合，直至已更新了所有組合。如下所論述，接著計算誤差函數，且進行是否需要進一步迭代之判定。

圖4展示可藉以調整周圍表面元件之位置及評估誤差函數之處理程序的2維說明。在此圖中，最佳點(參考數字25)處於圓(參考數字27)之中心，根據以下等式16計算該圓之半徑Raxis。在3維情況下，圓27將為球體，且因此在以下論述中，圓27將被稱作球體27。又，如以下充分地論述，球體27將較佳使其中心沿著至核心表面元件之法線，而非使其中心在(例如)虛擬像素處。

如圖4中所展示，標記為u及d之上方及下方表面元件(如在圖3中)不與球體27對準。此為誤差。使用此等誤差，可藉由在整個反射表面上對誤差求和來判定誤差函數。

等式(15)

其中將個別誤差ε計算為以下兩者之間的差：考慮中之表面元件(諸如，圖4中之表面元件u)之中心；及球體27之表面在球體與在球體之中心與考慮中之表面元件之中心之間的線之間的相交點(例如，球體27與自參考數字25至在圖4中之表面元件u之中心的線的相交點)處的位置。

注意，用以移動表面元件及計算誤差之球體之半徑的中心較佳應來自核心表面元件之曲率半徑將與提供Fermat/Hero反射所需之法線平行(或更特定言之，沿著該法線鋪置)之處。對於距眼睛之當前距離s_r及距當前顯示物件(虛擬像素)之當前距離s_p，稱作optPoint之此點具有半徑：

注意，按光學慣例，s_p為負數，此係因為其為來自鏡之反射光。藉由首先定位等分自當前表面元件之形心至(a)虛擬像素之向量與自當前表面元件之形心至(b)眼睛之旋轉中心之向量的線來使用此半徑。接著在此線上橫越距離Raxis以便置放點(optPoint)以用作球體之中心，從而用於誤差檢查及用於在每一表面元件處之表面元件之迭代校正。判定及使用Raxis之方法說明於圖5中。

藉由朝向最佳表面(在圖5之此情況下，其為球面)緩慢移動表面元件來獲得反射表面之所要最終組態。注意，圖5之球面僅對於虛擬像素、眼睛中心及遠距離虛擬影像(圖5中未展示)之指定組合為最佳的。當前表面元件為用以計算Raxis及optPoint之表面元件。對於每一核心表面元件，將存在不同Raxis及optPoint。調整周圍表面元件以開始得出針對彼顯示物件(虛擬像素)及彼核心表面元件定義之正確曲率半徑Raxis。接著，考慮下一顯示物件(虛擬像素)及核心表面元件。此下一核心表面元件可影響僅受到先前操作影響之表面元件，其為在每一迭代僅執行少量改變的原因。目標為使在整個顯示表面上之誤差最小化。或者，可使顯示表面之某些區段具有比其他區段少的誤差。

若僅存在一個顯示物件(虛擬像素)，則零誤差表面將為具有正確半徑之球體以提供足夠之屈光度校正，使得顯示物件之影像顯得在等式(4)之所要距離W處。視點s_R可包括於該計算中，但當準直使得預期虛擬影像出現在觀測者前方50公尺處時，產生極少差異。視點s_R包括於實際計算中，但當W=50[m]時，僅影響反射表面計算之第四有效數位。

又，若存在僅一個或少數虛擬像素，且存在待透過其察看之光瞳，且可合理地預期光之波形含於穿過光學器具之光軸附近或周圍的區中，則可藉由近軸技術(諸如，可供望遠鏡或攝影透鏡使用)分析此系統。但在此情況下，如上所論述，不存在真實的非生物光軸，且偵測到誤差，且藉由本文中揭示之技術來表徵系統。雖然用於量測效能之經典及其他技術(例如，系統之調變轉移函數(MTF))可包括於誤差函數中，但將使用包括在等式(15)中說明之類型之誤差的誤差函數來在整個視野上對效能之誤差求和且減少該誤差。當然，可容許之總誤差之量值將取決於HMD之特定應用，且可易於由熟習此項技術者基於本發明及HMD影像需要滿足之規範來設定。

應注意，眼睛可處理約0.5D之散焦，且約0.5D之散焦亦可用作誤差計算之部分，例如，當在最佳化循環已發生之後判定在每一反射點處之反射表面之曲率半徑的平均估計值時。為了實現在整個視野上之檢視之平滑轉變，反射表面元件亦可相互間平滑地轉變。舉例而言，可藉由將非均勻有理B樣條(NURBS)技術用於樣條化表面來執行平滑，因此創造在整個反射光學表面上之平滑轉變。

以上論述之誤差表面為判定表面品質之改良及表面品質之效能所基於的一量度。為了接著改良表面反射品質，關於個別表面元件促成之誤差來移動該個別表面元件。此在圖4中藉由用詞「校正」識別之雙向箭頭來說明。在該方向上移動個別表面元件以減小針對給定核心表面元件球體之誤差。在某些實施例中，使用判定在每一迭代進行之調整之量的速率變數β=[0..1]，以便確保表面元件足夠緩慢地移動。調整在核心表面元件附近之所有周圍表面元件之空間位置，且接著在下一個核心表面元件處進行相同操作。如上所論述，可使用核心表面元件對附近表面元件之影響的各種權重，使得(例如)在拐角或邊緣附近之表面元件亦以與由可供應遞增改變之核心表面元件較充分地包圍之彼等表面元件類似的量得到調整。

存在表面元件之三種類型之型樣：(1)存在所有九個三角形之表面元件；(2)缺少一組三個三角形(諸如，在邊緣處)之表面元件；及(3)缺少五個三角形(如將在拐角處發生)之表面元件。在每一情況下，cs存在；差異為周圍表面元件之數目。在此等情況下，影響權重用以允許增加表面元件之調適量以與可在該表面元件由其他表面元件包圍之情形下發生的調適更相稱。

詳言之，在拐角處，一給定表面元件僅由三個表面元件包圍而非由八個表面元件包圍，如在圖6中展示。八個潛在影響者中僅三者可用以提供校正，且因此，8/3之影響權重用以調整在位置1、2或3處之每一核心表面元件可提供之校正量。此影響權重對於已按速率β減小之三維移動為倍增的。類似地，對於在邊緣處之表面元件的影響權重為8/5。

當移動表面元件時，控制表面曲率以隨著表面元件、顯示物件與標稱使用者之眼睛之間的距離改變而在視野上獲得正確焦度。表面元件之法線亦經調適以確保顯示器(顯示物件)之區的指向角正確。

重要的是，能夠在寬角度上伸展視野以准許使用者以其周邊視覺看到更多資訊，及能夠按更自然方式掃描顯示器。

自Fermat、Hero of Alexandria時代即已知鏡上將出現影像之點，且自額外後續工作，影像已展示為處於光徑之長度已達到穩定點(最大值或最小值)之點處。此穩定點可藉由找到光徑長度之一階導數之零來找到。為了易於呈現，假定整個光徑在空氣中，應理解，熟習此項技術者可易於使揭示之方法適應光徑之全部或部分由一或多種不同光學材料構成之情況。舉例而言，以[x,y]=[0,0]為中心之具有半徑r之圓具有以下等式

x ²+y ²=r ²

等式(17)

求解x，得出

等式(18)

假定具有座標[x _S ,y _S]之點光源(S)及具有座標[x _V ,y _V]之檢視點(V)在空氣中之球面反射器(例如，在此分析中表示為在圖7中之圓33)周圍之空間中，光徑L由自點光源至表面上之點Q(在此處看到影像)之路徑長度及自Q至檢視點之路徑長度組成，光徑L展示為

等式(19)

關於y對等式(19)求一階偏微分(對於正根)給出

等式(20)

且使用負根項給出

等式(21)

可用一些代表值來測試該概念。在圖7中選擇一對點，且該對點為

V=[20,-50]

S=[40,40]

且半徑100之圓33以原點43為中心。

將正值用於與等式(20)之y值相關聯的x值及將負值用於與等式(21)之y值相關聯的x值，自針對y之等式(20)及(21)及針對x之等式(18)預測的兩個點為：

Q1=[-98.31,18.276]

Q2=[97.685,21.392]

在圖7中用曲線表示此等點，其中在Q1處反射之來自光源S之光線由參考數字39展示，且自Q2反射之來自光源S之光線由參考數字41展示。可看出，自點V及S至Q1或Q2之線可由自原點分別至Q1或Q2點之線(亦即，線37及35)等分。此亦為本文中使用之核心表面元件之屬性，亦即，在檢視者之眼睛與正檢視之顯示物件之間的角度由核心表面元件之法線等分。在將表面元件自簡單的球面移出至藉由使表面法線成角度以使得其將等分在檢視者之眼睛與待檢視之顯示物件之間的向量來創造之規定自由空間位置時採用此屬性。可(例如)使用四元數方法執行表面元件之此定向以將表面元件旋轉至在界定至檢視者之向量的旋轉與界定至正檢視之顯示物件之向量的向量之間半程(halfway)之定向。

舉例而言，在圖7中，存在自圓33之中心43至圓之邊緣的額外線31。其指示反射表面上可能需要顯示來自點S之影像的另一點A2。若使在彼點處之表面具有等分至V之向量及至S之向量的表面法線，則當在V處之觀測者在表面上之新點之方向察看時，S之影像將出現在V處。

此情形進一步說明於圖8中。在此圖中，線45已繪製於點A2處。該點提供等分自A2至S之向量及自A2至V之向量的法線47。使另一點A1在線45上，且手動量測該點A1以允許得出線45之點斜式等式，自該點斜式等式，獲得依據y之x之等式。

A ₁=[45,-100]

A ₂=[78,-62.85]

y=mx+b

b=y-mx

=-100-m(45)=-150.6591

因此

其中光徑長度=

或

且

在y=[-200..100]之範圍上，此偏導數僅具有一個零，該零在y=-63.4828(對應於x值77.49)處，其處於線與圓曲線相接之預期位置處。圖9為線45之光徑長度關於該線之y座標的偏導數之曲線圖。如可看出，該曲線圖僅具有一個零。

重要地是，注意，線45並非圓33之切線。其具有不同斜度，具有等分自A2至視點V之向量及自A2至S處之顯示物件之向量的法線。此為本發明能夠將個別虛擬像素之影像或顯示器之區域置放於檢視區域之不同區中的方式，及其用以藉由以迭代方式調整核心表面元件之斜度及檢查表面元件之誤差且調整其位置直至誤差在光學上可接受來擴大視野的方式。

返回圖7，在此圖中可看出，來自單一點之影像可出現在反射器上之多個點處，在此情況下，在圓形反射器之兩側上。因此，需要進行諸如在圖9中執行之分析的分析，以便偵測影像之偽(spurious)複製。亦可藉由射線追蹤來偵測偽影像。射線追蹤展示僅撞擊點Q1或點Q2之射線在離開S後將穿過V。更一般而言，若任何射線自諸如S之某一點穿過V，則使用者可查驗彼射線來自何處。舉例而言，自此查驗將顯而易見的又一射線為直接穿過自S至V之空間的射線。在HMD之設計中，此直接路徑可實體上受到阻擋以減少內部光雜訊。或者，可獲得的眼睛之視野可自然地阻擋偽影像。

圖10及圖11為概述用於創造用於在HMD中使用之反射表面的以上程序之流程圖。詳言之，圖10展示在一或多個電腦中創造包括初始反射表面的總體系統且接著藉由以下步驟來以迭代方式調整初始反射表面之總體策略：調整表面元件之空間位置、調適彼等元件之曲率半徑，及使表面元件在所要方向上指向。接著計算誤差且將其用以判定是否需要其他迭代或是否可輸出最終表面組態。圖11描述使用以上論述之等式(15)及(16)之實施例。

根據在此等圖中陳述之程序之特定實施例，迭代處理程序使用一系列「接通」表面元件。對於一給定「接通」元件，僅以一迭代調整周圍元件，其後，系統繼續進行至下一元件(下一「接通」元件)且調整其周圍元件，等等。系統「接通」之元件未改變，僅其相鄰者改變以較好地配合觸碰「接通」元件且針對「接通」元件以「optPoint」為中心之球體的表面。在一迭代僅對每一相鄰者進行一次調整，且接著該處理程序繼續進行至下一「接通」元件，且所有其相鄰者經調整一次，直至已使所有表面元件為「接通」元件。接著計算全局誤差，且若其不足夠低，則處理程序重複。該處理程序在繼續進行之前並不針對一個「接通」元件重複地調整相鄰元件。更確切而言，該處理程序在每一迭代按需要對每一相鄰者進行一小的調整，且接著繼續進行至下一「接通」元件及其相鄰者集合。表面元件之空間位置的此迭代調整之結果為每一表面元件之最終空間位置、每一元件之法線的最終方向及每一元件及一組周圍元件之最終曲率半徑。當誤差函數滿足一預定準則時，例如，當誤差函數小於一預定值時，輸出最終位置、法線及曲率半徑，例如，儲存於記憶體中。

圖12及圖13自兩個不同透視圖展示使用以上技術創造之反射表面。圖14及圖15再次自兩個透視圖展示圖12及圖13之反射表面的另一改進之型式。如可自此等圖看出，反射光學表面之組態相當複雜且與藉由其他光學設計技術創造之球面或非球面具有極少相似之處。可將個別表面元件一起樣條化以創造平滑連續表面，或可計算許多表面元件使得表面在細粒度等級下變得平滑。

根據本文中揭示之方法設計之反射光學表面的應用陳述於以名稱G. Harrison、D. Smith及G. Wiese而與本專利同時申請、分別題為「Head-Mounted Display Apparatus Employing One or More Reflective Optical Surfaces」及「Head-Mounted Display Apparatus Employing One or More Fresnel Lenses」且分別由代理人案號IS-00267及IS-00307識別的共同讓渡且同在申請中之美國專利申請案第13/211,372號及第13/211,365號中，該兩個申請案之內容被以引用的方式併入本文中。

以上論述之數學技術(包括圖10及圖11之流程圖)可在現在已知或隨後開發之各種程式設計環境中及/或以現在已知或隨後開發之各種程式設計語言來編碼。當前較佳之程式設計環境為在Eclipse Programmer之介面中執行的Java語言。亦可視需要使用諸如Microsoft Visual C#之其他程式設計環境。亦可使用由PTC(Needham,Massachusetts)市場銷售之Mathcad平台及/或來自MathWorks,Inc.,(Natick,Massachusetts)之Matlab平台執行計算。所得程式可儲存於硬碟機、記憶卡、CD或類似器件上。可使用可購自多個供應商(例如，DELL、HP、TOSHIBA等)之典型桌上型計算設備執行該等程序。或者，可視需要使用包括「雲端」計算之更強大的計算設備。

一旦經設計，即可使用現在已知或隨後開發的多種技術及多種材料生產(例如，大量製造)本文中揭示之反射光學表面。舉例而言，該等表面可由已金屬化以具有合適反射性之塑膠材料製成。亦可使用拋光之塑膠或玻璃材料。對於「擴增實境」應用，可自具有內嵌小反射器之透射性材料建構反射光學表面，因此反射入射波前之部分，同時允許光透射穿過該材料。

對於原型零件，丙烯酸塑膠(例如，膠質玻璃)可供正藉由金剛石車削形成之零件使用。對於生產零件，丙烯酸或聚碳酸酯可(例如)供正藉由(例如)射出模製技術形成之零件使用。反射光學表面可描述為詳細的電腦輔助製圖(CAD)描述或描述為非均勻有理B樣條NURBS表面(其可轉換成CAD描述)。具有CAD檔案可允許使用3D印刷來製造器件，在該情況下，CAD描述直接產生3D物件而無需機械加工。

一般熟習此項技術者自前述揭示內容將顯而易見不脫離本發明之範疇及精神的多種修改。舉例而言，雖然向使用者提供大視野(例如，大於或等於100°，或大於或等於150°，或大於或等於200°之視野)之反射光學表面構成本發明之有利實施例，但亦可使用本文中揭示之方法及系統來創造具有較小視野之反射表面。

類似地，雖然已針對自顯示器發射之光在其到達反射表面之前尚未經準直之系統來說明本發明，但其同樣地可適用於已經部分或完全準直(例如，藉由位於顯示器與反射表面之間的光學元件)之光。在此等情況下，將調整核心表面元件之曲率半徑以考量入射於該等元件上之光之準直。

以下申請專利範圍意欲涵蓋本文中陳述之特定實施例之此等及其他修改、變化及等效物。

11．．．顯示器/顯示表面

13．．．自由空間反射光學表面

15．．．標稱使用者之眼睛

17．．．標稱使用者之眼睛之旋轉中心

19．．．來自顯示器之光

21．．．影像

23．．．表面元件

25．．．顯示物件

27．．．圓/球體

31．．．額外線

33．．．圓

35．．．線

37．．．線

39．．．光線

41．．．光線

43．．．圓之中心

45．．．線

47．．．法線

A1．．．點

A2．．．點

P．．．線段

Q1．．．點

Q2．．．點

R．．．線段

S．．．點光源

V．．．檢視點

圖1為展示HMD之基本組件(亦即，顯示器、反射表面及使用者之眼睛)之示意圖。

圖2為展示物件(顯示器)之虛擬影像藉由反射表面之形成及判定虛擬影像之位置及大小的示意圖。

圖3為說明核心表面元件及其相鄰表面元件之示意圖。

圖4為說明表面元件之位置之誤差的計算及表面元件之移動方向以減小誤差之示意圖。

圖5為說明可基於optPoint/虛擬像素/曲率半徑/s_p/s_r集合以遞增方式移動表面元件之方式的示意圖。

圖6為展示一拐角表面元件之示意圖。

圖7為說明針對圓形反射器之在光源S與檢視器V之間的兩個光徑之示意圖。

圖8為說明針對具有不沿著球體之半徑鋪置之法線的平坦表面之在光源S與檢視器V之間的單一光徑之示意圖。

圖9為展示圖8之在S與V之間的光徑長度之一階導數僅具有一個零(指示光徑穩定性之點)之曲線圖。

圖10為說明本發明之一實施例之流程圖。

圖11為說明本發明之另一實施例之流程圖。

圖12及圖13自兩個透視圖說明使用本文中揭示之方法及系統設計之反射光學表面。

圖14及圖15自兩個透視圖說明使用本文中揭示之方法及系統設計之另一反射光學表面。

(無元件符號說明)

Claims

一種用於設計用於在一頭戴式顯示器中使用之一自由空間反射光學表面的基於電腦之方法，該自由空間反射光學表面反射一顯示表面之一虛擬影像以用於由一使用者之眼睛在一預選定空間位置處檢視，該方法包含使用一或多個電腦執行以下步驟：(a)基於不與特定基板或平面有關之光學性質，藉由一或多個電腦由複數個顯示物件表示該顯示表面；(b)藉由一或多個電腦由複數個表面元件表示不與特定基板或平面有關之該自由空間反射光學表面，每一表面元件之特徵在於：(i)相對於該顯示表面、一標稱使用者之眼睛及該虛擬影像之該預選定空間位置的一空間位置，(ii)一法線，及(iii)一曲率半徑；(c)藉由該一或多個電腦將每一顯示物件之在該預選定空間位置處之一虛擬影像將被顯示給一標稱使用者之眼睛之方向上使該顯示物件與該複數個表面元件之至少一表面元件相關聯，該複數個表面元件之每一表面元件與一單一個顯示物件相關聯；(d)對於每一表面元件，進行以下步驟：(i)界定該表面元件之一初始空間位置；(ii)使用該表面元件之初始空間位置、與該表面元件相關聯之該顯示物件之位置及該標稱使用者之眼睛之一旋轉中心的位置，藉由該一或多個電腦計算該元件之法線之一初始方向，使得來自該顯示物件之自該元件反射離開的光將穿過該旋轉中心；(iii)藉由該一或多個電腦計算該表面元件之一初始曲率半徑，使得該顯示物件之該虛擬影像處於該預選定空間位置處；及(iv)藉由以迭代方式調整該等表面元件之該等空間位置直至一誤差函數滿足一預定準則，以該一或多個電腦計算該表面元件之一最終空間位置、該表面元件之法線之一最終方向及該表面元件及一組周圍表面元件之一最終曲率半徑；及(e)基於該複數個表面元件之最終空間位置、法線之最終方向及最終曲率半徑而計算一平滑之自由空間反射光學表面。
如請求項1之方法，其中在步驟d(iv)中，該表面元件之該空間位置的該迭代調整至少部分地基於該曲率半徑及至少一第二表面元件之該法線，該表面元件為該第二表面元件之一最近相鄰者。
如請求項2之方法，其中該表面元件之該空間位置的該迭代調整係基於該表面元件之空間位置自一球體的一計算之偏離，該球體之半徑等於該第二表面元件之曲率半徑且其中心沿著該第二表面元件之法線。
如請求項3之方法，其中該迭代調整包含小於該整個計算之偏離。
如請求項1之方法，其中該表面元件之空間位置及該組周圍表面元件之迭代調整包括至少部分基於該曲率半徑及至少一第二表面元件之該法線，該複數個第一表面元件中之每一者為該第二表面元件之一最近相鄰者而迭代調整該等表面元件之複數第一表面元件之該等空間位置及該組周圍表面元件。
如請求項5之方法，其中該複數個第一表面元件構成該第二表面元件之所有該等最近相鄰者。
如請求項5之方法，其中該複數第一表面元件之該等空間位置的該迭代調整係基於該複數第一表面元件之空間位置自一球體的計算之偏離，該球體之半徑等於該第二表面元件之曲率半徑且其中心沿著該第二表面元件之法線。
如請求項7之方法，其中該迭代調整包含小於該等整個計算之偏離。
如請求項7之方法，其中該誤差函數係基於該等計算之偏離。
如請求項9之方法，其中該誤差函數係基於該等計算之偏離的絕對值之一總和。
如請求項10之方法，其中該預定準則為絕對值之該總和的一數值。
如請求項5之方法，其中該等第一表面元件之該複數空間位置的該迭代調整經加權，使得該複數第一表面元件中之至少一者的該迭代調整大於或小於其在無加權之情況下將已進行的調整。
如請求項5之方法，其中該第二表面元件為一邊緣表面元件或一拐角表面元件，且至少一第一表面元件之該空間位置的該迭代調整經加權使得該迭代調整大於其在無加權之情況下將已進行的調整。
如請求項1之方法，其中當自該標稱使用者之眼睛的該旋轉中心量測時，該複數個表面元件中之至少兩者之間的夾角大於或等於100度。
如請求項1之方法，其中當自該標稱使用者之眼睛的該旋轉中心量測時，該複數個表面元件中之至少兩者之間的該夾角大於或等於150度。
如請求項1之方法，其中當自該標稱使用者之眼睛的該旋轉中心量測時，該複數個表面元件中之至少兩者之間的該夾角大於或等於200度。
如請求項1之方法，其進一步包含生產該自由空間反射光學表面。
一種體現於一非暫態電腦可讀媒體中可由至少一處理器操作之電腦程式，其用於設計一自由空間反射光學表面以在一頭戴式顯示器中使用，該自由空間反射光學表面反射一顯示表面之一虛擬影像以用於由一使用者之眼睛在一預選定空間位置處檢視，該電腦程式包含規劃該至少一處理器之指令以：基於不與特定基板或平面有關之光學性質藉由複數個顯示物件表示該顯示表面；藉由複數個表面元件表示不與特定基板或平面有關之該自由空間反射光學表面，每一表面元件之特徵在於：(i)相對於該顯示表面、一標稱使用者之眼睛及該虛擬影像之該預選定空間位置的一空間位置，(ii)一法線，及(iii)一曲率半徑；在該預選定空間位置處之該顯示物件之一虛擬影像被顯示給一標稱使用者之眼睛之方向上，將該複數顯示物件之每一顯示物件與該複數表面元件之至少一表面元件關聯，該複數個表面元件之每一表面元件與一單一個顯示物件相關聯；對於每一表面元件：界定該表面元件之一初始空間位置；使用該表面元件之初始空間位置、與該表面元件相關聯之該顯示物件之位置及該標稱使用者之眼睛之一旋轉中心的位置，計算該元件之法線之一初始方向，使得來自該顯示物件之自該元件反射離開的光將穿過該旋轉中心；計算該表面元件之一初始曲率半徑，使得該顯示物件之該虛擬影像處於該預選定空間位置處；及藉由以迭代方式調整該等表面元件之該等空間位置直至一誤差函數滿足一預定準則，計算該表面元件之一最終空間位置、該表面元件之法線之一最終方向及該表面元件及一組周圍表面元件之一最終曲率半徑；及基於該複數個表面元件之最終空間位置、法線之最終方向及最終曲率半徑而計算一平滑之自由空間反射光學表面。
一種電腦系統，用於設計一自由空間反射光學表面以使用於反射顯示表面之一虛擬影像以被使用者之眼睛在一預選定空間位置處觀看之一頭戴式顯示器，其包含：一處理器；及一記憶體單元，其耦接至該處理器，該記憶體單元儲存包括用於執行下列方法之程式化指令的一電腦程式：基於不與特定基板或平面有關之光學性質藉由複數個顯示物件表示該顯示表面；藉由複數個表面元件表示不與特定基板或平面有關之該自由空間反射光學表面，每一表面元件之特徵在於：(i)相對於該顯示表面、一標稱使用者之眼睛及該虛擬影像之該預選定空間位置的一空間位置，(ii)一法線，及(iii)一曲率半徑；在該預選定空間位置處之該顯示物件之一虛擬影像被顯示給一標稱使用者之眼睛之方向上，將該複數顯示物件之每一顯示物件與該複數表面元件之至少一表面元件關聯，該複數個表面元件之每一表面元件與一單一個顯示物件相關聯；對於每一表面元件：界定該表面元件之一初始空間位置；使用該表面元件之初始空間位置、與該表面元件相關聯之該顯示物件之位置及該標稱使用者之眼睛之一旋轉中心的位置，計算該元件之法線之一初始方向，使得來自該顯示物件之自該元件反射離開的光將穿過該旋轉中心；計算該表面元件之一初始曲率半徑，使得該顯示物件之該虛擬影像處於該預選定空間位置處；及藉由以迭代方式調整該等表面元件之該等空間位置直至一誤差函數滿足一預定準則，計算該表面元件之一最終空間位置、該表面元件之法線之一最終方向及該表面元件及一組周圍表面元件之一最終曲率半徑；及基於該複數個表面元件之最終空間位置、法線之最終方向及最終曲率半徑而計算一平滑之自由空間反射光學表面。