TW202409649A

TW202409649A - 頭部追蹤式多視像顯示器和方法

Info

Publication number: TW202409649A
Application number: TW112116861A
Authority: TW
Inventors: 大衛 A 費圖; 蘇肯迪普辛格薩姆拉
Original assignee: 美商雷亞有限公司
Priority date: 2022-05-10
Filing date: 2023-05-05
Publication date: 2024-03-01
Also published as: WO2023219638A1

Abstract

本發明關於一種頭部追蹤式多視像顯示器，其包含多光束背光件，以提供具有對應多視像影像的不同的視像方向的不同的主要角度方向的複數條光束。處理器接收多視像影像的複數個臨時視像，臨時視像對應於不同的視像方向。處理器接收關於使用者的追蹤位置的資訊。處理器相對於不同的視像方向位移臨時視像，以形成對應於不同的視像方向的複數個位移的視像。位移的視像以一位移值位移，位移值根據使用者的追蹤位置而變化，且在多視像影像的視野上變化。光閥陣列調變複數條光束以將多視像影像的複數個位移的視像提供到不同的視像方向，以作為多視像影像。

Description

頭部追蹤式多視像顯示器和方法

本發明關於一種多視像顯示器和方法，特別是一種頭部追蹤式多視像顯示器和方法。

電子顯示器是向各種裝置和產品的使用者傳達資訊的幾乎無所不在的媒介。最常用的電子顯示器包含陰極射線管（cathode ray tube, CRT）、電漿顯示面板（plasma display panels, PDP）、液晶顯示器（liquid crystal displays, LCD）、電致發光顯示器（electroluminescent displays, EL）、有機發光二極體（organic light emitting diode, OLED）和主動式矩陣有機發光二極體（active matrix OLEDs, AMOLED）顯示器、電泳顯示器（electrophoretic displays, EP），以及各種採用機電或電流體光調變（例如，數位微鏡裝置、電潤濕顯示器等等）的顯示器。一般而言，電子顯示器可以分為主動顯示器（即，會發光的顯示器）或被動顯示器（即，調變由另一個光源提供的光的顯示器）的其中一者。主動顯示器的示例包含CRT、PDP和OLED／AMOLED。在上述以發射光進行分類的情況下，LCDs顯示器及EP顯示器一般是歸類為被動顯示器。被動顯示器雖然經常表現出包括但不限於固有低功率消耗等具有吸引力的性能特徵，但由於其缺乏發光的能力，在許多實際應用中被動顯示器可能有使用上的限制。

為了實現這些與其他優點並且根據本發明的目的，如本文所體現和廣泛描述的，提供一種頭部追蹤式多視像顯示器，包括：一多光束背光件，配置為提供複數條光束，該複數條光束具有不同的主要角度方向，對應於一多視像影像的不同的視像方向；一處理器，配置為：接收該多視像影像的複數個臨時視像，該複數個臨時視像對應於該等不同的視像方向；接收關於一使用者的一追蹤位置的資訊；以及相對於該等不同的視像方向位移該等臨時視像，以形成對應於該等不同的視像方向的複數個位移的視像，該等位移的視像以一位移值位移，該位移值取決於該使用者的該追蹤位置而改變，並且在該多視像影像的一視野中改變；以及一光閥陣列，配置為調變該複數條光束中的光束，以將該多視像影像的該複數個位移的視像提供到該等不同的視像方向，以作為該多視像影像。

根據本發明一實施例，該處理器進一步配置為相對於該等不同的視像方向位移該等臨時視像，以藉由組合兩個相鄰的臨時視像以形成該等位移的視像。

根據本發明一實施例，該處理器進一步配置為藉由非線性地組合該兩個相鄰的臨時視像以形成該等位移的視像。

根據本發明一實施例，該處理器進一步配置為藉由以下步驟形成該等位移的視像：將該兩個相鄰的臨時視像的像素值從伽馬空間轉換到線性空間，以形成線性空間像素值；線性地總合該等線性空間像素值以形成一線性總合值；以及將該線性總合值從線性空間轉換到伽瑪空間。

根據本發明一實施例，該位移值對應於該多視像影像的非整數編號的視像。

根據本發明一實施例，選擇該位移值，以使該使用者的移動允許該使用者以與該等臨時視像的推移匹配的推移來觀看視像。

根據本發明一實施例，選擇該位移值，以使該使用者的移動對該使用者提供在該等視像推移時的視差感。

根據本發明一實施例，選擇該位移值，以使該等位移的視像跟隨該使用者的移動，並且允許該使用者在該使用者移動時僅觀看一單一視像或一單一視像組合。

根據本發明一實施例，選擇該位移值，以向該使用者提供該多視像影像的一第一三維視像給該使用者的一左眼，並且提供該多視像影像的一第二三維視像給該使用者的一右眼，該第一三維視像和該第二三維視像在該使用者移動時不變。

根據本發明一實施例，頭部追蹤式多視像顯示器，進一步包括：一頭部追蹤器，配置為提供該使用者的該追蹤位置，該頭部追蹤器包括配置為拍攝該使用者的一影像的一攝影機，該頭部追蹤器進一步包括一影像處理器，配置為確定該使用者在該拍攝的影像內的位置以提供該追蹤位置。

在本發明之另一態樣中，提供一種操作頭部追蹤式多視像顯示器的方法，該方法包括：藉由一多光束背光件提供複數條光束，該複數條光束具有不同的主要角度方向，對應於一多視像影像的不同的視像方向；藉由一處理器接收該多視像影像的複數個臨時視像，該複數個臨時視像對應於該等不同的視像方向；藉由該處理器接收關於一使用者的一追蹤位置的資訊；藉由該處理器相對於該等不同的視像方向位移該等臨時視像，以形成對應於該等不同的視像方向的複數個位移的視像，該等位移的視像以一位移值位移，該位移值取決於該使用者的該追蹤位置而改變，並且在該多視像影像的一視野中改變；以及藉由一光閥陣列調變該複數條光束中的光束，以將該多視像影像的該複數個位移的視像提供到該等不同的視像方向，以作為該多視像影像。

根據本發明一實施例，方法進一步包括：藉由該處理器組合兩個相鄰的臨時視像以形成該等位移的視像。

根據本發明一實施例，方法進一步包括：藉由該處理器非線性地組合兩個相鄰的臨時視像以形成該等位移的視像。

根據本發明一實施例，該處理器藉由以下步驟形成該等位移的視像：將該兩個相鄰的臨時視像的像素值從伽馬空間轉換到線性空間，以形成線性空間像素值；線性地總合該等線性空間像素值以形成一線性總合值；以及將該線性總合值從線性空間轉換到伽瑪空間。

根據本發明一實施例，該處理器選擇該位移值，以使該使用者的移動允許該使用者以與該等臨時視像的推移匹配的推移來觀看視像。

根據本發明一實施例，該處理器選擇該位移值，以使該使用者的移動對該使用者提供在該等視像推移時的視差感。

根據本發明一實施例，該處理器選擇該位移值，以使該等位移的視像跟隨該使用者的移動，並且允許該使用者在該使用者移動時僅觀看一單一視像或一單一視像組合。

根據本發明一實施例，該處理器選擇該位移值，以向該使用者提供該多視像影像的一第一三維視像給該使用者的一左眼，並且提供該多視像影像的一第二三維視像給該使用者的一右眼，該第一三維視像和該第二三維視像在該使用者移動時不變。

在本發明之另一態樣中，提供一種頭部追蹤式多視像顯示器，包括：一頭部追蹤器，配置為提供一使用者相對於該頭部追蹤式多視像顯示器的一追蹤位置，該頭部追蹤器包括配置為拍攝該使用者的一影像的一攝影機，該頭部追蹤器進一步包括一影像處理器，配置為確定該使用者在該拍攝的影像內的位置以提供該追蹤位置；一多光束背光件，配置為提供複數條光束，該複數條光束具有不同的主要角度方向，對應於一多視像影像的不同的視像方向；一處理器，配置為：接收該多視像影像的複數個臨時視像，該複數個臨時視像對應於該等不同的視像方向；以及相對於該等不同的視像方向位移該等臨時視像，以形成對應於該等不同的視像方向的複數個位移的視像，該等位移的視像以一位移值位移，該位移值取決於該使用者的該追蹤位置而改變，並且在該多視像影像的一視野中改變；以及一光閥陣列，配置為調變該複數條光束中的光束，以將該多視像影像的該複數個位移的視像提供到該等不同的視像方向，以作為該多視像影像。

根據本發明所述原理的示例和實施例，本發明提供了一種多視像或三維（3D）影像顯示器，其使用有關使用者位置隨時間的資訊，有時稱為「頭部跟蹤式（head-tracking或head-tracked）」。與本發明所述原理一致的實施例可以採用多視像顯示器，以根據使用者的位置提供由多視像影像表示的場景的不同視像集合。頭部追蹤式多視像顯示器可以接收對應於不同的視像方向的多視像影像的臨時視像。頭部追蹤式多視像顯示器可以（例如從頭部追蹤式感測器）接收關於使用者的追蹤位置的資訊。頭部追蹤式多視像顯示器可以相對於視像方向位移（shift）臨時視像，以形成對應於不同的視像方向的位移的視像。位移的視像可以由位移值位移，位移值根據使用者的追蹤位置而變化，且在多視像影像的視野上變化。

使用在多視像影像的視野上變化的位移值可能會有所幫助。例如，在使用在多視像影像的視野中不變的位移值的顯示器中，使用者可以在顯示器上的不同位置感知到多視像影像的不同視像，其可能造成使用者混亂或不適。作為具體示例，使用者可以同時將顯示器的一部分感知為顯示第一視像，並將顯示器的另一部分感知為顯示第二視像。相反的，如下所述，在位移值在多視像影像的視野上變化的顯示器中，使用者可以在多視像影像的整個視野上感知到相同的視像。呈現多視像影像以使使用者在多視像影像的視野上感知相同的視像（例如，避免使用者感知顯示第一視像的顯示器的一部分和顯示第二視像的顯示器的另一部分的情況）可以對使用者提供更逼真的觀看體驗。在具體示例中，使用者的一隻眼睛可以在多視像影像的全視場上感知到第一視像，而使用者的另一隻眼睛可以在多視像影像的全視場上感知到第二視像，如此使用者可以體驗立體效果。

在各個實施例中，頭部追蹤式感測器或演算法可以提供關於使用者相對於多視像顯示器的位置或地點的資訊。亦即，可以藉由使用者頭部或其他解剖學特徵的位置來確定或推斷使用者位置。為了便於本文的討論而不是限制，本發明所述的實施例或組件可以稱為包含或使用「頭部追蹤」，例如在採用頭部追蹤的多視像顯示器、系統和方法中。

圖1是根據與本發明所述原理一致的一實施例，顯示示例中的多視像顯示器10的立體圖。如圖1中所示的，多視像顯示器10包括螢幕12，其用於顯示要被觀看的多視像影像。多視像顯示器10在相對於螢幕12的不同的視像方向16上提供多視像影像的不同的視像14。視像方向16如箭頭所示，從螢幕12以各個不同的主要角度方向延伸。不同的視像14在箭頭（亦即，表示視像方向16）的終點處被顯示為陰影多邊形框。僅顯示四個視像14和四個視像方向16，其皆為示例而非限制。應注意，雖然不同的視像14在圖1中顯示為在螢幕上方，但是當多視像影像被顯示在多視像顯示器10上時，視像14實際上出現在螢幕12上或附近。在螢幕12上方描繪視像14僅是為了簡化說明，並且意圖表示從對應於特定視像14的相應的一個視像方向16觀看多視像顯示器10。

根據本發明定義，視像方向或等效地具有與多視像顯示器的視像方向對應方向的光束，通常具有由角度分量｛θ, ϕ｝給出的主要角度方向。角度分量θ在本發明中稱為光束的「仰角分量」或「仰角」。角度分量ϕ稱為光束的「方位角分量」或「方位角」。根據定義，仰角θ為在垂直面（例如，垂直於多視像顯示器螢幕的平面）內的角度，而方位角ϕ為在水平面（例如，平行於多視像顯示器螢幕的平面）內的角度。圖2是根據與本發明所述原理一致的一實施例，顯示示例中具有與多視像顯示器的視像方向（例如，圖1中的視像方向16）相對應的特定主要角度方向的光束20的角度分量｛θ, ϕ｝的示意圖。此外，根據本發明定義，光束20從特定點發射或射出。亦即，根據定義，光束20具有與多視像顯示器內的特定原點相關聯的中心射線。圖2進一步顯示了原點O的光束（或視像方向）。

此外本發明中，在術語「多視像影像」和「多視像顯示器」中所使用的術語「多視像（multiview）」定義為複數個視像（view），其表示複數個視像之中的視像之間不同的立體圖或包含視像的角度視差。另外，根據本發明定義，本發明中術語「多視像」明確包含兩個以上不同的視像（亦即，最少三個視像並且通常多於三個視像）。如此一來，本發明中所使用的「多視像顯示器」一詞與僅包含表示場景或影像的兩個不同的視像的立體顯示器明確區分。然而應注意的是，雖然多視像影像和多視像顯示器包含兩個以上的視像，但是根據本發明定義，可以藉由同時選擇觀看該些多視像影像中僅兩個影像（例如，每個眼球各一個視像），以將多視像影像觀看為立體影像對（a stereoscopic pair of images）（例如，在多視像顯示器上觀看）。

在本發明中，「多視像像素」定義為子像素的集合，其表示在多視像顯示器的類似的複數個不同視像其中每一個視像中的「視像」像素。具體來說，多視像像素可以具有單獨子像素，其對應或表示多視像影像的每個不同視像中的視像像素。此外，根據本發明定義，多視像像素的子像素是所謂的「方向性（directional）像素」，其中每個子像素與不同視像中相應的一視像的預定視像方向相關聯。此外，根據各個示例與實施例，由多視像像素的子像素表示的不同視像像素在每個不同視像中可以相同的或至少基本上相似的位置或座標。例如，第一多視像像素可以具有個別子像素，其對應位於多視像影像的每個不同視像中的{x ₁, y ₁}處的視像像素；而第二多視像像素可以具有個別子像素，其對應位於每個不同視像中的{x ₂, y ₂}處的視像像素，依此類推。

在本發明中，「導光體」定義為使用全內反射在結構內引導光的結構。具體來說，導光體可以包含在導光體的工作波長下基本上為透明的核心。在各個示例中，術語「導光體」一般指的是介電材料的光波導，其利用全內反射在導光體的介電材料和圍繞導光體的物質或介質之間的界面引導光。根據定義，全內反射的條件是導光體的折射係數大於與導光體材料的表面鄰接的周圍介質的折射係數。在一些實施例中，導光體可以在利用上述的折射係數差異之外額外包含塗層，或者利用塗層取代上述的折射係數差異，藉此進一步促成全內反射。舉例而言，該塗層可以是反射塗層。導光體可以是數種導光體中的任何一種，包含但不限於平板或厚平板導光體和條狀導光體其中之一或之二。

此外，本發明中，當術語「平板（plate）」應用於導光體時（如「平板導光體」），定義為片段地（piece-wise）或微分地（differentially）平坦的層或片，有時也稱為「厚平板（slab）」導光體。具體來說，平板導光體定義為導光體，導光體配置以在由導光體的頂部表面和底部表面（亦即，相對的表面）界定的兩個基本正交的方向上引導光。此外，根據本發明定義，頂部表面和底部表面都互相分開，並且至少在微分的意義上可以基本互相平行。亦即，在平板導光體的任何微分的小部分內，頂部表面和底部表面大致上為平行或共平面的。

在一些實施例中，平板導光體可以是基本上平坦的（亦即，限制為平面），並且因此平板導光體是平面導光體。在其他實施例中，平板導光體可以在一個或兩個正交維度上彎曲。舉例而言，平板導光體可以由單一維度彎曲以形成圓柱狀的平板導光體。然而，任何曲率都具有足夠大的曲率半徑，以確保在平板導光體內保持全內反射以引導光。

在本發明中，「光源」定義為光的來源（例如，配置為產生光並發射光的光學發射器）。舉例而言，光源可以包括光學發射器（諸如發光二極體（light emitting diode, LED）），其會在啟動時或開啟時發光。具體來說，在本發明中光源基本上可以為任何一種光源或者可以包括基本上任何光學發射器，其包含但不限於，LED、雷射、有機發光二極體（organic light emitting diode, OLED）、聚合物發光二極體、電漿光學發射器、日光燈、白熾燈，以及實質上任何的光源其中一種或多種。由光源所產生的光可以具有一顏色（亦即可以包含特定波長的光），或者可以具有一定範圍的波長（例如白光）。在一些實施例中，光源可以包括複數個光學發射器。舉例而言，光源可以包含光學發射器的集合或群組，其中該光學發射器的集合或群組中至少一個光學發射器產生的光，其顏色或等效波長不同於該光學發射器的集合或群組中至少一個其他光學發射器產生的光的顏色或波長。舉例而言，該些不同的顏色可以包含原色（例如，紅、綠、藍）。

在本發明中，「多視像影像」定義為複數個影像（亦即大於三個影像），其中複數個影像之中每一個影像表示與多視像影像的不同的視像方向相對應的不同視像。因此，舉例而言，多視像影像是影像的集合（例如，二維影像），當在多視像顯示器上顯示時可以增強景深感（perception of depth），因此使用者會覺得多視像影像看起來像3D場景的影像。提供多對視像的多視像影像表示與使用者的觀看一致的3D場景的不同但相關的立體圖，所述多視像影像定義為3D影像。

與本發明所述原理一致的實施例可以使用各種裝置和電路以實現，其包含但不限於積體電路（integrated circuits, ICs）、超大型積體電路（very large scale integrated, VLSI）、特殊應用積體電路（application specific integrated circuits, ASIC）、現場可程式邏輯閘陣列（field programmable gate arrays, FPGAs）、數位信號處理器（digital signal processors, DSPs）、圖形處理單元（graphical processor unit, GPU）等等、韌體、軟體（例如，程式模組或指令集）之中一個或多個、以及上述兩個或多個的組合。舉例而言，實施例或其元件可以實施為ASIC或VLSI電路內的電路元件。採用ASIC或VLSI電路的實施是硬體電路的實施的示例。

在另一示例中，實施例可以使用在操作環境或基於軟體的建模環境（modeling environment）（例如，MATLAB®、MathWorks、Inc.、Natick、MA）中執行的計算機程式語言（例如，C/C++）實施為軟體，其進一步藉由電腦執行（例如，儲存在記憶體中並由通用電腦的處理器或圖形處理器執行）。應注意，電腦程式或軟體其中一個或多個可以構成電腦程式結構，並且程式語言可以被編譯（compiled）或被直譯（interpreted），例如，可配置或被配置（在本討論中可以互換使用）以由電腦的處理器或圖形處理器執行。

在又一示例中，可以使用實際電路或實體電路（例如作為IC或ASIC）以實施本發明所述的裝置、設備或系統（例如影像處理器、攝影機）的區塊、模組或元件，而另一區塊、另一模組或另一元件可以實施為軟體或韌體。具體來說，根據本發明定義，舉例而言，一些實施例可以使用基本上是硬體電路的方法或裝置（例如ICs、VLSI、ASIC、FPGA、DSP、韌體等）以實施，而其他實施例也可以使用電腦處理器或圖形處理器執行軟體以實施為軟體或韌體，或者實施為軟體或韌體與硬體電路的組合。

此外，如本發明所使用的，冠詞「一」旨在具有其在專利領域中的通常含義，亦即「一個或多個」。例如，在本發明中「一透鏡」意指一個或多個透鏡，並因此「該透鏡」意指「該（些）透鏡」。此外，本發明所述的任何「頂部」、「底部」、「上」、「下」、「向上」、「向下」、「前」、「後」、「第一」、「第二」、「左」、或「右」皆並非意使其成為任何限制。本發明中，當「大約（about）」一詞應用在一數值時，除非另有明確說明，其意思大體上為該數值在產生該數值的設備的公差範圍內，或者可以表示正負10％或正負5％或正負1％。此外，本發明所使用「基本上（substantially）」一詞是指大部分、或幾乎全部、或全部、或在大約51％至大約100％的範圍內的數量。再者，本發明的示例僅為說明性示例，並且提出該示例的目的是為了討論而非限制。

根據本發明所述原理的一些實施例，本發明提供了一種頭部追蹤式多視像顯示器100。在一些實施例中，頭部追蹤式多視像顯示器100可以稱為頭部追蹤式（head-tracked）多視像顯示器。圖3是根據與本發明所述原理一致的一實施例，顯示示例中的頭部追蹤式多視像顯示器100的剖面圖。頭部追蹤式多視像顯示器100配置為提供場景的複數個視像以作為多視像影像，亦即所示的多視像影像。具體來說，頭部追蹤式多視像顯示器100在對應的複數個視像方向上提供複數個視像。在圖3中，複數個視像的視像方向或等效的視像描繪為指向從頭部追蹤式多視像顯示器100延伸的不同角度方向的箭頭102。為方便起見，複數個視像的視像方向或等效視像用視像標識編號104標記。在圖3的具體示例中，頭部追蹤式多視像顯示器100提供八個視像；也可以使用其他數量的視像。圖3中的視像用視像標識編號104標識為1到8；也可以使用其他標識符，例如字母A到H。圖3的視像標識編號104只是為了方便而提供，並不暗示視像是依序的或以任何方式排序。

如圖3所示，頭部追蹤式多視像顯示器100包括多光束背光件106。多光束背光件106配置為提供具有對應於多視像影像的不同的視像方向的不同的主要角度方向的複數條光束。在圖3的配置中，多光束背光件106可以包含由控制器110控制的光源108。光源108可以將光引導到導光體112的邊緣。導光體112可以在導光體112內傳播光以作為引導的光。複數個多光束元件114可以將引導的光的各個部分引導出導光體112以形成複數條光束。圖3所示的多光束背光件106的配置只是多光束背光件106的一個示例；也可以使用其他合適的配置。

如圖3所示，頭部追蹤式多視像顯示器100進一步包括處理器116。在圖3的示例中，處理器116包含在控制器110中。在其他配置中，處理器116可以與控制器110分開。處理器116配置為接收多視像影像的複數個臨時視像。複數個臨時視像可以對應於不同的視像方向。處理器116進一步配置為接收關於使用者118的追踪位置的資訊，例如包含關於使用者118和顯示器的發光部分之間的方向或距離的資訊。在示例中，使用者118的追踪位置可以包含關於使用者118的視像方向的資訊。處理器116進一步配置為相對於視像方向位移臨時視像，以形成對應於不同的視像方向的複數個位移的視像。在各個實施例中，位移的視像以位移值位移或根據位移值位移。位移值可以取決於使用者118的追踪位置而變化。在各個實施例中，位移值也可以在多視像影像的視野中變化。下文提供關於位移值的計算的細節。

如圖3所示，頭部追蹤式多視像顯示器100進一步包括光閥陣列120。光閥陣列120配置為調變複數條光束中的光束以將多視像影像的複數個位移的視像提供到視像方向，以作為多視像影像。光閥陣列120可以由控制器110控制。在各個實施例中，可用任何種類的光閥作為光閥陣列120中的光閥，其包含但不限於，液晶光閥、電泳光閥，及基於電潤濕的複數光閥其中一種或多種。

如圖3所示，頭部追蹤式多視像顯示器100進一步包括頭部追蹤器122。頭部追蹤器122配置為提供使用者118的追蹤位置（例如，使用者118的頭部、或者使用者118的一隻或兩隻眼睛，或使用者118的其他解剖學特徵）。頭部追蹤器122可以包含配置為拍攝使用者118的影像的攝影機。頭部追蹤器122可以進一步包含影像處理器（或者編程為影像處理器的通用電腦），其配置為確定使用者118在拍攝的影像內的位置以提供追蹤的位置。在一些示例中，處理器116可以包含頭部追蹤器122的影像處理器，例如藉由使用相同的處理電路執行操作。在其他示例中，處理器116可以與頭部追蹤器122的影像處理器分開。也可以使用其他合適的頭部追蹤器，包含基於雷射雷達的頭部追蹤器（例如，使用反射光在場景中的飛行時間以確定到場景中一個或多個物體的距離，例如使用者的頭部或使用者的眼睛）或其他技術。頭部追蹤器122的輸出可以用於修改頭部追蹤式多視像顯示器100的操作（例如，藉由光閥陣列120調變光束）。例如，使用者118的確定位置可以提供給頭部追蹤式多視像顯示器100的處理器（諸如處理器116）和光閥驅動器（例如，驅動器電路或控制器110）其中之一或之二，以調整從頭部追蹤式多視像顯示器100的發射圖案以對應於使用者的位置。頭部追蹤器122實施的其它示例可以包含任何種類的二維（2D）和三維（3D）目標追蹤系統之中任何一種，例如但不限於，Kinect®目標追蹤系統。Kinect®是位於華盛頓州雷德蒙德的微軟公司的註冊商標。

如上文所述，並在下文詳細解釋，圖3的頭部追蹤式多視像顯示器100確定在多視像影像的視野中變化的位移值。為了示範在多視像影像的視野中改變位移值的效果，圖4顯示位移不變的頭部追蹤式多視像顯示器400的示例的平面圖，其中位移值在多視像影像的視野中不會變化。相反地，位移值在多視像影像的視野內是固定或不變的，例如在位移不變的頭部追蹤式多視像顯示器400的有效表面區域的視野範圍中。

在圖4的示例中，對於使用者402的一些位置，多視像影像的不同區域可以看見多視像影像的不同視像。例如，多視像影像的左上角可以看見視像編號1，多視像影像的中間部分可以看見視像編號2，並且多視像影像的左上角可以看見視像編號3。由於使用者402在相對於位移不變的頭部追蹤式多視像顯示器400的使用者位置感知的影像可以包含來自多視像影像的不同視像的區域，因此感知影像可能失真，或者可能包含在不同視像部分之間的邊界或視像的未對齊造成的偽影。

在多視像影像的視野上改變位移值可以幫助克服位移不變的頭部追蹤式多視像顯示器400的缺點。具體來說，在多視像影像的整個視野範圍內改變位移值，可以助於確保所有或基本上所有多視像影像對使用者顯示單視像（或者視像的單一組合）。以下段落詳細描述確定位移值的示例。

處理器116可以確定位移值以為頭部追蹤式多視像顯示器100提供兩個通用功能。位移值的第一通用功能是，當使用者118改變相對於顯示器的位置時，將指定視像引導向使用者118的眼睛。位移值的第二通用功能是確保在整個多視像影像中只有一個特定視像可見（例如在頭部追蹤式多視像顯示器的特定有效表面區域延伸），只有單一特定視像（或特定視像組合）可見，以使相鄰視像或偽視像就不可見。換句話說，如下文所述計算位移值可以確保使用者118在第一視像中看不到多視像影像的一部分，且在第二視像中看不到多視像影像的另一部分，從而避免圖4的頭部追蹤式多視像顯示器400的示例。

處理器116可以包含數學模型，其預測在頭部追蹤式多視像顯示器的表面區域或之中取決於使用者118的位置並且取決於使用者118的視像方向哪個視像是使用者118可見的。視像可以表示為實數。例如，對於包含八個視像的多視像影像，視像可以由整數N表示，其中N可以具有從一到八的整數值，並包含一和八。使用者118可以具有中心頭部位置，其以空間座標表示為（x, y, z）。頭部追蹤式多視像顯示器可以具有像素位置，其在頭部追蹤式多視像顯示器的有效表面區域內以空間座標表示為（x ₀, y ₀）。數學模型可以確定視像編號N ( x, y, z, x ₀, y ₀)，其取決於使用者位置和像素位置。換句話說，對於使用者位置（x, y, z）和像素位置（x ₀, y ₀）的每個組合，數學模型可以確定哪個視像N是可見的。

位移值以量δN表示，其為無量綱量（dimensionless quantity），表示對於視像編號N的修正或增加。例如，+1的位移值δN可以涉及將視像編號（例如視像編號3）以+1的值增加（例如視像編號4）。位移值δN可以在頭部追蹤式多視像顯示器的有效表面區域中（例如，在多視像影像的視野中）從像素位置到像素位置變化。允許位移值δN在多視像影像的視野中變化可以確保使用者118在整個多視像影像上僅看到一個特定的多視像影像（或多視像影像的一個指定組合）。

處理器可以計算位移值以實現感知視像中的特定效果。此兩個效果在下文稱為「剝離模式（peeling mode）」和「滑動模式（sliding mode）」，兩者將在下文更詳細地解釋。

在剝離模式中，當使用者118改變位置時，視像可以從視像推移（progress）至另一視像，如此使用者118可以根據使用者118的位置以多個不同的視像觀看多視像影像。在一些實施例中，在剝離模式中，可以選擇位移值以使使用者118的位移允許使用者118以與臨時視像的推移匹配的推移來觀看視像。在一些實施例中，在剝離模式中，可以選擇位移值以使使用者118的移動對使用者提供在視像推移時的視差感（sensation of parallax）。

剝離模式可以在不改變視差效果的情況下延伸頭部追蹤式多視像顯示器的視像區域。在剝離模式中，位移值δN可以取決於下述以計算：靜態視像編號N ₀，其相對於使用者位置和像素位置不變；中心視像編號N（x, y, z, 0, 0），其表示從使用者位置在顯示器的中心可見的視像，以及與像素相關的視像編號N（x, y, z, x ₀, y ₀），其表示從使用者位置的特定像素位置可見的視像，如下： δN = N ₀+ N (x, y, z, 0, 0) – N(x, y, z, x ₀, y ₀) （1）

圖5A是根據與本發明所述原理一致的一實施例，顯示示例中的剝離模式下使用的頭部追蹤式多視像顯示器500的平面圖，其中使用者502位於第一位置。在第一位置，使用者502可以在整個多視像影像觀看多視像影像的第一視像（由編號1表示）。

圖5B是根據與本發明所述原理一致的一實施例，顯示示例中的剝離模式下使用的頭部追蹤式多視像顯示器500的平面圖，其中使用者502位於第二位置。在第二位置，使用者502可以在整個多視像影像觀看多視像影像的第二視像（由編號2表示）。

圖5C是根據與本發明所述原理一致的一實施例，顯示示例中的剝離模式下使用的頭部追蹤式多視像顯示器500的平面圖，其中使用者502位於第三位置。在第三位置，使用者502可以在整個多視像影像觀看多視像影像的第三視像（由編號3表示）。

在滑動模式中，當使用者118改變位置時，單一視像（或單一視像組合）跟隨使用者118。例如，滑動模式可以有效地作為影像穩定器，其可以確保使用者118僅看到特定視像（或視像的特定組合），並防止在使用者118改變位置時可見其它視像。在一些實施例中，在滑動模式中，可以選擇位移值以使位移的視像跟隨使用者118的移動，並且允許使用者118在使用者118移動時僅觀看單一視像或單一視像組合。滑動模式可以確保使用者118體驗統一、靜態視像、由編號N ₀表示、沒有視差。在滑動模式中，頭部追蹤可以有效地抵消使用者118的任何運動，並且可以為使用者118提供類似在電影院中使用3D眼鏡的3D體驗。

使用與上文界定的相同量，位移值δN可以計算如下： δN = N ₀– N (x, y, z, x ₀, y ₀) （2）

圖6A是根據與本發明所述原理一致的一實施例，顯示示例中的滑動模式下使用的頭部追蹤式多視像顯示器600的平面圖，其中使用者602位於第一位置。在第一位置，使用者602可以在整個多視像影像觀看多視像影像的第一視像（由編號1表示）。

圖6B是根據與本發明所述原理一致的一實施例，顯示示例中的滑動模式下使用的頭部追蹤式多視像顯示器600的平面圖，其中使用者602位於第二位置。在第二位置，使用者602可以在整個多視像影像觀看多視像影像的第一視像（由編號1表示）。

圖6C是根據與本發明所述原理一致的一實施例，顯示示例中的滑動模式下使用的頭部追蹤式多視像顯示器600的平面圖，其中使用者602位於第三位置。在第三位置，使用者602可以在整個多視像影像觀看多視像影像的第一視像（由編號1表示）。

在一些實施例中，可以選擇位移值，以向使用者118的左眼提供多視像影像的第一三維視像，並且以向使用者118的右眼提供多視像影像的第二三維視像，第一三維視像和第二三維視像在使用者118移動時不變。

大體上，位移值δN可以不是整數，但可以是整數k和介於零和一之間的小數q（不包括零與一）之總和。例如，在一些實施例中，位移值可以對應於多視像影像的非整數編號的視像。作為另一示例，在一些實施例中，位移值可以對應於光閥陣列上的非整數編號的光閥。在純整數位移值δN可以涉及將一個視像位移到另一視像的角度位置的情況下，片段（例如非整數）位移值δN可以涉及將相鄰視像組合以形成組合視像或片段視像。有許多可能的方式組合相鄰視像以形成組合視像。在一些實施例中，處理器可以配置為藉由組合兩個相鄰的臨時視像以形成位移的視像。在一些實施例中，處理器可以配置為藉由非線性地組合兩個相鄰的臨時視像，亦即，以非線性方式組合兩個相鄰的臨時視像來形成位移的視像。

在一些實施例中，處理器配置為藉由以下步驟以形成位移的視像：將兩個相鄰的臨時視像的像素值從伽馬空間轉換到線性空間，以形成線性空間像素值；對線性空間像素值線性地總合（sum linearly）以形成線性總合值；以及，將線性總合值從線性空間轉換到伽馬空間。例如，非線性混合函數F（q）可以定義為當q = 0時其值為0、當q = 0.5時其值為0.5，且當q = 1時其值為1，無量綱指數γ可以將紅-綠-藍（RBG）像素值從伽馬空間轉換到線性空間，視像k的像素值可以由量V _k表示，相鄰視像K+1的像素值可以由量V _k+1表示，並且片段視像k+q的像素值可以由量V _k+q表示，並計算如下： V _k+q= [(1 – f (q))(V _k) ^γ+ (f(q))(V _k+1) ^γ] ^1/γ（3）在對應不同視像的不同顏色的子像素的一些示例中，可以對每個顏色分別計算位移值δN 。

根據本發明所述原理的一些實施例，本發明提供了一種頭部追蹤式多視像顯示系統。頭部追蹤式多視像顯示系統配置為提供或「顯示」表示場景的3D或多視像影像。具體來說，多視像影像提供為與多視像影像相關聯的複數個不同「視像」。例如，不同視像可以提供顯示的多視像影像中以「裸眼（glasses free）」（例如，裸視立體（autostereoscopic））表示的資訊。此外，根據各個實施例，可以對頭部追蹤式多視像顯示系統的使用者的不同地點或位置（例如，頭部位置）提供不同的視像集合。

圖7是根據與本發明所述原理一致的一實施例，顯示示例中的頭部追蹤式多視像顯示系統200的方塊圖。頭部追蹤式多視像顯示系統200配置為根據在不同的視像方向上的不同視像顯示多視像影像。具體來說，由頭部追蹤式多視像顯示系統200發射的光束用於顯示多視像影像，並且可以對應於不同視像的像素（亦即，視像像素）。不同的視像或等效的不同的視像方向顯示為從圖7中的頭部追蹤式多視像顯示系統200發出的箭頭202。如下文所提供，箭頭202也表示由頭部追蹤式多視像顯示系統200發射的光束。

頭部追蹤式多視像顯示系統200包含頭部追蹤式多視像顯示器210。頭部追蹤式多視像顯示器210包含多光束背光件，其配置為提供具有對應多視像影像的不同的視像方向的不同的主要角度方向的複數條光束。頭部追蹤式多視像顯示器210包含處理器，其配置為接收多視像影像的複數個臨時視像，複數個臨時視像對應於不同的視像方向，接收關於使用者230的追蹤位置的資訊，並且相對於視像方向位移臨時視像，以形成對應於不同的視像方向的複數個位移的視像，位移的視像以一位移值位移，位移值根據使用者230的追蹤位置而變化，且在多視像影像的視野上變化。頭部追蹤式多視像顯示器210包含光閥陣列，配置為調變複數條光束中的光束以將多視像影像的複數個位移的視像提供到視像方向，以作為多視像影像。

頭部追蹤式多視像顯示系統200包含頭部追蹤器220，其配置為將使用者230的追蹤位置提供給頭部追蹤式多視像顯示器210的處理器。頭部追蹤器220可以包含攝影機，其具有包含使用者230的視野222。攝影機配置為拍攝使用者230的影像。頭部追蹤器220可以進一步包含影像處理器，其配置為確定使用者230在拍攝的影像內的位置以提供追蹤的位置。

根據本發明所述原理的其他實施例，本發明提供一種操作頭部追蹤式多視像顯示器的方法。圖8是根據與本發明所述原理一致的一實施例，顯示示例中的操作頭部追蹤式多視像顯示器的方法300的流程圖。

如圖8所示，操作頭部追蹤式多視像顯示器的方法300包括以多光束背光件提供具有對應於多視像影像的不同的視像方向的不同的主要角度方向的複數條光束（步驟310）。多光束背光件在結構和功能上可以類似多光束背光件106。

如圖8所示，操作頭部追蹤式多視像顯示器的方法300進一步包括使用處理器接收多視像影像的複數個臨時視像。複數個臨時視像對應於不同的視像方向（步驟320）。臨時視像可以表示要使用多視像顯示器顯示給使用者的3D影像的原始的、未修改的或未位移的部分。處理器在結構和功能上可以類似於處理器116。

如圖8所示，操作頭部追蹤式多視像顯示器的方法300進一步包括使用處理器相對於視像方向位移臨時視像，以形成對應於不同的視像方向的複數個位移的視像（步驟330）。位移的視像以一位移值位移，位移值根據使用者的追蹤位置而變化，且在多視像影像的視野上變化。

如圖8所示，操作頭部追蹤式多視像顯示器的方法300進一步包括使用光閥陣列調變複數條光束中的光束，以將多視像影像的複數個位移的視像提供到視像方向（步驟340），以作為多視像影像。光閥陣列可以在結構上和功能上類似於光閥陣列120。

在一些實施例中，操作頭部追蹤式多視像顯示器的方法300進一步包括以處理器組合兩個相鄰的臨時視像以形成位移的視像。在一些實施例中，操作頭部追蹤式多視像顯示器的方法300進一步包括以處理器非線性地組合兩個相鄰的臨時視像以形成位移的視像。在一些實施例中，處理器藉由以下步驟以形成位移的視像：將兩個相鄰的臨時視像的像素值從伽馬空間轉換到線性空間，以形成線性空間像素值；對線性空間像素值線性地總合以形成線性總合值；以及，將線性總合值從線性空間轉換到伽馬空間。在一些實施例中，位移值對應於多視像影像的非整數編號的視像。在一些實施例中，例如在上述剝離模式中，處理器選擇位移值以使使用者的移動允許使用者以與臨時視像的推移匹配的推移來觀看視像。在一些實施例中，例如在上述剝離模式中，處理器可以選擇位移值，以使使用者的移動對使用者提供在視像推移時的視差感。

在一些實施例中，例如在上述滑動模式中，處理器可以選擇位移值以使位移的視像跟隨使用者的移動，並且允許使用者在使用者移動時僅觀看單一視像或單一視像組合。在一些實施例中，例如在上述滑動模式中，處理器選擇位移值以向使用者的左眼提供多視像影像的第一三維視像以及向使用者的右眼提供多視像影像的第二三維視像。在使用者移動時，第一三維視像和第二三維視像可以不變。

因此，本發明已描述了頭部追蹤式多視像顯示器、頭部追蹤式多視像顯示系統和操作頭部追蹤式多視像顯示器的方法的示例和實施例，其中，臨時視像相對於視像方向位移以形成對應於不同的視像方向的複數個位移的視像，位移的視像以一位移值位移，位移值取決於使用者的追蹤位置而改變並且在多視像影像的視野中改變。上述示例僅是說明本發明所述的原理的多個具體示例的其中一些示例。很明顯的，所屬技術領域中具有通常知識者可以輕易設計出多種其他配置，但這些配置不會超出本發明申請專利範圍所界定的範疇。

本申請案請求於2022年9月11日提交的第 PCT/US22/43171號國際專利申請的優先權，該申請案請求於2022年5月10日提交的第63/340,361號美國臨時申請案的優先權，本發明引用其全文並將其併入本發明。

1~8:視像編號 10:多視像顯示器 12:螢幕 14:視像 16:視像方向 20:光束 100:頭部追蹤式多視像顯示器 102:箭頭 104:視像標識編號 106:多光束背光件 108:光源 110:控制器 112:導光體 114:多光束元件 116:處理器 118:使用者 120:光閥陣列 122:頭部追蹤器 200:頭部追蹤式多視像顯示系統 202:箭頭 210:頭部追蹤式多視像顯示器 220:頭部追蹤器 222:視野 230:使用者 400:頭部追蹤式多視像顯示器 402:使用者 500:頭部追蹤式多視像顯示器 502:使用者 600:頭部追蹤式多視像顯示器 602:使用者 300:方法 310:步驟 320:步驟 330:步驟 340:步驟 O:原點 ϕ:方位角分量、角度分量、方位角 θ:仰角分量、角度分量、仰角

根據在本發明所述的原理的示例和實施例的各種特徵可以參考以下結合附圖的詳細描述而更容易地理解，其中相同的元件符號表示相同的結構元件，並且其中：圖1是根據與本發明所述原理一致的一實施例，顯示示例中的多視像顯示器的立體圖。圖2是根據與本發明所述原理一致的一實施例，顯示示例中的具有與多視像顯示器的視像方向相對應的特定主要角度方向的光束的角度分量的示意圖。圖3是根據與本發明所述原理一致的一實施例，顯示示例中的頭部追蹤式多視像顯示器的剖面圖。圖4顯示位移不變的頭部追蹤式多視像顯示器的示例的平面圖，其中位移值在多視像影像的視野中不會變化。圖5A是根據與本發明所述原理一致的一實施例，顯示示例中的剝離模式下使用的頭部追蹤式多視像顯示器的平面圖，其中使用者位於第一位置。圖5B是根據與本發明所述原理一致的一實施例，顯示示例中的剝離模式下使用的頭部追蹤式多視像顯示器的平面圖，其中使用者位於第二位置。圖5C是根據與本發明所述原理一致的一實施例，顯示示例中的剝離模式下使用的頭部追蹤式多視像顯示器的平面圖，其中使用者位於第三位置。圖6A是根據與本發明所述原理一致的一實施例，顯示示例中的滑動模式下使用的頭部追蹤式多視像顯示器的平面圖，其中使用者位於第一位置。圖6B是根據與本發明所述原理一致的一實施例，顯示示例中的滑動模式下使用的頭部追蹤式多視像顯示器的平面圖，其中使用者位於第二位置。圖6C是根據與本發明所述原理一致的一實施例，顯示示例中的滑動模式下使用的頭部追蹤式多視像顯示器的平面圖，其中使用者位於第三位置。圖7是根據與本發明所述原理一致的一實施例，顯示示例中的頭部追蹤式多視像顯示系統的方塊圖。圖8是根據與本發明所述原理一致的一實施例，顯示示例中的操作頭部追蹤式多視像顯示器的方法的流程圖。特定示例和實施例具有上述參考附圖所示的特徵之外的其他特徵，或者具有代替上述參考附圖中所示的特徵的其他特徵。下文將參照上述參考附圖，詳細描述這些特徵和其他特徵。

1:8:視像編號

100:頭部追蹤式多視像顯示器

102:箭頭

104:視像標識編號

106:多光束背光件

108:光源

110:控制器

112:導光體

114:多光束元件

116:處理器

118:使用者

120:光閥陣列

122:頭部追蹤器

Claims

一種頭部追蹤式多視像顯示器，包括：一多光束背光件，配置為提供複數條光束，該複數條光束具有不同的主要角度方向，對應於一多視像影像的不同的視像方向；一處理器，配置為：接收該多視像影像的複數個臨時視像，該複數個臨時視像對應於該等不同的視像方向；接收關於一使用者的一追蹤位置的資訊；以及相對於該等不同的視像方向位移該等臨時視像，以形成對應於該等不同的視像方向的複數個位移的視像，該等位移的視像以一位移值位移，該位移值取決於該使用者的該追蹤位置而改變，並且在該多視像影像的一視野中改變；以及一光閥陣列，配置為調變該複數條光束中的光束，以將該多視像影像的該複數個位移的視像提供到該等不同的視像方向，以作為該多視像影像。
如請求項1之頭部追蹤式多視像顯示器，其中，該處理器進一步配置為相對於該等不同的視像方向位移該等臨時視像，以藉由組合兩個相鄰的臨時視像以形成該等位移的視像。
如請求項2之頭部追蹤式多視像顯示器，其中，該處理器進一步配置為藉由非線性地組合該兩個相鄰的臨時視像以形成該等位移的視像。
如請求項3之頭部追蹤式多視像顯示器，其中，該處理器進一步配置為藉由以下步驟形成該等位移的視像：將該兩個相鄰的臨時視像的像素值從伽馬空間轉換到線性空間，以形成線性空間像素值；線性地總合該等線性空間像素值以形成一線性總合值；以及將該線性總合值從線性空間轉換到伽瑪空間。
如請求項1之頭部追蹤式多視像顯示器，其中，該位移值對應於該多視像影像的非整數編號的視像。
如請求項1之頭部追蹤式多視像顯示器，其中，選擇該位移值，以使該使用者的移動允許該使用者以與該等臨時視像的推移匹配的推移來觀看視像。
如請求項6之頭部追蹤式多視像顯示器，其中，選擇該位移值，以使該使用者的移動對該使用者提供在該等視像推移時的視差感。
如請求項1之頭部追蹤式多視像顯示器，其中，選擇該位移值，以使該等位移的視像跟隨該使用者的移動，並且允許該使用者在該使用者移動時僅觀看一單一視像或一單一視像組合。
如請求項8之頭部追蹤式多視像顯示器，其中，選擇該位移值，以向該使用者提供該多視像影像的一第一三維視像給該使用者的一左眼，並且提供該多視像影像的一第二三維視像給該使用者的一右眼，該第一三維視像和該第二三維視像在該使用者移動時不變。
如請求項1之頭部追蹤式多視像顯示器，進一步包括：一頭部追蹤器，配置為提供該使用者的該追蹤位置，該頭部追蹤器包括配置為拍攝該使用者的一影像的一攝影機，該頭部追蹤器進一步包括一影像處理器，配置為確定該使用者在該拍攝的影像內的位置以提供該追蹤位置。
一種操作頭部追蹤式多視像顯示器的方法，該方法包括：藉由一多光束背光件提供複數條光束，該複數條光束具有不同的主要角度方向，對應於一多視像影像的不同的視像方向；藉由一處理器接收該多視像影像的複數個臨時視像，該複數個臨時視像對應於該等不同的視像方向；藉由該處理器接收關於一使用者的一追蹤位置的資訊；藉由該處理器相對於該等不同的視像方向位移該等臨時視像，以形成對應於該等不同的視像方向的複數個位移的視像，該等位移的視像以一位移值位移，該位移值取決於該使用者的該追蹤位置而改變，並且在該多視像影像的一視野中改變；以及藉由一光閥陣列調變該複數條光束中的光束，以將該多視像影像的該複數個位移的視像提供到該等不同的視像方向，以作為該多視像影像。
如請求項11之方法，進一步包括：藉由該處理器組合兩個相鄰的臨時視像以形成該等位移的視像。
如請求項11之方法，進一步包括：藉由該處理器非線性地組合兩個相鄰的臨時視像以形成該等位移的視像。
如請求項13之方法，其中，該處理器藉由以下步驟形成該等位移的視像：將該兩個相鄰的臨時視像的像素值從伽馬空間轉換到線性空間，以形成線性空間像素值；線性地總合該等線性空間像素值以形成一線性總合值；以及將該線性總合值從線性空間轉換到伽瑪空間。
如請求項11之方法，其中，該位移值對應於該多視像影像的非整數編號的視像。
如請求項11之方法，其中，該處理器選擇該位移值，以使該使用者的移動允許該使用者以與該等臨時視像的推移匹配的推移來觀看視像。
如請求項16之方法，其中，該處理器選擇該位移值，以使該使用者的移動對該使用者提供在該等視像推移時的視差感。
如請求項11之方法，其中，該處理器選擇該位移值，以使該等位移的視像跟隨該使用者的移動，並且允許該使用者在該使用者移動時僅觀看一單一視像或一單一視像組合。
如請求項18之方法，其中，該處理器選擇該位移值，以向該使用者提供該多視像影像的一第一三維視像給該使用者的一左眼，並且提供該多視像影像的一第二三維視像給該使用者的一右眼，該第一三維視像和該第二三維視像在該使用者移動時不變。
一種頭部追蹤式多視像顯示器，包括：一頭部追蹤器，配置為提供一使用者相對於該頭部追蹤式多視像顯示器的一追蹤位置，該頭部追蹤器包括配置為拍攝該使用者的一影像的一攝影機，該頭部追蹤器進一步包括一影像處理器，配置為確定該使用者在該拍攝的影像內的位置以提供該追蹤位置；一多光束背光件，配置為提供複數條光束，該複數條光束具有不同的主要角度方向，對應於一多視像影像的不同的視像方向；一處理器，配置為：接收該多視像影像的複數個臨時視像，該複數個臨時視像對應於該等不同的視像方向；以及相對於該等不同的視像方向位移該等臨時視像，以形成對應於該等不同的視像方向的複數個位移的視像，該等位移的視像以一位移值位移，該位移值取決於該使用者的該追蹤位置而改變，並且在該多視像影像的一視野中改變；以及一光閥陣列，配置為調變該複數條光束中的光束，以將該多視像影像的該複數個位移的視像提供到該等不同的視像方向，以作為該多視像影像。