TWI695189B - 交叉渲染多視域攝影機、系統、及方法 - Google Patents

交叉渲染多視域攝影機、系統、及方法 Download PDF

Info

Publication number
TWI695189B
TWI695189B TW107145637A TW107145637A TWI695189B TW I695189 B TWI695189 B TW I695189B TW 107145637 A TW107145637 A TW 107145637A TW 107145637 A TW107145637 A TW 107145637A TW I695189 B TWI695189 B TW I695189B
Authority
TW
Taiwan
Prior art keywords
view
image
light
scene
cross
Prior art date
Application number
TW107145637A
Other languages
English (en)
Other versions
TW201930960A (zh
Inventor
大衛 A 費圖
羅傑 戴斯
艾德蒙 A 陶
Original Assignee
美商雷亞有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商雷亞有限公司 filed Critical 美商雷亞有限公司
Publication of TW201930960A publication Critical patent/TW201930960A/zh
Application granted granted Critical
Publication of TWI695189B publication Critical patent/TWI695189B/zh

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/243Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/271Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G02B6/0001Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems
    • G02B6/0011Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems the light guides being planar or of plate-like form
    • G02B6/0033Means for improving the coupling-out of light from the light guide
    • G02B6/0035Means for improving the coupling-out of light from the light guide provided on the surface of the light guide or in the bulk of it
    • G02B6/00362-D arrangement of prisms, protrusions, indentations or roughened surfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/111Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/111Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/156Mixing image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/282Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/349Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/356Image reproducers having separate monoscopic and stereoscopic modes
    • H04N13/359Switching between monoscopic and stereoscopic modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0081Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

一種交叉渲染多視域攝影機,使用從一場景的一視差圖所產生的一合成影像提供該場景的一多視域影像。該交叉渲染多視域攝影機包括:複數個攝影機,沿著一第一軸互相隔開且配置以擷取該場景的複數個影像。該交叉渲染多視域攝影機進一步包括:一影像合成器,配置為使用由該等影像確定的該場景的該視差圖產生一合成影像,其中,該合成影像表示與該第一軸偏離的一第二軸上的一虛擬攝影機的一位置對應的一視角中的該場景的一視域。一種交叉渲染多視域系統進一步包括:一多視域顯示器,配置以顯示該多視域影像。一種交叉渲染多視域成像之方法包括:擷取該場景的該等影像;以及使用該視差圖產生該合成影像。

Description

交叉渲染多視域攝影機、系統、及方法
本發明係關於一種多視域攝影機,尤其是一種交叉渲染多視域攝影機、系統、及方法。
在用於傳遞資訊給使用者方面,電子顯示器是具有種類廣泛的裝置及產品之幾乎無處不在的媒介。最常見的電子顯示器包含陰極射線管(cathode ray tube, CRT)、電漿顯示面板(plasma display panel, PDP)、液晶顯示器(liquid crystal display, LCD)、電致發光顯示器(electroluminescent display, EL)、有機發光二極體(organic light emitting diode, OLED)和主動式矩陣有機發光二極體(active matrix OLED, AMOLED)顯示器、電泳顯示器(electrophoretic display, EP),以及各種採用機電或電流體光調變(例如,數位微鏡裝置、電濕潤顯示器等)的顯示器。在一般情況下,電子顯示器可以分為主動式顯示器(即,會發光的顯示器)或被動式顯示器(即,調變由另一個光源提供的光的顯示器)的其中一者。在主動式顯示器的分類中,最明顯的示例是CRT、PDP及OLED/ AMOLED。在上述以發射光進行分類的情況下,LCD及EP顯示器一般是被歸類在被動式顯示器的分類中。被動式顯示器雖然經常表現出包括但不限於如固有的低功率消耗等具有吸引力的性能特徵,但由於其缺乏發光的能力,在許多實際應用中被動顯示器可能有使用上的限制。
影像擷取,尤其是三維影像擷取,一般係涉及對所擷取到的影像的大量影像處理,藉此將所擷取影像(例如,通常是二維影像)轉換為供三維顯示器或多視域顯示器顯示的三維影像。影像處理可以包含深度推估、影像內插、影像重建或其他複雜的處理,從影像被擷取時到影像被顯示時,這些處理可能會產生顯著的時間延遲。
依據本發明之一態樣,本發明提供一種交叉渲染多視域攝影機,包括:複數個攝影機,沿著一第一軸互相隔開,該等攝影機配置為擷取一場景的複數個影像;以及一影像合成器,配置為使用由該等影像確定的該場景的一視差圖產生該場景的一合成影像,其中,該合成影像表示與該第一軸偏離的一第二軸上的一虛擬攝影機的一位置對應的一視角中的該場景的一視域。
依據本發明另一態樣,本發明提供一種交叉渲染多視域系統,包括上述之交叉渲染多視域攝影機,該多視域系統進一步包括:一多視域顯示器,配置為將該合成影像顯示為表示該場景的一多視域影像的一視域。
依據本發明又一態樣,本發明提供一種交叉渲染多視域系統,包括:一多視域攝影機陣列,具有沿著一第一軸互相隔開的複數個攝影機,該多視域攝影機陣列配置為擷取一場景的複數個影像;一影像合成器,配置為使用由該等影像確定的一視差圖以產生該場景的一合成影像;以及一多視域顯示器,其配置為顯示包括該合成影像之該場景的一多視域影像,其中,該合成影像表示與該第一軸垂直的一第二軸上的一虛擬攝影機對應的一視角中的該場景的一視域。
依據本發明再一態樣,本發明提供一種交叉渲染多視域成像之方法,包括:使用沿一第一軸互相隔開的複數個攝影機擷取一場景的複數個影像;以及使用由該等影像確定的該場景的一視差圖產生該場景的一合成影像,其中,該合成影像表示與該第一軸偏離的一第二軸上的一虛擬攝影機的一位置對應的一視角中的該場景的一視域。
根據本文描述的原理的實施例和示例提供多視域或「全像式(holographic)」成像,其可以對應至多視域顯示器或與多視域顯示器結合使用。具體來說,根據本文所描述的原理的各種實施例,場景的多視域成像可以由沿第一軸佈置的複數個攝影機來提供。複數個攝影機配置為擷取場景的複數個影像。然後,採用影像合成以產生合成影像,所述合成影像表示從第一軸偏移的第二軸上的虛擬攝影機的位置對應的視角(perspective)中的場景的視域(view)。根據各種實施例,通過來自場景的視差圖或深度圖的影像合成來生成合成影像。根據各種實施例,隨後可以提供並顯示包括合成影像的多視域影像。多視域影像可以進一步包括複數個影像中的一影像。可以在多視域顯示器上查看一個或多個合成影像和複數個影像中的一個或多個影像作為多視域影像。此外,在多視域顯示器上觀看多視域影像可以使得觀看者能夠在多視域顯示器上觀看時,以不同視深(apparent depth)感知在實體環境內的場景的多視域影像內的元素,其包含由攝影機擷取的複數個影像中不存在的場景的視角視域。藉此,根據一些實施例,根據本文描述的原理的實施例的交叉渲染多視域攝影機可以產生多視域影像,當在多視域顯示器上觀看時,所述多視域影像可以為觀看者提供比單獨使用複數個攝影機時更「完整」的三維(3D)觀看體驗。
在本文中,「二維顯示器」或「2D顯示器」被定義為配置以提供顯示影像的顯示器,不管顯示影像是在2D顯示器上的什麼方向觀看(亦即,在預定視角內或在2D顯示器的預定範圍內),其顯示影像的視域基本上是相同的。智慧型手機和電腦螢幕中可能會有的液晶顯示器(LCD)是2D顯示器的示例。與此相反,「多視域顯示器」定義為配置以在不同視域方向(view direction)上或從不同視域方向提供多視域影像的不同視域的顯示器或顯示系統。具體來說,不同視域可以表示多視域影像的場景或物體的不同視角視域。在一些情況下,多視域顯示器也可以稱為三維(3D)顯示器,例如,在同時觀看多視域影像的兩個不同視域時,提供觀看三維(3D)影像的感覺。採用根據與本文描述的原理一致的各種實施例的可適用於擷取與顯示多視域影像的多視域顯示器與多視域系統的用途,包括但不限於行動電話(例如,智慧型手機)、手錶、平板電腦、行動電腦(例如,筆記型電腦)、個人電腦、電腦螢幕、汽車顯示控制台、攝影機顯示器、以及各種其他行動裝置、以及基本上不可移動的顯示器應用和裝置。
圖1A係根據與在此所描述的原理一致的示例說明一多視域顯示器10的立體圖。如圖所示,多視域顯示器10包括螢幕12,觀看所述螢幕12以看見多視域影像。多視域顯示器10在相對於螢幕12的不同視域方向16上提供多視域影像的不同視域14。視域方向16如箭頭所示,從螢幕12以各種不同的主要角度方向延伸。不同視域14在由箭頭表示視域方向16的終點處被顯示為陰影多邊形框框,並且僅顯示四個視域14和四個視域方向16,這全都是作為示例而非限制。應注意,雖然不同的視域14在圖1A中被顯示為在螢幕上方,但是當多視域影像被顯示在多視域顯示器10上時,視域14實際上出現在螢幕12上或附近。在螢幕12上方描繪視域14僅是為簡化說明,並且意圖表示從對應於特定視域14的相應的視域方向16觀看多視域顯示器10。此外,多視域顯示器10的視域14和對應的視域方向16通常以特定佈置方式安排或佈置,所述佈置方式由多視域顯示器10的實施方法所決定。舉例而言,如下文進一步所述,視域14和對應的觀察方向16可以矩形、正方形、圓形、六邊形等方式排列,以多視域顯示器的特定實施方法所決定。
根據本文的定義,視域方向或等效地具有與多視域顯示器的視域方向對應的方向的光束,通常具有由角分量{θ ,ϕ }給出的主要角度方向。角分量θ 在本文中被稱為光束的「仰角分量」或「仰角」。角分量ϕ 被稱為光束的「方位角分量」或「方位角」。根據本發明中的定義,仰角θ 是垂直平面(例如,垂直於多視域顯示器螢幕的平面)中的角度,而方位角ϕ 是在水平面(例如,平行於多視域顯示器螢幕的平面)中的角度。
圖1B係根據與在此所描述的原理的示例說明具有與多視域顯示器的視域方向相對應的特定主要角度方向的光束20的角分量{θ ,ϕ }的示意圖。此外,根據本文的定義,光束20從特定點被發射或發出。也就是說,根據定義,光束20具有與多視域顯示器內的特定原點相關聯的中心射線。圖1B還顯示原點O的光束(或視域方向)。
在本文中,在「多視域影像」和「多視域顯示器」中使用的「多視域(multiview)」一詞定義為在複數個視域之中的視域之間表示不同視角或包含角度差異的複數個視域。此外,根據定義,術語「多視域」明確地包含多於兩個不同視域(亦即,最少三個視域並且通常多於三個視域)。因此,舉例而言,這裡採用的「多視域」明確地與僅包含兩個不同視域以表示場景的立體視域有所區別。然而,應注意的是,雖然多視域影像和多視域顯示器包括多於兩個視域,但是根據本文的定義,每次可以透過僅選擇該等視域中的兩個視域來在多視域顯示器上觀看多視域影像作為立體影像對(例如,每隻眼睛一個視域)。
「多視域像素」在本文中被定義為一套或一組子像素(諸如光閥),其表示在多視域顯示器的複數個不同視域中的每一個視域的「視域」像素。更具體來說,多視域像素可具有個別子像素,其對應於或表示多視域影像的每個不同視域中的視域像素。再者,根據本文的定義,多視域像素的子像素是所謂的「方向性(directional)像素」,因為每個子像素與不同視域中相應的一個的預定視域方向相關聯。進一步地,根據各個示例及實施例,由多視域像素的子像素表示的不同視域像素可在每個不同視域中具有等同的或至少基本上相似的位置或座標。例如,第一多視域像素可以具有位於多視域影像的每一個不同視域中的{x 1 ,y 1 }處的單獨子像素,而第二多視域像素可以具有位於每一個不同視域中的{x 2 ,y 2 }處的單獨子像素,依此類推。
在一些實施例中,多視域像素中的子像素數量可等於多視域顯示器的不同視域的數量。舉例而言,多視域像素可以提供與具有八(8)、十六(16)、三十二(32)、或六十四(64)個不同視域的多視域顯示器分別相關聯的8、16、32、64個子像素。在另一示例中,多視域顯示器可提供一2乘2的視域陣列(亦即,4個視域),且多視域像素可包括4個子像素(亦即,每個視域一個)。此外,舉例而言,每個不同的子像素可包括一關聯方向(例如,光束方向),所述的關聯方向對應相應於不同視域的視域方向中不同的一個。進一步地,根據一些實施例,多視域顯示器的多視域像素的數量大致上可等於多視域顯示器的「視域」像素的數量(亦即,構成所選視域的像素)。例如,如果視域包括640乘480的視域像素(即,640 x 480的視域解析度),多視域顯示器可具有三十萬零七千二百(307,200)個多視域像素。在另一示例中,當視域包含100乘100的像素,多視域顯示器可包含總數為一萬(即,100 x 100=10,000)的多視域像素。
本文中,「光導件」被定義為使用全內反射在結構內引導光的結構。具體地,光導件可以包括在光導件的工作波長處為基本上透明的芯。在各種實施例中,術語「光導件」通常是指採用全內反射來在光導件的介電材料與圍繞該光導件的材料或介質之間的界面處引導光的介電光波導件。根據定義,全內反射的條件是光導件的折射率大於與光導材料的表面鄰接的周圍介質的折射率。在一些實施例中,光導件可以包括除上述折射率差之外或替代上述折射率差的塗層,以進一步促進全內反射。例如,塗層可以是反射塗層。光導件可以是幾個光導件中的任何一個,包括但不限於板或板片光導件和條狀光導件中的一個或兩個。
此外,在本文中,當術語「板」應用於光導件以作為「板光導件」時,板光導件係定義為分段或差異性平面層或片,其在某些狀況下,也稱為「板片」光導件。尤其,板光導件係定義為配置以在兩個基本上正交方向引導光的光導件,該兩個基本上正交方向係由光導件之頂部表面以及底部表面(即,相對的表面)所限定。此外,由本文所定義,頂部表面以及底部表面彼此區隔開且在至少微分方面上彼此基本上平行。亦即,在板光導件的任何微小區塊中,頂部表面和底部表面為基本上平行或共面。
在一些實施例中,板光導件可為基本上平坦(即,受限於一平面),因此,板光導件為一平面光導件。在其他實施例中,板光導件可以被彎曲成一個或兩個正交維度。例如,板光導件可在單一維度中彎曲,以形成一圓柱形板光導件。然而,任何彎曲皆需具有足夠大的曲率半徑,以保證全內反射被維持在板光導件內來導光。
本文中,「繞射光柵」通常被定義為設置成提供入射在繞射光柵上的光的繞射的複數個特徵部(亦即,繞射特徵部)。在一些示例中,複數個特徵部可以以週期性或準週期性的方式設置。在其他示例中,繞射光柵可以是混合週期型繞射光柵,其包含複數個繞射光柵,複數個繞射光柵中的每一個繞射光柵具有不同的週期性特徵部的排列。此外,繞射光柵可以包含佈置在一維(1D)陣列中之複數個特徵部(例如,材料表面中的複數個凹槽或脊部)。或者,繞射光柵可包括二維(2D)陣列的特徵部或以限定在二維中的特徵部陣列。例如,繞射光柵可以是材料表面上的凸塊或材料表面中的孔洞的二維陣列。在一些示例中,繞射光柵在第一方向或維度上基本上可以是週期性的,並且在穿過或沿著繞射光柵的另一個方向上基本上是非週期性的(例如,固定的、隨機的等)。
如此,根據本文的定義,「繞射光柵」是提供入射在繞射光柵上的光的繞射的結構。如果光從光導件入射在繞射光柵上,則所提供的繞射或繞射散射可以導致並且因此被稱為「繞射耦合」,因為繞射光柵可以透過繞射將光耦合出光導件。繞射光柵還藉由繞射(亦即,以繞射角)重新定向或改變光的角度。特別地,由於繞射,離開繞射光柵的光通常具有與入射在繞射光柵上的光(亦即,入射光)的傳播方向不同的傳播方向。藉由繞射的光的傳播方向的變化在這裡被稱為「繞射重定向」。因此,繞射光柵可以理解為包括繞射特徵部的結構,繞射特徵部繞射地重定向入射在繞射光柵上的光,並且如果光從光導件入射,則繞射光柵也可以繞射地耦合出來自光導件的光。
此外,如本說明書中的定義,繞射光柵的特徵部係被稱為「繞射特徵部」,並且可以是位在表面處、在表面之內或在表面之上(即,「表面」所指的是兩個材料之間的一邊界)的一個以上的繞射特徵部。所述表面可以是板光導件的一個表面。繞射特徵部可以包含繞射光的各種結構中的任何一種,包含但不限於凹槽、脊部、孔洞、和凸塊中的一個或多個,且這些特徵可以位於在表面處、表面中、或表面上中的一處或多處。例如,繞射光柵可以包括在材料表面內的複數個平行的凹槽。在另一個示例中,繞射光柵可以包含從材料表面上突出的複數個平行的脊部。繞射特徵部(例如:凹槽、脊部、孔洞、凸部等)可以具有提供繞射的各種橫截面形狀或輪廓中的任何一種,包含但不限於正弦曲線輪廓、矩形輪廓(例如,二元繞射光柵)、三角形輪廓、和鋸齒輪廓(例如,閃耀光柵(blazed grating))。
根據本發明中所描述的各個實施例,繞射光柵(例如,如下文所述的繞射多光束元件的繞射光柵)可以被用於將光繞射地散射,或者將光耦合出光導件(例如,板光導件)以成為光束。特別是,局部週期性繞射光柵的繞射角q m 或由局部週期性繞射光柵提供的繞射角q m 可藉由方程式(1)給定如:
Figure 02_image001
(1) 其中λ是光的波長,m 是繞射階數,n 是光導件的折射率,d 是繞射光柵的特徵部之間的距離或間隔,θi 是繞射光柵上的光入射角度。為簡單起見,方程式(1)假設繞射光柵與光導件的表面鄰接並且光導件外部的材料的折射率等於1(亦即,nout = 1)。通常,繞射階數m 由整數給定(即,m = ±1、±2、......)。由繞射光柵產生的光束的繞射角q m 可以由方程式(1)給定。提供第一階繞射或更具體地提供第一階繞射角q m 時,繞射階數m 等於1(亦即,m = 1)。
此外,根據一些實施例,繞射光柵中的繞射特徵部可以是彎曲的,並且還可以具有相對於光的傳播方向的預定定向(orientation)(例如,傾斜或旋轉)。舉例而言,繞射特徵部的曲線和繞射特徵部的定向中的一者或兩者,可以配置為控制由繞射光柵耦合出的光的方向。例如,方向性光的主要角度方向可以是在光入射到繞射光柵的點相對於入射光的傳播方向之繞射特徵部的角度的函數。
根據本文的定義,「多光束元件」為產生包含複數條光束的光的背光件或顯示器的結構或元件。根據定義,「繞射」多光束元件是藉由繞射耦合或使用繞射耦合產生複數條光束的多光束元件。具體來說,在一些實施例中,繞射多光束元件可光學地耦合至背光件的光導件,以透過繞射地耦合出在所述光導件中的一部分的被引導的光而提供複數條光束。此外,根據本文的定義,繞射多光束元件包括在多光束元件的邊界或範圍內的複數個繞射光柵。根據本文的定義,由多光束元件所產生的複數條光束中的光束具有彼此不同的複數個主要角度方向。更具體來說,根據定義,複數條光束中的一光束具有不同於所述複數條光束中的另一光束的預定主要角度方向。根據各個實施例,繞射多光束元件的繞射光柵中的繞射特徵部間隔(spacing)或光柵間距(grating pitch)可以是亞波長(sub-wavelength)(即,小於被引導的光的波長)。
雖然具有複數個繞射光柵的多光束元件可以用作下文中的討論的說明性示例,在一些實施例中,其他組件可以用在多光束元件中,例如微反射元件和微折射元件中的至少一個。舉例而言,微反射元件可包含三角形鏡、梯形鏡、錐形鏡、矩形鏡、半球形鏡、凹形鏡和/或凸形鏡。在一些實施例中,微折射元件可包含三角形折射元件、梯形折射元件、錐形折射元件、矩形折射元件、半球形折射元件、凹形折射元件和/或凸形折射元件。
根據各種實施例,複數條光束可以代表一光場。例如,複數條光束可被限制在基本上為圓錐形的空間區域中,或者具有包括在複數條方向性光束中的光束的主要角度方向的預定角展度。組合的光束(亦即,複數條方向性光束)的預定角展度可以代表該光場。
根據各種實施例,複數條光束中的各種光束的不同主要角度方向,由包含但不限於繞射多光束元件的尺寸(例如,長度、寬度、面積等中的一者或多者)、「光柵間距」或繞射特徵部間隔、或繞射多光束元件內的繞射光柵的方向的特性來決定。在一些實施例中,根據本文的定義,繞射多光束元件可被視為「延伸點光源」,即,複數點光源分佈在繞射多光束元件的一個範圍上。此外,由繞射多光束元件產生的光束具有由角分量{q ,f }給出的主要角度方向,如本文所定義,並且如上文關於圖1B所述。
在本發明中,「準直器」一詞被定義為基本上係配置為用於準直光的任何光學裝置或設備。舉例來說,準直器可以包含但不限於準直鏡或反射器、準直透鏡、準直繞射光柵以及上述各種準直器的組合。
本文中,「準直因子」表示為σ,定義為光被準直的程度。更具體來說,如本文所定義,準直因子定義準直光束內的光線的角展度。例如,準直因子σ可以指定一束準直光中的大部分光線在特定的角展度內(例如,相對於準直光束的中心或主要角度方向的+/- σ度)。根據一些示例,準直光束的光線可以在角度方面具有高斯分布(Gaussian distribution),並且角展度可以是由準直光束的峰值強度的一半所確定的角度。
在本文中,「光源」一詞係被定義為光的來源(例如,提供並且發出光線的裝置或設備)。舉例來說,光源可以為當啟動時會發出光線的發光二極體(light emitting diode, LED)。本發明中的光源可以大致為任何種類的光源或光學發射器,包括但不限於一種以上的LED、雷射、有機發光二極體(organic light emitting diode, OLED)、聚合物發光二極體、電漿型光學發射器、螢光燈、白熾燈以及基本上任何其他光源。由光源產生的光可以具有顏色(亦即,可以包含特定波長的光)或者可以包含特定波長的光(例如,白光)。此外,「具有不同顏色的複數個光源」在本文中係明確定義為一組或一群光源,其中至少一光源產生具有一顏色或等同波長的光,且該光的顏色或波長與該等光源中的至少另一光源所產生的光的顏色或波長不相同。例如,不同的顏色可以包含原色(例如,紅色、綠色、藍色)。此外,只要該等光源中有兩個不同顏色的光源(即,產生不同顏色的光的至少兩個光源),「不同顏色的複數個光源」可以包括具有相同或大致類似的顏色的一個以上的光源。因此,根據本文中的定義,「不同顏色的複數個光源」可以包含產生第一顏色的光的第一光源以及產生第二顏色的光的第二光源,其中,第二顏色與第一顏色不相同。
在本文中,「排列」或「圖案」定義為由元件的相對位置定義的元件與複數個元件之間的關係。更具體地,如本文所使用的,「排列」或「圖案」不限定元件之間的間隔或元件陣列邊長的尺寸。如本文所定義的,「正方形」排列是元件沿直線排列,其在兩個基本正交的方向中包含相等數量的元件。另一方面,「矩形」排列定義為沿直線排列,其包含在兩個正交方向中上的不同數量的元件。
在本文中,根據定義,元件的陣列之間的間隔或分隔被稱為「基線(baseline)」或等效的「基線距離」。舉例而言,攝影機陣列的攝影機可以基線距離互相分隔,所述基線距離限定攝影機陣列的各個攝影機之間的空間或距離。
進一步根據本文的定義,如在「廣角發射光」中的術語「廣角」定義為具有錐角(cone angle)的光,該錐角大於多視域影像或多視域顯示器的視域的錐角。具體來說,在一些實施例中,廣角發射光可以具有大約大於60度(60°)的錐角。在其他實施例中,廣角發射光的錐角可以大約大於50度(50°),或者大約大於40度(40°)。舉例而言,廣角發射光的錐角可以是大約120度(120°)。或者,廣角發射光可具有相對於顯示器的法線方向的大於正負45度(例如,> ±45°)的角度範圍。在其他實施例中,廣角發射光的角度範圍可以大於正負50度(例如,> ±50°),或者大於正負60度(例如,> ±60°),或者大於正負65度(例如,> ±65°)。舉例而言,廣角發射光的角度範圍可以在顯示器的法線方向的任一側上大約大於70度(例如,> ±70°)。根據本文的定義,「廣角背光件」是配置為提供廣角發射光的背光件。
在一些實施例中,廣角發射光的錐角可以大約定義為等於LCD電腦螢幕、LCD平板電腦、LCD電視、或其他用於廣角觀看(例如,大約 ±40°至65°)的相似的數位顯示裝置的視角。在其他實施例中,廣角發射光也可以表徵為或描述為漫射光、大致漫射光、非方向性光(亦即,缺少任何具體或明確的方向性)、或者具有單一或大致均勻方向的光。
可以使用各種裝置和電路來實現與本文所描述的原理一致的實施例,所述各種裝置和電路包括但不限於積體電路(integrated circuit, IC)、超大型積體(very large scale integrated, VLSI)電路、特殊應用積體電路(application specific integrated circuit, ASIC)、場可程式邏輯閘陣列(field programmable gate array, FPGA)、數位信號處理器(digital signal processor, DSP)、圖形處理單元(graphical processor unit, GPU)等、韌體、軟體(例如程式模組或指令集),以及上述所提的兩者或更多的組合。舉例而言,下文所述的影像處理器或其他元件都可以實現為ASIC或VLSI電路內的電路元件。採用ASIC或VLSI電路的應用是基於硬體的電路應用的示例。
在另一示例中,影像處理器的實施例可以使用在操作環境或基於軟體的建模環境(modeling environment)(例如,MATLAB®、MathWorks、Inc.、Natick、MA)中執行的計算機程式語言(例如,C / C ++)實現為軟體,其藉由電腦以執行(例如,儲存在記憶體中並由電腦的處理器或圖形處理器執行)。應注意,一個或多個的電腦程式或軟體可以構成電腦程式結構,並且程式語言可以被編譯(compiled)或被直譯(interpreted),例如,可配置或被配置(在此處可以互換使用),由處理器或者由電腦的圖形處理器執行。
在又一示例中,可以使用實際電路或實體電路(例如,作為IC或ASIC)來實現這裡描述的裝置、設備、或系統(例如,影像處理器、攝影機等)的區塊、模組、或元件,而另一區塊、另一模組、或另一元件可以用軟體或韌體實現。具體來說,例如,根據上述的定義,本文所述的一些實施例可以使用基本上基於硬體的電路方法或裝置(例如,IC、VLSI、ASIC、FPGA、DSP、韌體等)來實現,而其他實施例也可以使用電腦處理器或圖形處理器執行軟體來以軟體或韌體實現,或者作為軟體或韌體和基於硬體的電路的組合來實現。
此外,如本文所使用的,冠詞「一」旨在具有其在專利領域中的通常含義,亦即「一個或複數個」。例如,「一攝影機」指一個或多個攝影機,更確切來說,「該攝影機」於此意指「該(等)攝影機」。此外,本文中對「頂部」、「底部」、「上」、「下」、「向上」、「向下」、「前」、「後」、「第一」、「第二」、「左」、或「右」並非意使其成為任何限制。本文中,除非有另外特別說明,「大約(about)」一詞在應用於某個值時通常意味著在用於產生該值的設備的公差範圍內,或者可以表示加減10%、或加減5%、或加減1%。此外,本文使用的術語「基本上(substantially)」是指大部分、或幾乎全部、或全部、或在約51%至約100%的範圍內的量。而且,本文中的示例僅僅是說明性的,並且是為討論的目的而不是為限制的目的。
根據與本說明書中所描述的原理一致的一些實施例,本發明係提供一種交叉渲染多視域攝影機。圖2A係根據與在此所描述的原理一致的一實施例說明示例中的交叉渲染多視域攝影機100的示意圖。圖2B係根據與在此所描述的原理一致的一實施例說明示例中的交叉渲染多視域攝影機100的立體圖。交叉渲染多視域攝影機100配置為擷取場景102的複數個影像104,然後合成或生成場景102的合成影像。具體來說,交叉渲染多視域攝影機100可以配置為擷取場景102的複數個影像104,複數個影像104表示場景102的不同視角視域,然後,從不同於由複數個影像104表示的不同視角視域中的一視角產生表示場景102的視域的合成影像106。如此,根據各種實施例,合成影像106可以表示場景102的「新」視角視域。
如圖所示,交叉渲染多視域攝影機100包括沿第一軸互相隔開的複數個攝影機110。舉例而言,複數個攝影機110可以在x方向上互相隔開作為線性陣列,如圖2B所示。如此,第一軸可以包括x軸。應注意,雖然顯示在公共軸(亦即,線性陣列)上,但是在一些實施例中,複數個攝影機中的多組攝影機110可以沿著若干不同的軸(圖中未顯示)排列。
複數個攝影機110配置為擷取場景102的複數個影像104。具體來說,複數個攝影機中的每個攝影機110可以配置為擷取複數個影像中的影像104的不同的一個。舉例而言,複數個攝影機可以包括兩個(2個)攝影機110,每個攝影機110配置為擷取複數個影像中的兩個影像104中的不同的一個影像。舉例而言,兩個攝影機110可以表示一立體對(stereo pair)的攝影機或簡稱為「立體攝影機」。在其他示例中,複數個攝影機可包括配置為擷取三個(3個)影像104的三個(3個)攝影機110、或配置為擷取四個(4個)影像104的四個(4個)攝影機110、或配置為擷取五個(5個)影像104的五個(5個)攝影機110等。此外,複數個影像的不同影像104借助於攝影機110沿第一軸彼此間隔開來表示場景102的不同視角視域,例如,如圖所示的x軸。
根據各個實施例,複數個攝影機中的攝影機110可包括基本上任何攝影機或相關的成像裝置或影像擷取裝置。具體來說,攝影機110可以是配置為擷取數位影像的數位攝影機。舉例而言,數位攝影機可包含數位影像感測器,例如但不限於感光耦合元件(charge-coupled device, CCD)影像感測器、互補式金屬氧化物半導體(complimentary metal-oxide semiconductor, CMOS)影像感測器、或背照式CMOS (back-side-illuminated CMOS, BSI-CMOS)感測器。此外,根據各個實施例,攝影機110可以配置為擷取靜止影像(例如,照片)和動態影像(例如,影片)中的一個或兩個。在一些實施例中,攝影機110擷取複數個影像中的振幅或強度和相位資訊。
圖2A至圖2B中所示的交叉渲染多視域攝影機100進一步包括影像合成器120。影像合成器配置為使用從複數個影像確定的場景102的視差圖或深度圖來生成場景102的合成影像106。具體來說,影像合成器120可以配置為從由攝影機陣列擷取的複數個影像(例如,一對影像)中的影像104確定視差圖。然後,影像合成器120可以使用所確定的視差圖來結合複數個影像中的影像104的一個或多個來生成合成影像106。根據各個實施例,可以採用確定視差圖(或等效地,深度圖)的多種不同方法中的任何一種。在一些實施例中,影像合成器120進一步配置為對視差圖和合成影像106中的一個或兩個提供空洞填補(hole-filling)。舉例而言,影像合成器120可以採用以下任何方法,例如:由Hamzah等人所著的「關於立體視線視差圖演算法的文獻調查(Literature Survey on Stereo Vision Disparity Map Algorithms)」(Journal of Sensors, Vol. 2016, Article ID 8742920)、或由Jain等人所著的「有效率的立體至多視域合成(Efficient Stereo-to-Multiview Synthesis)」(ICASSP 2011, pp. 889-892)、或由Nquyen等人所著的「具有空間及視域間一致性之多視域合成方法以及顯示裝置(Multiview Synthesis Method and Display Devices with Spatial and Inter-View Consistency)」(US 2016/0373715 A1),其每一個皆通過引用併入本文。
根據各個實施例,由影像合成器產生的合成影像106,表示位在與第一軸偏離的第二軸上的虛擬攝影機110' 的位置對應的視角中的場景102的視域。舉例而言,如圖2B所示,複數個攝影機中的攝影機110可以沿著x軸以線性方式彼此佈置並且互相隔開,並且虛擬攝影機110' 可以與該等攝影機沿著y軸偏離。
在一些實施例中,第二軸垂直第一軸。舉例而言,如圖2B所示,當第一軸位在x方向時,第二軸可以在y方向上(例如,y軸)。在其他實施例中,第二軸可以與第一軸平行但橫向偏離第一軸。舉例而言,第一軸和第二軸都可以在x方向上,但是第二軸可以在y方向上相對於第一軸橫向偏離。
在一些實施例中,影像合成器120配置為使用視差圖以提供複數個合成影像106。具體地,複數個合成影像中的每個合成影像106,可以表示相對於複數個合成影像中的其他合成影像106的場景102的不同視角中的場景102的視域。舉例而言,複數個合成影像106可以包含兩個(2個)、三個(3個)、四個(4個)、或更多個合成影像106。因此,舉例而言,複數個合成影像106可以表示場景102的視域,其對應至相似的複數個虛擬攝影機110'的位置。此外,在一些示例中,複數個虛擬攝影機110' 可以位於與第二軸對應的一個或多個不同的軸上。在一些實施例中,複數個合成影像106可以等同於由複數個攝影機擷取的複數個影像104。
在一些實施例中,複數個攝影機110可包括配置為立體攝影機的一對攝影機110a、110b。此外,由立體攝影機擷取的場景102的複數個影像104可以包括場景102的一立體對的影像104。在這些實施例中,影像合成器120可以配置為提供複數個合成影像106,其表示與複數個虛擬攝影機110' 的位置對應的視角中的場景102的視域。
在一些實施例中,第一軸可以是或代表水平軸,第二軸可以是或代表垂直於水平軸的垂直軸。在這些實施例中,一立體對的影像104可以佈置在與水平軸對應的水平方向上,並且包括一對合成影像106的複數個合成影像可以佈置在與垂直軸對應的垂直方向上。
圖3B係根據與在此所描述的原理一致的一實施例說明與另一示例中的交叉渲染多視域攝影機100相關的影像的圖形表示。具體來說,圖3A的左側顯示由作為立體攝影機的一對攝影機110擷取的場景102的一立體對的影像104。如圖所示,一立體對的影像中的影像104沿水平方向排列,因此可以稱為橫擺定向(landscape orientation)。圖3A的右側顯示由交叉渲染多視域攝影機100的影像合成器120產生的一立體對的合成影像106。如圖所示,一立體對的合成影像106中的合成影像106在垂直方向上排列,因此可以稱為直擺定向(portrait orientation)。左側立體影像和右側立體影像之間的箭頭表示影像合成器120的操作,包含確定視差圖以及產生一立體對的合成影像106。根據各個實施例,圖3A可以顯示將在橫擺定向上由複數個攝影機擷取的影像104轉換為直擺定向上的合成影像106。儘管未明確說明,但是相反的情形也是成立,其中在直擺定向(亦即,由垂直佈置的攝影機110所擷取)上的影像104被影像合成器120轉換為或者提供為在橫擺定向上的合成影像106(即,成為水平佈置)。
圖3B係根據與在此所描述的原理一致的一實施例說明與另一示例中的交叉渲染多視域攝影機100相關的影像的圖形表示。具體來說,圖3B的頂部顯示由作為立體攝影機的一對攝影機110擷取的場景102的一立體對的影像104。圖3B的底部顯示由交叉渲染多視域攝影機100的影像合成器120產生的一立體對的合成影像106。此外,一立體對的合成影像106與位於第二軸上的一對虛擬攝影機110'對應,所述第二軸與第一軸平行但與第一軸偏離,複數個攝影機中的攝影機110沿著所述的第一軸佈置。根據各個實施例,由攝影機110擷取的一立體對的影像104可以與一立體對的合成影像106組合,以提供場景的四個(4個)視域,以提供場景102的多視域影像的所謂四視域(four-view, 4V)。
在一些實施例中(未在圖2A至圖2B中明確地顯示),交叉渲染多視域攝影機100可以進一步包括處理子系統、記憶體子系統、電源子系統、以及網絡子系統。處理子系統可以包含一個或多個配置為執行計算操作的裝置,例如但不限於微處理器、圖形處理器單元(GPU)、或數位信號處理器(DSP)。記憶體子系統可以包含一個或多個裝置,用於儲存資料和指令中的一個或兩個,其可以由處理子系統使用以提供與控制交叉渲染多視域攝影機100的操作。舉例而言,儲存的資料和指令可以包含但不限於:開始使用複數個攝影機110擷取複數個影像的步驟、實施影像合成器120、以及在顯示器(例如,多視域顯示器)上顯示包含影像104和合成影像106的多視域內容的資料與指令中的一個或多個。舉例而言,記憶體子系統可以包含一種或多種類型的記憶體,包含但不限於隨機存取記憶體(random access memory, RAM)、唯讀記憶體(read-only memory, ROM)和各種形式的快閃記憶體。
在一些實施例中,儲存在記憶體子系統中並由處理子系統使用的指令,舉例而言,包括但不限於程式指令或指令集、和操作系統。舉例而言,程式指令和操作系統可以在交叉渲染多視域攝影機100的操作期間由處理子系統執行。應注意,一個或多個電腦程式可以構成電腦程式結構、電腦可讀取儲存(computer-readable storage)媒體、或軟體。此外,記憶體子系統中的各種模組中的指令可以用高階程序語言(procedural language)、物件導向程式語言、以及組合語言或機器語言中的一個或多個來實現。此外,根據各個實施例,程式語言可被編譯或直譯,例如,可配置或配置為(其在本討論中可互換使用)由處理子系統執行。
在各個實施例中,電源子系統可包含一個或多個儲能組件(例如電池),其配置為向交叉渲染多視域攝影機100中的其他組件提供電力。網絡子系統可以包含一個或多個裝置和子系統或模組,其配置為耦合到有線網絡和無線網絡中的一個或兩個並在其上通訊(亦即,執行網絡操作)。舉例而言,網絡子系統可以包括藍牙網絡系統、蜂巢式網路系統(例如,諸如通用行動通訊系統(universal mobile telecommunications system, UMTS)、長期演進技術(long term evolution, LTE)等3G/4G/5G網絡、通用序列匯流排(universal serial bus, USB)網絡系統、基於IEEE 802.12所述的標準網絡系統(例如,WiFi網絡系統)、乙太網路系統中的任何一個或全部。
應注意,雖然前述實施例中的一些操作可以用硬體或軟體實現,但是通常前述實施例中的操作可以用各種各樣的配置和結構來實現。因此,前述實施例中的一些或所有操作可以用硬體、軟體或兩者來執行。舉例而言,顯示技術中的至少一些操作可以使用程式指令、操作系統(諸如,用於顯示子系統的驅動器)、或在硬體中來實現。
根據與本說明書中所描述的原理一致的其他實施例,本發明係提供一種交叉渲染多視域系統。圖4係根據與在此所描述的原理一致的實施例說明示例中的交叉渲染多視域系統200的方塊圖。交叉渲染多視域系統200可用於擷取場景202或使場景202成像。舉例而言,影像可以是多視域影像208。此外,根據各個實施例,交叉渲染多視域系統200可以配置為顯示場景202的多視域影像208。
如圖4所示,交叉渲染多視域系統200包括多視域攝影機陣列210,其具有沿第一軸彼此間隔開的攝影機。根據各個實施例,多視域攝影機陣列210配置為擷取場景202的複數個影像204。在一些實施例中,多視域攝影機陣列210可以基本上類似於上文關於交叉渲染多視域攝影機100所述的複數個攝影機110。具體來說,多視域攝影機陣列210可包括沿第一軸排列之線性配置的複數個攝影機。在一些實施例中,多視域攝影機陣列210可包含不在第一軸上的攝影機。
圖4中所示的交叉渲染多視域系統200進一步包括影像合成器220。影像合成器220配置為生成場景202的合成影像206。具體來說,影像合成器配置為使用從複數個影像中的影像204確定的視差圖來生成合成影像206。在一些實施例中,影像合成器220可以基本上類似於上述交叉渲染多視域攝影機100的影像合成器120。舉例而言,影像合成器220還可以配置為確定視差圖,合成影像206從該視差圖生成。此外,影像合成器220可以對視差圖和合成影像206中的一個或兩個提供空洞填補。
如圖所示,交叉渲染多視域系統200進一步包括多視域顯示器230。多視域顯示器230配置為顯示包括合成影像206之場景202的多視域影像208。根據各個實施例,合成影像206表示位在與第一軸垂直的第二軸上的虛擬攝影機的位置對應的視角中的場景202的視域。此外,多視域顯示器230可以包含合成影像206,以作為場景202的多視域影像208中的視域。在一些實施例中,多視域影像208可包括複數個合成影像206,其對應於複數個虛擬攝影機,並且表示相似的複數個不同視角中的場景202的複數個不同視域。在其他實施例中,多視域影像208可包括合成影像206以及複數個影像中的一個或多個影像204。舉例而言,多視域影像208可包括四視域(4V),四視域的前兩個視域是一對合成影像206,並且四視域的後兩個視域是複數個影像的一對影像204,例如,如圖3B所示。
在一些實施例中,複數個攝影機可包括多視域攝影機陣列210中的一對攝影機,其配置為提供場景202的一立體對的影像204。在這些實施例中,視差圖可以由使用立體影像對(stereo image pair)的影像合成器220來確定。在一些實施例中,影像合成器220配置為提供場景202的一對合成影像206。在這些實施例中,多視域影像208可包括該對合成影像206。在一些實施例中,多視域影像208可進一步包括複數個影像的一對影像204。
在一些實施例中,影像合成器220可以在遠程處理器中實現。舉例而言,遠程處理器可以是雲端運算服務的處理器或所謂的「雲端」處理器。當影像合成器220實現為遠程處理器時,複數個影像204可藉由交叉渲染多視域系統發送到遠程處理器,並且交叉渲染多視域系統可以從遠程處理器接收合成影像206,以使用多視域顯示器230顯示。根據各個實施例,與遠程處理器之間的傳輸可以使用網際網路或類似的傳輸媒介。在其他實施例中,影像合成器220可以使用另一處理器來實現,例如但不限於交叉渲染多視域系統200的處理器(例如,GPU)。在其他實施例中,交叉渲染多視域系統200的專用硬體電路(例如,ASIC)可用以實現影像合成器220。
根據各個實施例,交叉渲染多視域系統200的多視域顯示器230可以是任何多視域顯示器或能夠顯示多視域影像的顯示器。在一些實施例中,多視域顯示器230可以是使用光的方向性散射並隨後調變散射光的多視域顯示器,以提供或顯示多視域影像。
圖5A係根據與在此所描述的原理一致的實施例說明示例中的多視域顯示器300的橫截面圖。圖5B係根據與在此所描述的原理一致的實施例說明示例中的多視域顯示器300的平面圖。圖5C根據與在此描述的原理一致的一實施例說明在一示例中的多視域顯示器300的立體圖。圖5C中的立體圖被顯示為部分切除,以僅便於在本文中討論。根據一些實施例,多視域顯示器300可以用作交叉渲染多視域系統200的多視域顯示器230。
圖5A至圖5C示出的多視域顯示器300用以提供具有彼此不同的主要角度方向的複數個方向性光束302(例如,成為一光場)。具體來說,所提供的複數個方向性光束302配置為在與多視域顯示器300的各個視域方向對應的不同主要角度方向上散射出並被引導遠離多視域顯示器300,或等效地對應於由多視域顯示器300顯示的多視域影像(例如,交叉渲染多視域系統200的多視域影像208)的不同視域方向。根據各種實施例,可以調變方向性光束302(例如,使用光閥,如下所述)以便於顯示具有多視域內容的資訊,即多視域影像208。圖5A至圖5C還示出包括子像素和光閥330陣列的多視域像素306,其在下文進一步詳細描述。
如圖5A至圖5C所示,多視域顯示器300包括光導件310。光導件310配置為以沿著光導件310的長度方向引導光,以作為被引導的光304(亦即,被引導的光束)。例如,光導件310可以包括配置為光波導的介電材料。介電材料可具有第一折射率,其大於圍繞該介電光波導件的介質之第二折射率。例如,根據光導件310的一個或多個導光模式,折射率的差異係配置以促成被引導的光304的全內反射。
在一些實施例中,光導件310可以是板片或平板光波導件(亦即,板光導件),其包括延伸、基本上平坦的光學透明介電材料片。所述之大致為平面薄板狀的介電材料,係透過全內反射來引導被引導的光304。根據各個示例,光導件310中的光學透明材料可包含各種任何的介電材料,其可包含但不限於,各種形式的玻璃中的一種或多種玻璃(例如,矽石酸鹽玻璃(silica glass)、鹼鋁矽酸鹽玻璃(alkali-aluminosilicate glass)、硼矽酸鹽玻璃(borosilicate glass)等)以及基本上光學透明的塑料或聚合物(例如,聚甲基丙烯酸甲酯(poly(methyl methacrylate))或「壓克力玻璃(acrylic glass)」、聚碳酸酯(polycarbonate)等)。在一些示例中,光導件310還可以在光導件310的表面(例如,頂部表面和底部表面中的一個或兩個)的至少一部分上包括電鍍層(圖中未顯示)。根據一些示例,電鍍層可以用於進一步促進全內反射。
此外,根據一些實施例,光導件310配置以根據在光導件310的第一表面310'(例如,「前」表面或前側)和第二表面310"(例如,「後」表面或後側)之間的非零傳播角度的全內反射來引導被引導的光304。具體來說,被引導的光304被引導並且通過以非零傳播角度在光導件310的第一表面310' 和第二表面310"之間反射或「反彈」而傳播。在一些實施例中,被引導的光304中的複數個被引導的光束包括數種不同顏色的光,其可於複數不同的顏色特定的非零傳播角度中相應的一個被光導件310引導。應注意的是,為簡化說明,非零傳播角度並未於圖5A至圖5C中示出。然而,描繪傳播方向303的粗體箭頭示出被引導的光304的總體傳播方向,其沿著圖5A中的光導件的長度方向。
如本文所定義,「非零傳播角度」是相對於光導件310的表面(例如,第一表面310'或第二表面310")的角度。此外,根據各種實施例,非零傳播角度均大於零且小於光導件310內的全內反射的臨界角度。例如,被引導的光304的非零傳播角度可以在大約十度(10°)和大約五十度(50°)之間,或者在一些示例中,在大約二十度(20°)和大約四十度(40°)之間、或者約二十五度(25°)和約三十五度(35°)之間。例如,非零傳播角度可以是大約三十度(30°)。在其他示例中,非零傳播角度可以是大約20°、或者大約25°、或者大約35°。此外,對於特定的實施,可以選擇(例如,任意地)特定的非零傳播角度,只要特定的非零傳播角度被選擇為小於光導件310內的全內反射的臨界角度。
光導件310中的被引導的光304可以非零傳播角度被引入或被耦合到光導件310中(例如,大約30°至35°)。在一些示例中,例如但不限於光柵、透鏡、鏡子或類似的反射器(例如,傾斜的準直反射器)、繞射光柵、與稜鏡(圖中未顯示)以及其各種組合的耦合結構,可以促使光以非零傳播角度被耦合至光導件310的輸入端以成為被引導的光304。在其他示例中,可以在沒有或基本上不使用耦合結構的情況下將光直接引入光導件310的輸入端(即,可以採用直接或「對接」耦合)。一旦耦合至光導件310中,被引導的光304(例如,作為被引導的光束)配置以可以在大致上遠離輸入端的傳播方向303沿著光導件310傳播(例如,圖5A中以指向x軸的粗體箭頭示出)。
進一步地,根據各個實施例,藉由將光耦合至光導件310中所產生的被引導的光304(或等效地被引導的光束)可為準直光束。在本發明中,「準直光」或「準直光束」通常定義為一束光,其中,數道光束在光束內(例如,被引導的光束內)基本上互相平行。同樣地,根據本文的定義,從準直光束偏離或散射的光線不被視為是準直光束的一部分。在一些實施例中(圖中未顯示),多視域顯示器300可包含準直器,例如光柵、透鏡、反射器、或鏡子,如上文所述(例如,傾斜準直反射器),以將光準直,例如,準直來自光源的光。在一些實施例中,光源本身包括準直器。在任一情況下,提供給光導件310的準直光是準直的被引導的光束。在各個實施例中,被引導的光304可以根據準直因子σ以準直,或者被引導的光304具有準直因子σ。或者,在其他實施例中,被引導的光304可以是未準直的。
在一些實施例中,光導件310可用以「回收」被引導的光304。具體來說,已經沿著光導件長度方向被引導的被引導的光304可以以不同於傳播方向303之其他傳播方向303'沿著該長度方向被重新定向返回。舉例而言,光導件310可以包含反射器(圖中未顯示),其位於光導件310的一端部,所述的端部相對於與光源相鄰的輸入端。反射器可用以將被引導的光304反射回輸入端,以作為回收的被引導的光。在一些實施例中,除光回收以外或者為了取代光回收,另一個光源可以在另一個傳播方向303'上提供被引導的光304。如下文所述的,藉由使被引導的光讓例如多光束元件使用一次以上,讓被引導的光304的回收以及使用另一光源之一者或兩者提供具有另一傳播方向303'的被引導的光304,可增加多視域顯示器300的亮度(例如,增加方向性光束302的強度)。
在圖5A中,表示回收被引導的光的傳播方向303'的粗體箭頭(例如,指向負x軸方向)顯出在光導件310中回收的被引導的光的大致傳播方向。替代地(例如, 相對於回收的被引導的光),可以藉由以另一傳播方向303'將光引入光導件310中來提供在另一傳播方向303'上傳播的被引導的光304(例如,除具有傳播方向303的被引導的光304之外)。
如圖5A至圖5C所示,多視域顯示器300進一步包括沿光導件長度方向彼此間隔開的多光束元件320的陣列。具體來說,多光束元件陣列中的多光束元件320以有限(finite)空間彼此分開,並且沿著光導件長度方向表示個別獨立元件。因此,根據本文的定義,多光束元件陣列中的多光束元件320根據有限(即,非零)的元件間距(例如,有限的中心至中心距離)彼此隔開。此外,根據一些實施例,複數個多光束元件320通常不交叉、重疊或彼此接觸。因此,複數多光束元件320中的每一個多光束元件320通常是不同的且與複數多光束元件320中的其他多光束元件320分離。
根據一些實施例,多光束元件陣列中的多光束元件320可以排列成1D陣列或2D陣列。例如,多光束元件320可以排列為線性1D陣列。在另一例子中,多光束元件320可以被排列成矩形2D陣列或圓形2D陣列。進一步地,在一些示例中,陣列(即,1D或2D陣列)可以是常規或統一的陣列。具體來說,複數個多光束元件320之間的元件間距(例如,中心至中心的距離或間距)可以在整個陣列上基本均勻或恆定。在其他示例中,複數個多光束元件320之間的元件間距可以在橫跨陣列與沿著光導件310的長度方向的其中一者或二者變化。
根據各種實施例,多光束元件陣列中的多光束元件320配置為將被引導的光304的一部分提供、耦合出、或散射為複數個方向性光束302。例如,根據各種實施例,可以使用繞射散射、反射散射、和折射散射或耦合中的一種或多種來耦合出或散射出部分被引導的光。圖5A和圖5C將方向性光束302顯示為複數個發散箭頭,其被描繪為從光導件310的第一表面(或前表面)310'導離。此外,根據各種實施例,如上文所定義並在下文進一步描述且在圖5A至圖5C中所示,多光束元件320的尺寸可相比擬於多視域像素306的子像素(或等效地的光閥330)的尺寸。在本發明中,「尺寸」可以包含但不限於,長度、寬度、或面積的各種方式中的任何一種來定義。例如,光閥330或子像素的尺寸可以是其長度,並且多光束元件320的可相比擬尺寸也可以是多光束元件320的長度。在另一示例中,尺寸可被稱為面積,使得多光束元件320的面積可相比擬於子像素的面積(或等效地,光閥330)。
在一些實施例中,多光束元件320的尺寸可相比擬於子像素的尺寸,使得多光束元件尺寸係介於子像素尺寸的百分之五十(50%)至百分之兩百(200%)之間。例如,如果多光束元件尺寸係標示為「s」及子像素尺寸係標示為「S」(如圖5A中所示),那麼多光束元件尺寸s可用以下方程式給定:
Figure 02_image003
在其他例子中,多光束元件尺寸大於該子像素尺寸的約百分之六十(60%)、或大於該子像素尺寸的約百分之七十(70%)、或大於該子像素尺寸的約百分之八十(80%)、或大於該子像素尺寸的約百分之九十(90%),且多光束元件尺寸小於該子像素尺寸的約百分之一百八十(180%)、或小於該子像素尺寸的約百分之一百六十(160%)、或小於該子像素尺寸的約百分之一百四十(140%)、或小於該子像素尺寸的約百分之一百二十(120%)。例如,藉由「可相比擬尺寸」,多光束元件尺寸可在子像素尺寸的約百分之七十五(75%)及約百分之一百五十(150%)之間。在另一例子中,多光束元件320尺寸可以相比擬於子像素尺寸,其中,多光束元件尺寸係在子像素尺寸的約百分之一百二十五(125%)及百分之八十五(85%)之間。根據一些實施例,可以選擇多光束元件320和子像素的可相比擬尺寸,以減少多視域顯示器的視域之間的暗區(dark zone),或在一些示例中將其最小化。此外,可以選擇多光束元件320和子像素的可相比擬尺寸,以減少多視域顯示器的視域(或視域像素)之間的重疊,並且在一些示例中將其最小化。
圖5A至圖5C中所示的多視域顯示器300進一步包括光閥330的陣列,配置為調變複數個方向性光束中的方向性光束302。在各個實施例中,不同種類的光閥可被用作光閥陣列的複數個光閥330,光閥的種類包括但不限於,複數個液晶光閥、複數個電泳光閥、及基於電潤濕的複數個光閥中的其中一者或多者。
如圖5A至圖5C所示的,具有不同主要角度方向的不同的方向性光束302穿過且可藉由光閥陣列中不同的複數個光閥330來調變。此外,如圖所示,光閥陣列中的光閥330對應於多視域像素306的子像素,並且一組光閥330對應於多視域顯示器的多視域像素306。具體來說,光閥陣列中不同組的光閥330係配置為接收及調變來自多光束元件320中對應的多光束元件320的方向性光束302,亦即,如圖中所示,每一個多光束元件320具有一組獨特的光閥330。
如圖5A所示,第一組光閥330a配置為接收並調變來自第一多光束元件320a的方向性光束302。此外,第二組光閥330b配置為接收並調變來自第二多光束元件320b的方向性光束302。因此,如圖5A中所示,光閥陣列中的複數個組光閥的每一組(例如,第一組光閥330a及第二組光閥330b)分別對應於不同的多光束元件320(例如,元件320a以及元件320b),並且對應於不同的多視域像素306,其中複數個組光閥的單獨光閥330對應於相應的多視域像素306的子像素。
應注意的是,如圖5A中所示,多視域像素306'的子像素的尺寸可對應於該光閥陣列中的光閥330的尺寸。在其他例子中,子像素尺寸可被定義為光閥陣列中相鄰的複數個光閥330之間的距離(例如,中心至中心距離)。舉例而言,光閥330可小於光閥陣列中之複數個光閥330之間的中心至中心距離。例如,子像素尺寸可被定義為光閥330的尺寸或對應於複數個光閥330之間的中心至中心距離的尺寸。
在一些實施例中,多光束元件320與對應的多視域像素306(亦即,子像素組和對應的組光閥330)之間的關係可以是一對一的關係。亦即,可以存在相同數量的多視域像素306和多光束元件320。圖5B以示例的方式明確地示出一對一的關係,其中包括不同的組光閥330(與對應的子像素)之每一個多視域像素306被示為被虛線圍繞。在其他實施例中(未於圖中示出),多視域像素306與多光束元件320的數量可以彼此不同。
在一些實施例中,複數個多光束元件320中的一對多光束元件之間的元件間距(例如,中心至中心距離)可等於對應之複數個多視域像素中的一對多視域像素306之間的像素間距(例如,中心至中心距離),例如,由複數個組光閥表示。例如,如圖5A中所示,第一多光束元件320a及第二多光束元件320b之間的中心至中心距離d係基本上等同於第一組光閥330a及第二組光閥330b之間的中心至中心距離D。在另一實施例中(圖中未顯示),該對多光束元件320及對應組光閥的相對中心至中心距離可不同,例如,多光束元件320可具有大於或小於表示多視域像素306的複數個組光閥之間的間距(例如,中心至中心距離D)的元件間間距(即,中心至中心距離d)。
在一些實施例中,多光束元件320的形狀類似於多視域像素306的形狀,或者等同的,與多視域像素306對應的一組(或「子陣列」)光閥330的形狀。舉例而言,多光束元件320可以具有正方形的形狀,並且多視域像素306(或對應的一組光閥330的佈置)可以基本上是方形的。在另一示例中,多光束元件320可具有長方形的形狀,即,可具有大於一寬度或橫向尺寸的一長度或縱向尺寸。在此示例中,對應多光束元件320的多視域像素306(或等同於複數組光閥330的排列)可具有類似矩形的形狀。圖5B顯示正方形多光束元件320和對應的正方形多視域像素306的上視圖或平面圖,所述多視域像素306包括正方形的複數組光閥330。在進一步的其他示例中(圖中未顯示)中,多光束元件320和對應的多視域像素306具有各種形狀,包含或至少近似但不限於,三角形、六角形、和圓形。
此外(例如,如圖5A所示),根據一些實施例,每個多光束元件320配置為基於分配給特定多視域像素306的該組子像素,在給定時間向一個且僅一個多視域像素306提供方向性光束302。具體來說,對於給定的一個多光束元件320以及該組子像素對特定多視域像素306的分配,具有與該多視域顯示器的複數不同視域對應的複數不同主要角度方向的複數方向性光束302基本上限於單個對應的多視域像素306及其子像素,亦即,對應於多光束元件320的一單組光閥330,如圖5A中所示。因此,多視域顯示器300的每一個多光束元件320提供具有對應於多視域顯示器300的複數不同視域的一組不同主要角度方向的對應的一組方向性光束302(即,該組方向性光束302包含具有對應於每一個不同視域方向的一方向的一光束)。
如圖所示,多視域顯示器300可進一步包括光源340。根據各種實施例,光源340用以提供在光導件310內之被引導的光。尤其,光源340可以位在相鄰於光導件310的入口表面或入口端(輸入端)。在各個實施例中,光源340可包括基本上任何光源(例如,光學發射器),其包含但不限於LED、雷射(例如,雷射二極體)或其組合。在一些實施例中,光源340可以包括光學發射器,其配置為產生代表特定顏色之具有窄頻帶光譜的基本上為單色的光。具體來說,該單色光的顏色可為特定色彩空間或特定色彩模型的原色(例如,紅-綠-藍色彩模型)。在其他示例中,光源340可以是用以提供基本上寬頻帶或多色光的基本寬頻帶光源。例如,光源340可提供白光。在一些實施例中,光源340可以包括複數個不同的光學發射器,用於提供不同顏色的光。不同的光學發射器可配置以提供具有不同、特定顏色、非零傳播角度的被引導的光的光,該被引導的光對應於各個不同顏色的光。
在一些實施例中,光源340可進一步包括一準直器。準直器可以用於接收來自光源340的一個以上的光學發射器的大致非準直光。準直器係進一步用於將大致非準直光轉換為準直光。具體來說,根據一些實施例,準直器可提供具有非零傳播角度並且依據預定準直因子σ以準直的準直光。而且,當採用不同顏色的光學發射器時,準直器可用以提供具有不同的、顏色特定、非零傳播角度、以及不同顏色特定的準直因子中的一者或兩者的準直光。準直器進一步用以將準直光束傳送到光導件310,以將其傳播為被引導的光304,如上文所述。
在一些實施例中,多視域背光件300係配置以在穿過光導件310的一方向上透光,該方向為正交於被引導的光304的傳播方向303、303'(或基本上正交)。具體來說,在一些實施例中,光導件310和間隔開的多光束元件320允許光通過第一表面310' 和第二表面310" 以穿過光導件310。由於多光束元件320的相對小的尺寸和多光束元件320的相對大的元件間距(例如,與多視域像素306一對一的對應),可以至少一部分地改善透明度。此外,根據一些實施例,多光束元件320對於與光導件表面310'、310"正交傳播的光也可以是基本透光的。
根據各個實施例,可以使用各種各樣的光學組件來產生方向性光束302,包括光學地連接到光導件310之繞射光柵、微反射元件和/或微折射元件,以散射出被引導的光304來作為方向性光束302。應注意,這些光學組件可以位於光導件310的第一表面310'、第二表面310"、或甚至位於光導件310的第一表面310'和第二表面310"之間。此外,根據一些實施例,光學組件可以是從第一表面310'或第二表面310"突出的「正性特徵」、或者可以是凹入第一表面310'或第二表面310"的「負性特徵」。
在一些實施例中,光導件310、多光束元件320、光源340和/或可選的準直器用作多視域背光件。多視域背光件可以與多視域顯示器300中的光閥陣列結合使用,例如,作為多視域顯示器230。舉例而言,多視域背光件可以用作光閥330的陣列的光源(通常作為面板背光件),其調變由多視域背光件提供的方向性光束302以提供多視域影像208的方向性視域,如上文所述。
在一些實施例中,多視域顯示器300可進一步包括廣角背光件。具體來說,除如上文所述的多視域背光件之外,多視域顯示器300(或交叉渲染多視域系統200的多視域顯示器230)可以包括廣角背光件。舉例而言,廣角背光件可以與多視域背光件相鄰。
圖6係根據與在此所描述的原理一致的實施例說明示例中的包含廣角背光件350的多視域顯示器300的橫截面圖。如圖所示,廣角背光件350配置為在第一模式時提供廣角發射光352。根據各個實施例,多視域背光件(例如,光導件310、多光束元件320、和光源340)可以配置為在第二模式時提供方向性發射光,以作為方向性光束302。此外,光閥陣列配置為調變廣角發射光352以在第一模式期間提供二維(2D)影像,並調變方向性發射光(或方向性光束302)以在第二模式期間提供多視域影像。舉例而言,當採用圖6中所示的多視域顯示器300作為交叉渲染多視域系統200的多視域顯示器230時,2D影像可以由多視域攝影機陣列210的一個或多個攝影機擷取。如此一來,根據一些實施例,2D影像可以簡單地在第二模式期間表示場景202的該等方向性視域中的一個方向性視域。
如圖6的左側所示,藉由啟動光源340,可使用多光束元件320提供從光導件310散射出的方向性光束302,以使用多視域背光件提供多視域影像(圖中所示的「多視域」)。或者,如圖6的右側所示,可以通過關閉光源340並啟動廣角背光件350,以向光閥330的陣列提供廣角發射光352,來提供2D影像。如此一來,根據各種實施例,包括廣角背光板350的多視域顯示器300可以在顯示多視域影像和顯示2D影像之間作切換。
根據本文所述的原理的其他實施例,提供一種交叉渲染多視域成像之方法。圖7係根據與在此所描述的原理一致的實施例說明示例中的交叉渲染多視域成像之方法400的流程圖。如圖7中所示,交叉渲染多視域成像之方法400,包括使用沿第一軸彼此間隔開的複數個攝影機擷取場景的複數個影像的步驟410。在一些實施例中,複數個影像和複數個攝影機可以分別基本上類似於交叉渲染多視域攝影機100的複數個影像104和複數個攝影機110。同樣地,根據一些實施例,所述的場景可以基本上類似於場景102。
圖7中所示的交叉渲染多視域成像的方法400,進一步包括使用從複數個影像確定的場景的視差圖生成場景的合成影像的步驟420。根據各個實施例,合成影像表示位在從第一軸偏離的第二軸上的虛擬攝影機的位置對應的視角中的場景的視域。在一些實施例中,影像合成器可以基本上類似於上述交叉渲染多視域攝影機100中的影像合成器120。具體來說,根據各種實施例,影像合成器可以從複數個影像的影像確定視差圖。
在一些實施例(圖中未顯示)中,交叉渲染多視域成像的方法400可以進一步包括對視差圖和合成影像中的一個或兩個進行空洞填補的步驟。舉例而言,可以通過影像合成器實現空洞填補。
在一些實施例中,複數個攝影機可包括一對攝影機,配置為擷取場景的一立體對影像。在這些實施例中,可以使用立體影像對來確定視差圖。此外,生成合成影像的步驟420,可以從對應於相似的複數個虛擬攝影機的位置的視角,產生表示場景的視域的複數個合成影像。
在一些實施例(圖中未顯示)中,交叉渲染多視域成像的方法400,進一步包括使用多視域顯示器將合成影像顯示為多視域影像的視域的步驟。具體來說,多視域影像可以包括一個或多個合成影像,其表示由多視域顯示器顯示的多視域影像的不同視域。此外,多視域影像可以包括視域,其表示複數個影像中的一個或多個影像。舉例而言,多視域影像可以包括如圖3A所示的一立體對的合成影像,或者包括如圖3B所示的一立體對合成影像和複數個影像中的一對影像。在一些實施例中,多視域顯示器可以基本上類似於交叉渲染多視域系統200的多視域顯示器230,或者基本上類似於上文所述的多視域顯示器300。
因此,已經描述交叉渲染多視域攝影機、交叉渲染多視域系統、和從由複數個攝影機擷取的影像的視差/深度圖提供合成影像的交叉渲染多視域成像之方法的示例和實施例。應該理解的是,上述示例僅僅是說明代表在此描述的原理的許多具體示例中的一些示例。顯然,所屬技術領域中具有通常知識者可以很容易地設計出許多其他的配置,而不偏離本發明的申請專利範圍所界定的範疇。
本申請主張2018年12月8日提交的專利合作條約申請第PCT/US2018/064632號及2017年12月20日提交的美國專利申請第62/608551號的優先權,所揭露的內容透過引用併入本文。
10‧‧‧多視域顯示器 12‧‧‧螢幕 14‧‧‧視域 16‧‧‧視域方向 20‧‧‧光束 100‧‧‧交叉渲染多視域攝影機 102‧‧‧場景 104‧‧‧影像 106‧‧‧合成影像 110‧‧‧攝影機 110'‧‧‧虛擬攝影機 120‧‧‧影像合成器 200‧‧‧交叉渲染多視域系統 202‧‧‧場景 204‧‧‧影像 206‧‧‧合成影像 208‧‧‧多視域影像 210‧‧‧多視域攝影機陣列 220‧‧‧影像合成器 230‧‧‧多視域顯示器 300‧‧‧多視域顯示器 302‧‧‧方向性光束 303‧‧‧傳播方向 303'‧‧‧傳播方向 304‧‧‧被引導的光 306‧‧‧多視域像素 310‧‧‧光導件 310'‧‧‧第一表面 310"‧‧‧第二表面 320‧‧‧多光束元件 320a‧‧‧第一多光束元件 320b‧‧‧第二多光束元件 330‧‧‧光閥 330a‧‧‧第一組光閥 330b‧‧‧第二組光閥 340‧‧‧光源 350‧‧‧廣角背光件 352‧‧‧廣角發射光 400‧‧‧交叉渲染多視域成像的方法 410‧‧‧步驟 420‧‧‧步驟 d‧‧‧中心至中心距離 D‧‧‧中心至中心距離 O‧‧‧原點 s‧‧‧多光束元件尺寸 S‧‧‧子像素尺寸θ‧‧‧仰角分量(仰角)ϕ‧‧‧方位角分量(方位角) σ‧‧‧準直因子
根據在此描述的原理的示例和實施例的各種特徵可以參考以下結合附圖的詳細描述而更容易地理解,其中相同的元件符號表示相同的結構元件,並且其中: 圖1A係根據與在此所描述的原理一致的一實施例說明一示例中的多視域顯示器的立體圖; 圖1B係根據與在此所描述的原理一致的一實施例說明一示例中的具有與多視域顯示器的視域方向相對應的特定主要角度方向的光束的角分量的示意圖; 圖2A係根據與在此所描述的原理一致的一實施例說明一示例中的交叉渲染多視域攝影機的示意圖; 圖2B係根據與在此所描述的原理一致的一實施例說明一示例中的交叉渲染多視域攝影機的立體圖; 圖3A係根據與在此所描述的原理一致的一實施例說明與一示例中的交叉渲染多視域攝影機相關的影像的圖形表示; 圖3B係根據與在此所描述的原理一致的一實施例說明與另一示例中的交叉渲染多視域攝影機相關的影像的圖形表示; 圖4係根據與在此所描述的原理一致的實施例說明一示例中的交叉渲染多視域系統200的方塊圖; 圖5A係根據與在此所描述的原理一致的實施例說明一示例中的多視域顯示器的橫截面圖; 圖5B係根據與在此所描述的原理一致的實施例說明一示例中的多視域顯示器的平面圖; 圖5C係根據與在此所描述的原理一致的實施例說明一示例中的多視域顯示器的立體圖; 圖6係根據與在此所描述的原理一致的實施例說明一示例中的包含廣角背光件的多視域顯示器的橫截面圖;以及 圖7係根據與在此所描述的原理一致的實施例說明一示例中的交叉渲染多視域成像之方法的流程圖。
某些示例和實施例具有除上述參考附圖中所示的特徵之外的其他特徵或代替以上參考附圖中所示的特徵的其他特徵。下面將參照上述附圖詳細描述這些和其他特徵。
100‧‧‧交叉渲染多視域攝影機
102‧‧‧場景
104‧‧‧影像
106‧‧‧合成影像
110‧‧‧攝影機
110'‧‧‧虛擬攝影機
120‧‧‧影像合成器

Claims (20)

  1. 一種交叉渲染多視域攝影機,包括: 複數個攝影機,沿著一第一軸互相隔開,該等攝影機配置為擷取一場景的複數個影像;以及 一影像合成器,配置為使用由該等影像確定的該場景的一視差圖產生該場景的一合成影像, 其中,該合成影像表示與該第一軸偏離的一第二軸上的一虛擬攝影機的一位置對應的一視角中的該場景的一視域。
  2. 如申請專利範圍第1項所述之交叉渲染多視域攝影機,其中,該第二軸與該第一軸垂直。
  3. 如申請專利範圍第1項所述之交叉渲染多視域攝影機,其中,該影像合成器配置為使用該視差圖以提供複數個合成影像,該等合成影像的每一個合成影像表示與該等合成影像中的其他合成影像相關的該場景的不同視角中的該場景的一視域。
  4. 如申請專利範圍第1項所述之交叉渲染多視域攝影機,其中,該等攝影機包括配置為一立體攝影機的一對攝影機,並且由該立體攝影機擷取的該場景的複數個影像包括該場景的一立體影像對,該影像合成器配置為提供複數個合成影像,表示與複數個虛擬攝影機的位置對應的視角中的該場景的視域。
  5. 如申請專利範圍第4項所述之交叉渲染多視域攝影機,其中,該第一軸是一水平軸,該第二軸是垂直於該水平軸的一垂直軸,該立體影像對排列在對應該水平軸的一水平方向上,該等合成影像包括沿著對應該垂直軸的一垂直方向排列的一對合成影像。
  6. 如申請專利範圍第1項所述之交叉渲染多視域攝影機,其中,該影像合成器進一步配置為對該視差圖和該合成影像中的一者或兩者提供空洞填補。
  7. 一種交叉渲染多視域系統,包括如申請專利範圍第1項所述之交叉渲染多視域攝影機,該多視域系統進一步包括:一多視域顯示器,配置為將該合成影像顯示為表示該場景的一多視域影像的一視域。
  8. 如申請專利範圍第7項所述之交叉渲染多視域系統,其中,該多視域顯示器進一步配置為將來自該等攝影機中的複數個攝影機的複數個影像,顯示為該多視域影像的其他視域。
  9. 一種交叉渲染多視域系統,包括: 一多視域攝影機陣列,具有沿著一第一軸互相隔開的複數個攝影機,該多視域攝影機陣列配置為擷取一場景的複數個影像; 一影像合成器,配置為使用由該等影像確定的一視差圖以產生該場景的一合成影像;以及 一多視域顯示器,其配置為顯示包括該合成影像之該場景的一多視域影像, 其中,該合成影像表示與該第一軸垂直的一第二軸上的一虛擬攝影機對應的一視角中的該場景的一視域。
  10. 如申請專利範圍第9項所述之交叉渲染多視域系統,其中,該多視域攝影機陣列包括配置為提供該場景的一立體影像對的一對攝影機,該視差圖由該影像合成器使用該立體影像對來確定。
  11. 如申請專利範圍第9項所述之交叉渲染多視域系統,其中,該影像合成器配置為提供該場景的一對合成影像,該多視域影像包括該對合成影像以及該等影像中的一對影像。
  12. 如申請專利範圍第9項所述之交叉渲染多視域系統,其中,該影像合成器在一遠程處理器中實現,該等影像藉由該交叉渲染多視域系統發送到該遠程處理器,並且該交叉渲染多視域系統從該遠程處理器接收該合成影像,以使用該多視域顯示器顯示。
  13. 如申請專利範圍第9項所述之交叉渲染多視域系統,其中,該多視域顯示器包括: 一光導件,配置以引導光; 一多光束元件陣列,互相隔開並且配置為將來自該光導件的被引導的光散射為複數個方向性光束,該等方向性光束具有與該多視域影像的複數個視域方向對應的複數個方向;以及 一光閥陣列,用於調變該方向性光束以提供該多視域影像, 其中,該多光束元件陣列的一多光束元件的一尺寸可相比擬於該光閥陣列的一光閥的一尺寸以及該多光束元件陣列的該多光束元件的一形狀相似於與該多光束元件相關的一多視域像素的一形狀。
  14. 根據申請專利範圍第13項所述之交叉渲染多視域系統,其中,該多光束元件陣列的該多光束元件包括光學地連接至該光導件以將該被引導的光散射為該等方向性光束的一繞射光柵、一微反射元件及一微折射元件的其中一者或多者。
  15. 根據申請專利範圍第13項所述之交叉渲染多視域系統,其中,該多視域顯示器進一步包括光學地耦合至該光導件的一輸入端的一光源,該光源配置為用以提供具有一非零傳播角度的該被引導的光及依據一預定準直因子被準直的該被引導的光的其中一者或二者。
  16. 根據申請專利範圍第13項所述之交叉渲染多視域系統,其中,該多視域顯示器進一步包括: 一廣角背光件,配置為在一第一模式期間提供一廣角發射光,該光導件和該多光束元件陣列配置為在一第二模式期間提供該等方向性光束, 其中,該光閥陣列配置為在該第一模式期間調變該廣角發射光以提供一二維影像,並在該第二模式期間調變該等方向性光束以提供該多視域影像。
  17. 一種交叉渲染多視域成像之方法,包括: 使用沿一第一軸互相隔開的複數個攝影機擷取一場景的複數個影像;以及 使用由該等影像確定的該場景的一視差圖產生該場景的一合成影像, 其中,該合成影像表示與該第一軸偏離的一第二軸上的一虛擬攝影機的一位置對應的一視角中的該場景的一視域。
  18. 根據申請專利範圍第17項所述之交叉渲染多視域成像之方法,進一步包括對該視差圖和該合成影像中的一者或兩者提供空洞填補。
  19. 根據申請專利範圍第17項所述之交叉渲染多視域成像之方法, 其中,該等攝影機包括配置為擷取該場景的一立體影像對的一對攝影機,該視差圖使用該立體影像對來確定,以及 其中,產生一合成影像的步驟產生複數個合成影像,其表示與相似的複數個虛擬攝影機的複數個位置對應的複數個視角中的該場景的複數個視域。
  20. 根據申請專利範圍第17項所述之交叉渲染多視域成像之方法,進一步包括使用一多視域顯示器將該合成影像顯示為一多視域影像的一視域。
TW107145637A 2017-12-20 2018-12-18 交叉渲染多視域攝影機、系統、及方法 TWI695189B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201762608551P 2017-12-20 2017-12-20
US62/608,551 2017-12-20
??PCT/US18/64632 2018-12-08
WOPCT/US18/64632 2018-12-08
PCT/US2018/064632 WO2019125793A1 (en) 2017-12-20 2018-12-08 Cross-render multiview camera, system, and method

Publications (2)

Publication Number Publication Date
TW201930960A TW201930960A (zh) 2019-08-01
TWI695189B true TWI695189B (zh) 2020-06-01

Family

ID=66992796

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107145637A TWI695189B (zh) 2017-12-20 2018-12-18 交叉渲染多視域攝影機、系統、及方法

Country Status (8)

Country Link
US (1) US20200322590A1 (zh)
EP (1) EP3729804A4 (zh)
JP (1) JP7339259B2 (zh)
KR (1) KR102309397B1 (zh)
CN (1) CN111527749A (zh)
CA (1) CA3085185C (zh)
TW (1) TWI695189B (zh)
WO (1) WO2019125793A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111183638B (zh) * 2017-10-02 2022-06-17 镭亚股份有限公司 具有带有共享相机的相机子阵列的多视图相机阵列、多视图***及方法
CA3134527C (en) 2019-04-22 2023-12-12 Leia Inc. Time-multiplexed backlight, multiview display, and method
CN110393916B (zh) * 2019-07-26 2023-03-14 腾讯科技(深圳)有限公司 视角转动的方法、装置、设备及存储介质
US11815679B2 (en) 2021-04-16 2023-11-14 Industrial Technology Research Institute Method, processing device, and display system for information display

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201004361A (en) * 2008-07-03 2010-01-16 Univ Nat Cheng Kung Encoding device and method thereof for stereoscopic video
WO2013073282A1 (en) * 2011-11-17 2013-05-23 Mitsubishi Electric Corporation Method and system for processing multiview videos of scene
US20140192148A1 (en) * 2011-08-15 2014-07-10 Telefonaktiebolaget L M Ericsson (Publ) Encoder, Method in an Encoder, Decoder and Method in a Decoder for Providing Information Concerning a Spatial Validity Range
WO2017041073A1 (en) * 2015-09-05 2017-03-09 Leia Inc. Multiview display with head tracking

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3032414B2 (ja) * 1993-10-29 2000-04-17 キヤノン株式会社 画像処理方法および画像処理装置
JP2001256482A (ja) * 2000-03-08 2001-09-21 Fuji Xerox Co Ltd 視差画像生成装置および視差画像生成方法
JP4363224B2 (ja) * 2004-03-04 2009-11-11 ソニー株式会社 立体表示装置および立体表示方法
JP2006030753A (ja) * 2004-07-20 2006-02-02 Matsushita Electric Ind Co Ltd 三次元画像表示装置
JP4780046B2 (ja) * 2007-06-19 2011-09-28 日本ビクター株式会社 画像処理方法、画像処理装置及び画像処理プログラム
CN101754042B (zh) * 2008-10-30 2012-07-11 华为终端有限公司 图像重构方法和图像重构***
KR101627214B1 (ko) * 2009-11-12 2016-06-03 엘지전자 주식회사 영상표시장치 및 그 동작방법
WO2011121920A1 (ja) * 2010-03-30 2011-10-06 パナソニック株式会社 撮像制御装置、没入位置情報生成装置、撮像制御方法、没入位置情報生成方法
JP5468482B2 (ja) * 2010-07-14 2014-04-09 シャープ株式会社 画像撮像装置
JP5269027B2 (ja) * 2010-09-30 2013-08-21 株式会社東芝 三次元画像表示装置および画像処理装置
JP4807537B2 (ja) * 2010-12-01 2011-11-02 株式会社 日立ディスプレイズ 表示装置
JP5464280B2 (ja) 2010-12-28 2014-04-09 コニカミノルタ株式会社 情報処理装置および情報処理方法
GB201106111D0 (en) * 2011-04-11 2011-05-25 Mccormick Malcolm Rendering images for autostereoscopic display
JP2012237961A (ja) * 2011-04-28 2012-12-06 Sony Corp 表示装置および電子機器
JP2012235338A (ja) * 2011-05-02 2012-11-29 Sony Corp 画像処理方法、画像処理装置及び表示装置
US9041771B2 (en) * 2011-06-08 2015-05-26 City University Of Hong Kong Automatic switching of a multi-mode display for displaying three-dimensional and two-dimensional images
CN102325259A (zh) * 2011-09-09 2012-01-18 青岛海信数字多媒体技术国家重点实验室有限公司 多视点视频中虚拟视点合成方法及装置
JP5708395B2 (ja) * 2011-09-16 2015-04-30 株式会社Jvcケンウッド 映像表示装置及び映像表示方法
US9401041B2 (en) 2011-10-26 2016-07-26 The Regents Of The University Of California Multi view synthesis method and display devices with spatial and inter-view consistency
CA2861868A1 (en) * 2012-01-25 2013-08-01 Lumenco, Llc Conversion of a digital stereo image into multiple views with parallax for 3d viewing without glasses
JP2014010783A (ja) * 2012-07-02 2014-01-20 Canon Inc 画像処理装置、画像処理方法およびプログラム
GB2525170A (en) * 2014-04-07 2015-10-21 Nokia Technologies Oy Stereo viewing
KR20150120659A (ko) * 2014-04-18 2015-10-28 한국과학기술원 다시점 컨텐츠의 생성 방법 및 장치
US20150381972A1 (en) * 2014-06-30 2015-12-31 Microsoft Corporation Depth estimation using multi-view stereo and a calibrated projector
EP3243093A4 (en) * 2015-01-10 2018-09-19 LEIA Inc. Diffraction grating-based backlighting having controlled diffractive coupling efficiency
JP6567058B2 (ja) * 2015-01-10 2019-08-28 レイア、インコーポレイテッドLeia Inc. 2次元/3次元(2d/3d)切り替え可能ディスプレイバックライトおよび電子ディスプレイ
WO2017204840A1 (en) * 2016-05-23 2017-11-30 Leia Inc. Diffractive multibeam element-based backlighting
CN105895023B (zh) * 2016-06-03 2019-03-15 深圳市华星光电技术有限公司 微机电光阀、显示屏和显示装置
US10055882B2 (en) * 2016-08-15 2018-08-21 Aquifi, Inc. System and method for three-dimensional scanning and for capturing a bidirectional reflectance distribution function
US10530751B2 (en) 2017-03-06 2020-01-07 The Boeing Company Virtual transponder utilizing inband telemetry

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201004361A (en) * 2008-07-03 2010-01-16 Univ Nat Cheng Kung Encoding device and method thereof for stereoscopic video
US20140192148A1 (en) * 2011-08-15 2014-07-10 Telefonaktiebolaget L M Ericsson (Publ) Encoder, Method in an Encoder, Decoder and Method in a Decoder for Providing Information Concerning a Spatial Validity Range
WO2013073282A1 (en) * 2011-11-17 2013-05-23 Mitsubishi Electric Corporation Method and system for processing multiview videos of scene
WO2017041073A1 (en) * 2015-09-05 2017-03-09 Leia Inc. Multiview display with head tracking

Also Published As

Publication number Publication date
US20200322590A1 (en) 2020-10-08
WO2019125793A1 (en) 2019-06-27
EP3729804A4 (en) 2021-11-10
EP3729804A1 (en) 2020-10-28
KR20200083653A (ko) 2020-07-08
KR102309397B1 (ko) 2021-10-06
CA3085185A1 (en) 2019-06-27
CN111527749A (zh) 2020-08-11
JP7339259B2 (ja) 2023-09-05
TW201930960A (zh) 2019-08-01
CA3085185C (en) 2024-04-09
JP2021508965A (ja) 2021-03-11

Similar Documents

Publication Publication Date Title
TWI645235B (zh) 具有匯聚視像的多光束元件式背光板、顯示器及方法
TWI627458B (zh) 基於多波束元件的背光板、方法及其顯示器
TWI695189B (zh) 交叉渲染多視域攝影機、系統、及方法
TW201812400A (zh) 頭部追蹤多視角顯示器、系統及方法
TW201837502A (zh) 採用傾斜繞射格柵的單側背光板、多視角顯示器及方法
TWI656384B (zh) 透明顯示器及其操作方法
JP7178415B2 (ja) マルチビューカメラアレイ、マルチビューシステム、およびカメラサブアレイに共有カメラを備えさせる方法
TWI725595B (zh) 具有光罩元件的多視域背光件、顯示器和方法
TWI772739B (zh) 多方向性背光件、多使用者多視像顯示器和方法
TW201905558A (zh) 應用偏移多光束元件之多視域背光件、多視域顯示器、及其操作方法
TW202014761A (zh) 具有使用者追蹤功能的多視像顯示器、系統和方法
TWI761098B (zh) 靜態影像增強隱私顯示器、可切換模式的隱私顯示系統與其方法
JP7227369B2 (ja) コンテキスト・ライトフィールド・ディスプレイ・システム、マルチビューディスプレイ、および方法
TWI833750B (zh) 具有可動態重組多視像像素的多視像顯示器和方法