TW201921920A

TW201921920A - 用於產生影像之設備及方法

Info

Publication number: TW201921920A
Application number: TW107121799A
Authority: TW
Inventors: 巴特庫倫; 漢恩威博迪
Original assignee: 荷蘭商皇家飛利浦有限公司
Priority date: 2017-06-29
Filing date: 2018-06-26
Publication date: 2019-06-01
Also published as: RU2020103459A3; TWI800516B; JP2020525927A; WO2019002357A1; US20200134910A1; CN111034192A; EP3422708A1; RU2020103459A; JP7069225B2; CN111034192B; KR20200022476A; EP3646584A1; US11218681B2; BR112019027824A2; KR102531767B1

Abstract

一種用於產生一影像之設備包含一接收器(101)，該接收器接收提供一場景之一不完整表示的3D影像資料。一接收器(107)接收指示針對該影像的該場景中之一目標視點的一目標視圖向量，及一參考源(109)提供指示針對該場景之一參考視點的一參考視圖向量。一修改器(111)產生指示一演現視點之一演現視圖向量，該演現視點依據該目標視點及針對該場景之該參考視點而變化。一影像產生器(105)回應於該演現視圖向量及該3D影像資料而產生該影像。

Description

用於產生影像之設備及方法

本發明係關於一種用於從3D影像資料產生一影像之設備及方法，該3D影像資料提供一場景之不完整表示，且具體而言（但不限於），係關於產生用於虛擬實境應用之一影像。

傳統上，影像的技術處理及用途已基於二維成像，但在影像處理中正明確地考慮第三維。

例如，已發展藉由將正被觀看之場景的不同視圖提供給觀看者雙眼而將第三維加至觀看體驗的三維(3D)顯示器。此能藉由使用者佩戴眼鏡以分離所顯示之兩視圖而實現。然而，由於此被視為對使用者不便利，在許多情景中使用裸視立體(autostereoscopic)顯示器係較佳的，其使用在顯示器處的構件（諸如，柱狀透鏡、或屏障）以分離視圖，並在彼等視圖可個別抵達使用者眼睛的不同方向上傳送彼等視圖。立體顯示器需要兩個視圖，然而裸視立體顯示器一般需要更多視圖（諸如，九個視圖）。

在許多實施例中，產生用於新觀看方向的視圖影像可係所欲的。雖然基於影像及深度資訊產生此種新視圖影像的各種演算法已為人所知，但彼等演算法往往高度相依於所提供（或所導出）之深度資訊的準確度。

實際上，經常由對應於場景之不同觀看方向的複數個影像提供三維影像資料。具體地說，逐漸將視訊內容（諸如，影片或電視節目）產生以包括一些3D資訊。能使用從略為偏移的攝影機位置擷取兩個同時影像之專用3D攝影機擷取此類資訊。

然而，在許多應用中，所提供的影像可能不直接對應於期望方向，或可能需要更多影像。例如，針對裸視立體顯示器，需要兩個以上的影像，且實際上經常使用9至26個視圖影像。

為了產生對應於不同觀看方向的影像，可使用視點位移處理(view point shifting processing)。此一般藉由使用單觀看方向的影像連同關聯深度資訊的視圖位移演算法(view shifting algorithm)執行。

基於三維影像處理之應用之具體實例係虛擬實境應用。在一般虛擬實境體驗中，可連續地產生用於例如虛擬實境頭戴裝置的右眼視圖影像及左眼視圖影像以與使用者的移動及定向改變匹配。此類產生動態虛擬實境視圖一般基於處理表示對應於虛擬實境環境的給定場景之3D影像資料。例如，虛擬實境伺服器可基於三維模型或三維影像（諸如由光強度影像及深度圖所表示之影像，或由紋理圖及深度網格所表示之影像）而產生視圖影像。

對於諸如虛擬實境應用的應用，可例如隨由於虛擬環境中使用者實際上移動或改變觀看方向/定向所引起的這些變化來產生一系列影像，以反映使用者的視圖。在一些應用中，可產生影像以反映觀看者定向的變化，但不支援區中的移動。反映此一場景的視訊經常稱為全向視訊。在其他應用中，亦可支援移動觀看位置以反映虛擬實境環境中的使用者之虛擬移動。反映此一場景的視訊經常稱為身歷其境式視訊。使用者的當前視圖可由一視圖向量表示，該視圖向量描述針對一視點的相關位置及方向參數。

對於全向視訊，視圖向量一般描述根據三自由度(3DoF)的定向，一般藉由提供側傾(yaw)值、縱傾(pitch)值及側滾(roll)值。

對於身歷其境式視訊而言，向量一般描述根據六自由度(6DoF)的定向及位置，一般藉由提供側傾值、縱傾值、側滾值及用於三個空間維度的值。

然而，具體挑戰係當試圖開發及支援靈活視訊及影像應用（支援可變觀看位置及/或觀看方向）時，此係因為這些應用較佳不限於一子組之位置及/或方向，而是理想地支援所有位置及/或方向。例如，對於6DoF身歷其境式視訊，觀看者可從任何位置及任何方向觀看場景。這要求可取得場景之所有部分以及來自所有位置及所有方向的3D資訊。在許多實際應用中，此項要求係困難的或不可能滿足的，例如其中3D資料基於擷取真實世界場景的特定應用。

例如，對於電影，導演要十分小心在隱藏擷取工作人員及設備免於出現在視圖中。一種方法係所謂的180°影片文法規則，其中攝影機定位在場景的一側，面向另一側。記錄全向視訊非常困難，此係因為各全向攝影機周圍的整個場景係可見的。這迫使工作人員隱藏在佈景後面並在後處理中移除諸如三角架之類的元素。

實際上，即使在完全覆蓋係相關且有可能提供完全覆蓋的場景中，經常有一個較佳方向。一般而言，由於觀看者繞例如180°轉動無意義，所以一般而言花費記錄、儲存或傳輸相對應於此視點的影像資料所需的資源不切實際。

然而，這導致缺乏內容及場景之表示不完整的問題。因此，若觀看者實際上轉180°，則沒有允許產生適當視圖的可用資料，且因此覆蓋範圍將受到限制。在此類情況中，顯著方法將不演現任何影像資訊，其中未藉由3D影像表示來提供資料，或替代地，可呈現預設紋理。然而，這將係感知上非常明顯且令人困擾，並且將往往破壞對例如虛擬實境應用至關重要的身歷其境體驗。

為了避免此問題，一般認為有必要產生完整的三維電腦圖形模型，該模型被動態評估並用於產生可能需要的任何視圖。然而，這經常不切實際、非常複雜、資源要求苛刻、需要過量擷取及模型轉換等。

因此，從三維影像資料產生影像的改善方法將係有利的。具體而言，允許改善操作、增強靈活性、促進實施、促進操作、改善通信、降低複雜性、減少資源需求、改善身歷其境使用者體驗及/或改善效能之方法係有利的。

因此，本發明尋求單獨或採用任何組合較佳地緩和、減輕、或消除上文提及之缺點的一或多者。

根據本發明之一態樣，提供一種用於產生一影像之設備，該設備包含：一接收器，其用於接收用於一場景之3D影像資料，該3D影像資料提供該場景之一不完整表示；一接收器，其用於接收指示針對該影像的該場景中之一目標視點的一目標視圖向量；一參考源，其用於提供指示針對該場景之一參考視點的一參考視圖向量，回應於指示介於該3D影像資料包含用於其之影像資料的該場景之一部分與該3D影像資料不包含用於其之影像資料的該場景之一部分之間之一邊界的一邊界視圖向量來判定該參考視圖向量；一修改器，其用於產生指示一演現視點之一演現視圖向量，該演現視點依據該目標視點及針對該場景之該參考視點而變化，該修改器經配置以針對該目標視圖向量之至少一些值而使該演現視圖向量偏向遠離該3D影像資料不包含用於其之任何資料之該場景之該部分；及一影像產生器，其用於回應於該演現視圖向量及該3D影像資料而產生該影像。

在許多實施例及情景中，本發明可允許產生改善的影像。具體而言，可實現介於從所欲視點提供所欲視圖與提供高品質影像之間的改善權衡。該方法可例如提供使視圖溫和偏向朝向影像品質會較高的較佳視圖。該方法可例如允許虛擬實境體驗，在該虛擬實境體驗中，使用者可控制視點，但將這些視點偏向朝向提供改善品質的視點。例如，可提供一種效果，其中使用者可自由控制用於所產生視圖的視點，只要可從3D影像資料產生這些視圖。然而，當引導朝向3D影像資料未提供用於其之資料的視點時，系統可能會對抗此移動而引入抵制或偏向。在許多情況中，這可提供可能導致修改使用者行為的微妙且經常不可察覺的調適。

具體而言，針對其中回應用一使用者輸入而產生及控制目標視圖向量的情景中，該方法可提供有利的影像產生。例如，該方法非常適於提供用於虛擬實境應用的視圖影像（例如，提供用於虛擬實境頭戴裝置的影像）。該方法可允許高度自由度，同時降低藉由該3D影像資料提供該場景之僅一不完整表示的影響。

另外，該方法可讓使用者偏向以控制該虛擬實境應用遠離往往由於缺乏來自該3D影像資料的資料而實質上降低品質的視點。

在許多實施例及場景中，該方法可提供令人滿意的影像產生，而無需基本場景之完全表示。該方法可減少因該場景之一不完整表示而導致不便利，並且因此可允許使用不完整的模型或擷取。具體而言，該方法一般可基於擷取真實世界場景來提供對應用的改善支援，例如使用3D攝影機。

該3D影像資料可提供該場景之一不完整表示。

一視圖向量可係指示一視點的任何值或一組值。一視點可係一視圖/觀看區的一位置及/或定向。一視圖向量可例如包括指示一視點之一位置的一或多個值及/或指示一視點之一觀看定向的一或多個值。

該3D影像資料可包含允許產生影像內容以表示場景之一（視覺/光強度）視圖的任何資料。例如，該3D影像資料可包含允許系統產生視圖的場景之3D模型。在許多實施例中，該3D影像資料可包含一或多個3D影像，其中各3D影像提供光強度及深度資訊，諸如影像+深度或紋理圖+網格表示。在許多實施例中，該3D影像資料可包含寬視角影像，並且具體而言，可包括幾乎全向影像。

該3D影像資料提供該場景之一不完整表示，且因此有該3D影像資料不提供針對至少一個視點用於其的視覺屬性之一描述的該場景之至少一部分。未藉由該3D影像資料所描述的該場景之（多個）部分可針對不同視點而不同。對於至少一個觀看位置，存在至少一個觀看定向，該3D影像資料不包括用於針對該至少一個觀看定向的對應觀看區之至少一個部分的視覺屬性之（個別）描述。對於此類部分，一般可從3D影像資料產生該影像內容，具體而言，藉由從3D影像資料提供用於其之影像資料的一區域（諸如該第一區域）外推3D影像資料未提供用於其之影像資料的一區域（該第二區域）。

因此，一般而言，需要從該場景之其他部分來產生用於該場景之此類部分的影像內容（一般使用往往相對不準確的假設，例如，對於屬於不同區域之影像內容無變化發生）。

該場景可係一基本3D環境之一特定部分或視圖之一特定表示，諸如在一給定時間處來自一給定位置之環境視圖之一3D表示。在某些情況中，該場景可係整個基本3D環境，諸如一環境或世界的一3D模型。因此，該場景可視為影像被產生以表示一視圖的任何環境。

在一些情景中，參考視圖向量/視點可對應於一較佳視圖向量/視點，或者在一些實施例中，參考視圖向量/視點可對應於非所欲視圖向量/視點。

該3D影像資料提供該場景之一不完整表示，並且該參考源經配置以回應於指示介於該3D影像資料包含用於其之影像資料的該場景之一部分與該3D影像資料不包含用於其之影像資料的該場景之一部分之間之一邊界的一邊界視圖向量來判定該參考視圖向量。

在許多情景中，此可提供特別有利的操作及/或效能。在許多實施例中，可例如引入遠離該3D影像資料不包含用於其之任何資料的該場景之區的偏向。具體而言，經常可提供朝向較高品質視圖的所欲偏向，而不會有此不可接受的限制自由或破壞身歷其境感覺。

根據本發明之一選用特徵，用於接收3D影像資料之該接收器經配置以接收包含該3D影像資料且進一步包含標稱視點資料的一資料串流；且其中該參考源經配置以回應於該標稱視點資料而產生該參考視圖向量。可依據該標稱視點來判定該參考視圖向量。應理解，所用的功能將取決於個別實施方案的所欲偏好、需求及效果。在許多實施例中，該參考視圖向量可被判定為對應於/指示在該標稱視點資料中所指示之一標稱視點。

具體而言，該方法可允許內容提供者輔助、引導及/或控制朝向所欲視點的偏向。例如，可提供「導演」視圖作為推薦或建議的視點。

根據本發明之一選用特徵，該設備包含用於接收顯示屬性資料之一接收器；且該參考源經配置以回應於該顯示屬性資料而產生該參考視圖向量。

在許多情景中，此可提供特別有利的操作及/或效能。例如，可提供對多種顯示器的改善適應性，並且允許針對所使用的特定顯示器進行最佳化。具體而言，該顯示屬性資料可具體而言係由所顯示影像提供之視角角度的一指示。

根據本發明之一選用特徵，該修改器進一步經配置以回應於該3D影像資料包含針對對應於該演現視圖向量之一視點用於其之影像資料的一觀看區之比例來判定該演現視圖向量。

在許多情景中，此可提供特別有利的操作及/或效能。

根據本發明之一選用特徵，該3D影像資料包含自一組視點來表示視圖之3D影像資料；且該修改器進一步經配置以回應於該組視點來判定該演現視圖向量。

在許多情景中，此可提供特別有利的操作及/或效能。尤其在該3D影像資料表示擷取真實世界場景時傾向於提供改善的操作及/或性能。

根據本發明之一選用特徵，該修改器經配置以針對從該目標視圖向量至該參考視圖向量的一縮減距離，而增加從該演現視圖向量至該目標視圖向量的一距離。

在許多情景中且尤其在該參考視圖向量指示一較佳視點時，此可提供特別有利的操作及/或效能。

在一些實施例中，視圖向量源經配置以針對從該目標視圖向量至該參考視圖向量的一縮減距離，而增加從該演現視圖向量至該目標視圖向量的一距離。

在許多情景中且尤其在該參考視圖向量指示一非較佳視點時，此可提供特別有利的操作及/或效能。

根據本發明之一選用特徵，該修改器經配置以對於從該目標視圖向量至該參考視圖向量的一增加距離，而減小介於從該演現視圖向量至該參考視圖向量之一距離與從該演現視圖向量至該目標視圖向量之一距離之間的一比率。

在一些實施例中，該視圖向量源經配置以對於從該目標視圖向量至該參考視圖向量的一縮減距離，而減小介於從該演現視圖向量至該參考視圖向量之一距離與從該演現視圖向量至該目標視圖向量之一距離之間的一比率。

根據本發明之一選用特徵，該修改器經配置以針對該目標視圖向量與該參考視圖向量之間的一差異低於一臨限，而判定該演現視圖向量為實質上該目標視圖向量。

在許多情景中，此可提供特別有利的操作及/或效能，並且尤其可確保當不需要改善影像品質時，效果係微不足道的/不可察覺。

根據本發明之一選用特徵，該影像產生器包含：一演現器，其用於演現用於該演現視圖向量之該影像之一第一區域，該第一區域係該3D影像資料包含用於其之影像資料的一區域；一外推器，其用於將該3D影像資料外推至該影像之一第二區域中，該第二區域係該3D影像不包含用於其之影像資料的一區域，並且該第一區域及該第二區域係鄰接區域。

在許多實施例及情景中，本發明可允許產生改善的影像。具體而言，甚至當所產生影像包括該3D影像資料未提供用於其之任何影像資料之一或多個區時，仍可實現改善的感知影像品質。

外推器一般經配置以藉由外推針對該第一區域所產生之影像內容（具體而言，像素值）至一第二區域中來外推3D影像資料至該第二區域中。因此，一般將該第一區域之該演現影像內容外推至該第二區域中。

該第一區域及/或該第二區域可包含複數個不相交區。

根據本發明之一選用特徵，該影像產生器進一步包含一模糊處理器，該模糊處理器用於施加一空間變化模糊至該影像，介於該第一區域與該第二區域之間的一過渡區域中之一模糊程度高於該第一區域之一內部區之模糊程度。

在許多實施例及情景中，本發明可允許產生改善的影像。具體而言，甚至當所產生影像包括該3D影像資料未提供用於其之任何影像資料之一或多個區時，仍可實現改善的感知影像品質。具體而言，可實質上降低一般與外推相關聯的降級效應，並且在許多情景中可能不會對使用者顯而易見。

具體而言，該過渡區域之模糊可降低感知影響。此外，在其中由使用者輸入來判定演現視點的實施例中，該方法（並且具體而言該模糊）可讓使用者偏向遠離需要大外推程度的視點。

根據本發明之一選用特徵，該過渡區域包括該第一區域之一區。

在許多情景中，此可提供特別有利的效能。在許多實施例中，可例如引入遠離該3D影像資料不包含用於其之任何資料的該場景之區的偏向。

這可導致將產生之改善的影像，具體而言，其可經更佳地調適於可用3D影像資料的特定特性。

根據本發明之一態樣，提供一種產生一影像之方法，該方法包含：接收用於一場景之3D影像資料，該3D影像資料提供該場景之一不完整表示；接收指示針對該影像的該場景中之一目標視點的一目標視圖向量；提供指示針對該場景之一參考視點的一參考視圖向量，回應於指示介於該3D影像資料包含用於其之影像資料的該場景之一部分與該3D影像資料不包含用於其之影像資料的該場景之一部分之間之一邊界的一邊界視圖向量來判定該參考視圖向量；產生指示一演現視點之一演現視圖向量，該演現視點依據該目標視點及針對該場景之該參考視點而變化，包括針對該目標視圖向量之至少一些值而使該演現視圖向量偏向遠離該3D影像資料不包含用於其之任何資料之該場景之該部分；及回應於該演現視圖向量及該3D影像資料而產生該影像。

本發明的此等及其他態樣、特徵、及優點將參考下文描述的（一或多個）實施例闡明且將係顯而易見的。

下文描述聚焦於適用於產生用於虛擬實境應用之影像的本發明之實施例。然而，將理解本發明不限於此應用，而是可應用於許多不同影像處理及產生應用。

圖1繪示一影像產生設備，該影像產生設備經配置以基於提供一場景之一不完整表示的3D影像資料來產生表示一場景之一視圖的一影像。具體而言，圖1之影像產生設備可係一演現器，該演現器用作為提供虛擬實境體驗的一虛擬實境裝置或伺服器之部分。

圖2繪示此一虛擬實境裝置的一個實例。在該實例中，該虛擬實境裝置包含一使用者輸入單元201，該使用者輸入單元經配置以接收可反映在虛擬實境場景中之所欲移動及/或定向的使用者輸入。例如，使用者可使用操縱桿及/或鍵盤瀏覽遍及虛擬實境場景，或例如可依據使用者所穿戴且包含合適感測器的虛擬實境頭戴裝置來判定視圖之定向。在許多實施例中，使用者輸入單元201可包含用於將使用者輸入轉換為所欲演現視點的功能，該演現視點指示觀看場景的位置及/或從給定觀看位置的觀看定向。演現視點（視點可視為指位置指示、定向指示或這兩者，因此指示使用者的所欲視圖）。

應理解，在一些實施例中，可針對給定演現視點產生複數個視圖，或在一些實施例中，可從相同使用者輸入產生複數個視點。例如，該虛擬實境裝置可經配置以產生對應於右眼視圖的影像及對應於左眼視圖的影像，從而提供3D效果。為了簡明及清晰，下文描述將聚焦於針對一給定演現視點產生一個影像。

具體而言，使用者輸入單元201可經配置以產生指示一所欲/目標演現視點的一目標視圖向量。例如，可產生一目標視圖向量，該目標視圖向量包含定義觀看者之定向的三個分量/值，諸如縱傾參數、側傾參數及側滾參數。在許多實施例中，該目標視圖向量可另外或替代地包含定義場景中之三維位置的三個值，例如藉由x、y、z值表示。應理解，在一些實施例中，可藉由少於三個值來表示位置及/或定向。例如，可藉由沿遍及該場景之一預定路線的一距離來指示一位置，且因此可藉由單一值來指示該位置。類似地，可假定縱傾及側傾恆定，並且可僅藉由一側滾值來給定定向。

所產生目標視圖向量被饋送至演現單元203，具體而言，該演現單元係圖1之影像產生設備。演現單元203經配置以產生用於藉由該視圖向量所反映的視點的影像。影像的產生取決於從3D影像儲存庫205檢索的3D影像資料。所產生影像被饋送到顯示器驅動器207，該顯示器驅動器驅動顯示器209，該顯示器驅動器例如可係用於右眼或左眼的虛擬實境頭戴裝置的顯示器。該虛擬實境頭戴裝置可進一步包含提供使用者輸入至使用者輸入單元201的感測器。

因此，該虛擬實境裝置可產生表示在由3D影像資料所表示之虛擬場景中來自具體視點之視圖的影像。該視點受控於使用者輸入，一般允許使用者在虛擬場景中移動及環視。

在該方法中，該3D影像資料提供該場景之一不完整表示。具體而言，3D影像資料可提供用於該場景之一些部分的資料，而非提供用於該場景之所有部分的資料，即，具體而言，會有針對至少一些視點的3D影像資料不包含用於其之描述該場景之視覺屬性之任何資料的該場景之一些區域/部分/元素。

在許多虛擬實境應用中，可依該場景之一3D模型的形式來提供3D影像資料。在許多應用中，此一3D模型可提供該場景之一完整表示，並且評估該3D模型將允許針對所有可能的視點產生一視圖影像。此情況經常係其中一模型直接定義環境及場景的虛擬或人工場景的情況。然而，在許多情況中，產生一完整模型係不可能或不可行。這可能係一些人工模型的情況，但是更頻繁地發生於真實生活場景的所擷取表示。例如，可從擷取一真實世界場景而產生一模型，但該模型往往會丟失至少一些視點（位置及/或定向）的資料。

在許多實施例中，可從使用合適的攝影機自真實生活資料擷取來產生3D影像資料。實際上，一般而言，可依針對數個固定觀看位置的光強度影像及相關聯深度資訊之形式來提供3D影像資料。在一些此類實例中，這些影像可對應於極寬的視角，並且實際上在一些情況中，可能幾乎完全全向。在此類情況中，可藉由視點位移演算法來使用3D影像資料的影像及深度，以產生給定演現視點的視圖影像。

然而，一般而言，自一給定視點的一擷取將不完整且不提供全球形影像（及深度）及深度，而是僅擷取球體之一子組。此亦係甚至在其中使用全球形擷取裝置的情況中的一般情況，此係因為擷取程序固有地往往引入阻擋視圖之物體至場景之一些部分（例如，工作人員、照明設備或實際上攝影機系統本身可阻擋視圖，例如，攝影機可觀測自身或可觀測用於擷取的其他攝影機）。

無論如何表示3D影像資料，一般將不包含場景之至少部分的資料，或包含場景之至少部分的至少不完整或不充分資料，且因此經常不包含給定視點之觀看區之部分的資料，或包含給定視點之觀看區之部分的至少不完整或不充分資料。

對應於圖1之影像產生設備的演現單元203能夠基於提供一場景之僅一不完整表示的3D影像資料而產生用於一給定演現視點的影像。另外，演現單元203經配置以產生影像以提供改善的身歷其境效果，其中影像資料缺乏的影響對使用者較不明顯或較不困擾。例如，虛擬實境觀看者可在環視且遇到3D影像資料未提供用於其之任何資訊的區域時具有更流暢且更身歷其境的體驗。

演現單元203包含一影像資料接收器101，該影像資料接收器經配置以接收用於一場景的3D影像資料，其中該3D影像資料提供該場景之一不完整表示。在具體的實例中，影像資料接收器101耦合至從其接收該3D影像資料的3D影像儲存庫205。應理解，可從任何合適的外部來源或內部來源接收3D影像資料，包括例如透過網際網路。

演現單元203進一步包括一視圖向量源103，該視圖向量源經配置以提供一演現視圖向量，該演現視圖向量反映待演現用於其之視圖影像的視點。在具體實例中，視圖向量源103經配置以接收指示該場景中之一所欲演現視點的一目標視圖向量。在具體實例中，視圖向量源103經配置以從使用者輸入單元201接收該目標視圖向量。一視圖向量可係提供一視點之一指示的任何組之一或多個值。具體而言，視圖向量可係提供用於該視點之一位置及/或定向之一指示的任何組之一或多個值。視圖向量一般可包括指示位置（例如x、y、z）或定向（側傾、側滾、縱傾）的三個分量值，或指示位置（例如x、y、z）及定向（側傾、側滾、縱傾）的三個分量值。應理解，視圖向量可包括不同數目個分量，例如，定向可僅藉由方位角及仰角/標高值（或實際上，在一些情況中，僅藉由方位角值）來給定。在此類情況中，額外自由度可視為對應於預定值、預設值或估計值。

影像資料接收器101及視圖向量源103耦合至影像產生器105，該影像產生器經配置以產生對應於針對由演現視圖向量所表示之觀看點的觀看區之影像，該演現視圖向量由視圖向量源103基於所提供之3D影像而提供。

由於該3D影像資料提供該場景之一不完整表示，所以由影像產生器105針對一些視點所產生之影像可僅藉由從3D影像資料進行直接影像合成而產生該影像之部分。因此，在許多實施例中，影像產生器105可經配置以直接演現該3D影像資料提供用於其之影像資料的該影像之部分。在一些實施例中，接著該影像之缺失部分可僅填充有預定顏色或紋理。在許多實施例中，影像產生器105可經配置以藉由使用合適的外推演算法來填充影像的缺失部分。

然而，對於不存在用於其的資料之影像之區，若採用使用預定資料之簡單填充或採用更複雜外推，則所得影像品質將往往實質上降低。

為了解決此類問題，圖1之視圖向量源103包含用於（有可能）相對於目標視圖向量修改演現視圖向量的功能，並且具體而言，基於參考視圖向量來進行此修改。

在該實例中，視圖向量源103包含一接收器107，該接收器經配置以接收指示用於待產生之影像的一目標視點的目標視圖向量。在該實例中，接收來自使用者輸入單元201的目標視圖向量並且反映使用者所欲或目標視點（經常係位置及定向兩者）。因此，在該實例中，輸入視圖向量係指示用於使用者理想地希望產生用於其之視圖/影像的目標視點之目標觀看區的所欲/目標視圖向量。一般而言，對於虛擬實境應用，此這對應於在虛擬實境/環境/場景中的虛擬使用者之位置及定向。

演現單元203進一步包含一參考源109，該參考源經配置以提供指示針對該場景之一參考視點的一參考視圖向量。該參考視點可用於提供指示介於視點與3D影像資料未提供用於其之資料的場景/環境之部分之間之關係的資訊。如下文將更詳細描述，該參考視圖向量可例如指示一較佳或所建議視點（例如，由導演所建議），或可例如反映對應於3D影像資料包含用於其之資料的該場景之一部分之一邊緣的一視點。

在一些實施例中，可產生該參考視圖向量以指示複數個視點，諸如一組特定參考點、或連續的可能視點或可能視點範圍。下文描述將基於其中參考視圖向量指示一個參考視點的情況，但應理解，可延伸至其中參考視圖向量指示超過一個視點的情景。例如，在大多數此類情景中，處理可減少到考慮基於特定情況而選擇的單一參考視點，諸如例如最接近目標視圖向量的參考視點。舉另一實例，可針對參考視圖向量之不同可能值執行所描述之處理，以提供不同的可能演現視圖向量，可從該等可能演現視圖向量選擇單一向量（例如，取決於具體實施例，最接近或最遠離目標視圖向量的向量）。

接收器107及參考源109皆耦合至修改器111，該修改器經配置以依據使用者所欲視點及用於該場景之該參考視點（即，依據參考視圖向量及目標視圖向量）而產生演現視圖向量。然後使用所得演現視圖向量來產生影像，如前文所描述。

該方法可提供更有效率之方法，並且在一定程度上限制使用者的虛擬移動及定向或讓使用者偏向，使得所產生影像往往係3D影像資料包含用於其之資料的場景之部分。一般而言，該方法可提供其中使用者之視點被偏向或位移遠離3D影像資料未提供用於其之充分資料的視點並且朝向3D影像資料提供用於其之資料的視點的效果。

例如，當使用者轉頭（例如向後轉）時，並且因此最終朝向不存在擷取內容的視圖，在虛擬環境中的虛擬旋轉可首先精確遵循使用者，但隨著觀看區移動至空部分中，可移動較小，從而破壞與使用者實際移動的直接對應，但是提供包括更多所擷取內容的所演現影像。因此，可實現其中系統不完整遵循使用者移動、而是往往「陷住」或被吸引到用於其之內容可得的場景之部分的效果，即，獲得更高品質視圖。

例如，對於一給定位置，3D影像資料可包含相對於一給定參考方向從-140°至+140°的一角度，該給定參考方向對應於擷取攝影機的主方向，即，對應於用於儲存為3D影像資料之部分的所擷取影像資料的中心方向。在此情況中，可首先呈現完全遵循所改變觀看方向的視圖給開始（實際上）轉頭的使用者。例如，若顯示器產生對應於60°觀看跨度的影像，則可遵循相對於攝影機參考方向至多+110°角度的目標視圖向量來產生演現視圖向量。在此情況中，可演現對應之觀看區/影像的完整影像，此係因為3D影像資料提供完整資料並且無需外推。

然而，隨著使用者轉頭時，目標視圖向量/視點將移動至3D影像資料不包含用於其之資料且將需要外推的部分。為了減少需要外推的影像之比例，且因此減少其品質降低的影像之比例，現在可不精確遵循目標視圖向量，而是修改為更靠近中心攝影機參考，來產生演現視圖向量。例如，當使用者移動而導致表示在自+110°至+180°間隔內之（方位角）角度的目標視圖向量時，這可（一般係非線性）映射至表示落在自+110°至+140°間隔之角度的演現視圖向量，即，自+110°至+180°之角度間隔可（非線性）映射至自+110°至+140°之角度間隔，使得在自+110°至+180°之角度間隔內的目標視圖向量之角度被映射至在自+110°至+140°之角度間隔內的演現視圖向量之角度。因此，當使用者移動使得觀看區移動至不存在用於其之3D影像資料之部分中時，對於演現觀看區的對應移動被縮減。對使用者的效果在於，虛擬移動不完整遵循使用者輸入，而是所呈現視圖往往偏向而朝向某些較佳觀看方向。然而，雖然這可視為對使用者不利的效果，然而一般被相對高品質之所呈現影像及藉由在許多實施例中可完全避免具有極度降低品質之視圖的有利效果所超過。

本質上，在不同偏好在不同方向牽拉演現視圖向量的情況中可實現「橡皮筋」效應。「橡皮筋」之一側上係對應於使用者較佳視點的目標視圖向量。目標視圖向量牽拉橡皮筋，以吸引演現視點。在「橡皮筋」之另一側係參考視圖向量，該參考視圖向量表示對應於用於其之3D影像資料存在的3D影像資料之部分之一或多個視點。橡皮筋的兩端在不同方向牽拉演現視點，並且所得演現視點/視圖向量將取決於這些因素的相對「牽拉」及橡皮筋之所得「拉伸」。實際上，可牽拉演現視圖朝向較佳觀看方向，其中此牽拉一般增加使用者從這些較佳觀看方向的進一步移動。（應理解，「橡皮筋」比擬非意欲作為具體、限制性或精確解譯，而是僅僅意欲提供對可實現之效果的直覺指示）。

雖然該方法可限制使用者的自由虛擬移動，但已發現在許多情景中，提供一種實質上改善的使用者體驗，並且具體而言，提供更身歷其境體驗。實際上，不僅在其中實作間接虛擬移動控制（例如，操縱桿或滑鼠之移動）的實施例中，而且亦在其中虛擬移動（且因此所產生目標視圖向量）意欲直接鏡像使用者的移動的實施例中，已發現這係改善使用者體驗及更身歷其境體驗的情況。例如，已發現甚至在其中虛擬使用者體驗係基於頭戴裝置追蹤使用者頭部移動的應用中，亦經常提供改善的使用者體驗。

應理解，修改器111所使用之特定功能依據參考視圖向量來判定演現視圖向量，並且目標視圖向量將取決於個別實施例的具體需求及偏好。例如，可取決於用於參考視點/視圖向量的具體視點。

然而，在許多實施例中，修改器111經配置以判定演現視圖向量，以針對從目標視圖向量/視點至參考視圖向量/視點的增加距離，而增加從演現視圖向量/視點至目標視圖向量/視點的距離。因此，在大多數實施例中，為了產生演現視圖向量而應用至目標視圖向量的變化而進一步增加目標視圖向量距參考視圖向量的距離。一般而言，參考視圖向量指示較佳視點，且因此介於目標視圖向量與參考視圖向量之間的距離指示使用者之當前目標視點偏離較佳視圖向量的程度。因此，將增加的修改應用至目標視圖向量，以實現更靠近較佳視點的所得演現視圖向量，而目標視圖向量進一步偏離較佳視點向量。

應理解，用語視點及視圖向量可被視為等效，此係因為視圖向量提供對應視點之表示（作為一組值）。因此，對例如修改視圖向量之間之距離、比較等之參照等效於對修改視點之間之距離、比較等之參照，反之亦然。下文描述將聚焦於對視圖向量的參照。

在許多實施例中，具體而言，修改器111可經配置以判定演現視圖向量，使得對於從目標視圖向量至參考視圖向量的增加距離，介於從演現視圖向量至參考視圖向量之距離與從演現視圖向量至目標視圖向量之距離之間的比率減小。因此，為了增加介於目標視圖向量與參考視圖向量之間的偏差，從演現視圖向量分別至參考視圖向量及目標視圖向量之相對距離的比率減小。

例如，一般而言，演現視圖向量可被產生為介於目標視圖向量與參考視圖向量之間（例如，在介於目標視圖向量與參考視圖向量之間或對應於介於目標視圖向量與參考視圖向量之間之觀看方向/角度的線上），且因此介於使用者所欲視點與（基於3D影像資料的）較佳視點之間。演現視圖向量的相對位置被改變，使得當目標視圖向量靠近參考視圖向量時，演現視圖向量接近目標視圖向量（或實際上，演現視圖向量與目標視圖向量相同）。當目標視圖向量開始偏離參考視圖向量時，然而，演現視圖向量有效率地開始移動遠離目標視圖向量且朝向參考視圖向量移動，即，演現視圖向量之相對位置不再接近目標視圖向量。因此，至目標視圖向量的相對距離增加，而至參考視圖向量的相對距離縮減（例如，參考介於參考視圖向量與目標視圖向量之間的總距離來正規化這兩個距離），且因此比率減小。實際上，當演現視圖向量經產生而相同於目標視圖向量（對於小偏差）時，介於至參考視圖向量之距離與至目標視圖向量之距離之間的比率無限大（至目標視圖向量之距離為零）。隨著偏差增加及介於演現視圖向量與目標視圖向量之間的相對距離從零增加，而介於演現視圖向量與參考視圖向量之間的相對距離縮減。

此方法允許修改器111產生演現視圖向量，該演現視圖向量逐漸偏向朝向資料為可用的3D影像資料之部分，而目標視圖向量進一步移動朝向或至3D影像資料不提供用於其之資料之部分中。等效地，修改器111可經配置以（針對該目標視圖向量之至少一些值）使演現視圖向量偏向遠離3D影像資料不提供用於其之資料之部分。這可例如藉由使演現視圖向量偏向朝向參考視圖向量來完成。例如，若參考視圖向量被設定為較佳視圖方向，則可藉由使目標視圖向量偏向朝向參考視圖向量（具體而言，針對該目標視圖向量之至少一些值，與介於目標視圖向量與參考視圖向量之間的距離相比較，縮減介於演現視圖向量與參考視圖向量之間的距離）來產生參考視圖向量。在其他實施例中，可例如藉由使參考視圖向量偏向遠離參考視圖向量來偏向。例如，若參考視圖向量被設定為邊界視圖向量（該邊界視圖向量指示介於3D影像資料包括用於其之充分資料的區（例如，視角）與3D影像資料不包括用於其之充分資料的區之間之邊界），修改器111可經配置以藉由使目標視圖向量偏向遠離參考視圖向量（具體而言，針對該目標視圖向量之至少一些值，與介於目標視圖向量與參考視圖向量之間的距離相比較，增加介於演現視圖向量與參考視圖向量之間的距離）而產生參考視圖向量。

如前文所提及，在許多實施例中，修改器111可經配置以產生演現視圖向量以直接匹配目標視圖向量，只要此目標視圖向量充分靠近演現視圖向量。在許多實施例及情景中，這提供一種高度有利的操作，並且實際上可能導致不應用偏向效果，除非實際上需要或必要。可提供減少的感知影響且導致更身歷其境體驗。

在許多實施例中，產生演現視圖向量，使得介於演現視圖向量與目標視圖向量之間的距離依據介於目標視圖向量與參考視圖向量之間的距離而單調增加。然而，單調增加函數一般不係線性函數，而是一般係非線性函數，並且一般係非線性增加的，使得改變或修改增加以增加介於目標視圖向量與參考視圖向量之間的偏差。

如前文所提及，在許多實施例及情景中，應用至目標視圖向量的修改非常小或實際上為零，除非目標視圖向量與參考視圖向量相差顯著量。例如，在上述實例中，演現視圖向量與目標視圖向量相同，直到該差值達到+110°，即，在該實例中，演現視圖向量與目標視圖向量相同，直到觀看區/影像開始包括3D影像資料不包含用於其之資料的場景之部之/元素，即，直到該第一區域不填充整個影像的點。此外，一般而言，從該點起，效果可逐漸增加，即，可應用非線性增加函數。

這些效果可提供其中偏向效果逐漸增加的體驗，且一般不存在及/或不明顯，直到目標視圖向量已移動夠遠而使得影像發生顯著降級。然而，隨著目標視圖向量進一步移動至3D影像資料具有用於其之資料的場景之部分中，效果首先逐漸且顯著增加，並且針對於進一步移動而具有愈來愈強烈效果。

應理解，可使用任何合適的距離測量來評估距離。在許多情景中，兩個視圖向量之間的距離可視為虛擬場景中對應參數之間的距離。在許多實施例中，距離可係角度距離，諸如從場景中之給定位置，由兩個視圖向量所表示之定向或觀看方向之間的角度差。在許多實施例中，可回應於直接比較視圖向量來判定距離，例如藉由直接比較視圖向量之一或多個值來判定距離。

在上文實例中，參考視圖向量被視為指示用於擷取場景之中心視點的視圖向量，諸如例如實質上全向攝影機的主方向。此一場景可例如在其中在虛擬環境中使用者固定在虛擬位置的實施例中係有利的，其中該固定位置對應於攝影機之虛擬位置。因此，具體而言，對於其中使用者被視為靜止在擷取攝影機之位置處、但是配備「環視」場景之構件（即，其中在視點變化被限制於觀看定向變化）的應用中，可提供高度有利的效能。

然而，在其他實施例中，3D影像資料可包含被超過一個攝影機擷取的資料及/或可允許使用者移動位置以及定向。在許多此類實施例中，單一固定擷取參考視圖向量可能不係最佳的。

在一些實施例中，系統可接收3D影像資料作為資料串流（包括作為資料檔案），因此，該資料串流提供虛擬場景/環境之3D影像資料表示。可由內容提供者以此格式提供3D影像資料，因此，該內容提供者可提供虛擬場景/環境，該虛擬場景/環境可經探索或以其他方式用於提供虛擬實境體驗。

在一些實施例中，提供3D影像資料的此一資料串流可提供標稱視點資料。標稱視點資料可指示3D影像資料之標稱視點。具體而言，此標稱視點資料可提供指示3D影像資料包含用於其之資料的部分與該3D影像資料不包含用於其之資料的部分的資訊。

例如，標稱視點資料可指示一或多個較佳視點。例如，可針對場景中之不同位置提供較佳觀看方向或定向。例如，對於虛擬環境中之各位置，可提供較佳觀看方向/定向。較佳觀看方向可例如指示觀看方向，其具有至3D影像資料不提供用於其之任何資料的場景之最近部分的最大距離。

應理解，在許多實施例中，可提供此類較佳方向資訊而不導致顯著資料附加項(data overhead)。例如，在許多實施例中，一個較佳觀看方向指示可適用於覆蓋大量位置且可能所有位置。例如，若已藉由在一基線且面對相同方向上之一或多個攝影機進行擷取（其中3D影像資料之缺失資料對應於直接在攝影機後面且因此直接在攝影機方向之相反方向的場景之部分），用於所有位置之較佳觀看方向可簡單地指定為攝影機方向。

在其他實施例中，可使用差異化方法，其中不同位置具有不同較佳觀看方向。例如，若有造成缺失資料的障礙物，則用於給定位置之較佳方向可係背對物體的方向。

在一些實施例中，較佳觀看方向可係時變的。例如，標稱視點資料可描述通過由3D影像資料所表示之虛擬環境的路徑。依此方式，可提供引導或受控體驗。例如，內容提供者可提供敘事體驗，其中使用者移動通過場景受控制，但是使用者從給定位置自由環視。然而，標稱視點資料可提供依據時間而變化的推薦位置及觀看定向。虛擬實境應用可在沒有接收自本端使用者之任何衝突指令的情況中進行至演現及顯示相應的影像。然而，若接收到指示使用者轉頭環視的使用者輸入，系統可據此修改演現視圖向量，即，可產生演現視圖向量以不同於標稱觀看方向。

在此類實例中，演現單元203可經配置以從標稱視點資料產生演現視圖向量，並且可具體而言，產生演現視圖向量以對應於所指示之標稱視點，除非另有使用者輸入指示。在此情況中，相對於標稱視點來修改演現視圖向量以反映使用者輸入。然而，在許多實施例中，此程序可受制於使演現視圖向量取決於介於目標視圖向量與參考視圖向量之間之距離的所描述之方法。具體而言，標稱視點可用於產生對應的參考視圖向量，其中使用者輸入產生目標視圖向量（可能相對於參考視圖向量）。然後可產生演現視圖向量，如針對其中參考視圖向量對應於擷取攝影機方向的實例中所描述。

該方法可例如允許內容提供者「指導」虛擬實境體驗，以提供例如敘事。仍可允許使用者一些自由度，但是此會受限制或偏向朝向「導演」推薦的觀看方向，以減少對於其他方向的資料丟失影響。

應理解，標稱視點資料無需提供明確的方向描述。例如，在一些實施例中，可依實質上全向影像之時間序列的形式提供3D影像資料。這些全向影像中之各者之中心點可被視為標稱參考視點，即，具體而言，可被視為可自其擷取全向影像之位置的標稱定向。

若使用者未提供任何輸入，則藉由選擇所接收全向影像之適當中心部分來演現影像。然而，若使用者指示觀看定向位移（例如，藉由環視），則演現單元203選擇對應於所欲定向的全向視圖之不同區段。然而，為了降低此區段包括場景之缺失部分之實質部分的風險，應用使演現視圖向量偏向朝向參考視圖向量的所描述方法。因此，可被產生以指示全方向影像之哪個區段存在的演現視圖向量將被偏向遠離將導致其包括不包含（有效）影像資料的全向影像之部分之重要區段的選擇。

參考源109可回應於指示介於3D影像資料包含用於其之影像資料的該場景之一部分與3D影像資料不包含用於其之影像資料的該場景之一部分之間之一邊界的一邊界視圖向量來判定該參考視圖向量。

例如，對於給定的視點位置，參考源109可判定3D影像資料從包含影像資料過渡至不包含影像資料的角度。例如，在先前的具體實例中，3D影像資料包含至多140°角度的影像資料。因此，邊界視圖向量可被判定為對應於此值，並且可將參考視圖向量設定為此值（或其可例如位移達對應於由顯示器所表示之視角之一半的值，即，在顯示器表示60°之視角的實例中，設定為110°）。

因此，可基於目標視圖向量與參考視圖向量相關（且因此與邊界視圖向量相關）的方式來判定演現視圖向量。因此，可直接基於目標視圖向量與從3D影像資料包含用於其之影像資料的場景之部分至3D影像資料不包含用於其之影像資料的場景之部分的過渡的相關方式來判定演現視圖向量。

例如，隨著目標視圖向量指示超出參考視圖向量/邊界視圖向量的角度，可產生演現視圖向量以具有至參考視圖向量/邊界視圖向量的縮減距離。例如，在先前的具體實例中，若目標視圖向量指示低於110°之角度，則目標視圖向量與參考視圖向量之間的角度差可視為係負的。隨著角度開始超過110°時，角度差變為正，並且可產生演現視圖向量，使得從演現視圖向量至參考視圖向量之角度低於介於目標視圖向量與參考視圖向量之間的角度差。例如，對於大於110°之角度；可產生演現視圖向量以對應於以下角度：其中θ _Ren 係演現視圖向量之角度（以度為單位），θ _Ref 係參考角度（即，110°），及θ _Targ 係目標視圖向量之角度（以度為單位）。因此，110°至180°之目標視圖向量角度間隔非線性映射至110°至140°之演現視圖向量角度間隔。

應理解，在不同實施例中，邊界視圖向量與參考視圖向量之間的應用關係可不同。在許多實施例中，參考視圖向量可簡單地設定為相同於邊框視圖向量。在其他實施例中，參考視圖向量可設定為相對於邊界視圖向量偏移的值（諸如20°）。

在又其他實施例中，參考源109可考慮額外邊界視圖向量，並且可基於複數個邊界視圖向量來判定參考視圖向量。例如，對於給定位置，可判定3D影像資料可用於例如-120°至+140°的間隔範圍，且因此一第一邊界視圖向量可指示-120°邊界，及一第二邊界視圖向量可指示+140°邊界。在具體實例中，參考視圖向量可被判定為這些邊界視圖向量的中點，例如，判定為+10°。因此，在一些實施例中，可自一或多個邊界視圖向量來判定參考視圖向量，以反映所欲視圖方向，且在其他實施例中，可自一或多個邊界視圖向量來判定參考視圖向量以反映非所欲視圖方向。

在許多實施例中，與僅判定係目標視圖向量及參考視圖向量相比，判定演現視圖向量會考慮更多態樣。例如，在判定參考視圖向量以對應於攝影機方向係不切實際的實施例中，考慮攝影機之視點可仍然可行且有利。

在許多實施例中，3D影像資料可被產生作為來自不同視點的一組視圖。這些視圖中之各者可對應於用於對應視點之影像（例如，全向影像及/或3D影像），一般而言，如由定位在視點位置且具有視點定向的攝影機所擷取。

在此類實例中，一般而言，3D影像資料將包括定義視點的資料（此資訊亦用於演現給定視點的影像）。在產生演現視圖向量時亦可考量此資訊。例如，演現視點可偏向朝向導致相對於3D影像資料之視點的縮減距離的視點。

舉另一實例，修改器111可經配置以考量3D影像資料包含用於其之影像資料的給定演現視圖向量之觀看區之比例。例如，非線性函數可經動態調適以反映需要藉由依據目標視圖向量進行外推/填充改變而產生的影像之比例的快速程度。

例如，若隨著演現視圖向量變化而使需要藉由外推來產生的影像之區非常快速增加，則可應用使演現視圖向量非常接近參考視圖向量（例如，當參考視圖向量被指定為邊界視圖向量時）的強烈效果。然而，若變化僅係非常漸進，則可應用可導致更漸進且更不明顯效果的函數。

應理解，在不同實施例中，可使用不同演算法及方法，用於在判定演現視圖向量時考量多個參數。例如，不同參數的組合效果可表示為具有多個項的非線性能量函數J 。然後可使用非線性最佳化演算法來判定演現視圖向量，因為該向量最小化J 。例如，可使用梯度下降(gradient descent)方法。

在許多實施例中，演現器203可經配置以接收指示意欲顯示之一或多個參數的顯示屬性資料。然後，修改器111可經配置以在判定演現視圖向量時考慮此類顯示屬性。

例如，演現單元203可接收由顯示器支援之視角的資訊。例如，若顯示器係虛擬實境組之部分，則顯示屬性可指示顯示器提供給佩戴頭戴裝置之使用者的視角。然後可使用此資訊來判定演現視角，例如，如先前藉由判定參考視圖向量所指示（例如，藉由使用參考視圖向量來判定顯示之邊緣到達3D影像資料包含用於其之資料的場景之部分之末端的角度）或修改所應用的函數。

在先前的實例中，參考視圖向量（及實際上其他參數）一般被視為對應於所欲或較佳特性/視圖。因此，演現視圖向量被偏向朝向參考視圖向量。然而，在其他情景或實施例中，參考視圖向量可對應於非所欲/非較佳屬性。例如，可提供指示視點（具體而言，定向）之參考視圖向量，用於該視點的整個觀看區將對應於3D影像資料未提供用於其之資料的場景之一部分。在此情況中，修改器111可經配置以藉由施加遠離參考視圖向量的偏向來產生演現視圖向量。

例如，參考視圖向量可指示對未提供用於其之資料的場景之一部分之中心的角度，例如，在前文所描述之具體實例中，朝向180°。在此一情況中，可產生演現視圖向量以對應於目標視圖向量，只要目標視圖向量與參考視圖向量之間的差值足夠高。例如，只要參考角度與目標角度之間的角度差超過70°，可直接使用目標視圖向量作為演現視圖向量。然而，隨著角度差降到低於70°，可開始一般使用類似於前文所描述之方法的非線性函數來引入介於演現角度與目標角度之間的角度差。

因此，在一些實施例中，修改器111可經配置以針對從目標視圖向量至參考視圖向量的縮減距離，而增加從演現視圖向量至目標視圖向量的距離。

在一些實施例中，修改器111可經配置以對於從目標視圖向量至參考視圖向量的縮減距離，而減小介於從演現視圖向量至參考視圖向量之距離與從演現視圖向量至目標視圖向量之距離之間的比率。

在一些實施例中，修改器111可經配置以針對目標視圖向量與參考視圖向量之間的差異高於臨限，而判定演現視圖向量為實質上目標視圖向量。

因此，在一些實施例中，參考視圖向量可用作為排斥子(Detractor)（推開），而在其他實施例中，參考視圖向量可用作為目標視圖向量的吸引子（推向）。

應理解，在許多實施例中，修改器111可同時考慮複數個不同的參考視圖向量，包括同時考慮吸引參考視圖向量及排斥參考視圖向量。這可例如藉由定義合適的能量函數或成本函數並且使用梯度搜尋來實現，以視情況最大化或最小化所選擇的測量。

在一些實施例中，該虛擬實境裝置可進一步包含用於提供其他類型回饋的功能。例如，可例如以「力回饋」形式提供觸覺回饋，其係從例如遊戲應用所已知。這尤其可與修改目標視圖向量之方法結合使用。例如，為了產生演現視圖向量而引入至目標視圖向量的修改愈大，則力回饋愈大。在其中觸覺回饋提供方向性刺激的實施例中，這可經配置以具有在所欲方向推動使用者的方向。例如，使用諸如操縱桿及方向盤的控制器，可憑藉力回饋感覺來傳達對目標視圖向量之「牽拉」量及方向的印象給使用者。

如前文所提及，影像產生器105通常可經配置以使用以下兩個階段式方法來產生影像：演現3D影像資料提供用於其之資料的影像之部分；及外推至3D影像資料不提供用於其之任何資料的影像之部分。圖3繪示基於此類方法的一演現單元203的實例。

在該實例中，影像資料接收器101及視圖向量源103耦合至一演現器301，該演現器經配置以演現影像資料接收器101針對由一演現視圖向量所表示之一給定演現視點而提供用於其之3D影像資料的影像之區域。

演現器301可使用任何合適之方法來演現用於如由該演現視圖向量所指示之演現視點的一影像，並且應理解，所屬技術領域中具有通常知識者將知道各種方法，且因此為了簡潔起見，本文將不詳細地描述這些方法。

例如，若提供3D影像資料作為用於不同離散視點的光強度影像加深度圖（或例如藉由紋理圖及3D網格），則可藉由視點移位來產生用於由該演現視圖向量所指示之視點的影像，如衆所周知。若以3D模型的形式來提供3D影像資料，則可從視點的觀點來評估此影像以產生影像內容。

然而，由於3D影像資料僅提供該場景之一不完整表示，所以將（針對一些演現視點）有無法直接基於可用的3D影像資料來演現的一些影像之區。例如，若使用者開始繞轉且注視朝向未擷取的區，則演現器301僅能產生對應於已擷取之場景之部分的影像之部分的資料。

因此，在許多實施例中，演現器301將經配置以僅演現影像之部分。具體而言，演現器301可演現影像之一或多個區域，而未產生影像之其他區域。在下文中，演現器301已演現/已產生在其中之影像內容的區域將稱為一第一區域，而演現器301尚未產生用於其之任何影像資料的一邊界區域將稱為一第二區域。

應理解，對第一區域及第二區域之引用非意指影像必須分成已演現在其中之影像內容的一個區及其中尚未演現影像內容的一個區。而是，可以存在演現器301產生用於其之影像內容的複數個區域，及/或影像內容不產生在其中之影像內容的複數個區域。替代地，並且等效地，第一區域可被視為有可能包含演現器301已產生在其中之影像內容的複數個相異區，及/或第二區域可被視為包含演現器301尚未產生在其中之影像內容的複數個相異區。

圖3之演現單元203經配置以處理此類情況。演現器301耦合至外推器303，該外推器經配置以將來自該第一區域之3D影像資料外推至該第二區域中，而非僅使未演現區（該第二區域）空白或以一預設顏色填充。因此，外推器經配置以從該第一區域之影像內容/3D影像資料產生用於該第二區域之影像內容。具體而言，在大多數實施例中，藉由外推該第一區域之影像內容（像素值）至該第二區域中，而從該第一區域外推3D影像資料至該第二區域。

依此方式，該影像產生器可進行至產生完整影像，該完整影像包含對應於針對如由演現視圖向量所表示之演現視點的觀看區之影像之所有部分的影像內容。然而，雖然針對該第一區域之影像內容很可能提供視圖/場景之一非常精確反映/表示，然而該第二區域之影像內容很可能提供視圖/場景之一降級且經常非常顯著降級表示。例如，在許多實施例中，外推器303可僅經配置以產生類似於接近該第二區域的該第一區域之影像內容之紋理或顏色分佈的相對粗糙紋理或顏色分佈。然而，與例如預定均勻顏色（例如黒色）相比，用於該第二區域之所產生影像內容仍然很可能對於觀看者而言較不明顯或較不令人困擾，且因此將往往提供改善的使用者體驗。

應理解，可使用用於外推該第一區域之影像內容至該第二區域中的任何合適方法，而不減損本發明。將在下文描述外推的具體實例。

然而，在圖3之具體實例中，影像產生器105不僅外推影像內容至該第二區域中以提供完全填充之影像，而且進一步包括改善感知效果且一般導致改善且更身歷其境使用者體驗的後處理。

反而是，在具體實例中，影像產生器105包含一選用之模糊處理器305，該模糊處理器接收來自外推器303的影像。模糊處理器305經配置以施加一空間變化模糊至影像，其中介於該第一區域與該第二區域之間的一過渡區域中之模糊程度高於（至少）該第一區域之一內部區之模糊程度。因此，對於一過渡區域，引入影像之有意模糊。在許多實施例中，該過渡區域包括該第一區域之一區，且因此模糊處理器305引入模糊至由演現器301所產生影像內容，以從可自3D影像資料所產生之影像內容產生一模糊過渡且至該外推影像內容。

已發現，此模糊的過渡區域往往提供實質上改善的使用者體驗，具體而言，可實現更身歷其境體驗。觀看者一般不會注意到，當前視圖包括未由3D影像資料所表示之該場景之一部分，而是僅會潛意識地注意到，當注視一些方向時影像變得模糊。該方法將往往進一步改變觀看者的行為，且具體而言，將往往讓使用者偏向而注視遠離無可用3D影像資料的方向。此偏向進一步往往微妙且經常潛意識。具體而言，對該第一區域之一部分執行空間模糊（即，對從可用的3D資料所產生影像內容執行空間模糊）導致模糊經常具有未被使用者偵測到的微妙效果。然而，仍然提供微妙的模糊效果，並且一般缺乏細節及焦點，這將使觀看者偏向而注視朝向其他方向。

例如，隨著觀看者轉頭，觀看者可首先觀看從可用的3D影像資料完全產生且因此清晰且詳細的影像。然而，在某個點處，到達可用3D影像資料的邊緣，並且在此情形中，觀看者將首先被提供具有仍然包含細節的影像區（例如，包括自3D影像資料導出的影像物件），但是這些細節開始變得更模糊。此效果係藉由有意且反直覺地移除自3D影像資料導出的所產生影像之資訊而實現。因此，模糊處理器305可有意地模糊介於該第一區域與該第二區域之間的一過渡區域（並且具體而言，模糊該第一區域之該過渡區域之清晰演現的部分），且因此有意地降低場景之所呈現視圖的準確性。然而，降級可受控於模糊處理器305，而非完全取決於具體情況中外推的準確性。

因此，可利用一般仍然具有相對高品質、然而具有往往使觀看者偏向朝向其中3D影像資料包含用於其之完整視圖資料的視點之效果的過渡之初始元素，來實現更漸進過渡。已發現，此效果往往提供感知更佳的使用者體驗，並且具體而言，虛擬實境體驗提供一種更身歷其境體驗。

可例如使用模糊濾波器（具體而言，諸如空間低通濾波器）執行模糊。空間低通濾波器的強度可以變化，使得過渡區域比該第一區域之一內部區更強。因此，該第一區域中存在一內部區，在該內部區中的模糊/低通濾波之強度/程度小於該過渡區域中之模糊/低通濾波之強度/程度。一般而言，模糊處理器305不提供該內部區之任何低通濾波或模糊，且因此儘可能清晰演現該內部區（一般可係該第一區域之大部分）。

可例如藉由改變空間低通濾波器的空間截止頻率來改變模糊程度。例如，可使用合適的核心形狀，其中核心的空間範圍(spatial extent)取決於當前的濾波器位置以及與過渡區域相關方式而變化。例如，在第一區域及在過渡區域外，核心的空間範圍可設定為1個像素，即，不應用濾波。在該過渡區域內，核心的空間範圍可增加至例如預定大小，從而導致空間低通濾波及模糊。

在許多實施例中，可逐漸增加模糊。例如，一般而言，核心大小可從介於該過渡區域與該第一區域之其餘部分之間的邊界/邊緣處的小值逐漸增加至介於該過渡區域與該第二區域（之其餘部分）之間的邊界處的一較大值。

例如，模糊濾波器可係具有高斯核心的空間濾波器，並且藉由其σ值來給定核心大小。在此類實施例中，可依據從該過渡區域中之一像素至介於該過渡區域與該第一區域之其餘部分之間的邊界的距離的單調增加函數，或依據從該像素介於該過渡區域與該第二區域之其餘部分之間的邊界的距離的單調遞減函數（或兩者），來判定應用至該像素的σ值。

此一方法可提供增加的模糊，以及逐漸的影像降級，以引起偏向遠離其中3D影像資料僅提供很少用於其之資訊或不提供用於其之資訊的視圖。

應理解，將被應用至該第二區域（或具體而言，在該過渡區域延伸至該第二區域之情況中，在該過渡區域外的該第二區域之部分）的濾波可取決於具體實施例，並且實際上在許多實施例中，可取決於例如外推及/或3D影像資料的特定特性。

在許多實施例中，模糊處理器305可經配置以相對於該過渡區域中之一模糊程度而降低該第二區域之至少部分中之模糊程度。因此，在一些實施例中，該過渡區域中之模糊高於該第一區域之至少部分及該第二區域之部分兩者。因此，可針對介於該第一區域與該第二區域之間的過渡增加模糊，但隨後可針對經外推區域再次降低模糊。在許多實施例中，且具體而言，這可用於許多外推技術，導致感知更有利的結果及/或更低複雜性。

例如，許多外推技術運用相對緩慢變化來產生相對粗糙外推。在此類情況中，外推結果已展現空間低頻率特性，並且不需要使影像內容進一步模糊或濾波。因此，模糊處理器305可經配置以僅將模糊濾波器施加至該過渡區域，從而降低複雜性及運算需求。

因此，模糊處理器305施加空間選擇性濾波至包含所演現區域及所外推區域兩者的所產生影像。模糊效果往往不僅讓使用者偏向朝向所欲視圖，而且亦往往會藉由進一步使所演現區域及所外推區域摻合在一起而提供改善效果。

圖4繪示對應於圖1之實例之演現單元的具體實例，並且進一步包含用於判定模糊屬性的具體功能。

圖4之演現單元包含一演現區域處理器401，該演現區域處理器經配置以判定用於影像之一演現遮罩，其中該演現遮罩指示個別像素是否屬於該第一區域。具體而言，針對各像素，該演現遮罩可指示是否藉由自3D影像資料演現而產生像素值或藉由外推而產生像素值。

在許多實施例中，演現遮罩可包含二進位值，即，針對各像素，該演現遮罩可指示是否藉由演現而產生像素或藉由外推而產生像素，或等同地像素是否屬於該第一區域或屬於該第二區域。在一些實施例中，此一二進位濾波器可經空間低通濾波，以用指示介於該第一區域與該第二區域之間的一過渡區域的漸進值來產生區域之間的逐漸過渡。

演現區域處理器401耦合至一濾波器適配器403，該濾波器適配器進一步耦合至模糊處理器305。濾波器適配器403經配置以回應於該演現遮罩來判定影像的一空間變化濾波器特性。例如，可基於像素的遮罩值來判定控制低通濾波程度/強度的參數。例如，對於經濾波演現遮罩，可依據用於像素之演現遮罩值的預定函數來判定低通濾波強度參數值。因此，在由中間演現遮罩值定義的一過渡區域中，定義一逐漸變化低通程度參數。

然後將該空間變化濾波器特性饋送至模糊處理器305，該模糊處理器進行至利用採用一空間變化濾波器特性的一空間濾波器來濾波影像。

該方法可提供施加空間變化濾波器以提供演現影像內容及外推影像內容的空間選擇性模糊的特別有效率且實用之方法。

在下文中，將描述此方法應用至針對一給定所欲演現視點之一給定觀看區的具體實例。因此，產生對應於針對在一位置處的觀看者且具有如藉由演現視圖向量所指示之一觀看定向之觀看區的影像。將參考圖5至圖9描述產生此一影像之方法，圖中展示作為程序的部分所產生之影像、觀看區及遮罩的各種實例。

最初，演現器301可進行至藉由演現3D影像資料提供用於其之資訊的影像/觀看區之部分來產生初始影像。在該實例中，所得影像包含：一第一區域501，在該第一區域中，演現器301能夠演現來自3D影像資料的資料；及一第二區域503，在該第二區域中，由於3D影像資料不包含用於觀看區之此部分的資料，所以演現器301未產生影像內容/資料。可以看出，在具體實例中，第二區域503包含兩個相異區。在該實例中，為了簡單起見，場景的視圖被視為由均勻背景505所組成，該背景的前面具有一較暗圓形區507（例如，對應於係在均勻藍色天空前面的球的場景）。

然後，外推器303可從第一區域501外推至第二區域503中以產生如圖5所繪示的一經完全填充觀看區/影像。

演現區域處理器401可進行至產生一演現遮罩，該演現遮罩指示3D影像資料提供用於其之資料的該影像/觀看區之區及不提供用於其之資料的該影像/觀看區之區。因此，該演現遮罩指示演現器301已演現影像內容的所在處及已由外推器303產生影像內容的所在處。該演現遮罩指示對應於該第一區域及該第二區域之影像的部分，並且圖7中繪示針對圖5之具體情況的實例。

該演現遮罩被饋送至濾波器適配器403，該濾波器適配器可進行至從該演現遮罩產生一濾波特性。具體而言，其可藉由低通濾波圖7的清晰二進位遮罩來進行。在圖8中提供結果的一個實例，其中可看出，產生包含值的過渡區域，該等值係介於指示演現器301已產生影像內容之值與指示外推器303已產生影像內容之值之間的中間值(intermediate)。因此，在該過渡區域中提供一逐漸過渡。

濾波器適配器403可進行至基於該經濾波演現遮罩值來判定個別像素的一低通濾波器特性。例如，可依據係數值來判定一低通濾波程度，其中增加程度愈多，則遮罩值指示像素係藉由外推來判定。例如，可依據針對高斯低通濾波器提供的σ參數值之按比例調整值的σ映射，來直接解譯經濾波係數值。

因此，在此具體實例中，在該第一區域內可不應用濾波，在該第二區域內可應用高程度低通濾波，並且在該過渡區域內可應用中間濾波。

在一些實施例中，可應用濾波器特性之更複雜判定，例如新增所產生σ值的修改以降低該第二區域中的濾波。

最後，模糊處理器305可使用所判定濾波器特性來執行空間濾波。可選擇性地應用濾波，例如，可僅在過渡區域中應用濾波。

由於該程序，可產生諸如圖9之輸出的輸出。影像包含所演現影像內容及所外推影像內容的組合，且因此提供完全填充的影像/觀看區，儘管外推區一般具有降低的品質/細節。此外，如區901所指示，不同的區域/區融合在一起

如前文所提及，可使用用於執行外推的任何合適之方法，而不減損本發明。

例如，可使用相似於遮擋區補繪方法的方法。因此，如所屬技術領域中具有通常知識者所熟知，外推可例如使用方向性補繪（從最接近的像素複製色值）、紋理化補繪（外推在介於該第一區域與該第二區域之間邊緣上的紋理）、及/或使用帕松(Poisson)方程式方法（基於能量函數進行補繪）。

在一些情景中，可能存在剛好在觀看區/影像區外的影像內容，該影像內容仍然可用於外推的目的。因此，反直覺地，在一些實施例中，演現器301可演現（一般僅）位於所判定觀看區外的影像區，並且可回應於該觀看區外的該所演現影像內容來進行外推。例如，使用方向性補繪，用於正被外推之像素的像素值可設定為最接近像素之值，即使這係在觀看區外的像素。

在一些實施例中，外推器303經配置以判定針對鄰近該第二區域的該第一區域之數個區之一經低通濾波影像屬性。具體而言，對於靠近介於該第一區域與該第二區域之間的邊界的數個區，外推器303可判定平均色值(average color value)（均色值(mean color value)）。然後，外推器303可進行至設定用於該第二區域之一區之像素值，以匹配這些色值中之一或多者。

例如，對於該第二區域之各不相交區，外推器303可將色值判定為針對定界不相交區的該第一區域之區的所有均色值之平均值。在其他實施例中，該第一區域可被分成複數個子區，其中各子區包含最靠近已判定用於其之均值的該第一區域之一給定區的像素。然後可將該第二區域之子區設定為此均值。

該方法可利用一非常低解析度處理。例如，該第一區域及/或第二區域之各區可以包含不少於10³ 、10⁴ 、10⁵ 、或10⁶ 個像素。因此，該方法可導致外推至該第二區域中，而產生場景之非常粗略表示，其一般可基本上對應於平均色值的反映。然而，在許多情景中，這可提供可接受的感知，並且可提供低複雜度之方法。

在一些實施例中，外推可基於由演現器301所產生之影像之縮小版本的雙邊濾波(bilateral filtering)。具體而言，外推器303可經配置以首先縮小影像。一般而言，該縮小可能顯著且產生所具有的解析度不超過例如10⁴ 、10⁵ 、或10⁶ 個像素的濾波影像。然後可將該雙邊濾波器應用至該縮小影像，其中藉由演現遮罩（例如，原始二進位遮罩或經濾波演現遮罩）引導該雙邊濾波器。因此，空間濾波的權重取決於演現遮罩值，且因此取決於權重是否係用於屬於該第一區域或該第二區域之像素。一般而言，屬於該第一區域之像素將具有較高權重，而屬於該第二區域之像素將具有較低權重（在許多實施例中，零權重）。一般而言，權重可進一步取決於介於已判定用於其之權重的像素與當前判定用於其之經濾波值的像素之間的距離。

然後將所得經濾波縮小影像放大至原始解析度，隨後將該影像與來自演現器301之影像相組合。具體而言，對於該第一區域中的像素，可選擇未經濾波影像的像素值，並且對於該第二區域中的像素，可選擇經雙邊濾波影像中的像素值。

在許多情景中，該方法提供改善的外推。特別有益效果在於，由於放大操作，外推已被適當地模糊。

在一些實施例中，影像資料接收器101可經配置以接收在一資料串流中的3D影像資料。例如，可例如經由網路（諸如具體來說，網際網路）接收在來自遠端來源之資料串流中的資料。舉另一實例，可接收來自本端來源（諸如來自藍光光碟讀取器）的資料串流。

在此類實例中，資料串流可包含可包括外推控制資料的後設資料，並且外推器303可經配置以回應於該外推控制資料來執行外推。

例如，外推器303可能夠執行不同的外推演算法，諸如例如詳細紋理補繪，或低色均色(low color mean color)方法。可接收在資料串流中的3D影像資料，該資料串流亦包含定義應使用哪一種外推演算法的外推控制資料。

該方法可允許3D影像資料的來源在演現影像時控制接收端之行為的一些態樣，且因此可提供對使用者體驗的額外控制給3D影像資料的發端(originator)。例如，可使用標準化方法，該標準化方法可以藉由新增合適的後設資料來支援與導演意圖相匹配的明確外推，後設資料可包括例如： ● 用以選擇一（預定義）外推演算法的後設資料。 ● 用以選擇一預定義外推演算法之參數的後設資料。

舉具體實例，可提供描述一外推器的後設資料，例如，參照含有著色器模型4檔案之另一URL的DASH XML URL，其中該外推器具有作為輸入的一縮小版本所演現觀看區及一演現遮罩或該編碼演現遮罩的色鍵(color key)。

在一些實施例中，圖1之影像產生設備可進一步包含一濾波器處理器，該濾波器處理器經配置以在（一般）已藉由影像產生器105產生影像後，施加一適應空間濾波器至該影像。在此類實例中，該空間濾波器可係應用至整個影像且具有用於整個影像之相同屬性（即，屬性在空間上不變）的全域濾波器。

然而，該空間濾波器可具有取決於可基於3D影像資料而演現多少視點/影像之一屬性，即，全域空間濾波器之屬性可取決於3D影像不包含用於其之影像資料的視點之比例。此比例可被判定為介於該第一區域與該第二區域之面積之間的比率。

具體而言，當被該第二區域覆蓋的影像之比例增加時，濾波器可具有增加的強度。例如，對於演現器301可產生整個影像內容的情況，濾波效果可能不顯著（或實際上可能沒有濾波）。然而，隨著需要藉由外推填充的影像之比例增加，可逐漸增加濾波效果，並且可導致顯著的感知效果。

因此，在一些實施例中，當影像/觀看區之實質部分不含直接從3D影像資料所產生之內容時，可應用一全域影像濾波器。可根據多少所外推內容係在影像/觀看區中來使濾波器的強度向上或向下逐漸改變。

合適的影像濾波器的實例包括： ● 飽和降低 ● 對比降低 ● 亮度降低 ● 空間低通濾波器 ● 覆疊另一場景，諸如全像甲板(holodeck)或周邊圍欄(perimeter fence) ● 上述之組合

該方法可允許進一步感知效果，其可影響所感知視圖朝向更極端方向，並且可輔助使觀看者行為偏向而遠離3D影像資料未提供用於其之直接資訊的區。

應理解，為了清楚起見，上文描述已參考不同功能電路、單元、及處理器描述本發明之實施例。然而，將明白，可在不同功能電路、單元、或處理器之間使用任何合適的功能分布，而不減損本發明。例如，繪示為由分開的處理器或控制器執行之功能可由相同處理器或控制器實施例。因此，參考特定功能單元或電路僅被視為參考用於提供所描述之功能的合適手段，而非指示嚴格的邏輯或實體結構或組織。

本發明能以包括硬體、軟體、韌體、或彼等之任何組合的任何合適形式實作。本發明可任選地至少部分地實作為在一或多個資料處理及/或數位信號處理器上運行的電腦軟體。本發明之實施例的元件及組件可以任何合適方式實體地、功能地、及邏輯地實作。實際上，功能可以單一單元實作、以複數個單元實作、或實作為其他功能單元的一部分。因此，本發明可以單一單元實作，或可實體地及功能地分布在不同單元、電路、及處理器之間。

雖然本發明已相關於一些實施例描述，未意圖受限於本文陳述的具體形式。更確切地說，本發明的範圍僅由隨附的申請專利範圍限制。額外地，雖然特徵可顯現為結合特定實施例描述，所屬技術領域中具有通常知識者會認知所描述之實施例的各種特徵可根據本發明組合。在申請專利範圍中，用語包含不排除其他元件或步驟的存在。

另外，雖然個別地列舉，複數個構件、元件、電路、或方法步驟可藉由，例如，單一電路、單元、或處理器實作。額外地，雖然個別特徵可包括在不同的申請專利範圍中，可能有有利的組合，且包括在不同申請專利範圍中不暗示特徵的組合係可行及/或有利的。特徵包括在一類別之請求項中並未暗示對此類別的限制，反而指示該特徵可視需要同等地適用於其他請求項。另外，在申請專利範中的特徵次序並未暗示特徵必須以該次序作用的任何具體次序，且方法項中之個別步驟的次序未特別暗示步驟必須以此次序執行。更確切地說，步驟可以任何合適次序執行。此外，單數型參照未排除複數型。因此，對「一(a)」、「一(an)」、「第一」、「第二」等的參照不排除複數。申請專利範圍中的參考標誌僅提供為闡明實例，不應以任何方式解釋為限制申請專利範圍的範圍。

101‧‧‧影像資料接收器

103‧‧‧視圖向量源

105‧‧‧影像產生器

107‧‧‧接收器

109‧‧‧參考源

111‧‧‧修改器

201‧‧‧使用者輸入單元

203‧‧‧演現單元

205‧‧‧3D影像儲存庫

207‧‧‧顯示器驅動器

301‧‧‧演現器

303‧‧‧外推器

305‧‧‧模糊處理器

401‧‧‧演現區域處理器

403‧‧‧濾波器適配器

501‧‧‧第一區域

503‧‧‧第二區域

505‧‧‧均勻背景

507‧‧‧較暗圓形區

901‧‧‧區

將僅以舉例之方式參考圖式描述本發明的實施例，其中圖1繪示根據本發明一些實施例之影像產生設備的實例；圖2繪示根據本發明一些實施例之包含影像產生設備的虛擬實境裝置的實例；圖3繪示根據本發明一些實施例之影像產生設備的實例；圖4繪示根據本發明一些實施例之影像產生設備的實例；及圖5至圖9繪示根據本發明一些實施例之藉由例示性影像產生設備所產生之影像及遮罩的實例。

Claims

一種用於產生一影像的設備，該設備包含：一接收器(101)，其用於接收用於一場景之3D影像資料，該3D影像資料提供該場景之一不完整表示；一接收器(107)，其用於接收指示針對該影像的該場景中之一目標視點的一目標視圖向量；一參考源(109)，其用於提供指示針對該場景之一參考視點的一參考視圖向量，回應於指示介於該3D影像資料包含用於其之影像資料的該場景之一部分與該3D影像資料不包含用於其之影像資料的該場景之一部分之間之一邊界的一邊界視圖向量來判定該參考視圖向量；一修改器(111)，其用於產生指示一演現視點之一演現視圖向量，該演現視點依據該目標視點及針對該場景之該參考視點而變化，該修改器經配置以針對該目標視圖向量之至少一些值而使該演現視圖向量偏向遠離該3D影像資料不包含用於其之任何資料之該場景之該部分；及一影像產生器(105)，其用於回應於該演現視圖向量及該3D影像資料而產生該影像。
如請求項1之設備，其中用於接收3D影像資料之該接收器(101)經配置以接收包含該3D影像資料且進一步包含標稱視點資料的一資料串流；且其中該參考源(109)經配置以回應於該標稱視點資料而產生該參考視圖向量。
如前述請求項中任一項之設備，其進一步包含用於接收顯示屬性資料之一接收器；並且該參考源(109)經配置以回應於該顯示屬性資料而產生該參考視圖向量。
如前述請求項中任一項之設備，其中該修改器(111)進一步經配置以針對對應於該演現視圖向量之一視點回應於該3D影像資料包含用於其之影像資料的一觀看區之一比例來判定該演現視圖向量。
如前述請求項中任一項之設備，其中該3D影像資料包含自一組視點來表示視圖之3D影像資料；且該修改器(111)進一步經配置以回應於該組視點來判定該演現視圖向量。
如前述請求項中任一項之設備，其中該修改器(111)經配置以針對從該目標視圖向量至該參考視圖向量的一增加距離，而增加從該演現視圖向量至該目標視圖向量的一距離。
如前述請求項1至5中任一項之設備，其中該修改器(111)經配置以針對從該目標視圖向量至該參考視圖向量的一縮減距離，而增加從該演現視圖向量至該目標視圖向量的一距離。
如前述請求項中任一項之設備，其中該修改器(111)經配置以針對從該目標視圖向量至該參考視圖向量的一增加距離，而減小介於從該演現視圖向量至該參考視圖向量之一距離與從該演現視圖向量至該目標視圖向量之一距離之間的一比率。
如前述請求項中任一項之設備，其中該修改器(111)經配置以針對該目標視圖向量與該參考視圖向量之間的一差異低於一臨限，而判定該演現視圖向量為實質上該目標視圖向量。
如前述請求項中任一項之設備，其中該影像產生器(105)包含：一演現器(301)，其用於演現用於該演現視圖向量之該影像之一第一區域，該第一區域係該3D影像資料包含用於其之影像資料的一區域；一外推器(303)，其用於將該3D影像資料外推至該影像之一第二區域中，該第二區域係該3D影像不包含用於其之影像資料的一區域，並且該第一區域及該第二區域係鄰接區域。
如請求項11之設備，其中該影像產生器(105)進一步包含一模糊處理器(305)，該模糊處理器用於施加一空間變化模糊至該影像，介於該第一區域與該第二區域之間的一過渡區域中之一模糊程度高於該第一區域之一內部區之模糊程度。
如請求項11之設備，其中該過渡區域包括該第一區域之一區。
一種產生一影像的方法，該方法包含：接收用於一場景之3D影像資料，該3D影像資料提供該場景之一不完整表示；接收指示針對該影像的該場景中之一目標視點的一目標視圖向量；提供指示針對該場景之一參考視點的一參考視圖向量，回應於指示介於該3D影像資料包含用於其之影像資料的該場景之一部分與該3D影像資料不包含用於其之影像資料的該場景之一部分之間之一邊界的一邊界視圖向量來判定該參考視圖向量；產生指示一演現視點之一演現視圖向量，該演現視點依據該目標視點及針對該場景之該參考視點而變化，包括針對該目標視圖向量之至少一些值而使該演現視圖向量偏向遠離該3D影像資料不包含用於其之任何資料之該場景之該部分；及回應於該演現視圖向量及該3D影像資料而產生該影像。
一種電腦程式產品，其包含經調適以當該程式在一電腦上運行時執行請求項14之所有步驟的電腦程式碼構件。