TWI528781B - 用以訂製立體內容之三維效果的方法及裝置 - Google Patents

Description

用以訂製立體內容之三維效果的方法及裝置

本發明係關於三維(3D)影像呈現系統，且更特定言之係關於根據一檢視偏好訂製一3D場景中之一感知深度。

本專利申請案主張題為「用於訂製立體內容之三維效果的方法及裝置(Method and Apparatus For Customizing 3-Dimensional Effects of Stereo Content)」且於2010年6月28日申請之美國臨時專利申請案第61/359,342號之優先權的權利。上文所識別之臨時專利申請案的教示以引用的方式明確地併入本文中。

已以增長之數目一貫地發佈三維(3D)電影。隨著3D內容之風行度在影院中擴展，存在旨在對家庭環境擴展類似3D體驗(特定言之，經由3D電視之出現)的增加的努力。

最近，電視程式化已變得可更廣泛地用於3D中。已廣播體育賽事及音樂會供家庭消費。3D組件銷售掌握著進一步增加針對家庭影院環境之3D呈現的關鍵。隨著3D組件銷售提昇且隨著對3D之需求增長，預期3D程式化將在不久的將來廣泛地提供於大多數風行的TV頻道上及記錄媒體中。

但，使3D電視市場增長存在一些挑戰。家庭影院環境中之3D電視與電影院中所見之螢幕大小及檢視距離相比提供相當小的螢幕大小及相當小的檢視距離。此意味著對遞送至3D電視之3D內容的更大限制。舉例而言，家庭影院中之3D電視將深度範圍限制為小於在大多數電影院中所允許之深度範圍。

在電影院中，可以大的規模產生3D效果，使得場景中之若干元素看來似乎彈出於螢幕一直至每一觀眾之座位，而同一場景中之其他元素看來似乎在距離上在螢幕後方很遠處。大多數人可能喜歡觀看看來似乎出現在螢幕後方之3D場景以獲得放鬆之檢視體驗。對於一些觀眾，此等逼真及超逼真的效果可為相當有趣的；對於其他觀眾，此等相同效果可為非常不適的。換言之，當檢視3D內容時，不同的人具有不同的深度舒適範圍。

當前，不存在用於根據使用者之偏好調適或最佳化3D呈現(尤其關於深度)的已知技術。因此，期望有用以針對檢視偏好調整及訂製3D內容之深度的自動化方法來改良3D內容的檢視體驗。

藉由回應於檢視者控制信號而將一所接收立體影像對之第一視圖及第二視圖之水平視差自一第一值調整至一第二值(關於包括於該檢視者控制信號中之一參數或資訊)，根據本發明之原理根據一檢視者之偏好來調適影像內容的立體3D呈現。以此方式，該檢視者能夠根據該檢視者自己之視覺舒適度及/或檢視偏好來調整深度範圍。此技術允許訂製立體3D內容中之深度感覺。

藉由水平移位立體內容之左側影像及右側影像來達成深度感知的改變。藉由移位一立體影像對之左側影像及右側影像，可改變與一場景相關聯之視差，從而導致所感知之場景的內容顯示為更接近或更遠離該檢視者。為了保持一場景中之元素或物件之規模的恰當關係，亦基於深度改變方向執行每一影像對中之內容的按比例放大或按比例縮小(亦即，該等物件之大小調整)。

因此，本發明之一態樣提供一種用於呈現具有複數個立體影像對之立體內容的方法。該方法包括：接收具有一第一視圖及一第二視圖之至少一第一立體影像對，該第一視圖及該第二視圖包括藉由一第一水平視差分離之至少一對相應像素；及回應於一控制信號，藉由一按比例縮放因數及該第一水平視差將該第一視圖及該第二視圖之大小調整至一第二水平視差以產生經調整之第一視圖及第二視圖。

本發明之另一態樣提供一種用於呈現立體內容之系統，其包括至少一處理器，該至少一處理器經組態以用於接收具有一第一視圖及一第二視圖之至少一第一立體影像對，該第一視圖及該第二視圖包括藉由一第一水平視差分離之至少一對相應像素。該至少一處理器經進一步組態以用於回應於一控制信號，藉由一按比例縮放因數及該第一水平視差將該第一視圖及該第二視圖之大小調整至一第二水平視差以產生經調整之第一視圖及第二視圖。

在隨附圖式及以下描述中闡述一或多個實施的細節。即使以一特定方式描述，仍應清楚，諸個實施可以各種方式加以組態或體現。舉例而言，一實施可執行為一種方法，或體現為一種經組態以執行一組操作之裝置，或體現為一種儲存用於執行一組操作之指令的裝置。其他態樣及特徵將自結合隨附圖式考慮之以下實施方式及申請專利範圍變得顯而易見。

本發明之上文所提及及其他的特徵及優點以及其得到方式將變得更顯而易見，且將藉由參考結合隨附圖式考慮之本發明之實施例的以下描述來更好地理解本發明。

本發明之實施例提供一種用於可調整之3D內容的方法及系統，其中檢視者可根據該檢視者自己之視覺舒適度及/或檢視偏好而調整深度範圍。藉由移位立體內容影像對之左側影像及右側影像使得經移位之影像對展現足以達成所要深度感知之新水平視差而達成深度改變。藉由移位影像對中之左側影像及右側影像，場景中之內容物件與未移位影像對中之彼等相同物件相比可看來似乎更接近或更遠離檢視者。此技術允許訂製立體3D內容中之深度感覺。

深度感覺或感知由於檢視程序之雙眼本質而與兩個影像視圖(亦即，左側影像視圖及右側影像視圖)之間的水平視差直接相關。此處，雙眼意欲包含來自兩個相異位置之廣泛檢視，而不管該檢視係由眼睛抑或藉由相機執行。3D視訊中之物件的水平視差(或簡稱視差)係指在立體影像對之左眼影像與右眼影像之間的水平間隔(通常以像素之數目來量測)。當右側影像視圖與左側影像視圖重合時，出現零視差。此等影像視圖中之物件將接著出現於顯示螢幕處。正視差指示右眼像素出現在來自相應影像之左眼像素的右側。展現正視差之物件一般看來似乎出現在檢視螢幕之後方。負視差指示右眼像素出現在相應影像中之左眼像素的左側。展現負視差之物件將看來似乎出現在檢視螢幕之前方。

在圖5中至少部分地說明此概念。在此圖中，視差與物件O相關聯。參考左側視圖及右側視圖針對影像中之每一像素定義視差。不同的像素(甚至針對影像中之同一物件)可能具有不同的視差值。視差(展示為該圖之d)量測為物件O之影像中的左眼像素與右眼像素之間的差。視差通常表達為像素之數目。由於右眼影像中之像素在左眼影像中之相應像素的右側，因此所說明之視差為正數。當藉由將左眼影像自點P向左移位至點P'且將右側影像自點Q向右移位至點Q'而增加視差時，O之新視差量測為點P'與點Q'之間的像素之數目。由於右眼影像中之像素仍在左眼影像中之像素的右側，因此新的所說明視差亦為正數。在此實例中，物件O被推得更遠離檢視者，如藉由其在O'處之新位置所示。

有時，在此應用中，可參考左側影像及右側影像相對於彼此或相對於參考點之移位而描述視差。熟習此項技術者應理解，此等描述用作移位程序之準確的簡單描述(shorthand description)，此係因為影像包括視差量測所基於之左側影像像素及右側影像像素。因此，影像之移位意欲與影像像素之移位在含義上為同義且同延的。

在文獻中，通常可互換地使用實際視差(parallax)與視差(disparity)。在本發明之上下文中，3D視訊中之物件的視差係指左眼影像與右眼影像之間以像素之數目計的水平間隔，而實際視差係指在顯示時在左眼影像與右眼影像之間的實際距離。因此，物件之實際視差值取決於物件之視差及顯示器大小兩者。針對固定顯示器大小，實際視差等於視差，且藉由恆定因數彼此相關。

圖1為根據本發明之原理所實現之用於調整使用者3D檢視體驗的系統之簡化方塊圖。圖1中之系統包括3D效果調諧器10、使用者器件20及顯示器30。3D效果調諧器10回應於檢視者之控制信號或來自使用者器件20之指令而處理輸入立體視訊圖框。3D效果調諧器10如控制信號所指示而調整立體視訊圖框之檢視體驗。3D效果調諧器10接著將經調整之立體視訊圖框供應至顯示器以供呈現至檢視者。

在觀看所顯示內容的同時，檢視者可將一或多個控制或調整信號(或指令)發送至3D效果調諧器，以基於其檢視偏好來進一步調整內容。特定言之，藉由水平地移位所顯示立體影像中之至少一者(亦即，左眼影像或視圖及/或右眼影像或視圖)，可基於控制信號調整3D內容以適合檢視者之深度感知偏好。此外，可執行深度經調整之影像之按比例縮放以調整場景中之物件的大小，以便慮及深度改變調整。

如上文簡要地提及，輸入立體視訊包括左側視圖視訊及右側視圖視訊。左側視圖視訊中之每一圖框具有在右側視圖視訊中之一相應圖框，由此形成一對圖框。在於本文所述之系統中處理期間，將圖框中之每一對圖框輸入於3D效果調諧器10中以進行調整。

圖2為根據本發明之原理所實現之圖1中的3D效果調諧器10之更詳細方塊圖。3D效果調諧器10包括左側視圖調諧器11、右側視圖調諧器12、移位計算器13及格式轉換器14。調諧器11及12各自耦合至移位計算器13以接收位移參數。來自每一調諧器之輸出耦合至格式轉換器14。

由3D效果調諧器10所接收之每一立體3D影像對分為其兩個組份：左側視圖影像及右側視圖影像。在自使用者器件20接收到控制信號時，移位計算器13計算至少一位移參數α_v，其中下標v為L或R，亦即，位移參數包括α_L(左側視圖之位移參數)及α_R(右側視圖之位移參數)。移位計算器13至少部分地基於自使用者器件所接收之控制信號計算位移參數α_v。來自使用者器件20之控制信號可經產生以指示由檢視者所請求的深度改變。在一實施例(下文結合圖6更詳細地論述)中，控制信號包括與檢視者之所要深度改變相關的控制參數。

控制信號亦可包括識別檢視者或使用者器件之輔助資訊。在其他例子中，控制信號可識別其他個別檢視者或檢視者群組。此輔助識別資訊可接著由3D效果調諧器用於其他實施例中，以擷取信號中所識別之個別者或個別者群組的所儲存設定檔或檢視偏好資訊。預期，此檢視偏好及使用者設定檔資訊將包括與檢視者偏愛看立體3D影像之較佳深度範圍相關的資訊。

預期，檢視者可已與系統之一部分互動，以產生至少部分地反映檢視資訊(諸如，與深度範圍相關之資訊)的設定檔或檢視偏好清單。在此狀況下，特定檢視者控制信號可簡單地識別檢視者或檢視群組，其又將使系統自儲存器(未圖示)擷取檢視者資訊之指示較佳深度範圍的一或多個項目。此深度範圍將接著供應至移位計算器以產生左側視圖及右側視圖之位移參數α_v，以用於實施所需要的相應深度改變。

替代於回應於檢視者控制信號而計算位移參數α_v，位移參數α_v亦可選自所定義之查找表清單以產生左側(α_L)及右側(α_R)視圖的每一相應位移參數，該等位移參數接著發送至相應的左側視圖調諧器或右側視圖調諧器。位移參數之所定義清單經產生以涵蓋被視為針對大多數檢視者及大多數檢視環境為合理或合適的特定深度改變或影像移位範圍。

每一位移參數α_L或α_R為正數或負數。α_v之量值表示影像位移之量，而α_v之正負號表示相關視訊影像之位移的方向。位移參數之預定義清單可提供於被視為針對大多數檢視者為合理或合適之範圍內。

位移參數範圍(無論被計算或在所定義之清單中)取決於至少若干不同因素。此等因素包括顯示螢幕之大小、檢視者與螢幕之間的檢視距離，以及檢視者之偏好或其他此等特性。在來自實驗實踐之一實例中，在自-300至+300像素之範圍內的影像移位一般被視為在典型檢視條件下足以滿足大多數檢視者的檢視偏好。隨著檢視者及其檢視環境改變，其他範圍可能更合適。

左側視圖調諧器11及右側視圖調諧器12基於由移位計算器13所供應之各別位移參數α_v處理相應的左側視圖視訊影像及右側視圖視訊影像。每一調諧器接著將經調整之左側視圖及右側視圖供應至格式轉換器14，來以合適之立體視訊格式產生用於顯示器30的可顯示視訊輸入。

立體3D內容顯示之視訊圖框格式的實例在本發明之技術領域中及相關技術標準組織中為熟知的。此等格式包括(但不限於)完全圖框格式、棋盤形格式、交錯格式、並排格式，以及頂部及底部格式。在完全圖框格式中，在單獨圖框中以完全解析度交替地格式化左眼影像及右眼影像。在棋盤形格式中，一圖框中之每一2×2像素視窗含有來自形成該視窗之對角線的一眼視圖之2個像素及來自形成同一視窗之非對角線部分之另一眼視圖的2個像素。交錯格式為基於列之格式，其中左眼影像及右眼影像同時但在像素之不同的交替列中顯示。在並排格式中，左眼影像及右眼影像係並排配置，而對於頂部及底部顯示，左眼影像及右眼影像係以一者在另一者之上的方式配置。除完全圖框格式以外之所有圖框格式在上文所提及之特定組態中將兩個影像視圖壓縮為單一圖框。

顯示器30將此等格式轉換為原生顯示格式，以用於在顯示螢幕上呈現至檢視者。應理解，格式亦可包括嵌入式資訊、中繼資料，及甚至傳遞諸如顯示器解析度、縱橫比之其他資訊的輔助檔案，及其類似者。

圖3A、圖3B及圖3C更詳細地描繪圖2中所示之每一視圖調諧器11及12的方塊圖表示。如圖3A中所描繪，左側/右側視圖調諧器包括移位模組110、按比例縮放模組112、按比例縮放參數計算器111及視訊輸出元件113。

移位模組110包括用於執行輸入左側或右側視訊圖框(影像)之移位的處理器。影像移位係在水平方向上以量α_v來執行，其中下標v可指示位移參數之左側視圖/影像(L)或右側視圖/影像(R)。位移參數一般指示以像素之數目計的位移量，而α_v中位移之正負號指示影像的移位方向。在一實施例中，左側視圖及右側視圖在相反方向上移位相等量，亦即，α_R=-α_L，以達成所得3D影像之所要的感知深度。左側視圖及右側視圖被移位不同量或移位僅一視圖(亦即，位移參數中之一者為零)亦為可能的。

按比例縮放模組112亦包括處理器，該處理器用於按比例縮放經移位之視訊以產生立體內容的更自然外觀(例如，已移位更遠的內容可按比例縮放至較小的大小)。藉由按比例縮放參數計算器111回應於位移參數α_v而產生用於此按比例縮放操作中的按比例縮放參數γ。因此，按比例縮放參數最終在一定程度上基於來自使用者器件之控制信號。

儘管圖3A中所示之例示性實施例描繪在影像移位之後所執行的按比例縮放，但應自此等變換操作之線性本質理解，亦可在影像移位之前執行影像按比例縮放。此替代例示性實施例說明於圖3B中。由於按比例縮放參數至少部分地取決於位移參數，因此應理解，圖3B中之實施例展示按比例縮放參數計算器111在按比例縮放模組112之前。此外，左側視圖視訊影像及右側視圖視訊影像供應至按比例縮放模組112而非移位模組110。

應理解，當根據本發明之原理來實現時，此等圖中之3D效果調諧器及各種模組及處理單元包括諸如一或多個處理器及儲存器件之組件，該等組件經組態以用於執行與3D效果調諧器相關聯之功能中的任一者或全部。

圖3C亦描繪3D效果調諧器之另一例示性實施例。在此實施例中，預處理單元114在來自圖3A之元件的配置之前。應理解，預處理單元114可能已添加至圖3B中所示之配置。預處理單元114接收左側視圖視訊及右側視圖視訊(圖2中所示)，且將各別視訊按比例縮放足以增加像素計數或影像之解析度的量。換言之，預處理單元產生較大的左側或右側視圖視訊圖框，以適應待對彼特定視圖視訊執行的移位操作。

此按比例縮放操作相異於藉由按比例縮放模組112所執行之按比例縮放。如下文進一步論述，按比例縮放模組112調整左側視圖及右側視圖之大小(增加或減小)，以提供符合任何給定場景之深度改變的更自然外觀。預處理單元114增加左側視圖及右側視圖之大小或解析度，以便避免或最小化對輸出視訊中填零之需要(例如，在輸出圖框之在左側視圖或右側視圖之移位之後變得全無內容的區域中可能需要填零)。儘管藉由按比例縮放模組112之按比例縮放係對已在深度或視差上經調整之任何(一或多個)場景執行且按比例縮放因數與視差或深度調整相關，但藉由預處理單元114之大小增加較佳僅執行一次(例如，在諸如內容的第一場景之左側視圖及右側視圖之移位的其他處理之前)，而不管視差或深度調整如何。然而，預處理單元亦可執行後續場景之進一步大小增加(若需要)。為了避免可能之混淆，藉由預處理單元114所執行之按比例縮放亦稱為「視圖按比例縮放」，且將關於圖4更詳細地加以論述。

移位模組110將輸入左側/右側視圖視訊水平移位α_v個像素。取決於輸入視訊，存在在藉由移位模組對輸入視訊進行之處理期間所遇到的至少三種可能狀況。在圖4A至圖4F中更詳細地展示此等狀況，其展示針對每一3D視圖在不同條件下的輸入視訊圖框與輸出視訊視窗的比較。

圖4A展示第一狀況，其中輸入視訊圖框ABCD(圖框40)具有大於由顯示器(其描繪為輸出視窗41)所支援之大小或解析度的大小或解析度。在圖4A中，輸入視訊圖框ABCD(圖框40)具有表示為M×N之解析度或大小，其表示水平方向上之M個像素的寬度及垂直方向上之N個像素的高度。顯示左側視圖及右側視圖之視圖輸出視窗41展示為具有表示為m×n之解析度或大小的輸出視窗EFGH，其表示水平方向上之m個像素的寬度及垂直方向上之n個像素的高度。在圖4A之此情形中，圖框及視窗尺寸如下相關，M>m且N>n。

在圖4A之描述中，應理解，輸出視訊視窗41建立可自輸入視訊圖框40檢視之資訊的範疇。當論述移位操作時，舉例而言，應進一步理解，像素移位可實際上構想為輸出視訊視窗在輸入視訊圖框之上至描繪為圖4B及圖4C中的經移位之輸出視訊視窗41'之新位置的移位。此操作亦可在本文中描述為視訊影像之移位。當然，吾人可理解，移位操作可理解為視窗在影像之上之移位或影像在視窗之下的移位。此等為仍導致相同結果(即，經移位之左側或右側視圖視訊影像)之可互換的概念。本文中在無矛盾或對發明性原理之任何預期限制的情況下可互換地描述兩種概念。

由於深度感知僅受兩個視圖(左側及右側)之水平視差影響，因此移位模組110僅執行水平移位。因此，本文中對本發明的描述聚焦於輸入視訊及所顯示視訊之水平解析度及尺寸。在此實例中，輸入視訊圖框之水平尺寸大於輸出視窗EFGH(亦即，所顯示視訊圖框)的水平尺寸，如藉由M>m所示。若顯示視訊移位α_v個像素，使得經移位之視訊圖框E'F'G'H'如圖4B中所示仍處於輸入視訊圖框ABCD內，則所顯示視訊將對應於標記為輸出視窗41'(亦即，E'F'G'H')的部分。

若位移參數過大，使得在移位操作之後，輸出視窗E'F'G'H'延伸超出輸入視訊圖框40之極限，則使用填零來填充在圖4C中之陰影區域中所示的間隙。其他合適之填充技術可取代填零。在此狀況下使用填零，此係因為經移位之輸出視窗41'的間隙部分不涵蓋任何輸入視訊內容。當此間隙區域中之像素設定為零時，其將看來為黑色。供應至顯示器之輸出視訊視圖繼而對應於E'F'G'H'，包括填零像素之暗陰影部分。

由於右側視圖及左側視圖可在相反方向上移位，因此有可能經移位之右側視圖及左側視圖中之內容可變得充分地彼此不同，以致需要右側視圖及左側視圖之裁剪(除填零之外)以確保兩個視圖具有實質上相同的內容。

圖4D展示第二狀況，其中輸入視訊圖框ABCD(圖框40)之水平尺寸或解析度等於輸出視窗EFGH(視窗41)之水平尺寸或解析度，使得M=m。儘管對於此實例為便利的，但並非必須，圖框40亦具有等於輸出視窗41之垂直解析度的垂直解析度，使得n=N。在此實例中，左側視圖或右側視圖中之任何非零位移值α_v始終使經移位之輸出視窗41'(展示為視訊輸出視窗圖框E'F'G'H')落在輸入視訊圖框40的邊界外部。填零或任何其他合適之填充技術用以填充間隙部分，如圖4D之陰影部分中所示。

圖4E說明另一實例，其中原始輸入視訊圖框ABCD(圖框40)之尺寸匹配輸出視窗EFGH(視窗41)之尺寸，使得M=m且N=n。替代於將此原始輸入視訊圖框ABCD直接提供至左側視圖調諧器及右側視圖調諧器以用於如關於圖4D所述而處理，輸入視訊圖框ABCD首先經受藉由預處理單元114之視圖按比例縮放操作，使得其每一影像視圖(亦即，左側及右側)之尺寸各自自其原始尺寸M×N按比例放大一視圖按比例縮放因數至較大的尺寸M'×N'，其中M'>M且N'>N。再次，應注意，此視圖按比例縮放不同於藉由圖3A、圖3B及圖3C中所示之按比例縮放模組112所執行的按比例縮放操作。視圖按比例縮放可施加至輸入視訊影像，而不管輸入視訊圖框大小或解析度M與輸出視窗大小m之間的關係如何。應瞭解，相對於輸出視窗大小之較大的輸入視訊圖框大小減小在影像移位之後出現間隙之可能性，此又減小對間隙中填零的可能需要。

在此實例中，輸入視訊圖框ABCD增大，使得其尺寸大於輸出視窗EFGH之尺寸，如圖4F中所示。後續移位操作遵循如針對關於圖4B及圖4C之第一狀況所述的相同步驟。視圖按比例縮放因數M'/M可與視圖按比例縮放因數N'/N相同或不同。若視圖按比例縮放因數M'/M與N'/N相同，則保留輸入視訊圖框之縱橫比。

在一來自實驗實踐之實例中，發現，移位模組可包括用於對輸入視訊圖框執行此按比例縮放的處理器。或者，此視圖按比例縮放可藉由預處理單元執行，如圖3C中所示。

在圖3C中，預處理單元114係提供於移位模組及按比例縮放模組之上游。在此組態中，預處理單元包括用於執行輸入視訊圖框之尺寸按比例縮放的處理器。來自預處理單元114之按比例縮放的右側/左側視圖視訊圖框接著提供為對移位模組的輸入以用於進一步處理。

按比例縮放模組112經引入以改良已藉由影像移位調整深度感知之視訊的外觀。已觀察到，簡單的影像移位可引起「按比例縮小」或「按比例放大」效果。此等按比例縮放效果之存在導致某些物件看來小於其應該表現出的大小，此係因為移位使此等物件更接近檢視者，而其他物件在其已移位更遠離檢視者時看來大於其應該表現出的大小。為了減輕此效果，按比例縮放模組112結合移位程序使用以產生深度經調整之視訊的更自然外觀。換言之，模組112中之按比例縮放或大小調整操作係對影像已被移位之場景(或圖框中之所有像素)執行，使得該場景中之所有物件的大小經調整以抵消觀察到的按比例縮小及按比例放大效果。此按比例縮放操作可在右側及/或左側影像已藉由移位模組移位之前或之後執行，如圖3A、圖3B及圖3C中所示。此外，此按比例縮放無需對左側或右側影像中之整個原始內容執行。舉例而言，若輸入視訊圖框大於顯示螢幕大小，則可僅針對將在螢幕上可見之內容部分執行按比例縮放。

為了判定用於按比例縮放模組110中之按比例縮放因數γ，可使用以以下方程式公式化之相機模型：

其中X、Y、Z為真實場景中之座標，且(x,y)為所俘獲影像中之座標。變數α_x、α_y、s、x₀及y₀為相機參數。相機模型之額外細節可見於(例如)Hartley及Zisserman之「Multiple View Geometry in Computer Vision」(第2版，Cambridge University Press，2004)第6章中，其全部內容以引用的方式併入本文中。相機參數α_x及α_y不同於先前所論述之位移參數α_v，其中下標v表示左側(L)或右側(R)視圖。在以上方程式中，R為3×3旋轉矩陣，I為3×3單位矩陣，C為3×1平移矩陣，且[I|-C]表示矩陣之串聯以形成3×4矩陣。當已知此等參數時，可容易地導出歸因於深度Z之改變的x及y的改變。為簡單起見，可假設R為單位矩陣，C=0且s=0。針對此等假設，發現。此情形提示，應使用主點之中心作為原點來執行影像按比例縮放。Z之改變因此係根據移位參數α_v判定。

圖5描繪針對以3D檢視之物件之深度對視差的改變。已知影像移位可改變感知深度Z_p。對於特定顯示器，在影像位移參數α與感知深度Z_p之間存在幾何關係，如圖5中所示。在此圖中，左側視圖向左移位α_L個像素，且右側視圖向右移位α_R個像素。由於此移位，物件O之感知深度自Z_p改變至Z_p'。值得注意的係，感知深度Z_p與真實場景中之深度的不同之處在於：歸因於相機及顯示器之不同設定，感知深度為Z之失真版本。Z為真實場景中在相機俘獲之前的深度。因此，當判定按比例縮放因數γ時，較佳亦考慮Z_p至Z之變換。結果，判定按比例縮放模組112中之按比例縮放因數γ的例示性程序如下：計算基於移位參數α_v之Z_p改變；根據俘獲參數與顯示參數之間的關係將Z_p映射至Z；當藉由此等計算獲得Z時，接著計算x及y之改變。

在替代且可能更簡單之方法中，吾人亦可藉由自預定範圍選擇一值而無需廣泛或準確的計算來判定按比例縮放因數γ。作為一實例，移位參數α_v(α_R或α_L)可在自0至+60之範圍中提供以避免所得立體內容的可能之檢視不適，且按比例縮放參數γ亦可在相對小之範圍(諸如，自0.8至1.2)內提供。當移位操作將場景推回至螢幕時，可將按比例縮放因數選擇為小於1。應理解，場景距檢視者愈遠，則按比例縮放因數愈小。當使場景更接近檢視者時，將按比例縮放因數選擇為大於1。應瞭解，愈將場景引出至前景中，則按比例縮放因數愈大。

如先前結合圖3所提及，場景之按比例縮放亦可在影像移位之前執行。在一實例中，舉例而言，可基於基於已知檢視者之設定檔及偏好適用於大多數檢視者的典型位移參數範圍來進行按比例縮放。在另一實例中，可在自檢視者接收到控制信號之後但在影像移位操作之前進行按比例縮放。在此情形中，可基於至少基於控制信號中之檢視者輸入所計算的位移參數來判定按比例縮放因數。

圖6展示根據本發明之原理所實現之用於調整使用者3D檢視體驗的圖1中之系統的替代實施例。在此組態中，3D效果推薦器(3DER)模組60與針對圖1中之系統所示的元件包括在一起。

除檢視者基於其體驗對深度調整參數的選擇以外，本發明之另一例示性實施例預期使用3D效果推薦器模組60。3DER 60分析所供應之輸入3D視訊之內容。接著，基於使用者之視差舒適度設定檔(其可預先獲得且儲存於系統中)，3DER 60比較該設定檔與自所供應之3D視訊內容所分析出的視差特性，以判定針對此特定使用者的最好或最佳位移調整參數。所推薦之位移調整參數或控制參數接著供應至檢視者使用者器件20。此所推薦之位移調整參數可為α_L與α_R之複合物，例如，表示得自左側視圖及右側視圖之位移的總視差改變。檢視者此時可基於其偏好進一步調整所推薦之位移調整參數，且經調整之輸入(例如，經調整之控制參數)經由控制信號發送至3D效果調諧器10。如圖6中所示，來自使用者器件20之控制信號可回饋至3DER 60，以用於更新3DER 60中之使用者視差舒適度設定檔。

3DER 60使用使用者視差舒適度設定檔來預測觀看某一視訊之某一使用者的舒適度/不適程度，使得控制位移參數可經選擇以最小化針對彼檢視者的視覺不適。此技術輔助檢視者進行針對檢視之深度移位選擇。儘管未展示於該圖中，但來自3DER 60之所預測位移參數亦可直接供應至3D效果調諧器10，亦即，在選擇或調整自3DER所預測之(多個)位移控制參數時繞過任何檢視者涉入(經由使用者器件20)。

圖7描繪根據本發明之原理所實現之圖6中的3D效果推薦器元件之更詳細方塊圖。如圖7中所示，3DER包括視差直方圖估計器61、使用者設定檔模組62及不適預測模組63。估計器61接收立體視訊影像，且其耦合至不適預測模組63。使用者設定檔模組62自使用者器件20接收檢視者控制信號。來自使用者設定檔模組62之輸出耦合至不適預測模組63。不適預測模組63產生所推薦之控制參數，該控制參數指示針對檢視者之移位或深度改變的推薦量。3DER之操作參看如下文所述之其餘諸圖將變得更顯而易見。

圖8a及圖8b展示針對一使用者之舒適度及不適程度對視差的圖表。可藉由針對每一檢視者進行影像移位主觀測試來建構使用者視差舒適度設定檔。亦可使用預設或基線設定檔來替代檢視者測試來建立針對3D檢視之一般可接受的檢視者舒適度及不適程度。

在一例示性檢視者舒適度/不適程度測試中，所選擇之3D內容移位預定義之移位量，且逐一對檢視者顯示。檢視者接著被給予一機會來在觀看經移位之3D內容的同時根據檢視者自己之舒適度評定此等內容。針對所測試之移位參數中之每一者記錄關於舒適度的檢視者回應。檢視者之舒適度評定值一般期望在自極不舒適之評定值至極舒適之評定值的範圍內。

圖8A為藉由使用者針對自-300至200(具有10個像素的步長)之視差值所評定之例示性分數或舒適度的一實例。由於自-150至-300之舒適度保持於零處，因此自該圖省略其。在此實例中，零分意謂使用者不能融合左側視圖及右側視圖；1分意謂使用者對影像感到極不舒適；5分意謂使用者對影像感到極舒適；自2至4之分數表示較小程度之不適及舒適。自該圖可見，當視差為0時(其為2D影像)，此特定檢視者感到極舒適。隨著視差變負(其指示增大程度之彈出效果)，檢視者開始感到不適直至視差達到-80(舒適度0)為止，在此點處檢視者不能融合視圖。

亦可藉由自最高舒適分數減去舒適分數來將對應於視差d之每一舒適分數轉換為不適分數，如下：

不適分數 _d =最高舒適分數 _d -舒適分數 _d

圖8B展示針對圖8A中所示之舒適分數圖表的相應不適分數。圖8A至圖8B稱為檢視者之視差舒適及不適量變曲線。由於一圖表可自另一圖表導出，因此預期，僅儲存一圖表之資料(尤其在系統中之儲存受限制的情況下)。

針對上文所述之檢視者視差舒適度設定檔的此收集程序可容易地建置至TV或機上盒(STB)或其他合適之顯示器件(諸如，攜帶型器件)中。此情形將允許經由檢視者家中之TV或STB使用校準程序來收集檢視者視差舒適度設定檔。此程序類似於在色彩或對比度調整程序中之TV建置。一些預定義之3D測試內容可儲存於TV或STB中。可藉由使用者來預定義或修改針對測試的影像移位值。檢視者觀看經移位之3D內容，且接著將其舒適度/不適程度回應提供至收集程序。該等回應在系統內儲存於特定檢視者之視差舒適度設定檔中。

最初，可使用粗略使用者設定檔，諸如具有較大視差步長(例如，與圖8A中所示之步長相比)的預定義之視差舒適度設定檔。由於3DER接收最終自檢視者之控制器件所發送之控制信號，因此隨著檢視者調整或修改藉由3DER所提供之所推薦的深度(位移)控制參數，可隨時間推移形成更改進的設定檔。

不同使用者可具有不同的設定檔。當若干個別者一起檢視立體視訊影像時，其設定檔可組合在一起成為更大的群設定檔，該設定檔可連同該等個別者自己之個別設定檔一起儲存及修改。

為了預測不適分數，首先在視差直方圖估計器61中分析輸入立體視訊的視差分佈。3D內容之視差值可藉由內容提供者預先計算且連同3D視訊內容一起遞送至視差直方圖估計器61作為中繼資料或作為輔助資訊。當遞送時，視差直方圖估計器61亦可計算視訊內容之視差值。一般而言，密集之視差值優於稀疏值。當估計器61之高處理速度為一考慮因素時，稀疏之視差值可為有用的。

圖9展示關於3D視訊內容之視差的例示性直方圖(經正規化)。來自此直方圖之資料係由估計器61所產生之類型。藉由檢查直方圖，可見內容像素之非瑣碎部分是否具有大的視差d。當檢視者具有小於d之視差舒適度設定檔極限時，此狀況變為重要問題，此係因為此等檢視者在檢視相關聯之視訊內容時將感到不適。

舉例而言，根據圖8中之資料，檢視者不會感覺到視差超過-40之舒適的觀看區域。結果，視差值約為-40之在圖9中之15%視訊內容將對此特定檢視者引起問題。另一方面，預期具有接近-10之視差的37%視訊內容不會對此檢視者引起大程度的眼睛疲勞或不適。遵循此分析，3DER 60使用其不適預測模組63可預測，若內容視差係分佈於[-20,100](其對應於處於或低於程度1之不適程度(或處於或高於程度4的舒適度))內，則此檢視者在觀看3D視訊內容時將感到極舒適。由於圖9中所分析之內容不滿足此準則，因此3DER 60將產生針對深度移位之所推薦控制參數以提供視訊影像在螢幕內部約20至100個像素的移位。

用於3DER 60之不適預測模組63中的視覺不適預測技術(例如)併有個別檢視者之視差舒適度設定檔及呈現至檢視者之內容的視差分佈。使用者i對場景j之不適預測分數S_ij為場景j的正規化視差分佈D_j之加權總和。權重係藉由每一檢視者之視差不適量變曲線F_Di(i=1,...,N)來判定。亦即，，其中d_min及d_max分別對應於d之下限及上限。在一實施例中，|d_min|=|d_max|。然而，一般而言，該兩個極限無需在量值上相等。注意，此處，F_Di為在0視差下具有不適分數值0的設定檔(見圖8B)。

對於大多數場景，展現小視差之區域構成內容的高部分。舉例而言，此等區域一般包括背景區。此等區通常不會引起視覺不適，且由此，可藉由指派接近0之權重而使其在其效果上最小化或不予重視。另一方面，由於場景或影像之具有高得多之視差值的其他區域將引起顯著且甚至嚴重的視覺不適，因此，儘管對影像內容之小得多的部分進行了考慮，但將給予此等其他區域較高權重以突出其效果。

在一實施例中，3DER之輸出可為供應至使用者器件20或3D效果調諧器10的最小化檢視者之不適分數S_ij的位移調整參數s_ij*，其中s_ij*定義為：

換言之，s_ij*表示產生檢視者i對場景j之最小不適分數S_ij(s)的位移調整參數「s」的值。此參數s_ij*為右側視圖及左側視圖之位移參數(α_R及α_L)的複合物，且應理解，s_ij*可表達為α_R與α_L之和或差，此取決於對應於不同移位方向的用於參數α_R及α_L的正負號轉換。在一實施例中，α_R與α_L在量值上相等，但表示相反方向上之移位。

在由估計器61所執行之分析中，3DER有可能分析視訊串流之每一場景而非整個視訊序列之單一場景或一部分。

又，藉由估計器61之分析可應用於且限於場景中之所關注的一或多個特定區域，此係因為所關注之區域被理解為檢視者將集中於之彼等場景區。

在實驗實踐中，發明者對檢視者群組進行主觀測試。該測試獲得了每一檢視者對施加至3D內容之不同視差值的舒適度。使用馬雅(Maya)軟體及由僅一物件(在黑色背景之前方自左側飛至右側的子彈)組成的內容來產生測試序列。將深度維持為恆定的。視差值在自-300至200個像素(具有步長20)的範圍內。針對視差值中之每一者，檢視者被要求提供自0至5之舒適分數，其中零分指示無法融合，1分指示最不舒適，且5分指示最舒適。此範圍包括在檢視者不能將左側影像及右側影像融合為單一影像時的條件。此主觀測試之結果准許建構每一檢視者的設定檔。此設定檔被稱為視差不適量變曲線(DDP)，F_Di。

藉由針對每一檢視者所獲得之DDP，使用一方法來在向給定檢視者呈現某內容時預測彼檢視者的視覺不適程度。首先，分析內容以輸出該內容中之每一場景的視差直方圖。此係藉由使用此項技術中所熟知的視差估計方法來進行。視覺不適預測技術併有針對檢視者所獲得的DDP及內容之場景中的視差分佈。使用者或檢視者i對場景j之不適預測分數S_ij計算為場景j的正規化視差分佈D_j之加權總和。權重係藉由每一使用者之DDP(F_Di)來判定。

亦對相同的使用者群組進行對來自HD立體內容(來自題為「Beowulf」之例示性3D電影)之一場景的主觀測試。檢視者被要求提供自0至5之不適分數，其中0為最不適。結果展示，自用於3DER中之技術經由不適預測模組63的預測極佳地匹配所測試之檢視者中之許多檢視者的主觀測試。

本文所敍述之所有實例及條件性語言意欲用於教示目的以輔助讀者來理解發明者所貢獻以深化此項技術的當前原理及概念，且應解釋為不限於此等特定敍述之實例及條件。

此外，本文中之敍述本發明之原理、態樣及實施例，以及其特定實例的所有陳述意欲包含其結構等效物及功能等效物兩者。另外，希望此等等效物包括當前已知之等效物以及將來開發之等效物兩者，包括在執行相同功能之任何物處所開發的任何元件，而不管結構如何。

本文已描述了多個實施。然而，應理解，可進行各種修改。舉例而言，不同實施之元件可經組合、補充、修改或移除以產生其他實施。另外，一般熟習此項技術者應理解，其他結構及程序可取代彼等所揭示之結構及程序，且所得實施將以至少實質上相同之(多種)方式執行至少實質上相同的(多個)功能，以達成與所揭示之實施至少實質上相同的(多個)結果。詳言之，儘管本文已參看隨附圖式描述了說明性實施例，但應理解，當前原理不限於彼等精確實施例，且可藉由一般熟習相關技術者在不脫離當前原理之範疇或精神的情況下在其中實現各種改變及修改。因此，此等及其他實施由本申請案涵蓋且係在以下申請專利範圍之範疇內。

10．．．3D效果調諧器

11．．．左側視圖調諧器

12．．．右側視圖調諧器

13．．．移位計算器

14．．．格式轉換器

20．．．使用者器件

30．．．顯示器

40．．．輸入視訊圖框

41．．．輸出視訊視窗

41'．．．經移位之輸出視訊視窗

60．．．3D效果推薦器(3DER)模組

61．．．視差直方圖估計器

62．．．使用者設定檔模組

63．．．不適預測模組

110．．．移位模組

111．．．按比例縮放參數計算器

112．．．按比例縮放模組

113．．．視訊輸出元件

114．．．預處理單元

圖1為根據本發明之原理所實現之用於調整使用者3D檢視體驗的系統之簡化方塊圖；

圖2為根據本發明之原理所實現之圖1中的3D效果調諧器之更詳細方塊圖；

圖3A至圖3C更詳細地描繪根據本發明之原理所實現之圖2中所示的每一視圖調諧器之方塊圖；

圖4A至圖4F展示針對每一3D視圖在不同條件下的輸入視訊圖框與輸出視訊視窗之比較；

圖5描繪針對以3D檢視之物件之深度對視差的改變；

圖6展示根據本發明之原理所實現之用於調整使用者3D檢視體驗的圖1中之系統的一替代實施例；

圖7描繪根據本發明之原理所實現之圖6中的3D效果推薦器元件之更詳細方塊圖；

圖8A及圖8B展示使用者之舒適度及不適程度對視差的圖表；及

圖9展示自3D內容影像所提取之視差的例示性直方圖。

本文所闡述之例示性實施例應理解為說明本發明之較佳實施例，且此等例示性實施例不應解釋為以任何方式限制本發明的範疇。

10．．．3D效果調諧器

11．．．左側視圖調諧器

12．．．右側視圖調諧器

13．．．移位計算器

14．．．格式轉換器

Claims (26)

1. 一種用於呈現具有複數個立體影像對之立體內容的方法，該方法包含：接收具有一第一視圖及一第二視圖之至少一第一立體影像對，該第一視圖及該第二視圖包括藉由一第一水平視差分離之至少一對相應像素；在自一檢視者接收關於檢視偏好之輸入之後，回應於來自該等檢視偏好之輸入以產生一控制信號；回應於該控制信號，以經由一事件調諧器(event tuner)藉由一按比例縮放因數及該第一水平視差將該第一視圖及該第二視圖之大小調整至一第二水平視差以根據該等檢視偏好而產生經調整之第一視圖及第二視圖。
2. 如請求項1之方法，其中對該第一水平視差之該調整包含：至少部分地基於該控制信號判定一位移參數，該位移參數包括一第一視圖位移參數及一第二視圖位移參數；將該第一視圖及該第二視圖水平地移位與該第一視圖位移參數及該第二視圖位移參數有關的各別量，其中在該經移位之第一視圖及該經移位之第二視圖中的該對相應像素展現該第二水平視差。
3. 如請求項2之方法，其中對該第一視圖及該第二視圖之該等大小的該調整進一步包含：至少部分地基於該位移參數判定該按比例縮放因數；及藉由取決於該按比例縮放因數之一量改變該第一視圖 及該第二視圖中之每一者的該立體內容之至少一部分的一大小。
4. 如請求項1之方法，其中該調整包含：至少部分地基於該控制信號判定一位移參數；至少部分地基於該位移參數判定該按比例縮放因數；及藉由取決於該按比例縮放因數之一量改變至少該第一立體影像對的該第一視圖及該第二視圖中之每一者的該立體內容之至少一部分的一大小。
5. 如請求項4之方法，其中該位移參數包括一第一視圖位移參數及一第二視圖位移參數，且其中對該第一水平視差之該調整進一步包含：將該第一視圖及該第二視圖水平地移位與該第一視圖位移參數及該第二視圖位移參數有關的各別量，其中在該經移位之第一視圖及該經移位之第二視圖中的該對相應像素展現該第二水平視差。
6. 如請求項4之方法，其進一步包含：在判定該位移參數之前，將該第一視圖及該第二視圖中之每一者的一解析度改變取決於一視圖按比例縮放因數之一量。
7. 如請求項2之方法，其進一步包含：顯示經調整之第一視圖及第二視圖的該影像對。
8. 如請求項1之方法，其進一步包含：分析該等立體影像對中之一或多者，以判定在該等立體影像對中之每一影像之至少一部分上的一視差分佈； 計算表示一推薦深度改變之一控制參數，該控制參數至少部分地基於該視差分佈及至少一檢視者不適量變曲線，每一檢視者不適量變曲線表示在一水平視差範圍內之不適程度且與一特定檢視者或一特定檢視者群組中的至少一者相關聯。
9. 如請求項4之方法，其進一步包含：分析該等立體影像對中之一或多者，以判定在該等立體影像對中之每一影像之至少一部分上的一視差分佈；在自一檢視者接收檢視者偏好之後，建立一檢視者設定檔；計算表示一推薦深度改變之一控制參數，該控制參數係至少部分地基於該視差分佈；基於所接收之先前的檢視者偏好及回應於關於該等檢視者偏好所作之調整以建立一檢視者及至少一檢視者設定檔，每一檢視者設定檔表示在一水平視差範圍內之偏好及使用檢視者偏好所建立之一經計算的舒適程度且與一特定檢視者或具有一檢視者設定檔之一特定檢視者群組中的至少一者相關聯。
10. 如請求項8之方法，其中該控制參數包括於該控制信號中。
11. 如請求項8之方法，其進一步包含：將該控制參數發送至與該檢視者不適量變曲線相關聯之一檢視者器件，該控制參數用於產生一檢視者調整之控制參數以用於包括於該檢視者器件處的該控制信號 中。
12. 如請求項8之方法，其進一步包含：至少部分地基於該控制信號更新該至少一檢視者不適量變曲線。
13. 如請求項10之方法，其進一步包含：至少部分地基於該控制信號更新該至少一檢視者不適量變曲線。
14. 如請求項11之方法，其進一步包含：至少部分地基於該控制信號更新該至少一檢視者不適量變曲線。
15. 如請求項2之方法，其中該控制信號包括用於指示用於施加至該立體內容之深度改變之一量的資訊。
16. 如請求項15之方法，其中該控制信號包括表示一特定檢視者或一特定檢視者群組中之至少一者的一識別符。
17. 一種用於對一檢視者呈現具有複數個立體影像對之立體內容的系統，其包含：至少一處理器，其經組態以用於接收具有一第一視圖及一第二視圖之至少一第一立體影像對，該第一視圖及該第二視圖包括藉由一第一水平視差分離之至少一對相應像素；該至少一處理器用於經由一事件調諧器以回應於基於一檢視者之檢視偏好所產生之一控制信號而藉由一按比例縮放因數及該第一水平視差將該第一視圖及該第二視圖之大小調整至一第二水平視差以產生經調整之第一視圖及第二視圖。
18. 如請求項17之系統，其中該至少一處理器經進一步組態以用於：至少部分地基於該控制信號判定一位移參數，該位移參數包括一第一視圖位移參數及一第二視圖位移參數；及將該第一視圖及該第二視圖水平地移位與該第一視圖位移參數及該第二視圖位移參數有關的各別量，使得在該影像對中之該對相應像素展現該第二水平視差。
19. 如請求項18之系統，其中該至少一處理器經進一步組態以用於：至少部分地基於該位移參數判定該按比例縮放因數；及藉由取決於該按比例縮放因數之一量改變該第一視圖及該第二視圖中之每一者的該立體內容之至少一部分的一大小。
20. 如請求項19之系統，其中該至少一處理器經進一步組態以用於：在判定該位移參數之前，將該第一視圖及該第二視圖中之每一者的一解析度改變取決於一視圖按比例縮放因數的一量。
21. 如請求項17之系統，其中該至少一處理器經進一步組態以用於：至少部分地基於該控制信號判定一位移參數；至少部分地基於該位移參數判定一按比例縮放因數；及藉由取決於該按比例縮放因數之一量改變該第一視圖及該第二視圖中之每一者的該立體內容之至少一部分的 一大小。
22. 如請求項21之系統，其中該位移參數包括一第一視圖位移參數及一第二視圖位移參數，且其中該至少一處理器經進一步組態以用於：將該第一視圖及該第二視圖水平地移位與該第一視圖位移參數及該第二視圖位移參數有關的各別量，其中在該經移位之第一視圖及該經移位之第二視圖中的該對相應像素展現該第二水平視差。
23. 如請求項21之系統，其中該至少一處理器經進一步組態以用於：在判定該位移參數之前，將該第一視圖及該第二視圖中之每一者的一解析度改變取決於一視圖按比例縮放因數之一量。
24. 如請求項17之系統，其中該控制信號包括用於指示用於施加至該立體內容之深度改變之一量的資訊。
25. 如請求項24之系統，其中該控制信號包括一識別符，其基於先前所提交之使用者偏好以表示一特定檢視者或一特定檢視者群組中之至少一者。
26. 如請求項17之系統，其進一步包含：一顯示器，其用於顯示來自該處理器之具有該經調整之第一視圖及該經調整之第二視圖的該至少一立體影像對至一檢視者，以使得該檢視者之檢視偏好可被產生。