201143443 六、發明說明： 【發明所屬之技術領域】 [0001] 本發明涉及視頻處理，更具體地說，本發明涉及利用層 次體系框架（"tier system frame)來進行三維視頻解 碼的方法和系統。 【先前技術"】 [0002] 很多設備都具有數位視頻功能，例如，數位電視、數位 直播系統、數位記錄系統等。數位視頻設備相比傳統的 類比視頻系統在處理和以更高帶寬效率傳送視頻序列方 面具有顯著的進步： [0003] 視頻内容可以用二維格式或三雉格式記錄。在各種應用 ，例如，DVD電影和數位電視中，一般偏愛三維視頻，因 為對觀看者來說，它通常比二維視頻更真實。三維視頻 包括左視圖視頻和右視圖視頻。三維視頻幀可以由左視 圖視頻部分和右視圖視頻部分組合而成。 ....； : [0004] 已經建立了很多視頻編碼標準來以壓縮方式編碼數位視 頻序列’例如，MPEG-1、MPEG-2、MPEG-4、H. 263和 H· 264/AVc。可以將壓縮視頻中的幀編碼為三種可能模 式：1一圖片、P-圖片和B-圖片。可以將壓縮視頻幀分成 圖片組（G〇p)。每個G〇p包括一個卜圖片、幾個p-圖片 和/或幾個B-圖片以供發送。 [0005] 比較本發明後續將要結合附圖介紹的系統，現有技術的 其他局限性和弊端對於本領域的普通技術人員來說是顯 而易見的。 099133653 表單編號A0101 第4頁/共38頁 1003097016-0 201143443 . 【發明内容】 [0006] 本發明提供了 一種利用層次體系框架來進行三維視頻解 碼的方法和系統’結合至少一副附圖進行詳細描述，並 在權利要求中得到了更完整的闡述。 [0007] 根據一個方面’一種用於視頻編碼的方法，包括： [0008] 由視頻處理系統中的一個或多個處理器和/或電路執行如 下步驟： [0009] 〇 從分層並預測的壓縮三維視頻中選擇一幅或多幅圖片； 以及 [0010] 將所述選定的一幅或多幅圖片解瑪以便按一定顯示速率 進行顯示。 [0011] 優選地，所述分層並預測的壓縮三維視頻包括基本視圖 視頻和優化視圖視頻’並且所述基本視圖視頻和所述優 化視圖視頻分別包括多個分層圖片。 [0012] 〇 優選地，所述基本視圖.視頻和所述優犯親圖視頻中的所 述多個分層圖片是基於層攻體系框ϋ生成的。 [0013] 優選地，所述層次體系框架包括多個根據相應解碼性分 層排布的層次。 [0014] 優選地，所述基本視圖視頻和所述優化視圖視頻中的所 述多個分層圖片分別與所述多個層次中的一個層次相關 〇 [0015] 優選地，所述多個層次中的一個特定層次的圖片，無論 是直接還是間接，都不依賴於所述多個層次中較高層次 099133653 表單編號 Α0101 第 5 頁/共 38 S 10〇3〇97〇16-〇 201143443 的圖片。 [0016] 優選地，所述多個層次中的每一層都包括一幅或多幅具 有相同編碼順序的圖片。 [0017] 優選地，所述方法進一步包括平行解瑪所述一幅或多幅 具有相同編碼順序的圖片。 [0018] 優選地，所述方法進一步包括根據相應編碼層次自適應 解碼所述選定的圖片。 [0019] 優選地，所述方法進一步包括根據所述特定的顯示速率 從所述分層的預測壓縮三維視頻中選擇一幅或多幅圖片 〇 [0020] 根據一個方面，一種用於視頻編碼的系統，包括： [0021] 用於視頻處理系統的一個或多個處理器和/或電路，其中 所述一個或多個處理器和/或電路用於： [0022] 從分層並預測的壓縮三維視頻中選擇一幅或多幅圖片； 以及 [0023] 將所述選定的一幅或多幅圖片解碼以便按一定顯示速率 進行顯示。 [0024] 優選地，所述分層並預測的壓縮三維視頻包括基本視圖 視頻和優化視圖視頻，並且所述基本視圖視頻和所述優 化視圖視頻分別包括多個分層圖片。 [0025] 優選地，所述基本視圖視頻和所述優化視圖視頻中的所 述多個分層圖片是基於層次體系框架生成的。 099133653 表單編號A0101 第6頁/共38頁 1003097016-0 201143443 . [0026] 優選地，所述層次㈣框架包括多個根據相應解碼性分 層排布的層次。 Ο ο 剛優㈣，所述基本《觀和料優化㈣視頻中的所 述多個分層圖片分別與所述多個層次中的一個層次相關 0 [_ ==個層次中的—個特定層次_，無論 =:還疋間接，都不依賴於所述多個層次中較高層次 優選地，所述多個層次中的每 有相同編碼順序的圖片。層都包括一幅或多幅具 優選地，所述—個或多 所述-幅或多幅具有 D 或電路用於平行解瑪 '有相同蝙碼順序的養。 優選地，所述 編碼層次自適應解碼 器和/或電路用於根據相應 述選定的,圖片。 優選地，所述 特定的顯示速率從所、,、 盗和/或電路用於根據所述 一幅或多幅圖片。層的預測壓縮三維視頻中選擇 在下述結合附圖 的各種特點和優點，附月的詳細描述中，給出了本發明 整個部件。 圖中用相似參考數位指代相似的 【實施方式】 [0034] 本發明利用層次趙系樞架 系統提供了一些實施例。、行〜維視頻解碼的方法和/或 表單編號臟 ^ Μ本發明的各種實施例，祝 第7頁…真 [0029] [0030] [0031] [0032] [0033] 099133653 1003097016-0 201143443 頻接收器可以用於接收包含基本視圖視頻和優化視圖視 頻的壓縮三維視頻。壓縮三維視頻可以是分層並預測的 。可以選擇壓縮三維視頻圖片的一部分按特定顯示速率 解碼以便隨後的顯示。壓縮三維視頻可以包括基本視圖 視頻和優化視圖視頻，基本視圖視頻和優化視圖視頻都 包括多個分層圖片。基本視圖視頻和優化視圖視頻中的 這多個圖片可以根據層次體系框架生成。層次體系框架 可以包括多個根據相應編碼/解碼性分層排布的層次。基 本視圖視頻和優化視圖視頻中的每幅圖片可以屬於多個 層次中的一層。多個層次中特定^次的圖片無論直接上 還是間接上都不依賴於更高.層次的圖片每個層次可以 包括一幅或多幅帶相同編碼頃序的圓片。視頻接收器可 Μ用於平行解碼帶相同編碼順序的圖片。視頻接收器還 〇 於根據相應編碼層次資訊自適應解碼選定的部分 可以根據預定的顯示速率確定所要選擇的圖片和 圖片數目。 [0035] [0036] 099133653 本發明實施賴祕利用層:續系框架執行三 頻編馬***並麵三維視頻的技巧模式操作的示範性視 VTU) UQ的框圖。如圖1所示，示出了視頻傳送單元（ 、通信網路120和視頻接收單元（VRU) 13〇。 VTU 11〇可、 用於向vrZ包括合適的邏輯、電路、介面和/或代碼， 獲取包人左、3Q提供壓縮的視頻内容°VTU 110可以用於 ,υ ;10:見圖祝頻和右視圖視頻的未壓縮的三維視頻 碼（MVC)二Χ用於利用，例如’ MPEG'4多視圖視頻編 表單_ 將獲得的未壓縮三維視_縮為兩種編碼 碼蜣AOlOi 第8頁/共38頁 1 ηη· 201143443 視圖’即基本視圖和優化視圖。其 m I本視圖視頻和優化視 圖視頻巾的㈣可㈣用各種方法，例如分層編碼方法 ，由獲取的三維源視頻中生成。分層編碼方法可以用於 生成帶層間圖片依賴度的幾個編碼層中的圖片。例如， 可以將獲取的三維源視頻編碼或壓縮成多個編碼層次的 基本視圖視頻和優化視圖視頻。編碼層次可以包括，例 如，低編碼層、中編碼層和局編碼層。更高編碼層可以 是下一個低編瑪層的延伸。更高編碼層中的圖片可以由 一個和/或多個更低編碼層中的導片預測而來。就這—點 而言’VTU 110可以用於根據層次體系柩架生成基本視圖 ... . :.". ... ....... 視頻和優化視.圖視頻。層次趙系框架包括多，個根據相應 編碼/解碼性分層排布的層次。基本視圖視頻和優、化視圖 視頻中的每一幅圖片屬於其中的一層。例知，每個層次 可以包括帶相同編碼順序的圖片。每個廣次可以通過層 次號碼索引，層次號碼是通過相關圖片的編碼順序確定 ii 的。具有特定層次號碼的圖片無論直接遠是間接上都不 依賴於具有更高層次號碼的圖'片。依賴於參考圖片的圖 片的層次號碼可能不小於參考圊片的層次號碼。層次體 系框架概念上類似於層間圖片依賴度並不附加任何編碼 約束地擴展其靈活性。層次體系框架的靈活的圖片依存 關係可以用於支援各種應用，例如，完成技巧模式的個 人視頻錄製（PVR)應用。 國通信網路120可以包括合適的邏輯、電路、介面和/或代 碼，用於提供VTU 11〇和VRU 130間的通信平臺。通信網 路120可以是有線或無線通信網路。通信網路120可以是 099133653 表單編號A0101 第9頁/共38頁 1003097016-0 201143443 LAN、WAN、網際網路等。 [0038] VRU 13〇可以包括合適的邏輯、電路、介面和/或代碼， 用於通過通信網路120從VTU 11〇接收傳輪流。接收到的 傳輪流可以包括多視頻流’例如壓縮三維視頻的基本視 圖視頻流和優化視圖視頻流。基本視圖和優化視圖中的 圖片可以根據層次體系框架生成。就這_點而言，基本 視圖視頻和優化視圖視頻中的圖片可以根據相關層次進 行解碼。VRU 13〇可以用於利用環境切換支援層:體系框 架。例如，VRU 13G可以用於在層次體系框架的各層間進 行環境切換。™ 13D可以根據相應環境例如在相應編碼 層以不同方«作圖IWI 13G可以用於利用層次體系 框架中層間圖片依賴度來選擇壓縮三維視頰中基本視圖 視頻和優化視圖視頻中的部分圖片。VR¥ 13〇可以用於解 碼選定的部分圖片以實行技巧模式操作。技巧模式使pVR 能夠以非一般的速度呈現碼頻並能以各種速度倒退和/或 前進來顯示視頻。技巧模式可以通過各種類型的功能實 施，例如，暫停、美進、快退、跳過和/或跳回功能。 VRU 130可以用於提供給用戶通過技巧模式操作來改善觀 看控制的機會。根據技巧模式的類型，VRU 13〇可以用於 ，例如，通過跳過高層圖片來選擇關鍵圖片以便按勻加 速顯示速率來顯示三維視頻》VRU 130的例子可以包括， 例如，機頂盒、個人電腦等。 在示範性運行中，VTU 11G可以用於獲取未壓縮三維視頻 。獲取的未壓縮三維視頻可以包括左視圖視頻和右視圖 視頻。VTU 110可以用於利用MPEG_4 MVC標準將獲取的 099133653 表單編號A0101 第10頁/共38頁 1003097016-0 [0039] 201143443 Ο [0040] 〇 [0041] 未壓縮三維視頻壓縮為基本視圖视頻和優化視圖視頻， 基本視圖視頻和優化視圖視頻分別包括不同編碼層的多 個圖片，例如低編碼層、中編碼層和高編碼層。較高編 碼層的圖片可以根據層次體系框架由較低編碼層的相鄰 圖片預測或生成。基本視圖視頻和優化視圖視頻中的圖 片可以屬於層次體系框架中的相應層次，並可以複合成 單一傳輸流以供傳輸。VRU 1 30可以用於分別解碼接收到 的基本視圖和優化視圖視頻中的圖片。VRU 130可以根據 相關層次體系框架的層間圖片依賴度來進行環境切換。 可以選擇基本視圖視頻和優化視圖視頻中的部分圖片解 碼顯示以支援PVR應用的技巧模式。 圖2是根據本發明實施例的用於根據層次體系框架編碼三 維視頻的示範性視頻發送單元的框圖。如圖2所示，示出 了視頻傳送單元（VTU) 200。VTU包接三維視頻源210、 基本視圖編碼器222、優化視圖編碼器224.以及複用器 230。 /义、·' . 三維視頻源210可以包括合適的邏輯、電路、介面和/或 代碼，用於捕獲未壓縮的三維視頻内容》捕獲的未壓縮 三維視頻包括左視圖視頻和右視圖視頻。三維視頻源21〇 可以用於向視頻編碼器，例如基本視圖編碼器222和優化 視圖編碼器224，傳送捕獲的未壓縮的三維視頻，以便將 其壓縮為基本視圖和優化視圖。 基本視圖編碼器222可以包括合適的邏輯、電路、介面和 /或代碼，用於將，例如，來自三維視頻源210的左視圖 視頻以圖片為單位編碼成基本視圖流。基本視圖編碼器 099133653 表單編號A0101 第Π頁/共38頁 1003097016-0 [0042] 201143443 222可以用於利用各種視頻壓縮演算法，例如MPEG-4多 視圖視頻編碼（MVC)、AVC、VC1、VP6和/或其他視頻 格式將來自三維視頻源210的左視圖視頻轉化為壓縮的或 編瑪的圖片。 [0043] 基本視圖視頻中的圖片可以在多個編碼層中生成，例如 低編碼層、中編碼層和南編碼層。每個編瑪層可以包括 多個壓縮圖片，這些壓縮圖片可以根據層次體系框架生 成，層次體系框架包括多個根據相應解碼性分層排布的 層次。相同編碼順序的圖片與相同的層次號碼相關聯。 基本視圖視頻中每幅生成的圖片都屬於某個層次。每個 層次可以包括相同或不同編碼層的基本視圖圖片和優化 視圖圖片。具有特定層次號碼的圖片可以不直接或間接 參考具有較高層次號碼的圖片。依賴於參考圖片的圖片 不會具有小於參考圖片層次號碼的層次號碼。就這一點 而言，基本視圖編碼器222可以用於從低編碼層開始生成 基本視圖圖片。 [0044] 對於低編碼層的每一幅基本視圖圖片，基本視圖編碼器 222可以用於在繼續預測低編碼層的下一幅基本視圖圖片 前跨越整個編碼層預測相關的相鄰基本視圖圖片。基本 視圖編碼器222可以用於生成低編碼層的基本視圖參考圖 片以預測相同編碼層的相應優化視圖圖片和相鄰基本視 圖圖片。中編碼層的相鄰基本視圖圖片可以由低編碼層 中生成的基本視圖參考圖片和預測的基本視圖圖片預測 而來。高編碼層的相鄰基本視圖圖片可以由中編碼層中 生成的基本視圖參考圖片和預測的基本視圖圖片預測而 099133653 表單編號A0101 第12頁/共38頁 1003097016-0 201143443 來。這個過程將持續下去以預測低編碼層的下一幅基本 視圖圖片和整個編碼層的相鄰基本視圖圖片。基本視圖 編碼過程中的資訊，例如場景資訊，可以傳送給優化视 圖編碼器224以供優化視圖編碼。 [0045] Ο
[0046] G 優化視圖編碼器224可以包括合適的邏輯、電路、介面和 /或代碼，用於將，例如，來自三維視頻源21〇的右視圖 視頻以圖片為單位編碼成優化視圖流。優化視圖編碼器 224可以用於利甩各種視頻壓縮演算法，例如MpEGy MVC、AVC、VC卜VP6和/或其他視頻格式將來自三維視 頻源210的右視圖視頻轉化為壓縮的或編碼的圖片。類似 於基本視圖編碼，優化視圖視頻中的囷片可以在多個編 碼層生成，例如低編碼層、中編碼層和高編碼層。每個 編碼層可以包括多個壓縮圖片，這些壓縮圖片是根據層 次體系框架生成的。 層次體系框架可以由多個分層廣布的層次根據相應的編 碼/解碼性而形成。相同編碼層的圖片可以與相同層次號 瑪相關聯。優化視圖視頻中每幅生,成的圖片可以屬於某 個層次。每個層次可以包括相同或不同編碼層的基本視 圖圖片和優化視圖圖片。具有特定層次號碼的圖片可以 不直接或間接參考具有較高層次號碼的圖片。依賴於參 考圖片的圖以會具有掃參考層次號碼的層次號 瑪。例如’優化視圖編瑪器224可以用於開始純編瑪層 的當前優化視圖圖片。低編碼層的當前優化視圖圖片可 以用於預測相同編瑪層的相鄰優化視圖圖片。中編碼層 的相鄰優化視圖圖片可以由低編碼層的當前優化視圖圖 099133653 表單編號A0101 第13頁/共38頁 1003097016-0 201143443 片和預測的優化視圖圖片預測而來。高編碼層的相鄰優 化視圖圖片可以由中編碼層中的當前優化視圖參考圖片 和預測的優化視圖圖片預測而來。這個過程將持續下去 以預測低編碼層的下一幅優化視圖圖片和整個編碼層的 相關相鄰優化視圖圖片。另外，在每個編碼層，優化視 圖圖片還可以由相同編碼層的相應基本視獨圖片預測而 來。 [0047] 複合器230可以包括合適的邏輯、電路、介面和/或代碼 ，用於將基本視圖和優化視圖中的壓縮圖片合併成單一 傳輸流（TS)以供發送。 [0048] 在示範性操作中，三維視頻源210可以用於捕獲未壓縮的 三維視頻内容，該三維視頻包括左視圖視頻和右視圖視 頻。可以將捕獲的未壓縮三維視頻壓縮成基本視圖視頻 和優化視圖視頻。基本視圖視頻和優化視圖視頻中的圖 片可以在低編碼層、中編碼層和南編碼層生成*母個編 碼層包括多個壓縮圖片。基本視圖編碼器2 2 2和優化視圖 編碼器224可以用於根據層次體系框架生成基本視圖視頻 和優化視圖視頻中的圖片。就這一點而言，基本視圖和 優化視圖圖片可以從低編碼層開始生成。對於低編碼層 中的每一對基本視圖圖片和優化視圖圖片，相關的相鄰 圖片可以在繼續預測低編碼層的下一幅基本視圖和優化 視圖圖片前跨越整個編碼層進行預測。另外，在每個編 碼層，可以通過關聯相同編碼層的相應基本視圖圖片來 預測優化視圖圖片。得到的基本視圖和優化視圖圖片可 以通過複用器230複合成單一傳輸流以供傳輸。 099133653 表單編號A0101 第14頁/共38頁 1003097016-0 201143443 ,[0049] 圖3疋根據本發明實施例的根據層次體系框架生成的示範 性壓输二认 咽二維視頻的框圖。如圖3所示，示出了分層三維視 頻洲·300 °分層的三維視頻流300包括編碼層310-330， Ο
G 分別對應於低層（層1)、中層（層2)和高層（層3)。 例如’利用MPEG-4 MVC標準在每個編碼層生成兩種編碼 視圖°在編碼層310生成基本視圖視頻310a和優化視圖視 頻310b。每個視頻流包括多個圖片，如圖所示的圖片 311-316、321-324以及33卜338。可以根據層次體系框 架生成或預測分層三維視頻流300中的圖片。層次體系框 架包括根據相應編碼/解碼性分層排布的多個層次。每個 層次包括多姐相同編碼順序的圖片。同一層次的圖片可 以來自不同視圖視頻和/或不同編碼層。例如1，當基本視 圖31 〇3中的圖片312和優化視圖31 Ob中的圖片314都具有 編碼順序2時，圖片312和圖片314可以與層次體系框架中 編碼順序2的層次相關聯。當低編碼層310中的圖片315和 中編碼層320中的圖片321都具有編碼順序3時，圖片315 和圖片321可以與層次體系框架中編序3的層次相關 聯。一個層次可以與層次索引號碼4即層次號碼相關聯 ’層次號碼可以根據相關圖片的編碼順序確定。每個層 次可以包括相同或不同編瑪層的基本視圖圖片和優化視 圖圖片。分層三維視頻流300中的每幅圖片可以屬於某一 層。具有特定層次號碼的圖片可以不直接或間接參考具 有較高層次號碼的圖片。依賴於參考圖片的圖片不會具 有小於參考圖片層次號碼的層次號碼。 [0050] 對於基本視圖圖片預測，預測過程可以開始於由基本視 099133653 表單編號A0101 第15買/共38頁 1003097016-0 201143443 圖圖片311來預測優化視圖圖片gw和基本視圖圖片3i2 。相關的相鄰基本視圖圖片，例如中編碼層3 2 〇中的基本 視圖圖片321和高編碼層330中的基本視圖圖片331可以 在預測與低編碼層310中下一個基本視圖圖片（基本視圖 圖片31 2 )相關的相鄰基本視圖圖片前進行預測。特別地 ，中編碼層320中的基本視圖圖片321可以由基本視圖圖 片311和基本視圖圖片312預測而來。高編碼層330中的 基本視圖圖片331可以由低編碼層310中的基本視圖圖片 311和中編碼層320中的基本視圖圖片321預測而來。預 測過程可以繼續於預測與下一個基本視圖圖片相關的相 鄰基本視圖圖片，下一個基本視圖圖片可以是，例如， 低編碼層310中的基本視圖圖.片312。， [0051] 對於優化視圖圖片預測，預測過程可以開始於由優化視 圖圖片314來預測相關的相鄰優化視圖圖片例如低編碼層 31 0中的優化圖片315。其他相關，的相鄰優化視圖圖片， 例如中編碼層320中的優化視圖圖片323和高編碼層330 中的優化視圖圖片335可以在預測與低編碼層310中下一 個優化視圖圖片（優化視圖圖片315)相關的相鄰優化視 圖圖片前進行預測。特別地，中編碼層320中的優化視圖 圖片323可以由優化視圖圖片314和優化視圖圖片315預 測而來。高編碼層330中的優化視圖圖片335可以由低編 碼層310中的優化視圖圖片314和中編碼層320中的優化 視圖圖片323預測而來。預測過程可以繼續於預測與下一 個優化視圖圖片相關的相鄰優化視圖圖片，下一個優化 視圖圖片可以是，例如，低編碼層310中的優化視圖圖片 099133653 表單編號A0101 第16頁/共38頁 1003097016-0 201143443 315。在每一個編碼層，優化視圖圖片預測可以根據同一 編碼層中相應的基本視圖圖片進行。 [0052] 圖4是根據本發明實施例的用於根據層次體系框架壓縮三 維視頻的示範性步驟的流程圖。如圖4所示，示範性步驟 開始於步驟402，其中未壓縮三維視頻需要編碼成基本視 圖視頻和優化視圖視頻。每個視圖可以在多個編碼層（ Ο 低、中和高）中編碼。在步驟404，基本視圖編碼器222 可以用於生成低編碼層的參考基本視圖圖片作為低編瑪 層的當前基本視圖圖片。在步驟406,低編碼層的當前基 本視圖圖片可以用於預測低編碼層中相應的優化視圖圖 片和相鄰基本視圖圖片。在步驟408，較高編碼層中其他 相關的相鄰基本視圖圖片可以由下一個低編碼層中的當 前基本視圖圖片和相關預測的相鄰基本視圖圖片預測而 來。例如，低編碼層310中的基本視圖圖片311的中編碼 層320中的相鄰基本視圖圖片可以由基本視圖圖片311和 預測的相鄰基本視圖圖片，例如，低編碼層310中的基本 視圖圖片312預測而來。在步驟410，可以確定低編碼層 中的每幅基本視圖圖片的相鄰基本視圖圖片是否可由預 測得到。當低編碼層中的每個基本視圖圖片的相鄰基本 視圖圖片確定為不可預測時，接下來在步驟412，低編碼 層中的當前基本視圖圖片可以由低編碼層中的下一幅可 用基本視圖圖片代替。示範性步驟可以返回到步驟406。 在步驟410，當低編碼層中的每個基本視圖圖片的相鄰基 本視圖圖片確定為可以預測時，接下來示範性步驟結束 於步驟414。 099133653 表單編號A0101 第17頁/共38頁 1003097016-0 [0053] 201143443 [0054] 在步驟416，低編碼層中預測的優化視圖圖片可以用作低 編碼層中的當前優化視圖圖片。在步驟418，低編碼層中 的相鄰優化視圖圖片可以由低編碼層中的相應基本視圖 圖片和當前優化視圖圖片預測而來。在步驟420，較高編 碼層中的其他相鄰優化視圖圖片可以由同一編碼層中的 相應基本視圖圖片、低編碼層中的當前優化視圖圖片以 及下一個低編碼層中的相關預測的相鄰優化視圖圖片預 測而來。在步驟422，可以確定低編碼層中的每幅優化視 圖圖片的相鄰優化視圖圖片是否可由預測得到。當低編 碼層中的每幅優化視圖圖片的相鄰優化視圖圖片確定為 不可預測時，接下來在步驟424，低編碼層中的當前優化 視圖圖片可以由低編碼層中的下一幅可用優化視圖圖片 代替。示範性步驟可以返回到步驟420。 [0055] 在步驟422，當低編碼層中的每幅優化視圖圖片的相鄰基 本視圖圖片確定為可以預測時，接下來示範性步驟結束 於步驟414。 [0056] 圖5是根據本發明實施例的用於利用壓縮三維視頻固有層 次體系框架來支援三維視頻的技巧模式操作的示範性視 頻接收單元的框圖。如圖5所示，示出了視頻接收單元（ VRU) 500。VRU 500包括傳輸解複合器502、基本視圖 Rx緩存區504、優化視圖Rx緩存區506、基本視圖解碼器 508、優化視圖解碼器510、合成器512、視頻顯示設備 514、技巧模式控制器516、主處理器518以及記憶體520 〇 [0057] 傳輸解複合器502可以包括合適的邏輯、電路、介面和/ 099133653 表單編號A0101 第18頁/共38頁 1003097016-0 201143443 Ο 或代碼，用於解複合或解析從VTU η〇接收到的傳輸流。 接收到的傳輸流是一種包含多個流的複合流，這些流可 以是，例如壓縮三維視頻的基本視圖流和優化視圖流。 傳輸解複合器502可以用於從接收到的傳輸流中提取基本 視圖流和優化視圖視頻流。提取的基本視圖流和提取的 優化視圖流中的圖片可以分別緩存在基本視圖Rx緩存區 504和優化視圖Rx緩存區506中以供視頻解碼。就這一點 而言，提取的基本視圖流和提取的優化視圖流中的圖片 可以根據層次體系框架生成。固有的層間圖片依賴度可 以用於在提取的基本视圖流和/或提取的優化視圖流中選 擇部分圖片以供視頻解碼，這樣就可以實現技巧模式的 操作。 ，„ - [0058] Ο 基本視圖Rx緩存區504和優化視圖RX緩存區5〇6可以包括 合適的邏輯、電路、介面和/或代碼，分別用於緩衝或存 儲提取的基本視圖以及優化視圖，圖片》基本視圖!^緩存 區504和優化視圖Rx緩存區506可以選擇，地緩存圖片以 供視頻解碼。就這一點而言-'善矣視圖Rx緩存區504和優 化視圖Rx緩存區506可以由技巧模式控制器514管理，以 便緩存用於視頻解碼的選定的部分圖片。基本視圖以緩 存區504和優化視圖Rx缓存區506可以用於分別向基本視 圖解碼器508和/或優化視圖解碼器510提供緩存的圖片以 供視頻解碼。 基本視圖解碼器508可以包括合適的邏輯、電路、介面和 /或代碼，用於解碼從基本視圖Rx緩存區504接收到的圖 片。基本視圖解碼器508可以用於將這些圖片解碼成，例 099133653 表單編號A0101 第19頁/共38頁 1003097016-0 [0059] 201143443 士左視圖視頻。基本視圖解石馬器5〇8可以用於根據相關 層次體系框架中表明的具體編竭順序來解碼這些圖片。 基本視圖解碼器5 〇 8可以用於根據相應環境資訊例如相關 編碼層來自適應解碼這些圖片。基本視圖解碼器5〇8可以 用於利用各種視頻解壓縮演算法，例如MPEG —4 MVC、 AVC、VC1、VP6和/或其他視頻格式將來形成解壓縮或解 碼的基本視圖視頻内容。可以將基本視圖解碼過程中的 資訊’例如場景資訊，傳送給優化視圖解碼器510以便進 行優化視圖解碼。 [麵]優化視圖解碼器5丨0可以包括合適的邏輯、電路、介面和 /或代碼’用#解碼來自優化視圖Rx緩存區506的圖片。 優化視圖解碼器51〇可以用於將這些圖片解碼成，例如， 右視圖視頻。優化視圖解碼器51 0可以用於根據相關層次 體系框架中表明的具體編碼順序來解碼這些圖片。優化 視圖解碼器5 1 〇可以用於根據相應環境資訊例如相關編碼 層來自適應解碼這些圖片。優化視圖解石馬器510可以用於 利用各種視頻解壓縮演算法，例如MPEG-4 MVC、AVC、 VC1、VP6和/或其他視頻格式將來形成解壓縮或解碼的優 化視圖視頻内容。 [0061] 合成器512可以包括合適的邏輯、電路、介面和/或代碼 ，用於將得到的左視圖和右視圖圖片合成三維圖片以便 按預定迷率顯示。合成器512可以用於通過視頻顯示設備 514以各種技巧模式向用戶展示三維圖片，這些技巧模式 包括暫停、快進、快退、跳過和/或跳回。 [0062] 視頻顯示設備514可以包括合適的邏輯、電路和/或代石馬 099133653 表單編號 A0101 第 20 頁/共 38 頁 1003097016-0 201143443 ，用於顯示從合成器512接收的三維視頻圖片。 [0063] Ο 技巧模式控制器51 6可以包括合適的邏輯、電路和/或代 碼’用於從接收到的基本視圖流和優化視圖流中選擇或 識別部分圖片。選定的圖片可以存儲在基本視圖RX緩存 區504和/或優化視圖緩存區506中以供視頻解碼來實現相 應功能，例如倒退速度。就這一點而言，接收到的基本 視圖流和優化視圖流中的圖片可以根據固有層次體系框 架來選擇。技巧模式控制器516可以用於利用固有的層間 圖片依賴度來選擇用於視頻解碼的部分圖片。技巧模式 控制器51 6可以用於根據，例如，技巧模式麟型，來確定 倒退速度，以完成技巧模式的有效操作。例如，對於快 進（FF)技巧模式，技巧模式控制器516可以用於從基本 視圊流和優化視圖流中優先選擇關鍵圖片來解碼以供顯 示或展示。為技巧模式選擇的關鍵圖片可以包括，例如 ，I-圖片、P-圖片和/或較低編碼層圖片。 [0064] Ο 主處理器518可以包括合適的邏輯、電路介面和/或代碼 ，用於操縱及控制相關單元的運行，例如傳輸解複合器 502和/或技巧模式控制器516，以支援各種應用，例如， PVR系統中的技巧模式。 [0065] s己憶體520可以包括合適的邏輯、電路、介面和/或代碼 ，用於存儲VRU 500可能使用的資訊，例如可執行指令和 資料。可執行指令可以包括各種圖像處理函數，這些函 數了以由基本視圖解碼器508和優化視圖解碼器51〇用來 處理處理解碼的視頻内容。可執行指令可以包括圖片選 擇演算法，該演算法可以由技巧模式控制器5丨6用來支援 099133653 表單編號A0101 第21頁/共38頁 1003097016-0 201143443 二維視頻的技巧模式。資料可以包括接收到的傳輸流資 料和解碼的視頻内容1憶體㈣可以包括議、㈣、 以㈣記Μ為例的低延遲非易失性記憶體和/或其他合 適的電子資料記憶體。 [0066] 在操作中’VRU 500可以用於通過傳輸解複合器5〇2從 VTU 200接收傳輸流。傳輸解複合器5〇2可以用於將接收 到的傳輸流解複合或解析成壓縮三維視頻的基本視圖流 和優化視圖流。基本視圖流和優化視圖流中的圖片可以 分別緩存在基本視圖rx緩存區5〇4和優化視圖Rx緩存區 506中以供視頻解碼。為實行技巧模式，基本視圖流和優 化視圖流中的圖片可以分別邃擇性緩存在基本視圖Rx緩 存區504和優化視圖Rx緩存區506中。技巧模式控制器 516可以用於從接收到的基本視圖流和優化視圖流中選擇 部分圖片。選定的圖片可以存儲在基本視圖Rx緩存區5〇4 和/或優化視圖RX緩存區5Q6中以供視頻解碼。技巧模式 控制器516可以用於根據技巧模式類鸯，刼如FF技巧模式 ’來伙基本視圖流或優岸购圖流中識別具體圖片，例 如關鍵圖片，以實行有效地技巧模式操作。選定的關鍵 圖片可以包括，例如，1_圖片、P—圖片和/或較低編碼層 圖片。就這一點而言，基本視圖編碼和優化視圖編碼可 以根據相關的固有層次體系框架來執行。基本視圖解碼 器508和/或優化視圖解碼器510可以根據相關環境資訊例 如相關的編碼層來自適應解碼圖片。可以將選定的圖片 解碼成二維視頻的左視圖視頻和右視圖視頻。得到的左 和右視圖視頻可以通過合成器51 2結合以通過視頻顯示設 099133653 表單编號A0HJ1 第22頁/共38頁 1003097016-0 201143443 備514向觀眾顯示。 [0067] Ο ο [0068] 圖6是根據本發明實施例的基於層次體系框架生成的可獨 立解碼的支援4xFF技巧模式的壓縮三維視頻的框圖。如 圖6所示’示出了可獨立解碼的壓縮三維視頻6〇〇。可獨 立解碼的壓縮三維視頻600包括基本視圖視頻61〇和優化 視圖視頻620。基本視圖視頻610包括多個基本視圖圖片 ’如圖所示的基本視圖圖片612-616。優化視圖圖片620 包括多個優化視圖圖片，如圖所示的優化視圖圖片 622-626。可獨立解碼的壓縮三維视頻6〇〇中的圖片可以 根據如圖3所示的層次體系框架生成。每一層包括相同編 碼順序的圖片。例如，如圖好所示，第二:層:可以只包括圖 片612。圖片614和622可以形成第二層《根據應用，可 以選擇可獨立解碼的壓縮三維視頻600中的部分圖片來實 現技巧模式的相應倒退速度。例如，通過從可獨立解碼 的壓縮三維視頻6〇〇的四幅圖片申選擇一巾|以便解碼顯示 給觀眾’就可以實現4XFF技巧模式。就這一點而言，可 以優先選擇關鍵圖片，例如I-圖片、Ρ-圖片和/或基本視 圖圖片來解碼以實行技巧模式。 圖7是根據本發明實施例的基於層次體系框架生成的支援 2xFF技巧模式的分層壓縮三維視頻的框圖。如圖7所示， 示出了分層壓縮三維視頻700。分層壓縮三維視頻700包 括低編碼層710和高編碼層720。利用MPEG-4 MVC標準 在每個編碼層生成兩種編瑪視圖。例如，在低編碼層710 生成基本視圖視頻流710a和優化視圖視頻流710b。每個 視圖流包括多個圖片，分別如圖所示的低編碼層710中的 099133653 表單編號A0101 第23頁/共38頁 1003097016-0 201143443 圖片711—m和高編蜗層72〇中的圖片72卜724。基本视 圖視頻流71〇a可以包括各種類型的圖片例如卜圖片 、P—圖片 712和713 p @ T Uhp—圖片712和713可以根據I-圖 片7U編碼或預測而來。優化視圖視頻流710b可以包括各 種類型的圖片，例‘ n ’P一圖片714-716。分層壓縮三維 圖片可以根據如圖3所示的層次體系框架生 成。每層包括相同蝙褐順序的圖片。例如，如圖7所示’ 第層可以只包括圖片711。圖片712和714可以形成第 層®片715和721可以形成第三層，以此類推。可以 根據應用選擇分層I縮三維視訓种的部分圖片來實現 各個技巧模式的倒退速度。例如，2XFF技巧模式可以通 過從分層壓縮三維視咖G中的兩歸片中選出-幅來解 碼顯不而實現。就這—點而言，可以優先選擇關鍵圖片 例如I-圖片、P-圖片、低編碼層圖片和核基本視圖圖片 來解碼以支援技巧模式。 [0069] 圖8是根據本發明實施例㈣於按技巧模式展示三維視頻 的示範性步驟的流程圏。如圖8所示，示範性步驟開始於 步驟802 ’其中VRU 500可以用於接收壓縮三維視頻。接 收到的壓縮二維視頻中的圖片可以根據如圖3所示的層次 體系框架生成。在步驟804，需要確定是否需要技巧模式 。當需要技巧模式時，跳向步驟8〇6，識別或選擇接收到 的壓縮三維視頻中的基本視圖和優化視圖的部分圖片以 便顯示。在步驟808，基本視圖和優化視圖中確定的部分 圖片可以通過基本視圖解碼器508和/或優化視圖解碼 510解碼。在步驟810，VRU 500可以用於在視頻顯示設 099133653 表單編號A0101 第24頁/共38頁 1003097016-0 201143443 備514上向觀眾顯示解碼的圖片。示範性步驟結束於步驟 814。 [0070] 在步驟804，當不需要技巧模式時，跳到步驟812，其中 接收到的壓縮三維視頻中的基本視圖和優化視圖的圖片 可以分別通過基本視圖解碼器508和優化視圖解碼器51〇 解碼。示範性步驟繼續於步驟81 〇。 [0071] Ο 本發明提供了 一種利用層次體系框架進行三維視頻解碼 的方法和系統。根據本發明的各種實施例，VRU 5〇〇可以 用於從VTU 200接收聲缩:的三維視頻β接收到的壓縮的三 維視頻可以進行分層並預測。可以選擇接收到的壓縮三 維視頻中的部分圖片來解碼以便按預意速率向觀眾顯示 。壓縮的三維視頻可以包括基本視圖視頻和優化視圖視 頻’它們分別包括多個分層圖片。基本視圖視頻和優化 試圖視頻中的這多個分層圖片可以分別通過如圖2和圖3 所示的層次體系框架生成。層次體系柩架可以包括多個 ο 根據相應解碼性分層排布的層次。就這—點而令，基本 視圖視頻和優化視圖視頻中的每幅圖片可以屬於夕個層 中的某一層。多個層中某一特定層的圖片可以不直接或 間接依賴於較高層的圖片。每層可以包括_幅或多 有相同編碼順序的圖片。VRU 500可以用於處理， 、， 例如千 行解碼具有相同編瑪順序的一幅或多幅圖片。VRU 5〇〇還 可以用於根據相應編碼層資訊自適應解碼選定的部八s 片。要選擇的圖片和圖片號碼可以根據預定的顯示速率 確定* [0072] 本發明的另一個實施例可以提供一種機 099133653 表單編號A0101 第25頁/共38頁 器和/或電腦可讀 1003097016-0 201143443 6己憶體和/或媒介，就 包括至少—個代碼内存儲的機器代碼和/或電腦程式 電腦執行，從而使至少—個代碼段由機器和/或 系框架進行三維視或電腦執行上述利用層次體 頰解碼的方法和系統的步驟。 [0073] [0074] =現本=可，硬L，或者軟、硬體結合 术貫現。本發明可 實現， 啦主少―個電腦系統中以集中方式 以分散方式實互連的電腦系統中的不同部分 設備都是可_的1 =實現方法的電腦系統或其他 腦程m 常用軚豫體的結合可以是安裝有電 絲式的通用電腦系統過㈣m 系統，使其按方法運行/過*裝和執讀式控制電腦 本發明還可輯過電腦程式產品 能夠實現本發明方法沾入 進灯貫舍裝紅式3 , 的玉部特徵，當其安裝到電腦系統 ’ a可Λ實現本發明的方法。本文件巾的電腦程式所 可以採用任何程式語言'代碼或符號編寫的一 組指令的任何運算式，該指令組使系統具有資訊處理能 力’以直接實現特定功能，或在進行下述—個或兩個步 驟之後實現狀贱：a)轉換成其他語言 、解碼或符號 ，b)以不同的格式再現。 [0075] 雖然本發日肢通過具體實_進行說_，本領域技術 人員應H日月自’在不脫離本發明範圍的情況下，還可以 對本發明進仃各種變換及等同替代。另外，針對特定情 升7或材料，可以對本發明做各種修改而不脫離本發明 的㈣因此，本發明不局限於所公開的具體實施例’ 099133653 而應當包括落入本發明權利要求範 表單編號A0101 第26頁/共38頁 圍内的全部實施方式 1003097016-0 201143443 [0076] [0077] [0078] Ο [0079] [0080] [0081] Ο [0082] [0083] [0084] [0085] 【圖式簡單說明】 圖1是根據本發明實施例 維视頻編碼並支援：唯二 層德架執行三 摔作m 現頻的技巧模式（trick mode) '、作的不祕視頻編碼^的框圖： 圖3 圖 維 圖5是根據本發明實施例的用於利用維視頻固有層 次體系框架來支援三維視頻的技巧模式操作 頻接收單元的框圖； 的示範性視 099133653 圖6是根據本發明實施例的基於層次體系框架生成的可獨 立解碼的支援4xFF技巧模式的壓縮三維視頻的框圖； 圖7是根據本發明實施例的基於層次體系框架生成的支援 2xFF技巧模式的分層壓縮三維視頻的框圖； 圖8是根據本發明實施例的用於按技巧模式展示三維視頻 的示範性步驟的流程圖。 【主要元件符號說明】 視頻傳送單元（VTU) 110通信網路12〇 視頻接收單元（VRU) 13〇視頻傳送單元（ντυ) 200 第27頁/共38頁 表單編號Α0101 1003097016-0 201143443 [0086] 三維視頻源210基本視圖編碼器222 [0087] 優化視圖編碼器224複用器230 [0088] 分層三維視頻流300低編碼層310 [0089] 基本視圖視頻 310a優化視圖視頻310b [0090] 圖片 311 - 316 中編碼層3 2 0 [0091] 圖片 321-324 向編碼層3 3 0 [0092] 圖片 331 -338 視頻接收單元（VRU) 500 [0093] 傳輸解複合器 5 0 2基本視圖R X緩存區 504 [0094] 優化視圖Rx緩存區506基本視圖解碼器508 [0095] 優化視圖解碼器510合成器512 [0096] 視頻顯示設備 514技巧模式控制器516 [0097] 主處理器518 記憶體52 0 [0098] 可獨立解碼的壓縮三維視頻600 [0099] 基本視圖視頻 610 [0100] 基本視圖圖片 612-616優化視圖視頻 620 [0101] 優化視圖圖片 622-626分層壓縮三維視頻700 [0102] 低編碼層71 0 基本視圖視頻流710a [0103] 優化視圖視頻流710b圖片711-716 [0104] 南編碼層7 2 0 圖片 721 —724 099133653 表單編號A0101 第28頁/共38頁 1003097016-0