TW201541945A - 用於視訊解碼的方法 - Google Patents

Abstract

本發明提出一種依據空間次分割的視訊編碼方法和視訊解碼方法。上述視訊編碼方法包括：分割圖像成為兩個或更多個像磚及至少一個片段區段；對各像磚編碼，其獨立於其他像磚；以及對包括於當前像磚中的各片段區段，自包括於當前片段區段中的最大編碼單元當中，編碼包括於當前像磚中的最大編碼單元。

Description

用於視訊解碼的方法

本發明是相關於依據空間次分割的編碼／解碼視訊的方法。

作為用於重製與儲存高解析度或高畫質視訊內容的硬體正被開發與提供，用於視訊解編器（codec）以有效率地對高解析度或高畫質視訊內容進行編碼或解碼的需求逐漸增加。依據傳統的視訊解編器，對視訊編碼為依據基於具有預設尺寸（size）的大區塊（macroblock）的有限編碼方法。

將空間域的影像資料經由頻率轉換傳送至頻率域的係數。依據視訊解編器，為頻率轉換的快速計算，影像切割（split）成為具有預定尺寸的區塊，並對各個別的區塊執行離散餘弦轉換（discrete consine transformation，DCT），且對區塊單元中的頻率係數進行編碼。與空間區域的影像資料進行比較，可輕易壓縮頻率區域的係數。具體而言，由於空間區域的影像畫素（pixel）值為依據經由視訊解編器的畫面間（inter）預測或畫面內（intra）預測的預測誤差來表達，當對預測誤差執行頻率轉換時，可能將龐大資料量轉換成0。依據視訊解編器，可藉由以小量（small-size）資料置換連續地與重複地產生的資料來降低資料量。

具體而言，高解析度(又稱高清晰度)或高畫質視訊內容的資料大小逐漸增大，且因此，在空間地分割視訊後處理視訊的需求也逐漸增加。

技術問題

本發明提供一種有效率地對高解析度視訊的各空間分割區域進行編碼與解碼的方法。 技術方案

依據本發明的一方面提供一種依據空間次分割的視訊編碼方法，上述方法包括：分割圖像成為兩個或更多個像磚（tile）及至少一個片段區段（slice segment）；對各像磚編碼，其獨立於其他像磚；以及對包括於當前像磚中的各片段區段，自包括於當前（current）片段區段中的最大編碼單元（maximum coding unit）當中，對包括於當前像磚中的最大編碼單元編碼。 優點功效

依據本發明空間次分割的視訊編碼與解碼方法，將清楚定義像磚、片段區段及片段之間的關係，以便清楚規範用於像磚之間的界限（boundary）、片段區段之間的界限及片段之間的界限的參考物件的最大編碼單元的可達性。

並且，由於片段區段標頭（header）包括代表當前片段區段是否為圖像之初始片段區段的資訊，且當片段區段為初始片段區段時，片段區段標頭不包括代表當前片段區段是否為非獨立（dependent）片段區段的資訊，則可能減少用於傳送標頭資訊的傳輸位元量，且可能略過用於解析標頭資訊的非必較解析操作。 最佳模式

依據本發明的一方面提供一種依據空間次分割的視訊編碼方法，上述方法包括：分割圖像成為兩個或更多個像磚及至少一個片段區段；對各像磚編碼，其獨立於其他像磚；以及對包括於當前像磚中的各片段區段，自包括於當前片段區段中的最大編碼單元當中，對包括於當前像磚中的最大編碼單元編碼。

編碼於各片段區段中的執行可包括：對包括於當前像磚中的至少一個片段區段的每一，對包括於當前片段區段中的多個最大編碼單元編碼，其中上述至少一個片段區段未跨越過當前像磚的界限。

(i)包括於一個片段區段中的最大編碼單元可包括於相同的像磚中，(ii)包括於一個像磚中的最大編碼單元可包括於相同的片段區段中，以及(iii)包括於一個片段區段中的最大編碼單元可包括於相同的像磚中，且同時，包括於一個像磚中的最大編碼單元可包括於一個相同片段區段中。

當上述片段區段是獨立片段區段，且一個片段包括一個獨立片段區段及至少一個非獨立片段時，上述獨立（independent）片段區段可不使用非獨立（dependent）區段或先前（pervious）片段區段的片段標頭（header）資訊，(i)包括於一個片段中的最大編碼單元可包括於相同的像磚中，(ii)包括於一個像磚中的最大編碼單元可包括於相同的片段中，以及(iii)包括於一個片段中的最大編碼單元可包括於相同的像磚中，且同時，包括於一個像磚中的最大編碼單元可包括於一個相同片段中。

依據本發明的另一方面提供一種依據空間次分割的視訊編碼方法，上述方法包括：對相關於至少一個片段區段的圖像編碼；產生包括資訊的片段區段標頭，上述資訊代表當前片段區段是否為當前圖像中的初始片段區段；若上述當前片段區段不為初始片段區段，則增加資訊至上述片段區段標頭，上述資訊代表當前片段區段是否為非獨立片段區段，且上述非獨立片段區段使用先前片段區段的片段標頭資訊；以及傳送片段區段標頭及各片段區段的片段區段的符碼（symbol）。

增加代表上述片段區段是否為上述非獨立片段區段的資訊至上述片段區段標頭可包括：若當前片段區段不為非獨立片段區段標頭，則增加有關於當前片段區段的預設資訊至片段區段標頭；以及若當前片段區段為非獨立片段區段，則略過增加有關於當前片段區段的一些預設資訊至片段區段標頭。

依據本發明的另一方面提供一種依據空間次分割的視訊解碼方法，上述方法包括：接收位元串流，上述位元串流藉由分割圖像成為兩個或更多個像磚及至少一個片段區段且完成編碼來獲取；對各像磚解碼，其獨立於其他像磚；以及對包括於當前像磚中的各片段區段，自包括於當前片段區段中的最大編碼單元當中，解碼包括於當前像磚中的最大編碼單元。

對各片段區段解碼可包括：對包括於當前像磚中的至少一個片段區段的每一，對包括於上述當前片段區段中的多個最大編碼單元進行解碼，且上述至少一個片段區段未跨越過當前像磚的界限。

(i)包括於一個片段區段中的最大編碼單元可包括於相同的像磚中，(ii)包括於一個像磚中的最大編碼單元可包括於相同的片段區段中，以及(iii)包括於一個片段區段中的最大編碼單元可包括於相同的像磚中，且同時，包括於一個像磚中的最大編碼單元可包括於一個相同片段區段中。

當上述片段區段是獨立片段區段，且一個片段包括一個獨立片段區段及至少一個非獨立片段時，上述獨立片段區段可不使用非獨立區段或先前片段區段的片段標頭資訊，(i)包括於一個片段中的最大編碼單元可包括於相同的像磚中，而包括於一個像磚中的最大編碼單元可包括於相同的片段中，以及(iii)包括於一個片段中的最大編碼單元可包括於相同的像磚中，且同時，包括於一個像磚中的最大編碼單元可包括於一個相同片段中。

依據本發明的另一方面提供一種依據空間次分割的視訊解碼方法，上述方法包括：接收來自各片段區段的位元串流，上述位元串流包括片段區段標頭及符碼；解析來自當前片段區段標頭的資訊，上述資訊代表當前片段區段是否為當前圖像中的初始片段區段；若當前片段區段不為上述初始片段區段，則解析來自當前片段區段標頭的資訊，上述資訊代表當前片段區段是否為使用先前片段區段的片段標頭資訊的非獨立片段區段；以及藉由使用解析來自當前片段區段標頭的資訊及當前片段區段的符碼，對當前片段區段解碼。

解析代表上述當前片段區段是否為非獨立片段區段可包括：若當前片段區段不為非獨立片段區段，則解析來自當前片段區段標頭的預設資訊，上述預設資訊有關於當前片段區段；以及若依據所解析的資訊，當前片段區段為非獨立片段區段，則藉由使用解析來自先前片段區段標頭的資訊以決定預設資訊，上述預設資訊有關於當前片段區段。

依據本發明的另一方面提供一種依據空間次分割的視訊編碼裝置，上述裝置包括：次區域（sub-region）分割器，用以分割圖像成為兩個或更多個像磚及至少一個片段區段；次區域編碼器，用以獨立於其他像磚來編碼各像磚，且對包括於當前像磚中的各片段區段，自包括於當前片段區段中的最大編碼單元當中，對包括於當前像磚中的最大編碼單元編碼。

依據本發明的另一方面提供一種依據空間次分割的視訊解碼裝置，上述裝置包括：次區域接收器，用以接收位元串流，上述位元串流藉由分割圖像成為兩個或更多個像磚及至少一個片段區段且已編碼來獲取；次區域解碼器，用以獨立於其他像磚來對各像磚解碼，且對包括於當前像磚中的各片段區段，自包括於當前片段區段中的最大編碼單元當中，解碼包括於當前像磚中的最大編碼單元。

依據本發明的另一方面提供一種電腦可讀取記錄媒體，在上述電腦可讀取記錄媒體上記錄用以執行依據上述說明的方法的程式。

下文中，空間次分割中的視訊編碼及解碼方法將隨參照圖1A至圖7以說明。並且，使用量化參數決定（quantization parameter determination）方法的視訊編碼方法及視訊解碼裝置將隨參照圖8至圖20以說明，其中量化參數決定方法是基於擁有樹狀結構（tree structure）的編碼單元（coding unit）。此外，多種實施例用於依據本發明實施例的視訊編碼及解碼方法將隨參照圖21至圖27以說明。下文中，名詞”影像（image）”可視為靜態影像（still image）或動畫（moving picture）（即，視訊）。

首先，請參照圖1A至圖7，將說明依據本發明實施例的空間次分割中的視訊編碼方法及空間次分割中的視訊解碼方法。

圖1A是依據本發明一個實施例的藉由空間次分割編碼的視訊編碼裝置101的方塊圖。圖1B繪示藉由圖1A的視訊編碼裝置101執行的視訊編碼方法（105）的流程圖。

依據本實施例的視訊編碼裝置101包括次區域分割器102和次區域編碼器104。

在步驟S106中，依據實施例的次區域分割器102可分割圖像成為兩個或更多個像磚及至少一個片段區段。

在步驟S107中，依據實施例的次區域編碼器104獨立地對各像磚編碼，且可對各片段區段編碼。

本實施例的視訊編碼處理可分類成為源（source）編碼處理及熵（entropy）編碼處理，其中在源編碼中肇因於影像資料的時間（temporal）和空間相似度的重疊資料被最小化，而熵編碼處理中經過源編碼處理所產生的資料的位元字串（bitstring）中的冗餘（redundancy）被最小化。依據本實施例的次區域編碼器104執行源編碼於構成的視訊的各圖像的區塊（block）單元以產生編碼符碼。源編碼處理包括畫面內預測（intra prediction）/畫面間預測（inter prediction）、轉換及用於對區塊單元的空間域（domain）的視訊資料的量化。如源編碼處理的結果，可於各區塊中產生編碼符碼。舉例而言，編碼符碼可為殘餘（residual）單元的量化轉換係數、移動向量（motion vector）、畫面內模式形式、畫面間模式形式和量化參數。

本實施例的熵編碼可分類成二元化（binarization）處理及算術（arithmetic）編碼處理，其中二元化處理用以轉換符碼至位元字串，而算術編碼處理基於內文（context）執行算術編碼於位元字串。內文基礎自適應性二進位算術編碼（Context-based adaptive binary arithmetic coding，CABAC）用於符碼編碼為廣泛使用的基於內文的算術編碼方法。依據內文基礎算術編碼/解碼，符碼位元字串的各位元可為內文的個別位元（bin），且各位元的位置可映射至bin索引。位元字串的長度(即，bin的長度)可依據符碼值的大小變動。用以決定符碼的內文的內文模組化是需要執行內文基礎算術編碼/解碼。

內文依據符碼位元字串的位元的位置來更新，即，於各bin索引中，用以執行內文模組化，且因而需要複雜的操作處理。於此，內文模組化為分析機率的處理，其中機率為產生0或1於各bin中的機率。藉由反映由新區塊中位元單元分析符碼的機率的結果以更新內文至內文的處理迄今為止可重複地處理於各區塊。如包括內文模組化結果的資訊，可提供機率表，機率表中的產生（generation）機率匹配於各bin。依據本發明實施例的熵編碼機率資訊可包括內文模組化結果。

因此，當確認內文模組化資訊（即，熵編碼機率資訊）時，可基於熵編碼機率資訊的內文藉由分配碼（code）至各位元於區塊符碼的二進制化（binarized）位元字串中以執行熵編碼。

並且，熵編碼為基於內文藉由算術編碼/解碼以執行，且可於各區塊中更新符碼碼機率資訊（symbol code probability information）。由於藉由使用所更新的符碼碼機率資訊以執行熵編碼，可因此改善壓縮率。

依據本發明的多種實施例的視訊編碼方法不受限於用於”區塊”的視訊編碼方式，且可用於多種資料單元。

為了有效率地執行視訊編碼，視訊分割成為具有預定尺寸的區塊，且接著編碼。區塊可具有方形或矩形（rectangular shape），或可具有任意幾何形狀，但區塊不受限於具有預定尺寸的資料單元。依據基於具有樹狀結構的編碼單元的視訊編碼方法，區塊可為最大編碼單元、編碼單元、預測單元、轉換單元或諸如此類。基於具有樹狀結構的編碼單元的視訊編碼/解碼將隨參照圖8至圖20以說明。

圖像中的區塊依據光柵掃描(raster scanning或稱行式掃描)方向來編碼。

次區域分割器102分割圖像成為一個或更多個像磚，且各像磚可包括依據圖像的區塊中光柵方向所排列的區塊。圖像可分割成一個或更多個垂直列的像磚、一個或更多個水平列的像磚或一個或更多個垂直列及一個或更多個水平列的像磚。各像磚分割空間區域，且次區域編碼器104可獨立地對各像磚編碼，以便對各空間區域編碼（步驟S107）。

由於各片段區段包括排列於光柵方向的區塊，因此次區域分割器102可藉由分割圖像於水平方向以產生片段區塊。圖像可分割成為一個或多個片段區塊。各片段區塊可透過一個網路調適層（network adaptation layer，NAL）傳送。

本發明實施例的次區域編碼器104可執行編碼於片段區段。次區域編碼器104依次執行編碼於包括於各片段區段中的區塊以產生區塊的編碼符碼。一個NAL單元中可包括區塊的編碼資料，以傳送於各片段區塊中。各像磚可包括至少一個片段區段。若需要，片段區段可包括至少一個像磚。

依據實施例，若各片段區段的區塊為包括依據樹狀結構的編碼單元的最大編碼單元時，片段區段與像磚之間的關係可符合下列條件之一：（i）包括於一個片段區段中的最大編碼單元可包括於相同的像磚中，（ii）包括於一個像磚中的最大編碼單元可包括於相同的片段區段中，以及（iii）包括於一個片段區段中的最大編碼單元可包括於相同的像磚中，且同時，包括於一個像磚中的最大編碼單元可包括於一個相同片段區段中。上述條件中，若包括於一個片段區段中的最大編碼單元為包括於相同的像磚中，可決定片段區段未跨越過當前像磚的界限。即，像磚中必須完全地包括各片段區段。即，相同的像磚中可包括片段區段中的最大編碼單元其中的第一個最大編碼單元和最後一個最大編碼單元。具體而言，若當前片段區段的第一個最大編碼單元位於像磚的中央部份，則當前片段區段必須不跨越過當前像磚的界限。

並且，片段區段可分類成為非獨立片段區段和獨立片段區段。

若當前片度區段為非獨立片段區段，可執行畫內（in-picture）預測，其中畫內預測參照先前片段區段的編碼符碼，且其中於當前片段區段前先對先前片段區段編碼。並且，若當前片段區段為非獨立片段區段，可執行非獨立熵編碼，其中熵編碼參照先前片段區段的熵資訊。

若當前片段區段為獨立片段區段，將不執行參照先前片段區段的編碼符碼的畫內預測，且不參照先前片段區段的熵資訊。

本實施例的一片段可包括一獨立片段區段及至少一非獨立片段區段，其中非獨立片段區段依據光柵掃描方向相繼著獨立片段區段。一獨立片段區段可配置一片段。

依據本發明實施例，若各片段區段及片段的區塊為依據樹狀結構包括編碼單元的最大編碼單元，片段與像磚之間的關係可符合下列條件之一：（i）包括於一個片段中的最大編碼單元包括於相同的像磚中，（ii）包括於一個像磚中的最大編碼單元包括於相同的片段中，以及（iii）包括於一個片段中的最大編碼單元包括於相同的像磚中，且於相同時間，包括於一個像磚中的最大編碼單元可包括於相同的片段中。

本實施例的次區域編碼器104可對各像磚編碼，獨立於其他像磚。於各像磚中，次區域編碼器104依序對包括於當前像磚中的最大編碼單元進行編碼。

並且，在各片段區段中，本實施例的次區域編碼器104可於當前片段區段中編碼最大編碼單元。包括於當前片段區段中的最大編碼單元之中，依據當前像磚中的編碼順序，可對包括於預定像磚中的最大編碼單元編碼。

當當前像磚中包括當前片段區段的所有最大編碼單元時，本實施例的次區域編碼器104可依據當前像磚中的光柵掃描順序對包括於當前片段區段中的多個最大編碼單元進行編碼。在此情況中，由於當前像磚未跨越過當前像磚的界限，因此當前片段區段的最大編碼單元不會位於當前像磚的界限之外。在此情況中，本發明實施例的次區域編碼器104可依序對包括於各像磚中的至少一片段區段進行編碼，且可對包括於依據光柵掃描順序的各片段區段中的多個區塊進行編碼。

並且，在當前片段區段包括至少一個像磚的情況中，依據於當前像磚中的最大編碼單元的光柵掃描順序，區域編碼器104可對包括於當前片段區段中的最大編碼單元之中包括於當前像磚中的最大編碼單元編碼。本實施例的次區域編碼器104可依序編碼片段區段。因此，本實施例的次區域編碼器104依序對片段區段編碼，且依序對包括於各片段區段中的區塊進行編碼以產生區塊的編碼符碼。在片段區段中的各區塊中，可執行畫面內預設、畫面間預測、轉換、內迴圈（in-loop）濾波器、樣本適應性偏移（sampling adaptive offset，SAO）補償和量化。

本實施例的次區域編碼器104藉由使用編碼符碼以執行熵編碼，其中編碼符碼是產生於各片段區段的區塊中。可依序熵編碼包括於各片段區段中的區塊。

為了執行預設編碼於源編碼處理過程中產生的編碼符碼（例如，畫面內樣本、移動向量和編碼模式資訊），可執行畫內預測。在執行畫內預測的情況中，可對當前編碼符碼與先前編碼符碼之間的差異值編碼，而取代對當前編碼符碼編碼。此外，可對當前樣本與鄰近樣本的差異進行編碼，而取代對當前樣本編碼。

並且，為了在熵編碼處理過程中產生的熵內文（entropy context）資訊或碼機率（code probability）資訊上執行預測編碼，可執行非獨立熵編碼。當執行非獨立熵編碼時，在當前熵資訊與先前熵資訊彼此相等的情況中，可略過當前熵資訊的編碼。

然而，由於次區域編碼器104可獨立地對各像磚編碼時，因此畫內預測或非獨立熵編碼可不執行於包括於相異像磚中的最大編碼單元。

本實施例的視訊編碼裝置101可包括中央處理器（未呈現於圖中），其中中央處理器控制次區域分割器102與次區域編碼器104。另外，可藉由次區域分割器102與次區域編碼器104自己的處理器（未呈現於圖中）以個別地驅動次區域分割器102與次區域編碼器104，且處理器（未呈現於圖中）可共同操作以便操作視訊編碼裝置101整體。另外，可藉由外部處理器（未呈現於圖中）控制次區域分割器102與次區域編碼器104，其中外部處理器在視訊編碼裝置101之外。

本實施例的視訊編碼裝置101可包括一個或更多個資料儲存單元（未呈現於圖中），於資料儲存單元中儲存次區域分割器102與次區域編碼器104的輸入/輸出資料。視訊編碼裝置101可包括記憶體控制器（未呈現於圖中），其中記憶體控制器控制資料儲存單元（未呈現於圖中）的輸入/輸出資料。

當傳送片段區段的位元串流時，其中片段區段的位元串流依據隨參照圖1A與圖1B所說明的視訊編碼方法（105）來編碼，可一起傳送片段區段標頭。

在下文中，依據片段區段的特徵傳送片段區段標頭的方法將隨參照圖1C與圖1D以說明。上述次區域之間的關係與隨參照圖1A及圖1B執行於各次區域的編碼將可應用於圖1C及圖1D，其中次區域分割成片段區段及區塊（最大編碼單元）、像磚和片段。

圖1C是依據本發明另一個實施例的藉由空間次分割編碼的視訊編碼裝置10的方塊圖。圖1D繪示藉由圖1C的視訊編碼裝置執行的視訊編碼方法11的流程圖。

本實施例的視訊編碼裝置10包括片段區段編碼器12與片段區段傳送器14。本實施例的片段區段編碼器12與片段區段傳送器14可個別地執行源編碼與熵編碼處理。在步驟S111中，分割圖像成為至少一個片段區段之後，片段區段編碼器12可編碼各片段區段。

舉例而言，若配置片段區段的區塊為最大編碼單元，依據當前像磚中的光柵掃描順序，本實施例的片段區段編碼器12可編碼包括於當前片段區段中的多個最大編碼單元。在步驟S113中，片段區段傳送器14可產生片段區段標頭，其中片段區段標頭包括代表當前片段區段是否為當前圖像中的初始片段區段的資訊。

可錄製預設資訊於圖像參數集（picture parameter set，PPS）且傳送，其中預設資訊有關於包括當前片段區段的當前圖像。具體而言，圖像參數集可包括代表當前圖像是否包括非獨立片段區段的資訊。因此，當錄製代表當前圖像是否包括非獨立片段區段的資訊於圖像參數集時，片段區段傳送器14可錄製代表當前片段區段是否為非獨立片段區段的資訊，其中非獨立片段區段於當前片段區段標頭中使用先前片段區段的片段標頭資訊。

換言之，若當前圖像的圖像參數集包括代表非獨立片段區段未包括於當前圖像中的資訊，則當前片段區段標頭不包括代表當前片段區段是否為非獨立片段區段的資訊。

在步驟S115中，若當前片段區段不為初始片段區段，片段區段傳送器14可加入代表當前片段區段是否為非獨立片段區段的資訊至片段區段標頭。

即，在當前圖像的圖像參數集包括代表使用非獨立片段區段於當前圖像中的資訊的情況中，且在當前片段區段標頭包括代表當前片段區段不為初始片段區段的情況中，可加入代表當前片段區段是否為非獨立片段區段的資訊至當前片段區段標頭。依據實施例，初始片段區段必須為獨立片段區段。因此，若當前片段區段為初始片段區段，則片段區段傳送器14可略過增加代表片段區段是否為非獨立片段區段的資訊至當前片段區段標頭，因此，藉由增加代表片段區段是否為初始片段區段的資訊與有關於當前片段區段的預設資訊至片段區段標頭，片段區段傳送器14可傳送片段區段標頭以用於初始片段區段。

因此，在非獨立片段區段可使用於當前圖像中且當前片段區段不為初始片段區段的情況中，可加入代表當前片段區段是否為非獨立片段區段的資訊至當前片段區段標頭。

然而，若當前片段區段不為初始片段區段，而是非獨立片段區，有關於片段區段的一些預設資訊可相等於有關於先前片段區段標頭資訊的一些預設資訊。因此，當前片段區段標頭包括代表當前片段區段是否為初始片段區段或非獨立片段區的資訊，且可略過***相等於***先前片段區段標頭的資訊至當前片段區段標頭。

依據實施例，若當前片段區段不為非獨立片段區段，當包括代表當前片段區段是否為非獨立片段區段的資訊時，當前片段區段標頭可進一步包括多種用於當前片段區段的標頭資訊。

舉例而言，片段區段傳送器14可錄製量化參數與用於熵編碼的內文的初始機率資訊於片段區段標頭中，且傳送片段區段標頭。

然而，若當前片段區段為非獨立片段區段，片段區段傳送器14可執行畫內預測，其中畫內預測參照先前片段區段的編碼符碼，且其中先前片段區段於當前片段區段前先編碼。當當前片段區段為非獨立片段區段，片段區段傳送器14可執行非獨立熵編碼，其中非獨立熵編碼參照先前所編碼的片段區段的熵資訊。

因此，當當前片段區段為非獨立片段區段時，片段區段傳送器14不錄製量化參數與初始機率資訊於當前片段標頭的片段區段標頭。因為非獨立片段區段的量化參數與初始機率資訊可被初始成為錄製於先前所編碼的獨立片段區段的標頭資訊的量化參數與初始機率資訊。

若當前片段區段為獨立片段區段，由於未執行畫內預測，片段區段傳送器14可不考慮先前片段區段，而輸出當前片段區段的編碼符碼的位元串流。若當前片段區段為獨立片段區段，片段區段傳送器14可不考慮先前所編碼的鄰近片段區段的熵資訊，而輸出當前片段區段的熵資訊。舉例而言，若當前片段區段為獨立片段區段，量化參數與初始機率資訊必須錄製於當前片段區段標頭。

在步驟S117中，片段區段傳送器14可對各片段區段傳送片段區段的符碼與片段區段標頭。

本實施例的視訊編碼裝置10可包括中央處理器（未呈現於圖中），其中中央處理器全面控制片段區段編碼器12與片段區段傳送器14。另外，可藉由片段區段編碼器12與片段區段傳送器14自己的處理器（未呈現於圖中）以個別地驅動片段區段編碼器12與片段區段傳送器14，且處理器（未呈現於圖中）可共同操作以操作視訊編碼裝置10。另外，可藉由外部處理器（未呈現於圖中）控制片段區段編碼器12與片段區段傳送器14，其中外部處理器在視訊編碼裝置10之外。

本實施例的視訊編碼裝置10可包括一個或更多個資訊儲存單元（未呈現於圖中），於資料儲存單元中儲存片段區段編碼器12與片段區段傳送器14的輸入/輸出資料。視訊編碼裝置10可包括記憶體控制器（未呈現於圖中），其中記憶體控制器用以控制資料儲存單元（未呈現於圖中）的輸入/輸出資料。

藉由使用位元串流解碼視訊的處理將隨參照圖2A與圖2B於下文說明，其中位元串流為隨參照圖1A與圖1B所說明的依據空間次分割的資料編碼。片段區段、像磚與片段的概念將可應用於下文將說明的視訊解碼處理，其中片段區段、像磚與片段定義為圖1A與圖1B中的空間次分割。

圖2A是依據本發明一個實施例的藉由空間次分割解碼的視訊解碼裝置201的方塊圖。圖2B繪示藉由圖2A的視訊解碼裝置201執行的視訊解碼方法（205）的流程圖。

本實施例的視訊解碼裝置201包括次區域接收器202與次區域解碼器204。

在步驟S206中，次區域接收器202可接收位元串流，其中位元串流為分割圖像成為兩個或更多個像磚與至少一個片段區段的處理且編碼分割物的處理所產生的結果。位元串流可為各片段區段中產生的資料，亦可為各像磚中所產生的資料。

本實施例的次區域接收器202可對來自位元串流的各片段區段解析編碼符碼。並且，本實施例的次區域接收器202可對來自位元串流的各像磚解析編碼符碼。下文中，藉由次區域解碼器204執行解碼操作於各項磚與各片段區段中的處理將雖參照步驟S207與S208以說明。

在步驟S207中，次區域解碼器204可藉由使用解析來自位元串流的像磚的編碼符碼來對像磚解碼。此外，在步驟S208中，本實施例中的次區域解碼器204可藉由使用解析來自位元串流的片段區段的編碼符碼來對當前片段區段解碼。

最終，次區域解碼器204可藉由組合步驟S207與步驟S208所重建的像磚與片段區段來重建圖像。

當本實施例的次區域解碼器204透過一NAL單元接收各片段區段時，各片段區段中可包括區塊的編碼資料。依據本實施例，各像磚可包括至少一個片段區段。若需要，片段區段可包括至少一個像磚。

依據實施例，若各片段區段中的區塊為依據樹狀結構包括於編碼單元中的最大編碼單元，片段區段與像磚之間的關係可符合下列條件之一：（i）包括於一個片段區段中的最大編碼單元可包括於相同的像磚中，（ii）包括於一個像磚的最大編碼單元可包括於相同的片段區段中，以及（iii）包括於一個片段區段中的最大編碼單元可包括於相同的像磚中，且同時，包括於一個像磚中的多個最大編碼單元可包括於相同片段區段中。上述條件中，若包括於一個片段區段中的最大編碼單元為包括於相同的像磚中，可決定片段區段未跨越過當前像磚的界限。即，像磚中必須完全地包括各片段區段。即，相同的像磚中可包括片段區段中的最大編碼單元其中的第一個最大編碼單元和最後個最大編碼單元。具體而言，若當前片段區段的第一個最大編碼單元位於像磚的中央，則當前片段區段必須不跨越過當前像磚的界限。

依據本發明實施例，若各片段區段及片段的區塊為依據樹狀結構包括編碼單元的最大編碼單元，片段與像磚之間的關係可符合下列條件之一：（i）包括於一個片段的最大編碼單元包括於相同的像磚中，（ii）包括於一個像磚的最大編碼單元包括於相同的片段中，以及（iii）包括於一個片段的最大編碼單元包括於相同的像磚中，且於相同時間，包括於一個像磚的最大編碼單元包括於相同的片段中。

本實施例的次區域解碼器204可對各像磚解碼，獨立於其他像磚。在一NAL單元中，可依序對包括於當前像磚的最大編碼單元進行解碼。

本發明的次區域解碼器204可執行熵解碼於各片段區段與像磚中的最大編碼單元，以解析用於各最大編碼單元的編碼符碼。且依序熵解碼於各片段區段與像磚中的最大編碼單元，以解析用於各最大編碼單元的編碼符碼。

因此，本實施例的次區域解碼器204可對當前片段區段中的最大編碼單元進行解碼。依據光柵掃描方向，且藉由使用最大編碼單元的編碼符碼，其中最大編碼單元的編碼符碼是於各片段區段中所解析的，次區域解碼器204可依序對最大編碼單元解碼。

並且，依據當前像磚中的解碼順序，自包括於當前片段區段中的最大編碼單元當中，可對包括於預定像磚中最大編碼單元進行解碼。

當當前像磚中包括當前片段區段的所有最大編碼單元時，本實施例的次區域解碼器204可依據當前像磚的光柵掃描順序對包括於當前片段區段中的多個最大編碼單元進行解碼。在此情況中，當前片段區段不超越過當前像磚的界限。本實施例的次區域解碼器204依序對包括於各像磚中的至少一個片段區段進行解碼，且可依據光柵掃描順序，對包括於片段區段中的多個最大編碼單元進行解碼。

並且，若當前片段區段包括至少一個像磚，依據當前像磚中的最大編碼單元的光柵掃描順序，自包括於當前片段區段中的最大編碼單元當中，次區域解碼器204可對包括於當前像磚中的最大編碼單元進行解碼。

可藉由使用編碼符碼（例如，畫面內樣本、移動向量和解析相關於各最大編碼單元的編碼模式資訊）執行畫內預測。透過畫內預測，可藉由組合先前編碼符碼的重建值（reconstructed value）與當前編碼符碼及先前編碼符碼之間的差異以決定當前編碼符碼的重建值。並且，可藉由組合鄰近樣本的重建值與當前樣本及先前樣本之間的差異來決定當前樣本的重建值，其中鄰近樣本為先前所重建的。

可透過反量化（inverse-quantization）、反轉換（inverse-transformation）和畫面內預測/移動補償來執行使用最大編碼單元的編碼符碼的解碼操作。舉例而言，執行各最大編碼單元的編碼符碼的反量化是用以重建轉換單元的轉換係數，且反轉換於轉換單元的轉換係數是用以重建預測單元的殘餘資訊。可藉由使用殘餘資訊中的畫面內樣本執行畫面內預測。並且，可透過移動補償重建當前預測單元的樣本，其中移動補償組合藉由移動向量指定的另一重建預測單元與殘餘資訊。此外，可執行SAO補償與內迴圈濾波器於最大編碼單元。

因此，依據像磚中的解碼順序，本實施例的次區域解碼器204可依序對各片段區段及各像磚中的最大編碼單元進行。

依據實施例，若像磚包括至少一個片段區段，對各片段區段中的最大編碼單元進行解碼以重建各片段區段，且接著，組合所重建的結果以重建一個像磚。

並且，依據實施例，若片段區段包括至少一個像磚，對各像磚中的最大編碼單元進行解碼以重建像磚，且組合所重建的結果以重建片段區段。

本實施例的次區域解碼器204可重建由所重建的像磚或所重建的片段區段構成的圖像。

藉由使用位元串流解碼視訊的處理將隨參照圖2C與圖2D於下文說明，其中位元串流為隨參照圖1C與圖1D所說明的依據空間次分割的資料編碼。片段區段、像磚與片段的概念將可應用於下文將說明的視訊解碼處理，其中片段區段、像磚與片段定義為圖1C與圖1D中的空間次分割。

當接收片段區段的位元串流時，其中片段區段的位元串流是依據隨參照圖2A與2B所說明的視訊解碼方法（205）所解碼的，可共同接收片段區段標頭。下文中，藉由使用片段區段標頭解碼的處理將隨參照圖2C與2D於下文說明。

圖2C是依據本發明另一個實施例的藉由空間次分割解碼的視訊解碼裝置20的方塊圖。圖2D繪示藉由圖2C的視訊解碼裝置20執行的視訊解碼方法（21）的流程圖。

本實施例的視訊解碼裝置20包括片段區段解析器22與片段區段解碼器24。圖2C與2D繪示片段區段；然而，片段區段及像磚之間的關係與片段區段將隨參照圖2A與2B於下文說明。

在步驟S211中，本實施例的視訊解碼裝置20可接收位元串流，其中位元串流藉由編碼圖像的片段區段單元所產生。各片段區段的位元串流可包括片段區段標頭和編碼符碼。依據本實施例的片段區段解析器22可接收各片段區段的位元串流，其中位元串流包括片段區段標頭與符碼。本實施例的片段區段解析器22可解析於位元串流中的當前片段區段的符碼。依據本實施例的片段區段解析器22解析於位元串流中的當前片段區段的片段區段標頭，且可解析來自片段區段標頭的多件標頭資訊，其中標頭資訊是有關於當前片段區段。

下文中，依據片段區段的特徵，藉由片段區段解析器22解析片段區段標頭的方法將隨參照步驟S213至S217於下文說明。

在步驟S213中，本實施例的片段區段解析器22可解析來自當前片段區段的片段區段標頭的資訊，其中資訊代表當前片段區段是否為當前圖像中的初始片段區段。

自所解析的資訊中，若片段區段解析器22決定當前片段區段不為初始片段區段，則執行步驟S215。

在步驟S215中，若當前片段區段不為初始片段區段，片段區段解析器22可進一步解析來自當前片段區段標頭的資訊，其中資訊代表當前片段區段是否為非獨立片段區段，且其中非獨立片段區段使用先前片段區段的片段標頭資訊。

然而，可解析來自PPS的資訊，其中資訊代表當前圖像是否包括非獨立片段區段，且其中PPS是有關於包括當前片段區段的當前圖像。因此，在解析來自當前圖像的PPS的資訊的情況中，其中資訊代表當前圖像包括非獨立片段區段，則片段區段解析器22可解析來自當前片段區段標頭的資訊，其中資訊代表當前片段區段是否為非獨立片段區段。

換言之，若解析來自當前圖像的PPS的資訊，其中資訊代表當前圖像未使用非獨立片段區段，則不會解析來自當前片段區段標頭的資訊，其中資訊代表當前片段區段是否為非獨立片段區段。

因此，若解析來自當前圖像的PPS的代表當前圖像包括非獨立片段區段的資訊，且解析代表當前片段區段不為初始片段區段的資訊（步驟S213），片段區段解析器22可進一步解析來自當前片段區段的資訊，其中資訊代表當前片段區段是否為非獨立片段區段。即，若當前圖像包括非獨立片段區段且當前非獨立片段區段不為初始片段區段，可進一步解析來自當前片段區標頭的資訊，其中資訊代表當前片段區段是否為非獨立片段區段。

在步驟S213中，自所解析的資訊當中，若片段區段解析器22決定當前片段區段為初始片段區段，則不會解析來自當前片段區段標頭的代表當前片段區段為非獨立片段區段的資訊。由於初始片段區段不能為非獨立片段區段，因此可忽略使用解析資訊，而初始片段區段可決定為獨立片段區段。因此，若當前片段區段為初始片段區段，本實施例的片段區段解析器22可進一步解析來自圖像的初始片段區段標頭的資訊，其中資訊代表片段區段是否為初始片段區段和有關於當前片段區段的預設資訊。

若片段區段解析器22讀取來自解析來自當前片段區段標頭的資訊，其中資訊為當前片段區段為非獨立片段區段，片段區段解析器22可決定一些標頭資訊成為當前片段區段的預設資訊，其中一些標頭資訊為解析來自先前片段區段標頭的資訊。

自解析來自當前片段區段標頭的資訊當中，若片段區段解析器22決定當前片段區段不為非獨立片段區段，片段區段解析器22可解析來自當前片段區段標頭的當前片段區段的多件標頭資訊。

在步驟S217中，藉由使用解析來自當前片段區段標頭的資訊與當前片段區段的符碼，本實施例的片段區段解碼器24可對當前片段區段進行解碼。

並且，本實施例的片段區段解碼器可重建包括於各像磚中的至少一個片段區段，包括透過解碼操作所重建的當前片段區段（步驟S217），且可藉由組合所重建的像磚重建圖像。

本實施例的片段區段解析器22可解析包括於依據光柵掃描順序的當前片段區段中的多個區塊的符碼，且於包括於各像磚中的各片段區段中。並且，藉由使用依據光柵掃描順序的區塊的符碼，本實施例的片段區段解碼器24可對區塊解碼，其中區塊依據區塊的光柵掃描順序所解析。

本實施例的片段區段解析器22可執行熵解碼於各片段區段的位元串流，用以解析用於各最大編碼單元的編碼符碼。依序熵解碼包括於片段區段中的最大編碼單元，用以解析各最大編碼單元的編碼符碼。

因此，藉由使用於各片段區段中的最大編碼單元的所解析的編碼符碼，本實施例的片段區段解碼器24可依序執行依據光柵掃描順序的各最大編碼單元的解碼。

因此，本實施例的片段區段解碼器24可依序對各片段區段中的最大編碼單元進行解碼，用以重建各片段區段，且可重建圖像，其中圖像由所重建的片段區段所構成的。

如隨參照圖1A至2B的上述說明，圖像可分割成為像磚或片段區段。像磚是用於獨立地編碼/解碼圖像於各空間次分割單元中的資料單元，且片段區段是分割用於傳輸資料的單元。因此，在編碼/解碼像磚的過程中，其他像磚的編碼資訊可不參照於鄰近像磚之間的界限。然而，在片段區段的編碼/解碼過程中，其他片段區段的編碼資訊可選擇性地參照於鄰近片段區段之間的界限。

因此，由於片段區段與像磚的特徵相互不同於執行預測編碼，當片段區段與像磚空間上相互重疊時可能會產生問題。舉例而言，若一個片段區段包括像磚之間的界限，基於像磚之間的界限，相同片段區段的區塊可位於不同像磚。在此情況中，將不明確於是否可藉由相互參照以編碼/解碼區塊，其中區塊越過像磚之間的界限。

因此，依據本實施例的視訊編碼裝置101與視訊解碼裝置201，清楚定義像磚、片段區段與片段之間的關係，以使得可清楚規範最大編碼單元之參考於像磚之間、片段區段之間及片段之間的界限的可得性。

並且，由於初始片段區段總是獨立片段區段，因此不需要決定初始片段區段是否為非獨立片段區段。因此，依據參照圖1C、1D、2C與2D所說明的視訊編碼裝置10與視訊解碼裝置20，片段區段標頭中包括代表當前片段是否為圖像的初始片段區段的資訊，且在初始片段區段的情況中，片段區段標頭中可不包括代表當前片段區段是否為非獨立片段區段的資訊。因此，可減少用於傳輸非必要標頭資訊的傳送位元總數，且可略過用於讀取標頭資訊的非必要解析資訊。

下文中，片段區段、像磚與片段之間的關係將隨參照圖3至圖6B於下文說明，其中片段區段、像磚與片段為使用於依據本發明實施例的視訊編碼裝置101與視訊解碼裝置201的次區域。

圖3繪示圖像中像磚及最大編碼單元。

當執行編碼與解碼於各區域中時，其中各區域藉由分割圖像301於垂直方向與水平方向中的至少一個所產生，各區塊可視為像磚。為了即時處理高解析度（high-definition，HD）或超高解析度（ultra high-definition）的龐大資料量，可分割圖像301成為至少一行與至少一列以產生像磚，且可執行編碼與解碼於各像磚。

在圖像301中，由於各像磚為空間區域，其中獨立地編碼/解碼空間區域，因此可選擇性地編碼/解碼位於所需區域的像磚。

在圖3中，可藉由行界限321與323及列界限311與313分割圖像301成為像磚。藉由行界限321與323及列界限311與313圍繞的區域包括像磚。

若圖像301分割成為像磚以編碼之，有關於行界限321與323及列界限311與313的位置的資訊可紀錄於序列參數集（sequence parameter set，SPS）或PPS且傳送之。當對圖像301解碼時，解析來自SPS或PPS的有關於行界限321與323及列界限311與313的位置的資訊，以對各像磚解碼，接著，重建圖像301的各次區域，且藉由使用有關於行界限321與323及列界限311與313的位置的資訊，次區域可重建成為圖像301。

圖像301分割成為最大編碼單元（LCU），且執行編碼於各區塊。因此，各像磚可包括最大編碼單元，其中各項磚為藉由以行界限321與323及列界限311與313分割圖像301所產生。行界限321與323及列界限311與313為沿著鄰近最大編碼單元之間的界限延伸以分割圖像301，且因而，行界限321與323及列界限311與313不分割最大編碼單元。因此，各項磚可包括整數數量的最大編碼單元。

因此，當執行處理相關於圖像301中的各像磚時，編碼/解碼可執行於各像磚中的各最大編碼單元。在圖3中，代表最大編碼單元的數字字符（numeric character）意指像磚中的最大編碼單元的掃描順序，即，用於編碼或解碼的處理。

在相互獨立執行像磚的編碼與解碼的觀點上，像磚可與片段區段及片段來比較。下文中，片段區段與片段將隨參照圖4於下文說明。

圖4繪示圖像中片段區段、片段及最大編碼單元的示意圖。

圖像401分割成為多個最大編碼單元。在圖4中，圖像401分割成為117個最大編碼單元，即，13個在水平方向且9個在垂直方向。各最大編碼單元可分割成為具有樹狀結構的編碼單元，以編碼/解碼之。

圖像401藉由邊界線411分割成為兩個片段。此外，圖像401藉由邊界線421、423與411分割成為片段區段431、433、435與441。

片段區段431、433、435及441可分類成為非獨立片段區段與獨立片段區段。在非獨立片段區段中，預定片段區段的源編碼與熵編碼處理過程中所使用或所產生的資訊可參照用於執行其他片段區段的源編碼與熵編碼。同樣地，於非獨立片段區段當中的預定片段區段的熵解碼處理中所解析的資訊與源解碼中所使用或所重建的資訊可參照用於執行熵解碼與源解碼於其他片段區段。

在獨立片段區段中，於各片段區段的源編碼與熵編碼中所使用或所產生的資訊完全不參照，且獨立地編碼獨立片段區段。同樣地，在獨立片段區段的熵解碼與源解碼中，完全不使用其他片段區段的重建資訊與解析資訊。

代表片段區段是否為非獨立片段區段或獨立片段區段的資訊可紀錄於片段區段標頭且傳送之，當對圖像401解碼時，有關於片段區段類型的資訊可自片段區段標頭所解析，且依據片段區段的類型，其可決定當前片段區是否將藉由參照其他片段區段重建，或是否將獨立於其他片段區段地進行解碼。

具體而言，相對於先前片段區段的標頭資訊，可不減少獨立片段區段中的片段區段標頭的語法（syntax）元素值（即，標頭資訊）。然而，相對於先前片段區段的標頭資訊，可減少非獨立片段區段中的片段區段標頭的標頭資訊。

各片段可包括整數數量的最大編碼單元。並且，一片段可包括至少一個片段區段。若一個片段僅包括一個片段區段，片段區段可為獨立片段區段。並且，一個片段可包括一個獨立片段區段與至少一個非獨立片段區段（相鄰於獨立片段區段）。經由相同存取單元可傳送與接收包括於一個片段中的至少一個片段區段。

圖像401的上部片段包括一個獨立片段區段431與兩個非獨立片段區段433與435。圖像401的下部片段僅包括一個獨立片段區段441。

圖5A和5B說明於圖像中片段與片段區段之間的關係。

在圖3中，可藉由行界限321與323及列界限311與313分割圖像301以形成像磚。然而，如圖5A中所呈現，可藉由行界限51與53分割圖像50。即，圖像50藉由兩個行界限51與53分割以產生三個像磚（即，像磚＃1、像磚＃2與像磚＃3）。並且，像磚＃1可藉由兩個列界限52與54分割以形成三個片段區段511、513與515。

即，片段區段藉由分割像磚於水平方向所產生，且像磚藉由分割圖像50於垂直方向所產生。

各片段區段511、513與515包括整數數量的最大編碼單元。此外，各片段區段511、513與515可藉由分割當前像磚來獲取，以便包括最大編碼單元，其中最大編碼單元依據當前像磚中的最大編碼單元的掃描順序所排列。一個NAL單元可包括各片段區段511、513與515中的最大編碼單元。因此，可獨立地傳送/接收與編碼/解碼各片段區段511、513與515。

像磚與片段區段之間的包括關係將隨參照圖5B於下文說明。圖像525分割成為兩像磚＃1與＃2，與三個片段區段0、1與2。由於相互參照的畫內預測與非獨立熵編碼可不執行於相異像磚之間時，像磚＃2可不參照像磚的界限之外的像磚＃1的熵資訊與編碼符碼。

然而，當依據掃描順序編碼其最大編碼單元時，圖像525的片段區段0、1與2必須參照其他最大編碼單元的熵資訊與編碼符碼。由於片段區段1跨越過像磚＃1與像磚＃2，因此片段區段1的一些最大編碼單元可不參照包括於相異像磚中的其他最大編碼單元的熵資訊或編碼符碼。因此，圖像525中的像磚＃1及＃2與片段區段的配置不適當。

圖像535包括兩個像磚＃3與＃4及四個片段區段3、4、5與6。並且，像磚＃3包括兩個片段區段3與4，且像磚＃4包括兩個片段區段5與6。

片段區段3與4完全嵌入於像磚＃3中，且片段區段5與6完全嵌入於像磚＃4中。因此，片段區段3、4、5與6不跨越過像磚＃3與＃4之間的界限。

依據包括像磚＃3與＃4及片段區段3、4、5與6的圖像535的結構，可確保畫內預測的相關性（dependency）與各片段區段中的熵預測。

舉例而言，由於片段區段3的最大編碼單元與片段區段4的最大編碼單元包括於相同像磚＃3中，依據掃描順序，可以依序個別地編碼或解碼最大編碼單元。片段區段3與4的最大編碼單元可參照其他最大編碼單元的熵資訊或編碼符碼，其中其他最大編碼單元包括於相同片段區段中。

並且，由於按上述順序來編碼或解碼像磚＃3中的片段區段3與4，若片段區段4為非獨立片段區段，藉由使用片段區段3的熵資訊或編碼符碼，可編碼或解碼片段區段4。

像磚＃3與＃4可相互獨立地編碼或解碼，而忽略相互參照。

並且，按上述順序來編碼或解碼像磚＃4中的片段區段5與6。由於片段區段5的最大編碼單元與片段區段6的最大編碼單元包括於相同像磚＃4中，各片段區段5與6可依據掃描順序編碼或解碼。片段區段5與6的最大編碼單元可參照其他最大編碼單元的熵資訊或編碼符碼，其中其他最大編碼單元包括於相同片段區段。

由於片段區段5為獨立片段區段，其中獨立片段區段不參照像磚＃3，藉由使用初始化熵資訊，可熵編碼或熵解碼片段區段5。若片段區段6為非獨立片段區段，藉由使用片段區段5的熵資訊，可熵編碼或熵解碼片段區段6。在畫內預測的情況中，片段區段5獨立處理，且片段區段6可參照片段區段5的資訊。

圖6A和6B呈現像磚、片段區段、片段及最大編碼單元之間的關係。

可設置包括於當前像磚中的片段區段，以使其不跨越過當前像磚的界限。即，片段區段可包括於像磚中。

並且，可設置包括一個獨立片段區段或一個獨立片段區段及至少一個非獨立片段區段的片段，以使包括其中的片段區段不跨越過當前像磚的界限，其中當前像磚包括相對應的片段區段。即，片段可包括於像磚中。

然而，若片段或片段區段完全包括當前像磚，其可允許片段或片段區段大於當前像磚。

若配置各片段區段、各像磚與各片段的編碼單元為最大編碼單元，其中最大編碼單元包括依據樹狀結構的編碼單元，片段區段、片段與像磚之間的關係可藉由使用最大編碼單元定義如下述：

最大編碼單元必須符合下列條件之一，其中最大編碼單元為依據各像磚中與各片段區段中的掃描順序所編碼（解碼）：

（i）包括於一個片段區段中的最大編碼單元可包括於相同的像磚中；

（ii）包括於一個像磚的最大編碼單元可包括於相同的片段區段中；以及

（iii）包括於一個片段區段中的最大編碼單元可包括於相同的像磚中，且包括於一個像磚中的多個最大編碼單元可包括於一相同片段區段中。

此外，最大編碼單元必須符合下列條件之一，其中最大編碼單元為依據各像磚中與各片段區段中的掃描順序所編碼（解碼）：

（a）包括於一個片段的最大編碼單元可包括於相同的像磚中；

（b）包括於一個像磚的最大編碼單元可包括於相同的片段中；以及

（c）包括於一個片段的最大編碼單元可包括於相同的像磚中，且於相同時間，包括於一個像磚的最大編碼單元可包括於相同的片段中。

請參照圖6A，圖像60藉由使用片段區段界限603、605、607與609分割成為五個片段區段611、613、615、617與619。並且，片段藉由一個獨立片段區段611與四個非獨立片段區段613、615、617與619所配置，且因此，圖像60包括一片段。

並且，圖像60藉由像磚界限601分隔成為兩個像磚。因此，左像磚包括三個片段區段611、613與615，且右像磚包括兩個片段區段617與619。

將考慮片段區段611、613、615、617與619及像磚中的最大編碼單元是否符合條件i、ii與iii之一如下。由於片段區段611、613與615的最大編碼單元包括於左像磚中，最大編碼單元符合條件i。並且，片段區段617與619的最大編碼單元包括於右像磚中時，最大編碼單元符合條件i。

接著，將考慮片段與像磚的最大編碼單元是否符合條件a、b與c之一，如下：由於左像磚的最大編碼單元包括於一個片段中，符合條件b。並且，由於右像磚中的最大編碼單元包括於一個片段中，符合條件b。

請參照圖6B，圖像65藉由像磚界限651分割成為兩個像磚，即，左像磚與右像磚。並且圖像65藉由片段界限66與68分割成為三個片段，且因而，基於片段界限66，左像磚分割成為左上片段與左下片段，且右像磚可配置一右片段。

基於片段區段界限633，左上片段可分割成為一個獨立片段區段661與一個非獨立片段區段665。基於片段區段界限683，左下片段可分割成為一個獨立片段區段681與一個非獨立片段區段685。基於片段區段界限693，右片段可分割成為一個獨立片段區段691與一個非獨立片段區段695。

將考慮片段區段661、665、681、691與695及像磚中的最大編碼單元是否符合條件i、ii與iii之一如下：由於片段區段661與665的最大編碼單元包括於左像磚中，最大編碼單元符合條件i。並且，片段區段681與685的最大編碼單元包括於左像磚中時，最大編碼單元符合條件i。此外，片段區段691與695的最大編碼單元包括於右像磚中時，符合條件i。

接著，將考慮片段與像磚的最大編碼單元是否符合條件a、b與c之一，如下：由於左下片段中的最大編碼單元包括於左像磚中，符合條件a。並且，由於左下片段中的最大編碼單元包括於左像磚中，符合條件a。此外，由於右片段中的最大編碼單元包括於右像磚中且右像磚中的最大編碼單元包括於右片段，符合條件c。

下文中，藉由視訊編碼裝置10與視訊解碼裝置20使用的片段區段標頭將隨參照圖7於下文說明，其中視訊編碼裝置10與視訊解碼裝置20為隨參照圖1C、1D、2C與2D所說明。

圖7是依據本發明一個實施例呈現片段區段標頭70的語法的示意圖。

本發明實施例的視訊編碼裝置10可產生包括多件標頭資訊的片段區段標頭70，其中標頭資訊有關於當前片段區段。舉例而言，片段區段標頭70可包括預設資訊，其中預設資訊為用以解碼包括於當前片段區段中的圖像所需求，舉例而言，當前PPS識別資訊、有關於包括於當前片段區段中的圖像數量的資訊、有關於圖像的參考圖像數量的資訊以及是否使用相異移動向量的資訊。

依據本實施例的視訊編碼裝置10可紀錄資訊71於片段區段標頭70中，其中資訊71代表當前片段區段是否為當前圖像中的初始片段區段。

依據資訊71是否代表當前片段區段不為初始片段區段（73），本實施例的視訊解碼裝置10可加入資訊75至片段區段標頭70中，其中資訊75代表當前片段區段是否為非獨立片段區段。舉例而言，若資訊71代表當前片段區段不為初始片段區段，則資訊75 可加入至片段區段標頭70，其中資訊75代表當前片段區段是否為非獨立片段區段。

由於初始片段區段為依據實施例的獨立片段區段，若當前片段區段為初始片段區段，則不需要傳送代表當前片段區段是否為非獨立片段區段的資訊。因此，視訊編碼裝置10不需要加入資訊75於代表片段區段為初始片段區段的資訊旁，而加入有關於當前片段區段的預設資訊至片段區段標頭70且傳送片段區段標頭70。

然而，若當前片段區段不為初始片段區段，而是非獨立片段區段，略過有關於片段區段的一些預設資訊之後，視訊編碼裝置10可傳送片段區段標頭70。

若片段區段既不是初始片段區段，亦不是非獨立片段區段（即，若當前片段區段為獨立片段區段），傳送片段區段標頭70之前，視訊編碼裝置10可紀錄有關於當前片段區段的預設資訊於片段區段標頭70中。

依據本發明實施例的視訊解碼裝置20解析片段區段標頭70的處理相似於視訊編碼裝置10產生片段區段標頭70的一些處理。

本實施例的視訊解碼裝置20可解析來自片段區段標頭70的資訊71，其中資訊71代表當前圖像中當前片段區段是否為初始片段區段。

視訊解碼裝置20決定資訊71是否代表當前片段區段不為初始片段區段（73）。基於資訊71，若決定當前片段區段為初始片段區段（73），可忽略解析資訊75的處理，其中資訊75代表當前片段區段是否為非獨立片段區段，且接著，可進一步解析其他標頭資訊。

然而，基於資訊71，若決定當前片段區段不為初始片段區段（73），可進一步解析來自片段區段標頭70的資訊75，其中資訊75代表當前片段區段是否為非獨立片段區段。

基於資訊71與資訊75，若決定當前片段區段不為初始片段區段而是非獨立片段區段，則視訊解碼裝置20可僅解析來自當前片段區段標頭70的一些預設資訊，其中預設資訊有關於當前片段區段。藉由使用取得來自先前片段區段標頭的資訊，視訊解碼裝置20可決定不包括於當前片段區段標頭70的資訊。

基於資訊71與資訊75，若決定當前片段區段不為初始片段區段而是獨立片段區段，視訊解碼裝置20可解析來自片段區段標頭70的所有預設資訊，其中預設資訊有關於當前片段區段。

然而，圖7中呈現的片段區段標頭70是在當前圖像的PPS包括資訊的情況下取得，其中資訊代表當前圖像可包括非獨立片段區段。如上述隨參照圖1B與2B，只有當包括當前片段區段的當前圖像的PPS包括資訊時，其中資訊代表當前片段區段可包括非獨立片段區段，片段區段標頭70可包括資訊75，其中資訊75代表當前片段區段是否為非獨立片段區段。

因此，只有當代表當前片段區段可包括非獨立片段區段的資訊自當前圖像的PPS所解析，且解析來自片段區段標頭70的資訊代表當前片段區段不為初始片段區段時，可進一步解析來自片段區段標頭70的資訊75，其中資訊75代表當前片段區段是否為非獨立片段區段。因此，視訊依據包括片段區段、像磚與片段的空間次分割來編碼，其中片段區段、像磚與片段符合上述條件，且因此，配置像磚的最大編碼單元可包括於片段區段中。由於包括於當前片段區段中的最大編碼單元依據像磚中的最大編碼單元的掃描順序解碼，因此可解碼當前片段區段。

並且，在包括於一個像磚中的片段區段的情況中，解碼獨立片段區段之後，藉由使用獨立片段區段的解碼結果，可解碼非獨立片段區段。當獨立片段區段解碼時，熵解碼或畫內預測將不藉由參照其他片段區段來執行，其中其他片段區段位於片段區段界限之外。因而，辨別熵資訊的參考機率、編碼符碼與用以執行熵解碼或畫內預測而獲取圍繞片段區段界限的樣本的處理可忽略。因此，不需要在片段區段標頭70中包括用於辨別在片段區段界限的鄰近區塊間的預測機率的資訊。

由於依序解碼包括於當前像磚中的片段區段，因此可解碼當前像磚。可相互獨立地解碼各像磚。圖像可重建成為組合所重建的像磚的結果。

當解碼像磚時，執行熵解碼或畫內預測將不參照像磚之外的其他像磚，且因而，辨別熵資訊的參考機率、編碼符碼與用以執行熵解碼或畫內預測而獲取圍繞片段區段界限的樣本的處理可忽略。因此，片段區段標頭70不需要包括用以辨別在像磚界限的鄰近區塊之間的預測機率的資訊。

並且，代表內迴圈濾波器是否執行於像磚界線上的資訊與代表內迴圈濾波器是否執行於片段區段界限上的資訊可選擇性包括於片段區段標頭70中。

並且，獨立片段區段的位置或位址可透過獨立片段區段的片段區段標頭辨別。像磚的進入點（entry point）可決定在獨立片段區段的位置（位址）與像磚的位置（位址）相互匹配的部份，且因此，不需要傳送或解析有關於像磚的進入點的資訊。

在視訊編碼裝置10與視訊解碼裝置20中，藉由分割視訊資訊取得的區塊為最大編碼單元，且各最大編碼單元分割成為樹狀結構的編碼單元，如上述說明。下文中，基於最大編碼單元與樹狀結構的編碼單元，視訊編碼裝置與方法及視訊解碼裝置與方法隨參照圖8至圖20於下文說明。

圖8是依據本發明一個實施例的基於依據樹狀結構的編碼單元的視訊編碼裝置100的方塊圖。

基於依據樹狀結構的編碼單元，使用視訊預測的視訊編碼裝置100包括編碼單元決定器120與輸出單元130。下文中，為方便說明，使用基於依據樹狀結構的編碼單元的視訊預測的視訊編碼裝置100可被參考為”視訊編碼裝置100”。

用於影像的當前圖像的編碼單元決定器120可基於最大編碼單元來切割當前圖像。若當前圖像大於最大編碼單元，則當前圖像的影像資料可切割成為至少一個最大編碼單元。依據本發明實施例的最大編碼單元可為具有32×32、64×64、128×128、256×256等尺寸的資料單元，其中資料單元的形狀為具有寬度與長度為2的平方的方形。

依據本發明實施例的編碼單元可以最大尺寸與深度為特徵。深度意指編碼單元自最大編碼單元在空間上分割的次數，且當深度加深，依據深度的較深編碼單元可自最大編碼單元分割為最小編碼單元。最大編碼單元的深度為最上層深度（uppermost depth），而最小編碼單元的深度為最下層深度（lowermost depth）。由於對應於每一深度的編碼單元的尺寸隨著最大編碼單元的深度加深而減小，因此對應於較上層深度的編碼單元可包括對應於較下層深度的多個編碼單元。

如上述說明，當前圖像的影像資料切割成為依據編碼的最大尺寸的最大編碼單元，且各最大編碼單元可包括依據深度切割的較深編碼單元。由於依據本發明實施例的最大編碼單元依據深度切割，包括於最大編碼單元中的空間域的影像資料可依據深度階層式分類。

限制最大編碼單元的高度以及寬度的階層式分割的總次數的編碼單元的最大深度以及最大尺寸可為預定的。

編碼單元決定器120編碼至少一個切割區域，其中切割區域依據深度藉由切割最大單元的區域取得，且依據至少一個切割區域來決定深度以最終輸出所編碼的影像資料。換言之，依據當前圖像的最大編碼單元，編碼單元決定器120藉由編碼影像資料於依據深度的較深編碼單元來決定編碼深度，且選擇具有最小編碼誤差（encoding error）的深度。所決定的編碼深度與依據所決定的編碼深度所編碼的影像資料輸出至輸出器130。

最大編碼單元中的影像資料基於較深編碼單元來編碼，其中較深編碼單元對應於至少一個深度相等或小於最大深度，且編碼影像資料的結果基於各較深編碼單元來比較。比較較深編碼單元的編碼誤差之後，可選擇具有最小編碼誤差的深度。至少一個用於各最大編碼單元的編碼深度可被選擇。

最大編碼單元的尺寸被切割成為編碼單元，其中編碼單元依據深度被階層式地分割，且編碼單元的數量增加。並且，即使編碼單元對應於相同深度於一個最大編碼單元中，藉由估測各編碼單元的影像資料的編碼誤差，可決定是否切割對應於相同深度的各編碼單元至較下層深度。因此，即使當影像資料包括於一個最大編碼單元中，影像資料切割成依據深度的區域，且編碼誤差可能依據一個最大編碼單元中的區域而不同，並因此編碼深度可能依據影像資料中的區域而不同。因此，可決定一個或更多個編碼深度於一個最大編碼單元中，且最大編碼單元的影像資料可依據至少一個編碼深度來分割。

因此，編碼單元決定器120可決定具有樹狀結構的編碼單元於最大編碼單元中。其中依據本發明實施例的"具有樹狀結構的編碼單元"包括對應於所決定為編碼深度的編碼單元，其中編碼單元是在包括於最大編碼單元中的所有較深編碼單元當中的編碼單元。編碼深度的編碼單元可依據最大編碼單元的相同區域中的深度來階層式地決定，且可獨立地決定於相異區域中。同樣地，當前區域中的編碼深度可自其他區域中的編碼深度來獨立地決定。

依據本發明實施例的最大深度是索引，其中索引相關於自最大編碼單元到最小編碼單元所執行的切割次數。依據本發明實施例的第一最大深度可意指自最大編碼單元到最小編碼單元所執行的總切割次數。依據本發明實施例的第二最大深度可意指自最大編碼單元到最小編碼單元的深度程度的總數。舉例而言，當最大編碼單元的深度為0時，最大編碼單元切割一次的編碼單元的深度可設為1，而最大編碼單元切割兩次的編碼單元的深度可設為2。在此，若最小編碼單元為最大編碼單元切割四次的編碼單元，則存在五個深度的程度0、1、2、3與4，且因此第一最大深度可設為4，而第二最大深度可設為5。

預測編碼與轉換可依據最大編碼單元執行。依據最大編碼單元，預測編碼與轉換亦基於依據深度相等或小於最大深度的較深編碼單元來執行。

由於最大編碼單依據深度切割，當較深編碼單元的數量增加時，包括預測編碼與轉換的編碼可執行於所有較深編碼單元，其中較深編碼單元如深度加深所產生。為求方便說明，最大編碼單元中的預測編碼與轉換現在將基於當前深度的編碼單元來說明。

視訊編碼裝置100可多重選擇用於編碼影像資料的尺寸或資料單元的形狀。為了編碼影像資料，諸如預測編碼、轉換以及熵編碼的操作將執行，且於此時，可用於所有操作或不同資料單元的相同資料單元將可用於各操作。

舉例而言，視訊編碼裝置100不僅可選擇用於編碼影像資料的編碼單元，亦可選擇相異於編碼單元的資料單元，以便對編碼單元中的影像資料執行預測編碼。

為了在最大編碼單元中執行預測編碼，可基於對應於編碼深度的編碼單元（例如，基於不再切割成對應於較下層深度編碼單元的編碼單元）來執行預測編碼。下文中，不再切割且成為用於預測編碼的基本單元的編碼單元將視為”預測單元”。藉由切割預測單元所獲取的分區（partition）可包括預測單元或資料單元，其中資料單元藉由至少一個預測單元的高度與寬度所獲取。分區為藉由分割編碼單元的預測單元所獲取，且預設單元可為具有如編碼單元相同尺寸的分區。

舉例而言，當2N×2N編碼單元（其中N為正整數）不再切割且成為2N×2N預測單元時，分區的尺寸可為2N×2N、2N×N、N×2N或N×N。分區的範例包括藉由對稱切割預測單元的高度與寬度所獲取的對稱分區（symmetrical partition）、藉由非對稱切割預測單元的高度或寬度所獲取的分區（例如，1:n或n:1）、藉由幾何切割預測單元所獲取的分區，以及具有任意形狀的分區。

預測單元的預測模式可為畫面內模式、畫面間模式以及略過模式中的至少一者。舉例而言，可對2N×2N、2N×N、N×2N或N×N的分區執行畫面內模式或畫面間模式。並且，可僅對2N×2N的分區執行略過模式。在編碼單元中對一個預測單元獨立地執行編碼，藉此選擇具有最小編碼誤差的預測模式。

視訊編碼裝置100亦可不僅基於用於編碼影像資料的編碼單元，而且可基於相異於編碼單元的轉換單元而對編碼單元中的影像資料執行轉換。為了在編碼單元中執行轉換，可基於具有小於或等於編碼單元的尺寸的資料單元來執行轉換。舉例而言，用於轉換的轉換單元可包括用於畫面內模式的轉換單元以及用於畫面間模式的資料單元。

相似於依據本實施例的依據樹狀結構的編碼單元，編碼單元中的轉換單元可遞迴地（recursively）分割成為較小尺寸區域，且編碼單元中的殘餘資料可依據具有樹狀結構的轉換來分割，其中樹狀結構為依據轉換深度。

依據本發明實施例，亦可在轉換單元中設定指示藉由切割編碼單元的高度與寬度而達到轉換單元所執行的分割次數的轉換深度。舉例而言，當當前編碼單元的轉換單元尺寸為2N×2N時，轉換深度可設為0。當轉換單元的尺寸為N×N時，轉換深度可設為1。此外，當轉換單元的尺寸為N/2×N/2時，轉換深度可設為2。即，亦可依據轉換深度而設定具有樹狀結構的轉換單元。

依據對應於編碼深度的編碼單元的編碼資訊不僅需要關於編碼深度的資訊，亦需要有關與預測編碼及轉換相關的資訊。因此，編碼單元決定器120不僅決定具有最小編碼誤差的編碼深度，亦決定預測單元中的分區類型、依據預測單元的預測模式與用於轉換的轉換單元的尺寸。

依據本發明的實施例，依據最大編碼單元中的依據樹狀結構的編碼單元與預測單元/分區，以及決定轉換單元的方法將隨參照圖10至圖20於稍後詳細說明。

編碼單元決定器120可藉由基於拉格朗日乘數（Lagrangian multiplier）使用位元率-失真最佳化（Rate-Distortion Optimization）來估測依據深度的較深編碼單元的編碼誤差。

輸出單元130按照位元串流的形式輸出最大編碼單元的影像資料與有關於依據編碼深度的編碼模式的資訊，其中最大編碼單元的影像資料基於藉由編碼單元決定器120決定的至少一個編碼深度所編碼。

所編碼的影像資料可藉由編碼影像的殘餘資料來獲取。

有關於依據編碼深度的編碼模式的資訊可包括有關於編碼深度的資訊、有關於預測單元中的分區類型的資訊、有關於預測模式的資訊以及有關於轉換單元的尺寸的資訊。

有關於編碼深度的資訊可藉由使用依據深度的切割資訊來定義，依據深度的分割資訊指示是否對較下層深度而非當前深度的編碼單元執行編碼。若當前編碼單元的當前深度為編碼深度，則對當前編碼單元中的影像資料進行編碼且輸出，且因此，分割資訊可定義為不將當前編碼單元切割成為較下層深度。或者，若當前編碼單元的當前深度並非編碼深度，則對較下層深度的編碼單元執行編碼，且因此分割資訊可定義為分割當前編碼單元以獲取較下層深度的編碼單元。

若當前深度並非編碼深度，則對分割為較下層深度的編碼單元的編碼單元執行編碼。由於較下層深度的至少一個編碼單元存在於當前深度的一個編碼單元中，因此對較下層深度的各編碼單元重複地執行編碼，且因此可對具有相同深度的編碼單元按遞迴方式執行編碼。

由於針對一個最大編碼單元而決定具有樹狀結構的編碼單元，且針對編碼深度的編碼單元而決定關於至少一個編碼模式的資訊，因此可針對一個最大編碼單元而決定關於至少一個編碼模式的資訊。並且，由於影像資料是依據深度而進行階層式切割，最大編碼單元的影像資料的編碼深度可依據位置而相異，且因此可針對影像資料而設定關於編碼深度與編碼模式的資訊。

因此，輸出單元130可將關於相應於編碼深度與編碼模式的編碼資訊指派至包括於最大編碼單元中的最小單元、預測單元及編碼單元之中的至少一者。

依據本發明實施例的最小單元為藉由將構成最下層深度的最小編碼單元分割為4份而獲取的矩形資料單元。或者，最小單元可為包括於最大編碼單元中所包括的所有編碼單元、預測單元、分區單元及轉換單元中的具有最大尺寸的矩形資料單元。

舉例而言，經由輸出單元130輸出的編碼資訊可分類為依據編碼單元的編碼資訊與依據預測單元的編碼資訊。依據編碼單元的編碼資訊可包括關於預測模式及關於分區的尺寸的資訊。依據預測單元的編碼資訊可包括關於畫面間模式的估測方向、關於畫面間模式的參考影像索引、關於移動向量、關於畫面內模式的色度成分（chroma component）以及關於畫面內模式的內插方法的資訊。

並且，關於依據圖像、片段或GOP而定義的編碼單元的最大尺寸的資訊，以及關於最大深度的資訊可***至PPS、SPS或位元串流的標頭中。

此外，對於當前視訊為可接收的有關於轉換的最大尺寸的資訊與有關於轉換的最小尺寸的資訊亦可經由 PPS、SPS或位元串流的標頭來輸出。輸出單元可對相關於預測的參考資訊、預測資訊與片段區段類型資訊編碼且輸出。

在視訊編碼裝置100中，較深編碼單元可為藉由將較上層深度的編碼單元（其為上一層）的高度或寬度劃分為二而獲得的編碼單元。換言之，當當前深度的編碼單元的尺寸為2N×2N時，較下層深度的編碼單元的尺寸為N×N。並且，具有尺寸為2N×2N的當前深度的編碼單元可包括較下層深度的最多4個編碼單元。

因此，視訊編碼裝置100可藉由基於考慮當前圖像的特徵而決定的最大編碼單元的尺寸與最大深度，藉由針對各最大編碼單元來決定具有最佳形狀與最佳尺寸的編碼單元，而形成具有樹狀結構的編碼單元。並且，由於藉由使用各種預測模式以及轉換當中的任一者對每一最大編碼單元執行編碼，因此可考慮各種影像尺寸的編碼單元的特徵來決定最佳編碼模式。

因此，若在習知巨集區塊中對具有高解析度或大資料量的影像進行編碼，則各圖像的巨集區塊的數目過度地增大。因此，針對各巨集區塊產生的壓縮資訊的片段數目增大，且因此難以傳輸壓縮資訊，並且資料壓縮效率降低。然而，藉由使用視訊編碼裝置100，因為在考慮影像的尺寸時而增大編碼單元的最大尺寸的同時考慮影像的特徵而調整編碼單元，所以可提高影像壓縮效率。

視訊編碼裝置100可執行如同視訊編碼裝置10。即，編碼單元決定器120可對應於片段區段編碼器12，且輸出單元130可對應於片段區段傳送器14。

並且，視訊編碼裝置101可如同依據本實施例的視訊編碼裝置100般應用。即，編碼單元決定器120可執行次區域分割器102與次區域編碼器104的操作。

本發明實施例的編碼單元決定器120可獨立地編碼圖像中的各像磚。並且，編碼單元決定器120可編碼圖像中的至少一個片段區段的每一。並且，包括於當前片段區段中的多個最大編碼單元可依據像磚中的最大編碼單元的光柵順序來編碼。因此，可決定在各片段區段中的各最大編碼單元中的具有樹狀結構的編碼單元。

並且，片段區段與像磚之間的關係可符合下列條件之一：（i）包括於一個片段區段中的最大編碼單元可包括於相同的像磚中，（ii）包括於一個像磚中的最大編碼單元可包括於相同的片段區段中，以及（iii）包括於一個片段區段中的最大編碼單元可包括於相同的像磚中，且同時，包括於一個像磚中的最大編碼單元可包括於一個相同片段區段中。

舉例而言，若符合條件（i），則包括於當前像磚中的至少一個片段區段不跨越過當前像磚的界限。即，像磚中必須完全地包括各片段區段。

片段與像磚之間的關係可符合下列條件之一：（i）包括於一個片段中的最大編碼單元可包括於相同的像磚中，（ii）包括於一個像磚的最大編碼單元可包括於相同的片段中，以及（iii）包括於一個片段中的最大編碼單元可包括於相同的像磚中，且同時，包括於一個像磚中的最大編碼單元可包括於一個相同片段中。

本實施例的輸出單元130可產生包括代表當前圖像中的當前片段區段是否為初始片段區段的資訊的片段區段標頭。

若當前片段區段不為初始片段區段，則本實施例的輸出單元130可增加代表當前片段區段是否為非獨立片段區段的資訊，其中非獨立片段區段為使用先前片段區段的片段標頭資訊。

本實施例的輸出單元130可傳送各片段區段的片段區段的符碼與片段區段標頭。

圖9是依據本發明實施例的基於依據樹狀結構的編碼單元的視訊解碼裝置的方塊圖。

視訊解碼裝置200基於依據樹狀結構的編碼單元包括接收器210、影像資料與編碼資訊提取器220與影像資料解碼器230。下文中，為方便說明，使用基於依據樹狀結構的編碼單元的視訊預測的視訊解碼裝置200將表示為”視訊解碼裝置200”。

用於視訊解碼裝置200的解碼操作的多種名詞與表示的定義（例如，編碼單元、深度、預測單元、轉換單元與有關於多種編碼模式的資訊）與那些隨參照圖8與視訊編碼裝置100所敘述的相同。

接收器210接收與解析被編碼的視訊的位元串流。影像資料與編碼資訊提取器220從被解析的位元串流為各編碼單元提取被編碼的影像資料，其中編碼單元具有依據各最大編碼單元的樹狀結構，並輸出所提取的影像資料至影像資料解碼器230。影像資料與編碼資訊提取器220可提取有關於當前圖像的編碼單元的最大尺寸的資訊，其中資訊來自有關於PPS、SPS或當前圖像的標頭。

並且，影像資料與編碼資訊提取器220提取具有依據各最大編碼單元的樹狀結構的編碼單元的資訊，其中資訊有關於編碼深度與編碼模式，且來自所解析的位元串流。有關於編碼深度與編碼模式的被提取的資訊輸出至影像資訊解碼器230。換言之，位元串流中的影像資料切割成為最大編碼單元，以使影像資料解碼器230為各最大編碼單元解碼影像資料。

有關於編碼深度與依據最大編碼單元的編碼模式的資訊可設定為有關於至少一個對應於編碼深度的編碼單元的資訊，且有關於編碼模式的資訊可包括有關於對應於編碼深度的對應編碼單元的分區類型的資訊、有關於預測模式的資訊與關於轉換單元的尺寸。並且，依據深度的切割資訊可被提取為有關編碼深度的資訊。

有關於編碼深度與依據藉由影像資料與編碼資訊提取器220所提取的各最大編碼單元的編碼模式的資訊為有關於編碼深度與用以產生最小編碼誤差所決定的編碼模式的資訊，而其中是當編碼器（例如，視訊編碼裝置100）重複對依據深度的各較深編碼單元執行編碼的時候，且其中深度依據各最大編碼單元。因此，視訊解碼裝置200可藉由解碼影像資料來還原影像，其中依據產生最小編碼誤差的編碼模式與編碼深度來解碼影像資料。

由於可分配來自對應的編碼單元、預測單元及最小單元當中的有關於編碼深度與編碼模式的編碼資訊至預定的資料，影像資料與編碼資訊提取器220可提取有關於編碼深度與依據預定資料單元的編碼模式的資訊。分配至有關於編碼深度與編碼模式的相同資訊的預定資料單元可被推斷為包括於相同最大編碼單元的資料單元。

影像資料解碼器230藉由基於有關於編碼深度與依據最大編碼單元的編碼模式的資料解碼各最大編碼單元中的影像資料以還原當前圖像。換言之，影像資料解碼器230可基於所提取的有關於分區類型、預測模式與轉換單元的資訊來對各編碼單元的影像資料進行解碼，其中資訊是提取自具有包括於各最大編碼單元中的樹狀結構的編碼單元中。解碼處理可包括預測處理與反轉換，其中預測處理包括畫面內預測與移動補償。

影像資料碼器230可基於有關於分區類型與預測模式的資訊，其中預測模式依據編碼深度的編碼單元的預測單元，以執行畫面內預測或依據分區與各編碼單元的預測模式的移動補償。

此外，用於各最大編碼單元的反轉換的影像資料解碼器230可為各編碼單元讀取依據樹狀結構的轉換單元資訊，以便決定各編碼單元的轉換單元及對基於各編碼單元上的轉換單元執行反轉換。經由反轉換，可還原編碼單元的空間區域的畫素（pixel）值。

影像資料解碼器230可藉由使用依據深度的分割資訊以決定至少一個當前最大編碼單元的編碼深度。若切割資訊指示影像資料不再以當前深度切割，則當前深度為編碼深度。因此，影像資料解碼器230可藉由使用有關於預測單元的分區類型、預設模式及轉換單元的尺寸的資訊，以對至少一個對應於當前最大編碼單元中的各編碼深度的編碼單元的所編碼的資料進行解碼。

換言之，含有編碼資訊的資料單元可藉由觀察來自編碼單元、預測單元及最小單元當中的所分配用於預定資料的編碼資訊組來收集，其中編碼資訊包括相同切割資訊，且所收集的資料單元可被視為相同編碼模式中欲藉由影像資料解碼器230解碼的一個資料單元。可獲取用於上述所決定的各編碼單元的有關於編碼模式的資訊以便解碼當前編碼單元。

接收器210可對應於隨參照圖2A所敘述的視訊解碼裝置201的次區域接收器202。影像資料解碼器230可對應於隨參照圖2A所敘述的視訊解碼裝置201的次區域解碼器204。

接收器210可對應於隨參照圖2C所敘述的視訊解碼裝置20的片段區段解析器22。影像資料解碼器230可對應於隨參照圖2C所敘述的視訊解碼裝置20的片段區段解碼器24。

本實施例的接收器210可藉由像磚與片段區段單元以接收藉由編碼圖像所產生的位元串流。並且，用於各片段區段的位元串流可包括片段區段的編碼符碼與片段區段標頭。

接收器210可解析代表當前片段區段是否為當前圖像中的初始片段區段的資訊，其中資訊來自當前片段區段的片段區段標頭。當來自所解析的資訊所決定當前片段區段不為初始片段區段時，接收器210可進一步解析來自當前片段區段標頭的代表當前片段區段為非獨立片段區段的資訊，其中非獨立片段區段使用先前片段區段的片段標頭資訊。

當來自所解析的資訊所決定當前片段區段為初始片段區段時，接收器210不解析來自當前片段區段標頭的代表當前片段區段為非獨立片段區段的資訊。若當前片段區段為初始片段區段，則接收器210可自圖像的初始片段區段標頭解析代表當前片段區段是否為圖像的初始片段區段標頭的初始片段區段的資訊與有關於當前片段區段的資訊。

當來自所解析來自當前片段區段標頭的資訊所決定當前片段區段為非獨立片段區段時，接收器210可決定多件來自先前片段區段標頭所解析的標頭資訊為當前片段區段的預設資訊。

本實施例的影像資料解碼器230可藉由使用解析來自片段區段標頭與當前片段區段的符碼的資訊來對當前片段區段進行解碼。

並且，本實施例的影像資料解碼器230可重建步驟S217中所解碼的當前片段區段，且可藉由組合所重建的片段區段來重建圖像。

並且，影像資料解碼器230可藉由組合片段區段來重建圖像，其中片段區段為對各像磚所解碼的片段區段。

對各片段區段，接收器210可解析包括於依據像磚中的掃描順序的當前片段區段中的多個最大編碼單元的符碼。並且，本實施例的影像資料解碼器230可藉由使用最大編碼單元所解析的符碼以對依據光柵掃描順序的最大編碼單元進行解碼。

依據各像磚中與各片段區段中的掃描順序所編碼（解碼）的最大編碼單元必須符合下列條件之一：（i）包括於一個片段區段中的最大編碼單元可包括於相同的像磚中，（ii）包括於一個像磚的最大編碼單元可包括於相同的片段區段中，以及（iii）包括於一個片段區段中的最大編碼單元可包括於相同的像磚中，且同時，包括於一個像磚中的多個最大編碼單元可包括於相同片段區段中。

舉例而言，若符合條件（i），則可對包括於當前像磚中的片段區段進行解碼，以使其不跨越過當前像磚的界限。

依據各像磚中與各片段中的掃描順序所編碼（解碼）的最大編碼單元必須符合下列條件之一：（i）包括於一個片段中的最大編碼單元可包括於相同的像磚中，（ii）包括於一個像磚中的最大編碼單元可包括於相同的片段中，以及（iii）包括於一個片段中的最大編碼單元可包括於相同的像磚中，且同時，包括於一個像磚中的多個最大編碼單元可包括於相同片段中。

因此，本實施例的影像資料解碼器230依序對各片段區段中的最大編碼單元進行解碼以重建片段區段，且重建像磚以重建像磚所構成的圖像。

並且，本實施例的影像資料解碼器230可藉由依序對各像磚中的最大編碼單元進行解碼以重建各像磚，且可重建由所重建的像磚所構成的圖像。

即，當編碼為對各最大編碼單元執行遞迴式編碼時，視訊解碼裝置200可獲取有關於至少一個產生最小編碼誤差的編碼單元的資訊，且可使用此資訊來對當前圖像解碼。換言之。可對具有樹狀結構的編碼單元進行解碼，其中編碼單元被決定為各最大編碼單元中可被解碼的最佳編碼單元。

因此，即使影像資料具有高解析度且為龐大資料量，藉由使用有關於接收來自編碼器的最佳編碼模式的資訊，可藉由使用依據影像資料的特徵而適應性地決定的編碼單元的尺寸與編碼模式以有效率地對影像資料進行解碼與還原。

圖10是依據本發明一個實施例用以說明編碼單元的概念的示意圖。

編碼單元的尺寸可用寬度×高度來表示，且尺寸可為64×64、32×32、16×16以及8×8。64×64的編碼單元可切割為64×64、64×32、32×64或32×32的分區，且32×32的編碼單元可切割為32×32、32×16、16×32或16×16的分區，16×16的編碼單元可切割為16×16、16×8、8×16或8×8的分區，且8×8的編碼單元可切割為8×8、8×4、4×8或4×4的分區。

在視訊資料310中，解析度為1920×1080，編碼單元的最大尺寸為64，且最大深度為2。在視訊資料320中，解析度為1920×1080，編碼單元的最大尺寸為64，且最大深度為3。在視訊資料330中，解析度為352×288，編碼單元的最大尺寸為16，且最大深度為1。圖10所繪示的最大深度意指自最大編碼單元至最小編碼單元的總分割次數。

若解析度高或資料量大，則編碼單元的最大尺寸可為大的，以便不僅提高編碼效率而且準確地反映影像的特徵。因此，具有高於視訊資料330的解析度的視訊資料310與320的編碼單元的最大尺寸可為64。

由於視訊資料310的最大深度為2，因此視訊資料310的編碼單元315可包括長軸（long axis）尺寸為64的最大編碼單元，以及長軸尺寸為32以及16的編碼單元，此是因為深度藉由分割最大編碼單元兩次而加深為兩層。同時，由於視訊資料330的最大深度為1，因此視訊資料330的編碼單元335可包括長軸尺寸為16的最大編碼單元，以及長軸尺寸為8的編碼單元，此是因為深度藉由分割最大編碼單元一次而加深為一層。

由於視訊資料320的最大深度為3，因此視訊資料320的編碼單元325可包括長軸尺寸為64的最大編碼單元，以及長軸尺寸為32、16以及8的編碼單元，此是因為深度藉由分割最大編碼單元三次而加深為三層。隨著深度加深，可精確地表達詳細資訊。

圖11是依據本發明一個實施例的基於編碼單元的影像編碼器400的方塊圖。

影像編碼器400執行視訊編碼裝置100的編碼單元決定器120的操作以對影像資料編碼。換言之，畫面內預測器410在畫面內模式中對來自當前畫面（frame）405的編碼單元執行畫面內預測，且移動估測器420與移動補償器425藉由使用當前畫面405與參考畫面495以對畫面間模式中來自當前畫面的編碼單元進行畫面間預測與移動補償。

自畫面內預測器410、移動估測器420以及移動補償器425輸出的資料經由轉換器430以及量化器440作為被量化的轉換係數而輸出。被量化的轉換係數經由反量化器460以及反轉換器470復原為空間域中的資料，且空間域中所復原的資料經由解區塊（deblocking）濾波器480以及SAO濾波器490的後處理（post-processed）之後作為參考畫面495來輸出。被量化的轉換係數可經由熵編碼器450作為位元串流455輸出。

為了使視訊編碼器400應用於視訊編碼裝置100中，視訊編碼器400的所有部件（亦即，畫面內預測器410、移動估測器420、移動補償器425、轉換器430、量化器440、熵編碼器450、反量化器460、反轉換器470、解區塊濾波器480以及SAO濾波器490）在考慮每一最大編碼單元的最大深度的同時，基於具有樹狀結構的編碼單元中的各編碼單元來執行操作。

具體而言，畫面內預測器410、移動估測器420以及移動補償器425在考慮當前最大編碼單元的最大尺寸以及最大深度的同時決定具有樹狀結構的編碼單元中的各編碼單元的分區以及預測模式，且轉換器430決定具有樹狀結構的編碼單元中的各編碼單元中的轉換單元的尺寸。

依據隨參照圖1A至圖7所敘述的片段區段、像磚與片段的特徵，影像編碼器400可對各最大編碼單元執行編碼操作。具體而言，熵編碼器450可對應於依據本發明實施例的片段區段傳送器14。

圖12是依據本發明一個實施例的基於編碼單元的影像解碼器500的方塊圖。

解析器510自位元串流505解析待解碼的被編碼的影像資料以及解碼所需的有關於編碼的資訊。被編碼影像資料經由熵解碼器520以及反量化器530作為被反量化的資料而輸出，且被反量化的資料經由反轉換器540而復原為空間域中的影像資料。

有關於空間域中的影像資料的畫面內預測器550對處於畫面內模式中的編碼單元執行畫面內預測，且移動補償器560藉由使用參考畫面585對處於畫面間模式中的編碼單元執行移動補償。

通過畫面內預測器550以及移動補償器560的空間域中的影像資料可在經由解區塊濾波器570以及SAO濾波器580後處理之後作為所復原的畫面595輸出。並且，經由解區塊濾波器570以及SAO濾波器580後處理的影像資料可作為參考畫面585輸出。

為了對視訊解碼裝置200的影像資料解碼器230中的影像資料進行解碼，影像解碼器500可執行解析器510執行操作後的操作。

為了使視訊解碼器500應用於視訊解碼裝置200中，視訊解碼器500的所有部件（亦即，解析器510、熵解碼器520、反量化器530、反轉換器540、畫面內預測器550、移動補償器560、解區塊濾波器570以及SAO濾波器580）為用於各最大編碼單元而基於具有樹狀結構的編碼單元來執行操作。

具體而言，畫面內預測器550與移動補償器560為具有樹狀結構的各編碼單元而基於分區與預測模式來執行操作，且反轉換器540為各編碼單元而基於轉換單元的尺寸來執行操作。依據隨參照圖1A至圖7所敘述的片段區段、像磚與片段區段的特徵，影像解碼器500對各最大編碼單元執行解碼操作。具體而言，熵解碼520可對應於依據本發明實施例的片段區段解析器22。

圖13是依據本發明一個實施例繪示的依據深度的較深編碼單元及分區的示意圖。

視訊編碼裝置100以及視訊解碼裝置200使用階層式編碼單元以便考慮影像特徵。可藉由使用者不同地設定，或可依據影像的特性來適應性地決定編碼單元的最大高度、最大寬度以及最大深度。可依據編碼單元的預定最大尺寸決定依據深度的較深編碼單元的尺寸。

在依據本發明實施例的編碼單元的階層式結構600中，編碼單元的最大高度與最大寬度各為64，且最大深度為3。在此情況中，最大深度參照自最大編碼單元到最小編碼單元所切割編碼單元的總次數。由於深度沿著階層式結構600的垂直軸加深，因此將較深編碼單元的高度以及寬度各自切割。並且，沿著階層式結構600的水平軸呈現作為用於各較深編碼單元的預測編碼的基礎的預測單元與分區。

換言之，編碼單元610為階層式結構600中的最大編碼單元，其中深度為0且尺寸（亦即，高度乘寬度）為64×64。深度沿著階層式結構600的垂直軸而加深，且具有尺寸為32×32且深度為1的編碼單元620、具有尺寸為16×16且深度為2的編碼單元630及具有尺寸為8×8且深度為3的編碼單元640。具有尺寸為8×8且深度為3的編碼單元650為最小編碼單元。

編碼單元的預測單元以及分區依據各深度沿著水平軸而排列。換言之，若具有尺寸為64×64且深度為0的編碼單元610是預測單元時，則預測單元可切割為包括於編碼單元610中的分區，亦即，具有尺寸為64×64的分區610、具有尺寸為64×32的分區612、具有尺寸為32×64的分區614或具有尺寸為32×32的分區616。

相似地，具有尺寸為32×32且深度為1的編碼單元620的預測單元可切割為包括於編碼單元620中的分區，亦即，具有尺寸為32×32的分區620、具有尺寸為32×16的分區622、具有尺寸為16×32的分區624及具有尺寸為16×16的分區626。

相似地，具有尺寸為16×16且深度為2的編碼單元630的預測單元可切割為包括於編碼單元630中的分區，亦即，包括於編碼單元中的具有尺寸為16×16的分區630、具有尺寸為16×8的分區632、具有尺寸為8×16的分區634及具有尺寸為8×8的分區636。

相似地，具有尺寸為8×8且深度為3的編碼單元640的預測單元可切割為包括於編碼單元640中的分區，亦即，包括於編碼單元中的具有尺寸為8×8的分區640、具有尺寸為8×4的分區642、具有尺寸為4×8的分區644及具有尺寸為4×4的分區646。

為了決定構成最大編碼單元610的編碼單元的至少一個編碼深度，視訊編碼裝置100的編碼單元決定器120對包括於最大編碼單元610中對應於各深度的編碼單元執行編碼。

依據深度的較深編碼單元的數目隨深度加深而增加，其中深度包括相同範圍與相同尺寸中的資料。舉例而言，需要對應於深度2的四個編碼單元來涵蓋包括於對應於深度1的一個編碼單元中的資料。因此，為了比較依據深度的相同資料的編碼結果，將對應於深度1的編碼單元以及對應於深度2的四個編碼單元各自編碼。

為了對深度中的當前深度執行編碼，沿著階層式結構600的水平軸，可藉由在對應於當前深度的編碼單元中的各預測單元執行編碼而對當前深度選擇最小編碼誤差。或者，可藉由比較依據深度的最小編碼誤差以及隨著深度沿著階層式結構600的垂直軸加深而對各深度執行編碼來搜尋最小編碼誤差。可選擇編碼單元610中具有最小編碼誤差的深度與分區作為編碼單元610的編碼深度與分區類型。

圖14是依據本發明一實施例用以說明編碼單元710與轉換單元720之間的關係的示意圖。

視訊編碼裝置100或視訊解碼裝置200對各最大編碼單元依據具有小於或等於最大編碼單元的尺寸的編碼單元來對影像進行編碼或解碼。可基於不大於對應的編碼單元的資料單元而選擇在編碼過程中用於轉換的轉換單元的尺寸。

舉例而言，在視訊編碼裝置100或視訊解碼裝置200中，若編碼單元710的尺寸為64×64，則可藉由使用具有尺寸為32×32的轉換單元720來執行轉換。

並且，可藉由對具有尺寸為小於64×64的32×32、16×16、8×8及4×4的各轉換單元執行轉換而對具有尺寸為64×64的編碼單元710的資料進行編碼，且接著可選擇具有最小編碼誤差的轉換單元。

圖15是依據本發明一個實施例用以說明對應於編碼深度的編碼單元的編碼資訊的示意圖。

視訊編碼裝置100的輸出單元130可對有關於分區類型的資訊800、有關於預測模式的資訊810與有關於對應於編碼深度的各編碼單元的轉換單元的尺寸的資訊820進行編碼，且作為有關於編碼模式的資訊而傳輸。

資訊800指示有關於藉由分割當前編碼單元的預測單元而獲取的分區的形狀的資訊，其中分區為用於當前編碼單元的預測編碼的資料單元。舉例而言，具有尺寸為2N×2N的當前編碼單元CU_0可切割為具有尺寸為2N×2N的分區802、具有尺寸為2N×N的分區804、具有尺寸為N×2N的分區806以及尺寸為N×N的分區808中的任一種。此處，有關於分區類型的資訊800設定為指示具有尺寸為2N×N的分區804、具有尺寸為N×2N的分區806以及具有尺寸為N×N的分區808中的一種。

資訊810指示各分區的預測模式。舉例而言，資訊810可指示對由資訊800指示的分區執行的預測編碼的模式，亦即，畫面內模式812、畫面間模式814或略過模式816。

資訊820指示將要基於何時對當前編碼單元執行轉換的轉換單元。舉例而言，轉換單元可為第一畫面內轉換單元822、第二畫面內轉換單元824、第一畫面間轉換單元826或第二畫面間轉換單元828。

依據各較深編碼單元，視訊解碼裝置200的影像資料與解碼資訊提取器220可提取且使用資訊800、810以及820以用於解碼。

圖16是依據本發明一個實施例的依據深度的較深編碼單元的示意圖。

切割資訊（split information）可用以指示深度的改變。切割資訊指示當前深度的編碼單元是否切割為較下層深度的編碼單元。

用於具有深度為0且尺寸為2N_0×2N_0的編碼單元900的預測編碼的預測單元910可包括具有尺寸為2N_0×2N_0的分區類型912、具有尺寸為2N_0×N_0的分區類型914、具有尺寸為N_0×2N_0的分區類型916及具有尺寸為N_0×N_0的分區類型918的分區。圖16僅說明藉由對稱地切割預測單元910而獲取的分區類型912至918，但分區類型不受限於此，且預測單元910的分區可包括非對稱分區、具有預定形狀的分區以及具有幾何形狀的分區。

依據各分區類型，對具有尺寸為2N_0×2N_0的一個分區、具有尺寸為2N_0×N_0的兩個分區、具有尺寸為N_0×2N_0的兩個分區及具有尺寸為N_0×N_0的四個分區重複地執行預測編碼。可對具有尺寸為2N_0×2N_0、N_0×2N_0、2N_0×N_0及的分區執行在畫面內模式及畫面間模式中的預測編碼。僅對具有尺寸為2N_0×2N_0的分區執行在略過模式中的預測編碼。

若編碼誤差在具有尺寸為2N_0×2N_0、N_0×2N_0以及2N_0×N_0的分區類型912至916中之一為最小，則預測單元910可不切割為較下層深度。

若編碼誤差在具有尺寸為N_0×N_0的分區類型918中最小，則深度自0改變為1以在操作920中切割分區類型918，且對深度為2且具有尺寸為N_0×N_0的分區類型編碼單元重複地執行編碼以搜尋最小編碼誤差。

用於具有深度為1且尺寸為2N_1×2N_1（=N_0×N_0）的（分區類型）編碼單元930的預測編碼的預測單元940可包括尺寸為2N_1×2N_1的分區類型942、尺寸為2N_1×N_1的分區類型944、尺寸為N_1×2N_1的分區類型946以及尺寸為N_1×N_1的分區類型948的分區。

若編碼誤差在尺寸為N_1×N_1的分區類型948中為最小，則深度自1改變為2以在操作950中切割分區類型948，且對具有深度為2且尺寸為N_2×N_2的編碼單元960重複地執行編碼以搜尋最小編碼誤差。

當最大深度為d時，可執行依據各深度的切割操作直至深度變為d-1時，且可對切割資訊進行編碼直至深度為0至d-2中的一者時。換言之，當執行編碼直至在對應於深度d-2的編碼單元在操作970中切割後深度為d-1時，用於具有深度為d-1且尺寸為2N_(d-1)×2N_(d-1)的編碼單元980的預測編碼的預測單元990可包括尺寸為2N_(d-1)×2N_(d-1)的分區類型992、具有尺寸為2N_(d-1)×N_(d-1)的分區類型994、具有尺寸為N_(d-1)×2N_(d-1)的分區類型996及具有尺寸為N_(d-1)×N_(d-1)的分區類型998的分區。

可對分區類型992至998中的具有尺寸為2N_(d-1)×2N_(d-1)的一個分區、具有尺寸為2N_(d-1)×N_(d-1)的兩個分區、具有尺寸為N_(d-1)×2N_(d-1)的兩個分區、具有尺寸為N_(d-1)×N_(d-1)的四個分區重複地執行預測編碼以搜尋具有最小編碼誤差的分區類型。

即使當分區類型998具有最小編碼誤差時，由於最大深度為d-1，因此具有深度為d-1的編碼單元CU_(d-1)不再切割為較下層深度，且將構成當前最大編碼單元900的編碼單元的編碼深度決定為d-1，並可將當前最大編碼單元900的分區類型決定為N_(d-1)×N_(d-1)。並且，由於最大深度為d-1，因此不設定用於最小編碼單元980的切割資訊。

資料單元999可為當前最大編碼單元的”最小單元”。依據本發明實施例的最小單元可為藉由將最小編碼單元980切割為4份而獲取的矩形資料單元。藉由重複地執行編碼，視訊編碼裝置100可藉由依據編碼單元900的深度來比較編碼誤差而選擇具有最小編碼誤差的深度以決定編碼深度，且將對應的分區類型與預測模式設定為編碼深度的編碼模式。

因而，在所有深度0至d中比較依據深度的最小編碼誤差，且可將具有最小編碼誤差的深度決定為編碼深度。可對編碼深度、預測單元的分區類型及預測模式進行編碼且作為有關於編碼模式的資訊而傳輸。並且，由於自深度0至編碼深度來切割編碼單元，因此僅編碼深度的切割資訊設定為0，且排除編碼深度的深度的切割資訊設定為1。

視訊解碼裝置200的影像資料與編碼資訊提取器220可提取且使用有關於編碼單元900的編碼深度與預測單元的資訊以對分區類型912進行解碼。視訊解碼裝置200可藉由使用依據深度的切割資訊而將切割資訊為0的深度決定為編碼深度，且使用有關於對應的深度的編碼模式的資訊以用於解碼。

圖17至圖19是依據本發明一個實施例用以說明編碼單元1010、預測單元1060及轉換單元1070之間的關係的示意圖。

編碼單元1010為在最大編碼單元中對應於由視訊編碼裝置100決定的編碼深度的具有樹狀結構的編碼單元。預測單元1060為各編碼單元1010的預測單元的分區，而轉換單元1070為各編碼單元1010中的轉換單元。

當最大編碼單元的深度在編碼單元1010中為0時，編碼單元1012以及1054的深度為1，編碼單元1014、1016、1018、1028、1050以及1052的深度為2，且編碼單元1020、1022、1024、1026、1030、1032以及1048的深度為3，而編碼單元1040、1042、1044以及1046的深度為4。

在預測單元1060中，藉由分割編碼單元1010中的編碼單元而獲取的一些編碼單元1014、1016、1022、1032、1048、1050、1052以及1054。換言之，編碼單元1014、1022、1050以及1054中的分區類型的尺寸為2N×N，且編碼單元1016、1048以及1052中的分區類型的尺寸為N×2N，而編碼單元1032的分區類型的尺寸為N×N。編碼單元1010的預測單元與分區小於或等於各編碼單元。

對小於編碼單元1052的資料單元中的轉換單元1070中的編碼單元1052的影像資料執行轉換或反轉換。並且，轉換單元1070中的編碼單元1014、1016、1022、1032、1048、1050、1052以及1054的尺寸與形狀相異於預測單元1060中的編碼單元。換言之，視訊編碼裝置100與視訊解碼裝置200可對相同編碼單元中的資料單元個別地執行畫面內預測、移動預測、移動補償、轉換以及反轉換。

因此，對在最大編碼單元的各區域中具有階層式結構的各編碼單元以遞迴方式執行編碼以決定最佳編碼單元，且因此可獲取具有遞迴樹狀結構的編碼單元。編碼資訊可包括有關於編碼單元的切割資訊、有關於分區類型的資訊、有關於預測模式的資訊與有關於轉換單元的尺寸的資訊。表1呈現可藉由視訊編碼裝置100以及視訊解碼裝置200設定的編碼資訊。

視訊編碼裝置100的輸出單元130可輸出有關於具有樹狀結構的編碼單元的編碼資訊，且視訊解碼裝置200的影像資料與編碼資訊提取器220可提取來自所接收的位元串流的有關於具有樹狀結構的編碼單元的編碼資訊。

切割資訊指示當前編碼單元是否切割為較下層深度的編碼單元。若當前深度d的切割資訊為0，則當前編碼單元不再切割為較下層深度的深度為編碼深度，且因此可針對編碼深度而定義有關於分區類型、預測模式以及轉換單元的尺寸的資訊。若依據切割資訊進一步切割當前編碼單元，則對較下層深度的四個切割編碼單元獨立地執行編碼。

預測模式可為畫面內模式、畫面間模式與略過模式中的一種。可在所有分區類型中定義畫面內模式與畫面間模式，而僅在尺寸為2N×2N的分區類型中定義略過模式。

關於分區類型的資訊可指示：具有尺寸為2N×2N、2N×N、N×2N以及N×N的對稱分區類型，其是藉由對稱地切割預測單元的高度或寬度而獲取；以及具有尺寸為2N×nU、2N×nD、nL×2N以及nR×2N的非對稱分區類型，其是藉由非對稱地切割預測單元的高度或寬度而獲取。可藉由以1:3與3:1切割預測單元的高度而分別獲取具有尺寸為2N×nU以及2N×nD的非對稱分區類型，且可藉由以1:3以及3:1切割預測單元的寬度而分別獲取尺寸為nL×2N以及nR×2N的非對稱分區類型。

轉換單元的尺寸可在畫面內模式中設定為兩種類型且在畫面間模式中設定為兩種類型。換言之，若轉換單元的切割資訊為0，則轉換單元的尺寸可為2N×2N，此為當前編碼單元的尺寸。若轉換單元的切割資訊為1，則可藉由切割當前編碼單元而獲取轉換單元。並且，若具有尺寸為2N×2N的當前編碼單元的分區類型為對稱分區類型，則轉換單元的尺寸可為N×N，而若當前編碼單元的分區類型為非對稱分區類型，則轉換單元的尺寸可為N/2×N/2。

有關於具有樹狀結構的編碼單元的編碼資訊可包括對應於編碼深度的編碼單元、預測單元及最小單元中的至少一種。對應於編碼深度的編碼單元可包括預測單元與含有相同編碼資訊的最小單元中的至少一種。

因此，藉由比較鄰近資料單元的編碼資訊而決定鄰近資料單元是否包括於對應於編碼深度的相同編碼單元中。並且，藉由使用資料單元的編碼資訊而決定對應於編碼深度的對應的編碼單元，且因此可決定最大編碼單元中的編碼深度的分佈。

因此，若基於鄰近資料單元的編碼資訊而預測當前編碼單元，則可直接參照且使用鄰近於當前編碼單元的較深編碼單元中的資料單元的編碼資訊。

或者，若基於鄰近資料單元的編碼資訊而預測當前編碼單元，則為使用資料單元的編碼的資訊而搜尋鄰近於當前編碼單元的資料單元，且可參照鄰近編碼單元以用於預測當前編碼單元。

圖20是依據表1的編碼模式而用以說明編碼單元、預測單元或分區及轉換單元之間的關係的示意圖。

最大編碼單元1300包括編碼深度的編碼單元1302、1304、1306、1312、1314、1316以及1318。於此，由於編碼單元1318為編碼深度的編碼單元，因此切割資訊可設定為0。有關於具有尺寸為2N×2N的編碼單元1318的分區類型的資訊可設定為具有尺寸為2N×2N的分區類型1322、具有尺寸為2N×N的分區類型1324、具有尺寸為N×2N的分區類型1326、具有尺寸為N×N的分區類型1328、具有尺寸為2N×nU的分區類型1332、具有尺寸為2N×nD的分區類型1334、具有尺寸為nL×2N的分區類型1336以及具有尺寸為nR×2N的分區類型1338中的一種。

轉換單元的切割資訊（TU（Transformation Unit）尺寸旗標（flag））為轉換索引的類型。對應於轉換索引的轉換單元的尺寸可依據編碼單元的分區類型或預測單元類型而改變。

舉例而言，當分區類型設定為對稱（亦即，分區類型1322、1324、1326或1328）時，若轉換單元的切割資訊（TU尺寸旗標）為0，則設定具有尺寸為2N×2N的轉換單元1342，而若TU尺寸旗標為1，則設定具有尺寸為N×N的轉換單元1344。

當分區類型設定為非對稱（亦即，分區類型1332、1334、1336或1338）時，若TU尺寸旗標為0，則設定具有尺寸為2N×2N的轉換單元1352，且若TU尺寸旗標為1，則設定具有尺寸為N/2×N/2的轉換單元1354。

請參照圖20， TU尺寸旗標為具有值0或1的旗標，但TU尺寸旗標不受限於1個位元，且在TU尺寸旗標自0增大時轉換單元可被階層式切割而具有樹狀結構。轉換單元切割資訊（TU尺寸旗標）可用作轉換索引的範例。

在此狀況下，在依據本發明實施例的TU尺寸旗標與轉換單元的最大尺寸與最小尺寸一起使用時，可表達實際使用的轉換單元的尺寸。依據本發明實施例，視訊編碼裝置100能夠對最大轉換單元尺寸資訊、最小轉換單元尺寸資訊及最大TU尺寸旗標進行編碼。最大轉換單元尺寸資訊、最小轉換單元尺寸資訊及最大TU尺寸旗標的編碼結果可***至SPS中。依據本發明實施例，視訊解碼裝置200可藉由使用最大轉換單元尺寸資訊、最小轉換單元尺寸資訊及最大TU尺寸旗標以對視訊解碼。

舉例而言，（a）若當前編碼單元的尺寸為64×64且最大轉換單元為32×32，則（a-1）當TU尺寸旗標為0時，轉換單元的尺寸為32×32；且（a-2）當TU尺寸旗標為1時，轉換單元的尺寸為16×16；而（a-3）當TU尺寸旗標為2時，轉換單元的尺寸為8×8。

作為另一範例，（b）若當前編碼單元的尺寸為32×32且最小轉換單元為32×32，則（b-1）當TU尺寸旗標為0時，轉換單元的尺寸為32×32。於此，由於轉換單元的尺寸無法小於32×32，因此不能設定TU尺寸旗標不為0的值。

作為另一範例，（c）若當前編碼單元的尺寸為64×64且最大TU尺寸旗標為1，則TU尺寸旗標可為0或1。於此，不能設定TU尺寸旗標不為0或1的值。

因此，若定義最大TU尺寸旗標為”MaxTransformSizeIndex”、最小轉換單元尺寸為”MinTransformSize”及當TU尺寸旗標為0時的轉換單元尺寸為”RootTuSize”，則可在當前編碼單元中決定的當前最小轉換單元尺寸”CurrMinTuSize”可由方程式（1）來定義：

CurrMinTuSize = max (MinTransformSize, RootTuSize/(2^MaxTransformSizeIndex)) ... （1）

與可在當前編碼單元中決定的當前最小轉換單元的尺寸”CurrMinTuSize”相比，當TU尺寸旗標為0時的轉換單元尺寸”RootTuSize”可意指可在系統中選擇的最大轉換單元尺寸。 在方程式（1）中，”RootTuSize/(2^MaxTransformSizeIndex) ”意指以對應於最大TU尺寸旗標的數目次數來切割當TU尺寸旗標為0時的轉換單元尺寸”RootTuSize”的轉換單元尺寸，而”MinTransformSize”意指最小轉換單元尺寸。因此，”RootTuSize/(2^MaxTransformSizeIndex) ”以及”MinTransformSize”中的較小值可為可在當前編碼單元中決定的當前最小轉換單元尺寸”CurrMinTuSize”。

依據本發明實施例，最大轉換單元尺寸RootTuSize可依據預測模式而變化。

舉例而言，若當前預測模式為畫面間模式，則可藉由使用下文方程式（2）來決定”RootTuSize”。在方程式（2）中，”MaxTransformSize”意指最大轉換單元尺寸，而”PUSize”意指當前預測單元尺寸。

RootTuSize = min(MaxTransformSize, PUSize) ......... （2）

即，若當前預測模式為畫面間模式，則當TU尺寸旗標為0時的轉換單元尺寸”RootTuSize”可設定為最大轉換單元尺寸與當前預測單元尺寸中的較小值。

若當前分區單元的預測模式為畫面內模式，則可依據下文方程式（3）來決定”RootTuSize”。在方程式（3）中， ”PartitionSize”意指當前分區單元的尺寸。

RootTuSize = min(MaxTransformSize, PartitionSize)....（3）

即，若當前預測模式為畫面內模式，則當TU尺寸旗標為0時的轉換單元尺寸”RootTuSize”可設定為最大轉換單元尺寸與當前分區單元的尺寸中的較小值。

然而，當前最大轉換單元尺寸”RootTuSize”（其依據分區單元中的預測模式的類型而變化）僅是一種範例，且本發明並不受限於此。

依據基於具有樹狀結構的編碼單元的如上述隨參照圖8至圖20的視訊編碼方法，對空間區域的影像資料進行編碼。依據基於具有樹狀結構的編碼單元的的視訊編碼方法，執行用於各最大編碼單元的解碼以還原空間區域的影像資料。因而，可還原圖像與視訊，其中圖像與視訊為圖像序列。所還原的視訊可藉由重製裝置重製、儲存於儲存媒體或經由網路傳送。

可將本發明實施例撰寫為電腦程式且可使用於一般使用的數位電腦中，其中一般使用的數位電腦使用電腦可讀取的記錄媒體以執行程式。電腦可讀取的記錄媒體的範例包括磁性儲存媒體（magnetic storage media）（例如，唯讀記憶體（read only memory，ROM）、軟碟（floppy disk）、硬碟等）與光學記錄媒體（optical recording media）（例如，CD-ROMs或DVDs）。

為方便說明，包括隨參照圖1A至圖20所敘述的熵編碼方法的視訊編碼方法將共同視為” 依據本發明的視訊編碼方法 ”。此外，包括隨參照圖1A至圖20所敘述的熵解碼方法的視訊解碼方法將視為” 依據本發明的視訊解碼方法 ”。

包括隨參照圖1A至圖20所敘述的視訊編碼裝置10、視訊編碼裝置101、視訊編碼裝置100或影像編碼器400的視訊編碼裝置將視為” 依據本發明的視訊編碼裝置 ”。此外，包括隨參照圖1A至圖20所敘述的視訊解碼裝置20、視訊解碼裝置201、視訊解碼裝置200或影像解碼器500的視訊解碼裝置將視為” 依據本發明的視訊解碼裝置 ”。

依據本發明實施例的電腦可讀取的記錄媒體儲存程式（例如，碟26000）現在將詳細說明。

圖21繪示依據本發明一個實施例的儲存程式的碟26000的實體結構。碟26000（其為儲存媒體）可為硬碟機（hard drive disc，HDD）、CD-ROM、藍光光碟（blue-ray disc）或DVD。碟26000包括多個同心磁軌（concentric track）Tr，其中在碟26000的圓周（circumferential）方向分割各Tr 成為特定數量的磁區（sector）Se。在碟26000的特定區域中，可分配與儲存執行預測多視角（multi-view）視訊的方法、預測還原多視角視訊的方法、編碼多視角視訊的方法及解碼多視角視訊的方法的程式。

使用儲存用於執行如上說明的視訊編碼方法與視訊解碼方法的程式的儲存媒體所實施的電腦系統現在將隨參照圖22來說明。

圖22繪示藉由使用碟26000以錄製及讀取程式的碟機26800。電腦系統26700可儲存執行本發明實施例的視訊編碼方法與視訊解碼方法中的至少一種的程式，其中程式經由碟機26800儲存於碟26000。藉由電腦系統26700而執行儲存於碟26000的程式，其程式可自碟26000中讀取，也可藉由使用碟機26800傳送至電腦系統26700。

執行本發明實施例的視訊編碼方法與視訊解碼方法中的至少一種的程式不僅可儲存至圖21或22所繪示的碟26000中，也可儲存至記憶卡、ROM卡匣（ROM cassette）或固態磁碟（solid state drive，SSD）中。

下文將描述應用了上述視訊編碼方法以及視訊解碼方法之系統。

圖23繪示提供內容分配服務的內容供應系統11000的整體結構。通信系統之服務區域劃分為預定尺寸之小區，且無線基地台11700、11800、11900以及12000分別安裝於此等小區中。

內容供應系統11000包括多個獨立裝置。舉例而言，諸如電腦12100、個人數位助理（personal digital assistant，PDA）12200、視訊攝影機12300以及行動電話12500的所述多個獨立裝置經由網際網路服務提供商11200、通信網路11400以及無線基地台11700、11800、11900以及12000而連接至網際網路11100。

然而，內容供應系統11000不受限於如圖24所說明之內容供應系統，且多個裝置可選擇性連接至所述內容供應系統。多個獨立裝置可直接連接至通信網路11400，而不是經由無線預設基地台11700、11800、11900以及12000來連接。

視訊攝影機12300為能夠擷取視訊影像之成像裝置，例如，數位視訊攝影機。行動電話12500可使用各種協定中之至少一種通信方法，例如，個人數位通信（Personal Digital Communications，PDC）、分碼多重存取（Code Division Multiple Access，CDMA）、寬頻分碼多重存取（Wideband-Code Division Multiple Access，W-CDMA）、全球行動通信系統（Global System for Mobile Communications，GSM）以及個人手持電話系統（Personal Handyphone System，PHS）。

視訊攝影機12300可經由無線基地台11900以及通信網路11400而連接至串流伺服器11300。串流伺服器11300允許經由視訊攝影機12300自使用者接收之內容經由即時廣播（real-time broadcast）而串流傳輸。可使用視訊攝影機12300或串流伺服器11300來對自視訊攝影機12300接收之內容進行編碼。可將由視訊攝影機12300擷取之視訊資料經由電腦12100傳輸至串流伺服器11300。

亦可將由相機12600擷取之視訊資料經由電腦12100傳輸至串流伺服器11300。相機12600為類似於數位相機能夠擷取靜態影像與視訊影像兩者之成像裝置。可使用相機12600或電腦12100來對由相機12600擷取之視訊資料進行編碼。執行視訊編碼以及解碼之軟體可儲存於可由電腦12100存取之電腦可讀取的記錄媒體中，電腦可讀取的記錄媒體例如為CD-ROM光碟、軟碟（floppy disc）、硬碟機、SSD或記憶卡。

若視訊資料是由內建於行動電話12500中之相機擷取，則可自行動電話12500接收視訊資料。

視訊資料亦可藉由安裝於視訊攝影機12300、行動電話12500或相機12600中之大型積體電路（large scale integrated circuit，LSI）系統來進行編碼。

依據本發明實施例，內容供應系統11000可對由使用者使用視訊攝影機12300、相機12600、行動電話12500或另一成像裝置記錄之內容資料（例如，在音樂會期間記錄之內容）進行編碼，且將所編碼的內容資料傳輸至串流伺服器11300。串流伺服器11300可將編碼的內容資料以串流內容之類型傳輸至請求內容資料之其他用戶端。

用戶端為能夠對編碼的內容資料進行解碼之裝置（例如，電腦12100、PDA 12200、視訊攝影機12300或行動電話12500）。因此，內容供應系統11000允許用戶端接收並重製編碼之內容資料。並且，內容供應系統11000允許用戶端接收編碼之內容資料並即時地對編碼之內容資料進行解碼以及重製，藉此實現個人廣播。

內容供應系統11000中所包括之多個獨立裝置之編碼與解碼操作可類似於依據本發明實施例之視訊編碼設備與視訊解碼設備之編碼與解碼操作。

現將隨參照圖24及圖25更詳細地描述依據本發明實施例的內容供應系統11000中所包括之行動電話12500。

圖24繪示依據本發明一個實施例的應用視訊編碼方法與視訊解碼方法的行動電話12500的外部結構。行動電話12500可為智慧型電話，其功能不受限制，且其大部分功能可被改變或擴展。

行動電話12500包括內部天線12510，可經由內部天線12520而與圖23之無線基地台12000交換射頻（radio-frequency，RF）訊號，且行動電話12500包括用於顯示由相機12530擷取之影像或經由天線12510而接收並被解碼之影像的顯示螢幕12520，例如，液晶顯示器（liquid crystal display，LCD）或有機發光二極體（organic light-emitting diode，OLED）螢幕。行動電話12500包括操作面板12540，其包括控制按鈕以及觸控面板。若顯示螢幕12520為觸控螢幕，則操作面板12540更包括顯示螢幕12520之觸摸感測面板。行動電話12500包括用於輸出語音以及聲音之揚聲器12580或另一類型之聲音輸出單元，以及用於輸入語音以及聲音之麥克風12550或另一類型之聲音輸入單元。行動電話12500更包括相機12530（諸如，電荷耦合裝置（charge-coupled device，CCD）相機）以擷取視訊以及靜態影像。行動電話12500可更包括：儲存媒體12570，其用於儲存所編碼/所解碼之資料，例如，由相機12530擷取、經由電子郵件而接收或依據各種方式而獲得的視訊或靜態影像；以及插槽12560，儲存媒體12570經由插槽12560而裝載至行動電話12500中。儲存媒體12570可為快閃記憶體，例如，安全數位（secure digital，SD）卡或包括於塑膠外殼中的電可抹除可程式化唯讀記憶體（electrically erasable and programmable read only memory，EEPROM）。

圖25繪示依據本發明一個實施例的應用視訊編碼方法與視訊解碼方法的行動電話12500的內部結構。為了系統地控制包括顯示螢幕12520以及操作面板12540之行動電話12500之多個部分，電力供應電路12700、操作輸入控制器12640、影像編碼單元12720、相機介面12630、LCD控制器12620、影像解碼單元12690、多工器/解多工器12680、記錄/讀取單元12670、調變/解調變單元12660以及聲音處理器12650經由同步匯流排12730而連接至中央控制器12710。

若使用者操作電源按鈕且自”電源關閉”狀態設定至”電源開啟”狀態，則電力供應電路12700將電力自電池組（battery pack）供應至行動電話12500之所有部分，藉此將行動電話12500設定於操作模式。

中央控制器12710包括中央處理單元（central processing unit，CPU）、ROM以及隨機存取記憶體（random access memory，RAM）。

雖然行動電話12500將通信資料傳輸至外部，但數位資料在中央控制器之控制下產生於行動電話12500中。舉例而言，聲音處理器12650可產生數位聲音訊號，影像編碼單元12720可產生數位影像訊號，且訊息之文字資料可經由操作面板12540以及操作輸入控制器12640而產生。在數位訊號在中央控制器12710之控制下遞送至調變/解調變單元12660時，調變/解調變單元12660調變數位訊號之頻帶，且通信電路12610對經頻帶調變之數位聲音訊號執行數位至類比變換（DAC）以及頻率變換。自通信電路12610輸出之傳輸訊號可經由天線12510而傳輸至語音通信基地台或無線基地台12000。

舉例而言，在行動電話12500處於交談模式時，經由麥克風12550而獲得之聲音訊號在中央控制器12710之控制下由聲音處理器12650轉換為數位聲音訊號。數位聲音訊號可經由調變/解調變單元12660以及通信電路12610而轉換為轉換訊號，且可經由天線12510而傳輸。

當在資料通信模式中傳輸文字訊息（例如，電子郵件（email））時，文字訊息之文字資料經由操作面板12540而輸入，且經由操作輸入控制器12640而傳輸至中央控制器12710。在中央控制器12710之控制下，文字資料經由調變/解調變單元12660以及通信電路12610轉換為傳輸訊號，且經由天線12510而傳輸至無線基地台12000。

為了在資料通信模式中傳輸影像資料，由相機12530擷取之影像資料經由相機介面12630而提供至影像編碼單元12720。所擷取之影像資料可經由相機介面12630以及LCD控制器12620直接顯示在顯示螢幕12520上。

影像編碼單元12720之結構可對應於上述影像編碼設備100之結構。影像編碼單元12720可依據由上述視訊編碼設備100或影像編碼器400使用之視訊編碼方法而將自相機12530接收之影像資料轉換為壓縮且編碼之影像資料，且接著將編碼之影像資料輸出至多工器/解多工器12680。在相機12530之記錄操作期間，由行動電話12500之麥克風12550獲得之聲音訊號可經由聲音處理器12650而轉換為數位聲音資料，且所述數位聲音資料可遞送至多工器/解多工器12680。

多工器/解多工器12680將自影像編碼單元12720接收之所編碼之影像資料以及自聲音處理器12650接收之聲音資料一起多工。對資料進行多工之結果可經由調變/解調變單元12660以及通信電路12610而轉換為轉換訊號，且可接著經由天線12510而傳輸。

在行動電話12500自外部接收通信訊號時，對經由天線12510而接收之訊號執行頻率轉換以及ADC，以將訊號轉換為數位訊號。調變/解調變單元12660調變數位訊號之頻帶。經頻帶調變之數位訊號依據數位訊號之類型而傳輸至視訊解碼單元12690、聲音處理器12650或LCD控制器12620。

在交談模式中，行動電話12500放大經由天線12510而接收之訊號，且藉由對所放大之訊號執行頻率變換以及ADC而獲得數位聲音訊號。在中央控制器12710之控制下，接收之數位聲音訊號經由調變/解調變單元12660以及聲音處理器12650而轉換為類比聲音訊號，且所述類比聲音訊號經由揚聲器12580而輸出。

在處於資料通信模式時，接收在網際網路網站所存取之視訊檔案之資料，且將經由天線12510而自無線基地台12000接收之訊號經由調變/解調變單元12660作為多工之資料而輸出，且將多工之資料傳輸至多工器/解多工器12680。

為了對經由天線12510而接收之多工之資料進行解碼，多工器/解多工器12680將多工之資料解多工為編碼之視訊資料串流以及編碼之音訊資料串流。經由同步匯流排12730而分別將編碼之視訊資料串流以及編碼之音訊資料串流提供至視訊解碼單元12690以及聲音處理器12650。

影像解碼單元12690之結構可對應於上述影像解碼設備200之結構。依據由上述視訊解碼設備200或影像解碼器500使用之視訊解碼方法，影像解碼單元12690可對編碼之視訊資料進行解碼以獲得復原之視訊資料且經由LCD控制器12620而將復原之視訊資料提供至顯示螢幕12520。

因此，在網際網路網站所存取之視訊檔案之資料可顯示於顯示螢幕12520上。同時，聲音處理器12650可將音訊資料轉換為類比聲音訊號，且將類比聲音訊號提供至揚聲器12580。因此，在網際網路網站所存取之視訊檔案中所含有的音訊資料亦可經由揚聲器12580而重製。

行動電話12500或另一類型之通信終端機可為包括依據本發明之實施例之視訊編碼設備與視訊解碼設備兩者的收發終端機，可為僅包括視訊編碼設備之收發終端機，或可為僅包括視訊解碼設備收發終端機。

依據本發明之通信系統不受限於上文隨參看圖24所描述之通信系統。舉例而言，圖26繪示依據本發明一個實施例的使用通訊系統的數位廣播系統。圖26之數位廣播系統可藉由使用依據本發明實施例之視訊編碼設備以及視訊解碼設備而接收經由衛星或地面網絡傳輸之數位廣播。

具體而言，廣播站12890藉由使用無線電波而將視訊資料串流傳輸至通信衛星或廣播衛星12900。廣播衛星12900傳輸廣播訊號，且廣播訊號經由家用天線12860而傳輸至衛星廣播接收器。在每個家庭中，編碼之視訊串流可由TV接收器12810、機上盒（set-top box）12870或另一裝置解碼並重製。

在依據本發明之實施例之視訊解碼設備實施於重製設備12830中時，重製設備12830可對記錄於儲存媒體12820（諸如，光碟或記憶卡）上之編碼之視訊串流進行解析以及解碼以復原數位訊號。因此，復原之視訊訊號可重製（例如，於監視器12840上）。

在連接至用於衛星/地面廣播之天線12860或用於接收有線電視（TV）廣播之電纜天線12850的機上盒12870中，可安裝有依據本發明之實施例之視訊解碼設備。自機上盒12870輸出之資料亦可重製於TV監視器12880上。

作為另一範例，依據本發明實施例之視訊解碼設備可安裝於TV接收器12810而非機上盒12870上。

包括合適天線12910之汽車12920可接收自衛星12900或無線基地台11700傳輸之訊號。解碼之視訊可重製於內建於汽車12920中的汽車導航系統12930之顯示螢幕上。

視訊訊號可由依據本發明實施例之視訊編碼設備編碼且可接著儲存於儲存媒體中。具體言之，影像訊號可由DVD記錄器儲存於DVD光碟12960中或可由硬碟記錄器12950儲存於硬碟中。作為另一範例，視訊訊號可儲存於SD卡12970中。若硬碟記錄器12950包括依據本發明之實施例之視訊解碼設備，則DVD光碟12960、SD卡12970或另一儲存媒體上所記錄之視訊訊號可重製於TV監視器12880上。

汽車導航系統12930可能不包括相機12530、相機介面12630以及圖25之影像編碼單元12720。舉例而言，電腦12100以及TV接收器12810可能不包括於相機12530、相機介面12630以及圖25之影像編碼單元12720中。

圖27繪示依據本發明一個實施例的使用視訊編碼裝置和視訊解碼裝置的雲端運算系統的網路架構。

雲端運算系統可包括雲端運算伺服器14000、使用者資料庫（DB）14100、多個運算資源14200以及使用者終端機。

雲端運算系統回應於來自使用者終端機之請求而經由資料通信網絡（例如，網際網路）提供多個運算資源14200之應需委外服務（on-demand outsourcing service）。在雲端運算環境下，服務提供商藉由使用虛擬化技術來組合位於實體上不同位置處之資料中心的運算資源而向使用者提供所要服務。服務使用者並不需要將運算資源（例如，應用程式、儲存器、作業系統（OS）或安全機制）安裝於其自身之終端機上以便進行使用，而是可在所要時間點自經由虛擬化技術而產生之虛擬空間中的服務選擇所要服務並進行使用。

特定服務使用者之使用者終端機經由資料通信網路（包括網際網路與行動電信網路）而連接至雲端運算伺服器14000。可自雲端運算伺服器14000對使用者終端機提供雲端運算服務且特定地視訊重製服務。使用者終端機可為能夠連接至網際網路之各種類型的電子裝置，例如，桌上型PC 14300、智慧型TV 14400、行動電話14500、筆記型電腦14600、攜帶型多媒體播放器（PMP）14700、平板型PC 14800及諸如此類。

雲端運算伺服器14000可組合雲端網路中所分散之多個運算資源14200且向使用者終端機提供所述組合之結果。多個運算資源14200可包括各種資料服務，且可包括自使用者終端機上傳之資料。如上所述，雲端運算伺服器14000可藉由依據虛擬化技術來組合不同區域中所分散之視訊資料庫而向使用者終端機提供所要服務。

關於所預訂的雲端運算服務之使用者之使用者資訊儲存於使用者DB 14100中。使用者資訊可包括使用者之登錄資訊、地址、姓名以及個人信用資訊。使用者資訊可更包括視訊之索引。於此，索引可包括已重製過之視訊之清單、正在重製之視訊之清單、重製之視訊之暫停點（pausing point）及諸如此類。

關於儲存於使用者DB 14100中之視訊之資訊可在使用者裝置之間共用。舉例而言，在視訊服務回應於來自筆記型電腦14600之請求而提供至筆記型電腦14600時，視訊服務之重製歷史儲存於使用者DB 14100中。在自智慧型電話14500接收到對重製此視訊服務之請求時，雲端運算伺服器14000基於使用者DB 14100而搜尋並重製此視訊服務。當智慧型電話14500自雲端運算伺服器14000接收視訊資料串流時，藉由對視訊資料串流做解碼而重製視訊的程序類似於上述隨參照圖24所描述之行動電話12500之操作。

雲端運算伺服器14000可參考儲存於使用者DB 14100中之所要視訊服務之重製歷史。舉例而言，雲端運算伺服器14100自使用者終端機接收對重製儲存於使用者DB 14100中之視訊的請求。若正重製此視訊，則由雲端運算伺服器14000執行之串流傳輸此視訊之方法可依據來自使用者終端機之請求（亦即，依據將始於視訊之開始還是其暫停點而重製視訊）而變化。舉例而言，若使用者終端機請求始於視訊之開始而重製視訊，則雲端運算伺服器14000始於視訊之第一畫面而將視訊之資料串流傳輸至使用者終端機。舉例而言，若使用者終端機請求始於視訊之暫停點而重製視訊，則雲端運算伺服器14000始於對應於暫停點之畫面而將視訊之資料串流傳輸至使用者終端機。

在此狀況下，使用者終端機可包括如上述隨參照圖1A至圖20而描述之視訊解碼設備。作為另一範例，使用者終端機可包括如上述隨參照圖1A至圖20而描述之視訊編碼設備。或者，使用者終端機可包括如上述隨參照圖1A至圖20而描述之視訊解碼設備與視訊編碼設備兩者。

上述隨參照圖21至圖27而描述上述隨參照圖1A至圖20所描述的依據本發明實施例之視訊編碼方法、視訊解碼方法、視訊編碼設備以及視訊解碼設備之各種應用。然而，依據本發明的各種實施例之將視訊編碼方法以及視訊解碼方法儲存於儲存媒體中之方法或將視訊編碼設備以及視訊解碼設備實施在裝置中之方法不受限於上述隨參照圖21至圖27而描述之實施例。

儘管已參考本發明之例示性實施例特定地展示且描述了本發明，但一般熟習此項技術者將理解，在不脫離如由所附申請專利範圍界定的本發明之精神以及範疇的情況下，可對本發明進行形式以及細節上的各種改變。

10、101、100‧‧‧視訊編碼裝置
11、105‧‧‧視訊編碼方法
12‧‧‧片段區段編碼器
14‧‧‧片段區段傳送器
20、201、200‧‧‧視訊解碼裝置
22‧‧‧片段區段解析器
24‧‧‧片段區段解碼器
21、205‧‧‧視訊解碼方法
60、65、301、401、50、525、535‧‧‧圖像
52、54、311、313‧‧‧列界限
51、53、321、323‧‧‧行界限
66、68‧‧‧片段界限
70‧‧‧片段區段標頭
71‧‧‧代表在當前片段區段是否為當前圖像中的初始片段區段
73‧‧‧當前片段區段不為初始片段區段
75‧‧‧代表當前片段區段是否為非獨立片段區段
102‧‧‧次區域分割器
104‧‧‧次區域編碼器
110‧‧‧最大編碼單元切割器
120‧‧‧編碼單元決定器
130‧‧‧輸出器
202‧‧‧次區域接收器
204‧‧‧次區域解碼器
210‧‧‧接收器
220‧‧‧影像資料與編碼資訊提取器
230‧‧‧影像資料解碼器
310、320、330‧‧‧視訊資料
315、325、335、610、620、630、640、710、900、930、980、1010、1012、1014、1016、1018、1020、1022、1024、1026、1028、1030、1032、1040、1042、1044、1046、1048、1050、1052、CU、1302、1304、1306、1312、1314、1316、1318‧‧‧編碼單元
400‧‧‧影像編碼器
405‧‧‧當前畫面
410‧‧‧畫面內預測器
411、421、423‧‧‧邊界線
420‧‧‧移動估測器
425、560‧‧‧移動補償器
430‧‧‧轉換器
431、433、435、665、685、695‧‧‧非獨立片段區段
440‧‧‧量化器
441、661、681、691‧‧‧獨立片段區段
450‧‧‧熵編碼器
455、505‧‧‧位元串流
460、530‧‧‧反量化器
470、540‧‧‧反轉換器
480、570‧‧‧解區塊濾波器
490、580‧‧‧樣本適應性偏移濾波器
495、585‧‧‧參考畫面
500‧‧‧影像解碼器
510‧‧‧解析器
511、513、515、611、613、615、617、619‧‧‧片段區段
520‧‧‧熵解碼器
550‧‧‧畫面內預測器
595‧‧‧所重建的畫面
600‧‧‧階層式結構
601、651‧‧‧像磚界限
603、605、607、609、663、683、693‧‧‧片段區段界限
612、614、616、622、624、626、632、634、636、642、644、646‧‧‧分區
720、1342、1344、1352、1354‧‧‧轉換單元
800‧‧‧分區類型
810‧‧‧預測模式
812‧‧‧畫面內模式
814‧‧‧畫面外模式
816‧‧‧略過模式
820‧‧‧轉換單元的尺寸
822‧‧‧第一畫面內轉換單元
824‧‧‧第二畫面內轉換單元
826‧‧‧第一畫面間轉換單元
828‧‧‧第二畫面間轉換單元
920、950、970‧‧‧切割操作
910、940、990、1060‧‧‧預測單元
912、914、916、918、942、944、946、948、992、994、996、998、1322、1324、1326、1328、1332、1334、1336、1338‧‧‧分區類型
999‧‧‧資料單元
1070‧‧‧轉換單元
1300‧‧‧最大編碼單元
11000‧‧‧內容供應系統
11100‧‧‧網際網路
11200‧‧‧網際網路服務提供商
11300‧‧‧串流伺服器
11400‧‧‧通信網路
11700、11800、11900、12000‧‧‧無線基地台
12100‧‧‧電腦
12200‧‧‧個人數位助理（PDA）
12300‧‧‧視訊攝影機
12500‧‧‧行動電話
12510‧‧‧內部天線
12520‧‧‧顯示螢幕
12530‧‧‧相機
12540‧‧‧操作面板
12550‧‧‧麥克風
12560‧‧‧插槽
12570‧‧‧儲存媒體
12580‧‧‧揚聲器
12600‧‧‧相機
12610‧‧‧通信電路
12620‧‧‧LCD控制器
12630‧‧‧相機介面
12640‧‧‧操作輸入控制器
12650‧‧‧聲音處理器
12660‧‧‧調變/解調變單元
12670‧‧‧記錄/讀取單元
12680‧‧‧多工器/解多工器
12690‧‧‧影像解碼單元
12700‧‧‧電力供應電路
12710‧‧‧中央控制器
12720‧‧‧影像編碼單元
12730‧‧‧同步匯流排
12810‧‧‧TV接收器
12820‧‧‧儲存媒體
12830‧‧‧重製設備
12840‧‧‧監視器
12850‧‧‧電纜天線
12860‧‧‧天線
12870‧‧‧機上盒
12880‧‧‧TV監視器
12890‧‧‧廣播站
12900‧‧‧廣播衛星
12910‧‧‧天線
12920‧‧‧汽車
12930‧‧‧汽車導航系統
12950‧‧‧硬碟記錄器
12960‧‧‧DVD光碟
12970‧‧‧SD卡
14000‧‧‧雲端運算伺服器
14100‧‧‧使用者資料庫
14200‧‧‧運算資源
14300‧‧‧桌上型PC
14400‧‧‧智慧型TV
14500‧‧‧智慧型電話
14600‧‧‧筆記型電腦
14700‧‧‧攜帶型多媒體播放器
14800‧‧‧平板型PC
26000‧‧‧碟
26700‧‧‧電腦系統
26800‧‧‧碟機

圖1A是依據本發明一個實施例的藉由空間次分割編碼的視訊編碼裝置的方塊圖。 圖1B繪示藉由圖1A的視訊編碼裝置執行的視訊編碼方法的流程圖。 圖1C是依據本發明另一個實施例的藉由空間次分割編碼的視訊編碼裝置的方塊圖。 圖1D繪示藉由圖1C的視訊編碼裝置執行的視訊編碼方法的流程圖。 圖2A是依據本發明一個實施例的藉由空間次分割解碼的視訊解碼裝置的方塊圖。 圖2B繪示藉由圖2A的視訊解碼裝置執行的視訊解碼方法的流程圖。 圖2C是依據本發明另一個實施例的藉由空間次分割解碼的視訊解碼裝置的方塊圖。 圖2D繪示藉由圖2C的視訊編碼裝置執行的視訊解碼方法的流程圖。 圖3繪示圖像中像磚及最大編碼單元的示意圖。 圖4繪示圖像中片段區段、片段及最大編碼單元的示意圖。 圖5A和5B是用以說明於圖像中片段與片段區段之間的關係的示意圖。 圖6A和6B是用以說明像磚、片段區段、片段及最大編碼單元之間的關係的示意圖。 圖7是依據本發明一個實施例呈現片段區段標頭的語法（syntax）的示意圖。 圖8是依據本發明一個實施例的基於依據樹狀結構（tree structure）的編碼單元的視訊編碼裝置的方塊圖。 圖9是依據本發明一個實施例的基於依據樹狀結構的編碼單元的視訊解碼裝置的方塊圖。 圖10是依據本發明一個實施例用以說明編碼單元的概念的示意圖。 圖11是依據本發明一個實施例的基於編碼單元的影像編碼器的方塊圖。 圖12是依據本發明一個實施例的基於編碼單元的影像解碼器的方塊圖。 圖13是依據本發明一個實施例繪示的依據深度（depth）的較深編碼單元（deeper coding unit）及分區（partitions）的示意圖。 圖14是依據本發明一個實施例用以說明編碼單元與轉換（transformation）單元之間的關係的示意圖。 圖15是依據本發明一個實施例用以說明對應於編碼深度的編碼單元的編碼資訊的示意圖。 圖16是依據本發明一個實施例的依據深度的較深編碼單元的示意圖。 圖17～圖19是依據本發明一個實施例用以說明編碼單元、預測單元（prediction unit）及轉換單元之間的關係的示意圖。 圖20是依據表1的編碼模式而用以說明編碼單元、預測單元或分區及轉換單元之間的關係的示意圖。 圖21繪示依據本發明一個實施例的儲存程式的碟（disc）的實體結構。 圖22繪示藉由使用碟以錄製及讀取程式的碟機（disc drive）。 圖23繪示提供內容分配服務（content distribution service）的內容供應系統的整體結構。 圖24、圖25繪示依據本發明一個實施例的應用視訊編碼方法與視訊解碼方法的行動電話的外部與內部結構。 圖26繪示依據本發明一個實施例的使用通訊系統的數位廣播系統。 圖27繪示依據本發明一個實施例的使用視訊編碼裝置和視訊解碼裝置的雲端運算系統的網路架構。

105‧‧‧視訊編碼方法

S106~S108‧‧‧步驟

Claims (4)

1. 一種用於視訊解碼的方法，所述方法包括： 從位元串流獲得關於像磚的行界限的位置的資訊； 決定複數個像磚而包含基於關於所述像磚的所述行界限的所述位置的所述資訊的當前像磚；以及 基於編碼單元的分割資訊從包含在所述當前像磚與當前片段區段兩者之間的最大編碼單元獲得至少一個編碼單元， 其中在所述當前片段區段中的全部的最大編碼單元被包含在所述當前像磚中，且 當所述分割資訊指示在當前深度的分割時，將所述當前深度的編碼單元分割為較下層深度的複數個編碼單元。
2. 如申請專利範圍第1項所述的用於視訊解碼的方法，其中根據所述分割資訊，所述最大編碼單元被階層式分割為深度的至少一個編碼單元，所述深度包含當前深度與較下層深度中的至少一者， 當所述分割資訊指示在所述當前深度的分割時，將所述當前深度的所述編碼單元分割為獨立於鄰近編碼單元的較下層深度的四個方形編碼單元，且 當所述分割資訊指示在所述當前深度的非分割時，從所述當前深度的所述編碼單元獲得至少一個預測單元且從所述當前深度的所述編碼單元獲得至少一個轉換單元。
3. 如申請專利範圍第1項所述的用於視訊解碼的方法，其中根據光柵掃描順序，所述當前片段區段包含至少一個最大編碼單元，所述當前片段區段包含在單個網路調適層單元中，且所述當前片段區段不超過所述當前像磚的界限。
4. 如申請專利範圍第1項所述的用於視訊解碼的方法，其中從所述位元串流獲得第一資訊，所述第一資訊指示所述當前片段區段是否為圖像中的初始片段區段； 當所述第一資訊指示所述當前片段區段不是所述初始片段區段，從所述位元串流獲得第二資訊，所述第二資訊指示所述當前片段區段是否為非獨立片段區段； 當所述第二資訊指示所述當前片段區段為所述非獨立片段區段，基於其他片段的標頭資訊獲得所述當前片段區段的標頭資訊；且 當所述第二資訊指示所述當前片段區段為獨立片段區段，從所述位元串流獲得所述當前片段區段的所述標頭資訊。