TW202005373A

TW202005373A - 由視訊編碼器和視訊解碼器執行的視訊編解碼方法及裝置

Info

Publication number: TW202005373A
Application number: TW108118182A
Authority: TW
Inventors: 林芷儀; 莊子德; 陳慶曄
Original assignee: 聯發科技股份有限公司
Priority date: 2018-05-25
Filing date: 2019-05-27
Publication date: 2020-01-16
Also published as: CN116708814A; CN112219401A; EP3794822A4; US20210203943A1; US11503300B2; TWI702826B; EP3794822A1; WO2019223790A1

Abstract

本發明公開了使用仿射運動模型對系統進行編解碼的方法和裝置。根據一種方法，包括多個空間相鄰塊和一個或多個同位塊的當前塊的相鄰塊集合被確定用於當前塊。基於多個空間相鄰塊處的控制點（control point，簡稱CP）運動向量（motion vector，簡稱MV）和所述一個或多個同位塊，一個或多個構造的仿射MVP（motion vector prediction）候選被導出用於仿射MVP候選清單。不具有時間MV的構造的仿射MVP候選被檢查和被***到仿射MVP候選清單中處於具有時間MV的任一構造的仿射MV之前。然後，基於仿射MVP候選清單當前塊或當前塊的運動資訊被編碼或解碼。

Description

用於視訊編解碼系統的仿射模型運動向量預測導出方法及裝置

本發明涉及使用運動估計以及運動補償的視訊編解碼。更具體地說，本發明涉及產生包括與使用仿射模式進行編解碼的一個或多個塊相關聯的一個或多個仿射MVP候選仿射運動向量預測（motion vector prediction，簡稱MVP）候選清單。

在過去二十年中各種視訊編解碼標準被開發。在較新的編解碼標準中，更強大的編解碼工具被用來提高編解碼效率。高效視訊編解碼（High Efficiency Video Coding，簡稱HEVC）是近年來開發的新編解碼標準。在HEVC系統中，H.264/AVC的固定大小的宏塊由被稱為編解碼單元（coding unit，簡稱CU）的靈活塊替代。CU中的像素具有相同的編解碼參數以提高編解碼效率。CU可由最大CU（largest coding unit，簡稱LCU）開始，其在HEVC中也被稱為已編解碼樹單元（coded tree unit，簡稱CTU）。除了編解碼單元的概念之外，預測單元（prediction unit，簡稱PU）的概念還在HEVC中被引入。一旦完成CU分層樹的分割，則根據預測類型和PU分割每個葉CU被進一步分割成一個或多個PU。

在大多數編碼標準中，自適應的幀間/幀內預測是基於塊使用。在幀間預測模式中，一個或兩個運動向量被確定用於每個塊以選擇一個參考塊（即，單預測）或兩個參考塊（即，雙向預測）。對每個單獨的塊，一個運動向量或多個運動向量被確定和被編解碼。在HEVC中，幀間運動補償以兩種不同的方式支援：顯式發送或隱式發送。在顯式發送中，使用預測編解碼方法發送塊（即，PU）的運動向量。運動向量預測子對應於與當前塊的空間和時間相鄰塊相關聯的運動向量。在確定MV預測子之後，運動向量差（motion vector difference，簡稱MVD）被編解碼和被發送。該模式被稱為高級運動向量預測（advanced motion vector prediction，簡稱AMVP）模式。在隱式發送中，來自候選預測子集合的一預測子被選擇作為當前塊（即，PU）的運動向量。由於編碼器和解碼器都將導出候選集合和以相同方式選擇最終運動向量，因此不需要在隱式模式中發送MV或MVD。此模式也被稱為合併模式。在合併模式中預測子集合的形成也被稱為合併候選清單構造。索引，被稱為合併索引，被發送以指示選擇作為當前塊的MV的預測子。

沿著時間軸在圖像上發生的運動可由多個不同的模型來描述。假設考慮A （ x ， y ）是位置（ x ， y ）處的原始像素，A' （ x' ， y' ）是當前像素A （ x ， y ）在當前參考圖像中位置（ x' ， y' ）處的對應像素，仿射運動模型描述如下。

仿射模型可描述二維塊旋轉以及二維變形以將正方形（或矩形）變換為平行四邊形。該模型可描述如下：x’ = a₀ + a₁ *x + a₂ *y , 以及y’ = b₀ + b₁ *x + b₂ *y . （1）

提交給ITU-VCEG的ITU-T13-SG16-C1016的文獻（Lin, et al., “Affine transform prediction for next generation video coding”, ITU-U, Study Group 16, Question Q6/16, Contribution C1016, September 2015, Geneva, CH），公開了一種四參數仿射預測，其中包括仿射合併模式。當仿射運動塊正在移動時，塊的運動向量場可藉由以下兩個控制點運動向量或四個參數來描述，其中（vx, vy ）表示運動向量。

（2）

第1A圖中示出四參數仿射模型的示例，其中塊110對應於當前塊。變換後的塊是矩形塊。四參數仿射模型可處理物件旋轉，如第1B圖所示，其中矩形110旋轉到矩形120。旋轉後的矩形120的位置可由兩個控制點處的運動向量（即，

和

）指定。四參數仿射模型還可利用尺寸縮放來處理物件旋轉，如第1C圖所示，其中矩形110以縮放因數p 旋轉到矩形130。同樣，旋轉矩形120的位置可由兩個控制點處的運動向量（即，

和

）指定。

該移動塊中的每個點的運動向量場可藉由以下等式描述：

（3）

在以上等式中，（v_0x , v_0y ）是塊的左上角處的控制點運動向量（即，v₀ ）以及（v_1x , v_1y ）是在塊的右上角處的另一個控制點運動向量（即，v₁ ）。

六參數仿射模型已在JVET-K0337（Han et al., “CE4.1.3: Affine motion compensation prediction”, Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11, 11th Meeting: Ljubljana, SI, 10–18 July 2018, Document: JVET-K0337）被揭露用於仿射合併模式和仿射幀間模式。六參數仿射模型使用3個控制點（

,

以及

），如第2A圖所示，其中塊210對應於當前PU。六參數仿射運動模型可將矩形220變換為平行四邊形230，如第2B圖所示。當仿射運動塊正在移動時，塊的運動向量場可藉由以下三個控制點運動向量或四個參數來描述，其中（vx, vy ）表示運動向量。

（4）

當兩個控制點的MV（v₀ 以及v₁ ）被解碼時，每個4×4塊的MV可根據上面的等式確定塊。換句話說，塊的仿射運動模型可藉由兩個控制點處的兩個運動向量來指定。此外，當塊的左上角和右上角被用作兩個控制點，其他兩個控制點也可被使用。可根據等式（3）基於如第3圖中所示的兩個控制點的MV，對每個4×4子塊確定當前塊的運動向量的示例。

當三個控制點的MV（v₀ ,v₁ 和v₂ ）被解碼時，每個4x4塊的MV可根據以下等式導出：

（5）

根據等式（5），可基於如第3圖所示的三個控制點的MV確定每個4×4子塊的運動向量的示例。中心像素的MV（即，4×4塊的（2,2）處的位置）表示4×4塊的MV。MV精度被限制為1/16像素精度。

用於在合併模式編解碼中導出合併候選清單的仿射運動模型已被示出為用於處理視訊序列內的更複雜運動的有用編解碼工具。開發仿射運動技術以進一步改善系統編解碼性能是衆望所歸。因此，本發明中公開了各種基於仿射的運動向量預測技術。

根據一種方法，包括多個空間相鄰塊和一個或多個同位塊的當前塊的相鄰塊集合被確定，其中與同位塊相關聯的運動向量（motion vector，簡稱MV）被稱為時間MV。基於所述多個空間相鄰塊處的控制點（control-point，簡稱CP）MV和所述一個或多個同位塊，一個或多個構造的仿射MVP候選被導出用於仿射MVP候選清單，其中不具有時間MV的構造的仿射MVP候選被檢查和***在仿射MVP候選清單中處於具有時間MV的任一構造的仿射MV之前。基於仿射MVP候選清單當前塊或當前塊的運動資訊被編碼或解碼。

在一實施例中，在與四參數仿射模型相關聯的一個或多個第二構造的仿射MVP候選之前，與六參數仿射模型相關聯的一個或多個第一構造的仿射MVP候選被檢查。在另一實施例中，在與六參數仿射模型相關聯的包含不是從左上，右上和左下位置導出的一個或多個MV的一個或多個第二構造的仿射MVP候選之前，與六參數仿射模型相關聯的包含從左上，右上和左下位置導出的一個或多個MV的一個或多個第一構造的仿射MVP候選被檢查。

在一實施例中，在與四參數仿射模型相關聯的包含不是從左上和右上位置導出的一個或多個MV的一個或多個第二構造的仿射MVP候選之前，與四參數仿射模型相關聯的包含從左上和右上位置導出的一個或多個MV的一個或多個第一構造的仿射MVP候選被檢查。在另一實施例中，根據對應於{TL，TR，BL}à{TL，TR，Col}à{TL，BL，Col}à{TR，BL，Col}à{TL，TR}à{TL，BL}的順序，所述一個或多個構造的仿射MVP候選被導出，其中TL對應於左上MV，TR對應於他的右上MV，BL對應於左下MV，和Col對應於時間MV。

根據該方法，對於四參數仿射模型，如果與CP0，CP1和CP2關聯的MV都不是時間MV，根據預定義的對應於（CP0_B2，CP1_B1）à（CP0_B2，CP1_B0）à（CP0_B2，CP2_A1）à（CP0_B2，CP2_A0）à（CP2_A1，CP3_RB）à（CP2_A0，CP3_RB）à（CP3_RB，CP1_B1）à（CP3_RB，CP1_B0）的順序所述一個或多個構造的仿射MVP被檢查和***，以及CPi_XX對應在位置XX處與控制點i相關聯的MV，i等於0，1，2或3，並且XX對應於A0（左下塊），A1（左塊），B0（右上塊），B1（上方塊），B2（左上角塊）或RB（同位右下塊）。對於六參數仿射模型，如果與CP0，CP1和CP2相關聯的MV不是時間MV，根據預定義的對應於（CP0_B2，CP1_B1，CP2_A1）à（CP0_B2，CP1_B1，CP2_A0）à（CP0_B2，CP1_B0，CP2_A1）à（CP0_B2，CP1_B0，CP2_A0）à（CP0_B2，CP1_B1，CP3_RB）à（CP0_B2，CP1_B0，CP3_RB）的順序所述一個或多個構造的仿射MVP被檢查和***。

候選清單填充可被應用。如果在所有導出的仿射MVP候選被導出和***之後仿射MVP候選清單未滿，則一個或多個零MV的MVP候選可被添加到仿射MVP候選清單中。

候選清單修剪可被應用。在一實施例中，待添加的繼承仿射MVP候選可與仿射MVP候選清單中的一個或多個仿射MVP候選進行比較，以及如果待添加的繼承仿射MVP候選是多餘的，待添加的繼承仿射MVP候選不被***到仿射MVP候選清單中。在另一實施例中，待添加的繼承仿射MVP候選可與仿射MVP候選清單中的第一仿射MVP候選或最後仿射MVP候選進行比較，以及如果待添加的繼承仿射MVP候選是多餘的，待添加的繼承仿射MVP候選不被***到仿射MVP候選清單中。

根據另一方法，當前塊的相鄰塊集合被確定用於雙CP控制點仿射模型或三CP仿射模型，其中相鄰塊集合包括用於雙CP仿射模型的當前塊的左上角和右上角周圍的空間相鄰塊，或相鄰塊集合包括用於三CP仿射模型的當前塊的右上角和左下角周圍的空間相鄰塊。對於雙CP仿射模型，基於從左上角周圍的空間相鄰塊可首先獲得的第一CP MV和從右上角周圍的空間相鄰塊可首先獲得的第二CP MV，一個或多個構造的仿射MVP候選被導出，或對於三CP仿射模型，基於第一CP MV，第二CP MV和從左下角周圍的空間相鄰塊可首先獲得的第三CP MV，一個或多個構造的仿射MVP候選被導出。然後仿射MVP候選清單被產生，其中如果存在第一CP MV和第二CP MV，則仿射MVP候選清單包括用於雙CP仿射模型的一個或多個構造的仿射MVP候選，或者如果存在第一CP MV，第二CP MV和第三CP MV，則仿射MVP候選清單包括用於三CP仿射模型的一個或多個構造的仿射MVP候選。在視訊編碼側，與雙CP仿射運動模型或三CP仿射運動模型相關聯的當前控制點MV集合的預測差值使用從仿射MVP候選清單中選擇的預測子進行編碼，在視訊解碼側，與雙CP仿射運動模型或三CP仿射運動模型相關聯的當前控制點MV集合的預測差值使用從仿射MVP候選清單中選擇的預測子進行解碼。

在一實施例中，當前塊的左上角周圍的空間相鄰塊包括左上塊（a0），左上塊（a1）和左上塊（a2），當前塊的右上角周圍的空間相鄰塊包括上方塊（b0）和右上塊（b1），以及當前塊的左下角周圍的空間相鄰塊包括左塊（c0）和左下塊（c1），根據當前塊的左上角的a0àa1àa2順序，當前塊的右上角的b0àb1順序和當前塊的左下角的c0àc1順序，空間相鄰塊被檢查。如果第一候選指向與當前塊相同的目標參考圖像，則可根據a0àa1àa2順序和根據每個位置的當前參考清單à其他參考清單的順序，第一候選被選擇作為第一CP MV；如果第二候選指向與當前塊相同的目標參考圖像，則可根據b0àb1順序和根據每個位置的當前參考清單à其他參考清單的順序，第二候選被選擇作為第二CP MV；如果第三候選指向與當前塊相同的目標參考圖像，則可根據c0àc1順序和根據每個位置的當前參考清單à其他參考清單的順序，第三候選被選擇作為第三CP MV。

在一實施例中，如果所有導出的仿射MVP候選被***之後仿射MVP候選清單未滿，則一個或多個零MV MVP候選被添加到仿射MVP候選清單中。在另一實施例中，待添加的構造的仿射MVP候選被與仿射MVP候選清單中的一個或多個仿射MVP候選進行比較，以及如果待添加的構造的仿射MVP候選是多餘的，待添加的構造的仿射MVP候選不被***到仿射MVP候選清單中。

以下描述是實現本發明的最佳實施方式。這一描述是爲了説明本發明的一般原理，而不應被認爲是限制性的。本發明的範圍最好透過申請專利範圍來確定。

在本發明中，公開了利用仿射運動估計和視訊壓縮補償的各種方法。具體地，仿射運動估計或補償被用以在合併模式或幀間預測模式中對視訊資料進行編解碼。

在VTM-3.0（J. Chen, et al., “Test Model 3 of Versatile Video Coding (VTM 3) ”, in Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11, 12th Meeting: Macao, CN, 3–12 Oct. 2018, Document: JVET- L1002），採用具有四/六參數仿射模型切換和仿射合併模式的仿射幀間模式。在仿射幀間模式中，一個參數標誌被發送以指示使用四/六參數仿射模型。如果使用四參數仿射模型，則發送1個運動向量預測子（motion vector predictor，簡稱MVP）對和2個運動向量差（motion vector difference，簡稱MVD）。如果使用六參數仿射模型，則發送1個MVP集合（具有3個MVP）和3個MVD。

存在兩種仿射候選：繼承仿射候選和角導出候選（即，構造候選）。對於繼承仿射候選，當前塊繼承相鄰塊的仿射模型。控制點MV來自相同的相鄰塊。例如，第4A圖示出當前塊410的相鄰塊（A0，A1，B0，B1和B2）的示例，B1對應於上方塊，B0對應於右上塊，B2對應於左上角塊，A1對應左塊，A0對應左下塊。塊B1的控制點MV（即V_B10 , V_B11 以及 V_B12 ）被示出。如果當前塊410繼承來自塊A1的仿射運動，則塊A1的控制點MV被用作當前塊的控制點MV，如第4B圖所示，其中基於兩個控制點MV（v₀ 以及v₁ ），與塊A1相關聯的塊422被旋轉到塊424。因此，當前塊410被旋轉到塊426。繼承的候選被***在角導出候選之前。如第4C圖所示，選擇用於繼承控制點MV的候選的順序是根據：（A0-> A1）（B0-> B1-> B2）。

對於角導出候選（構造候選），控制點MV是從不同的相鄰塊導出的，如第5圖所示，其中塊510對應於當前塊。該過程搜索{a0，a1，a2}（命名為組A）中的第一可用MV，{b0，b1}（命名為組B）中的第一可用MV，以及{c0，c1}（命名為組C）中的第一可用MV。該過程在清單l0和l1中找到指向相同目標參考圖像的MV。例如，該過程可搜索{b0-L0，b0-L1，b1-L0，b1-L1}，其中b0-L0對應於b0中指向l0中的參考圖像的MV以及b0-L1對應於b0中指向l1中的參考圖像MV，依此類推。對於四參數仿射模式，運動向量{MV_A ，MV_B }被使用。對於六參數仿射模式，運動向量{MV_A , MV_B , MV_C }被使用。

在ITU-T13-SG16-C-1016中，相鄰的MV被用於形成MVP對。在本發明中，建議使用由仿射模式編解碼的相鄰塊中的等式（2）中的仿射資訊{a，b，e，f}來生成MVP對（在本公開中被命名為相鄰的繼承仿射MVP對）。例如，如果相鄰塊C1是藉由仿射模式進行編解碼，則當當前塊是藉由仿射模式進行編解碼時，相鄰塊C1的仿射資訊被用來導出一MV對作為MVP對。基於等式（3），當前塊的（v_0x , v_0y ）和（v_1x , v_1y ）可藉由以下等式導出：

以及

。 (6)

在上述等式中，其中{a，b，e，f}是被用在相鄰塊C1中的仿射參數。

在另一實施例中，空間繼承仿射候選的兩個控制點的MVP的MV之一可藉由以下等式導出： V_0x = V_B0x + (V_{B2_x} - V_B0x ) * ( posCurCU_Y - posRefCU_Y ) / RefCU_height + (V_B1x - V_B0x ) * (posCurCU_X - posRefCU_X) / RefCU_width (7) V_0y = V_B0y + (V_{B2_y} - V_B0y ) * (posCurCU_Y - posRefCU_Y) / RefCU_height + (V_B1y - V_B0y ) * (posCurCU_X - posRefCU_X) / RefCU_width (8)

在上面的等式中，V_B0 , V_B1 ,和V_B2 可由任一參考/相鄰CU的左上MV，右上MV和左下MV替代，（posCurCU_X，posCurCU_Y）是相對於圖像的左上樣本的當前CU的左上樣本的像素位置，（posRefCU_X，posRefCU_Y）是相對於圖像的左上樣本的參考/相鄰CU的左上樣本的像素位置。

空間繼承的仿射候選的兩個控制點MVP的另一個MV可藉由以下等式導出： V_1x = V_0x + (V_B1x - V_B0x ) * CU_width / RefCU_width (9) V_1y = V_0y + (V_B1y - V_B0y ) * CU_width / RefCU_width (10)

***順序可被預定義。例如，相鄰的繼承仿射MVP對可按照“A1àB1àB0àA0àB2”的順序***。在預定義的順序下，相鄰的繼承仿射MVP對可被***。在一示例中，如果相鄰塊之一是仿射編解碼塊以及塊的參考清單之一指向當前目標參考圖像，則仿射MVP對被導出和被***候選清單中。在另一示例中，如果相鄰塊之一是仿射編解碼塊和塊的當前目標參考清單的相同參考清單指向當前目標參考圖像，則仿射MVP對被導出和被***候選清單中。

在又一示例中，如果相鄰塊之一是仿射編解碼塊以及塊的當前目標參考清單的另一參考清單指向當前目標參考圖像，則仿射MVP對被導出和被***到候選清單中。在上述過程之後，如果候選清單未滿，則縮放的仿射MVP對可被添加。縮放的控制點MV可被用作相鄰的繼承仿射MVP對。例如，可用控制點MV被縮放到目標參考圖像作為MVP候選之一。應首先縮放的參考清單控制點MV的順序可被預定義或導出。例如，相同的參考清單可首先被檢查，或稍後檢查。在一實施例中，如果仿射編解碼塊已被用於生成MVP對，則可在MVP對生成過程中跳過它。例如，如果仿射編解碼塊已被用於生成沒有MV縮放的MVP對，則它不被用於生成具有MV縮放的MVP對。在另一示例中，在預定義的塊掃描順序下，未縮放的MVP對和/或縮放的MVP對被逐個***。例如，MVP對可按以下順序***：A1的未縮放MVP對，A1的縮放MVP對，B1的未縮放MVP對，B1的縮放MVP對，等等。此外，如果未縮放的MVP對被採用，則可以跳過縮放的MVP對。

在另一示例中，僅具有當前目標參考圖像的相同參考圖像的仿射編解碼塊被用來導出仿射MVP對。

在另一示例中，***順序是不同的。如第4C圖所示，有兩個過程分支。在第一個分支中，左塊首先被掃描。一仿射MVP候選對從左塊（例如，A0→A1或A1→A0）被導出。上述類似的過程可被使用。例如，如果相鄰塊之一是仿射編解碼塊和塊的當前目標參考清單的相同參考清單指向當前目標參考圖像，則仿射MVP對被導出和被***候選清單中。第一可用的相鄰塊可被使用。如果它們都不可用，則上述提到的縮放的MVP對可被使用。例如，可用控制點MV被縮放到目標參考圖像作為MVP候選之一。在一實施例中，如果仿射編解碼塊已被用於生成沒有MV縮放的MVP對，則仿射編解碼塊將不被用於生成具有MV縮放的MVP對。在第二個分支中，上方塊被掃描。一仿射MVP候選對從上方塊中被導出，例如B0àB1àB2或B2àB1àB0。第一分支的類似過程可被應用。在另一示例中，在預定義塊掃描順序下，未縮放的MVP對和/或縮放的MVP對被逐個***。例如，MVP對在第一分支中被按以下順序***：A0的未縮放的MVP對，A0的縮放的MVP對，A1的未縮放的MVP對，A1的縮放的MVP對。此外，如果未縮放的MVP對被採用，則可以跳過縮放的MVP對。

注意，可對待添加的仿射MVP對執行修剪以避免冗餘。修剪過程可以是a）檢查所有控制點MV是否與MVP對中的一個相同，b）檢查控制點MV與一個或多個已列入的仿射MVP對的MV差值是否小於閾值。

此外，如果MVP對中的所有控制點的導出MV是相同的，其被當作平移運動模型，則所導出的MVP對可被丟棄或不被***到候選清單中，或者這種MVP對的優先順序被移動到低優先順序。例如，如果沒有其他候選或候選清單未滿，則導出的MVP對可被***到清單中。

該MVP對的優先順序可高於原始方法。我們可首先將藉由使用來自相鄰塊的仿射資訊生成的所有MVP對***到MVP對清單中，然後是原始方法。在另一實施例中，該提出的方法可基於MVP對與原始方法交錯使用。

如果MVP對的數量小於預定義值（例如，2），則角導出的仿射候選被使用。如第5圖所示，相鄰運動向量可被用於導出仿射MVP對。對於第一角導出仿射候選，集合A中的第一可用MV（即，a0（左上角塊），a1（左上塊）和a2（左上塊））和集合B中的第一可用MV（即，b0（上方塊）和b1（右上塊））被用於構造第一MVP對。對於第二角導出仿射候選，集合A中的第一可用MV和集合C中的第一可用MV（即，c0（左塊）和c1（左下塊））被用於計算右上控制點的MV。集合A中的第一可用MV和計算的右上控制點MV是第二MVP對。此外，如果MVP對中的所有控制點的導出的MV是相同的（即，平移運動模型），則所導出的MVP對可被丟棄或不被***候選清單中。在這種情況下，這種MVP對的優先順序可被移動到低優先順序。例如，如果沒有其他候選或候選清單未滿，則MVP對可被***清單中。

如果在添加相鄰繼承仿射和角仿射MVP之後，MVP的數量仍然小於預定義值，則時間仿射候選可被使用。

在時間仿射候選中，同位塊的相鄰塊中的仿射編解碼塊或同位塊本身將以“RB àCT àLB àRT”的順序被***用於當前塊610，如第6圖所示，其中RB表示右下塊，CT表示中心塊，LB表示左下塊，RT表示右上塊。在一示例中，如果同位塊的相鄰塊之一是仿射編解碼塊和塊的參考清單之一指向當前目標參考圖像，則仿射MVP對被導出和被***候選清單中。在另一示例中，如果同位塊的相鄰塊之一是仿射編解碼塊和塊的當前目標參考清單的相同參考清單指向當前目標參考圖像，則仿射MVP對被導出和被***到候選清單中。在又一示例中，如果同位塊的相鄰塊之一是仿射編解碼塊和塊的當前目標參考清單的另一參考清單指向當前目標參考圖像，則仿射MVP對被導出和被***候選清單。如果仿射編解碼塊是同位塊本身，則仿射MVP對被直接繼承。在一示例中，如果同位塊是仿射編解碼塊和塊的參考清單中的一個指向當前目標參考圖像，則仿射MVP對被***候選清單中。在另一示例中，如果同位塊是仿射編解碼塊和塊的當前目標參考清單的相同參考清單指向當前目標參考圖像，則仿射MVP對被***候選清單中。在又一示例中，如果同位塊是仿射編解碼塊和塊的當前目標參考清單的另一參考清單指向當前目標參考圖像，則仿射MVP對被***候選清單中。

與空間繼承仿射MVP候選類似，如果在上述過程之後候選清單未滿，則縮放的仿射MVP對可被添加。

在添加相鄰繼承仿射，角導出仿射和時間繼承仿射MVP之後，如果MVP的數量仍然小於預定義值，則正常AMVP MVP被使用。MVP對的兩個控制點被來自正常AMVP MVP清單中的MVP其中之一的相同MV填充。

注意，在本發明中，雙控制點MVP對被用作示例。如果六參數仿射模型，八參數仿射模型或其他類型的仿射模型被使用，則MVP對可以是MVP三元組（作為MVP三元集合的三個MV）或MV集合。

具有時間 MV 的仿射 MVP

在仿射幀間和仿射合併模式中，不同種類的仿射MVP被生成。

在ITU-T13-SG16-C1016中，藉由繼承相鄰仿射塊的仿射模型空間繼承仿射候選被生成。在本發明中，在導出MVP集合（例如，用於四參數仿射模型的2個控制點MV或用於六參數仿射模型的3個控制點MV）期間時間MV被作為當前塊的空間繼承仿射候選。推導出的MVP在本公開中被稱為空間-時間繼承仿射候選。第7圖示出用於導出仿射候選的空間相鄰塊和同位塊的示例。在一實施例中，如果第7圖中的位置CT和/或RB處的同位塊是仿射模式，則MVP集合可被繼承為一個空間-時間繼承的仿射候選。在另一實施例中，位置CT或RB處的空間-時間繼承的仿射候選的預測子可與由空間繼承仿射候選生成的預測子組合。最終預測子可以是兩個預測子的加權和，例如兩個預測子的平均值。在另一實施例中，藉由組合位置CT或RB處的空間-時間繼承仿射候選的MVP集合和來自空間繼承仿射候選的MVP集合，當前塊的MVP集合被生成。藉由分別使用空間繼承MVP集合和空間-時間繼承仿射MVP集合導出當前塊的兩個MVP集合，然後組合兩個導出的MVP集合（例如，對MVP集合中的控制點MV進行平均）成為當前塊的最終MVP集合，組合可完成。組合的MVP集合可以是兩個MVP集合的加權和。例如，最終的MVP集合是兩個MVP集合的平均值。在一實施例中，還可藉由使用來自不同源的MV（即，空間繼承仿射候選或空間-時間繼承仿射候選）導出組合的MVP集合，以生成最終的MVP集合。例如，如果四參數仿射模型被使用，則CP1_MV可以是從一空間繼承仿射候選導出的CP1的MV，以及CP2_MV可以是從一空間-時間繼承仿射候選導出的CP2的MV。類似地，如果六參數仿射模型被使用，則CP1和CP2的MV可從空間繼承仿射候選繼承，以及CP3的MV可從空間-時間繼承的仿射候選繼承。

空間繼承仿射候選的MVP集合可以與時間MV組合。在一實施例中，空間繼承仿射塊的MVP集合將在其對應位置與時間MV組合，然後當前塊的仿射MVP集合可被導出。

在另一實施例中，當前塊的MVP集合將由相鄰仿射塊的MVP集合導出。如果四參數仿射模型被使用，則導出的MVP將分別與當前塊的左上和右上位置中的時間MV組合。如果六參數仿射模型被使用，則MVP將分別與當前塊的左上，右上和左下位置中的時間MV組合。

在一實施例中，與時間MV組合的空間繼承候選將被首先檢查。例如，順序為（SP_A0+時間）à（SP_B0+時間）à（SP_B1+時間）à（SP_A1+時間）à（SP_B2+時間）à（SP_A0）à（SP_B0）à（SP_B1）à（SP_A1）à（SP_B2），其中（SP_A0+時間）對應於組合的空間繼承候選（即，SP_A0）和時間（Temporal）MV等。在另一實施例中，基於相同的空間位置，與時間MV組合的空間繼承候選將被首先檢查。例如，順序為（SP_A0+時間）à（SP_A0）à（SP_B0+時間）à（SP_B0）à（SP_B1+時間）à（SP_B1）à（SP_A1+時間）à（SP_A1）à（SP_B2+時間）à（SP_B2）。

在一實施例中，未與時間MV組合的空間繼承候選將被首先檢查。例如，順序為（SP_A0）à（SP_B0）à（SP_B1）à（SP_A1）à（SP_B2）à（SP_A0+時間）à（SP_B0+時間）à（SP_B1+時間）à（SP_A1+時間）à（SP_B2+時間）。在另一實施例中，對於每個相同的空間位置，未與時間MV組合的空間繼承候選將被首先檢查。例如，（SP_A0）à（SP_A0+時間）à（SP_B0）à（SP_B0+時間）à（SP_B1）à（SP_B1+時間）à（SP_A1）à（SP_A1+時間）à（SP_B2）à（SP_B2+時間）。

在另一實施例中，如果首先檢查的MVP集合被添加到候選清單，則不需要檢查另一候選。例如，如果具有時間MV的MVP集合被首先檢查，順序變為（SP_A0+時間）或（SP_A0）à（SP_B0+時間）或（SP_B0）à（SP_B1+時間）或（SP_B1）à（SP_A1+時間）或（SP_A1）à（SP_B2+時間）或（SP_B2）。在另一示例中，如果不具有時間MV的MVP集合被首先檢查，順序變為（SP_A0）或（SP_A0+時間）à（SP_B0）或（SP_B0+時間）à（SP_B1）或（SP_B1+時間）à（SP_A1）或（SP_A1+時間）à（SP_B2）或（SP_B2+時間）。

本發明還提出在導出構造的仿射候選期間使用時間MV。

在構造的仿射候選中，MVP集合藉由組合相鄰MV來生成。例如，CP0的MV（即，第5圖中的MV_A ）從組A獲得，以及CP1的MV（即，第5圖中的MV_B ）從組B獲得。如果六參數模型被使用，CP2的MV（即，第5圖中的MV_C ）從組C獲得。當與時間MV組合時，組A的相同位置的時間MV將是CP0的一可能的MV；組B的相同位置的時間MV將是CP1的一可能的MV；組C的相同位置的時間MV將是CP2的一可能的MV；時間同位塊（例如，塊RB，塊RB的上方塊，和/或第6圖中的塊RB的左塊）的右下方的時間MV將是CP3的一可能的MV。在一實施例中，CP0，CP1或CP2的一個或多個MV可由來自同位塊的時間MV替換。例如，CP0的MV可由來自同位塊中的位置RB的時間MV替換。在另一示例中，CP0的MV由位置RB上的時間MV替換，以及CP1的MV由位置CT上的時間MV替換。

在一實施例中，CP0的MV來自B2（第7圖中），CP1的MV可來自B1（第7圖中）或B0（第7圖中），CP2的MV可來自 A1（第7圖中）或A0（第7圖中），以及CP3的MV來自RB（第7圖中）。

如果四參數被使用，則MVP集合可以是（CP0_B2，CP1_B1），（CP0_B2，CP1_B0），（CP0_B2，CP2_A1），（CP0_B2，CP2_A0），（CP2_A1，CP3_RB），（CP2_A0， CP3_RB），（CP3_RB，CP1_B1）和（CP3_RB，CP1_B0）。

在一實施例中，具有時間MV的候選可被首先檢查。例如，如果CP0，CP1和CP2的MV不是來自時間MV，則順序為（CP2_A1，CP3_RB）à（CP2_A0，CP3_RB）à（CP3_RB，CP1_B1）à（CP3_RB，CP1_B0）à（CP0_B2，CP1_B1）à（CP0_B2，CP1_B0）à（CP0_B2，CP2_A1）à（CP0_B2，CP2_A0）。在另一實施例中，不具有時間MV的候選將被首先檢查。例如，如果CP0，CP1和CP2的MV不是來自時間MV，則順序為（CP0_B2，CP1_B1）à（CP0_B2，CP1_B0）à（CP0_B2，CP2_A1）à（CP0_B2，CP2_A0）à（CP2_A1，CP3_RB）à（CP2_A0，CP3_RB）à（CP3_RB，CP1_B1）à（CP3_RB，CP1_B0）。在另一實施例中，基於相同的空間位置，包含時間MV的MVP集合被首先檢查。例如，如果CP0，CP1和CP2的MV不是來自時間MV，則順序為（CP2_A1，CP3_RB）à（CP0_B2，CP2_A1）à（CP2_A0，CP3_RB）à（CP0_B2，CP2_A0）à（CP3_RB，CP1_B1）à（CP0_B2，CP1_B1）à（CP3_RB，CP1_B0）à（CP0_B2，CP1_B0）。在另一實施例中，對於相同的空間位置，不包含時間MV的MVP集合被首先檢查。例如，如果CP0，CP1和CP2的MV不是來自時間MV，則順序為（CP0_B2，CP2_A1）à（CP2_A1，CP3_RB）à（CP0_B2，CP2_A0）à（CP2_A0，CP3_RB）à（CP0_B2，CP1_B1）à（CP3_RB，CP1_B1）à（CP0_B2，CP1_B0）à（CP3_RB，CP1_B0）。

在另一實施例中，如果首先檢查的MVP集合被添加到候選清單，則不需要檢查另一候選。例如，如果CP0，CP1和CP2的MV不是來自時間MV，則順序為（CP2_A1，CP3_RB）或（CP0_B2，CP2_A1）à（CP2_A0，CP3_RB）或（CP0_B2，CP2_A0）à（CP3_RB，CP1_B1）或（CP0_B2，CP1_B1）à（CP3_RB，CP1_B0）或（CP0_B2，CP1_B0）如果具有時間MV的MVP被首先檢查。在另一示例中，如果CP0，CP1和CP2的MV不是來自時間MV，則順序將是（CP0_B2，CP2_A1）或（CP2_A1，CP3_RB）à（CP0_B2，CP2_A0）或（CP2_A0，CP3_RB）à（CP0_B2，CP1_B1）或（CP3_RB，CP1_B1）à（CP0_B2，CP1_B0）或（CP3_RB，CP1_B0）如果不具有時間MV的MVP集合被首先檢查。

如果六參數模型被使用，MVP集合可以是(CP0_B2, CP1_B1, CP2_A1), (CP0_B2，CP1_B1，CP2_A0)，(CP0_B2，CP1_B0，CP2_A1)，(CP0_B2，CP1_B0，CP2_A0)，(CP0_B2，CP1_B1，CP3_RB)，(CP0_B2，CP1_B0，CP3_RB)，(CP0_B2，CP3_RB，CP2_A1)，(CP0_B2，CP3_RB，CP2_A0)，(CP1_B1，CP3_RB，CP2_A1)，(CP1_B1，CP3_RB，CP2_A0)，(CP1_B0，CP3_RB，CP2_A0)，以及(CP1_B0，CP3_RB，CP2_A1)的MV。

在一實施例中，具有時間MV的候選可被首先檢查。例如，如果CP0，CP1和CP2的MV不是來自時間MV，以及所有可能的MVP集合是（CP0_B2，CP1_B1，CP2_A1），（CP0_B2，CP1_B1，CP2_A0），（CP0_B2，CP1_B0，CP2_A1），（CP0_B2，CP1_B0，CP2_A0），（CP0_B2，CP1_B1，CP3_RB）和（CP0_B2，CP1_B0，CP3_RB）。順序為（CP0_B2，CP1_B1，CP3_RB）à（CP0_B2，CP1_B0，CP3_RB）à（CP0_B2，CP1_B1，CP2_A1）à（CP0_B2，CP1_B1，CP2_A0）à（CP0_B2，CP1_B0，CP2_A1）à（CP0_B2，CP1_B0，CP2_A0）。在另一實施例中，具有時間MV的候選可被最後檢查。例如，如果CP0，CP1和CP2的MV不是來自時間MV，以及所有可能的MVP集合是（CP0_B2，CP1_B1，CP2_A1），（CP0_B2，CP1_B1，CP2_A0），（CP0_B2，CP1_B0，CP2_A1），（CP0_B2，CP1_B0，CP2_A0），（CP0_B2，CP1_B1，CP3_RB）和（CP0_B2，CP1_B0，CP3_RB），順序為（CP0_B2，CP1_B1，CP2_A1）à（CP0_B2，CP1_B1，CP2_A0）à（CP0_B2，CP1_B0，CP2_A1）à（CP0_B2，CP1_B0，CP2_A0）à（CP0_B2，CP1_B1，CP3_RB）à（CP0_B2，CP1_B0，CP3_RB）。在另一實施例中，對於相同的空間位置，包含時間MV的MVP集合被首先檢查。例如，如果CP0，CP1和CP2的MV不是來自時間MV，以及所有可能的MVP集合是（CP0_B2，CP1_B1，CP2_A1），（CP0_B2，CP1_B1，CP2_A0），（CP0_B2，CP1_B0，CP2_A1），（CP0_B2，CP1_B0，CP2_A0），（CP0_B2，CP1_B1，CP3_RB）和（CP0_B2，CP1_B0，CP3_RB），順序為（CP0_B2，CP1_B1，CP3_RB）à（CP0_B2，CP1_B1，CP2_A1）à（CP0_B2，CP1_B1，CP2_A0）à（CP0_B2，CP1_B0，CP2_A1）à（CP0_B2，CP1_B0，CP3_RB）à（CP0_B2，CP1_B0，CP2_A0）。在另一實施例中，對於相同的空間位置，不包含時間MV的MVP集合被首先檢查。例如，如果CP0，CP1和CP2的MV不是來自時間MV，以及所有可能的MVP集合是（CP0_B2，CP1_B1，CP2_A1），（CP0_B2，CP1_B1，CP2_A0），（CP0_B2，CP1_B0，CP2_A1），（CP0_B2，CP1_B0，CP2_A0），（CP0_B2，CP1_B1，CP3_RB）和（CP0_B2，CP1_B0，CP3_RB），順序為（CP0_B2，CP1_B1，CP2_A1）à（CP0_B2，CP1_B1，CP3_RB）à（CP0_B2，CP1_B1，CP2_A0）à（CP0_B2，CP1_B0，CP2_A1）à（CP0_B2，CP1_B0，CP2_A0）à（CP0_B2，CP1_B0，CP3_RB）。

在另一實施例中，如果首先檢查的MVP集合被添加到候選清單，則不需要檢查另一候選。例如，如果CP0，CP1和CP2的MV不是來自時間MV，以及所有可能的MVP集合是（CP0_B2，CP1_B1，CP2_A1），（CP0_B2，CP1_B1，CP2_A0），（CP0_B2，CP1_B0，CP2_A1），（CP0_B2，CP1_B0，CP2_A0），（CP0_B2，CP1_B1，CP3_RB）和（CP0_B2，CP1_B0，CP3_RB），如果具有時間MV的MVP集合被首先檢查，順序為（CP0_B2，CP1_B1，CP3_RB）或（CP0_B2，CP1_B1，CP2_A1）à（CP0_B2，CP1_B1， CP2_A0）à（CP0_B2，CP1_B0，CP2_A1）à（CP0_B2，CP1_B0，CP3_RB）或（CP0_B2，CP1_B0，CP2_A0）。在另一示例中，如果不具有時間MV的MVP集合被首先檢查，順序可以是（CP0_B2，CP1_B1，CP2_A1）或（CP0_B2，CP1_B1，CP3_RB）à（CP0_B2，CP1_B1，CP2_A0）à（CP0_B2，CP1_B0，CP2_A1）à（CP0_B2，CP1_B0，CP2_A0）或（CP0_B2，CP1_B0，CP3_RB）。

在另一實施例中，構造的仿射模型僅可使用時間MV。例如，如果四參數被使用，則MVP集合（CP1_RT，CP3_RB），（CP2_LB，CP3_RB），（CP0_CT，CP3_RB）可被應用。如果六參數被使用，則MVP集合（CP1_RT，CP2_LB，CP3_RB）可被應用。

應注意的是，在上述方法中，繼承仿射候選和構造的候選的最大數量可被指定。

在一實施例中，對於仿射合併模式，在四參數仿射候選之前構造的六參數仿射候選的仿射候選被檢查。對於相同仿射類型的候選（例如，四參數或六參數仿射模型），在具有時間MV的候選之前不具有任何時間MV的候選被檢查。

在另一實施例中，對於六參數仿射候選，在包含不是從在左上，右上和左下位置的MV導出的一個或多個MV的候選之前，包含從左上，右上和左下位置的MV導出的MV的候選被檢查。對於四參數仿射候選，在包含不是從左上和右上位置的MV導出的一個或多個MV的候選之前，包含從左上和右上位置的MV導出的MV的候選被檢查。

例如，仿射合併模式中仿射構造的候選的最大數量等於4，以及構造的仿射合併候選清單如下：候選1: {TL，TR，BL}，其中TL是左上MV (例如，從第5圖中的集合A), TR是右上MV (例如，從第5圖中的集合B)，BL是左下MV (比如，從第5圖中的集合C) 候選2: {TR，BL，Col}，其中Col是時間同位MV。候選3: {TL, TR} 候選4: {TL, BL}

如果具有3個控制點的候選被使用，則第四控制點MV可藉由使用三個控制點導出。例如，在候選2中，TL'=TR+BL-Col。如果具有2個控制點的候選被使用，則第三控制點（例如，候選4中的TR）可藉由使用四參數仿射模型導出。

例如，仿射合併模式中仿射構造的候選的最大數量等於5，以及構造的仿射合併候選清單如下：候選1: {TL, TR, BL}，其中TL是左上MV (例如，從第5圖中的集合A), TR是右上MV (例如，從第5圖中的集合B)，BL是左下MV (比如，從第5圖中的集合C) 候選2: {TR, BL, Col}，其中Col是時間同位MV。候選3: {TL, TR} 候選4: {TL, BL} 候選5: {TR, Col}

如果具有3個控制點的候選被使用，則第四控制點MV可藉由使用三個控制點來導出。例如，在候選2中，TL'=TR+BL-Col。如果具有2個控制點的候選被使用，則第三控制點（例如，候選4中的TR和候選5中的TL）可藉由四參數仿射模型來導出。

例如，仿射合併模式中仿射構造的候選的最大數量等於5，以及構造的仿射合併候選清單如下：候選1: TL, TR, BL}，其中TL是左上MV (例如，從第5圖中的集合A)，TR是右上MV (例如，從第5圖中的集合B)，BL是左下MV (比如，從第5圖中的集合C) 候選2: {TL, TR, Col}，其中Col是時間同位MV 候選3: {TL, BL, Col} 候選4: {TR, BL, Col} 候選5: {TL, TR}

如果具有3個控制點的候選被使用，則第四控制點MV可藉由使用三個控制點來導出。例如，在候選2中，BL'=TL+Col-TR，在候選3中，TR'=TL+Col-BL，在候選4中，TL'=TR+BL-Col。

例如，仿射合併模式中仿射構造的候選的最大數量等於5，以及構造的仿射合併候選清單如下：候選1: {TL, TR, BL}，其中TL是左上MV (例如，從第5圖中的集合A)，TR是右上MV (例如，從第5圖中的集合B)，BL是左下MV (比如，從第5圖中的集合C) 候選2: {TR, BL, Col}，其中Col是時間同位MV 候選3: {TL, TR} 候選4: {TL, BL} 候選5: {Col as TL, TR, BL} (TL由Col替代)

如果具有3個控制點的候選被使用，則第四控制點MV可藉由使用三個控制點來導出。例如，在候選2中，TL'=TR+BL-Col。如果具有2個控制點的候選被使用，則第三控制點（例如候選4的TR）可藉由使用四參數仿射模型被導出。

例如，仿射合併模式中仿射構造的候選的最大數量等於6，以及構造的仿射合併候選清單如下：候選1: {TL, TR, BL}，其中TL是左上MV (例如，從第5圖中的集合A)，TR是右上MV (例如，從第5圖中的集合B)，BL是左下MV (比如，從第5圖中的集合C) 候選2: {TL, TR, Col}，其中Col是時間同位MV 候選3: {TL, BL, Col} 候選4: {TR, BL, Col} 候選5: {TL, TR} 候選6: {TL, BL}

如果具有3個控制點的候選被使用，則第四控制點MV可藉由使用三個控制點來導出。例如，在候選2中，BL'=TL+Col-TR，在候選3中，TR'=TL+Col-BL，在候選4中，TL'=TR+BL-Col。如果具有2個控制點的候選被使用，第三控制點（例如，候選6中的TR）可藉由使用四參數仿射模型導出。

例如，仿射合併模式中仿射構造的候選的最大數量等於6，以及構造的仿射合併候選清單如下：候選1: {TL, TR, BL}，其中TL是左上MV (例如，從第5圖中的集合A)，TR是右上MV (例如，從第5圖中的集合B)，BL是左下MV (比如，從第5圖中的集合C) 候選2: {TR, BL, Col}，其中Col是時間同位MV 候選3: {TL, TR} 候選4: {TL, BL} 候選5: {TR, Col} 候選6: {BL, Col}

如果具有3個控制點的候選被使用，則第四控制點MV可藉由使用三個控制點來導出。例如，在候選2中，BL'=TL+Col-TR。如果具有兩個控制點的候選被使用，則第三控制點（例如，候選4中的TR，候選5中的TL，候選6中的TL和TR）可藉由使用四參數仿射模型導出。

例如，仿射合併模式中仿射構造的候選的最大數量等於7，以及構造的仿射合併候選清單如下：候選1: {TL, TR, BL}，其中TL是左上MV (例如，從第5圖中的集合A)，TR是右上MV (例如，從第5圖中的集合B)，BL是左下MV (比如，從第5圖中的集合C) 候選2: {TL, TR, Col}，其中Col是時間同位MV 候選3: {TL, BL, Col} 候選4: {TR, BL, Col} 候選5: {Col as TL, TR, BL} (TL由Col替代) 候選6: {TL, Col as TR, BL} (TR由Col替代) 候選7: {TL, TR, Col as BL} (BL由Col替代)

例如，仿射合併模式中仿射構造的候選的最大數量等於8，以及構造的仿射合併候選清單如下：候選1: {TL, TR, BL}，其中TL是左上MV (例如，從第5圖中的集合A)，TR是右上MV (例如，從第5圖中的集合B)，BL是左下MV (比如，從第5圖中的集合C) 候選2: {TR, BL, Col}，其中Col是時間同位MV 候選3: {TL, B1 as TR, BL} 候選4: {TL, TR, C1 as BL} 候選5: {TL, B1 as TR, C1 as BL} 候選6: {C1 as BL, BL as TR, Col} 候選7: {TL, B1 as TR, Col} 候選8: {C1 as BL, B1 as TR, Col}

如果具有3個控制點的候選被使用，則第四控制點MV可藉由使用三個控制點來導出。例如，在候選2和候選8中，TL'=TR+BL-Col，在候選6中，TR'= TL+Col-BL，在候選7中，BL'=TL+Col-TR。

在一實施例中，對於仿射合併模式，在六參數仿射候選之前，用於四參數仿射候選的構造的仿射被檢查。對於相同仿射類型的候選（例如，四參數或六參數仿射模型），在具有時間MV的候選之前不具有時間MV的候選被檢查。

在另一實施例中，對於六參數仿射候選，在包含不是從左上，右上和左下位置的MV導出的一個或多個MV的候選之前，包含從左上，右上和左下位置的MV導出的MV的候選被檢查。對於四參數仿射候選，在包含不是從左上和右上位置的MV導出一個或多個MV的候選之前，包含從左上和右上位置的MV導出的MV的候選被檢查。

例如，仿射合併模式中仿射構造的候選的最大數量等於5。以及順序是：候選1: {TL, TR}其中TL是左上MV (例如，從第5圖中的集合A)，TR是右上MV (例如，從第5圖中的集合B) 候選2: {TL, BL}，其中BL是左下MV（例如，從第5圖中的集合C）候選3: {TL, TR, BL} 候選4: {TR, BL, Col}，其中Col是時間同位MV 候選5: {Col as TL, TR, BL} (TL由Col替代)

如果具有3個控制點的候選被使用，則第四控制點MV可藉由使用三個控制點來導出。例如，在候選4中，TL'=TR+BL-Col。如果具有2個控制點的候選被使用，則第三控制點（例如，候選2中的TR）可藉由使用四參數仿射模型導出。

例如，仿射合併模式中仿射構造的候選的最大數量等於6。以及順序是：候選1: {TL, TR}，其中TL是左上MV (例如，從第5圖中的集合A)，TR是右上MV (例如，從第5圖中的集合B)，BL是左下MV (比如，從第5圖中的集合C) 候選2: {TL, BL}，其中BL是左下MV（例如，從第5圖中的集合C）候選3: {TL, TR, BL} 候選4: {TL, TR, Col}，其中Col是時間同位MV 候選5: {TL, BL, Col} 候選6: {TR, BL, Col}

如果具有3個控制點的候選被使用，則第四控制點MV可藉由使用三個控制點來導出。例如，在候選4中，BL'=TL+Col-TR，在候選5中，TR'=TL+Col-BL，在候選6中，TL'=TR+BL-Col。如果具有2個控制點的候選被使用，第三控制點（例如，候選2中的TR）可藉由使用四參數仿射模型導出。

在一實施例中，在繼承的仿射候選之後構造的仿射候選被***。在一示例中，如果統一仿射合併候選清單被應用，則空間正常合併候選和/或空間仿射合併候選被首先***清單中，然後是時間合併候選，然後是構造的仿射合併候選。在另一示例中，如果統一仿射合併候選清單被應用，則空間正常合併候選和/或空間仿射合併候選被首先***清單中，然後是構造的仿射合併候選，然後是時間合併候選。最多兩個構造的仿射候選被添加。

在一實施例中，對於仿射AMVP模式和仿射合併模式候選中的空間繼承仿射候選推導，四參數模型被使用而不顧相鄰仿射編解碼塊中使用的仿射運動模型。對於上方相鄰塊，其左下和右下控制點MV或一個或多個下方行MV被用於導出當前塊的仿射候選。對於左相鄰塊，其右上和右下控制點MV或一個或多個最右列MV被用於導出當前塊的仿射候選。

在一實施例中，如果在所有仿射繼承的候選和構造的候選被添加之後，候選清單仍未滿，則零MV集合被添加。在P片段中，兩個或三個零MV（即，MVx = 0，MVy = 0）被添加到用於兩個或三個控制點MV的候選清單中。在AMVP模式中，零MV集合被添加直到候選清單已滿。在合併模式中，對於P片段，LIST_0零MV集合被使用。對於B片段，LIST_0和LIST_1零MV集合被使用。在一示例中，具有不同參考索引的零MV被***。例如，如果List_0具有3個參考圖像，則具有refIdx= 0，1和2的三個零MV集合被添加。如果候選清單未滿，則具有refIdx = 0的零MV集合被添加直到候選清單已滿。在另一示例中，具有refIdx = 0的零MV被添加直到候選清單已滿。在另一實施例中，如果所有仿射繼承的候選和構造的候選被添加之後，候選清單仍未滿，則正常的AMVP候選或正常的合併候選被添加。兩個或三個控制點MV被填充以正常AMVP候選MV或正常合併候選MV。

在仿射 AMVP 模式中的仿射 MVP 推導

在一實施例中，對於仿射AMVP MVP集合推導，繼承的仿射候選被首先添加，然後是構造的仿射候選。

對於繼承的仿射候選，仿射候選被按順序添加。修剪過程（即，多餘候選移除）可被執行。在一示例中，待添加的仿射候選被與候選清單中的所有仿射候選進行比較。如果待添加的仿射候選是多餘的，則不添加。在另一示例中，僅待添加的仿射候選被與候選清單中的第一仿射候選進行比較。在另一示例中，僅待添加的仿射候選被與候選清單中的最後添加的仿射候選進行比較。在另一示例中，修剪可僅被執行N次。N可以是1，2或3。如果修剪被執行N次，則其餘的仿射候選可被直接添加到清單中。例如，N可以是1。對於第一仿射候選，它被直接添加到清單中。對於第二仿射候選，它被與第一仿射候選進行比較。如果它是多餘的，則其不會被添加到清單中。對於其他仿射候選，它們可被直接添加到清單中，直到候選清單已滿。

對於仿射候選修剪，所有控制點MV被比較。如果所有MV相同或MVD小於閾值，則將其視為多餘。在另一實施例中，一個或部分控制點MV被比較。如果一控制點MV或所選擇的部分控制點MV相同或者MVD小於閾值，則將其視為多餘。在一示例中，控制點可以是左上控制點。它只能比較左上控制點MV來判斷仿射候選是否多餘。修剪過程也可被應用於構造的仿射候選和仿射合併候選推導。

對於構造的仿射候選，至多N個MVP集合被添加。N可以是1或2。對於四參數仿射模型，對於第一構造候選，具有相同目標參考圖像的組A中的第一可用MV和具有相同目標參考圖像的組B中的第一可用MV被使用。如果相鄰塊是雙向預測，則兩個參考清單中的參考圖像將被檢查。例如，如果包含第一待檢查位置的塊是雙向預測，並且當前目標參考清單是清單0，則清單0中的相鄰塊的參考圖像被首先檢查。如果清單0中的參考圖像與目標參考圖像相同，則清單0中的MV是該組中的第一可用MV。否則（如果清單0中的參考圖像與目標參考圖像不同），清單1中的參考圖像被檢查。如果清單1中的參考圖像與目標參考圖像相同，則清單1中的MV是該組中的第一可用MV。由於可用MV必須具有與目標參考圖像相同的參考圖像，因此不需要MV縮放。組A搜索的順序可以是A0àA1àA2或A0àA2àA1。組B搜索的順序可以是B0àB1或B1àB0。如果MV之一不可用，則此候選不被***。對於第二構造候選，具有相同目標參考圖像的組A中的第一可用MV和具有相同目標參考圖像的組C中的第一可用MV被使用。組C搜索的順序可以是C0àC1或C1àC0。對於第三構造候選，具有相同目標參考圖像的組A中的第二可用MV和具有相同目標參考圖像的組B中的第二可用MV被使用。同樣，組A搜索的順序可以是A0àA1àA2或A0àA2àA1，組B搜索的順序可以是B0àB1或B1àB0。如果組中只有一個可用的MV，則在該組中使用該可用的MV。對於第四構造候選，具有相同目標參考圖像的組A中的第二可用MV和具有相同目標參考圖像的組C中的第二可用MV被使用。在另一實施例中，對於上述提到的構造的候選MV對，一個或多個控制點MV可由時間同位MV替代。

在另一實施例中，對於四參數仿射模型，對於第一構造候選，具有相同目標參考圖像的組A中的第一可用MV和具有相同目標參考圖像的組B中的第一可用MV被使用。如果相鄰塊是雙向預測，則兩個參考清單中的參考圖像將被檢查。例如，如果包含第一待檢查位置的塊是雙向預測，和當前目標參考清單是清單0，則清單0中的相鄰塊的參考圖像被首先檢查。如果清單0中的參考圖像與目標參考圖像相同，則清單0中的MV是該組中的第一可用MV。否則（即，清單0中的參考圖像與目標參考圖像不同），清單1中的參考圖像被檢查。如果清單1中的參考圖像與目標參考圖像相同，則清單1中的MV是該組中的第一可用MV。由於可用MV必須具有與目標參考圖像相同的參考圖像，因此不需要MV縮放。組A搜索的順序可以是A0àA1àA2或A0àA2àA1，組B搜索的順序可以是B0àB1或B1àB0。如果其中一個MV不可用，則此候選不被***。對於第二構造候選，具有相同目標參考圖像的組A中的第二可用MV和具有相同目標參考圖像的組B中的第二可用MV被使用。如果組中只有一個可用的MV，則在該組中使用該可用的MV。在另一示例中，對於第二構造候選，具有相同目標參考圖像的組A中的第一可用MV和具有相同目標參考圖像的組B中的第二可用MV被使用。如果組中只有一個可用的MV，則在該組中使用該可用的MV。在另一示例中，對於第二構造候選，具有相同目標參考圖像的組A中的第二可用MV和具有相同目標參考圖像的組B中的第一可用MV被使用。如果組中只有一個可用的MV，則在該組中使用該可用的MV。在另一實施例中，對於上述構造的候選MV對，一個或多個控制點MV可由時間同位MV替代。

對於六參數仿射模型，對於第一構造候選，具有相同目標參考圖像的組A中的第一可用MV和具有相同目標參考的組B中的第一可用MV被使用。組A搜索的順序可以是AàA1àA2或A0àA2àA1，組B搜索的順序可以是B0àB1或B1àB0。如果其中一個MV不可用，則此候選不被***。第三控制點（即，左下控制點）可從第一控制點（即，來自組A）和第二控制點（即，來自組B）控制點導出。對於第二構造候選，具有相同目標參考圖像的組A中的第一可用MV和具有相同目標參考圖像的組C中的第一可用MV被使用。組C搜索的順序可以是C0àC1或C1àC0。第三控制點（即，右上控制點）可從第一控制點（即，來自組A）和第二控制點（即，來自組C）控制點導出。對於第三構造候選，具有相同目標參考圖像的組A中的第二可用MV和具有相同目標參考圖像的組B中的第二可用MV被使用。如果組中只有一個可用的MV，則在該組中使用該可用的MV。第三控制點（即，左下控制點）可從第一控制點（即，來自組A）和第二控制點（即，來自組B）控制點導出。對於第四構造候選，具有相同目標參考圖像的組A中的第二可用MV和具有相同目標參考圖像的組C中的第二可用MV被使用。第三控制點（即，右上控制點）可從第一控制點（即，來自組A）和第二控制點（即，來自組C）控制點導出。在另一實施例中，對於上述構造的候選MV對，一個或多個控制點MV可由時間同位的MV替換。

在另一實施例中，對於六參數仿射模型，對於第一構造候選，具有相同目標參考圖像的組A中第一可用MV，具有相同目標參考圖像的組B中第一可用MV，以及具有相同目標參考圖像的組C中的第一可用MV被使用。如果相鄰塊是雙向預測，則兩個參考清單中的參考圖像將被檢查。例如，如果包含第一待檢查位置的塊是雙向預測，以及當前目標參考清單是清單0，則清單0中的相鄰塊的參考圖像被首先檢查。如果清單0中的參考圖像與目標參考圖像相同，則清單0中的MV是該組中的第一可用MV。否則（如果清單0中的參考圖像與目標參考圖像不相同），則清單1中的參考圖像被檢查。如果清單1中的參考圖像與目標參考圖像相同，則清單1中的MV是該組中的第一可用MV。由於可用MV必須具有與目標參考圖像相同的參考圖像，因此不需要MV縮放。組A搜索的順序可以是A0àA1àA2或A0àA2àA1，組B搜索的順序可以是B0àB1或B1àB0。組C搜索的順序可以是C0àC1或C1àC0。如果其中一個MV不可用，則此候選不被***。對於第二構造候選，具有相同目標參考圖像的組A中的第二可用MV，具有相同目標參考圖像的組B中的第二可用MV，以及具有相同目標參考圖像的組C中的第二可用MV被使用。如果MV之一不可用，則此候選不被***。如果組中只有一個可用的MV，則在該組中使用該可用的MV。在另一實施例中，對於上述構造的候選MV對，一個或多個控制點MV可由時間同位MV替換。

在另一實施例中，對於六參數仿射模型，對於第一構造候選，具有相同目標參考圖像的組A中第一可用MV（順序可以是A0àA1àA2或A0àA2àA1），具有相同目標參考圖像的組B中第一可用MV（順序可以是B0àB1或B1àB0），以及具有相同目標參考圖像的組C中第一可用MV（順序可以是C0àC1或C1使用àC0）。如果組A中的MV存在且組B中的MV不存在，則組A中的MV被用作組B中的MV。如果組A中的MV存在且組C的MV不存在，組C中的MV被用作組B中的MV。如果組A中的MV不存在且組B或C中的MV存在，則組B或組C中的MV被用作組A中的MV。在另一示例中，如果組A中的MV不存在，則該候選不被***。如果任何組中都不存在MV，則此候選不被***。對於第二構造候選，具有相同目標參考圖像的組A中的第二可用MV，具有相同目標參考圖像的組B中的第二可用MV，以及具有相同目標參考圖像的組C中的第二可用MV被使用。如果組中只有一個可用的MV，則在該組中使用該可用的MV。如果組A中的MV存在且組B中的MV不存在，則組A中的MV被用作組B中的MV。如果組A中的MV存在且組C中的MV不存在，則組C中的MV被用作組B中的MV。如果組A中的MV不存在且組B或C中的MV存在，則組B或C中的MV被用作組A中的MV。例如，如果組A中的MV不存在，則此候選不被***。如果每個組中的所有MV都不存在，則此候選不被***。在另一實施例中，對於上述構造的候選MV對，一個或多個控制點MV可由時間同位MV替代。

在另一實施例中，對於六參數仿射模型，對於第一構造候選，具有相同的目標參考圖像的組A中的第一可用MV，具有相同的目標參考圖像的組B中的第一可用MV，以及具有相同目標參考圖像的組C中的第一可用MV被使用。組A搜索的順序可以是A0àA1àA2或A0àA2àA1，組B搜索的順序可以是B0àB1或B1àB0。組C搜索的順序可以是C0àC1或C1àC0。如果一個組中的其中一個MV不存在，則MV可藉由使用四參數仿射模型從其他兩個組中的MV導出，或者由其他兩個組中的另外兩個MV之一填充。如果任何組中都不存在MV，則此候選不被***。對於第二構造候選，具有相同目標參考圖像的組A中的第二可用MV，具有相同目標參考圖像的組B中的第二可用MV，以及具有相同目標參考圖像的組C中的第二可用MV被使用。如果一個組中的其中一個MV不存在，則MV可藉由使用四參數仿射模型從其他兩個組中的MV導出，或者由其他兩個組中的另外兩個MV之一填充。如果任何組中都不存在MV，則此候選不被***。在另一實施例中，對於上述構造的候選MV對，一個或多個控制點MV可由時間同位MV替代。

在另一實施例中，對於六參數仿射模型，對於第一構造候選，具有相同目標參考圖像的組A中的第一可用MV和具有相同目標參考圖像的組B中的第一可用MV被使用。組A搜索的順序可以是A0àA1àA2或A0àA2àA1，組B搜索的順序可以是B0àB1或B1àB0。如果其中一個MV不可用，則此候選不被***。第三控制點推導自兩個控制點（即，組A中的MV和組B中的MV）。對於第二構造候選，具有相同目標參考圖像的組A中的第二可用MV和具有相同目標參考圖像的組B中的第二可用MV被使用。如果組中只有一個可用的MV，則在該組中使用該可用的MV。在另一示例中，對於第二構造候選，具有相同目標參考圖像的組A中的第一可用MV和具有相同目標參考圖像的組B中的第二可用MV被使用。如果組中只有一個可用的MV，則在該組中使用該可用的MV。在另一示例中，對於第二構造候選，具有相同目標參考圖像的組A中的第二可用MV和具有相同目標參考圖像的組B中的第一可用MV被使用。如果組中只有一個可用的MV，則在該組中使用該可用的MV。第三控制點推導自兩個控制點（即，組A中的MV和組B中的MV）。在另一實施例中，對於上述構造的候選MV對，一個或多個控制點MV可由時間同位MV替代。

在上述方法中，所添加的構造的仿射候選的數量可被指定。例如，構造的仿射候選的最大數量可以是1或2。

在一實施例中，如果在添加所有仿射繼承的候選和構造的候選之後，候選清單仍未滿，則零MV集合被添加。在P片段中，兩個或三個零MV（即，MVx=0，MVy=0）被添加到用於兩個或三個控制點MV的候選清單中。在AMVP模式中，零MV集合被添加直到候選清單已滿。在合併模式下，對於P片段，清單0零MV集合被使用。對於B片段，清單0和清單1零MV集合被使用。在一示例中，具有不同參考索引的零MV被***。例如，如果清單0具有3個參考圖像，則具有refIdx=0，1和2的三個零MV集合被添加。如果候選清單未滿，則refIdx=0的零MV集合被添加，直到候選清單已滿。在另一示例中，refIdx=0的零MV集合被添加，直到候選清單已滿。在另一實施例中，如果在添加了所有仿射繼承的候選和構造的候選之後，候選清單仍未滿，則正常的AMVP候選或正常的合併候選被添加。兩個或三個控制點MV由正常AMVP候選MV或正常合併候選MV填充。

仿射候選清單修剪

對於仿射AMVP候選推導或仿射合併候選清單推導，仿射候選是按順序添加。修剪過程（即，多餘候選移除）可被執行。例如，待添加的仿射候選被與候選清單中的所有仿射候選進行比較。如果待添加的仿射候選是多餘的，則不添加。在另一示例中，待添加的仿射候選與候選清單中的僅第一仿射候選被比較。在另一示例中，待添加的仿射候選與候選清單中的僅最後添加的仿射候選被比較。在另一示例中，修剪可以僅被執行N次。N可以是1，2或3。如果N次修剪被執行，則其餘的仿射候選被直接添加到清單中。例如，N可以是1。對於第一仿射候選，其被直接添加到清單中。對於第二仿射候選，其被與第一仿射候選比較。如果它是多餘的，則不會被添加到清單中。對於其他仿射候選，其可被直接添加到清單中，直到候選清單已滿。

對於仿射候選修剪，所有控制點MV被比較。如果所有MV相同或MVD小於閾值，則被視為多餘。在另一實施例中，一個或部分控制點MV被比較。如果一個控制點MV或所選擇的部分控制點MV相同或者MVD小於閾值，則被視為多餘。在一示例中，一個控制點可以是左上控制點。該過程將僅比較左上控制點MV以確定仿射候選是否多餘的。對於仿射合併候選推導，參考清單和參考索引也需要比較。

仿射類型語法設計

如果四參數仿射模型和六參數仿射模型切換被支援，則需要仿射類型標誌。在一實施例中，是否發送仿射類型標誌取決於當前塊的形狀。例如，對於寬度>N*高度的塊，仿射類型標誌不被發送以及被推斷為四參數（或六參數）仿射模型，N可以是2，3或4。在另一示例中，對於寬度>N*高度或高度>N*寬度的塊，仿射類型標誌不被發送以及被推斷為四參數（或六參數）仿射模型，N可以是2，3或4。在另一示例中，對於具有寬度=N*高度的塊，仿射類型標誌不被發送以及被推斷為四參數（或六參數）仿射模型，N可以是1，2，3或4。控制點位置還取決於塊形狀。例如，對於平坦塊（flat block），左上和右上（或左下和右下）被用作控制點。對於高而窄的塊，左上和左下（或右上和右下）被用作控制點。在另一示例中，對於方塊，仿射類型標誌不被發送以及被推斷為六參數仿射模型。在另一實施例中，是否發送仿射類型標誌取決於當前塊的大小。例如，對於寬度*高度>32的塊，仿射類型標誌不被發送以及被推斷為四參數仿射模型。在另一示例中，對於寬度*高度>128的塊，仿射類型標誌不被發送以及被推斷為六參數仿射模型。

在一實施例中，每個塊的仿射類型標誌被存儲，以及多個上下文模型被使用，仿射類型標誌的上下文模型選擇可取決於相鄰塊的仿射類型標誌。例如，左塊和上方塊的仿射類型被用於上下文形成。如果相鄰塊的仿射類型標誌都使用第一類型，則第一上下文被使用。如果其中一個使用第一類型，則第二上下文被使用。如果它們都使用第二類型，則第三上下文被使用。

在另一實施例中，僅對當前塊存儲仿射類型標誌，仿射類型標誌可藉由單個上下文模型或旁路編解碼來編解碼。在這種情況下，不需要引用相鄰塊的仿射類型標誌。

在實現中，為了使編解碼過程更簡單和更一致，四參數和六參數仿射模型的仿射塊的MVP集合推導和子塊MV推導可使用六參數仿射模型的過程。以這種方式，如果仿射類型標誌是藉由單個上下文模型或旁路編解碼來編解碼，其與相鄰塊的仿射類型標誌無關，則僅需要對當前塊存儲仿射類型標誌。因此，用於存儲相鄰塊資訊的記憶體可被減少。

任一前述提出的方法可在編碼器和/或解碼器中實現。例如，任一所提出的方法可在編碼器的MV推導模組和/或解碼器的MV推導模組中實現。或者，任一所提出的方法可實現為耦合到編碼器的MV推導模組和/或解碼器的MV推導模組的電路，以便提供MV推導模組所需的資訊。

仿射標誌 的上下文建模

為了降低解析階段的複雜性和存儲要求，固定的單個上下文被提議用於仿射標誌（affine_flag）編碼。以這種方式，affine_flag（用於仿射AMVP模式編解碼）解析是獨立於相鄰資訊。在另一示例中，多個上下文被用來編解碼affine_flag。相鄰塊的資訊被使用。例如，該資訊對應於相鄰塊是否以仿射模式編解碼，例如仿射AMVP模式（不包括仿射合併模式）或仿射合併模式（包括子塊合併模式）。在一示例中，上方塊和左塊被使用。如果它們都不以仿射模式編解碼，則第一上下文被使用。如果其中一個以仿射模式編解碼，則第二上下文使用。如果它們都以仿射模式編解碼，則第三上下文使用。單個或多個相鄰可被用於上下文建模。例如，多於兩個相鄰塊（例如，第4A圖中的塊A0，A1，B0，B1和B2）可被用於上下文建模。被編解碼為仿射模式的相鄰塊的數量可被用於上下文建模。在另一示例中，affine_flag的上下文建模可取決於inter_dir（即，參考清單選擇）或CU大小/區域/深度。

第8圖示出具有結合本發明實施例的仿射模式的視訊編解碼系統的示例性流程圖。流程圖中示出的步驟可實現為在編碼器側的一個或多個處理器（例如，一個或多個CPU）上可執行的程式碼。流程圖中示出的步驟還可基於諸如被佈置為執行流程圖中的步驟的一個或多個電子設備或處理器的硬體來實現。根據該方法，在步驟810，在視訊編器側接收與當前塊相關的輸入資料，或者在視訊解碼器側接收與包括當前塊的壓縮資料相對應的視訊位元流。在步驟820中，確定包括多個空間相鄰塊和一個或多個同位塊的當前塊的相鄰塊集合，其中與同位塊相關聯的MV被稱為時間MV。在步驟830中，基於在所述多個空間相鄰塊處的CP MV以及一個或多個同位塊，導出仿射MVP候選清單的一個或多個構造的仿射MVP候選，其中不具有時間MV的構造的仿射MVP候選被檢查和被***到仿射MVP候選清單中具有一個時間MV的任一構造的仿射MV之前。在步驟840中，基於仿射MVP候選清單對當前塊或當前塊的運動資訊進行編碼或解碼。

第9圖示出具有結合本發明實施例的仿射模式的視訊編解碼系統的另一示例性流程圖。根據該方法，在步驟910，在視訊編碼器側接收與當前塊相關的輸入資料，或者在視訊解碼器側接收與包括當前塊的壓縮資料相對應的視訊位元流。在步驟920中，確定用於雙CP仿射模型或三CP仿射模型的當前塊的相鄰塊集合，其中相鄰塊集合包括用於雙CP仿射模型的當前塊的左上角和右上角周圍的空間相鄰塊，或者相鄰塊集合包括用於三CP仿射模型的當前塊的左上角，右上角和左下角的空間相鄰塊。在步驟930中，對於雙CP仿射模式，基於從左上角周圍的空間相鄰塊首先獲得的第一CP MV和從右上角周圍的空間相鄰塊首先獲得的第二CP MV導出一個或多個構造的仿射MVP候選，或者對於三CP仿射模式，基於第一CP MV，第二CP MV和從左下角周圍的空間相鄰塊首先獲得的第三CP MV導出一個或多個構造的仿射MVP候選。在步驟940中，生成仿射MVP候選清單，其中如果存在第一CP MV和第二CP MV，則仿射MVP候選清單包括用於雙CP仿射模式的所述一個或多個構造的仿射MVP候選，或者如果存在第一CP MV，第二CP MV和第三CP MV，則仿射MVP候選清單包括用於三CP仿射模型的所述一個或多個構造的仿射MVP候選。在步驟950中，使用從視訊編碼器側的仿射MVP候選清單選擇的預測子對與雙CP仿射運動模型或三CP仿射運動模型相關聯的當前控制點MV集合的預測差值進行編碼，或者使用從視訊解碼器側選擇的預測子對與雙CP仿射運動模型或三CP仿射運動模型相關聯的當前控制點MV集合的預測差值進行解碼。

所示的流程圖旨在示出根據本發明的視訊的示例。在不脫離本發明的精神的情況下，本領域通常知識者可以修改每個步驟，重新排列步驟，拆分步驟或組合步驟來實施本發明。在本公開中，已經使用具體的語法和語義來說明實現本發明的實施例的示例。本領域通常知識者可以用相同的語法和語義來替代該些語法和語義來實踐本發明，而不脫離本發明的精神。

呈現上述描述以使得本領域通常知識者能夠在特定應用及其要求的上下文中實施本發明。對所描述的實施例的各種修改對於本領域通常知識者將是顯而易見的，並且本文定義的一般原理可以應用於其他實施例。因此，本發明並不限於所示出和描述的特定實施例，而是符合與本文所公開的原理和新穎特徵相一致的最寬範圍。在上述詳細描述中，示出了各種具體細節以便提供對本發明的透徹理解。然而，本領域通常知識者將理解，可以實施本發明。

如上所述的本發明的實施例可以以各種硬體，軟體代碼或兩者的組合來實現。例如，本發明的實施例可以是整合到視訊壓縮芯片中的一個或複數個電路電路，或整合到視訊壓縮軟體中的程式代碼以執行本文所述的處理。本發明的實施例也可以是要在數位訊號處理器（DSP）上執行的程式代碼，以執行本文所述處理。本發明還可以涉及由計算機處理器，數位訊號處理器，微處理器或現場可程式邏輯閘陣列（FPGA）執行的許多功能。可以透過執行定義本發明所體現的特定方法的機器可讀軟體代碼或韌體代碼來將這些處理器配置成執行依據本發明的特定任務。軟體代碼或韌體代碼可以以不同的編程語言和不同的格式或風格而被開發。也可以為不同的目標平台編譯軟體代碼。然而，執行與本發明一致任務的不同的代碼格式，軟體代碼的樣式和語言以及配置代碼的其他方式將不會脫離本發明的精神和範圍。

在不脫離本發明的精神或基本特徵的情況下，本發明可以以其他具體形式實施。所描述的例子僅在所有方面被認為是說明性的而不是限制性的。因此，本發明的範圍由申請專利範圍而不是前面的描述來指示。屬於申請專利範圍的等同物的含義和範圍的所有變化將被包括在其範圍內。

110‧‧‧矩形 120‧‧‧旋轉後的矩形 130‧‧‧矩形 210‧‧‧塊 220‧‧‧矩形 222、224、226、232、234、236‧‧‧點 230‧‧‧平行四邊形 410‧‧‧當前塊 420、422、424、426、430、510‧‧‧塊 610‧‧‧當前塊 710‧‧‧當前塊 720‧‧‧參考塊 810、820、830、840、910、920、930、940、950‧‧‧步驟

第1A圖是示出四參數仿射模型的示例，其中所述仿射模型是根據兩個控制點運動向量指定。第1B圖示出四參數仿射模型的示例，其中所述變換后的塊基於兩個控制點的MV被旋轉。第1C圖示出四參數仿射模型的示例，其中所述變換后的塊基於兩個控制點的MV被選擇和縮放。第2A圖示出用於六參數仿射模型的3控制點MV（即，

,

和

）。第2B圖示出可將矩形變換成平行四邊形的六參數仿射模型的示例。第3圖示出基於兩個控制點的MV確定的用於每個4×4子塊的當前塊的運動向量的示例。第4A圖示出當前塊的相鄰塊（A0, A1, B0, B1和B2）的示例，其中示出塊B1的控制點MV（即，V_B10 , V_B11 和V_B12 ）。第4B圖示出從塊A1繼承的仿射運動示例，其中塊A1的控制點MV被用作當前塊的控制點MV。第4C圖示出根據(A0àA1) (B0àB1àB2)以選擇用於繼承控制點MV的候選的順序。第5圖示出角導出候選（即，構造的候選）的示例，其中所述控制點MV是從不同相鄰塊導出的。第6圖示出時間仿射候選的示例，其中同位塊的相鄰塊的仿射編解碼的塊或同位塊本身將以順序“RBàCTàLBàRT”被***用於當前塊。第7圖示出用於導出仿射候選的空間相鄰塊和同位塊的示例。第8圖示出具有包含本發明實施例的仿射模式的視訊編解碼系統的示例性流程圖。第9圖示出具有包含本發明實施例的仿射模式的視訊編解碼系統的另一示例性流程圖。

810、820、830、840‧‧‧步骤

Claims

一種由視訊編碼器或視訊解碼器執行的視訊編解碼方法，利用運動向量預測來對與利用一仿射運動模式的編解碼模式編解碼的塊相關聯的運動向量進行編解碼，該方法包括：在一視訊編碼器側接收與一當前塊相關的輸入資料或在一視訊解碼側接收與包括該當前塊的壓縮資料相對應的一視訊位元流；確定該當前塊的一相鄰塊集合，該相鄰塊集合包括多個空間相鄰塊和一個或多個同位塊，其中與一同位塊相關聯的一運動向量被稱為一時間運動向量；基於該等空間相鄰塊處的多個控制點運動向量和該一個或多個同位塊，導出用於一仿射運動向量預測候選清單的一個或多個構造的仿射運動向量預測候選，其中不具有一時間運動向量的一構造的仿射運動向量預測候選被檢查和被***在該仿射運動向量預測候選清單中具有一時間運動向量的任一構造的仿射運動向量之前；以及基於該仿射運動向量預測候選清單對該當前塊或該當前塊的運動資訊進行編碼或解碼。
如申請專利範圍第1項所述之由視訊編碼器或視訊解碼器執行的視訊編解碼方法，其中，在與一四參數仿射模型相關聯的一個或多個第二構造的仿射運動向量預測候選之前，與一六參數仿射模型相關聯的一個或多個第一構造的仿射運動向量預測候選被檢查。
如申請專利範圍第1項所述之由視訊編碼器或視訊解碼器執行的視訊編解碼方法，其中，在檢查包括不是從左上、右上和左下位置的運動向量導出的一個或多個運動向量的一六參數仿射模型相關聯的一個或多個第二構造的仿射運動向量預測候選之前，檢查包括從左上、右上和左下位置的運動向量導出的一個或與一多個運動向量的一六參數仿運動射模型相關聯的一個或多個第一構造的仿射運動向量預測候選。
如申請專利範圍第1項所述之由視訊編碼器或視訊解碼器執行的視訊編解碼方法，其中，在檢查包括不是從左上和右上位置的運動向量導出的一個或多個運動向量的一四參數仿射模型相關聯的一個或多個第二構造的仿射運動向量預測候選之前，檢查包括從左上和右上位置的運動向量導出的一個或多個運動向量的一四參數仿射模型相關聯的一個或多個第一構造的仿射運動向量預測候選。
如申請專利範圍第1項所述之由視訊編碼器或視訊解碼器執行的視訊編解碼方法，其中，根據對應於{TL, TR, BL} à {TL, TR, Col} à {TL, BL, Col} à {TR, BL, Col} à {TL, TR} à {TL, BL}的一順序，該一個或多個構造的仿射運動向量預測候選被導出，其中TL對應於一左上運動向量，TR對應於一他右上運動向量，BL對應於一左下運動向量和Col對應於一時間運動向量。
如申請專利範圍第1項所述之由視訊編碼器或視訊解碼器執行的視訊編解碼方法，其中，對於一四參數仿射模型，如果與CP0，CP1和CP2相關聯的運動向量不是一時間運動向量，根據對應於(CP0_B2, CP1_B1) à (CP0_B2, CP1_B0) à (CP0_B2, CP2_A1) à (CP0_B2, CP2_A0) à (CP2_A1, CP3_RB) à (CP2_A0, CP3_RB) à (CP3_RB, CP1_B1) à (CP3_RB, CP1_B0)的一預定義順序，該一個或多個構造的仿射運動向量預測被檢查和被***，以及其中CPi_XX對應於位置XX上與一控制點i相關聯的一運動向量，i等於0，1，2，3，以及XX對應於左下塊A0，左塊A1，右上塊B0，上方塊B1，左上塊B2，或同位右下塊RB。
如申請專利範圍第1項所述之由視訊編碼器或視訊解碼器執行的視訊編解碼方法，其中，對於一六參數仿射模型，如果與CP0，CP1和CP2相關聯的運動向量不是一時間運動向量，根據對應於(CP0_B2, CP1_B1, CP2_A1) à (CP0_B2, CP1_B1, CP2_A0) à (CP0_B2, CP1_B0, CP2_A1) à (CP0_B2, CP1_B0, CP2_A0) à (CP0_B2, CP1_B1, CP3_RB) à (CP0_B2, CP1_B0, CP3_RB)的一預定義順序，該一個或多個構造的仿射運動向量預測被檢查和被***，以及其中CPi_XX對應於位置XX上與一控制點i相關聯的一運動向量，i等於0，1，2，3，以及XX對應於左下塊A0，左塊A1，右上塊B0，上方塊B1，左上塊B2，或同位右下塊RB。
如申請專利範圍第1項所述之由視訊編碼器或視訊解碼器執行的視訊編解碼方法，其中，如果在所有的導出仿射運動向量預測候選被***后該仿射運動向量預測候選清單未滿，一個或多個零運動向量運動向量預測候選被添加到該仿射運動向量預測候選清單。
如申請專利範圍第1項所述之由視訊編碼器或視訊解碼器執行的視訊編解碼方法，其中，一待添加的構造的仿射運動向量預測候選被與該仿射運動向量預測候選清單中的一個或多個仿射運動向量預測候選相比較，以及如果該待添加的構造的仿射運動向量預測候選是多餘的，該待添加的構造的仿射運動向量預測候選不被***到該仿射運動向量預測候選清單中。
如申請專利範圍第1項所述之由視訊編碼器或視訊解碼器執行的視訊編解碼方法，其中，一待添加的構造的仿射運動向量預測候選被與該仿射運動向量預測候選清單的一第一仿射運動向量預測候選或一最後仿射運動向量預測候選相比較，以及如果該待添加的構造的仿射運動向量預測候選是多餘的，該待添加的構造的仿射運動向量預測候選不被***到該仿射運動向量預測候選清單中。
一種由視訊編碼器或視訊解碼器執行的視訊編解碼裝置，利用運動向量預測來對與利用一仿射運動模式的編解碼模式編解碼的塊相關聯的運動向量進行編解碼，該裝置包括一個或多個電子電路或處理器，被配置為：在一視訊編碼器側接收與一當前塊相關的輸入資料或在一視訊解碼側接收與包括該當前塊的壓縮資料相對應的一視訊位元流；確定包括多個空間相鄰塊和一個或多個同位塊的該當前塊的一相鄰塊集合，其中與一同位塊相關聯的一運動向量被稱為一時間運動向量；基於該等空間相鄰塊處的多個控制點運動向量和該一個或多個同位塊，導出用於一仿射運動向量預測候選清單的一個或多個構造的仿射運動向量預測候選，其中不具有一時間運動向量的一構造的仿射運動向量預測候選被檢查和被***在該仿射運動向量預測候選清單中在具有一時間運動向量的任一構造的仿射運動向量之前；以及基於該仿射運動向量預測候選清單對該當前塊或該當前塊的運動資訊進行編碼或解碼。
一種由視訊編碼器和視訊解碼器執行的用於視訊編解碼的幀間預測方法，使用運動向量預測來對與利用包括一仿射運動模式的多個編解碼模式進行編解碼的一塊相關聯的一運動向量進行編解碼，該方法包括：在一視訊編碼器側接收與一當前塊相關的輸入資料或在一視訊解碼側接收與包括該當前塊的壓縮資料相對應的一視訊位元流；確定用於一雙控制點仿射模型或一三控制點仿射模型的該當前塊的一相鄰塊集合，其中該相鄰塊集合包括用於該雙控制點仿射模型的該當前塊的一左上角和一右上角周圍的多個空間相鄰塊，或該相鄰塊集合包括用於該三控制點仿射模型的該當前塊的該左上角，該右上角和一左下角周圍的該等空間相鄰塊；對於該雙控制點仿射模型，基於從該左上角周圍的一空間相鄰塊首先獲得的一第一控制點運動向量和基於從該右下角周圍的一空間相鄰塊首先獲得的一第二控制點運動向量，導出一個或多個構造的仿射運動向量預測候選，或者對於該三控制點仿射模型，基於該第一控制點運動向量，該第二控制點運動向量和從該左下角周圍的一空間相鄰塊首先獲得的一第三控制點運動向量，導出一個或多個構造的仿射運動向量預測候選；產生一仿射運動向量預測候選清單，其中如果該第一控制點運動向量和該第二控制點運動向量存在，該仿射運動向量預測候選清單包括用於該雙控制點仿射模型的一個或多個構造的仿射運動向量預測候選，或者如果該第一控制點運動向量，該第二控制點運動向量和該第三控制點運動向量存在，該仿射運動向量預測候選清單包括用於該三控制點仿射模型的一個多個造的仿射運動向量預測候選；以及在該視訊編碼器側使用從該仿射運動向量預測候選清單選擇的一預測子對與該雙控制點仿射運動模型或該三控制點仿射運動模型相關聯的一當前控制點運動向量集合的多個預測差值進行編碼，或者在該視訊解碼器使用從該仿射運動向量預測候選清單選擇的一預測子對與該雙控制點仿射運動模型或該三控制點仿射運動模型相關聯的該當前控制點運動向量集合的該等預測差值進行解碼。
如申請專利範圍第12項所述之由視訊編碼器和視訊解碼器執行的用於視訊編解碼的幀間預測方法，其中，該當前塊的該左上角周圍的該等空間相鄰塊包括一左上角塊a0,一左上塊a1和一左上塊a2，該當前塊的該右上角周圍的該等空間相鄰塊包括一上方塊b0和一右上塊b1，以及該當前塊的該左下角周圍的該等空間相鄰塊包括一左塊c0和一左下塊c1，根據當前塊的該左上角的a0à a1àa2順序，當前塊的該右上角的b0àb1順序和該當前塊的左下角的c0àc1順序，該等空間相鄰塊被檢查。
如申請專利範圍第13項所述之由視訊編碼器和視訊解碼器執行的用於視訊編解碼的幀間預測方法，其中，如果一第一候選指向與該當前塊相同的一目標參考圖像，根據a0à a1àa2和根據每個位置的一當前參考清單à其他參考清單的一順序，該第一候選被選擇為該第一控制點運動向量；如果一第二候選指向與該當前塊相同的該目標參考圖像，根據b0àb1和根據每個位置的該當前參考清單à其他參考清單的該順序，該第二候選被選擇為該第二控制點運動向量；以及如果一第三候選指向與該當前塊相同的該目標參考圖像，根據c0àc1和根據每個位置的該當前參考清單à其他參考清單的該順序，該第三候選被選擇為該第三控制點運動向量。
如申請專利範圍第12項所述之由視訊編碼器和視訊解碼器執行的用於視訊編解碼的幀間預測方法，其中，如果在所有的導出的仿射運動向量預測候選被***後該仿射運動向量預測候選清單未滿，一個或多個零運動向量運動向量預測候選被添加到該仿射運動向量預測候選清單。
如申請專利範圍第12項所述之由視訊編碼器和視訊解碼器執行的用於視訊編解碼的幀間預測方法，其中一待添加的構造的仿射運動向量預測候選被與該仿射運動向量預測候選清單中的一個或多個仿射運動向量預測候選相比較，如果該待添加的構造的仿射運動向量預測候選是多餘的，則該待添加的構造的仿射運動向量預測候選不被***到該仿射運動向量預測候選清單中。
如申請專利範圍第12項所述之由視訊編碼器和視訊解碼器執行的用於視訊編解碼的幀間預測方法，其中，如果該第一控制點運動向量和該第二控制點運動向量中的任一個不可被用於該雙控制點仿射模式，一相應構造的仿射運動向量預測候選不被***到該仿射運動向量預測候選清單中；或者如果該第一控制點運動向量，該第二控制點運動向量和該第三控制點運動向量中的任一個不可被用於該三控制點仿射模型，一相應構造的仿射運動向量預測候選不被***到該仿射運動向量預測候選清單中。
一種由視訊編碼器和視訊解碼器執行的用於視訊編解碼的幀間預測裝置，使用運動向量預測來對與利用包括一仿射運動模式的多個編解碼模式進行編解碼的一塊相關聯的一運動向量進行編解碼，該裝置包括一個或多個電子電路或處理器，被設置為：在一視訊編碼器側接收與一當前塊相關的輸入資料或在一視訊解碼側接收與包括該當前塊的壓縮資料相對應的一視訊位元流；確定用於一雙控制點仿射模型或一三控制點仿射模型的該當前塊的一相鄰塊集合，其中該相鄰塊集合包括用於該雙控制點仿射模型的該當前塊的一左上角和一右上角周圍的多個空間相鄰塊，或該相鄰塊集合包括用於該三控制點仿射模型的該當前塊的該左上角，該右上角和一左下角周圍的該等空間相鄰塊；對於該雙控制點仿射模型，基於從該左上角周圍的一空間相鄰塊首先獲得的一第一控制點運動向量和基於從該右下角周圍的一空間相鄰塊首先獲得的一第二控制點運動向量，導出一個或多個構造的仿射運動向量預測候選，或者對於該三控制點仿射模型，基於從該左下角周圍的一空間相鄰塊首先獲得的該第一控制點運動向量，該第二控制點運動向量和一第三控制點運動向量，導出一個或多個構造的仿射運動向量預測候選；產生一仿射運動向量預測候選清單，其中如果該第一控制點運動向量和該第二控制點運動向量存在，該仿射運動向量預測候選清單包括用於該雙控制點仿射模型的一個或多個構造的仿射運動向量預測候選，或者如果該第一控制點運動向量，該第二控制點運動向量和該第三控制點運動向量存在，該仿射運動向量預測候選清單包括用於該三控制點仿射模型的一個多個造的仿射運動向量預測候選；以及在該視訊編碼器側使用從該仿射運動向量預測候選清單選擇的一預測子對與該雙控制點仿射運動模型或該三控制點仿射運動模型相關聯的一當前控制點運動向量集合的多個預測差值進行編碼，或者在該視訊解碼器使用從該仿射運動向量預測候選清單選擇的一預測子對與該雙控制點仿射運動模型或該三控制點仿射運動模型相關聯的該當前控制點運動向量集合的該等預測差值進行解碼。