TWI702825B - 用於視訊編碼的可變仿射合併候選 - Google Patents

用於視訊編碼的可變仿射合併候選 Download PDF

Info

Publication number
TWI702825B
TWI702825B TW108101938A TW108101938A TWI702825B TW I702825 B TWI702825 B TW I702825B TW 108101938 A TW108101938 A TW 108101938A TW 108101938 A TW108101938 A TW 108101938A TW I702825 B TWI702825 B TW I702825B
Authority
TW
Taiwan
Prior art keywords
block
merge candidate
current block
affine
affine merge
Prior art date
Application number
TW108101938A
Other languages
English (en)
Other versions
TW201941602A (zh
Inventor
陳俊嘉
徐志瑋
陳慶曄
Original Assignee
聯發科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聯發科技股份有限公司 filed Critical 聯發科技股份有限公司
Publication of TW201941602A publication Critical patent/TW201941602A/zh
Application granted granted Critical
Publication of TWI702825B publication Critical patent/TWI702825B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H04N19/54—Motion estimation other than block-based using feature points or meshes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • Algebra (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本發明一方面提供了一種用於視訊編碼的方法。該方法包括確定使用用於當前圖片中的當前塊的仿射運動模型編碼的仿射合併候選塊集的仿射合併候選位置的集合。仿射合併候選塊集包括仿射合併候選側面塊集中的至少一個，該仿射合併候選側面塊集是位於當前圖片中當前塊的一個側面或多個側面的複數個空間相鄰塊和當前塊的參考圖片中的一個仿射合併候選時間塊。 使用合併模式從參考圖片預測當前塊。 該方法還包括為與AMC塊集對應的當前塊生成仿射合併候選集合，以及為包括仿射合併候選集的當前塊構建合併候選列表。

Description

用於視訊編碼的可變仿射合併候選
本發明涉及視訊編碼技術。
本文提供的背景描述是為了總體上呈現本公開的背景。目前發明人的成果部分描述於此先前技術部分，以及在提交時可能不具備作為先前技術的描述的其他方面的內容，既不明確也不暗示地被接納為先前技術。
在圖像和視訊編碼中，可以使用基於樹結構的方案將圖片及其對應的樣本陣列劃分為塊。然後，可以用多種處理模式之一處理每個塊。合併模式是這樣的處理模式之一，其中空間或時間上相鄰的塊可以共享同一組運動參數。編碼器和解碼器遵循相同的規則來構造預測候選列表，並且指示所選擇的預測候選的索引從編碼器發送到解碼器。如此一來，可以減少運動矢量傳輸的開銷。
本發明一方面提供了一種用於視訊編碼的方法。該方法包括確定使用用於當前圖片中的當前塊的仿射運動模型編碼的AMC(affine merge candidate,AMC)塊集的AMC位置的集合。
AMC塊集的仿射合併候選位置的集合。AMC塊集包括仿射合併 候選側面塊集中的至少一個，AMC側面塊集是位於當前圖片中當前塊的一個側面或多個側面的複數個空間相鄰塊和當前塊的參考圖片中的一個AMC時間塊。使用合併模式從參考圖片預測當前塊。該方法還包括為與AMC塊集對應的當前塊生成AMC集合，以及為包括AMC集的當前塊構建合併候選列表。
在一個實施例中，基於以下之一來確定AMC側面塊集：當前塊的大小訊息和形狀訊息。
在一個實施例中，該方法包括基於以下之一確定AMC側面塊集的數量：當前塊的大小訊息和形狀訊息，其中大小訊息包括以下中的至少一個：高度當前塊，當前塊的寬度和當前塊的區域，並且形狀訊息包括當前塊的縱橫比。
在一個示例中，AMC側面塊包括位於當前塊的頂部的AMC頂部塊，並且確定AMC側面塊集的數量包括基於當前塊的寬度和/或當前塊的縱橫比確定仿射合併候選頂部塊集的數量。
在一個示例中，AMC側面塊集包括位於當前塊的左側面的AMC左塊集，並且確定AMC側面塊集的數量包括基於當前塊的高度和/或當前塊的縱橫比確定仿射合併候選左塊集的數量。
在一個實施例中，AMC位置集中的一個是AMC側面塊集中的一個，並且確定AMC位置集包括基於以下之一確定AMC位置集中的一個：該當前塊的該大小訊息和該形狀訊息。
在一個示例中，AMC側面塊集包括位於當前塊的頂部的AMC頂部塊集，並且AMC頂部塊集中的一個位於AMC位置集中的一個的位置處，以及確定該仿射合併候選位置集中的一個包括：基於以下中的至少一個來確定AMC位置集中的一個：當前塊的寬度，當前塊的縱橫比和AMC頂部塊集的數量。
在一個示例中，AMC側面塊集包括位於當前塊的左側面的AMC左 塊集，並且AMC左塊集中的一個位於AMC位置集中的一個的位置處，以及確定AMC位置集中的一個包括：基於以下中的至少一個確定AMC位置集中的一個：當前塊的高度，當前塊的縱橫比，以及AMC左塊集的數量。
在一個示例中，AMC時間塊在當前塊的並置塊內，並置塊在當前塊的參考圖片中。在另一示例中，AMC時間塊位於以下之一：當前塊的並置塊的右下角，右上角和左下角，並置塊為在當前塊的參考圖片中。
在一個實施例中，對於AMC塊集中的一個，該方法還包括為AMC塊集中的一個識別仿射編碼的編碼塊，並獲得仿射編碼的編碼塊的第一控制點。隨後，該方法包括基於第一控制點的第一運動矢量確定當前塊的第二控制點的第二運動矢量預測值。第二運動矢量預測值是與AMC塊集中的一個對應的AMC集中的一個。
本發明一方面提供了一種視訊編碼裝置。該裝置包括處理電路，該處理電路被配置為確定使用用於當前圖片中的當前塊的仿射運動模型編碼的AMC塊的仿射合併候選(affine merge candidate,AMC)位置的集合。該組AMC塊包括以下中的至少一個：AMC側面塊集是位於當前圖片中當前塊的一個側面或多個側面的複數個空間相鄰塊和當前塊的參考圖片中的AMC時間塊，使用合併模式從參考圖片預測當前塊。處理電路還被配置為針對與AMC塊集對應的當前塊生成AMC集合，並且構造包括AMC集合的當前塊的合併候選列表。
本發明一方面提供了一種非暫時性計算機可讀介質，其存儲用於實作視訊編碼的指令。
100:視訊編碼器
101:輸入視訊資料
102、201:位元流
103:運動訊息
110:畫面內預測模塊
120、220:畫面間預測模塊
121、221:運動補償模塊
122:運動估計模塊
126、226:變量AMC模塊
131:第一加法器
132:殘差編碼器
133、233:殘差解碼器(逆轉換/逆量化)
134:第二加法器
141:熵編碼器
151、251:解碼圖片緩衝器
200:解碼器
202:輸出視訊資料
203:運動訊息
210:畫面內預測模塊
234:加法器
241:熵解碼器
301、401、501:CTB
302:四叉樹
311~314、1522、1532、1542:CB
322:根
331:葉節點
402:二叉樹
502:樹
610、810、1110、1130、1210、1220、1310、1312、1314、1410、1510、1520、1530、1540:當前塊
701、702:仿射變換
710、910、1010:塊
711、712、721~723:MV
715、725:變換塊
720:預測塊
1011:側面相鄰塊
1020:仿射編碼CB
1021:頂部相鄰塊
1022~1024、1122~1124:控制點
1112、1114、1132、1134、1212、1214、1216、1322、1324、1326、1328:AMC側面塊
1136:側面AMC
1600、1700:合併模式編碼過程
S1601、S1610~S1670、S1699、S1701、S1710~S1770、S1799:步驟
將參考以下附圖詳細描述作為示例提出的本公開的各種實施例，其中相同 的附圖標記表示相同的元件，並且其中：第1圖示出了依據本公開的實施例的示例視訊編碼器；第2圖示出了依據本公開的實施例的示例視訊解碼器；第3A圖-第3C圖示出了依據本公開實施例的用於劃分圖片的第一基於樹的劃分方案；第4A圖-第4C圖示出了依據本公開實施例的用於劃分圖片的第二基於樹的劃分方案；第5A圖-第5B圖示出了依據本公開實施例的用於劃分圖片的第三基於樹的劃分方案；第6圖示出了依據本公開實施例的合併模式處理的候選位置；第7A圖-第7B圖示出了依據本公開實施例的仿射運動模型的示例；第8圖示出了依據本公開實施例的當前塊和空間相鄰塊的示例；第9圖示出了確定以仿射合併模式編碼的塊的MV的示例；第10圖示出了依據本公開的實施例的AMC側面位置的示例；第11A圖-第11B圖和第12A圖-第12B圖示出了依據本公開實施例的可變AMC方法的示例；第13A圖-第13C圖示出了依據本公開實施例的可變AMC方法的示例；第14圖示出了依據本公開的實施例的可變AMC方法的示例；第15A圖-第15D圖示出了當前塊的AMC時間塊的示例；第16圖示出了依據本公開實施例的編碼過程；以及第17圖示出了依據本公開的實施例的解碼過程。
諸如編碼器，解碼器等的視訊譯碼器可使用包括合併模式的畫面 間預測來編碼當前圖片中的當前塊。此外，仿射運動模型可以用於預測運動訊息，例如當前塊中的樣本的運動矢量(MV)，因此諸如當前塊中的樣本的MV的運動訊息可以是不同的。在合併模式中，可以從包括仿射合併候選(AMC)的合併候選列表獲得當前塊的仿射運動模型。仿射合併候選指示當前塊的候選仿射運動模型，並且可以從當前塊的仿射編碼的空間相鄰塊導出。
依據本發明的方面，仿射編碼的空間相鄰塊可包括仿射編碼側面相鄰塊(affine-coded side neighboring blocks)，其位於當前塊的一側面或多側面上且不在當前塊的角落處或附近。在示例中，仿射編碼側面相鄰塊可以位於當前塊一側面的中間位置處或附近。可以從其導出仿射合併候選的仿射編碼側面相鄰塊被稱為仿射合併候選側面塊或AMC側面塊，並且當前塊的相應側面上的AMC側面塊的位置可以是被稱為AMC側面面位置。從AMC側面塊導出的仿射合併候選被稱為邊AMC。依據本公開的方面，可以基於當前塊的形狀和/或大小來確定當前塊的一側面上的多個AMC側面塊或多個側面AMC或多個AMC側面位置，並且數字可以是等於或大於零的任何合適的整數。此外，AMC側面位置可以由當前塊的形狀和/或大小確定。替代地或另外地，可以從當前塊的參考圖片中的時間塊導出仿射合併候選，並且因此上述時間塊可以被稱為從其導出時間AMC的AMC時間塊。術語“AMC塊”可以指代AMC側面塊或AMC時間塊，並且術語“AMC位置”可以指代AMC側面位置或AMC時間塊的位置。
第1圖示出了依據本公開實施例的示例視訊編碼器100。編碼器100可包括畫面內預測模塊110，畫面間預測模塊120，第一加法器131，殘差編碼器132，熵編碼器141，殘差解碼器133，第二加法器134和解碼圖片緩衝器151。畫面間預測模塊120還可以包括運動補償模塊121和運動估計模塊122。上述組件可以如第1圖所示耦合在一起。
在一個實施例中，編碼器100接收輸入視訊資料101並執行視訊壓 縮處理以生成位元流102作為輸出。輸入視訊資料101可包括一系列圖片。每個圖片可以包括一個或多個顏色分量，例如亮度分量或色度分量。位元流102可以具有符合視訊編碼標準的格式，例如高級視訊編碼(AVC)標準，高效視訊編碼(HEVC)標準，通用視訊編碼(VVC)標準和/或類似標準。
編碼器100可以將輸入視訊資料101中的圖片劃分為塊，例如，使用基於樹結構的分區方案。然後可以用不同的處理模式處理所得到的塊，例如畫面內預測模式，具有畫面間模式的畫面間預測，具有合併模式的畫面間預測等。在一個示例中，當利用合併模式處理當前塊時，可以為當前塊選擇圖片中的空間相鄰塊(或空間相鄰塊)。當前塊可以與所選擇的相鄰塊合併，並共享所選擇的相鄰塊的運動資料。可以在一組塊上執行合併模式操作，使得該組塊的區域可以合併在一起，並共享相同的運動資料。在傳輸期間，可以為合併區域發送指示所選擇的相鄰塊的索引，從而提高傳輸效率。
當前圖片中的當前塊可具有當前圖片中的多個空間相鄰塊。當在合併模式中對當前塊進行仿射編碼時，位於相應AMC側面位置的AMC側面塊是多個空間相鄰塊的子集。類似地，當前塊可以具有位於參考圖片處的多個時間塊，該參考圖片包括當前塊的並置塊，並且多個時間塊可以包圍，重疊或位於並置塊內。可以從多個時間塊中選擇AMC時間塊。
通常，將圖片劃分成塊可以適應圖片的本地內容。因此，塊可以在圖片的不同位置具有可變的大小和形狀。依據本公開的一個方面，編碼器100可以採用可變AMC方法來確定用於合併模式處理的AMC側面塊的AMC側面位置。具體地，可以依據當前塊的大小和/或形狀來確定AMC側面位置的數量和位置。如上所述，仿射合併候選也可以是從AMC時間塊導出的時間AMC。
在相關視訊編碼技術中，仿射合併候選的數量和位置可以針對塊的不同形狀和大小而固定。透過包括從AMC側面塊導出的側面AMC和從AMC 時間塊導出的時間AMC並且透過改變多個側面AMC，可變AMC方法可以為當前塊提供更合適的仿射合併候選並且因此提高編碼效率。
在第1圖中，畫面內預測模塊110可經配置以執行畫面內預測以在視訊壓縮過程期間確定對當前塊的預測。畫面內預測可以基於與當前塊相同的圖片內的當前塊的相鄰像素。
畫面間預測模塊120可經配置以執行畫面間預測以在視訊壓縮過程期間確定對當前塊的預測。例如，運動補償模塊121可以從運動估計模塊122接收當前塊的運動資料。在一個示例中，運動資料可以包括水平和垂直運動矢量位移值，一個或兩個參考圖像索引，並且可選地包括：識別與每個參考圖片索引相關聯的參考圖片列表。基於運動資料和存儲在解碼圖片緩衝器151中的一個或多個參考圖片，運動補償模塊121可以確定對當前塊的預測。
運動估計模塊122可以被配置為確定當前塊的運動資料。在一個實施例中，仿射運動模型可以用於預測當前塊中的樣本的MV，因此可以基於仿射運動模型導出相對於參考圖片的當前塊中的每個樣本的MV。仿射運動模型可以透過例如當前塊的各個位置處的多個MV來指定。各個位置可以稱為塊的控制點。在一個示例中，當前塊的3個控制點處的3個MV用於描述仿射運動模型，因此，仿射運動模型是六參數仿射運動模型。在另一示例中，當前塊的2個控制點處的2個MV用於描述仿射運動模型，因此，仿射運動模型是四參數仿射運動模型。
可以在運動估計模塊122中利用畫面間模式，合併模式等來處理當前塊。當利用畫面間模式處理塊時，運動估計模塊122可以執行運動估計處理搜索，以用於與一個或多個參考圖片中的當前塊類似的參考塊。這樣的參考塊可以用作當前塊的預測。在一個示例中，取決於使用單向或雙向預測方法，可以確定一個或多個MV和對應的參考圖片，以作為運動估計過程的結果。例如，在 使用雙向預測的情況下，所得到的參考圖片可以由參考圖片索引和相應的參考圖片列表標識指示。
運動估計模塊122可包括變量AMC模塊126。當使用合併模式處理當前塊，並且將仿射運動模型用於當前塊時，變量AMC模塊126可確定側面AMC的數量和位置以用於合併模式。變量AMC模塊126還可以確定從AMC時間塊和其他合適的合併候選導出的時間AMC。可以基於包括側面AMC，時間AMC和/或其他合適的合併候選的合併候選來構造第一合併候選列表。第一合併候選列表可包括多個條目。每個條目對應於合併候選者並且可以包括對應候選塊的運動資料，諸如AMC側面塊，AMC時間塊，AMC角塊，非仿射編碼空間相鄰塊等。此外，變量AMC模塊126可以從第一合併候選列表中選擇合併候選。例如，然後可以評估每個條目，並且可以確定具有最高速率-失真性能的運動資料由當前塊共享。然後，待共享運動資料可以用作當前塊的運動資料。另外，包括第一合併候選列表中的待共享運動資料或合併候選的條目的索引可以用於指示和發信號通知該選擇。這種索引稱為合併索引。在一個示例中，待共享運動資料或合併候選對應於可以包括三個MV的仿射合併候選，並且三個MV可以用於預測當前塊中的樣本的MV。
在運動估計模塊122處確定的當前塊的運動資料可以被提供給運動補償模塊121。另外，可以生成與運動資料相關的運動訊息103並將其提供給熵編碼器141，並且隨後在位元流102中用信號通知例如視訊解碼器。對於畫面間模式，可以將得到的運動資料提供給熵編碼器141。對於合併模式，可以生成合併標誌並將其與當前塊相關聯，指示當前塊正在以合併模式處理。合併標誌和對應的合併索引可以包括在運動訊息103中，並且在位元流102中用信號通知給例如視訊解碼器。當利用合併模式處理相同塊時，視訊解碼器可基於合併索引導出運動資料。
在一個示例中，跳過模式可以被畫面間預測模塊120用作上述合併模式的特殊情況。在跳過模式中，可以使用類似於如上所述的合併模式來預測當前塊，從而確定運動資料。然而，不會產生或傳輸殘留物。跳過標誌可以與當前塊相關聯。跳過標誌和指示當前塊的相關運動訊息的索引可以在位元流102中用信號通知，例如，用信號通知給視訊解碼器。在視訊解碼器側面，基於相關運動訊息確定的預測可以用作解碼塊而不添加殘餘信號。因此，可變AMC方法可以與跳過模式結合使用。例如，在對當前塊執行合併模式的操作之後，並且確定包括合併索引的相關運動訊息之後，可以將跳過模式標誌與當前塊相關聯以指示跳過模式。出於清楚的目的，本公開中的術語“合併模式”包括可以發送殘留資料的情況和殘差資料為零並且未被編碼的其他情況。
以上描述了多種處理模式，諸如畫面內預測模式，具有畫面間模式的畫面間預測，具有合併模式的畫面間預測。通常，可以用不同的處理模式處理不同的塊，並且可以例如基於在一個塊上應用不同處理模式的測試結果來做出模式決定。可以基於各個處理模式的速率-失真性能來評估測試結果。可以將具有最佳結果的處理模式確定為用於處理塊的選擇。在替代示例中，可以採用其他方法來確定處理模式。例如，可以考慮圖片的特徵和從圖片劃分的塊以確定處理模式。
第一加法器131從畫面內預測模塊110或運動補償模塊121接收當前塊的預測，並從輸入視訊資料101接收當前塊。然後，第一加法器131可以從當前塊的像素中減去預測值以獲得當前塊的殘差。將當前塊的殘差發送到殘差編碼器132。
殘差編碼器132接收塊的殘差，並壓縮殘差以產生壓縮殘差。舉例來說，殘餘編碼器132可首先將變換(例如，離散餘弦變換(DCT)，小波變換等)應用於對應於變換塊的所接收殘餘物且產生變換塊的變換係數。將圖片劃 分為變換塊可以與將圖片劃分為用於畫面間或畫面內預測處理的預測塊相同或不同。隨後，殘差編碼器132可以量化變換係數以壓縮殘差。壓縮的殘差或量化的變換係數被發送到殘差解碼器133和熵編碼器141。
殘差解碼器133接收壓縮的殘差並執行在殘差編碼器132處執行的量化和變換操作的逆處理以重構變換塊的殘差。由於量化操作，重建的殘差類似於從加法器131產生的原始殘差，但可能與原始殘差不同。
第二加法器134接收來自畫面內預測模塊110或運動補償模塊121的塊的預測，以及來自殘餘解碼器133的變換塊的重構殘差。第二加法器134隨後將重構的殘差與對應於同一圖片中相同區域的所接收的預測相組合，以生成重建的視訊資料。重構的視訊資料可以存儲在解碼的圖像緩衝器151中，形成可以用於畫面間預測操作的參考圖像。
熵編碼器141可以從殘差編碼器132接收壓縮的殘差，並且從畫面間預測模塊120接收運動訊息103。熵編碼器141還可以接收其他參數和/或控制訊息，例如畫面內預測模式訊息，量化參數等。熵編碼器141對接收的參數或訊息進行編碼以形成位元流102。包括壓縮格式的資料的位元流102可以經由通信網絡發送到例如解碼器，或者發送到存儲設備(例如，非暫時性計算機可讀介質)，其中可以存儲由位元流102承載的視訊資料。
第2圖示出了依據本公開實施例的示例視訊解碼器(或解碼器)200。解碼器200可包括熵解碼器241，畫面內預測模塊210，畫面間預測模塊220，其包括運動補償模塊221和變量AMC模塊226，殘差解碼器233，加法器234和解碼圖片緩衝器251。如第2圖所示，組件可以耦合在一起。在一個示例中，解碼器200從例如視訊編碼器(例如來自編碼器100的位元流102)接收位元流201，並執行解壓縮處理，以產生輸出視訊資料202。輸出視訊資料202可以包括可以例如在諸如監視器，觸摸屏等顯示設備上顯示的圖像序列。
與第1圖示例中的編碼器100類似，解碼器200可以採用可變仿射合併候選方法來處理用合併模式編碼並且使用仿射運動模型預測的當前塊。例如，解碼器200可以與編碼器100類似地或相同地配置，以在編碼當前塊時確定當前塊的側面AMC的數量和位置。具體地，變量AMC模塊226可以與變量AMC模塊126類似地起作用。例如，變量AMC模塊226可以確定當前塊的側面AMC的數量和位置，並且可以確定從AMC時間塊和其他合適的合併候選導出的時間AMC。可以由變量AMC模塊226構造與第一合併候選者列表相同的第二合併候選者列表。基於在位元流201中接收的合併索引，可以確定包括來自第二合併候選者列表的運動資料的合併候選者。
熵解碼器241接收位元流201並執行解碼處理，該解碼處理可以是由第1圖示例中的熵編碼器141執行的編碼處理的逆處理。如此一來，可以獲得運動訊息203，畫面內預測模式訊息，壓縮殘差，量化參數，控制訊息等。壓縮的殘差可以提供給殘差解碼器233。
畫面內預測模塊210可接收畫面內預測模式訊息且產生用畫面內預測模式編碼的塊的預測。畫面間預測模塊220可以從熵解碼器241接收運動訊息203，並且生成用畫面間預測模式，例如合併模式，編碼的塊的預測。合併模式可以包括跳過模式。例如，對於以畫面間模式編碼的塊，可以從運動訊息203獲得對應於該塊的運動資料，並將其提供給運動補償模塊221。對於利用合併模式編碼的塊，可以自運動訊息203獲得合併索引。基於這裡描述的變量AMC方法，可以在變量AMC模塊226處執行導出運動資料的過程。可以將運動資料提供給運動補償模塊221。基於所接收的運動資料和存儲在解碼圖像緩衝器251中的參考圖像，運動補償模塊221可以生成提供給加法器234的塊的預測。
在功能和結構方面，殘差解碼器233，加法器234可以類似於第1圖示例中的殘差解碼器133和第二加法器134。特別地，對於以跳過模式編碼的塊 ，不產生醫用塊的殘差。解碼圖片緩衝器251存儲在運動補償模塊221處執行的用於運動補償的參考圖片。例如，參考圖片可以由從加法器234接收的重建視訊資料而形成。此外，可以從解碼的參考圖片獲得參考圖片。圖像緩衝器251包括在輸出視訊資料202中，以用於在顯示設備上顯示。
在各種實施例中，變量AMC模塊126和226以及編碼器100和解碼器200的其他組件可以用任何合適的硬件，軟件或其組合來實現。例如，變量AMC模塊126和226可以用一個或多個集成電路(IC)實現，例如專用集成電路(ASIC)，現場可編程門陣列(FPGA)和/或類似物。在另一示例中，變量AMC模塊126和226可以實現為包括存儲在計算機可讀非易失性存儲介質中的指令的軟件或固件。當由一個或多個處理電路執行時，這些指令使得一個或多個處理電路執行變量AMC模塊126和/或226的功能。
實現本文公開的可變AMC方法的變量AMC模塊126和226可以包括在可以具有與第1圖或第2圖中所示的相類似或不同的結構的其他解碼器或編碼器中。此外，編碼器在各種示例中，100和解碼器200可以包括在同一設備中，或者包括在單獨的設備中。
第3A圖-第3C圖示出了依據本公開實施例的用於劃分圖片的第一基於樹的劃分方案。第一種基於樹的分區方案基於四叉樹結構，可用於HEVC標準。作為示例，如HEVC標準中所規定的，可以將圖片劃分為片段，並且可以將片段進一步劃分為編碼樹塊(coding tree blocks CTB)。CTB可以具有8x8,16x16,32x32或64x64大小的正方形形狀。可以使用四叉樹結構將CTB劃分為編碼塊(CB)。
第3A圖示出了被劃分為多個CB的CTB 301的示例。第3B圖示出了對應於劃分CTB 301的過程的四叉樹302。如圖所示，CTB 301是四叉樹302的根322，並且四叉樹302的葉節點(諸如葉節點331)對應於CB。可以依據包括CTB 301的圖片的本地內容自適應地確定來自分區處理的CB的大小。可以在攜帶編碼圖片的位元流中的語法元素中指定四叉樹302的深度和CB的最小尺寸。
在一些示例中，例如在HEVC標準中，可以進一步劃分CB一次以形成用於畫面內或畫面間預測處理的預測塊(PB)。第3C圖示出了諸如在HEVC標準中使用的8PB分區類型。如圖所示，CB可以分成1,2或4個PB。在第3C圖中，PB的寬度和高度顯示在相應的CB下方，其中M表示CB的邊長。在第3C圖的底行中，PB 321-324的寬度和高度分別在CB 311-314下方指示。
第4A圖-第4C圖示出了依據本公開實施例的用於劃分圖片的第二基於樹的劃分方案。第二種基於樹的分區方案基於二叉樹結構，並且可以用於對諸如HEVC標準中定義的CTB進行分區。第4A圖示出了可用於將塊分割成較小塊的6種分區類型。類似於第3C圖，在每個相應的塊下面示出了所得子塊的寬度和高度，其中M表示塊的邊長。例如，可以使用第4A圖中所示的分區類型遞歸地分割CTB，直到子塊的寬度或高度達到最小塊寬度或高度。
第4B圖示出了使用二叉樹結構將CTB 401劃分為CB的示例。第4C圖示出了對應於用於劃分CTB 401的過程的二叉樹402。在第4B圖和第4C圖的示例中，僅使用對稱的垂直和水平劃分類型(M/2xM和MxM/2)。在二叉樹402的每個非葉節點處，標記(0或1)標記以表示是使用水平分割還是垂直分割：0表示水平分割，1表示垂直分割。二叉樹402的每個引導節點表示CB。在一些示例中，CB可以用作PB而無需進一步分割。
第5A圖-第5B圖示出了依據本公開實施例的用於劃分CTB的第三基於樹的劃分方案。第三種基於樹的分區方案基於四叉樹加二叉樹(QTBT)結構，並且可用於對HEVC標準中定義的CTB進行分區。第5A圖示出了使用QTBT結構劃分的CTB 501的示例。在第5A圖中，實線表示基於四叉樹結構劃分的塊的邊界，而虛線表示基於二叉樹結構劃分的塊的邊界。圖5B示出了基於QTBT結構 的樹502。樹502對應於用於劃分CTB 501的過程。實線表示基於四叉樹結構的劃分，而虛線表示基於二叉樹結構的劃分。
如圖所示，在基於QTBT的分區過程期間，可以首先使用四叉樹結構遞歸地對CTB進行分區，直到塊的大小達到最小葉節點大小。此後，如果葉四叉樹塊不大於最大允許二進制樹根節點大小，則可以基於二叉樹結構進一步分割葉四叉樹塊。可以迭代二進制***，直到塊的寬度或高度達到最小允許寬度或高度，或者直到二叉樹深度達到最大允許深度。在一些示例中，基於QTBT的分區過程生成的CB(葉塊)可以用作PB而無需進一步分割。
第6圖示出了依據本公開的實施例的在合併模式中使用的候選位置。使用合併模式處理當前圖片中的當前塊610。當前塊610的合併候選者列表可包括合併候選者，例如空間候選者和時間候選者。空間候選包括來自空間候選塊的運動訊息，空間候選塊是當前塊610的空間相鄰塊，並且時間候選包括來自時間候選塊的運動訊息，時間塊是位於參考圖片的時間塊，該參考圖片包括當前塊610的並置塊。術語“候選塊”用於描述空間和/或時間候選塊，並且候選塊的位置被稱為候選位置。可以為合併模式確定一組候選位置{A0，A1，B0，B1，B2，T0，T1}。具體地，候選位置{A0，A1，B0，B1，B2}是表示當前圖片中的空間候選塊的位置作為當前塊610的空間候選位置。相反，候選位置{T0，T1}是表示參考圖片中的時間候選塊的位置的時間候選位置。候選位置T1可以在當前塊610的並置塊附近或中心。
在第6圖中，對應於候選位置的候選塊可包括多個樣本，例如4×4樣本。候選塊的大小可以等於或小於塊610的最小允許大小(例如，4×4個樣本)。候選位置可以由相應候選塊內的樣本表示。
在一個示例中，基於第6圖中的候選位置{A0，A1，B0，B1，B2，T0，T1}，可以執行合併模式處理以從候選位置{A0，A1，B0，B1，B2，T0 ，T1}中選擇候選塊。在合併模式過程中，可以構造合併候選列表。合併候選者列表可以具有預定義的合併候選者的最大數量C。合併候選者列表中的每個合併候選者可包括可用於運動預測的運動資料。在一個示例中，依據預定義的順序，從空間候選位置{A0，A1，B0，B1，B2}導出合併候選者的第一數量C1，並且從時間候選位置{T0，T1}導出合併候選者的第二數量C2=C-C1。
在一些場景中，候選位置處的合併候選者可能不可用。例如，候選位置處的候選塊可以是畫面內預測的，或者候選塊位於包括當前塊610的切片之外。在一些場景中，候選位置處的合併候選可能是冗餘的。可以從候選列表中移除冗餘合併候選者。當候選列表中的合併候選者的總數小於合併候選者的最大數量C時，可以生成額外的合併候選者(例如，依據預先配置的規則)以填充候選者列表，使得候選者列表可以是保持固定長度。
依據本發明的方面，合併候選者列表可包含合適的側面AMC和/或時間AMC。當前塊610的一側面上的多個側面AMC可以由當前塊610的形狀和/或大小確定。側面AMC的位置也可以透過當前塊610的形狀和/或大小來確定。
在構造候選列表之後，在諸如編碼器100的編碼器處，可以執行評估過程以從當前塊610的合併候選列表中選擇最佳合併候選。例如，速率-失真性能可以計算與每個合併候選對應的，並且可以選擇具有最佳速率失真性能的合併候選。因此，可以為當前塊610確定所選擇的合併候選者的合併索引，並在位元流中用信號通知。
在諸如解碼器200的解碼器處，在接收到當前塊610的合併索引之後，可以執行如上所述的類似候選列表構建過程。在構造候選列表之後，可以基於所接收的合併索引從候選列表中選擇合併候選。所選擇的合併候選者的運動資料可以用於當前塊610的後續運動預測。
第7A圖-第7B圖分別示出了基於依據本公開實施例的仿射運動模 型的仿射變換701和702的示例。在第7A圖中，使用四參數仿射運動模型來預測塊710，其中可以基於塊710內的兩個相應控制點CP1和CP2的兩個MV 711和712來預測塊710中的樣本的MV。在基於四參數仿射運動模型的仿射變換701之後，變換塊715的形狀可以與塊710的形狀相同。
在一個示例中，可以透過使用等式(1)和(2)的4參數仿射運動模型來描述塊710中的樣本(或MV場)的MV：x'=ax+by+e (1)
y'=-bx+ay+f (2)
其中vx=x-x'，vy=y-y'，並且向量(vx，vy)是塊710中的樣本位置(x，y)處的樣本的MV。等式(1)和(2)可以改寫為等式(3)：vx=(1-a)x-by-e vy=(1-a)y+bx-f (3)
從上面的Eqs可以看出。等式(1)~(3)，可以透過由四個參數a，b，e和f指定的四參數仿射運動模型來描述塊710中的樣本的MV。在一個示例中，可以基於塊710的兩個已知MV來確定四個參數，諸如塊710內的兩個控制點CP1和CP2的兩個MV 711和712。或者，MV塊710的樣本的MV可以由MV 711和MV712描述，如下所示：
Figure 108101938-A0305-02-0018-1
其中(v0x，v0y)是塊710的左上角處的控制點CP1的MV711，(v1x，v1y)是塊710的右上角處的控制點CP2的MV712。參數w是塊710的寬度。
在第7B圖中，使用六參數仿射運動模型來預測塊720，其中可以基於在塊720中的三個相應控制點CP1，CP2和CP3的三個MV 721,722和723來預測塊720中的樣本的MV。變換塊725的形狀可以與基於六參數仿射運動模型的仿射 變換702之後的塊720的形狀不同。
可以為6參數仿射運動模型導出類似的方程，以描述方框720中的樣本(或MV場)的MV。類似地，基於塊720的三個已知MV，例如塊720內的三個控制點CP1-CP3的三個MV 721-723，可以確定6參數仿射運動模型中的6個參數。或者，塊720中的樣本的MV可以由三個MV 721-723來描述。
可以將仿射運動模型和畫面間模式應用於塊，從而導出塊的仿射畫面間模式。如上所述，仿射運動模型和合併模式可以應用於塊，從而導出塊的仿射合併模式。第8圖示出了當前塊810和空間相鄰塊A0，A1，A2，B0，B1，C0和C1的示例。在第8圖的示例中，使用當前方框810中的兩個相應控制點(即，第一控制點CP1和第二控制點CP2)的兩個MV(即，第一MV和第二MV)來指定仿射運動模型。
在仿射畫面間模式的實施例中，仿射畫面間模式用於確定塊810中的樣本的MV。可以基於第一MV預測值(MVP)和第一控制點CP1的第一MV差值來確定第一MV，以及第二MV可以基於第二MVP和第二控制點CP2的第二MV差來確定。可以從空間相鄰塊A0，A1和A2的MV的第一MVP候選確定第一MVP。類似地，可以從一組第二MVP候選確定第二MVP，該第二MVP候選者可以是空間相鄰塊B0和B1的MV。第一MVP和第二MVP可以被稱為MVP對，並且MVP對可以從候選列表中確定，該候選列表包括例如分別由第一MVP候选和第二MVP候選形成的候選MVP對。可以在視訊位元流中用信號通知所選擇的候選MVP對的索引。此外，可以在位元流中對兩個相應控制點CP1和CP2的第一MV差和第二MV差進行編碼。在示例中，當塊810的大小等於或大於16×16時，可以用信號通知標誌(例如，affine_flag)以指示是否應用仿射畫面間模式。
在仿射合併模式的實施例中，仿射合併模式用於確定塊810中的樣本的MV。檢查塊810的五個空間相鄰塊C0，B0，B1，C1和A0以確定使用仿射 畫面間模式還是仿射合併模式對五個空間相鄰塊C0，B0，B1，C1和A0中的一個進行仿射編碼。當確定五個相鄰塊C0，B0，B1，C1和A0中的一個是仿射編碼時，可以用信號通知諸如affine_flag的標誌以指示塊810以仿射合併模式被編碼。在一個示例中，基於某些條件確定可用的仿射編碼相鄰塊，並且按照以下順序依次檢查五個相鄰塊：C0，B0，B1，C1和A0其中首先檢查相鄰塊C0的以及如果需要檢查相鄰塊A0，則最後檢查相鄰塊A0。可用的仿射編碼相鄰塊的仿射參數可用於導出塊810的第一MV和第二MV。在第8圖的示例中，使用四參數仿射運動模型，以上描述可適當地適用於六參數仿射運動模型。
第9圖示出了確定以仿射合併模式編碼的塊的MV的示例。在第9圖的示例中，對於塊910，空間相鄰塊B和E是仿射編碼的相鄰塊，並且空間相鄰塊A，C和D不是仿射編碼的。在仿射合併模式中，仿射編碼的相鄰塊(諸如相鄰塊B)可以用於導出塊910的仿射運動模型，如下面在示例中描述。
仿射運動模型是六參數仿射運動模型，其中三個相應控制點CP1-CP3的三個MV(即，第一MV，第二MV和第三MV)可用於確定樣本的MV。在塊910中，仿真編碼的相鄰塊B的三個MV，即第9圖中所示的MV0-MV2，可以用於導出當前塊910的仿射合併候選，如下所述。
可以如下導出包括例如三個控制點CP1-CP3的三個MV預測值的仿射合併候選。
V0x=VB0x+(VB2x-VB0x) * (posCurPU_Y-posRefPU_Y)/RefPU_height+(VB1x-VB0x) * (posCurPU_X-posRefPU_X)/W1 (5)
V0y=VB0y+(VB2y-VB0y) * (posCurPU_Y-posRefPU_Y)/RefPU_height+(VB1y-VB0y) * (posCurPU_X-posRefPU_X)/W1 (6)
V1x=VB0x+(VB1x-VB0x) * W2/W1 (7)
V1y=VB0y+(VB1y-VB0y) * W2/W1 (8)
V2x=VB0x+(VB2x-VB0x) * W2/W1 (9)
V2y=VB0y+(VB2y-VB0y) * W2/W1 (10)
其中(V0x，V0y)是第一MVP，(V1x，V1y)是第二MVP，(V2x，V2y)是當前塊910的仿射合併候選的第三MVP，(VB0x，VB0y)是MV0，(VB1x，VB1y)是MV1，並且(VB2x，VB2y)是MV2，(posCurPU_X，posCurPU_Y)表示塊910的左上樣本相對於圖片的左上樣本的位置，(posRefPU_X，posRefPU_Y)表示相鄰B的左上樣本相對於圖片的左上樣本的位置，W2是塊910的寬度，W1是相鄰塊B的寬度，RefPU_height是相鄰塊的高度B。
在一個實施例中，仿射合併候選俱有多個MV，而非仿射合併候選(稱為正常合併候選者)具有一個轉換MV。當候選塊被仿射編碼時，可以導出具有一個平移MV的正常合併候选和具有多個MV的仿射合併候選。當候選塊未經仿射編碼時，僅可導出具有一個平移MV的正常合併候選者。仿射合併候選可以包括2個MV，3個MV等。
在一些示例中，例如在HEVC標準中，所有合併候選者是正常合併候選者，因此可以使用正常合併候選者來構造合併候選者列表。參考第9圖，當使用五個相鄰塊A到E的MV並且優先級順序是A，B，C，D和E時，相鄰塊A具有最高優先級而相鄰塊E具有優先級最低，包括正常合併候選的合併候選列表可以導出為{CA，CB，CC，CD，CE}，其中CA，CB，CC，CD，CE分別表示相鄰塊A，B，C，D和E的正常合併候選者。依據本發明的一方面，合併候選者列表可包含仿射合併候選且可利用如下所述的方法來構造。
在第一構造方法中，一個或多個正常合併候選者可以由一個或多個對應的仿射合併候選替換。當候選塊被仿射編碼時，仿射合併候選替換相應的正常MV，即相同候選塊的平移MV。例如，更新的合併候選列表可以是：{CA，CB-affine，CC，CD，CE-affine}，其中CB-affine和CE-affine分別是仿射編碼的候選塊B和E 的仿射合併候選。
在第二構造方法中，可以在相應的正常合併候選之後***仿射合併候選。例如，第9圖示例的更新的合併候選列表可以是：{CA，CB，CB-affine，CC，CD，CE，CE-affine}。
在第三構造方法中，在合併候選列表的開頭處僅***一個仿射合併候選，諸如第一可用仿射合併候選。例如，合併候選列表可以是：{CB-affine，CA，CB，CC，CD，CE}。
在第四種構造方法中，將所有可用的仿射合併候選***合併候選者列表的前面。例如，更新的合併候選列表可以是：{CB-affine，CE-affine，CA，CB，CC，CD，CE}。
在第五構造方法中，在合併候選列表的前面***一個仿射合併候選，例如第一可用仿射合併候選。另外，當候選塊被仿射編碼並且在合併候選列表的開頭未***相應的仿射合併候選時，候選塊的平移MV被仿射合併候選替換。例如，更新的合併候選列表可以是：{CB-affine，CA，CB，CC，CD，CE-affine}。
在第六構造方法中，在合併候選列表的前面***一個仿射合併候選，例如第一可用仿射合併候選。另外，當候選塊被仿射編碼並且未在合併候選列表之前***相應的仿射合併候選時，則在正常合併候選之後***候選塊的仿射合併候選。例如，更新的合併候選列表可以是：{CB-affine，CA，CB，CC，CD，CE，CE-affine}。
在第七種構造方法中，當候選塊被仿射編碼並且相應的仿射合併候選不包括在合併候選者列表中時，不使用候選塊的相應的平移MV，而是使用仿射合併候選。另一方面，當仿射合併候選是冗餘時，使用正常合併候選。
在第八種構造方法中，當所有候選塊都不是仿射編碼時，可以將一個偽仿射合併候選(pseudo affine candidate)***到合併候選者列表中。可以 透過組合候選塊的兩個或三個MV來生成偽仿射候選。例如，偽仿射合併候選的第一MV可以是相鄰塊D的轉換MV(translation MV)，偽仿射合併候選的第二MV可以是相鄰塊A的轉換MV，以及偽仿射合併候選的第三MV可以是相鄰塊C的轉換MV。
在上述第三，第五和第六方法中，第一仿射合併候選被***合併候選者列表中的某個預定義位置。例如，預定位置可以是第一位置。或者，可以將第一仿射合併候選***合併候選列表中的第四位置。因此，更新的合併候選列表可以是第三種構造方法中的{CA，CB，CC，CB-affine，CD，CE}，第五種構造方法中的{CA，CB，CC，CB-affine，CD，CE-affine}，以及第六種構造方法中的{CA，CB，CC，CB-affine，CD，CE，CE-affine}。可以在序列級別，圖片級別，切片級別等處用信號通知預定義位置。
在上述合併候選構造之後，可以執行修剪過程。例如，對於分別在三個控制點處具有三個MV的仿射合併候選，當三個MV與合併候選列表中的另一個仿射合併候選的三個其他控制點處的三個其他MV相同時，仿射合併候選可以從合併候選列表中刪除。合併候選列表可以包括仿射合併候選和/或不是仿射合併候選的正常合併候選者。在示例中，合併候選者列表僅包括正常合併候選者並且在正常合併模式中使用。在示例中，合併候選者列表僅包括仿射合併候選並且以仿射合併模式使用。在示例中，合併候選列表包括正常合併候选和仿射合併候選，並且在統一合併模式中使用。
如上所述，仿射合併候選可以在仿射合併模式中使用。另外，仿射合併候選還可以在統一合併模式中使用，其中合併候選者列表包括仿射合併候選和至少一個正常合併候選者。在上面描述的示例中，仿射合併候選可以從位於塊的各個角落處的仿射編碼的空間相鄰塊中選擇，例如當前塊910的相鄰塊E和B。在一些示例中，可以自位於塊的角落附近的仿射編碼的空間相鄰塊，選 擇仿射合併候選。
從參考第1圖和第2圖描述的基於樹結構的分割方案的示例可以看出，如第3A圖-第3C圖，第4A圖-第4C圖，第5A圖-第5B圖所示，塊可以具有可變的大小和形狀，因此當仿射運動模型用於當前塊時，可變AMC接近側面AMC的數量和/或位置可以是依據當前塊的形狀和/或大小而變化的位置，這樣是有利的並且提高編碼效率。
第10圖示出了依據本公開的實施例的AMC側面位置的示例。示出了塊1010的兩個仿射編碼的側面相鄰塊1011和1021。頂部仿射編碼側面相鄰塊(或頂部相鄰塊)1021位於塊1010的頂部的中間位置附近，並且左仿射編碼側面相鄰塊1011位於塊1010的左側面的中間位置。當選擇對應於頂部相鄰塊1021的側面AMC時，識別包括頂部相鄰塊1021的仿射編碼CB1020，以及用於六參數仿射運動的各個控制點的MV，諸如控制點1022-1024。從仿射編碼CB 1020的仿射運動模型獲得模型。隨後，可以基於CB 1020的各個控制點的MV來確定塊1010的各個控制點處的MV。在示例中，四參數仿射運動模型可以用於當前塊1010，因此，可以基於控制點的兩個MV(諸如仿射編碼CB 1020的控制點1022-1023)來確定塊1010的兩個控制點處的兩個MV，如等式(1)-(4)所示。
如上所述，為了提高編碼效率，可以使用可變AMC方法，並且因此多個AMC側面塊或多個側面AMC或當前塊一側面的多個AMC側面位置，可以基於當前塊的形狀和/或大小來確定塊。此外，當前塊的一側面上的多個側面AM可以與當前塊的另一側面上的多個側面AMC不同。每側面的側面AMC的數量可以依據當前塊的大小或形狀而變化，並且可以是等於或大於零的整數。在一些示例中，當前塊的一側面上的側面AMC的數量可以隨著邊長而增加。在一些示例中，當前塊的多個側面AM可以隨著當前塊的大小而增加。依據本公開的方面，可以基於當前塊的形狀和/或大小來確定側面AMC或AMC側面位置的位置。
在一個實施例中，當前塊的大小可以由當前塊的邊長指示，例如寬度，高度等。當前塊的大小也可以由當前塊的區域指示。當前塊的形狀可以透過縱橫比來表示，例如寬度-高度比，即寬度與高度之比，高度-寬度比，即高度與高度之比等。
第11A圖-第11B圖和第12A圖-第12B圖示出了可變AMC方法的示例。在示例中，可以基於當前塊的大小來確定當前塊的多個側面AMC。例如，當當前塊的大小增加時，側面AMC的數量可以增加。其中，控制點為控制點1122~1124。
具體地，可以基於邊長確定當前塊一側面的多個側面AMC。例如，當前塊側面的側面面AMC的數量隨邊長而增加。一定數量的側面面AMC可用於特定邊長。例如，邊AMC的數量為：0表示邊長小於或等於4像素，1表示8像素和16像素之間的邊長，2表示17像素和32像素之間的邊長，和/或類似。基於側面AM的數量，可以相應地為當前塊確定側面AMC或相應AMC側面塊的位置。
基於以上描述，在編碼或解碼過程期間，當使用合併模式處理使用仿射運動模型預測的當前塊時，編碼器或解碼器可依據當前塊的大小確定側面AMC的數量和位置。
第11A圖示出了當前塊1110，其在位於兩個AMC側面位置的左側面具有兩個AMC側面塊1112和1114，因此可以從兩個AMC側面塊導出兩個側面AMC。當前塊1110的頂部沒有側面AMC，因為例如4個像素的寬度W1很小，因此頂部沒有AMC。相反，第11B圖示出了具有與當前塊1110相同的高度H的當前塊1130，和與當前塊1110相似的當前塊1130的左側面的AMC側面塊1132和1134的類似數量(2)。然而，具有寬度W2的當前塊1130的頂部比當前塊1110寬。例如，頂部具有16個像素的長度。因此，側面AMC 1136被確定為位於頂部。如上所述，當前塊1110和1130具有相同的高度H，因此在左側面的側面AMC具有 相同數量(2)，其位於兩個不同的AMC側面位置。當前塊1110是窄的，因此沒有用於頂部的側面AMC，而當前塊1130更寬並因此具有1個用於頂部的側面AMC。
第12A圖-第12B圖示出了具有相同寬度W但不同高度H1和H2的兩個當前塊1210和1220。例如，當前塊1210的高度H1是24個像素，並且當前塊1220的高度H2是4個像素。因此，針對相應頂部上的兩個當前塊1210和1220確定相同數量(2)的AMC側面塊，而針對相應左側面上的兩個當前塊1210和1220確定不同數量的AMC側面塊。具體地，當前塊1220的左側面沒有AMC側面塊，而當前塊1210的左側面具有1個AMC側面塊1212。因此，當前塊1210和1220具有相同的寬度W，以及具有頂部的相同數量(2)的側面AMC(即，AMC側面塊1214、1216、1211、1224)，其位於兩個不同的AMC側面位置。當前塊1220較短，因此左側面沒有側面AMC，而當前塊1210較高，因此左側面具有1側面AMC。
第13A圖-第13C圖示出了可變AMC方法的示例。在示例中，可以基於當前塊的形狀(諸如當前塊的寬度-高度比)來確定當前塊的多個側面AMC或AMC側面塊或AMC側面位置。此外，可以基於當前塊的形狀和/或大小來確定當前塊的側面AMC或AMC側面塊或AMC側面位置的數量。例如，可以基於寬度和寬度-高度比確定沿頂部的多個側面AMC。
在一個示例中，當寬度-高度比高於閾值時側面面上的多個側面AMC可以與當寬度-高度比低於閾值時側面面上的側面AMC的數量不同。在第13A圖中，當前塊1310在頂部具有兩個AMC側面塊1322和1324，並且在左側面沒有AMC側面塊。在第13B圖中，當前塊1312具有與當前塊1310相同的寬度，但是具有比當前塊1310的高度H1更大的高度H2。當前塊1312的寬度-高度比小於當前塊1310的寬度-高度比。因此，為當前塊1312的頂部確定一個AMC側面塊1328，其小於當前塊1310的頂部的兩個AMC側面塊。此外，一個AMC側面塊1326 在當前塊1312的左側面確定。
第13C圖示出了具有與當前塊1310的寬度-高度比相同的當前塊1314。然而，由於當前塊1314的較小區域，當前塊1314具有不同的數量的AMC邊塊或側面邊AMC。具體地，當前塊1314具有用於頂部的一個AMC側面塊1329，其小於當前塊1310的頂部的兩個AMC側面塊1322和1324。
依據本發明的方面，當前塊的AMC側面塊的AMC側面位置可在任何合適的位置處，例如當前塊的頂部或左側面上的合適位置。在示例中，AMC側面位置在當前塊的相應側面的中間位置處或附近。在各種實施例中，AMC側面位置不在當前塊的拐角處或附近。
基於以上描述，在編碼或解碼過程期間，編碼器或解碼器可形狀(諸如當前塊的縱橫比)以及大小(例如，當前塊的寬度，高度和麵積等)來確定側面AMC或AMC側面位置的數量和位置。
第14圖示出了可變AMC方法的示例。在示例中，一側面AMC從位於一側面的AMC側面塊(例如，當前塊的頂部，左側面等)導出，並且AMC側面塊位於一側面的中間位置或其附近。可以應用各種方法來確定AMC側面塊的AMC側面位置。
在一個實施例中，AMC側面位置如下確定。確定側面面的中間位置處的空間相鄰塊，其中中間位置滿足第一條件，例如預定義條件。然後檢查空間相鄰塊以確定空間相鄰塊是否在仿射編碼的CB內。當空間相鄰塊不在仿射編碼的CB內時，對於側面面的當前塊，沒有可用的AMC側面塊，因此沒有側面邊AMC。否則，確定仿射編碼CB的控制點的MV。隨後，基於仿射編碼CB的控制點的MV確定當前塊的邊AMC。因此，中間位置是AMC側面位置。
可以使用當前塊1410的頂部作為示例計算中間位置，如下所示。參考第14圖，空間相鄰塊1-8的塊寬度L2是4。當前塊1410的頂部的中間位置可以 被計算為：L1/(2L2)，其中L1是當前塊1410的頂部的長度，並且在第14圖的示例中，中間位置在相鄰塊4處。或者，中間位置可以等於：L1/(2L2)+k，其中k是小的正整數或負整數，例如±1，±2，±3等。當k等於1時，中間位置在相鄰塊5處，如第14圖所示。上述過程可以適當地適應並應用於另一側面，例如當前塊1410的左側面。
在一個實施例中，當AMC側面塊可用於頂部而另一個AMC側面塊可用於左側面時，多於一個側面AMC，包括頂部的側面AMC和左側面的側面AMC，可以***到合併候選列表中。
或者，可以圍繞初始位置搜索AMC側面位置。在示例中，初始位置可以是精確的中間位置或接近精確中間位置的位置。此外，可以依據搜索順序搜索初始位置周圍的位置，例如：初始位置，初始位置-1，初始位置+1，初始位置-2，初始位置+2等等。搜索順序的另一個例子可以是：初始位置，初始位置+1，初始位置-1，初始位置+2，初始位置-2等等。在一個示例中，上述的1,2等表示當前塊1410的空間相鄰塊的塊寬度或塊高度。可以使用任何合適的搜索順序，因此搜索順序不限於上述例子。
可變AMC方法可存在大小約束。例如，當當前塊的區域大於閾值時，可以將側面AMC***合併候選列表中。否則，側面AMC未***合併候選列表中。在另一示例中，當當前塊的區域小於閾值時，將側面AMC***到合併候選列表中。否則，側面AMC未***合併候選列表中。
依據本發明的方面，當前塊的仿射合併候選可來自當前塊的AMC時間塊。第15A圖-第15D圖示出了當前塊的AMC時間塊的示例。在第15A圖的示例中，圖片中的當前塊1510的AMC時間塊D在當前塊1510的參考圖片中的CB 1512內。此外，AMC時間塊D在中心位置處或附近並置。如上所述，可以基於CB 1512的仿射運動模型導出當前塊的時間AMC。在示例中，CB 1512的仿射運 動模型可以由控制點A，B和C處的MV來描述。
在第15B圖的示例中，圖片中的當前塊1520的AMC時間塊D'在當前塊1520的參考圖片中的CB 1522內。此外，AMC時間塊D'位於當前塊1520的並置塊右下角處。用於當前塊1520的時間AMC基於CB1522的仿射運動模型而得到。在一個示例中，CB 1522的仿射運動模型可以是在控制點A'，B'和C'的MV來描述。
在第15C圖的示例中，圖片中的當前塊1530的AMC時間塊D"在當前塊1530的參考圖片中的CB 1532內。此外，AMC時間塊D"位於當前塊1530的並置塊的右上角。類似地，在第15D圖的示例中，圖片中的當前塊1540的AMC時間塊D'''在當前塊1540的參考圖片中的CB 1542內。此外，AMC時間塊D'''位於當前塊1540的並置塊的左下角。
上述方法可以在編碼器和/或解碼器中實現，例如編碼器的畫面間預測模塊，和/或解碼器的畫面間預測模塊。
第16圖示出了依據本公開的實施例的合併模式編碼過程1600。合併模式編碼過程1600使用變量AMC方法進行合併模式處理。可以在第1圖示例中的編碼器100中的變量AMC模塊126處執行合併模式編碼處理1600。編碼器100用於合併模式編碼處理1600的描述。處理1600從步驟S1601開始並且進行到步驟S1610。
在步驟S1610，接收當前塊的大小和/或形狀訊息。例如，可以使用基於樹結構的分區方法來劃分圖片，並且可以將塊的大小和/或形狀訊息存儲在基於樹結構的資料結構中。可以將尺寸和/或形狀訊息發送到變量AMC模塊126。尺寸訊息可以包括當前塊的寬度，高度，面積等。形狀訊息可包括縱橫比，可選地包括當前塊的高度或寬度等。在一個示例中，當前塊可以對應於亮度分量或色度分量。
在步驟S1620，可以確定當前塊的AMC側面位置。例如，當在合併 模式中使用仿射運動模型確定當前塊被斷言時，變量AMC方法可以用於合併模式處理。因此，AMC側面塊的AMC側面位置的數量和位置可以依據當前塊的大小和/或形狀來確定，如上所述，例如，參考第11A圖-第11B圖，第12A圖-第12B圖，第13A圖-第13B圖和第14圖。
當確定當前塊的每一側面上的AMC側面位置的數量時，可以使用任何合適的方法來確定相應的AMC側面位置的位置。例如，可以使用等分佈置方法，其中在相鄰AMC側面位置或AMC側面塊之間的距離基本相等。更具體地，可以基於當前塊的邊長，當前塊的縱橫比和/或側面面的AMC側面位置的數量來確定當前塊的一側面上的AMC側面位置的位置。可選地，可以執行細化搜索過程以在原始AMC側面位置不可用時搜索另外的AMC側面位置。
在步驟S1630，在AMC側面塊的對應AMC側面位置處生成側面AMC。例如，對於位於AMC側面位置之一處的AMC側面塊，識別包括AMC側面塊的仿射編碼CB。仿射編碼CB的仿射運動模型，例如仿射編碼CB的控制點的MV，可以用於導出對應於AMC側面塊的側面AMC。
在步驟S1640，生成時間AMC。在示例中，確定AMC時間塊，並且可以類似於步驟S1630中描述的那樣生成與AMC時間塊對應的時間AMC。如上所述，可以從位於參考圖片的多個時間塊中選擇AMC時間塊，該參考圖片包括當前塊的並置塊，其中多個時間塊可以包圍，重疊或位於並置塊內。
在步驟S1650，可以基於在步驟S1630確定的邊AMC和在步驟S1640確定的時間AMC來構建包括合併候選的合併候選列表。合併候選者可以包括在步驟S1630確定的一個或多個邊AMC和/或在步驟S1640確定的時間AMC。如上所述，選擇可以考慮合併候選者是可用的還是冗餘的。如果合併候選列表的數量小於合併候選列表的預先配置的長度，則可以創建附加的運動資料。在各種示例中，用於構建合併候選列表的過程可以變化。如上所述，合併候選者 還可以包括正常合併候選者。
在步驟S1660，可以確定合併候選者。例如，可以例如使用基於速率-失真優化的方法來評估合併候選者列表中的合併候選。可以確定最佳合併候選者，或者可以識別具有高於閾值的性能的運動資料。因此，可以確定指示所確定的合併候選在合併候選列表中的位置的合併索引。在示例中，所選擇的合併候選者可以是在步驟S1630或步驟S1640中確定的側面AMC或時間AMC。
在步驟S1670，合併索引可以在位元流中自編碼器100而被發送，例如，發送到解碼器。過程1600進行到步驟S1699並終止。
例如，透過省略某些步驟(例如步驟S1640)，透過調整某些步驟的順序，透過組合某些步驟等，可以適當地調整過程1600。還可以調整過程1600中的每個步驟。
第17圖示出了依據本公開實施例的合併模式解碼過程1700。合併模式解碼過程1700使用變量AMC方法進行合併模式處理。可以在第2圖示例中的解碼器200中的變量AMC模塊226處執行合併模式解碼處理1700。解碼器200用於解釋合併模式解碼處理1700。處理1700可以從步驟S1701開始並且進行到步驟S1710。
在步驟S1710，可以接收當前塊的合併索引。可以使用視訊編碼器處的可變AMC方法對當前塊進行編碼。例如，當前塊與合併標誌相關聯，該合併標誌指示當前塊使用具有側面AMC的仿射合併模式進行編碼。合併標誌和合併索引可以與當前塊相關聯並且在位元流201中攜帶。
在步驟S1720，可以例如明確地從位元流201獲得當前塊的大小和/或形狀訊息。
在步驟S1730，可以確定當前塊的AMC側面位置。
在步驟S1740，在AMC側面塊的對應AMC側面位置處生成側面 AMC。
在步驟S1750，生成時間AMC。
在步驟S1760，可以基於在S1740確定的邊AMC和在S1750確定的時間AMC來構建包括合併候選的合併候選列表。在一個實施例中，合併候選者列表與在步驟S1650生成的合併候選者列表相同。
步驟S1730，步驟S1740，步驟S1750和步驟S1760可以與步驟S1620，步驟S1630，步驟S1640和步驟S1650類似或相同，因此，為了清楚起見，省略了詳細描述。
在步驟S1770，可以基於合併候選列表和接收的合併索引來確定當前塊的合併候選。合併候選包括可用於在運動補償模塊221處生成當前塊的預測的運動資料。過程1700進行到步驟S1799並終止。
類似地，過程1700可以適當地適應，例如，透過省略某些步驟，例如步驟S1750，透過調整某些步驟的順序，透過組合某些步驟等。還可以調整過程1700中的每個步驟。
本文描述的過程和功能可以實現為計算機程序，當由一個或多個處理器執行時，該計算機程序可以使一個或多個處理器執行相應的過程和功能。計算機程序可以存儲或分佈在合適的介質上，例如與其他硬件一起提供或作為其他硬件的一部分提供的光學存儲介質或固態介質。計算機程序還可以以其他形式分發，例如透過因特網或其他有線或無線電信系統。例如，可以獲得計算機程序並將其加載到裝置中，包括透過物理介質或分佈式系統獲得計算機程序，包括例如從連接到因特網的服務器。
計算機程序可以從計算機可讀介質訪問，該計算機可讀介質提供由計算機或任何指令執行系統使用或與其結合使用的程序指令。計算機可讀介質可以包括存儲，傳送，傳播或傳輸計算機程序以供指令執行系統，裝置或設 備使用或與之結合使用的任何裝置。計算機可讀介質可以是磁，光，電子，電磁，紅外或半導體系統(或裝置或設備)或傳播介質。計算機可讀介質可包括計算機可讀非暫時性存儲介質，諸如半導體或固態存儲器，磁帶，可移動計算機磁盤，隨機存取存儲器(RAM)，只讀存儲器(ROM)，磁盤和光盤等。計算機可讀非暫時性存儲介質可包括所有類型的計算機可讀介質，包括磁存儲介質，光存儲介質，閃存介質和固態存儲介質。
雖然已經結合作為示例提出的本發明的特定實施例描述了本公開的各方面，但是可以對示例進行替換，修改和變化。因此，這裡闡述的實施例旨在是說明性的而非限制性的。在不脫離專利申請的範圍的情況下，可以進行改變。
1600‧‧‧合併模式編碼過程
S1601、S1610~S1670、S1699‧‧‧步驟

Claims (18)

  1. 一種視訊編碼方法，包括：確定使用用於當前圖片中的當前塊的仿射運動模型編碼的仿射合併候選塊集的仿射合併候選位置集，該仿射合併候選塊集包括仿射合併候選側面塊集中的至少一個，該仿射合併候選側面塊集是位於該當前圖片中該當前塊的一個側面或多個側面的複數個空間相鄰塊和該當前塊的參考圖片中的一個仿射合併候選時間塊，使用合併模式從參考圖片預測該當前塊，其中基於以下之一確定該仿射合併候選側面塊集：該當前塊的大小訊息和形狀訊息；為與該仿射合併候選塊集對應的該當前塊生成仿射合併候選集合；以及構造包括該仿射合併候選集合的當前塊的合併候選列表。
  2. 如請求項1所述之視訊編碼方法，其中，還包括：基於以下之一確定該仿射合併候選側面塊集的數量：該當前塊的該大小訊息和該形狀訊息，該大小訊息包括以下至少一個：該當前塊的高度，該當前塊的寬度，和該當前塊的區域，以及包括該當前塊的縱橫比的形狀訊息。
  3. 如請求項2所述之視訊編碼方法，其中，該仿射合併候選側面塊集包括位於該當前塊的頂部的仿射合併候選頂部塊集，並且確定該仿射合併候選側面塊集的數量包括：基於該當前塊的寬度和/或該當前塊的縱橫比確定該仿射合併候選頂部塊集的數量。
  4. 如請求項2所述之視訊編碼方法，其中，該仿射合併候選側面塊集包括位於該當前塊的左側面的仿射合併候選左塊集，並且確定該仿射合併候選側面塊集的數量包括：基於該當前塊的該高度和/或該當前塊的該縱橫比確定該仿射合併候選左塊 集的數量。
  5. 如請求項1所述之視訊編碼方法，其中，該仿射合併候選位置集中的一個是該仿射合併候選側面塊集中的一個，並且確定該仿射合併候選位置集包括：基於以下之一確定該仿射合併候選位置集中的一個：該當前塊的該大小訊息和該形狀訊息。
  6. 如請求項5所述之視訊編碼方法，其中，該仿射合併候選側面塊集包括位於該當前塊的頂部的仿射合併候選頂部塊集，並且該仿射合併候選頂部塊集中的一個位於該仿射合併候選位置集中的一個的位置處，以及確定該仿射合併候選位置集中的一個包括：基於以下至少一個確定該仿射合併候選位置集中的一個：該當前塊的寬度，該當前塊的縱橫比，以及該仿射合併候選頂部塊集的數量。
  7. 如請求項5所述之視訊編碼方法，其中，該仿射合併候選側面塊集包括位於該當前塊的左側面的仿射合併候選左塊集，並且該仿射合併候選左塊集中的一個位於該仿射合併候選位置集中的一個的位置處，以及確定該仿射合併候選位置集中的一個包括：基於以下中的至少一個確定該仿射合併候選位置集中的一個：該當前塊的高度，該當前塊的縱橫比，以及該仿射合併候選左塊集的數量。
  8. 如請求項1所述之視訊編碼方法，其中，該仿射合併候選時間塊在該當前塊的並置塊內，該並置塊在該當前塊的該參考圖片中。
  9. 如請求項1所述之視訊編碼方法，其中，該仿射合併候選時間塊位於以下之一：該當前塊的並置塊的右下角，右上角和左下角，該並置塊為在當前塊的參考圖片中。
  10. 如請求項1所述之視訊編碼方法，其中，為該仿射合併候選塊集 對應的該當前塊生成該仿射合併候選集合還包括：對於仿射合併候選塊集中的一個，為該仿射合併候選塊集中的一個識別仿射編碼的編碼塊；獲得仿射編碼的編碼塊的第一控制點；以及基於該第一控制點的第一運動矢量確定該當前塊的第二控制點的第二運動矢量預測值，該第二運動矢量預測值是與該仿射合併候選塊集中的一個對應的該仿射合併候選集中的一個。
  11. 一種視訊編碼裝置，包括：處理電路，被配置為：確定使用用於當前圖片中的當前塊的仿射運動模型編碼的仿射合併候選塊集的仿射合併候選位置的集，該仿射合併候選塊集包括仿射合併候選側面塊集中的至少一個：該仿射合併候選側面塊集是位於該當前圖片中該當前塊的一個側面或多個側面的複數個空間相鄰塊和該當前塊的參考圖片中的仿射合併候選時間塊，使用合併模式從參考圖片預測當前塊，其中基於以下之一確定該仿射合併候選側面塊集：該當前塊的大小訊息和形狀訊息；為與該仿射合併候選塊集對應的當前塊生成仿射合併候選集；以及構造包括該仿射合併候選集合的當前塊的合併候選列表。
  12. 如請求項11所述之視訊編碼裝置，其中，該處理電路被配置為：基於以下之一確定該仿射合併候選側面塊的數量：該當前塊的該大小訊息和該形狀訊息，該大小訊息包括以下至少一個：該當前塊的高度，該當前塊的寬度，和該當前塊的區域，以及包括該當前塊的縱橫比的形狀訊息。
  13. 如請求項11所述之視訊編碼裝置，其中，該仿射合併候選側面塊集包括位於該當前塊的頂部的仿射合併候選頂部塊集，並且該處理電路被配置為：基於該當前塊的寬度和/或該當前塊的縱橫比確定該仿射合併候選頂部塊 集。
  14. 如請求項13所述之視訊編碼裝置，其中，該仿射合併候選側面塊集包括位於該當前塊的左側面的仿射合併候選左塊集，並且該處理電路被配置為：基於該當前塊的高度和/或該當前塊的縱橫比確定該仿射合併候選左塊集的數量。
  15. 如請求項11所述之視訊編碼裝置，其中，該仿射合併候選位置集中的一個是該仿射合併候選側面塊集中的一個，並且該處理電路被配置為：基於以下之一確定該仿射合併候選位置集中的一個：該當前塊的該大小訊息和該形狀訊息。
  16. 如請求項15所述之視訊編碼裝置，其中，該仿射合併候選側面塊集包括位於該當前塊的頂部的仿射合併候選頂部塊集，並且該仿射合併候選頂部塊集中的一個位於該仿射合併候選位置集中的一個的位置處以及該處理電路配置為：基於以下至少一個確定該仿射合併候選位置集中的一個：該當前塊的寬度，當前塊的縱橫比，以及該仿射合併候選頂部塊集的數量。
  17. 如請求項15所述之視訊編碼裝置，其中，該仿射合併候選側面塊集包括位於該當前塊的左側面的仿射合併候選左塊集，並且該仿射合併候選左塊集中的一個位於該仿射合併候選位置集中的一個的位置處以及該處理電路配置為：基於以下中的至少一個確定該仿射合併候選位置集合中的一個：該當前塊的高度，該當前塊的縱橫比，以及該仿射合併候選左塊集的數量。
  18. 一種存儲指令的非暫時性計算機可讀介質，該指令在由處理電路執行時使該處理電路執行用於以合併模式或跳過模式進行視訊編碼的方法， 該方法包括：確定使用用於當前圖片中的當前塊的仿射運動模型編碼的仿射合併候選塊集的仿射合併候選位置集，該仿射合併候選塊集包括仿射合併候選側面塊集中的至少一個，該仿射合併候選側面塊集是位於該當前圖片中該當前塊的一個側面或多個側面的複數個空間相鄰塊和該當前塊的參考圖片中的一個仿射合併候選時間塊，使用合併模式從參考圖片預測該當前塊，其中基於以下之一確定該仿射合併候選側面塊集：該當前塊的大小訊息和形狀訊息；為與該仿射合併候選塊集對應的該當前塊生成仿射合併候選集合；以及構造包括該仿射合併候選集合的當前塊的合併候選列表。
TW108101938A 2018-01-18 2019-01-18 用於視訊編碼的可變仿射合併候選 TWI702825B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862618659P 2018-01-18 2018-01-18
US62/618,659 2018-01-18
US16/245,967 2019-01-11
US16/245,967 US20190222834A1 (en) 2018-01-18 2019-01-11 Variable affine merge candidates for video coding

Publications (2)

Publication Number Publication Date
TW201941602A TW201941602A (zh) 2019-10-16
TWI702825B true TWI702825B (zh) 2020-08-21

Family

ID=67214477

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108101938A TWI702825B (zh) 2018-01-18 2019-01-18 用於視訊編碼的可變仿射合併候選

Country Status (2)

Country Link
US (1) US20190222834A1 (zh)
TW (1) TWI702825B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112055205B (zh) * 2017-12-12 2021-08-03 华为技术有限公司 视频数据的帧间预测方法和装置、视频编解码器、存储介质
KR20190108506A (ko) * 2018-03-14 2019-09-24 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
CN116668726A (zh) * 2018-04-03 2023-08-29 英迪股份有限公司 对图像编码和解码的方法、非暂态计算机可读存储介质
CN117241039A (zh) * 2018-08-28 2023-12-15 华为技术有限公司 帧间预测方法、装置以及视频编码器和视频解码器
WO2020056095A1 (en) * 2018-09-13 2020-03-19 Interdigital Vc Holdings, Inc. Improved virtual temporal affine candidates
GB2577318B (en) * 2018-09-21 2021-03-10 Canon Kk Video coding and decoding
GB2595053B (en) 2018-10-18 2022-07-06 Canon Kk Video coding and decoding
US11146813B2 (en) * 2019-05-23 2021-10-12 Tencent America LLC Method and apparatus for video coding
US11528504B2 (en) * 2019-07-11 2022-12-13 Qualcomm Incorporated Motion vector prediction with motion information collecting buffer
WO2023104083A1 (en) * 2021-12-07 2023-06-15 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus, and medium for video processing
WO2023131034A1 (en) * 2022-01-05 2023-07-13 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus, and medium for video processing

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201739252A (zh) * 2016-03-15 2017-11-01 聯發科技股份有限公司 具有仿射運動補償的視訊編碼的方法以及裝置
TW201803351A (zh) * 2016-03-01 2018-01-16 聯發科技股份有限公司 利用仿射運動補償的視訊編碼方法與裝置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3681342B2 (ja) * 2000-05-24 2005-08-10 三星電子株式会社 映像コーディング方法
CA2636858C (en) * 2006-01-27 2015-11-24 Imax Corporation Methods and systems for digitally re-mastering of 2d and 3d motion pictures for exhibition with enhanced visual quality
US7924317B2 (en) * 2008-03-12 2011-04-12 Aptina Imaging Corporation Method and apparatus for reducing motion blur in digital images
US20140092439A1 (en) * 2012-09-28 2014-04-03 Scott A. Krig Encoding images using a 3d mesh of polygons and corresponding textures
WO2016008157A1 (en) * 2014-07-18 2016-01-21 Mediatek Singapore Pte. Ltd. Methods for motion compensation using high order motion model
CN108965871B (zh) * 2015-09-29 2023-11-10 华为技术有限公司 图像预测的方法及装置
GB2561507B (en) * 2016-01-07 2021-12-22 Mediatek Inc Method and apparatus for affine merge mode prediction for video coding system
WO2017130696A1 (ja) * 2016-01-29 2017-08-03 シャープ株式会社 予測画像生成装置、動画像復号装置、および動画像符号化装置
US10638152B2 (en) * 2016-03-15 2020-04-28 Mediatek Inc. Method and apparatus of video coding with affine motion compensation
KR20240025714A (ko) * 2016-03-24 2024-02-27 엘지전자 주식회사 비디오 코딩 시스템에서 인터 예측 방법 및 장치
US11095898B2 (en) * 2016-03-28 2021-08-17 Lg Electronics Inc. Inter-prediction mode based image processing method, and apparatus therefor
CN109792535B (zh) * 2016-05-13 2023-03-28 夏普株式会社 预测图像生成装置、运动图像解码装置以及运动图像编码装置
US10560712B2 (en) * 2016-05-16 2020-02-11 Qualcomm Incorporated Affine motion prediction for video coding
CN109804630A (zh) * 2016-10-10 2019-05-24 夏普株式会社 对视频数据编码执行运动补偿的***以及方法
US10681370B2 (en) * 2016-12-29 2020-06-09 Qualcomm Incorporated Motion vector generation for affine motion model for video coding
EP3468195A1 (en) * 2017-10-05 2019-04-10 Thomson Licensing Improved predictor candidates for motion compensation

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201803351A (zh) * 2016-03-01 2018-01-16 聯發科技股份有限公司 利用仿射運動補償的視訊編碼方法與裝置
TW201739252A (zh) * 2016-03-15 2017-11-01 聯發科技股份有限公司 具有仿射運動補償的視訊編碼的方法以及裝置

Also Published As

Publication number Publication date
TW201941602A (zh) 2019-10-16
US20190222834A1 (en) 2019-07-18

Similar Documents

Publication Publication Date Title
TWI702825B (zh) 用於視訊編碼的可變仿射合併候選
US11363288B2 (en) Motion vector generation for affine motion model for video coding
US10666937B2 (en) Low-complexity sign prediction for video coding
US11082687B2 (en) Motion vector prediction for affine motion models in video coding
TWI717586B (zh) 於視訊解碼器中導出運動向量資訊
US10555006B2 (en) Deriving bilateral filter information based on a prediction mode in video coding
US10382781B2 (en) Interpolation filters for intra prediction in video coding
US11057636B2 (en) Affine motion prediction
US11044473B2 (en) Adaptive loop filtering classification in video coding
US20180184127A1 (en) Determining neighboring samples for bilateral filtering in video coding
JP6293788B2 (ja) 高効率ビデオコーディングに基づくビデオ情報のスケーラブルコーディングのためのデバイスおよび方法
US10484703B2 (en) Adapting merge candidate positions and numbers according to size and/or shape of prediction block
BR112020006588A2 (pt) predição afim em codificação de vídeo
TW201924350A (zh) 視訊寫碼中之仿射運動向量預測
TW201340724A (zh) 視訊寫碼中之像差向量預測
TW202021354A (zh) 運動向量預測器清單產生
US20190028711A1 (en) Video coding device, video coding method, video decoding device, and video decoding method
Sanchez Exploration of algorithms and implementations for efficient 3D-HEVC depth map encoding
CN117256148A (zh) Mmvd候选修正方法