TW202034693A - 視訊編碼中結合畫面間和畫面內預測之方法和裝置 - Google Patents

視訊編碼中結合畫面間和畫面內預測之方法和裝置 Download PDF

Info

Publication number
TW202034693A
TW202034693A TW109102601A TW109102601A TW202034693A TW 202034693 A TW202034693 A TW 202034693A TW 109102601 A TW109102601 A TW 109102601A TW 109102601 A TW109102601 A TW 109102601A TW 202034693 A TW202034693 A TW 202034693A
Authority
TW
Taiwan
Prior art keywords
picture
prediction
current block
intra
candidates
Prior art date
Application number
TW109102601A
Other languages
English (en)
Other versions
TWI737142B (zh
Inventor
江嫚書
徐志瑋
莊子德
陳慶曄
Original Assignee
聯發科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聯發科技股份有限公司 filed Critical 聯發科技股份有限公司
Publication of TW202034693A publication Critical patent/TW202034693A/zh
Application granted granted Critical
Publication of TWI737142B publication Critical patent/TWI737142B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

公開了一種用於視訊編解碼的預測方法和裝置。 根據一種方法，使用從包括三角形分區的分區集合中選擇的目標分區將塊分區為第一和第二區域。 通過包括來自HMVP緩衝器的至少一個HMVP（基於歷史的運動向量預測）候選，來為已分區的當前塊確定合併候選列表，其中，HMVP緩衝器存儲先前編解碼的塊的運動資訊。 使用合併候選列表對分區的當前塊或與分區的當前塊相關聯的當前運動資訊進行編碼或解碼，其中合併候選列表用於導出第一區域的第一候選和第二區域的第二候選 。 在另一種方法中，在編碼器側發信或是在解碼器側解析是否對當前塊應用三角形CIIP（畫面間/畫面內組合預測）。

Description

視訊編碼中結合畫面間和畫面內預測之方法和裝置
本發明涉及使用三角預測模式（Triangle Prediction Mode,簡寫為TPM）和畫面間/畫面內（亦稱為幀間/幀內）聯合預測（Combined Inter/Intra Prediction，簡寫為CIIP）進行視訊編解碼的預測。 特別地，本發明公開了使用基於歷史的運動向量預測（History-based Motion Vector Prediction，簡寫為HMVP）的TPM的候選列表推導。 另外，公開了一種用於三角形CIIP的信令的方法。
高效視訊編解碼（HEVC）是由視訊編解碼聯合合作團隊（JCT-VC）開發的新的國際視訊編解碼標準。 HEVC基於混合的，基於塊的運動補償的，類似於DCT的（hybrid block-based motion-compensated DCT-like）變換編解碼架構。壓縮的基本單位稱為編解碼單位（CU），是2Nx2N的正方形塊，每個CU可以遞歸地分為四個較小的CU，直到達到預定義的最小大小。每個CU包含一個或多個預測單元（PU）。
為了在HEVC中實現混合編解碼架構的最佳編解碼效率，每個PU有兩種預測模式（畫面內預測和畫面間預測）。對於畫面內預測模式，空間相鄰的重構像素可用於生成方向預測。 HEVC中最多有35個方向。對於畫面間預測模式，時間重構參考畫面可用於生成運動補償的預測。共有三種不同的模式，包括跳過、合併和畫面間高級運動向量預測（AMVP）模式。
當在畫面間AMVP模式下對PU進行編解碼時，利用傳輸的運動向量差（MVD）執行對運動補償的預測，該運動向量差可與運動向量預測子（MVP）一起用於推導運動向量（MV）。為了在畫面間AMVP模式下確定MVP，高級運動向量預測（AMVP）方案用於在包括兩個空間MVP和一個時間MVP的AMVP候選集中選擇運動向量預測子。因此，在AMVP模式下，需要對MVP的MVP索引和相應的MVD進行編碼和傳輸。另外，在列表0（即L0）和列表1（即L1）的雙向預測和單向預測中，指定畫面間預測方向的畫面間預測方向還應附帶每個列表的參考畫面索引被編碼和傳輸。
當以跳過或合併模式對PU進行編解碼時，跳過和合併模式利用運動推斷方法，除了所選擇的候選的合併索引，不發送運動資訊。由於在跳過和合併模式下運動向量差（MVD）為零，因此跳過或合併編解碼塊的MV與運動向量預測子（MVP）相同（即MV = MVP + MVD = MVP） 。因此，跳過或合併編解碼塊從位於同一位置的圖片(co-located picture)中的空間相鄰塊（空間候選）或時間塊（時間候選）獲得運動資訊。位於同一位置的圖片是列表0或列表1中的第一個參考圖片，在切片標頭中發信。在跳過PU的情況下，殘差信號也被省略。為了確定跳過和合併模式的合併索引，使用合併方案在包含四個空間MVP和一個時間MVP的合併候選集中選擇運動向量預測子。
第1圖示出了用於為AMVP和合併方案兩者導出空間和時間MVP的相鄰PU。在AMVP中，左側的MVP是A0 、A1 中的第一個可用的，頂部的MVP是B0 、B1 、B2 中的第一個可用的，而時間MVP是TBR 或TCTR 中的第一個可用的（首先使用TBR ，如果TBR 不可用，則使用TCTR ）。如果左MVP不可用，並且頂部MVP不是按比例縮放的MVP，則在B0 ，B1 和B2 之間存在按比例縮放的MVP時，可以導出第二個頂部MVP。AMVP的MVP的列表大小為2。因此，在兩個空間MVP和一個時間MVP的推導過程之後，只有前兩個MVP可以包含在MVP列表中。如果在刪除冗餘後可用MVP的數量少於兩個，則將零向量候選添加到候選列表。
對於跳過和合併模式，如第1圖所示，從A0 、A1 、B0 和B1 導出最多四個空間合併索引，並且從TBR 或TCTR 導出一個時間合併索引（首先使用TBR ，如果TBR 不可用，則使用TCTR ）。注意，如果四個空間合併索引中的任何一個都不可用，則位置B2 然後用於導出合併索引作為替換。在四個空間合併索引和一個時間合併索引的推導過程之後，應用去除冗餘來去除冗餘合併索引。如果在刪除冗餘後可用的合併索引數小於五個，則將導出三種類型的附加候選並將其添加到候選列表中。
通過使用原始合併候選來創建其他雙向預測合併候選。其他候選分為三種候選類型： 1.合併的雙向預測合併候選（候選類型1） 2.按比例縮放的雙向預測合併候選（候選類型2） 3.零向量合併/ AMVP候選（候選類型3）
在候選類型1中，通過組合原始合併候選來創建組合的雙向預測合併候選。尤其是原始候選中的兩個候選，具有mvL0（列表0中的運動向量）和refIdxL0（列表0中的參考圖片索引）或mvL1（列表1中的運動向量）和refIdxL1（列表1中的參考圖片索引），用於創建雙向預測合併候選。第2圖示出了用於組合的雙向預測合併候選的導出過程的示例。候選集合210對應於原始候選列表，其包括L0中的mvL0_A，ref0（231）和L1中的mvL1_B，ref（232）。可以通過組合L0和L1中的候選來形成雙向預測MVP 233。
在候選類型2中，通過縮放原始合併候選來創建縮放的雙向預測合併候選。特別地，原始候選中的一個候選（具有mvLX（列表X中的運動向量）和refIdxLX（列表X中的參考圖片索引），X可以為0或1）用於創建雙向預測合併候選。例如，一個候選A是具有mvL0_A和ref0的列表0單向預測，首先將ref0複製到列表1中的參考索引ref0’。此後，通過使用ref0和ref0’縮放mvL0_A來計算mvL0’_A。然後，創建在列表0中具有mvL0_A和ref0以及在列表1中具有mvL0’_A和ref0’的雙向預測合併候選，並將其添加到合併候選列表中。縮放的雙向預測合併候選的推導過程的示例在第3圖中示出，其中候選列表310對應於原始候選列表，並且候選列表320對應於包括兩個生成的雙向預測MVP的擴展候選列表。
在候選類型3中，通過組合零向量和參考索引來創建零向量合併/ AMVP候選。第4A圖示出了用於添加零向量合併候選的示例，其中候選列表410對應於原始合併候選列表，而候選列表420通過添加零候選而對應於擴展的合併候選列表。第4B圖示出了用於添加零向量AMVP候選的示例，其中候選列表430（L0）和432（L1）對應於原始AMVP候選列表，並且通過添加零候選候選列表440（L0）和442（L1）對應於擴展的AMVP候選。如果零向量候選不重複，則將其添加到合併/ AMVP候選列表。
當以畫面內模式對PU進行編解碼時，畫面內預測方法僅利用與當前預測單元（PU）相鄰的一個參考層（或線）和畫面內預測模式之一來生成當前PU的預測子。與當前預測單元（PU）相鄰的參考層是指用於畫面內預測的參考L形重構樣本。對於畫面內預測模式，空間相鄰的重構像素可用於生成方向預測。 HEVC中最多有35個方向。在HEVC中的全部35種畫面內預測模式中，有3種模式被認為是用於在當前預測塊中預測畫面內預測模式的最可能模式（MPM）。選擇了三種模式作為MPM集合。例如，MPM集合包括在左預測塊和上方預測塊中使用的畫面內預測模式。如果兩個相鄰塊中的畫面內預測模式是相同的並且都是定向的，或者兩個相鄰塊中只有一個可用並且在畫面內預測中進行了編解碼，並且同時此畫面內預測模式是定向的，則緊鄰該方向的兩個相鄰方向也用於MPM中。在MPM集合中還考慮了DC模式和平面模式以填充MPM中的可用點，尤其是在上方或頂部相鄰塊不可用或未在畫面內預測中編解碼，或者相鄰塊中的畫面內預測模式並非定向的時。如果用於當前預測塊的畫面內預測模式是MPM集合中的模式之一，則使用1或2個位元子（bin）來表示是哪個。否則，它與MPM集合中的任何條目都不相同，它將被編解碼為非MPM模式。總共有32個這樣的非MPM模式，並且使用（5位元）固定長度編解碼方法來發信該模式。 33個方向如第5圖所示。在第5圖中，總共有33種定向模式（directional mode），因此使用H、H + 1〜H + 8、H-1〜H-7、V、V + 1〜V + 8、V-1〜V-8。該系統可以擴展到一般情況，其中水平和垂直模式表示為H和V模式。對於其他定向模式，它們可以表示為H + k或V + k模式，其中k =±1，±2等。例如，如果使用65個定向模式，則k的範圍可以從±1到± 16。
畫面內子分區 （ intra sub-partition ，簡寫為 ISP ）
在JVET-M0102中，畫面內子分區（ISP）編解碼模式是基於行的（Line-Based）畫面內（Line-Based Intra，簡寫為LIP）編解碼的更新版本，可糾正算法先前設計中與硬體有關的問題。 ISP工具根據塊大小尺寸將亮度畫面內預測的塊垂直或水平劃分為2或4個子分區，如表1所示。第6A圖和第6B圖顯示了這兩種可能性的示例。在第6A圖中，HxW塊610被劃分為兩個H /2xW塊620（即，水平分區）或兩個HxW/2塊630（即，垂直分區）。例如，該塊可以是4×8塊或8×4塊。在第6B圖中，除了4x8、8x4和4x4塊之外，HxW塊610被劃分為四個H/4xW塊640（即，水平分區）或四個HxW/4塊650（即，垂直分區）。所有子分區均滿足具有至少16個樣本的條件。表 1 ：取決於塊大小的子分區數
塊大小 子分區數
Figure 02_image001
 未劃分
Figure 02_image003
 及
Figure 02_image005
 2
其他情況 4
對於這些子分區中的每個，通過對由編碼器發送的係數進行熵解碼，然後對其進行逆量化和逆變換，來生成殘差信號。然後，對子分區進行畫面內預測，最後通過將殘差信號與預測信號相加來獲得相應的重構樣本。因此，每個子分區的重構值將可用於生成下一個分區的預測，該下一分區將重複該過程，依此類推。所有子分區共享相同的畫面內模式。
基於畫面內模式和所利用的分割，使用兩種不同類別的處理順序，其被稱為正常順序和反向順序。按照正常順序，要處理的第一個子分區是包含CU左上角樣本，然後繼續向下（水平拆分）或向右（垂直拆分）的子分區。結果，用於生成子分區預測信號的參考樣本僅位於線的左側和上方。另一方面，反向處理順序要么從包含CU左下角樣本的子分區開始，然後繼續向上，要么從包含CU右上角樣本的子分區開始，然後向左繼續。
三角預測單元模式技術
在JVET-L0124（R.-L. Liao等人，“CE10.3.1.b: Triangular prediction unit mode”，ITU-T SG 16 WP 3和ISO / IEC JTC 1 / SC 29 / WG 11，第十二次會議：中國澳門，2018年10月，文件：JVET-L0124）和JVET-L0208（T. Poirier等人，“CE10 related: multiple prediction unit shapes”，ITU-T SG 16 WP 3和ISO / IEC JTC 1 / SC 29 / WG 11，第12次會議：中國澳門，2018年10月，文件：JVET-L0208）中，引入了三角形預測單位模式（triangular prediction unit mode）的概念用於運動補償預測。如第7圖所示，它將CU分為對角線710或對角線反方向720的兩個三角形預測單元。使用其自己的單向預測運動向量和參考畫面索引對CU中的每個三角形預測單元進行畫面間預測以根據單向預測候選生成預測。在預測三角形預測單元之後，對相鄰邊緣（例如對角邊緣）執行自適應加權處理以獲得當前CU的最終預測。然後，將變換和量化處理應用於整個CU。注意，該模式僅適用於跳過和/或合併模式。在本公開中，三角形預測單元模式也被稱為三角形分區模式或三角形合併模式。三角形合併模式可以擴展為使用分區直線將整個CU分為兩個分區（也稱為兩個區域），由角度和/或距離 (例如分區直線和CU中心之間的距離) 表示。
自適應加權 處理
在預測每個三角形預測單元之後，將自適應加權過程應用於兩個三角形預測單元之間的對角邊緣，以得出整個CU的最終預測。列出了兩個加權因子組： •第一加權因子組：{7 / 8、6 / 8、4 / 8、2 / 8、1 / 8}和{7 / 8、4 / 8、1 / 8}分別用於亮度和色度樣本; •第二加權因子組： {7 / 8、6 / 8、5 / 8、4 / 8、3 / 8、2 / 8、1 / 8}和{6 / 8、4 / 8、2 / 8}分別用於亮度和色度樣本。
基於兩個三角形預測單元的運動向量的比較來選擇一個加權因子組。當兩個三角形預測單元的參考圖片彼此不同或者它們的運動向量差大於16個像素時，使用第二加權因子組。否則，將使用第一個加權因子組。第8圖中示出了一個示例，其中示出了針對亮度塊的權重810，並且示出了針對色度塊的權重820。可以在JVET-L0124和JVET-L0208中找到對該算法的更詳細說明。
在VTM3中（J. Chen等人，“Algorithm description for Versatile Video coding and Test Model 3 (VTM 3)”，ITU-T SG 16 WP 3和ISO / IEC JTC 1 / SC 29 /WG 11，第12次會議：中國澳門，2018年10月，文件：JVET-L1002）中，當以合併模式對CU進行編解碼時，並且如果CU包含至少64個亮度樣本（即CU寬度乘以CU高度等於或大於64），則發信附加標誌，以指示是否將組合畫面間/畫面內預測（combined Inter/Intra prediction，簡寫為CIIP）模式應用於當前CU。為了形成CIIP預測，首先從兩個附加語法元素中得出畫面內預測模式。最多可以使用四種畫面內預測模式：DC、平面、水平或垂直。然後，使用常規畫面內和畫面間解碼過程導出畫面間預測和畫面內預測信號。最後，對畫面間和畫面內預測信號進行加權平均以獲得CIIP預測。可以在JVET-L0100中找到該算法的更詳細說明（M.-S. Chiang等人， “CE10.1.1: Multi-hypothesis prediction for improving AMVP mode, skip or merge mode, and Intra mode”， ITU-T SG 16 WP 3和ISO / IEC JTC 1 / SC 29 / WG 11，第12次會議：中國澳門，2018年10月，文件：JVET-L0100）。
基於歷史的 MVP （ History-based MVP ， 簡寫為 (HMVP)
在JVET-L0266（L.Zhang等人，“CE4: History-based Motion Vector Prediction (Test 4.4.7）”，ITU-T SG 16 WP 3以及ISO / IEC JTC 1 / SC 29 / WG 11，第12次會議：中國澳門，2018年10月，文檔：JVET-L0266）中公開了基於歷史的MVP（HMVP）方法，其中，HMVP候選被定義為先前編解碼塊的運動資訊。在編碼/解碼過程中維護具有多個HMVP候選的表。遇到新切片時將清空該表。每當存在畫面間編碼的非仿射塊時，相關聯的運動資訊就會作為新的HMVP候選添加到表的最後一個條目中。在第9圖中描繪了整個編解碼流程，其中在步驟910中將HMVP候選加載到表中，並且在步驟920中將HMVP候選用於對塊進行解碼。步驟920將生成解碼運動（decoded motion）922，其用於更新表，即用作步驟910的輸入912以更新表。
第10圖示出了根據HMVP方法更新表的示例。表1010中的HMVP對應於更新之前的HMVP。表1020中的HMVP對應於冗餘校驗之後的HMVP，其中HMVP2 1022對應於冗餘HMVP。表1030中的HMVP對應於更新後的HMVP，其中CL-1 1032對應於要添加的HMVP。
在JVET-L0266中，表大小S設置為6，這表示最多可以將6個HMVP候選添加到表中。當將新的運動候選***到表中時，利用約束的FIFO規則，其中首先應用冗餘檢查以發現表中是否存在相同的HMVP。如果找到，則從表中刪除相同的HMVP（即冗餘HMVP），然後將其後的所有HMVP候選對象向前移動，即索引減少1。
HMVP候選可以在合併候選列表構建過程中使用。按順序檢查表中最新的幾個HMVP候選，並將其***到TMVP候選之後的候選列表中。對與空間或時間合併候選相對應的HMVP候選進行修剪以排除子塊運動候選（即，ATMVP）。
為了減少修剪操作的數量，引入了三個簡化：
方法1：
如L所示，要檢查的HMPV候選的數量設置如下： L = (N >=4 ) ? M: (8 - N),，                                     （1）
其中N表示表中可用的非子塊合併候選的數量，M表示表中可用的HMVP候選的數量。
方法2：
另外，一旦可用合併候選的總數達到發信的最大允許合併候選減去1，就終止來自HMVP列表的合併候選列表構建過程。
方法3：
此外，用於組合的雙向預測合併候選推導的對的數量從12減少到6。
類似地，HMVP候選也可以在AMVP候選列表構建過程中使用。將表中最後K個HMVP候選對象的運動向量***到TMVP候選對象之後。僅將具有與AMVP目標參考圖片相同的參考圖片的HMVP候選用於構造AMVP候選列表。對HMVP候選應用修剪。在JVET-L0266中，K設置為4，而AMVP列表大小保持不變，即等於2。
可以在JVET-L0266和JVET-L0208中找到該算法的更詳細的說明。
在本發明中，公開了諸如ISP、CIIP和TPM之類的畫面間/畫面內解碼工具的組合和變化，以提高性能和/或降低複雜度。
公開了一種用於視訊編解碼的預測的方法和裝置。根據該方法，在視訊編碼器側接收與當前圖片中的當前塊有關的輸入資料，或者在視訊解碼器側接收與包括當前圖片中的當前塊的壓縮資料相對應的視訊位元流。使用從包括三角形分區的分區集合中選擇的目標分區將當前塊分區為第一區域和第二區域。通過包括來自HMVP緩衝器的至少一個HMVP（基於歷史的運動向量預測）候選來確定分區的當前塊的合併候選列表，其中，HMVP緩衝器存儲一個或多個先前解碼的塊的運動資訊。使用視訊編碼器側的“合併候選”列表對已分區的當前塊或與已分區的當前塊相關聯的當前運動資訊進行編碼，或者使用視訊解碼器側的合併候選列解碼已分區的當前塊或與已分區的當前塊相關聯的當前運動資訊，其中合併候選列表用於導出第一區域的第一候選和第二區域的第二候選。
在一個實施例中，遵循用於將所述一個或多個HMVP候選***到常規合併候選列表中的規則，將來自HMVP緩衝器的一個或多個HMVP候選***到合併候選列表中。例如，可以根據HMVP緩衝器中所述一個或多個存儲的候選的順序，將HMVP緩衝器中一個或多個存儲的候選***到合併候選列表中。此外，可以將HMVP緩衝器的第一位置中的目標存儲的候選***合併候選列表的第一候選位置。在另一示例中，可以根據HMVP緩衝器中所述一個或多個存儲的候選的相反順序，將HMVP緩衝器中的一個或多個存儲的候選***到合併候選列表。例如，可以將HMVP緩衝器的最後位置中的目標存儲候選***到合併候選列表的第一候選位置。
根據另一實施例，合併候選列表包括一個或多個常規合併候選，並且其中每個常規合併候選屬於包括單向預測和雙向預測的預測組。
在又一個實施例中，HMVP緩衝器中的最後N個候選被用於導出用於合併候選列表的一個或多個HMVP候選，並且其中N是正整數。在一個實施例中，隱式確定N。在另一個實施例中，在CU（編碼單元）、CTU（編碼樹單元）、條帶、圖塊、圖塊組、SPS（序列參數集）或PPS（圖片參數集）級別發信N。
根據另一種方法，當將三角形CIIP應用於當前塊時，使用三角形分區將當前塊劃分為第一區域和第二區域；確定用於第一區域的畫面間預測子；確定第二區域的畫面內預測子；第一區域使用畫面間預測子進行編碼或解碼，第二區域使用畫面內預測子進行編碼或解碼。
在一個實施例中，指示是應用TPM（三角預測模式）還是CIIP的索引在編碼器側發信或在解碼器側被解析。 索引以CU（編碼單元）、CTU（編碼樹單元）、條帶、圖塊、圖塊組、SPS（序列參數集）或PPS（圖片參數集）級別在視訊編碼器側發信或在視訊解碼器側進行解析。
在一個實施例中，在第一區域和第二區域的相鄰區域上執行混合處理。
在另一個實施例中，將與用於第一區域的畫面間預測子和用於第二區域的畫面內預測子相對應的三角形CIIP預測子添加到用於TPM（三角預測模式）的候選列表。 三角形CIIP預測子用於替換候選列表中的一個或多個偶數候選或奇數候選。
以下描述是實施本發明的最佳構想模式。進行該描述是為了說明本發明的一般原理，而不應被認為是限制性的。本發明的範圍最好通過參考所附的申請專利範圍來確定。
CIIP模式旨在通過將畫面內預測的一種附加假設與現有的合併預測相結合來改善畫面間預測，並且可以被視為正常畫面內模式、正常畫面間模式或新的組合模式。在本發明中，可以從類似於HEVC的畫面內模式或類似於HEVC的畫面內模式以及一個或多個新開發的編解碼工具來生成畫面內預測。新工具可以是67種畫面內預測模式、ISP模式或上述任意組合。當針對CIIP模式的畫面內預測來自ISP時，流程如下所述，作為步驟1到4進行描述。
步驟1：對一個CU進行畫面間預測，並將畫面間預測存儲在緩衝器中。
步驟2：根據ISP模式的規則，將CU吐入子分區，並相應地拆分整個CU的畫面間預測。
步驟3：然後，在每個子分區的基礎上，生成每個子分區的畫面內預測；當生成第一子分區的畫面內預測時，參考來自相鄰的重構樣本；將當前子分區的畫面內預測與相應的畫面間預測加權相加，可以對組合的預測進行用於畫面內或畫面間的變換，得到殘差並進行重構；當為隨後的子分區生成畫面內預測時，參考樣本可以來自先前的子分區和/或鄰居。
步驟4：重複步驟3，最後，可以重構整個CU。在一個實施例中，加權可以遵循原始CIIP表。
在另一個實施例中，加權表可以與原始CIIP模式的加權表不同。在另一個實施例中，權重可以是相等的權重。在另一個實施例中，用於具有ISP的CIIP的變換過程可以跟隨用於畫面內或畫面間的變換。在另一個實施例中，具有ISP的CIIP可以被視為正常的畫面內、畫面間或新的組合模式。可以使用應用部分設置（applied-portion setting）、應用權重設置（applied-weighting setting）、信令設置或以上各項的任意組合來設計CIIP模式的某些變化。在一個實施例中，可以根據塊的寬度、塊的高度或塊的區域隱式地確定那些設置。在另一實施例中，那些設置可以根據在CU、CTU、切片、圖塊、圖塊組、SPS或PPS級別的信令來顯示地確定。
應用部分設置意味著可以將CIIP的畫面內預測應用於該塊內的預定義區域R1 ，並將CIIP的畫面間預測可以應用於該塊內的另一個預定義區域R2 。第11圖示出了R1 和R2 分區（1110-1140）的示例，以將畫面內預測和畫面間預測應用於整個塊。
當R1 或R2 為三角形時，這種CIIP變動在本發明中稱為三角形CIIP。在一個實施例中，可以使用一種或多種三角形CIIP。在另一實施例中，可以發信標誌（表示是否應用TPM）或標誌之後的一個附加索引（表示是否應用CIIP），以指示是否或應用了哪個三角形CIIP。在另一個實施例中，三角形CIIP可以被視為擴展的TPM。可以將三角形CIIP候選添加到TPM的候選列表中。在另一個實施例中，三角形CIIP候選可以代替TPM的一些現有候選。例如，具有偶數或奇數索引的TPM候選可以替換為三角形CIIP的候選。
在另一個實施例中，當應用部分設置用於為CIIP生成不同的變形時，CIIP的畫面內預測模式的數量減少了。當畫面內預測模式的數量減少到1時，不需要發信選擇用於CIIP的畫面內預測模式。例如，用於CIIP的畫面內預測模式列表可以是{平面，DC，水平，垂直}的子集。又例如，用於CIIP的畫面內預測模式列表可以僅是{平面，DC，水平，垂直}中的一個。在另一個實施例中，可以對畫面內預測和畫面間預測的相鄰區域執行混合處理，正如TPM所做。例如，使用第一加權因子組和第二加權因子組。對於另一個示例，僅使用第一加權因子組或第二加權因子組。對於另一示例，根據預定規則使用第一加權因子組和第二加權因子組中的一個。可以根據塊寬度或塊高度或塊面積來隱式地確定預定義規則，或者可以通過以CU，CTU，切片，圖塊，圖塊組，SPS或PPS級別發信的標誌來顯式確定預定義規則。
在另一個實施例中，對於畫面內預測和畫面間預測的相鄰區域，混合權重可以基於子塊。在每個子塊中，樣本的權重是相同的。每個子塊的寬度或高度可以是2、4、8、16、32，或以上的任意組合。在另一個實施例中，混合權重根據畫面內預測模式或塊寬度或高度而變化。例如，當畫面內預測模式不是角度模式時，應用相等的權重。又例如，當塊的寬度、高度或面積大於或小於預定義的閾值時，例如2、4、6、8、16、32、64、128、256、512或1024，應用相等的權重。
應用權重設置是指可以用CU、CTU、切片、圖塊、圖塊組、SPS或PPS級別的標誌顯式地發信表示畫面內預測和畫面間預測的權重，分別表示為wIntra和wInter。 如果對畫面內預測和畫面間預測的加權求和通過右移3位元來計算組合預測， （wIntra，wInter）的多個候選可以固定為（4、4），（2、6），（6、2），也可以隨所選的畫面內預測模式或樣本位置而變化。在一個實施例中，當顯式地發信用於組合畫面內預測和畫面間預測的加權時，用於CIIP的畫面內預測模式的數量減少。當畫面內預測模式的數量減少到1時，不需要發信選擇CIIP的畫面內預測模式。例如，用於CIIP的畫面內預測模式列表可以是{平面，DC，水平，垂直}的子集。對於另一示例，用於CIIP的畫面內預測模式列表可以僅是{平面，DC，水平，垂直}中的一個。如下所示，對於位於R1 的樣本，可以將（wIntra，wInter）設置為（8，0），對於位於R2 的樣本，可以將（wIntra，wInter）設置為（0，8 ）。這些類型的CIIP稱為三角形CIIP。
在一個實施例中，可以使用一種或一種以上的CIIP權重。較小索引的權重可以通過較少的編解碼位元子發信。例如，權重索引0表示（wIntra，wInter）=（4，4）;權重索引1表示（wIntra，wInter）=（2，6）;權重索引0表示（wIntra，wInter）=（6，2）;其餘的權重索引表示不同種類的三角形CIIP。在另一個實施例中，權重索引0指示（wIntra，wInter）＝（4，4），並且與其他權重相比用最少的編解碼位元子發信。在另一實施例中，可以像TPM一樣對畫面內預測和畫面間預測的相鄰區域執行混合處理。例如，使用第一權重因子組和第二權重因子組。對於另一個示例，僅使用第一權重因子組或第二權重因子組。對於另一示例，根據預定規則使用第一權重因子組和第二權重因子組中的一個。可以根據塊寬度或塊高度或塊面積來隱式地確定預定義規則，或者可以通過以CU、CTU、切片、圖塊、圖塊組、SPS或PPS級別發信的標誌來顯式確定預定義規則。在另一個實施例中，對於畫面內預測和畫面間預測的相鄰區域，混合權重可以基於子塊。在每個子塊中，每個樣本的權重是相同的。每個子塊的寬度或高度可以是2、4、8、16、32，或以上的任意組合。在另一個實施例中，混合權重隨畫面內預測模式、塊寬度或高度而變化。例如，當畫面內預測模式不是角度模式時，應用相等的權重。又例如，當塊的寬度、高度或面積大於或小於預定義的閾值，例如2、4、6、8、16、32、64、128、256、512或1024時，應用相等的權重。
信令設置意味著針對具有不同設置的CIIP設計了不同的信令方法。在一實施例中，發信一個CIIP索引以指示CIIP的多個變化。 CIIP索引0指示原始設計，以對具有加權平均值的整個塊應用畫面內預測和畫面間預測。其餘CIIP索引指示CIIP的擴展版本。可以使用所有CIIP索引中最短的碼字來發信CIIP索引0。在另一個實施例中，可以用它們自己的索引分別發信不同的設置。例如，如果使用應用部分設置和/或應用權重設置，則發信一個索引以指示所選分區形狀，和/或發信另一索引以指示所選權重。
以上的任何組合可以被應用於諸如ISP、CIIP或TPM之類的任何工具。
在本發明中，還公開了改善或簡化CIIP或三角預測單位模式（TPM）的不同方法。
CIIP模式是通過將畫面內預測的一種附加假設與現有的合併預測相結合來改善畫面間預測的，並且可以被視為正常畫面內模式、正常畫面間模式或新的組合模式。在本發明中，可以從類似於HEVC的畫面內模式或類似於HEVC的畫面內模式加上一個或多個新開發的工具來生成畫面內預測。新開發的工具可以是67種畫面內預測模式、ISP模式或以上任意組合。當CIIP模式的畫面內預測來自ISP時，將在以下步驟中描述該流程：
步驟1：對一個CU進行畫面間預測，並將畫面間預測存儲在緩衝器中。
步驟2：同時，將CU吐入子分區，並根據ISP模式的規則生成每個子分區的畫面內預測。每個子分區的畫面內預測可以逐子分區生成，如下所示： 步驟2.1：第一個子分區的畫面內預測可以引用來自相鄰的重構樣本。 步驟2.2：然後應用畫面內變換處理來針對第一個子分區生成殘差（表示為Resiintra ）以及重構（表示為Recointra ）。 步驟2.3：可以通過引用先前子分區的RecoIntra和/或來自相鄰的重建獲取，獲得後續子分區的畫面內預測。重複步驟2.3，可以如原始ISP模式一樣獲得來自畫面內處理的整個CU重建。
最後，可以通過將畫面間預測和畫面內重構加權相加來重構CU。在一個實施例中，權重可以遵循原始CIIP權重表。在另一個實施例中，權重表可以與原始CIIP模式的權重表不同。在另一個實施例中，權重可以是相等的權重。在另一個實施例中，具有ISP的CIIP可以被視為普通的畫面內或畫面間或新的組合模式。
TPM引入了用於運動補償預測的新的三角形分區。 TPM的每個候選指示用於PU1 的一個單向預測運動候選，以及用於PU2 的另一個單向預測運動候選。在一個實施例中，可以從用於常規合併模式的合併候選生成TPM的候選，其中每個合併候選可以是單向預測或雙向預測。在另一個實施例中，可以從HMVP緩衝器中的運動候選生成TPM的候選，其中每個運動候選可以是單向預測或雙向預測。例如，HMVP緩衝器中的最後N個候選可用於生成TPM候選，其中N是一個正整數，例如1、2、3、4、5、6、7或8。N可以是固定的或根據塊的寬度、高度、面積隱式導出的，或是以CU、CTU、切片、圖塊、圖塊組、SPS或PPS級別顯式發信的。
在另一個示例中，用於TPM的HMVP候選遵循常規合併模式的HMVP候選的規則。在一個示例中，HMVP緩衝器中最後***的候選是TPM候選的第一個候選。例如，使用HMVP中的相反順序。在另一示例中，HMVP緩衝器中的第一***的候選是TPM候選的第一個候選。例如，使用在HMVP中相同的順序。在另一示例中，HMVP中的候選的一部分可以用作或用於導出TMP候選。例如，HMVP候選的偶數索引被用作或用於導出TMP候選。又例如，所有HMVP候選都可用於生成TPM候選。對於另一示例，HMVP緩衝器中的非子塊合併候選可用於生成TPM候選。可以應用以上示例的任何組合。
在一個實施例中，全部或部分HMVP候選用於導出TPM候選。單向預測候選將保留並保持不變。將雙向預測候選修改為單向預測候選。例如，保留List_0運動資訊，並將List_1運動資訊設置為不可用。將雙向預測候選修改為List_0單向預測候選。在另一個示例中，保留了List_1運動資訊，並且將List_0運動資訊設置為不可用。將雙向預測候選修改為List_1單向預測候選。在另一個示例中，為這兩個分區選擇HMVP候選列表中的兩個候選。如果所選擇的候選是雙向預測候選，則將其修改為單向預測候選。在一個示例中，對於所選擇的第一候選，如果L0 MV可用，則使用L0 MV。否則，將使用L1 MV。對於選擇的第二候選，如果L1 MV可用，則使用L1 MV。否則，將使用L0 MV。在另一個示例中，對於所選擇的第一候選，如果L1 MV可用，則使用L1 MV。否則，將使用L0 MV。對於所選的第二候選，如果L0 MV可用，則使用L0 MV。否則，將使用L1 MV。
在一個實施例中，如果這兩個候選相同，則在一個候選（例如第二候選）上添加MV偏移（例如（四分之一，0）。在另一個實施例中，為這兩個分區選擇HMVP候選列表中的兩個候選。如果所選候選是雙向預測候選，則將其修改為單向預測候選。在一個示例中，對於所選第一候選，如果L0 MV可用，則使用L0 MV。否則，從L1 MV導出L0 MV。對於所選的第二候選，如果L1 MV可用，則使用L1 MV。否則，從L0 MV導出L1 MV。在另一個示例中，對於所選第一候選，如果L1 MV可用，則使用L1 MV；否則，從L0 MV得出L1 MV。對於所選的第二候選，如果L0 MV可用，則使用L0 MV；否則，從L1 MV得出L0 MV。在一個實施例中，如果這兩個候選相同，則MV偏移量（例如（四分之一，0），被添加到其中一個候選（例如第二候選）上。
在另一個實施例中，可以從{空間候選，時間候選，HMVP候選}的任何子集生成用於TPM的候選。一種可能的流程描述如下。首先，形成由單向預測運動候選組成的候選列表，並且發信TPM索引以指示一種組合，包括兩個用於預測PU1 和PU2 的單向預測候選。在以下情況下，可以使用一種畫面內模式候選。在一個實施例中，當一個組合中的兩個單向預測候選相似時，可以用畫面內預測替換兩個單向預測候選之任一，或者其畫面間預測可以進一步與畫面內預測加權相加。例如，相似性意味著兩個候選引用相同的參考圖片。對於另一示例，相似性意味著對於兩個候選的MV的差（表示為diffmv ）小於預定閾值。 Diffmv 可以是兩個候選之間的MV0 差異加上兩個候選之間的MV1 差異。可以將以上示例的任何組合應用於判定相似性。
在另一實施例中，當一個組合中的兩個候選中的任一個由零向量形成時，具有零向量的運動候選可以被畫面內模式候選替換，或者其畫面間預測可以進一步與畫面內預測加權相加。在另一實施例中，當一個組合中的兩個候選都是列表0或列表1時，兩個候選中的任一個都可以被畫面內模式候選替換。例如，將參考較遠參考圖片的運動候選替換為畫面內模式候選。另一個可能的流程描述如下。首先，發信TPM索引以指示參考運動候選列表中的一個候選，並且預先定義規則以將雙向預測運動候選更改為對TPM有效。在一個實施例中，當用於列表0和列表1的參考圖片相同時，可以將MVlist0 和MVlist1 之任一替換為畫面內模式候選，或者其畫面間預測可以進一步與畫面內預測加權相加。在另一個實施例中，具有預定義列表（例如列表0或列表1）的MV可以被替換為畫面內模式候選，或者其畫面間預測可以進一步與畫面內預測加權相加。當將畫面內候選和畫面間候選都用於TPM時，可以使用不同的設置，例如混合設置、權重設置、塊設置、畫面內模式設置以及上述任意組合。
混合設置意味著當整個CU的預測來自畫面內預測和畫面內預測的組合時，可以將混合過程應用於相鄰區域。在一個實施例中，混合權重可以遵循TPM的操作。例如，可以根據塊寬度、塊高度、塊面積使用兩個權重因子組，或者通過在CU、CTU、切片、圖塊、圖塊組、SPS或PPS級別上發信的標誌明確確定兩個權重因子組。對於另一個示例，可以始終使用第一或第二權重因子組。對於另一個示例，可以應用相等的權重。在另一個實施例中，對於畫面內預測和畫面間預測的相鄰區域，混合權重可以基於子塊。在每個子塊中，樣本的權重是相同的。每個子塊的寬度或高度可以是2、4、8、16、32，或以上的任意組合。在另一個實施例中，混合權重隨畫面內預測模式或塊寬度或高度而變化。例如，當畫面內預測模式不是角度模式時，應用相等的權重。又例如，當塊的寬度或高度或面積大於或小於預定義的閾值，例如2、4、6、8、16、32、64、128、256、512或1024時，應用相等的權重。
權重設置意味著當畫面內預測進一步加上畫面間預測時，將應用權重平均。例如，應用相等的權重。又例如，隨著預測樣本遠離參考樣本，用於畫面內預測的權重變小。在另一個實施例中，混合權重隨畫面內預測模式、塊寬度或高度而變化。例如，當畫面內預測模式不是角度模式時，施加相等的權重。又例如，當塊的寬度、高度或面積大於或小於預定義的閾值，例如2、4、6、8、16、32、64、128、256、512或1024時，應用相等的權重。
塊設置意味著當塊的寬度或高度滿足預定規則時，可以將畫面內模式候選用於TPM。在一個實施例中，預定義規則取決於塊區域。例如，當塊面積大於或小於閾值，例如16、32、64、128、256、512、1024、2048或4096時，畫面內模式候選可以用於TPM。在另一個實施例中，預定規則取決於塊的寬度或高度。例如，當塊的寬度或高度大於或小於閾值，例如16、32、64、128、256、512、1024、2048或4096時，畫面內模式候選可以用於TPM。在另一個實施例中，預定規則取決於塊的長邊和短邊的比率。例如，當長邊大於閾值（例如16、32、64、128、256、512、1024、2048或4096）乘以短邊時，畫面內模式候選可以用於TPM。
畫面內模式設置意味著確定用於TPM的可用內部預測模式。如果可用的畫面內預測模式的數量為一，則可以推斷出所選擇的畫面內預測模式而無需信令；否則，所選擇的畫面內預測模式需要隱式導出或顯式發信。在一個實施例中，只能使用{平面，DC，水平，垂直}之一。在另一個實施例中，可以基於塊的寬度、高度或面積來確定所選擇的畫面內預測模式。在另一個實施例中，可用的畫面內預測模式的數量可以隨著塊的寬度、高度或面積而變化。在一個實施例中，可以使用{平面，DC，水平，垂直}的任何子集。
以上的任何組合可以應用於諸如CIIP或TPM的任何工具。
以上的任何變化都可以用塊寬度、塊高度或塊面積來隱式地確定，或者通過以CU、CTU、切片、圖塊、圖塊組、SPS或PPS級別發信的標誌來顯式地確定。
可以在編碼器和/或解碼器中實現任何前述提出的方法。例如，可以在編碼器的畫面間編解碼模塊或畫面內編解碼模塊、運動補償模塊、解碼器的合併候選導出模塊中實現任何所提出的方法。可替代地，任何所提出的方法可以被實現為耦合到編碼器的畫面間編解碼模塊或畫面內編解碼模塊和/或運動補償模塊、解碼器的合併候選導出模塊的電路。
第12圖示出了根據本發明實施例的用於視訊編解碼的示例性預測的流程圖，其中三角形分區模式將HMVP（基於歷史的運動向量預測）候選用於常規合併列表。流程圖中所示的步驟以及本公開中的其他後續流程圖可被實現為可在編碼器側和/或解碼器側的一個或多個處理器（例如，一個或多個CPU）上執行的可程式化編解碼。流程圖中所示的步驟也可以基於硬體，例如被佈置為執行流程圖中的步驟的一個或多個電子設備或處理器來實現。根據該方法，在步驟1210中，在視訊編碼器側接收與當前圖片中的當前塊有關的輸入資料，或者在視訊解碼器側接收與包括當前圖片中的當前塊的壓縮資料相對應的視訊位元流。在步驟1220中，使用從包括三角形分區的分區集中選擇的目標分區，將當前塊劃分為第一區域和第二區域。在步驟1230中，通過包括來自HMVP緩衝器的至少一個HMVP（基於歷史的運動矢量預測）候選，確定已分區的當前塊的合併候選列表，其中HMVP緩衝器存儲一個或多個先前解碼的塊的運動資訊。在步驟1240中，使用視訊編碼器側的合併候選列表來編碼已分區的當前塊或與已分區的當前塊相關聯的當前運動資訊，或者在視訊解碼器側使用合併候選列表解碼已分區的當前塊或與已分區的當前塊相關聯的當前運動資訊，其中使用合併候選列表來導出用於第一區域的第一候選和用於第二區域的第二候選。
第13圖示出了根據本發明實施例的用於視訊編解碼的示例性預測的流程圖，其中發信索引以指示是否應用了三角形CIIP。根據該方法，在步驟1310中，在視訊編碼器側接收與當前圖片中的當前塊有關的輸入資料，或者在視訊解碼器側接收與包括當前圖片中的當前塊的壓縮資料相對應的視訊位元流。在步驟1320中確定是否將三角形CIIP（畫面間/畫面內組合預測）應用於當前塊。如果將三角形CIIP應用於當前塊（即，從步驟1320開始的“是”路徑），則執行步驟1330至1350。否則（即，從步驟1320開始的“否”路徑），步驟1330至1350被跳過。在步驟1330中，使用三角形分區將當前塊劃分為第一區域和第二區域。在步驟1340中，為第一區域確定畫面間預測子，並且為第二區域確定畫面內預測子。在步驟1350中，使用畫面間預測子對第一區域進行編碼或解碼，並且使用畫面內預測子對第二區域進行編碼或解碼。
所示的流程圖旨在說明根據本發明的視訊編解碼的示例。所屬領域具有通常知識者可以在不脫離本發明的精神的情況下修改每個步驟、重新佈置步驟、拆分步驟或組合步驟以實施本發明。在本公開中，已經使用特定的語法和語義來示出用於實現本發明的實施例的示例。技術人員可以通過用等效的語法和語義替換語法和語義來實踐本發明，而不脫離本發明的精神。
呈現以上描述是為了使所屬領域具有通常知識者能夠實踐在特定應用及其要求的上下文中提供的本發明。對所描述的實施例的各種修改對於所屬領域具有通常知識者將是顯而易見的，並且本文中定義的一般原理可以應用於其他實施例。因此，本發明並不旨在限於所示出和描述的特定實施例，而是與與本文所公開的原理和新穎特徵相一致的最廣範圍相一致。在以上詳細描述中，示出了各種具體細節以便提供對本發明的透徹理解。然而，所屬領域具有通常知識者將理解可以實施本發明。
如上所述的本發明的實施例可以以各種硬體、軟體編解碼或兩者的組合來實現。例如，本發明的實施例可以是集成到視訊壓縮晶片中的一個或多個電路電路或集成到視訊壓縮軟體中以執行本文所述的處理的可程式化編解碼。本發明的實施例還可以是將在數位信號處理器（DSP）上執行以執行本文描述的處理的可程式化編解碼。本發明還可涉及由計算機處理器、數位信號處理器、微處理器或現場可編程門陣列（FPGA）執行的許多功能。通過執行定義本發明所體現的特定方法的機器可讀軟體編解碼或韌體編解碼，可以將這些處理器配置為執行根據本發明的特定任務。可以以不同的程式語言和不同的格式或樣式來開發軟體編碼解碼或韌體編碼解碼。也可以針對不同的目標平台來編譯軟體編解碼。但是，不同的編解碼格式、軟體編解碼的樣式和語言以及配置編解碼以執行根據本發明的任務的其他手段將不脫離本發明的精神和範圍。
在不脫離本發明的精神或基本特徵的情況下，本發明可以以其他特定形式來體現。所描述的示例在所有方面僅應被認為是說明性的而非限制性的。因此，本發明的範圍由所附申請專利範圍而不是前述描述來指示。落入申請專利範圍等同含義和範圍內的所有改變均應包含在其範圍之內。
210、220:候選集合 231:mvL0_A，ref0 232:mvL1_B，ref 233: MVP雙向預測 310、320、410、420、430、432、440、442:候選列表 610、620、630、640、650:塊 710:對角線 720:對角線反方向 810、820:權重 910、920、1210~1240、1310~1350:步驟 922:解碼運動 912:輸入 1010、1020、1030:表 1022:HMVP2 1032:CL-1
第1圖示出了用於為AMVP和合併方案兩者導出空間和時間MVP的相鄰PU。 第2圖示出了用於組合的雙向預測合併候選的推導過程的示例。 第3圖示出了縮放的雙向預測合併候選的推導過程的示例，其中左側的候選列表對應於原始候選列表，而右側的候選列表對應於擴展的候選列表，其包括生成的兩個雙向預測MVP。 第4A圖示出了添加零向量合併候選的示例，其中左側的候選列表與原始合併候選列表相對應，而右側的候選列表通過添加零候選與擴展的合併候選列表相對應。 第4B圖示出了用於添加零向量AMVP候選的示例，其中頂部的候選列表對應於原始AMVP候選列表（左側的L0和右側的L1），底部的候選列表通過添加零候選對應於擴展的AMVP候選列表（左側的L0和右側的L1）。 第5圖示了HEVC（高效視訊編解碼）標準所使用的33方向畫面內預測模式。 第6A圖示出了通過將一個塊水平或垂直地劃分為兩個子塊來進行畫面內子分區（ISP）編解碼模式的示例。 第6B圖示出了通過將塊水平或垂直地劃分為四個子塊來進行畫面內子分區（ISP）編解碼模式的示例。 第7圖示出了TPM（三角預測模式）的示例，其中CU在對角線方向或對角線反方向上被分成兩個三角預測單元。 使用其自身的單向預測運動向量和參考畫面索引對CU中的每個三角形預測單元進行畫面間預測，以根據單向預測候選生成預測。 第8圖示出了自適應加權過程的示例，其中示出了亮度塊（左）和色度塊（右）的權重。 第9圖示出了基於歷史的MVP（HMVP）的示例，其中HMVP候選被加載到表中，並且HMVP候選被用於解碼塊。 第10圖示出了根據HMVP方法更新HMVP（基於歷史的運動向量預測）表的示例。 第11圖示出了R1 和R2 分區的示例，以將畫面內預測和畫面間預測應用於整個塊。 第12圖示出了根據本發明實施例的用於視訊編解碼的示例性預測的流程圖，其中三角形分區模式將HMVP（基於歷史的運動向量預測）候選用於常規合併列表。 第13圖示出了根據本發明實施例的用於視訊編解碼的示例性預測的流程圖，其中發信索引以指示是否應用了三角形CIIP。
1210~1240:步驟

Claims (18)

  1. 一種用於視訊編解碼的預測方法，該方法包括： 在視訊編碼器側接收與當前圖片中的當前塊有關的輸入資料，或者在視訊解碼器側接收與包括該當前圖片中的該當前塊的壓縮資料相對應的視訊位元流； 使用從包括三角形分區的分區集合中選擇的目標分區將該當前塊分區為第一區域和第二區域； 通過包括來自基於歷史的運動向量預測緩衝器的至少一個基於歷史的運動向量預測候選來確定已分區的當前塊的合併候選列表，其中，該基於歷史的運動向量預測緩衝器存儲一個或多個先前編解碼的塊的運動資訊；以及 在該視訊編碼器側使用該合併候選列表對該已分區的當前塊或與該已分區的當前塊相關聯的當前運動資訊進行編碼，或者在該視訊解碼器側使用合該併候選列表解碼該已分區的當前塊或與該已分區的當前塊相關聯的該當前運動資訊，其中使用該合併候選列表來導出用於該第一區域的第一候選和用於該第二區域的第二候選。
  2. 如申請專利範圍第1項所述之方法，其中，遵循用於將一個或多個基於歷史的運動向量預測候選***到常規合併候選列表中的規則，將來自該基於歷史的運動向量預測緩衝器的該一個或多個基於歷史的運動向量預測候選***到該合併候選列表中。
  3. 如申請專利範圍第2項所述之方法，其中，根據該基於歷史的運動向量預測緩衝器中一個或多個存儲候選的順序，將該基於歷史的運動向量預測緩衝器中的該一個或多個存儲候選***該合併候選列表。
  4. 如申請專利範圍第3項所述之方法，其中，在該基於歷史的運動向量預測緩衝器的第一位置中的目標存儲的候選被***在該合併候選列表的第一候選位置處。
  5. 如申請專利範圍第2項所述之方法，其中根據該基於歷史的運動向量預測緩衝器中一個或多個存儲的候選的相反順序，將該基於歷史的運動向量預測緩衝器中的該一個或多個存儲的候選***該合併候選列表。
  6. 如申請專利範圍第5項所述之方法，其中，在該基於歷史的運動向量預測緩衝器的最後位置中的目標存儲的候選被***在該合併候選列表的第一候選位置處。
  7. 如申請專利範圍第1項所述之方法，其中，該合併候選列表包括一個或多個常規合併候選，並且其中，每個常規合併候選屬於包括單向預測和雙向預測的預測組。
  8. 如申請專利範圍第1項所述之方法，其中，該基於歷史的運動向量預測緩衝器中的最後N個候選被用於導出用於該合併候選列表的一個或多個基於歷史的運動向量預測候選，並且其中，N是正整數。
  9. 如申請專利範圍第8項所述之方法，其中， N是隱式確定的。
  10. 如申請專利範圍第8項所述之方法，其中，以編解碼單元、編解碼樹單元、切片、圖塊、圖塊組、序列參數集或圖片參數集級別發信N。
  11. 一種視訊編解碼裝置，該裝置包括一個或多個電子電路或處理器，用於： 在視訊編碼器側接收與當前圖片中的當前塊有關的輸入資料，或者在視訊解碼器側接收與包括該當前圖片中的該當前塊的壓縮資料相對應的視訊位元流； 使用從包括三角形分區的分區集合中選擇的目標分區將該當前塊分區為第一區域和第二區域； 通過包括來自基於歷史的運動向量預測緩衝器的至少一個基於歷史的運動向量預測候選來確定已分區的當前塊的合併候選列表，其中，該基於歷史的運動向量預測緩衝器存儲一個或多個先前編解碼的塊的運動資訊；以及 在該視訊編碼器側使用該合併候選列表對該已分區的當前塊或與該已分區的當前塊相關聯的當前運動資訊進行編碼，或者在該視訊解碼器側使用合該併候選列表解碼該已分區的當前塊或與該已分區的當前塊相關聯的該當前運動資訊，其中使用該合併候選列表來導出用於該第一區域的第一候選和用於該第二區域的第二候選。
  12. 一種視訊編解碼預測方法，該方法包括： 在視訊編碼器側接收與當前圖片中的當前塊有關的輸入資料，或者在視訊解碼器側接收與包括該當前圖片中的該當前塊的壓縮資料相對應的視訊位元流； 確定是否對該當前塊應用三角形畫面間/畫面內組合預測； 如果該三角形畫面間/畫面內組合預測應用於該當前塊： 使用三角形分區將該當前塊分區為第一區域和第二區域； 確定該第一區域的畫面間預測子和該第二區域的畫面內預測子；以及 使用該畫面間預測子對該第一區域進行編碼或解碼，並使用該畫面內預測子對該第二區域進行編碼或解碼。
  13. 如申請專利範圍第12項所述之方法，其中，在該編碼器側發信索引，或者在該解碼器側解析該索引，以指示是否應用了三角預測模式或畫面間/畫面內組合預測。
  14. 如申請專利範圍第13項所述之方法，其中，該索引在編碼單元、編碼樹單元、切片、圖塊、圖塊組、序列參數集或圖片參數集級別中在該視訊編碼器側發信或在該視訊解碼器側被解析。
  15. 如申請專利範圍第12項所述之方法，其中，對該第一區域和該第二區域的相鄰區域執行混合處理。
  16. 如申請專利範圍第12項所述之方法，其中，將與該第一區域的該畫面間預測子和該第二區域的該畫面內預測子相對應的三角形畫面間/畫面內組合預測預測子添加到用於三角預測模式的候選列表。
  17. 如申請專利範圍第16項所述之方法，其中，該三角形畫面間/畫面內組合預測預測子用於替換該候選列表中的一個或多個偶數候選或奇數候選。
  18. 一種視訊編解碼裝置，該裝置包括一個或多個電子電路或處理器，用於： 在視訊編碼器側接收與當前圖片中的當前塊有關的輸入資料，或者在視訊解碼器側接收與包括該當前圖片中的該當前塊的壓縮資料相對應的視訊位元流； 確定是否對該當前塊應用三角形畫面間/畫面內組合預測； 如果該三角形畫面間/畫面內組合預測應用於該當前塊： 使用三角形分區將該當前塊分區為第一區域和第二區域； 確定該第一區域的畫面間預測子和該第二區域的畫面內預測子；以及 使用該畫面間預測子對該第一區域進行編碼或解碼，並使用該畫面內預測子對該第二區域進行編碼或解碼。
TW109102601A 2019-01-31 2020-01-22 視訊編碼中結合畫面間和畫面內預測之方法和裝置 TWI737142B (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201962799127P 2019-01-31 2019-01-31
US62/799,127 2019-01-31
US201962799782P 2019-02-01 2019-02-01
US62/799,782 2019-02-01
WOPCT/CN2020/073876 2020-01-22
PCT/CN2020/073876 WO2020156464A1 (en) 2019-01-31 2020-01-22 Method and apparatus of combined inter and intraprediction for video coding

Publications (2)

Publication Number Publication Date
TW202034693A true TW202034693A (zh) 2020-09-16
TWI737142B TWI737142B (zh) 2021-08-21

Family

ID=71839930

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109102601A TWI737142B (zh) 2019-01-31 2020-01-22 視訊編碼中結合畫面間和畫面內預測之方法和裝置

Country Status (5)

Country Link
US (1) US20220103854A1 (zh)
EP (1) EP3915261A4 (zh)
CN (1) CN113366845A (zh)
TW (1) TWI737142B (zh)
WO (1) WO2020156464A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3854092A4 (en) * 2018-11-02 2021-11-17 Beijing Bytedance Network Technology Co. Ltd. KEEPING TABLES FOR THE STORAGE OF HMVP CANDIDATES
AR118250A1 (es) * 2019-03-08 2021-09-22 Jvckenwood Corp Dispositivos, métodos y programas de codificación y decodificación de imágenes en movimiento
CN117440173A (zh) * 2019-03-21 2024-01-23 北京字节跳动网络技术有限公司 组合帧间帧内预测的改进的加权处理
KR20210076869A (ko) * 2019-12-16 2021-06-24 현대자동차주식회사 임의의 모양으로 분할되는 블록을 예측하는 방법 및 복호화 장치
CN117769836A (zh) * 2021-07-01 2024-03-26 抖音视界有限公司 用于视频处理的方法、设备和介质
CN118077194A (zh) * 2021-07-08 2024-05-24 抖音视界有限公司 用于视频处理的方法、装置和介质
WO2024022145A1 (en) * 2022-07-28 2024-02-01 Mediatek Inc. Method and apparatus of amvp with merge mode for video coding
WO2024123035A1 (ko) * 2022-12-06 2024-06-13 현대자동차주식회사 기하학적 분할모드를 이용한 비디오 부호화/복호화 방법 및 장치

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100095992A (ko) * 2009-02-23 2010-09-01 한국과학기술원 비디오 부호화에서의 분할 블록 부호화 방법, 비디오 복호화에서의 분할 블록 복호화 방법 및 이를 구현하는 기록매체
JP2012023597A (ja) * 2010-07-15 2012-02-02 Sony Corp 画像処理装置及び画像処理方法
KR101712156B1 (ko) * 2010-12-06 2017-03-06 에스케이 텔레콤주식회사 임의의 형태의 블록을 이용한 인터예측에 의한 영상의 부호화/복호화 방법 및 장치
US9338451B2 (en) 2012-04-12 2016-05-10 Qualcomm Incorporated Common spatial candidate blocks for parallel motion estimation
WO2015006884A1 (en) * 2013-07-19 2015-01-22 Qualcomm Incorporated 3d video coding with partition-based depth inter coding
US11109025B2 (en) * 2018-06-04 2021-08-31 Tencent America LLC Method and apparatus for sub-block based temporal motion vector prediction
US11019357B2 (en) * 2018-08-07 2021-05-25 Qualcomm Incorporated Motion vector predictor list generation
CN112567755B (zh) * 2018-08-10 2022-11-08 华为技术有限公司 使用合并模式的译码方法、设备、***
US10944984B2 (en) * 2018-08-28 2021-03-09 Qualcomm Incorporated Affine motion prediction
EP3837841A4 (en) * 2018-09-03 2021-10-20 Huawei Technologies Co., Ltd. CODIFICATION PROCESS, DEVICE AND SYSTEM WITH MERGING MODE
US10958932B2 (en) * 2018-09-12 2021-03-23 Qualcomm Incorporated Inter-prediction coding of video data using generated motion vector predictor list including non-adjacent blocks
US11212550B2 (en) * 2018-09-21 2021-12-28 Qualcomm Incorporated History-based motion vector prediction for affine mode
CN116684586A (zh) * 2018-10-05 2023-09-01 Lg电子株式会社 解码设备、编码设备及发送针对图像的数据的设备
US20200112715A1 (en) * 2018-10-05 2020-04-09 Qualcomm Incorporated History-based motion vector prediction for inter prediction coding
US11051034B2 (en) * 2018-10-08 2021-06-29 Qualcomm Incorporated History-based motion vector predictor
US20210338911A1 (en) 2018-10-19 2021-11-04 Staymed Ab A device and system providing a medical solution and a method thereof
AU2019364883B2 (en) * 2018-10-24 2023-07-20 Huawei Technologies Co., Ltd. A method and an apparatus for determining motion information for a current block, a method and an apparatus for constructing and updating a history-based motion vector predictor list, and non-transitory computer-readable storage medium, and video encoding/decoding methods and apparatus
EP3854092A4 (en) * 2018-11-02 2021-11-17 Beijing Bytedance Network Technology Co. Ltd. KEEPING TABLES FOR THE STORAGE OF HMVP CANDIDATES
CN113170192B (zh) * 2018-11-15 2023-12-01 北京字节跳动网络技术有限公司 仿射的merge与mvd
US11184633B2 (en) * 2018-11-27 2021-11-23 Qualcomm Incorporated Simplification of history-based motion vector prediction
JP7420807B2 (ja) * 2018-11-29 2024-01-23 インターデイジタル ヴィーシー ホールディングス インコーポレイテッド マージリストにおける動きベクトル予測子候補の順序付け
CN117880495A (zh) * 2018-12-03 2024-04-12 北京字节跳动网络技术有限公司 候选的最大数量的指示方法
US11012697B2 (en) * 2018-12-07 2021-05-18 Qualcomm Incorporated Shared candidate list and parallel candidate list derivation for video coding
CN113454990B (zh) * 2018-12-28 2024-07-02 英迪股份有限公司 帧间预测编解码方法及装置
US11134275B2 (en) * 2019-06-04 2021-09-28 Tencent America LLC Method and apparatus for performing primary transform based on filtering of blocks
JP7425808B2 (ja) * 2019-06-04 2024-01-31 北京字節跳動網絡技術有限公司 動き候補リスト構築プロセスの条件付き実行
US11212545B2 (en) * 2019-06-07 2021-12-28 Tencent America LLC Method and apparatus for improved implicit transform selection
CN112118447B (zh) * 2019-06-19 2023-06-20 华为技术有限公司 融合候选运动信息列表的构建方法、装置及编解码器
MX2021000350A (es) * 2019-06-21 2021-03-25 Huawei Tech Co Ltd Un codificador, un decodificador y metodos correspondientes para modo de division de sub-bloque.
WO2020259476A1 (en) * 2019-06-24 2020-12-30 Huawei Technologies Co., Ltd. Sample distance calculation for geometric partition mode
AU2020358175A1 (en) * 2019-10-03 2022-04-14 Huawei Technologies Co., Ltd. Coding process for geometric partition mode

Also Published As

Publication number Publication date
EP3915261A4 (en) 2023-03-01
CN113366845A (zh) 2021-09-07
TWI737142B (zh) 2021-08-21
US20220103854A1 (en) 2022-03-31
WO2020156464A1 (en) 2020-08-06
EP3915261A1 (en) 2021-12-01

Similar Documents

Publication Publication Date Title
TWI737142B (zh) 視訊編碼中結合畫面間和畫面內預測之方法和裝置
KR102669354B1 (ko) 모션 벡터 예측
TWI720492B (zh) 使用雙向cu加權的視訊編解碼的方法和裝置
CN111937391B (zh) 用于视频编解码***中的子块运动补偿的视频处理方法和装置
CN112400319B (zh) 一种视频编码/解码方法及装置
CN113141783B (zh) 一种视频编解码方法及电子装置
CN117915083A (zh) 块内拷贝模式和帧间预测工具之间的交互
US11240524B2 (en) Selective switch for parallel processing
WO2020035064A1 (en) Shared candidate list
CN110691248A (zh) 在视频编解码***中生成平均候选用于帧间图像预测的方法以及装置
TW201944781A (zh) 視訊編解碼系統中具有重疊塊運動補償的視訊處理的方法以及裝置
TWI738081B (zh) 視訊編碼系統中結合多重預測子用於區塊預測之方法和裝置
TWI702828B (zh) 在視訊編碼系統中生成平均候選的方法和裝置
TW202021366A (zh) 視訊編碼之多重假設方法和裝置
TWI729497B (zh) 在視頻編解碼系統中組合多個預測子進行塊預測的方法和裝置
TW202021355A (zh) 用於視訊編解碼的簡化子模式的方法和裝置
TW202327360A (zh) 視頻編解碼系統中多重假設預測的方法和裝置
TW202327351A (zh) 視頻編解碼系統中編解碼模式選擇的方法和裝置
TWI720470B (zh) 用於視訊編解碼中的獨立編碼樹的語法交錯方法和裝置
TWI737141B (zh) 視訊編碼中用於畫面內分區之轉換類型分配方法和裝置
TW202345594A (zh) 視訊編解碼方法和裝置
CN116684577A (zh) 基于运动矢量差的快速仿射模式决策